Облачное хранилище Skylable / S3

Рады предложить вам бета-версию облачного хранилища с доступом по протоколу, совместимому с Amazon S3 (Simple Storage Service). Услуга предоставляется на основе открытой платформы Skylable и проекта LibreS3.

до 300 Гб	300-1000 рублей за 100 Гб в месяц (3 - 10 рублей за гигабайт) - зависит от типа договора и периода предоплаты - управляется предоплаченным тарифом, общей дисковой квотой - оплата в течение до 10 дней после установки тарифа - возможны превышения лимита тарифа до 10 дней
свыше 300 Гб	420 рублей за 100 Гб в месяц - автоматическое подневное списание с точностью до 1 Гб
трафик	не тарифицируется (* см. комментарий про нагрузку на хранилище)

Протокол S3 основан на простом методе хранения объектов, которые можно для простоты сравнить с файлами и папками. Упрощенно говоря, каждое хранилище S3 представляет собой файловую систему, хотя есть и отличия. Например, протокол S3 оптимизирован на неограниченные по масштабности системы, которые позволяют хранить огромный объем "плоских" данных без разбивания на папки и без потери эффективности, и скорее напоминает по смыслу простую базу данных.

Amazon S3 был представлен много лет назад и в настоящее время приобрел большую популярность и имеет большое количество готовых решений, которые используют его как сетевую файловую систему или удаленную базу данных.

Системы резервного копирования
Системы синхронизации данных
Базы данных простых объектов

Простой удаленный доступ к файлам
Решение задач типа Map/Reduce
Хостинг картинок (у S3 есть веб-сервер)

... и многие другие подобные решения.

Реализация протокола S3 в любом месте, отличном от сервисов Amazon, отличается от первоначальных стандартов компании Amazon. Поэтому все хранилища по стандарту S3 немного отличаются набором возможностей и имеют свои особенности. Индустрия "S3-совместимых" хранилищ достаточно развита, поэтому различные инструменты обычно умеют работать с такими особенностями, но набор работающих функций будет отличаться от Amazon S3 или других аналогичных служб.

Смотрите также:

Облачное хранилище SeaFile - синхронизация файлов на ваших компьютерах, аналог Dropbox, доступ Webdav
- для целей простой синхронизации файлов это проще в использовании, чем Skylable / S3

Что предлагается в услуге Skylable / S3 на 1Gb.ru

Неограниченное количество ресурсов Skylable / S3, к каждому хранилищу собственный один логин с полным доступом
Доступ по протоколу S3 по адресу sx.1gb.ru, в том числе HTTP или HTTPS
Публичный доступ к объектам по протоколу HTTP http://<ваше хранилище>.sx.1gb.ru/файл
(с указанием ключей доступа или при настройке соответствующий policy, пример ниже)
Публичный доступ к объектам по протоколу HTTPS (в бета-режиме с неверным SSL сертификатом, планируется позже)
Работает простой веб-интерфейс доступа к файлам https://sxweb.1gb.ru
Доступ по протоколу кластера Skylable (обычно не требуется, но может оказаться полезным, endpoint - sx.1gb.ru, порт 444)
(эти реквизиты можно использовать для утилит skylable, sxdrive и прочих)
Работают Android, IOS, десктопные приложения для синхронизации файлов через хранилище (из проекта Skylable)
Выбор количества реплик хранения - 1 или 2 независимых хранилища (в любом случае хранилища на RAID-е)

Как начать пользоваться Skylable / S3 и условия использования на 1Gb.ru

Вы можете создать ресурс Skylable / S3 в любом личном кабинете, раздел "Облачное хранилище Skylable / S3". На этапе ввода услуги размер одного хранилища не может превышать 100 гигабайт, но по заявке лимит может быть увеличен. По мере завершения beta-статуса услуги лимит будет отменен, лимит хранилища не ограничен и зависит только от вашей оплаты.

Для ваших ресурсов Skylable / S3 вычисляется занятая дисковая квота, которая входит в обычную дисковую квоту тарифа хостинга (для сайтов и почты). Иными словами, объем хранилища S3 оплачивается обычной дисковой квотой хостинга общего назначения. В случае превышения занятой дисковой квоты над пределом тарифа высылается предупреждение о необходимости в течение 10 дней изменить тариф, и при необходимости потребуется оплатить новый тариф.

При выходе дисковой квоты из пределов, характерных для виртуального хостинга (более 300 Гб), для тарификации применяются тарифы услуги "Цифровой дата-центр", "аренда Быстрого сетевого хранилища" (в данный момент - 420 рублей за 100 Гб в месяц).

В том случае, если вы выбираете хранилище с резервированием, квота расходуется в двойном размере. В этом случае ваши данные хранятся в хранилище Skylable / S3 два раза, на двух независимых системах хранения, и доступны с использованием средств резервирования доступа.

Допустимая нагрузка на хранилище

Нашей основной целью является предоставить услугу с простыми принципами тарификации и предсказуемой ценой. Поэтому периодичность доступа, трафик, количество обращений к хранилищу не тарифицируются, однако они должны соответствовать пределам тарифа по процессорной нагрузке, которая может быть обусловлена вашими операциями с хранилищем.
В целом это обозначает, что Skylable / S3 можно без проблем использовать как основной инструмент для работы веб-сайтов, размещенных на хостинге, в том числе при доступе из VDS серверов, либо для использования в качестве хранилища, инструментов синхронизации, с разумной нагрузкой обычного типа, характерной для ресурсов виртуального хостинга.

В том случае, если нагрузка превышает пределы, очевидно разумные для бесплатной тарификации, продолжение работы возможно на отдельных договорных условиях.

Резервное копирование хранилища, гарантии целостности данных

Отдельные узлы кластера Skylable / S3 размещены на отказоустойчивых дисковых массивах, резервное копирование которых не производится.

В том случае, если целостность данных имеет приоритет, следует заказывать хранилище с резервированием, которое обеспечит хранение ваших данных два раза и доступ к ним в том случае, если один из узлов выйдет из строя.

Услуга оказывается на основе open-souce решения Skylable. К сожалению, у нас нет способов до конца оценить качество работы данного ПО, либо существенно повлиять на него, поэтому дополнительное резервирование критических данных на вашей стороне является разумной мерой.

Примеры работы со стандартными инструментами для S3 (s3cmd и так далее)

Пример конфига для s3cmd

[default]
access_key = ИМЯ-ВАШЕГО-РЕСУРСА
bucket_location = US
cloudfront_host = cloudfront.amazonaws.com
default_mime_type = binary/octet-stream
delete_removed = False
dry_run = False
enable_multipart = True
encoding = UTF-8
encrypt = False
follow_symlinks = False
force = False
get_continue = False
gpg_command = /usr/bin/gpg
gpg_decrypt = %(gpg_command)s -d --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_encrypt = %(gpg_command)s -c --verbose --no-use-agent --batch --yes --passphrase-fd %(passphrase_fd)s -o %(output_file)s %(input_file)s
gpg_passphrase = 
guess_mime_type = True
host_base = sx.1gb.ru
host_bucket = %(bucket)s.sx.1gb.ru
human_readable_sizes = False
invalidate_on_cf = False
list_md5 = False
log_target_prefix = 
mime_type = 
multipart_chunk_size_mb = 15
preserve_attrs = True
progress_meter = True
proxy_host = 
proxy_port = 0
recursive = False
recv_chunk = 4096
reduced_redundancy = False
secret_key = КЛЮЧ-ВАШЕГО-РЕСУРСА
send_chunk = 4096
simpledb_host = sdb.amazonaws.com
skip_existing = False
socket_timeout = 300
urlencoding_mode = normal
use_https = False
verbosity = WARNING
website_endpoint = http://sx.1gb.ru
website_error = 
website_index = index.html

Как разрешить публичный доступ ко всем файлам через http?

Нужно назначить на ваш (корневой) bucket следующий policy:

{ 
 "Version": "2012-10-17", 
 "Statement": [ 
   { 
    "Effect": "Allow", 
    "Principal": "*", 
    "Action": "s3:GetObject", 
    "Resource": "arn:aws:s3:::ИМЯ-ВАШЕГО-РЕСУРСА/*" 
   } 
 ] 
}

Это можно сделать с помощью любой утилиты для работы с S3, например через S3 Browser или s3cmd.

Еще вопросы?

Пишите на support@1gb.ru, обязательно поможем и разместим сюда совет для следующих клиентов.