МИВК Многофункциональный
информационно-вычислительный
комплекс ОИЯИ

EN

Руководства пользователя

Руководство пользователя сервиса облачных вычислений

Запрос на ресурсы

После первого входа в веб-интерфейс облака пользователь имеет нулевые квоты на ресурсы, в виду чего он не сможет создавать виртуальные машины и/или контейнеры. Чтобы увеличить квоты, пользователь должен отправить соответствующий запрос посредством специальной веб-формы через сервис helpdesk. Для этого на сайте helpdesk.jinr.ru нужно заполнить веб-форму запроса ресурсов (см. рисунок ниже), доступную по следующему пути: Новый запрос -> Облачный сервис -> Облачные вычисления -> Запрос ресурсов.

Доступ на виртуальные машины

Доступ к виртуальным машинам на базе KVM, созданных из общедоступных шаблонов, можно получить как через VNC (в том числе и через веб-интерфейс Sunstone), так и по протоколу ssh, тогда как на контейнер — только по ssh.

VNC

Для удаленного доступа к ВМ через VNC посредством веб-интерфейса нужно нажать на кнопку «VNC», находящуюся в крайнем правом столбце напротив соответствующей ВМ либо в правом верхнем углу на странице вкладки «Информация» конкретной ВМ (см. рисунки ниже).

SSH

По умолчанию все пользовательские ВМ/КТ с ОС Linux, созданные из общедоступных шаблонов и имеющие публичный IP-адрес, доступны по 22-ому порту по протоколу ssh из сетей ОИЯИ, ЦЕРН, НетБайНет и ТМПК. ВМ/КТ с IP-адресами из частных подсетей (192.168.0.0/16 и 10.93.0.0/16) доступны по ssh только из сети ОИЯИ.

Для доступа на ВМ/КТ по тому же пользовательскому логину и паролю, которые были использованы для входа на веб-интерфейс облачной инфраструктуры, ВМ/КТ должны быть созданы на основании одного из общедоступных образов (образы №320, 315, 314, 312, 309 уже имеют необходимые настройки) и в шаблоне необходимо указать параметр UNAME=$UNAME («Мастер настройки» -> вкладка «Контекст» -> «Пользовательские переменные»), аналогично тому, как это представлено на рисунке ниже.

Зайдя на ВМ/КТ с использованием общеинститутской учётной записи, для получения прав суперпользователя необходимо в командной строке выполнить команду «sudo su -» и ещё раз ввести пароль от своей общеинститутской учётной записи.

Для доступа на ВМ/КТ под пользователем root по RSA-/DSA-ключу необходимо добавить в шаблон свой публичный ключ («Мастер настройки» -> вкладка «Контекст» -> пункт «Сеть и SSH» -> поле «Открытый ключ»), а также включить опцию «Использовать SSH при задании контекста» (см. рисунок ниже).

Ниже приводится пошаговое подробное описание. В качестве примера настройки шаблона ВМ можно использовать любой  из общедоступных в облачном сервисе шаблонов.

1. Необходимо выбрать шаблон и нажать кнопку «Клонировать» («Clone»).

2. Далее указать имя клонированного шаблона.

3. Выбрать созданный шаблон и нажать «Обновить» («Update»).

4. В поле «Открытый ключ» вкладки «Контекст» («Context») необходимо вставить содержимое открытого ключа.

Для генерации ssh-ключа необходимо выполнить следующие действия:

  • В консоли (терминале) ввести команду:

 # ssh-keygen  

  • В ответ на запрос «Enter file in which to save the key (/root/.ssh/id_rsa):» задать путь к файлу с закрытым ключом или нажать клавишу «Enter», чтобы использовать предлагаемый по умолчанию путь ~/.ssh/id_rsa.
  • В ответ на запрос «Enter passphrase (empty for no passphrase):» ввести пароль для доступа к закрытому ключу или нажать клавишу «Enter», чтобы оставить доступ к закрытому ключу без пароля.
  • В ответ на запрос «Enter same passphrase again:» ввести пароль ещё раз или снова нажать «Enter» для беспарольного доступа к закрытому ключу.

В результате этих действий будет создана директория ~/.ssh, если её ранее не существовало, а также в ней будут созданы открытый и закрытый rsa-ключи (файлы с именами id_rsa.pub и id_rsa соответственно).

Содержимое открытой части rsa-ключа (т.е. файла id_rsa.pub) нужно вставить в поле «Открытый ключ» («Public Key») веб-формы шаблона виртуальной машины/контейнера в облачном веб-интерфейсе и нажать кнопку «Обновить»(«Update»).

Создание/редактирование шаблонов ВМ/КТ

Для вызова окна конструктора шаблона ВМ/КТ необходимо нажать зеленую кнопку с символом «+».
Доступны два окна конструктора: «Мастер настройки» («Wizard») и Advanced.
В окне «Мастер настройки» задаются основные параметры ВМ/КТ: ЦПУ, ОЗУ, Диск, IP-адрес и др.
В окне Advanced задаются специфические параметры, которые недоступны из окна «Мастер настройки» («Wizard»), например, OVZ_SIZE или OSTEMPLATE.

Внимание!!! допускается работать одновременно только с одним окном. Т.е. для задания основных и специфичных параметров используется окно «Мастер настройки» («Wizard»), после чего шаблон сохраняется и редактируется в окне Advanced.

Для сохранения нового шаблона жать кнопку «Создать» («Create»).
Для редактирования шаблона и последующего его сохранения необходимо нажать кнопку «Обновить» («Update»).

Создание виртуальных машин и контейнеров

Для того, чтобы приступить к изучению данного материала, необходимо ознакомится с изложенным ранее пунктом «Доступ на виртуальные машины».

Методы добавления ВМ/КТ

Существует несколько методов добавления образов в ваше облако, а именно:

  • Использование OpenNebula Marketplace (только ВМ, не рекомендуется);
  • Запрос образа через HelpDesk (ВМ/КТ);
  • Создание образов в среде OpenNebula (ВМ).

Использование OpenNebula Marketplace

Перейти в OpenNebula Marketplace (в русскоязычной версии интерфейса этот пункт меню называется «Рынок») можно через основное меню веб-интерфейса облака ОИЯИ.
В списке необходимо выбрать подходящий образ диска и гипервизор (KVM), а затем нажать кнопку «Импорт». Контейнеры недоступны на OpenNebula Marketplace. Внимательно изучайте описание шаблонов готовых ВМ. Данные шаблоны предоставляются и изменяются только компанией OpenNebula.

Далее выбирается хранилище данных, а также задается имя образа и шаблона. Для KVM — используйте хранилище, в названии которого фигугирует «kvm» (например, «ImageDS_33-kvm-priv» или «ImagesDS_22x-kvm-priv»). Аналогичным правилом нужно руководствоваться и для контейнеров OpenVZ (например, «ImageDS_22x-openvz»), но образов дисков контейнеров нет на Marketplace.

Запрос необходимого образа через HelpDesk

Если образ и шаблон с необходимой операционной системой отсутствует в облаке ОИЯИ, то можно отправить на рассмотрение запрос в HelpDesk с просьбой получить доступ к нужному образу/шаблону как для ВМ (KVM), так и для контейнера (OpenVZ), если они уже существуют в облаке, либо попросить создать нужный.

Запрос создается через форму на сайте helpdesk.jinr.ru, в разделе «Поддержка пользователей облачного сервиса».

В форме запроса обязательно следует указать идентификатор (т.е. логин) пользователя в cloud.jinr.ru, название или номер необходимого образа и/или шаблона (если они уже существуют в облаке) или название и версию требуемой ОС, а также её разрядность (см. рисунок ниже).

!Внимание. Обязательно в запросе указывайте имя пользователя в cloud.jinr.ru, имя и версию операционной системы, разрядность и тип виртуализации (KVM или OpenVZ).

Создание образов в среде OpenNebula

OpenNebula предоставляет возможность самостоятельно создать необходимый образ с виртуализацией на базе KVM.

Данный процесс будет следующим:

  • Перейдите в раздел Виртуальные ресурсы -> Образы ВМ;
  • Создайте новый образ, тип образа укажите CD-ROM/DVD, хранилище SystemDS_33-kvm-priv, расположение образа «Закачать», далее укажите путь к файлу (.iso);
  • Создайте образ DATABLOCK, укажите размер образа (например, 10240 МБ);
  • Перейдите в раздел Виртуальные ресурсы -> Шаблоны ВМ, далее создайте новый шаблон и настройте указанные параметры:

Вкладка «Общие» — установите параметры машины в зависимости от вашей квоты.

Вкладка «Хранилище» — укажите ранее созданный пустой диск (DATABLOCK), далее добавьте новый диск и укажите ваш диск с установщиком ОС.

Вкладка «Сеть» — укажите сеть (например, «33-kvm-priv»).

Вкладка «OS Booting» — укажите архитектуру устанавливаемой системы, далее установите в качестве первого загрузочного устройства («1st Boot») — HDD, а в качестве второго (2nd Boot) — CDROM (при такой последовательности загрузочных устройств при чистом HDD загрузка произойдёт с CDROM, а в дальнейшем, когда ОС будет уже установлена на HDD, загрузка будет всегда осуществляться с HDD).

Вкладка «Input/Output» — установите флажок на VNC.

Вкладка «Контекст» — Сеть и SSH, скопируйте ваш открытый SSH (.pub) для доступа к ВМ по ключу. Настройка подключения описана в пункте «Доступ на виртуальные машины»

  • Запустите ВМ, выбрав созданный, настроенный шаблон и подключитесь к ВМ через VNC. Установку системы продолжайте в графическом режиме.

Описание создания, а также редактирования шаблонов ВМ/КТ представлено ранее в пункте «Cоздание/редактирование шаблонов ВМ/КТ».

Важный момент!

Если будет использована ВМ (т.е. тип виртуализации KVM), то необходимо обязательно использовать хранилище, в названии которого фигурирует «kvm» (например, «ImageDS_33-kvm-priv», а сеть «33-kvm-priv».

Если же будет использован контейнер (т.е. тип виртуализации OpenVZ), то нужно использовать хранилище с «openvz» в его названии (например,»ImageDS_33-ovz-priv») и выбирать соответствующую сеть (например, «33-ovz-priv»).

Создание (запуск) ВМ/КТ

В разделе «Виртуальные машины» («Virtual Machines») необходимо выбрать шаблон ВМ/КТ, где указать имя и количество создаваемых экземпляров по шаблону.

Процесс создания ВМ/КТ может занять несколько минут. При достижении ВМ/КТ статуса «Running» (с информацией о жизненном цикле ВМ/КТ и возможных статусах можно ознакомиться по ссылке) её доступность по сети можно проверить, например, командой ping:

 # ping <IP-адрес ВМ> 

Как только поступит ответ – машина запущена и готова к работе.

Произвести подключение к созданной ВМ/КТ можно через VNC или ssh-протокол. Настройка подключения описана в пункте «Доступ на виртуальные машины».

После подключения через VNC, появится следующее окно и можно приступить к работе на созданной ВМ:

Подключение через SSH-протокол выполняется через команду:

 # ssh root@<VM/CT IP-address or hostname> 

Вместо «<VM/CT IP-address or hostname>» необходимо указать IP-адрес ВМ/КТ или сетевое имя.

Описание специфичных параметров

OVZ_SIZE: установка размера диска (относится только к OpenVZ-контейнерам)
OSTEMPLATE: название OС — необходимый параметр для корректного развертывания окружения OС (OpenVZ).
LOOKUP_HOSTNAME: при значении «true» (второе возможное значение — «false») устанавливаем сетевое имя машины из DNS.
HOSTNAME: ручное задание сетевого имени ВМ/КТ.
ARCHIVE_CONTENT_TYPE: предназначен для ускорения развертывания контейнера (возможные значения: ploop или archive) (Openvz).

Монтирование sshfs в контейнере

1) Убедиться, что контейнер имеет доступ к модулю ядра FUSE:

[root]$ sudo cat /proc/filesystems|grep fuse

nodev fusectl

nodev fuse

2) Добавить репозиторий EPEL

 [root]$ sudo yum install yum-conf-epel 

3) установить пакет sshfs и все необходимые ему пакеты, указанные в зависимостях:

 [root]$ yum install fuse-sshfs 

4) Смонтировать папку:

[root]$ sshfs root@foo.org:/root /mnt/foo.org.root

5) Размонтировать папку:

 # fusermount -u mountpoint 

Создание снимков диска контейнера

Функционал созданный для работы с Snapshot позволяет сохранять/возвращать/удалять состояние ВМ.
Функционал доступен: на вкладке «Снимки» пункта меню «Виртуальные машины».

Внимание, остановка КТ ведет к автоматическому удалению всех ранее созданных снимков диска!
 

Внимание, функция Snapshot в виртуальных машинах, развернутых в кластере ceph не работает, из-за ограничений самого ceph. Пользуйтесь бекапом диска! 

Использование основных операций с диском

Постоянный/непостоянный образ

Постоянный образ может использовать одновременно только одна ВМ/КТ, т.к. «постоянный» в этом контексте означает сохранение всех внесённых за время работы ВМ/КТ изменений в её диск при выключении ВМ/КТ. В случае, если ВМ/КТ будет удалена с использованием операции «Выключить»(!), все данные будут сохранены в этот диск. Непостоянный образ может использоваться одновременно несколькими ВМ/КТ. Данные в такой диск не будут сохранены после удаления ВМ/КТ любой из доступных операций удаления. Чтобы сделать образ постоянным/непостоянным, нужно отметить конкретный образ («Виртуальные ресурсы» -> «Образы ВМ») и выбрать нужное действие: «Сделать постоянными» или «Сделать непостоянным». Образ может иметь один из нескольких статусов: «Ready» — образ не используется ни одной из ВМ/КТ, но готов к использованию; «USED» — непостоянный образ используется хотя бы одной ВМ/КТ; «USED_PERS»- постоянный образ используется ВМ/КТ (о других статусах и более подробно об упомянутых выше можно почитать по ссылке).

Клонирование образа

Непостоянный образ можно клонировать в любом статусе, в котором он находится («Ready» или «Использовано»). Постоянный образ можно клонироать только в статусе «Ready». Для клонирования диска необходимо его выбрать и нажать кнопку «Клонировать» («Clone»).

Задание размера диска (только для OpenVZ)

По умолчанию размере диска контейнера равен 10,2 ГБ. Задать необходимый его размер можно только до его создания, указав необходимый размер в значении параметра OVZ_SIZE в шаблоне.

Если, например, необходимо создать контейнер с диском на 20 ГБ, то в разделе «DISK» шаблона в качестве значения параметра OVZ_SIZE должно быть установлено 20480 (20*1024), т.е.

 DISK=[

IMAGE_UNAME="oneadmin",

IMAGE="openvz_scientific_6-x86_64_krb_clst33",

OVZ_SIZE="20480"] 

Изменение размера диска работающего контейнера (КТ) OpenVZ

Процедура изменения размера диска зависит от того, был ли образ, из которого создавался КТ, “постоянным” (persistent) или нет (non-persistent).

Если образ был “постоянный”, то для изменения размера диска необходимо выполнить следующие действия.

 

Замечание: перед тем, как приступать убедитесь, в отсутствии сетевых дисков в контейнере.

 

Выключить ВМ командой “terminate”. Внесенные на диск контейнера изменения будут сохранены в исходный образ при выключении. Далее необходимо отредактировать шаблон, указав в нем нужный размер: “Шаблоны→ВМ→”нужный шаблон””. Далее нажать кнопку “Обновить”, выбрать меню “Расширенный”

и в параметр “DISK” добавить строку “OVZ_SIZE = “нужный размер” (ВАЖНО:размер указывается в мегабайтах)

Пример:

DISK = [

IMAGE = "Copy of centos-7-openvz",

IMAGE_UNAME = "username",

OVZ_SIZE = "8192" ]

с таким параметром будет создана ВМ с размером диска 8 ГБ
Далее нажать кнопку "Обновить" и создать контейнер из этого шаблона. При этом в нём остануться все данные и изменения, которые были внесены на момент запуска команды “terminate”.
Если же образ не был “постоянным”, то для изменения размера диска работающего контейнера необходимо предварительно сохранить его диск в новый образ. Для этого нужно проделать следующие шаги.
Выбрать нужную ВМ: “ВМ→Экземпляры ВМ”.

Далее выключить контейнер командой “Отключить питание”,

Дождаться пока выключится и сохранить, нажав на кнопку “Save” . Затем необходимо ввести название для нового образа диска и нажать кнопку “Сохранить как шаблон”. После этого будет создан образ диска и шаблон. Шаблон будет являться копией того, из которого был создан контейнер до сохранения. Изменится только параметр хранилища, будет использоваться сохраненный образ, и сбросится параметр “Сеть”. Поэтому нужно зайти в шаблон и нажать кнопку “Обновить”, выбрать меню “Сеть” и указать нужную сеть. Далее для изменения размера диска, выполняются те же действия что и с “персистентным” образом. Нужно перейти во вкладку “расширенный”  и в параметр “DISK” добавить строку “OVZ_SIZE = “нужный размер” (ВАЖНО:размер указывается в мегабайтах).

Пример:

DISK = [

IMAGE = "Copy of centos-7-openvz",

IMAGE_UNAME = "username",

OVZ_SIZE = "8192" ]

с таким параметром будет создана ВМ с размером диска 8 ГБ

Далее нажать кнопку обновить и создать ВМ из этого шаблона.Также можно создать новый или изменить уже существующий шаблон (см. раздел Создание/редактирование шаблонов ВМ/КТ руководства), указав сохранённый образ диска. При создании контейнера с использованием нового образа в нём останутся все данные и изменения, которые были внесены на момент сохранения.

Создание и удаление персистентного образа типа DATABLOCK.

В этой части руководства описана процедура создания образа типа DATABLOCK (Блок данных) и подключение его к уже работающей ВМ.

В данном руководстве рассмотрен пример создания пустого диска(например для добавления рабочего пространства в ВМ). Для начала необходимо создать новый образ, Storage→Образы ВМ→Знак «плюс». 

В поле «Название» необходимо указывать желаемое имя образа, далее в поле «Тип» выбирать «Generic storage datablock», а в качестве системы хранения  «Хранилище» - «135:ImageDS_ceph». Раздел веб-формы «Расположение образа» является настраиваемым. Так как в руководстве рассматривается создание пустого образа, необходимо выбирать параметр «Пустой образ диска» и задать требуемый размер диска. Далее отметить  пункт меню «Этот образ является постоянным» (это нужно для того, чтобы все данные, которые вы будете вносить, сохранялись в этом образе). Следующим шагом, в обязательном порядке, следует развернуть пункт меню «Расширенные настройки» и выбрать опции  «Шина»→ «Virtio» и «Image mapping driver» → «qcow2». После выполнения этих действий нажать кнопку «Создать».

Теперь можно добавить созданный нами образ к запущенной ВМ. Для этого необходимо зайти «Экземпляры ВМ»→ «ВМ» и выбрать ВМ, в которую будет добавляться созданный Datablock. После чего в пункте меню «Хранилище» необходимо нажать кнопку «Добавить диск» и выбрать созданный образ, затем нажать кнопку «Присоединить». После выполнения этих действий созданный образ Datablock появится в списке как еще один диск. 

Теперь можно работать с этим образом в самой ВМ. Для этого необходимо зайти на ВМ и посмотреть информацию о подключенных дисках, он будет отображаться как новый диск. Далее можно работать с ним как с обычным диском в системе: форматировать, монтировать, работать с данными и т.п.

Для удаления этого образа необходимо выполнить все действия в обратном порядке. Для начала, чтобы не было проблем в нашей ВМ, необходимо удалить все связи и ссылки в системе с этим диском, которые были созданы и размонтировать диск.  Далее перейти «Экземпляры ВМ»→ «ВМ» , выбрать ВМ из которой удаляем DATABLOCK и в пункте меню «Хранилище» нажать на кнопку «Detach».  

После выполнения выше перечисленных действий можно удалять и сам образ, «Storage»→ «Образы ВМ», выбираем образ и нажимаем на кнопку удалить.

Добавление дополнительного сетевого интерфейса в ВМ

Чтобы добавить еще один сетевой интерфейс в ВМ необходимо выполнить следующие шаги: 

- выбрать ВМ, в которую он будет добавлен “Экземпляры ВМ”→”ВМ”

- выбрать вкладку “Сеть” и нажать кнопку  “Добавить сетевой интерфейс”.

Далее выбрать нужную сеть и нажать “Присоединить”. После чего новый интерфейс появится в списке сетевых интерфейсов этой ВМ.

Для того, чтобы интерфейс заработал, необходимо произвести его настройку внутри ВМ. Ниже рассмотрен пример настройки для системы Linux.

Для настройки сетевого интерфейса в ВМ необходимо подключится к ней по SSH или VNC. Добавить таблицу «rt2» в “/etc/iproute2/rt_tables”.  Чтобы это сделать, можно воспользоваться командой «echo»

echo 1 rt2 >> /etc/iproute2/rt_tables

или воспользоваться редактором типа «Vim», «Nano». В этом случае запись добавляется в конец файла и должна быть вида «1 rt2».

Чтобы посмотреть как называется сетевой интерфейс, можно воспользоваться командами:

ip a l

или 

ifconfig 

Также после вывода этих команд будет видно, есть ли на интерфейсе IP адрес.

Далее нужно назначить IP-адрес и добавить маршрут, выполнив следующие команды (имя интерфейса ens7 и IP 159.93.222.222 использованы для примера, соответственно они будут отличаться от тех, которые будут у вас):

 ip address add 159.93.222.222/32 dev ens7

ip route add 159.93.220.0/22 dev ens7  src 159.93.222.222 table rt2

ip route add default via 159.93.222.222 dev ens7 table rt2

ip rule add from 159.93.222.222/32 table rt2 

После этого ВМ будет доступна по новому IP.

Для того чтобы удалить интерфейс, для начала нужно убрать IP-адрес с сетевого интерфейса:

 ip addr del 159.93.222.222/32 dev ens7

ip addr flush dev ens7 


После чего удаляем интерфейс через веб-интерфейс облачной инфраструктуры - “Экземпляры ВМ”→”ВМ”.  Во вкладке “Сеть” необходимо нажать на кнопку “Отсоединить” у удаляемого интерфейса.

Руководство пользователя облачного хранилища

Запрос на ресурсы облачного хранилища

Первоначально пользователь имеет нулевые квоты на ресурсы. Чтобы увеличить квоты, пользователь должен отправить соответствующий запрос посредством специальной веб-формы через сервис helpdesk. Для этого на сайте helpdesk.jinr.ru для нужно заполнить веб-форму запроса ресурсов (см. рисунок ниже), доступную по следующему пути: Новый запрос -> Облачный сервис -> Облачное хранилище -> Запрос ресурсов. 

Как использовать CephFS

Ceph-fuse

Добавить EPEL репозиторий

yum install epel-release

Добавить ceph репозиторий

yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-release-1-1.el7.noarch.rpm

Установите пакеты ceph-common и ceph-fuse

yum install ceph-common ceph-fuse

Файл с ключом

Создайте файл /etc/ceph/ceph.client.<user>.keyring со следующим содержимым:

[client.<user>]

        key = <key>

Монтирование

Монтирование вручную из командной строки

$ ceph-fuse -m 10.93.220.121:6789 -m 10.93.220.122:6789 -m 10.93.220.123:6789 -n client.<user> /mnt/<user> -r <path-on-remote-share>

Монтирование при загрузке через /etc/fstab

/etc/fstab:

none    /mnt/<cephfs>    fuse.ceph    ceph.id=<user>,ceph.conf=/etc/ceph/ceph.conf,ceph.client_mountpoint=<path-on-remote-share>,_netdev,defaults,noauto,comment=systemd.automount  0 0

/etc/ceph/ceph.conf:

[global]

mon host = 10.93.220.121,10.93.220.122,10.93.220.123

Режим ядра Ceph

ПРИМЕЧАНИЕ. Невозможно смонтировать cephfs в режиме ядра на ядре старше 4.4 из-за ошибки (см. Лучшие практики Ceph). Необходимо установить новое ядро (например, для CentOS 7 можно установить из ELRepo).

Установка нового ядра из ELRepo

yum install http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

yum remove -y kernel-{devel,tools,tools-libs}

yum --disablerepo="*" --enablerepo="elrepo-kernel" install kernel-mt kernel-mt-tools

grub2-mkconfig -o /boot/grub2/grub.cfg

grep vmlinuz /boot/grub2/grub.cfg

grub2-set-default 0

Установка ceph-common package

yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-release-1-1.el7.noarch.rpm

Установка ceph-common

yum install ceph-common

Монтирование

Файл ключей, содержащий только секретный текст, должен быть размещен где-то с 600 правами (например, /root/ceph.mpi.keyring).

Монтирование вручную из командной строки

mount -t ceph 10.93.220.121:6789,10.93.220.122:6789,10.93.220.123:6789:<path-on-remote-share> /mnt/cephfs -o name=<user>,secretfile=/root/ceph.mpi.keyring

Монтирование при загрузке через fstab:

10.93.220.121:6789,10.93.220.122:6789,10.93.220.123:6789:<path-on-remote-share>         /mnt/<cephfs>        ceph    name=<user>,secretfile=/root/ceph.mpi.keyring,noatime,_netdev,noauto,comment=systemd.automount     0 0