МИВК Многофункциональный
информационно-вычислительный
комплекс ОИЯИ

EN

Руководства пользователя

Руководство пользователя сервиса облачных вычислений

Для работы в облаке пользователь должен успешно пройти в нём процедуру аутентификации. Подробная информация представлена в разделе «Начать использовать облако».

Запрос на ресурсы

После первого входа в веб-интерфейс облака пользователь имеет нулевые квоты на ресурсы, в виду чего он не сможет создавать виртуальные машины. Чтобы увеличить квоты, пользователь должен отправить соответствующий запрос посредством специальной веб-формы через сервис helpdesk. Для этого на сайте helpdesk.jinr.ru нужно заполнить веб-форму запроса ресурсов (см. рисунок ниже), доступную по следующему пути: Новый запрос →  Облачный сервис →  Облачные вычисления →  Запрос ресурсов.

Облачная команда настоятельно рекомендует указать адрес электронной почты в профиле пользователя в сервисе helpdesk.  Благодаря этому, Вы сможете получать уведомления об изменениях в открытых Вами билетах.

Доступ на виртуальные машины

Доступ к виртуальным машинам на базе KVM, созданных из общедоступных шаблонов, можно получить как через VNC (в том числе и через веб-интерфейс Sunstone), так и по протоколу ssh.

VNC

Внимание! Данный способ доступа на ВМ возможен только из сети ОИЯИ (159.93.0.0/16).

Для удаленного доступа к ВМ через VNC посредством веб-интерфейса нужно нажать на кнопку «VNC», находящуюся в крайнем правом столбце напротив соответствующей ВМ либо на панели на странице вкладки «Информация» конкретной ВМ (см. рисунки ниже).

После подключения через VNC, появится следующее окно и можно приступить к работе на созданной ВМ:

VNC использует вход только по логину/паролю. Если ВМ создавалась из общедоступных шаблонов требуется ввести те же логин/пароль, что использовались при входе в облако. Если ВМ создавалась из шаблона пользователя, то нужно зайти через ssh и создать пользователя (useradd surname, passwd ***********).

Доступ к сервису из других сетей (вне ОИЯИ)

Для того что-бы воспользоваться облачным сервисом находясь вне сети ОИЯИ можно использовать несколько вариантов, например использовать VPN, настроить прокси соединение на своем компьютере. 

В данном руководстве описано подключение к сервису с использованием программы x2go. Для начала использования данной программой необходимо установить x2go client. Как это сделать для вашей системы можно прочитать тут - wiki.x2go.org.

После установки необходимо настроить соединение. Для этого нужно запустить установленный x2go client и создать новое подключение. В появившемся окне на вкладке «Сессия» настроить следующие параметры: имя сессииадрес подключения (lxpub.jinr.ru), имя пользователя (имя пользователя и пароль для подключения используются от учетной записи ОИЯИ (login.jinr.ru)). Порт оставить 22,  выбрать тип сессии - приложение, а в качестве приложения - интернет браузер и нажать “ОК”. 

До того как будет нажата кнопка “ОК”, во вкладке “Ввод/Вывод” можно изменить разрешение экрана с которым будет открыто окно соединения. Это не обязательная опция, но с помощью ее можно настроить более комфортное отображение подключения.

Для запуска сессии нужно нажать на имя только что созданного подключения, ввести пароль и нажать “ОК”. Из-за первого подключения возможно вылетит предупреждение, с ним нужно просто согласится.

После этого откроется окно браузера в котором пользователю предоставлен доступ на внутри институтские ресурсы.

SSH

Аутентификация по логину/паролю 

Для доступа на ВМ по тому же пользовательскому логину и паролю, которые были использованы для входа на веб-интерфейс облачной инфраструктуры, ВМ должны быть созданы на основании одного из общедоступных шаблонов ВМ (шаблоны созданные под oneadmin).

Зайдя на ВМ с использованием общеинститутской учётной записи, для получения прав суперпользователя необходимо в командной строке выполнить команду «sudo su -» и ещё раз ввести пароль от своей общеинститутской учётной записи.

Аутентификация по ключу

По умолчанию все пользовательские ВМ с ОС Linux, созданные из общедоступных шаблонов и имеющие публичный IP-адрес, доступны по 22-ому порту по протоколу ssh из сетей ОИЯИ, ЦЕРН, НетБайНет и ТМПК. ВМ с IP-адресами из частных подсетей (192.168.0.0/16 и 10.93.0.0/16) доступны по ssh только из сети ОИЯИ.

Для доступа на ВМ под пользователем root по RSA-/DSA-ключу необходимо добавить свой публичный ключ в профиль. Для этого нажмите на своего пользователя, выберите «Настройки».

Далее на вкладке «Аутентификация» в поле «Публичный SSH ключ» разместите свой публичный ключ. 

Генерация ssh-ключа

Для генерации ssh-ключа в ОС Linux необходимо выполнить следующие действия:

В консоли (терминале) ввести команду:

 # ssh-keygen  

  • В ответ на запрос «Enter file in which to save the key (/root/.ssh/id_rsa):» задать путь к файлу с закрытым ключом или нажать клавишу «Enter», чтобы использовать предлагаемый по умолчанию путь ~/.ssh/id_rsa.
  • В ответ на запрос «Enter passphrase (empty for no passphrase):» ввести пароль для доступа к закрытому ключу или нажать клавишу «Enter», чтобы оставить доступ к закрытому ключу без пароля.
  • В ответ на запрос «Enter same passphrase again:» ввести пароль ещё раз или снова нажать «Enter» для беспарольного доступа к закрытому ключу.

В результате этих действий будет создана директория ~/.ssh, если её ранее не существовало, а также в ней будут созданы открытый и закрытый rsa-ключи (файлы с именами id_rsa.pub и id_rsa соответственно).

Содержимое открытой части rsa-ключа (т.е. файла id_rsa.pub) нужно вставить в поле поле «Публичный SSH ключ» в настройках своего профиля.

Для генерации ssh-ключа в ОС Windows необходимо выполнить следующие действия:

Запустите программу PuTTYgen (скачать программу можно по ссылке). Нажмите на кнопку «Generate». Для генерации ключа перемещайте курсор в пустом поле «Key».

Сохраните полученные ключи у себя на компьютере.  Скопируйте содержимое открытой части rsa-ключа в поле «Публичный SSH ключ» в настройках своего профиля.

Иногда может потребоваться преобразовать приватный SSH ключНапримервы создали SSH ключ в приложении PuTTY, а приложение в котором необходимо использовать ключ поддерживает формат ключей OpenSSH, в частности программа x2go. Для конвертации ключа запускаете программу PuTTYgen. Загружаете приватный ppk ключ выбрав «File» → «Load private key». Вводите кодовое слово (passphrase), если требуется для данного ключа. Для экспорта приватного ключа в формат OpenSSH выбираете в главном меню «Conversions» → «Export OpenSSH key». Сохраняете приватный ключ в новый файл. В результате конвертации получаете приватный ключ в формате OpenSSH.

Вход на ВМ c использованием ssh-ключа

ОС Linux:

Для входа на ВМ выполните в терминале команду:

$ ssh root@[IP-адрес сервера] 

После этого соединение с сервером будет установлено. Вводить пароль при этом не потребуется.

ОС Windows:

Для входа на ВМ можно использовать программу PuTTY (обратите внимание, чтобы на компьютере стояла английская раскладка клавиатуры перед запуском).

Для того, чтобы авторизоваться по RSA ключу, его нужно добавить в программу. Для этого нужно раскрыть вкладку «SSH», выбрать поле «Auth», нажать на кнопку «Browse».

Далее нужно выбрать сохраненный private key (его нужно добавлять каждый раз, когда запускаете PuTTY).

После этого на вкладке «Session» в поле «Host Name (or IP address)» необходимо указать IP адрес вашей ВМ и нажать кнопку «Open».

Для удобства можно в поле «Host Name (or IP address)» вводить данные сразу с именем пользователя: «username@ip_VM», например, root@159.93.221.49. 

В появившемся окне выбрать кнопку «Да» («Yes»).

В открывшемся терминале необходимо указать логин «root» и нажать «Enter». После этого соединение с сервером будет установлено. Вводить пароль при этом не потребуется.

Если пользователь был указан в поле Host Name (or IP address)», соединение с сервером будет установлено без необходимости указания логина в терминале.

Внимание! В некоторых случаях требуется запустить приватный ключ, чтобы он висел в трее, пока идет работа с ВМ.

При использовании устройств с Windows 10 (версия 1809 и более поздние) для входа на ВМ можно также использовать клиент OpenSSH. Подробнее про его настройку и использование можно почитать здесь.

Создание и редактирование шаблонов ВМ

Для создания шаблона ВМ можно использовать любой  из общедоступных в облачном сервисе шаблонов. Для этого необходимо выбрать подходящий шаблон и нажать кнопку «Клонировать».

Указать имя клонированного шаблона и нажать кнопку «Клонировать» (при выборе «Клонировать» в новом шаблоне будут указаны те же диски, что были в прежнем шаблоне, если выбрать «Клонировать из образа», тогда будут сделаны копии упоминаемых в клонируемом шаблоне образов и в новый шаблон будут подставлены ID новых (склонированных) образов дисков, аналогично происходят команды удаления шаблонов и образов).

В случае необходимости работы с другим SSH ключом (отличным от загруженного в профиле), например, если заходите с другой машины и используете другую пару ключей, Вы можете добавить новый SSH ключ в шаблон. Выберите шаблон и нажмите «Обновить», на вкладке «Контекст», в блоке «Конфигурация» в поле «Открытый ключ SSH» вставьте новый SSH ключ.

 

Для создания собственного шаблона необходимо вызвать окно конструктора шаблона ВМ. Для этого нужно нажать зеленую кнопку «плюс» и выбрать «Создать».

Доступны два окна конструктора: «Мастер настройки» и «Расширенный».

В окне «Мастер настройки» задаются основные параметры ВМ: ЦПУ, ОЗУ, Диск, IP-адрес и др.

В окне «Расширенный» задаются специфические параметры, которые недоступны из окна «Мастер настройки», например, OVZ_SIZE или OSTEMPLATE.

Внимание!!! Допускается работать одновременно только с одним окном. То есть для задания основных и специфичных параметров используется окно «Мастер настройки», после чего шаблон сохраняется и редактируется в окне «Расширенный».

Для сохранения нового шаблона нажмите кнопку «Создать».

Для редактирования шаблона и последующего его сохранения необходимо нажать кнопку «Обновить».

Проброс ЦПУ с сервера внутрь ВМ

Для увеличения производительности центрального процессора (ЦПУ) внутри ВМ, в том числе поддержки более широкого набора инструкций, ЦПУ пробрасывают внутрь ВМ. Однако мигрировать такую ВМ можно будет только на сервер с точно такой же моделью ЦПУ (см. ссылку).

Для проброса модели ЦПУ сервера внутрь ВМ необходимо перейти в раздел «Шаблоны»→ «ВМ», выбрать нужный шаблон и нажать на кнопку «Обновить».

Затем на вкладке «ОС и ЦП» в пункте «Модель ЦП» из выпадающего списка выбрать «host-passthrough» и нажать на кнопку «Обновить».

Создание виртуальных машин

Для того, чтобы приступить к изучению данного материала, необходимо ознакомится с изложенным ранее пунктом «Доступ на виртуальные машины».

Методы добавления ВМ

Существует несколько методов добавления образов в ваше облако, а именно:

  • Использование магазина приложений OpenNebula (не рекомендуется);
  • Запрос образа через Helpdesk (ВМ);
  • Создание образов в среде OpenNebula.

Использование магазина приложений OpenNebula

Для загрузки образа из магазина Вам необходимо перейти в «Магазины приложений», там выбрать «OpenNebula Public» → «Приложения» (или сразу выбрать «Приложения»). 

В списке необходимо выбрать подходящий образ диска, гипервизор (KVM). Внимательно изучите описание шаблонов готовых ВМ. Данные шаблоны предоставляются и изменяются только компанией OpenNebula. Cкачайте выбранный образ.

Далее выберите хранилище данных, а также задайте имя образа и шаблона. Для KVM — используйте хранилище ImageDS_ceph.

Обратите внимание, что при выборе загрузки в хранилище ImageDS_ceph, нужно выбирать образы в формате raw, а не qcow2, поскольку с диском в формате qcow2 могут возникнуть проблемы при создании ВМ (подробную информацию можно изучить на сайте). 

Запрос необходимого образа через HelpDesk

Если образ и шаблон с необходимой операционной системой отсутствует в магазине или в облаке ОИЯИ, то можно отправить на рассмотрение запрос в HelpDesk с просьбой получить доступ к нужному образу/шаблону, если они уже существуют в облаке, либо попросить создать нужный.

Запрос создается через форму на сайте helpdesk.jinr.ru, в разделе «Облачный сервис» → «Облачные вычисления» → «Поддержка пользователей облачного сервиса».

В форме запроса обязательно следует указать идентификатор (т.е. логин) пользователя в cloud.jinr.ru, название или номер необходимого образа и/или шаблона (если они уже существуют в облаке) или название и версию требуемой ОС, а также её разрядность и тип виртуализации (KVM).

!Внимание. Обязательно в запросе указывайте имя пользователя в cloud.jinr.ru, имя и версию операционной системы, разрядность и тип виртуализации (KVM).

Создание образов в среде OpenNebula

OpenNebula предоставляет возможность самостоятельно создать необходимый образ с виртуализацией на базе KVM.

Для создания нового образа перейдите в раздел «Образы ВМ». Нажмите на знак «+» → «Создать». Дайте название, описание, выберите тип образа «CD-ROM только для чтения», хранилище «ImageDS_ceph», расположение образа «Закачать», далее укажите путь к файлу (.iso). После чего нажмите кнопку «Создать».

Создайте образ DATABLOCK, укажите размер образа (например, 10 ГБ). Создание образа DATABLOCK описано в пункте «Создание и удаление персистентного образа типа DATABLOCK».

Перейдите в раздел «Шаблоны ВМ» → «ВМ», далее создайте новый шаблон и настройте указанные параметры.

На вкладке «Общие» установите параметры машины в зависимости от вашей квоты.

На вкладе «Хранилище» укажите ранее созданный пустой диск (DATABLOCK), далее добавьте новый диск и укажите ваш диск с установщиком ОС.

На вкладке «Сеть» укажите сеть (например, «220-priv»).

На вкладке «OS&CPU» укажите архитектуру устанавливаемой системы, далее установите в качестве первого загрузочного устройства — HDD, а в качестве второго  — CDROM (при такой последовательности загрузочных устройств при чистом HDD загрузка произойдёт с CDROM, а в дальнейшем, когда ОС будет уже установлена на HDD, загрузка будет всегда осуществляться с HDD). 

На вкладке «Ввод/Вывод» установите флажок на VNC.

На вкладке «Контекст» → «Конфигурация», скопируйте ваш открытый SSH (.pub) для доступа к ВМ по ключу. (настройка подключения описана в пункте «Доступ на виртуальные машины»). 

Запустите ВМ, выбрав созданный, настроенный шаблон и подключитесь к ВМ через VNC. Установку системы продолжайте в графическом режиме.

Описание создания, а также редактирования шаблонов ВМ представлено ранее в пункте «Cоздание/редактирование шаблонов ВМ».

Важный момент! При использовании ВМ с типом виртуализации KVM, необходимо использовать хранилище ImageDS_ceph. Важно выбрать правильное хранилище данных и сеть: в случае виртуальных машин KVM необходимо выбрать ImageDS_ceph

Создание ВМ

Для создания ВМ в разделе «Экземпляры ВМ» → «ВМ» необходимо нажать на кнопку «+» , выбрать шаблон ВМ. Указать имя и количество создаваемых экземпляров по шаблону. При необходимости настроить другие параметры, как «Создать как постоянную» (сделать постоянную копию шаблона, вместе со всеми добавленными дисками, и развернуть ее),  «Память», «CPU», «Кол-во вирт. ЦП» (обычно параметры «CPU» и  «Кол-во вирт. ЦП» равны, если нет особой нужды, лучше их сделать равными), размер диска (только для машин с виртуализацией KVM), «Сеть» и т.д , затем нажать на кнопку «Создать».

 

В поле «ДИСК» можно задать необходимый размер диска, из которого создается ВМ.

Внимание!!! Изменение размера для диска сработает, если на нем установлена и добавлена в автозагрузку контестуализация от opennebula.

Операционную систему ВМ в облаке ОИЯИ рекомендуется выносить на отдельный диск, а для ПО, пользовательских данных и прочего - использовать ещё один отдельный диск. Размер диска под ОС не рекомендуется делать большим (практика показывает, что 10-20 ГБ вполне достаточно для большинства задач), чтобы можно было достаточно оперативно сделать резервную копию диска (операция saveas) и при необходимости восстановить из резервной копии. Кроме того, при таком сценарии диск с данными/ПО можно переподключить к другой ВМ, оставляя текущую ВМ в рабочем состоянии (предварительно, необходимо размонтировать соответствующее этому диску блочное устройство). Если необходимо, чтобы все внесённые на диски изменения (будь-то диск с ОС или диск с ПО/данными) сохранились при выключении/штатном удалении ВМ, диск нужно сделать постоянным ("persistent").

Процесс создания ВМ может занять несколько минут. При достижении ВМ статуса «Запущено» (с информацией о жизненном цикле ВМ и возможных статусах можно ознакомиться по ссылке) её доступность по сети можно проверить, например, командой ping:

 # ping <IP-адрес ВМ> 

Как только поступит ответ – машина запущена и готова к работе.

Над ВМ можно совершать определенные действия: сохранить, запустить, заблокировать, приостановить работу, отключить питание, перегрузить, перенести, уничтожить (подробнее по ссылке).

Обратите внимание, что если машина заблокирована, то к ней невозможно применить никакие действия, кроме «разблокировать»

Произвести подключение к созданной ВМ можно через VNC или ssh-протокол. Настройка подключения описана в пункте «Доступ на виртуальные машины».

Подключение через SSH-протокол выполняется через команду:

 # ssh root@<VM IP-address or hostname>

Вместо «<VM IP-address or hostname>» необходимо указать IP-адрес ВМ или сетевое имя.

Изменение параметров работающей ВМ

При необходимости можно изменять параметры созданной виртуальной машины.

Внимание!!! Для этой операции вашей виртуальной машине необходимо отключить питание!

Дождитесь статуса POWEROFF (до него будет статус SHUTDOWN), затем нажмите активную кнопку «Применить» в поле «Производительность».

Измените необходимые поля («Память», «CPU», «Кол-во вирт. ЦП») и нажмите кнопку «Применить».

Обратите внимание, что параметры были изменены и запустите виртуальную машину, нажав кнопку «RUN».

Клонирование ВМ

Для того, чтобы клонировать виртуальную машину необходимо на вкладке «Хранилище» нажать в «Действиях» кнопку "Saveas". 

В открывшемся окне задать имя нового образа и нажать кнопку «Сохранить как».

На вкладке «Хранилище» → «Образы ВМ» убедиться, что склонированный диск имеет статус «Готово».

При необходимости сделать его персистентным (как это сделать, можно прочитать здесь).

Далее в нужном шаблоне ВМ на вкладке «Хранилище» выбрать созданный диск.

На вкладке «Сеть» выбрать виртуальную сеть 220-priv (ID:569) или 22x_pub (ID:9)  (обратите внимание, что для этого требуются свободные квоты на  выбранный ресурс), и нажать кнопку «Обновить». 

ВМ присвоится свободный IP адрес из общего пула сети. 

Если требуется определенный IP адрес из пользовательской, зарезервированной сети (подробнее здесь), то его можно указать в предыдущем шаге (как на скриншоте). 

После внесенных изменений в шаблон можно создавать из него виртуальную машину.

Создание ВМ на базе существующего шаблона с персистентным образом

Для создания шаблона виртуальной машины на базе существующего шаблона с персистентным (постоянным) образом и изменением размера данного образа необходимо выполнить следующие шаги:

Перед созданием ВМ персистентый диск  необходимо сделать неперсистентым, подробнее по ссылке.

При создании ВМ с неперсистентым (непостоянным) диском указать требуемый размер диска. 

После того, как ВМ перешла в статус «ЗАПУЩЕНО» сохранить диск. Для этого необходимо выбрать требуемую ВМ,  перейти на вкладку «Хранилище», в колонке «Действия» нажать на «Savas» (знак дискеты)

Далее нужно убедиться, что сохраненный диск перешел из статуса «ЗАБЛОКИРОВАН» в статус «ГОТОВО» и сделать его персистентым (постоянным).

На вкладке «Хранилище» виртуальной машины, в колонке «Действия» выполнить операцию «отсоединить» (dettach, знак крестика) для диска «vda».

Подключить сохраненный диск и перезагрузить ВМ, выполнив «Перезагрузить жестко».

Создание ВМ с проброшеной внутрь неё GPU-картой

Для использования таких ресурсов требуется доступ на кластер juno-gpu и наличие образов на хранилище image-ceph.

Чтобы создать ВМ такого типа, в темплейте нужно указать дополнительные параметры.

Для этого нужно создать или обновить уже существующий шаблон. После задания параметров ВМ нужно перейти во вкладку «Все остальные», в блоке «PCI устройства» нажать на кнопку «+» и в открывающемся списке выбрать доступное устройство. Далее сохранить темплейт и инициировать создание ВМ из него.

Чтобы проверить подключение устройства, нужно зайти на созданную ВМ по ssh и с помощью утилиты, например «pciutils», посмотреть подключенные устройства.

Пример для Centos:

yum install pciutils

lspci -vvv | grep NVIDIA

Описание специфичных параметров

LOOKUP_HOSTNAME: при значении «true» (второе возможное значение — «false») устанавливаем сетевое имя машины из DNS.

HOSTNAME: ручное задание сетевого имени ВМ.

Использование основных операций с диском

Постоянный/непостоянный образ

Постоянный образ может использовать одновременно только одна ВМ, так как «постоянный» в этом контексте означает сохранение всех внесённых за время работы ВМ изменений в её диск при выключении ВМ. В случае, если ВМ будет удалена с использованием операции «Уничтожить», все данные будут сохранены в этот диск.

Непостоянный образ может использоваться одновременно несколькими ВМ. Данные в такой диск не будут сохранены после удаления ВМ любой из доступных операций удаления.

Чтобы сделать образ постоянным/непостоянным, нужно отметить конкретный образ («Хранилище» →  «Образы ВМ») и выбрать нужное действие: «Сделать постоянными» или «Сделать непостоянным».

Образ может иметь один из нескольких статусов: «ГОТОВО» — образ не используется ни одной из ВМ, но готов к использованию; «ИСПОЛЬЗУЕТСЯ» — непостоянный образ используется хотя бы одной ВМ; «ИСП.СОХР»- постоянный образ используется ВМ (о других статусах и более подробно об упомянутых выше можно почитать по ссылке).

Клонирование образа

Существующие образы могут быть клонированы. Это полезно, если вы хотите сделать резервную копию образа перед его изменением или получить личную постоянную копию образа, предоставленную другим пользователем. Непостоянный образ можно клонировать в любом статусе, в котором он находится («ГОТОВО» или «ИСПОЛЬЗУЕТСЯ»). Постоянный образ можно клонировать только в статусе «ГОТОВО». Для клонирования диска необходимо его выбрать и нажать кнопку «Клонировать».

Создание снимков диска 

Функционал созданный для работы со снимками позволяет сохранять/возвращать/удалять состояние ВМ. Функционал доступен на вкладке «Снимки» пункта меню «Экземпляры ВМ» → «ВМ».

Внимание, функция Snapshot в виртуальных машинах, развернутых в кластере ceph не работает, из-за ограничений самого ceph. Пользуйтесь бекапом диска! 

Сохранение образов диска (бекап диска)

Для сохранения данных на диске ВМ можно воспользоваться функционалом облака. Выберите виртуальную машину, бекап диска которой хотите выполнить.

Перейдите на вкладку «Хранилище», выберите нужный образ и нажмите на кнопку «Сохранить как» («Saveas»).

Задайте имя нового образа и нажмите кнопку «Сохранить как».

После выполнения данного действия, новый образ появится в разделе «Хранилище»→ «Образы ВМ». Перейдите туда.

На вкладке «Информация» в поле «Постоянный» выберите «да».

После чего нажмите «Включить».

Теперь можно изменить прежде сохраненный (или уже имеющийся) шаблон или создать новый, используя созданный образ диска. Для этого в разделе «Шаблоны» → «ВМ» на вкладке «Общие» настройте необходимые параметры.  

На вкладке «Хранилище» выберите созданный вами образ диска.

На вкладке «Сеть» выберите подходящий вариант сети.

Теперь Вы можете создать на основе шаблона новую виртуальную машину, на диске которой будут все данные исходной ВМ.

Создание и удаление персистентного образа типа DATABLOCK.

В этой части руководства описана процедура создания образа типа DATABLOCK (Блок данных) и подключение его к уже работающей ВМ.

В данном руководстве рассмотрен пример создания пустого диска(например для добавления рабочего пространства в ВМ). Для начала необходимо создать новый образ, «Хранилище»→»Образы ВМ»→Знак «+»→ «Создать». 

В поле «Название» необходимо указывать желаемое имя образа, далее в поле «Тип» выбирать «Generic storage datablock», а в качестве системы хранения  «Хранилище» - «135:ImageDS_ceph».

В зависимости от выбранного типа создаваемого диска раздел «Расположение образа» предлагает разные параметры. Так как в руководстве рассматривается создание пустого образа, необходимо выбирать параметр «Пустой образ диска» и задать требуемый размер диска. Далее отметить  пункт меню «Этот образ является постоянным» (это нужно для того, чтобы все данные, которые вы будете вносить, сохранялись в этом образе).

Следующим шагом, в обязательном порядке, следует развернуть пункт меню «Расширенные настройки» и выбрать необходимые опции и их параметры:

«bus» (шина) = «virtio»,  «image mapping driver» = «raw».

После выполнения этих действий нажать кнопку «Создать».

Теперь можно добавить созданный нами образ к запущенной ВМ. Для этого необходимо зайти «Экземпляры ВМ»→ «ВМ» и выбрать ВМ, в которую будет добавляться созданный Datablock. После чего в пункте меню «Хранилище» необходимо нажать кнопку «Добавить диск» и выбрать созданный образ, в пункте меню «Расширенные настройки» выбрать необходимые опции и их параметры:

«bus» (шина) = «virtio»,

«cache» = «writeback» (здесь можно узнать другие возможные варианты с пояснениями их значения),

«discard» = «unmap»,

«image mapping driver» = «raw»,

«IO policy» = «threads».

Затем нажать кнопку «Присоединить». После выполнения этих действий созданный образ Datablock появится в списке как еще один диск. 

Теперь можно работать с этим образом в самой ВМ. Для этого необходимо зайти на ВМ и посмотреть информацию о подключенных дисках, он будет отображаться как новый диск. Далее можно работать с ним как с обычным диском в системе: форматировать, монтировать, работать с данными и т.п.

Для удаления этого образа необходимо выполнить все действия в обратном порядке. Для начала, чтобы не было проблем в нашей ВМ, необходимо удалить все связи и ссылки в системе с этим диском, которые были созданы и размонтировать диск.  Далее перейти «Экземпляры ВМ»→ «ВМ» , выбрать ВМ из которой удаляем DATABLOCK и в пункте меню «Хранилище» нажать на кнопку «Detach».  

После выполнения выше перечисленных действий можно удалять и сам образ, «Storage»→ «Образы ВМ», выбираем образ и нажимаем на кнопку удалить.

Добавление временного диска к работающей ВМ

Временные диски создаются на «лету» на целевом хосте. После завершения работы виртуальной машины диск удаляется.

Для добавления временного диска к работающей виртуальной машине, необходимо перейти на вкладку «Хранилище» и нажать на кнопку «Добавить диск».

В появившемся окне необходимо выбрать «Временный диск», задать размер, тип диска — «Файловая система», формат файловой системы — «raw», в расширенных настройках выбрать тип шины — «Virtio», после чего нажать на кнопку «Присоединить». После чего созданный диск отобразиться в списке.

Для проверки подключения диска необходимо зайти на ВМ под пользователем root или другим пользователем имеющие root-права. Вначале в системе отобразиться один диск:

[root@localhost ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        41G  997M   38G   3% /
tmpfs           999M     0  999M   0% /dev/shm
... 

Подготавливаем диск, для этого создаем партицию:

[root@localhost ~]# fdisk /dev/vdX 

в команде ввести n для создания партиции, далее можно согласиться с настройками по умолчанию и в конце ввести w для сохранения настроек и выхода.

Форматируем диск:

[root@localhost ~]# mkfs.ext4 /dev/vdX
mke2fs 1.42.13 (17-May-2015)
Creating filesystem with 18349824 4k blocks and 4587520 inodes
Filesystem UUID: 48eac5bd-31f0-433b-9b7a-fbad4ea8ebf1
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
    4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

Монтируем диск:

[root@localhost ~]# mount  /dev/vdX /home/

Теперь при поверке дисков в системе отобразятся оба диска:

[root@localhost ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1        41G  997M   38G   3% /
tmpfs           200M     0  200M   0% /run/user/500
/dev/vdX        XXXG   XXXM   XXXG   1% /home
... 

Добавление дополнительного сетевого интерфейса в ВМ

Чтобы добавить еще один сетевой интерфейс в ВМ необходимо выполнить следующие шаги: 

- выбрать ВМ, в которую он будет добавлен («Экземпляры ВМ»→ «ВМ»)

- выбрать вкладку «Сеть» и нажать кнопку  «Добавить сетевой интерфейс».

Далее выбрать нужную сеть и нажать «Присоединить». После чего новый интерфейс появится в списке сетевых интерфейсов этой ВМ.

Для того, чтобы интерфейс заработал, необходимо произвести его настройку внутри ВМ. Ниже рассмотрен пример настройки для системы Linux.

Для настройки сетевого интерфейса в ВМ необходимо подключится к ней по SSH или VNC. Добавить таблицу «rt2» в «/etc/iproute2/rt_tables».  Чтобы это сделать, можно воспользоваться командой «echo»

echo 1 rt2 >> /etc/iproute2/rt_tables

или воспользоваться редактором типа «Vim», «Nano». В этом случае запись добавляется в конец файла и должна быть вида «1 rt2».

Чтобы посмотреть как называется сетевой интерфейс, можно воспользоваться командами:

ip a l

или 

ifconfig 

Также после вывода этих команд будет видно, есть ли на интерфейсе IP адрес.

Далее нужно назначить IP-адрес и добавить маршрут, выполнив следующие команды (имя интерфейса ens7 и IP 159.93.222.222 использованы для примера, соответственно они будут отличаться от тех, которые будут у вас):

sudo ifup ens7

ip address add 159.93.222.222/32 dev ens7

ip route add 159.93.220.0/22 dev ens7  src 159.93.222.222 table rt2

ip route add default via 159.93.222.222 dev ens7 table rt2

ip rule add from 159.93.222.222/32 table rt2 

sudo ip rule add to159.93.222.222/32 table rt2

После этого ВМ будет доступна по новому IP.

Для того чтобы удалить интерфейс, для начала нужно убрать IP-адрес с сетевого интерфейса:

 ip addr del 159.93.222.222/32 dev ens7

ip addr flush dev ens7 

После чего удаляем интерфейс через веб-интерфейс облачной инфраструктуры - «Экземпляры ВМ» → «ВМ».  Во вкладке «Сеть» необходимо нажать на кнопку «Отсоединить» у удаляемого интерфейса.

Создание виртуальной сети

Для создания частной сети, состоящей из 1 и более адресов необходимо выполнить следующие действия:

Перейти на вкладку «Сеть», выбрать «Витр.сети» , выбрать нужную сеть  — с внутренними (ID:569) или внешними (ID:9) адресами. Нажать на знак «+» →  «Зарезервированы».

В открывшимся окне выбрать количество резервируемых адресов, выбрать «Добавить новую виртуальную сеть», задать имя сети. В «Расширенных настройках» выбрать диапазон из списка и укажите начальный ip из требуемого диапазона. После чего нажать на кнопку «Зарезервированы».

Создание отдельной подсети, даже состоящей из одного ip-адреса полезно тем, что таким образом пользователь может зафиксировать конкретный ip-адрес для своего хоста, который сводит к нулю вероятность захвата этого ip-адреса другой ВМ, например, при пересоздании пользователем его ВМ.

Добавление IP-адреса в существующую виртуальную подсеть

Для того, чтобы расширить уже существующую виртуальную подсеть, необходимо выбрать на вкладке «Вирт. сети» нужную сеть, далее нажать на знак «+» → «Зарезервированы».

В появившемся окне нажать «Добавить к существующему резервированию» и выбрать нужную сеть. Далее раскрыть «Расширенные настройки» и в поле «Первый адрес» явно указать нужный IP-адрес.  После чего нажать на кнопку «Зарезервированы».

Модификация модели сетевого устройства ВМ

Для модификации модели сетевого устройства ВМ необходимо убедиться, что установлен и добавлен в автозагрузку пакет one-context:

#systemctl --all | grep one-context

Далее в облачном интерфейсе перейти в интересующую ВМ («Экземпляры ВМ» → «ВМ»).

На вкладке «Сеть» в колонке «Действия» удалить используемый интерфейс и дождаться, когда он пропадет.

После этого нажать на кнопку «Добавить сетевой интерфейс». В появившимся окне выбрать необходимую сеть.

В раскрывающемся меню «Расширенные настройки» в поле «Аппаратное обеспечение» → «Модель оборудования для эмуляции» указать «virtio». 

Если требуется конкретный IP-адрес, то указать его в поле «Заместить значения IPv4» → «IP-адрес». Нажать на кнопку «Присоединить».

При необходимости перегрузите ВМ.

Руководство пользователя облачного хранилища

Запрос на ресурсы облачного хранилища

Первоначально пользователь имеет нулевые квоты на ресурсы. Чтобы увеличить квоты, пользователь должен отправить соответствующий запрос посредством специальной веб-формы через сервис helpdesk. Для этого на сайте helpdesk.jinr.ru для нужно заполнить веб-форму запроса ресурсов (см. рисунок ниже), доступную по следующему пути: Новый запрос →  Облачный сервис →  Облачное хранилище →  Запрос ресурсов. 

Как использовать CephFS

Ceph-fuse

Добавить EPEL репозиторий

yum install epel-release

Добавить ceph репозиторий

yum install https://download.ceph.com/rpm-15.2.16/el7/noarch/ceph-release-1-1.el7.noarch.rpm

Установите пакеты ceph-common и ceph-fuse

yum install ceph-fuse

Файл с ключом

Создайте файл /etc/ceph/ceph.client.<user>.keyring со следующим содержимым:

[client.<user>]

        key = <key>

Монтирование

Монтирование вручную из командной строки

$ ceph-fuse -m 10.93.220.121:6789 -m 10.93.220.122:6789 -m 10.93.220.123:6789 -n client.<user> /mnt/<user> -r <path-on-remote-share>

Монтирование при загрузке через /etc/fstab

/etc/fstab:

none    /mnt/<cephfs>    fuse.ceph    ceph.id=<user>,ceph.conf=/etc/ceph/ceph.conf,ceph.client_mountpoint=<path-on-remote-share>,_netdev,defaults,noauto,comment=systemd.automount  0 0

/etc/ceph/ceph.conf:

[global]

mon host = 10.93.220.121,10.93.220.122,10.93.220.123

Режим ядра Ceph

ПРИМЕЧАНИЕ. Невозможно смонтировать cephfs в режиме ядра на ядре старше 4.4 из-за ошибки (см. Лучшие практики Ceph). Необходимо установить новое ядро (например, для CentOS 7 можно установить из ELRepo).

Установка нового ядра из ELRepo

yum install http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

yum --enablerepo=elrepo-kernel install kernel-ml

grub2-mkconfig -o /boot/grub2/grub.cfg

grep vmlinuz /boot/grub2/grub.cfg

grub2-set-default 0

Установка ceph-common package

yum install https://download.ceph.com/rpm-15.2.16/el7/noarch/ceph-release-1-1.el7.noarch.rpm

Установка ceph-common

yum install ceph-common

Файл с ключом

Файл ключей должен быть размещен где-то с 600 правами (например, /root/ceph.mpi.keyring) и содержать в себе только секретный текст:

<Key>

Примечание! Если ключ находится в открытом виде, то для использования его необходимо закодировать при помощи стандарта base64.

Монтирование

Монтирование вручную из командной строки

mount -t ceph 10.93.220.121:6789,10.93.220.122:6789,10.93.220.123:6789:<path-on-remote-share> /mnt/cephfs -o name=<user>,secretfile=/root/ceph.mpi.keyring

Монтирование при загрузке через fstab:

10.93.220.121:6789,10.93.220.122:6789,10.93.220.123:6789:<path-on-remote-share>         /mnt/<cephfs>        ceph    name=<user>,secretfile=/root/ceph.mpi.keyring,noatime,_netdev,noauto,comment=systemd.automount     0 0