О Виртуализации, СХД и Бекапах
Как я писал ранее, из-за особенности реализации хранения данных на данной СХД, чтение и запись идет только на диск с данными + на диск четности, следовательно, скорость ограничивается скоростями этих дисков. Для обхода этих ограничений используется SSD cache.
Вы можете добавить SSD cache для ускорения дисковых операций, есть несколько вариантов реализации:
1. Single device mode
2. Cache pool mode
Разберем их поочереди далее.
Я столкнулся с проблемой на роутере с сетухой Realtek, что при нагрузке, сеть начинает флапать, и в логах это видно вот так:
re0: watchdog timeout
re0: link state changed to DOWN
re0: link state changed to UP
re0: watchdog timeout
re0: link state changed to DOWN
re0: link state changed to UPА на графике вот так:
Сеть сначала начинает пропадать и появляться, а потом, просто виснет наглухо до ребута роутера. Советы вида — disable offload не помогли. Что делать?
Читать далее →Добрались до самой нужной части — дисковые пулы. Так как, схема хранения и защиты дисков в Unraid отличается от стандартных подходов, то прежде чем использовать СХД, предлагаю ознакомиться с некоторыми особенностями.
По-умолчанию используется файловая система XFS для всех дисков, но, если вы используете кеширование SSD (cache pool), то будет использована файловая система BTRFS. Еще есть возможность использовать ReiserFS и их шифрованные (encrypted) версии.
Мониторинг дисков классический — S.M.A.R.T. (селф-тесты обычные и extended), мониторинг температуры.
Недавно встал вопрос, чем более дешевым можно было бы заменить Synology для тупого хранения файлов. Обычные решения, типа Windows Storage Spaces, FreeNAS и прочее, использовать не хотелось. RAIDIX денег стоит. Нужно было затестировать что-то новое. Вспомнил, что у меня давно было отложена ссылка по Unraid. И так, что это за зверь? Пришло время изучить его особенности.
Это некий вариант SDS (software-defined storage), да, многие его недолюбливают, но есть много преимуществ. В чем плюсы именно Unraid?
1. Тут, все таки, не RAID. Т.е. запись идет не на все диски в массиве.
2. Можно добавлять диски разного объема в пул.
3. Файлы не рамазаны по дискам, как в традиционном RAID, а лежат на одном диске одновременно.
4. При чтении / записи обращение идет только к диску с файлом и к диску (дискам) четности.
5. Можно выцепить диск из пула и подключить как обычный JBOD.
6. Бесплатные апгрейды до следующих версий.
7. Есть возможность включить SSD Cache.
8. Умеет запускать Docker и VM через KVM.
1. Unraid стоит денег, хоть и небольших — 6 / 12 / ∞ устройств за 60$ / 90$ / 130$ соотвественно.
2. Закрытый код (в отличии, от того же FreeNAS).
3. Не шибко большой список совместимости.
Мммм, долгосрочнение хранение, ленты… Сегодня разберем типы ленточных библиотек, варианты использования и их компоненты.
vscsiStats — Данная статья про инструмент сбора данных, который отлично показывает реальную рабочую нагрузку I/O дисков виртуальной машины. О нем я говорил еще в первой статье, и вот, наконец, добрались.
Начнем с рассмотрения параметров команды vscsiStats:
| -h | Выводит Help |
| -l | Выводит список всех доступных виртуальных машин и их дисков |
| -r | Обнуляет статистику |
| -s | Начинает сбор статистики |
| -x | Останавливает сбор статистики |
| -w <WorldGroupID> | Выбрать определенную виртуальную машину |
| -i <HandleID> | Выбрать определенный диск. Параметр -w обязательный. Пример: vscsiStats -s -w XXX -i YYY (Где XXX это WorldGroupID виртуальной машины, а YYY её Virtual SCSI Disk HandleID) |
| -p <histoType> | Вывести табличку с данными. Может быть использован вместе с параметрами -w и -i. Одновременно может быть использован только один параметр histoType. На выбор есть вот эти параметры: all, ioLength, seekDistance, outstandingIOs, latency, interarrival |
| -c | Использовать разделитель «запятая» при выгрузке в CSV файл. Может быть использован с параметром -p. |
RAID Penalty. Важная вещь при расчете требуемых IOPS. Да, многие из вас видели перепосты с Википедии с подсчетом IOPS, там не супер удобно написано, да и информация устарела. Особенно жалко, что в ней маловато информации по SSD, хотя, это очень актуально сейчас.
Таблицы по RAID Penalty, которые я нашел в интернете (почти все), это RAID 0/1/5/10, как-будто, других не бывает. Да, многие уже не используются, часть из них редкие, но таблицу постараюсь наполнить максимально возможными типами.
Сегодня обсудим факторы, которые оказывают ОЧЕНЬ сильное воздействие на SSD производительность, но в общих статьях, где рассказывают про IOPS и т.д., этому внимания не уделяют, хотя, следовало бы. Ниже приведу примеры, что я имею ввиду.
Переходим дальше, к тестированию, но сначала, небольшое отступление…
Возвращаясь к Resource Monitor, мы можем наблюдать в нем пропускную способность (Throughput = IOPS x I/O), которая выражается в байтах/сек. Пример, 10.000 IOPS блоками 16k это (10000 x 16k) = 160.000 кб/сек пропускной спобосности в 160 Мб/сек.
Нам нужно опираться на данные значения, т.к. они напрямую связаны с IOPS. Но важнее всего, это задержки (latency). Само по себе измерение IOPS без привязки к Latency не имеет смысла, если у вас будет 100.000 IOPS при значении отклика в 10 секунд это будет ужасной производительностью, по сравнению с 20.000 IOPS и откликом в 1 мс. Особенно, это будет заметно на приложениях, которым время отклика очень важно, такие как Базы Данных.
