Хранение данных
К словарю темы ↓Основные понятия
Редактор сохраняет отчёт. Файловая система находит место для его данных. Операционная система передаёт запись накопителю, и у каждой части пути есть свой момент подтверждения.
С чего начать
Когда файл действительно записан- Файлfile
- Набор данных с именем, под которым программа может его открыть. Например, отчёт report.txt хранит строки текста.
- Файловая системаФС · file system · filesystem
- Способ организовать на носителе файлы и папки. Файловая система связывает имена с содержимым и хранит свойства, например размер и права.
- Блок данныхдисковый блок · блок хранения · data block
- Участок данных, который система читает или записывает как одно целое. У блока на диске есть адрес, по которому можно найти его содержимое.
- Дискнакопитель · disk · drive
- Устройство для длительного хранения программ и данных, например SSD. Записанный на диск файл обычно доступен и после выключения компьютера.
- Томлогический том · volume
- Область хранения, на которой можно разместить файловую систему. В Windows доступ к тому часто открывают через букву диска, например C.
- Резервная копиябэкап · бекап · backup
- Сохранённая версия данных, из которой можно восстановить нужное состояние после удаления, повреждения или потери оригинала.
Словарь темы
Когда файл действительно записан78
- ext4четвёртая расширенная файловая система · Fourth Extended Filesystem · Fourth Extended File System
- Распространённая файловая система Linux для хранения файлов и каталогов на диске. В /etc/fstab обозначение ext4 указывает её тип.
- Fibre ChannelFC
- Технология сети для доступа к хранилищам. По сети Fibre Channel сервер передаёт массиву команды и получает данные.
- fsync()fsync · системный вызов fsync
- Запрос программы завершить запись данных файла и нужных метаданных на устойчивое хранилище. Нулевой результат означает успешное выполнение запроса.
- IOPSInput/Output Operations Per Second
- Количество завершённых операций ввода-вывода за секунду. Размер каждой операции нужен, чтобы перевести это число в объём данных за секунду.
- iSCSIInternet Small Computer System Interface
- Протокол, который передаёт команды SCSI и результаты по TCP/IP. Обычная IP-сеть таким способом может связать сервер с удалённым блочным устройством.
- LinuxЛинукс · GNU/Linux
- Ядро, на котором строятся операционные системы, например Debian и Ubuntu. В разговоре Linux часто называют и сами эти системы.
- LVMLogical Volume Manager
- Система управления логическими томами в Linux. Она позволяет объединить пространство физических устройств и выделять из него тома.
- NFSNetwork File System
- Протокол сетевого доступа к файлам. С его помощью каталог удалённого сервера можно подключить к дереву каталогов клиента.
- NTFSNT File System · New Technology File System · файловая система NTFS
- Файловая система Windows. Она хранит файлы, каталоги и сведения о том, кто может их открывать или изменять.
- NVMeNVM Express · Non-Volatile Memory Express
- Протокол, по которому компьютер посылает команды высокоскоростному накопителю. Встроенный NVMe SSD обычно подключается по PCIe.
- PCIePCI Express · Peripheral Component Interconnect Express
- Шина для подключения устройств внутри компьютера. Ею пользуются, например, сетевая карта и встроенный накопитель NVMe.
- RAIDRedundant Array of Independent Disks · дисковый массив RAID
- Способ объединить несколько дисков в одно логическое устройство. Уровень RAID задаёт, как разложить данные и сколько отказов дисков выдержит такая схема.
- ReFSResilient File System
- Файловая система Microsoft для Windows. В ней предусмотрены проверка целостности метаданных и механизмы для больших хранилищ.
- SASSerial Attached SCSI
- Интерфейс для подключения дисков и дисковых корпусов. Часто встречается в серверах и системах хранения.
- SATASerial ATA · Serial Advanced Technology Attachment
- Интерфейс подключения накопителей. И жёсткий диск, и SSD могут быть подключены к компьютеру по SATA.
- SMBServer Message Block · протокол SMB
- Протокол доступа к общим файлам и другим ресурсам сервера по сети. Частый пример — открытие общей папки в Windows.
- write()write · системный вызов write
- Системный вызов записи. Если он вернул положительное число N, система приняла N байтов из переданных программой данных.
- XFS
- Файловая система, применяемая в Linux. Она организует файлы, каталоги и выделение места на томе.
- Байтbyte
- Группа из восьми битов. В байтах измеряют размер файла и объём данных, который программа прочитала или записала.
- Битbit · binary digit
- Наименьшая единица представления данных. Бит принимает одно из двух значений — 0 или 1.
- Блочное устройствоblock device
- Устройство, которое принимает запросы чтения и записи по адресам блоков. Для ОС так могут выглядеть физический диск, виртуальный диск или том на удалённом массиве.
- Блочный доступблочный интерфейс · block access
- Чтение и запись по номерам блоков. Сведения о том, какому файлу принадлежат блоки, ведёт файловая система, использующая устройство.
- Блочный слойblock layer
- Часть ОС, которая принимает запросы к блокам, ставит их в очередь и направляет драйверу устройства.
- Буферизованная записьbuffered write
- Способ записи, при котором ОС сначала принимает изменения в память. На накопитель они могут попасть позже.
- Ввод-выводI/O · IO · input/output
- Обмен данными с устройством. Для диска это, например, чтение блока или запись изменённых данных.
- ГигабайтГБ · GB · gigabyte
- Десятичная единица объёма, равная миллиарду байтов. ГБ/с используют, например, для указания скорости крупного накопителя.
- Данныецифровые данные · digital data
- Сведения, которые компьютер хранит, обрабатывает или передаёт. Текст отчёта, фотография и сообщение от сервера — примеры данных.
- Дисковый массивмассив дисков · storage array
- Несколько дисков под общим управлением. Массив может предоставить серверу один или несколько логических томов.
- Драйвердрайвер устройства · device driver
- Часть системы, которая управляет устройством. Например, драйвер сетевой карты передаёт ей подготовленные для отправки данные.
- Жёсткий дискHDD · Hard Disk Drive
- Накопитель на вращающихся магнитных пластинах. Для доступа к разным участкам механическая головка меняет положение.
- Задержка операциизадержка ввода-вывода · I/O latency
- Время от отправки команды чтения или записи до её завершения. Оно складывается, в частности, из ожидания в очереди и работы устройства.
- Запись на накопительзапись на диск · disk write
- Операция, при которой накопитель получает новое содержимое для выбранных блоков. Устройство может сначала поместить данные в кэш, а затем сохранить на носителе.
- Запросrequest
- Сообщение, которым одна программа просит другую выполнить действие или вернуть сведения. Например, браузер запрашивает у сервера страницу.
- Защищённый кэш записизащищённый кэш · power-loss-protected cache
- Кэш контроллера с механизмом сохранения данных при пропадании питания. Например, запас энергии позволяет перенести данные из памяти во флеш-память.
- Изменённая страницагрязная страница · dirty page · модифицированная страница
- Страница памяти, содержимое которой изменилось после предыдущего сохранения или копирования. При записи файла её предстоит сохранить, а при миграции машины — передать повторно.
- Каталог файловпапка · directory · folder · Каталог · папка с файлами
- Место в файловой системе, в котором по именам находят файлы и вложенные каталоги. В графическом интерфейсе его часто называют папкой.
- Клиентclient · клиентское приложение
- Программа или устройство, которое обращается за услугой. Когда браузер запрашивает страницу, он выступает клиентом веб-сервера.
- Команда flushflush · сброс кэша на носитель
- Команда накопителю завершить сохранение ранее принятых записей в устойчивом хранилище. Она нужна, когда часть данных ещё находится в энергозависимом кэше устройства.
- Компьютерная сетьсеть передачи данных · computer network
- Связанные устройства, которые могут обмениваться данными по согласованным правилам. В офисной сети это, например, ноутбуки, коммутаторы и серверы.
- Контроллер храненияконтроллер диска · контроллер · storage controller
- Устройство или часть накопителя, которая принимает команды чтения и записи и организует их выполнение.
- Кэшкеш · cache
- Место, где система временно хранит данные для быстрого повторного доступа. Например, DNS-резолвер некоторое время использует уже полученный ответ.
- Кэш страницстраничный кэш · page cache
- Область оперативной памяти, где ядро держит недавно прочитанные или изменённые данные файлов. Копия в памяти ускоряет чтение и позволяет сгруппировать запись.
- Логический адрес блокаLBA · Logical Block Address · адрес блока
- Номер блока, который видит система при обращении к диску. Контроллер или платформа хранения связывает этот номер с фактическим местом записи.
- МебибайтМиБ · MiB
- Единица объёма, равная 1 024 КиБ. МиБ/с показывает, сколько таких единиц проходит за секунду.
- МегабайтМБ · MB · megabyte
- Десятичная единица объёма, равная 1 000 000 байтов. МБ/с показывает, сколько мегабайтов проходит за секунду.
- Менеджер томовдиспетчер томов · volume manager
- Компонент системы, который собирает пространство устройств и выдаёт из него логические тома нужного размера.
- Метаданныеfile metadata · metadata · Метаданные файла
- Сведения, описывающие другие данные. Например, метаданные файла включают его размер и права доступа, а у пакета программы — имя и версию.
- Миллисекунда и микросекундамиллисекунда · микросекунда · мс · мкс · ms · µs
- Миллисекунда — тысячная доля секунды, микросекунда — миллионная. В этих единицах часто указывают задержку одной операции чтения.
- Номер логического устройстваLUN · Logical Unit Number
- Номер, которым SCSI обозначает логическое устройство. В разговоре «выдать LUN» часто означает открыть серверу доступ к самому блочному устройству с этим номером.
- Носитель данныхноситель · storage medium
- Физический материал, который хранит записанные данные, например магнитная поверхность HDD или ячейки флеш-памяти SSD.
- Оперативная памятьRAM · ОЗУ · Random Access Memory · MEM
- Быстрая рабочая память компьютера, в которой лежат запущенные программы и их текущие данные. При выключении питания содержимое обычной RAM пропадает.
- Операционная системаОС · operating system
- Программная основа компьютера. Она запускает приложения и управляет памятью, процессорами, файлами и устройствами.
- Очередь ввода-выводаочередь I/O · очередь запросов · I/O queue
- Операции чтения и записи, которые уже отправлены и ждут обслуживания. Время ожидания входит в наблюдаемую программой задержку.
- Последовательный ввод-выводпоследовательная запись · последовательное чтение · sequential I/O
- Чтение или запись соседних участков носителя подряд. Пример — запись большого файла одним непрерывным потоком.
- Приложениеприкладная программа · Программа · program
- Программа для конкретной задачи, например браузер для просмотра страниц. Приложение может работать на компьютере пользователя или на сервере.
- ПроцессорCPU · центральный процессор · ЦП · Central Processing Unit
- Устройство, которое выполняет машинные команды программ. В одном процессоре может быть несколько ядер.
- Путь записи на носительпуть данных к носителю · путь записи
- Компоненты, через которые изменённые данные проходят от программы до места хранения. Например, файл сначала меняется в оперативной памяти, затем запрос на запись получают контроллер и накопитель.
- Путь к файлуфайловый путь · file path · путь · путь к каталогу
- Запись, которая указывает, где найти файл в дереве каталогов. Например, /reports/report.txt ведёт к файлу report.txt в каталоге reports.
- Раздел дискараздел · disk partition · partition · раздел накопителя
- Выделенная область диска со своим началом и размером. На разделе можно создать файловую систему.
- Серверserver
- Программа, которая отвечает на запросы клиентов, или компьютер, на котором она работает. Один компьютер может одновременно предоставлять несколько служб.
- Системный вызовsystem call · syscall
- Операция, с помощью которой программа просит ядро о работе с защищёнными ресурсами. Например, через системный вызов она открывает файл или принимает соединение.
- Скорость передачи данныхпропускная способность хранилища · throughput
- Сколько байтов устройство фактически прочитывает или записывает за единицу времени. Считается как число операций за секунду, умноженное на средний размер операции.
- Случайный доступслучайный ввод-вывод · random I/O
- Обращения к разным, в том числе удалённым друг от друга блокам накопителя. У магнитного диска переходы между участками требуют движения головок.
- Смещение в файлесмещение · file offset
- Число байтов от начала файла до нужной позиции. У первого байта смещение равно нулю.
- Стек храненияstorage stack · стек ввода-вывода
- Компоненты между приложением и носителем. Например, в записи файла участвуют файловая система, драйвер, контроллер и накопитель.
- Страница памятистраница оперативной памяти · memory page
- Участок памяти фиксированного размера, например 4 КиБ. ОС и гипервизор могут работать с такими участками по отдельности.
- Твердотельный накопительSSD · Solid State Drive
- Накопитель без движущихся механических частей. Обычно он хранит данные в ячейках флеш-памяти.
- Текстовый редакторредактор текста · text editor
- Программа для создания и изменения текста. Например, в Блокноте можно открыть файл, дописать строку и сохранить результат.
- Текстовый файлтекстовый документ · plain text file
- Файл, в котором символы записаны по правилам выбранной кодировки. В примере report.txt хранит строки отчёта.
- ТерабайтТБ · TB · terabyte
- Единица объёма, равная одному триллиону байтов. Производители дисков обычно указывают ёмкость в таких десятичных единицах.
- Устойчивое хранилищеэнергонезависимое хранилище · stable storage
- Хранилище, в котором подтверждённая запись переживает отключение питания. Это может быть сам носитель или специально защищённый кэш.
- Файловый доступфайловый интерфейс · file access
- Обращение к хранилищу по имени файла или пути. Например, клиент просит сервер открыть отчёт из общей папки.
- Флеш-памятьflash memory · флэш-память
- Тип электронной памяти, который сохраняет биты без питания. Он используется, например, в SSD и USB-накопителях.
- Характер дисковой нагрузкинагрузка на хранилище · I/O workload
- Сочетание чтения и записи, размера запросов, их количества и расположения блоков. Один диск может показывать разную скорость при разных нагрузках.
- Хранилище данныхсистема хранения данных · СХД · storage
- Место или система для размещения данных. Хранилищем может служить один встроенный накопитель или отдельный массив дисков, к которому обращаются серверы.
- Шинааппаратная шина · bus
- Соединение, по которому компоненты компьютера передают команды и данные. Пример современной шины — PCIe.
- Ядро операционной системыядро ОС · kernel · Ядро · Linux kernel
- Часть операционной системы, которая распределяет память и процессорное время и управляет доступом программ к устройствам.
Как RAID восстанавливает блок23
- RAID 0RAID0
- Уровень RAID, который чередует данные по нескольким дискам. Отказ одного участника лишает массив части данных.
- RAID 1RAID1 · зеркалирование
- Уровень RAID, который записывает одинаковые данные на несколько дисков. В паре дисков доступна полезная ёмкость одного.
- RAID 10RAID10 · RAID 1+0
- Уровень RAID, который чередует данные между зеркальными парами. Он переживает по одному отказу в каждой паре, пока в каждой паре остаётся исправный диск.
- RAID 5RAID5
- Уровень RAID с распределённой чётностью. При трёх одинаковых дисках под данные доступна ёмкость примерно двух, и массив выдерживает один отказ диска.
- RAID 6RAID6
- Уровень RAID с двумя независимыми наборами восстановительных данных на полосу. Массив выдерживает отказ любых двух дисков в группе.
- XORисключающее ИЛИ · исключающее «или»
- Операция над парами битов. Результат равен единице, когда биты различаются, а повторное применение XOR с тем же числом возвращает исходные биты.
- Аппаратный RAIDhardware RAID
- Массив, в котором размещением блоков и восстановлением управляет выделенный RAID-контроллер.
- Версия файлаверсия данных · file version
- Содержимое файла на конкретный момент. Две копии отчёта разного времени могут содержать разные правки.
- Горячий резервhot spare · резервный диск · spare
- Подключённый запасной диск, подготовленный принять место отказавшего участника. Когда начинается перестройка, массив заполняет его восстановленными блоками.
- Двоичная записьдвоичная система счисления · binary notation
- Представление числа с помощью нулей и единиц. Операция над числами «побитово» обрабатывает соответствующие позиции отдельно.
- Двойная чётностьdual parity
- Два независимых набора восстановительных данных, которые RAID 6 хранит для каждой полосы. На постере они обозначены P и Q.
- Дисковое зеркалозеркало · mirroring
- Два или более дисков с одинаковыми блоками данных. В обычном двухдисковом зеркале после отказа одного участника данные остаются на другом.
- Избыточностьredundancy
- Дополнительные данные или компоненты на случай отказа. В RAID это могут быть зеркальные копии блоков или чётность.
- Исправное состояние RAIDNORMAL · нормальный режим массива
- Состояние массива, в котором все предусмотренные участники доступны и выбранный уровень защиты работоспособен.
- Отказ дискаdisk failure · DISK FAIL
- Ситуация, когда массив больше не может использовать диск для обычных операций. Защитные данные RAID могут позволить продолжить чтение и запись.
- Перестройка массиваrebuild · перестройка · восстановление участника
- Процесс заполнения заменяющего диска данными из исправных участников RAID. В RAID 5 массив последовательно восстанавливает недостающие блоки полос.
- Полезная ёмкостьполезный объём · полезное место · usable capacity
- Объём, доступный для пользовательских данных. В RAID часть места может занять зеркало или информация для восстановления.
- Полоса RAIDполоса · RAID stripe
- Набор участков одной группы RAID, взятых с разных дисков. В RAID 5 полоса содержит данные и блок чётности для этих данных.
- Программа-вымогательransomware · шифровальщик
- Вредоносная программа, которая блокирует доступ к данным, например шифрует файлы и требует выкуп. RAID сохранит эти изменения, как обычную запись.
- Программный RAIDsoftware RAID
- Массив, в котором распределение блоков и восстановление выполняет подсистема хранения операционной системы.
- Режим degradeddegraded · деградированный режим
- Состояние, в котором массив после отказа диска ещё обслуживает запросы с уменьшенной защитой от следующего отказа.
Где живёт файловая система22
- EthernetEthernet-сеть
- Семейство технологий проводных сетей. Два соседних устройства обмениваются кадрами с MAC-адресами по медному или оптическому кабелю.
- IPInternet Protocol · межсетевой протокол
- Протокол доставки пакетов через одну или несколько сетей. Источник и назначение задаются IP-адресами.
- SCSISmall Computer System Interface
- Набор стандартов команд для обращения к устройствам, в том числе к дискам. Команда чтения может задавать начальный блок и число нужных блоков.
- TCPTransmission Control Protocol · протокол управления передачей · протокол TCP
- Протокол, который доставляет поток байтов между двумя программами по порядку и повторяет передачу при потерях. Перед обменом данными стороны устанавливают соединение.
- WindowsMicrosoft Windows · Виндовс
- Семейство операционных систем Microsoft. Windows запускает программы, управляет файлами и устройствами, а в рабочей сети может проверять учётные записи через домен.
- Адаптер храненияHBA · Host Bus Adapter
- Адаптер, который подключает сервер к шине или сети хранения. В примере HBA соединяет сервер с сетью Fibre Channel.
- Идентификатор устройстваdevice identifier
- Значение, по которому система различает устройства. При нескольких путях к LUN общий идентификатор помогает понять, что по ним виден один и тот же диск.
- Инициатор храненияинициатор · SCSI initiator · initiator · iSCSI initiator
- Сторона, которая отправляет команды устройству хранения. В примере эту роль выполняет сервер, запрашивающий блоки.
- Коммутатор Fibre ChannelFC-коммутатор · Fibre Channel switch
- Устройство, которое передаёт кадры Fibre Channel между портами серверов и систем хранения.
- Коммутационная сеть храненияfabric · FC fabric · FC-фабрика
- Соединённые между собой коммутаторы и линии, через которые сервер достигает портов системы хранения. В этой главе речь о сети Fibre Channel.
- Несколько путей к дискуmultipath · многопутевой доступ · multipathing · доступ по нескольким путям
- Способ, при котором система распознаёт один диск за несколькими независимыми подключениями. При отказе одной линии запросы к диску могут пойти через другую.
- Ответresponse
- Сообщение с результатом запроса. Например, DNS-сервер возвращает адрес, а веб-сервер — содержимое страницы.
- Прямое подключение хранилищаDAS · Direct Attached Storage · Direct-Attached Storage
- Способ подключения, при котором сервер обращается к накопителю через собственный контроллер или локальную шину. Примеры — встроенный NVMe или внешний дисковый корпус на SAS.
- Путь к хранилищупуть к LUN · путь к дисковому массиву · storage path
- Соединение, по которому команды сервера доходят до блочного устройства массива. Если к одному диску есть два независимых пути, после отказа одной линии остаётся вторая.
- Распределение нагрузкибалансировка нагрузки · load balancing
- Распределение работы между несколькими исполнителями или путями. В хранилище разные запросы можно направить через несколько исправных подключений.
- Сетевое файловое хранилищеNAS · Network Attached Storage · Network-Attached Storage
- Система, которая предоставляет клиентам файлы и папки по сети. Имена и размещение файлов обрабатывает файловая система самого NAS.
- Сетевой адаптерсетевая карта · NIC · network interface card · физическая сетевая карта · pNIC · physical NIC
- Устройство, которое подключает компьютер к сети и передаёт данные по кабелю или радио. У виртуальной машины его работу может имитировать платформа.
- Сеть хранения данныхSAN · Storage Area Network · сеть хранения
- Сеть, через которую серверы получают доступ к блочным устройствам хранилища. В примере сервер видит том массива как диск и сам размещает на нём файлы.
- Стек TCP/IPTCP/IP · семейство протоколов Интернета · TCP-IP · стек протоколов Интернета
- Семейство протоколов, на которых работает Интернет. IP отвечает за доставку пакетов между сетями, а TCP — за надёжную передачу байтов между приложениями.
- Файловый серверfile server
- Сервер, который предоставляет файлы и каталоги клиентам по сети. Он обрабатывает открытие файла, чтение, запись и проверку разрешений.
- Целевое устройство SCSIцель SCSI · SCSI target · target · Цель хранения · iSCSI target
- Сторона, которая принимает команды инициатора и открывает ему логические устройства. Например, массив по запросу сервера возвращает нужный блок.
Как вернуть удалённый файл из копии11
- Восстановление из копииrestore · возврат файла из копии
- Извлечение нужной версии из сохранённой копии. Данные можно сначала развернуть в отдельный каталог и проверить.
- Допустимая потеря измененийRPO · Recovery Point Objective
- Требование к давности данных, которые допустимо вернуть после происшествия. При RPO один час нужна подходящая точка восстановления не более чем часовой давности к моменту сбоя.
- Допустимое время восстановленияRTO · Recovery Time Objective
- Срок, за который нужно вернуть доступ к сервису или данным после сбоя. При RTO 30 минут с 12:00 пользователю нужен рабочий доступ к 12:30.
- Задание резервного копированиярезервное копирование · backup job
- Настроенная операция, которая сохраняет указанные данные в хранилище копий. Можно задать, какие папки сохранять и как часто это делать.
- Изменение данныхправка данных · file modification
- Разница между версиями одних данных, например дописанная строка отчёта. Восстановить её можно из сохранённой версии, которая уже включала эту правку.
- Контрольная суммаchecksum
- Значение, вычисленное по содержимому данных. Сравнение с заранее сохранённым значением помогает обнаружить изменение или повреждение файла.
- Право доступаразрешения · access permissions · Права доступа · разрешение · право · permission
- Правило, которое определяет, какие действия доступны пользователю или программе. У одного файла можно разрешить чтение и отдельно ограничить изменение.
- Ресурс системыcomputing resource · Вычислительный ресурс · системный ресурс · ресурс
- То, что операционная система предоставляет программе для работы. Например, процесс получает память, процессорное время и доступ к открытым файлам.
- Снимок состоянияснимок · снапшот · snapshot
- Зафиксированный вид данных на определённый момент. В модели виртуального диска старые блоки остаются доступны, а новые изменения записываются в отдельный слой.
- Точка восстановленияrestore point · точка восстановления из копии
- Зафиксированное состояние данных на определённое время, к которому можно вернуться. В примере утренняя точка содержит версию отчёта на 09:00.
- Хранилище резервных копийхранилище копий · backup repository
- Место, куда система резервного копирования складывает сохранённые версии данных. Каталог копий помогает найти нужную версию.