Дедуплікація даних – це популярна технологія зберігання, яка оптимізує ємність сховища. Вона усуває надлишкові дані, видаляючи дублікати даних з набору даних, залишаючи лише одну копію. Як показано на малюнку нижче. Ця технологія може значно зменшити потребу у фізичному просторі для зберігання даних, щоб задовольнити зростаючий попит на зберігання даних. Технологія дедуплікації може принести багато практичних переваг, зокрема такі аспекти:
| (1) | Відповідність вимогам ROI (рентабельність інвестицій)/TCO (загальна вартість володіння); |
| (2) | Швидке зростання даних можна ефективно контролювати; |
| (3) | Збільшення ефективного простору для зберігання та підвищення ефективності зберігання; |
| (4) | Збережіть загальні витрати на зберігання та управління; |
| (5) | Збереження пропускної здатності мережі під час передачі даних; |
| (6) | Збережіть витрати на експлуатацію та обслуговування, такі як простір, живлення та охолодження. |
Технологія дедуплікації широко використовується в системах резервного копіювання та архівування даних, оскільки після багаторазового резервного копіювання залишається багато дублікатів даних, що дуже підходить для цієї технології. Фактично, технологію дедуплікації можна використовувати в багатьох ситуаціях, включаючи онлайн-дані, дані ближнього мовлення та офлайн-системи зберігання даних. Її можна впроваджувати у файлові системи, менеджери томів, NAS та sans. Dedupe також можна використовувати для аварійного відновлення даних, передачі та синхронізації даних, а також для упаковки даних, оскільки вона використовується як технологія стиснення даних. Технологія Dedupe може допомогти багатьом програмам зменшити обсяг сховища даних, заощадити пропускну здатність мережі, підвищити ефективність зберігання, зменшити вікно резервного копіювання та заощадити кошти.
Дедуплікація має два основні виміри: коефіцієнти дедуплікації та продуктивність. Продуктивність дедуплікації залежить від конкретної технології впровадження, тоді як швидкість дедуплікації визначається характеристиками самих даних та шаблонами застосування, як показано в таблиці нижче. Постачальники сховищ даних наразі повідомляють про коефіцієнти дедуплікації від 20:1 до 500:1.
| Високий рівень дедуплікації | Низький рівень дедуплікації |
| Дані, створені користувачем | Дані з природного світу |
| Низький рівень змін даних | Висока швидкість змін даних |
| Довідкові дані, неактивні дані | Активні дані |
| Застосування з низькою швидкістю зміни даних | Застосування високої швидкості зміни даних |
| Повне резервне копіювання даних | Інкрементне резервне копіювання даних |
| Довготривале зберігання даних | Короткочасне зберігання даних |
| Широкий спектр застосувань даних | Невеликий діапазон застосувань даних |
| Безперервна обробка бізнес-даних | Загальна обробка бізнес-даних |
| Невелика сегментація даних | Сегментація великих даних |
| Подовжена сегментація даних | Сегментація даних фіксованої довжини |
| Сприйнятий вміст даних | Вміст даних невідомий |
| Дедуплікація даних часу | Дедуплікація просторових даних |
Точки впровадження дедуплікації
Під час розробки або застосування технології Dedupe слід враховувати різні фактори, оскільки ці фактори безпосередньо впливають на її продуктивність та ефективність.
| (1) | Що | Які дані зважуються? |
| (2) | Коли | Коли вдасться позбутися зайвої ваги? |
| (3) | Де | Де ж процес позбавлення від ваги? |
| (4) | Як | Як зменшити вагу? |
Технологія дедуплікації ключів
Процес дедуплікації системи зберігання даних загалом виглядає так: спочатку файл даних розділяється на набір даних, для кожного блоку даних обчислюється відбиток, а потім на основі ключових слів пошуку хешу відбитка пальця, зіставлення вказує на дані для дублікатів блоків даних, зберігається лише індексний номер блоку даних, інакше це означає, що блок даних є єдиним фрагментом нового блоку даних, зберігається блок даних та створюється відповідна метадана. Таким чином, фізичний файл у системі зберігання відповідає логічному представленню набору метаданих FP. Під час читання файлу спочатку зчитується логічний файл, потім відповідно до послідовності FP витягується відповідний блок даних із системи зберігання та відновлюється копія фізичного файлу. З вищезазначеного процесу видно, що ключові технології Deduplicate включають сегментацію блоків даних файлу, обчислення відбитків блоків даних та пошук блоків даних.
(1) Сегментація блоків даних файлу
(2) Розрахунок відбитків блоків даних
(3) Отримання блоків даних
Щоб знайти ці рекомендовані моделі для запуску дедуплікації мережевих пакетів:
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбіт/с
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбіт/с
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбіт/с, Function Plus
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, макс. 480 Гбіт/с
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбіт/с, функція DPI
Брокер мережевих пакетів Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Час публікації: 18 жовтня 2022 р.
