Дедуплікація даних — це популярна технологія зберігання, яка оптимізує ємність. Вона усуває надлишкові дані, видаляючи дублікати даних із набору даних, залишаючи лише одну копію. Як показано на малюнку нижче. Ця технологія може значно зменшити потребу у фізичному сховищі простір, щоб задовольнити зростаючий попит на зберігання даних. Технологія Dedupe може принести багато практичних переваг, головним чином включаючи такі аспекти:
| (1) | Відповідати вимогам ROI (рентабельність інвестицій)/TCO (загальна вартість володіння); |
| (2) | Швидке зростання даних можна ефективно контролювати; |
| (3) | Збільште ефективний простір для зберігання та підвищте ефективність зберігання; |
| (4) | Збережіть загальну вартість зберігання та витрати на управління; |
| (5) | Збереження пропускної здатності мережі передачі даних; |
| (6) | Економія витрат на експлуатацію та технічне обслуговування, таких як простір, електропостачання та охолодження. |
Технологія дедупіювання широко використовується в системах резервного копіювання та архівування даних, оскільки після багаторазового резервного копіювання даних утворюється багато дублікатів даних, що дуже підходить для цієї технології. Насправді технологію дедупіювання можна використовувати в багатьох ситуаціях, включаючи онлайн-дані, майже лінійні дані та автономні системи зберігання даних. Його можна реалізувати у файлових системах, менеджерах томів, NAS і sans. Dedupe також можна використовувати для аварійного відновлення даних, передачі та синхронізації даних, оскільки технологію стиснення даних можна використовувати для упаковки даних. Технологія Dedupe може допомогти багатьом програмам зменшити зберігання даних, економія пропускної здатності мережі, підвищення ефективності зберігання, зменшення вікна резервного копіювання та економія витрат.
Дедуплікація має два основні виміри: коефіцієнти дедуплікації та продуктивність. Продуктивність дедуплікації залежить від конкретної технології реалізації, тоді як швидкість дедуплікації визначається характеристиками самих даних і шаблонами додатків, як показано в таблиці нижче. Постачальники систем зберігання наразі повідомляють про діапазон дедуплікації. від 20:1 до 500:1.
| Висока швидкість дедуплікації | Низька швидкість дедуплікації |
| Дані, створені користувачем | Дані зі світу природи |
| Низька швидкість зміни даних | Висока швидкість зміни даних |
| Довідкові дані, неактивні дані | Активні дані |
| Додаток із низькою швидкістю зміни даних | Програма з високою швидкістю зміни даних |
| Повне резервне копіювання даних | Інкрементне резервне копіювання даних |
| Тривале зберігання даних | Короткочасне зберігання даних |
| Широкий спектр застосувань даних | Невеликий діапазон програм даних |
| Безперервна бізнес-обробка даних | Загальна бізнес-обробка даних |
| Невелика сегментація даних | Сегментація великих даних |
| Подовжена сегментація даних | Сегментація даних фіксованої довжини |
| Вміст сприйнятих даних | Вміст даних невідомий |
| Дедуплікація даних часу | Дедуплікація просторових даних |
Дедуплювати точки реалізації
При розробці або застосуванні технології Dedupe слід враховувати різні фактори, оскільки ці фактори безпосередньо впливають на її продуктивність і ефективність.
| (1) | Що | Які дані зневажені? |
| (2) | Коли | Коли вага скинеться? |
| (3) | Де | Де схуднення? |
| (4) | як | Як знизити вагу? |
Технологія дедупіювання ключів
Процес дедуплікації системи зберігання загалом такий: спочатку файл даних розділяється на набір даних, для кожного блоку даних обчислюється відбиток, а потім на основі ключових слів пошуку хешу відбитків пальців, відповідність вказує на дані для дубліката. блоки даних, зберігає лише номер індексу блоку даних, інакше це означає, що блок даних є єдиною частиною нового сховища блоку даних і створює відповідну метаінформацію. Таким чином, фізичний файл у системі зберігання відповідає логічному представленню набору метаданих FP. Під час читання файлу спочатку прочитайте логічний файл, потім відповідно до послідовності FP витягніть відповідний блок даних із системи зберігання, відновіть копію фізичного файлу. Це видно з наведеного вище процесу, ключові технології Dedupe в основному включають сегментацію блоків даних файлів, обчислення відбитків блоків даних і пошук блоків даних.
(1) Сегментація блоку даних файлу
(2) Обчислення відбитків блоку даних
(3) Отримання блоку даних
Щоб знайти ці рекомендовані моделі для запуску дедуплікації мережевих пакетів:
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 плюс 48*10GE/25GE SFP28, макс. 1,8 Тбіт/с
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ плюс 2*40GE QSFP, макс. 560 Гбіт/с
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-486048*10GE SFP+, макс. 480 Гбіт/с, функція Plus
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-481048*10GE SFP+, макс. 480 Гбіт/с
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+, макс. 240 Гбіт/с, функція DPI
Мережевий пакетний брокер Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ плюс 4*40GE/100GE QSFP28, макс. 880 Гбіт/с
Час публікації: 18 жовтня 2022 р
