सवाल 20 + टीबी डेटा का बैकअप कैसे लें?


हमारे पास उस कंपनी में एक NAS सर्वर है जिसका उपयोग मैं फोटोग्राफी सत्रों को संग्रहीत करने के लिए उपयोग कर रहा हूं। प्रत्येक सत्र लगभग 100 जीबी है। पिछले कुछ वर्षों में इस सर्वर ने 10+ टीबी डेटा जमा किया है, और हम फोटोशूट की मात्रा में तेजी से बढ़ रहे हैं। मेरा अनुमान है कि अगले वर्ष के अंत तक हमारे पास इस NAS पर 20+ टीबी संग्रहीत होगा। हम वर्तमान में इस सर्वर को सैमांटेक बैकअपएक्स के साथ एलटीओ -5 टेप का उपयोग करके टेप तक बैक अप कर रहे हैं। चूंकि इस सर्वर का आकार बढ़ गया है, इस सर्वर का पूर्ण बैकअप रातोंरात पूरा नहीं कर रहा है। क्या किसी के पास इस डेटा की बैकअप बैकअप करने के बारे में कोई सुझाव है? क्या हमें टेप पर इसका समर्थन करना चाहिए? क्या कोई अन्य विकल्प है जो बेहतर हो सकता है?


81
2017-12-12 03:50


मूल


आप हर रात पूर्ण बैकअप क्यों कर रहे हैं? हफ्ते में एक बार पूर्ण बैकअप क्यों न चलाएं और सप्ताह में शेष 6 दिनों में वृद्धिशील बैकअप चलाएं? - joeqwerty
यही वह है जो हम कर रहे हैं, माफ करना मैंने इसका जिक्र नहीं किया ... साप्ताहिक पूर्ण वह पूरा नहीं कर रहा है। - Jesus Fidalgo
रातोंरात पूरा करने के लिए साप्ताहिक पूर्ण आवश्यकता है? पर्याप्त बड़े डेटासेट के लिए 24 घंटे और अधिक समय लेना सप्ताहांत के लिए असामान्य नहीं है। - Stefan Lasiewski
आप किस प्रकार के NAS का उपयोग कर रहे हैं? - ewwhite
क्या आप सुनिश्चित हैं कि फोटोशूट में वृद्धि है घातीय? - gerrit


जवाब:


आपको एक कदम वापस लेने और सोचने से रोकना होगा "मुझे अपने NAS पर 20TB मिल गया है, मुझे बैक अप लेने की आवश्यकता है!" और एक स्टोरेज रणनीति विकसित करें जो आपके डेटा की प्रकृति को ध्यान में रखे:

  • यह कहां से आ रहा है और आप कितने नए डेटा प्राप्त कर रहे हैं? (आपको यह आपके प्रश्न में मिला है)
  • एक बार आपके पास डेटा का उपयोग कैसे किया जाता है? क्या लोग चित्रों को संपादित कर रहे हैं? क्या आप मूल रखते हैं और संपादित संस्करण उत्पन्न करते हैं?
  • आपको सभी डेटा रखने में कितने समय की आवश्यकता है? क्या लोग अभी भी 2 साल पहले चित्रों में बदलाव कर रहे हैं?

पिछले दो प्रश्नों के उत्तर के आधार पर, आपको शायद अधिक की आवश्यकता है संग्रहण प्रणाली एक मूल रूप से अलग बैकअप सिस्टम की तुलना में।

डेटा जो स्थैतिक है (उदाहरण के लिए 2 साल पुरानी तस्वीरें जिन्हें आप "मामले में" बनाए रखते हैं) को हर रात, या यहां तक ​​कि हर हफ्ते भी बैक अप लेने की आवश्यकता नहीं होती है, इसे संग्रहीत करने की आवश्यकता होती है। जो वास्तव में आप करते हैं वह अधिक जटिल हो सकता है, लेकिन अवधारणात्मक रूप से, सभी पुरानी तस्वीरों को टेप (एकाधिक प्रतियां!) पर लिखा जा सकता है और अब और समर्थित नहीं किया जा सकता है।

आपकी टिप्पणियों के आधार पर, कुछ अतिरिक्त विचार:

  • चूंकि आप प्रत्येक शूट के मूल को अनछुए रखते हैं और एक प्रतिलिपि पर काम करते हैं, और यह मानते हुए कि कम से कम कुछ मूल चित्रों में कुत्ते हैं, तो आप आधे में बैक अप लेने की आवश्यकता वाले डेटा की मात्रा में कटौती करने में सक्षम हो सकते हैं।

  • यदि आप अभी भी जो भी खिड़की के भीतर पूर्ण बैकअप नहीं कर सकते हैं, तो चीजों को गति देने का एक आम तरीका डिस्क-टू-डिस्क बैकअप पहले करना है और उसके बाद बैकअप सेट को टेप पर कॉपी करना है।


110
2017-12-12 04:19



मूल शूट को छेड़छाड़ की जाती है, फिर फोटोशूट की एक और प्रति संपादन के लिए उपयोग की जाती है। डेटा को लगभग 2 साल तक रखने की आवश्यकता हो सकती है। - Jesus Fidalgo
+1 ठीक है कहा। मुझे आश्चर्य है कि बैकअप और पुरालेख के बीच का अंतर सामान्य रूप से खराब समझ में आता है। मैं अपने सिस्टम के पूर्ण और वृद्धिशील बैकअप और ईमेल और दस्तावेजों जैसे क्षणिक डेटा करता हूं, लेकिन मेरी फोटोग्राफी संग्रहित करता हूं (1.2 टीबी और बढ़ रहा है :-)। इच्छा है कि मैं डिस्क-टू-डिस्क सुझाव के लिए भी एक और +1 दे सकता हूं। - Ex Umbris
+1 मैं शर्त लगाता हूं कि NAS पर डेटा का 80% एक बार फिर कभी नहीं उपयोग किया जाता है। - Stefan Lasiewski
+1 यहां सबसे अच्छा विकल्प डिस्क कैल्टा ट्रांसफर में परिवर्तनों को कैप्चर करने के लिए दैनिक और यहां तक ​​कि घंटे की डिस्क करना है और फिर साप्ताहिक या अर्ध-साप्ताहिक आधार पर एक संग्रह या ऑफ़-साइट प्रदाता / स्थान पर पूर्ण या वृद्धिशील बैकअप को बंद करना है। डीआर परिदृश्य में डेटा हानि की मात्रा को कम करने के लिए हम हर 15 मिनट में हमारी एसक्यूएल फाइलों के डेल्टा बैकअप लेते थे। - Brent Pabst


आपके पास दो विकल्प हैं:

विकल्प 1:

  1. एक और NAS खरीदें
  2. अपने उपयोगकर्ताओं को RO_ को नए_एनएएस तक पहुंच दें
  3. 2 साल से पुरानी सभी फ़ाइलों को new_NAS पर ले जाएं
  4. सामान्य रूप से old_NAS का बैक अप लेना जारी रखें
  5. हर 6 महीने 2 साल से अधिक पुरानी फाइलों को नए_एनएएस में ले जाते हैं

विकल्प 2:

  1. एक और NAS खरीदें
  2. रन rsync हर घंटे: old_NAS -> new_NAS

    या, बेहतर कुछ का उपयोग करें rdiff-बैकअप जो rsync + फ़ाइल परिवर्तनों के साथ deltas रखता है (आप फ़ाइलों के पुराने संस्करणों को पुनर्स्थापित कर सकते हैं)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. हर 6 महीने की पुरानी पुरानी फाइलें कुछ चलती हैं:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





आपके बैकअप को रातोंरात क्यों पूरा करना है? फाइलसेवर प्रदर्शन? आप दिन के दौरान प्रभाव को सीमित करने के लिए अपने बैकअप सॉफ़्टवेयर की बैंडविड्थ को बाधित करने में सक्षम हो सकते हैं। या अन्य ट्रैफ़िक पर प्रभाव सीमित करने के लिए टेप ड्राइव से बात करने के लिए अपने NAS पर एक इंटरफ़ेस समर्पित करें।

क्या आप सप्ताहांत पर पूर्ण डंप चला सकते हैं और केवल सप्ताह के दौरान वृद्धि कर सकते हैं? यदि समस्या सप्ताहांत पर टेप बदल रही है, जब कोई भी आसपास नहीं है, तो एक सस्ते टेप लाइब्रेरी / ऑटोचेंजर को टेप बदलने के लिए किसी को भुगतान करने से बहुत कम खर्च होता है।

क्या आप अपने डेटा को कई समूहों में विभाजित कर सकते हैं जो आपकी बैकअप विंडो में पूर्ण होने के लिए पर्याप्त हैं?

हमारे पास हमारे NAS पर लगभग 50TB डेटा है और इसमें 2 टेप ड्राइव का उपयोग करके पूरी चीज़ का पूर्ण डंप प्राप्त करने में एक सप्ताह लगते हैं (एक वॉल्यूम लगभग एक सप्ताह लेता है क्योंकि इसमें कई छोटी फ़ाइलें होती हैं)। हम जो करते हैं वह हमारे डेटा को दूसरे NAS में दोहराता है। हमारा माध्यमिक NAS साइट पर है (लेकिन प्राथमिक से अलग डेटासेंटर में), इसलिए हम अभी भी ऑफ-साइट बैकअप के लिए डेटा टेप करने के लिए डेटा को स्पूल करते हैं। हम उस माध्यमिक NAS से बैकअप चलाते हैं ताकि बैकअप किसी को भी धीमा न करें।

यदि आप अपने माध्यमिक NAS को काफी दूर भेज सकते हैं, तो यह आपका बैकअप हो सकता है, कोई टेप आवश्यक नहीं है।


2
2017-12-12 18:47





मुझे बस प्रत्येक शूटिंग सत्र के आकार के बारे में संदेह है, क्या यह वास्तव में 100 जीबी / सत्र है? आपकी कंपनी हर महीने कितने सत्र करती है?

चूंकि आप ज्यादातर पुराने सत्रों को संग्रहीत कर रहे हैं जिनका उपयोग अक्सर नहीं किया जाएगा, आदि, और शायद उस जानकारी को अक्सर पुनर्प्राप्त करने की आवश्यकता नहीं है, मैं आपको सलाह देता हूं कि आप किसी कंपनी से सेवाओं का उपयोग करने के लिए उस कार्य का ख्याल रखें ।

उदाहरण के लिए, अमेज़ॅन ग्लेशियर जैसी ऑनलाइन सेवा का उपयोग करके उन 20 टीबी को स्टोर करने के लिए $ 200 / माह से थोड़ा अधिक खर्च होंगे। यदि आपको अक्सर उन अभिलेखागारों को पुनर्प्राप्त करने की आवश्यकता है, या फिर पूरी तरह से पुनर्प्राप्त करने की आवश्यकता है, तो यह कुछ समय / लागत बाधा उत्पन्न करेगा। यदि आप केवल उन चीजों को स्टोर करते हैं "यह सुनिश्चित करने के लिए कि वे संग्रहीत हैं", शायद तीसरे भाग का उपयोग करके आपका जीवन आसान हो सकता है (और एक और NAS, टेप आदि खरीदने से भी सस्ता हो सकता है)


1
2017-12-12 12:15



प्रति सत्र 100 जीबी मेरे लिए थोड़ा ऊंचा लगता है, लेकिन अनुचित नहीं है। हमारे पास आमतौर पर 32+ जीबी सत्र था जहां मैं काम करता था, और हमारे उपकरण मध्यम-स्तर थे। - Tom Marthenal


full backups of this server are not completing overnight
फिर वृद्धिशील बैकअप का प्रयास करें? प्रत्येक एक्सएक्स दिनों में एक पूर्ण बैकअप, शेष वृद्धिशील।

Harddisks टेप से तेज, तेज हैं और बैकअप के लिए इस्तेमाल किया जा सकता है।

क्लाउड बैकअप के लिए अब भी अच्छे विकल्प हैं इसलिए इसे अधिक तेज़ टेप जोड़ने की आवश्यकता नहीं है।
उदाहरण के लिए:


1
2017-12-12 13:47



टिप्पणियों को देखें - यह साप्ताहिक पूर्णता है जो पूरा नहीं कर रहा है। इसके अतिरिक्त, 20TB डेटा के लिए क्लाउड बैकअप ... एक अच्छा विचार नहीं है। अमेज़ॅन ग्लेशियर के "सस्ते" विकल्प की लागत ~ 2500 / वर्ष होगी, और उस डेटा को पुनर्प्राप्त करने के लिए ~ 36,000 डॉलर खर्च होंगे। - HopelessN00b
यह वास्तव में बहुत नहीं है। - Sirex
मुझे लगता है कि यह राय का मामला है अगर $ 2400 / वर्ष 20TB अपेक्षाकृत सुरक्षित और पूरी तरह से रखरखाव मुक्त भंडारण के लिए बहुत कुछ है। कोई बिजली की खपत नहीं, कोई ठंडा नहीं, कोई असफल हार्डवेयर नहीं, कोई एसएलए, रैक स्पेस नहीं लेता है। और अधिकांश प्रणालियों के साथ आपको लगभग 0 पूर्ण रिकवरी ऑपरेशन की अपेक्षा करनी चाहिए। और यदि आपको वसूली की आवश्यकता है तो कीमत $ 3600 से $ 1800 की तरह है (यह सुनिश्चित नहीं है कि आपको वह नंबर कहां से मिला है)। - Tedd Hansen
ग्लेशियर के लिए, $ 36K बहुत करीब है। मैं 20TB पर पुनर्प्राप्ति लागत के लिए लगभग $ 42K के रूप में इसकी गणना करता हूं। हालांकि यह अभी भी बहुत कुछ नहीं है। बैंडविड्थ एक मुद्दा है। - Sirex


मुझे लगता है कि इसके लिए हमारा सबसे अच्छा समाधान है जो हम अपने पेरोल डेटा के साथ करते हैं, जिसे आपके लिए लागू करने के लिए न्यूनतम प्रयास करना चाहिए।

  • प्रारंभ में, यह शेष सर्वर डेटा के साथ रखा जाता है जिसका प्रतिदिन बैक अप लिया जाता है। उन बैकअप पर हमारी अवधारण अवधि 13 महीने है।

  • एक बार जब हम उम्मीद नहीं करेंगे कि डेटा को संशोधित करने की आवश्यकता होगी, (दो वेतन अवधि बाद में, आईआईआरसी) डेटा (स्क्रिप्ट के माध्यम से) नियमित बैकअप से बाहर निकाले गए संग्रह मात्रा में सहेजा जाता है।

  • संग्रह मात्रा का वार्षिक रूप से टेप तक बैक अप लिया जाता है, और टेप को अनिश्चितकालीन भंडारण के लिए सिंटस में भेज दिया जाता है।

यह हमें उस अपरिवर्तनीय डेटा तक आसान, ऑनलाइन पहुंच प्राप्त करने की इजाजत देता है (इसलिए हमें किसी भी समय किसी टेस्ट में कॉल करने की आवश्यकता नहीं होती है जब कोई एकाउंटेंट कुछ देखना चाहता है), डेटा के अनिश्चितकालीन ऑफ़-साइट अभिलेखागार को बनाए रखने के दौरान हमें हमेशा के लिए रखने की आवश्यकता हो सकती है , और हमारे बैकअप सिस्टम को कुचलने के बिना। एक ही प्रकार के सेटअप की तरह लगता है कि आपके लिए काम कर सकता है, हालांकि आप समय-समय पर इस डेटा तक पहुंचने के लिए अपनी जरूरतों के आधार पर ऑनलाइन डेटा की मात्रा को समायोजित करना चाहते हैं - 20TB एंटरप्राइज़-ग्रेड स्टोरेज बहुत महंगा है इसे एलटीओ 5 टेप के दो या तीन सेटों में संग्रहीत करने से आप ऑफ़-साइट वॉल्ट में स्टोर करते हैं।


1
2017-12-12 16:58





शायद आप अपना खुद का निर्माण कर सकते हैं बैकब्लज़ पॉड: 135Tb के लिये 7384 $
अधिक जानकारी के लिए यहां दबाएं: बैकब्लज़ पॉड बिल्डिंग जानकारी

आप आवश्यक टुकड़े खरीद सकते हैं और इसे स्वयं बना सकते हैं।

हो सकता है कि आप उनमें से 3 का निर्माण कर सकें, और 2 ऑनसाइट और 1 ऑफसाइट रखें। फिर आप एक पॉड का उपयोग "ऑनलाइन डेटा" के रूप में कर सकते हैं, दूसरा पॉड के बैकअप के रूप में दूसरा ऑनसाइट फोड, और तीसरा ऑफ़साइट पॉड आपातकालीन ऑफ़साइट बैकअप के रूप में उपयोग कर सकते हैं।

प्रत्येक फली के लिए 135 टीबी स्टोरेज के साथ आप परिवर्तन के कुछ इतिहास को रखने के बारे में भी सोच सकते हैं ...
135 टीबी / 20 टीबी = 1 पूर्ण बैकअप प्रति
वैकल्पिक रूप से आप 10 पूर्ण बैकअप और अंतर बैकअप की एक हास्यास्पद राशि रख सकते हैं।

स्वाभाविक रूप से, यदि आप ऑफ़साइट बैकअप चाहते हैं, तो आपको किसी प्रकार की बड़ी बैंडविड्थ की आवश्यकता होगी ... :-)


0
2017-12-18 08:28



यदि आपका डेटा और आपका काम आपके लिए महत्वपूर्ण है, तो आपको स्क्रैच से अपना बैकब्लज़ फोड बनाने की कोशिश नहीं करनी चाहिए। यह एक अच्छा विचार प्रतीत होता है, जब तक आपको एहसास न हो कि आप अपने सभी अंडों को एक बहुत बड़ी टोकरी में डाल रहे हैं। इससे भी बदतर, कि टोकरी को एक एकीकृत पूर्ण रूप से पूरी तरह से परीक्षण नहीं किया गया है। बैकब्लज़ गुप्त सॉस कई फली में सॉफ़्टवेयर प्रतिकृति है, जो पूरे फली को निर्बाध रूप से असफल होने की अनुमति देता है। मैं इसके बजाय सुपरमिक्रो स्टोरेज सर्वर, सेंटोस, एक्सएफएस और रेडिफ बैकअप की सिफारिश करता हूं। - bugaboo


मेरे सहकर्मी ने एक सिनोलॉजी 8-डिस्क NAS खरीदा। यह एक संकर RAID चलाता है। उन्होंने कुछ हफ्ते पहले $ 89 प्रत्येक के लिए न्यूईग से आठ 3 टीबी सीगेट बराक्यूडा खरीदा। आप गीगाबिट पर इस नए NAS को उत्पादन NAS से दर्पण rsync कर सकते हैं। चूंकि आप केवल अंतर को स्थानांतरित कर रहे हैं, इसलिए स्थानांतरण में थोड़ा समय लगेगा। फिर आप पूर्ण या वृद्धि करने के लिए बैकअप NAS का उपयोग कर सकते हैं। बैकअप के लिए दरवाजे के बाहर 2000 डॉलर से कम लागत होगी।


-1
2017-12-12 16:38