सवाल संयुक्त राज्य अमेरिका से यूके डेटासेंटर तक 10 टीबी फाइलों को स्थानांतरित करें


मैं संयुक्त राज्य अमेरिका से संयुक्त राज्य अमेरिका में एक डाटा सेंटर से दूसरे डेटा में माइग्रेट कर रहा हूं। मेरे मेजबान ने कहा कि मुझे प्रति सेकंड 11 मेगाबाइट प्राप्त करने में सक्षम होना चाहिए।

ऑपरेटिंग सिस्टम दोनों सिरों पर विंडोज सर्वर 2008 है।

मेरा औसत फ़ाइल आकार लगभग 100 एमबी है और डेटा पांच 2 टीबी ड्राइव में विभाजित है।

इन फ़ाइलों को स्थानांतरित करने के लिए अनुशंसित तरीका क्या होगा?

  • एफ़टीपी
  • एसएमबी
  • रुपये / रोबोकॉपी
  • अन्य?

मुझे सुरक्षा के बारे में बहुत परेशान नहीं है क्योंकि ये सार्वजनिक फाइलें हैं, लेकिन मुझे सिर्फ एक समाधान चाहिए जो कुल स्थानांतरण समय को कम करने के लिए पूर्ण 11 एमबी / एस हस्तांतरण दर को धक्का दे सकता है।


91
2017-10-03 20:03


मूल


11 एमबी / एस या 11 एमबी / एस? - wim
डेटा को बाइनरी पंच कार्ड में स्थानांतरित करें और एक वाहक कबूतर का उपयोग करें :) - enterzero
आपको विस्तार प्रदान करना चाहिए। आपको लगता है कि कितने वाहक कबूतर आपको लगता है? अपना काम दिखाओ। - Evik James
@Evik यूरोपीय या अफ्रीकी? - wim
एक तरफ के रूप में, वोल्फ्राम अल्फा गणना करने का सबसे सुविधाजनक तरीका है, "11 एमबी / एस पर 10 टीबी"। wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


जवाब:


बजाय समुद्र में हार्ड ड्राइव जहाज।

पूर्ण उपयोग के साथ 11 एमबीपीएस पर, आप 10 टीबी स्थानांतरित करने के लिए सिर्फ 90 दिनों के शर्मीले लग रहे हैं।


11 एमबीपीएस = 1.375 एमबीपीएस = 116.015 जीबी / दिन

10240 जीबी / 116.015 जीबी / दिन = ~ 88.3 दिन


171
2017-10-03 20:14



के लिए +1 sneakernet। इसके अलावा, आप टीसीपी / आईपी ओवरहेड भूल गए हैं। यह आदर्श परिस्थितियों में ~ 100 दिनों की तरह है। - Chris S
एक बुद्धिमान व्यक्ति ने एक बार कहा "राजमार्ग को चोट पहुंचाने वाले टेपों से भरे स्टेशन स्टेशन वैगन की बैंडविड्थ को कभी कम मत समझें"। यह समीकरण बहुत सच है और नाव के लिए स्टेशन वैगन को बदलकर काफी हद तक बदला नहीं जाता है। (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
ड्राइव के बजाए टेप, या ब्लूरे डिस्क को शिप करना बेहतर है। यदि आप ड्राइव के साथ जाते हैं, तो सुनिश्चित करें कि मूल सुरक्षित रखा गया है और केवल मामले में उपलब्ध है। मैं खुद ड्राइव के लिए जाना चाहूंगा (जब तक कि मेरे पास Ultrium 4 ड्राइव नहीं था) क्योंकि 10 टीबी = 410 एकल परत ब्लूरे डिस्क! - Allen
बस एहसास हुआ कि मैंने 11 एमबीपीएस टाइप किया है, हालांकि वास्तव में मेरा मतलब 11 एमबी / एस था। मुझे लगता है कि यह काफी बड़ा अंतर बनाता है, मेरी गणना लगभग 11-14 दिनों के आसपास है ... क्या यह सही है? - Paul Hinett
अभी भी विश्वास है कि एक व्यक्ति को 10TB बैकअप के साथ देखकर भेजना है, जबकि आधिकारिक डिस्क अभी भी काम कर रही है, फिर सेटअप हो जाने के बाद, आप किसी भी बदलाव के लिए नए सर्वर को अपडेट करने के लिए rsync को दोपहर का भोजन कर सकते हैं। आप अपनी मशीन को एक दिन में चलाना और चलाना चाहते हैं। - Loïc Faure-Lacroix


मैं rsync कहूंगा, 11 एमबी / एस पर आप 10-14 दिनों को देखेंगे और यहां तक ​​कि यदि आप बाधित हो जाते हैं, तो भी rsync आसानी से शुरू होगा जहां यह पिछली बार रुक गया था।

11 एमबीपीएस पर मैं ऊपर सुझाए गए हार्ड डिस्क भेज दूंगा :)


25
2017-10-03 22:00



आपका अनुमान दूसरों द्वारा पोस्ट किए गए कार्यों से बहुत महत्वपूर्ण है (और मुझे नहीं पता कि कौन सही है)। क्या आप उन आंकड़ों पर पहुंचने के लिए अपनी पद्धति की आपूर्ति कर सकते हैं? - John Gardeniers
ओपी से अंतर 11 एमबीएस गलत हो रहा है जब वास्तव में उसका मतलब 11 एमबीपीएस था - जो 8 गुना तेज है। बीटीडब्लू, एक बाधा के मामले में 10 टीबी आरएसआईएनसी को फिर से शुरू करने में शायद कुछ समय लगेगा, है ना? घंटे, या अधिक? - Frank Farmer
@ फ्रैंकफार्मर: मैं rsync पुनरारंभ करने के बारे में चिंता नहीं करता; मैं 30 एमबीपीएस वायरलेस लाइन पर ~ 20TB की ऑफ़साइट प्रतिलिपि रखता हूं, और पुनरारंभ करना सेकंड की सीमा में है। प्रारंभिक प्रतिलिपि में कुछ हफ्तों लगे, लेकिन रात का अपडेट आम तौर पर दो घंटे होता है। - Javier
@ फ्रैंकफार्मर - rsync बहुत अच्छी तरह से स्केल लगता है। मेरे पास ग्रामीण एडीएसएल 1 लाइन पर ~ 2 टीबी है जो स्नेकरनेट के साथ इंटिलाइज्ड किया गया था, लेकिन अगर कुछ भी नहीं बदला है तो हर रात rsync में ~ 5 मिनट लगते हैं। - Flexo
rsync फ़ाइलों की संख्या के साथ समय स्केल को पुनरारंभ करें (मुख्य रूप से से stat समय, मेरे अनुभव में), कुल डेटा के साथ नहीं। मुझे कोई महत्वपूर्ण इंतजार नहीं होगा (अधिकतर मिनट)। हालांकि आरएसआईएनसी के साथ मेरा अनुभव 5 टीबी के नीचे थोड़ा सा है। - derobert


निश्चित रूप से रुपये।

कम से कम आप ब्रेक के बाद किसी भी समय जारी रख सकते हैं, और यह बिना किसी दर्द के है।


14
2017-10-03 20:07



100% उपयोग पर प्रतिलिपि बनाने के लिए 3+ महीने। क्षमा करें, लेकिन यह इतना डेटा हस्तांतरित करने का एक भयानक तरीका है। - Chris S
मुझे @ChrisS का उपयोग करके सहमत होना है rsync बस बड़ी फाइलों की प्रतिलिपि बनाने के लिए कुशल नहीं है। मेरी सामग्री के लिए मैं उपयोग समाप्त हो गया tarऊपर netcat या ssh प्रारंभिक स्थानांतरण के लिए। यह बहुत तेज़ है और तुरंत स्थानांतरित करना शुरू कर देता है, जबकि rsync पहली बार सभी फाइलों को स्कैन करेगा जो समय लेता है। यदि यह बाधित हो जाता है तो भी आप इसका उपयोग कर सकते हैं rsync बाद में। वास्तव में, मैं कभी-कभी ऐसा करता हूं tar वैसे भी सभी अनुमतियों, सॉकेट फाइलों आदि को सुनिश्चित करने के लिए सही हैं। - Martin Scharrer
ओपी को सुधारने के बाद कि उसे ~ 100 एमबी कनेक्शन मिला है, 11 एमबी नहीं, rsync अधिक समझ में आता है। पहले इसका उल्लेख करने के लिए +1। - Chris S


टेप से भरे स्टेशन वैगन के बैंडविड्थ को कभी कम मत समझें

- पारंपरिक।

आपके मामले में, कूरियर द्वारा भेजे गए डिस्क या टेप, लेकिन सिद्धांत अभी भी लागू होता है। यदि आप विलंबता के बारे में चिंतित नहीं हैं, तो यह किसी भी उचित अवधि में 10TB डेटा स्थानांतरित करने के लिए नेटवर्क बैंडविड्थ से काफी सस्ता होगा।


11
2017-10-04 11:32



जेफ एटवुड ने अपने पुराने कोडिंग डरावनी पदों में से एक में नंबर चलाया .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


आपको rsync का उपयोग करना चाहिए। यह संकुचित करें डेटा और de-डुप्लिकेट भेजने से पहले। यह आंशिक स्थानान्तरण भी शुरू कर सकता है, जो किसी भी बड़े स्थानान्तरण के लिए बहुत महत्वपूर्ण है।

ऐसा लगता है कि यह 10 टीबी स्थानांतरित नहीं करता है; अगर यह लॉग और टेक्स्ट है और ऐसा 1 टीबी के तहत हो सकता है; शायद 1 टीबी से नीचे रास्ता।

ऐसे उपकरण हैं जो rsync की तुलना में संपीड़न का बेहतर काम करते हैं और संभवतः अधिक मिलान मिलते हैं। आप उपयोग कर सकते हैं lrzip, आदि।

ऐसे विशिष्ट प्रकार के डेटा हैं जो अच्छी तरह से संपीड़ित नहीं होते हैं और इसमें उदाहरण के लिए शाब्दिक डुप्लिकेट नहीं होते हैं - वीडियो और अन्य मीडिया। उन मामलों में, एफ़टीपी और rsync एक ही प्रयास कर रहे हैं।


9
2017-10-04 08:02



RSync डेटा को deduplicates? मुझे लगता है कि यह केवल फ़ाइल स्तर पर ही करता है, जिसका अर्थ है कि इस मामले में समर्पण अधिकतर बेकार है। - devicenull


मुझे पता है कि यह पहले से ही स्वीकार कर लिया गया है, लेकिन क्या आपने अपनी डिस्क को डेटा सेंटर / प्रदाता / होस्ट पर ले जाने पर विचार किया है जहां आप अधिक बैंडविड्थ प्राप्त कर सकते हैं? यह शायद आपको कुछ पैसे खर्च करेगा लेकिन बैकअप डिस्क पर 10240 जीबी की प्रतिलिपि बनाने और इच्छा भेजने के लिए दोनों समय और धन (2 एक्स पैसा) भी खर्च होंगे।

साथ ही आप सुनिश्चित होंगे कि आपके डिस्क परिवहन में नहीं टूटते हैं।


5
2017-10-04 07:13



यह उत्तर स्वीकार्य उत्तर से अलग कैसे है? - Chris S
@Chris यह उत्तर डिस्क को उसी महाद्वीप पर एक बड़े पाइप में ले जाने का सुझाव देता है। - Alex Jasmin


11Mbps? यह आपके पास काफी सीमित है। आपकी स्थिति में मैं बस:

  • डेटा क्लोन करें
  • इसे संपीड़ित करें
  • दोनों सिरों पर सर्वर को कम से कम 10 गुना अधिक बैंडविड्थ (उसी डेटा केंद्र में या अपने अंत में एक डेटा सेंटर में अपने अंत में) के साथ किराए पर लें।
  • फ़ाइलों को स्थानांतरित करें
  • डेटा को नए सर्वर पर लागू करें।

यदि आपके पास बैंडविड्थ बढ़ाने के लिए वास्तव में कोई समाधान नहीं है ... तो एक भौतिक ड्राइव शिपिंग करना तेजी से होगा।

मेरे दर्दनाक अनुभव से हार्ड ड्राइव मेल में तोड़ने लगता है ... यूएसबी फ्लैश ड्राइव लगातार डेटा स्थानान्तरण के लिए एक बेहतर समाधान है। आपके मामले में इसे उनमें से कुछ की आवश्यकता होगी :) तो कई हार्ड ड्राइव पर अपने डेटा की 2 प्रतियां भेजें।

आपके पास मौजूद डेटा की मात्रा को ध्यान में रखते हुए आप RAID 5 या RAID 6 सरणी से ड्राइव भी भेज सकते हैं यदि आपके पास अपने ड्राइव को प्लग करने के लिए दूसरी तरफ एक ही हार्डवेयर / सॉफ़्टवेयर है। लेकिन उस स्थिति में अपने ड्राइव के क्रम को चिह्नित करना याद रखें और उनके सीरियल नंबर तो जब पुन: कॉन्फ़िगर करते हैं तो वे मिश्रित नहीं होते हैं।


4
2017-10-04 00:15



क्षमा करें, 11 एमबीपीएस एक गलत टाइप था, यह 11 एमबी / एस है ... मैंने उपरोक्त टिप्पणियों में से एक में उल्लेख किया था। - Paul Hinett


हालांकि मुझे इस मामले में "हार्डड्राइव का उपयोग करके इसे जहाज" पर सहमत होना है, यहां एक प्रतिलिपि समाधान है जिसका उपयोग मैं पहली बार बड़ी मात्रा में फाइलों की प्रतिलिपि बनाना चाहता हूं:

जबकि rsync दो डेटा स्टोरेज को सिंक में रखने के लिए अच्छा है, यह प्रारंभिक स्थानांतरण के लिए अनावश्यक ओवरहेड का थोड़ा सा परिचय देता है। मैंने सोचा कि सबसे तेज़ तरीका है tar जो पाइप हो जाता है netcat। रिसीवर साइट पर आप भी उपयोग कर सकते हैं netcat में बात सुनो मोड जो आने वाले डेटा को निकालने के लिए पाइप करता है tar। लाभ यह है कि tar तुरंत भेजना शुरू होता है और netcat इसे बिना किसी अतिरिक्त उच्च स्तरीय प्रोटोकॉल ओवरहेड के साथ सादे टीसीपी स्ट्रीम के रूप में भेजता है। यह जितना तेज़ हो उतना तेज़ होना चाहिए। हालांकि, अंतिम स्थिति में बाधित स्थानांतरण को पुनरारंभ करना आसान नहीं है।

दाईं ओर उपयोग करके स्थानांतरण के लिए डेटा को संपीड़ित करना भी आसानी से संभव है tar विकल्प या पाइप में एक संपीड़न उपकरण जोड़ें। ध्यान दें कि netcat तारीख को अनएन्क्रिप्टेड भेजता है। ऐसे मामलों में जहां यह एक विकल्प नहीं है, एक एन्क्रिप्टेड ssh इसके बजाय कनेक्शन का उपयोग किया जा सकता है (tar <options> | ssh <target> -c 'tar -x <options>')।

यदि सभी डेटा स्थानांतरित किया जाता है rsync यह सुनिश्चित करने के लिए इस्तेमाल किया जा सकता है कि इस दौरान अद्यतन की गई सभी फाइलें सिंक्रनाइज़ हैं। आईआईआरसी भी tar सॉकेट नहीं बनाते हैं जो अन्यथा खो जाएंगे, लेकिन वे वास्तव में डेटासेंटर डेटा के लिए वास्तव में उपयोग नहीं किए जाते हैं।


3
2017-10-04 07:36



नकारात्मकता यह है कि यह हस्तक्षेपों का सहिष्णु नहीं है - Joel Coel


क्या तुमने विचार किया है IPoAC?

एक ही कबूतर लगभग एक घंटे में डेटा के गीगाबाइट्स ले जाने में सक्षम हो सकता है, जो कि औसत बैंडविड्थ आधार पर वर्तमान एडीएसएल मानकों के अनुकूल है, भले ही खोए गए ड्राइव के लिए लेखांकन।


2
2017-10-04 02:08



ओपी द्वारा वर्णित दूरी पर कबूतर सिग्नल नुकसान का सामना करेंगे। - Roy Tinker
@RoyTinker साफ़ खिड़कियों की प्रक्रिया का उपयोग कर आईपीओएसी जरूरतों को लागू किया जाना चाहिए। - JamesBarnett


फिर, ड्राइव को शिप करना पहला सुझाव है।

दूसरा सुझाव rsync को rsyncd का उपयोग करना है, एसएसएच से अधिक नहीं। मैंने कई चीजों की कोशिश की है और यह आमतौर पर सबसे तेज़ है। संपीड़न चालू करने के लिए याद रखें। इसके अलावा, देखो rsync बफर आकार में वृद्धि या कमी इष्टतम स्थानांतरण दर प्राप्त करने के लिए। यह भी मदद कर सकता है अपने एमटीयू आकार में वृद्धि। यह केवल तभी मदद करता है जब मार्ग में रूटर आपके पैकेट को टुकड़े नहीं करते हैं। यह निर्धारित करने के तरीके हैं कि वे क्या करते हैं।

दुर्भाग्य से ऐसी कोई सेटिंग नहीं है जो हमेशा सर्वोत्तम होती है। आपको यह पता लगाने के लिए प्रयोग करना होगा कि आपकी स्थिति में सबसे अच्छा क्या काम करता है।


2
2017-10-05 02:17





आपने बताया कि सर्वर विंडोज 2008 चला रहे हैं माइक्रोसॉफ्ट डीएफएस उपयुक्त हो? निचले सिरे में कुछ जादू है जो कनेक्शन के जितना बैंडविड्थ को पॉजिबल के रूप में प्राप्त करने की कोशिश करता है, और इसमें संपीड़न और डी-डुप्लिकेशन (आईआईआरसी) भी होता है।

आपको याद है, हार्ड ड्राइव, डीवीडी या ब्लूरेज़ तेजी से होंगे ... मेरी गणना 11 एमबी / एस में 11 दिन है ...


1
2017-10-05 11:47