सवाल डेवलपर्स और अन्य उपयोगकर्ताओं को स्टोरेज समस्याओं की व्याख्या करने का सबसे अच्छा तरीका क्या है


जब सर्वर स्टोरेज कम डेवलपर्स हो जाता है तो सभी moan शुरू करते हैं, "मैं वॉलमार्ट पर 100 रुपये के लिए 1 टीबी ड्राइव प्राप्त कर सकता हूं, समस्या क्या है"।

डेवलपर्स को स्टोरेज की जटिलताओं को कैसे समझाया जा सकता है ताकि वे समझ सकें कि वॉलमार्ट से 1 टीबी ड्राइव क्यों काम नहीं करेगी।

अनुलेख मैं एक डेवलपर हूं और जानना चाहता हूं:)


39
2018-05-01 14:12


मूल


या "मैं अमेज़ॅन एस 3 से $ 0.15 प्रति गीगाबाइट के लिए भंडारण प्राप्त कर सकता हूं, समस्या क्या है?" - Chris Upchurch
@ क्रिस अपचर्च: लेकिन समस्या यह है कि आपको अमेज़ॅन एस 3, Google ऐप इंजन या चुनने के बारे में एक रिपोर्ट लिखनी पड़ सकती है ... भगवान, यह पेंटफुल हो सकता है। ;) - Sung Kim
मैं उस पर आप को बदल सकता है। मेरा काम राजस्व पैदा कर रहा है, और मुझे अपने काम को प्रभावी ढंग से करने के लिए थोड़ा और भंडारण की आवश्यकता है। यह एक ठोस निवेश है, तो आप और अधिक भंडारण क्यों नहीं खरीद सकते?
@ क्रिस: बेशक यह हमेशा स्थिति की स्थिति पर निर्भर करता है, लेकिन मुझे (महंगा) अनुभव मिला है कि बेसलाइन स्टोरेज के लिए अमेज़ॅन एस 3 का उपयोग करना बिल्कुल लागत प्रभावी नहीं है। एस 3 ट्रैफिक चोटियों को संभालने के लिए बहुत बेहतर उपयोग किया जाता है ताकि आपको किसी ऐसे सिस्टम में निवेश करने की आवश्यकता न हो जो दुर्लभ सबसे खराब परिस्थितियों को संभालने में सक्षम हो - लेकिन यदि आप इसे दिन-प्रतिदिन के संचालन के लिए उपयोग करना शुरू करते हैं तो आप पाएंगे कि आप बहुत बेहतर हैं पूंजी लागत का भुगतान ... - Mihai Limbăşan


जवाब:


भंडारण के बारे में कुछ घर सच्चाई, या एंटरप्राइज़ स्टोरेज क्यों महंगा है?

उपभोक्ता हार्ड ड्राइव अंतरिक्ष की बड़ी मात्रा प्रदान करते हैं ताकि * खांसी * स्ट्रीमिंग मीडिया * खांसी * के सबसे समझदार उपयोगकर्ता भी कई टेराबाइट्स के संग्रह को स्टोर करने के लिए पर्याप्त खरीद सकें। वास्तव में, कुछ दशकों से सिलिकॉन पर ट्रांजिस्टर गणना की तुलना में डिस्क क्षमता तेजी से बढ़ रही है।

'एंटरप्राइज़' स्टोरेज कुछ हद तक जटिल समस्या है क्योंकि डेटा में प्रदर्शन और अखंडता आवश्यकताएं होती हैं जो कुछ हद तक हेवीवेट दृष्टिकोण को निर्देशित करती हैं। हार्डवेयर विफलताओं की स्थिति में डेटा की उपलब्धता की कुछ गारंटी होनी चाहिए और इसे बड़ी संख्या में उपयोगकर्ताओं के साथ साझा करना पड़ सकता है, जो एक उपयोगकर्ता से अधिक पढ़ने / लिखने के अनुरोध उत्पन्न करेगा।

उपभोक्ता भंडारण समाधान की तुलना में इस समस्या का तकनीकी समाधान कई गीगाबाइट प्रति गुना अधिक महंगा हो सकता है। उन्हें भौतिक रखरखाव की भी आवश्यकता होती है; बैकअप लेना चाहिए और अक्सर ऑफ-साइट संग्रहीत किया जाता है ताकि आग डेटा को नष्ट न करे। यह प्रक्रिया चल रही लागत को जोड़ती है।

प्रदर्शन 

आपके 1 टीबी उपभोक्ता या यहां तक ​​कि एंटरप्राइज़ ऑफ़लाइन ड्राइव पर आपके पास सिर्फ एक ही सिर है। डिस्क 7200 आरपीएम, या प्रति सेकंड 120 क्रांति पर घूमती है। इसका मतलब है कि आप सिद्धांत में प्रति सेकंड अधिकतम 120 यादृच्छिक-पहुंच I / O संचालन प्राप्त कर सकते हैं * और अभ्यास में कुछ हद तक कम हो सकते हैं। इस प्रकार, एक 1TB वॉल्यूम पर एक बड़ी फ़ाइल की प्रतिलिपि अपेक्षाकृत धीमी है।

14x 72 जीबी डिस्क के साथ डिस्क सरणी पर, आपके पास 15,000 आरपीएम या प्रति सेकंड लगभग 250 क्रांति (कहें) पर जाने वाले डिस्क पर 14 सिर हैं। यह आपको सैद्धांतिक अधिकतम 3,500 यादृच्छिक I / O संचालन प्रति सेकेंड देता है * (फिर से, अभ्यास में कुछ हद तक कम)। फाइल कॉपी के बराबर होने वाली सभी अन्य चीजें कई बार कई बार तेज होंगी।

* डिस्क की प्रति क्रांति के बाद आप एक से अधिक यादृच्छिक पहुंच प्राप्त कर सकते हैं यदि पढ़ने की ज्यामिति ने ड्राइव को सिर को स्थानांतरित करने और डिस्क के एक क्रांति के भीतर उपलब्ध होने वाले क्षेत्र को पढ़ने की अनुमति दी। यदि डिस्क का उपयोग व्यापक रूप से फैल गया था तो आप शायद एक से कम औसत होंगे। जहां एक धारीदार (नीचे देखें) लेआउट में स्वरूपित डिस्क सरणी आपको अधिकांश परिस्थितियों में डिस्क की प्रति क्रांति पढ़ने के लिए अधिकतम एक पट्टी मिलेगी और (RAID नियंत्रक के आधार पर) संभवतः औसत से कम एक से कम हो।

7200 आरपीएम 1 टीबी ड्राइव शायद अनुक्रमिक I / O पर उचित रूप से त्वरित होगा। एक धारीदार योजना (RAID-0, RAID-5, RAID-10 इत्यादि) में स्वरूपित डिस्क सरणी आमतौर पर डिस्क की प्रति क्रांति के अधिकांश एक पट्टी पर पढ़ सकते हैं। एक 64 के पट्टी के साथ हम 15,000 आरपीएम डिस्क से प्रति सेकंड 64Kx250 = 16MB या डेटा प्रति सेकंड पढ़ सकते हैं। यह 14 डिस्क की सरणी पर लगभग 220 एमबी प्रति सेकेंड का अनुक्रमिक थ्रूपुट देता है, जो कि 150 एमबी / सेकंड की तुलना में पेपर पर इतना तेज़ नहीं है या आधुनिक 1TB SATA डिस्क के लिए उद्धृत किया गया है।

वीडियो स्ट्रीमिंग के लिए (उदाहरण के लिए), एक बड़े पट्टी आकार के साथ RAID-0 में 4 SATA डिस्क की एक सरणी (कुछ RAID नियंत्रक 1 एमबी तक पट्टी आकार का समर्थन करेंगे) बहुत सारे क्रमिक थ्रूपुट हैं। यह उदाहरण सैद्धांतिक रूप से 480 एमबी / सेकेंड स्ट्रीम कर सकता है, जो वास्तविक समय असम्पीडित एचडी वीडियो संपादन करने के लिए पर्याप्त रूप से पर्याप्त है। इस प्रकार, मैक प्रोस और इसी तरह के हार्डवेयर के मालिक एचडी वीडियो कंपोजिटिंग कार्यों को कर सकते हैं जिन्हें कुछ साल पहले सीधे-संलग्न फाइबर सरणी वाली मशीन की आवश्यकता होती थी।

डिस्क सरणी का असली लाभ डेटाबेस कार्य पर है जो बड़ी संख्या में छोटे, बिखरे हुए I / O अनुरोधों द्वारा विशेषता है। इस प्रकार के वर्कलोड प्रदर्शन पर डिस्क के दौर में और पीछे और आगे चलने वाली डिस्क में धातु के बिट्स की भौतिक विलंबता से बाधित होता है। इस मीट्रिक को आईओपीएस (आई / ओ ऑपरेशंस प्रति सेकंड) के रूप में जाना जाता है। आपके पास जितनी अधिक भौतिक डिस्क हैं - क्षमता के बावजूद - जितना अधिक IOPS आप सैद्धांतिक रूप से कर सकते हैं। अधिक आईओपीएस का अर्थ प्रति सेकेंड अधिक लेनदेन है।

डेटा अखंडता

इसके अतिरिक्त अधिकांश RAID कॉन्फ़िगरेशन आपको कुछ डेटा रिडंडेंसी देते हैं - जिन्हें परिभाषा के अनुसार एक से अधिक भौतिक डिस्क की आवश्यकता होती है। इस तरह की अनावश्यकता और बड़ी संख्या में ड्राइव के साथ एक स्टोरेज स्कीम का संयोजन एक सिस्टम को विश्वसनीय रूप से एक बड़े लेनदेन वर्कलोड की सेवा करने की क्षमता देता है।

डिस्क सरणी के लिए आधारभूत संरचना (और अधिक चरम मामले में SAN) वास्तव में एक बड़े पैमाने पर बाजार आइटम नहीं है। इसके अलावा यह बिट्स में से एक है सचमुच असफल नहीं हो सकता निर्माण और छोटे बाजार की मात्रा के मानक का यह संयोजन सस्ता नहीं आता है।

बैकअप सहित कुल भंडारण लागत

व्यावहारिक रूप से, 1TB डेटा को बनाए रखने के लिए सबसे बड़ी लागत बैकअप और वसूली होने की संभावना है। बैकअप और पुनर्प्राप्ति के पूर्ण दादा चक्र के लिए एक टेप ड्राइव और एसडीएलटी या अल्ट्रीम टेप के 34 सेट शायद 1TB डिस्क सरणी से अधिक खर्च होंगे। ऑफ़-साइट स्टोरेज की लागत और एक टेप-बंदर का वेतन भी जोड़ें और अचानक आपका 1TB डेटा इतना सस्ता नहीं है।

डिस्क की लागत अक्सर प्रमुख भंडारण लागत के पदानुक्रम के नीचे एक उचित तरीका है। एक बैंक में मुझे सैन स्टोरेज के लिए काम करने का अवसर विकास प्रणाली के लिए £ 900 / जीबी और उत्पादन सर्वर पर डिस्क के लिए £ 5,000 / जीबी की लागत थी। एंटरप्राइज़ विक्रेता कीमतों पर भी डिस्क की भौतिक लागत उसमें से एक छोटा सा अंश था। एक और उदाहरण जो मुझे पता है, में एक (अपेक्षाकृत) मामूली रूप से कॉन्फ़िगर किया गया आईबीएम शार्क सैन है जो उन्हें कहीं भी £ 1 मिलियन से अधिक खर्च करता है। इस पर भौतिक भंडारण लगभग £ 9 / गीगाबाइट, या आपके 1TB उपभोक्ता एचडीडी के समतुल्य स्थान के लिए £ 9,000 पर लगाया जाता है।


53
2018-05-01 15:07





बस कहें: "हाँ, और मैं $ 5 / घंटे के लिए जावा प्रोग्रामर ऑफशोर प्राप्त कर सकता हूं।"


40
2018-05-01 14:15



अब यह अच्छा है! - John Dyer
यह काफी विनोदी टिप्पणी है लेकिन मैं इसे ऊपर उठाने के लिए प्रतीत नहीं कर सकता क्योंकि यह वास्तव में सवाल का जवाब नहीं देता है, जिसे मैं जवाब देने के लिए उत्सुक हूं - Sung Kim
@ dance2die मुझे लगता है कि यह सवाल स्पष्ट रूप से जवाब देता है। - Joe Phillips
मुझे लगता है कि यह एक वैध प्रतिक्रिया है। मुद्दा यह है कि, हम प्रत्येक के पास विशेषज्ञता के अपने क्षेत्र हैं, और एक टीम के सदस्यों को एक दूसरे पर भरोसा करने की आवश्यकता है। इस तरह के डेवलपर को प्रश्न वापस फ़्लिप करने से उन्हें यह पता चल जाएगा कि एक-दूसरे का अनुमान लगाने का प्रयास करना कितना व्यर्थ है। - Portman
एक और वैध प्रतिक्रिया यह होगी कि गीक स्क्वाड में लड़का शायद यह पता लगा सकता है कि इसे कैसे किया जाए, इसे सस्ता करें, और इसे करने के बारे में बहुत बेहतर रवैया रखें। गंभीरता से, इस सवाल के लिए यह सबसे ज्यादा वोट दिया गया जवाब क्यों है? इसे पढ़ने के दौरान मेरे पास एक अच्छा चक्कर था, लेकिन अगर यह होगा कि साइट के सदस्य बेवकूफ सवालों का जवाब कैसे देते हैं, तो मैं Google और विशेषज्ञों के एक्सचेंज के साथ रहूंगा। - dfjacobs


शायद उन्हें अपने वॉलमार्ट ड्राइव के बारे में कुछ प्रश्न पूछें:

  • असफलता का मतलब क्या है?
  • क्या होता है अगर यह विनाशकारी रूप से विफल हो जाता है?
  • इसका कितनी बार बैक अप लिया जाता है?
  • 12 महीने के बैकअप के लिए कितना संग्रहण होगा?
  • इसे साइट से कैसे बैक अप किया जा सकता है?
  • इसे कैसे बहाल किया जा सकता है? (पूरी तरह से? एक फाइल? कुछ निर्देशिका?)
  • बैकअप को स्टोर करने के लिए कितना खर्च होता है?
  • वह कैसे गारंटी देगा कि बैकअप सुरक्षित रखा गया है? सुरक्षित?
  • महत्वपूर्ण डेटा के नुकसान को कवर करने के लिए उसे क्या बीमा है?

... इन उत्तरों की तुलना एक ड्राइव के साथ करें जो एक अच्छी तरह से प्रबंधित डेटासेंटर में RAID 5 सरणी के हिस्से के रूप में चल रहा है।

(प्रकटीकरण: मैं भी एक डेवलपर हूं - मैं बस अनुमान लगा रहा हूँ!)


14
2018-05-01 14:45



प्रश्न के "क्यों" के लिए एक अच्छा, व्यापक दृष्टिकोण के लिए +1। - Avery Payne


शायद आपको अलग-अलग भंडारण पर विचार करना चाहिए।

आपके देव को अधिक जगह की आवश्यकता हो सकती है, लेकिन शायद वह "एंटरप्राइज़ क्लास" ड्राइवस्पेस नहीं है जिसके बाद वह है। हो सकता है कि उसे सिर्फ स्टोर करने की जगह हो .vhd और आईएसओ का डिस्क क्रैश का मामला एमएसडीएन से फिर से डाउनलोड किया जा सकता है। हो सकता है कि परीक्षण रनों को बड़ी क्षणिक अंतरिक्ष आवश्यकताओं की आवश्यकता होती है जो परीक्षण चलाने की अवधि के लिए केवल वहां होने की आवश्यकता होती है। इन सभी के लिए $ 50 वॉलमार्ट ड्राइव एक वैध समाधान हो सकता है।


4
2018-06-04 07:34





स्टोरेज के बारे में लोगों को एहसास करने की संख्या एक बात यह है कि क्षमता और आईओपीएस के बीच एक बड़ा अंतर है। स्थायित्व आदि जैसी चीजें आमतौर पर म्यूट होती हैं, यह लगभग हमेशा आईओपीएस बनाम क्षमता तक आती है।


3
2018-05-01 14:14



आईओपीएस: प्रति सेकेंड इनपुट / आउटपुट ऑपरेशंस - Sam Hasler


यह इस बात पर निर्भर करता है कि किस प्रकार के सर्वर पूछ रहे हैं। मूल देव या परीक्षण सर्वर के लिए वॉलमार्ट से एक टीबी ड्राइव शायद काफी अच्छी है। यदि आप एक उच्च अंत सर्वर से निपट रहे हैं जो शेल्फ घटकों का उपयोग नहीं करता है तो उनसे पूछें कि क्या वे रेस कार का निर्माण करेंगे और कुछ हिस्सों को बचाने के लिए ऑटो पार्ट्स स्टोर से टायर खरीदेंगे।


2
2018-05-01 14:35



हालांकि मैं प्रबंधकों पर इस तकनीक का उपयोग न करने की सलाह दूंगा। जवाब बहुत अच्छा हो सकता है "हां।" - Jason Baker


जिस तरह से मैं इसे समझाता हूं वह यह है। यदि आपका मालिक खरीद पर हस्ताक्षर करेगा। मैं वाल-मार्ट ड्राइव पर एक संकेत डालूंगा जो कहता है ..

"एसआईएस विज्ञापन को यहां अपनी इच्छा और आंत के खिलाफ रखने का निर्देश दिया गया था।" और जब ड्राइव मर जाती है तो मैं ड्राइव को सौंप दूंगा और देव को ध्यान दूंगा और उनसे पूछूंगा कि इस बार मेरा काम कैसे करें ..

मैं पोर्टमैन से सहमत हूं ... टीम पर भरोसा करें, या छोड़ दें।


1
2018-05-14 23:07





एक साधारण एक-पंक्ति उत्तर: 1TB ड्राइव आमतौर पर SATA होते हैं, लेकिन आपका सर्वर SCSI है। (भले ही सर्वर एससीएसआई नहीं है, यह अब पूछताछ की रेखा को रोक सकता है ...)

एक 300 जीबी एससीएसआई ड्राइव आमतौर पर 4x मूल्य है, फिर मौजूदा डेटा का बैक अप ले रहा है, डाउनटाइम व्यवस्थित हो रहा है, इंस्टॉल कर रहा है, कुछ गलत हो सकता है, ओवरटाइम इत्यादि। सब कुछ, एक साधारण स्टोरेज अपग्रेड सभी को जन्म दे सकता है दर्द के प्रकार - जिनमें से कोई भी देव सीधे के लिए ज़िम्मेदार नहीं है। यह कहकर कि आप एक ऑफ-द-शेल्फ ड्राइव खरीद सकते हैं जो वर्तमान आवश्यकता को पूरा करता है निराशाजनक रूप से सरल है।

लेकिन आप जानते हैं कि जब आपने उन्हें खरीदा था तो आपको लानत सर्वरों में बड़ी ड्राइव डालना चाहिए था और अब आप खुद को लात मार रहे हैं! लेकिन आप सर्वर स्थापित करना चाहते थे और वे अग्रिम लागत में शामिल होते थे और इसे अनुमोदन के अतिरिक्त दौर में जाना पड़ता था ... sysadmin की दर्द की दुनिया में आपका स्वागत है ...


0
2018-05-05 00:59