सवाल प्रतिकृति के लिए डीआरबीडी बनाम ग्लस्टरएफएस


मुझे आंतरिक गिट भंडार होस्ट करने के लिए एक समाधान बनाने की जरूरत है। इसे सैकड़ों हजारों (या अधिक) भंडारों का समर्थन करने की आवश्यकता है।

मैं एक साझा स्टोरेज के साथ कई "गूंगा" सर्वरों का उपयोग करने की योजना बना रहा हूं, इसलिए मूल रूप से जब कोई ग्राहक एक भंडार तक पहुंचने का प्रयास कर रहा है - इसे लोड-बैलेंसर द्वारा किसी भी उपलब्ध सर्वर पर रीडायरेक्ट किया जाएगा। भंडार में कोई भी परिवर्तन - सभी नोड्स में दोहराया जाएगा।

मेरा पहला विचार उस के लिए ग्लस्टरएफएस का उपयोग करना था, लेकिन मैंने पढ़ा है कि यह छोटी फाइलों के साथ अच्छी तरह से संभाल नहीं करता है। मैं डीआरबीडी का उपयोग करके सबकुछ खुद को दोहराने की सोच रहा हूं, लेकिन इसके लिए अधिक सेटअप की आवश्यकता है और ग्लस्टरएफएस की तुलना करते समय और अधिक जटिल लगता है।

दोनों में से कौन सा बेहतर प्रदर्शन प्रदान करता है? असल में जिस समस्या को मैं हल करने की कोशिश कर रहा हूं वह यह है कि जब कोई भी सर्वर नीचे जाता है - मैं चाहता हूं कि अन्य लोग अभी भी डेटा की सेवा कर सकें।


6
2018-01-28 05:00


मूल




जवाब:


यह एक क्लासिक स्केल-आउट उपयोग केस है, और आईएमओ ग्लस्टरएफएस को बिल फिट करना चाहिए। आप इसे आज़मा सकते हैं - बस कुछ वीएम लाएं, भंडार भंडारण के लिए इस्तेमाल होने वाली कुछ ईंटें स्थापित करें और तनाव परीक्षण चलाएं।

डीआरबीडी वैसे भी एक विकल्प नहीं है - यह स्केल नहीं करता है। यदि कुछ भी है, तो मैं अन्य ऑब्जेक्ट स्टोरेज प्रोजेक्ट्स (उदाहरण के लिए स्विफ्ट) देखता हूं, अगर ग्लस्टर पर्याप्त काम नहीं करता है, लेकिन उनमें से कोई भी बेहद प्रदर्शन उन्मुख नहीं है


5
2018-01-28 06:04



ऐसा लगता है कि गिटहब अपने भंडारण के लिए डीआरबीडी का उपयोग कर रहे हैं (मुझे लगता है कि यह स्केल करता है), लेकिन यह एक ओवरकिल आईएमओ की तरह लग रहा था, और मैं एक वितरित फ़ाइल-सिस्टम समाधान पसंद करता हूं जहां सब कुछ "बस काम करता है"। - Gilad Novik
खैर, तथ्य यह है कि कोई इसका उपयोग करता है, इसका मतलब यह नहीं है। इसका मतलब है कि उनके पास डीआरबीडी का उपयोग कर कुछ फेलओवर क्लस्टर हैं, जो कि एकाधिक प्रति सक्रिय / सक्रिय फ़ाइल एक्सेस नोड्स के समान नहीं हैं जिन्हें आप ग्लस्टर / स्विफ्ट / केफ / आदि के साथ प्राप्त कर सकते हैं। - dyasny
क्या डीएफएस का प्रदर्शन नोड्स की बढ़ती संख्या के साथ गिरता है? - CMCDragonkai
ग्लैस्टर / डीआरबीडी के साथ डीएफएस को क्या करना है? - dyasny


मेरे पास साइरस मेल सर्वर के लिए एक समान सेट अप था जिसमें ग्लस्टर साबित हुआ है कि तनाव परीक्षण के दौरान भार को संभालने में सक्षम नहीं है। हमने मूल रूप से ग्लस्टर चुना क्योंकि यह सरल था लेकिन उसे वापस डीबीबी में जाना पड़ा। हालांकि डायास्नी को हाइलाइट किया गया, डीआरबीआई सक्रिय / सक्रिय सीएफजी सलाह नहीं दी जाती है (दर्द का जिक्र नहीं)। यदि आपको एक ही समय में साझा स्टोरेज को माउंट करने के लिए सभी सर्वरों की आवश्यकता है, तो DRbd एक विकल्प नहीं है। एक और चीज जिसे आप देखना चाहते हैं वह लॉक मैनेजर के साथ clvmd है। lvm2 अब RAID प्रकार lv के लिए समर्थन है और उस उद्देश्य के लिए मैन कोड का उपयोग करें। यह उपयुक्त फाइल सिस्टम के साथ मिश्रित (कुछ क्लस्टर जागरूक अगर आवश्यक हो) एक विकल्प हो सकता है। हालांकि मैंने खुद को पीओसी के रूप में उत्पादन में कभी परीक्षण नहीं किया।


4
2018-01-28 07:17



बस एक चीज जो मैं जोड़ना चाहता हूं, क्लस्टर ने मेरे सेटअप में सामना नहीं किया, लेकिन ध्यान रखें कि यह 2 नोड्स क्लस्टर था। ग्लस्टर अधिक नोड्स के साथ बेहतर व्यवहार किया होगा। - alxgomz


ग्लस्टर के साथ आपके पास समस्या मुख्य रूप से नोड्स के बीच विलंबता है। मैं सलाह दूंगा कि आप इसे आज़माएं और देखें कि यह आपके वर्कलोड को संभालता है या नहीं। यदि आपके सर्वर पर्याप्त शक्तिशाली हैं और तेज़ इंटरकनेक्ट हैं तो आपको काफी अच्छा प्रदर्शन करना चाहिए। इसके अलावा आप अंतर्निहित एनएफएस सर्वर को आजमा सकते हैं, जो कि मेरे अनुभव से बात कर रहा है, छोटी फ़ाइलों को थोड़ा तेज़ करता है।

लेकिन यदि आपको जितनी जल्दी हो सके अपने समाधान की आवश्यकता है तो ग्लस्टरफ़ेस शायद आपके लिए नहीं है। अन्य विकल्प वाणिज्यिक उत्पाद होंगे गिट क्लस्टरिंग(हालांकि, इसका परीक्षण नहीं किया है) या आप मुफ्त उपकरण के साथ अपना स्वयं का समाधान बना सकते हैं gitmirror


3
2018-01-28 07:48



असल में प्रदर्शन मेरी # 1 प्राथमिकता नहीं है (कुछ और सेकंड अभी भी ठीक हैं), लेकिन स्थिरता और प्रतिकृति है। आप किस एनएफएस सर्वर का जिक्र कर रहे थे? - Gilad Novik
ग्लस्टरएफएस में एक है अंतर्निहित एनएफएस सर्वर। प्रदर्शन बेहतर है लेकिन आपको ग्राहकों पर विफलता को संभालना होगा। दूसरी तरफ आप GlusterFS सर्वर तक पहुंच के लिए FUSE-client को स्थापित करने की आवश्यकता को स्वयं सहेजते हैं। - Izzy


यदि आप ग्लस्टर पर विचार कर रहे हैं (जो मेरे अनुभव में कई छोटी फाइलों के साथ प्रयोग योग्य है लेकिन वाईएमएमवी), तो आप केफ को भी देखना चाहेंगे http://ceph.com/


2
2018-01-28 10:03



सेफ के साथ मेरी समस्या यह है कि इसमें मेटा-डेटा सर्वर है, जो वास्तव में प्रदर्शन को चोट पहुंचाने लगता है क्योंकि प्रत्येक डेटा एक्सेस को मेटा-डेटा सर्वर तक पहुंचने की भी आवश्यकता होगी। क्या मै गलत हु? - Gilad Novik
मेटाडेटा सर्वर को भी डुप्लिकेट किया जा सकता है, और ऑब्जेक्ट स्टोर सर्वर के समान नोड्स पर चलाया जा सकता है। आपको किसी भी बिंदु पर मेटाडेटा लाने की आवश्यकता होगी, भले ही आप इसे ऑब्जेक्ट स्टोर से या मेटाडेटा सर्वर से प्राप्त करें, तो यह नहीं करना चाहिए प्रदर्शन पर काफी प्रभाव डालता है। हालांकि मैंने वास्तव में इनमें से किसी भी कोशिश नहीं की है। - Wouter Verhelst


मैं Glustet विज्ञापन को सबसे आसान, और सेटअप करने के लिए सबसे तेज़, कॉन्फ़िगर करने की भी सिफारिश करता हूं। इसके अलावा यह बहुत अच्छी तरह से बाहर निकलता है। समस्या गति है, और मेरी 2 सी आईआईए जिसे आपको आसान कॉन्फ़िगरेशन और आसान स्केलआउट के बीच चुनने की आवश्यकता है, और गति के लाभ के साथ कुछ तकनीकी भिन्नताओं (कुछ फैंसी ड्रबबी / ओसीएफ 2 / ग्लास ब्लॉक स्टोरेज) के बीच चयन करना होगा। लेकिन..तुम्हें कितनी गति मिलती है? Yoi कुछ तनाव परीक्षण करने और चुनने की जरूरत है ..


0
2018-01-28 09:08



मान लीजिए कि मैं स्टोरेज का विस्तार करना चाहता हूं, क्या मैं बस सूची में एक और वीएम जोड़ सकता हूं और यह इसके लिए दोहराना होगा, या यह पूरी स्टोरेज तक पहुंच को पूरी तरह अवरुद्ध कर देगा जब तक यह वीएम क्लस्टर में उपयोग करने के लिए तैयार न हो? क्या पुनर्वितरण असीमित रूप से होता है? - Gilad Novik
ग्लस्टर ईंट करने योग्य है, इसलिए किसी भी नई ईंट को एक, सिंगल, यूनिक ईंट में जोड़ा जाएगा .. - x86fantini
तो मुझे लगता है कि अगर मैं क्लस्टर को बहुत लंबे समय तक रोक दिए बिना ईंट जोड़ने का सबसे तेज़ तरीका चाहता हूं, तो मुझे केवल निश्चित लेआउट का उपयोग करना चाहिए और डेटा माइग्रेट नहीं करना चाहिए? - Gilad Novik