सवाल लिनक्स के साथ होम-ब्रू स्वचालित टायर स्टोरेज समाधान? (मेमोरी -> एसएसडी -> एचडीडी -> रिमोट स्टोरेज)


से संबंधित डेटा के लिए सिस्टम और एचडीडी के लिए एक एसएसडी का उपयोग करने के बारे में यह सवाल, सिवाय इसके कि मैं अपने सिस्टम को स्वचालित रूप से ऐसा करना चाहता हूं ...

क्या अधिमानतः मुक्त, मुक्त स्रोत सॉफ़्टवेयर का उपयोग करके भंडारण की कई परतें और स्वचालित रूप से उनके बीच वस्तुओं को पुश करना संभव है?

मैं ईएमसी SAN-> जैसे बेहद महंगा एंटरप्राइज़-क्लास समाधानों के बारे में जानता हूंईएमसी सेंटर स्वचालित संग्रह, लेकिन मैं सोच रहा था कि इस तरह के चरणबद्ध भंडारण स्वचालित रूप से करने के लिए संभव है।

इसमें कई परतें रखने में सक्षम होना अच्छा होगा: मेमोरी-> एसएसडी-> एचडीडी-> धीमी एचडीडी या टेप या कुछ अन्य संग्रह समाधान।

क्या कोई फाइल सिस्टम है जो स्वचालित रूप से ऐसा कर सकता है? (जेएफएस, बीआरटीएफ, हैमर?)

कोई भी यूनिक्स- वेरिएंट ठीक हैं, क्योंकि मुझे दिलचस्पी है कि यह कैसे काम करता है और क्या यह लिनक्स या अन्य स्वाद (बीएसडी आदि) के लिए पोर्टेबल होने की संभावना है।


12
2017-07-22 13:59


मूल




जवाब:


खैर, जेएफएस एक स्टोरेज लेयरिंग का उपयोग करता है हाइब्रिड स्टोरेज पूल (एचएसपी):

  1. परत: स्मृति
  2. परत: एसएसडी-आधारित रीड-कैश (एल 2एआरसी) और लेखन-कैश (अलग इरादा लॉग उर्फ ​​स्लोग)।
  3. परत: (सस्ते) हार्डडिस्क

एचएसपी के साथ हार्डडिस्क-केवल समाधान की तुलना में एसएसडी के फायदों से स्वचालित रूप से लाभ उठाना आसान होता है। एचएसपी का उपयोग कर एक प्रणाली बाद के मुकाबले तेज और सस्ता दोनों हो सकती है। देख यह लिंक कुछ अच्छे उदाहरणों और अधिक जानकारी के लिए।

मुझे लगता है कि इसके बारे में योजनाएं हैं पदानुक्रमित भंडारण प्रबंधन (एचएसएम) जेएफएस के लिए (उदाहरण के लिए देखें स्वचालित डेटा माइग्रेशन (एडीएम) ओपनसोलालिस परियोजना) लेकिन मुझे इसकी वर्तमान स्थिति नहीं पता है।


14
2017-07-22 15:15



यह वही है जो मैं सोच रहा था, धन्यवाद! (अब लिनक्स पोर्ट पर मदद करने के लिए ...;) - David Gardner
मैं इस स्तरीय लेकिन कैशिंग को नहीं बुलाऊंगा। इस अर्थ में कि कैशिंग का मतलब है अक्सर इस्तेमाल किए गए ब्लॉक की एक प्रति रखना, tiering चलती डेटा धीमा / तेज भंडारण के लिए। यदि मैं इसे सही ढंग से समझता हूं तो मैं ZFS में एक वास्तविक लेखन कैश का इरादा लॉग नहीं कहूंगा। - mrossi


इस लड़के को खाना पकाने के लिए एलवीएम आधारित "एलवीएमटीएस" (एलवीएम टायर्ड स्टोरेज) समाधान देखें:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640 

बहुत अच्छा।


5
2017-08-03 23:52



+1 यह बहुत दिलचस्प लग रहा है - मैं इस पर नजर रखूंगा! - David Gardner


टीआईईआर आपकी जरूरतों का उत्तर देता है यह एक लिनक्स कर्नेल मॉड्यूल है जो एक टायर स्टोरेज बना सकता है। ऐसा लगता है कि यह पैटर्न स्वयं ही पैटर्न में रखता है और प्लेसमेंट को प्लेसमेंट में अनुकूलित करता है

http://www.lessfs.com/wordpress/?p=776


5
2017-08-08 15:32



बस सवाल देखा है पुराना ... क्षमा करें ^^ ' - Dolanor
पुरानी प्रश्नों को पुनरुत्थान करना उन पर पुरानी और पुरानी जानकारी के साथ घूमने से बेहतर है! - David Gardner
मुझे चिंता है कि यह आदमी अतिरिक्त क्षमता के लिए अनावश्यकता को कम करना चाहता है (विशेष रूप से जब एसएसडी तुलनात्मक रूप से छोटे और अविश्वसनीय होते हैं)। - Tobu
यह भी चिंतित है कि वह समाधान के रूप में छेड़छाड़ का सुझाव देता है, जब प्रयोगात्मक सॉफ़्टवेयर को सबसे अधिक बैकअप की आवश्यकता होती है। - Tobu
यद्यपि यहां कुछ और सकारात्मक प्रतिक्रिया दी गई है: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316 - Tobu


मैंने जो कुछ पाया है उसके साथ अपने स्वयं के प्रश्न का उत्तर देना:

मैं सिर्फ कर्नेल को अपडेट कर रहा था और जो नई चीजें जोड़ दी गई थी, उसे देख रहा था अब एक 'कैचफ़ाइल' विकल्प है जो एक स्थानीय फाइल सिस्टम में कैशिंग (आमतौर पर रिमोट) फाइल सिस्टम के लिए अनुमति देता है। मुझे लगता है कि मैं इसे धीमे भंडारण तंत्र (एचडीडी) को एक तेज़ एक (एसएसडी) को कम से कम पदानुक्रम के लिए कैश करने के लिए उपयोग कर सकता हूं।


1
2017-07-25 09:25



क्या आपने इस समाधान का प्रयास किया? यह कैसे करता है? - skolima
कभी नहीं - मुझे पता चला कि कैशएफएस अब केवल एनएफएस और एएफएस का समर्थन करता है। - skolima
इसके लिए नेटवर्क फाइल सिस्टम का उपयोग करना एक बुरा विचार नहीं है, वे कर्नेल पैचसेट्स से बहुत तेज़ परिपक्व होते हैं। मुझे आश्चर्य है कि क्या केफ या डीआरबीडी के पास टियर स्टोरेज के लिए उपयोगी तरीके हैं। - Tobu


कुछ प्रासंगिक लिंक। YMMV।

http://code.google.com/p/fscops/ - "ऑनलाइन पदानुक्रमित स्टोरेज मैनेजर (ओएचएसएम) एंटरप्राइज़ लेवल ओपन सोर्स डेटा स्टोरेज मैनेजर की ओर पहला प्रयास है जो स्वचालित रूप से उच्च लागत वाले और कम लागत वाली स्टोरेज मीडिया के बीच डेटा ले जाता है।"

http://www.tack.ch/unix/dmapi/ - लिनक्स के तहत एक्सएफएस + डीएमएपीआई

http://jfs.sourceforge.net/- लिनक्स के तहत जेएफएस + डीएमएपीआई


1
2018-01-21 23:45



ओएचएसएम प्रोजेक्ट एक दिलचस्प व्यक्ति की तरह दिखता है। केवल ext2 और 2.6.30 कर्नेल अब के लिए समर्थित है, लेकिन मुझे उम्मीद है कि यह अच्छी तरह से काम करता है तो इससे अधिक फाइल सिस्टम प्राप्त होंगे। - David Gardner
वह परियोजना छोड़ दी गई है, हाल ही की गतिविधि 200 9 में थी। - sendmoreinfo


RAID नियंत्रक इन सुविधाओं में से कुछ प्रदान करते हैं।

"उच्च क्षमता, उच्च प्रदर्शन नियंत्रक कैश पूल बनाने के लिए एचडीडी वॉल्यूम्स के सामने एसएसडी का लाभ उठाता है"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx


1
2017-08-03 23:55





LVM2 स्नैपशॉट्स दिमाग में आते हैं ... लेकिन आप वास्तव में एक स्नैपशॉट से अधिक नहीं कर सकते हैं।


0
2017-07-22 14:20





सैम-QFS सूर्य का मौजूदा उत्पाद है और पिछले साल खुलासा हुआ था। यह सीडीडीएल है, इसलिए आप इसे सीधे * बीएसडी पर भेज सकते हैं।


0
2017-07-22 15:42