सवाल Splunk fantastically महंगा है: विकल्प क्या हैं? [डुप्लिकेट]


संभावित डुप्लिकेट:
Splunk के विकल्प? 

इस पर चर्चा की गई है, लेकिन यह कई महीनों हो गया है, इसलिए यह फिर से देखने का समय हो सकता है:

इससे पहले आरई स्प्लंक विकल्प चर्चा

रिकॉर्ड के लिए, स्प्लंक चट्टानों। लेकिन मूल्य निर्धारण केवल उस चीज़ से परे है जिसे हम विचार कर सकते हैं (जब मैंने आज स्पल्प के साथ बात की थी, तो डेटा के 5 जीबी / दिन के सूचकांक के लिए सिस्टम की लागत $ 30,000 से अधिक है।)

एसक्यूएल सर्वर (एक बड़े बहुमत से) पर खर्च करने से कहीं अधिक है, हम सर्वर के एक रैक (एकाधिक से) इत्यादि पर खर्च करने से अधिक खर्च करते हैं।

स्प्लंक बिक्री टीम सही है (कि $ 30K के लिए हमें अधिक मूल्य और कार्यक्षमता मिलती है अगर हम एक ही इमारत को अपने स्वयं के सिस्टम में खर्च करते हैं), लेकिन इससे कोई फर्क नहीं पड़ता। स्प्लंक लागत बस बहुत अधिक है (एक से अधिक)।

Soooooo, हम चारों ओर देख रहे हैं!

क्या कोई वहां सिस्टम की तरह एक छिद्र बना रहा है?

हमारी मूल आवश्यकता:

  • एकाधिक udp बंदरगाहों पर syslog संदेशों को सुनने में सक्षम
  • आने वाले डेटा को एसिंक तरीके से अनुक्रमणित करने में सक्षम
  • किसी प्रकार का खोज इंजन
  • कुछ प्रकार का यूआई
  • खोज इंजन के लिए एक एपीआई (हमारे कंसोल में एम्बेड करने के लिए)

हमें वर्तमान में 3-5 जीबी / दिन इंडेक्स करने की आवश्यकता है, लेकिन 10 जीबी / दिन या उससे अधिक तक स्केल करने में सक्षम होना चाहिए। हमें बहुत सारे इतिहास की आवश्यकता नहीं है (30 दिन ठीक है)।

हम विंडोज 2008 और 2003 सर्वर का उपयोग करते हैं।

आपके विचारों के लिए धन्यवाद!

अद्यतन करें: हमने व्यावसायिक और खुले स्रोत विकल्पों का शोध करने में दो सप्ताह बिताए। हमारा निष्कर्ष: अपना खुद का लिखें (हम एक सॉफ्टवेयर कंपनी हैं ... हम जानते हैं कि चीजें कैसे लिखें)। हमने मोंगोडब और .NET पर निर्मित एक महान प्रणाली बनाई है जो हमें मोंगो डीबी से लगभग एक इंजीनियरिंग सप्ताह में आवश्यक कार्यों को देता है। हमने अब अपना कार्यान्वयन पूरा कर लिया है। हम दो मोंगोब सर्वर (मास्टर और गुलाम) का उपयोग करते हैं, और किसी भी लॉग डेटा (5 जीबी / दिन, 15 जीबी / दिन, आदि) को लॉग और इंडेक्स करने में सक्षम हैं, केवल डिस्क स्पेस द्वारा ही सीमित हैं।

अद्यतन के लिए अद्यतन (दिसंबर, 2012): हम अपने मोंगोडब समाधान का उपयोग करना जारी रखते हैं, और यह बहुत अच्छा काम करता है! अगर हम इसे आज बना रहे थे, तो हम दृढ़ता से इसे लोचदार खोज के शीर्ष पर बनाने पर विचार करेंगे।

टिप्पणियों: इस जगह को एक ठोस समाधान की आवश्यकता है जो $ 1000-3000 फ्लैट दर है। वाणिज्यिक फर्मों द्वारा उपयोग किए जाने वाले लाइसेंसिंग मॉडल "दूध डेटा सेंटर ओप्स लड़कों" मॉडल पर आधारित होते हैं। यह उनका अधिकार है (बेशक!), लेकिन यह किसी के लिए नीचे आने के लिए एक बड़ी जगह खुलता है। मेरा अनुमान है कि एक या दो साल में एक अच्छा ओपन सोर्स समाधान होगा जो वास्तव में प्रयोग योग्य होगा।

आपके इनपुट के लिए सभी को धन्यवाद (भले ही यह स्वयं पदोन्नति हो)।


49
2018-02-23 20:28


मूल


मुझे खेद है, लेकिन आप वास्तव में 4-8 सर्वरों के 5 जीबी / दिन उत्पन्न करते हैं (आप स्पेक के आधार पर 30k के लिए क्या प्राप्त कर सकते हैं)? मैं सुझाव देता हूं कि आप वापस जाएं और वास्तव में देखें कि आप क्या इंडेक्स करते हैं इससे कोई फर्क नहीं पड़ता कि आप किस समाधान के साथ जाते हैं। - Zypher
यह डेटा किसी ऐप से नहीं है (हमारे कोड), ओएस से नहीं .... - samsmith
मुझे लगता है कि स्प्लंक के लिए यह बहुत सस्ता है कि यह खुद क्या है, या तो यह एक डुप्लिकेट है, कम से कम अगली बार एक खोज करने की कोशिश करें। समापन। - Chopper3
अरे, यह धागा ईमानदार है! यह अन्य धागे से जुड़ा हुआ है, यह अन्य धागे की तुलना में अधिक विकल्पों पर चर्चा करता है, और यह एकमात्र धागा है जो विकल्पों की कठिन लागत पर चर्चा करता है। मेथिंक आप जल्दबाजी में हैं। - samsmith
यह सब ठीक है और यह मानते हुए कि आपकी ज़रूरतें बेहद केंद्रित हैं और बदलेगी नहीं। हालांकि मैं स्प्लंक के बारे में जितना अधिक सीखता हूं, उतना ही मैं इसका मूल्य देखता हूं। क्या आपका सिस्टम किसी फ़ाइल से डेटा आयात कर सकता है? Syslog? एक टीसीपी धारा? एक दुर्घटना रिपोर्ट? एक आरईएसटी वेब सेवा? एक डेटाबेस? तो क्या यह एक साथ सभी को सहसंबंधित कर सकता है और दृश्यता प्रदान कर सकता है? क्या यह अलर्ट बना सकता है? क्या यह निर्यात कर सकता है? उन सभी के लिए कस्टम सॉफ्टवेयर विकसित करने के लिए आपको कितना खर्च आएगा? अस्वीकरण: मेरे पास स्प्लंक के साथ कोई संबंध नहीं है - Wade Williams


जवाब:


लॉगस्टैश घटनाओं और लॉग के प्रबंधन के लिए एक उपकरण है। आप इसे लॉग एकत्र करने, उन्हें पार्स करने, और बाद में उपयोग (जैसे खोज के लिए) के लिए स्टोर करने के लिए इसका उपयोग कर सकते हैं। खोज की बात करते हुए, लॉगस्टैश आपके सभी लॉग में खोज और ड्रिलिंग के लिए एक वेब इंटरफ़ेस के साथ आता है।

https://www.elastic.co/products/logstash

यह अभी भी विकास में शुरुआती है, लेकिन बहुत ही आशाजनक ध्वनि और तेजी से चलता है।


25
2018-02-23 22:42



लॉगस्टैश दिलचस्प लग रहा है, लेकिन लागू करने के लिए बहुत सारे काम की तरह दिखता है। इसके अलावा, डाउनलोड सेक्शन में कोई मौजूदा डाउनलोड नहीं है? - samsmith
लॉगस्टैश को रूबीगेम के रूप में वितरित किया जाता है। तो आप बस कह सकते हैं gem install logstash। देख rubygems.org/gems/logstash तथा code.google.com/p/logstash/wiki/GettingStartedCentralized - Holger Just
आप लॉगस्टैश द्वारा एकत्र किए गए डेटा पर अन्य खोज टूल का भी उपयोग कर सकते हैं, जैसे ग्रेग्लॉग 2 जिसमें कुछ लोग इंटरफ़ेस पसंद करते हैं। - Martijn Heemels
मैं किबाना का उपयोग कर लॉगस्टैश की सलाह देता हूं ( kibana.org ), Logstash के लिए एक उच्च स्केलेबल इंटरफ़ेस। हाँ, यह भी खुला स्रोत है :) - Paulo Coghi
@Paulocoghi यह देखते हुए कि अंतिम टिप्पणी के तीन महीने बाद किबाना के लिए पहली प्रतिबद्धता हुई, मुझे यकीन है कि आप इसे यहां शामिल करने के लिए क्षमा कर सकते हैं। उस ने कहा, किबाना वास्तव में बल्कि भयानक है, esp। नया रूबी संस्करण। - Holger Just


मेरे दिमाग में निम्नलिखित के लिए तुलनात्मक मैट्रिक्स नहीं है, खासकर जब यह splunk की तुलना में आता है:

ये कुछ पूरी तरह से परिचालित उपकरण हैं:

औक्टोपुस्सी http://www.octopussy.pm

Logreport http://www.logreport.org/

फन्दे: http://www.intersectalliance.com/projects/index.html

लॉग surfer: http://www.crypt.gen.nz/logsurfer/

लॉग विश्लेषक: http://loganalyzer.adiscon.com/

लॉग 2 टाइमलाइन: http://log2timeline.net/#download  (यह एक "टाइमलाइन" विश्लेषण उपकरण से अधिक है)

अंत में, यदि आप स्वयं को कुछ कोडिंग करना चाहते हैं लेकिन संभवतः एक अधिक स्केलेबल समाधान है: (लॉग डेटा एकत्र करने के लिए निम्नलिखित उपकरण हैं, डेटा के माध्यम से खोजने के लिए बॉक्स के बाहर सभी कार्यक्षमता आवश्यक नहीं है।)

Honu https://github.com/jboulon/Honu

Chukwa http://wiki.apache.org/hadoop/Chukwa

Flume http://archive.cloudera.com/cdh/3/flume/

संपादित करें: इस तुलना लिंक जोड़ा गया: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

संपादित करें: जोड़ा गया Graylog2: जोड़ा गया Logstash। लॉगस्टैश शायद "ओपन सोर्स स्प्लंक प्रतिस्थापन" बनने के लिए सबसे अच्छी स्थिति है।


9
2018-03-03 03:02



हमने इन सभी उपकरणों की समीक्षा की। वे या तो $$$ हैं या वे सुविधा-कमजोर / विकास के तहत हैं, इत्यादि। - samsmith
क्या आपने स्पार्क की खोज की है? मुझे पता है कि यह कुछ साल बाद है, और आपके पास अच्छी तरह से हो सकता है, लेकिन हमें इसी तरह के फैसले का सामना करना पड़ रहा है, इसलिए यह जानना अच्छा लगेगा कि आप किसके साथ गए थे। - PKHunter