خوش آموز درخت تو گر بار دانش بگیرد، به زیر آوری چرخ نیلوفری را


آموزش splunk - تحلیل داده های تولید شده توسط ماشین ها با نرم افزار اسپلانک

آموزش splunk - تحلیل داده های تولید شده توسط ماشین ها با نرم افزار اسپلانک
داده های تولید شده توسط ماشین ها در دهۀ اخیر به شدت رشد داشته اند. این داده ها عمدتاً در قالب فایل های لاگ (Log) می باشند. دلیل این امر تا حدی به خاطر افزایش تعداد ماشین آلات مورد استفاده در زیر ساخت های فناوری اطلاعات می باشد، همچنین یکی دیگر از دلایل افزایش داده های ماشینی، استفاده از دستگاه های اینترنت اشیاء می باشد. این داده های ماشینی دارای اطلاعات ارزشمند فراوانی در خودشان هستند که اگر به درستی استخراج شوند و به خوبی تجزیه و تحلیل گردند می توانند در رشد کسب و کارها و افزایش بهره وری آن ها تأثیرات به سزایی داشته باشند. اسپلانک (Splunk) در سال 2003 تأسیس شد و هدف از تأسیس اسپلانک (Splunk) این بود که داده های تولید شده توسط ماشین ها را معنا دار سازد. در این مقاله سعی ما بر اینست تا شما را با اسپلانک (Splunk) آشنا سازیم و در واقع این مقاله محل ورود شما به دنیای وسیع اسپلانک (Splunk) باشد. ضمن اینکه اگر در این زمینه نیازمند اطلاعات بیشتری باشید می توانید مقالۀ ابزارهای تحلیل کلان داده (Big Data) - راهنمای کامل را نیز مطالعه کنید.

کاربرد اسپلانک (Splunk) چیست؟


همانطور که در مقدمۀ این مقاله گفتیم، اسپلانک با هدف تجزیه و تحلیل داده های تولید شده توسط ماشین ها تأسیس شد، از این رو قبل از اینکه به کاربرد اسپلانک (Splunk) بپردازیم ابتدا بیایید نمونه ای از داده ها تولید شده توسط ماشین ها را بررسی کنیم. به تصویر زیر نگاه کنید، تا درک درستی از داده های تولید شده توسط ماشین ها داشته باشید.

آموزش splunk
حالا فرض کنید شما ادمین یک سیستم (SysAdmin) هستید و سعی دارید تا از روی داده هایی مشابه آنچه در تصویر بالا دیدید و در واقع در لاگ سیستم شما وجود دارند به مشکلی سخت افزاری که سیستم شما را دچار مشکل کرده است پی ببرید، چه کار می کنید، اساساً بهتر است بگوییم چه کار می توانید بکنید؟ آیا از روی این لاگ ها می توانید تعیین کنید که در چه مرحله ای سخت افزار شما دچار آسیب شده است؟ البته احتمال بعیدی وجود دارد که بتوانید از روی این لاگ ایراد را پیدا کنید، اما شانس اینکه در زمان کمی و با صرف انرژی و دقت کمی به آن پی ببرید از این هم بعید تر است. به احتمال قریب به یقین باید ساعت ها روی این داده های تولید شده توسط ماشین وقت بگذارید و اگر خوش شانس باشید در پایان بتوانید سرنخ هایی را بیابید که شما را به سمت یافتن مشکل اصلی رهنمون شوند. به طور کلی و خلاصه وار در کار با داده های ماشین همیشه مشکلات زیر وجود دارد:

  • درک داده های ماشین پیچیده است
  • ساختار منظم و مشخصی ندارند و در قالب لاگ هستند
  • برای تجزیه و تحلیل مناسب نیستند و بصری سازی و تجسم آنها دشوار است

اگر در ارتباط با داده های ماشین و فراتر از آن یادگیری ماشین و هوش مصنوعی نیاز به آموزش های بیشتری داشته باشید مجموعه آموزش هوش مصنوعی فرادرس یک مرجع آموزشی کامل می باشد. برای دسترسی به این آموزش، به لینک زیر مراجعه نمایید.


اینجاست که ابزاری مثل اسپلانک (Splunk) سودمند واقع می شود. شما می توانید داده های ماشین را وارد اسپلانک (Splunk) کنید و کار سخت و طاقت فرسای تجزیه و تحلیل آنها را به اسپلانک (Splunk) بسپارید. هنگامی که اسپلانک (Splunk) داده ها را پردازش کرد و آنها را استخراج و دسته بندی کرد، شما به سادگی می توانید مکان مشکل و دلیل آن را پیدا کنید. به همین سادگی، اسپلانک (Splunk) شما را از ساعت ها صرف زمان بیهوده خلاص کرد.

اسپلانک (Splunk) در آغاز برای حل چنین مشکلاتی کارش را شروع کرد، در واقع مأموریت آغازین اسپلانک (Splunk) این بود که مشکلاتی از این قبیل را ساده کند و پردازش داده های تولید شده توسط ماشین ها را ممکن سازد. اما به مرور زمان وارد حوزۀ کلان داده ها (Big Data) شد. درست مانند خیلی از کسب و کارهای دیگر که از ابتدا برای حل یک مشکل کوچک کارشان را شروع کردند و سپس آن را برای حل مشکلات مشابه بزرگتر، توسعه دادند، اسپلانک (Splunk) نیز چنین مسیری را طی کرد.

از آنجا که اسپلانک (Splunk) توانایی ذخیره سازی و پردازش مقادیر زیادی از داده ها را دارد، تحلیلگران داده شروع به وارد کردن کلان داده ها درون اسپلانک کردند و به کمک آن به تجزیه و تحلیل داده ها پرداختند. داشبورد هایی که اسپلانک برای تجسم داده ها ایجاد کرده بود، در مدت کوتاهی به طور گسترده در حوزه کلان داده ها به منظور تجزیه و تحلیل داده های عظیم مورد استفاده قرار گرفت.

اسپلانک (Splunk) چیست؟


در قسمت کاربرد اسپلانک (Splunk)، تقریباً متوجه شدید که اسپلانک (Splunk) چیست. اما برای اینکه تعریف دقیق و واضح تری از اسپلانک داشته باشید، خدمتتان عرض می کنیم که اسپلانک (Splunk) یک پلتفرم نرم افزاری است که با آن می توانید داده های تولید شده توسط ماشین ها (machine-generated data) را که از وبسایت ها، برنامه های کاربردی، سنسورها (حسگرها)، یا سایر دستگاه ها جمع آوری شده اند را جستجو، تجزیه و تحلیل و بصری سازی (visualize) کنید. این دستگاه ها، حسگرها، و ... ممکن است زیر ساخت های فناوری اطلاعات یا زیر ساخت های کسب و کار شما را شکل داده باشند.

حالا بیایید به یک سناریوی دیگر نگاهی بیندازیم. فرض کنید دستگاهی دارید که به طور مداوم داده تولید می کند، حالا شما می خواهید داده های این ماشین را در زمان واقعی (real time) بررسی و تجزیه و تحلیل کنید، آیا می توانید این کار را انجام دهید؟ مطمئناً بدون کمک گرفتن از اسپلانک (Splunk)، کار سختی را پیش رو خواهید داشت. شما در زمان واقعی می توانید داده ها را از منابع داده مختلف در اسپلانک (Splunk) جمع آوری کنید و مورد تجزیه و تحلیل و گزارش گیری قرار دهید.

آموزش splunk

پردازش داده ها در زمان واقعی را می توان یکی از بزرگترین مزیت های اسپلانک (Splunk) دانست. در طول سال های اخیر شاهد این بوده ایم که هر ساله دستگاه های ذخیره سازی اطلاعات بهتر و بهتر شده اند، همچنین شاهد این بوده ایم که پردازشگرها و قدرت پردازش آنها مداوم و مستمر در حال بهبود بوده اند، اکنون با اسپلانک شاهد این هستیم که جابه جایی داده ها مداوم در حال بهبود می باشند. در واقع اسپلانک دست روی یکی از نقاط ضعف فرآیندهای درون سازمانی گذاشته است و با کمک فناوری ای که ایجاد کرده است، آن را التیام بخشیده و البته مدام هم در بهبود آن می کوشد.

برای افزایش دانشتان دربارۀ اسپلانک می توانید مجموعه آموزش های مرتبط با Splunk را ببینید.


اگر تا همین جای کار فکر می کنید که اسپلانک یک ابزار فوق العاده است، باید خدمتتان عرض کنم که اسپلانک بسیار فراتر از چیزی است که تا بحال به شما معرفی کردم، در واقع اسپلانک بسیار فراتر از یک ابزار فوق العاده است و یک ابزار سوپر محشر است. چیزهایی که در ادامۀ این مقاله خواهید خواند شما را بر روی صندلی تان میخکوب خواهد کرد. شما می توانید از اسپلانک هم برای مانیتورینگ و هم برای تجزیه و تحلیل داده هایتان استفاده کنید.

سایر مزایای استفاده از اسپلانک عبارتند از:

  • داده های ورودی شما می توانند در هر قالبی باشند، این داده ها می توانند در فرمت csv یا json یا هر فرمت دیگری باشند
  • شما می توانید اسپلانک را طوری پیکربندی کنید که در هنگام تغییر وضعیت ماشین ها هشداری بدهد یا اینکه رویدادی را فعال کند
  • شما می توانید منابع مورد نیاز برای بزرگ شدن زیر ساخت هایتان را با اسپلانک به دقت پیش بینی کنید
  • شما می توانید به کمک اسپلانک، اشیاء دانش (knowledge objects) را برای هوش عملیاتی (Operational Intelligence)، ایجاد کنید

صرفاً برای آن دسته از عزیزانی که نمی دانند اشیاء دانش (knowledge objects) چیست، می گویم که یک موجودیت تعریف شده توسط کاربر می باشد که با استخراج برخی اطلاعات ارزشمند، داده های شما را غنی می سازند. این اشیاء دانش می توانند جستجوهای ذخیره شده، انواع رویدادها، جستجوها، گزارش ها، هشدار ها، یا موارد بیشتر دیگری باشند که در تنظیم هوش یا تنظیم سیستم به شما کمک می کنند.

در ادامه برخی از قابلیت هایی را که اسپلانک (Splunk) می تواند برای آن ها مورد استفاد قرار گیرد را برای شما لیست کرده ایم:

  • تجزیه و تحلیل کارآیی سیستم
  • عیب یابی خطاها
  • مانیتورینگ معیارهای کسب و کار (business metrics)
  • جستجو و تحقیق بر روی یک نتیجۀ خاص
  • ایجاد داشبورد هایی برای بصری سازی و تجزیه و تجلیل نتایج
  • ذخیره سازی و بازیابی داده ها برای استفاده های بعدی

برای اینکه درک بهتری از عملکرد اسپلانک داشته باشید، قصد دارم نحوۀ استفادۀ شرکت بوش (Bosch) از اسپلانک به منظور تجزیه و تحلیل داده ها را با شما به اشتراک بگذارم. شرکت بوش داده های مربوط به مراقبت های بهداشتی را از راه دور و به واسطۀ دستگاه های اینترنت اشیاء (سنسورها) از بیماران جمع آوری می کنند. اسپلانک این داده ها را پردازش می کند و هر گونه فعالیت غیر طبیعی را از طریق واسط های کاربری به پزشکان و همچنین بیماران گزارش می کند. اسپلانک به آنها کمک می کند تا به موارد زیر دست یابند:

  • گزارش وضعیت سلامت در زمان واقعی
  • عمیق تر شدن در پروندۀ سلامت بیماران و تجزیه و تحلیل الگوهای مرتبط با آن
  • هنگامی که سلامتی بیمار تنزل می یابد، هم به بیماران و هم به پزشکان هشدارهای لازم داده می شود

آموزش splunk
اگر دانش برنامه نویسی دارید و مایلید که خودتان دست به کار شوید و برای اسپلانک ابزارهایی سودمند بسازید می توایند از طراحی نوارهای پیشروی در پایتون با Tqdm — راهنمای کاربردی استفاده کنید.


داشبوردهای اسپلانک (Splunk)


تجزیه و تحلیل داده ها به مدیران اجازه می دهد تا بفهمند که باید بر روی چه چیزی تمرکز و کار کنند و چه چیزهایی را از حوزۀ تمرکزشان خارج سازند. اما چیزهای بسیاری برای تجزیه و تحلیل وجود دارند. داده های داخلی که از ساختارهای داخلی کسب و کار نتیجه شده اند و داده های خارجی که برای حفظ پایداری و گسترش کسب و کار بسیار حائز اهمیت می باشند. اینجاست که ابزارهای هوش تجاری مانند اسپلانک (Splunk) وارد می شوند. اسپلانک به کسب و کارها برای گردآوری، مدیریت، و تجزیه و تحلیل انواع مختلف داده های تولید شده توسط ماشین ها به شیوه ای کارآمد و موثر کمک می کند.

از همه مهتر اینکه، اسپلانک داده های ساختار نیافته و نامفهوم را به داده هایی با وضوح بالا و قابل تجسم تبدیل می کند و آنها را از طریق داشبوردها (dashboards) ارائه می دهد. داشبورد داده (data dashboard) یک ابزار گزارش گیری است که داده های کسب و کار را که با معیارهایی حیاتی گزینش شده اند، به صورت بصری گزارش می کند تا از روی آنها تصمیم گیری و درک داده ها آسان گردد. شما به کمک اسپلانک می توانید انواع مختلفی از داشبوردها را بسازید. در ادامه با مثال هایی چندین داشبورد مختلف از اسپلانک را به شما نشان می دهیم.

داشبورد زیر نمونه ای از داشبوردهایی است که برای مدیریت کسب و کارها از راه دور (ریموت) کاربرد دارد. این داشبورد دارای مجموعه ای از امکانات مختلف برای مدیریت کسب و کار به شکل ریموت می باشد.

آموزش splunk

داشبورد زیر نمونه ای از داشبوردهای امنیتی است که به کمک آن می توانید نگاهی دقیق به انواع تهدیدهای امنیتی که سیستم شما در طول زمان با آن ها مواجه شده است، بیندازید. اگر چه مسئولیت حفظ امنیت بر عهدۀ کارشناسان این حوزه است، اما اینکه مدیر بتواند خودش متوجه مسائل کلی امنیتی شود قطعاً توان مدیریتی اش را در این حوزه افزایش خواهد داد.

برای کار با اسپلانک هر چقدر دانشتان در حوزۀ کلان داده ها بیشتر باشد، قطعاً مسیر برای شما هموارتر می شود، در این ارتباط مطالعه مقاله آموزش مفاهیم کلان داده (Big Data) و انواع تحلیل داده — راهنمای جامع می تواند برای شما سودمند باشد.

آموزش splunk
داشبورد زیر مرتبط با کارهای مراقبتی و سلامت می باشد در این داشبورد خلاصه آماری از بیماران و همینطور موارد مرتبط با مراقبت های سلامت بیماران ذکر شده است. این داشبورد وضعیت ظرفیت بیمارستان را نیز گزارش می کند.

آموزش splunk

داشبورد زیر نمونه ای از داشبوردهایی است که کسب و کارهای آنلاین (اینترنتی) را مدیریت می کند. در این داشبورد داده هایی همچون معیارهای کارآیی وبسایت، آمار حساب های کاربری و آمار ورود و خروج کاربران، کاربران یونیک (منحصر به فرد و یکتا، در واقع غیر تکراری ها) و ... را نشان می دهد.

آموزش splunk
این داشبورد مخصوص شرکت های طراح بازی است. با این داشبورد شما می توانید متوجه شوید که کاربران شما چه زمانی را صرف بازی با محصول شما کرده اند. این داشبورد از روی داده های هیستوریکال (تاریخچه ای) آشکار می سازد که علاقۀ کاربران در طول زمان دستخوش چه تغییراتی می شود. همچنین دسته بندی هایی بر روی بازی های تک نفره یا گروهی ارائه می دهد. از روی این داشبورد شما متوجه می شوید که آیا کاربران به تنها بازی کردن بیشتر علاقه دارند یا اینکه با دوستانشان بازی کنند.

آموزش splunk
اسپلانک بسیار فراتر از آنست که بتوان در یک مقاله به همۀ آن پرداخت. با این حال بنده سعی داشتم تا در حد وسع این مقاله شما را از امکانات آن آگاه سازم. البته در طول مقاله منابعی را برای مطالعۀ بیشتر به شما معرفی نمودم.

جهت مشاهده آموزش های بیشتر در این زمینه و البته آموزش های بیشتر در سایر حوزه های فنی می توانید از سایت فرادرس بازدید نمایید. در این سایت می توانید موضوعات فراوانی در حوزه های برنامه نویسی، مهندسی نرم افزار، هوش مصنوعی، رباتیک، و ... را بیابید.


نمایش دیدگاه ها (0 دیدگاه)

دیدگاه خود را ثبت کنید:

انتخاب تصویر ویرایش حذف
توجه! حداکثر حجم مجاز برای تصویر 500 کیلوبایت می باشد.


دسته بندی مطالب خوش آموز