Hunk: Splunk Analytics for Hadoop — решение для работы с большими данными

Компания Splunk создала продукт Hunk, предназначенный для обработки и анализа массивов данных прямо внутри Hadoop, который обеспечивает гибкость и скорость при анализе больших данных и не требует от пользователя специальных технических навыков. (укр.) 

Петабайт даних – це надзвичайно цінний ресурс

Додайте можливості Splunk Enterprise в Hadoop*. Аналітичне рішення Splunk для Hadoop (Splunk Analytics for Hadoop) забезпечує легкі у використанні засоби пошуку та аналізу даних Hadoop як частини системи Splunk Enterprise. Splunk Analytics for Hadoop забезпечує можливості швидкого виявлення повторюваних моментів і аномалій в петабайті необроблених даних в Hadoop без необхідності їх переміщення або копіювання з одного джерела на інше.

Що таке Hadoop?

*Hadoop – це проект з відкритим вихідним кодом, що знаходиться під управлінням Apache Software Foundation. Hadoop використовується для надійних, масштабованих і розподілених обчислень, а також може застосовуватися як сховище файлів загального призначення, здатне вмістити близько петабайт даних. Багато компаній використовують Hadoop в дослідницьких і виробничих цілях.

Hadoop складається з двох ключових компонентів:
  • Розподілена файлова система Hadoop (англ. HDFS), яка відповідає за зберігання даних на кластері Hadoop;
  • Система MapReduce, призначена для обчислень і обробки великих обсягів даних на кластері.

HDFS

HDFS, або Розподілена файлова система Hadoop – це основна система зберігання даних, яка використовується додатками Hadoop. HDFS багаторазово копіює блоки даних і розподіляє ці копії з обчислювальних вузлів кластера, тим самим забезпечуючи високу надійність і швидкість обчислень:

  • Дані розподіляються по декількох машинах під час завантаження;
  • HDFS оптимізована більше для виконання потокових зчитувань файлів, ніж для нерегулярних, довільних зчитувань;
  • Файли в системі HDFS пишуться одноразово і внесення довільних записів в файли не допускається;
  • Додатки можуть зчитувати і писати файли розподіленої файлової системи безпосередньо через програмний інтерфейс Java.

MapReduce

MapReduce – це модель програмування і каркас для створення програмного забезпечення, призначеного для високошвидкісної обробки великих обсягів даних на великих паралельних кластерах обчислювальних вузлів:

  • Забезпечує автоматичний розподіл завдань;
  • Має вбудовані механізми збереження стійкості і працездатності при збої окремих елементів;
  • Забезпечує чистий рівень абстракції для програмістів.

Використання Hunk: Splunk Analytics for Hadoop надає користувачам такі переваги:

  • Дозволяє в інтерактивному режимі здійснювати запит необроблених даних, переглядати отримані результати і уточнювати пошук за допомогою єдиного інтерфейсу Splunk Enterprise;
  • Дозволяє швидко створювати діаграми, графіки і панелі моніторингу та ділитись ними з відповідальними особами;
  • Забезпечує безпеку за допомогою рольового управління доступом і наскрізної перевірки автентичності розподіленої файлової системи HDFS;
  • Splunk Analytics for Hadoop має вбудовану підтримку Apache Hadoop і Amazon EMR, Cloudera CDH, Hortonworks Data Platform, IBM InfoSphere BigInsights, MapR M-series і Pivotal HD;
  • Дане рішення надає змогу працювати з будь-яким типом даних.

Splunk Hunk є універсальним клієнтом для Hadoop, який використовує інтуїтивно зрозумілий інтерфейс Splunk і інтерактивний інструмент побудови звітності Pivot, за допомогою якого бізнес-користувачі можуть створювати звіти всього за кілька кліків.


Вы можете заказать консультацию или тестирование любого решения от компании Splunk за считанные минуты:

Заказать решение

Пишите нам, и мы проконсультируем Вас, проведем у Вас пилотный проект, предоставим Вам информацию про цены и сроки выполнения работ и защитим Вашу информацию!

Получить дополнительную информацию по поводу решений компании Вы можете также за номером +380 96 407 76 46 и +380 63 939 48 13 или по электронной почте sales@mogroup.com.ua

Данный материал подготовленный специалистами компании MO Group на базе зарубежной прессы.

Об авторе: admin

оставьте ответ

Ваш электронный адрес не будет опубликован.