¿Tiene alguna pregunta? Llámenos al +34 91 5151 390

26 febrero 2013

Comments:

0
 febrero 26, 2013
 0

Splunk es una herramienta de Big Data, por si misma es capaz de indexar terabytes de datos por día y realizar búsquedas en cantidades ingentes de datos en tiempo real.

A su vez Hadoop, es un proyecto open source para el tratamiento y análisis de grandes cantidades de datos, también una herramienta de Big Data, pero sobre Hadoop es necesario implantar una capa que permita analizar y realizar búsquedas sobre los datos. En este sentido Splunk y Hadoop se pueden interconectar de múltiples formas:

  1. Splunk y luego Hadoop: En este caso utilizamos Splunk para recoger, mostrar y analizar los datos para, a continuación, pasarlos a Hadoop que se encargará de la explotación por ETL y otros procesos por lotes.
  2. Hadoop y luego Splunk:  En este otro ejemplo Hadoop se encargaria de recoger los datos y pasar los resultados o un subconjunto de datos a Splunk para su visualización y realización de búsquedas en tiempo real, donde Hadoop tiene limitaciones.
  3. Integración bidireccional: Splunk y Hadoop recogen los datos de diferentes fuentes y comparten la parte necesaria para la explotación por ETL de Haddop y para el análisis en tiempo real y la visualización de Splunk.
  4. Side-by-Side: Tanto Splunk como Haddop se utilizan en la empresa en cuestión, pero cada uno se utiliza para diferentes casos y sin integración entre ellos.
  5. Splunk para monitorizar Hadoop: Utilizar Splunk para monitorizar la infraestructura de tecnológica sobre la que funciona Hadoop.

 

Para facilitar la realización de estas integraciones, Splunk ha creado dos aplicaciones que están disponibles de manera gratuita en Splunk Base:

  • Splunk HadoopOps: App que permite monitorizar en tiempo real todas las capas de infraestructura que soportan Hadoop así como las ejecución de las querys Map Reduce.
  • Splunk Hadoop Connect: App que facilita el intercambio de datos bidireccional entre Splunk y Hadoop.

En cualquiera de los escenarios propuestos, Splunk y Hadoop pueden trabajar complementándose entre si, aprovechando las ventajas y virtudes de ambas herramientas.

Deja un comentario