¿Tiene alguna pregunta? Llámenos al +34 91 5151 390

23 febrero 2015

Comments:

0
 febrero 23, 2015
 0

Yahoo selecciona Hunk de Splunk para analizar datos de Hadoop

Yahoo ha anunciado que está utilizando Hunk para analizar 600 petabytes de datos almacenados en Hadoop y además esta indexando 150 terabytes de datos al día con Splunk Enterprise. Estas magnitudes de datos toman aun mas relevancia cuando Yahoo es la propia inventora de Hadoop y tiene uno de los mayores clusters de Hadoop en producción.

Hunk SPlunk

Hunk es una plataforma de análisis completa que permite la explotación de los datos contenidos en Hadoop de manera visual e intuitiva. Hunk consigue poner el Big Data al alcance de cualquier empleado de la compañía.

Con Hunk la compañía está haciendo un seguimiento para mejorar el rendimiento de sus sistemas de red, y las métricas de rendimiento en sus clusters. Yahoo usa el análisis de Hadoop para navegar por tablas complejas, revisar SLAs y consumo de recursos históricos. Con el uso de Hunk, la compañía está ahorrando millones de dólares en el aprovisionamiento de hardware.

Además Splunk Enterprise también ha sido desplegado como plataforma para recoger datos de miles de servidores. Desde operaciones de infraestructura, seguridad…se está usando Splunk Enterprise para maximizar los ingresos mediante el entendimiento de las preferencias de los clientes, mediante las campañas de marketing y publicidad, mientras aborda problemas en el flujo de trabajo de IT.

Con la implementación de Hunk y Splunk Enterprise, Yahoo está exprimiendo los límites del análisis de datos del “big data”, pero de una forma que también se atienden las necesidades básicas de la empresa. Este es el poder del “big data” y de la plataforma Splunk.

http://www.splunk.com/view/SP-CAAANV6

26 febrero 2013

Comments:

0
 febrero 26, 2013
 0

Splunk y Hadoop

Splunk es una herramienta de Big Data, por si misma es capaz de indexar terabytes de datos por día y realizar búsquedas en cantidades ingentes de datos en tiempo real.

A su vez Hadoop, es un proyecto open source para el tratamiento y análisis de grandes cantidades de datos, también una herramienta de Big Data, pero sobre Hadoop es necesario implantar una capa que permita analizar y realizar búsquedas sobre los datos. En este sentido Splunk y Hadoop se pueden interconectar de múltiples formas:

  1. Splunk y luego Hadoop: En este caso utilizamos Splunk para recoger, mostrar y analizar los datos para, a continuación, pasarlos a Hadoop que se encargará de la explotación por ETL y otros procesos por lotes.
  2. Hadoop y luego Splunk:  En este otro ejemplo Hadoop se encargaria de recoger los datos y pasar los resultados o un subconjunto de datos a Splunk para su visualización y realización de búsquedas en tiempo real, donde Hadoop tiene limitaciones.
  3. Integración bidireccional: Splunk y Hadoop recogen los datos de diferentes fuentes y comparten la parte necesaria para la explotación por ETL de Haddop y para el análisis en tiempo real y la visualización de Splunk.
  4. Side-by-Side: Tanto Splunk como Haddop se utilizan en la empresa en cuestión, pero cada uno se utiliza para diferentes casos y sin integración entre ellos.
  5. Splunk para monitorizar Hadoop: Utilizar Splunk para monitorizar la infraestructura de tecnológica sobre la que funciona Hadoop.

 

Para facilitar la realización de estas integraciones, Splunk ha creado dos aplicaciones que están disponibles de manera gratuita en Splunk Base:

  • Splunk HadoopOps: App que permite monitorizar en tiempo real todas las capas de infraestructura que soportan Hadoop así como las ejecución de las querys Map Reduce.
  • Splunk Hadoop Connect: App que facilita el intercambio de datos bidireccional entre Splunk y Hadoop.

En cualquiera de los escenarios propuestos, Splunk y Hadoop pueden trabajar complementándose entre si, aprovechando las ventajas y virtudes de ambas herramientas.