Tendencias que alterarán su estrategia de datos y análisis en 2020-2021

Inteligencia continua, operaciones de datos, democratización de datos y mallas de datos son las cuatro tendencias principales en datos y análisis que he estado observando últimamente.

La inteligencia continua, las operaciones de datos, la democratización de datos y las mallas de datos son las cuatro tendencias principales en datos y análisis que he estado observando últimamente. Todos ellos podrían volverse relevantes para su negocio en 2020-21, no porque sean “lo último”, sino porque hay tres fuerzas subyacentes principales que impulsan esas tendencias. Y vendrán a ti de una forma u otra.

En este artículo explicaré:

– Cuáles son las tres fuerzas que definirán las estrategias analíticas en la próxima década.

– Cuáles son las cuatro tendencias que emergen actualmente de estas tres fuerzas, que serán relevantes en 2020-21.

– Cuáles son las tendencias con cierto detalle con enlaces a recursos que las explican mucho mejor que nunca.

¡Entremos en las tres fuerzas y cuatro tendencias que interrumpirán su estrategia analítica!

Resumen de tendencias

Una y otra vez me he encontrado con exactamente cuatro tendencias que creo que serán relevantes para casi todo el mundo en análisis en 2020-21. Estas cuatro tendencias son

– Mallas de datos: los datos no son un subproducto, sino un producto real. Propiedad en equipos de producción. Un concepto introducido por ThoughtWorks.

– Democratización de datos: acceso a una gran cantidad de datos para todos en una empresa, incluidos los empleados sin conocimientos técnicos, utilizados por ejemplo en AirBnB (con tasas de adopción cercanas al 50%).

– Inteligencia continua: apoyo y toma de decisiones automáticos casi en tiempo real a través del aprendizaje automático y una gran cantidad de procesamiento y procesamiento continuo de datos.

– DataOps: enfóquese en entregar valor con datos e introducir las prácticas de ingeniería de software ahora comunes como integración continua (CI) y entrega continua (CD) y mucho más en la canalización de datos.

Pero, ¿por qué esas cuatro tendencias se volverán tan importantes? Creo que lo harán porque hay tres fuerzas principales que impulsan esas tendencias.

Las fuerzas subyacentes que impulsan estas tendencias

Las fuerzas subyacentes que impulsan esas tendencias, hasta donde yo sé, continuarán avanzando durante los próximos 10 años o más. Esta es la razón por la que creo que estas tendencias también se mantendrán durante bastante tiempo.

Demanda creciente de datos: la demanda de datos como producto se está disparando con los aprendices de máquinas, los científicos de datos y otros que encuentran cada vez más aplicaciones. Hace 4 años, los científicos de datos y los ingenieros de aprendizaje automático de casi cualquier empresa podían estar felices de tener en sus manos los datos como subproducto, sacándolos de cualquier lugar que pudieran encontrar. Ahora, cada vez más empresas tienen más de 100 científicos de datos e ingenieros de aprendizaje automático y todos necesitan datos debidamente cuidados. Las API públicas están explotando en uso. al igual que los conjuntos de datos internos públicos y de la empresa solo para fines de ciencia de datos.

Creciente masa de datos: la masa de datos disponibles, así como los dispositivos que capturan datos, se está disparando y parece duplicarse cada tres años.

Complejidad creciente en los mercados: Creo que los mercados y los entornos competitivos en los que trabajamos se vuelven cada vez más complejos a medida que los hacemos así. Las razones cualitativas de esto se dan, por ejemplo, en el libro “Edge: transformación digital impulsada por el valor”. También me gusta creer que el crecimiento del conocimiento se correlaciona con la complejidad del mundo, por lo que el crecimiento exponencial de los trabajos académicos podría ser otro buen punto para ver el crecimiento de la complejidad.

Todas esas fuerzas esencialmente producen una gran ventaja competitiva para las empresas que dominan el arte de procesar datos y convertirlos en decisiones y acciones. Exploremos en detalle las cuatro tendencias que ayudan a desarrollar esta ventaja competitiva.

Tendencia n. ° 1: inteligencia continua en detalle

La inteligencia continua es una posibilidad que existe ahora y que antes no existía.

¡La posibilidad de hacer que el ciclo desde los datos hasta las decisiones y acciones sea continuo, no “una vez”!

Resulta que un “motor de recomendaciones” básico que le muestra recomendaciones de productos en Amazon.com puede reaccionar muy rápidamente a los cambios en el comportamiento del usuario oa los resultados de una prueba A / B. Esos motores de recomendación ya han completado el círculo de los datos a la acción en un flujo continuo.

Pero esta tecnología, en variaciones, se puede aplicar a casi cualquier tipo de acción y cualquier tipo de datos. Puede presentarse en otras formas, como “apoyo a la toma de decisiones” o estadísticas, pero está ahí.

En otras empresas, este ciclo es solo una cosa lineal de una sola vez, pero en algunas, esto ya se convirtió en una ventaja competitiva masiva. Algunos ejemplos son Google en la búsqueda, Amazon en las recomendaciones, “wirkaufendeinauto.de” en el precio de los automóviles usados ​​y muchos más.

El ciclo de la inteligencia es la forma en que los datos en bruto creados por acciones se transforman nuevamente en nuevas decisiones y acciones. Está representado por ThoughtWorks así:

 Qué hacer con esta tendencia: Coloque su empresa en el modelo de madurez de Inteligencia. Luego, piense por un minuto dónde probablemente se encuentren otras empresas de su industria en este espacio. Esto realmente determina si está tratando de ponerse al día o si podría asegurar una ventaja competitiva.

 Razón para no evaluar esta tendencia: no creo que haya una razón para no evaluar esta tendencia. La inteligencia continua ya se aplica en industrias donde no lo sospecharía, en hospitales, en organizaciones industriales para optimizar el rendimiento de las máquinas y encontrar errores o roturas de máquinas y en toda la industria. Como se explicó anteriormente, los datos están creciendo exponencialmente y, con ello, la posibilidad de que otras empresas interrumpan la suya. Sin embargo, creo que el marco de tiempo de su empresa depende de su entorno competitivo, así como de sus componentes internos.

– Razón para considerar otras tendencias primero: si no ha invertido ningún esfuerzo para que los datos estén disponibles en su empresa, no se considere impulsado por datos o inspirado por datos, ya que probablemente desee pensar en las otras tendencias primero.

– Más recursos : ThoughtWorks proporciona excelentes recursos sobre este tema que explican particularmente bien cómo funcionan los ciclos continuos de aprendizaje automático, pero también cómo se ve el apoyo a las decisiones.

Intelligence Enterprise Series de ThoughtWorks Parte 1.
Intelligence Enterprise Series de ThoughtWorks Parte 2.
Intelligence Enterprise Series de ThoughtWorks Parte 3.

Tendencia n. ° 2: DataOps en detalle

DataOps es el nombre de una tendencia que ahora ha tomado una forma adecuada. Es la tendencia de integrar tanto un producto y, por lo tanto, una perspectiva de valor, así como las mejores prácticas actuales de la ingeniería de software al trabajo de datos habitual.

Esta tendencia está impulsada por el manifiesto DataOps, las empresas dataKitchen & data bricks.

DataOps significa que aplicamos una mentalidad DevOps, acompañada del método habitual de fabricación ajustada y una mentalidad ágil para trabajar con datos. Los modelos clave incluyen la idea de canalizaciones de datos e ideas que se muestran a continuación:

– ¿Por qué es esto tan importante ahora? Las tres fuerzas exprimen a los departamentos de datos y análisis para centrarse en ofrecer valor en un entorno que cambia rápidamente. Realmente, dataOps solo está codificando lo que se debe hacer para enfocarse correctamente.

– Razón para evaluar esta tendencia: si su empresa y su entorno competitivo se vuelven cada vez más complejos, su mundo de datos seguirá.

– Razón para evaluar esta tendencia: si sus equipos de datos y análisis tienen dificultades para trabajar en marcos ágiles como SCRUM porque deberían hacerlo. Si no tiene un gerente de producto responsable de sus equipos de análisis y datos, debería hacerlo.

– Recursos adicionales: Esta tendencia no ha tomado una forma sistemática, pero se dispone de información como el manifiesto y algunas publicaciones del blog. Aquí hay dos de ellos:

Publicación de blog de DataOps Medium
Manifiesto de DataOps

Democratización de datos en detalle

La democratización de los datos en una frase significa “dar acceso a los datos a todos”. Empresas como Airbnb, Zynga, eBay y Facebook llevan años practicando activamente la democratización de los datos. Hay muchas trampas y mucho que aprender de esas empresas, por lo que ya he escrito sobre ellas:

– ¿Por qué es esto tan importante ahora? La creciente complejidad del mundo significa que se necesitan muchos más datos para tomar decisiones. Sin él, en un mundo de creciente complejidad, los otros medios para tomar decisiones, los instintos, se romperán tarde o temprano. La creciente cantidad de datos en realidad significa que hay muchos más datos a los que debe dar acceso a las personas.

– Razón para evaluar esta tendencia: ¿Cuántas personas de su empresa tienen acceso a los datos? 30% o menos? Entonces definitivamente está por debajo del umbral para actuar (los promedios de la industria varían entre el 30 y el 40%).

– Razón para no evaluar esta tendencia: ¿Tiene una gran configuración de análisis de autoservicio? ¿Acceso directo a SQL o algo comparable para la mayoría de las personas de su empresa? Entonces no hay razón para profundizar en esta tendencia.

– Recursos:
una publicación mía sobre este tema.
Publicación de blog que explica algunas de las razones para avanzar en esta dirección.

Malla de datos en detalle

DDD, microservicios y DevOps cambiaron la forma en que desarrollamos software en la última década. Sin embargo, los datos del departamento de análisis no se pusieron al día. Para acelerar la toma de decisiones basada en datos en una empresa con un enfoque de desarrollo moderno, los equipos de análisis y software deben cambiar.

(1) los equipos de software deben considerar los datos como un producto que sirven a todos los demás, incluidos los equipos de análisis

(2) los equipos de análisis deben basarse en eso, dejar de acumular datos y, en su lugar, extraerlos a pedido

(3) los equipos de análisis deben comenzar a considerar sus lagos de datos / almacenes de datos como productos de datos también.

Una malla de datos puede verse así:

– Razones para considerar la construcción de una malla de datos: dominios complejos, grandes estructuras organizativas, gran cantidad de datos y una creciente demanda interna de datos son buenas razones para considerar esta tendencia.

– Razones para no considerar las mallas de datos: si cree que sus dominios aún son simples, lo suficientemente fáciles como para ser administrados, por ejemplo, por un departamento de análisis, entonces no veo ninguna razón para cambiar a una malla de datos. Al igual que los microservicios, la malla de datos es un compromiso entre la flexibilidad (que se obtiene con una malla de datos) y la complejidad (que crece con una malla de datos). Si el costo de la complejidad no vale la pena, mantenga un enfoque central.

– Recursos: La base de recursos en mallas de datos está en constante crecimiento, me gustaría destacar tres aquí.

El artículo de malla de datos original de Z. Dehghani, ThoughtWorks.
Una versión más aplicada que escribí sobre el tema.
El webinar de Zalando explicando su versión de una malla de datos implementada junto con ThoughtWorks.
Zalando explica su versión de una malla de datos.

Fuente: Sven Balnojan