El Big Data, Small data o el Análisis de Datos se ha hecho un hueco en muchos sectores profesionales hasta volverse una herramienta fundamental en nuestro día a día. Pero ¿realmente sabemos cómo afrontar todos los retos y desafíos que supone el Big Data y el análisis de datos?

Sin duda 2020 ha sido un gran año para el Big Data y seguirá su desarrollo durante el 2021, las nuevas tecnologías han permitido consolidar el uso de herramientas y estrategias de este ámbito y podemos ver como el Big Data Analytics es una práctica más del Business Intelligence y un valor diferencial de la competencia.

Evolución de la analítica aumentada

Muchos expertos coinciden que 2021 será el año en que el Big Data logrará una evolución tecnología considerable pero aún nos queda mucho para ver todo lo que el Big Data puede hacer por nosotros y sin duda será un cambio de contexto económico y social.

Con la analítica aumentada veremos la aparición de conocimientos o cambios más importantes que servirán a los negocios a optimizar la toma de decisiones.

Nuestra primera tendencias de Big Data , la analítica aumentada, utiliza el aprendizaje automático y la inteligencia artificial para mejorar el análisis de los datos mediante la búsqueda de un nuevo método de creación, desarrollo y compartición de análisis de datos. Muchos clientes empresariales prefieren el análisis aumentado a los análisis tradicionales para reducir los errores y sesgos humanos.

Para 2021, la analítica aumentada será un impulsor dominante de nuevas de herramientas tecnológicas que hagan del propio proceso de analítica de datos algo sencillo y accesible para gran parte de los perfiles de una organización. Éstas herramientas tratarán de democratizar la ciencia de datos y el aprendizaje automático a toda una organización.

Otra palabra clave cuando hablamos de avances tecnológicos es la IA que está permitiendo ser más rápido y preciso a la hora de la toma de decisiones estratégicas en muchos sectores empresariales. Lo que sin duda veremos es como el auge de las tecnologías digitales, el almacenamiento de datos a un menor coste, el hardware de alto rendimiento y el software integrado fomentarán el cambio tanto en las grandes como en las pequeñas empresas.

Las empresas que adopten la IA formando parte de sus procesos de negocio serán cada vez más, y es lógico, puesto que las ventajas que ofrece esta tecnología son muchas en diferentes niveles como, por ejemplo, a nivel de procesos, de creación de nuevos modelos de negocio, de interacción con el cliente, e incluso de interacción entre las propias personas de una organización

Datos como servicio

Los datos como servicio utilizan la tecnología de la nube para dar a los usuarios y las aplicaciones con acceso a la información a pedido sin depender de dónde puedan estar los usuarios o las aplicaciones. Es una de las tendencias actuales en el análisis de grandes datos. Los datos como servicio son como el software como una ayuda, la infraestructura como una ayuda, la plataforma como una ayuda.

La computación en memoria son los datos que se almacenan en un nuevo nivel de memoria que está situado entre la memoria flash NAND y la memoria dinámica de acceso aleatorio. Esto proporciona una memoria mucho más rápida que puede soportar cargas de trabajo de alto rendimiento para el análisis avanzado de datos en las empresas.

Data Lakehouse: Más allá del Data Lake

¡Seguimos con más Tendencias Big Data! Actualmente muchas de las grandes compañías tienen uno o varios Data Lakes y uno o varios Datawarehouses. Probablemente la mayoría también separe los casos de uso en casos de IA(Inteligencia Artificial) o Data Science de los casos de BI, lo más común es que para los primeros se usen los Data Lakes y para los segundos se usen los Datawarehouses

Desafortunadamente en la todavía los mundos BI y Big Data siguen separados principalmente porque la manera de contestar las preguntas del negocio son diferentes:

• BI: Las preguntas son conocidas por lo que modelamos los datos para obtener respuestas a esas preguntas
• Big Data: No sabemos las preguntas por lo que analizamos los datos buscando esa pepita de oro

Afortunadamente la industria se mueve a modelos más holísticos, concretamente, las arquitecturas de datos se están uniendo en plataformas que pueden extraer lo mejor los dos mundos favoreciendo las sinergias entre BI y Big Data.

¿Se podría crear un Datawarehouse sobre un sistema de almacenamiento distribuido barato, sin perder el rendimiento del sistema y que siga cubriendo los casos de uso más enterprise?

La respuesta es: Sí. Y es que en esencia un Data Lakehouse es un Datawarehouse que tiene como almacenamiento de datos un Data Lake, la idea es simple, pero esconde una gran complejidad técnica que muchas compañías han sabido trasladar a la realidad: Databricks, Snowflake, Microsoft…

Las características fundamentales de un Data Lakehouse son:

• Soporte ACID
• Gestión de los esquemas y los metadatos
• Conectividad con herramientas BI
• Almacenamiento desacoplado del procesamiento
• Formatos de almacenamiento Open Source(parquet)
• Soporte para datos estructurados y no estructurados
• Soporte para diferentes casos de uso: Machine learning, reporting/dashboarding, ETL
• Capacidad de gesitonar datos en real-time/streaming

Lakehouse es un nuevo paradigma que simplifica radicalmente la infraestructura de datos empresariales y acelera la innovación en una era en la que Machine Learning está listo para revolucionar todas las industrias, especialmente mezclando todo tipo de datos internos, externos, estructurados y no estructurados.

Big Data y cambio climático

Puede que el cambio climático no sea un tema nuevo para los científicos, pero el aprovechamiento del Big Data para combatirlo puede ser la corriente principal del 2021. De hecho, se cree que el aprovechamiento del Big Data puede ayudarnos a conocer el estado actual de las emisiones de dióxido de carbono. No sólo eso, sino que incluso los datos de la investigación meteorológica, las ciencias de la tierra, la investigación oceánica e incluso las instalaciones de investigación nuclear están estipulados para ayudarnos a comprender el cambio climático y otras condiciones ambientales relacionadas con el planeta.

Procesamiento del lenguaje natural (PNL) y análisis conversacional.

Al igual que las interfaces de búsqueda como Google hicieron que Internet fuera accesible para los consumidores cotidianos, las PNL brindan una forma más fácil de hacer preguntas sobre datos y obtener información más precisa. La analítica conversacional lleva el concepto de PNL un paso más allá al permitir que tales preguntas se planteen y respondan verbalmente en lugar de a través de texto.

Según Gartner, otra de las tendencias Big Data para 2021 «será la PNL y la analítica conversacional impulsarán la adopción de la analítica y la inteligencia empresarial del 35% de los empleados a más del 50%, incluidas las nuevas clases de usuarios».

La voz parece que logrará imponerse como el principal canal de interacción entre máquinas y personas, y en cierto modo tiene todo el sentido. La tecnología ha de ser transparente a las personas en su uso, y por tanto ha de ser natural y ¿qué hay más natural que utilizar la voz para comunicarnos? Esta tecnología está en fases muy inmaduras pero sólo es cuestión de tiempo.

Asistentes virtuales en whatsapp y su irrupción en Instagram

A lo largo del 2021 seremos testigos de la consolidación final de WhatsApp como nuevo canal de comunicación entre empresas y sus stakeholders.

A raíz de la pandemia, compañías de todos los sectores y tamaños han comenzado a utilizar este canal para comunicarse con clientes, proveedores o empleados, iniciando un camino de no retorno que se irá consolidando.

Durante el próximo año, veremos una explosión en la automatización vía WhatsApp, tanto en su modalidad de nuevo canal desatendido (sólo chatbot, p.e. para pedidos vía WhatsApp) o como canal de servicio de atención al cliente (combinación chatbot+agentes). Esto provocará que nosotros como usuarios nos habituemos aún más si cabe a interactuar con las empresas -de cualquier tamaño- por esta app que ya suele formar parte de nuestro día a día.

Pero eso no es todo, que en lo que a tecnología conversacional se refiere, aun esperamos más. Con casi total seguridad veremos el nacimiento de un nuevo canal automatizado: Instagram.

Tras la liberación del API de WhatsApp (2019), parece que el turno le toca a esta otra app de Facebook, y que el gigante dará también el pistoletazo de salida a la gestión automatizada de conversaciones en los mensajes directos de Instagram. Esta nueva realidad se traduce en oportunidades para todas las compañías que operan en esta red social, permitiendo la gestión automatizada de preguntas frecuentes, generar dinámicas automatizadas o incluso la compra de productos vía chat, una funcionalidad que ya está disponible en WhatsApp o Facebook Messenger.

Big Data, el perfil más demandado

Actualmente, el profesional experto en Big Data se ha convertido en uno de los perfiles profesionales más demandados, una tendencia de Big Data más a la que prestar atención, pero también en uno de los más difíciles de cubrir. Esto se debe a que representan un 10’11% del total, según el informe de EPYCE 2017: Posiciones y Competencias más demandadas. Por otro lado, encontramos también dificultades por parte de las empresas para cubrir los puestos de ingenieros informáticos. Estos representan el 5’85% y supera el perfil de Big Data en demanda.

Frente a este paradigma y al incremento de la integración de las nuevas tecnologías en nuestro día a día, está causando que las escuelas de negocio y universidades vean afectados sus programas, teniendo que implementar nuevos modelos de aprendizaje y aportando nuevas formaciones en Big Data para cubrir esta demanda.

El estudio también ha revelado que, junto a la demanda de perfiles de Big Data, también se encuentran los operarios de fábrica con ciertas capacidades digitales . Estos están seguidos por los perfiles comerciales, no obstante, las empresas tienen problemas para encontrar perfiles de comerciales digitales y que cada vez serán más demandados.

Pero el informe, no recoge solo los perfiles más demandados en Big Data, sino también, las habilidades más demandadas por las empresas. Estas son; iniciativa, capacidad de trabajo en equipo y flexibilidad. Por lo que hace a perfiles más sénior, los encargados de captar y seleccionar talento buscan a personas con capacidad de liderazgo. Otra capacidad fundamental y de la cual no podemos olvidarnos son los idiomas, sobre todo el inglés.

De nuevo vemos cómo el mercado busca un equilibrio en las competencias de los perfiles más buscados. Disponer de competencias blandas como la comunicación y la creatividad, junto con competencias específicas de cada tecnología aseguran una carrera profesional brillante.

Fuente: iebschool.com