Ciencia de datos ágil - SparkML

La biblioteca de aprendizaje automático también llamada "SparkML" o "MLLib" consta de algoritmos de aprendizaje comunes, que incluyen clasificación, regresión, agrupación y filtrado colaborativo.

¿Por qué aprender SparkML para Agile?

Spark se está convirtiendo en la plataforma de facto para construir algoritmos y aplicaciones de aprendizaje automático. Los desarrolladores trabajan en Spark para implementar algoritmos de máquina de manera escalable y concisa en el marco de Spark. Aprenderemos los conceptos de aprendizaje automático, sus utilidades y algoritmos con este marco. Agile siempre opta por un marco, que ofrece resultados cortos y rápidos.

Algoritmos ML

Los algoritmos de ML incluyen algoritmos de aprendizaje comunes, tales como clasificación, regresión, agrupamiento y filtrado colaborativo.

Caracteristicas

Incluye extracción de características, transformación, reducción de dimensiones y selección.

Tuberías

Las tuberías proporcionan herramientas para construir, evaluar y ajustar tuberías de aprendizaje automático.

Algoritmos Populares

Los siguientes son algunos algoritmos populares:

  • Estadística Básica

  • Regresión

  • Clasificación

  • Sistema de recomendaciones

  • Agrupamiento

  • Reducción de dimensionalidad

  • Extracción de características

  • Mejoramiento

Sistema de recomendaciones

Un sistema de recomendación es una subclase de sistema de filtrado de información que busca la predicción de "calificación" y "preferencia" que un usuario sugiere a un elemento determinado.

El sistema de recomendaciones incluye varios sistemas de filtrado, que se utilizan de la siguiente manera:

Filtración colaborativa

Incluye la construcción de un modelo basado en el comportamiento pasado, así como decisiones similares tomadas por otros usuarios. Este modelo de filtrado específico se utiliza para predecir elementos que un usuario está interesado en aceptar.

Filtrado basado en contenido

Incluye el filtrado de características discretas de un elemento para recomendar y agregar nuevos elementos con propiedades similares.

En nuestros capítulos posteriores, nos centraremos en el uso del sistema de recomendaciones para resolver un problema específico y mejorar el rendimiento de la predicción desde el punto de vista de la metodología ágil.