MISIÓN 2 · Lección 2

Introducción a Apache Spark

Apache Spark es un motor de procesamiento distribuido que permite trabajar con grandes volúmenes de datos de forma rápida y eficiente. Es ampliamente usado en Big Data y Machine Learning.

¿Qué es Apache Spark?

• Framework de procesamiento en memoria, más rápido que Hadoop MapReduce.
• Compatible con múltiples lenguajes: Scala, Java, Python (PySpark) y R.
• Incluye módulos para SQL, Machine Learning, procesamiento en streaming y gráficos.

Componentes principales de Spark

• Spark Core: funciones básicas de procesamiento distribuido.
• Spark SQL: consultas en lenguaje SQL sobre datos distribuidos.
• Spark Streaming: procesamiento de datos en tiempo real.
• MLlib: librería de Machine Learning.
• GraphX: procesamiento de grafos.

Arquitectura de Spark

• Driver: programa principal que coordina la ejecución.
• Cluster Manager: asigna recursos a las aplicaciones.
• Workers: ejecutan las tareas distribuidas.
• Executors: procesos en cada worker que corren las tareas.

Ejemplo: creación de sesión Spark

from pyspark.sql import SparkSession

# Crear sesión de Spark
spark = SparkSession.builder \
    .appName("EjemploSpark") \
    .getOrCreate()

print(spark.version)

Ejemplo: lectura y consulta de datos

# Cargar un archivo JSON en un DataFrame
df = spark.read.json("reviews.json")

# Mostrar el esquema del DataFrame
df.printSchema()

# Consultar con SQL
df.createOrReplaceTempView("reviews")
result = spark.sql("SELECT stars, COUNT(*) as total FROM reviews GROUP BY stars")
result.show()

Ejemplo: procesamiento de datos

# Filtrar reseñas positivas
df.filter(df["stars"] > 3).select("text", "stars").show(5)

# Calcular promedio de estrellas
df.groupBy().avg("stars").show()

Spark vs Hadoop

• Hadoop MapReduce: procesamiento en disco, más lento.
• Spark: procesamiento en memoria, hasta 100 veces más rápido.
• Spark ofrece APIs más sencillas y mayor integración con Machine Learning.

Aplicaciones comunes de Spark

• Análisis de logs de servidores web.
• Procesamiento de streams en tiempo real (ej. Twitter, sensores IoT).
• Entrenamiento de modelos de Machine Learning con grandes volúmenes de datos.
• ETL (Extract, Transform, Load) a gran escala.

Reflexión final

Apache Spark es una herramienta clave en el Big Data moderno. Su velocidad, flexibilidad y ecosistema lo convierten en un estándar de la industria para análisis de datos masivos y Machine Learning distribuido.