Un modelo entrenado a mano en un notebook es un experimento. Un pipeline reproducible con lineage completo es lo que separa un experimento de un sistema de producción.
Vertex AI Pipelines es el servicio serverless de orquestación de flujos de ML de Google Cloud, basado en el SDK de Kubeflow Pipelines (KFP) o en TensorFlow Extended (TFX). Permite definir un flujo completo —preprocesamiento, entrenamiento, evaluación, registro del modelo, despliegue condicional— como un grafo de componentes reproducible, versionado y ejecutado sin que el equipo tenga que administrar un clúster de Kubernetes propio.
La diferencia frente a correr scripts sueltos o notebooks manuales es la trazabilidad: cada ejecución queda registrada en Vertex ML Metadata, con lineage completo de qué dataset, qué versión de código y qué hiperparámetros produjeron cada modelo específico.
Un pipeline se define como una función Python decorada con `@dsl.pipeline`, donde cada paso es un componente —una unidad de cómputo containerizada con inputs y outputs tipados—.
Este pipeline se compila a un archivo JSON/YAML portable y se ejecuta en Vertex AI sin infraestructura persistente: solo se paga por el cómputo durante la ejecución.
Google mantiene una librería de `google-cloud-pipeline-components` con operadores listos para tareas comunes: lanzar un job de AutoML, desplegar un modelo a un endpoint, ejecutar batch prediction o registrar un modelo en Model Registry. Para lógica específica del negocio (validaciones de calidad de datos propias, transformaciones particulares), se escriben componentes custom como funciones Python empaquetadas en un contenedor, reutilizables entre pipelines.
Cada ejecución de pipeline registra automáticamente en Vertex ML Metadata el linaje completo: qué artefacto de dataset entró, qué parámetros se usaron, qué modelo salió y qué métricas obtuvo. Esto responde a la pregunta que casi siempre surge en una auditoría o un incidente de producción: "¿con qué datos y qué código se entrenó el modelo que está sirviendo ahora mismo?", sin depender de que alguien haya documentado el proceso manualmente en una hoja de cálculo aparte.
Un patrón habitual es condicionar el despliegue a producción a que el modelo supere un umbral de métrica frente al modelo actualmente desplegado, evitando que un reentrenamiento automático degrade el sistema en producción sin supervisión humana.
Vertex AI Pipelines se integra con Cloud Scheduler para reentrenamientos periódicos (semanal, mensual) y con Cloud Build o GitHub Actions para disparar la compilación y ejecución del pipeline como parte de un flujo de CI/CD estándar cuando se actualiza el código de entrenamiento en el repositorio. Esto convierte el reentrenamiento de un evento manual y ad hoc en un proceso versionado igual que cualquier despliegue de software.
Vertex AI Pipelines no cobra por la orquestación en sí más allá de un cargo mínimo por ejecución de pipeline; el costo real está en el cómputo de cada componente (entrenamiento, evaluación). La recomendación operativa es mantener los pipelines granulares —separar preprocesamiento de entrenamiento de despliegue— para poder cachear pasos que no cambiaron entre ejecuciones (KFP soporta caching de outputs de componentes por defecto), reduciendo tiempo y costo en iteraciones frecuentes donde solo cambia, por ejemplo, el hiperparámetro final.
Carlos Montiel es arquitecto de soluciones IA empresarial. Implementa LLMs, Agentes, RAG y orquestadores en empresas de Guatemala y Latinoamérica. Contáctalo para una consultoría.
Contactar a Carlos Montiel