dcdc1/ai-labor-anxiety

Dataset Card: Impacto de la IA en el Empleo Tecnológico (Análisis Event Study)

Dataset Summary

Este dataset combina técnicas de Procesamiento de Lenguaje Natural (NLP) y series temporales macroeconómicas para analizar el impacto real del "miedo a la Inteligencia Artificial" en el mercado laboral tecnológico. El objetivo principal es contrastar empíricamente si los picos de ansiedad laboral expresados en comunidades de desarrolladores (ante el lanzamiento de modelos fundacionales disruptivos) anticipan o correlacionan con caídas reales en la contratación en el sector IA, o si, por el contrario, existe un desacoplamiento entre la percepción social y la realidad del mercado.

El repositorio ha sido construido bajo un estricto enfoque de Análisis de Intervención (Event Study), segmentando el marco temporal (2022-2026) en ventanas de -150 a +150 días alrededor de hitos tecnológicos clave (ej. GPT-4, Claude 3, Sora).

Cumplimiento de Principios FAIR:

1. Findable (Encontrable)

• Identificadores únicos: Cada registro del dataset cuenta con un campo obligatorio id (identificador único) que garantiza la trazabilidad exacta a nivel de fila y evita la duplicidad en análisis futuros.
• Metadatos ricos: El repositorio en Hugging Face incluye un README.md (Dataset Card) exhaustivo con las secciones mínimas obligatorias (Dataset Summary, How to use, Dataset Details, Licencia).
• Indexación de búsqueda: Se han incorporado etiquetas (tags) específicas en el bloque YAML (nlp, time-series, labor-market) y descriptores de tareas (task_categories) que permiten a los motores de búsqueda de la comunidad científica localizar el recurso mediante consultas estándar.

2. Accessible (Accesible)

• Protocolos estandarizados: El dataset es accesible de forma universal a través de la infraestructura de repositorios de Hugging Face Datasets. Puede descargarse mediante protocolos web abiertos y gratuitos (HTTPS) o desde un script mediante la API oficial de Python (datasets.load_dataset()).
• Disponibilidad del metadato: Los metadatos y la documentación del proyecto permanecerán accesibles y legibles por máquina en el repositorio público, incluso en el caso hipotético de que los datos subyacentes fuesen modificados o retirados.

3. Interoperable (Interoperable)

• Formatos abiertos: Los datos se distribuyen en un archivo binario de almacenamiento columnar, abierto y no propietario (Parquet), lo que garantiza una lectura eficiente en cualquier entorno de análisis moderno (Python, R, SQL) y soporte nativo para caracteres UTF-8 en sus columnas de texto.
• Vocabularios y estándares compartidos: Las variables siguen convenciones estrictas de nomenclatura. Se respeta el campo obligatorio texto (contenido textual), y el campo timestamp (fecha/hora de publicación) está estructurado bajo el estándar internacional ISO 8601, permitiendo su cruce directo e inequívoco con otras series temporales.

4. Reusable (Reutilizable)

• Licencia de uso clara: El corpus se distribuye bajo una licencia aplicable abierta y estándar (Creative Commons Attribution 4.0 International - CC BY 4.0), definiendo sin ambigüedades los permisos para su reutilización académica y comercial.
• Procedencia de los datos (Provenance): El proceso de recolección y transformación está documentado paso a paso, desde la extracción masiva hasta la anotación algorítmica (Zero-Shot Classification), asegurando que cualquier investigador pueda auditar y replicar la metodología original.
• Metadatos de contexto: Se han incluido metadatos relevantes derivados del procesamiento, concretamente la variable score_miedo, que proporciona un valor añadido inmediato para investigaciones econométricas sin necesidad de reprocesar los textos crudos.

How to Use

Puedes descargar y cargar este dataset directamente utilizando la librería datasets de Hugging Face o leer los archivos CSV directamente con Pandas.

Usando la librería datasets:

from datasets import load_dataset

# 1. Cargar la tabla maestra con todos los datos consolidados
dataset_master = load_dataset("Alosmas90/ai-labor-anxiety", data_files="dataset_master_completo.parquet", split="train")
df_master = dataset_master.to_pandas()

# 2. Cargar los datos macroeconómicos (Indeed)
dataset_indeed = load_dataset("Alosmas90/ai-labor-anxiety", data_files="dataset_empleo_indeed.parquet", split="train")
df_indeed = dataset_indeed.to_pandas()

# 3. Cargar un evento específico (Ej. Lanzamiento de GPT-4)
dataset_gpt4 = load_dataset("Alosmas90/ai-labor-anxiety", data_files="hitos_gpt-4_openai.parquet", split="train")
df_gpt4 = dataset_gpt4.to_pandas()

Estructura de Archivos y Diccionario de Datos

El repositorio se compone de 9 archivos CSV principales que documentan la tubería de datos completa. A continuación se detalla el contenido y el esquema de columnas de cada uno:

1. dataset_empleo_indeed.csv (2.800 filas)

• Descripción: Serie temporal macroeconómica pivotada extraída del Indeed Hiring Lab. Actúa como la variable dependiente de la "realidad empírica".
• Diccionario de variables:
  • feicha (datetime): Fecha del registro de las ofertas en el mercado laboral.
  • AU, CA, DE, FR, GB, IT, US (float): Siete columnas correspondientes a Australia, Canadá, Alemania, Francia, Reino Unido, Italia y Estados Unidos. Cada una representa la cuota diaria (porcentaje) que suponen las ofertas de empleo de IA sobre el total de ofertas publicadas en ese país.

2. dataset_master_completo.csv (9.741 filas)

• Descripción: Tabla maestra que consolida y sincroniza cronológicamente la percepción social (variable independiente) y el calendario de eventos del estudio para alimentar modelos a gran escala.
• Diccionario de variables:
  • id (integer): Índice numérico único generado tras la expansión tabular.
  • fecha (datetime): Fecha continua de la serie temporal (imputada en días sin actividad nativa en foros).
  • score_miedo (float): Nivel promedio de miedo calculado para ese día específico.
  • volumen_comentarios (float): Volumen exacto de comentarios relevantes detectados y procesados en ese día.
  • textos_dia (string): Contenido del comentario específico en español. Se estructuró utilizando una función explode para que cada fila contenga un solo texto cualitativo asociado a las métricas del día.
  • evento_asociado (string): Nombre del hito o shock tecnológico más cercano en el tiempo (ej. "GPT-4 (OpenAI)" o "Sora / Nuevos Modelos Video")[cite: 4].
  • categoria_evento (string): Clasificación categórica de la fecha dentro del modelo Event Study (Pre-event period (-150d), Post-event period (+150d), Launch day, o Valley zone (no nearby event)).
  • dias_al_evento (string): Distancia numérica exacta en días (-150 a +150) entre la fecha de la fila y el día oficial de lanzamiento del modelo tecnológico asociado. Los días a más de 150 de distancia de cualquier lanzamiento, cuentan con la etiqueta >150

3. Sub-datasets de Intervención (hitos_*.csv)

• Descripción: 7 archivos independientes extraídos dinámicamente de la tabla maestra. Aíslan el calendario en ventanas de ±150 días alrededor de los lanzamientos fundacionales para inyectar directamente en modelos de Event Study. Incluyen: hitos_agi_milestones__llama_4.csv, hitos_chatgpt_openai.csv, hitos_claude_3_anthropic.csv, hitos_gpt-4_openai.csv, hitos_gpt-4o_multimodalidad_nativa.csv, hitos_gpt-5__claude_4_nueva_generación.csv.
• Diccionario de variables: Todos los sub-datasets comparten la misma estructura tabular y variables documentadas en el complete_master_dataset.csv (id, fecha, score_miedo, volumen_comentarios, textos_dia, evento_asociado, categoria_evento, dias_al_evento).

Proceso de Recolección y Metodología

La arquitectura de datos requiere un tratamiento bivariante continuo desde el 1 de enero de 2022 hasta el 31 de agosto de 2026 (1704 días en total):

1. Extracción de la Realidad del Mercado (Variable Dependiente): Se extrajo la serie temporal de ofertas de empleo desde el repositorio institucional de Indeed Hiring Lab a través de su AI Tracker en GitHub. Se utilizó la "cuota de penetración" (porcentaje de ofertas de IA frente al total diario) para aislar la demanda real y neutralizar sesgos de estacionalidad.
2. Extracción de la Percepción Social (Variable Independiente): A través del clúster de datos masivos de Google BigQuery, se realizaron consultas SQL sobre el histórico del foro Hacker News (Y Combinator). Se filtraron textos relacionados con la IA y el empleo utilizando expresiones regulares, garantizando una recolección masiva sin riesgos de bloqueo (web scraping tradicional descartado por eficiencia).
3. Cuantificación mediante NLP (Zero-Shot Classification): Se aplicó el modelo Transformer facebook/bart-large-mnli configurado en tensores PyTorch sobre hardware GPU (T4). A cada texto limpio se le asignó un fear_score en relación a la etiqueta "fear of job loss or replacement".
4. Traducción al Español: Se tradujo el corpus originario íntegramente al español utilizando el modelo neuronal Helsinki-NLP/opus-mt-en-es, optimizado para procesamiento por lotes (batching) mediante búsqueda voraz (Greedy Search).
5. Reducción y Fusión de Datos: Los datos se agruparon a nivel diario y se imputaron valores faltantes mediante propagación hacia adelante (forward fill).

Limitaciones

• Sesgo Demográfico: Los textos extraídos provienen de Hacker News, una comunidad predominantemente compuesta por profesionales técnicos, desarrolladores de software y emprendedores de origen anglosajón. La percepción del riesgo podría no ser representativa de otros sectores profesionales no tecnológicos.
• Artefactos de Traducción: Al usar un modelo de traducción neuronal, algunas jergas técnicas o dobles sentidos del idioma inglés original pueden haber perdido precisión semántica en su conversión al español.
• Sesgo del Modelo Zero-Shot: Las métricas de fear_score dependen de los pesos y sesgos inherentes con los que fue pre-entrenado el modelo BART-large.
• Factores Macroeconómicos de Confusión: Aunque la variable dependiente utiliza la "cuota de penetración" de ofertas en Indeed para aislar sesgos de estacionalidad, existen factores exógenos del sector tecnológico que pueden correlacionar de forma espuria con las fechas de los lanzamientos fundacionales.
• Sesgo de Selección de Palabras Clave: La consulta SQL en BigQuery dependió de expresiones regulares predefinidas (ej. ai|gpt|llm cruzado con replace|layoffs). Esto implica que discusiones sobre el impacto laboral de la IA que utilicen terminología distinta, jerga emergente o nombres de modelos específicos (ej. Midjourney, GitHub Copilot) pueden haber quedado excluidas de la muestra.

Licencia

Este dataset se distribuye bajo la licencia Creative Commons Attribution 4.0 International (CC BY 4.0), permitiendo su libre uso, adaptación y redistribución con fines académicos y comerciales, siempre que se cite adecuadamente la autoría.

Citation / Acknowledgements

Se agradece al Indeed Hiring Lab por el acceso abierto a los datos macroeconómicos del mercado laboral global, y al programa de datos públicos de Google BigQuery por el alojamiento de las bases de datos históricas de Hacker News.

Cita recomendada (formato APA):

Bakali, O., Vera, P., & Aceituno, M. (2026). ATLAS: El Impacto de la IA en el Empleo Tecnológico (Analisis Event Study) [Dataset]. Hugging Face. [https://huggingface.co/datasets/Alosmas90/ai-labor-anxiety]