Research Programme · NLP · Media Bias
Programa de Investigación · PLN · Sesgo Mediático

Automated Media Bias Detection

Detección Automática de Sesgo Mediático

My research focuses on developing computational methods for detecting, characterising, and understanding media bias at multiple levels of linguistic granularity. This work spans systematic literature reviews, fine-grained bias taxonomies, perspectivist annotation, and hierarchical detection architectures, with the goal of building systems that generalise across datasets, languages, and ideological contexts.

Mi investigación se centra en el desarrollo de métodos computacionales para detectar, caracterizar y comprender el sesgo mediático a múltiples niveles de granularidad lingüística. Este trabajo abarca revisiones sistemáticas de la literatura, taxonomías de sesgo de grano fino, anotación perspectivista y arquitecturas de detección jerárquicas, con el objetivo de construir sistemas que generalicen entre datasets, lenguas y contextos ideológicos.

Francisco-Javier Rodrigo-Ginés
UNED (NLP & IR Group)

Research Overview

Visión general

Media bias shapes public opinion through subtle linguistic choices: word selection, source attribution, framing, and emphasis. While humans can sometimes identify overt propaganda, the vast scale of modern media production makes manual analysis impractical. My research addresses this challenge by developing computational methods that operate across multiple levels of analysis and that explicitly account for the subjective nature of bias perception.

El sesgo mediático moldea la opinión pública a través de elecciones lingüísticas sutiles: selección de palabras, atribución de fuentes, encuadre y énfasis. Aunque los humanos pueden a veces identificar la propaganda manifiesta, la enorme escala de la producción mediática moderna hace inviable el análisis manual. Mi investigación aborda este desafío desarrollando métodos computacionales que operan a múltiples niveles de análisis y que tienen en cuenta explícitamente la naturaleza subjetiva de la percepción del sesgo.

The urgency of this work has intensified in the age of AI-generated content, large-scale disinformation campaigns, and growing political polarisation. Algorithmic news curation and social media amplification can reinforce existing biases at unprecedented speed and scale. At the same time, the proliferation of AI-written text makes it increasingly difficult to distinguish between organic editorial slant and deliberately manufactured narratives. Understanding media bias computationally is therefore no longer a purely academic exercise; it is a prerequisite for building informed, resilient democracies.

La urgencia de este trabajo se ha intensificado en la era del contenido generado por IA, las campañas de desinformación a gran escala y la creciente polarización política. La curación algorítmica de noticias y la amplificación en redes sociales pueden reforzar los sesgos existentes a una velocidad y escala sin precedentes. Al mismo tiempo, la proliferación de texto escrito por IA dificulta cada vez más distinguir entre el sesgo editorial orgánico y las narrativas deliberadamente fabricadas. Comprender el sesgo mediático computacionalmente ya no es, por tanto, un ejercicio puramente académico; es un requisito previo para construir democracias informadas y resilientes.

A central insight of this research is that media bias cannot be reduced to a simple left-versus-right classification. Traditional approaches treat bias as a binary property (biased or not) or as a one-dimensional political spectrum. In reality, bias manifests through multiple, interacting mechanisms: a news article may use emotionally charged language (spin), selectively omit relevant context (gatekeeping), and frame events through a particular ideological lens, all simultaneously. My work shifts the paradigm from detection to characterisation, proposing fine-grained, multi-level analysis that captures this complexity.

Una idea central de esta investigación es que el sesgo mediático no puede reducirse a una simple clasificación izquierda-derecha. Los enfoques tradicionales tratan el sesgo como una propiedad binaria (sesgado o no) o como un espectro político unidimensional. En realidad, el sesgo se manifiesta a través de múltiples mecanismos que interactúan entre sí: un artículo periodístico puede utilizar lenguaje emocionalmente cargado (spin), omitir selectivamente contexto relevante (gatekeeping) y encuadrar los eventos a través de una lente ideológica particular, todo simultáneamente. Mi trabajo desplaza el paradigma de la detección a la caracterización, proponiendo un análisis de grano fino y multinivel que captura esta complejidad.

This programme integrates insights from NLP, communication sciences, linguistics, psychology, and philosophy. It spans several interconnected lines of work: a comprehensive systematic review of the field, a fine-grained taxonomy of bias manifestations, a perspectivist annotated dataset for Spanish media, a hierarchical detection architecture, and experimental evidence showing that structured, multi-level approaches dramatically outperform flat classifiers in cross-dataset generalisation.

Este programa integra perspectivas del PLN, las ciencias de la comunicación, la lingüística, la psicología y la filosofía. Abarca varias líneas de trabajo interconectadas: una revisión sistemática exhaustiva del campo, una taxonomía de grano fino de manifestaciones de sesgo, un dataset anotado perspectivista para medios en español, una arquitectura de detección jerárquica y evidencia experimental que muestra que los enfoques estructurados y multinivel superan drásticamente a los clasificadores planos en generalización cross-dataset.

17
Bias manifestations
Manifestaciones de sesgo
118
Studies reviewed
Estudios revisados
77%
Cross-dataset F1
F1 cross-dataset
+30pp
vs. flat baseline
vs. línea base plana

Systematic Review

Revisión sistemática

The starting point of this research was a comprehensive systematic review of computational media bias detection, published in Expert Systems with Applications (2024). Following the PRISMA methodology, we analysed 118 studies published between 2000 and 2025, covering the full evolution from lexicon-based approaches to modern transformer architectures. The review addressed five research questions spanning bias definitions, detection granularity, dataset construction, computational methods, and evaluation practices.

El punto de partida de esta investigación fue una revisión sistemática integral de la detección computacional de sesgo mediático, publicada en Expert Systems with Applications (2024). Siguiendo la metodología PRISMA, analizamos 118 estudios publicados entre 2000 y 2025, cubriendo toda la evolución desde los enfoques basados en léxico hasta las arquitecturas transformer modernas. La revisión abordó cinco preguntas de investigación que abarcan las definiciones de sesgo, la granularidad de detección, la construcción de datasets, los métodos computacionales y las prácticas de evaluación.

Among the most significant findings was the absence of a shared operational definition of media bias across the literature. Different studies use the same term to refer to fundamentally different phenomena: some equate bias with political leaning at the outlet level, others focus on linguistic markers of subjectivity at the sentence level, and still others target propaganda techniques or framing strategies. This definitional fragmentation makes it extremely difficult to compare results across studies, combine datasets, or build systems that generalise beyond their training data.

Entre los hallazgos más significativos se encontró la ausencia de una definición operativa compartida de sesgo mediático en la literatura. Diferentes estudios utilizan el mismo término para referirse a fenómenos fundamentalmente distintos: algunos equiparan el sesgo con la tendencia política a nivel de medio, otros se centran en marcadores lingüísticos de subjetividad a nivel de oración, y otros más se dirigen a técnicas de propaganda o estrategias de encuadre. Esta fragmentación definitoria hace extremadamente difícil comparar resultados entre estudios, combinar datasets o construir sistemas que generalicen más allá de sus datos de entrenamiento.

The review also revealed a striking concentration on English-language media (over 80% of all studies), sentence-level detection as the dominant granularity (often ignoring document-level and cross-article patterns), and a near-universal reliance on majority-vote annotation that erases legitimate disagreement among annotators. These findings collectively pointed to a field that had made substantial progress on narrow, English-centric benchmarks while leaving fundamental questions about multi-level analysis, multilingual coverage, and the inherently subjective nature of bias perception largely unaddressed.

La revisión también reveló una concentración llamativa en medios en lengua inglesa (más del 80% de todos los estudios), la detección a nivel de oración como la granularidad dominante (a menudo ignorando patrones a nivel de documento y entre artículos), y una dependencia casi universal de la anotación por voto mayoritario que borra el desacuerdo legítimo entre anotadores. Estos hallazgos señalaron colectivamente un campo que había logrado avances sustanciales en benchmarks estrechos y centrados en el inglés, mientras dejaba en gran medida sin abordar cuestiones fundamentales sobre el análisis multinivel, la cobertura multilingüe y la naturaleza inherentemente subjetiva de la percepción del sesgo.

118
Studies analysed
Estudios analizados
25
Years covered
Años cubiertos
PRISMA
Methodology
Metodología
5
Research questions
Preguntas de investigación

Key Gaps Identified

Brechas clave identificadas

The review identified five systematic gaps in the literature that directly motivated the rest of this research programme:

La revisión identificó cinco brechas sistemáticas en la literatura que motivaron directamente el resto de este programa de investigación:

🌍
English dominance
Predominio del inglés
Over 80% of studies focus exclusively on English-language media, leaving significant gaps for other languages.
Más del 80% de los estudios se centran exclusivamente en medios en lengua inglesa, dejando brechas significativas en otros idiomas.
👥
Disagreement discarded
Desacuerdo descartado
Most studies force annotator consensus via majority vote, discarding the disagreement signal that is inherent to bias perception.
La mayoría de estudios fuerzan consenso entre anotadores mediante voto mayoritario, descartando la señal de desacuerdo inherente a la percepción del sesgo.
📏
Single-level analysis
Análisis de un solo nivel
Systems typically operate at one granularity level (sentence or document), missing the multi-level interactions that characterise real-world bias.
Los sistemas suelen operar en un único nivel de granularidad (oración o documento), perdiendo las interacciones multinivel que caracterizan el sesgo real.
Generalisation deficit
Déficit de generalización
Cross-dataset evaluation is rare; models achieve high in-domain accuracy but fail on unseen data sources.
La evaluación cross-dataset es infrecuente; los modelos logran alta precisión in-domain pero fallan con fuentes de datos no vistas.
These gaps directly shaped the subsequent research: the taxonomy addresses the granularity problem, the MBBMD dataset tackles both the language gap and the disagreement problem, and the hierarchical system targets cross-dataset generalisation. Estas brechas moldearon directamente la investigación posterior: la taxonomía aborda el problema de granularidad, el dataset MBBMD afronta tanto la brecha lingüística como el problema del desacuerdo, y el sistema jerárquico persigue la generalización cross-dataset.

Taxonomy of Media Bias

Taxonomía del sesgo mediático

Building on the framework by Hamborg et al. (2019) and extending it with contributions from communication studies and critical discourse analysis, I developed a taxonomy that classifies 17 distinct bias manifestations. The taxonomy is organised along two orthogonal axes: intention (whether the bias stems from spin or ideological framing) and context (whether it operates at the coverage, gatekeeping, or statement level).

Partiendo del marco de Hamborg et al. (2019) y extendiéndolo con contribuciones de las ciencias de la comunicación y el análisis crítico del discurso, desarrollé una taxonomía que clasifica 17 manifestaciones de sesgo distintas. La taxonomía se organiza a lo largo de dos ejes ortogonales: intención (si el sesgo proviene de spin o de encuadre ideológico) y contexto (si opera a nivel de cobertura, gatekeeping o enunciado).

The fundamental motivation for this taxonomy is that treating bias as a binary phenomenon (biased versus unbiased) or as a single dimension (left versus right) fails to capture the rich variety of mechanisms through which bias enters news content. A headline may employ sensationalism through emotionally charged word choices, while the body of the same article may exhibit omission bias by failing to mention relevant counterarguments. A news outlet may demonstrate source selection bias by systematically quoting experts aligned with a particular viewpoint, even while individual sentences appear neutral in isolation. These are qualitatively different phenomena that require different detection strategies and carry different implications for media consumers.

La motivación fundamental de esta taxonomía es que tratar el sesgo como un fenómeno binario (sesgado versus no sesgado) o como una dimensión única (izquierda versus derecha) no captura la rica variedad de mecanismos a través de los cuales el sesgo entra en el contenido informativo. Un titular puede emplear sensacionalismo mediante elecciones de palabras emocionalmente cargadas, mientras que el cuerpo del mismo artículo puede exhibir sesgo de omisión al no mencionar contraargumentos relevantes. Un medio puede demostrar sesgo de selección de fuentes citando sistemáticamente a expertos alineados con un punto de vista particular, incluso cuando las oraciones individuales parecen neutrales de forma aislada. Estos son fenómenos cualitativamente diferentes que requieren estrategias de detección distintas y tienen implicaciones diferentes para los consumidores de medios.

The two-axis organisation provides both analytical clarity and computational utility. The intention axis distinguishes between spin (techniques that exaggerate, speculate, or emotionally manipulate regardless of political direction) and ideology (systematic favouring of a particular political, economic, or social perspective). The context axis captures the linguistic level at which bias operates: coverage-level bias determines which stories are told and how prominently; gatekeeping-level bias controls which sources and perspectives are included; and statement-level bias manifests in the specific language used to describe events, actors, and arguments. This two-dimensional structure enables detection systems to identify not just whether bias is present, but what kind of bias it is and at what level it operates.

La organización en dos ejes proporciona tanto claridad analítica como utilidad computacional. El eje de intención distingue entre spin (técnicas que exageran, especulan o manipulan emocionalmente independientemente de la dirección política) e ideología (favorecimiento sistemático de una perspectiva política, económica o social particular). El eje de contexto captura el nivel lingüístico en el que opera el sesgo: el sesgo a nivel de cobertura determina qué historias se cuentan y con qué prominencia; el sesgo a nivel de gatekeeping controla qué fuentes y perspectivas se incluyen; y el sesgo a nivel de enunciado se manifiesta en el lenguaje específico utilizado para describir eventos, actores y argumentos. Esta estructura bidimensional permite a los sistemas de detección identificar no solo si el sesgo está presente, sino qué tipo de sesgo es y a qué nivel opera.

Media Bias Sesgo Mediático
By Intention Por intención
Spin
  • Sensationalism / Emotionalism
  • Sensacionalismo / Emocionalismo
  • Speculation
  • Especulación
  • Favouritism / Unfair balance
  • Favoritismo / Desequilibrio injusto
  • Mind reading
  • Lectura de mente
Ideology
Ideología
  • Source selection bias
  • Sesgo de selección de fuentes
  • Partisan framing
  • Encuadre partidista
  • Flawed reasoning
  • Razonamiento falaz
By Context Por contexto
Coverage / Visibility
Cobertura / Visibilidad
  • Commission / Omission
  • Comisión / Omisión
  • Story placement bias
  • Sesgo de ubicación de noticias
Gatekeeping
  • Source attribution omission
  • Omisión de atribución de fuentes
  • Concession bias
  • Sesgo de concesión
Statement / Presentation
Enunciado / Presentación
  • Word choice / Labelling
  • Elección de palabras / Etiquetado
  • Subjective qualifying adjectives
  • Adjetivos calificativos subjetivos
  • Opinions presented as facts
  • Opiniones presentadas como hechos
  • Mudslinging / Ad hominem
  • Ataques personales / Ad hominem

This taxonomy extends prior work by including manifestations such as mind reading (attributing unspoken thoughts to actors), concession bias (selectively granting partial validity to opposing views), and mudslinging (personal attacks). Six of the 17 manifestations have been implemented as automated heuristic detection algorithms.

Esta taxonomía extiende el trabajo previo incluyendo manifestaciones como la lectura de mente (atribuir pensamientos no expresados a los actores), el sesgo de concesión (conceder selectivamente validez parcial a puntos de vista opuestos) y los ataques personales. Seis de las 17 manifestaciones se han implementado como algoritmos heurísticos de detección automatizada.

The practical value of this fine-grained taxonomy goes beyond academic classification. For media literacy educators, it provides a structured vocabulary for discussing different forms of bias with students and the public. For journalists and editors, it offers a checklist of specific pitfalls to avoid during the editorial process. For automated detection systems, it decomposes the monolithic problem of "detecting bias" into a set of well-defined subtasks, each of which can be addressed with tailored algorithms and evaluated independently. This decomposition is a key enabler of the hierarchical detection architecture described below.

El valor práctico de esta taxonomía de grano fino va más allá de la clasificación académica. Para los educadores en alfabetización mediática, proporciona un vocabulario estructurado para discutir diferentes formas de sesgo con estudiantes y el público. Para periodistas y editores, ofrece una lista de verificación de errores específicos a evitar durante el proceso editorial. Para los sistemas de detección automatizada, descompone el problema monolítico de "detectar sesgo" en un conjunto de subtareas bien definidas, cada una de las cuales puede abordarse con algoritmos específicos y evaluarse de forma independiente. Esta descomposición es un habilitador clave de la arquitectura de detección jerárquica descrita más adelante.

MBBMD Dataset

Dataset MBBMD

The Media Bias Bias-Mitigated Dataset (MBBMD) is a Spanish-language corpus designed following perspectivist principles. Rather than aggregating annotations into a single gold label via majority vote, MBBMD preserves all individual annotator judgments, following the Learning with Disagreements (LeWiDi) paradigm. This design choice treats annotator disagreement as a signal rather than noise, enabling models to learn from the full spectrum of human bias perception.

El Media Bias Bias-Mitigated Dataset (MBBMD) es un corpus en lengua española diseñado siguiendo principios perspectivistas. En lugar de agregar anotaciones en una única etiqueta gold mediante voto mayoritario, MBBMD preserva todos los juicios individuales de los anotadores, siguiendo el paradigma Learning with Disagreements (LeWiDi). Esta decisión de diseño trata el desacuerdo entre anotadores como señal en lugar de ruido, permitiendo a los modelos aprender del espectro completo de la percepción humana del sesgo.

The perspectivist approach is grounded in a simple but consequential observation: media bias is inherently subjective. What one reader perceives as a neutral factual statement, another may interpret as politically charged framing. This is not a failure of annotation quality; it reflects genuine differences in life experience, political orientation, cultural background, and media consumption habits. Traditional majority-vote aggregation discards precisely this variation, producing a "consensus" label that may not represent any individual annotator's actual judgment. By preserving all individual labels, MBBMD enables research into how bias perception varies across different demographic and ideological groups, and allows training models that are sensitive to this variation rather than blind to it.

El enfoque perspectivista se fundamenta en una observación simple pero con consecuencias importantes: el sesgo mediático es inherentemente subjetivo. Lo que un lector percibe como una declaración factual neutral, otro puede interpretarlo como un encuadre políticamente cargado. Esto no es un fallo de calidad en la anotación; refleja diferencias genuinas en experiencia vital, orientación política, contexto cultural y hábitos de consumo mediático. La agregación tradicional por voto mayoritario descarta precisamente esta variación, produciendo una etiqueta de "consenso" que puede no representar el juicio real de ningún anotador individual. Al preservar todas las etiquetas individuales, MBBMD permite investigar cómo la percepción del sesgo varía entre diferentes grupos demográficos e ideológicos, y permite entrenar modelos que son sensibles a esta variación en lugar de estar ciegos ante ella.

The choice of Spanish as the annotation language is a deliberate contribution to closing the linguistic gap identified in the systematic review. Spanish is the fourth most spoken language in the world by total number of speakers and has a rich, politically diverse media landscape spanning Spain and Latin America. Yet as of the systematic review, fewer than 5% of media bias datasets covered Spanish. MBBMD draws from major Spanish news outlets representing the full political spectrum, from left-leaning to right-leaning, providing a resource that enables bias research grounded in the specific political, cultural, and linguistic context of Spanish-language media rather than relying on translations or adaptations of English datasets.

La elección del español como lengua de anotación es una contribución deliberada para cerrar la brecha lingüística identificada en la revisión sistemática. El español es la cuarta lengua más hablada del mundo por número total de hablantes y cuenta con un panorama mediático rico y políticamente diverso que abarca España y América Latina. Sin embargo, según la revisión sistemática, menos del 5% de los datasets de sesgo mediático cubrían el español. MBBMD se nutre de los principales medios de comunicación españoles que representan todo el espectro político, de izquierda a derecha, proporcionando un recurso que permite la investigación del sesgo arraigada en el contexto político, cultural y lingüístico específico de los medios en lengua española, en lugar de depender de traducciones o adaptaciones de datasets en inglés.

📝
Three annotation layers
Tres capas de anotación
Binary bias detection, bias type classification, and continuous intensity rating per annotator.
Detección binaria de sesgo, clasificación del tipo de sesgo e intensidad continua por anotador.
👥
Perspectivist design
Diseño perspectivista
Individual annotator labels preserved (not collapsed). Enables training with soft labels and disagreement-aware evaluation.
Etiquetas individuales de los anotadores preservadas (no colapsadas). Permite el entrenamiento con etiquetas suaves y evaluación consciente del desacuerdo.
🌍
Spanish language
Lengua española
Addresses the English-centric gap in the field, covering the Spanish political media landscape.
Aborda la brecha anglófona del campo, cubriendo el panorama mediático político español.
Key finding: Hallazgo clave: Models trained on the centrist annotator subset achieve the highest generalisation performance (88.89% F1), suggesting that politically centrist annotations serve as a robust common ground for cross-group bias detection. Los modelos entrenados con el subconjunto de anotadores centristas logran el mejor rendimiento de generalización (88,89% F1), lo que sugiere que las anotaciones políticamente centristas sirven como base robusta común para la detección de sesgo intergrupal.

The dataset is publicly available on Zenodo under an open licence, enabling reproducible research on Spanish media bias detection. Each annotated instance includes the original text, annotator demographic metadata, individual bias/no-bias judgments, bias type labels, and continuous intensity scores, making it one of the most richly annotated media bias resources available in any language.

El dataset está disponible públicamente en Zenodo bajo una licencia abierta, facilitando la investigación reproducible sobre la detección de sesgo mediático en español. Cada instancia anotada incluye el texto original, metadatos demográficos del anotador, juicios individuales de sesgo/no sesgo, etiquetas de tipo de sesgo y puntuaciones de intensidad continua, convirtiéndolo en uno de los recursos de sesgo mediático más ricamente anotados disponibles en cualquier lengua.

Beyond its immediate use for training and evaluation, MBBMD is designed to support a range of research questions that traditional datasets cannot address: How does the political orientation of an annotator affect their perception of bias? Are certain bias types more universally recognised while others are perceived only by specific groups? Can models trained on one political perspective's annotations generalise to others? These questions are central to building bias detection systems that are fair, transparent, and robust across diverse user populations.

Más allá de su uso inmediato para entrenamiento y evaluación, MBBMD está diseñado para apoyar una serie de preguntas de investigación que los datasets tradicionales no pueden abordar: ¿Cómo afecta la orientación política de un anotador a su percepción del sesgo? ¿Ciertos tipos de sesgo son más universalmente reconocidos mientras que otros solo son percibidos por grupos específicos? ¿Pueden los modelos entrenados con las anotaciones de una perspectiva política generalizar a otras? Estas preguntas son centrales para construir sistemas de detección de sesgo que sean justos, transparentes y robustos a través de poblaciones diversas de usuarios.

Hierarchical Detection System

Sistema de detección jerárquico

Rather than treating bias detection as a flat classification problem, I developed a three-tier architecture that mirrors the multi-level nature of bias. The system builds progressively richer representations from sentence to document level, combining rule-based heuristics, fine-tuned transformers, and ideology-aware classifiers.

En lugar de tratar la detección de sesgo como un problema de clasificación plana, desarrollé una arquitectura de tres niveles que refleja la naturaleza multinivel del sesgo. El sistema construye representaciones progresivamente más ricas desde el nivel de oración al de documento, combinando heurísticas basadas en reglas, transformers ajustados finamente y clasificadores conscientes de la ideología.

The design rationale for a hierarchical architecture stems directly from the taxonomy: since bias operates at multiple linguistic levels simultaneously, a detection system that only analyses one level will inevitably miss important patterns. A sentence-level model can detect loaded language and subjective adjectives, but it cannot detect omission or source selection patterns that only become apparent at the document level. Conversely, a document-level model may capture overall ideological slant but miss the specific linguistic mechanisms that produce it. The hierarchical approach composes these complementary perspectives, letting each tier specialise in the phenomena it is best equipped to detect, and then integrating their outputs for a comprehensive assessment.

La justificación del diseño de una arquitectura jerárquica deriva directamente de la taxonomía: dado que el sesgo opera simultáneamente a múltiples niveles lingüísticos, un sistema de detección que solo analice un nivel inevitablemente perderá patrones importantes. Un modelo a nivel de oración puede detectar lenguaje cargado y adjetivos subjetivos, pero no puede detectar patrones de omisión o selección de fuentes que solo se hacen evidentes a nivel de documento. A la inversa, un modelo a nivel de documento puede capturar la tendencia ideológica general pero perder los mecanismos lingüísticos específicos que la producen. El enfoque jerárquico compone estas perspectivas complementarias, permitiendo que cada nivel se especialice en los fenómenos que mejor puede detectar, y luego integrando sus salidas para una evaluación completa.

Tier 1
Sentence-Level
Heuristics
Nivel 1
Heurísticas a
nivel de oración
Tier 2
Multitask
DistilBERT
Nivel 2
DistilBERT
multitarea
Tier 3
Ideology-Aware
Document Classifiers
Nivel 3
Clasificadores
conscientes de ideología
Output
Stacking
Ensemble
Salida
Ensemble de
stacking

Tier 1: Sentence-Level Characterisation

Nivel 1: Caracterización a nivel de oración

Six heuristic algorithms detect specific bias manifestations in individual sentences: source attribution omission, sensationalism, mind reading, word choice/labelling, subjective qualifying adjectives, and opinions presented as facts. These produce per-sentence bias feature vectors that capture fine-grained linguistic phenomena.

Seis algoritmos heurísticos detectan manifestaciones de sesgo específicas en oraciones individuales: omisión de atribución de fuentes, sensacionalismo, lectura de mente, elección de palabras/etiquetado, adjetivos calificativos subjetivos y opiniones presentadas como hechos. Estos producen vectores de características de sesgo por oración que capturan fenómenos lingüísticos de grano fino.

These heuristics are designed to be interpretable and linguistically grounded. For example, the sensationalism detector combines sentiment intensity scores with the presence of superlatives, exclamations, and emotionally loaded vocabulary. The source attribution omission heuristic checks whether factual claims are attributed to identifiable sources or left unsupported. This interpretability is a deliberate design choice: unlike black-box neural approaches, the heuristic outputs can be directly inspected and explained, which is valuable for downstream applications such as media literacy tools and editorial quality assurance.

Estas heurísticas están diseñadas para ser interpretables y lingüísticamente fundamentadas. Por ejemplo, el detector de sensacionalismo combina puntuaciones de intensidad de sentimiento con la presencia de superlativos, exclamaciones y vocabulario emocionalmente cargado. La heurística de omisión de atribución de fuentes verifica si las afirmaciones factuales se atribuyen a fuentes identificables o se dejan sin respaldo. Esta interpretabilidad es una decisión de diseño deliberada: a diferencia de los enfoques neuronales de caja negra, las salidas heurísticas pueden inspeccionarse y explicarse directamente, lo cual es valioso para aplicaciones posteriores como herramientas de alfabetización mediática y control de calidad editorial.

Tier 2: Multitask Learning

Nivel 2: Aprendizaje multitarea

A DistilBERT model is fine-tuned with a multitask objective that simultaneously predicts binary bias labels, bias type, and continuous intensity. Trained on perspective-specific subsets of the MBBMD dataset, this layer captures patterns that pure heuristics cannot.

Un modelo DistilBERT se ajusta finamente con un objetivo multitarea que predice simultáneamente etiquetas binarias de sesgo, tipo de sesgo e intensidad continua. Entrenado en subconjuntos perspectivistas del dataset MBBMD, esta capa captura patrones que las heurísticas puras no pueden.

The multitask objective is a key innovation at this tier. By jointly optimising for bias detection, type classification, and intensity regression, the model is forced to learn representations that capture the shared structure underlying these related tasks. In practice, this means the model develops richer internal representations of biased language than a single-task binary classifier would. The use of perspective-specific training subsets from MBBMD allows training separate models for each annotator group (left-leaning, centrist, right-leaning), which are later combined at the ensemble stage to capture the full range of bias perception.

El objetivo multitarea es una innovación clave en este nivel. Al optimizar conjuntamente la detección de sesgo, la clasificación de tipo y la regresión de intensidad, el modelo se ve obligado a aprender representaciones que capturan la estructura compartida subyacente a estas tareas relacionadas. En la práctica, esto significa que el modelo desarrolla representaciones internas más ricas del lenguaje sesgado que las que desarrollaría un clasificador binario de tarea única. El uso de subconjuntos de entrenamiento específicos por perspectiva de MBBMD permite entrenar modelos separados para cada grupo de anotadores (tendencia izquierda, centrista, tendencia derecha), que luego se combinan en la etapa de ensemble para capturar el rango completo de percepción del sesgo.

Tier 3: Document-Level Classification

Nivel 3: Clasificación a nivel de documento

Sentence-level features are aggregated into document representations and combined with metadata (publisher ideology, topic). Ideology-aware classifiers then predict overall document-level bias. A final stacking ensemble integrates predictions from multiple model perspectives.

Las características a nivel de oración se agregan en representaciones de documento y se combinan con metadatos (ideología del medio, tema). Clasificadores conscientes de la ideología predicen entonces el sesgo global a nivel de documento. Un ensemble de stacking final integra predicciones de múltiples perspectivas del modelo.

The stacking ensemble at the output stage is critical for robustness. Rather than relying on any single model's perspective, the ensemble learns to weight the predictions of multiple perspective-specific models adaptively. This means that for texts where annotators from different political backgrounds tend to agree, the ensemble converges on a confident prediction; for texts where disagreement is high, the ensemble can reflect this uncertainty. This design aligns with the perspectivist philosophy underlying the entire framework: the goal is not to impose a single "correct" judgment of bias, but to produce a nuanced assessment that acknowledges the inherent subjectivity of the phenomenon.

El ensemble de stacking en la etapa de salida es crítico para la robustez. En lugar de depender de la perspectiva de un único modelo, el ensemble aprende a ponderar las predicciones de múltiples modelos específicos por perspectiva de forma adaptativa. Esto significa que para textos en los que anotadores de diferentes contextos políticos tienden a coincidir, el ensemble converge en una predicción confiable; para textos en los que el desacuerdo es alto, el ensemble puede reflejar esta incertidumbre. Este diseño se alinea con la filosofía perspectivista que subyace a todo el marco: el objetivo no es imponer un único juicio "correcto" del sesgo, sino producir una evaluación matizada que reconozca la subjetividad inherente del fenómeno.

Key Results

Resultados clave

The central finding is that the hierarchical, perspectivist approach dramatically improves cross-dataset generalisation compared to flat transformer baselines and general-purpose LLMs:

El hallazgo central es que el enfoque jerárquico y perspectivista mejora drásticamente la generalización cross-dataset en comparación con las líneas base de transformers planos y los LLMs de propósito general:

Cross-dataset generalisation is widely regarded as one of the hardest challenges in media bias detection. Most existing systems perform well on their training data but suffer catastrophic performance drops when evaluated on articles from different news sources, time periods, or annotation schemes. This happens because flat classifiers tend to learn dataset-specific shortcuts (such as publisher-specific vocabulary patterns or topic-associated cues) rather than genuine linguistic indicators of bias. The practical consequence is that a system trained on one dataset may be essentially useless when deployed on real-world news from sources it has never seen before.

La generalización cross-dataset se considera ampliamente como uno de los desafíos más difíciles en la detección de sesgo mediático. La mayoría de los sistemas existentes funcionan bien con sus datos de entrenamiento pero sufren caídas catastróficas de rendimiento cuando se evalúan con artículos de diferentes fuentes de noticias, períodos temporales o esquemas de anotación. Esto ocurre porque los clasificadores planos tienden a aprender atajos específicos del dataset (como patrones de vocabulario específicos del medio o señales asociadas al tema) en lugar de indicadores lingüísticos genuinos de sesgo. La consecuencia práctica es que un sistema entrenado en un dataset puede ser esencialmente inútil cuando se despliega con noticias del mundo real de fuentes que nunca ha visto antes.

Model Configuration Configuración del modelo In-Domain F1 F1 in-domain Cross-Dataset F1 F1 cross-dataset
Flat Transformer (per-dataset avg.) Transformer plano (media por dataset) 0.74 0.47
Flat Transformer (MBBMD) Transformer plano (MBBMD) 0.76 0.38
GPT-4o (1-shot) 0.50
Heuristics only Solo heurísticas 0.63 0.61
Hierarchy (no perspective) Jerarquía (sin perspectiva) 0.72 0.69
Proposed (hierarchy + perspective) Propuesto (jerarquía + perspectiva) 0.77 0.77
Centrist annotator model Modelo del anotador centrista 0.89 0.89
Main result: Resultado principal: The proposed hierarchical + perspectivist framework achieves 0.77 F1 in cross-dataset evaluation, a +30 percentage point improvement over the flat transformer baseline (0.47). The in-domain and cross-dataset scores converge (0.77 vs. 0.77), suggesting that the approach learns genuinely transferable bias representations rather than dataset-specific artifacts. El marco jerárquico + perspectivista propuesto alcanza un F1 de 0,77 en evaluación cross-dataset, una mejora de +30 puntos porcentuales sobre la línea base de transformer plano (0,47). Las puntuaciones in-domain y cross-dataset convergen (0,77 vs. 0,77), lo que sugiere que el enfoque aprende representaciones de sesgo genuinamente transferibles en lugar de artefactos específicos del dataset.

Additional Findings

Hallazgos adicionales

🧠
Perspectivism Matters
El perspectivismo importa
Adding perspective-specific training to the hierarchy increases cross-dataset F1 from 0.69 to 0.77 (+8pp), confirming that modelling annotator subjectivity improves generalisation.
Añadir entrenamiento específico por perspectiva a la jerarquía aumenta el F1 cross-dataset de 0,69 a 0,77 (+8pp), confirmando que modelar la subjetividad del anotador mejora la generalización.
Centrist Generalisation
Generalización centrista
Models trained on centre-leaning annotator subsets achieve the best cross-group robustness (88.89% F1), outperforming both left- and right-leaning subsets.
Los modelos entrenados en subconjuntos de anotadores de centro logran la mejor robustez intergrupal (88,89% F1), superando a los subconjuntos de izquierda y derecha.
🔍
LLM Limitations
Limitaciones de los LLMs
GPT-4o in 1-shot mode achieves only 0.50 cross-dataset F1, substantially below the proposed framework. Structured, hierarchical approaches outperform general-purpose LLMs for this task.
GPT-4o en modo 1-shot alcanza solo 0,50 de F1 cross-dataset, sustancialmente por debajo del marco propuesto. Los enfoques estructurados y jerárquicos superan a los LLMs de propósito general en esta tarea.

Perhaps the most striking result is the convergence of in-domain and cross-dataset performance in the proposed framework (0.77 F1 in both settings). For flat transformer baselines, the gap between in-domain and cross-dataset performance is severe (0.74 vs. 0.47), indicating that these models learn superficial, dataset-specific patterns. The hierarchical + perspectivist framework closes this gap almost entirely, suggesting that it learns genuinely transferable representations of biased language. This convergence is a strong indicator that the approach captures something meaningful about the underlying structure of media bias, rather than exploiting statistical artifacts of any particular training set.

Quizás el resultado más llamativo es la convergencia del rendimiento in-domain y cross-dataset en el marco propuesto (0,77 F1 en ambas configuraciones). Para las líneas base de transformers planos, la brecha entre el rendimiento in-domain y cross-dataset es severa (0,74 vs. 0,47), indicando que estos modelos aprenden patrones superficiales específicos del dataset. El marco jerárquico + perspectivista cierra esta brecha casi por completo, sugiriendo que aprende representaciones genuinamente transferibles del lenguaje sesgado. Esta convergencia es un indicador fuerte de que el enfoque captura algo significativo sobre la estructura subyacente del sesgo mediático, en lugar de explotar artefactos estadísticos de cualquier conjunto de entrenamiento particular.

These results have direct implications for the real-world deployment of media bias detection tools. A system that only works on data similar to its training set is of limited practical value: the news landscape constantly evolves, new outlets emerge, and coverage patterns shift with the political cycle. The cross-dataset robustness demonstrated by the hierarchical approach suggests that it could serve as a foundation for operational media monitoring tools, media literacy platforms, and journalistic quality assurance systems that maintain reliable performance across diverse and changing media environments.

Estos resultados tienen implicaciones directas para el despliegue real de herramientas de detección de sesgo mediático. Un sistema que solo funciona con datos similares a su conjunto de entrenamiento tiene un valor práctico limitado: el panorama informativo evoluciona constantemente, surgen nuevos medios y los patrones de cobertura cambian con el ciclo político. La robustez cross-dataset demostrada por el enfoque jerárquico sugiere que podría servir como base para herramientas operativas de monitorización de medios, plataformas de alfabetización mediática y sistemas de control de calidad periodística que mantengan un rendimiento fiable en entornos mediáticos diversos y cambiantes.

Publications

Publicaciones

Automated media bias detection: a systematic review
Expert Systems with Applications, 248, 124877 (2024)
Francisco-Javier Rodrigo-Ginés, Jorge Carrillo-de-Albornoz, Laura Plaza
MBBMD: Media Bias Bias-Mitigated Dataset
Zenodo (2025)
Francisco-Javier Rodrigo-Ginés
From detection to characterization: a holistic and perspectivist approach to media bias analysis
De la detección a la caracterización: un enfoque holista y perspectivista para el análisis del sesgo mediático
Doctoral Thesis, UNED (2026)
Tesis doctoral, UNED (2026)
Francisco-Javier Rodrigo-Ginés. Supervisors: Jorge Carrillo de Albornoz, Laura Plaza
Francisco-Javier Rodrigo-Ginés. Directores: Jorge Carrillo de Albornoz, Laura Plaza

Interdisciplinary Foundations

Fundamentos interdisciplinares

Media bias is not purely a computational problem. My research integrates insights from five academic traditions, recognising that effective detection systems must account for the epistemological, cognitive, and social dimensions of bias.

El sesgo mediático no es un problema puramente computacional. Mi investigación integra perspectivas de cinco tradiciones académicas, reconociendo que los sistemas de detección efectivos deben tener en cuenta las dimensiones epistemológica, cognitiva y social del sesgo.

📖
Philosophy
Filosofía
Objectivity, epistemic standards, and the impossibility of a "view from nowhere."
Objetividad, estándares epistémicos y la imposibilidad de una "vista desde ningún lugar."
🧠
Psychology
Psicología
Cognitive biases (confirmation, anchoring, framing effects) in both producers and consumers of news.
Sesgos cognitivos (confirmación, anclaje, efectos de encuadre) en productores y consumidores de noticias.
📡
Communication
Comunicación
Framing theory, agenda setting, and the political economy of media production.
Teoría del encuadre, establecimiento de agenda y la economía política de la producción mediática.
💬
Linguistics
Lingüística
Critical discourse analysis, lexical choice, and the relationship between language and ideology.
Análisis crítico del discurso, elección léxica y la relación entre lenguaje e ideología.
💻
Computer Science
Informática
NLP, machine learning, transformer architectures, and perspectivist annotation paradigms.
PLN, aprendizaje automático, arquitecturas transformer y paradigmas de anotación perspectivista.