Estadística moderna en estudios relacionados con el cambio climático (página 2)
Métodos para encontrar clusters
Cluster jerárquico. Se parte de tantos clusters como datos tiene la muestra y en cada paso se van juntando dos clusters siguiendo algún criterio especificado, hasta obtener un único cluster con todos los datos
Criterios de optimización. Producen una partición de los objetos en un número especificado de grupos siguiendo un criterio de optimización. El más conocido es k-MEDIAS
En general, se busca HOMOGENEIDAD dentro de los grupos y HETEROGENEIDAD entre grupos
Planteamiento del problema
Planteamiento del problema
¿Podemos utilizar las técnicas habituales del análisis multivariante para encontrar los clusters?
Observamos series temporales y queremos clasificarlas en grupos o “CLUSTERS”
Procedimientos cluster tradicionales ignoran la estructura de autocorrelación de la serie y no proporcionan buenos resultados
Necesidad de desarrollar nuevos procedimientos cluster para series temporales
Algunos trabajos previos se basan en los modelos que generan las observaciones, o en el último dato observado
El problema se complica mucho más con SERIES TEMPORALES MULTIVARIANTES, cuando observamos más de una variable para cada individuo a lo largo del tiempo
Planteamiento del problema
Planteamiento del problema
Observamos SERIES TEMPORALES MULTIVARIANTES y queremos clasificarlas en grupos o “CLUSTERS”
Proyectamos en el futuro
(Gp:) X
(Gp:) X
(Gp:) X
(Gp:) X
(Gp:) X
(Gp:) X
(Gp:) n
(Gp:) h
(Gp:) T
(Gp:) p
(Gp:) n
(Gp:) h
(Gp:) T
(Gp:) 2
(Gp:) n
(Gp:) h
(Gp:) T
(Gp:) 1
(Gp:) 1
(Gp:) h
(Gp:) T
(Gp:) p
(Gp:) 1
(Gp:) h
(Gp:) T
(Gp:) 2
(Gp:) 1
(Gp:) h
(Gp:) T
(Gp:) 1
(Gp:) ˆ
(Gp:) ˆ
(Gp:) ˆ
(Gp:) ˆ
(Gp:) ˆ
(Gp:) ˆ
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) )
(Gp:) (
(Gp:) ,
(Gp:) +
(Gp:) +
(Gp:) +
(Gp:) +
(Gp:) +
(Gp:) +
(Gp:) L
(Gp:) M
(Gp:) O
(Gp:) M
(Gp:) M
(Gp:) L
En muchas situaciones en la vida real, estamos interesados en las PREDICCIONES en un momento específico del futuro
Los resultados, en general, serán diferentes
Planteamiento del problema
Futuro
Modelo
Presente
En muchas situaciones en la vida real, estamos interesados en las PREDICCIONES en un momento específico del futuro
Planteamiento del problema
Fuente: Manuel Ruiz, UAM
Daxi Village, China
(Gp:) Dam construction
¿Por qué clusters de predicciones?
Se reduce la dimensionalidad del problema
Se incluye información tanto del presente como del pasado de las series
En muchos problemas, el interés real se centra en el comportamiento futuro ó en si las series convergen o no a un cierto nivel
Desarrollo sostenible
Emisiones de CO2 (Protocolo de Kyoto)
Convergencia económica
Planteamiento del problema
Además, nuestro método se basa en clasificar las series por las distancias entre las DENSIDADES DE LAS PREDICCIONES, no sólo en la predicciones puntuales.
Esto permite distinguir entre situaciones donde las predicciones puntuales son similares, pero las densidades completas proporcionan más información.
Planteamiento del problema
PASO 1. Calcular las densidades de predicción
PASO 2. Calcular la matriz de discrepancias entre las series (usando las densidades de predicción)
PASO 3. Aplicar análisis cluster tradicional
Metodología para clasificar series temporales
PASO 1. Calcular las densidades de predicción
Si no asumimos ninguna distribución para los datos necesitamos usar métodos de remuestreo (“sieve bootstrap”) para calcular la densidad de predicción
Con el bootstrap extraemos B valores de la distribución de la predicción en el momento específico del futuro que nos interesa
Estimamos la densidad de la predicción aplicando métodos no paramétricos a los B valores bootstrap
Metodología para clasificar series temporales
Se puede desarrollar una versión más sencilla de implementar asumiendo normalidad o basando la agrupación en predicciones puntuales
Metodología para clasificar series temporales
Esquema del procedimiento BOOTSTRAP
PASO 2. Calcular la matriz de discrepancias (D)
Para cada par de series calculamos la distancia L2 entre las funciones de densidad de las predicciones
Metodología para clasificar series temporales
(Gp:) Estimamos cada distancia con , que se calcula a partir de los estimadores no paramétricos de las densidades de predicción usando la muestra de predicciones bootstrap
(Gp:) Hemos probado que es estimador consistente de Dij
(Gp:) Hemos hecho unas simulaciones para comparar Dij y
PASO 3. Aplicar análisis cluster tradicional
La matriz de discrepancias obtenida se utiliza como input de un procedimiento cluster
Los métodos jerárquicos se pueden ejecutar conociendo sólo la MATRIZ de DISCREPANCIAS, los que se basan en criterios de optimización no nos sirven
Metodología para clasificar series temporales
Enlace sencillo (single linkage): unir por la distancia al individuo más cercano del grupo
Enlace promedio (average linkage): unir por la media de las distancias a todos los individuos del grupo
Enlace completo (complete linkage): unir por la distancia al individuo más alejado del grupo
…
Criterios para unir grupos en métodos jerárquicos
Metodología para clasificar series temporales
Dendograma
Los clusters están representados mediante trazos horizontales y las etapas de la fusión mediante trazos verticales
Metodología para clasificar series temporales
Tests formales, intuición (conocimiento del problema)
¿Cuántos cluster hay?
{1,2},3,{4,5}
Impone límites en las emisiones de CO2 y otros cinco gases, “responsables” del calentamiento global.
Negociado en Kyoto en 1997, entra en vigor en 2005 con la ratificación de Rusia (cuando es aceptado por los países responsables del 55% de las emisiones a nivel mundial).
El objetivo es reducir al menos un 5% (respecto de los niveles de 1990) antes de 2012, pero con objetivos distintos según regiones (UE 8%, Japón 6%)
Aplicamos la técnica de CLUSTER PARA SERIES TEMPORALES para crear grupos de países con intereses comunes que puedan compartir experiencias o políticas para alcanzar las reducciones comprometidas
Protocolo de Kyoto
El caso de las emisiones de CO2
Consumo eléctrico en 88 hogares argentinosSe miden 96 variables: consumo de electricidad en intervalos de 15 minutos en un día – Datos funcionales Cuesta–Albertos y Fraiman (2006) encuentran dos clusters con un método k-medias para datos funcionalesEl primer cluster tiene 33 hogares, y el segundo 55
Buscamos el subconjunto de variables más pequeño posible que explique las agrupaciones de los datos que hemos encontrado, o un porcentaje alto de ellas.
Objetivo
Aplicación
Análisis exploratorio de datos. Ayuda a interpretar los cluster que se formanReducir la dimensión. Para nuevos conjuntos de datos
Es habitual que el número de variables, que no debemos confundir con la cantidad de información, sea demasiado elevado.
Trataremos de eliminar variables
“RUIDOSAS”, que son las no informativas
y/o
REDUNDANTES, que no aportan información que no este contenida en otras variables
Selección de variables
Encontrar los grupos con un método cluster
Seleccionar las variables
“AFTER-CLUSTER” Método de selección de variables
Proponemos un método:- consistente estadísticamente – no paramétrico – fácil de usar
El método cluster es bueno
El método cluster genera una partición del espacio
Optimizing criteria
Hierarchical clustering
K-medias
Cuando se elimina la información de las variables “ruidosas”. Esperamos que NO CAMBIEN los clusters
SELECCIÓN DE VARIABLES “AFTER” CLUSTER
(los datos se quedan en la misma partición)
La CLAVE está en tener en cuenta que la partición se define en el espacio de variables original, así que para reasignar los datos a los cluster no puedo eliminar variables aunque sean ruidosas EN LUGAR DE ELIMINAR VARIABLES DEBEMOS “DESACTIVARLAS”
Probamos a clasificar sólo con las variables de todos los subconjuntos posibles y elegimos el ÓPTIMO: más pequeño y que más explique
Que una variable sea ruidosa significa que su DISTRIBUCIÓN DE PROBABILIDAD es la misma en todos los clusters Esto nos sugiere “cancelar” el efecto de una variable sustituyendo todos los valores que toma por la MEDIA
Desactivar variables ruidosas
Resultados con datos simulados
El método para seleccionar variables funciona muy bien para eliminar variables ruidosas, pero es incapaz de detectar variables con información redundante.
Ejemplo con datos simulados
Data source: Tadesse, Sha and Vannucci (2005)
La extensión más natural es cambiar MEDIAS por MEDIAS CONDICIONALES
El mejor predictor de Xi basado en las variables del subconjunto
Eliminar variables redundantes
En la practica, calculamos la media condicional con una regresión no paramétrica que hace uso de la información local, de un número de VECINOS MÁS CERCANOS que tenemos que fijar
También probamos que este método de selección de variables es consistente
Data source: Tadesse, Sha and Vannucci (2005)
Método basado en la media condicional
Ejemplo con datos simulados
El método basado en la MEDIA CONDICIONAL sirve para eliminar las variables “RUIDOSAS” y las REDUNDANTES, pero requiere
El método basado en la MEDIA MARGINAL es más simple.
Un tamaño muestral grande para calcular la esperanza condicionada
Elegir el número adecuado de vecinos más cercanos, que es un problema sin resolver
Mucho esfuerzo computacional
96 variables: consumo eléctrico en intervalos de 15 minutos en un día Un número demasiado elevado para calcular todas las posibles combinaciones
Consumo de electricidad – Datos funcionales
Data source: Cuesta–Albertos and Fraiman (2006)
Diseñamos un algoritmo de busqueda forward-backward para encontrar las “ventanas de tiempo” más relevantes para el procedimiento de cluster.
Resultados con 100 permutaciones
Para calcular la media condicionada, consideramos 5, 10 and 33 vecinos más cercanos
Usar el algoritmo de la media condicionada, en lugar del de la media que es más rápido, significa reduccir del número de intervalos que caracterizan a los dos tipos de consumidores
Consumo de electricidad – Datos funcionales
La elección del número de vecinos más cercanos (NN) afecta al resultado (es un problema importante que resolver)
Los resultados con 5-NN son bastante satisfactorios
Resultados con 100 permutaciones
Consumo de electricidad – Datos funcionales
Los intervalos no sombreados corresponden a las variables seleccionadas
Madrugada (3:00 a 4:00)• Mañana (7:00 a 9:00) • Tarde (15:00 a 19:00)• Noche (21:00 a 24:00)
Consumo de electricidad – Datos funcionales
(Gp:) Madrugada(3:00 a 4:00)
(Gp:) Data source: Cuesta–Albertos and Fraiman (2006)
(Gp:) Mañana(7:00 a 9:00)
(Gp:) Tarde(15:00 a 19:00)
(Gp:) Noche(21:00 a 24:00)
Consumo de electricidad – Datos funcionales
La información redundante, especialmente de tarde y noche, queda resumida con el algoritmo de la media condicional con 5-NN
Cuando aceptamos algunos errores de clasificación, se reduce la eficiencia y deja de ser importante el comportamiento en la madrugada
Consumo de electricidad – Datos funcionales
Se obtienen resultados similares para 10-NN y 33-NN
Consumo de electricidad – Datos funcionales
 Página anterior | Volver al principio del trabajo | Página siguiente  |