I-2) - Perceptrons multi-couches combinés avec des chaînes de Markov cachées, identification du nombre de régimes, sélection de modèles et d’architectures, application à des données financières

Catherine Aaron, SAMOS, Madalina Olteanu, SAMOS, Joseph Rynkiewicz, SAMOS
samedi 2 janvier 2010

Rappel : il s’agit de déterminer le nombre de régimes à l’aide d’une classification préalable. Un grand nombre de séries économiques ou financières peuvent être modélisées à l’aide des modèles auto-régressifs à changement de régimes markovien. Afin de spécifier ces modèles, on doit déterminer le nombre de régimes, mais les tests du nombre de régimes ont une distribution non standard et ne sont donc pas directement utilisables (problème de paramètres de nuisance sous l’hypothèse nulle d’égalité des coefficients de deux régimes). Un préalable aux tests pourrait être de déterminer a priori, sur la base d’une approche empirique, le nombre de régimes existant. Il s’agirait d’adapter les algorithmes de classification existants (algorithme de Kohonen, classification de type K-means) aux spécificités de notre problème.

L’essentiel ici est que l’ensemble de ce thème a donné lieu à la thèse de Madalina Olteanu, qui a ensuite été recrutée comme MCF au SAMOS. Ce travail a fait l’objet de nombreuses publications et on peut distinguer plusieurs aspects.

A) Caractérisation des crises financières à l’aide de modèles à changements de régime

Dans un premier temps, nous nous sommes intéressés à la caractérisation des crises financières à l’aide de modèles à changements de régime intégrant des perceptrons multicouches. Nous avons utilisé un indice de crise introduit par Maillet et Michel (2002). Calculé à partir de la volatilité historique, l’indice IMS est construit par analogie avec l’échelle de Richter en géophysique comme une transformation logarithmique de l’agrégation de plusieurs volatilités observées pour des fréquences différentes.

La modélisation par des modèles à changements de régime n’a pas permis d’améliorer les erreurs de prévision (par rapport à un modèle linéaire, par exemple) ce qui est conforme à l’hypothèse d’efficience faible des marchés. En revanche, on a obtenu une séparation intéressante entre deux états relatifs à deux comportements différents de l’indice et du marché. Un premier régime correspond aux périodes de crise et de fortes turbulences, tandis que le deuxième s’adapte aux périodes moins agitées. De plus, si on représente graphiquement l’évolution des probabilités conditionnelles des régimes, on est capable d’extraire précisément les dates correspondant aux décisions ou aux événements générant de larges fluctuations et plus généralement d’évaluer la durée totale d’une crise.

- 2004 MAILLET B., OLTEANU M., RYNKIEWICZ J., Caractérisation des crises financières à l’aide de modèles hybrides (HMC-MLP), Revue d’économie politique, 114, n°.4, p. 489-506

- 2004 MAILLET B., OLTEANU M., RYNKIEWICZ J., Nonlinear Analysis of Shocks when Financial Markets are Subject to Changes in Regime, Proceedings of ESANN 2004 (European Symposium on Artificial Neural Networks), p.87-92

- 2006 OLTEANU M., Modèles à changements de régime, applications aux données financières, chapitre 3, Thèse de doctorat, http://tel.archives-ouvertes.fr/tel...

Le travail appliqué sur les données financières nous a mené vers des questions plus théoriques, notamment celle de la sélection du nombre de régimes. La question de la sélection du nombre de régimes soulève des problèmes de non-identifiabilité du modèle. Ceci rend la matrice de Fisher non inversible et ne permet donc pas d’appliquer la théorie usuelle sur la convergence du rapport de vraisemblance. Notons que de plus ce rapport devient divergent dans certains cas comme celui des chaînes de Markov cachées (Keribin et Gassiat, 2000).

Plus particulièrement, nous nous intéressons aux modèles autorégressifs à changements de régime (indépendants ou markoviens). Ces modèles sont largement utilisées dans les séries temporelles et permettent de modéliser des observations non linéaires.

B) Sélection du nombre de régimes avec un algorithme de classification non supervisée

Afin de contourner le problème de non identifiabilité, nous avons proposé une première approche empirique. Il s’agit d’une approche issue des méthodes de classification non supervisée et qui peut être utilisée comme traitement préliminaire des données. L’idée est de transformer le problème d’estimation des paramètres dans un modèle autorégressif en problème de classification. Dans ce cadre, on ne fait plus d’hypothèse sur les changements de régime qui peuvent être indépendants ou markoviens, on impose seulement que les fonctions de régression dans chaque régime soient linéaires. Avec cette condition et en appliquant une fenêtre mobile de taille p+1 à la série des observations, trouver le nombre de régimes est équivalent à trouver le nombre d’hyperplans de régression qui s’ajustent le mieux aux données.

Nous avons proposé un algorithme de classification mixte qui combine les cartes de Kohonen pour faire une classification initiale des données, suivie d’une classification hiérarchique pour regrouper ensuite les clusters obtenus. Pour la classification hiérarchique, nous avons introduit une nouvelle mesure de dispersion : on regroupe ainsi les classes qui minimisent le gain en dispersion intra classes, en définissant cette dispersion comme le total des sommes des carrés résiduels issus des régressions linéaires ajustées dans chaque classe.

- 2006 OLTEANU M., A descriptive method to evaluate the number of regimes in a switching autoregressive model, Neural Networks, 19, n°. 6-7, p. 963-972

- 2006 OLTEANU M., Modèles à changements de régime, applications aux données financières, chapitre 6, Thèse de doctorat, http://tel.archives-ouvertes.fr/tel...

C) Sélection du nombre de régimes avec un critère de log-vraisemblance pénalisée

Une deuxième approche proposée pour répondre à la question sur la sélection du nombre de régimes consiste à utiliser un critère de vraisemblance pénalisée. Nous avons démontré la consistance faible d’un tel critère pour un modèle autorégressif comportant des perceptrons multicouches et des changements de régime indépendants. Des simulations effectuées à l’aide d’un algorithme de type EM nous ont permis ensuite d’illustrer le résultat, sa vitesse de convergence et la stabilité de l’algorithme proposé.

- 2008 OLTEANU M., RYNKIEWICZ J., Estimating the number of components in a mixture of multilayer perceptrons, Neurocomputing/ EEG Neurocomputing, 71, n°. 7-9, p. 1321-1329

D) Etude théorique des perceptrons multicouches à sortie vectorielle

Lorsque la variable à expliquer par un modèle de régression non linéaire est multidimensionnelle, les erreurs sont elles aussi multidimensionnelles. Dans ces conditions, minimiser l’erreur quadratique moyenne revient à minimiser la trace de la matrice de covariance empirique de l’erreur. Cependant si la vraie matrice de covariance de l’erreur n’est pas l’identité, cette méthode n’est pas optimale (sauf si le modèle de régression est linéaire sans contrainte). On a montré ici que minimiser le déterminant de la matrice de covariance empirique de l’erreur est asymptotiquement optimal même pour des erreurs non-gaussiennes. On généralise aussi ce résultat aux régressions linéaires avec contraintes.

- 2006 RYNKIEWICZ J., Efficient estimation of multidimensional regression model using multilayer perceptrons, Neurocomputing/ EEG Neurocomputing, 69, n°. 7-9, p. 671-678

- 2007 RYNKIEWICZ J., Estimation and test for multidimensional regression models, Communications in Statistics – Theory and Methods, 36, n°. 14, p. 2655-2671

E) Identification de l’architecture des perceptrons multicouches

On considère des modèles de régression impliquant des perceptrons multicouches (MLP) avec une couche cachée et un bruit gaussien. L’estimation des paramètres du MLP peut être faite en maximisant la vraisemblance du modèle. Dans ce cadre, il est difficile de déterminer le vrai nombre d’unités cachées parce que la matrice d’information de Fisher n’est pas inversible si ce nombre est surestimé. Cependant, si les paramètres du MLP sont dans un ensemble compact, nous prouvons que la minimisation d’un critère d’information convenable permet l’estimation consistante du vrai nombre d’unités cachées.

- 2006 RYNKIEWICZ J., Estimation consistante de l’architecture des perceptrons multicouches, Comptes Rendus de l’Académie des Sciences – Series 1 – Mathematics, 342, n°. 9, p. 697-700

- 2007 DUTOT A.-L., RYNKIEWICZ J., STEINER F. E., RUDE J., A 24-h forecast of ozone peaks and exceedance levels using neural classifiers and weather predictions, Environmental Modelling and Software, 22, n°. 9, p. 1261-1269


Agenda

<<

2017

>>

<<

Mai

>>

Aujourd'hui

LuMaMeJeVeSaDi
1234567
891011121314
15161718192021
22232425262728
2930311234

Annonces

ESANN 2016 : European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning


STATLEARN 2016


ICOR 2016