Analyse canonique à noyaux

L'analyse canonique à noyaux, parfois aussi nommé analyse à noyaux des corrélations canoniques, (kernel canonical correlation analysis^{[i 1]} en anglais, d'où KCCA) étend l'analyse canonique ordinaire grâce à l'astuce du noyau.

Supposons que nous avons X et Y deux matrices, celle ci vont être transformé dans deux espaces de Hilbert, ${\displaystyle \phi _{x}(X)\in H_{x}}$ et ${\displaystyle \phi _{y}(X)\in H_{y}}$. Le but est alors de trouver le a et le b tel que, si ${\displaystyle U=(a|\phi _{x}(X))}$ et ${\displaystyle V=(b|\phi _{y}(Y))}$, la corrélation sera maximale entre U et V.

Nous pouvons l'écrire de la manière suivante ^{[i 2]}:

${\displaystyle a=\sum _{i=1}^{n}\alpha _{i}\phi _{x}\left(x_{i}\right)\quad b=\sum _{i=1}^{n}\beta _{i}\phi _{y}\left(y_{i}\right)}$

${\displaystyle U=\sum _{i=1}^{n}\alpha _{i}\left(\phi _{x}\left(x_{i}\right)|\phi _{x}\left(X\right)\right)\quad V=\sum _{i=1}^{n}\beta _{i}\left(\phi _{y}\left(y_{i}\right)|\phi _{y}\left(Y\right)\right).}$

Par le théorème de Mercer, les produits scalaires ${\displaystyle \left(\phi _{x}\left(x_{i}\right)|\phi _{x}\left(X\right)\right)}$ et ${\displaystyle \left(\phi _{y}\left(y_{i}\right)|\phi _{y}\left(Y\right)\right)}$ peuvent être remplacé par des noyaux ${\displaystyle \left(K_{x}\right)_{ij}=K_{h_{x}}\left(x_{i},x_{j}\right)}$ et ${\displaystyle \left(K_{y}\right)_{ij}=K_{h_{y}}\left(y_{i},y_{j}\right)}$.

On peut alors calculer ${\displaystyle \alpha =\left(\alpha _{1},\cdots ,\alpha _{n}\right)^{T}}$ et ${\displaystyle \beta =\left(\beta _{1},\cdots ,\beta _{n}\right)^{T}}$ comme les solutions du problème aux valeurs propres généralisé suivant^{[i 3]} :

${\displaystyle {\begin{pmatrix}0&K_{x}K_{y}\\K_{y}K_{x}&0\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=\lambda {\begin{pmatrix}K_{x}K_{x}&0\\0&K_{y}K_{y}\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}.}$

Elle peut être vue comme la composition de deux analyses en composantes principales à noyaux avec une analyse d'une analyse canonique des corrélations classique.