La couleur de l’œil, plus précisément de l’iris, est souvent citée, à tort, comme un exemple d’hérédité mendélienne simple chez l’homme. Or, l’explication génétique en est plus complexe.
La couleur de l’oeil dépend principalement du stroma de l'iris, qui est un tissu conjonctif lâche composé principalement de mélanocytes entourés de fibres de collagène. Comme dans la peau et les poils, les mélanocytes sont les cellules qui synthétisent une famille de pigments appelés mélanine. Il y a deux catégories de mélanine: l’eumélanine qui varie du brun au noir et la phéomélanine jaune-orange (les cheveux roux contiennent presque exclusivement de la phéomélanine). La quantité de phéomélanine étant relativement faible et constante, la couleur de l’iris dépend principalement de la quantité d’eumélanine dans les mélanocytes du stroma. Lorsque les mélanocytes contiennent beaucoup d’eumélanine, presque toute la lumière incidente est absorbée et la couleur est brune foncée à noire. Lorsque la lumière traverse des couches contenant peu de mélanine, les fibres de collagène réfléchissent préférentiellement les petites longueurs d’ondes (surtout le bleu) vers la surface et l’iris sera bleu. La quantité de mélanine n’explique probablement pas toutes les variations de bleu ou de vert car des facteurs tels que l’épaisseur de l’iris ou la densité des fibres blanches de collagène semblent avoir une certaine importance.
On peut maintenant essayer de décrire la base génétique des différences de coloration. Une difficulté importante réside dans la description de la couleur. Les catégories fréquemment utilisées, bleu, gris-bleu, vert, noisette, brun clair, brun foncé, noir, sont arbitraires: il y a en fait une gamme continue de couleur, du bleu le plus clair au noir. Une autre complication pas du tout comprise est le fait que la coloration de l’iris n’est pas uniforme. Il y a souvent un anneau autour de la pupille de couleur brune, différente du reste de l’iris. Particulièrement dans les yeux clairs, on voit souvent des lignes radiales ou des petits points blanchâtres qui sont dus à des zones fortement concentrées en fibres de collagène. Pour l’analyse génétique il faut souvent faire des regroupements simples; par exemple bleu, vert-noisette et brun; ou alors brun par rapport à non-brun, vert par rapport à non-vert, etc.
Une deuxième difficulté tient au fait qu’il n’y a pas qu’un seul gène impliqué. Les différentes formes (allèles) d’un des gènes n’expliquent qu’une partie de la variation de coloration. De plus, certains allèles de différents gènes présentent des interactions. Dans certains cas leurs effets peuvent s’annuler partiellement, alors que, dans d’autres situations, les effets sont synergiques (l’effet des deux allèles ensemble est plus fort que celui que l’on prédirait par addition des effets produits par les allèles séparément).
Dans l’état actuel des connaissances, on peut faire les simplifications suivantes.
a) Le gène le plus important est OCA2 situé sur le chromosome humain 15. La perte complète d’activité de ce gène (à cause d’une mutation) conduit à une forme d’albinisme. Dans le cas des variations de coloration de l’iris, les allèles causent des modifications soit dans le taux d’expression du gène, soit dans la séquence de la protéine, ce qui altère probablement partiellement l’activité biochimique de cette protéine. Il y a une bonne corrélation entre le taux d’expression d’OCA2 et la quantité de mélanine.
b) Plusieurs autres gènes sont impliqués de manière plus ou moins forte dans certaines des couleurs: SLC24A4, SLC24A5, TYR, TYRP1, SLC45A2, IRF4 et d’autres avec des effets moindres.
En résumé, on ne comprend pas encore de manière satisfaisante et détaillée la base génétique de l’ensemble des variations de la coloration de l’iris (ni d’ailleurs de la peau ou des poils qui implique des mécanismes partiellement communs). Sur la base de la séquence de quelques gènes, il est toutefois possible de prédire avec une bonne fiabilité les grandes catégories bleu, vert et brun.