On dit qu'un sous-groupe H d'un sous-groupe G est un sous-groupe caractéristique^[1] de G si H est invariant par tout automorphisme de G, c'est-à-dire si pour tout automorphisme ${\displaystyle \sigma }$ de G, ${\displaystyle \sigma }$(H) = H.

Soient G₁ et G₂ deux groupes isomorphes, ${\displaystyle \varphi }$ un isomorphisme de G₁ sur G₂. Un sous-groupe H de G₁ est sous-groupe caractéristique de G₁ si et seulement si ${\displaystyle \varphi }$(H) est sous-groupe caractéristique de G₂.

Supposons H caractéristique dans G₁ et prouvons que ${\displaystyle \varphi }$(H) est caractéristique dans G₂. Soit ${\displaystyle \sigma }$ un automorphisme de G₂. Il s'agit de prouver que ${\displaystyle \sigma (\varphi (H))=\varphi (H)}$. Cela s'écrit encore ${\displaystyle \varphi ^{-1}\sigma \varphi (H)=H}$, ce qui est bien vrai puisque ${\displaystyle \varphi ^{-1}\sigma \varphi }$ est un automorphisme de G₁ et que H est supposé caractéristique dans G₁. Nous avons donc bien prouvé que si H est caractéristique dans G₁, alors ${\displaystyle \varphi }$(H) est caractéristique dans G₂. Pour démontrer l'implication réciproque, on peut par exemple appliquer ce qui précède à l'isomorphisme ${\displaystyle \varphi ^{-1}}$.

Soit G un groupe.

• Les sous-groupes 1 et G sont évidemment des sous-groupes caractéristiques de G.
• Si un sous-groupe de G est seul de son ordre parmi les sous-groupes de G, c’est un sous-groupe caractéristique de G. (Noter que les automorphismes de G conservent l’ordre d'un sous-groupe.)
• Si un sous-groupe de G est seul de son indice (dans G) parmi les sous-groupes de G, c’est un sous-groupe caractéristique de G. (Noter que les automorphismes de G conservent l'indice d'un sous-groupe.)
• Si G est fini, si un sous-groupe de Sylow de G est distingué dans G, ce sous-groupe est caractéristique dans G. (On sait que tous les sous-groupes de Sylow d'un ordre donné de G sont conjugués, donc un sous-groupe de Sylow de G qui est distingué dans G est seul de son ordre parmi les sous-groupes de G.)
• Si G est monogène, tout sous-groupe de G est sous-groupe caractéristique de G. (Si G est fini, on a vu que tout sous-groupe de G est seul de son ordre parmi les sous-groupes de G. Si G est infini, le théorème ci-dessus permet de se ramener au cas où G = Z. On a vu que tout sous-groupe de Z est de la forme ${\displaystyle n}$Z, où n est un nombre naturel. Si n > 0, ${\displaystyle n}$Z est d'indice n dans Z et si n = 0, ${\displaystyle n}$Z est d'indice infini dans Z. Il en résulte que chaque sous-groupe de Z est seul de son indice parmi les sous-groupes de Z. On pourrait aussi noter que les seuls automorphismes de Z sont l'identité et le passage à l'opposé.)
• Si H est un sous-groupe de G stable pour tout endomorphisme de G, c'est-à-dire tel que ${\displaystyle f(H)\subseteq H}$ pour tout endomorphisme f de G (un tel sous-groupe est parfois appelé pleinement invariant), H est a fortiori stable pour tout automorphisme de G, donc est un sous-groupe caractéristique de G.
• Soit n un nombre naturel. Le sous-groupe de G engendré par les n-ièmes puissances d'éléments de G (c'est-à-dire par les éléments de la forme xⁿ, où x parcourt G) est caractéristique dans G. (En effet, il est clair que ce sous-groupe est stable par tout endomorphisme de G.) Cela fournit une nouvelle preuve de ce que ${\displaystyle n}$Z est sous-groupe caractéristique de Z.
• Soit n un nombre naturel. Le sous-groupe de G engendré par les racines n-ièmes de 1 (c'est-à-dire par les éléments x de G tels que xⁿ = 1) est caractéristique dans G. (En effet, il est clair que ce sous-groupe est stable par tout endomorphisme de G.) Cela fournit une nouvelle preuve de ce que tout sous-groupe d'un groupe fini cyclique est caractéristique.
• Soit H un groupe; désignons par G le produit direct ${\displaystyle H\times H}$ de H par lui-même. Comme on l'a vu dans le chapitre Produit direct et somme restreinte, les « facteurs » ${\displaystyle H\times \{1\}}$ et ${\displaystyle \{1\}\times H}$ sont des sous-groupes distingués de G. D'autre part, ils sont images l'un de l'autre par l'automorphisme ${\displaystyle (x,y)\mapsto (y,x)}$ de G et, si H n’est pas trivial, ils sont distincts. Cela montre qu'un sous-groupe distingué n’est pas forcément caractéristique.

Le centre d'un groupe G est un sous-groupe caractéristique de G.

Prouvons que si ${\displaystyle \alpha }$ est un endomorphisme surjectif de G, alors ${\displaystyle \alpha (Z(G))\subseteq Z(G)}$. Soit c un élément de Z(G); il s'agit de prouver que ${\displaystyle \alpha (c)\in Z(G)}$. Puisque c appartient au centre de G, nous avons cx = xc pour tout élément x de G, d'où ${\displaystyle \alpha (c)\alpha (x)=\alpha (x)\alpha (c)}$ pour tout élément x de G. Puisque ${\displaystyle \alpha }$ est supposé surjectif, tout élément de G est de la forme ${\displaystyle \alpha (x)}$ pour un certain élément x de G, donc la relation obtenue montre que ${\displaystyle \alpha (c)}$ appartient au centre de G, comme annoncé. Nous avons donc bien prouvé que si ${\displaystyle \alpha }$ est un endomorphisme surjectif de G, alors ${\displaystyle \alpha (Z(G))\subseteq Z(G)}$. C'est vrai a fortiori si ${\displaystyle \alpha }$ est un automorphisme de G, donc Z(G) est caractéristique dans G.

Soient G un groupe et H un sous-groupe caractéristique de G. Tout sous-groupe caractéristique de H est caractéristique dans G.

Soient K un sous-groupe caractéristique de H et ${\displaystyle \sigma }$ un automorphisme de G. Il s'agit de prouver que ${\displaystyle \sigma }$(K) = K. Puisque H est caractéristique dans G, ${\displaystyle \sigma }$ induit un automorphisme ${\displaystyle \sigma _{H}:x\mapsto \sigma (x)}$ de H. Puisque K est caractéristique dans H, nous avons ${\displaystyle \sigma _{H}(K)=K}$, autrement dit ${\displaystyle \sigma (K)=K}$, comme annoncé.

Soient G un groupe et H un sous-groupe distingué de G. Tout sous-groupe caractéristique de H est distingué dans G.

Soient K un sous-groupe caractéristique de H et g un élément de G. Il s'agit de prouver que gKg^-1 = K. Puisque H est distingué dans G, l'automorphisme intérieur ${\displaystyle x\mapsto gxg^{-1}}$ de G induit un automorphisme (non forcément intérieur) ${\displaystyle x\mapsto gxg^{-1}}$ de H. Puisque K est caractéristique dans H, K est invariant par cet automorphisme de H, autrement dit gKg^-1 = K, comme annoncé.