En 1872 sont données deux définitions des réels encore utilisées aujourd'hui : par les suites de Cauchy et par les coupures de Dedekind. Avant cela, les mathématiciens parlent de « grandeur » et donnent des définitions au cas par cas : on définit des irrationnels algébriques (comme les racines carrés ou n-èmes), on cherche la meilleure définition de π… Mais il n'existe pas de définition générale précise des irrationnels. Il est alors difficile de savoir ce que l'on manipule exactement. Peut-on ordonner ces grandeurs ? Peut-on les ajouter, les soustraire, les multiplier ? Mais alors, comment définir l'ordre, les opérations ?

Pourquoi est-ce un problème ? Parce qu'alors certains théorèmes de l'analyse (notamment sur la convergence des suites) reposent sur un fondement douteux : vers quoi tend une suite de rationnels lorsque sa limite elle-même n'est pas rationnelle ?

En campagne pour plus de rigueur

Charles Méray (1835-1911; en vignette ci-dessus), mathématicien français qui a fait l'essentiel de sa carrière à l'université de Dijon, est le premier à proposer une définition des irrationnels. Pour lui, le manque de rigueur en analyse est critique. Il ne mâche pas ses mots : « [L'analyse] m'a paru pitoyable par son décousu, ses procédés, son manque absolu de rigueur et mes principaux efforts ont tendu à la rendre naturelle, claire et rigoureuse. » Il reproche à cette discipline de reposer sur des principes « précaires » et des raisonnements douteux utilisant trop la notion de continuité. D'après lui, « cette méthode a été féconde en pétitions de principes, en paralogismes, en considérations rebutantes, en erreurs même ». Ce n'est que grâce aux « applications particulières » que les mathématiciens sont parvenus à éliminer les erreurs. Méray préconise de se baser plutôt sur des calculs.

Dans Remarques sur la nature des quantités définies par la condition de servir de limites à des variables données, en 1869, Méray définit les grandeurs irrationnelles comme des « limites fictives » de suites de nombres. Son approche est similaire à celle de Cantor (voir plus loin). Son travail n'a que peu d'échos. Ses contemporains le considèrent trop subtil pour un sujet aussi élémentaire… et il leur semble inutile de rompre les habitudes des étudiants (et des professeurs). Ce à quoi Méray répond : « Il est vrai que, mes élèves et moi, nous sommes un peu gênés au début, par la nécessité de “rompre brusquement” avec les “habitudes” de l'enseignement secondaire, mais ce n'est pas ma faute si elles sont mauvaises au point de rendre une rupture nécessaire. »

Georg Cantor définit les irrationnels pour la première fois dans le cadre de ses recherches sur les séries trigonométriques, en 1872, dans son mémoire Sur l'extension d'un théorème de la théorie des séries trigonométriques. Les nombres irrationnels (que Cantor appelle des « grandeurs ») sont conçus comme une extension des rationnels. Ces derniers sont supposés connus et bien fondés et, à partir d'eux, sont définies de nouvelles « grandeurs numériques » formant un domaine plus large (c'est-à-dire l'ensemble des réels). Pour cela, Cantor considère des suites de nombres rationnels a_n telles que, pour tout entier m positif, pour tout  positif (rationnel), quand n tend vers l'infini, on ait : |a_n+m – a_n| < . C'est ce que l'on appelle une suite de Cauchy. Cantor écrit alors : « J'exprime cette propriété de la suite [(a_n)] : la suite [(a_n)] a une limite déterminée b. » Mais il ne faut pas oublier que les nombres irrationnels n'ont pas encore été définis… Rien ne garantit leur existence !

Grandeurs irrationnelles et suites de Cauchy

Lorsque l'on définit les nombres réels comme limites de suites, on prend le risque d'un cercle vicieux, c'est-à-dire de présupposer l'existence des nombres réels dont on veut prouver l'existence. Pour éviter cela, Cantor adopte un traitement formel en désignant la limite comme un signe défini par la suite : « Ces mots [limite déterminée b] n'ont donc, tout d'abord, d'autre sens que celui d'exprimer cette propriété de la suite et du fait que nous relions à la suite (a_n) un signe particulier b. » Les grandeurs b sont considérées « à côté » des nombres rationnels et leurs propriétés sont telles qu'alors on peut « déduire avec une évidence logique la conclusion : lim a_n existe et est égale à b. »

Le traitement « formel » de Cantor consiste à montrer que l'on peut ordonner les grandeurs b, et les comparer aux rationnels. Par exemple, pour b limite de (a_n) et b' limite de (a'_n), pour tout > 0, pour tout entier naturel n, |a_n – a'_n| > signifie b > b'. Ou encore : pour tout > 0, pour tout entier naturel n, |a_n – a| < signifie que b = a. On voit ainsi que tout nombre rationnel est aussi défini par une suite de Cauchy. Il est également possible d'étendre les opérations élémentaires des rationnels aux grandeurs b, ce qui est crucial pour leur donner une légitimité en tant qu'entités numériques. Cette définition est à nouveau faite avec les termes généraux des suites dont les b sont limites. Par exemple, b + b' = b'' signifie que la limite de (a_n + a'_n – a''_n) est 0 (avec b'' la limite de (a''_n)).

Le nouveau domaine formé par les nombres rationnels et les grandeurs b (qui est donc ) est complet, c'est-à-dire que toute suite de Cauchy y admet une limite. Autrement dit, il n'y a pas de « trou » dans le domaine : il est continu.

Cantor termine sa théorie par une analogie avec la droite. Cela lui permet de donner une certaine « matérialité » aux grandeurs b qu'il n'a définies que formellement. Pour cela, il établit d'abord une correspondance entre les points de la droite et les grandeurs b en utilisant des distances : à tout point correspond une grandeur numérique donnée par la distance (nombre ou limite) entre 0 et le point. La correspondance réciproque (à toute grandeur numérique correspond un point) est admise comme un axiome.

Coupures et création des irrationnels

Toujours en 1872, Richard Dedekind publie Continuité et Nombres irrationnels, où il explique vouloir trouver un fondement aussi rigoureux que possible au continu linéaire. C'est en enseignant le calcul différentiel en 1858, à l'École polytechnique de Zurich, que Dedekind a pris conscience, dit-il, de la nécessité de donner une fondation rigoureuse à l'analyse, en particulier pour le théorème qui énonce que toute suite monotone bornée admet une limite. À nouveau, c'est le problème de la définition de la limite, si elle n'est pas rationnelle, qui se pose.

Dedekind pense que les évidences ou intuitions géométriques sont utiles pour enseigner, mais ne peuvent pas servir de fondement pour le calcul différentiel et autres outils de l'analyse. Pour lui, seule une définition « arithmétique » peut être satisfaisante. Il veut une définition qui part de l'ensemble des nombres rationnels et n'utilise pas d'outils de géométrie, d'analyse ou d'algèbre.

Dedekind se sert de l'analogie entre les réels et la droite de manière heuristique. Si l'on considère les directions gauche et droite sur la droite et deux points distincts p et q, alors soit p est à droite de q (et q à gauche de p), soit q est à droite de p (et p à gauche de q). Il n'y a pas d'autre possibilité si p et q sont bien différents. Il se passe la même chose pour les rationnels, que l'on peut toujours ordonner en p < q ou q < p. Il existe des points sur la droite ne correspondant à aucun rationnel. Comment peut-on alors « suivre arithmétiquement tous les phénomènes de la droite » ?

Dedekind définit la notion de coupure, notée (A₁, A₂). C'est une partition du domaine de nombres en deux morceaux A₁ et A₂ telle que tout nombre de A₁ est plus petit que tout nombre de A₂. Tout nombre rationnel engendre une coupure, mais il existe une infinité de coupures qui ne sont engendrées par aucun nombre rationnel. Il y a donc des « trous », qu'il faut combler ! Dedekind propose de créer de nouveaux nombres, les nombres irrationnels, qui sont totalement définis par la coupure. On obtient alors un domaine continu, sans « trou ».

Il définit ensuite l'ordre et les opérations pour ces nouveaux nombres en utilisant seulement les coupures. Par exemple, pour l'addition de deux nombres a et b correspondant respectivement aux coupures (A₁, A₂) et (B₁, B₂), il faut construire une nouvelle coupure (C₁, C₂) engendrée par a + b selon le principe suivant : un nombre c est mis dans C₁ s'il existe a₁ dans A₁ et b₁ dans B₁ tels que a₁ + b₁ ≥ c. Alors c ≤ a₁ + b₁ ≤ a + b. On voit que pour c₂ dans C₂, c₂ ≥ a + b. Donc (C₁, C₂) est bien engendrée par a + b.