La théorie des ensembles est à la base de la construction de tout l'immeuble mathématique. Elle est très loin d'être élémentaire : comment définir rigoureusement un ensemble ? Certes, un ensemble est constitué d'une « collection d'objets ». Pour chaque ensemble, il faut alors déterminer de manière précise quels sont les objets qui en font partie, et ceux qui n'en font pas partie. Comment procéder ? La manière la plus simple de définir un ensemble est dite en extension. On se contente de décrire les éléments de l'ensemble comme une collection d'objets. Ainsi, les résultats possibles lors du lancement d'un dé forment un ensemble E, constitué des nombres naturels 1, 2, 3, 4, 5 et 6. On le note E = {1, 2, 3, 4, 5, 6}.
Une autre façon de procéder est de définir les éléments de l'ensemble en compréhension. Il suffit alors de caractériser tous les éléments que l'on veut inclure à l'ensemble en explicitant une ou plusieurs de leurs propriétés communes. Cette façon de faire peut parfois poser problème, même lorsque les propriétés prises en compte semblent claires.
Du vide à l'ensemble des naturels 
L'ensemble le plus facile à définir en extension est l'ensemble ne contenant aucun élément : l'ensemble vide, noté au moyen de la lettre scandinave
L'ensemble vide est un objet : il s'agit d'un ensemble, qui ne contient aucun élément. C'est la structure de la notion d'ensemble qui soutient la réalité de cet objet. Une transposition simple serait de le considérer comme un sac vide : un sac vide constitue bien un objet concret ! Ce seul ensemble permet la construction de l'ensemble de tous les nombres naturels. Pour cela, on établit une identification entre l'ensemble vide et la notion abstraite de zéro :
On considère ensuite l'ensemble comprenant comme seul élément l'ensemble vide. On a, en extension :
On peut alors identifier cet ensemble avec le nombre 1. Nous voilà en présence de deux ensembles distincts et bien définis. On peut ensuite considérer un ensemble contenant deux éléments,
Son cardinal autorise l'identification de ce nouvel ensemble avec le nombre 2. Le troisième ensemble ainsi construit va permettre la définition d'un ensemble comprenant trois éléments, identifiable au nombre 3, et ainsi de suite. Cette construction, reprise ensuite par Bourbaki, est due au mathématicien hongrois naturalisé américain John von Neumann.
Le jeu peut sembler gratuit. Il pourrait faire croire que notre arithmétique ne repose que sur du vide. Il montre en fait explicitement que la théorie des ensembles sous-tend toute construction de nombres, et donc toute cette arithmétique dont l'utilité est incontestable.
Ces ensembles qui se contiennent…
János Lajos Neumann (1903–1957) a apporté des contributions essentielles en analyse fonctionnelle, en analyse et en économie.
L'établissement des fondements et la construction de l'axiomatique de la théorie des ensembles ne se sont pas faits sans mal. Une des questions fondamentales qui titillait les inventeurs était la possibilité d'accepter, ou non, naïvement, toutes les collections, même les plus insolites, sans leur imposer de conditions de cohérence. Se posait entre autres la question des ensembles pouvant se contenir eux-mêmes, c'est-à-dire d'ensembles dont l'un des éléments serait l'ensemble lui-même. Formellement, on peut définir un tel ensemble E en extension en posant E = {un chat, E}. Cette façon d'écrire introduit de manière explicite l'auto-appartenance.
Des définitions en compréhension posent le même problème : considérons l'ensemble comprenant tous les éléments qui ne sont pas des chats. On peut décider facilement, pour tout candidat élément, s'il doit ou non faire partie de l'ensemble. Il semble très clairement défini. Mais lui-même, n'étant pas un chat, doit logiquement en faire partie. De telles collections pathologiques ont-elles le droit d'exister ? Pour passer du langage savant au langage usuel, on peut naïvement remplacer le terme d'ensemble par celui de collection. Se posent alors plusieurs questions fondamentales : à partir de combien d'unités peut-on parler de collection ? À partir de combien de collections peut-on parler de collection de collections ? Et enfin : une collection de collections est-elle une collection ? Les transpositions lexicales du problème sont nombreuses, du catalogue des catalogues au dictionnaire des dictionnaires. Le paradoxe du barbier, introduit par Bertrand Russell, permet de reformuler, dans un langage simple, les contradictions qu'une définition naïve de la notion d'ensemble peut générer.
Peut-on admettre des ensembles se contenant eux-mêmes ? On convient d'accepter en tout cas des ensembles ne se contenant pas. On peut donc construire l'ensemble contenant tous les ensembles ne se contenant pas ! Ce dernier se contient-il ? Il se contient si, et seulement si, il ne se contient pas… Une théorie non paradoxale des ensembles ne peut donc accepter des ensembles se contenant. Toutes les collections, mêmes bien définies en apparence, n'ont pas leur place dans l'univers rigoureux et cohérent des mathématiques. Notre collection de tout ce qui n'est pas un chat fait partie des exclus de la théorie.
Le paradoxe de Russell n'est pas une évidence : Gottlob Frege venait d'achever le grand œuvre de sa vie, les Fondements de l'arithmétique, dans lequel il développait une théorie des ensembles pouvant servir de base à toutes les mathématiques, mais permettant également la formation de l'ensemble de tous les ensembles qui ne s'incluent pas eux-mêmes, lorsqu'il reçut une lettre de Bertrand Russell lui exposant le paradoxe du barbier. Il constata alors avec amertume :
« Un scientifique peut difficilement se trouver confronté à une chose plus regrettable que celle qui sape la base de son travail juste au moment où il se termine. »
Le mathématicien et philosophe Friedrich Ludwig Gottlob Frege (1848–1925).
Lire la suite