Adso de Melk raconte comment, en 1327, en tant que jeune novice franciscain (un bénédictin dans le roman), lui et son mentor, le frère franciscain Guillaume de Baskerville, se sont rendus dans une abbaye bénédictine du nord de l’Italie où les Franciscains devaient débattre avec des émissaires papaux de la pauvreté du Christ. L’abbaye possède un célèbre scriptorium où les scribes copient, traduisent ou illuminent des livres. Le moine Adelmo d’Otrante – un jeune mais célèbre enlumineur de manuscrits – a été retrouvé mort sur une colline en contrebas d’une tour avec seulement une fenêtre qui ne peut être ouverte. L’abbé demande de l’aide à Guillaume, réputé pour ses pouvoirs déductifs. William est attiré à contrecœur par le défi intellectuel et son désir de réfuter les craintes d’un coupable démoniaque. William craint également que l’abbé convoque des fonctionnaires de l’Inquisition si le mystère reste non résolu.

William en déduit rapidement qu’Adelmo s’est suicidé, après avoir sauté d’une tour voisine avec une fenêtre, et que la pente de la colline a fait rouler le corps sous l’autre tour. La solution de William apaise brièvement les craintes des moines, jusqu’à ce qu’un autre moine soit retrouvé mort, flottant de façon inquiétante dans une cuve de sang de porc. La victime est Venantius, un traducteur de grec et le dernier homme à parler avec Adelmo. Le cadavre porte des taches noires sur un doigt et la langue. La mort du traducteur ravive les craintes des moines d’un coupable surnaturel, craintes renforcées lorsque le saint frère fransciscain Ubertino de Casale avertit que les morts ressemblent à des signes mentionnés dans le Livre de l’Apocalypse. Dans le scriptorium, William inspecte le bureau d’Adelmo, mais est bloqué par frère Berengar, l’assistant bibliothécaire. Frère Malachia, le bibliothécaire en chef, refuse à William l’accès au reste du bâtiment.

William rencontre Salvatore, un bossu dément, et son protecteur, Remigio da Varagine, le cellier. William en déduit que les deux étaient des Dulcinites, membres d’une secte hérétique et militante qui croit que le clergé devrait être appauvri. Guillaume ne les soupçonne pas de meurtre cependant parce que les Dulcinites ciblent les évêques riches, pas les moines pauvres. Néanmoins, le passé de Remigio donne à Guillaume un levier pour apprendre les secrets de l’abbaye. Salvatore dit à Guillaume qu’Adelmo avait croisé Venantius la nuit de la mort d’Adelmo. Pendant ce temps, Adso rencontre une belle paysanne semi-sauvage qui s’est faufilée dans l’abbaye pour échanger des faveurs sexuelles contre de la nourriture, et est séduite par elle.

De retour cette nuit-là au bureau de Venantius, William trouve un livre en grec, et un parchemin avec une écriture grecque, des taches d’une couleur mélangée par Adelmo pour éclairer des livres, et des symboles cryptiques écrits par un gaucher à l’encre invisible. Berengar se faufile dans le scriptorium sombre, distrait William et vole le livre.

Berengar est plus tard retrouvée noyée dans un bain et portant des taches similaires à celles de Venantius. William raconte ses conclusions selon lesquelles la mort d’Adelmo était bien un suicide, en raison de la soumission aux demandes de faveurs homosexuelles de Berengar. Venantius a reçu un parchemin d’Adelmo avant la mort d’Adelmo, et Bérengar est le seul gaucher de l’abbaye. William théorise que le traducteur a transcrit les notes grecques sur le parchemin d’un livre, et que le livre est en quelque sorte responsable des morts. L’abbé n’est pas convaincu et, brûlant le parchemin, il informe Guillaume que l’Inquisition — en la personne de Bernardo Gui, un vieil adversaire de Guillaume de son ancien temps d’inquisiteur – a déjà été convoquée.

Déterminés à résoudre le mystère avant l’arrivée de Gui, William et Adso découvrent une vaste bibliothèque cachée au-dessus du scriptorium. William soupçonne que l’abbaye a caché les livres car une grande partie de leur contenu provient de philosophes païens. Gui trouve Salvatore et la paysanne qui se battent pour un coq noir en présence d’un chat noir. Pour Gui, c’est une preuve irréfutable de sorcellerie, et il torture Salvatore dans une fausse confession. Alors que les frères franciscains de Guillaume et les délégués pontificaux arrivent, le débat commence. L’herboriste de l’abbaye, après avoir dit à William qu’il avait trouvé un livre écrit en grec dans son dispensaire, est assassiné par ce qui se révèle être Malachia. Ce dernier incite Remigio à tenter de s’échapper, ce qui lui vaut d’être arrêté par les gardes de Gui et accusé des meurtres.

Remigio, Salvatore et la jeune fille sont traduits devant un tribunal. Se souvenant de Guillaume, Gui le choisit pour rejoindre l’abbé en tant que juge du tribunal. Au procès, Remigio admet fièrement son passé Dulcinite et, sous les menaces de torture de Gui, avoue également faussement les meurtres. William souligne que les meurtres sont liés au livre grec, que Remigio ne pouvait pas lire, et prévient que l’exécution de Remigio ne mettra pas fin aux meurtres. Gui s’arrange pour que les prisonniers soient brûlés sur le bûcher, tandis que Guillaume sera emmené à Avignon. Les délégués pontificaux condamnent les Franciscains pour l’obstination de Guillaume et mettent fin au débat.

Alors que les moines se préparent à brûler les prisonniers de Gui, Malachia est retrouvée mourante, avec des taches noires sur la langue et le doigt. Bien que la mort de Malachia justifie l’avertissement de William, Gui le prend comme preuve que William est le meurtrier et ordonne son arrestation. Fuyant les gardes de Gui, William et Adso rentrent dans la bibliothèque secrète et se retrouvent face à face avec le vénérable aveugle Jorge, le plus ancien habitant de l’abbaye. Après avoir décodé les lignes sur le parchemin du traducteur, William demande à Jorge de retourner le livre que les morts avaient lu: Le Deuxième livre de Poétique sur la Comédie d’Aristote. Jorge déteste le rire, pensant que cela mine la foi en Dieu, et un livre sur le rire écrit par Arisotle ne fera que faire rire les sages et saper la foi parmi ceux qui apprennent. Pour éviter cela, Jorge a tué ceux qui avaient lu le livre en empoisonnant ses pages. Jorge donne le livre à William, pensant que lui aussi subira le poison. Lorsque William révèle qu’il porte des gants, Jorge s’empare du livre, puis déclenche un incendie qui engloutit rapidement la bibliothèque. William reste derrière, essayant de sauver certains livres et encourageant Adso à partir. Jorge se tue en consommant les pages empoisonnées.

Voyant le feu, les moines abandonnent les prisonniers, permettant aux paysans locaux de sauver la jeune fille, bien que Salvatore et Remigio meurent. Adso poursuit Gui, qui parvient à lui échapper, mais les paysans poussent son chariot d’une falaise, l’empalant. Alors que William et Adso partent, Adso rencontre la fille, s’arrête quelques secondes, mais choisit finalement d’aller avec William. L’Adso, beaucoup plus âgé, déclare qu’il n’a jamais regretté sa décision car il a appris beaucoup plus de choses de William avant que leurs chemins ne se séparent. Il dit aussi que la fille était le seul amour terrestre de sa vie, mais il n’a jamais appris son nom.