Cierto, el concepto nació a mediados de la década de 1990, pero en la mente de Dolly, el programa en realidad surgió de una semilla plantada muchos, muchos años antes. Para comprender completamente el nacimiento de la Biblioteca de la Imaginación, primero debemos mirar la vida y la infancia de Robert Lee Parton, el padre de Dolly.

Muchos conocen a Robert Lee como Ricky Schroder en las populares películas de NBC Coat of Many Colors y Christmas of Many Colors: Circle of Love. El verdadero Robert Lee nació en marzo de 1921. Hijo de Walter y Bessie Parton, Robert Lee creció en lo que entonces era una forma típica con el trabajo agrícola siendo una gran parte de su infancia. Para Robert Lee, y para muchos niños criados por agricultores y aparceros, las circunstancias les obligaron a abandonar la escuela y el trabajo para ayudar a alimentar a sus familias. No se veía tanto como una elección, sino un deber.

Desafortunadamente, para el padre de Dolly, esta forma de vida significaba que no tenía la oportunidad de aprender a leer y escribir. Por supuesto, complementó estas habilidades al convertirse en un granjero conocedor, un negociante astuto y un comerciante experto. Pudo haber criado a su familia con medios humildes, pero inculcó una riqueza de amor y conocimiento en cada uno de sus hijos. Sin embargo, cargaría con el peso del analfabetismo durante gran parte de su vida. Eso fue hasta que Dolly hizo su misión de establecer lo equivocado, lo correcto. Dolly dijo,

«Cuando tuve esta idea de hacer la Biblioteca de Imaginación, quise involucrar a papá en ella. Quería que me ayudara con eso para que pudiera enorgullecerse de eso y así lo hizo. Tuvo que vivir lo suficiente para oír a los niños llamarme la Dama de los libros.»