Diego Gelmírez pertenecía a la baja nobleza gallega y era hijo de Gelmirio, caballero y entonces gobernador, al servicio del obispo Diego Peláez, de las Torres del Oeste en Catoira, por lo que es posible que naciera en esta localidad, ​ aunque también se ha propuesto Santiago de Compostela, entre los años 1065 y 1070.
Sirvió como notario a los condes de Galicia Raimundo de Borgoña y doña Urraca. Por influjo de éstos fue nombrado obispo de Santiago al quedar la sede vacante en 1100. Se le conocen cuatro hermanos: Munio, Gundesindo, Pedro y Juan; además de otro también llamado Pedro, probablemente fruto de un segundo matrimonio de su padre.
Era un gregoriano convencido, al que su buena relación con la Orden de Cluny y sobre todo su contacto estrecho y constante con Roma y con el rey Alfonso VII, le ayudó a conseguir que la diócesis alcanzara el rango arzobispal en 1120, así como amplios poderes eclesiásticos y civiles, como administrar justicia o (rasgo insólito en la España cristiana, que lo separa de los nobles y lo acerca a los monarcas) acuñar moneda en Santiago.
Como representante del rey, defendió las costas gallegas de los ataques de normandos, además se unió a la proclamación que los más altos aristócratas de Galicia llevaron a cabo el 17 de septiembre del año 1111, fecha en la que Gelmirez con nobles del reino coronan a Alfonso Raimúndez como rey de Galicia en la Catedral de Santiago de Compostela. Este rey será conocido con posterioridad como Alfonso VII, el Emperador.
En la crisis política que se abrió con el reinado de Urraca, la hija y sucesora de Alfonso VI, que se prolongó durante los años 1109 a 1126, se enfrentaron dos grandes grupos. El primer grupo fue el de los nobles y eclesiásticos que apoyaban los intereses imperiales leoneses afectados por el casamiento de Urraca con el rey de Aragón Alfonso el Batallador. El segundo grupo era el de los nobles que se oponían el predominio de la monarquía castellanoleonesa desde los tiempos de Fernando I, los que se agruparon en torno a Alfonso Raimúndez (hijo del primer matrimonio de Urraca con Raimundo de Borgoña) para salvaguardar sus derechos de sucesión sobre Galicia. Gelmírez colaboró activamente con estos últimos. A pesar de este apoyo, Alfonso VII decidió en 1135 recortar el poder de la diócesis de Santiago, y obligar al obispo a pagar impuestos a la corona.
Era una etapa de intensa actividad constructora en Santiago de Compostela, que duró hasta las últimas décadas del siglo XII. La construcción de la nueva basílica concentró los máximos esfuerzos y justifica, por sí misma la caracterización de esta etapa. Obra directamente relacionada con la peregrinación, se inició en el año 1075, según el proyecto aceptado por el obispo Diego Peláez, que exige el establecimiento de un acuerdo -la concordia de Antealtares- con el abad Fagildo por la necesaria remodelación de las existentes edificaciones monásticas que la nueva catedral imponía. Posiblemente como consecuencia de las dificultades surgidas entre el obispo y Alfonso VI, que terminaron en 1088 con la deposición y encarcelamiento de don Diego Pelaez, se interrumpió la nueva construcción. Cinco años más tarde, las obras estaban nuevamente en marcha, impulsadas por el recién nombrado administrador de la diócesis, Diego Gelmírez, apoyado por el nuevo obispo Dalmacio.
A partir de ese momento, se continuaron con regularidad durante las dos primeras décadas del siglo XII, hasta la colocación de la última piedra, que, si atendemos a las indicaciones del Códice Calixtino debió tener lugar en 1122. Diego Gelmírez se nos ofrece como la figura más importante en la tarea de impulsar la actividad constructora en Santiago.
En 1105, el obispo compostelano consiguió de Alfonso VI la escritura sobre la concesión de moneda y con Alfonso VII llegó a un acuerdo beneficioso para ambos. El rey declaró el numerario de Santiago de Compostela de uso general en toda Galicia, y ordenó cerrar las cecas reales de este reino, reservándose a cambio la mitad de los beneficios que pudiese producir la ceca de Gelmírez.
La población rural estaba sometida al «patrociniun» del obispo, es decir, continuaba adscrita a la tierra como si fuese sierva. Sin embargo, en los fueros dados por don Diego Gelmírez en el año 1113, a la diócesis y tierra de Santiago se hace mención expresa de los mercaderes: no se embargarán las cosas de los mercaderes. En 1117, cuando reconcilió a Urraca con su hijo, su poder e influencia alcanzaron el punto máximo, que duró hasta 1124, fecha del afianzamiento de Alfonso VII como rey.
