La historia del conservatorio se remonta a 1928, cuando el Ayuntamiento de Vitoria funda el Conservatorio Municipal de Música, ubicado en el Casco Viejo. Es en el año de 1935 cuando se recibe de la dirección general de Bellas Artes la oficialidad de las enseñanzas elementales del Conservatorio. Pero ha sido en el transcurso de los últimos años cuando se han producido las grandes transformaciones.

En 1980 el Consorcio del Conservatorio de Música, con un criterio definido de los pasos que debía desarrollar para la creación de un Centro de Enseñanza Musical, con valía y capacidad, sitúa al frente del mismo a una personalidad perfectamente identificada con este espíritu: Carmelo A. Bernaola. De acuerdo con sus indicaciones, el Consorcio inicia los trámites para la construcción de un nuevo edificio, finalizándose la construcción en 1984. Otro acontecimiento clave fue la concesión del Grado Superior en 1990. En 1996 cambia su denominación de "Escuela Superior de Música" por "Conservatorio Superior de Música".

El resultado del trabajo desarrollado en el Conservatorio, bajo el impulso de los últimos años, se está viendo reconocido a través de la participación constante de profesores y alumnos en la vida musical española.