En el modelo jerárquico sólo se pueden modelar relaciones 1:N, aunque esto se podía arreglar mediante el uso de los llamados "vínculos virtuales" que posibilitan las relaciones N:M. Para conocer mejor este modelo conviene revisar el sistema IMS y su lenguaje DL/1.
Al igual que con el modelo de red, el principal problema de los sistemas de bases de datos jerárquicos es el de la poca independencia de los programas respecto a cómo están almacenados los datos, lo que dificulta además la programación de software de acceso a estos sistemas.
La implementación del modelo Jerárquico en los productos se lleva a cabo en base a punteros; estructura física que varía según los productos, e incluso un mismo producto proporciona distintas organizaciones físicas a fin de que el usuario pueda conseguir una mayor eficiencia en el diseño físico de la base de datos.
El producto comercial de tipo Jerárquico más extendido y el único que ha llegado hasta nuestros días es el IMS de IBM con su lenguaje de datos DL/I2. Otro sistema Jerárquico, el System 2000 también tuvo una alta aceptación comercial y fue adquirido posteriormente por el Instituto SAS.