神圣罗马帝国其实是借用了罗马帝国的威名。实际上和古罗马没啥关系。神罗是日耳曼人的帝国，和今天的德国、奥地利都有直接联系。
公元486年，日耳曼民族的法兰克人在被西哥特人摧毁的西罗马帝国的废墟上建立了法兰克王国。公元800年，法兰克国王查理曼(加洛林王朝)在罗马被教宗利奥三世加冕为“罗马人的皇帝”，西罗马帝国以帝位转移给法兰克王国的形式复辟，这便是日后神圣罗马帝国的法理基石。
四十年后，查理曼的儿子路易一世去世，他的三个儿子签订《凡尔登条约》，将整个王国一分为三，后来又经过斗争，变成东、西两个法兰克王国。“罗马皇帝”这个头衔和帝国皇冠也由东、西法兰克两国轮流持有。
约公元900年，东法兰克的地方势力崛起，形成了以五大德意志部落为母体的公国：法兰克尼亚、萨克森、图林根、土瓦本和巴伐利亚。
911年，加洛林王朝的国王“童子”路易去世，但东法兰克贵族不再承认西法兰克的加洛林家族成员作为继承人（西法兰克加洛林王朝延续到987年），而是选定法兰克尼亚公爵康拉德为王。自此，东法兰克（德意志）与西法兰克分道扬镳、渐行渐远。康拉德被认为是第一个由德意志各公国选举出来的东法兰克王国国王。
919年萨克森公爵亨利一世（919～936在位）被选为东法兰克国王。
10世纪中叶萨克森王朝国王奥托一世力图利用教会势力抑制大封建主，加强王权。
961年罗马内部发生冲突，奥托应一派之请带领大批人马侵入意大利，占领意大利大部分地区。962年2月，在罗马由教皇加冕称帝，称“奥古斯都”，成为罗马教皇的监护人和罗马天主教世界的最高统治者，取得了在中欧和西欧的霸权。972年，其子奥托二世（973～983在位）同拜占庭公主西奥法诺结婚，拜占庭皇帝正式承认萨克森王朝的皇权。
1154年，德皇腓特烈一世攻陷罗马，帮助教皇镇压罗马共和国。教皇感恩，为腓特烈加冕，称“神圣罗马帝国”皇帝，正式在罗马帝国名称之前冠以“神圣”二字。
神圣罗马帝国的疆土以德国和意大利的中、北部为主，有时包括瑞士、尼德兰、捷克和法国的勃艮第、普罗旺斯。
神罗是以封建制为基础，进而统合成的松散国度，神罗统治的核心区域，就是泛德意志地区，哪里充斥的都是德意志民族。因为封建制顽疾难以根除，神圣罗马帝国皇帝，长期以选帝侯形式传承，在选帝侯家族中轮流转。
如此帝国，集权对于他们而言，就是个伪命题。
1282年，哈布斯堡家族开始统治奥地利，并且在其后的两百年里面吞并了周围的斯提里亚、蒂罗尔等小国，使得国土面积增加三倍，成为了中欧首屈一指的大邦国，并被推举为了神圣罗马帝国的皇帝。
在选帝侯轮转几百年后，崛起的哈布斯堡家族终于可以相对持续的把持神圣罗马帝国皇帝位置，进而组建了欧洲史上著名的哈布斯堡王朝。
这个王朝极盛时期，西班牙、法国、德意志区、意大利曾经都有他们的领土，很长时间都是欧洲最强国。