山东行政学院是山东省政府为适应全省建立公务员制度的需要，于1992年12月1日在山东省经济管理干部学院的基础上扩建的。山东省经济管理干部学院的前身是建于1980年4月的山东省工业干部学校。1983年10月，改建为山东省工业管理干部学院。1986年6月，更名为山东省经济管理干部学院。山东行政学院建立以后，与经济管理干部学院实行一个机构，挂两块牌子。自此，学院成为一所既承担高、中级国家公务员和经济管理干部培训任务，又培养经济、行政等本专科学历人才的综合性高等干部院校。
学院受到中共山东省委、省政府的高度重视。省政府常务副省长兼任行政学院院长，并成立了由省委组织部、省人事厅、省教育厅、省经贸委、省发改委、省财政厅、省国资委等多家省直部门领导组成的院务委员会，定期研究解决学院发展建设中的一些重大问题，为学院的发展提供了强大支持。
在院党委的领导下，学院正在朝着“建设成为一所具有鲜明地方特色的集全日制本专科学历教育、公务员培训、经济管理培训于一身，三足鼎立、三位一体、协调发展的高水平综合性管理学院”的目标迈进。
2013年12月15日，山东省人民政府第21次常务会议做出重要决定，山东警察学院与山东行政学院（山东省经济管理干部学院）进行资源整合，山东省经济管理干部学院相关资源、人员、资产整体划入山东警察学院。