密山是满族祖先肃慎人的发祥地，早在6800多年前的新石器时代就有人类在此繁衍生息。1885年清政府设治放荒，1899年设立蜂蜜山招垦局，1908年设密山府，1912年废府立县，1939年日伪在密山设立东安省，1941年设东安市。1946年6月22日三五九旅解放密山，建立人民政权，设立东安地委、东安市政府密山县委和县政府。1988年经国务院批准撤县建市，1992年划归鸡西市管辖至今。
    密山是著名的红色之城，是抗联烽火的燎原地，是北大荒精神发祥地。1936年3月，东北抗日联军第四军在密山成立。上世纪九十年代，国家确认的黑龙江省首批22位抗联高级将领中，密山就有7位。1946年6月，三五九旅解放密山，密山成为解放战争和抗美援朝时期最稳固的后方基地。1958年春，因开发南泥湾而闻名的王震将军率十万官兵挺进北大荒，在密山亲手点燃了第一把拓荒之火，掀开了中国垦荒史上最壮丽的篇章，并在密山创办了全国第一所农垦大学——八一农垦大学。曾在密山战斗过的将军、副部长级以上干部70余人。
    密山是新中国航空事业、人民解放军装甲兵、发射药制造业和电器制造业的摇篮。东北民主联军航空学校在密山度过了艰难的三年零四个月，成为我国人民空军诞生发展并走向强大的重要里程碑。1949年开国大典，东北老航校师生驾驶17架飞机飞过天安门上空；1950年10月，东北老航校师生奔赴抗美援朝战场，涌现出令美国空军闻风丧胆的王海、刘玉堤、张积慧等著名的空战英雄和共和国功臣。参加过开国大典的“功臣号”坦克出自成立于密山的东北战车团，现存于中国人民革命军事博物馆。
    同时，密山是《红灯记》故事的原型地，《红灯记》里“李玉和”一家人的原型傅文忱之家就在密山。丁玲、吴祖光、聂绀弩、丁聪、艾青等大批文化名人曾工作生活在这里。北大荒书法长廊汇聚了3000多块当代著名书法家墨宝石刻。