Instytut powstał w 1951 roku jako instytut naukowo-badawczy resortu budownictwa i przemysłu materiałów budowlanych i działał pod nazwą Instytut Organizacji i Mechanizacji Budownictwa. Od dnia 1 stycznia 1973 roku po włączeniu Zakładu Badań i Doświadczeń ZREMB funkcjonował jako Instytut Mechanizacji Budownictwa.

W pażdzierniku1986 roku znacznie rozszerzono dotychczasową działalność Instytutu w dziedzinie górnictwa skalnego przez połączenie z Centralnym Ośrodkiem Badawczo-Rozwojowym Przemysłu Kruszyw i od tego czasu Instytut nosi obecną nazwę. W lipcu 2002 roku do Instytutu włączono Instytut Informacji Naukowej, Technicznej i Ekonomicznej oraz Instytut Gospodarki Odpadami, a 1 lipca 2007 roku dwie kolejne jednostki: Ośrodek Badawczo-Konstrukcyjny KOPROTECH oraz Ośrodek Badawczo-Rozwojowy Podstaw Technologii i Konstrukcji Maszyn TEKOMA.

Instytut jest międzyresortową jednostką badawczo-rozwojową. Organem sprawującym nadzór nad IMBiGS jest Ministerstwo Gospodarki. Siedziba Instytutu mieści się w Warszawie. Oddział Zamiejscowy IMBiGS - Centrum Gospodarki Odpadami ma swoją siedzibę w Katowicach.