西汉初期，天山南路分裂为36国，巴音郭楞蒙古自治州境域内就有若羌、楼兰、且末、小宛、山国、乌垒、仑头、渠犁、尉犁、焉青、危须等11个“城国”和“行国”分立。西汉太初四年(前101年)，汉朝在西域设使者校尉，在今库尔勒、轮台一带屯田。神爵二年(前60年)，西汉政府在乌垒(今轮台县境内)设西域都护府。东汉永元三年(91年)以后，形成都善、焉耆两大国对峙，东汉王朝时置西域长乐史于楼兰以统之。东晋咸康二年(336年)，西域长史仍驻楼兰。东晋永和元年(345年)，州境大部分地域属前应凉沙州。唐贞观二十二年(648年)，唐置焉青都督府。唐显庆二年(657年)，又于珠勒图斯置鹰婆都督府。唐大中十年(856年)以后，焉青盆地为以庞特勒为首的安西回鹘统治中心。唐咸通元年(860年)，西州回鹊首领仆固俊拥有州境大部分地方。宋宣和四年(1122年)以后，西州回鹊臣服于西辽。宋嘉定十一年(1218年)，成吉思汗擒杀西辽实际统治者屈出律，州境受蒙古汗国管辖。宋宝庆元年(1225年)，成吉思汗将州境一带区域分封给三子察合台，其后成为察合台汗国疆域。明正德九年(1514年)赛德汗建立叶尔羌汗国，州境受其统治。清朝康熙十七年(1678年)，噶尔丹将南疆置于准噶尔统治之下。清乾隆二十四年(1759年)，清朝设置喀喇沙尔办事大臣，所属焉耆及库尔勒、布古尔(今轮台县)实行伯克制。“丝绸之路”南道的卡墙(今且末县)、卡克里克(今若羌县)录属于阗办事大臣管辖。乾隆三十六年(1771年)，土尔扈特及和硕特部回归祖国，实行世袭札萨克制，乌纳恩苏珠克图盟1日土尔扈特部南路四旗五十四苏木和巴图色勒图盟和硕特中路三旗十一苏木共游牧于珠勒都斯，由喀喇沙尔办事大臣兼辖，伊犁将军节制。光绪八年(1884年)，新疆建省后，设喀喇沙尔直隶厅，光绪二十五年升为焉青府，先后管辖新平(今尉犁县)、若羌、轮台3台。民国4年(1915年)2月，且末县划入阿克苏道，归焉耆府管辖，焉青府所辖区域始与今州境相同。以后行政区划几经变革，直到中华人民共和国成立后，1950年4月12日成立焉耆专员公署。1954年6月23日撤销焉耆专署，分设巴音郭楞蒙古自治州(辖焉耆、和靖、和硕三县)和库尔勒专署(辖库尔勒、轮台、尉犁、若羌、且末5县)。1960年12月，库尔勒专署并入巴音郭楞蒙古自治州，州府由焉青迁址库尔勒。1965年改和靖县为和静县。1970年4月析置博湖县。1979年l0月成立库尔勒市。1983年将库尔勒县并入库尔勒市，形成现在的8县1市格局。