先秦时期，秦国在陇西设置陇西郡，这里是秦国的核心统治区域。
但是凉州的大部分土地并不属于秦国，更不属于汉人，而是原本就属于异族。
而大汉对凉州的统治，则要从汉匈战争说起，因为凉州的土地打从一开始就是属于匈奴的。所以大汉建国四百年，在凉州这边土地上和异族也打了四百年，西凉这片土地一直到现在也不太平。
最早是大汉与匈奴之间的战争，这场战争一直持续了近一百年，期间总共可以分为四个阶段。
第一阶段，从汉高祖七年（前200年）开始，至汉武帝元光元年（前134年）结束。
这一阶段采取了和亲政策，大汉对匈奴人进行妥协，汉文帝时“与匈奴和亲，匈奴背约入盗，然令边备守，不发兵深入，恶烦苦百姓”。
第二阶段，从汉武帝元光二年（前133年）马邑之战开始，至汉武帝元狩四年（前119年）的漠北之战结束。
汉武帝的元朔二年（前127年），卫青、李息出云中，西经高阙，直到符离，取得河南之战的胜利，顺利夺取了河套地区，大汉在此设置了朔方郡。
次年，汉武帝又派遣校尉苏建率领十万人兴筑阴山甫麓的长城，同年开始修筑长城。
河套地区、朔方郡、长城内外，便是如今大秦国的地盘，更确切地说应该是赫连勃勃的地盘。
元狩二年（前121年），霍去病出陇西，歼灭匈奴浑邪王的部队，并越过焉支山一千余里，取得了河西之战的胜利，并获得陇西，大汉在此设置凉州四郡。
匈奴人哀叹：“亡我祁连山，使我六畜不繁息；失我胭脂山，使我妇女无颜色。”
匈奴单于恨浑邪王损兵折将，浑邪王和休屠王害怕，便投降汉朝。
这是秦朝灭亡后，大汉首次占领凉州的土地，是付出了不小的代价从匈奴人手里抢过来的。
元狩四年（前119年），霍去病率军北进两千余里，越离侯山，渡弓闾河，与匈奴左贤王部接战。此战，歼敌七万人，俘虏匈奴屯头王、韩王等3人及将军、相国、当户、都尉等83人，乘胜追杀至狼居胥山。在狼居胥山举行了祭天封礼，一直打到翰海，方才回兵。
史称“封狼居胥山，禅于姑衍，登临翰海，执虏获丑七万有四百四十三级”。
元狩六年（前117年），霍去病病逝，年仅二十四岁。霍去病一生战无不胜，凡六击匈奴，斩俘敌12万余人，收降4万余人。