明治11年に発足した 上野国緑野郡 が、ほぼ現在の藤岡市にあたります。緑野郡という地名は、平安時代の書物「倭名類聚抄」にも見られ、古くからその名で呼ばれていたことがうかがえます。
明治22年に、緑野郡に古くからあった小さな町村が合併し、新たに鬼石町・新町・藤岡町・小野村・神流村・三波川村・平井村・美九里村・美土里村・八幡村の合計10の町村が誕生しました。これらの町村は昭和29年まで続き、今でもそれぞれの地区にある学校の名前などにその名残を残しています。
昭和29年になると、藤岡町と小野・神流・美九里・美土里の4村が合併して「藤岡市」が誕生し、その翌年には平井村と日野村も合併しました。平成18年には旧三波川村を含めた「鬼石町」と合併し、現在の形となりました。また、同じ緑野郡に属していた新町と八幡村は、現在の高崎市に属しています。