布里亚特人的族源是一个复杂的问题。关键在于远古时期，在布里亚特人周围生活的民族的文化发展还都比较落后，成文的历史典籍中对于布里亚特部落的记载非常少。即使是最早记录了布里亚特人的情况的《蒙古秘史》成书年代也仅仅在公元13世纪40年代，而且也只有不多的内容，非常简略。后期成书的《蒙古源流》、《蒙古黄金史纲》、《蒙古风俗鉴》等书的记载也是不多。前苏联学者库德列斯夫在论述布里亚特人的形成过程时认为，浩里布里亚特人很早以前就在贝加尔湖附近过着游牧生活。他们同后来迁来的蒙古人融合起来，成为布里亚特人的基础。但是，浩里布里亚特人并不是贝加尔湖附近的唯一居民。在安格尔河流域的森林中还有鄂温克人的祖先同浩里汗人为邻。这个联盟部落，在古代历史上被称为伯特国。

伯特国的首领，就是蒙古乞颜部有文字记载的第一世祖孛日帖赤那。布里亚特历史学者宝敦古德·阿毕德说：“布里亚特历史记载该民族形成时总是从孛日帖乔淖（孛日帖赤那）统治伯特国（部落）时期记起，记载着‘居住贝加尔湖附近的伯特部落之民推举孛日帖乔淖做诺颜，生活在注入贝加尔湖的巴尔虎金河两岸’等”。由此可以推断，布里亚特一词，有可能来自于伯特国的首领孛日帖乔淖的“孛日”。“孛日”一词是蒙古语蓝色的意思，而“布里亚特”的“布里”同“孛日”是一个含义（一词异译），也就是蓝色之义，“亚特”是蒙语词后缀，有“……人（复数）、……部”之义，“布里亚特”就是“蓝色部落”。据此推断，布里亚特人作为蒙古族的一个部族起源的时期大概是在公元4世纪中叶，即公元450——500年间。而布里亚特部的主体霍里（豁里）部（氏族）有可能来自于孛日帖乔淖的下三代“塔马察的儿子为豁里察儿蔑而干”。能够说明乞颜部同布里亚特同源关系的有一则传说表达了这两个部落都崇敬天鹅。据说乞颜部族人还自称为“其莫额德”氏，缘由一段动人故事的传颂：在古代，被匈奴族人追击的一部分东胡族（乞颜）人，催马奔驰到一个湖边，一群天鹅听到马蹄声便鸣叫不止。由于夜幕已降，故天鹅鸣而不飞。当匈奴追兵赶到湖边，天鹅又鸣出一片杂乱声，匈奴追兵以为进入了对方的埋伏圈，立刻拨转马头而回，就这样，这些东胡族人因此得以生存。这些东胡人后来就定居在额儿古捏·昆，他们无限崇敬天鹅，视天鹅的叫声为救命之声。在蒙古语中，“其莫额”是声音或信息之意，后专门被这些东胡族人指作天鹅的鸣叫声。因此，有的人在承认自己是“乞雅惕”的同时，又自称为“其莫额德”，以示天鹅之声拯救了自己。“其莫额德”一称，久而又演化成“其莫德”或“其木德”，皆为蒙古族姓氏。根据历史考证，布里亚特人或许是隋唐时（公元581年——618年）己见诸史籍的拔悉弥部，“拔悉弥一名弊剌国，隋时闻焉[9]。”“弊剌”其实就是“布里亚特”的音译，只不过是将蒙语的轻辅音“特”丢掉了，因此变成了“布里亚”而已。另外隋唐时期的仆骨、都波、拔野古等部落、部族都可能成为布里亚特部的族群来源。

鹿(хор)是古亚细亚人的图腾。布里亚特人豁里（霍里、霍拉）氏族，应该是源自于古代“养鹿者”。这也和布里亚特人的鹿崇拜相关联。布里亚特人自己的祖源传说把本族群的起源同古代的贝加尔湖附近居住着的一位名叫巴尔虎巴特尔的人联系了起来，把豁里十一姓同巴尔虎的两个儿子儿子浩里太、布里亚太联系了起来，把后来鲁古河、列拿河附近的布里亚特其他氏族同他去贝加尔湖北岸另外又生的两个儿子伊黑利德、宝拉嘎德联系了起来，两个儿子的后代发展成伊黑利德八姓和宝拉嘎德七姓之民。

从公元13世纪开始，到16世纪中后期，布里亚特人在不断的历史动荡中继续着族群融合和分化的进程，布里亚特人为阿拉坦汗（即俺答汗）的直接属民时期，走到蒙古西部居住在今呼和浩特、美岱昭及黄河一带，以“土默特”一名著称于世。而东部的布里亚特人，直至公元17世纪还在延续着巴尔虎-布里亚特的名称。

从公元13世纪开始，到16世纪中后期，布里亚特人在不断的历史动荡中继续着族群融合和分化的进程，布里亚特人为阿拉坦汗（即俺答汗）的直接属民时期，走到蒙古西部居住在今呼和浩特、美岱昭及黄河一带，以“土默特”一名著称于世。而东部的布里亚特人，直至公元17世纪还在延续着巴尔虎-布里亚特的名称。