Основа археологической коллекции КГКМ была заложена в виде пожертвований от частных лиц-энтузиастов, собиравших или покупавших в Карелии оригинальные, в основном сланцевые орудия. Эти предметы упоминаются в первом каталоге Олонецкого губернского музея за 1871–1884 гг. – 46 одиночных орудий из сланца и кремня, переданные в музей П.П. Петровым, В.Г. Нолькеном, И.М. Виноградовым, Д. Евсеевым и др.

Первые значительные поступления археологических материалов, относятся к 1927 г., когда московский археолог А.Я. Брюсов провел раскопки рядом, с открытыми в 1926 г. А.М. Линевским, петроглифами Бесовы Следки в Беломорье. Тогда в музей поступили каменные орудия и неолитическая керамика с острова Шойрукшин (р. Выг).

В 1929 г. в музей были переданы материалы раскопок ленинградского археолога В.И. Равдоникаса из курганов X–XIII вв. в Южной Карелии, относящиеся к эпохе раннего средневековья. Это находки рабочих и боевых железных топоров, ножей, наконечников копий, стрел, украшений из металла, очажные принадлежности: сковороды, котлы, лопатки. В музее хранится археологический материал курганов Капшойла, Гиттойла, Рабола, Большие Горы, Карлуха, Каменка, Красная Заря, Городище: 333 предмета из раскопанных захоронений.

В 1929 г. с мыса Пери Нос (восточный берег Онежского озера) в КГКМ привозится гранитная плита с наскальными изображениями, оторванная волнами Онежского озера от основного массива скал. На сегодня – это один из наиболее ярких археологических экспонатов в собрании музея.

После разведок и раскопок А.Я.Брюсова в 30-х гг. ХХ в. на территории Карелии и Вологодской области в музей были переданы материалы стоянки-мастерской Усть-Томица (ранний железный век), Илекса на Куштозере, Логмозеро, Пески, Колодозеро (эпоха неолита и энеолита). Это каменные орудия и фрагменты разновременной керамики.

Одной из интереснейших коллекций стали находки Оленеостровского могильника, раскопанного В.И. Равдоникасом в 1936–1937 гг. на Южном Оленьем острове Онежского озера. Н.Н. Гурина передала в 1955 г. в музей часть уникального инвентаря из древних погребений: подвески на одежду из резцов бобра и лося, мужские амулеты из клыков медведя, костяные и кремневые наконечники стрел знаменитого "оленеостровского" типа, таинственные "сланцевые ножи" и многие другие предметы из захоронений. М.М. Герасимов по черепам воссоздал облик "первонасельника" края, жившего девять тысяч лет назад. Музей имеет в своих запасниках два бюста, реконструирующих облик первобытных людей, похороненных на Оленеостровском некрополе.

В 1936 г. заведующий историческим отделом музея С.А. Макарьев обнаружил стоянки Вознесенье и Кузаранда на Онежском озере. Каменный инвентарь и фрагменты ямочно-гребенчатой и асбестовой керамики хранятся в музее.

Н.Н. Гурина в предвоенные годы (1938–1940 гг.) открыла и исследовала ряд памятников на северном побережье Онежского озера и Ладожского озера. Керамика и каменный инвентарь со стоянок Вой-Наволок V, VII, IX, Оров-Наволок, Рышкола, Пушсовхоз составляют самую массовую часть археологического фонда КГКМ.

В 1949 г. сотрудник музея И.Н. Тихонов собрал коллекцию предметов эпохи неолита в ходе разведки в Соломенном (Логмозеро), Ялгубе, Миккелицы, Салминицы, на Сямозере, Крошнозере. Н.Н. Гурина передала предметы, полученные ею в ходе работ 1951–1953 гг. (стоянки Чуй-Наволок I, Олонка).

В 1947–1949 гг. А.М. Линевский исследовал раннесредневековые курганы в низовьях рек Оять, Паша, Сясь. В фондах музея хранятся 114 предметов из курганов Шангеличи, Акулова Гора, Хвалевщина, Колодичник и др. В основном, это типичные раннесредневековые вещи: крупные и мелкие орнаментированные застежки-фибулы, шейные обручи - гривны, массивные литые браслеты, бубенчики и подвески на специальных цепочках скандинавского типа, наборы миниатюрных медных и бронзовых медальонов, составлявшие нагрудные украшения, железные ножи, кресала для добывания огня. Особенно следует отметить разнообразные по цвету бусы из сердолика и стекловидной пасты. Оружие представлено втульчатыми наконечниками копий, фрагментами обоюдоострых мечей "рейнского" типа, разнообразными наконечниками стрел, легкими узколезвийными боевыми топорами. Топоры изготавливались местными мастерами по среднерусским и европейским образцам или были индивидуальными, "импортными" приобретениями.

Бытовые вещи включают ранние сосуды Х в., ручной лепки с шершавой, незаглаженной поверхностью, более совершенные горшки ХI в., сделанные на гончарном круге с линейно-волнистым орнаментом, железные котлы с цепью для подвешивания. Этот комплекс предметов из курганов позволяет в определенной мере представить культуру средневековой веси и их контакты с окружающими народами Европы и Северо-Западной Руси. В числе археологического материала из раскопок курганов – два черепа (мужской и женский). Судя по повреждениям на женском черепе, можно предположить, что женщина была умерщвлена в ходе погребального обряда.

После создания в конце 1950-х гг. сектора археологии в Карельском филиале АН СССР, начинается систематическое исследование памятников археологии Карелии. Археологи Г.А. Панкрушев, Ю.А. Савватеев, М.Г. Косменко, В.Ф. Филатова передают музею интересные предметы со стоянок, в основном относящиеся к каменному веку.

В 1961 г. сотрудник музея И.Н. Тихонов вновь проводит сбор археологических предметов на берегах озер в Южной Карелии. В.Ф. Родькин - краевед-энтузиаст из п. Валдай Сегежского района передал значительную коллекцию керамики и каменных орудий с неолитической стоянки на Рыбозере (506 предметов). В 1966 г. сотрудник музея В.А. Скворцов в карьере Соломенного кирпичного завода собрал предметы эпохи неолита.

Отдельно следует отметить экспедиции И.М. Мулло на Соловецкие острова и архипелаг Кузова, а так же на место расположения оружейного завода на реке Пяле в Карельском Поморье в 1960-х гг. С Соловков в музей поступили железные предметы XVI–XVII вв. С острова Большой Немецкий Кузов привезли небольшое культовое сооружение из камней – "сейд". Коллекция предметов XVI–XVII вв., полученных И.М. Мулло в результате исследований на р. Пяла, включает бытовые вещи кузнецов-оружейников, готовивших "пушечный снаряд" и холодное оружие для гарнизонов российских крепостей Карелии: кованые гвозди, железные подковки, дверные петли, рыболовные крючки, ножи, точильные бруски, плотницкие и кузнечные инструменты из железа, пластинки оконной слюды. Сохранился и ряд костяных изделий, среди которых костяные гребешки и части орудий. Комплекс материалов с уникального памятника горнозаводского дела в настоящее время является единственным в своем роде в Карелии.

От Института языка, истории и литературы КФ АН СССР в дар музею переданы реконструкции десяти глиняных сосудов (неолит - средневековье), а также три бюста "приладожан" эпохи средневековья, воссозданные М.М. Герасимовым.

В фонде имеются также муляжи древних предметов, например, знаменитый "фигурный молот" с головой лося из Карелии, находящийся сейчас в Государственном историческом музее (г. Москва), или "костяные" фигурки из Оленеостровского могильника (оригиналы находятся в Музее антропологии и этнографии РАН, г. Санкт-Петербург).

В 1987 г. была создана постоянная археологическая экспедиция КГКМ под руководством М.М. Шахновича. С этого момента находки в музей стали поступать коллекциями, полученными в результате ежегодных раскопок. Данные коллекции, в отличие от предыдущих поступлений, формировавшихся во многом бессистемно, являются максимально полным результатом исследовательской работы. Большинство из материала, полученного за последние десятилетия, опубликовано в ряде научных статей.

За 20 лет работы археологической экспедиции музея в основной фонд поступило около девяти тысяч предметов. Наиболее яркие коллекции происходят со стоянок Шелтозеро XI, Тахручей I, Селецкое VI, Суккозеро II, Суна XV–XVI (эпоха неолита), Селецкое IV (эпоха бронзы), Суна ХХ и других памятников.

В 1997 г. представители военно-исторического клуба "Стягъ" (г. Петрозаводск) передали в музей меч периода раннего средневековья датируемый X в. На сегодня это самая северная находка подобного рода в Карелии (он был найден в п. Шуя около г. Петрозаводска).

Отдельно следует отметить коллекцию из раскопок на территории Петрозаводской Слободы XVIII века, переданную преподавателем Петрозаводского государственного университета А.М. Спиридоновым в 1997–2001 гг. Являя собой пример "археологии нового времени", она позволила обогатить фонд интересными предметами XVIII–XIX вв., связанными с историей Петрозаводска.

Коллекция содержит многочисленные находки фрагментов винных бутылей, "рейнских" фляг, штофов зеленого стекла и фрагментами длинных чубуков курительных «голландских» трубок с клеймами, фрагменты парадных фарфоровых чашек и тарелок из мастерских саксонского города Мейсена, остатки грубой кухонной посуды работы местных мастеров. Так же, это предметы обихода: форменные медные и простые костяные пуговицы, массивные амбарные ключи, кольца и часы, гвозди и бусы, обувные подковки, ножи и многочисленные мелкие монеты.

Горнозаводской характер Петрозаводской слободы прослеживается по находкам частей пушек, ядер и шрапнели, а так же различных бытовых вещей из чугуна, например, подсвечников и плотницких инструментов. Удалось реконструировать несколько образцов уникальной посуды кон. XVIII в. – как простой, крестьянской, так и парадной сервировки.

Одно из последних значимых пополнений фонда археологии КГКМ произошло в 2009 г., когда в музей были доставлены два фрагмента гранитных плит с петроглифами. Эти фрагменты обнаружены экспедицией под руководством А.М. Жульникова в 2008 г. на восточном побережье Онежского озера (мыс Пери-Нос).

Всего археологическая коллекция КГКМ составляет около 27 тыс. предметов.