Алексей Алексеевич Харламов родился в 1840 году седьмым ребенком в семье крепостного крестьянина
У мальчика рано обнаружились способности к рисованию, и в 12 лет он начинает брать уроки рисования у вольнослушателя Академии художеств В. Я. Афанасьева. А затем, в 1854 году, сам поступает в Императорскую Академию художеств, где становится одним из лучших студентов.