Historiquement, le Velgam Vehera était l’un des temples bouddhistes importants du pays, vénéré à la fois par les bouddhistes cinghalais et tamouls. Le temple a été déclaré site archéologique protégé dans le district de Trincomalee par le département archéologique du Sri Lanka.
Ce temple aurait été construit pendant le règne du roi Devanampiyathissa (307-267 avant J.C.) avec des rénovations ultérieures effectuées par les rois Bathiya I, Agkbo II, Vijayabahu I et Parakramabahu I. Une inscription trouvée dans le temple a été rédigée pendant le règne du roi Bhatika Tissa (141-165 après J.C.). L’inscription mentionne les revenus de certains champs versés à l’Abagara Vihara (Velgam Vihara) et Velgama par le commandant du roi, Abaya. Après l’effondrement des royaumes d’Anuradhapura et de Polonnaruwa, la population a migré vers la partie sud du pays, ce qui a entraîné l’abandon du temple et sa ruine.
Avec l’invasion des Chola venus de l’Inde en 993 après J.C., de nombreux sanctuaires bouddhistes ont été détruits dans le pays. Velgam Vihara a cependant réussi à survivre indemne. Les Cholas ont plutôt rénové le temple, ajoutant leurs propres structures et lui donnant pour nom Rajarajaperumpalli, d’après King Rajaraja I Des inscriptions tamoules trouvées dans le temple mentionnent des donations faites au temple pendant les règnes de King Rajaraja and Rajendradeva.
En 1929, le Département archéologique du Sri Lanka a découvert les ruines de Velgam Vehera et en 1934, le site a été déclaré réserve protégée sur le plan archéologique.