现在的寺庙是由源赖朝（1147-1199）的表亲宽传建造的，源赖朝是镰仓幕府的开创者，是一位名留史册的武士。赖朝的头发和牙齿被供奉在观音塑像的子宫内，观音的高度也按照赖朝的身高修造。泷山寺还被指定为国家重要文化财产，它代表了镰仓时代寺庙的建造模范。
令人印象深刻的三门建于1267年，由木匠和贵族藤原光延设计建造。在门的两边有两个十五世纪早期雕刻的高287cm的木制仁王守护雕像。传说藤原光延在门前自杀之后长出一株茶花树，年年开出美丽的茶花却从不结果。现在三门西北部设有藤原的坟墓。

泷山寺的鬼节

在泷山寺的正殿之上，还有一座色彩艳丽的泷山东照宫。这个神社建于1646年，由家康的孙子、第三代将军德川家光建造，是排在久能山东照宫和日光东照宫之后的第三大东照宫。泷山东照宫的主殿、礼拜殿、鸟居都是国家指定的重要文化财产。由冈崎各领主捐献的50座石灯笼彰显了当时幕府的权威和影响力。
这里最有名的祭典是二月节，又叫鬼节，是佛教衍生出的节日。这节日时，在主殿举行为42岁、25岁和12岁的男性祈福的仪式。在祭典中，一位老爷爷、一位老奶奶和一个年轻男孩头戴魔鬼面具，约30名出生在同一黄道吉日的男子燃烧火把，以此迎接春天的到来。