創建年代については不詳であるが、景行天皇の代の創建とされる。また、社殿は斉明天皇の牟婁の湯行幸の際に建立されたと伝わる[1]。当神社の主祭神、饒速日命を祖神とする穂積氏の嫡流・藤白鈴木氏が社家として代々神職を務めた。
藤白神社の境内には、三ヶ所に分かれてクスノキの大木が合計五本ある。遠くから眺めるとクスノキの森の様である。中でも本殿前のクスノキは幹周り10mを越えるもので、幹の北側は、腐朽して空洞となっているが、最も太い。
次は子守楠神社の南側のクスノキで、幹周りが7mほどあり、樹勢も旺盛で、生気に満ちた大木である。言い伝えによればここには、神木を全部合わせたよりも大きなクスノキがあったが、当時付近の農村に飢饉がうち続き、困っていたので氏子が相談してこのクスノキを切り、救済資金に充てた。その切り株から四本が発芽し、そのうち三本が現存しているものである。現在もこの三本のクスノキは子守の楠神さんとして親しまれている。この地方では子供に楠神さんにあやかり、楠という文字を入れる事が多かった。博物学者・南方熊楠もその一人。