山田風太郎の「人間臨終図巻」は、内外を問わず、時代を問わず、千人を超す政治家、文化人、芸能人、犯罪者などの「死にざま」を、死んだ年齢順に書いている奇抜な大書である。これによると柳生十兵衛は、慶安3年（1650）3月21日に山城国で鷹狩り中、にわかに没すとある。43才である。不慮の死であろうが詳細は不明とのこと。父、柳生但馬守宗矩は75才で4年前に亡くなっている。十兵衛は長男だが、四男が子連れ狼に登場する柳生烈堂である。子連れ狼はテレビでよく見た。烈堂は作家火坂雅志の小説の主人公としてよく登場するが読んでいない。十兵衛の不慮の死の謎も扱っているらしい。
山田風太郎は、この十兵衛の不慮の死の史実を下敷きに長編「柳生十兵衛死す」を書いている。「魔界転生」では、死後、魔界に転生し、魔力を持った宮本武蔵、荒木又右衛門、田宮坊太郎、柳生但馬守、宝蔵院胤舜、柳生如雲斎などの大剣客を柳生十兵衛は切っている。最強の剣客である。その無敵の彼が何故、43才で不慮の死を遂げたのか、誰に敗れたのか？
この小説では映画「マトリックス」的な最後である。

小説、映画、テレビ、劇画では柳生十兵衛は、右目が見えない隻眼の剣客として登場する。失明した理由は、父と剣術の試合中に、父の木刀により目を打たれたという説や、父が投げた石があたったという説がある（このホームページの息抜きコーナーの１．一般的な社会問題・文化・習慣の「禅：猫の妙術:H14年2月3週号」参照）。
しかし、柳生流の試合では、木刀は特殊なやわらかいものを使うので、それありえないということから、十兵衛は両眼とも見えていたという説もある。肖像画で、両眼があいているものがあるという。

十兵衛の死の翌年4月、十兵衛が一時、師範をつとめた三代将軍家光が48才でなくなり、家綱は僅か10才で後を継ぐ。その不安定な状態につけこんで、同年7月に幕府転覆を図った由比小雪の慶安の変があった。徳川幕府260年の安定期に入ろうとする時期である。
柳生十兵衛の墓は、柳生にもあるが、東京都練馬区桜台6丁目の広徳寺にもあるという。