明確な証拠がない限り対処は難しいです。
それよりも、お父さんの預金から死亡前にまとまった金額が引き出されているときは、税務調査でその使途を尋ねられる心配がありますので説明できるようにしておいて下さい。