$(1)$证明:∵$AC = 21,$$AD = 16$
∴$CD=AC - AD = 5$
又$BC = 13,$$BD = 12$
∴$BD^2+CD^2=169,$$BC^2=169,$
即$BD^2+CD^2=BC^2$
∴$\triangle BCD$是直角三角形,
且$∠BDC = 90°,$即$BD\perp AC$
$(2)$解:由$(1)$得$BD\perp AC,$∴$∠ADB = 90°$
在$Rt\triangle ABD$中,$AD = 16,$$BD = 12$
由勾股定理,得$AB=\sqrt {AD^2+BD^2} = 20$
又$E$是边$AB$上一点
∴当$DE\perp AB$时,$DE$的长最小,
此时$DE$是$\triangle ADB$边$AB$上的高
∵$S_{\triangle ABD}=\frac 12\ \mathrm {A}D·BD=\frac 12\ \mathrm {A}B·DE$
∴$DE=\frac {AD·BD}{AB}=9.6$
∴线段$DE$的长的最小值为$9.6$