解:$(3)$原式$=x^2-6xy+9y^2+4(x^2-y^2)$
$=5x^2-6xy+5y^2$
$=5(x^2+y^2)-6xy,$
$ $因为$x^2+y^2=1+xy,$
$ $所以原式$=5(1+xy)-6xy=5-xy。$
$ $因为$(x-y)^2≥0,$
所以$x^2+y^2≥2xy,$
$ $所以$1+xy≥2xy,$
所以$xy≤1,$
所以$5-xy≥4,$
$ $所以代数式$(x-3y)^2+4(y+x)(x-y)$的最小值为$4。$