まず、文字式を整理する。そのあとに値を代入する。$$\begin{align}&x^2 - 2xy + y^2\\&=(x-y)^2\\&=(\sqrt{5} + 3 - 3)^2\\&=(\sqrt{5})^2\\&=5\end{align}$$