Если $z_0=0$, то $$ f'(0) = \lim\limits_{h\to0}\frac{\overline{h}^2}{h} =\lim\limits_{h\to0}\overline{h}\frac{\overline{h}}{h}=0. $$

Пусть $z_0\ne 0$. Положим $z=z_0+re^{i\varphi}$ (тогда $z\to z_0$ при $r\to0$). Имеем \begin{multline*} \frac{\overline{z}^2-\overline{z_0}^2}{z-z_0} = \frac{(\overline{z_0+re^{i\varphi}})^2-\overline{z_0}^2}{z_0+re^{i\varphi}-z_0} = \frac{(\overline{z_0}+re^{-i\varphi})^2-\overline{z_0}^2}{z_0+re^{i\varphi}-z_0} = \\ \frac{\overline{z_0}^2 +2\overline{z_0}re^{-i\varphi} +r^2e^{-2i\varphi}-\overline{z_0}^2}{z_0+re^{i\varphi}-z_0} =\\ \frac{2\overline{z_0}r2e^{-i\varphi} +r^2e^{-2i\varphi}}{re^{i\varphi}} = 2\overline{z_0}e^{-2i\varphi} + re^{-3i\varphi}. \end{multline*} Тогда $$ \lim\limits_{z\to z_0}\frac{\overline{z}^2-\overline{z_0}^2}{z-z_0} = \lim\limits_{r\to0}(2\overline{z_0}e^{-2i\varphi} + re^{-3i\varphi}) = 2\overline{z_0} \quad \text{при $\varphi=0$}, $$ и $$ \lim\limits_{z\to z_0}\frac{\overline{z}^2-\overline{z_0}^2}{z-z_0} = \lim\limits_{r\to0}(2\overline{z_0}e^{-2i\varphi} + re^{-3i\varphi}) = -2\overline{z_0} \quad \text{при $\varphi=\pi/2$}. $$ Таким образом, $f(z) = \overline{z}^2$ не дифференцируема в $z_0\ne0$.