Если условие правильно списано из учебника и в учебнике нет опечатки, решение следующее

Возведём в квадрат левую часть, получим

A^2 + 4*a*A + 4*a^2 = B + 4*a*18*b + 4*a^2

Так как это тождество, обязательно одновременно выполняются 2 равенства

A^2 = B

A    = 18*b, то есть A^2 =  18^2*b^2( =В), поэтому

A*B = 18*b*18^2*b^2 = 18^3*b^3.

Это и всё решение. b выступает свободным параметром, то есть есть серия чисел, которые удовлетворяют поставленному условию, а именно,

b=0                A*B=0

b=+-1                A*B=18^3*(+-1)^3 = +-5832

b=+-2                A*B=18^3*(+-2)^3 = 5832*(+-8) =+-46656, и т.д.

Вот такое "некрасивое" параметрическое решение получилось. Не нравится оно мне, всё же или в учебнике опечатка или Авторы задачи её составляли, не заботясь об эстетическом наслаждении решающих, лишь бы чего написать. Увы, вот такое моё впечатление.