Длина прямоугольника = х (см)
Сторона квадрата = (х - 4) см
⇒ и ширина прямоугольника = (х - 4) см
По условию задачи составим уравнение:
х(х-4) - (х-4)(х-4) = 12
х^2 - 4x -(x-4)^2 = 12
x^2 - 4x - (x^2 - 8x+ 16) = 12
x^2 - 4x - x^2 + 8x - 16 = 12 
4x - 16 = 12
4x = 28
x = 7  - (это длина прямоугольника)
x - 4 = 7 - 4 = 3  - (это ширина прямоугольника)
7 * 3 = 21 (кв.см)
Ответ: 21 кв.см - площадь прямоугольника