пусть х - расстояние от прямого угла до точек касания вписанной окружности катетов (радиус вписанной окружности по совместительству)

тогда из равенства касательных длины катетов равны x+3 и x+7

из т.пифагора

(3+7)^2 = (x+3)^2 + (x+7)^2

42 = 2 x^2 + 20 x

x^2 + 10x - 21 = 0

D' = 25 + 21 = 46

x = -5 +- sqrt(46)

выбираем положительный корень

площадь (x+3)*(x+7)/2 = (sqrt(46)-2)(sqrt(46)+2)/2 = (46-4)/2 = 21