Из центра О проводим радиус до одной из вершин прямоугольника.
Радиус наклонён под углом α к диаметру полукруга.
тогда одна из сторон равна а = R·sin α, а другая b = 2R·cos α
Площадь S(α) = a·b = 2R²·sin α · cos α = R² sin 2α
Находим производную: S' = R²·2·cos 2α
ищем максимум S' = 0 или cos 2α = 0 ---> 2α = π/2 ---> α = 45°
a = 0.5R√2 = 3√2(см) b = 2a = 6√2
S = (3√2)·(6√2) = 36см²
Ответ: 36см²

Способ решения такой. Выражаем площадь через известную нам величину (или просто постоянную величину). Далее берём производную от этой функции, приравниваем производную к нулю (функция максимальна в точках экстремума, где производная равна нулю). И решаем уравнение. Потом находим, что просят