Одна из неизвестных сторон равна х, тогда другая 11-х.
По теореме косинусов х²+(11-х)²-2·х·(11-х)·сos60=37,
х²+121-22х+х²-11х+х²=37,
3х²-33х+84=0,
х²-11х+28=0,
х₁=4, х₂=7.
4+7=11 ⇒ стороны около угла в 60° равны 4 и 7.
S=(1/2)ab·sinα=4·7·√3/4=7√3 (ед²)

Даю альтернативное решение.
также используем т. косинусов и синусов, но по-другому.
Стороны  a и b

a+b=11

a²+b²-2abcos60=(√37)²
a²+b²-ab=37
(a²+2ab+b²)-2ab-ab=37
(a+b)²-37=3ab
11²-37=3ab
ab=28

S=(ab*sin60)/2=(28√3/2)/2=7√3