Алгоритм:
Просим пользователя ввести площадь квадрата SK
и площадь окружности SR
Вычислить длину стороны квадрата 
Вычислить длину диагонали квадрата 
Вычислить радиус окружности 

Если длина диагонали с меньше или равна радиусу окружности r, то квадрат поместится в круге
Если радиус r меньше или равен длине стороны квадрата, то окружность поместится в квадрате.
В противном случае фигуры не поместятся одна в другой.

Вот реализация алгоритма на языке basic:
 10 rem Площадь круга и квадрата

 20 input "Введите площадь круга"; SR
 30 input "Введите площадь квадрата"; SK

 40 a=sqr(SK)

 50 c=sqr(a^2 * 2)
 60 pi=3.1415926
 70 r=sqr(SR/pi)
 80 if a>=r then print "Круг поместится в квадрат":goto 110
 90 if r>=c then print "Квадрат поместится в круг":goto 110
100 print "Фигуры не поместятся друг в друга"
110 print "---------------------------------":print
120 end