Здесь нужно еще доказать некие факты , то что как будет располагаться квадрат, в зависимости от этого будет и изменятся площадь самого квадрата.   
Если сделать правильный эскиз по нашему условию , то откуда легко видеть то что квадрат будет наибольшим когда он располагается параллельна основанию треугольника а боковые стороны соответственно перпендикулярны стороне.  
Обозначим  сторону катета образованного боковой стороной квадрата относительно ее основанию, за  сторону квадрата , она же сторона отсеченной боковой стороны треугольника (выше большего основания) . 
  Сторона треугольника правильного . 
Тогда  удовлетворяет ему такое условие  
 
  Тогда  площадь маленького подобного большему треугольнику равна    
  , и остались два маленьких прямоугольных треугольника их площади равны в сумме 
  тогда 
откуда получаем систему 

 Откуда периметр квадрата равен 

Нужно это отдельно доказать пользуясь  другими средствами , так как мы опирались на рисунок