Пусть a - длина, b - ширина.
1) S = a·b 
    5 = a·b
    a = 5/b

2) После изменений:
    длина = 3·a 
    ширина = b - 2
3) Стороны у квадрата равны, а значит:
    3·a = b - 2
    3·(5/b) = b - 2
    15/b = b - 2
    15/b - b = - 2
    b - 15/b = 2
    *сводим к общему знаменателю, умножая на b (так как b не может быть нулевым значением)*
    (b² - 15)/b = 2
   *умножаем и левую и правую часть уравнения на b (так как b не может быть нулевым значением)*
    b² - 15 = 2b
    b² - 2b - 15 = 0
    *решаем уравнение через дискриминант*
    D = b² - 4ac
    D = 4 + 4·1·15 = 64
    x1 = (-b + √D)/2a = (2 + √64)/2 = (2 + 8)/2 = 5
    x2 = (2 - √64)/2 = (2-8)/2 = -3
   Так как сторона не может быть иметь отрицательное значение, то корень уравнения один - это b = 5
   
 Следовательно, ширина прямоугольника равняется 5 см, а сторона квадрата равняется 5-2 = 3 см.