Найдем скалярный квадрат суммы
(a+b)²=|a+b|²=a²+2ab+b²
|a+b|²=5²+2·20+8²
|a+b|²=129  ⇒|a+b| =√129

Скалярный квадрат разности
(a-b)²=|a-b|²=a²-2ab+b²
|a-b|²=5²-2·20+8²
|a-b|²=49  ⇒|a-b| =√49 =7

Скалярное произведение разности векторов а  и b на их сумму

(a-b)·(a+b)=a²+b²=5²+64=89

Тогда
 cos((a-b)^(a+b))=(a-b)·(a+b))/(|a-b|·|a+b|)

cos(a^(a+b))=89/7√129