Пусть х- длинна гипотенузы, тогда (х-1) - длинна большего катета и (х-8) - длинна меньшего катета,тогда по теорме Пифагора 
(х-1)²+(х-8)²=х²
х²-2х+1+х²-16х+64-х²=0
х²-18х+65=0
По теор. обрат. теор Виетта
х1=13:х2=5
Проверим:
Так как (х-8) - меньший катет
13-8=5;5>0 - подходит
5-8=-3;-3<0 - не подходит
Ответ: 13

Х - гип тогда катеты равны х-1 и х-8 по т. Пифагора
(х-1)^2+(х-8)^2=х^2
х^2-2х+1+х^2-16х+64=х^2
х^2-18х+65=0
D=324-4×65=64
х=(18+8)/2=13
х=(18-8)/2=5 не подходит условию задачи
ответ 13см