При делении многочлена третьей степени на двучлен  (х-1) в частном должны получить многочлен второй степени, коэффициенты которого неизвестны и остаток 9. В виде равенства это можно записать так:
ах³-х²+(а+1)х+5=(х-1)·(ax²+bx+c)+9
Раскроем скобки справа и приравняем многочлены.
Два многочлена равны, если у них степени равны и
коэффициенты при одинаковых степенях переменной равны
ах³-х²+(а+1)х+5=ax³+bx²+cх-ах²-bx-c+9
ах³-х²+(а+1)х+5=ax³+(b-a)x²+(c-b)x-c+9    ⇒ b-a=-1
                                                                   c-b=a+1
                                                                     5=-c+9
c=9-5=4
Подставляем с=4 во второе равенство
4-b=a+1
b-a=-1
Решаем систему двух уравнений
выражаем а из первого
a=3-b
и подставляем во второе
b-(3-b)=-1    ⇒2b=2    ⇒  b=1
a=3-b=3-1=2
ответ. При а=2