Сначала нужно перевести FF в десятичную с.с, пользуемся развернутой записью числа(F=15; 1=1 в шеснадцатеричной с.с):

FF16 = F*16^1 + F*16^0 = 15*16^1 + 15*16^0 = 255 в десятичной.

255 + 1 = 256 теперь нужно перевести 256 из десятичной в шестнадцатеричную, для этого делим число на 16, а остаток записываем задом наперед:

256/16=16 в шестнадцатеричной, но так как у нас нет в данной с.с такого числа(она заканчивается на 15 или F), то мы представляем 16 как единицу и 2 нуля, т.е 100. 

Чтобы было понятней, то весь ряд чисел 16ичной с.с:

0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F

После F мы не можем написать просто 16, поэтому идем к началу ряда, начать число на ноль мы не можем, поэтому берем единицу и к ней два 0, один ноль мы тоже взять не можем, иначе бы получилось 10 или А.