Для начала переведем всё числа в десятеричную систему счисления:
M=33257(10)
L = 97A(16) =  9 * 16^2 + 7 * 16^1 + A * 16^0 = 9 * 256 + 7 * 16 + 10 * 1 = 2304 + 112 + 10 = 2426(10)
T = 76705(8) = 7 * 8^4 + 6 * 8^3 + 7 * 8^2 + 0 * 8^1 + 5 * 8^0 = 7 * 4096 + 6 * 512 + 7 * 64 + 5 * 1 = 28672 + 3072 + 448 + 5 = 32197(10)
p = FB01(16) = F * 16^3 + B * 16^2 + 0 * 16^1 + 1 * 16^0 = 15 * 4096 + 11 * 256 + 1 = 61440 + 2816 + 1 = 64257(10)
K = 1 0000 0000 0011 0101(2) = 1 * 2^16 + 0 * 2^15 + ... + 0 * 2^6 + 1 * 2^5 + 1 * 2^4 + 0 * 2^3 + 1 * 2^2 + 0 * 2^1 + 1 * 2^0 = 65536 + 32 + 16 +  4 + 1 = 65589(10)

Теперь подставим числа в формулу и получим результат:

M + 9L - K - 2T + p = 33257 + 9 * 2426 - 65589 - 2 * 32197 + 64257 = 33257 + 21834 - 65589 - 64394 + 64257 = -10635

Ответ: -10635

P.S. У вас T тоже самое, что p. Так и должно быть?