Будем считать, что восьмиугольник выпуклый.

Диагональ - это отрезок, соединяющий две не соседние вершины.
Подсчитаем число способов выбрать две не соседние вершины - это и будет ответом.

Возьмем произвольную вершину. Для неё найдётся 8 - 3 = 5 не соседних вершин: не подходят она сама, а также две соседние вершины. Значит, всего есть 5 диагоналей, выходящих из данной вершины.

Всего вершин 8, из каждой выходит по 5 диагоналей, тогда всего диагоналей 8 * 5 / 2 (деление на 2 возникает, так как каждая диагональ подсчитана дважды. Например, диагональ, соединяющая вершины A и B, входит и в пять вершин, выходящих из вершины A, и в 5 вершин, выходящих из вершины B).

Ответ. 8 * 5 / 2 = 20