Пусть имеем выпуклый n -угольник. Из 1й вершины можно провести n-3диагонали. Из 2й соседней вершины - те же n-3 диагонали. А вот числа диагоналей из других вершин начнут убывать по единице. Складываем их все: 
N=(n-3)+1+2+3+...+(n-4)+(n-3)=n-3+(n-3)(n-2)/2=(n-3)[1+(n-2)/2]=n(n-3)/2. 
Проверим. У треугольника n=3 - и нет диагоналей, как и д.б. по формуле. 
Квадрат: n=4. Диагоналей там очевидно 2. Так же и по ф-ле. 
5-угольник. По рисунку видно - 5 диагоналей. По формуле - тоже. 
6-угольник. 9 диагоналей. Работает!