Пусть в "долях" a <= b <= c вершин, и проведены все рёбра между разными "долями". Так как из каждой вершины, лежащей в первой "доле", можно провести только b + c рёбер, из второй доли — a + c рёбер, из третьей — a + b рёбер, то общее количество рёбер равно (a * (b + c) + b * (a + c) + c * (a + b))/2 = ab + ac + bc (деление на 2 возникает из-за того, что каждое ребро подсчитывается дважды).
Нужны такие a, b, c, при которых значение выражения ab + bc + ac будет максимально. Максимальное значение можно найти перебором.

python 3:
max_value = 0
  
for a in range(40//3 + 1):
    for b in range(a, (40 - a)//2 + 1):
      c = 40 - a - b
      value = a * b + a * c + b * c
      max_value = max(max_value, value)
 
print(max_value)

Ответ. 533