5sin^2x - 14sinx*cosx - 3cos^2x = 2 *1 
5sin^2x - 14sinx*cosx - 3cos^2x = 2 (sin^2x + cos^2x)
5sin^2x - 14sinx*cosx - 3cos^2x = 2 sin^2x + 2cos^2x
5sin^2x - 2sin^2x - 14sinx*cosx - 3cos^2x  - 2cos^2x = 0 
3sin^2x - 14sinx*cosx - 5cos^2x = 0  // : (cos^2x ≠ 0)
3tg^2x - 14tgx - 5 = 0 
Предположим, что  tgx = t, причём t ∈ ( - ∞;  + ∞), тогда имеем
3t^2 - 14t - 5 = 0 
D = 196 + 60 = 256 = 16^2
t1 = ( 14 + 16)/6 = 5;
t2 = ( 14 - 16)/6 = - 1/3

Вернёмся к замене
tgx = 5 
x = arctg(5) + pik , k ∈ Z

tgx = - 1/3
x = - arctg(1/3) + pik, k ∈ Z