Мне кажется, что причина в том, что оливы - это роскошь для нашей земли, для русского человека, так как такие растения в нашем климате просто так расти не будут, в отличие, например, от Греции и Италии. Оливы ценились поэтому - то и дороже, скорей всего считались роскошью.