Ну точно не знаю, но рискну предположить, что это происходит от древних мореплавателей. С древности на парусных судах, моряки вывешивали в различных частях корабля так называемые "колдунчики" - лёгкие маленькие вымпелы, для определения силы и направления ветра. Со стороны это выглядело против логики: "колдунчик" всегда развевался в направлении движения корабля, хотя казалось бы, должно быть наоборот. Объясняется это довольно просто: если, например, выставить такой вымпел из окна движущегося автомобиля, то он будет развеваться под действием набегающего потока против хода движения. Для корабля, движущегося под парусами, нет встречного потока, поскольку корабль не может двигаться со скоростью равной скорости ветра: не даёт сила сопротивления о водную поверхность. "Колдунчик" же развевался на ветру, ничем не сдерживаемый, и всегда как бы "обгонял" корабль.
Ну это так, небольшое отступление. Так вот, по "колдунчику" определяли именно направление ОТКУДА дует ветер. Если объяснить по-простому: для моряков практическое значение имело то, "ОТКУДА ветер будет дуть в паруса". Постепенно это так и вошло в основу современной навигации, в том числе - авиационной.

Название "колдун", ксати, сохранилось в авиации и по сей день (это я как парашютист-инструктор говорю). Такое название носит конус-ветроуказатель, выставляемый на аэродромах. По нему определяют направление ветра при заходе на посадку пилоты легкомоторных самолётов, парашютисты; также - парапланеристы.