Родился в Киеве в семье скрипача, которого арестовали, когда Олегу было два года. С самого раннего детства писал музыку. Семья поселилась в Ленинграде до Великой Отечественной войны; отец работал в музыкальном отделе «Ленфильма», мать - в школе. В апреле 1937 года в возрасте 9 лет Олег Каравайчук выступил с исполнением собственного сочинения - «Колыбельной песни» - на сцене Большого зала Московской консерватории, партию виолончели исполнил Даниил Шафран, которому было 14 лет. Окончил музыкальное училище по классу фортепиано при Ленинградской консерватории в 1945 году. В марте 1943 года принял участие в концерте юных музыкантов в рамках празднования 80-летия консерватории в Ташкенте. В 1945-1951 годах учился в Ленинградской государственной консерватории по классу фортепиано (педагог Самарий Савшинский). Первая работа для кино - музыка к фильму «Алёша Птицын вырабатывает характер» (1952), приглашён по рекомендации автора сценария фильма - Агнии Барто; наставником молодого композитора для этой работы выступил Моисей Вайнберг. Работая в кино, Каравайчук иногда снимался в эпизодических ролях, в некоторых фильмах выступал также и как дирижёр своих произведений, например, в «Поднятой целине», «Городе мастеров», «Коротких встречах». По словам Каравайчука, свой метод, лёгший в основу поиска и создания музыки для кино, он обрёл с помощью Виктора Некрасова, во время работы над фильмом «Солдаты», сценаристом которого был Некрасов. В начале 1960-х годов состоялось единственное публичное выступление Каравайчука на сцене Ленинградского концертного зала (ныне Концертный зал у Финляндского), едва не закончившееся скандалом. Так что в следующий раз он смог выйти на сцену лишь два десятилетия спустя - 25 апреля 1984 года, выступил перед артистами ленинградских театров со сцены Дома актёра имени Станиславского, исполнив произведения Мусоргского и Бетховена. Во времена новой оттепели (после 1989 года) побывал в Великобритании, выступал на Русской службе BBC, в одной из передач свои впечатления о британской столице он выразил вокальным образом - напел звуки. Тогда в рамках передачи Бориса Нечаева «У нас на острове» было подготовлено пять программ с участием Олега Каравайчука. Впоследствии композитору покровительствовала Марьяна Цой, вдова Виктора Цоя, до своей смерти в 2005 году. Сотрудничал с Сергеем Параджановым, Василием Шукшиным, Ильёй Авербахом, Кирой Муратовой («Короткие встречи», «Долгие проводы») и другими. Каравайчук также сотрудничал с авангардистами, в частности с Сергеем Курёхиным.