Bursa kökenli bir ailenin en büyük erkek çocuğu olan Ali Erköse, 1926 yılında Bursa’da dünyâya geldi ve tahsil hayâtına İstanbul’da devam etti. İlk olarak 1940 yılında Kemanî Ali Demir Bey’den aldığı dersle sanat yaşamına başladı.
Daha sonra Sadi Işılay‘dan aldığı derslerle musiki bilgisini geliştirdi. Üsküdar Musiki Cemiyeti ve Ankara Radyosu’ndaki çalışmaları gelişme döneminde Ali Erköse’ye olumlu katkılarda bulunmuştur.
1960 yılından itibaren İstanbul Radyosu’nda keman sanatçısı olarak görev yapan Ali Erköse, 7 Eylül 2007 tarihinde İstanbul’da vefat etmiştir.