শ্রী অজিত রায় ১৯৩৮ সালের ২৯শে জুন রংপুর শহরে জন্মগ্রহণ করেন। ১৯৫৭ সালে তিনি মাধ্যমিক পরীক্ষা পাশ করে রংপুর কারমাইকেল কলেজে পড়াশুনা করেন। অজিত রায়ের সঙ্গীত জীবনে সাফল্যের পেছনে তাঁর মা কণিকা রায় অপরিমেয় প্রভাব রেখেছেন। কিশোর বয়স থেকেই তিনি তবলা বাজানো এবং নিয়মিত চর্চার মাধ্যমে সুর ও স্বরের সাধনা শুরু করেন। কারমাইকেল কলেজে অধ্যয়নের সময় সাংস্কৃতিক প্রতিযোগিতায় তিনি সঙ্গীত বিভাগে তিনটি বিষয়ে প্রথম স্থান অধিকার এবং চ্যাম্পিয়ন হওয়ার গৌরব অর্জন করেন। গান শেখার প্রেরণা ছিলো ১৯৫২’র ভাষা আন্দোলন। ষাট দশকের মাঝামাঝি হতে প্রতি বছর ২১শে ফেব্রুয়ারিকে স্মরণ করে একটি করে নূতন গান করে আসছেন তিনি। এই রকমই একটি গান ছিলো জাতীয়  কবি কাজী নজরুল ইসলাম রচিত বিদ্রোহী কবিতায় আলতাফ মাহমুদের সুর করা গান।

রংপুরে থাকাকালীন ১৯৬১ সালে রবীন্দ্র শত বার্ষিকী অনুষ্ঠানে ‘চন্ডালিকা’ গীতিনাট্যে ‘আনন্দ’ এর ভূমিকায় অংশগ্রহণ করে তিনি ভূয়ষী প্রশংসা অর্জন করেন। তখন থেকেই তিনি রবীন্দ্র সঙ্গীত সাধনায় ব্রতী হন। 

শ্রী অজিত রায় ১৯৬২ সালে ঢাকায় আসেন। ১৯৬৩ সালে রেডিওতে ও পরবর্তীতে টেলিভিশনের বিভিন্ন অনুষ্ঠানে অংশগ্রহণের মাধ্যমে শ্রী রায় রবীন্দ্র সঙ্গীত শিল্পী হিসেবে সুপরিচিত হওয়ার গৌরব অর্জন করেন। ১৯৬৯ সালের গণ অভ্যুত্থানের সময় শ্রী অজিত রায় কবিতা আবৃত্তি, অভিনয় ও সংগ্রামী গান গেয়ে সংগ্রামে অংশগ্রহণের জন্য জনগণকে উজ্জীবিত করেন। ১৯৭১ সালে মুক্তিযুদ্ধের সময় তিনি ভারতে যেয়ে স্বাধীন বাংলা বেতারের অনুষ্ঠানে অংশগ্রহণ করেন।

বাঙলাদেশ স্বাধীন হওয়ার পর শ্রী অজিত রায় ১৯৭২ সালে বাংলাদেশ বেতারে চাকুরি গ্রহণ করেন এবং ১৯৯৫ সালের ৯ অক্টোবর চাকুরি থেকে অবসর গ্রহণ করেন। সঙ্গীত শিল্পী শ্রী অজিত রায় ১৯৭২ সালে বাঙলাদেশ সরকারের সাংস্কৃতিক দলের প্রতিনিধি হিসেবে ভারত এবং ১৯৭৪ সালে সোভিয়েত ইউনিয়ন সফর করেন। 

শ্রী অজিত রায় বিভিন্ন সময় বুলবুল ললিতকলা একডেমী, ছায়ানট, সংগীত মহাবিদ্যালয় ও উদীচি-তে প্রশিক্ষক হিসেবে কাজ করেন। ১৯৬৩ সালে সুখেন্দু চক্রবর্তীর সঙ্গীত পরিচালনায় ‘রিপোর্টার’ ছায়াছবিতে তিনি প্রথম কন্ঠদান করেন। এছাড়াও ‘জীবন থেকে নেয়া’, ‘কোথায় যেন দেখেছি’, ‘যে আগুনে পুড়ি’, ‘আমার জন্মভূমি’, ‘কসাই’ প্রভৃতি ছায়াছবিতেও তিনি কন্ঠদান করেছেন।

গত ৪ সেপ্টেম্বর, ২০১১ সালে দুপুরে তিনি বারডেম হাসপাতালে পরলোকগমন করেন।