নাখোদা একটি ফার্সি শব্দ, যার আভিধানিক অর্থ হলো- জাহাজের ক্যাপ্টেন কিংবা জাহাজ যোগে আমাদানি-রফতানি ব্যবসা করে থাকেন এমন মানুষ। বিভিন্ন বই বা ইতিহাস ঘেঁটে নাখোদা সম্বন্ধে যা ইতিহাস পুনরুদ্ধার করা যায় তা হলো- গুজরাটের কচ্ছ নামে একটা জায়গাতে কিছু সুন্নি সম্প্রদায়ের মুসলিমরা বসবাস করতেন। যাদের এক কথায় ‘কাচ্ছি মেমন জামাত’ বলা হয়ে থাকে। সেই সময় তাদের নেতা আব্দুর রহিম ওসমান ছিলেন পেশায় সমুদ্র বণিক। তিনি ১৯২৬ সালের ১১ সেপ্টেম্বর কলকাতার জাকারিয়া স্ট্রিটের সংযোগস্থলে চিৎপুরে এই মসজিদটির নির্মাণ কাজ শুরু করেন। আব্দুর রহিম ওসমান তার উপার্জিত টাকা দিয়ে এই মসজিদটির নির্মাণ শুরু করেন। তৎকালীন সময়ে ১৫ লাখ টাকা নির্মাণ খরচ বহন করেছিলেন, যার বর্তমান মূল্য প্রায় কয়েকশো কোটি টাকা, যেহেতু তিনি পেশায় একজন বণিক বা ব্যবসায়ী ছিলেন, তার নামানুসারে এই মসজিদটির নামকরণ হয় ‘নাখোদা মসজিদ’।