চট্টগ্রামের আন্দরকিল্লার সাথে মোঘলদের চট্টগ্রাম বিজয়ের কাহিনী সম্পৃক্ত । এই কিল্লা বা কেল্লায় মগ ও পর্তুগিজ জলদস্যুদের আস্তানা ছিলো। ১৬৬৬ খ্রিষ্টাব্দের ২৭শে জানুয়ারি শায়েস্তা খাঁ’র ছেলে উমেদ খাঁ এই আন্দরকিল্লার অন্দরে বা ভিতরে প্রবেশ করলে এর নাম হয়ে যায় “আন্দরকিল্লা”। চট্টগ্রাম বিজয়ের স্মৃতি ধরে রাখতে সম্রাট আওরঙ্গজেবের নির্দেশে শায়েস্তা খাঁ ১৬৬৭ খ্রিষ্টাব্দে এখানে নির্মাণ করেন “আন্দরকিল্লা শাহী জামে মসজিদ”। ১৭২৩ খ্রিষ্টাব্দে চট্টগ্রামের আরেক শাসনকর্তা নবাব ইয়াসিন খাঁ, এই জামে মসজিদটির কাছাঁকাছি, পাহাড়ের দক্ষিণ-পূর্ব দিকের একটি টিলার উপর আরেকটি পাকা মসজিদ নির্মাণ করে তাতে “কদম-রসূল” রাখলে জনসাধারণের কাছে ঐ মসজিদটি গুরুত্ব পেয়ে যায় এবং আন্দরকিল্লা শাহী জামে মসজিদ লোকশূণ্য হয়ে পড়ে। ১৭৬১ খ্রিষ্টাব্দে তাই ইস্ট ইন্ডিয়া কোম্পানী, এই মসজিদটিকে গোলাবারুদ রাখার গুদাম হিসেবে ব্যবহার করতে থাকে। ১৮৮৫ খ্রিষ্টাব্দে ঐতিহাসিক হামিদুল্লাহ খাঁ’র আবেদনের প্রেক্ষিতে মসজিদটি মুসলমানদের জন্য আবারও উন্মুক্ত হয়। ১৬৬৭ সালে এই মসজিদ নির্মাণের পর থেকেই চট্টগ্রামের ইসলাম ধর্মাবলম্বীদের তীর্থস্থান হয়ে উঠে আন্দরকিল্লার এই মসজিদ। এই মসজিদের ইমাম/খতিব নিযুক্ত হতেন পবিত্র মদিনার আওলাদে রাসুল গণ। ফলে অল্পদিনের মধ্যেই এই মসজিদ জনপ্রিয় হয়ে পরে। বলা বাহুল্য যে, এই জুমা মসজিদে প্রতি জুম্মায় চট্টগ্রাম ও এর আশেপাশের প্রত্যন্ত অঞ্চল থেকেও মুসল্লিরা এসে নামায আদায় করতেন এবং পবিত্র মাহে রমজানের শেষ জুমায় কক্সবাজার ও পার্বত্য চট্টগ্রাম থেকেও মানুষের সমাগমের নজির আছে। রোজা, ফিতরা এবং ঈদের চাঁদ দেখা প্রশ্নে এই মসজিদের ফয়সালা চট্টগ্রামের সর্বস্তরের জনগণ মেনে চলত অবধারিতভাবে। আন্দরকিল্লা জামে মসজিদের স্থাপত্য ও গঠন মোঘল রীতি অনুযায়ী তৈরি। সমতল ভুমি থেকে প্রায় ত্রিশ ফুট উপরে ছোট্ট পাহাড়ের উপর এর অবস্থান। মসজিদের নকশা অনুযায়ী এটি (১৬ মিটার) দীর্ঘ, (৬.৯ মিটার) প্রস্থ এবং প্রতিটি দেয়াল প্রায় (২.২ মিটার) পুরু।