تأسست المكتبة عام 1408هـ-1988م، كانت في بداية الأمر مكتبة خاصة ملحقة بمنزل مؤسسها ينتفع بها هو وأولاده ومن يقوم بزيارته لهذا الغرض، بعد ذلك طرأت فكرة إنشاء مكتبة عامة يؤمها أهل الحي ومن يرغب من العلماء والمثقفين دون حرج ودون تكلف الزيارة من أجل تحصيل العلم والمعرفة، وبالفعل تم نقلها إلى مكان أرحب وأوسع . ففي عام 1409هـ-1989م تم إنشاء مبنى حديث بجوار مسجد الامام البخاري في منطقة النعيمية والذي لا يبعد عن جامعة عجمان للعلوم والتكنولوجيا سوى بضعة أمتار. وبعد ذلك تم توجيه الدعوة إلى صاحب السمو الشيخ حميد بن راشد النعيمي عضو المجلس الأعلى حاكم إمارة عجمان لزيارة المكتبة وافتتاحها رسميا في 16/08/1410هـ الموافق 13/03/1990م. ثم انتقلت بعد عدة سنوات إلى منطقة الجرف بعد أن أهداها صاحب السمو الحاكم قطعة أرض أقيمت عليها المكتبة الحالية