در این قصر، عمارت های متعددی بود که نامشان را در دوران فتحعلی شاه حوضخانه، تالار قلمدان، تالار سلام و عمارت دلگشا گذاشتند و از آنجا که دارای نقاشی ها و نگاره های متعددی بوده، به نگارستان شهرت پیدا کرده است.

این باغ تا قبل از آنکه دانشگاه تهران با سازمان برنامه و بودجه تفاهماتی ایجاد کنند و در پی آن سازمان برنامه و بودجه اقدام به تخریب بخش زیادی از ساختمان ها کند، شاهد اتفاقات تاریخی زیادی بوده است به نحوی که قتل دولتمرد آزاده ایرانی یعنی میرزا ابوالقاسم قائم مقام فراهانی به دست محمدشاه در این مکان انجام شده است همچنین محمد شاه در باغ نگارستان بر روی تخت طاووس تاج گذاری کرد اما اکنون از محل این رویدادهای تاریخی چیزی باقی نمانده است.

در زمان سلطنت مظفر الدین شاه به تبعیت از اروپا نخستین مدرسه فلاحت به سرپرستی کمال الملک در این محل تاسیس شد و در سال 1307 اعتماد الدوله وزیر فرهنگ ایران، باغ نگارستان را به عنوان محل دائمی دارالمعلمین عالی در نظر گرفت.

سپس نقشه ساختمان یک مدرسه عالی با رعایت سبک معماری ایرانی ، قاجاری و اصول مدرسه سازی توسط مارکوف( معمار پناهنده روسی) در ضلع شمالی باغ تهیه و اجرا شد.
در سال 1315 هم عمارت بزرگ دیگری به عنوان کتابخانه در شمال شرقی باغ بنا شد و پروین اعتصامی به عنوان معاون این کتابخانه در آنجا کار می کرد.

در باغ نگارستانی که اکنون بعد از مدتها درب آن به روی مردم توسط دانشگاه تهران باز شده،، شخصیت های علمی، ادبی و هنری زیادی مانند ملک الشعرای بهار، علی اکبر دهخدا، سعید نفیسی، بدیع الزمان فروزانفر، محمود حسابی، پرویز خانلری و ... تحصیل و یا تدریس کرده اند.

این باغ با شماره 2082 در فهرست میراث ملی ایران ثبت شده است و هنوز از فضای باغ مانند آن، درختان کهنسالی باقی مانده است تا بتوان آن را باغ نام نامید با این حال در کنار تمام اتفاقات تاریخی، در این باغ یکی از سالن های عمارت چند روز پیش با کمک شهرداری تهران و اداره کل موزه های دانشگاه تهران به موزه کمال الملک تغییر کاربری داد.

در این موزه 120 اثر از این هنرمند ایرانی و شاگردان مدرسه صنایع مستظرفه به نمایش گذاشته شده است