تاریخ ساخت و بنیان‌گذار اولیه باغ ارم شیراز، به‌درستی مشخص نیست؛ ولی توصیف‌هایی از آن در سفرنامه‌های متعلق به قرن دهم و یازدهم هجری آمده‌است. این باغ در روزگار سلجوقیان و آل اینجو پابرجا بوده است. در زمان زندیه هم کریم‌خان زند در سازندگی و بهسازی این باغ کوشید. در زمان قاجاریه این باغ به مدت ۷۵ سال مقر سران ایل قشقایی بود.

در شمال غربي شيراز و در انتهاي خيابان ارم و در تقاطع بلوار شرقي - غربي باغ ارم و بلوار شمالي - جنوبي جام جم و آسياب سه تايي، باغ ارم قرار گرفته است. اين باغ به مناسبت عمارت و باغ بزرگي كه در گذشته توسط شدادبن عاد پادشاه عربستان به رقابت با بهشت ساخته شده و ارم ناميده شده بود، به باغ ارم مشهور گرديده است.
تاريخ ساخت اين باغ را به دروه سلجوقيان نسبت داده اند چرا كه در آن زمان، باغ تخت و چند باغ ديگر توسط اتابك قراجه حكمران فارس - كه از سوي سنجر شاه سلجوقي به حكومت فارس منصوب شده بود، احداث شد و احتمال ايجاد اين باغ به درخواست وي و در آن زمان، زياد است. همچنين احتمال مي رود كه اين باغ در زمان كريم خان زند مرمت شده باشد.


در اواخر سلسله زنديه، بيش ا ز75 سال اين باغ در تصاحب سران ايل قشقايي بود، بناي اوليه عمارت باغ ارم توسط جاني خان قشقايي اولين ايلخان قشقايي و پسرش محمدقلي خان و در زمان فتحعليشاه قاجار احداث شده است. معماري بنا نيز توسط شخصي به نام حاج محمد حسن كه از معماران معروف بود، صورت گرفته است.
عمارت اصلي باغ ارم طبق معماري دوره صفويه تا قاجاريه بنا شده است. اين ساختمان داراي سه طبقه است كه طبقه زيرين داراي حوض خانه اي براي استراحت در روزهاي گرم تابستان است كه در آن آب نماي زيبايي است و طاق آن با كاشي هاي هفت رنگ مزين شده است. جوي آبي نيز از وسط آن مي گذرد و سپس به آب نماي بزرگ جلوي عمارت مي ريزد.

در زمان ناصرالدين شاه قاجار، ميرزا حسن علي خان نصيرالملك، آن باغ را از خاندان قشقايي خريد و ساختمان كنوني را به جاي عمارت قبلي ساخت، اما تزئينات ناتمام باغ پس از فوت حسنعلي خان در سال 1311 توسط ابوالقاسم خان نصيرالملك پايان يافت.

طبقه دوم داراي ايواني دوستوني با سقف مسطح است كه در پشت آن تالاري قرار دارد و دو طرف آن دو راهرو، 4 اتاق در دو طرف راهرو و دو ايوان كوچك و دو طبقه ساخته شده است و بر فراز اين دو راهرو، دو گوشواره به عنوان طبقه سوم وجود دارد.
طبقه سوم، داراي يك تالار بزرگ مانند تالار طبقه دوم است كه پنجره هاي آن به ايوان اصلي باز مي شود. در دو طرف آن نيز دو راهرو وجود دارد. دو ايوان كوچك نيز در هر طرف ايوان بزرگ همانند طبقه سوم قرار دارد.