زندان قدیم سمنان یا همان کاروانسرای «شاه عباسی» یکی از مناقشاتی بوده که سال‌ها میان دوستداران میراث فرهنگی و سازمان زندان‌ها در کش و قوس است.
شاید آن زمان که آیت‌الله رئیسی به‌عنوان رئیس قوه قضائیه در سفر به سمنان، دستور آزادسازی کاروانسرای باارزش ‌عباسی و در اختیار قرار دادن آن به شهرداری سمنان را صادر کرد امیدهای زیادی برای نجات این زندانی مهجور در قلب سمنان از بند برخی تصمیم‌ها زنده شد.
تخریب دیوارهای اطراف زندان فردای سفر رئیس قوه قضائیه به سمنان از سوی شهرداری مرکز استان و انعکاس گسترده رسانه‌ای این اتفاق مبارک، دیگر این شک را به یقین تبدیل کرده بود که به‌زودی کاروانسرای تاریخی شاه‌عباسی سمنان از بند زندان به آغوش مردم بازخواهد گشت اما دیری نپایید که این رؤیای شیرین رنگ باخت و گویی قفل زندان بر پیکر نحیف زندانی قدیمی سمنان سنگین‌تر شد.
تلاش‌ها برای رهایی کاروانسرای تاریخی از بند زندان کمرنگ و کمرنگ‌تر شد و کم‌کم صدای اختلافات بر سر آزادسازی این کاروانسرا به گوش همگان رسید.
اختلافاتی که علت ایجاد آن را موانع و مشکلات قانونی عنوان کردند و برخی‌ها هم عملاً رغبتی برای رفع مشکلات نداشتند؛ غافل از اینکه زندانی نگه‌ داشتن قلب تپنده تاریخی و گردشگری سمنان، داغی است که شهروندان سمنانی بیش از چهار دهه آن را تحمل کردند.
بنا بر گفته دوستداران میراث فرهنگی تصرف کاروانسرای این شهر از ابتدا خلاف عرف قانون انجام شد و در مدت این چهار دهه الحاقاتی به بنا اضافه شده که آن را از اصالت بنا دور کرده است!

و اینک خبر خوش 
«سند مالکیت کاروانسرای سمنان (زندان مرکزی سابق) به نام وزارت میراث فرهنگی صادر شد» این خبر از جمله اخبار خوشی است که سال‌هاست مردم سمنان در انتظار شنیدن آن بودند.
حجت‌الاسلام محسنی اژه‌ای در جریان سفر روز پنجشنبه پنجم مهرماه در جلسه شورای اداری استان سمنان دستور انتقال مالکیت کاروانسرای عباسی یا همان زندان مرکزی سابق را به وزارت میراث فرهنگی صادر کرد.
رئیس قوه قضائیه در این جلسه با اشاره به موضوع زندان سابق مرکزی سمنان و واگذاری آن به وزارت میراث فرهنگی برای تبدیل به مرکز فرهنگی و کاروانسرا، اظهار کرد: قوه قضائیه به مسئولیت‌های خود در قبال انتقال زندان مرکزی سمنان به خارج از شهر و واگذاری مالکیت مکان این زندان به متولی دولتی مربوط برای تبدیل به کاروانسرا و مرکز فرهنگی عمل کرد، اما متولیان مربوط به تعهدات خود عمل نکرده و نتیجتاً مجدداً مالکیت مکان مزبور به قوه قضائیه واگذار شد!
خوشبختانه هفتم مهرماه سند مالکیت کاروانسرای سمنان به نام اداره کل میراث فرهنگی، صنایع دستی و گردشگری استان سمنان به نمایندگی از دولت جمهوری اسلامی ایران صادر شد.
​​​​​​​
چالش‌های کاروانسرا 
یک کارشناس گردشگری در خصوص آثار تخریبی بر چهره این کاروانسرا می‌گوید: اجازه بازدید به عموم و خبرنگاران و همچنین کارشناسان میراث فرهنگی که با سمن‌های مردمی همکاری می‌کنند از این کاروانسرا تاکنون داده نشده اما شواهد، قرائن و تحقیقاتی که انجام شده نشان می‌دهد این کاروانسرا با تخریب زیادی همراه شده است.
محمدرضا صالحی‌پور با بیان اینکه به نظر می‌رسد نصب میله‌های زندان، دوربین‌های امنیتی و ایجاد زیرساخت‌های امنیتی برای زندان با تخریب‌های قسمتی از کاروانسرا همراه بوده است، اظهار می‌کند: انتقال کاروانسرا از ابتدا به سازمان زندان‌ها درست نبود.
وی بیان می‌کند: امروز بهترین فرصت برای احیای این کاروانسرا در استانی است که دارای 6 کاروانسرای ثبت جهانی است.

زندانی چهل ساله
کاروانسرای سمنان در مرکز استان یکی از ۹۹۹ کاروانسرای ساخته شده در دوران شاه‌عباس صفوی در شهر سمنان است که ۴۰۰ سال قدمت دارد و در سال ۱۳۵۲ به ثبت ملی رسیده است. 
حکایت تغییر کاربری این بنای تاریخی و تبدیل آن به زندان را حمیدرضا دوست‌محمدی، رئیس میراث‌ فرهنگی پیشین شهرستان سمنان این گونه روایت می‌کند: «این بنا تا پیش از سال 63 در اختیار میراث‌ فرهنگی بوده و از آن به عنوان اداره میراث ‌فرهنگی و کارگاه مرمت استفاده می‌شده است. بعدها به صورت غیرقانونی و احتمالاً بر اساس نیازهای آن موقع به زندان تغییر کاربری داده و در این کمتر از چهار دهه به عنوان زندان مرکزی سمنان مورد استفاده قرار گرفته است». به گفته او کاروانسرای شاه‌عباسی یکی از 999 کاروانسرای ساخته شده به دستور شاه‌عباس در مسیر جاده ابریشم است که از ابتدا با هدف خدمت‌دهی به تاجران و رونق تجارت ساخته شدند. 
پیش از این کاروانسراها، کاروانسراهایی با بناهای متفاوت وجود داشت. البته پیش از آن کاروانسراها، رباط‌ها و ساباط‌هایی در مسیر وجود داشته که عمدتاً معماری خشتی داشتند که امروزه نیز بقایای تعدادی از آن‌ها در استان سمنان وجود دارد و قلعه عبدل‌آباد یک نمونه از آن‌هاست.
ساخت و قدمت کاروانسرای سنگی آهوان که یکی از کهن‌ترین کاروانسراهای کشور و استان است به پیش از دوران صفویه برمی‌گردد. کاروانسرای شاه‌عباسی سمنان هم اثر تاریخی مهمی است که فرم‌های آن مثل همه کاروانسراهای شاه‌عباسی کشور هشت ضلعی است اما در معماری این بنا با پلان مربع ساخته شده است.
این بنای تاریخی حدود 3هزار و 700 مترمربع مساحت و 2 هزار و 500 متربع بنا دارد.