قلعه صمصام در مدخل ورودی شهر و در ضلع جنوبی خیابان، کنار رودخانه کرج ساخته شده و جاده کرج - چالوس ، در ضلع شرقی آن قرار داره.مساحت قلعه، ۱۱۲۲ مترمربع که تشکیل شده از یک حیاط مرکزی و تعدادی اتاق های مخروبه که به طور الحاقی و به مرور در آن ایجاد شده و چهار برج که فقط دو برج آن در ضلع شمالی موجود هستند. مصالح به کار رفته در برج صمصام سنگ ، آجر ، ملاط و ساروج است. به لحاظ طرح معماری از طرح دژهای جلگه ای تبعیت می کند که معمولا چهارگوش هستند، با برج های مدور در گوشه ها که عمدتا جنبه نظامی و تدافعی داشته