این واژه را اغلب از marmaros (مارمارُوس) یونانی به همین معنا مشتق دانستهاند. اما این واژه در یونانی باستان مشتق دیگری جز marmarein (مارْمارِئین: درخشیدن، برق زدن) ندارد که آشکارا فعلی است ساخته شده از روی نام مرمر. ریشههای پیشنهاد شده برای آن -«*mor» (مردن) و «*mer» (ناپدید شدن)- هم ارتباطی معنایی با آن ندارند. به همین خاطر حدسم آن است که ریشهاش «*مَرْگ» باشد به معنای «درخشان، براق»، که «مروارید» و «مرجان» نیز از همان برخاستهاند. با توجه به این که پیشینهی استخراج و پیکرتراشی از مرمر در ایران زمین دو هزار سال کهنتر از یونان است، قاعدتا واژه از ایران به یونان انتقال یافته و نه برعکس.
«مرمر» از یونانی به زبانهای اروپایی راه یافته و در همهشان به همین شکل کلمهای تکافتاده است و حدسم را دربارهی خاستگاه ایرانی واژه تایید میکند. چون نشان میدهد که این ریشه در زبانهای اروپایی شاخهزایی نکرده است. در ضمن برخی از این واژگان احتمالا موازی با یونانی، مستقیما از زبانهای ایرانی وامگیری شده باشند: marmor و marmoreus (مرمرین) لاتین، marmul/ marmel آلمانی کهن، marbre فرانسوی کهن (قرن دوازدهم)، мраморъ (مْرامُورو) اسلاوی کهن کلیسایی، marmor آلمانی، marmo ایتالیایی، marble (اوایل قرن چهاردهم) و marmoreal (مرمرین؛ ۱۷۲۳م.) انگلیسی، marble فرانسوی، marmor لهستانی، мра́мор (مُرامُور) روسی، мра́мор (مْرامُر) بلغاری، marmoras لیتوانیایی،
در زبانهای ایرانی این واژه را به این شکلها میبینیم: «مرمر» و «مرمرین» و «مرمره» (جزیرهای در آناتولی با معادن مرمر غنی) پارسی، մարմար (مَرمَر) و մարմարիոն (مَرْمَریون) ارمنی کهن، «مارماریُون» (مرمر) و «مارماریایْ» (مرمرین) و մարմար (مَرمَر) ارمنی، მარმარილოჲ (مَرْمَریلُویْ) گرجی کهن، მარმარილო (مَرْمَریلُو) گرجی، «مَرْمَر» عربی، мәрмәр (مَرْمَر) باشکیری، «مِرْمِر» ترکی،
واژهی مرمر در شعر و ادب پارسی فراوان به کار گرفته شده است:
نظامی: «در او دربسته صندوقی ز مرمر بر آن صندوق سنگین قفلی از زر»
سنایی غزنوی: «مزاج و طبع هوا گرم و نرم شد، نشگفت اگر بزاید از پشم و مرمر آتش و آب»
مولانای بلخی: «دلی دارد غمش چون سنگ مرمر از آن مرمر دو صد گوهر بگیریم»
و: «هرکس که دید چهرهی او و نشد خراب او آدمی نباشد، او سنگ مرمر است»