ساختمان اصلی مسجد جامع یزد در قرن ششم هجری در زمان حکومت آل کاکویه ساخته شد. مسجد جامع کنونی مربوط به دوران حکومت آل مظفر در قرن هشتم و نهم هجری است. سید رکن الدین پس از احداث بقعه، میدان، آب انبار و ساعت به تعمیر و احیانا تجدید بنای این مسجد همت گماشت. پس از او شرف الدین علی یزدی کار او را ادامه داد و مناره هایی در طرفین گنبد ساخت. در سال ۷۷۸ هجری قمری، عفیف الدین دالان مسجد را بنا کرد. صفه سمت چپ گنبد توسط شاه یحیی ساخته شد.

محراب مسجد با کاشیکاری معرق به سال ۷۷۷ هجری همزمان با شبستان تابستانی ساخته شده است. طاق محراب مقرنس و بدنه داخلی آن را با هشت قاب مستطیل و مربع شکل از کاشی معرق بر زمینه سفال بی لعاب متشکل از یک طرح هندسی تزیین کرده اند.

بر فراز مسجد، گنبد دو پوش هشت ضلعی قرار دارد. یکی از دو منار سردر اصلی دارای دو مسیر حرکت مستقل از هم است. در زیر صحن مسجد پایاب یا سردابه ای وجود دارد که با آجر و کاشی مزین شده است.

در سال ۸۶۲ هجری قمری به دستور نظام الدین جهانشاهی القاب میرزای جهانشاهی بر روی کاشی تراشیده و بر سردر مسجد نصب شد. در زمان حکومت امیر چقماق صحن مسجد با سنگ مرمر مفروش و دو ستون مرمرین در دو طرف صفه جنب مسجد نصب گردید و منبر کاشی کاری شده، جای منبر چوبی قدیمی را گرفت.