Мушмула японская — вечнозелёное дерево, достигающее высоты 8 м. Побеги и соцветия имеют рыжевато-серый цвет от густого войлочного опушения, которое защищает листья от заморозков. Цельные овальные листья достигают длины 25 см и ширины 7—8 см, кожистые, сверху глянцевые, снизу опушённые, сидячие или с коротким черешком. Цветки размером 1—2 см собраны в прямостоящие метёлки на концах побегов. Лепестков пять, белого или желтоватого цвета, столбиков два—три, тычинок с желтовато-красными пыльниками 20—40, чашелистиков пять, снаружи они опушённые. Цветёт в сентябре — ноябре. Цветки белого цвета, небольшие, источают тонкий приятный аромат. Дерево зимостойко: ветви переносят кратковременные похолодания до -20°С, завязи — до -6°С, соцветия — до -3°С. Следует учитывать и то факт, что чем старше дерево, тем оно более зимостойкое. При -17°С тонкие ветви погибают, при -23°С гибнет всё дерево, однако отрастает вновь от корня. В суровые зимы на северной границе субтропиков дерево часто растёт и цветёт, но плодоносит не каждый год, а только в относительно тёплые зимы (раз в 2—5 лет).
К почве в целом нетребовательна: может хорошо расти также и на тяжелых глинистых почвах. Хорошо переносит как затененность, так и прямые солнечные лучи. Взрослые деревья хорошо переносят механические повреждения, которые часто даже дают эффект их омоложения в виде появления новой поросли, которая вновь начинает активно плодоносить после одеревенения. Таким образом, кустарник может пройти несколько вегетативных циклов, общая продолжительность которых достигает 100 лет и более.