Stavební vývoj kaple
Původní kaple byla bez oken, čtvercového půdorysu se sedlovou šindelovou střechou s otevřeným, do oblouku zaklenutým průčelím opatřeným mříží. Nad vstupem byl nápis „Maria, matko bolestná, oroduj za nás“. U kaple, před lípou, blíže k silnici na Jihlavu, stála samostatně dřevěná kazatelna. V letech 1888-1889 byla kaple přestavěna do současné podoby. Byla vybourána dvě boční okna a přistavěn uzavřený vstup s hranolovou zvonicí. První zvon, který byl do zvoničky zavěšen, odlil Peter Hilger ve Vídni a byl zrekvírován roku 1917. Při velké opravě kapličky roku 1927, byla šindelová střecha nahrazena zinkovým plechem a úprav doznal i interiér kaple. Téhož roku byl také zakoupen nový zvon ze zvonařské dílny Buřil a Riss v Kuklenách, ale i ten byl roku 1942 zabaven pro válečné účely. Od té doby je kaplička bez zvonu.
Kaplička byla postavena nad městečkem na kopci zvaném „Šteinhýbl“ a postupem času splynula s okolní zástavbou. Na fotografi je patrná dolina, která je pozůstatkem po těžbě jílu místními hrnčíři. Takových jam bylo v okolí Nového Veselí více.
Oltářní obraz
Jako památka na novoveselské muže, kteří obětovali své životy za 1. světové války, byl z darů občanů roku 1927 pořízen nový oltářní obraz od Norberta Pokorného z Tišnova. Znázorňuje patrony kaple s vedutou Nového Veselí na pozadí.
Světci na oltářním obraze v kapli (zleva): mučedník sv. Šebestián, Panna Maria s dítětem Ježíšem, poutník sv. Roch z Montpellier a poustevnice sv. Rozálie z Palerma.
Pověst o zkamenělém stádu
U tří lip pásával krávy Štěpán z novoveselského dvora. Děti na něj často pokřikovaly a vysmívaly se mu, že nedokáže stádo uhlídat. A když jednou opět uslyšel ono známé: „Štěpáne, Štěpáne, stádo se ti rozbíhá,“ rozzlobil se, uhodil holí do staré lípy a vykřikl: „Bodejž byste, pakáži, zkameněly!“ V ten okamžik pasák i s celým stádem zkameněl. Jejich kamenná těla zde stojí dodnes a ještě nedávno žili v městečku lidé, kteří věděli, který kámen byla kravka, volek nebo tele a komu patřili.
Pohled na Nové Veselí od kapličky (před rokem 1930).