Nußbaum mit seinen 1228 Einwohnern (Stand: 31. Dezember 2018) ist der älteste der drei Ortsteile und als Muzboumen bereits im Jahre 883 im Lorscher Codex genannt; jedoch lassen die Reste einer größeren römischen Villa, die in der Nähe des heutigen Ortes gefunden wurden, auf eine wesentlich weiter zurückreichende Siedlungsgeschichte schließen. Eine im Jahr 1798 ebenfalls dort gefundene Herkules-Statuette wird im Landesmuseum Stuttgart aufbewahrt. Eine Kopie der Statuette ist seit Oktober 2011 im Heimatmuseum Nussbaum ausgestellt.
Hercules, zu erkennen an der Keule und den aus dem Garten der Hesperiden gestohlenen Äpfeln. Lange wurde sein Fundort mit Neulingen-Nußbaum angegeben, dies wurde inzwischen aber berichtigt.
Nach der Reformation fiel der Ort an Württemberg und kam erst 1806 durch den Tausch- und Epurationsvertrag im Zuge der napoleonischen Grenzveränderungen zum Großherzogtum Baden.
Die evangelische Kirche St. Stephan besitzt einen Romanischen Turm, einen gotischen Chor und im Chorraum Fresken aus dem Jahr 1492 und aus dem 16. Jahrhundert.
Die Nußbaumer nennt man auch die Backkörb. Der Legende nach weilte Kaiser Karl der Große in Nußbaum schon zur Jagd, während noch alles von Wald umgeben war, und vermutlich noch niemand hier wohnte. Allmählich seien die Lebensmittelvorräte ausgegangen. Als der Monarch nach der Jagd fragte, ob denn noch etwas zum Essen da sei, zeigte ihm ein kleiner Junge eine Walnuss, die er seiner Majestät schenken wollte. Der Kaiser freute sich zwar sehr über diese nette Geste, doch meinte er, dass dies weder dem Schenkenden noch dem Beschenkten etwas nütze und ließ diese Nuss an Ort und Stelle in die Erde legen. Sein Wunsch war es, dass, so wie aus der Nuss ein Nussbaum wachsen werde, an dieser Stelle ein Dorf entstehen solle, das man später Nußbaum heißen werde. Fest steht auf jeden Fall, dass Nussbäume in Nußbaum eine lange Tradition haben. Denn in früheren Zeiten standen am Ortseingang von Göbrichen her, auf der rechten Seite, zahlreiche Nussbäume.
