Der Haarmannsbrunnen wurde 1909 durch den Fürstenauer Bildhauer Adolf Graef geschaffen und befindet sich am südlichen Ende des Herrenteichwalls, wodurch er den Abschluss des Walls bildet. Die Brunnenanlage besteht aus einer Bronzefigur eines Bergmanns, der mühsam nach einer Quelle bohrt und sich nun über seinen Erfolg freut. Vor ihm befindet sich eine künstliche Felswand, aus der an der angebohrten Stelle das Wasser über den Arbeiter fließt und sich anschließend in einem halbrunden Becken sammelt. Von dort aus läuft es in ein weiteres Becken.
Die Steinarbeiten bestehen aus dem damals neuartigen Kunststein Durilit, der, aus gebrochenem Piesberger-Bruchstein, zu Beton verarbeitet, in die entsprechende Form gegossen wurde.
Der Brunnen gilt als Deutschlands ältestes Arbeiterdenkmal, steht jedoch - anders als oftmals gedacht - nicht für das bereits zum Zeitpunkt des Baus 16 Jahre zurückliegende Grubenunglück am 07.09.1893 im Stüveschacht beim Piesberg, bei dem damals neun Bergmänner ihr Leben ließen. Stattdessen symbolisiert es das hohe Maß an Mühen und Plagen der Arbeit, das durch Beharrlichkeit schließlich zum Ziel führt und mit reichem Segen belohnt wird.
Der Brunnen entstand zu einer Zeit, als darüber diskutiert wurde, ob der Herrenteichwall, wie alle anderen Wälle Osnabrücks, abgeflacht erhalten bleiben solle. Friedrich Lehmann war 1899 verantwortlicher Stadtbaumeister geworden, und sein neuer Entwurf, der die Erhaltung der Wallanlage und eine Umgestaltung des Aufgangs vom Möser-Platz aus sowie eine Rampe, Pavillon und Terrasse vorsah, wurde bewilligt. Zur Verschönerung des Projekts stellte der damalige Geheime Kommerzienrat, Senator Osnabrücks, Stahl- und Bergwerksdirektor Dr. August Haarmann die Schenkung einer Figur in Aussicht. Man erbat allerdings um freie Hand in der Wahl der Darstellung und setzte sich für den Erhalt des Walls und gegen eine geplante Ringstraße ein.
Der architektonische Teil stammt von dem Schweizer Architekten Alfred Hartmann, der acht Jahre im Stadtbauamt Osnabrücks tätig war. Die Bronzefigur schuf der Fürstenauer Bildhauer Adolf Graef nach eigenem Entwurf. Aus privaten Briefen in Graefes Nachlass ist zu entnehmen, dass er sich einen Bergmann vorstellte, der das Wasser aus einer Flözwand anbohrt. 
Haarmanns jüngster Sohn Allan besuchte den Künstler einmal in seinem Atelier in Berlin-Charlottenburg, um sich den Fortschritt der Arbeit anzusehen. Es sah den Mann, der Modell stand, einen kräftigen Berliner, der sich in der rücksichtslos mit Wasser übergossenen, aus dem Bergrevier bezogenen Bergmannshose, gar nicht wohl fühlte und einen echten Fäustel sowie Bohrstange in den Händen hielt.
Es ist überdies einem Zufall zu verdanken, dass die Bergmannsfigur noch heute den Brunnen ziert. Während des Zweiten Weltkriegs musste der Bergmann „zur Verstärkung der Metallreserve" abgebaut werden, ebenso wie der Schäfer (Heinrich Ströker) vom Rosenplatz. Eine Osnabrückerin entdeckte 1949 durch Zufall in Bredelar bei Brilon den Bronzemann unter anderen Figuren auf dem Sammelplatz einer Altmetallschmelze. Sie meldete den Fund dem Bauamt, und Stadtbaurat Reiling konnte das Kunstwerk durch die Stadt zurückkaufen lassen. Bis auf eine kleine Delle an der Hand ist die Figur unversehrt geblieben.