Jernbanen kom til Horsens i 1868 som en mellemstation på strækningen Fredericia-Århus og i de følgende 50 år blev Horsens en af de byer i Danmark med flest tilsluttede jernbaner. De første planer for en bane i nordvestlig retning fra Horsens op mod Brædstrup fremkom omkring 1875, men det var først i den store jernbanelov af 1894, at der tilvejebragtes lovhjemmel for en jernbane fra Horsens via Brædstrup til Bryrup.
I 1891 var den smalsporede Horsens - Tørring Banen (HTB) åbnet og af økonomiske årsager blev det besluttet, at Bryrupbanen ligeledes skulle være smalsporet - 1.000 mm med 12,5 kg/m skinner. Den 20. maj 1896 blev der udstedt koncession til Horsens - Bryrup Jernbaneselskab (HBJ) og i foråret 1897 påbegyndtes anlægsarbejdet, der blev udført af Hoffmann, Hansen & Co. Stationsbygningerne blev tegnet af arkitekt Viggo Bertram og opført af tømrermester P. Thommesen, Levring ved Kjellerup. Efter 2 års arbejde kunne Horsens – Bryrup Jernbane endelig indvies den 22. april 1899 og dagen efter påbegyndtes den daglige drift med to tog i hver retning.
Bryrupbanens skarpe kurver og mange stigninger stillede særlige krav til trækkraften og valget faldt på en usædvanlig Mallet type fra Arnold Jung Lokomotivfabrik, Jungenthal i Tyskland som fabrikken allerede var ved at producere i tre eksemplarer til Kolding - Egtved Jernbane (KEJ). Til åbningen købte HBJ tre af disse maskiner og i 1900 fulgte yderligere em maskine. Den specielle konstruktion med dobbelte cylindre og en drejelig bogie resulterede i mange problemer i de første år. Da banen i 1908 stod for at indkøbe endnu en maskine, valgtes en mere konventionel 1C-koblet type fra Krauss & Cie i München. Vognmateriellet bestod af 2. og 3. klasses bogievogne fra Beuchelt & Co i Tyskland mens godsvognene var af almindelig 2-akslede typer fra samme fabrik. Senere fik Horsens - Bryrup Jernbane yderligere vognmateriel fra både Scandia i Randers og Vulcan i Maribo. Til transport af de smalsporede godsvogne til og fra Horsens havn leveredes et antal normalsporede transportører, hvorpå de smalsporede vogne kunne stå.
Horsens - Bryrup Jernbane havde et vist driftsfællesskab med Horsens - Tørring Banen, idet HBJ, som var banens ejendomsmærke, benyttede HTB´s spor fra Horsens til Lund, havde fælles station med HTB samt fælles værksted m.m.
I 1929 blev HBJ ombygget til normalspor og forlænget til Silkeborg, og ved samme lejlighed blev banen omdøbt til Horsens - Bryrup - Silkeborg Jernbane (HBS). Læs historien om HBS her.

- HBJ damplokomotiver
- HBJ person- og rejsegodsvogne
- HBJ godsvogne