黑田家乃宇田源氏、佐々木氏流,从13世纪末其14代京极满信的次男宗信开始居住于近江国伊香郡黑田村开始使用黑田姓,是近江源氏望族。宗信之后的第6代高政(黑田如水的曾祖父)于1511年(永正8年),跟随近江守护佐々木高赖出阵山城国船冈山。高政由于违背军令而不得不举家逃往同族加地氏、饱浦氏居住的备前国邑久郡福冈乡。1523年(大永3年),高政死于备前,其子重隆继任家督。在之后的几年中,播磨的浦上宗则大肆侵攻备前。重隆被迫离开福冈,逃往播州姬路避难,并出仕馆野的赤松晴政。然而,赤松晴政的无能令重隆十分失望,隐居于姬路的城下町,以制药、贩药至富。之后,将所贩药得出借给别人,以收取利息。由于重隆只收百分之二十的利息,(当时一般为百分之五十)并且无须担保,他很快成为当地的重要人物,可以动员200余人左右。此时,西播磨御着城的赤松一族的小寺藤兵卫政职在当地势力甚大,衣笠·上月·宇野氏纷纷臣从,只有豪族香山氏与之对立,频频出兵进犯。1543年(天文12年)12月29日,重隆19岁的嫡子甚四郎(后来的职隆)引家臣团大败香山重道,并取其首级,后凭此首级出仕小寺政职。政职以原香山氏领地四十町相赐,以客将之礼厚待之。1545年(天文14年),小寺政职将养女(明石城主明石正风之女)嫁与职隆,职隆成为小寺一门众,任家老。后小寺政职又将小寺姓赐予职隆,提拔他为笔头家老,负责要冲姬路城的守备。
1546年(天文15年)11月29日,一名男婴在姬路城诞生。幼名万吉,后来被叫做官兵卫孝高。他就是令秀吉、家康感到畏惧的稀世名军师黑田如水。
如水幼年师从姬路村中净土宗草庵的圆满御坊。十四岁元服,改名官兵卫孝高。十六岁(也有说是十七岁)时初阵。
1561年(永禄4年),小寺政职鹰狩后的宴席上见到如水,将其召至御着城为近习,知行八十石。政职十分看重如水的才能,赐以小寺姓,后又任之为家老。当时如水年仅二十二岁。同年,如水迎娶政职之侄播磨志方城主櫛桥丰前守则伊的女儿(幸圆)为正室。父亲职隆隐居,如水继任家督。次年,如水得嫡子松寿丸,既后来的长政。