Торакусу родился в семье клана Кишу в провинции Токугава (нынешняя префектура Вакаяма). Он был самым младшим, третьим, ребёнком в своей семье. Его отец занимался астрономией, и прочтя много научных книг, Торакусу увлёкся машинами и технологиями. 

Время требовало именно научно-технических знаний. В 1870-х годах в Японии началась реставрация Мэйдзи, которую многие историки называют революцией, и вполне заслуженно. Япония высокими темпами начала производить модернизацию, ориентируясь на передовые европейские страны. В 1871 году Торакусу отправился в Нагасаки, где под руководством английского инженера стал осваивать производство часов. После нескольких лет обучения он стал экспертом в часовом деле, а затем заинтересовался ремонтом медицинского оборудования. Для того, чтобы освоить ремонт медицинское оборудование, Торакусу переехал в Осаку, где поселился и жил рядом с магазином медицинского оборудования.

В 1886 году, когда Ямахе было 35 лет он поселился в городе Хамамацу, где начал заниматься ремонтом медицинского оборудования, в основном для местной больницы. Поскольку Хамамацу был небольшим городом и ремонт только медицинского оборудования не давал достаточного заработка, Торакусу подрабатывал также ремонтом часов и других механических устройств. Однажды местная начальная школа попросила его починить старую сломанную фисгармонию. Торакусу не только починил старый инструмент, но также решил начать производство современных европейских музыкальных инструментов. Через два месяца они сделали первую фисгармонию, качество которой однако, в первую очередь, настройка,  оставляло желать лучшего.  

Торакусу решил проконсультироваться со специалистами из Университета искусств и музыки в Токио, который находился на расстоянии 250 километров. Ямаха проделал весь этот путь, неся на плече своё изделие. Университетские профессора раскритиковали конструкцию фисгармонии и разрешили Торакусу в течение месяца посещать лекции в университете по различным музыкальным предметам. Вернувшись в Хамамацу, Торакусу построил второй орган, который получил высокую оценку специалистов. Вскоре после этого Ямаха получил свой первый заказ на партию из семи инструментов, один из которых заказал губернатор города Сидзуока.Производство музыкальных инструментов началось  в марте 1888 года на небольшой фабрике, размещённой в Хамамацу в помещении заброшенного храма.

В 1887 году Торакусу организовал компанию «Nippon Gakki Co Ltd». В 1889 году по просьбе министра образования компания начала поставку пианино в общеобразовательные школы. В первом же году в школы было поставлено 250 инструментов. Вскоре компания начала производить не только пианино, но также губные гармоники и ксилофоны.