為了開發嘉南平原的實況調查與設計工作，於1919年（大正8年）三月，由八田與一親自帶領八十多位年青工程師投入這片廣大的平原。為了工作需要在嘉義設立指揮辦公處，在建設水壩的烏山頭也建造了素樸的工務所，由於實地調查設計工程書件，必須於當年的十月向臺灣總督府提出，以便編製工程預算。
　　當時，八田與一每天清晨五點就抵達指揮事務所，在夜間也工作到深夜，睡眠的時間很短暫。為了節省前往崎嶇工地的時間，經常騎馬抵達目的地。像這樣辛苦工作的日子，對他已不算是苦差事，反而覺得高興而是值得作的舉動。由他設計的東亞第一鉅大工程，隨著工程進展，正在兌現他夢想過程當中，他屬下青年工程師也摸透他雄偉的抱負，跟他很稱心地合作，共同推行這艱難的工程。

　　某一天，八田與一騎馬來到靠近海岸的平原，由於當天忘記帶水壼，想向附近的農家討一杯水來止渴，但是農家的人答道：「挑水的人還沒回來，請他稍等一會兒。」他又接著問道：「要到什麼地方挑水？」，農家的人回答說：「要走四、五個鐘頭的路程到曾文溪挑水回來的」「那麼有水井嗎？」他又追問。農民又答道：「目前屬於枯水季節，水井裏湧不出水來，所以一定要到曾文溪挑水飲用及清洗。」由於跟農民的對答，令八田與一驚愕於嘉南平原用水的嚴重缺乏，更加強他要有豐富的水源來供應嘉南平原的信念。

　　另外一特點，是排水路的建設。為了排餘水外改善土質中含有鹽份及提高耕作地地質，必須以排水來沖洗涵積土質內之鹽份，不然難以釋解土質的鹽害，而這些排水渠道也達到六千公里之長度，以及包括其他附帶的水利設施，這些工程費達到非常龐大的數目。依據八田與一的估算需用當時的日幣四千萬元以及費時達及六年的工程期限。

　　隧道工程經過變更設計之後又重新開工，但是烏山頭山嶺的土壤，似乎要跟八田與一做對的又湧出了許多料想不到的泥土，阻礙工程的施工，這是第二次折磨和考驗。因此八田與一在此刻蒙受許多人的責難，應多作幾個小隧道也足以達成目的呀。由於工程中發生過爆炸事件，也使工作人員對挖鑿隧道的工程造成惶恐的心理。
　　八田與一此刻的心情是抱著自責和痛楚的，但是他的毅力和信心是非常堅定的。工程的主持人失掉理性的話，要怎麼樣克服一切困難？
　　為此作了數次的設計變更，費盡一切嘔血的心思於1928年（昭和3年）六月中旬，被認為最艱鉅的烏山頭嶺隧道的鑿挖工程，終於克服萬難之後竣工，它曾經油氣爆炸而發生重大意外變故，鬧出死傷五十餘人的慘案，這難纏的工程，也在人類尖銳鬼斧穿鑿之下貫通了。隧道竣工典禮時，在堰堤上的六部巨型抽水機一齊向空中噴射巨大的水龍，以慶賀這艱鉅工程的成功。

　　烏山頭上的八田與一，在歷經烏山頭隧道工程、官田溪排水隧道工程的艱難考驗，以及飽嚐經費不足困擾後，前途似乎已大放光明。接著，在水庫基礎工程的中心混凝土椿陸續完成，利用大型土木機械，建造水壩的大工程就要登場了。
　　向美國訂購的土木機械，比較小型的機械，如大型開岩機、水泥攪拌機、起重機等，較早運到臺灣，並使用於烏山頭的工程上，剩下的大型土木機械，則在1924年（大正13年）始送達基隆，包括大小型蒸汽挖土機、機車頭、氣壓式翻斗車等，簡直就是大型的土木機械展覽場。履帶式較小型機械可以自行行駛或利用火車運輸，並不發生運送問題，但是軌道式大型機械就出問題了，臺灣和美國軌道寬度不同，八田與一原本構想在烏山頭上鋪廣軌鐵軌，讓這些大型機械行駛，但總督府鐵道部則要求修改這些軌道型大型土木機械，否則不能運送至烏山頭。不得已乃改造成狹軌用車輪，而後再直接行駛至縱貫鐵路之番子田（今隆田）車站，再接烏山頭專用車軌道行駛至烏山頭。
　　初次見及如此巨大機械，土木技師們有些手足無措，對看來略顯怪異的造型，既驚訝，更不知如何操作。大型蒸汽挖土機好不容易駛抵大內庄開採砂石處，雖是想利用這機械裝砂石放進翻斗車車廂，內但費了九牛二虎之力，卻還裝不滿一車廂，監督人員及工人們異口同聲道：「怎麼搞都不行，徒然浪費時間而已，利用這機械還不如用手挖來得快呢！」
　　甚至機械的監督人員，對來大內庄視察的八田與一告知詳情，並進言用手挖取砂石。八田與一勃然變色道：「外國人可以使用這些機械來作業，我國人不可能做不來的。嘗試作業要花多少錢也沒關係，一定要好好操作，學習操控機械的訣竅。外國人可以使用的機械，日本人也不可能不會使用的。這問題不是只是一件機械的問題嗎？建築水庫土堤防工程，現在還不急著進行。希望好好練習，到時候會操作就行了。我認為如果不利用這些機械，想要完成水庫水壩工程，工程期可能要耗時兩倍以上。而且，如果這一次不能使用這些機械，已經浪費那麼多購買經費不說，以後的土木工程還是必須依靠人力，像這樣落伍的作法，不知要延續到何時？這不僅是烏山頭的問題而已。不過也不用擔心，我相信你們不久的將來就可完全操控這些機械了。希望你們抱持必成信心，再操作看看。」 　　八田與一既做了如此指示，接著而來的，就是操作人員和機械的苦鬥了，八田與一心下也擔心，若是不能操作這些機械，那麼水壩工程一定要再展延，然而工程期限實在是不容許再延長了。烏山頭上人員不能操作大型機械的消息，立刻就傳達到臺北的總督府內。但是八田與一仍確信他的部下們一定不會讓他失望，一定會熟練操作這些機械，尤其大內庄監督人員是山根長次郎，兩人共事已久，更互相熟知對方心意，八田與一信任山根，而山根也是個能為知己者付出再多心力亦在所不惜的血性男子。在水壩工程開工時，工作人員終於已能如自己手臂般靈活操作機械了。山根氏本人則更在八田辭世後，在「臺灣水利」雜誌上寫下感人的追念文章。