こんにちは。ありきたりのコメントで恐縮ですが、よかったら参考にしてみてください。

物理学はどちらかといえば「基礎科学」に分類される学問で、そこで学ぶ内容が私たちの普段の暮らしと直結しているわけでは、必ずしもありません。一方で土木は、まさに橋やトンネル、治水や砂漠化の防止といった、私たちの暮らしの身近な場所で広く必要とされる学問です。もちろん、国際協力にも欠かせません。おそらく学校の先生はそういうところを意識して、あなたに土木の進路を示したのだと思います。
ところで、土木に求められる知識の多くは、物理学(特に力学と物性物理学)の成果を基礎にしていることは、あなたもお気づきでしょう。実際、大学で土木を専攻としても、土木に欠かせない知識として、かなりの時間物理学を学ぶことになるはずです。逆に、物理学を専攻すると、なかなか土木の授業を受ける機会がないのも事実です。それは先に述べたとおり、物理学のほうがより「川上」に位置する学問だからです。だけど、物理学が生み出した成果は、必ず土木の世界で役立っています。こういうところが学問の面白いところだと思います。

短い視点で見ると、一般的には土木を学ぶほうが国際協力の仕事に近いでしょうし、その仕事に実際につくことができれば、現地に行く機会も多いはずです。でも、もう少し長い視点で見ると、物理学のような基礎科学を修めていると、さまざまな場面でその知識を応用させることができるので、結果として世界に貢献できる機会はむしろ大きいかもしれません。
これらはすべて「可能性」であって、何もあなたの将来を保障するものではありません。だけど、今のあなたが自分の進路を選択するにあたっては、この程度の確かさ(または不確かさ)でちょうどいいのだと、私は思います。比較的近くにあるチャンスを得たいのか、もう少し未来のさまざまな可能性を信じたいのか、よく自分自身と相談して、納得のいく選択をしてください。
なお、理系学群の専攻はある程度その先の進路を規定するのは事実ですが、それは絶対ではありません。また、物理学と土木は比較的近しい学問なので、互いに応用が効く部分が多いです。ということもあって、あまり深刻に悩みすぎないことを、お勧めしておきます。

　大学の延長に就職があると考えない方が良いと思います。理科系の大学を出て総理大臣になる人もいる訳ですから。自分も大学では物理を勉強してましたが、今は法律の知識を使う仕事ですので、半分くらい文系の仕事かも知れません。山口大学工学部社会建設工学科がどういうところか知りませんが、別に理学部物理学科系でも良いんじゃないでしょうか。