A little language can go a long way. (ちょっとしたひと言が時には大いにものを言う)のように、ちょっとしたことが後々役に立つというのがgo a long wayのニュアンスです。長い道のりを行く、ということから「いつまでも効果がある」「大いに役立つ」と考えてもいいでしょう。goは「行く」が基本的意味ですが、このセットフレイズのように「目的地へ行く途中(で効果を表す)」という場合もgoが出てきます。This advice of yours will go a long way toward solving this problem. (あなたの忠告はこの問題の解決にむけて大いに役立つでしょう) The recent deal with the unions will go a long way towards restoring GM’s competitiveness at home. (労働組合との最近の協議は米国市場でのGMの競争力を回復するのに大いに役立つだろう)