hammer out は「徹底的に検討して結論とか解決策を出す」というような意味で使われます。イメージとしては、ハンマーでたたいて凹みを直す感じなんだそうです。そこからいろいろ話し合って合意に達するとか、何らかの妥協点を見出すとか、まるくおさめるといった意味合いが出てくるのでしょう。outはdry outなどの「すっかり」といったニュアンスのoutと捉えればいいと思います。The two parties could not hammer a contract out. (両党は協定を結ぶことができなかった) At last, we were able to hammer out an agreement. (ついに、私たちは合意に達することができた) このように妥協や同意に達するといった場合に使われることが多いようです。