one by one は「一つずつ」「一人ずつ」といった意味で使われますが、one person or thing followed by another oneが短くなったものと考えてよさそうです。文字通り一つ一つということ。byはlittle by little, step by stepなどの畳語などに登場するbyでしょう。言うまでもなく2つのことが同時に起こる場合には用いません。One by one the players received their gold medals. (選手たちは一人ずつ金メダルを授与された)(フェイバリット)I know it takes a lot of time, but you have to solve these problems one by one. (面倒なのはわかるけど、それらの問題を一つ一つ解決していかなければなりません)