little by little (少しずつ )はgraduallyということですが、少しはあるのだから、a little by a littleではないかと思いがちですが、そうはなりません。これは畳語なので冠詞がつかないのです。step by step, hand in handなどと同じです。byはday by dayなどに用いられる「~ずつ」という意味で「程度・差」を示すと考えればいいでしょう。 Little by little his English improved. (彼の英語は少しずつ進歩した)(立命館)littleはsmallと違って、感情が入るので、「こつこつ」努力している、わずかずつだが進歩している、といったニュアンスを持つのかもしれません。Little by little, my grandson began to feel better. (少しずつ孫は元気を取り戻しはじめた) なおlittle by littleにカンマをつけるかどうかは個人の好みによります。長いと感じたらカンマを打てばいいし、短いと思うのであれば打たなくていいのです。