He is a very good person at his core.というと「あいつは根はとてもいいやつなんだ」といった感じでしょうか。at one’s coreは「根本的には」といった意味ですが、中心になる部分といった意味合いでcoreをとらえればいいと思います。This apple is rotten at the core.だと「このリンゴは根っこが腐っている」とは言わないで「このりんごは芯が腐っている」と普通いいますから、こちらの方が中心部分のcoreのイメージが出ています。なお、これをThis apple is rotten at its core.とも言うそうですが、物の場合には所有格を付ける必要はないとのこと。日本語は「根本的」とか「根っこは」とか、本質の喩えとして、植物の根をイメージする気がします。一方、英語のcoreは人や物の中心をイメージするようです。