play the second fiddle to~「端役を務める」「人の下につく」直訳すれば「第二バイオリンを弾く」となりますが、オーケストラでは、普通主役は第一バイオリンですから、第二バイオリンは脇役(?)になるのでしょう。そこで端役を務める、といった比ゆ的意味で使われるようになったのかもしれません。He doesn’t want to play the second fiddle to anybody. (彼は他人の脇役に甘んじたくない) I always played the second fiddle to him. (いつも彼の下にいて言いなりになっていた) 前置詞toはinferior toのto、あるいはbelong toの「所属」とも捉えられそうです。