Да, действительно, лучше всего поговорить начистоту. И лучше разговор вести в мягких, ненавязчивых тонах, а то у молодого человека (в связи с воспитание, религией или еще чем) может возникнуть мысль, что вы слишком развязны или доступны.
Вам лучше судить, так как именно вы с ним встречаетесь. Может быть разговор лучше вести в шуточной форме, если у вас легкие отношения и он не особо серьезный и принципиально зацикленный.
В любом случае вам лучше все обсудить, а то недопонимание будет висеть и нервировать. Рано или поздно вы можете сорваться или обронить какие-нибудь неприятные слова по поводу его мужественности и вот тогда без ссоры и размолвки не обойтись.