Como você mesma explicou, "gone" indica que você foi a algum lugar e ainda não voltou (ou então mudou-se definitivamente para lá). Por outro lado, "been" indica que você foi a algum lugar e já voltou.

Portanto, o mais natural seria usar "been" tanto na pergunta, quanto na resposta:

Buscando no Google, você pode verificar que há muito mais ocorrências da frase "How many times have you been to" do que da frase "How many times have you gone to". Se você está perguntando quantas vezes alguém visitou um determinado local, é mais provável que a pessoa já não esteja mais lá.