Em geral é o desconhecimento do vocabulário.

Muitos alunos brasileiros ( e de outras nacionalidades também ) "sofrem" com o "listening" porque desconhecem o vocabulário.

Uma criança nativa, em inglês, por exemplo, passa horas por semana lendo literatura infantil e juvenil, daí quando essa criança ouve os adultos conversando ou assiste TV e filmes, ela pergunta aos pais "what's ________ ? ou what's a ______ ? "

A criança falante nativa entendeu a palavra ou frase, apenas ignora o sentido da mesma -- assim como ocorre conosco em nosso próprio idioma.

É importante ler em inglês para "ativar" o vocabulário.

Hoje é muito simples, você pode buscar um material de listening e pode buscar o script e pode ler e estudar a transcrição de antemão.

Outro dia usei o discurso da Michelle Obama durante a convenção democrática de 2012, mas antes trabalhei o vocabulário e frases do discurso, daí partimos para o listening. Um dos alunos presentes estava visitando a escola e mesmo estando num nível mais básico reconheceu (entendeu) várias palavras e frases porque "ativamos" seu vocabulário antes da prática de listening.

Fica aí a dica, "ative" seu vocabulário em inglês, por meio da leitura e daí parta pra prática do listening.

This article talks about how to activate vocabulary but you can google for "activate vocabulary in English"