語学学習全体に言えることですが、リスニングの場合は特に、一箇所でも聞き取れないところがあっては失格、とか完璧に繰り返せなければ勉強不足、とかあまり思い詰めないようにして取り組んでください。その日によって疲れていて調子が出ないこともありますし、全部完全に聞き取れなくても話の意味が分かることも多いです。少しずつですが必ず効果がありますから、楽しみながら継続していきましょう。
分からない箇所があったり意味が思い出せない単語が出てくるとそこにこだわってその続きが聞けなくなる、ということも起こりがちです。でも一語一語よりも話全体の意味を捉えることが大切ですから、分からないところにこだわらず、分かるところを聞いて行く、という態度も大切です。それも練習によって養われますから、何度も聞いて練習する教材と合わせて、新しいものもどんどん耳にしていくと良いと思います。