Pythonのurllibライブラリを使用してウェブスクレイピングを行う際、時折HTTP Error 403: Forbiddenというエラーに遭遇することがあります。このエラーは、あなたがアクセスしようとしているウェブサイトがあなたのリクエストを拒否したことを示しています。
原因
このエラーの主な原因は、ウェブサイトがあなたのリクエストをウェブスクレイパーからのものと判断し、それをブロックしたことです。ウェブスクレイピングはウェブサイトのサーバーに負荷をかける可能性があるため、多くのウェブサイトはスクレイピングを防ぐために特定のリクエストをブロックします。
解決策
この問題を解決する一つの方法は、リクエストにUser-Agentヘッダーを追加することです。User-Agentヘッダーは、あなたのリクエストが人間によるもの（つまり、ウェブブラウザからのもの）であることをウェブサイトに伝えます。以下にその方法を示します。
from urllib.request import Request, urlopen
req = Request('https://www.example.com', headers={'User-Agent': 'Mozilla/5.0'})
webpage = urlopen(req).read()
上記のコードでは、User-AgentヘッダーにMozilla/5.0（一般的なウェブブラウザのUser-Agent文字列）を設定しています。これにより、ウェブサイトはあなたのリクエストをウェブブラウザからのものとして扱い、403 Forbiddenエラーを回避することができます。
注意点
ただし、すべてのウェブサイトがUser-Agentヘッダーによってスクレイピングを許可するわけではありません。一部のウェブサイトでは、他の方法（例えば、ログインや特定のクッキーの使用）を必要とする場合があります。また、ウェブサイトによってはスクレイピングを完全に禁止している場合もあります。そのため、スクレイピングを行う前には、対象となるウェブサイトの利用規約を確認し、必要に応じてウェブサイトの所有者に連絡することをお勧めします。