Scrapy2.7で画像ダウンロード失敗時の対処方法

MacOSをVenturaにアップロードしたらScrapyどころかpipすら「ModuleNotFoundError: No module named ‘pip._internal’」になっていてpipを再度仮装環境にインストール(参考記事)した後、Scrapyも再インストールした。おそらくそのタイミングでScrapyのバージョンが2.6から2.7になったと思う。
過去に作成していたWebページから画像一括ダウンロードするためのSpiderを動かしたところ、image_urlsに画像URLのリストは取得できているものの、対象のjpeg画像をダウンロードできていない。
出力を見ると

(略)

2022-11-01 12:02:44 [protego] DEBUG: Rule at line 6 without any user agent to enforce it on.
2022-11-01 12:02:44 [protego] DEBUG: Rule at line 7 without any user agent to enforce it on.

(略:上のようなDEBUG出力が何千行も出力される)

2022-11-01 12:02:44 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.hogehogeurl.net/hogehogepage> (referer: None) ['cached']
2022-11-01 12:02:44 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://www.hogehogeurl.net/wp/robots.txt> from <GET http://hogehogeurl.net/robots.txt>
2022-11-01 12:02:44 [py.warnings] WARNING: /Users/myMac/Documents/myProject/scraping/lib/python3.10/site-packages/scrapy/core/engine.py:279: ScrapyDeprecationWarning: Passing a 'spider' argument to ExecutionEngine.download is deprecated
  return self.download(result, spider) if isinstance(result, Request) else result

(略)

のような長い出力がされている。
この時、スクレイピング対象に設定しているhogehogeurl.netにはrobots.txtは存在していない。
対処法として settings.pyのROBOTSTXT_OBEYの指定をTrueからFalseに変更する

ROBOTSTXT_OBEY = False

これで期待通りに画像ダウンロードまで完了することができた。
Scrapy2.6の時はこの部分でつまづかなかったと思うので、Scrapy2.7以降でROBOTSTXT_OBEYの挙動が変更されたのかもしれない。
> 参考記事

今回の症状とは直接関係ないが、出力にある「Passing a ‘spider’ argument to ExecutionEngine.download is deprecated return self.download(result, spider) if isinstance(result, Request) else result」もScrapy2.7で変更があった箇所だと思われる。最初はこれが画像ダウンロード失敗の原因かと思って探っていたが、scrapy/core/engine.pyを修正する必要があるらしいことや、リリースノート見てもよく理解できなかったこと、こちらを修正しなくとも前述のROBOTTXT_OBEY指定の修正で目的は達することができたので先送りとした。そのうちScrapy側で対応してくれることを願っています。