全件表示させないのは以前からではないかと思います。

「検索」は検索エンジンがクロールして探してきたモノを、「インデックス」というか、順に表示させて行くものです。
インデックスの仕組みはGoogleのようにページの一部を表示させたり、amazonのように商品画像と最低限の商品情報を一覧表示させたり、そのサイトによって異なります。

amazonのようなECサイトで、検索結果が数十ページになるような検索は、購入者が商品を探すという目的の場合は「もう少し絞り込んでね」ということで、検索結果を保持することも、その検索結果をインデックスすることも、システムとかの負荷を考えて間引くのではないかと思います。

さて、その間引く条件が、一律「検索結果がxxページ以上」では無いので検索ワードによって表示ページ数が異なるのかな？
検索結果がワードに対してxxx件以上の場合は、検索結果の上位xx％を表示、とかいうロジックであれば、あるワードは2ページだがあるワードは10ページ表示されるということかもしれない。
販売履歴から見て、売れ行きの落ちるxxページ以降は表示させても意味が無いと考えているとか。

amazonのような利用者の多いサイトは毎秒どれぐらいの検索を処理しているかわかりませんが、検索結果を保持するのも大変かと思います。
セラーが自分の商品を探すための(購入目的ではない)検索など、件数表示と上位表示以外はどこまで意味があるのか？
足切りをしているような気もします。

私はamazonの広告は一切利用しませんが、amazonの広告ビジネスを考えると、けんさくにかからないというか、検索結果の上位に表示されない商品は「広告で目立たせるしかないですよ」ということなのかも。