してみるテストロゴ
Apache 2.4系でHTTP/2サーバを構築してみるテスト。

ボット観察日記

User-Agent暗号プロトコル辞典に現れた、巡回ロボット(通称ボット、クローラ)の暗号方式の移り変わりなどを記録していきます。

Google botの動向
Apple botの動向
Facebookの動向
Let's Encryptの動向
Slackの動向
Lineの動向

おもしろい変化があったら、逐次追記していきます。

Google botの動向

Google botのブラウザバージョンに変化

Nexus 5XのChrome/41にあるように、これまで、Google botは、User AgentとしてChrome/41といった、古めのChromeのバージョン番号を送信してきました。ところが、2020年に入ってから、 Nexus 5XのChrome/78と、比較的新しいChromeのバージョン番号を送信してくるようになりました。

全体の割合からすれば、まだ、Chrome/41を送信してくることの方が多いようです。

以前から、Googlebotは、単一ファイルだけではなく、リンクされている画像ファイル等をひとつだけ、クロールしていく様子が見られることと合わせて、ユーザエージェントとして、Chrome/79以降を送信してくるようになった暁には、User Agent Client Hintsに対応して、クロールするように変化していくのではないでしょうか。

Google botがTLSv1.3に対応

Google botのUser-Agent暗号プロトコル辞典(TLSバージョン)

Googlebot-Image/1.0のUser-Agent暗号プロトコル辞典(TLSバージョン)

Google FaviconのUser-Agent暗号プロトコル辞典(TLSバージョン)

Mediapartners-GoogleのUser-Agent暗号プロトコル辞典(TLSバージョン)

2019年5月24日頃にGoogle bot、Googlebot-Image、Google Favicon、Mediapartners-Googleが、TLSv1.3に対応した模様です。

「TLSバージョンの時系列比較」の20190524(2019年5月24日)あたりを境にしていることが確認できます。

TLSv1.3への対応に伴い、新たに、TLS_AES_128_GCM_SHA256 : TLS_AES_256_GCM_SHA384 : TLS_CHACHA20_POLY1305_SHA256 の各暗号スイートが提示されるようになりました。

Apple botの動向

鍵交換グループが、ffdhe8192に対応しました。

2019年11月13日に、ffdhe8192,ffdhe6144,ffdhe4096に対応しました。GAFA一番乗りでしょうか。
前回の暗号スイートの増加も水曜日でしたので、Applebotのリリースは、日本時間の水曜日に設定されている模様です。

新しい鍵交換グループのリストは、P-256:P-384:P-521:ffdhe2048:ffdhe3072:ffdhe4096:ffdhe6144:ffdhe8192です。

暗号スイートが増加しました。

先日、減らした暗号スイートですが、2019年11月6日に増加しました。
やはり接続できるサイトが減ったことが悪影響だったのでしょうか?

新しい暗号スイートのリストは、ECDHE-ECDSA-AES256-GCM-SHA384: ECDHE-ECDSA-AES128-GCM-SHA256: ECDHE-RSA-AES256-GCM-SHA384: AES256-GCM-SHA384: ECDH-ECDSA-AES256-GCM-SHA384: ECDH-RSA-AES256-GCM-SHA384: DHE-RSA-AES256-GCM-SHA384: DHE-DSS-AES256-GCM-SHA384: ECDHE-RSA-AES128-GCM-SHA256: AES128-GCM-SHA256: ECDH-ECDSA-AES128-GCM-SHA256: ECDH-RSA-AES128-GCM-SHA256: DHE-RSA-AES128-GCM-SHA256: DHE-DSS-AES128-GCM-SHA256: ECDHE-ECDSA-AES256-SHA384: ECDHE-RSA-AES256-SHA384: AES256-SHA256: ECDH-ECDSA-AES256-SHA384: ECDH-RSA-AES256-SHA384: DHE-RSA-AES256-SHA256: DHE-DSS-AES256-SHA256: ECDHE-ECDSA-AES256-SHA: ECDHE-RSA-AES256-SHA: AES256-SHA: ECDH-ECDSA-AES256-SHA: ECDH-RSA-AES256-SHA: DHE-RSA-AES256-SHA: DHE-DSS-AES256-SHA: ECDHE-ECDSA-AES128-SHA256: ECDHE-RSA-AES128-SHA256: AES128-SHA256: ECDH-ECDSA-AES128-SHA256: ECDH-RSA-AES128-SHA256: DHE-RSA-AES128-SHA256: DHE-DSS-AES128-SHA256: ECDHE-ECDSA-AES128-SHA: ECDHE-RSA-AES128-SHA: AES128-SHA: ECDH-ECDSA-AES128-SHA: ECDH-RSA-AES128-SHA: DHE-RSA-AES128-SHA: DHE-DSS-AES128-SHA: TLS_EMPTY_RENEGOTIATION_INFO_SCSVです。

RSA-PSS系の署名アルゴリズムに対応

apple botのUser-Agent暗号プロトコル辞典(署名アルゴリズム)

2019年8月20日頃、Apple botからの接続が、RSA-PSS系の署名アルゴリズムに対応しました。

新しい署名アルゴリズムのリストは、ECDSA+SHA256 : ECDSA+SHA384 : ECDSA+SHA512 : RSA-PSS+SHA256 : RSA-PSS+SHA384 : RSA-PSS+SHA512 : RSA-PSS+SHA256 : RSA-PSS+SHA384 : RSA-PSS+SHA512 : RSA+SHA256 : RSA+SHA384 : RSA+SHA512 : DSA+SHA256 : ECDSA+SHA224 : RSA+SHA224 : DSA+SHA224 : ECDSA+SHA1 : RSA+SHA1 : DSA+SHA1です。

暗号スイートの削減

apple botのUser-Agent暗号プロトコル辞典(暗号スイート)

2019年6月12日頃、Apple botからの接続において、接続時に提示するTLSの暗号スイートを、それまでの約40種類から、8種類にまで削減しています。

1種類の暗号スイートを提示するために、2バイトのデータを送信しなければならいので、32種類の暗号スイートを削減することは、単純にみて1接続あたり約64バイトの節約になります。

DES-CBC3-SHAを潔く削っているあたりが、Appleらしいですね。

新しい暗号スイートのリストは、ECDHE-ECDSA-AES256-GCM-SHA384 : ECDHE-ECDSA-AES128-GCM-SHA256 : ECDHE-RSA-AES128-GCM-SHA256 : ECDHE-RSA-AES128-SHA : ECDHE-RSA-AES256-SHA : AES128-GCM-SHA256 : AES128-SHA : AES256-SHAです。

Facebookの動向

facebookexternalhitの署名アルゴリズムが、Ed25519, Ed448,RSA-PSS系に対応しました。

facebookexternalhitのUser-Agent暗号プロトコル辞典(署名アルゴリズム)
2019年10月9日に、Ed25519, Ed448, RSA-PSS系署名アルゴリズムに対応しました。Ed25519及びEd448は、GAFA一番乗りでしょうか。

新しい署名アルゴリズムのリストは、ECDSA+SHA256: ECDSA+SHA384: ECDSA+SHA512: Ed25519: Ed448: RSA-PSS+SHA256: RSA-PSS+SHA384: RSA-PSS+SHA512: RSA-PSS+SHA256: RSA-PSS+SHA384: RSA-PSS+SHA512: RSA+SHA256: RSA+SHA384: RSA+SHA512: ECDSA+SHA224: ECDSA+SHA1: RSA+SHA224: RSA+SHA1: DSA+SHA224: DSA+SHA1: DSA+SHA256: DSA+SHA384: DSA+SHA512です。

facebookexternalhitの鍵交換グループが、X448に対応しました。

facebookexternalhitのUser-Agent暗号プロトコル辞典(鍵交換方式)
2019年10月9日に、X448に対応しました。X448は、こちらもGAFA一番乗りでしょうか。

Let's Encryptの動向

TLSv1.3に対応

2020年2月9日頃、Let's Encrypt validation serverがTLSv1.3に対応しました。

Let's Encrypt validation serverのUser-Agent暗号プロトコル辞典(TLSバージョン)

Ed25519の署名アルゴリズムに対応

Let's Encrypt validation serverのUser-Agent暗号プロトコル辞典(署名アルゴリズム)

2019年9月21日頃、Let's Encrypt validation serverからの接続が、Ed25519の署名アルゴリズムに対応しました。

これは、Ed25519証明書の発行に対応するための布石なのでしょうか?

新しい署名アルゴリズムのリストは、RSA-PSS+SHA256 : ECDSA+SHA256 : Ed25519 : RSA-PSS+SHA384 : RSA-PSS+SHA512 : RSA+SHA256 : RSA+SHA384 : RSA+SHA512 : ECDSA+SHA384 : ECDSA+SHA512 : RSA+SHA1 : ECDSA+SHA1です。

RSA-PSS系の署名アルゴリズムに対応

Let's Encrypt validation serverのUser-Agent暗号プロトコル辞典(署名アルゴリズム)

2019年3月15日頃、Let's Encrypt validation serverからの接続が、RSA-PSS系の署名アルゴリズムに対応しました。

新しい署名アルゴリズムのリストは、 RSA-PSS+SHA256 : RSA-PSS+SHA384 : RSA-PSS+SHA512 : RSA+SHA256 : ECDSA+SHA256 : RSA+SHA384 : ECDSA+SHA384 : RSA+SHA512 : ECDSA+SHA512 : RSA+SHA1 : ECDSA+SHA1です。

Slackの動向

Slackのロボットは、大きく分けて2種類あるようです。鍵交換グループでその違いを見ると、P-256 : P-521 : brainpoolP512r1 : brainpoolP384r1 : P-384 : brainpoolP256r1 : secp256k1 : B-571 : K-571 : K-409 : B-409 : K-283 : B-283といった、X25519を含まないアルゴリズムを提示するSlackbot等と、X25519:P-256:P-384:P-521のように、X25519を含むアルゴリズムを提示するSlack-ImgProxy等です。

このうち、Slack-ImgProxyの系統のボットについては、最近PSS系署名アルゴリズムに対応したり、TLSv1.3及びEd25519に対応する動きがあったので紹介します。

Slack-ImgProxyが、TLSv1.3とEd25519の署名アルゴリズムに対応

Slack-ImgProxyのUser-Agent暗号プロトコル辞典(暗号スイート)/ (署名アルゴリズム)

2019年9月25日頃、Slack-ImgProxyからの接続が、TLSv1.3とEd25519の署名アルゴリズムに対応しました。

TLSv1.3は、 TLS_AES_128_GCM_SHA256:TLS_CHACHA20_POLY1305_SHA256:TLS_AES_256_GCM_SHA384の各暗号スイートに対応しています。

2019年10月3日頃を最後に、Slack-ImgProxyからの接続が、TLSv1.3及びEd25519の署名アルゴリズムの提示が見られなくなっていましたが、2019年12月5日の1日間のみですが、TLSv1.3とEd25519の署名アルゴリズムの提示がありました。継続的にTLSv1.3を試しているのでしょうか?

Slack-ImgProxyが、PSS-RSA系署名アルゴリズムに対応

Slack-ImgProxyのUser-Agent暗号プロトコル辞典(署名アルゴリズム)

2019年9月13日頃、Slack-ImgProxyからの接続が、PSS-RSA系の署名アルゴリズムに対応しました。

Lineの動向

Line spiderのUser-Agent暗号プロトコル辞典(署名アルゴリズム)

2019年12月18日頃、Line spiderからの接続が、RSA+MD5の署名アルゴリズムに対応しました。

なぜ、今になって、MD5を採用する必要があったのか、知りたいところです。

RSA+MD5の証明書を発行している認証局が存在するのでしょうか?

同じく、2019年12月18日頃、Line spiderからの接続が、
ECDHE-ECDSA-AES256-SHA384
ECDHE-RSA-AES256-SHA384
AES256-SHA256
ECDH-ECDSA-AES256-SHA384
ECDH-RSA-AES256-SHA384
DHE-RSA-AES256-SHA256
DHE-DSS-AES256-SHA256
ECDHE-ECDSA-AES256-SHA
ECDHE-RSA-AES256-SHA
AES256-SHA
ECDH-ECDSA-AES256-SHA
ECDH-RSA-AES256-SHA
DHE-RSA-AES256-SHA
DHE-DSS-AES256-SHA
の暗号スイートに対応しました。こちらは、256ビットのAES暗号に対応する感じです。(ただ、ECDHの鍵交換を提示することについては、議論があると思います。)

それにしても、2019年12月17日以前も、2019年12月18日以降も、提示する暗号スイートの数が多い!

2019年12月17日以前の古い暗号スイート2019年12月18日以降の新しい暗号スイート
NEXT >> トップページに戻る

©Copyrights 2015-2020, non-standard programmer

このサイトは、あくまでも私の個人的体験を、綴ったものです。 軽く参考程度にご利用ください。