確認の方法
どう集め、どう確かめ、どう更新しているか。
何を集めたか
汎用検索、国民ポータル、人手ディレクトリ、分野特化検索、メタ検索、スモールウェブ、アーカイブ横断、リンク集。大手の検索結果を配信しているだけのものも除外せず記録した。索引の出所そのものが地図の情報だからである。無くなったものも残した。
どう確かめたか
- 全件を
curlで到達実測した。リダイレクト後の最終URLと<title>を保存した。 - 本文を読んで、名乗りどおりかを判定した。パーキング・別事業への転用・賭博への転用を摘出した。ステータス 200 は「生きている」証明にすぎず、「名乗りどおりのものである」証明ではない。
- 稼働と判定した 78 件を別の担当者が独立に再実測し、77 件が一致した(唯一の不一致は証明書切れで、中身は生きていた)。消滅判定は別経路で再検査し、誤判定2件を是正した。消滅の側の再検査のほうが重要である。同じ回線から測り直しても見つからない。
記憶からURLを書かない
開いて確かめていない URL は 1 件も載せていない。名前が同じでも同じサイトとは限らない。独立索引エンジンとして広く紹介されている Stract は、公式ドメインが応答せず、同名ドメインは別会社だった。
状態語
| 状態 | 意味 | リンク |
|---|---|---|
| 稼働 | 実測日に到達し、名乗りどおりの内容を確認した | 付ける |
| 縮退 | 到達するが機能縮退・更新停止・証明書切れ・この回線から不安定 | 付ける(注記つき) |
| ボット遮断 | Cloudflare 等が機械を弾いた。閉鎖ではない。実ブラウザでは見える | 付ける |
| 転用 | ドメインは生きているが、まったく別のサイトになっている | 付けない |
| 売出し | パーキング/ドメイン売出し中 | 付けない |
| 消滅 | 到達不能・閉鎖(複数経路で確認したものだけ) | 付けない |
「稼働」だけが名乗りどおりの内容まで確認した語で、他は到達性の語である。
観測地点
日本(JP)。単一ネットワークからの外形観測であり、状態は「観測地点から見た状態」。地域遮断は「ここから到達不能」であって現地での死亡ではない。DNS不在・接続拒否・タイムアウトを区別して記録し、複数経路で確認したものだけを消滅とした。
再検証
全件を定期的に測り直す。転用は HTTP 200 のまま起きるので、<title> の変化と、賭博・売出しを示す語の検出を人手判定へ回す。自動で消さない(誤検出が実際に出た。カテゴリ名や外部リンクに該当語を含むだけの正当なディレクトリがあった)。判定して更新した行だけ実測日が新しくなる。更新していない行の日付は動かさない。
除外
違法配信のリンク集は、名乗りが「最大級」であっても載せない。品質基準による意図的な除外がある。Google とその国別版は対象外。
有料掲載型と、索引の出所が不明のもの
審査つき有料掲載で成り立つディレクトリを Tier 3 に含めている。掲載順は課金の影響を受けうる。小規模ディレクトリでは索引の作り方が公開されていないことが多く、断定せず「不明」のままにしてある。
地域による偏り
収録の厚さは地域で違う。東アジア、露語圏、欧州は厚く、サブサハラ、中央アジア、太平洋、カリブは薄い。薄い理由の一部は、既存の英語圏の一覧がそこを載せていないことにあり、現地語での追加調査が要る。まだ見つかっていない地域は未収録の地域にまとめ、見つかり次第、地図に加える。
リンクと広告
外部リンクはすべて nofollow。転用・消滅・売出しの行にはリンクを付けない(生成器が機械的に止める)。広告を載せていない。