最近増えてるアンテナサイト風スクレイピングサイトがうざい
アンテナ風スクレイピングサイトとは
アンテナサイトというのは通常ならお互いが同意し相互リンクをし、アンテナは各サイトの記事を丸々吸い上げる代わりにアクセスを流します。(相互リンクはしない場合もある)
そうやってお互いに旨みがいくようになっているのがアンテナサイトです。
しかし問題なのはそのようなアンテナサイトを自称し、勝手にリンクして記事を吸い上げるアンテナサイト風スクレイピングサイトです。最近増えてきているように感じます。
一方的にメールを送ってきてスクレイピングしていくサイトならまだマシな方で、無断スクレイピングしている上に動画を自サイトで埋め込んで元記事サイトのURLを貼らなかったり貼っても端っこに小さく載せて当然のようにnofollowにしてたり。
当然アクセスなんてほとんどこないのでただ記事をスクレイピングされるだけです。
最近だとBlozooが一生懸命宣伝してた「エロ動画ダウンロード」とかは悪質と言えますね。
「スマート動画」とかいうサイトはおもいっきり「likevideo」のパクりで苦笑いします。
アダルトサイトに精通している某氏も以前エロタレストのパクりアンテナ風スクレイピングサイト「エロポケット」の運営がBlozooだという記事を書いていましたねえ。(今は削除されてます)
あとは最近ってほどじゃないけど「AV動画大好き」はアンテナ風無断スクレイピングでかなりの規模に成長したサイトですね。
スクレイピングサイトの実害
検索を奪われる
まず検索の弱いサイトがそこそこ以上の規模のスクレイピングサイトにスクレイピングされると、記事タイトルで検索したとき自分のオリジナル記事よりスクレイピングサイトのコピー記事が上位に表示されたりします。これは確実に実害です。
気分が悪くなる
しっかりと自分の記事タイトルや自分が狙っているキーワードで上位表示できているのならあまり被害はありませんが、自分で選んだ動画と自分で考えたタイトルやテキストを丸々スクレイピングされ、スクレイピングサイトが利益を得ていると考えると単純に気分悪くないですか?私の心が狭いだけでしょうか。
私の対策
アクセス制限をして弾くこともあるし、放置することもあります。
なにぶんスクレイピング側も私側も所有しているサイト数が多いもんで。