これらのキーワードがハイライトされています：09
【議案】URLのフィルタ機能を利用した投稿制限及び表示制限。
投稿者: サーバ管理者 投稿日:
話題についての詳細:
今までも、迷惑投稿フィルタなどを独自に入れていましたが、今回のフィル
タは投稿できなくなるだけでなく、既に投稿されているページのURLに対する
リンクを生成しなくなるものですので、議案として提出します。
議題：URLフィルタの導入
期限：2007-12-27 14:30
理由：以前、天敵WikiにVirus導入サイトへのリンクが張られるという事件
が生じました。Botと思われる迷惑投稿はできるだけ排除しています
が、内容ベースで行っているわけではなく、書き込みを許してしまい
ました。このフィルタを強化しすぎると、正常な書き込みまでフィル
タしてしまいます。現に、DNSが逆引きできないサイトからのポストを
許可していないために書き込めなかったなどの弊害も生じています。
今回は、このDNSの逆引きができないという制限を外して、URLの
チェックを行うことを提案します。ポスト時のチェックですり抜けた
URLもアクセス時のチェックでリンクを張らないようにするなどの、
フィルタを行います。既存のリンクがあるサイトが、XXXなサイトに
なってしまうことにも対応できます。
保護の対象：天敵Wikiの利用者の皆様を有害と思われるサイトへ
できるだけ導かないようにするためのものです。
利点：天敵Wikiの利用者保護を強化できます。URLフィルタのデータはウイ
ルスチェックソフト同様、日々更新されます。これにより、
天敵Wiki管理人とサーバ管理者のお気楽度が上がります^^;
結果としてDNSを逆引きできないなどの本人には関係ない理由
でフィルタされることがなくなります。
欠点：フィルタは100%確実なものではありません。従って、問題のないサイ
トがフィルタされる可能性があります。この場合でもURLは表示する
ようにする予定です。
フィルタの対象：(当方からの要望による変更はできません)
違法性／犯罪性が高い
カルト／オカルト
ハッキング／不正アクセス
プロキシサーバ回避
フィッシング
論議を呼ぶ／物議を醸す
アダルト商品／サービス
わいせつ／ヌード
ポルノ
下着／水着
セキュリティ上危険
ウイルス感染する
スパイウェア感染する
ゲーム
派生した話題:
コメント:
- 御苦労様です tea-farm --
結局の所、フィルタのアップデート頻度と、国内製か海外製か？だけが問題が生じた場合の短期的な問題になる事が考えられるだけですね。
これは、鯖管理者さんが逐次対応されても同じ事ですから、ここの参加者の負荷を低減するという利益を考えれば、妥当な選択ではないでしょうか。
今時、firewallやVirus protectionなしで外に出ているPCは少ないでしょうし。
少し判らないのは、"リンク先のURLをアクセス時にチェックする"というのは、リダイレクト時にWiki鯖(or Filter?鯖？)が予めリンク先をFilterを参照してチェックしてからリダイレクトをクライアントに渡すと言うことでしょうか？だとすると鯖サイドの負荷が大きい為、レスポンスが悪くなるように思いますが。(Filterが何を定義していて、何をチェックしているかにもよりますが)・・って理解可能でしょうか？
話が飛んでしまいますが、トップカラムにあるロゴのリンク先はサイトトップが良いんじゃないんでしょうか？いつから変わってました？(先月後半だったかな？メンテの時だったような気がするが・・・)
- '''' サーバ管理者 --
> 今時、firewallやVirus protectionなしで外に出ているPCは
> 少ないでしょうし。
今回の問題で対処しようとしている問題は、PC側のfirewallは役に立
ちません。Virus protectionの方は中には同じような機能をもっている
者もあるようです。
# 私の自宅のPCのウイルス対策ソフトは対応していないので、フリーの
# ツールを使ってURLのフィルタリングをしています。
> "リンク先のURLをアクセス時にチェックする"というのは、リダイレクト
> 時にWiki鯖(or Filter?鯖？)が予めリンク先をFilterを参照してチェック
> してからリダイレクトをクライアントに渡すと言うことでしょうか？
Wikiページにアクセスされたときに、ページ内のURLをチェックサーバ
に送って反応を見て、Wikiがアンカーを作成するかしないかを決めます。
これをいちいちやっていては、ご指摘のようにレスポンスが落ちます。
そのため、ちょっと細工をする予定ですので、そこまでは落ちないはずです。
relationプラグイン導入によるレスポンスの低下が気になっていなければ
おそらく気にならないと思います。
# relationプラグインについては、おかげさまでいろいろと問題点を
# 洗い出せたので、もう少し改良を行います。
ロゴについてはskinの問題です。火曜日に修正します。
- 外部リンクが多いと... サーバ管理者 --
さすがにレスポンスが悪いですねぇ。
- >あくまでもテストでの サーバ管理者 --
結果です。レスポンスを少し改善しました。
- リンクしない場合の追加 サーバ管理者 --
次の場合もリンクされません。サーバが403,404を返してきた場合。
サーバがコネクションを処理した場合。サーバが見つからない場合。
たまたまDNSの検索に失敗した場合。
# リンク切れの発見にも役に立つかも...
レスポンスの問題は、サーバが見つからない場合、見つかっても異常に
レスポンスが悪い場合、リンクがやたらに多い場合に、一時間に一回
の割合で生じます。この問題に関しては、ある時間を経過したら、あとは
処理しないようにしたいと思います。5秒ぐらいかな？
- もちろん サーバ管理者 --
urlをチェックしないでリターンしますので、危ないと言えば危ないですね。
チェックしていないのでリンクしないことにしますか...
- (not checked) サーバ管理者 --
を入れることにした。
- リンクされない場合の表示は？ tea-farm --
>7の場合を除き、リンクされなかった場合、そのリンクは通常のテキスト表示になるのですか？あるいはこのURLはリンクされませんと表示されるのでしょうか？
どちらでも同じと言えば同じですが、前者だとリンクが張られているかどうか自体が判りません。
また、ページ上の［［テキスト:URL］］の記述は残るのですね？
404エラーの場合等はリンクの記述自体を削除しても良いのかな？
- 普通のテキスト サーバ管理者 --
として、ブラケット名の場合は、テキスト(URL)と、URL自体の場合はリンク
されずに表示されます。現在は、理由を知ることができませんが、表示した
ほうが良いでしょうか？この辺りは、自分で書いているので、変更可能です。
> 404エラーの場合等はリンクの記述自体を削除しても良いのかな？
負荷を減らす意味では削除した方が良いですが、記録という面からすると
好ましくありません。レスポンスから言えばホスト名を引けないサイト
や引けても接続できないサイトが問題です。
- 結局ポストフィルタ サーバ管理者 --
が間に合わなかったので、とりあえず表示フィルタだけ導入しました。
変数一つで利用するしないを切り替えることができますので、なにか
ありましたら、できるだけ28日の13時までにサーバ管理者までご連絡
下さい。
- リンクしなかった理由 サーバ管理者 --
をコードとして追加しました。
403 アクセス制限
404 ページがない
600 サーバがない・タイムアウトした等の接続異常
602 URLフィルタによる制限
- Wikipedia サーバ管理者 --
が、HEADでアクセスすると403を返すので、ホワイトリストに追加した。
- 時間コストを測定 サーバ管理者 --
して、コストの大きさを利用して、適当な間隔で巡回するスクリプトを
作成することにしました。これにより、前回コストが大きかったリンク
は常にキャッシュされることになり、レスポンスの改善に繋がるのでは
ないかと思っています。
- >9 tea-farm --
前段はレス11が最終ですね。了解です。
ソースを見ればリンクがあるのに、"繋がらないよぉ"という苦情が出そうなので書いてみた次第でして。
後段については、404についてはURLが変更されている、ページ自体が削除されたなどが原因ですからWikiの誰でもいつでも改変可能の原則に照らせば、合理的理由がある記述の削除ですから問題ないのではないかと考えます。
記録という意味では、確かにそうですが(新聞関係などは元記事が削除された物が多いし)、リンク名(?、"："より左の部分)が残っていればURLは無用な閲覧や検索を無くす意味でも有効なのではないでしょうか？
リンクを張り直すとしても、元のURLは役に立ちませんから、リンクタイトルか内容で検索するしかないですし。
>13
ページがアクセスされた時にリンクのチェックをするんじゃなかったでしたっけ？バックグラウンドで常時チェックするのですか？レスポンスは上がるものの、鯖の負荷とのトレードオフですね。
じゃなくて、11の600等となったサイトだけについてですか？
あまり詳しく訊くと悪用する輩が出てくるかも・・・。鯖の知識もWinNT4やUnixSVR4辺りのままだと言葉自体を忘れてしまって、自分が何を書いているのか判然としなくなってしまいます・・(笑。
- 遅いサイトだけ サーバ管理者 --
チェックするので、サーバは今のところ余裕があります。
- >14 404は120以上 サーバ管理者 --
あるので、コストの高いところから順に処理しましょう。そのうち、404でコストが高いURLの一覧でも作りましょう。この場合も、基本はコメントアウトですが、+で始まっているとか、長いとか、コメントアウトできない場合は、その行をコピペして、元の行をコメントアウトして、URLを削除しましょう。
- おまけですが... サーバ管理者 --
今回のフィルタの応用として、404が帰ってくるサイトのURLとページのリストや、301が帰ってきて修正が必要なURLとリダイレクト先のURL及びページのリストを作成するためのプラグインを年末年始に書こうと思っています。もちろんコストの順番にソートします。
なお、今回のレスポンスの改善にあたっては、農林水産研究計算センターの中島様に大変お世話になったことを皆様にご報告いたします。
- おまけを サーバ管理者 --
リンクページに追加しました。
- User-Agent サーバ管理者 --
は必須ではないと思うんですが、送らないとコネクションを切られてしまうので、送るようにした。
- URLフィルタ サーバ管理者 --
URLフィルタは負荷が大きいため、停止しました。
新しい話題の派生†
派生した話題のリスト†
![[天敵wiki]](image/wiki2.gif "[天敵Wiki]"){kind=small}
