Wget のバージョンを表示します。
オプションの一覧の簡単なヘルプを表示します。
バックグランドで実行します。
Continuing in background.
Output will be written to `wget-log'.
と表示してバックグランドで実行します。
状況はログファイルに書き出されます。
[Wgetrc] background = on/off
設定ファイルの指定をコマンドラインから指定します。
>wget -euse_proxy=off -r http://127.0.0.1/a.html
(※これは、-e オプションの説明です。
proxyのoff は、-Y オプション -Yoff で出来ます。)
ログをファイルに書き込みます。(上書き)
>wget -o log1.txt http://127.0.0.1/a.html
[Wgetrc] logfile = LOGFILE
ログをファイルに書き込みます。(追加)
>wget -a log1.txt http://127.0.0.1/a.html
出力するログを debug 用の内容にします。
[Wgetrc] debug = on/off
ログ出力(状況表示)をしません。
[Wgetrc] quiet = on/off
詳細なログ出力(状況表示)をします。(デフォルト)
[Wgetrc] verbose = on
簡単なログ出力(状況表示)をします。
[Wgetrc] verbose = off
-------------------------------------------------[ Top of "-nv" Sample ]
>wget -nv http://127.0.0.1/a.html
20:04:09 URL:http://127.0.0.1:80/a.html [131/131] -> "a.html" [1]
----------------------------------------------[ Bottom of "-nv" Sample ]
--------------------------------------------------[ Top of "-v" Sample ]
>wget -v http://127.0.0.1/a.html
--20:04:14-- http://127.0.0.1:80/a.html
=> `a.html.1'
Connecting to 127.0.0.1:80... connected!
HTTP request sent, awaiting response... 200 OK
Length: 131 [text/html]
0K -> [100%]
20:04:14 (127.93 KB/s) - `a.html.1' saved [131/131]
-----------------------------------------------[ Bottom of "-v" Sample ]
URLをローカルのファイルから指定する。
html形式でなくても、以下の例のようなURLの羅列でも可。
(html形式でもよいが、相対指定のURLの場合、-F オプションとベースと
なるURLを共に指定する必要があります。)
-i - で標準入力に指定できる。
>wget -i get.txt
----------------------------------------------------[ Top of "get.txt" ]
http://127.0.0.1/sugi1.pdf
http://127.0.0.1/sugi2.pdf
-------------------------------------------------[ Bottom of "get.txt" ]
[Wgetrc] input = FILE
-i で指定したファイルをHTMLとして取り扱う。
(-i で指定したものが相対URLを含む場合、ベースURLと共に指定する。)
>wget -i geth.txt -F --base http://127.0.0.1/
または、 "geth.txt" の先頭に
<base href="http://127.0.0.1/">
の行を追加して、
>wget -i geth.txt -F
---------------------------------------------------[ Top of "geth.txt" ]
<a href=sugi1.pdf>
<a href=sugi2.pdf>
------------------------------------------------[ Bottom of "geth.txt" ]
[Wgetrc] force_html = on/off
[Wgetrc] base = URL
試行回数の指定
エラーとなった場合、指定回数まで取得を試みる
0 または、 inf を指定すると無限に試みる。
[Wgetrc] tries = NUMBER
取得した結果を FILE で指定したファイルにまとめて書き込む。
このオプション指定したときには --tries=1 として処理する。
-O - で標準出力に書き出す。(-q, -o log.txt などでログが
画面に出ないようにしておく)
>wget -r -O all.txt http://127.0.0.1/a/
>wget -r -q -O - http://127.0.0.1/a/ | grep perl
[Wgetrc] output_document = FILE
既に取得ずみのファイルがあれば、改めてサーバーから取得し
ない。
(途中で中断した直後などに使用)
ファイルの内容が変更されていても、ローカルに存在すれば、
ローカルに既にあるものを利用する。
タイムスタンプでの処理が必要な場合は、-N, --timestamping
などを利用のこと。
>wget -r -nc http://127.0.0.1/a/
[Wgetrc] noclobber = on/off
一部取得済みファイルの継続処理
途中まで取得済み(1つのファイルの1部分)を続きからダウンロード
する。
ftp や Rangeヘッダーを理解するhttpサーバーで処理可能。
[Wgetrc] continue = on/off
ログの進行表示の指定
--dot-style=micro 1行: 6K Byte
--dot-style=default 1行: 50K Byte
--dot-style=binary 1行: 384K Byte
--dot-style=mega 1行: 3M Byte
--dot-style=micro
0K -> ........ ........ ........ ........ ........ ........ [ 3%]
6K -> ........ ........ ........ ........ ........ ........ [ 7%]
12K -> ........ ........ ........ ........ ........ ........ [ 11%]
〜〜〜 (中略) 〜〜〜
150K -> ........ ........ ........ ........ ........ ........ [ 98%]
156K -> ........ ..... [100%]
[Wgetrc] dot_style = STYLE
タイムスタンプでダウンロードの要否を判断する。
[Wgetrc] timestamping = on/off
サーバーの応答ヘッダーをログへ出力
[Wgetrc] server_response = on/off
実際のファイルの取得は行わずチェックのみする。
※ --debug で確認したら、要求が GET でなく HEAD となってます。
set the read timeout to SECONDS.
[Wgetrc] timeout = SECONDS
個々のファイルの取得の間で、指定した秒数 wait する。
サーバーの負荷を軽くする。
1m(分),1h(時),1d(日)という指定で大きな値も指定できる。
大きな値は、サーバーがダウンしているような状況で使用する
とか書いてました。
[Wgetrc] wait = SECONDS
proxy の指定を(有効/無効)にする
[Wgetrc] use_proxy = on/off
取得総容量サイズの上限を設定する。
数字のみなら Byte 単位、k m とつければ、キロByte,メガByte
単位で指定します。
0 または、 inf で上限チェックなしとなる。
[Wgetrc] quota = QUOTA
ローカル側にディレクトリー階層を作らない
取得ファイルを直接カレントディレクトリーに保管する。
-r (再帰取得)を指定したときのデフォルトは、host名とパスを
含めたディレクトリーに取得ファイルを保管するがそれをやめる。
[Wgetrc] dirstruct = off
ローカル側にディレクトリー階層を作る
-r 指定なしでコマンドラインにURLを指定したときなど、デフ
ォルトでは、カレントディレクトリーに直接、取得ファイルが
保管される条件のときに、強制的に、host名とパスを含めたデ
ィレクトリーに取得ファイルを保管する。
[Wgetrc] dirstruct = on
ローカル側ディレクトリーからhost名をはずす。
ローカル側への保管時にhost名の部分ははずしてディレクトリー
を作成する。
[Wgetrc] add_hostdir = on/off
ローカル側ディレクトリーを指定した場所から始める
PREFIX で指定したディレクトリーを基点に取得ファイルの保管を
する。
PREFIX は、絶対パス、相対パスいずれの指定も可。
[Wgetrc] dir_prefix = PREFIX
ローカル側ディレクトリーへの反映を部分的にする。
リモート側のディレクトリーをローカル側に反映される条件の時、
NUMBER で指定した階層数を除外したものでローカル側に保管する。
リモート側が、 /a/b/c/d/document.html で、 --cut-dirs=2 なら
ローカル側は、 (?)/c/d/document.html に保管される。
(?)は、他のオプションで変わります。
>wget http://127.0.0.1/a/b/c/d/document.html
==> ./document.html
>wget -x --cut-dirs=2 http://127.0.0.1/a/b/c/d/document.html
==> ./127.0.0.1/c/d/document.html
>wget -x -nH http://127.0.0.1/a/b/c/d/document.html
==> ./a/b/c/d/document.html
>wget -x -nH --cut-dirs=3 http://127.0.0.1/a/b/c/d/document.html
==> ./d/document.html
>wget -x -nH -P rel --cut-dirs=3 http://127.0.0.1/a/b/c/d/docume
==> ./rel/d/document.html
>wget -x -nH -P /abs --cut-dirs=3 http://127.0.0.1/a/b/c/d/document.html
==> /abs/d/document.html
[Wgetrc] cut_dirs = NUMBER
サーバーへの認証
>wget --http-user=sugimoto --http-passwd=112233 http://127.0.0.1/p/p.html
URLにユーザー名、パスワードを含める書き方も出来ます。
>wget http://sugimoto:112233@127.0.0.1/p/p.html
[Wgetrc] http_user = USER
[Wgetrc] http_passwd = PASS
(dis)allow server-cached data (normally allowed).
[Wgetrc] cache = on/off
ignore `Content-Length' header field.
[Wgetrc] ignore_length = on/off
追加の要求ヘッダーを指定する。
>wget --header="Accept-Charset: iso-8859-2"
http://127.0.0.1/cgi-bin/httpenv.cgi
[Wgetrc] header = STRING
proxyサーバーへの認証
[Wgetrc] proxy_user = USER
[Wgetrc] proxy_passwd = PASS
応答ヘッダーをローカル側の取得ファイルの先頭に書き出す
User-Agent要求ヘッダーを指定する。
指定しなければ、 User-Agent: Wget/1.5.3 のように、
'Wget/VERSION' となっている。
retrieve FTP symbolic links.
[Wgetrc] retr_symlinks = on/off
turn file name globbing on or off.
[Wgetrc] glob = on/off
use the "passive" transfer mode.
[Wgetrc] passive_ftp = on/off
再帰的なファイルの取得を行う。
[Wgetrc] recursive = on/off
リンクをたどる階層数を指定します。
(デフォルトは、5階層)
0 または、 inf で上限チェックなしとなる。
[Wgetrc] reclevel = DEPTH
取得した各ファイルを直後に削除します。
proxy のキャッシュにプリフェッチしたいときに利用すると
便利という説明になってます。
[Wgetrc] delete_after = on/off
取得したファイル内の絶対指定のリンクを相対指定に書き換 えます。
[Wgetrc] convert_links = on/off
ミラーリングをする。
現バージョンでは、 -r -N -l inf -nr の指定と等しい。
[Wgetrc] mirror = on/off
don't remove `.listing' files.
[Wgetrc] remove_listing = on/off
取得対象の拡張子の指定
books* (books で始まるファイル名のもの)などワイルドカード
の指定も出来る。
>wget -r -A pdf,html http://127.0.0.1/a/
[Wgetrc] accept = LIST
取得対象外とする拡張子の指定
books* (books で始まるファイル名のもの)などワイルドカード
の指定も出来る。
>wget -r -R pdf,lzh http://127.0.0.1/a/
[Wgetrc] reject = LIST
取得対象のディレクトリーの指定
>wget -r -I /a,/b http://127.0.0.1/a/
[Wgetrc] include_directories = LIST
取得対象外とするディレクトリーの指定
>wget -r -X /b,/c http://127.0.0.1/a/
[Wgetrc] exclude_directories = LIST
親ディレクトリーへの参照はしない。
開始ディレクトリーとそのサブディレクトリーのみが対象となる。
[Wgetrc] no_parent = on/off
相対リンクだけを追いかける。
絶対リンクで指定されたものは取得しない。
[Wgetrc] relative_only = on/off
hostをまたいで再帰的取得をする。
[Wgetrc] span_hosts = on/off
取得対象のドメインの指定
(wget ドキュメントのサンプル)
wget -r -H -Dmit.edu,stanford.edu http://www.mit.edu/
http://www.mit.edu/ から開始して、MIT と Stanford 内へ
のリンクを追いかける。
[Wgetrc] domains = LIST
取得対象外とするドメインの指定
(wget ドキュメントのサンプル)
wget -rH -Dfoo.edu --exclude-domains sunsite.foo.edu http://www.foo.edu/
foo.edu ドメイン内のすべてのドキュメントの内、 sunsite.foo.edu
ドメインに属するものを除いて取得する。
[Wgetrc] exclude_domains = LIST
HTMLドキュメントからのftpへのリンクを追跡します。
(デフォルトでは、ftpへのリンクは無視します。)
[Wgetrc] follow_ftp = on/off
don't DNS-lookup hosts.
標準では、エイリアスも DNS-lookup して同一の host とみなす。
バーチャルサーバーへのアクセスの場合、 -nh を指定する必要があり
ます。
[Wgetrc] simple_host_check = on/off