curl与wget高级用法

2017-8-1 00:53 |来自: 互联网 1373 3

摘要: curl（文件传输工具）常用参数如下：1234567891011121314151617-c，–cookie-jar：将cookie写入到文件-b，–cookie：从文件中读取cookie-C，–continue-at：断点续传-d，–data：http post方式传送数据-D，–dump-he ...

curl（文件传输工具）

常用参数如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
-c，–cookie-jar：将cookie写入到文件
-b，–cookie：从文件中读取cookie
-C，–continue-at：断点续传
-d，–data：http post方式传送数据
-D，–dump-header：把header信息写入到文件
-F，–from：模拟http表达提交数据
-s，–slient：减少输出信息
-o，–output：将信息输出到文件
-O，–remote-name：按照服务器上的文件名，存在本地
–l，–head：仅返回头部信息
-u，–user[user:pass]：设置http认证用户和密码
-T，–upload-file：上传文件
-e，–referer：指定引用地址
-x，–proxy：指定代理服务器地址和端口
-w，–write-out：输出指定格式内容
–retry：重试次数
–connect-timeout：指定尝试连接的最大时间/s

使用示例：
例1：抓取页面到指定文件，如果有乱码可以使用iconv转码

1
2
 # curl -o baidu.html www.baidu.com
# curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #减少输出信息

例2：模拟浏览器头（user-agent）

1
 # curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com

例3：处理重定向页面

1
 # curl –L http://192.168.1.100/301.php #默认curl是不处理重定向

例4：模拟用户登陆，保存cookie信息到cookies.txt文件，再使用cookie登陆

                    <span style="color:#C0C0C0">本文出处： http://www.ttlsa.com/linux/linux-curl-wget/</span>
</td></tr>

<tr><td>
                    <div style="width: 100%; background-color: #f4f7fb; border-radius: 4px; padding: 12px 16px; box-sizing: border-box; font-family: system-ui, -apple-system, 'Segoe UI', Roboto, 'Helvetica Neue', sans-serif; font-size: 14px; color: #333; border: 1px solid #e0e0e0; margin: 0;">
                      声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 
                      <span id="email-placeholder">[邮箱地址]</span> 删除
                    </div>				    
                    <script>
                      (function() {
                        // 邮箱地址使用 Base64 编码伪装，防止爬虫直接抓取
                        var encodedEmail = "YWRtaW5AaGFja2Jhc2UubmV0"; // admin@hackbase.net 的 Base64 编码
                        var email = atob(encodedEmail); // 解码得到真实邮箱
                        
                        var container = document.getElementById("email-placeholder");
                        if (container) {
                          container.textContent = email;
                        }
                      })();
                    </script>                    
</td></tr>

</table>



<!--[diy=diycontentbottom]--><div id="diycontentbottom" class="area"></div><!--[/diy]-->

<script src="data/cache/home.js?zj6" type="text/javascript"></script>
<div id="click_div"><table cellpadding="0" cellspacing="0" class="atd">
<tr><td>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=click&op=add&clickid=1&idtype=aid&id=222327&hash=2acbbef68b85c56412cb2aeed03db1df&handlekey=clickhandle" id="click_aid_222327_1" onclick="showWindow(this.id, this.href);doane(event);">
<img src="static/image/click/luguo.gif" alt="" /><br />路过</a>
</td>
<td>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=click&op=add&clickid=2&idtype=aid&id=222327&hash=2acbbef68b85c56412cb2aeed03db1df&handlekey=clickhandle" id="click_aid_222327_2" onclick="showWindow(this.id, this.href);doane(event);">
<img src="static/image/click/leiren.gif" alt="" /><br />雷人</a>
</td>
<td>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=click&op=add&clickid=3&idtype=aid&id=222327&hash=2acbbef68b85c56412cb2aeed03db1df&handlekey=clickhandle" id="click_aid_222327_3" onclick="showWindow(this.id, this.href);doane(event);">
<img src="static/image/click/woshou.gif" alt="" /><br />握手</a>
</td>
<td>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=click&op=add&clickid=4&idtype=aid&id=222327&hash=2acbbef68b85c56412cb2aeed03db1df&handlekey=clickhandle" id="click_aid_222327_4" onclick="showWindow(this.id, this.href);doane(event);">
<img src="static/image/click/xianhua.gif" alt="" /><br />鲜花</a>
</td>
<td>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=click&op=add&clickid=5&idtype=aid&id=222327&hash=2acbbef68b85c56412cb2aeed03db1df&handlekey=clickhandle" id="click_aid_222327_5" onclick="showWindow(this.id, this.href);doane(event);">
<img src="static/image/click/jidan.gif" alt="" /><br />鸡蛋</a>
</td>
</tr>
</table>
<script type="text/javascript">
function errorhandle_clickhandle(message, values) {
if(values['id']) {
showCreditPrompt();
show_click(values['idtype'], values['id'], values['clickid']);
}
}
</script>

</div>


<!--[diy=diycontentclickbottom]--><div id="diycontentclickbottom" class="area"></div><!--[/diy]-->

</div>

<div class="o cl ptm pbm">
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=favorite&type=article&id=222327&handlekey=favoritearticlehk_222327" id="a_favorite" onclick="showWindow(this.id, this.href, 'get', 0);" class="oshr ofav">收藏</a>
<a href="https://www.hackbase.net/home.php?mod=spacecp&ac=share&type=article&id=222327&handlekey=sharearticlehk_222327" id="a_share" onclick="showWindow(this.id, this.href, 'get', 0);" class="oshr">分享</a>
<a href="misc.php?mod=invite&action=article&id=222327" id="a_invite" onclick="showWindow('invite', this.href, 'get', 0);" class="oshr oivt">邀请</a>
</div>
<div class="pren pbm cl">
<em>上一篇：<a href="https://www.hackbase.net/system/netschool/222325.html">总结四条对学习Linux系统有帮助的方法</a></em><em>下一篇：<a href="https://www.hackbase.net/system/netschool/222333.html">HTTP｜GET 和 POST 区别？网上多数答案都是错的</a></em></div>
</div>

<!--[diy=diycontentrelatetop]--><div id="diycontentrelatetop" class="area"></div><!--[/diy]-->
<!--[diy=diycontentrelate]--><div id="diycontentrelate" class="area"></div><!--[/diy]-->

<div id="comment" class="bm">
<div class="bm_h cl">
<a href="javascript:;" class="y xi2" onclick="location.href=location.href.replace(/(\#.*)/, '')+'#cform';$('message').focus();return false;">发表评论</a>
<h3>
最新评论
<a href="https://www.hackbase.net/portal.php?mod=comment&id=222327&idtype=aid" class="xg2" style="font-size: 12px; margin-left: 15px;">查看全部评论(<em id="_commentnum">3</em>)</a>
</h3>
</div>
<div id="comment_ul" class="bm_c"><p class="ptm pbm"></p>
<form id="cform" name="cform" action="portal.php?mod=portalcp&ac=comment" method="post" autocomplete="off">
<div class="tedt">
<div class="area">
<textarea name="message" rows="3" class="pt" id="message" onkeydown="ctrlEnter(event, 'commentsubmit_btn');">

curl与wget高级用法

curl（文件传输工具）

相关分类