狠狠干天天_日韩欧美在线一区二区三区_亚洲国产系列_天堂av网站_亚洲图片自拍偷拍_国产人妖视频一区二区_欧美成人免费视频一区二区_无码人妻久久一区二区三区蜜桃_奇米影视盒_婷婷丁香六月

　　當我們制作網(wǎng)站時，一個完整的網(wǎng)站應該有301個重定向、404個頁面和robots.txt文件，這些都是制作網(wǎng)站所必需的。 其中robots.txt 文件來屏蔽不想被搜索引擎抓取的頁面。

　　robots.txt是搜索引擎中第一個在訪問網(wǎng)站時查看的文件。當搜索引擎訪問網(wǎng)站時，它首先檢查站點根目錄中是否存在robots.txt，如果存在，搜索引擎將根據(jù)文件的內(nèi)容確定訪問范圍。如果文件不存在，那么搜索引擎都可以訪問不受密碼保護的站點上的所有頁面。

　　如果網(wǎng)站因某種原因而被修改或突然刪除大量網(wǎng)頁，但網(wǎng)站上出現(xiàn)大量死鏈接，不利于網(wǎng)站在搜索引擎中的排名。雖然可以直接向百度提交死鏈接，但現(xiàn)在最好方法是直接阻止搜索引擎爬行死鏈接。

　　網(wǎng)站有時候會有不希望被搜索引擎索引的內(nèi)容，如私有數(shù)據(jù)、用戶信息、管理背景頁面等，可以由robots.txt屏蔽。

　　使用方法。使用記事本等編輯軟件，在User-agent后添加需要屏蔽的搜索引擎的爬行工具名稱Googlebot、sogou spider等，在Disallow后添加網(wǎng)站的限制目錄/bin/、/admin/等，將文件名命名為robots.txt上傳到網(wǎng)站根目錄即可。

　　例圖：

（非特殊說明，本文版權歸原作者所有，轉(zhuǎn)載請注明出處 ）
標簽： 上海網(wǎng)站建設、上海網(wǎng)站制作、高端網(wǎng)站設計、邁若網(wǎng)絡

手機隨時獲取邁若動態(tài)，掃描左側(cè)二維碼
添加邁若微信公眾號【manro_since2005】