1. <optgroup id="wrpzj"><em id="wrpzj"><del id="wrpzj"></del></em></optgroup>

      <span id="wrpzj"><output id="wrpzj"></output></span>

          <acronym id="wrpzj"></acronym>

          Robots

          Robots

          中文稱:爬蟲協議。簡單說,robots.txt文件用于告訴搜索引擎哪些頁面不被開放、禁止抓取。大多數搜索引擎公司都會自覺遵守該協議內容,一方面可以保護用戶隱私數據,另一方面也可以通過此協議控制爬蟲抓取范圍,從事減少網站帶寬。
          相關話題
          夫唯
          話題優秀回答者
          649 問題
          台湾妹娱乐网