Шинэчлэгдсэн эсвэл шинэ роботуудыг хэрхэн яаж оруулах вэ .txt файл

роботууд txt

Манай агентлаг зохицуулдаг органик хайлтын зөвлөгөө салбарын хэд хэдэн SaaS үйлдвэрлэгчдэд зориулагдсан болно. Бидний саяхан хамтран ажиллаж эхэлсэн үйлчлүүлэгч нэлээд стандарт практик ажил хийж, програмаа дэд домайн дээр байрлуулж, товхимлын сайтаа үндсэн домэйнд шилжүүлсэн. Энэ нь танай үйлдвэрлэлийн баг болон маркетингийн баг хоёулаа нөгөөгөөсөө хамааралгүйгээр шаардлагатай бол шинэчлэлт хийх боломжийг олгодог тул энэ нь стандарт практик юм.

Органик хайлтын эрүүл мэндэд дүн шинжилгээ хийх эхний алхам бол бид товхимол, програмын домэйныг Вэбмастерт бүртгүүлсэн. Энэ үед бид яаралтай асуудлыг тодорхойлсон. Бүх програмын хуудсыг хайлтын системээр индексжүүлэхийг хориглож байв. Бид тэдний роботууд руу чиглүүлэв.txt Вэбмастерууд, асуудлыг шууд тодорхойлов.

Шилжилт хөдөлгөөнд бэлтгэж байхдаа тэдний хөгжүүлэлтийн баг програмын дэд домэйныг хайлтаар индексжүүлэхийг хүсээгүй тул хайлтын системд нэвтрэхийг хориглосон байна. Robots.txt файл бол таны сайтын үндэс дээр байдаг файл юм. yourdomain.com/robots.txt - энэ нь хайлтын системд сайтыг мөлхөх ёстой эсэхийг мэдэх боломжийг олгодог. Та бүхэл бүтэн сайт эсвэл тодорхой зам дээр индексжүүлэхийг зөвшөөрөх эсвэл хориглох дүрмийг бичиж болно. Та өөрийн сайтын файлыг зааж өгөх мөр нэмж болно.

The robots.txt файл нь хайлтын үр дүнгийн зэрэглэлд сайтыг мөлхөж, индексжүүлэхээс урьдчилан сэргийлэх дараахь оруулгатай байв.

Хэрэглэгчийн агент: * боломжийг хаах: /

Үүнийг дараах байдлаар бичсэн байх ёстой.

Хэрэглэгчийн төлөөлөгч: * Зөвшөөрөх: /

Сүүлийнх нь сайтыг мөлхөж буй аливаа хайлтын системд сайтын доторх аль ч лавлах эсвэл файлд нэвтрэх зөвшөөрөл өгдөг.

Гайхалтай ... одоо robots.txt файл нь төгс төгөлдөр боловч Google хэрхэн мэддэг, хэзээ сайтыг дахин шалгах вэ? Та Google-ээс robots.txt-аа шалгуулахыг үнэхээр хүсч болно, гэхдээ энэ нь тийм ч хялбар биш юм.

Руу оч Google Search Console Search консол нь Crawl> robots.txt шалгагч. Та шалгагч дотор хамгийн сүүлд мөлхөж байсан robots.txt файлын агуулгыг харах болно. Хэрэв та robots.txt файлаа дахин оруулахыг хүсвэл Submit дээр дарахад цэстэй цонх цөөн хэдэн сонголтыг олох болно.

роботуудыг дахин оруулах

Эцсийн сонголт бол Шинэчлэхийг Google-ээс хүс. Энэ сонголтын хажууд байрлах цэнхэр өнгийн Submit товчлуур дээр дараад буцаж очно уу Crawl> robots.txt шалгагч хуудсыг дахин ачаалах цэсийн сонголт. Та одоо шинэчлэгдсэн robots.txt файлыг дахин мөлхөж байгааг харуулсан огнооны тэмдгийн хамт харах хэрэгтэй.

Хэрэв та шинэчилсэн хувилбарыг харахгүй бол илгээх дээр товшоод сонгох боломжтой Байршуулсан хувилбарыг үзэх өөрийн жинхэнэ robots.txt файл руу шилжих. Олон систем энэ файлыг кэш хийх болно. Үнэн хэрэгтээ IIS нь хэрэглэгчийн интерфейсээр оруулсан дүрмүүд дээр үндэслэн энэ файлыг динамикаар үүсгэдэг. Та robots.txt файлыг шинээр нийтлэхийн тулд дүрмээ шинэчилж, кэшээ шинэчлэх шаардлагатай байх.

роботууд

Чи юу гэж бодож байна?

Энэ сайт нь спамыг багасгахын тулд Akismet-ийг ашигладаг. Таны өгөгдлийг хэрхэн боловсруулдаг талаар суралц.