Tin Tức

Nội dung được bảo vệ bởi DMCA.com

Hướng dẫn Xác minh Bingbot

Đăng bởi Thuấn Luviet vào lúc 30/06/2021

Hướng dẫn Xác minh Bingbot

  1. Thực hiện tra cứu DNS ngược bằng địa chỉ IP từ nhật ký để xác minh rằng nó phân giải thành tên kết thúc bằng  search.msn.com
  1. Thực hiện tra cứu DNS chuyển tiếp bằng cách sử dụng tên từ bước 1 để xác nhận rằng nó phân giải trở lại cùng một địa chỉ IP
Công cụ tra cứu DNS & IP ngược dựa trên webĐảo ngược DNS và Tra cứu IPTra cứu DNS và IP đảo ngược: Tra cứu xác nhận chuyển tiếpReverse & Forward DNS Lookup trong WindowsC:\Users>nslookup 157.55.33.18 Server:  Unknown Address: Name:   msnbot-157-55-33-18.search.msn.com Address:  157.55.33.18C:\Users>nslookup msnbot-157-55-33-18.search.msn.com Server:  UnKnown Address:Non-authoritative answer: Name:    msnbot-157-55-33-18.search.msn.com Address:  157.55.33.18Reverse & Forward DNS Lookup trên các hệ thống dựa trên Linux> host 157.55.33.18 157.55.33.18.in-addr.arpadomain name pointer msnbot-157-55-33-18.search.msn.com > host msnbot-157-55-33-18.search.msn.com msnbot-157-55-33-18.search.msn.com has address 157.55.33.18 Không sử dụng địa chỉ IP hoặc dải địa chỉ được mã hóa cứng

Nếu bạn thấy những gì có vẻ là lưu lượng Bingbot trong nhật ký máy chủ của mình dựa trên chuỗi tác nhân người dùng, ví dụ: Mozilla / 5.0 (tương thích; bingbot / 2.0; + http://www.bing.com/bingbot.htm), và bạn muốn biết liệu lưu lượng truy cập này có thực sự bắt nguồn từ máy chủ Bing hay không, bạn có thể thực hiện các bước sau:

Có nhiều cách để thực hiện việc này trực tiếp từ bên trong Windows và Linux, nhưng bạn có thể sử dụng công cụ Xác minh Bingbot ngay từ bên trong tài khoản Quản trị trang web của mình hoặc sử dụng phiên bản có sẵn công khai tại http://www.bing.com/toolbox/verify-bingbot . Ngoài ra, bạn có thể sử dụng các công cụ dựa trên web khác:

Thay vì sử dụng các công cụ dòng lệnh do hệ điều hành của bạn cung cấp, bạn có thể sử dụng một trong nhiều công cụ tra cứu DNS ngược dựa trên web. Dưới đây là một ví dụ về tra cứu DNS ngược cho địa chỉ IP 157.55.33.18 bằng cách sử dụng http://www.whois.net/reverse-dns-ip-lookup/ :

Như bạn có thể thấy, địa chỉ IP mà chúng tôi nhập đã giải quyết thành một tên kết thúc bằng  search.msn.com . Tiếp theo, xác nhận điều này với một tra cứu tương ứng:

Tra cứu chuyển tiếp xác nhận rằng msnbot-157-55-33-18.search.msn.com khớp với địa chỉ IP ban đầu mà chúng tôi đã nhập:  157.55.33.18 .

Trên hệ thống Windows, bạn có thể sử dụng  nslookup  từ dấu nhắc lệnh (sử dụng cmd.exe) để tra cứu DNS ngược và xuôi. Đây là ví dụ về tra cứu ngược lại địa chỉ IP 157.55.33.18; tìm dòng bắt đầu bằng  Tên:  trong đầu ra. Đây là nơi bạn muốn tìm tên kết thúc bằng  search.msn.com :

Bây giờ thực hiện tra cứu DNS chuyển tiếp; đầu ra trong dòng Address:  thứ hai  phải khớp với địa chỉ IP bạn đã nhập trước đó để xác nhận đó là trình thu thập dữ liệu Bing:

Kết quả giống nhau: tên và địa chỉ trùng khớp, vì vậy đây là trình thu thập dữ liệu Bing đã được xác minh.

Trên Linux, bạn có thể sử dụng  lệnh host  để thực hiện tương tự:

Vì vậy, bằng cách sử dụng phương pháp tra cứu DNS ngược / chuyển tiếp, bạn có thể dễ dàng xác minh rằng địa chỉ IP đến từ Bing. Điều quan trọng cần lưu ý là giống như các công cụ tìm kiếm khác, Bing không công bố danh sách địa chỉ IP hoặc phạm vi mà chúng tôi thu thập dữ liệu trên Internet. Lý do rất đơn giản: địa chỉ IP hoặc dải ô mà chúng tôi sử dụng có thể thay đổi bất kỳ lúc nào, do đó, việc phản hồi các yêu cầu theo cách khác nhau dựa trên danh sách được mã hóa cứng không phải là cách tiếp cận được khuyến nghị và có thể gây ra sự cố.

Nếu bạn đang gặp phải sự gia tăng  HTTP 403 Cấm  phản hồi đối với các yêu cầu Bingbot hợp lệ, máy chủ web của bạn có thể đã được định cấu hình để cho phép truy cập Bingbot dựa trên danh sách như vậy. Do đó, các máy thu thập dữ liệu Bingbot mới (với địa chỉ IP mới) có thể vô tình bị từ chối quyền truy cập vào các trang của bạn. 

Nhận xét

Thiết kế website và blog bán hàng Luviet
HỖ TRỢ
www.luviet.com
icon icon icon