robots.txt, noindex и X-Robots-Tag решают разные задачи. robots.txt управляет тем, какие URL crawler может запрашивать; noindex запрещает показывать полученный документ в поисковой выдаче; X-Robots-Tag передаёт такие же page-level директивы через HTTP-заголовок и особенно полезен для не-HTML файлов. Отсюда следует неочевидное, но важное правило: если закрыть страницу […]
Редирект нужен не потому, что старый URL «плохой», а потому, что запрос к одному адресу должен продолжиться по другому. Для постоянного переноса веб-страницы обычно используют 301 или 308; для временного — 302 или 307. Между этими парами есть ещё одна техническая граница: 307 и 308 однозначно сохраняют HTTP-метод при автоматическом переходе, тогда как историческое поведение […]
В упрощённом виде путь выглядит так: клиент разбирает URL, определяет адрес сервера через DNS, устанавливает соединение, для HTTPS согласует защищённый транспорт, отправляет HTTP-запрос и получает HTTP-ответ. Если сервер возвращает редирект, часть пути повторяется уже для нового URL. Когда приходит HTML, начинается следующий этап — разбор документа, загрузка ресурсов и, при необходимости, выполнение JavaScript.Эта последовательность полезна именно […]
HTTP-код — это не оценка качества страницы и не «SEO-статус». Он сообщает результат конкретного HTTP-запроса. Для обычной информационной страницы ожидаемым рабочим состоянием чаще всего будет 200 OK; при переносе URL нужен подходящий редирект; отсутствующий ресурс должен честно отвечать ошибкой; временная перегрузка сервера относится уже к другому классу состояний.Ошибки начинаются, когда код и фактическая […]