Вы получали от Google «письмо счастья» с уведомлением, что ваш сайт не оптимизирован для мобильных устройств и будет хуже ранжироваться в мобильном поиске Google? Если нет, значит, вы узнали эту новость от меня.
Проще говоря, если ваш сайт плохо отображается на экранах смартфонов, то вряд ли он будет показан в результатах поиска, когда кто-то скажет: «Ок Google…». Но при чем здесь Joomla и robots.txt ? Есть довольно интересная и, на первый взгляд, неочевидная связь, которую я недавно обнаружил. Спешу поделиться с вами своими наблюдениями в этой статье. Поверьте, они окажутся полезны все владельцам сайтов на Joomla без исключения.
Содержание
Пролог
Так повелось, что я обычно пользуюсь инструментом веб-мастера от Яндекс. Как-то привычнее он мне. Но также существует аналогичный сервис для веб-мастеров от Google. Когда-то я в нем зарегистрировался и добавил сайт wedal.ru, но практически никогда не пользовался им.
Некоторое время назад Google прислал письмо следующего содержания:
В принципе, все логично и правильно. Зачем показывать в мобильной выдаче сайты, которые нормально не отображаются на мобильных устройствах? Поскольку оптимизация сайта для мобильных устройств – дело трудоемкое, я погрустил и отложил данное уведомление до полного обновления сайта, которое, рано или поздно, все-таки состоится.
Посмотреть как Googlebot
Сегодня я снова зашел в личный кабинет для веб-мастеров Google. Мне на глаза попался раздел «Посмотреть как Googlebot». И я решил протестировать в нем сайт wedal.ru. Результаты оказались неожиданными:
Казалось бы, все правильно. Поисковый робот Google вычищает все лишнее, оставляя только информацию и ничего больше. Раньше всегда было именно так. Но меня смутил список, который был показан под этими изображениями:
«Роботу Google не удалось получить следующие ресурсы веб-страницы» – извините, а он что, пытался? А зачем? С картинками еще понятно, но зачем роботу JS-файлы и CSS-скрипты?
Гуглим. Находим это. Вкратце: теперь Googlebot не только индексирует содержимое страницы, но и пытается построить ее отображение также как и браузер. Некоторые элементы этого отображения принимают участие в алгоритмах ранжирования сайта.
И выделено жирным:
Запрет в robots.txt индексации JS и CSS файлов вашего сайта прямо мешает нашим алгоритмам проиндексировать его содержимое и может привести к неоптимальной оценке сайта.
Неожиданно.
Что это за robots.txt?
Для непосвященных. Robots.txt – файл, позволяющий ограничивать доступ к индексированию поисковыми системами тех или иных разделов сайта. Вот здесь неплохо описывается все, что связано с этим файлом.
«Ну хорошо» – скажете вы, – «А при чем здесь я и мой сайт на Joomla?». Некоторые читатели, думаю, уже догадались. Ответ ниже.
Robots.txt в Joomla
Каждая версия Joomla сразу после установки содержит файл robots.txt, запрещающий индексирование некоторых разделов сайта. Среди этих разделов есть, как вы уже, наверное, догадались, /templates, содержащий все CSS и JS-файлы всех используемых шаблонов Joomla, в том числе и того, который отображается у вас на сайте. Это значит, что Googlebot по умолчанию видит все Joomla-сайты «голыми», как на рисунке с wedal.ru, и, соответственно, применяет свое правило: «может привести к неоптимальной оценке сайта».
Что делать?
К счастью, в Joomla3.4 эта проблема уже решена. Но вот обладателям более ранних версий Joomla, а также тем, кто обновил более раннюю версию до последней версии Joomla 3.4 (при обновлении Joomla robots.txt не обновляется), необходимо внести исправления в файл robots.txt вручную. Этот файл находится в корне Joomla-сайта. Его оригинальное содержимое из Joomla 3.4, которым вы можете заменить ваше устаревшее, представлено ниже:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/Как видите, из него исключены разделы templates, images и media.
Но есть и плохая новость. Многие разработчики сторонних расширений Joomla хранят их CSS и JS-файлы в папке расширений, т.е., соответственно, components, modules или plugins. Я бы советовал всем веб-мастерам и владельцам сайтов на Joomla, которым не безразлична SEO-судьба их проектов, добавить сайт в панель веб-мастеров Google и посмотреть на него глазами Googlebot’а в соответствующем разделе. Там будет показан список файлов, которые Googlebot не смог проиндексировать из-за запрета в robots.txt. Эти файлы нужно открыть для индексации, используя правила robots.txt.
И все-таки, зачем эти файлы Googlebot’у?
Напоследок делюсь с вами мыслью, которая, хоть и очевидна, но почему-то сразу не приходит в голову. Возвращаясь к началу статьи, как Googlebot определит, поддерживает ли сайт мобильные устройства, если эта поддержка, зачастую, обеспечивается исключительно CSS-стилями?
Далее делайте выводы. Если ваш сайт пока не имеет адаптивного дизайна или версии для мобильных устройств, которые, кстати, я могу для вас сделать (это довольно сложно и дорого, но если интересует, обращайтесь), то имеет смысл намеренно не давать доступ Googlebot’у к CSS-файлам сайта. Пока Googlebot не уверен в этом, сильно плохо сайту в мобильном поиске не станет (хотя, для wedal.ru письмо он все-таки прислал…). Если же сайт уже оптимизирован для мобильных устройств, этот маленький недочет способен убить всю возможную пользу, получаемую от этой оптимизации.
P.S.: Если вы интересуетесь продвижением исключительно в академических целях, то всегда можете обратиться за услугами по продвижению к профессионалам, например https://ima.kz/prodvizheniye.
http://wedal.ru/ находится в базе нежелательных сайтов Dr.Web!