Спешу поделиться с вами своими наблюдениями в этой статье. Поверьте, они окажутся полезны все владельцам сайтов на Joomla без исключения.
Joomla,  Google, оптимизация сайта для мобильных устройств и файл robots.txt.

Вы получали от Google «письмо счастья» с уведомлением, что ваш сайт не оптимизирован для мобильных устройств и будет хуже ранжироваться в мобильном поиске Google? Если нет, значит, вы узнали эту новость от меня.

Проще говоря, если ваш сайт плохо отображается на экранах смартфонов, то вряд ли он будет показан в результатах поиска, когда кто-то скажет: «Ок Google…». Но при чем здесь Joomla и robots.txt ? Есть довольно интересная и, на первый взгляд, неочевидная связь, которую я недавно обнаружил. Спешу поделиться с вами своими наблюдениями в этой статье. Поверьте, они окажутся полезны все владельцам сайтов на Joomla без исключения.

Пролог.

Так повелось, что я обычно пользуюсь инструментом веб-мастера от Яндекс. Как-то привычнее он мне. Но также существует аналогичный сервис для веб-мастеров от Google. Когда-то я в нем зарегистрировался и добавил сайт wedal.ru, но практически никогда не пользовался им.

Некоторое время назад Google прислал письмо следующего содержания:

Ваш сайт не оптимизирован для мобильных устройств

В принципе, все логично и правильно. Зачем показывать в мобильной выдаче сайты, которые нормально не отображаются на мобильных устройствах? Поскольку оптимизация сайта для мобильных устройств – дело трудоемкое, я погрустил и отложил данное уведомление до полного обновления сайта, которое, рано или поздно, все-таки состоится.

Посмотреть как Googlebot.

Сегодня я снова зашел в личный кабинет для веб-мастеров Google. Мне на глаза попался раздел «Посмотреть как Googlebot». И я решил протестировать в нем сайт wedal.ru. Результаты оказались неожиданными:

Посмотреть как Googlebot.

Казалось бы, все правильно. Поисковый робот Google вычищает все лишнее, оставляя только информацию и ничего больше. Раньше всегда было именно так. Но меня смутил список, который был показан под этими изображениями:

Список блокируемых файлов

«Роботу Google не удалось получить следующие ресурсы веб-страницы» – извините, а он что, пытался? А зачем? С картинками еще понятно, но зачем роботу JS-файлы и CSS-скрипты?

Гуглим. Находим это. Вкратце: теперь  Googlebot не только индексирует содержимое страницы, но и пытается построить ее отображение также как и браузер. Некоторые элементы этого отображения принимают участие в алгоритмах ранжирования сайта.

И выделено жирным:

Запрет в robots.txt индексации JS и CSS файлов вашего сайта прямо мешает нашим алгоритмам проиндексировать его содержимое и может привести к неоптимальной оценке сайта.

Неожиданно.

Что это за robots.txt?

Для непосвященных. Robots.txt – файл, позволяющий ограничивать доступ к индексированию поисковыми системами тех или иных разделов сайта. Вот здесь неплохо описывается все, что связано с этим файлом.

«Ну хорошо» – скажете вы, – «А при чем здесь я и мой сайт на Joomla?». Некоторые читатели, думаю, уже догадались. Ответ ниже.

Robots.txt в Joomla.

Каждая версия Joomla сразу после установки содержит файл robots.txt, запрещающий индексирование некоторых разделов сайта. Среди этих разделов есть, как вы уже, наверное, догадались, /templates, содержащий все CSS и JS-файлы всех используемых шаблонов Joomla, в том числе и того, который отображается у вас на сайте. Это значит, что Googlebot по умолчанию видит все Joomla-сайты «голыми», как на рисунке с wedal.ru, и, соответственно, применяет свое правило: «может привести к неоптимальной оценке сайта».

Что делать?

К счастью, в Joomla3.4 эта проблема уже решена. Но вот обладателям более ранних версий Joomla, а также тем, кто обновил более раннюю версию до последней версии Joomla 3.4 (при обновлении Joomla robots.txt не обновляется), необходимо внести исправления в файл robots.txt вручную. Этот файл находится в корне Joomla-сайта. Его оригинальное содержимое из Joomla 3.4, которым вы можете заменить ваше устаревшее, представлено ниже:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Как видите, из него исключены разделы templates, images и media.

Но есть и плохая новость. Многие разработчики сторонних расширений Joomla хранят их CSS и JS-файлы в папке расширений, т.е., соответственно, components, modules или plugins. Я бы советовал всем веб-мастерам и владельцам сайтов на Joomla, которым не безразлична SEO-судьба их проектов, добавить сайт в панель веб-мастеров Google и посмотреть на него глазами Googlebot’а в соответствующем разделе. Там будет показан список файлов, которые Googlebot не смог проиндексировать из-за запрета в robots.txt. Эти файлы нужно открыть для индексации, используя правила robots.txt.

И все-таки, зачем эти файлы Googlebot’у?

Напоследок делюсь с вами мыслью, которая, хоть и очевидна, но почему-то сразу не приходит в голову. Возвращаясь к началу статьи, как Googlebot определит, поддерживает ли сайт мобильные устройства, если эта поддержка, зачастую, обеспечивается исключительно CSS-стилями?

Далее делайте выводы. Если ваш сайт пока не имеет адаптивного дизайна или версии для мобильных устройств, которые, кстати, я могу для вас сделать (это довольно сложно и дорого, но если интересует, обращайтесь), то имеет смысл намеренно не давать доступ Googlebot’у к CSS-файлам сайта. Пока Googlebot не уверен в этом, сильно плохо сайту в мобильном поиске не станет (хотя, для wedal.ru письмо он все-таки прислал…). Если же сайт уже оптимизирован для мобильных устройств, этот маленький недочет способен убить всю возможную пользу, получаемую от этой оптимизации.

Понравилась статья? Сохраните себе на стену:

Ваша оценка материала очень важна для нас. Просим вас оценить статью или оставить отзыв в комментариях ниже.

5 1 1 1 1 1 5.00

Добавить комментарий

Для отправки комментария введите код с картинки:
Защитный код
Обновить

Комментарии  

0 # cmsСеменЭксперт 01.07.2015 18:45
Добрый день! не могли бы поделится секретом, как вы добились того, что роботы, вроде 2айпиру не определяют, что Ваш сайт на Джумле?
Ответить | Ответить с цитатой | Цитировать
0 # RE: cmsWedal 24.07.2015 09:41
СеменЭксперт, вообще, я даже не знал об этом. Все зависит от того, по какому признаку определяется Joomla. Возможно, дело как раз в Robots.txt.
Ответить | Ответить с цитатой | Цитировать
0 # RE: cmsPotudanh эксперт 14.02.2016 06:49
А зачем 2айпиру, если в коде сайта сразу видно, например, по применяемым расширениям
Ответить | Ответить с цитатой | Цитировать
0 # просто вопросums 22.06.2015 07:45
почему то ваш сайт блокирует Dr.web.
http://wedal.ru/ находится в базе нежелательных сайтов Dr.Web!
Ответить | Ответить с цитатой | Цитировать
0 # RE: просто вопросWedal 23.06.2015 03:45
ums, большое спасибо за это указание. Все действительно было так. Обратился к ним - блокировку сняли.
Ответить | Ответить с цитатой | Цитировать

Вверх