Вход для складчиков
В прошлом месяце Гугл разослал обновленные директивы для получения видимости в результатах поиска. Они включают в себя получение доступа к файлам CSS и JS (таблицы стилей и ява-скрипты) на Ваших сайтах. Это влияет на общий поисковый рейтинг. Следующая статья объясняет, что необходимо сделать для того, чтобы сайт на Joomla соответствовал новым требованиям. Многие читатели, возможно, уже недавно получили от Гугла письмо об этих нововведениях, требующих внести изменения в файл robots.txt. Но для начала просто зарегистрируйтесь в гугл вебмастере, если еще этого не сделали :)
Как Гугл видит, в какие файлы необходимо внести изменения, чтобы повысить поисковый ранг?
Все очень просто: следующая ссылка расскажет как Гугл понимает наш сайт на Joomla и к каким CSS и JS файлам он не может получить доступ:
https://support.google.com/webmasters/answer/6066468?hl=ru
Мы нашли файлы, на которые указывал Гугл.
Как предоставить к ним доступ?
Через файл robots.txt, который находится в корневой папке Вашего сайта. Здесь нам надо предоставить индикатор Allow для всех файлов, которые необходимы Гуглу.
Например:
Типичные файлы, к которым надо дать доступ - это файлы CSS нашего шаблона. По умолчанию, Joomla закрывает доступ к директории с шаблоном в файле robots.txt через директиву Disallow: /templates/
Как предоставить доступ к шаблонному файлу CSS, который нужен Гуглу?
Если предположить, что Ваш шаблон называется "mytemplate", а, как правило, у всех шаблонов есть папка / css /, то мы откроем к ней дверь через файл robots.txt. Или даже ко всей папке с шаблоном и ее содержимому.
Чтобы это сделать, надо внести в robots.txt следующие правила:
Allow: /templates/mytemplate/css/ Allow: /templates/mytemplate/
Как мы узнаем, что Гугл увидел наши исправления?
Просто перезапустите утилиту "Просмотреть как Googlebot" и в новом отчете мы увидим к каким файлам и папкам Гугл получил доступ, а к каким нет. Если доступ есть, то это просто прекрасно! Теперь это важный момент, чтобы повысить поисковый ранг.
Вместо заключения. Мы должны проявлять осторожность используя индикаторы Allow и Disallow, потому что это может привести к блокированию доступа Гуглбота к Вашему сайту.
...и помните, что "Недостаточно просто знать как, нужно еще и уметь сделать".
Комментарии
Олег, спасибо за статью. Актуальная тема. Сам пару недель назад это проделывал.
Тем, кто использует плагин JCH Optimize, может пригодиться вот такая строчка:
Allow: /media/plg_jchoptimize/
А это не приведет к взломам и тому подобному?
Обычно гуглу ещё надо джаваскрипты посмотреть, поэтому приходится открывать и папку media
А Яндекс заявил, что ему класть на эти файлы (что странно), так что можно открывать только для Googlebot
Обрадую вас! Компонент JSitemap PRO, решает эту проблему на раз два
Гугл бот, у меня еще требовал открыть к индексированию файлы Jcomments, я забил на это, открыл только папку с шаблоном. Изменений в выдаче не наблюдаю.
Вот бы кто-нибудь статью написал про идеальный robots.txt. Бало бы ОЧЕНЬ интересно почитать
Статья отличная но если у Вас большой сайт с кучей плагинов и модулей таким образом можно в robots вписать огромное количество строк да и мучительно это. проще
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /media/*.js
Allow: /libraries/*.css
Allow: /libraries/*.js
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.woff
Allow: /modules/*.gif
Allow: /modules/*.png
Allow: /plugins/*.cvg
Allow: /plugins/*.svg
Allow: /plugins/*.html
Allow: /plugins/*.ttf
и т.п. но опять же на мой взгляд