Индексация сайта поисковым роботом. Можно ли ей управлять?
От успешной индексации интернет-сайта поисковыми роботами во многом зависит, возникнет ли данный сайт в итогах поиска или же нет. На нынешний день ситуация такова, что поисковые роботы это вдали не самые совершенные приложения и они покуда не научились ладить с самыми современными технологиями web-строительства.
Поэтому в случае если есть хотение получить даровой трафик на сайт, то надо подружиться с поисковиком. И первым делом нужно приручить робота-паука (crawler), серьезного за индексацию сайта. Успеха в данном можно достичь слишком просто. надо лишь побеспокоиться о том, дабы программный код интернет-сайта был понятным для паука.
Для этого довольно знать и понимать, что робот-паук интерпретирует HTML код страницы как обыкновенный текстовый файл. Его оглавление можно взглянуть в браузере, нажав на «Исходный код страницы» в FireFox'е или же «просмотр HTML кода» в IE.
Паук видит также самое. При данном он не осознает скриптов, Flash и иных новомодных фенечек. Он осознает только текст и HTML, который ему нужен для того, дабы найти ссылки и перейти по ним дальше. в случае если робот не находит не ссылок, не текста, то он не индексирует сайт.
Выполняя работы по созданию сайтов, мне приходится сталкиваться с просьбами заказчиков создать для их проекта меню на Flash или же JavaScript. Я всякий раз пытаюсь объяснить, отчего этого лучше не делать, в случае если можно не делать. Конечно, бывают случаи, когда применение этих технологий необходимо. И можно предусмотреть добавочные карты интернет-сайта для поисковика. Но все же лучше сторониться этого.
Предотвратить вполне вероятные проблемы с индексацией на стадии проектирования интернет-сайта гораздо проще, чем затем исправлять уже созданный проект. Но по странным мне причинам для подавляющего большинства заказчиков главным критерием «хорошего» интернет-сайта является навороченный дизайн с точки зрения визуального восприятия, что является заведомо проигрышным подходом к созданию сайта.
Такой подход через кое-какое время заставит обратиться за советом по оптимизации интернет-сайта и все же разобраться что же такое SEO.
В этой статье я приведу ликбез только самых главных моментов, на коие надо обращать интерес при разработке сайта, дабы исключить препятствия роботу индексировать сайт.
Меню и ссылки на JavaScript
JavaScript – отличная технология, но злоупотребление ею приведет к тому, что индексация интернет-сайта закончится на первой странице. Поисковые пауки элементарно не осознают скриптовый язык и игнорируют его.
Если же без JavaScript обойтись никоим образом нельзя, то непременно на сайте надо предусмотреть специально созданную для паука карту сайта. Без графики, без меню. лишь список страниц со ссылками, коие должны быть проиндексированы.
Если страниц на сайте слишком много, то величина файла может иметь слишком большие размеры. Толку от него не будет. потому большой файл карты интернет-сайта нужно разбить на некоторое количество мелких, авторитет которых не станет превышать 100 Кб.
Flash-технология
Flash это красиво, потрясающе, динамично и завораживающе. И в случае если бы к этим плюсам не добавлялись минусы, то я был бы «за» применение этой технологии к месту и не к месту. Но, к сожалению, минусы Flash-технологии заставляют навсегда иначе глядеть на ее использование на сайтах.
Два главных минуса: индексация интернет-сайта на Flash невозможна на нынешний день. интернет-сайт на Flash имеет чересчур большой авторитет и его просмотр требует скоростного включения к интернет.
Кроме того, Flash, созданная только для красоты поражает только при первом знакомстве с сайтом. потом постепенно это переходит в раздражающий фактор. Не верите? попытайтесь обратить на это интерес и задайтесь ответом на вопрос, а много ли сайтов, коие Вы бываете постоянно, применяют Flash в навигации и в оформлении? Зайдите на всякий рейтинг и пройдитесь по самым известным сайтам. Так есть Flash, помимо как в рекламных баннерах?
Адреса страниц сайта
Если формируемый сайт планируется создать большим, то для удобства его сервиса чаще всего используется одна из серверных технологий: PHP, ASP, Cold Fusion, JSP. В данном случае адреса страниц интернет-сайта могут иметь примерно такой вид:
www.Mysite.Ru/page.Asp?item=470&category=43
Причем численность различных параметров в последствии знака вопроса может быть слишком большим. Не глядя на то, что в последнее время более продвинутые поисковики научились индексировать такие сайты, все же это не наилучший вариант формирования URL.
Потому, что основная масса поисковых систем вводят ограничения на индексацию аналогичных сайтов. И этого фактора надлежит быть довольно для того, дабы избегать аналогичного явления.
Еще большее зло представляют страницы, в адреc которых добавляется параметр сессий sessid:
www.Mysite.Ru/common.Php?sessid=2104466633425a339ad69a4&prod_id=212
Опасность этого явления в том, что в предоставленном случае одна страница может иметь неограниченное численность адресов. так как каждый раз, когда паучек заходит на сайт, странице присваивается новый sessid, а это обозначает новую страницу, что в действительности не так. Вот и приходится поисковым роботам разбираться, индексировали они ранее эту страницу или же нет… а кто любит дополнительную работу?
Фреймы
Поисковые роботы не осознают и фрейм-технологию. потому если Вы применяете ее на сайте, то можете быть не сомневаемся в том, что индексация сильно затруднена. И перед тем как использовать фреймы надобно очень неплохо подумать. А подлинно ли их применение так необходимо?
И в случае если придете к выводу, что без фреймов не обойтись, то позаботьтесь о содержании тега NOFRAMES на ключевой странице сайта. Внесите в него всю значимую информацию, которая обязана быть проиндексирована. Задача, произнесу я Вам по-секрету, не из простых.
www.Mysite.Ru или же mysite.Ru?
Проверьте, доступен ли ваш интернет-сайт с WWW. в адресной строке и без WWW. в случае если один из вариантов написания адреса интернет-сайта не раскрывает страниц, то попросите собственного хостинг-провайдера внести соответственные изменения в опции домена.
---
На данном на сегодня все. Это вдали не целый список параметров, коие нужно предусмотреть при создании сайта. Об других важных моментах поговорим в надлежащей статье.
И всякий раз помните, что дешевле и эффективнее предотвращать проблему, чем подправлять уже сделанное. Не пренебрегайте оптимизацией структуры интернет-сайта и отдельных страниц на стадии разработки. пытайтесь не формировать дополнительных трудностей поисковым роботам. Индексация интернет-сайта очень стоящий элемент его раскрутки, тем более для низко- и среднебюджетных проектов, коие не имеют все шансы постоянно вкладывать важные средства в поддержание известности сайта.