Когда на сайте появляется новая страница,она становится известной поисковой машине тогда,когда ее найдет поисковый робот.Если ваш сайт большого размера и новая
страница находится в глубине сайта,тогда поисковый робот может нескоро добраться до нее.Поэтому для решения этой проблемы создавайте карту сайта.
2.Файл robots.txt
Большинство поисковых машин спокойно реагируют на отстутствие этого файла,но некоторые зарубежные поисковики прекращают индексацию.Также некоторые поисковики
имеют лимит на индексацию сайт(по времени или количеству страниц).Соответственно если с помощью robots.txt запретить второстепенные страницы для индексации,то тем
полнее будут проиндексированы важные части сайта.
3.Использование Java Script
Поисковые машины не всегда могут корректно отделить сложные скрипты от текста страницы, и поэтому желательно меньше использовать данные скрипты.
4.Динамические страницы
По ряду причин некоторые поисковые машины испытывают сложность с индексацией динамических страниц.Поэтому если возможно воздержитесь от их использования.
5.Корректная кодировка
Если кодировка определяется некорректно,то даже при запросах,идеально соответствующих документу,приведет к тому,что он не будет найден.
(в России распространены следующие кодировки: WIN1251 (Windows), KOI-8 (Unix), СP866 (DOS), Macintosh, ISO-8859-5 (Unix). Русские буквы в этих кодировках расположены на разных позициях.)
6.Постоянный URL документа
Для отслеживания сессий посетителей, у которых выключены cookies (а иногда и для всех посетителей), многие сайты используют уникальные параметры в URL. Так как роботы поисковиков не поддерживают cookies, сервер предъявляет им одни и те же страницы каждый раз под разными URL. В итоге, либо поисковики индексируют одни и те же страницы много раз, а не идут вглубь сайта, либо, заметив дублирование, отказываются индексировать сайт вовсе.
