О файле robots.txt подробно.
Маленький по размеру, всего в две строчки файл robots.txt имеет очень весомое значение для правильной и быстрой индексации вашего сайта. Прошу об этам не забывать - его наличие в корневой директории сайта является обязательным.
Плавно переходим к очередному, наверное одному из самых важных этапов создания сайта для заработка - его комплексной оптимизации. Представьте себе пустыню, пусть даже она будет называться Сахарой. Так вот, ваш сайт (не расстраивайтесь - и мои тоже) изначально есть не более, чем крупинки песка в этой пустыне. И для того, чтобы посетители находили ваш сайт и, соотвественно, посещали его, нужно очень постараться.
В противном случае сайт так и останется далеко на задворках истории Интернета и кроме вас и ваших друзей вряд ли его кто - либо будет посещать. Соответственно финансовой пользы от обладания таким сайтом иметь вы не будете. Такова жестокая реальность. Все вышеизложенное написано не с целью напугать вас и отбить охоту работать дальше. Просто есть необходимость акцентировать ваше внимание на серьезном отношении к этому и последующим разделам касательно оптимизации сайта, т. е. подгонку вашего ресурса под шаблон качественного сайта по мнению поисковой системы.
Для того, чтобы вы имели представление о том, как это происходит, читайте дальше. Роботы поисковых систем постоянно сканируют Интернет в поисках новых сайтов и переиндексации уже им известных. Обнаружив ваш сайт, робот заходит на него и первым делом ищет в корне сайта файл robots.txt , из которого получает инструкции о том, какие файлы можно индексировать, а какие нет.
Эти самые инструкции в файле пишите вы сами. Если есть основания не предъявлять роботу
для индексации какие - либо файлы (все на ваше усмотрение), то вы об этом указываете. В противном случае, что бывает в
большинстве вариантов, позволяете роботу индексировать все. Для этого нужно создать и положить в корень вашего
сайта (именно в корень !) файл следующего содержания, который должен иметь название robots.txt :
User-agent: *
Disallow:
Просто скопируйте и вставьте в свой файл robots.txt, ничего в нем не меняя. Это важно. Получив инструкции, робот проходит по всему вашему сайту, анализирует контент и проходит по ссылкам. Иногда робот за первое посещение индексирует всего несколько страниц, а через время возвращается и индексирует остальные. Страшного в этом нет ничего. При этом робот поисковика производит анализ сайта по одному ему известному алгоритму (естественно заложенному его создателями).
Меня удивляют высказывания на некотрых сайтах о том, что достаточно знать алгоритмы, по которым работает поисковая система Яндекс и все будет хорошо. Смею возразить - кроме создателей поискового робота их не знает никто и эта информация составляет тайну особой важности абсолютно любого поисковика, в том числе и Яндекса. Есть общие рекомендации, которые действительно нужно выполнять и без их выполнения невозможно будет попасть не то что в первую сотню выдачи, но даже в первую тысячу - с этим я согласен.
Эти рекомендации основываются на личном опыте предшественников, которые прошли свой путь 'методом тыка', отсеивая неудачные изменения на своих сайтах и оставляя и улучшая удачные изменения. К чужому опыту я добавил свой и получилось то, что вы сейчас читаете. Но никто точно и конкретно не сможет пояснить, по каким именно параметрам один сайт находится намного выше другого, хотя они здорово походи между собой и по оформлению, и по стилю, и по контенту и по многим другим внешним и внутренним параметрам.
Например, знаете ли вы, как нужно в тексте сайта писать обращение 'вы', т. е. с прописной или строчной буквы ? На одном их форумов я попал на ссылку, вудущую на разъяснение специалистов Яндекса по этому вопросу. Там было изложено все подробно, со ссылкой на источник получения информации (они специально делали запрос в соответствующее ведомство и получили ответ - разъяснение).
Не буду приводить его дословно, но основная суть в том, что если обращение не персонифицировано, то надлежит использовать строчную (маленькую) букву. В противном случае нужно пользоваться прописной (большой) буквой. Убежден, что в алгоритм оценки сайта даный критерий тоже заложен. Казалось бы мелочь и на общую оценку сайта большого влияния не окажет. Но, зная эти рекомендации, почему не сделать правильно ? А для этого нужно всего лишь знать рекомендации. Об этом и многом другом, что действительно важно и полезно знать при оптимизации сайта, вы и сможете узнать в последующих разделах моего сайта.
Если вам лень знакомиться с моим опытом или вы посчитаете мои рекомендации недостаточно авторитетными для себя, можете просто посмотреть HTML коды сайтов, находящихся в первой десятке по вашему запросу (интересующей вас теме) и анализировать их самостоятельно, выискивая те крупинки удачных решений, которые вывели этот конкретный сайт в лидеры или так называемый ТОР.
Удачи.
