Почему так важна быстрая индексация страниц сайта в Яндексе и как ее можно ускорить через GetBot.guru

3 Апрель, 2015

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Сегодня речь пойдет про онлайн-сервис, позволяющий быстро отправлять в индекс поисковой системы Яндекс страницы вашего сайта.

В Google каких-то особых проблем с индексацией обычно не возникает (кушает он все достаточно оперативно), а вот его отечественный аналог не так-то просто бывает приучить регулярно заходить к вам на сайт и добавлять в индекс новые материалы.

Пока вы этого добьетесь может много всяких неприятностей произойти (например, сайты, скопировавшие ваш контент, могут быть признаны Яндексом авторами, а вы — копипастером со всеми вытекающими последствиями). Вообще, причин использовать ускоритель индексации может быть как минимум несколько (о них мы подробнее поговорим в продолжении этой публикации), поэтому я и предлагаю поподробнее рассмотреть вариант решения этой проблемы.

Сервис этот называется GetBot.guru. Появился он в конце прошлого года, после чего потихоньку продолжает обрастать функционалом (например, появилась возможность добавить свою RSS ленту, и все новые статьи вашего сайта будут закидываться в индекс автоматом) и повышать стабильность.

На мой взгляд, важно, что там не применяют спам-методы для привлечения быстробота Яндекса на ваш сайт, а используют свою собственную сеть новостных ресурсов, где этот самый быстроробот проживает на постоянной основе и переходит по всем ссылочкам, что там появляются.

Еще одним важным моментом я считаю то, что обратная ссылка ставится не прямая, а укороченная (на манер тех, что используются в Твиттере). Таким образом они не учитываются Яндексом, а значит поисковик не отметит «мигания» бэклинков. Да, еще стоит отметить, что для тестирования предоставляется купон (получить его можно, написав в техподдержку), а в случае невыполнения возложенной на него задачи (загона в индекс страницы) GetBot.guru вернет вам взятые за это денежки.

Для чего вам может понадобиться ускорять индексацию?


Обычно сервисы, предоставляющие те или иные услуги, появляются не просто так, а для решения какой-то проблемы, стоящей перед его потенциальными пользователям. Собственно, от актуальности этой самой проблемы и размера аудитории, которой требуется ее решение, и зависит будущая популярность сервиса. Очевидно, что GetBot.guru возник не на пустом месте, а был обоснован решением проблемы ускорения индексации сайтов поисковой системой Яндекс.

Несмотря на свою «грандиозность в рамках рунета», эта поисковая система не обладает такими ресурсами (материальными, техническими и человеческими), как лидер мирового поиска Гугл. Яндекс вынужден искать компромисс между качеством и расходами, поэтому при индексировании страниц в интернете он не хватает все подряд как Google, а старается оптимизировать процесс, что приводит к плохой индексации молодых или каким-то другим образом обделенных сайтов.

Но почему так важна быстрая (своевременная) индексация? Ну, во-первых, вообще без индексации страниц своего сайта вы не получите трафика с Яндекса (или не сможете зарабатывать на продаже ссылок). А во-вторых, важен не только факт попадания в индекс, но и скорость этого действа. Почему? Тут проще всего будет объяснить на примерах.

Итак, зачем вам может понадобиться ускорение индексации сайта в GetBot.guru:

  1. Превентивная защита от воровства контента. Я не раз уже писал про воровство контента (копипаст), а также про проверку текстов на плагиат и про способы защиты своих авторских прав на текст. Но проблема правильного определения авторства текстов в интернете по-прежнему стоит довольно остро. Да, есть инструменты поисковых систем («Оригинальные тексты» в Яндекс Вебмастере и подтверждение авторства посредством Google Plus), но все это «вилами по воде...».

    По сути, нет каких-то гарантий, что если у молодого сайта сворует текст «трастовый ресурс», то последний не будет признан автором со всеми печальными вытекающими последствиями для первого. Причиной же может послужить как раз медленная индексация новых материалов Яндексом на молодом сайте и достаточно уверенная на авторитетном ресурсе.

    Вот именно во избежание таких неприятных ситуаций и стоит использовать GetBot.guru. Особенно это актуально при публикации «горячей информации», которую с большой долей вероятности могут «перепечатать» на множестве других сайтов. Да и само по себе ее оперативное попадание в «быструю выдачу» принесет вам определенные дивиденды. В этом случае имеет смысл привязать вашу RSS ленту к сервису GetBot.guru и пополнить на последнем баланс, чтобы новые статьи как можно быстрее загонялись в индекс на полном автомате. Тем самым вы существенно повышаете шансы на признание вас автором.
  2. Вы могли обновить какие-то страницы вашего сайта, например, из-за устаревания размещенной на них информации или же из-за того, что попали под фильтр, допустим, за переоптимизацию контента. В обоих случаях вы будете заинтересованы в их быстрейшей переиндексации (чтобы страница начала опять расти в выдаче или для того, чтобы побыстрее был снят фильтр).

    Если это дело пустить на самотек, то на переиндексацию уйдет месяц, два, а можете быть и полгода. А вот по заверениям разработчиков GetBot.guru, при помощи их сервиса переиндексация займет от 10 до 14 дней (примерно 2 текстовых апдейта).
  3. Быстрая индексация (или ускоренная переиндексация) может потребоваться для страниц вашего сайта, где вы разместили «seo-ссылки». Если одним из способов монетизации вашего ресурса является продажа ссылок (например, в ГеГудЛинкс, Сапе и т.п.) или размещение статей с «seo-ссылками» (например, через Миралинкс или ВебАртекс), то весьма актуальной для вас может стать задача попадания этих страниц в индекс. Без этого вы не получите оплаты от рекламодателя.
  4. Возможна и обратная ситуация, когда вы, допустим, разместили обратные ссылки, ведущие на ваш сайт, на других ресурсах и заинтересованы в как можно более скорой отдачи от них. Но пока они не попадут в индекс Яндекса ни о каком их влиянии на ранжировании и говорить не приходится (правда, и после индексации отдача почувствуется только спустя некоторое время, но все равно быстрое попадание в индекс общее время ожидания сократит). Достаточно будет добавить в GetBot.guru страницы ваших доноров и задача будет в определенной степени решена.
  5. Если вы по каким-то причинам являетесь дорвейшиком, то опять же быстрая индексация страниц дора важна как никогда, ибо они в основном индексе долго и не живут, поэтому ранжирование на основании данных, собранных быстроботом Яндекса, для них может быть архиважным. Опять же, дорвейшиком не являюсь и не был, поэтому исхожу из чистой логики и могу ошибаться. Но все же.
  6. В принципе, GetBot.guru подходит и для индексации профилей после ручного или автоматического прогона по ним (несколько лет назад у меня была серия статей, посвященных этому способу добычи ссылок). Однако, по утверждениям разработчиков (несмотря на то, что их сервис для решения этой задачи подходит) текущие алгоритмы Яндекса становятся все более жесткими, и сейчас этот поисковик не хранит документы с небольшим объёмом текста.

    К тому же, мало кто при прогоне по профилям использует качественный копирайт (чаще всего это рерайт или вообще копипаст). В итоге получается такая ситуация, что индексируются с помощью GetBot почти все профили, но и в основном индексе Яндекса через пару недель остаётся лишь 20-30% от их общего числа. В принципе, это тоже не плохо.
  7. Исходя из своей практики, опыта и специфики вы можете придумать еще какие-то важные причины желать ускорения процесса индексации страниц вашего ресурса. Ведь как ни крути, но поисковики дают нам трафик, а основой успешного ранжирования по-прежнему является качественный и уникальный контент. И чем быстрее он попадет в индекс, тем, априори, будет лучше.

Как работает GetBot.guru


Перед поисковой системой стоят разные задачи. Например, по некоторым запросам необходимо показывать только свежие документы, а значит нужен специальный робот (быстробот), который их будет индексировать, и специальный (упрощенный) механизм ранжирования, который позволит появляться в Топе страницам, созданным всего лишь несколько минут назад (учитываются, по моему, при этом только внутренние факторы).

Остальные же материалы, не требующие срочной индексации и ранжирования, Яндекс добавляет в индекс и осуществляет их ранжирование лишь в момент так называемого текстового апдейта. Если вы не хотите ждать неделю-другую, то вам нужно привлекать на сайт быстробота. Он сможет практически мгновенно закинуть в индекс вашу страницу, но, правда, ее дальнейшая судьба уже будет зависеть от качества материала и желания поисковика оставить ее в своем основном (а не «быстром») индексе.

Раньше для этой цели советовали использовать Твиттер, а точнее популярные твитер-каналы, где размещали за денежку ссылку на страницу, которую нужно было срочно проиндексировать. Сейчас это метод уже работает не так здорово, а местами не работает и вовсе. Однако есть место, где, априори, должен тусоваться быстробот — это новостные сайты, где материалы появляются по много раз на дню и которые Яндексу необходимо оперативно индексировать и ранжировать.

Быстробот не ограничивается только новостным ресурсом, а переходит и по всем ссылкам, проставленным на вновь появившейся странице (статье). Если там будет проставлена ссылка на страницу вашего сайта, то он наверняка ее тоже потащит в индекс. Именно на этом алгоритме работа быстробота и построена работа сервиса GetBot.guru.

У них есть своя сетка новостных сайтов (с прикормленными быстроботами), где в новых материалах периодически проскакивают ссылки на страницы клиентов (укороченные через одни из предназначенных для этой цели сервисов, чтобы не возбуждать в Яндексе подозрения по поводу мигания ссылок).

Однако, быстробот по своей природе не может загонять в индекс абсолютно любые страницы. Алгоритмы его работы предусматривают ряд важных для него правил, которые должны быть выполнены у страницы-кандидата на индексацию:

  1. Отсутствие наложенных на сайт фильтров, запрещающих или ограничивающих индексацию его страниц (например, АГС). Также на доменное имя не должен быть наложен Яндексом бан. Быстробот на такие странички, скорее всего, зайдет, но индексировать их не будет.
  2. Страница-кандидат на попадание в индекс быстробота должна быть создана недавно, ибо он питается только актуальной информацией.
  3. Страница-кандидат не должна ранее находиться в индексе Яндекса (например, вылетела из него), ибо это уже ни в коем разе будет не «новость».
  4. Страница должна быть доступна для индексации боту (технический вопрос оптимизации и подготовки сайта к продвижению). Кстати, проблема может быть и на стороне хостера, если он блокирует некоторые ip-адреса ботов из-за многочисленных запросов от них. Встречается не часто, но бывает.
  5. Если до недавнего времени на сайте висела заглушка регистратора доменов или какая либо другая заглушка с запретом его индексации в robots.txt, то тоже могут возникнуть вопросы с привлечением туда быстробота Яндекса. Придется подождать несколько апов.

Также стоит понимать, что проиндексированные быстророботом страницы не всегда потом переходят в основной индекс Яндекса. Изначально под них отводится место в специальной «временной базе», из которой они вскоре либо удаляются, либо переносятся в основной индекс. Последнее зависит исключительно от качества содержимого (контента) этой самой странички.

Рерайт, малые объемы текста и копипаст имеют не высокие шансы туда пробиться. А вот нормальные тексты с сайта, не находящего под фильтром, с высокой вероятностью попадут в основной индекс Яндекса благодаря быстроботу, приведенному на ваш сайт сервисом GetBot.guru.

На Серче есть ветка, где довольно активно идет обсуждение этого сервиса. Если резюмировать, то большинство высказывают положительные эмоции от работы с GetBot.guru, но есть и негатив, который, в большинстве своем, после «разбора полетов» связан именно с описанными выше случаями, когда быстробот не может прыгнуть выше своей головы.

На данный момент в GetBot.guru имеют место быть следующие тарифы:

Вариант «Экспресс» отличается дешевизной (40 копеек за страницу), но при этом не осуществляется проверка индексации и, соответственно, нет возможности получить свои денежки обратно, в случае не попадания страниц в индекс. На мой взгляд, этот тариф подойдет тем, кому надо быстренько закинуть в индекс Яндекса множество страниц, но попадание именно всех их не критично (можно довольствоваться показанным на скриншоте процентом).

Тарифные планы «Абсолют» и «Абсолют Приоритет» отличаются только тем, что последний имеет больший приоритет и ваши страницы будут меньше стоять в очереди на размещение на одном из новостных сайтов, чтобы по проставленной ссылке на него прибежал быстробот. На обоих этих тарифах проверяется индексация и в случае неудачи вам возвращают оговоренную сумму.

Процент попадания сайтов в индекс на этих тарифах существенно выше, но и стоимость также существенно повышается. На мой взгляд, они подойдут для быстрого и надежного добавления в индекс страниц вашего СДЛ, когда важна не стоимость, а именно факт попадания новой страницы в Яндекс, чтобы избежать возможных неприятностей, о которых я писал вначале этой публикации.

Регистрация и создание проекта в GetBot


Итак, на странице регистрации традиционно указываете логин, Емайл и придумываете пароль, после чего вам сразу же предлагают авторизоваться (без подтверждения Емайла). Если желаете получить бонусный купон (при его активации вы получите небольшую сумму на счет, достаточную для тестирования сервиса), то прокрутите страницу вниз и напишите сообщение в техподдержку (через тиккет, либо на Емайл или Аську).

Обратная связь

Внутри системы используются свои внутренние условные единицы. При пополнении балланса (соответствующая кнопка в верхнем меню) на большИе суммы, условных единиц вам будет начислено значительно больше, чем при пополнении на малые. Как обычно, оптом дешевле.

Пополнение баланса в GetBot.guru

Далее для начала работы с GetBot.guru переходите на вкладку «Проекты» и жмете на имеющуюся там кнопку «Создать».

Создание проекта в GetBot

Вам нужно будет заполнить поля с названием и описанием проекта (эта информация нужна сугубо для вас), а в большое поле «Ссылки» нужно будет добавить список Урлов (адресов) страниц вашего или чужого сайтов, которые вы хотите закинуть по быстрому в индекс Яндекса.

Чуть ниже вы увидите описание всех возможных тарифов и действий, которые можете захотеть с этим самым списком Урлов произвести. По сравнению с главной страницей тут добавился тариф Экспресс-Приоритет с повышением приоритета ваших Урлов в общей очереди, а также имеется возможность проверить индексацию страниц по половине условной единицы за штуку (возможно, что это будет актуально при выборе тарифа Экспресс, где эта проверка не проводится).

В левой колонке вы можете наблюдать число страниц, которое стоит в очереди по каждому из возможных на GetBot.guru тарифов. Обратите внимание на расположенное внизу предупреждение об ограничении максимального количества страниц в одном проекте потолком в 10000. Собственно, все. Жмете на кнопку «Сохранить».

Запуск проекта

Обратите внимание, что сохраненный проект не стартует автоматически — его нужно будет запустить показанной на скриншоте кнопкой. В поле «Состояние» вы сможете следить за статусом этого проекта, значение которого можно будет понять из приведенной вверху расшифровки.

Как подключить RSS ленту к GetBot.guru для автоматического добавления новых страниц сайта в индекс Яндекса

Как я уже упоминал чуть выше, не так давно в ГетБоте появилась возможность добавлять RSS ленту своего сайта, чтобы каждый раз не создавать новый проект для быстрой индексации вновь добавленных на сайт страниц. Для настройки этой удобной опции вам нужно будет перейти на вкладку «RSS каналы» и нажать на кнопку «Создать».

Добавление RSS канала в ГетБот.гуру

Тут нужно будет указать ссылку на RSS ленту, дать название проекту и добавить к нему описание (все это нужно вам, чтобы потом не запутаться), после чего выбрать подходящий тарифный план, по которому будет осуществляться загон в индекс новых статей на вашем сайте. Некоторые тарифы могут быть временно недоступны из-за большой очереди, создавшейся в ожидании добавления ссылки на один из новостных сайтов, откуда должен будет по ней прибежать быстробот.

Проект с добавленным RSS каналом опять же нужно будет запустить нажатием на кнопку «Старт», после чего он начнет выполняться.

Rss канал в ГетБоте

При наличии положительного баланса на вашем счету, каждый час будут забираться новые Урлы из вашего RSS канала. Соответственно, первый раз будут взяты все Урлы, а уже потом только те, которые ещё не выполнялись ранее. Процесс полностью автоматизирован и не требует контроля с вашей стороны.

Т.е. каждый час ГетБот забирает вашу RSS ленту, смотрит, не появились ли там новые урлы, и если появились, то у вас на вкладке «Проекты» создаётся новое задание по тарифу, который вы выбрали. Процесс выполнения можно будет там же и контролировать.

Кроме всего прочего в GetBot имеется партнерская программа, по которой вы можете получать 10% от средств, потраченных привлеченным вами клиентом. Довольно щедрое предложение. Про нюансы работы с партнерскими программами читайте по приведенной ссылке. Рекламные материалы пока отсутствуют, но зато имеется главное — рефссылка:

Подытоживая


Очень интересный и безусловно полезный, на мой взгляд, сервис. Проблема своевременной (быстрой) индексации в Яндексе уже многие годы является головной болью вебмастеров и оптимизаторов, поэтому работающее решение от GetBot.guru пользуется популярностью (судя по скопившейся очереди страниц жаждущих попасть в Яндекс).

Судя по отзывам, для сайтов, которые быстробот имеет право индексировать, все складывается вполне успешно. Вообще довольно здорово, когда для добавления в индекс не нужно ждать очередного текстового апдейта, которые случаются не часто. Как я уже упоминал, пока вы его ждете, трастовый ресурс (с живущим на его страницах быстроботом или хотя бы иногда заходящим) может перехватить у вас авторство на сворованные материалы.

Лично меня ценовая политика вполне устраивала (раньше пользовался для ускорения индексации прогоном по Твиттеру, но выходило даже дороже, а сейчас это уже к тому же не столь эффективно). Можно ведь и партнеркой воспользоваться, чтобы вообще не вносить деньги на баланс. Есть еще и альтернативный проект indexgator, который очень похож на героя нашего обзора.

Ну, и возможность прикрепления RSS ленты меня особо порадовала, ибо можно закинуть денежку, настроить все и забыть про это дело до тех пор, пока денежка не кончится (ну, разве что, контролировать иногда заходить). Лепота.

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Еще:

Рубрики :Как самому раскрутить сайт

Комментарии и отзывы

Андрей Хвостов

Изначально, когда был молодой блог была плохая индексация блога. Как только начал использовать кнопку Твиттера сразу пауки Яндекса стали заходить на блог. Не забывайте устанавливать кнопки соцсетей на сайты, блоги , форумы и после написания поста нажимайте на эти кнопки.

Влад

Стоят все основные кнопки, жму на них после выхода каждой новой статьи, в индекс всё равно чаще всего попадают только после апдейта и то не всегда, бывает что и после следующего или ещё позже (сайту 3 года). Так что не было бы таких сервисов, если бы всё было так просто, Андрей Хвостов.

Заур

На сайте о котором Вы пишите не работает ни один из заявленных сервисов. Проверка индексации не в счет, так как эту услугу бесплатно предоставляют многие ресурсы))

Лиза

indexgator.com

интересно, а зачем они сделали еще один точно такой же сервис на другом сайте?

У сайта, про который Вы пишите не все страницы в индексе. Не вызывает доверия.

Заур

Они зарабатывают по 0.1 руб с каждой заявки)) Сегодня загнал около 30 урлов. Все вернулись один за другим минус комиссия. Умно.

Ivseo.ru

сервис уже неделю или больше почти не работает, так что пока не актуально.

Amirrr

Есть у Вас на примете сервис для индексации в Google?

Дмитрий

Пробовал. Прогонял по разным тарифам контент на клиентском новом сайте. Никакого положительного эффекта так и не обнаружил.

Подписаться не комментируя