Copy
Рассылка SearchEngines.ru
25 марта

2016 года

СЕГОДНЯ В ВЫПУСКЕ

Подписаться на Twitter     Подружиться на Facebook      Группа ВКонтакте

Отправить другу

Неуловимый Бандит Яндекса

Автор: Станислав Поломарь, руководитель направления продвижения Webit

Сегодня в среде специалистов актуален вопрос, как более простым способом идентифицировать результаты работы Бандита в выдаче. Недавно Сергей Людкевич поднял данную проблематику и предложил комбинации с неранжирующим И «<<»: «запрос << (lang:ru | lang:en)» или «запрос << lang:ru» «запрос << date:<20170101».

Это было бы действительно интересно, т.к. если разбирать ситуацию, используя метод попарного сравнения, то можно лишь проводить проверку уже выявленных кандидатов. Также дополнительно рассмотрим корректно ли работает попарное сравнение в выдаче.

Попробуем разобраться в правильности гипотезы. Все данные ниже представлены в двух временных точках: 19 марта и 22 марта (+ 24 марта – отдельные документы).

Данные собирались как по XML, так и по выдаче.

 

1. Про «не ранжирующие И»

Выдачи «запрос << date:<20170101» и «запрос << lang:ru» в целом похожи, а вот «запрос << (lang:ru | lang:en)» иногда дает сильно отличающиеся изменения (3-я колонка).

Колонки:

  • запрос
  • место сейчас
  • документ
  • место «модифицированный дата»
  • разница с текущим состоянием
  • место «модифицированный lang:ru»
  • разница с текущим состоянием
  • место «модифицированный lang:ru | lang:en»
  • разница с текущим состоянием

И прочие.

Выберем пока в качестве модификации запрос с датой.

На примерах запросов «стройматериалы» и «пиломатериалы» по ТОП-100 имеем следующую картину:

  1. ТОП-10 по составу сохраняется на 70% и 60%.
  2. ТОП-10 по точной позиции сохраняется на 10% и 10%.
  3. ТОП-10 по +/- 1 сохраняется на 30%.

Порядок меняется достаточно значимо.

Вывод: т.к. выдача меняется значимо (70-90%), то стоит рассмотреть только наиболее сильные изменения модифицированной выдачи к обычной как возможных кандидатов.

 

2. Корреляция сильно вылетевших с бандитом

Возьмем сайты из ТОП-10, которые упали от 10 позиций при модифицированном запросе.

Колонки:

  1. запрос
  2. место сейчас
  3. документ
  4. место «модифицированный дата»

Разница с текущим состоянием

http://dostavka-stroymaterialov.ru/ - находится в ТОП-10 около года (ниже - с 05/2015 по 18/03/2016)

Сложно отнести к бандиту.

http://www.RDStroy.ru/ - вылетал и появлялся, хотя изначально (до ввода Бандита был в ТОП-20)

Кандидат на проверку.

http://www.pilomateriali.ru/ - находится в ТОП-10 около года, причем как правило в ТОП-1.

Практически невозможно отнести к Бандиту.

http://www.lesobaza.ru/ - вылетал и появлялся, изначально был в ТОП-20.

Кандидат на проверку.

https://ru.wikipedia.org/ - больше похоже на потребность в Википедии.

Сложно отнести к бандиту.

Также замечено, что многие сайты, которые по поведению вполне могли бы быть кандидатами, - не выявляются при таком подходе.

Например, колонки:

  • запрос
  • место сейчас
  • документ
  • место «модифицированный дата»
  • разница с текущим состоянием

http://severlesmarket.ru/

 

 

http://sbitsnab.ru/

http://les-snab.ru/

 

Вывод: сравнение модифицированной выдачи и обычной не дает только кандидатов на Бандита, а также непонятно, выявляет ли оно всех кандидатов на Бандита.

 

Попарное сравнение

Проведём попарное сравнение для кандидатов, перечисленных выше. Добавим в перечень ещё несколько сайтов из ТОП-20, которые кажутся кандидатами «по прыжкам в выдаче»:

http://dostavka-stroymaterialov.ru/

http://www.RDStroy.ru/

http://zergud.ru/

http://stroy-gin.ru/

http://tdRemont.ru/

http://www.andreevstroy.ru/

https://StroiMaterialy-deshevo.ru/

http://www.pilomateriali.ru/

http://www.lesobaza.ru/

http://severlesmarket.ru/

http://les-snab.ru/

http://severderevo.ru/

http://sbitsnab.ru/

http://www.opmplus.ru/

Напомним, что бандит в итоге пересчитывается в реальную релевантность, поэтому если сейчас при попарном сравнении мы не видим, что сайт должен быть ниже, – не означает, что когда-то в прошлом (месяц-два назад) он не был подкинут бандитом.

Кандидаты на звание подкинутых Бандитом (разбирательство, почему местами не совпадает XML и выдача, оставим за скобкой):

http://stroy-gin.ru/

http://tdRemont.ru/

По паттерну поведения – вполне похоже.

Что касается http://www.RDStroy.ru/, то ранее предполагалось, что он находится в ТОПе за счет Бандита, т.к. у него – низкая текстовая релевантность (нет сохраненной копии). Но появление текста в индексе (18/03/2016) никак не сказалось на ранжировании. То есть нахождение в ТОПе ранее вряд ли можно считать артефактом, связанным именно с добавочной релевантностью от Бандита (но артефактом его, всё же, считать стоит).

Куда «пропадал» этот сайт аж на 3 месяца – большой вопрос.

Видно, что плюс-минус 1 позиция совпадают все сайты, кроме:

http://severderevo.ru/

http://www.opmplus.ru/

Но 2 более чем вероятных кандидата - http://sbitsnab.ru/ и http://les-snab.ru/ - не подтвердились.

Вывод: попарным сравнением пользоваться можно, т.к. оно «подтверждает» кандидатов на бандита, остальные либо уже пересчитали релевантность, либо бандит тут ни при чём (что требует отдельного анализа).

Что касается сравнения выдачи в разных браузерах, IP и пр., то это не должно быть связанно с Бандитом. Как вариант, можно делать постоянные замеры одной и той же выдачи (2 раза в сутки), тогда есть шанс кого-то отловить.

Для попарного сравнения кажется более надежным использовать XML.

 

4. Что происходит в динамике?

На выкладке, представленной, выше все данные снимались на 19/03/2016. Посмотрим, что поменялось на 22/03/2016.

Вот, кто сильно понизил позицию из старых ТОП-20:

Колонки:

  • позиция была
  • документ
  • позиция стала
  • разница

Как мы помним, http://stroy-gin.ru/ и http://tdRemont.ru/ были подкинуты бандитом и должны были находиться примерно на этих местах. Для https://StroiMaterialy-deshevo.ru/ изменения ранее и сейчас - не столь значительны. Остальные сайты не проверялись.

Проверим, какие места они должны занимать сейчас.

Как видно, эти сайты сохранили свои позиции с незначительными колебаниями. Причем для подкинутых видны прыжки в основной выдаче. В результате, они практически вернулись на «свое» место.

Возможно, мы видим такие качели по бандиту, т.к. он с определённой периодичностью «включает» свою добавку и поэтому сайт скачет «туда-сюда». Так, например, уже 24/03/2016 stroy-gin.ru снова оказался в ТОП-10.

Нужно отметить, что поменялся состав ТОП-100, с которым производится сравнение позиций. Поэтому место сайта по сравнению с ним и должно было измениться.

Также было замечено, что:

  • Корректнее производить сравнение по url, а не site
  • Бывают непонятные скачки знака сравнения (было выше, стало ниже). Причём, не во всех браузерах. Этот аспект однако требует отдельных проверок.

Аналогичное сравнение проводим и для второго запроса.

Колонки:

  • позиция была
  • документ
  • позиция стала
  • разница

http://severderevo.ru/ и http://www.opmplus.ru/ по итогам проверки оказались выше и должны были занимать примерно это место, а вот http://les-rub.ru/ просел еще ниже. Остальные не проверялись.

Проверим, какие места они должны занимать сейчас.

Видно, что moskva-snab.ru и lesorama.ru явно были подкинуты бандитом (второй сайт на данный момент времени уже занимает примерно свое место). Часть заниженных сайтов – firma-elka.ru, lesmos.ru – вернулась 24/03/2016 на свои позиции.

Что касается модифицированных запросов – видны достаточно странные скачки, когда место в выдаче не изменяется:

Вывод: Завышенные или заниженные Бандитом сайты видно по-прежнему, но:

  1. Меняется состав ТОП-100, с которым сравниваем текущие позиции сайтов.
  2. Имеет смысл производить сравнение по url.
  3. Отдельные пары ведут себя странно (меняют знак), причем в разных браузерах – по-разному.
  4. Возможно, стоит пользоваться только xml для сравнения.

Замечено, что какие-то подкинутые сайты возвращаются примерно на «свое» место. То есть, возможно добавочная релевантность работает бинарно – включили/отключили.

Что касается модифицированного запроса, то сложно интерпретировать скачки его позиций.

 

5. В качестве резюме

На данный момент не похоже, что есть запрос, которым можно получить «очищенную» выдачу от Бандита.

Выдача меняется часто, поэтому вкупе с различными персонализациями и тестами, анализировать её достаточно непросто.

Запросы сравнения работают в целом корректно, но замечено, что они могут менять свой знак, как из-за разных браузеров, так и в рамках короткого времени (хотя, и не должны делать этого). Это еще более осложняет анализ.

В последнее время замечено, что бандит стал чаще понижать сайты, что является отдельной темой для исследования. Но сам шаг – не очень понятный со стороны Яндекса: одно дело «протестировать» годных кандидатов, а другое дело – намерено «топить», вроде как, хорошие документы. Хорошие – т.к. на длительном периоде позиции документов не ухудшаются, несмотря на скачки вниз. Это уже, скорее, напоминает намеренно организованную игру в рулетку.

Про формулировки, наподобие: «тот сайт на 5-ом месте в ТОП-10» можно забыть.

 

Новости недели

Google будет бороться со спамом с помощью машинного обучения

Google изучает возможности использования технологий машинного обучения для выявления веб-спама. Пока рано говорить о каких-либо результатах, но в компании намерены и дальше исследовать этот вопрос. Помимо веб-спама, Google также рассматривает и другие области применения технологий глубокого обучения. В настоящее время алгоритмы машинного обучения уже используются в поисковом приложении Google (голосовой поиск), в почтовом сервисе Inbox (Smart Reply) и других...

Twitter сохранит лимит в 140 символов для твитов

Twitter не намерен отказываться от ограничения в 140 символов для твитов.  «Действующий лимит останется. Это хороший сдерживающий фактор, который позволяет сохранить лаконичность сообщений», - отметил руководитель сервиса микроблоггинга Джек Дорси. После этого он ещё раз повторил, что ограничение в 140 знаков для твитов останется...

Cсылки, контент и RankBrain – главные сигналы ранжирования для Google

Главными сигналами ранжирования для Google являются ссылки, контент и RankBrain. На вопрос: «Могли бы вы назвать два первых по важности сигнала для ранжирования», представитель Google ответил так: «Я вам их назову. Это контент и ссылки, указывающие на ваш сайт». При этом он отметил, что различия по важности между ними нет. В прошлом году в Google рассказали, что третьим по значимости сигналом является RankBrain, но отказались назвать первые два...

Новый инструмент от Facebook поможет улучшить доставку рекламы

В Facebook Ads Manager добавлен новый инструмент – Delivery Insights. Нововведение призвано помочь рекламодателям повысить эффективность показа рекламы. Вкладка Delivery Insights будет расположена в разделе Tools. Здесь будут показаны проблемы групп объявлений, недостаточно успешно участвующих в аукционах...

Объём поисковых запросов с ПК достиг своего пика в 2013 году

Аналитическое агентство comScore опубликовало отчёт о состоянии рынка десктопного поиска в США за февраль 2016 года. В целом, ситуация на рынке остаётся стабильной. В отчётном месяце доли основных поисковых систем практически не изменились по сравнению с предыдущим, однако при рассмотрении данных comScore за период с 2009 года по настоящее время видно, что объём поисковых запросов с ПК достиг своего пика в 2013 году...

Google Now позволил отписаться от новостей с конкретных сайтов

В Google Now появилась возможность отключить показ статей и новостей от сайтов, в которых пользователь не заинтересован. Нововведение позволит сделать сервис более персонализированным. Отказаться от показа публикаций из конкретного источника можно, нажав на кнопку в виде трёх точек в правом верхнем углу публикации...

Google добавил в результаты поиска по картинкам кнопки фильтров

Google добавил цветные кнопки фильтров в результаты поиска по картинкам на десктопах. Нововведение запущено в англоязычной версии поисковика. Кнопки расположены в верхней части страницы поисковой выдачи. С их помощью можно просмотреть результаты, отсортированные по различным категориям...

Gmail сделал более заметными предупреждения, которые отображаются при переходе по ссылкам на потенциально опасные сайты. Теперь они будут занимать весь экран. Изменение призвано уберечь пользователей от посещения вредоносных интернет-ресурсов ...

Платон Щукин об условиях индексации фавиконок поиском Яндекса

Многие вебмастера не догадываются, что есть много причин, почему фавиконка может не показаться в поиске. Для того, чтобы избежать изнурительных и напрасных ожиданий появления фавиконок в поисковой выдаче, необходимо знать условия правильной индексации этого элемента и выполнить ряд необходимых шагов, о которых рассказал небезызвестный Платон Щукин...

Google готовит конкурента Periscope – YouTube Connect

Google работает над созданием собственного сервиса видеотрансляций YouTube Connect. YouTube Connect будет работать по аналогии с другими популярными сервисами видеостриминга, такими как Periscope от Twitter и Facebook Live. Он будет реализован в виде отдельного приложения для iOS и Android...

Pinterest тестирует видеорекламу

Команда Pinterest работает над запуском видеорекламы. В настоящее время компания тестирует этот функционал на небольшой выборке пользователей. Объявления автоматически проигрываются, когда пользователь останавливается на них при прокрутке страницы. Какой длины будут рекламные ролики, в компании пока не определились. Видеообъявления призваны дополнить кино-пины...

Google выпустит клавиатуру для iOS со встроенной функцией поиска

Google готовит к выпуску собственную версию клавиатуры для iOS. Разработки ведутся уже несколько месяцев. Согласно предварительным данным, в клавиатуру от Google будет встроена специальная кнопка для мгновенного перехода к поисковой строке. Поддержка ввода текста при помощи жестов обеспечит пользователям возможность вводить текст, не отрывая пальцев от экрана...

Сервис мониторига позиций Majento становится бесплатным

Команда сервиса Majento сообщила о том, что использование системы мониторинга позиций в поисковых системах стало бесплатным для всех пользователей. Решение сделать сервис бесплатным было принято в связи с его малой востребованностью и, соответственно, небольшой финансовой отдачей...

Чем интересуются люди сейчас? Можно ли использовать текущие тренды в вашем бизнесе? Как правильно следить за тенденциями и что будет популярно в будущем? Книга «Не очевидно», вышедшая в издательстве «Манн, Иванов и Фербер», рассказывает как выявлять тренды раньше других и как их применять в вашем бизнесе.

Из книги вы узнаете о 15 новых трендах 2015 года в таких категориях, как «Поведение потребителей», «Медиа и образование», «Маркетинг и социальные сети», «Технологии и дизайн», «Экономика и бизнес». После изучения каждого из них вы станете лучше понимать, как меняется бизнес и что нужно сделать, чтобы ваша компания была готова к изменениям.

Эта книга поможет вам мыслить шире, определять сегодняшние паттерны и завтрашние тенденции, чтобы видеть то, чего не видят другие. Действуйте!

 

Подписаться на Twitter    Подружиться на Facebook    Отправить другу 
Copyright © 2016 Searchengines.ru,, All rights reserved.
отписаться от этой рассылки    обновить настройки подписки