Теория ссылочного ранжирования

Всем привет! Не хочется спорить. Это не благодатное дело. Тем более что фактов по тИЦ и PageRank достаточно мало. Всё, что вы найдёте в сети Интернет это лишь теория и предположения. Да, есть описания того же PageRank, но оно далеко от имеющихся реалий. Да и чтоб в этом разобраться, нужно быть очень хорошим математиком. В тоже время, тема, поднятая по ссылочному ранжированию в комментариях блога Александра Алаева меня реально утомила. Может, я просто туплю? Александр делает утверждения, которым я не нахожу подтверждения. Я привёл кучу наглядных примеров, которые были проигнорированы. Так что решил не продолжать дискуссию, а поделиться своими соображениями в этом посте. Хотите - верьте, а не хотите та и не надо.

Теория ссылочного ранжирования

Начну с того, что каждая страница в сети Интернет имеет свой вес. Под этим понятием подразумевается авторитет сайта в глазах поисковых систем. В теории, чем выше авторитет, тем больше вероятность выйти в топ при равных условиях. PageRank, тИЦ и т.п. являются лишь условными показатели авторитета сайта, но не более. Иначе бы по всем запросам отображались бы только авторитетные сайты и не более.

Для того чтобы понять, что такое авторитет сайта, нужно понять принципы его формирования. Факторов влияющих на этот параметр очень много, но общий принцип не является секретом. Он во многом основан на такой штуке как цитируемость. На мой взгляд, реальным для обработки средством определения цитируемости служат ссылки, в Интернете – гиперссылки. Но здесь нужно понимать, что все эти гиперссылки являются лишь сигналами для поисковых систем об авторитете сайта. Их может быть очень много и в результате вместо сигнала, мы получаем шумы, что и даёт отрицательный результат.

Теория сообщающихся сосудов

Основная неразбериха заключается в том, как передаётся вес от сайта донора (сайт, который ссылается) к сайту акцептору (сайт, на который ссылаются) и наоборот. Меня тоже интересовал вопрос: происходит ли утечка веса со страницы сайта донора по ссылке на сайт акцептор? Результаты опросов показали, что даже SEO гуру не знают ответа на этот вопрос. Или нагло умалчивают свои знания. Не суть важно.

Теория сообщающихся сосудов

Предлагаю вам такую теорию. Вес распределяется по аналогии сообщающихся сосудов. Другими словами, если сайт донор имеет вес меньший, чем сайт акцептор – выигрывает в большей степени донор и наоборот. В тоже время, здесь имеется только понятие условного выигрыша. Было бы слишком сложно рассчитать те же тИЦ, PageRank и иже для миллионов сайтов если бы пришлось учитывать не только прирост, но и потери от первоначальных значений. На мой взгляд, имеет место только фильтрация (удаление) шумов. Другими словами, минус могут дать только платные ссылки, неестественные ссылки, не тематические ссылки, линкопомойки и прочая нечисть. Основное предположение: если ссылка естественная она не может навредить ни сайту донору, ни сайту акцептору. Наглядный пример dofollow блог Devaka.ru, на котором тьма внешних ссылок, а после обновления алгоритма Google он только выиграл.

Атрибут rel="nofollow"

Конструкция rel="nofollow" вызывает наибольшие споры, т.к. зачастую никто не обращает внимания на то, что это такое и для чего было сделано. Начну с того, что атрибут rel определяет отношения между текущим документом и документом, на который ведёт ссылка, заданная атрибутом href. Значение nofollow (с англ. не следовать) атрибута rel запрещает поисковому роботу следовать по ссылке и передавать ему вес. В тоже время, вес распределяется по всем, а значит чем их больше, тем меньше передаётся вес по каждой из них.

Атрибут rel=nofollow

Для наглядности приведу такой пример. На странице сайта есть 5 ссылок, 2 из которых закрыты rel="nofollow". Это значит, что 3 не закрытые ссылки получат 1/5 от веста страницы сайта, а не 1/3. Примечательно, что даже внутренние ссылки тоже берут свой вес, но это не столь фатально, т.к. вес циркулирует по сайту.

Зачем же в таком случае нужен rel="nofollow"? Ведь можно тогда все ссылки делать прямыми и не париться. Часть ответа на этот вопрос не является секретом, rel="nofollow" используется для более гибкой работы с запретами для поисковых роботов, служащая дополнением файлу robots.txt. В тоже время, если в robots.txt уже прописан запрет смысла в rel="nofollow" действительно нет.

А вот теперь одно моё интересное предположение. Есть такое понятие как уровень доверие поисковых систем к сайту. Следует отметить, что PageRank, тИЦ и иже имеют к этому параметру лишь косвенное отношение. Определить уровень доверия можно лишь экспериментальным путём и то лишь приблизительно. Вот ссылки на сайты с низким уровнем доверия, а не PageRank, тИЦ и иже действительно могут дать нежелательный результат. В тоже время, бывает ситуация, когда на них нужно сослаться и вот тогда rel="nofollow" реально может быть полезным.

Файл robots.txt

Файл robots.txt имеет прямое воздействие на работу поискового робота. Не стоит его путать с Sitemaps, который носит лишь рекомендательный характер. Индексация запрещённых страниц в robots.txt просто невозможна. В тоже время, если страница попала в индекс поисковой системы, до того как была запрещена к индексации в robots.txt, может ещё длительное время присутствовать в базе данных, но обновляться она уже не будет.

Файл robots.txt

Другими словами, можно указать поисковику, что делать нельзя. А вот, что нужно дела, вы можете только рекомендовать. Так удаление страницы из индекса поисковой системы действительно имеет лишь рекомендательный характер. Хотя и более весомый, чем рекомендация добавить в индекс страницу сайта, в том же Sitemap.

Отмечу тот факт, что в случае если бы директивы файла robots.txt имели чисто рекомендательный характер, поисковым системам было бы не избежать потока судебных исков. Наглядным тому примером служит ситуация сложившаяся в результате попадания в индекс поисковой системы Яндекс конфиденциальной информации по средствам сигналов от счётчика Яндекс.Метрика. На страницы не вели прямые ссылки. В тоже время они не были запрещены к индексации в файле robots.txt. Это позволило поисковой системе избежать проблем. Хотя, они всё таки ввели опцию отключения отслеживания адресов страниц для своего робота в Яндекс.Метрике.

Подведём итоги

Чем меньше ссылок, тем больше можно передать вес по каждой из них. Лучше всего ставить прямые, а главное естественные, ссылки без rel="nofollow". Это либо даст плюс, либо вообще ничего не даст. Навредить может (предположительно) только ссылка на сайт потерявший доверие (в глазах поисковых систем) сайт. Директивы в файле robots.txt являются прямым указанием поисковым системам. Исключением служат страницы, попавшие в индекс до установки запрета.

Вроде бы всё. Не ищите конкретных ответов на вопросы, которые покрыты коммерческой тайной. В лучшем случае, вы получите только теории, основанные на экспериментах и здравом смысле. В противном случае – полный бред и необоснованные утверждения. Свои соображения я старался подкрепить наглядными примерами, логическими выводами и т.д. Насколько мне это удалось или нет &ndash судите сами. В принципе, я не могу похвастаться особыми достижениями в SEO. Так что если угодно, обращайтесь к SEO гуру и пытайтесь выбить из них правду или понимание того, что вам надо. Удачи!

Twitter Facebook ВКонтакте Одноклассники Google+

23 комментария:

Лысенко Евгений
Анализ имеет место быть, ибо заставляет взглянуть по новому на избитую тему!
Константин, правильно ли я понял, что закрывать в nofollow, по вашему, следует только ссылки ведущие на не очень качественные ресурсы? А если ресурс имеет высокий уровень доверия, то нет смысла закрывать ссылку? Выходит, что при указании ссылки на Твитер или FeedBurner будет лучше ее оставить открытой? (мнения на этот счет я читал однозначные, но все они основываются на передаче веса по всем ссылкам на странице, и закрытие в nofollow ссылок на популярные ресурсы принесет больше веса для оставшихся)Хотя однозначно на такие вопросы могут ответить только сами программисты яндекса и гугла, но они будут молчать :)
Константин Кирилюк
Евгений, закрыта ссылка или нет, на неё припадает некая часть веса. Лично я рекомендую либо вообще не ставить ссылку (если нужно передать больше веса по другим ссылкам), либо ставить без rel="nofollow". Про сообщающиеся сосуды я сказал. Всё просто. Поисковик видит - вы ссылаетесь на вызывающие доверие сайты, а значит и вам можно доверять. Здесь ключевым является именно "доверие" (это качество сайты, сайты для людей и всё такое), а не "авторитет" (типа тИЦ, PageRank и т.д.) На те сайты к которым у поисковиков нет доверия, лучше вообще не ссылаться или ставить rel="nofollow". Как-то так.
Вадя
а что если site.ru/goto/////...?
Константин Кирилюк
Вадим вы о редиректе? Один хрен - это ссылка, просто по ней не будет передаваться вес если скрипт запрещён в robots.txt.
Дмитрий
Привет!
Не совсем понял про Деваку. У него же полно ГС-сайтов оставляет комменты. Как он выиграл?

А так статья классная? Кстати, как относишься к редиректам в комментах (например на isif-life.ru)?

Помню еще ктонановенткого снял ссылки в комментах (даже закрытые нофоллоу) и трафик резко упал.
Лысенко Евгений
В любом случае, при обмене постовыми или просто при постановке ссылки следует внимательно отнестись к тому, на кого вы ставите ее, потому что так можно навредить себе.
АлаичЪ
Как связаны robots.txt и rel="nofollow" непонятно. Потому, что они никак не связаны! Вес утекает абсолютно по всем ссылкам, абсолютно! Просто если он утекает по ссылке запрещенной в роботсе, то он утекает в пустоту, из которой уже не вернется.
Константин Кирилюк
Дмитрий, как я и говорил, здесь играет роль не столько "авторитет" сайта сколько "доверие" к нему поисковиков имхо. Нюанс тут конечно глубже. Сайт с высоким доверием может себе позволить поставить даже прямую ссылку на ГС, ничего ему не будет.

Опять же нужно уточнить, что такое ГС. Суть в том, что мы говорим о поисковых системах, тупых машинах, а не о человеческой оценке. Я бы предположил, что ГС это сайт с переоптимизацией, попавшие под фильтры и т.д.

В общем, не нужно бояться прямых ссылок. Блог Сергея тому наглядное подтверждение. По крайней мере, если твой блог имеет хороший авторитет, а главное доверие, то ты можешь делать достаточно много вещей.

В посте Бесплатные статьи для сайта я уже как-то сказал, что сайты долгожители с высоким авторитетом и трастом вполне нормально живут даже за счёт массового копипаста, и ничего, никто их не банит и т.п. Как-то так.
Константин Кирилюк
Евгений, ставлю вообще левые постовые, не по теме, на коммерческие сайты и т.д. Правда чётко указываю, что это постовой. Никакого урона не заметил. Правда журнал тот создан ещё в 2007 году, т.е. он старенький и траст у него высокий, хоть и социальный капитал нулевой, тИЦ 20, PR 2. Так что лабуда это. Вред может быть только рекламодателю из-за того, что площадку не в тему выбрал. Я даже теперь за снятие постовых планирую брать деньги :) Новый вид заработка и ниипёт :)
Константин Кирилюк
Александр, спасибо за комментарий (не ожидал). Я говорил и могу повториться - ничто и никуда не утекает просто так, наглядный тому пример блог Сергея. Да, вес распределяется по ВСЕМ ссылкам, т.е. закрытые nofollow тоже берут своё, но не более. Так что я лично склоняюсь к тому, чтобы либо ставить прямые ссылки, либо вообще ничего не ставить. А вы уж решайте сами. Удачи!
АлаичЪ
Да я не о том, емае! Возьмем возможный передаваемый вес какой-то страницы за 10. На этой странице есть 5 ссылок на 5 разных страниц. Упростим математику и скажем, что по каждой ссылке может утечь вес равный 1. Окей! Например, в robots.txt закрыты от индексации 2 из 5 страниц, на которые стоят ссылки.
Так вот на разрешенные страницы притечет +1 на каждую, вес этих страниц соответственно увеличится и продолжит растекаться по сайту. А вот на закрытые страницы вес утечет со страницы донора, но вот даже если он и притечет на закрытые страницы, то эффекта от этого не будет, поисковик не сможет оценить это, та как доступ ему туда запрещен. Следовательно этот вес тупо потерялся.

Понятна механика?
Константин Кирилюк
Ну, это понятно, robots.txt и rel="nofollow" есть суть одно и тоже. Сделаны они для того чтобы ограничить доступ поисковиков к какому-то контенту. Например, это приходится делать для тегов, категорий и т.п. для избежания дублей. В общем, здесь я с вами согласен и не вижу противоречий.
АлаичЪ
Да нифига robots.txt и rel="nofollow" ни одно и то же! Как это может быть одно и то же если первый запрещает роботам индексацию страницы, а второй запрещает переход по ссылке? Совершенно две разные вещи!
Константин Кирилюк
Хорошо, скажу так: rel="nofollow" дополняет robots.txt :)
АлаичЪ
Ладно, Костя, думай как хочешь :) А я пожалуй удалюсь, спор в данном случае превращается в бессмыслицу. Каждый останется при своем мнении и все будет ок ;)
Надежда Хачатурова
Ваша точка зрения меня более чем устраивает: не надо заморачиваться. Кстати, и не занималась этим никогда. Все идет как идет.
Константин Кирилюк
Надежда, я просто старался обобщить свой опыт, но считать себя последней инстанцией не возьмусь. Так как описано, так я и делаю. Сам предпочитаю использовать просты и понятные вещи, что и предлагаю своим читателям. Удачи!
Елена Скопич
"ссылка на сайт потерявший доверие (в глазах поисковых систем)" - Константин, я не совсем поняла как определить это доверие?
Константин Кирилюк
2Елена Скопич: только косвенным путём. Приведу некоторые показатели:

1. Низкий тИЦ, PageRank и т.д. Иногда они сохраняются. Тут лучше смотреть историю этих показателей. Следует учесть, что низки значения могут быть обусловлены и естественными причинами - молодость сайта, отсутствие внешних ссылок и т.д.
2. Малое количество (а точнее спад) переходов с ПС. Опять же надо смотреть статистику.
3. Малое количество страниц в индексе ПС относительно общего объёма. Есть такой фильтр АГС, так при нём в выдаче 1-10 страниц, сколько бы их не было на сайте.
4. Низкие позиции по релевантным запросам. Например страница заточена под запрос "мама мыла раму", а при равных условиях страница проигрывает конкурентам. Это ещё называется "пессимизацией" (искусственно понижение веса страницы). Тут сложнее, надо детальней изучать.
5. Отсутствие сайта в индексе ПС, при том что он давно добавлен. Это уже бан (запрет вывода сайта в выдаче).

Есть и другие показатели, но они столь же неоднозначны. Самое просто самому оценить сайт: внешний вид, содержание и т.д. Из простого SEO - наличие и количество страниц в выдаче. Для этого в строке поиска ПС введите например site:wmascat.blogspot.com - выведет все проиндексированные страницы сайта. По крайней мере в Яндекс и Google этот оператор есть. Удачи!
Елена Скопич
Спасибо большое вам, Константин.О показателях успешности тИЦ и PageRank я знала, но остальных пунктов анализа не знала. Да и в голову никогда не приходило делать такой анализ. Еще раз спасибо.
Константин Кирилюк
2Елена Скопич: ещё раз повторюсь тИЦ и PageRank это лишь отображение цитируемости сайта, его авторитета, что весьма косвенно отражает доверие к сайту ПС.
Лариса Марштупа
Мне по душе такая теория. Терпеть не могу вывинчиваться и чего-то бояться. nofollow закрываю только исходящие на главной. Ссылками не торгую, но делиться информацией люблю. Терять нечего, кроме своих страхов). Делиться, так делиться. Спасибо, Костя, за материал.
Константин Кирилюк
@Лариса Марштупа хочу только уточнить, что здесь приведены лишь мои соображения... которые надеюсь, в той или иной степени, соответствуют истине ;)
Отправить комментарий