Все для рунета

Http – Hypertext transfer protocol – протокол уровня приложений, определяющий обмен данными через запрос/ответ. Собственно это мое фривольное определение для данного понятия. Более подробно о http можно узнать на сайте w3.org , где в простой форме, без приукрашиваний, описаны основные стандарты данного протокола, в частности можно почитать увлекательную статью под названием rfc2616 ( Request for Comments ), где описаны основные определения и параметры для http версии 1.1. Поверьте это увлекательное чтение. Есть и другие документы из этой серии ( rfc ) позволяющие пролить свет на нюансы внутреннего устройства сети интернет. Помню при разработке серьезных проектов, я просто зачитывался этими публикациями. Ну да о чем это я собственно, наверно о том, что последнее время одолели разного типа запросы, с использованием данного протокола. Надо сказать, что запрос по http строится до банального просто, достаточно послать текстовое сообщение на определенный адрес в сети, ну и выдержать формат сообщения в соответствии с ранее указанными спецификациями. И что самое интересное, все приложения, работающие по этому протоколу, действуют до банального одинаково: делают запрос в определенном формате, и получают ответ. Так же работают браузеры, которыми мы пользуемся при просмотре интернет страниц. В запрос разные интернет приложения помещают разные параметры, которые довольно подробно описаны в выше приведенной спецификации. Анализируя заголовок запроса можно понять, откуда этот запрос сделан, и что хочет получить система делающая запрос.

Для примера можно сказать, что в запрос помещается адрес страницы с которой произведен переход ( параметр называется “Referrer” ), и описание основных компонент системы с которой запрос был произведен. Наверно вы уже сталкивались с таким понятием как реферер(“Referrer”) при покупке трафика на бирже, да если этот параметр не указан, то скорее всего это или прямой переход с указанием вашего URL в адресной строке, или был выполнен специально написанной программой, в которой горе программист забыл заполнить это поле для большей достоверности в работе бота. User-Agent – показывает тип броузера и компоненты системы с которой был сделан запрос.

Выглядит это приблизительно так: “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)” , если это поле не заполнено, то программиста делающего бот надо просто расстрелять.
Формируется http запрос просто как текст с переводом строк, выглядит это приблизительно так:

initial line, различная для запроса и ответа
Header1: value1
Header2: value2
Header3: value3

GET /pub/WWW/TheProject.html HTTP/1.1
Host: www.w3.org

Или:
GET /path/file.html HTTP/1.0
From: ownru@mail.com
User-Agent: HTTPTool/1.0
[Пустая строка]

Можно наполнить заголовок запроса большим количеством параметров:
GET /dummy.php?name=ownru&p=1000 HTTP/1.1
Host: www.ownru.ru
User-Agent: Mozilla/5.0 (Windows;en-GB; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.google.com/search?hl=en&q=seo&aq=f&aqi=g10&aql=&oq=&

И для типа POST:

POST /path/script.cgi HTTP/1.0
From: ownru@mail.com
User-Agent: HTTPTool/1.0
Content-Type: application/x-www-form-urlencoded
Content-Length: 32

home=ownru&address=ownru

POST /dummy.php HTTP/1.1
Host: www.ownru.ru
User-Agent: Mozilla/5.0 (Windows;en-GB; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.google.com/search?hl=en&q=seo&aq=f&aqi=g10
Content-Type: application/x-www-form-urlencoded
Content-Length: 39

name=ownru&p=1000

Ответ тоже до безобразия примитивный приблизительно так:

HTTP/1.0 200 OK
Date: Fri, 31 Dec 1999 23:59:59 GMT
Content-Type: text/html
Content-Length: 1354

html
body
.
.
/body
/html

Данный запрос просто вызовет указанную страницу на указанном хосте, при этом поле рефферер и поле юсер-агент останутся незаполненными. Да в спецификации можно прочитать о типах запросов, наиболее распространенные это POST и GET, для простоты будем отличать их основываясь на том, что POST – предполагает передачу данных в теле запроса, а GET – передает параметры в адресной строке.

Собственно к чему это я , наверно я все таки не собирался дать полное описание http протокола и всех возможных вариантов его применения? Ах да я о спаме, который нас окружает, так вот, если в поле рефферер – внести полный URL от поискового запроса, например от Yandex, и послать запрос на ваш сайт, то любая система статистики покажет, что пользователь пришел с Yandex по данному запросу, если в данное поле забить адрес вашего сайта, то система статистики покажет, что посетитель перешел с вашей страницы. И это один из видов рекламы в сети, которой многие судя по моим статам пользуются очень активно, рассчитана она конечно в первую очередь на администраторов, но они тоже люди, хотя и со своими особенностями.

Так же легко можно реализовать запрос к блогу на Word Press так называемый TRACKBACK для получения обратной ссылки.
Один из товарищей по сети атакует мой блог такими запросами, но видно квалификации не хватает, и они получаются кривыми, хочу пожелать товарищу тщательно изучить выше указанную спецификацию, создать свой блог , и отладить свое приложение, чтобы все что оно делает не вызывало сомнений в подлинности.
В общем приложите немного фантазии и труда, и удивитесь как разнообразны сферы применения протокола http.

После написания предыдущего поста о том как спамить, было много спам комментариев, которые к сожалению так и не увидели свет или точнее выражаясь ближе к интернетному: не увидели и никогда не увидят поискового бота.
Для одного правда я сделал исключение, его я опубликую здесь, как представителя обобщающего все спамные комменты :

—————————

Должен Вам сказать Вы заблуждаетесь.
Я считаю, что Вы ошибаетесь. Предлагаю это обсудить.
Москва не сразу строилась.
Беру по любому
Прошу прощения, что вмешался… Я разбираюсь в этом вопросе. Можно обсудить

—————————

Ну, полный пипец, видно вариатор отработал, а заложена в него была полная бурда.
причем составлен проект или на скорую руку или просто те же руки растут из заднего места. Ну и как Вы думаете, какая судьба у этого коммента? – в топку.

Так же было высказано мнение об очевидной полезности спам софта, правда с оговоркой, что полезность таких комментариев ограничена по времени.
Против этого возражать трудно, да с софтом всегда лучше и быстрее работать, чем руками, в конце концов для того любой софт и пишется, чтобы ручную работу автоматизировать, и дать человеку отдышаться.

Но все таки даже при использовании софта, можно извлечь больше пользы, приложив немного фантазии к его настройке. В конце концов, даже работая с софтом, идет расход времени, ресурсов, и как результат денег, и лучше если результат работы будет виден не день, а гораздо большее время.
Здесь видятся два варианта, 1 делать серьезный предварительный отбор для спама только по тематическим ресурсам, предполагается, что спам коммент будет релевантен ресурсу. Либо используемый софт должен уметь оценить направленность ресурса и выдавать спам комменты с использованием ключевых слов из текущей статьи, собственно и первое и второе не из области фантастики, а вполне реально.

Недавно наткнулся на интересную разработку, собственно разных разработок из этой области предостаточно, но эта меня заинтересовала тем, что пакет, анализируя документ или его фрагмент, определяет эмоциональную окраску сообщения, другими словами можно вставить комментарий не только в тему по ключевым словам, но и в тему по общему духу документа. При всем при этом разработка распространяется с открытым кодом. Думаю за интеллектуальным спамом будущее, хотя на дополнительную обработку текста потребуется больше ресурсов и времени, но результат, очевидно, будет более живучим. И все будут счастливы. Что надо любому владельцу ресурсов – правильно более частое обновление своих публикаций релевантными добавлениями, а что надо для спамера – правильно получение ссылки за свою работу. В общем все просто, и все рады.

В который раз перечитал рассказ А.Экзюпери “Маленький принц”, и еще раз оценил насколько это глубоко философская книга. Вот и сейчас пришло время вспомнить бессмертные строчки, когда начал в очередной раз вычищать спам из всех проектов. В книге Маленький принц просил нарисовать ему овечку, чтобы та помогла ему бороться с баобабами, пока те еще маленькие и не успели вырасти в огромные деревья способные своими корнями разорвать планету на части. Весь смысл сводился к тому, что бороться с баобабами надо ежедневно и регулярно и не лениться, т.к. в противном случае бороться с большими деревьями будет еще тяжелее.

Да, о чем я, ах да о борьбе со спамом, или на оборот, как это лучше и эффективнее делать. Так, как сам я являюсь и спамером и чистильщиком в одном лице, то могу легко взглянуть на данную проблему с разных сторон, и оценить психологию той и другой стороны.
Так что вызывает гнев при очистке ресурсов от спама? Наверно таких раздражающих факторов несколько:

- полностью не релевантное содержание статьи, заметки или комментария.
Соответственно нерелевантность относительно всего ресурса, или от поста к которому сделан комментарий.

- короткое и бессмысленное содержание, – слабая попытка подобрать универсальный контент для спама.

- полное отсутствие содержания, но большой объем ссылок на разные страницы продвигаемого ресурса.

- большой объем не релевантных заметок одного автора.

Это наверно самое основное, если не учитывать явный спам, с кракозябрами, и выполненный полуработающим софтом, содержащий например необработанные теги вариатора.

Я наверно не ошибусь, если предположу, что большая часть сайтов, которые подвергаются спаму, это зародыши белых и пушистых сайтов, так и не достигшие полного созревания, и их развитие остановилось на уровне сплогов, которые их автор предполагает использовать для продвижения своих проектов. Исходя из этого предположения, все то, что имеет не релевантное содержание, сразу автоматом попадает в топку. Короткие и универсальные фразы, могут быть оставлены только в очень ограниченном количестве, и то с предварительной обработкой и добавлением ключевых слов по теме сайта. Соответственно, совсем короткий бессмысленный комментарий не может служить платой за оставление прямой ссылки на сайт спамера.
Что касается публикаций без содержания, и с большим наличием прямых ссылок, тут наверно тоже ничего не надо комментировать.

Я как то уже писал, что чтобы понять, как лучше спамить надо для начала создать свои ресурсы, и попробовать разобрать весь поступающий спам. Как говорят в народе, относись к другим так, как ты бы хотел, чтобы относились к тебе.

Понятно, что когда начинаешь спамить, то порой трезвый рассудок уходит, охотничий инстинкт гонит прямо для получения долгожданной ссылки, но как итог данной охоты, все больше сайтов закрывают возможность получения прямых ссылок для оптимизаторов, в результате страдают все. Кстати как я уже писал, что вопреки расхожему мнению, об ограничении количестве исходящих ссылок с продвигаемого сайта для поднятия ПР, один из моих сайтов был просто завален исходящими ссылками на релевантные сайты, поставленными в ответ на ссылки на этих сайтах, и получил ПР 3, в первые же двадцать дней своей жизни.
И как подведение итога, хочется еще раз повторить, остановитесь и прежде чем начать спамить, задумайтесь, какую цель вы приследуюте? Просто задолбать модератора, и устроить мигание, или оставить ссылку, которая принесет вес вашему ресурсу.
Хочется опять вернуться к теме Хрумера , как инструмента для продвижения вашего сайта. Это инструмент, а правильность его использования зависит от вас. Если вы купили молоток и стучите им по пальцам, – это больно, но если вы забиваете им гвозди, то скорее всего вы построите прекрасный дом.

Один из посетителей блога, задал вопрос: как я борюсь со спамом? Честно говоря вопрос звучит, как заданный Хрумером, или у меня уже выработаась определенная хрумеро мания. Как ответил один из посетителей форума на обвинение, что он бот: “да мы все тут боты и вокруг матрица”. До смешного ситуация описана близкая к существующей реальности. Общаться в большинстве случаев приходится с ботами, честно говоря не вижу в этом ничего плохого, Хрумер бывает неплохим собеседником.

Первое , что хочется определить, что такое спам, наверно ближе всего будет определение спам это заметка или комментарий не по теме. Так как с этим бороться? При анализе темы, становится понятно , что борясь с этим бесполезно. Спам был, есть и будет до тех пор пока существует ранжирование в поисковых системах по количеству входящих ссылок. Абсолютных средств борьбы с этим нет и не будет, как только появится средство борьбы дающее результаты, будет создано ответное средство позволяющее обойти защиту. Помочь может только уникальное средство защиты не получившее массового распространения и то это работает ненадолго, как только средство будет признанно эффективным, и получит некоторое распространение, сразу начнется процесс разработки обходного пути. И этот процесс идет, требуя постоянных вложений с обеих сторон. Чем то это схоже на гонку с преследованием, здесь главное не задать слишком большую начальную скорость. При большой начальной скорости, просто возрастет цена вопроса: более дорогая защита от спама порождает более дорогие средства ее обхода, и в конечном итоге все приходит к противодействию модераторов и спамеров — у кого больше времени. Самым эффективным инструментом спама на данный момент является наемный спамер, занимающийся этим в ручную, собственно обойти такой инструмент можно только закрыв возможность оставлять комментарии всем пользователям без исключения, или наняв платного модератора сайта. Грань между удобством комментирования статьи пользователем и защитой очень тонкая, – немного переборщил, и у честного пользователя просто не осталось сил на преодоление защиты.

И как вывод:
защитится от спама можно только на определенное
наиболее эффективна только уникальная защита не получившая массового распространения.
Любая защита создает трудности для честных пользователей.
На данный момент, самый верхний уровень это пара: ручной спам — ручная модерация.

С тем, как бороться со спамом все понятно, остался вопрос, как это можно использовать? Как говориться если нет возможности бороться, надо привлечь на свою сторону и использовать. Вот эта мысль постоянно посещает меня, с тех пор, как я обнаружил несколько своих социалок в списках для спама для BMD, колличество пользователей увеличивается ежедневно, идет бесплатный контент, происходит перелинковка спама, в общем даже в спеме можно найти положительные моменты, надо просто немного повертеть эту ситуацию и осмотреть с разных сторон.

Вчера долго вычищал спам из сетки социалок, тоскливо проглядывал разнообразные сообщения никаким боком не подходящие под объявленную тему сайта. В результате проделанной работы по расчистке завалов удалось найти пару сообщений по теме – радость от находки была безграничной . Через час, от бесчисленных комментариев с непонятным содержанием и большим обилием исходящих ссылок стало рябить в глазах. Больше всего порадовало несколько опубликованных статей с предложением воспользоваться платными услугами по прогону сайта по социалкам. После проделанной работы, задался вопросом, это только меня так спамят? Вставил URL социалки в поисковик и обнаружил в выдаче массу входящих ссылок на только что удаленную мной спам-статью, даже появилась желание все вернуть обратно. Да спамер проделала колоссальную работу. Вторым этапом прошел почистить блоги, тут явно присутствовал след автоматизации процесса, впрочем, как и в социалках, редкие комментарии отдаленно напоминали человеческое обсуждение опубликованного материала, да и эти редкие творения человеческого ума были скорее всего сделаны для того чтобы сбить предмодерацию первого поста. Удивило упорство спамеров, которые за один день нагоняли более ста постов, причем с использованием разных IP адресов, что увеличивало показания счетчика посетителей и радовало глаз, должно быть это неплохо отразится на Алекс статистике по сайту. К чему такое упорство, когда ни один из их комментариев так и не увидел свет?

Потратив несколько часов в борьбе со спамерами, поливая их всяческими плохими словами, я стал настраивать старенький Хрумер , – шутка, я подумал в чем же все таки первопричина спама в сети? И пришел к выводу, что первопричина это совсем не в тех людях, которые пытаются впихнуть на мои сайты, ничего не имеющие с их тематикой статьи о смерти Майкла Джексона или о необходимости покупки телефона или заработке в Твиттере, или совсем неадекватные и страшные на вид сомментарии. Первопричина очевидно в поисковых машинах, в тех которые сказали, что алгоритм ранжирования это все, тех которые забанили мой первый простенький рукописный сайтик. Это они сказали, что чем больше ссылок, тем сайт круче, потом они сказали, что ссылки имеют больший вес не с каталогов и гавносайтов, а с социалок, блогов, и белых проектов. И ссылок должна быть не одна–две, а чем больше, тем лучше и на набор этой ссылочной массы у сайта всего пара месяцев, когда сайт болтается, недалеко от топа имея бонус новичка, а потом – кто набрал массу, тот молодец, кто не успел – просто не достоин. Чисто программный алгоритм вынес вердикт о значимости проекта в сети. Соответственно чисто программный механизм, помогает сайтам набрать ссылочную массу без участия человека, такая вот война программ и результат ее это масса спам статей, комментариев, сателлитов, лезущих в топ, дорвеев. Но виноваты не они, не они определили правила игры, они только попытались подстроиться под навязанные правила. Набрать количество конкурентно способной ссылочной массы руками, конкурируя с различными программами просто нереально. Но с другой стороны, то что сейчас делают спам боты, – бессмысленная трата времени и трафика, эти безумные коменты будут жить только до следующей модерации, эти безумные статьи не будут оценены читателями. До появления искусственного интеллекта, более живучими окажутся посты по теме и содержащие хоть какую-нибудь информацию. Не знаю, готовы ли вы получать трафик без поисковой оптимизации, а чисто за счет написания интересного тематического материала и вынесения его на суд общественности. Если ваш проект белый и вы хотите поделиться информацией с окружающими, при этом не имеете желание попасть в бан за спам, на социалках и в поисковых системах, то я предлагаю вам несколько социалок с трафиком. Заходим, читаем, если вы в теме, то делимся информацией, привлекая пользователей, если нет, то проходим мимо.

_http://paky.ru/
_http://www.grabr.ru/
_http://www.blogparad.ru/
_http://blogistica.ru/
_http://monrate.ru/
_http://sloger.net/
_http://chipp.ru/
_http://showblogs.ru/
_http://community-seo.ru/
_http://korica.info/