Все для рунета

Http – Hypertext transfer protocol – протокол уровня приложений, определяющий обмен данными через запрос/ответ. Собственно это мое фривольное определение для данного понятия. Более подробно о http можно узнать на сайте w3.org , где в простой форме, без приукрашиваний, описаны основные стандарты данного протокола, в частности можно почитать увлекательную статью под названием rfc2616 ( Request for Comments ), где описаны основные определения и параметры для http версии 1.1. Поверьте это увлекательное чтение. Есть и другие документы из этой серии ( rfc ) позволяющие пролить свет на нюансы внутреннего устройства сети интернет. Помню при разработке серьезных проектов, я просто зачитывался этими публикациями. Ну да о чем это я собственно, наверно о том, что последнее время одолели разного типа запросы, с использованием данного протокола. Надо сказать, что запрос по http строится до банального просто, достаточно послать текстовое сообщение на определенный адрес в сети, ну и выдержать формат сообщения в соответствии с ранее указанными спецификациями. И что самое интересное, все приложения, работающие по этому протоколу, действуют до банального одинаково: делают запрос в определенном формате, и получают ответ. Так же работают браузеры, которыми мы пользуемся при просмотре интернет страниц. В запрос разные интернет приложения помещают разные параметры, которые довольно подробно описаны в выше приведенной спецификации. Анализируя заголовок запроса можно понять, откуда этот запрос сделан, и что хочет получить система делающая запрос.

Для примера можно сказать, что в запрос помещается адрес страницы с которой произведен переход ( параметр называется “Referrer” ), и описание основных компонент системы с которой запрос был произведен. Наверно вы уже сталкивались с таким понятием как реферер(“Referrer”) при покупке трафика на бирже, да если этот параметр не указан, то скорее всего это или прямой переход с указанием вашего URL в адресной строке, или был выполнен специально написанной программой, в которой горе программист забыл заполнить это поле для большей достоверности в работе бота. User-Agent – показывает тип броузера и компоненты системы с которой был сделан запрос.

Выглядит это приблизительно так: “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)” , если это поле не заполнено, то программиста делающего бот надо просто расстрелять.
Формируется http запрос просто как текст с переводом строк, выглядит это приблизительно так:

initial line, различная для запроса и ответа
Header1: value1
Header2: value2
Header3: value3

GET /pub/WWW/TheProject.html HTTP/1.1
Host: www.w3.org

Или:
GET /path/file.html HTTP/1.0
From: ownru@mail.com
User-Agent: HTTPTool/1.0
[Пустая строка]

Можно наполнить заголовок запроса большим количеством параметров:
GET /dummy.php?name=ownru&p=1000 HTTP/1.1
Host: www.ownru.ru
User-Agent: Mozilla/5.0 (Windows;en-GB; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.google.com/search?hl=en&q=seo&aq=f&aqi=g10&aql=&oq=&

И для типа POST:

POST /path/script.cgi HTTP/1.0
From: ownru@mail.com
User-Agent: HTTPTool/1.0
Content-Type: application/x-www-form-urlencoded
Content-Length: 32

home=ownru&address=ownru

POST /dummy.php HTTP/1.1
Host: www.ownru.ru
User-Agent: Mozilla/5.0 (Windows;en-GB; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11
Accept: text/xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: en-gb,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.google.com/search?hl=en&q=seo&aq=f&aqi=g10
Content-Type: application/x-www-form-urlencoded
Content-Length: 39

name=ownru&p=1000

Ответ тоже до безобразия примитивный приблизительно так:

HTTP/1.0 200 OK
Date: Fri, 31 Dec 1999 23:59:59 GMT
Content-Type: text/html
Content-Length: 1354

html
body
.
.
/body
/html

Данный запрос просто вызовет указанную страницу на указанном хосте, при этом поле рефферер и поле юсер-агент останутся незаполненными. Да в спецификации можно прочитать о типах запросов, наиболее распространенные это POST и GET, для простоты будем отличать их основываясь на том, что POST – предполагает передачу данных в теле запроса, а GET – передает параметры в адресной строке.

Собственно к чему это я , наверно я все таки не собирался дать полное описание http протокола и всех возможных вариантов его применения? Ах да я о спаме, который нас окружает, так вот, если в поле рефферер – внести полный URL от поискового запроса, например от Yandex, и послать запрос на ваш сайт, то любая система статистики покажет, что пользователь пришел с Yandex по данному запросу, если в данное поле забить адрес вашего сайта, то система статистики покажет, что посетитель перешел с вашей страницы. И это один из видов рекламы в сети, которой многие судя по моим статам пользуются очень активно, рассчитана она конечно в первую очередь на администраторов, но они тоже люди, хотя и со своими особенностями.

Так же легко можно реализовать запрос к блогу на Word Press так называемый TRACKBACK для получения обратной ссылки.
Один из товарищей по сети атакует мой блог такими запросами, но видно квалификации не хватает, и они получаются кривыми, хочу пожелать товарищу тщательно изучить выше указанную спецификацию, создать свой блог , и отладить свое приложение, чтобы все что оно делает не вызывало сомнений в подлинности.
В общем приложите немного фантазии и труда, и удивитесь как разнообразны сферы применения протокола http.

Да тема совсем не нова, кажется все живущие в интернете рано или поздно пытаются сделать свой интернет магазин. Так или иначе, именно слово магазин ассоциируется с возможностью что-то продать, а значить заработать. Пришла и мне такая мысль не так давно, что пора, пришло время начать торговать по полной. Надо сказать, что первый раз эта мысль пришла достаточно давно, когда я потратив пол года на разработки выкатил на свой сервер некоторое подобие площадки для торговли, глубоко уверенный, что этого достаточно, чтобы разного рода торговцы лавиной бросились предлагать мне свой ассортимент товаров для организации витрины их товаров на моей площадке. Да это был первый мой выход в интернет без посторонней помощи, так сказать без поддержки, ранее были реально большие интернет проекты, но сделанные на заказ. И вот когда мой проект был готов, было затрачено немало сил и времени, и тут оказалось, что никто не собирается ломиться на мой сайт, это было первое разочарование. Тут я услышал о таком звучном слове СЕО, которое изменило мое представление о виртуальном мире. Сейчас так сказать вторая попытка, второй подход к той же теме, спустя годы. Тут подход несколько изменился, появилось понятие, что для продаж нужны посетители, а посетители в сети по АйПи магазин не ищут. Был проведен блиц анализ интернет рынка, и предоставляемых на нем услуг, даже столь не основательный взгляд дал понять, что интернет магазин не пробовал создать только ленивый. Каждый хоть раз выходил в интернет с таким предложением.
До от открытия своего полнофункционального интернет магазина, решил пощупать рынок так сказать изнутри, прицепившись к какой ни будь партнерской программе. Первое, что попалось под руку был softmarket.ru интернет магазин электроники и мобильных телефонов. Первое что бросилось в глаза, это надпись крупными буквами: нашими партнерами установлено более 15000 магазинов. Цифра явно впечатлила, и привела в некоторое унынье, после регистрации пришло письмо со скриптом магазина, который предлагалось установить на любом хостинге, включая бесплатный. Немного подумав над этим письмом, пришел к выводу, который лежал на поверхности, но в котором так не хотелось себе признаваться: установив данный скрипт и подключив его к своему домену, останется только наблюдать, как пройдет индексация и данная связка под названием онлайн магазин медленно погрузиться в небытие последних страниц выдачи или полного бана. 15000 это значимая цифра для любого ключевого слова. Было решено найти бесплатный скрипт обладающий необходимой функциональностью. Пройдя по сайтам предлагающим скрипты, с сожалением были найдены такие же воодушевляющие фразы: на данный момент уже установлено 3000 – интернет магазинов на наших скриптах, цифры варьировались, но порядок оставался приблизительно неизменным. Стало даже интересно, сколько магазинов может принять поисковая выдача, если еще учесть, что в каждом интернет магазине не одна сотня страниц.

В поле зрения попали несколько бесплатных скриптов, в том числе и такой известный, как osCommerce, большое количество доработок сделанных интернет комюнити, приводила в восторг, было практически все, что предполагалось использовать в работе. Было найдено несколько сайтов соотечественников, которые за небольшие деньги предлагали уже кастомизированную версию скрипта, с полной поддержкой русскоязычных покупателей. Но было сделано предположение, что от таких интернет магазинов уже просто ломится интернет. Просто установив бесплатный скрипт, добиться его работы после установки нескольких добавлений, так и не удалось. В прошлом году вышла новая версия, этого же скрипта, причем внутренняя архитектура выглядит более привлекательно с точки зрения собственной доработки. Но новая версия не успела обрасти необходимыми доработками, хотя дефултная установка, порадовала своим отношением к кириллице, и своей явно подчеркнутой поддержкой многоязычности.
Но без дополнительной доработки данный скрипт все так же не имеет шансов пробиться по серпу на достойные позиции. Все так же необходимы доработки. Сформировав свои требования к интернет магазину и оценив объем предстоящих работ, мысль продажи с блога одного или нескольких товаров, казалась не такой нелепой.
В процессе сбора материалов для разработки наткнулся на интересный пост shakin.ru/seo/online-shop-seo.html
Автор потратил не мало времени, чтобы сформулировать требования к интернет магазину, но как известно, что все то что опубликовано в паблике уже не может работать на сто процентов, и обеспечивать уникальность вашему интернет магазину, оборачиваясь хорошим конвертом и сопутствующими ему бонусами.
В унынье привело отсутствие собственной оригинальной идеи, которая могла бы стать изюминкой будущей торговой площадки. Но как говориться охота пуще неволи, работы продолжаются, было решено, интернет магазину быть, что из этого выйдет попробую описать в следующих постах.

Как я уже писал в Автоматическая публикация в блог для публикации в блог через xml-rpc достаточно использованиеодного класса, свободно лежащего в интернете с открытым кодом. Без сомнения название этого Java класса является ключевым словом при формировании программы публикации в блог, но одним этим классом обойтись вряд ли удасться, об этом я сознательно умолчал. Тема оказалась очень ходовой и возникло желание еще немного приоткрыть завесу над этим вопросом.

Первое с чего надо начать, это подготовить статьи для публикации, эту тему можно обсуждать достаточно долго, свособов и вариантов здесь бесчисленное множество, и более чем подробно все уже много раз описано, можно только добавить, что готовые статьи надо сконвертить в удобную для дальнейшей обработки форму. В данном случае имеется в виду формат файла или файлов, можно использовать и базу данынх, хотя на мой взгляд это лишне.

После того, как статьи подготовлены и аккуратно сложены, в файл или файлы, надо написать программку, которая могла бы получать данные по статьям, по порядку или в заданном порядке или беспорядке, для дальнейшей отгрузки данных в программу непосрественной публикации.

И наконец, надо определиться со способом публикации, здесь есть возможность выбора.

Автоматически опубликовать материал в блоге, работающем на движке от WordPress, можно несколькими способами:

• Через обычную форму публикации, встроенную в движок.

Через интерфейс, такой как xml-rpc.

Первый спсоб достаточно легко реализуется при использовании столь популярных программ массовой рассылки, которые изобилуют на компьютере любого СЕО оптимизатора, например с помощью Хрумера, да да, достаточно создать проект, сделать регистрацию пользователей в сетке своих блогов и предоставить данным пользователям права на публикацию. Теперь можно в проект вставлять любую статью и публиковать ее во всех блогах одновременно, ну или по расписанию. Можно воспользоваться встроенным вариатором, для избежания выпадения дублей. Можно воспользоваться программой Allsubmitter, причем в полуавтоматическом режиме, при этом сегка контролирую процесс публикации.

Второй вариант предполагает использование выше описанного Java класса. При публикации в блог большого количества статей одновременно, наверно не лишним будет часть статей просто загрузить в базу WorlPress, оставим окончательную публикацию на совести самого движка, если конечно на хостинге работает cron ( программа обработки событий по времени), надо сказать, что на некоторых бесплатных хостах данная возмоность отключена для пользователей в этом случае, материал помещенный в базу блога с отложенной публикацией, так никогда и не увидит свет, но это тема отдельного рассказа, будем пологать, что с хостингом все в поряке. Для отложенной публикации, необходимо еще включить в программу вариатор времени публикации, который будет выдавать случайное время, и будет учитывать день, ночь, праздники когда нашь автоматический публикатор спит.

Источник: (http://ownru.ru)

С детства не любил php, счиал , да на то время это было действительно так, что php это очень примитивный язык программирования, на котором нельзя создать приличное приложение. Подпирличным я понимал большое и многофункциональное прлиожение, такое как система удаленного банковского обслуживания, система трайдинга и.т.д. Любовь к объектному проектированию заставляла отдавать предпочтение другим языкам програмирования таким, как С++, Java. Причем реализация на Java серверных приложений, вызывала у меня восторг, казалось лучше языка для написания больших серверных приложений трудно найти. Кроме того Java кроме объектного подхода, имела еще одино неоспоримое приемущество: она заточена под сеть, бесплатна и имеет уже просто море наработанных модулей, которые просто легко состыковать в большое единое целое. Да что говорить , только система построения документации позволяющая отойти от нудного копания в чужом коде приводила в восторг. Но времена меняются, точнее все изменяется, в том числе и язык програмирования PHP завоевал большую долю интернет рынка, большинство серверов предлагают использовать именно его, очевидно это связано бонально с простотой его установки и использования. Сервера под Java существуют, но встречаются гораздо реже, да и стоимость на них больше, собствено по этой причине приходится сервера держать свои и заряжать и настраивать их собственноручно.
Но вернемся к PHP волей или неволей приходится разбираться в приложениях написанных на этом языке программирования, – упускать больше количество, дешевых потенциально доступных серверов для размещения сайтов просто не просительно. И вот взгляд упал в сторону PHP, как он изменился за последние десять лет, ушло множество дырок, да и появились наметки в сторону объектного подхода, вобщем можно брать на вооружение.
Первое знакомство c PHP конечно же происходило с помощью простого текстового редактора, язык в общем и целом не вызвал ожидаемого отторжения. Достаточно много документации, специализированые форумы, не позволяют остатся на едине с любой пролемой данного языка.
Поковырявшись с чужими скриптами, используя старый добрый фар, но по мере возрастания сложности скриптов, возиться с чужими программами сановилось все сложнее и сложнее. И как всегда помощь пришла откуда не ждали, пришла очередная рассылка с анонсом новой версии продукта Netbeans IDE 6.8 beta которую можно скачать абслоютно бесплатно, с их сайта: netbeans.org.
Собственно неожиданность была в другом, в том, что в данном пакете есть поддержка большого количества технологий, которые приходится использовать:

Ajax C/C++ Databases Debugger Desktop Editor Groovy GUI Builder Hudson Java EE JavaFX Java ME Java SE JavaScript Kenai Maven Mobile Profiler Python Refactor REST Rich Client Platform Ruby SOAP Web
Ставитьданное приложение мжно под любую операционную систему, в том числе и Linux, что безусловно тоже порадовало.

И самое главное, покрайней мере для данного поста, то что данный пакет поддерживает технологию PHP. Для полноты картины пришлось скачать еще один бесплатный пакет XAMPP – небольшая сборка, наподобе всем хорошо известного пакета Денвер, в который входит Апач, пакет PHP, MYSQL, и самое главное пакет: xdebug, собственно из за которого данный пакет и был скачан(ну еще из за любопытства, чтобы посмтреть , что за чудо ) В описании к Netbeans IDE было описание настройки работы только с этим пакетом, и потому не имея особого желания ковыряться с настройкой Денвера, был быстро развернут новый пакет, – установка проще некуда, пришлось ответить всего на несколько вопросов. Везде правдо предупреждают, что для данного пакета Netbeans IDE необходдима сборка 1.7.2 (если не ошибаюсь), которая поддерживает PHP 5.3. Спомощью друга Google, найти нужную сборку было вопросом пары минут.
И вот я уже в дебагере, трассирую приложение на PHP, получая удовольствие от возможностей предоставляемых пакетами, особо согревало, то что многофункциональная среа разработки была собрана быстро и без каких либо денежных затрат, и это не потому, что денег нет, а просто любая халява продолжает радовать, как в детстве : – )

Хрумер – что это и зачем он нужен? Наверно быстрого и исчерпывающего ответа дать невозможно. Если говорить коротко, то это инструмент для продвижения сайтов, и можно добавить, что это очень мощный инструмент. Пройдясь по сети можно найти много обзоров и отзывов по эффективности данного инструмента. Если обобщить все, что написано про Хрумер, можно однозначно утверждать, что это самый мощный инструмент для раскрутки сайтов на текущий момент, со всеми отсюда вытекающими последствиями. Под последствиями я подразумеваю, о негативные последствия неправильного и неумелого использования данного инструмента. Наверно можно условно сравнить Хрумер с ядерной энергией, которая может быть направлена на созидание, а при неумелом использовании может привести к отрицательным последствиям. Можно проследить общую линию обзоров в среднем получается, что Хрумер – это аналог слова “спам” и “бан”. Но это только одна сторона неправильного использования инструмента, при приложении всех функций системы на небольшую фантазию, можно реализовать практически любой сценарий продвижения ресурсов, предложив Хрумеру выполнять практически всю повседневную монотонную работу. Возможности программы стали практически безграничны, после появления функции обучения, в сети появилось большое количество доработок, позволяющих производить различные действия с разными объектами. Единственное, что не удалось найти среди функциональности, так это кнопку “бабло”, и это понятно, ни один инструмент, вышедший в паблик, не может гарантировать эксклюзивного подхода к решению отдельных задач. Даже имея Хрумер, придется думать головой, а не тупо нажимать на имеющиеся кнопки. Я бы даже посоветовал создать несколько ресурсов, по определению подходящих под объекты обработки Хрумера, и побыть некоторое время администратором, чтобы понять, что стоит делать, а чего делать не стоит, что приведет к ожидаемому эффекту, а что будет удалено сразу же до прочтения.
Зачастую мы забываем, что на другой стороне тоже находятся люди, и в общем то их поведение в среднем предсказуемо. К примеру, когда я получаю комментарий на блоге, с хорошими и ли критическими словами в адрес статьи, я его оставляю, хотя многие из них напоминают работу Хрумера, но когда я вижу комментарий, содержащий более десяти ссылок на разные страницы внешнего ресурса, я даже не пытаюсь разобрать, какие слова там написаны, судьба такого сообщения решается однозначно.

Оценить возможности и потенциал программы можно, скачав демо- версию с сайта разработчика, прочитав раздел помощи и конкурсные статьи на тему, как я использую Хрумер. Надо сказать, что затраченное на чтение время не будет простой потерей времени, можно почерпнуть много интересного. В сети есть крякнутые ранние версии Хрумера – 2.9, так же можно найти и более поздние версии 3.0 и 4.5, но все они годны только для ознакомления с программой, ни одна из них не выполняет полной функциональности заложенной в программе. Сейчас в продаже находится 5-я версия программы, которая изначально более функциональна. Все в интернете развивается, практически нет ни одной устойчивой формы, которая не претерпевала бы изменений. Разработчики проекта постоянно отслеживают новые тенденции и добавляют их в свое детище, обновления выходят раз в месяц, поддержка обеспечивается практически круглосуточно. Это наверно весомый аргумент в сторону этого программного обеспечения, так как многие полезные программы-проекты, появляющиеся в продаже в сети, порой не имеют должной поддержки, и довольно быстро умирают морально, оставляя покупателя один на один с бесполезным кодом и мыслью о потраченных деньгах.

Так почему я должен покупать именно Хрумер, когда его цена составляет достаточно большую сумму? Но, давайте разбираться – сумма не покажется такой уж большой, если представить, что вам не надо покупать отдельно кучу разных программ: для каталогов, гостевых книг, закладок, социалок, форумов, и данный перечень можно продолжать, если это все суммировать, то получиться даже существенная экономия.

Итак, вы точно знаете, что вам нужно, вы знаете, как вы это будете использовать, вы уверены в своих силах, вы хотите получить неоспоримое преимущество перед конкурентами при этом сэкономив деньги и время, тогда покупаем! Это и есть единственное правильное лекарство для работы Хрумера.
Что порадовало: при покупке версии под Windows, версия под linux, дается бесплатно, последние меня особо порадовало, т.к. выделенный для работы в интернете компьютер у меня работает именно на этой операционной системе.