Как скормить Сапе максимум страниц
19.04.2008 от 
Андрей Зарубин
Недавно возникла следующая ситуация: есть сайт состоящий из более чем 6к страниц, а также есть желание продавать с него ссылки в сапе.
Поставил на сайт код сапы, подал на индексацию, довольно потирая руки и ехидно ухмыляясь. Но не тут то было 
Сапа проиндексировала только примерно 300 страниц. Из 6000. Маловато будет.
Так получилось, потому что большинство страниц было дальше 3 УВ из-за особенностей внутренней перелинковки (постраничная разбивка).
Я крепко призадумался как же скормить побольше страниц в глотку сапе… Первая мысль была сделать карту сайта и залинковать ее с главной. Таким образом получается, что все страницы будут не дальше 3 УВ.
Вопрос: как же сделать карту сайта где много страниц? Попробовав различные онлайн генераторы карт сайтов, я понял что все они — полное дерьмо. Это ж не шутки распарсить 6к страниц 
Так и по таймауту скрипту недолго загнуццо.
Продолжая поиски наткнулся на упоминание спец софта для генерации карты сайта под названием A1 Sitemap Generator. Скачал эту прогу (найти можно здесь), она долго и нудно парсила сайт и генерила карту. С горем пополам, наконец-таки, она ее сгенерила. Кстати, она еще способна генерить карты сайтов в xml формате (можно потом скармливать гуглу).
Залил, значить, эту карту на сайт, залинковал ее с главной, вроде все должно быть айс. Подал на переиндексацию в сапе и… все те же яйца В чем же дело?
А дело оказалось вот в чем: сапа может сожрать максимум 150 ссылок со страницы (читай, карты сайта). Т.е. простыня на 6к ссылок не прокатывает.
Но, так как настоящие сапобарыги не пасуют перед трудностями, я решил и эту проблему. Те, кто в ладах с высшей математикой легко подсчитают, что наделав несколько карт и залинковав их с главной, можно обойти ограничение в 150 ссылок на страницу. Что я и сделал. Муторное занятие, скажу я вам. Но оно того стоит.
После очередной переиндексации (терпение саперов поистине безмерно) в индексе сапы было уже 1300 страниц вместо 300. Согласитесь, это уже получше будет
Можно конечно набраться наглости и залинковать все 54 карты сайта с индекс пэйдж (тогда в сапе будут почти все страницы), но что-то стремно. Пока будем довольствоваться тем, что имеем.
Это был практический пост, на который меня вдохновили seoшнырь и directтор.
До встречи, ребятки.
PS. А знаете ли вы, что такое сапа?
Рубрики: Sape | 
azarubin.com
20.04.2008 в 06:04
Актуальная инфа, а то реф пожаловался, что сапа сожрала 300 страниц и все.. хотя карта сайта есть и страниц более 1000.
20.04.2008 в 15:30
Тут очень и очень много методов… нужно только включить фантазию
20.04.2008 в 18:15
Ага, облако тегов и так далее
Кстати, Абсурдный Людь, напишите какие-нить методы, а? Интересно ведь!
21.04.2008 в 00:41
У меня конечно столько страниц нету для индекса в сапу, но инфа на будущее конечно пригодится. Тем более сейчас разрабатываю многостраничный сателлит. Кстати как раскупаются ссылки с многостраничника? Может оно еще того и не стоит?
21.04.2008 в 08:55
Nik, хорошо раскупаются, но все завсисит скорее не от к-ва страниц, а от их пузомерок
21.04.2008 в 16:58
Андрей, можно сразу на ты
хм… методы?) грамотная внутренняя перелинковка - вот главный метод
related posts, правильная категоризация, возможны даже ссылки на поисковые запросы в тексте, тоже повышает количество страниц в индексе яши и сапы
21.04.2008 в 17:02
>>Андрей, можно сразу на ты
Канэшн!
Говно вопрос
>>хм… методы?) грамотная внутренняя перелинковка - вот главный метод
а если сайт динамически, генерящий страницы в засисимости от активности постящих пользователей? И еще с постраничной разбивкой. Как такое линковать? Вручную? Так этож можно задолбаться!
>>ссылки на поисковые запросы в тексте, тоже повышает количество страниц в индексе яши и сапы
интересно… поисковые запросы имеются ввиду внутрисайтового поиска?
22.04.2008 в 10:29
А если у тебя страниц 15 тыс, то как ты будешь делать карты сайта? 100 карт сайта по 150 сцыл в каждой..интересно как ты их на главной размещать будешь.. наверное есть другой выход..или нет?
22.04.2008 в 14:02
В сапу ведь вроде как больше 1000 страниц с одного сайта не принимаются.
22.04.2008 в 16:16
Streha, частично можно на главной, а частично нужно наверное юзать загадочные методы Абсурдного
Virtual, принимают принимают
22.04.2008 в 20:03
бывает все
23.04.2008 в 05:57
Да и 1000 страниц надо еще продать умудриться
23.04.2008 в 22:09
> а если сайт динамически, генерящий страницы в засисимости от активности постящих пользователей? И еще с постраничной разбивкой. Как такое линковать? Вручную? Так этож можно задолбаться!
самое то!
ugc (user generated content) - самая нужная штука!
я как-то хотел проектик белый открыть… да только не удалось… делал на drupal’е… так вот контент генерировали пользователи…
до сих пор в индексе больше 1200 страниц
продано в сапе более 2000 ссылок))
тиц за всё время упал с 50 до 40… пр 3 и без изменений…
вот сейчас задумываюсь в сторону таких проектов
> интересно… поисковые запросы имеются ввиду внутрисайтового поиска?
да, именно так
это самый простой метод
> Да и 1000 страниц надо еще продать умудриться
продаются, куда они денутся?))) доход каждый день на 5 - 10 центов увеличивается
у меня сейчас рекорд с одного сателлита с генерированным контентом и тиц 10 пр 0 - 1 бакс в сутки
тут, в общем, нужно мозг включать
24.04.2008 в 08:27
Спасибо за информацию! Очень много полезных методов и советов!
24.04.2008 в 10:33
>>у меня сейчас рекорд с одного сателлита с генерированным контентом и тиц 10 пр 0 - 1 бакс в сутки
Круто, у меня пока на уровне 50 центов в сутки.
24.04.2008 в 13:23
Да уж, сложновато получается. Мне кажется лучше эти моменты планировать перед созданием сайтов.
24.04.2008 в 14:09
>>Мне кажется лучше эти моменты планировать перед созданием сайтов.
Ну уж нет, эти сайты делались ДЛЯ ЛЮДЕЙ, а не для сапы. Я считаю, что делать сайты только под сапу - херня полная.
24.04.2008 в 19:46
>принимают принимают
Это хорошо, а насчет ссылки на генератор спасибо, мне знакомый говорил, что он пользуется генератором от A1, но ссылку ему лень было искать, а при поиске ничего путного не выдавало.
25.04.2008 в 09:17
Усегда пажалста
08.05.2008 в 05:22
Принимает сапи и больше 1000 страниц.
С главной йндексируется 500 ссылок.
С внутренних до 150.
Уножьте 500 на 150
Главное чтоб страницы проиндексированными были…
А как вывести 100 или 500 ссылок, чтоб юзверей не напрягало дело ваше.
Но сделать это можно: например выпадающим списком или раскрывающимся блоком.
Было бы желание!
16.06.2008 в 13:57
Если честно то я рыдал над некоторыми фразами)))
И в общем статья безумно понравилась)
Спасиб
05.07.2008 в 20:14
А этот генератор карты “якоря” делает на русском? Или просто урлы прописывает?
06.07.2008 в 18:01
Урлы прописывает, хз можно ли якоря там сделать, настроек много, со всеми не разбирался