Какво е индексирането на уебсайтове? Как се случва? Можете да намерите отговори на тези и други въпроси в статията. Уеб индексирането (индексирането в търсачките) е процесът на добавяне на информация за сайт към базата данни от робот на търсачката, който впоследствие се използва за търсене на информация за уеб проекти, които са преминали през такава процедура.
Данните за уеб ресурсите най-често се състоят от ключови думи, статии, връзки, документи. Аудио, изображения и т.н. също могат да бъдат индексирани. Известно е, че алгоритъмът за откриване на ключови думи зависи от търсачката.
Има известно ограничение за видовете индексирана информация (flash файлове, javascript).
Управление на иницииране
Индексирането на сайт е сложен процес. За да го управлявате (например, за да забраните прикачването на определена страница), трябва да използвате файла robots.txt и такива инструкции като Разрешаване, Забраняване, Закъснение на обхождането, User-agent и други.
Също така, таговете и реквизитите се използват за индексиране, скривайки съдържанието на ресурса от роботите на Google и Yandex (Yahoo използва маркера).
В търсачката Goglle новите сайтове се индексират от няколко дни до една седмица, а в Yandex - от една до четири седмици.
Искате ли сайтът ви да се показва в заявките за резултати от търсачките? След това трябва да бъде обработен от Rambler, Yandex, Google, Yahoo и т.н. Трябва да информирате търсачките (паяци, системи) за съществуването на вашия уебсайт и след това те ще го обхождат изцяло или частично.
Много сайтове не са били индексирани от години. Информацията, която е върху тях, не се вижда от никой, освен от собствениците им.
Методи на обработка
Индексирането на сайт може да стане по няколко начина:
- Първата опция е ръчно добавяне. Трябва да въведете данните на сайта си чрез специални формуляри, предлагани от търсачките.
- Във втория случай роботът на търсачката сам намира вашия уеб сайт чрез връзки и го индексира. Той може да намери вашия сайт чрез връзки от други ресурси, които водят до вашия проект. Този метод е най-ефективният. Ако търсачката намери сайт по този начин, тя го счита за значим.
Време
Индексирането на сайта не е твърде бързо. Сроковете са различни, от 1-2 седмици. Връзките от авторитетни ресурси (с отличен PR и Titz) значително ускоряват поставянето на сайта в базата данни на търсачките. Днес Google се смята за най-бавния, въпреки че до 2012 г. можеше да свърши тази работа за една седмица. Да сеЗа съжаление нещата се променят много бързо. Известно е, че Mail.ru работи с уебсайтове в тази област от около шест месеца.
Индексирането на сайт в търсачките не е възможно за всеки специалист. Времето за добавяне на нови страници към базата данни на сайт, който вече е обработен от търсачките, се влияе от честотата на актуализиране на съдържанието му. Ако в даден ресурс постоянно се появява нова информация, системата го счита за често актуализирана и полезна за хората. В този случай работата й се ускорява.
Можете да следите напредъка на индексирането на уеб сайт в специални секции за уеб администратори или в търсачките.
Промени
И така, вече разбрахме как се индексира сайтът. Трябва да се отбележи, че базите данни на търсачките често се актуализират. Следователно броят на страниците на вашия проект, добавени към тях, може да се промени (както намалее, така и да се увеличи) поради следните причини:
- санкции на търсачката срещу уебсайта;
- наличие на грешки в сайта;
- промяна на алгоритмите на търсачката;
- отвратителен хостинг (недостъпност до сървъра, където се намира проектът) и т.н.
Yandex отговори на често задавани въпроси
"Yandex" е търсачка, използвана от много потребители. Тя се нарежда на пето място сред световните системи за търсене по брой обработени заявки за изследване. Ако сте добавили сайт към него, може да отнеме твърде дълго добавянето към базата данни.
Добавянето на URL не гарантира индексирането му. Това е само един от методите, чрез които се казва на системния роботза нов ресурс. Ако има малко или никакви връзки към сайт от други уебсайтове, добавянето му ще ви помогне да го намерите по-бързо.
Ако индексирането не е настъпило, трябва да проверите дали е имало грешки на сървъра в момента на създаване на приложение за него от робота Yandex. Ако сървърът съобщи за грешка, роботът ще прекрати работата си и ще се опита да я завърши в двупосочен ред. Служителите на Yandex не могат да увеличат скоростта на добавяне на страници към базата данни на търсачките.
Индексирането на сайт в Yandex е доста трудна задача. Не знаете как да добавите ресурс към търсачката? Ако има връзки към него от други уебсайтове, тогава не е необходимо да добавяте специален сайт - роботът автоматично ще го намери и ще го индексира. Ако нямате такива връзки, можете да използвате формуляра "Добавяне на URL", за да кажете на търсачката, че сайтът съществува.
Имайте предвид, че добавянето на URL не гарантира, че вашето творение ще бъде индексирано (или индексирано).
Много хора се чудят колко време отнема индексирането на сайт в Yandex. Служителите на тази компания не дават гаранции и не предвиждат срокове. Като правило, откакто роботът е разбрал за сайта, страниците му в търсенето се появяват след два дни, понякога след няколко седмици.
Процес
"Yandex" е търсачка, която изисква точност и внимание. Индексирането на сайта се състои от три части:
- Роботът за търсене обхожда страниците с ресурси.
- Съдържание(съдържанието) на сайта се записва в базата данни (индекс) на системата за търсене.
- След 2-4 седмици, след актуализиране на базата данни, можете да видите резултатите. Вашият сайт ще се появи (или няма) в резултатите от търсенето.
Проверка за индексиране
Как да проверя индексирането на уебсайта? Има три начина да направите това:
- Въведете името на вашия бизнес в лентата за търсене (например "Яндекс") и проверете всяка връзка на първата и втората страница. Ако намерите URL адреса на вашето въображение там, значи роботът е изпълнил задачата си.
- Можете да въведете URL адреса на вашия уебсайт в лентата за търсене. Ще можете да видите колко интернет листа са показани, т.е. индексирани.
- Регистрирайте се на страниците на уеб администратори в Mail.ru, Google, Yandex. След като преминете проверката на сайта, ще можете да видите резултатите от индексирането и други услуги на търсачките, създадени за подобряване на производителността на вашия ресурс.
Защо Yandex се проваля?
Индексирането на сайт в Google се извършва по следния начин: роботът въвежда в базата данни всички страници на сайта, нискокачествени и висококачествени, без да избира. Но в класацията са включени само полезни документи. И "Яндекс" незабавно изключва всички уеб боклуци. Може да индексира всяка страница, но търсачката в крайна сметка ще премахне целия боклук.
И двете системи имат инкрементален индекс. И двете страници с ниско качество оказват влияние върху класирането на уеб сайта като цяло. Тук работи една проста философия. Любими ресурси на конкретенпотребителят ще заема по-високи позиции в издаването му. Но същият този човек трудно ще намери сайт, който не е харесал последния път.
Ето защо, първо, е необходимо да покриете копия на уеб документи от индексиране, да проверите за празни страници и да предотвратите индексиране на нискокачествено съдържание.
Ускорете Yandex
Как мога да ускоря индексирането на сайта в Yandex? Следвайте тези стъпки:
- Инсталирайте браузъра Yandex на вашия компютър и го използвайте, за да разглеждате страниците на сайта.
- Потвърдете правата за управление на ресурса в Yandex. Webmaster.
- Публикувайте връзка към статията в Twitter. Известно е, че Yandex си сътрудничи с тази компания от 2012 г.
- Добавете търсене от Yandex за сайта. В секцията „Индексиране“можете да въведете свои собствени URL адреси.
- Въведете кода на "Yandex. Metrica", без да маркирате "Изпращането на страници за индексиране е забранено".
- Създайте Sitemap, която съществува само за робота и не се вижда от публиката. Проверката ще започне с него. Адресът на Sitemap се въвежда в robots.txt или в подходяща форма в "Уеб администратор" - "Настройки за индексиране" - "Файлове на Sitemap".
Междинни действия
Какво трябва да се направи, докато уеб страницата бъде индексирана от Yandex? Домашната търсачка трябва да разглежда сайта като основен източник. Ето защо още преди публикуването на статията е наложително нейното съдържание да се добави към формата на „Конкретни текстове“. В противен случайплагиаторите ще копират записа в своя ресурс и ще бъдат първи в базата данни. В резултат те ще бъдат признати за автори.
Google Database
За Google са подходящи същите препоръки, които описахме по-горе, само услугите ще бъдат различни:
- Google+ (заменя Twitter);
- Google Chrome;
- Google Инструменти за програмисти - "Сканиране" - "Изглежда като Googlebot" - опция "Сканиране" - опция "Индекс";
- търсете в ресурс от Google;
- Google Analytics (вместо Yandex. Metrics).
Забрана
Какво е забрана за индексиране на сайт? Можете да го наслагвате както върху цялата страница, така и върху отделна част от нея (връзка или част от текст). Всъщност има както глобална забрана за индексиране, така и локална. Как се прилага?
Нека разгледаме забраната за добавяне на уеб сайт към базата данни на търсачката в Robots.txt. Използвайки файла robots.txt, можете да изключите индексирането на една страница или цялото заглавие на ресурс като това:
- Потребителски агент:
- Disallow: /kolobok.html
- Disallow: /foto/
Първата точка казва, че инструкциите са дефинирани за всички PS, втората показва, че индексирането на файла kolobok.html е забранено, а третата не позволява добавяне на цялото пълнене на папката foto към база данни. Ако трябва да изключите няколко страници или папки, моля, посочете ги всички в Robots.
За да предотвратите индексирането на конкретен интернет лист, можете да използвате мета тага robots. Той е различен от robots.txtфакта, че дава инструкции на всички PS наведнъж. Този мета таг следва общите принципи на html формата. Трябва да се постави в заглавието на страницата между таговете. Запис за забрана, например, може да бъде написан така:.
Ajax
Как Yandex индексира Ajax сайтове? Днес технологията Ajax се използва от много разработчици на уеб сайтове. Разбира се, тя има голям потенциал. С него можете да създавате бързи и продуктивни интерактивни уеб страници.
Въпреки това, роботът на търсачката "вижда" уеб списъка по различен начин от потребителя и браузъра. Например, човек разглежда удобен интерфейс с подвижно заредени интернет листове. За робот съдържанието на същата страница може да бъде празно или представено като останалата част от статично HTML съдържание, за което скриптовете не работят.
Можете да използвате URL сза създаване на Ajax сайтове, но търсачката не го използва. Обикновено частта от URL адреса следсе отделя. Това трябва да се вземе предвид. Следователно, вместо URL като https://site.ru/example, той прави приложение към главната страница на ресурса, разположен на https://site.ru. Това означава, че съдържанието на интернет листа може да не попадне в базата данни. В резултат на това няма да се появи в резултатите от търсенето.
За да подобри индексирането на Ajax сайтове, Yandex поддържа промени в робота за търсене и правилата за обработка на URL адресите на такива уеб сайтове. Днес уеб администраторите могат да посочат на търсачката Yandex необходимостта от индексиране, като създадат подходяща схема в структурата на ресурсите. За това ви трябва:
- Заменете символав URL адреса на страницитена !. Сега роботът ще разбере, че може да кандидатства за HTML версията на съдържанието на този интернет лист.
- HTML версия на съдържанието на такава страница трябва да се постави на URL, където ! заменен с ?_escaped_fragment_=.
