Якщо сторінки немає в пошуковому індексі її неможливо знайти у пошуковій системі. Індексація потрібна, щоб брати участь у пошуку. Кожна пошукова система має свій пошуковий індекс, свої пошукові боти.
Індексація – встановлений державою механізм збільшення грошових доходів та заощаджень громадян у зв'язку із зростанням споживчих цін. Ціль індексації – Підтримка купівельної спроможності грошових доходів та заощаджень громадян.
Як закрити сайт від індексації та навіщо це робити Пошукові роботи не будуть індексувати сторінки, які ви закрили для доступу. Ці сторінки не потраплять у пошукову видачу, про них не дізнаються пошукові системи. Наприклад, сайт приховують від пошукових систем, коли сторінки сайту повністю чи майже повністю змінюються.
Індексування — це процес перегляду файлів, електронних повідомлень та іншого вмісту на комп'ютері та класифікації інформації про них, наприклад слів і метаданих, що містяться в них. При виконанні пошуку на комп'ютері після індексування система аналізує індекс термінів, щоб швидше знайти результати.