Якщо сайт зник, а Wayback Machine не містить потрібних сторінок або показує лише окремі елементи, додатковим джерелом можуть стати дані Common Crawl. Це відкритий вебархів, який регулярно сканує значну кількість сайтів і зберігає результати обходу у форматі WARC. Однак Common Crawl не є повною резервною копією: частина сторінок могла не потрапити до індексу, зображення можуть бути відсутні, а збережені файли не завжди відтворюють роботу сайту.
Перед будь-якими діями з доменом, хостингом або базою даних варто зробити резервну копію наявних файлів і даних. Якщо сайт ще частково працює, не замінюйте його вміст знайденими архівними матеріалами без окремої копії. Некоректне відновлення може призвести до втрати актуальних сторінок, налаштувань або даних користувачів.
Пошук у Common Crawl доцільно розглядати як частину комплексного процесу. Додаткові відомості можуть дати DNS-історія, старі резервні копії, пошукова видача, локальні копії файлів, дані хостингу та інші вебархіви. Про особливості такого підходу можна прочитати у матеріалі про відновлення сайту через інтернет-архіви.
Які дані може зберігати Common Crawl
Common Crawl зберігає результати сканування вебсторінок у різних щомісячних або тематичних колекціях. Залежно від того, як саме сайт був доступний під час обходу, в архіві можуть залишитися:
- HTML-код сторінок;
- адреси сторінок, які робот зміг знайти;
- HTTP-заголовки та статуси відповідей;
- CSS-файли, JavaScript, зображення, шрифти та інші ресурси, якщо вони були окремо завантажені;
- редиректи, посилання на внутрішні сторінки та частина технічних метаданих;
- копії відповідей сервера у WARC-файлах.
Архів може допомогти відновити структуру сайту, назви сторінок, старі тексти, метаопис, заголовки та частину медіаматеріалів. Водночас він зазвичай не містить повноцінної бази даних WordPress, облікових записів, замовлень, коментарів, налаштувань плагінів або вмісту закритої адміністративної панелі.
Важливо враховувати обмеження сканування. Робот міг не пройти сторінки, на які не було посилань, не обробити JavaScript-меню, не отримати доступ до ресурсів із забороною в robots.txt або не завантажити великі файли. Якщо сторінка була доступна лише після авторизації, через форму пошуку чи після виконання серверної логіки, у Common Crawl її, найімовірніше, не буде.
Як знайти старі URL домену в індексі
Починати потрібно не з ручного завантаження великих архівів, а з пошуку записів у індексі Common Crawl. Для цього використовують індекс колекції та запит за доменом. У результатах можуть бути адреси сторінок, час сканування, статус HTTP, тип вмісту, розмір відповіді та посилання на запис у WARC.
Шукати бажано не лише точний домен, а й кілька варіантів його написання:
http://example.com/*;https://example.com/*;www.example.com/*;- піддомени, наприклад
shop.example.comабоblog.example.com; - URL із різними варіантами слешів, розширень файлів і параметрів запиту.
Окремо варто перевірити старі карти сайту, якщо їхні адреси відомі: /sitemap.xml, /sitemap_index.xml, /robots.txt. У них можуть бути URL, які не відображені в сучасній структурі або вже видалені з навігації. Корисно також переглянути старі посилання у пошуковій видачі, каталогах, соціальних мережах і листах, а потім зіставити їх із результатами індексу.
Не всі знайдені записи є придатними копіями. Частина з них може мати статус 404, 403 або 500, містити службову сторінку хостингу чи дублювати одну й ту саму відповідь із різними параметрами. Тому список URL потрібно очистити від дублікатів і розділити за типом: сторінки, зображення, таблиці стилів, скрипти, документи та технічні файли.
Якщо сайт великий, не слід безконтрольно запускати масове завантаження. Спочатку сформуйте перелік пріоритетних сторінок: головна, категорії, картки товарів або послуг, важливі статті, контакти та сторінки, що мають цінність для пошукового трафіку.
Що можна витягти з WARC-файлів
WARC — це формат зберігання вебвідповідей і метаданих сканування. У ньому може бути записана не просто адреса сторінки, а фактичний вміст відповіді сервера. Якщо запис містить HTML, із нього можна витягти текст, заголовки, посилання, метатеги та структуру документа.
Під час роботи з WARC зазвичай аналізують:
- URL і дату збереження;
- HTTP-статус та заголовок
Content-Type; - HTML-код документа;
- внутрішні посилання;
- шляхи до зображень, CSS і JavaScript;
- розмір та ознаки пошкодження запису.
Знайдений HTML можна використати як основу для нової сторінки, але не варто просто копіювати його на робочий сайт без перевірки. Старий код може містити абсолютні посилання на попередній домен, небезпечні скрипти, застарілі бібліотеки, вставки рекламних мереж або фрагменти, пов’язані з уже неіснуючим сервером.
Медіафайли та інші ресурси потрібно перевіряти окремо. Навіть якщо HTML посилається на зображення, сам файл міг не бути збережений. Часто зустрічаються биті посилання, неповні завантаження або зображення, доступні лише в одному з варіантів URL. Завантажені файли перед використанням слід перевірити антивірусом і переконатися, що їхній формат відповідає розширенню.
Якщо потрібно обробити багато записів, краще використовувати інструменти для роботи з WARC і скрипти, які вміють фільтрувати HTML, визначати кодування та витягувати посилання. Перед масовою обробкою зробіть тест на копії даних. Неправильне кодування або автоматична заміна URL може зіпсувати текст і структуру сторінок.
Як поєднати знахідки з інших джерел
Common Crawl рідко дає достатньо даних для повного відновлення. Його результати потрібно зіставити з іншими джерелами, щоб відрізнити підтверджений вміст від припущень.
- Резервні копії хостингу. Вони можуть містити файли WordPress і дамп бази даних. Перед відновленням копію слід перевірити на цілісність і шкідливий код.
- Локальні файли. У розробника або власника бізнесу можуть залишитися тексти, зображення, експорти товарів, документи та макети.
- Пошукові системи. Сніпети, кешовані фрагменти та проіндексовані URL допомагають підтвердити назви сторінок і частину текстів, але не є повною копією сайту.
- DNS та історія домену. Старі записи можуть підказати попередній хостинг, піддомени або адресу поштового сервера.
- Інші вебархіви. Вони іноді містять сторінки або зображення, яких немає у Common Crawl.
Зручно вести таблицю відновлення з колонками: URL, джерело, дата копії, HTTP-статус, тип даних, якість матеріалу та рішення щодо використання. Це допомагає не створювати дублікати й бачити, які сторінки підтверджені кількома джерелами.
Після збору матеріалів потрібно визначити, чи відновлюється старий сайт на тій самій CMS, чи створюється нова структура. Для WordPress важливо не імпортувати невідомі плагіни та теми разом із контентом. Безпечніше встановити чисту актуальну версію системи, перенести перевірені матеріали й окремо налаштувати редиректи, права доступу, кешування та захист.
Які частини сайту доведеться створити заново
Навіть великий набір архівних матеріалів зазвичай не відновлює сайт у первісному вигляді. Найчастіше заново створюють або налаштовують:
- базу даних і зв’язки між записами;
- адміністративну частину та облікові записи;
- форми зворотного зв’язку, пошук, кошик і інтеграції з оплатою;
- шаблон, меню, віджети та адаптивну верстку;
- функції плагінів і серверну логіку;
- зображення, які не потрапили до архіву;
- SSL, DNS, пошту домену, cron-завдання та налаштування хостингу;
- перенаправлення зі старих адрес і технічні файли для пошукової індексації.
Особливо обережно потрібно працювати з даними користувачів, замовленнями та персональною інформацією. Вебархів не повинен використовуватися як джерело для відновлення конфіденційних даних, а старі форми та скрипти можуть містити вразливості.
Допомога спеціаліста потрібна, якщо немає доступу до хостингу, невідомі облікові дані, сайт містить ознаки зараження, пошкоджена база даних, потрібно зберегти SEO-структуру або планується масове відновлення сотень сторінок. Спочатку фахівець має провести діагностику, зафіксувати поточний стан і створити копію. Лише після цього можна визначати реальний обсяг робіт, можливість використання матеріалів Common Crawl і безпечний план запуску відновленого сайту.