Screaming Frog SEO Spider — потужний інструмент для аналізу сайтів, що надає великий функціонал для SEO-оптимізаторів. Дозволить детально проаналізувати і просканувати URL адресу, після чого відображає велику кількість корисної інформації для технічного аудиту.
Можливості Screaming Frog SEO Spider
Потужний сканер веб - сайтів, блогів тощо;
Відображення даних за мета тегами;
Вбудований аналізатор сценаріїв CSS;
Розширюваність шляхом встановлення плагінів;
Тонка настройка парсингу для вебмайстрів;
Робота з бібліотеками JavaScript Underscore;
Зручна візуалізація аналізованого контенту;
Підтримує експорт даних у формати CSV, TXT, HTML, Word;
Вивантаження вмісту потрібних тегів за регулярним виразом;
Інтегровано засіб аудиту вхідного та вихідного трафіку;
Генерація звітів про показники ранжування та індексації сайту;
Дозволяє враховувати cookies (аналогічно пошуковому роботу GoogleBot);
Можна дізнатися тип, кодування і рівень вкладеності певної веб-сторінки;
Допомога у виконанні перелінковки для збільшення позицій по просуваються запитам.
переваги
Підтримка проксі;
Пошук дублюючих тайтлів;
Виставлення ліміту таймаутів;
Невисоке споживання RAM і CPU;
Захист аккаунта логіном і паролем;
Візуалізація посилального тексту;
Повна відповідність стандартам мови розмітки;
Утиліта більш функціональна на тлі багатьох конкурентів;
Виведення рекомендацій з директивами у спливаючому вікні;
Сумісність з операційними системами Віндовс, розрядністю x86, x64;
Можна налаштувати стовпці з відображеними відомостями за допомогою фільтрів і опції сортування;
Додаткові чекбокси з типами валідації мікророзмітки (Schema.org, Google Validation, Case-Sensitive);
Виявляє причину виникнення і допомагає виключити критичні помилки (Error 404, «немає відповіді від сервера» та ін).
недоліки
Низька швидкість парсингу без покупки додаткових проксі;
Англомовна локалізація інтерфейсу користувача;
Безкоштовна версія може сканувати не більше п'яти сотень посилань за замовчуванням (далі потрібен кейген або реєстрація).
Скрімінг Фрог працює за принципом так званого «павука», виконує перевірку веб-ресурсу і збір інформації про його вміст. Після цього, оптимізатор зможе аналізувати отримані дані, проводити швидкий аудит сайту, перевіряти сторінки на предмет критичних помилок і так далі.
Розглянемо перелік основних опцій, вбудованих в софт.
Шукає зламані сторінки та переспрямування;
Працює через командний рядок;
Можливість витягувати дані за допомогою XPath;
Підтримує Proxy;
Вміє парсити всі субдомени і внутрішні посилання за розкладом;
Вивантаження всіх картинок, видалення непотрібних папок;
Можна відфільтрувати кожен стовпець і колонку в таблиці;
Показує відсутні ключові слова, необхідні для оптимізації;
Відображення анкорів, а також документів, на яких присутні урли до цих сторінок;
Дозволяє знайти конкретні сторінки з дублюючими заголовками і метатегами Description;
Може знаходити зображення з відсутніми та довгими атрибутами alt та title тегу img;
Виводить відомості по meta тегам, які керують пошуковими ботами (краулерами);
Можливість вказувати розміри заголовків у символах та пікселях;
Генерує карту сайту в файл sitemap xml з безліччю додаткових налаштувань;
Аналізує швидкість і час завантаження web-сторінок;
Перевірка масового перенаправлення, сканер URL-адрес для переадресації;
Налаштування максимального розміру сторінки для обходу (у кілобайтах);
Наявність вкладки In Links, в ній можна подивитися список сторінок, які посилаються на вказаний URL;
Робота з конфігураціями Robots.txt (підсумковий варіант буде вважатися канонічним для парсера).
Представлені вище функції, є лише невеликою частиною інтегрованого інструментарію. Примітно, що програмне забезпечення SF API Access підтримує інтеграцію з різними статистичними сервісами, включаючи Google Analytics або Majestic, завдяки чому ви зможете побачити і переглянути ще більше всіляких даних і параметрів.