DSpace, OAI и YandexBot — пичалька.

Не успел порадоваться тому, что Google вопреки заявлениям о неиспользовании OAI-PMH таки его использует, как пришлось огорчаться тому, как OAI-PMH работает в связке с Yandex.

Ну да обо всём по порядку. Google в рамках проекта Академия Google не использует OAI. Т.е. сервис обходится стандартным поисковым роботом и анализируется просто как массив данных, но OAI провайдер тоже обходится роботом, о чем свидетельствуют некотоыре специфические ошибки, например, извлечение «битых» ссылок с точкой в конце из библиографических записей с OAI страниц.

 

С яндексом же ситуация хуже. На картинке список 404-ых:

 

404

Пока таких ошибок «всего» четыре десятка и оно растет, а заглавий в архиве более десяти тысяч…. возможно поспешно, но тем не менее было принято решение сделать в robots.txt так:

 

User-agent: Yandex
Disallow: /oai

Посмотрим что получится…

Запись опубликована в рубрике Библиотека с метками , . Добавьте в закладки постоянную ссылку.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *