Не успел порадоваться тому, что Google вопреки заявлениям о неиспользовании OAI-PMH таки его использует, как пришлось огорчаться тому, как OAI-PMH работает в связке с Yandex.
Ну да обо всём по порядку. Google в рамках проекта Академия Google не использует OAI. Т.е. сервис обходится стандартным поисковым роботом и анализируется просто как массив данных, но OAI провайдер тоже обходится роботом, о чем свидетельствуют некотоыре специфические ошибки, например, извлечение «битых» ссылок с точкой в конце из библиографических записей с OAI страниц.
С яндексом же ситуация хуже. На картинке список 404-ых:
Пока таких ошибок «всего» четыре десятка и оно растет, а заглавий в архиве более десяти тысяч…. возможно поспешно, но тем не менее было принято решение сделать в robots.txt так:
Disallow: /oai
Посмотрим что получится…