Баженов С.Р., Федотов В.Б., Баженов И.С.
ГПНТБ СО РАН, Новосибирск

Результаты разработки распределённой веб-ориентированной системы управления библиографическими базами данных

Многолетняя эксплуатация веб-ориентированной информационно-поисковой системы для доступа к базам данных CDS/ISIS показала ее эффективность [1–3]. По мере надобности система успешно модифицировалась.

Однако в связи с внедрением в технологию системы WinIRBIS произошли изменения в структурах поддерживаемых ISIS-совместимых баз данных. Кроме того, возникла потребность в обеспечении доступа к удалённым библиографическим базам данных корпоративной библиотечной системы по протоколу Z39.50 [4–6]. При детальном рассмотрении расширение функциональности оказалось затруднительным. Можно сказать, что постоянная модификация и доделка системы отрицательно сказались на её структуре, удобстве работы администратора поисковой системы и интерфейсе пользователя и постепенно привели систему к состоянию, когда дальнейшее расширение функциональности стало мало возможным.

В этой ситуации не только система нуждалась в кардинальном совершенствовании, но и сама концепция организации доступа требовала пересмотра. Поэтому поставлена и успешно решена задача проектирования и реализации концептуально новой версии поисковой системы, включающей в себя как все наработки с момента запуска предыдущей системы в эксплуатацию, так и многочисленные изменения и дополнения (рис. 1).

Рис. 1. Архитектура многоагентной системы доступа к распределенным информационным ресурсам.

В описываемой поисковой системе многоагентная система реализована следующим образом:

через веб-интерфейс вызывается небольшой исполняемый модуль (Клиент), который принимает запрос с веб-страницы и передаёт его в очередь запросов, после чего ждет ответа от агентов через «сокет» (socket);

автономные агенты на удаленных серверах (преимущественно там, где находятся базы данных) получают запрос из очереди (их может быть несколько, на разных серверах), выполняют его и посылают результат соответствующему агенту Клиент, который в свою очередь возвращает результат на веб-страницу.

Все агенты в системе имеют общий программный костяк, базирующийся на передаче/приёме сообщений посредством коммуникации через транспортную среду. Транспортной средой служит сеть Интернет. Каждый агент занимает на компьютере один порт, через который он принимает и отсылает данные. Разработанная транспортная библиотека использует протокол передачи датаграмм и обеспечивает надёжную доставку сообщений. Для каждого агента создаётся отдельный программный поток приёма сообщений, обеспечивающий прослушивание порта вне зависимости от занятости агента. Принимаемые агентом сообщения буферизуются в очередь для последовательной обработки. Общие элементы программной архитектуры агентов представлены на рис. 2.

Рис. 2. Общие элементы программной архитектуры агентов распределённой информационной системы.

Основные преимущества разработанной информационной системы:

• информационная распределенность – нет необходимости собирать все БД на одном сервере, достаточно установить на удаленном сервере агента, соответствующего формату баз данных. Эта функция очень полезна для групп организаций, которые не могут установить свою поисковую систему, но могут предоставить сетевой доступ;
• распределение вычислительной нагрузки между серверами – обработка запросов к базам данных может быть распределена между серверами, что позволяет решать проблему высокой нагрузки на сервер БД не за счёт приобретения нового высокопроизводительного оборудования, а за счёт использования двух и более серверов меньшей производительности. Использование более одного сервера для обработки запросов позволяет не только экономить средства на приобретении нового оборудования, но и достичь более высокой скорости работы системы;
• повышенная отказоустойчивость – можно запустить несколько одинаковых агентов (как на одном, так и на разных серверах) – если один из агентов перестает выполнять запросы, другой обрабатывает запросы вместо него;
• обеспечение одновременного поиска изданий во множестве библиографических БД, как основанных на системе ISIS, так и в любых других предоставляемых по протоколу Z39.50;
• высокая скорость работы информационно-поисковой системы во множестве различных информационных источников.

Полученная информационная система легко расширяема:

• для добавления в систему удалённой БД ISIS достаточно, чтобы она находилась в поле видимости хотя бы одного агента «Обработчик»; зарегистрировать эту БД в общем каталоге; если нужно добавить удалённую БД по протоколу Z39.50, то нужно просто зарегистрировать её в каталоге;
• для создания новой поисковой функции, например доступа к реляционным БД, следует добавить к агенту «Обработчик» плагины новых типов и зарегистрировать в системе ещё один тип обрабатываемых запросов;
• система сама естественным образом может распределять нагрузку обработки запросов к БД между разными рабочими станциями. Агенты, выполняющие запросы общих типов, конкурируют друг с другом за право выполнения запроса.

Архитектура информационной системы обладает высокой гибкостью:

• при условии сохранения коммуникационного стандарта между агентами любой отдельный узел (агент) можно заменить, не переделывая при этом всю программу и не меняя архитектуру в целом;
• добавление в систему новых БД не требует модификации программного кода или даже остановки работы системы и производится «на лету»;
• разработанная система является полностью распределённой – любая часть (агент) системы может быть установлена на удалённом компьютере с коммуникацией, основанной на одном из базовых протоколов, Интернета – протоколе UDP.

В результате усовершенствования программной архитектуры агентов разработана унифицированная модульная программная архитектура агента, воплощённая в программную реализацию комплекса WSDS (Web Search Distributed System). При выборе программных модулей ядра комплекса WSDS в качестве основы разработки многоагентных распределённых систем время программной реализации может быть существенно сокращено, что даст разработчику агентов возможность не беспокоиться об общих для агентов функциях и концентрировать внимание только на реализации основной функциональности распределённой системы.

Программный комплекс WSDS позиционируется как программное обеспечение промежуточного слоя, выступающее связующим звеном между интерфейсами доступа (в первую очередь веб-интерфейсами) и конкретными системами управления данными. WSDS может быть использован для организации широкого круга библиотечных распределённых информационных систем, организации веб-шлюзов сводных библиографических каталогов, обеспечения интерфейсов доступа к полнотекстовым и другим распределённым информационным ресурсам. В сочетании с веб-интерфейсом реализованный программный комплекс является удобным и эффективным средством доступа к информационным ресурсам региональной библиотечной системы.

Список источников

1. Баженов С.Р., Мазов Н.А., Малицкий Н.А., Баженов И.С. Создание программного комплекса доступа из Интернет к базам данных на основе WWW-ISIS // Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества: Материалы 5-й юбилейной Междунар. конф. «Крым–98». – М., 1998. – Т. 2. – C. 581–584.

2. Мазов Н.А., Малицкий Н.А., Баженов С.Р., Баженов И.С., Жижимов О.Л. WEB-ориентированная информационно-поисковая система для доступа к базам данных CDS/ISIS // Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества: Материалы 6-й Междунар. конф. «Крым–99». – Судак, 1999. – Т. 1. – C. 113–115.

3. Баженов С.Р., Мазов Н.А., Малицкий Н.А., Баженов И.С. Создание программного комплекса доступа из Интернет к базам данных на основе WWW-ISIS// Науч. и техн. б-ки. – 1999. – № 2. – С. 47–52.

4. Жижимов О.Л. Введение в Z39.50. – Новосибирск: Изд-во НГОНБ, 2000. – 196 с.

5. Мазов Н.А., Жижимов О.Л. CDS/ISIS и Z39.50: проблемы интеграции и решения // IV рабочее совещание по электронным публикациям – EL-PUB-99, Новосибирск, Академгородок, ИВТ СО РАН, 21–23 апр. 1999 г.: Тез. докл., Новосибирск. – 1999 (http://www.ict.nsc.ru/ws/elpub99/40/).

6. Баженов С.Р. Формирование корпоративной распределенной информационно-библиотечной системы г. Новосибирска // Научные библиотеки в новом тысячелетии: проблемы взаимоиспользования ресурсов. – Новосибирск, Изд-во ГПНТБ СО РАН. – 2002. – С. 109–114.