Базовые архитектуры

Кроме подхода с собственным кодированием, имеется, по крайней мере, три разных технологии программных систем, являющихся потенциально применимыми к решению проблем потоковой обработки объемных данных с приемлемыми задержками. Это технологии СУБД, процессоров правил и процессоров потоковой обработки.

Системы управления базами данных (СУБД) широко используются по причине их возможности надежно хранить большие наборы данных и эффективно обрабатывать поступающие от людей запросы. СУБД, управляющие базами данных в основной памяти, могут обеспечить более высокую производительность, чем традиционные СУБД, за счет устранения обращений к дискам для большинства операций при наличии достаточного объема основной памяти.

На проиллюстрирована базовая архитектура СУБД. Потоковые данные поступают в СУБД напрямую или через загружающее их приложение. Данными, поддерживаемыми СУБД, может манипулировать набор приложений. Клиент может использовать эти заранее построенные приложений, часто с параметрами, задаваемыми во время выполнения, а также может написать новые приложения на языках общего назначения, таких как C++ или Java, используя встраиваемые SQL-вызовы СУБД.

Процессоры правил появились в начале 1970-х, когда в сообществе искусственного интеллекта были предложены системы PLANNER и Conniver. Позже более распространенным процессором был Prolog (1980-е), и имеется несколько более свежих примеров (например, OPS5 []). Процессор правил обычно принимает пары "условие/действие", выражаемые, как правило, в нотации "if-then", наблюдает за входным потоком на предмет выполнения условий и затем выполняет соответствующие действия. Другими словами, процессор правил приводит в исполнение набор правил, хранимых в базе правил.

На проиллюстрирована модель процессора правил для потоковой обработки. База правил обеспечивает долговременное хранение правил. Как только потоковые данные поступают в систему, они немедленно сопоставляются с существующими правилами. При обнаружении их соответствия условию правило, как говорится, "загорается".

Содержание Назад Вперед