Классика баз данных - статьи
Правило 1: Сохраняйте данные движущимися
Чтобы достичь низкого уровня задержек, система должна быть в состоянии выполнять обработку сообщений, не прибегая к дорогостоящим операциям с внешней памятью. Операции с памятью существенно увеличивают задержки процесса (например, для фиксации записи в базе данных требуется запись на диск записи журнала). Для многих приложений обработки потоков выполнение такой времяемкой операции до обработки сообщения является неприемлемым и ненужным. Вместо этого, сообщения должны обрабатываться "в потоке", по мере их движения. На рис. 1 приведена архитектурная иллюстрация этой парадигмы сквозной обработки (traight-through processing).
Рис. 1. "Сквозная обработка сообщений с использованием необязательного хранения
Существует дополнительная проблема задержек в пассивных системах, которые до начала обработки ждут, пока приложение скажет им, что нужно делать. Для пассивных систем требуется, чтобы приложения непрерывно опрашивали интересующие их условия. К сожалению, опрос приводит к дополнительным накладным расходам как системы, так и приложения, и к дополнительным задержкам, поскольку к задержке обработки добавляется (в среднем) половина интервала опроса. В активных системах этих накладных расходов удается за счет встраивания средств обработки, управляемых событиями/данными.
Первое требование к системе потоковой обработки в реальном времени состоит в том, что сообщения должны обрабатываться "в потоке", без потребности их сохранения до выполнения какой-либо операции или группы операций. В идеале в системе должна также использоваться активная (т.е. не требующая опросов) модель обработки.
