Processamento de fluxo

O processamento de fluxo é um modelo para processar um fluxo contínuo de dados. Ele difere dos modelos de programação tradicionais, onde um conjunto de dados é carregado de um disco para a memória e, em seguida, processado de maneiras arbitrárias. No processamento de fluxo, um pequeno número de operações predefinidas são realizadas progressivamente em paralelo à medida que os dados se tornam disponíveis no fluxo.

O processamento de stream é adequado para DSP (processamento de sinal digital), visão computacional, vídeo digital e processamento de imagem e análise de big data. Ele permite que uma empresa processe, analise e tire conclusões dos dados conforme eles são coletados em tempo real.

Linguagens e plataformas

As seguintes linguagens de programação, plataformas e serviços são projetados para processamento de stream:

• Amazon Kinesis – Uma plataforma de processamento de fluxo fornecida pela Amazon Web Services.

• Azure Stream Analytics – processamento de stream e análises em tempo real na plataforma Microsoft Azure.

• BrookGPU – Uma linguagem de processamento de fluxo influente, desenvolvida e hospedada na Universidade de Stanford.

• CUDA – Compute Unified Device Architecture, uma plataforma de computação paralela proprietária e API desenvolvida pela NVidia.

• Flink – Um mecanismo de processamento de fluxo com foco no processamento de eventos e gerenciamento de estado, desenvolvido pela Apache.

• Google Cloud Dataflow – um serviço de processamento de stream totalmente gerenciado, disponível como parte do Google Cloud Platform.

• Kafka – Uma plataforma de software de processamento de stream de código aberto desenvolvida pelo LinkedIn e posteriormente doada à Apache Software Foundation.

• RaftLib – Uma biblioteca de processamento de stream de código aberto para C ++, desenvolvida no Supercomputing Lab da Washington University em St. Louis.

• StreamIt – Linguagem de programação para autoria de sistemas de processamento de fluxo, criada no MIT.