[MQ,CEP] 0. 개요 및 구조 정의
MQ라는 것에 맨 처음 관심을 갖게된 계기는..
지금의 분류로는 빅데이터로 볼 수 있는 증권데이터였다
목표는 실시간 분석이었는데 그 때도 SQL로 처리하는 것은 포기했었다.
어차피 시간순서대로 사용되는 데이터니 파일로 저장하고 순차적으로 쓰려고 했었는데 실시간 분석이 안되는게 또 문제라서 중간 버퍼에 메서드를 필터로 깔아놓고 돌리는 방법을 썼었다.
당시 뭐 설계 구조도 좀 안좋았고 해서 속도도 안나오고 해서 포기했었는데(지금 보니 코드도 안좋다)
요즘 빅데이터나 실시간 분석 솔루션이 많이 나오면서 다시 관심을 갖게 됐다.
당시 원했던 구조는
- 세개가 연결된 구조 : 진입 ==> 필터(스크립트언어, java osgi) ==> 탈출 ==»==»==»==»==»==» in[] ==> brane[] ==>out[]
- control api : 1번을 조작하는 api
추가로 생각한 부분은
in -> grabber, receiver
out -> shotter, deliverer
filter->aggregator, wiper
요즘 나와있는 툴
- fluentd는 보니 번은은 구현 돼 있다
http://www.fluentd.org/
2. kafka
http://kafka.apache.org/
3. logstash
https://www.elastic.co/products/logstash
4. flume
https://flume.apache.org/
5. rabbitmq
https://www.rabbitmq.com/