Resumen
Este proyecto propone una investigación orientada a construir productos de software para el procesamiento masivo de eventos en tiempo real de manera eficiente y escalable. Aplicaciones para esta tecnología incluye dominios tan diversos como sistemas para la administración de crisis y finanzas. En diversos casos, estas aplicaciones requieren una paralelización eficiente y una distribución de múltiples tareas para conseguir tiempos de respuesta del orden de segundos por evento. Esto como resultado del incremento de la disponibilidad de fuentes de eventos masivos como canales de mensajes o sensores distribuidos geográficamente. La implementación de estos sistemas complejos es muy demandada en el desarrollo de software. En consecuencia, este proyecto aprovecha la ventaja de la oportunidad única para investigar colaboración y visibilidad internacional de un producto de código abierto (open source) llamado S4 (por su acrónimo en inglés Simple Scalable Streaming System), el cual facilita el desarrollo de este tipo de aplicaciones. Nuestro proyecto propone extender S4 para entregar un mejor rendimiento y mejorarlo añadiendo herramientas de software que representen una evidente ventaja por sobre productos competitivos. S4 es actualmente un proyecto de incubación en la fundación Apache Software Foundation, lo cual brinda valor a la tecnología en la industria open-source sobre la licencia Apache. Este es un mercado de billones de dólares que ha estado creciendo continuamente en los últimos años. Compañías logran ganancias a través de la consultoría, entrenamiento, desarrollo de aplicaciones y servicios con versiones premium de productos open-source y/o licencias de este tipo de herramientas de software.
Abstract
This project proposes research aimed at building software products for efficient and scalable processing of large event streams in real time. Feasible applications of this technology include domains as diverse as systems for crisis management and finance. In many cases, these applications require efficient parallelization and distribution of multiple tasks to achieve response times of the order of a fraction of a second per event. This as a result of the ever increasing availability of massive event sources such as message channels or geographically distributed sensors. The implementation of these complex systems is very demanding in terms of software development. Consequently, this project takes advantage of an unique opportunity for research collaboration and international visibility from a product called open-source S4 (Simple Scalable Streaming System), which facilitates development of such applications. Our project proposes to extend S4 to deliver better performance and enhance it with additional software tools that represent a clear advantage over other competing products. S4 is currently an incubation project at the Apache Software Foundation, a fact that directs monetization of technology to the open-source industry under Apache licensing. This is a market of billions of dollars that has been growing steadily in the last years. Companies monetize through consulting, training, application development, and services with premium versions of open-source products and/or licensing of related software tools.
