Surge como una evolución de Hadoop dada la necesidad de ofrecer otro tipo de frameworks aparte de MapReduce.

Dado que MapReduce inherentemente es un proceso lento que requiere una fase de map, una fase de distribución de resultados intermendios por red y una fase de reduce se hacía necesario tener datos fuera de HDFS para operativas para las que MapReduce no es eficiente.

Este hecho al final redunda en costes para las empresas lo que como causa secundaria se traduce en una más lenta adopción de cambio digital y uso intenso de tecnología Big Data por parte de múltiples empresas.