test
Search publications, data, projects and authors

Thesis

Spanish

ID: <

http://hdl.handle.net/10251/128933

>

Where these data come from
Integration of ad-hoc clusters in Jupyter and Kubernetes

Abstract

[ES] El uso de blocs de notas en Jupyter se han popularizado recientemente ya que permiten compartir código y visualizaciones de una forma dinámica y sencilla. Sin embargo, la capacidad de proceso de los blocs de notas es limitada, ya que generalmente su ejecución se realiza localmente en el ordenador del usuario. Si bien existen soluciones para poder ejecutar blocs de notas de Jupyter en un entorno clusterizado, el uso de clústeres para la ejecución de los trabajos en Jupyter es reducida y no permite fácilmente integrar clústeres sin un sistema de ficheros compartido. Tampoco es evidente como gestionar el escalado horizontal considerando la carga de los trabajos. El presente trabajo final de master, tiene como objetivo desplegar de forma automatizada un clúster Jupyter, sobre un orquestador de contenedores como Kubernetes, haciendo uso del administrador de recursos CLUES y utilizando el paquete ipyparallel (IPython Parallel) para la gestión del clúster Python. Para ello se utiliza IPython, este software, es un proyecto de software libre que provee un conjunto de herramientas que facilitan la computación interactiva, la visualización y el análisis de datos. Jupyter es un proyecto derivado de IPython con el objetivo de ser agnóstico al lenguaje de programación utilizado. Como resultado se han desarrollado una serie de recetas Ansible optimizadas para hacer uso de golden images. Es decir, imágenes pre-configuradas que contienen todo el software necesario para el despliegue. De esta forma, se logró reducir el tiempo de despliegue a una tercera parte del tiempo inicial. Álvez Amarillo, D. (2019). Integración de clusters ad-hoc en Jupyter y Kubernetes. http://hdl.handle.net/10251/128933

Your Feedback

Please give us your feedback and help us make GoTriple better.
Fill in our satisfaction questionnaire and tell us what you like about GoTriple!