Esta semana, tratando de crear un pipeline de Azure Data Factory que ejecuta una actividad de Azure Databricks, que levanta un clúster pasando un conjunto de parámetros para la configuración y, además, utilizando el fichero dh-init.sh para completar la instalación de un conjunto de librerías desde la zona de configuración avanzada, he sufrido un montón hasta que he dejado de editar el fichero dh-init.sh con un laptop con S.O. Windows.
Es cierto que no soy, para nada, experto en Linux (es más, casi no termino el Máster de Ciencia de Datos por esa asignatura) y posiblemente fue eso lo que me obligó a emplear más tiempo del necesario hasta darme cuenta de que el editor de Windows que estaba usando, sin darme cuenta, estaba incluyendo «caracteres raros» en el fichero .sh y que, esos caracteres eran invisibles. Pues no los podía reconocer, ni a través de los logs de las ejecuciones de Databricks, ni al volver a abrir el fichero desde el mismo editor con el que inicialmente lo había abierto. Así que una vez salté al entorno apropiado y empleé sus propios editores de ficheros, la ejecución del pipeline de Azure Data Factory se completó con éxito, y las librerías .jar que contenía el fichero fueron correctamente incorporadas al proceso.
Esto hace que quiera compartir contigo esta advertencia y por favor, en este caso, trata de no mezclar peras con manzanas o te verás retrasado.
Foto de portada gracias a Douglas Miller: https://www.pexels.com/es-es/foto/apple-frutas-naturaleza-muerta-peras-5493806/
Alb3rto Alonso 