Developpez.com - Business Intelligence
X

Choisissez d'abord la catégorieensuite la rubrique :


Installation et configuration Talend Integration Suite

Date de publication : 03/09/2008 , Date de mise à jour : 03/09/2008

Ce tutoriel présente l'installation et la configuration de Talend Integration Studio en environnement Unix.

I. Introduction
II. Configuration matériel
III. Installation et configuration de TIS Administrator
III-A. Logiciels requis
III-A-1. MySQL 5+
III-A-2. Java 5+
III-A-3. Tomcat 5+
III-B. TIS Administrator
III-B-1. Configuration pour Tomcat
III-B-2. Pages d'administration Web
III-B-3. Gestion des projets
III-C. Job serveur
III-C-1. Introduction
III-C-2. Configuration
III-C-3. Déploiement
III-D. Importer / Exporter un projet (CommanLine)
III-D-1. Introduction
III-D-2. Exporter un projet
III-D-3. Importer un projet
III-D-4. Résolution des problèmes
IV. TIS Client en environnement Windows
IV-A. Lancement
IV-B. Paramétrage
IV-C. Active Monitoring Control et Logs
V. Liens utiles
VI. Remerciements


I. Introduction

Talend Integration Suite Edition (TIS) permet l'intégration de données provenant de différentes parties d'un système d'information. Ces données sont déplacées, combinées et consolidées. Ce processus consiste à extraire des données de différentes sources (bases de données, fichiers, applications, Services Web, emails, etc.), à leur appliquer des transformations (jointures, lookups, déduplication, calculs, etc.), et à envoyer les données résultantes vers les systèmes cibles. En plus de ce traitement, TIS offre la possibilité de travailler en collaboration sur les "Jobs" et les "Models" d'un projet.

TIS
Ce tutoriel a pour but de vous expliquer comment installer et configurer TIS administrator sur un serveur Unix, utiliser l'utiliaire d'import / export de projet et configurer l'application Talend sur des postes Windows XP pour sauvegarder les Stats et les Logs. Ce tutoriel s'adresse à un public expérimenté et ayant une certaine connaissance de Talend.

Ce tutoriel a été réalisé en environnement Unix OpenSuse 11. Vous pouvez néanmoins choisir une autre distribution.


II. Configuration matériel

Le choix de la configuration matériel n'est pas à négliger. TIS demande beaucoup de ressources, que ce soit mémoire ou CPU. Optez donc pour un serveur et des postes clients avec une configuration minimum suivante :


III. Installation et configuration de TIS Administrator


III-A. Logiciels requis

Pour pouvoir faire fonctionner l'interface TIS Administrator, vous devrez, au préalable, avoir installé et configurer plusieurs logiciels. A savoir :

Je vais passer rapidement sur l'installation de ces trois logiciels car le but de ce tutoriel n'est pas d'apprendre à configurer MySQL ou Tomcat.


III-A-1. MySQL 5+

Pour sauvegarder vos projets, TIS utilise soit une base MySQL soit SQL Serveur. Pour la suite du tutoriel nous utiliserons la dernière version de MySQL (gratuite).

Téléchargez et installez la dernière version de MySQL avec votre gestionnaire de dépôts.

Avec les droits root de la machine, configurez le compte root MySQL en lui ajoutant un mot de passe :

# mysqladmin -u root password rootpassword
Connectez-vous à la console MySQL sur la table MySQL avec le compte root MySQL :

# mysql -u root -p mysql
Autorisez l'utilisateur root MySQL à se connecter à distance à la base de données :

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'rootpassword';
Créez la base de données talend_administrator et assignez les droits à l'utilisateur talend_admin (qui sera créé dans la foulée).

mysql> create database talend_administrator;

mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'localhost' IDENTIFIED BY 'TyidP';

mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'%' IDENTIFIED BY 'TyidP';
Vérifiez dans la table "user" que les données ont bien été insérées :

mysql> SELECT user, password, host FROM user;
Démarrez le serveur MySQL :

# /etc/init.d/mysql start

III-A-2. Java 5+

Téléchargez et installez les dernières versions de Java suivantes, avec votre gestionnaire de dépôts :

Vérifier que Java JVM est bien installé en affichant la valeur de la variable d'environnement JAVA_HOME.

# echo $JAVA_HOME

III-A-3. Tomcat 5+

Téléchargez la dernière version de Tomcat à l'adresse suivante : http://tomcat.apache.org/. La version utilisée dans ce tutoriel et la version 5.5.26.

Décrompressez l'archive dans le dossier où vous souhaitez que Tomcat s'éxécute avec la commande suivante :

# tar -xvfz apache-tomcat-5.5.26.tar.gz
Le serveur Tomcat écoute sur le port 8080 mais vous pouvez néanmoins changer la valeur de ce port qui pourrait être en conflit avec le port d'écoute d'Oracle XE par la valeur de votre choix en éditant le fichier apache-tomcat-5.5.26/conf/server.xml.

Lancez le serveur Tomcat avec la commande suivante :

# sh apache-tomcat-5.5.26/bin/startup.sh
Pour arréter le serveur Tomcat la commande est la suivante :

# sh apache-tomcat-5.5.26/bin/shutdown.sh
Vérifiez que le serveur est bien lancé et configuré en lançant un navigateur web et en vous rendant à l'adresse suivante : http://localhost:8080/

Le port 8080 peut être différent suivant si vous l'avez changé dans la configuration de Tomcat.


III-B. TIS Administrator


III-B-1. Configuration pour Tomcat

L'interface d'administration de TIS sera accéssible par le WEB grâce au serveur Tomcat. Nous allons voir maintenant comment configurer TIS Administrator.

 

Décompresser l'archive ADM-TISTE-... (suivant votre version) et copier le dossier extrait dans le dossier webapps de Tomcat.

cp org.talend.administrator.war apache-tomcat-5.5.26/webapps/
Copier les pilotes MySQL Talend pour l'accès à la base talend_administrator dans le dossier common/lib/ de Tomcat.

cp apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/lib/mysql-connector-java-5.1.0-bin.jar 
apache-tomcat-5.5.26/common/lib/
Modifiez le nom du dossier au sera sauvegardé les fichiers temporaires de Talend en éditant le fichier de configuration web.xml de Talend.

vim apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/web.xml
Recherchez la section <temp-directory> et remplacer la valeur c:/temp par /tmp par exemple.

Changez le mot de passe de la page de configuration de la page WEB de Talend (que nous verrons plus tard) en éditant le fichier apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/classes/database.properties.
Changer la valeur du paramètre database.config.password par un mot de passe différent. Par exemple : talendAdmin

Dans ce fichier vous pouvez changer les informations de connexion au serveur MySQL pour la sauvegarde des projets. Par exemple si vous avez définit une base de données et/ou des identifiants de connexion différents.

Changez maintenant le mot de passe de la page de configuration de la base de données en éditant le fichier apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/classes/database.properties

Changez la valeur du paramètre database.config.password=admin par un autre mot de passe plus sécurisé.

Relancez le serveur Tomcat avec les commande suivantes :

# sh apache-tomcat-5.5.26/bin/shutdown.sh
# sh apache-tomcat-5.5.26/bin/startup.sh

III-B-2. Pages d'administration Web

L'administration des projets, la gestion des utilisateurs, l'éxécution de jobs sur un autre serveur est maintenant possible en se rendant à l'adresse suivante : http://localhost:8080/org.talend.administrator

Page d'accueil TIS
Avant de ce connecter à l'application web de TIS Administrator, vous pouvez vérifier que la base de données MySQL TIS est bien configuré en cliquant sur le bouton [Go to db config page]. La page suivante vous demande d'entrer le mot de passe de la page de configuration de la base de données (par défaut admin).

Configuration base de données OK
Configuration base de données Erreur
Pour remédier à ce problème cliquez sur le bouton [Save]. Si le problème persiste entrez les identifiants du compte root MySQL et cliquez sur le bouton [Save] puis remettre les identifiants du compte Talend qui sont : talendadmin/TyidP par défaut et cliquez sur le bouton [Save].

Revenez maintenant sur la page de connexion en cliquant sur le bouton [Go to login page]. Entrez maintenant les identifiants suivant : admin@company.com/admin (qui sont les identifiants par défaut pour se connecter à la page d'administration de TIS).

Remarque : si vous rencontrez un problème pour vous connecter, vérifiez la configuration de la base de données (voir explication précédente).

Erreur de connexion
Cliquez maintenant sur l'onglet [License] et entrez votre numéro de licence TIS. Vous devriez maintenant avoir accès aux onglets suivant :

Onglets TIS
Pour des raisons de sécurité il est préférable de changer les identifiants du compte admin@company.com/admin. Pour cela, cliquez sur l'onglet [Accounts]. Sélectionnez le compte admin@company.com et cliquez sur le bouton [Edit]. Entrez les nouveaux identifiants et cliquez sur le bouton [Save].

Vérifiez que la configuration de TIS est correcte en cliquant sur l'onglet [Configuration].

Configuration OK
Tous les points doivent être vert sauf le paramètre Command line port qui n'est pas encore configuré.


III-B-3. Gestion des projets

Maintenant que TIS est configuré, vous pouvez ajouter un projet mais avant ajoutez les comptes utilisateurs nécéssaires au développement de ce projet en cliquant sur l'onglet [Accounts] puis une fois ceci terminé, cliquez sur l'onglet [Project].

Cliquez sur le bouton [Add]. Entrez les informations nécessaires au nouveau projet et cliquez sur le bonton [Save].

Sachant que le développement par TIS est collaboratif, l'onglet [Locks] va vous permettre de dé-locket un job, un schéma... qu'une personne utilisait et dont le lock ne c'est pas enlevé en fin de traitement. Il suffit pour cela de sélectionner la ligne d'un job à dé-locker et de cliquez sur le bouton [Delete].
ATTENTION de ne pas supprimer une ligne d'un job sur lequel une personne travail déjà dessus...

L'onglet [Servers] permet de visualiser les serveurs qui pourront exécuter les jobs. Ces serveurs exécutent un software (jobServer) leur permettant déchanger des informations avec le serveur TIS Administrator et la base de données MySQL afin d'éxécuter les jobs à distance.

Installé le job serveur sur les serveurs de production en priorité (voir Installation du job serveur).

L'onglet [Job Conductor] vous permet de visualiser et d'ajouter des jobs au scheduler pour qu'ils soient exécutés sur un serveur en particulier (où un job serveur est lancé).


III-C. Job serveur


III-C-1. Introduction

Job serveur est une application qui permet de déployer et d'exécuter des jobs sur l'ordinateur où il est installé.

Avant de commencer le déploiement du job serveur vérifier que Java JSE est bien installé sur la machine qui l'exécutera.


III-C-2. Configuration

Décompressez le dossier org.talend.remote.jobserver_xxx (xxx : la version).

Editez le fichier start_rs.bat.

Modifier les valeurs des variables si nécessaire.

Editez maintenant le fichier conf/TalendJobServer.properties.

Modifier les ports pour les variables :
org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORT
org.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001
org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888
si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permet d'indiquer les partitions présentent sur le serveur.
Indiquez par exemple une valeur : C:,D: si vous avez deux partitions nommées C et D.

Editez le fichier start_rs.sh.

Modifier les valeurs des variables si nécessaire.

Editez maintenant le fichier conf/TalendJobServer.properties.

Si vous êtes sur un Linux amd64 bits, changez la valeur de la variable MY_JSYSMON_LIB_DIR par "$MY_ROOT_PATH"/jsysmon-20061229/native/linux_2.6/amd64/

Modifier les ports pour les variables :
org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORT
org.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001
org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888
si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permet d'indiquer les partitions présentent sur le serveur.
Indiquez par exemple une valeur : /,/dev,/home si vous avez trois partitions nommées /, dev et home.


III-C-3. Déploiement

Double cliquez sur start_rs.bat pour lancer le job serveur. Une fenêtre d'invite de commande se lance. Laissez-là ouverte jusqu'à ce que vous n'ayez plus besoins d'exécuter de job dessus à distance.

Vous pouvez maintenant ajouter ce serveur dans la liste des Servers de TIS Administrator.

Serveur Windows ajouté
Pour arrêter le job serveur, double cliquez sur stop_rs.bat.

Tapez la commande suivante

sh start_rs.sh
Normalement cette commande ne vous rend pas la main et si vous appuyez sur CTRL + C, le job serveur s'arrêtera.C'est pour cela qu'il est important de mettre cette tâche en tâche de fond sinon quand vous fermerez la connexion SSH.
Pour cela appuyez sur CTRL + Z pour stopper momentanement le job serveur et tapez en suite bg pour mettre cette tâche en arrière plan.

Vous pouvez maintenant ajouter ce serveur dans la liste des Servers de TIS Administrator.

Serveur Linux ajouté
Pour arrêter le job serveur tapez la commande suivante

sh start_rs.sh

III-D. Importer / Exporter un projet (CommanLine)


III-D-1. Introduction

L'utilitaire commandeLine fourni avec TIS-Administrator permet de ce connecter au serveur exécutant TIS et d'exporter / importer des projets.


III-D-2. Exporter un projet

Exécutez le script commandline.sh (sous Linux) et commandline.bat (sous Windows) sur le serveur maitre (ou en SSH) avec le compte ROOT.
Vous devriez avoir ce-ci qui s'affiche à l'écran :

CommandLine
Connectez-vous ensuite à la base de données MySQL talend_administrator avec la commande suivante :

Talend> initDatabase -sn localhost -sp 3306 -dn talend_administrator -dl talendadmin -dp TyidP -dd mysql

ADDED_COMMAND 1 
Si la commande a bien été ajoutée, la ligne ADDED_COMMAND doit apparaître à l'écran.

Explication :

Vérifiez que la commande a bien été exécutée :

Talend> listCommand -a

1:COMPLETED InitCommand init dbsa
Connectez-vous maintenant au projet que vous voulez exporter :

talend> logonProject -pn projetExport -ul jsd@company.com -up jsdpassword

ADDED_COMMAND 2 

talend>
!ENTRY org.talend.libraries 1 0 2008-08-29 16:13:38.338
!MESSAGE 2008-08-29 16:13:38,337 INFO  org.talend.repository.model.ProxyRepositoryFactory  - Darges, Jean-Sebastien logged on projetExport 
Explication :

Une fois cette commande ajoutée, un texte assez conséquent s'affiche à l'écran. Cela peut durer un certain temps.
A la fin de l'affichage du texte, vous n'aurez plus l'invite de commande " talend > ". Tapez la commande de listing pour vérifier que vous êtes bien connecté au projet :

listCommand -a

2:COMPLETED LogonProjectCommand log on projetExport 
Exportez maintenant le projet avec la commande suivatne :

talend> exportItems /exportProjet.zip
Explication :

exportItems permet d'exporter tous les objets d'un projet. Pour n'exporter qu'un objet en particulier, affichez la liste des commandes disponibles du commandLine en tapant "help" dans l'invite de commande Talend.

Maintenant que tout c'est bien déroulé, fermez la connexion au serveur avec la commande suivante :

talend> stopServer

III-D-3. Importer un projet

Pour pouvoir importer les objets d'un projet il faut préalablement avoir créé un projet dans la page d'administration de TIS.

Exécutez le script commandline.sh (sous Linux) et commandline.bat (sous Windows) sur le serveur maitre (ou en SSH) avec le compte ROOT.
Vous devriez avoir ce-ci qui s'affiche à l'écran :

CommandLine
Connectez-vous ensuite à la base de données MySQL talend_administrator avec la commande suivante :

Talend> initDatabase -sn localhost -sp 3306 -dn talend_administrator -dl talendadmin -dp TyidP -dd mysql

ADDED_COMMAND 1 
Si la commande a bien été ajoutée, la ligne ADDED_COMMAND doit apparaître à l'écran.

Explication :

Vérifiez que la commande a bien été exécutée :

Talend> listCommand -a

1:COMPLETED InitCommand init dbsa
Connectez-vous maintenant au projet que vous où voulez importer les objets d'une sauvegarde précédente.

talend> logonProject -pn projetImpor -ul jsd@company.com -up jsdpassword -buc

ADDED_COMMAND 2 

talend>
!ENTRY org.talend.libraries 1 0 2008-08-29 16:13:38.338
!MESSAGE 2008-08-29 16:13:38,337 INFO  org.talend.repository.model.ProxyRepositoryFactory  - Darges, Jean-Sebastien logged on projetExport 
Explication :

Une fois cette commande ajoutée, un texte assez conséquent s'affiche à l'écran. Cela peut durer un certain temps.
A la fin de l'affichage du texte, vous n'aurez plus l'invite de commande " talend > ". Tapez la commande de listing pour vérifier que vous êtes bien connecté au projet :

listCommand -a

2:COMPLETED LogonProjectCommand log on projetExport 
Exportez maintenant le projet avec la commande suivatne :

talend> exportItems /exportProjet.zip
Explication :

exportItems permet d'exporter tous les objets d'un projet. Pour n'exporter qu'un objet en particulier, affichez la liste des commandes disponibles du commandLine en tapant "help" dans l'invite de commande Talend.

Maintenant que tout c'est bien déroulé, fermez la connexion au serveur avec la commande suivante :

talend> stopServer

III-D-4. Résolution des problèmes

Si vous avez des problèmes pour vous connecter en commanLine, pleins de messages d'erreurs? supprimez le cache de connexion du dossier commandline-workspace/

# rm -Rf commandline-workspace/*
Après si vous avez encore des messages du type : impossible de trouver le projet "TOTO", relancez le commandLine et tout devrait revenir dans l'ordre


IV. TIS Client en environnement Windows


IV-A. Lancement

Double cliquez sur TISTE-win32-x86.exe. La fenêtre suivante doit alors d'afficher à l'écran.

Lancement de TIS
Cliquez sur le bouton [?] pour ajouter une connexion à un serveur exécutant TIS Administrator. La fenêtre suivante doit s'afficher à l'écran :

Connexion à un projet
Remplir les champs demandés à savoir :

Cliquer ensuite sur le bouton [Check] pour vérifier que la connexion s'est bien établie. Puis cliquer sur le bouton [OK].

Vous pouvez maintenant cliquer sur le bouton d'actualisation des projets pour sélectionner votre projet.

Actualisation des projets
Cliquer sur le bouton [OK] pour lancer TIS et le chargement du projet.


IV-B. Paramétrage

Cliquez successivement sur Window > Préférences.

Préférences
Lorsque Talend importe le schéma d'une table d'une base de données, il se peut qu'il ne l'importe pas avec le bon type de données par exemple : lors de l'importation d'une table Oracle si une colonne est de type NUMBER, il l'importera en tant que BigDecimal mais il est préférable de l'importer en Int ou Integer.
Pour remédier à ce problème, vous avez la possibilité de changer les schéma d'import en cliquant successivement sur Talend > Metadata of TalendType. Double cliquer sur mapping_XXX.xml (où XXX le nom d'une base de données). Il suffit maintenant de changer l'ID du type de la colonne à modifier en mettant celui d'un autre qui est plus à même de correspondre.


IV-C. Active Monitoring Control et Logs

L'AMC : Activity Monitoring Control, fournit des fonctions avancées de monitoring permettant de rassembler les informations de log collectées, de mieux comprendre le composant sous-jacent et l'exécution du job, en prévenant d'éventuelles erreurs et en renforçant les décisions en matière de gestion des systèmes.

Pour avoir un rendu graphique des logs, des statistiques et des mesures, il faut créer des tables dans une base de données de votre choix où vous voulez sauvegarder ces informations.

Créez un job dans l'interface de TIS et ajoutez trois composants tCreateTable ce situant dans l'onglet "Database" de la palette.

Pour chaque composant configurer comme suivant :

Tables AMC
Avant toute chose créez un fichier nommé "license" sans extension. Copiez le numéro de licence AMC dans ce fichier et ne pas oublier pas de faire un retour chariot en fin de ligne.

Activez l'auto-refresh de la base de données en cliquant successivement sur Windows > Preferences > AMC et cochez la checkbox "Auto-refresh the database source".

Activez maintenant la sauvegarde en base de données en cliquant successivement sur Windows > Preferences > AMC > Data source Type. Cochez le radio-button "Database" et cliquez sur le bouton [Add]. Entrez un nom et cliquez sur le bouton [Next].

Remplissez les champs nécessaire à la connexion à votre base de données. Pour finir cliquez sur le bouton [Check] pour vérifier la connectivité avec le serveur Oracle et sur le bouton [Next].

Renseignez le nom des 3 tables AMC et cliquez sur le bouton [Finish].

Configuration tables de logs
Renseignez le nom des 3 tables AMC et cliquez sur le bouton [Finish].

De retour dans la fenêtre de configuration de l'AMC, choisissez la connexion précédemment créée dans le menu déroulant "Database".

Pour terminer cliquer sur le bouton [OK].

Maintenant que les logs sont configurées, il s'agit d'indiquer à Talend d'utiliser cette configuration pour chaque jobs créés.

Cliquez successivement sur Windows > Preferences > Talend > Stats and Logs et remplissez les champs comme suivant :

Configuration stats and logs
ATTENTION maintenant que les stats sont configurées automatiquement avec une connexion automatique à une base de données du Repository, il convient de charger à chaque fois les contexts de la base de données en question.


V. Liens utiles



VI. Remerciements

www.openbizz.fr sans quoi ce tutoriel n'existerait pas.



Valid XHTML 1.1!Valid CSS!

Copyright © 2016 Fleur-Anne BLAIN. Aucune reproduction, même partielle, ne peut être faite de ce site et de l'ensemble de son contenu : textes, documents, images, etc. sans l'autorisation expresse de l'auteur. Sinon vous encourez selon la loi jusqu'à trois ans de prison et jusqu'à 300 000 € de dommages et intérêts.

Contacter le responsable de la rubrique Business Intelligence