GSP008

Présentation

Avec Google Cloud, vous pouvez configurer une machine virtuelle pour traiter des données sismiques. Vous n'avez donc pas à vous soucier des détails informatiques et pouvez vous concentrer sur vos objectifs scientifiques. Cette solution vous permet d'ingérer et de traiter des données, puis de présenter les résultats dans différents formats. Dans cet atelier, vous allez ingérer les données sismiques en temps réel de l'Institut d'études géologiques des États-Unis (USGS, United States Geological Survey) et créer des cartes semblables à celle-ci :

Dans cet atelier, vous allez lancer une machine virtuelle, y accéder à distance, puis créer manuellement un pipeline qui extrait, traite et publie les données.

Objectifs de l'atelier

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Créer une instance Compute Engine avec des autorisations de sécurité spécifiques
• Vous connecter en SSH à l'instance
• Installer le package logiciel Git (pour le contrôle des versions du code source)
• Ingérer des données dans l'instance Compute Engine
• Transformer des données dans l'instance Compute Engine
• Stocker les données transformées dans Cloud Storage
• Publier des données Cloud Storage sur le Web

Prérequis

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre vous-même les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Nous vous fournissons des identifiants temporaires pour vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

• vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome) ;

Remarque : Ouvrez une fenêtre de navigateur en mode incognito/navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le temporaire étudiant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.

• vous disposez d'un temps limité ; une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.

Remarque : Si vous possédez déjà votre propre compte ou projet Google Cloud, veillez à ne pas l'utiliser pour réaliser cet atelier afin d'éviter que des frais supplémentaires ne vous soient facturés.

Démarrer l'atelier et se connecter à la console Google Cloud

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue Se connecter. Cliquez sur Suivant.

4. Copiez le mot de passe inclus dans le panneau Détails concernant l'atelier et collez-le dans la boîte de dialogue de bienvenue. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis dans le panneau de gauche. Ne saisissez pas vos identifiants Google Cloud Skills Boost. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

5. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas aux essais offerts.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Tâche 1 : Créer une instance Compute Engine et configurer ses paramètres d'accès aux API

1. Pour créer une instance Compute Engine, dans le Menu de navigation, cliquez sur Compute Engine > Instances de VM :

2. Cliquez sur Créer une instance, puis patientez pendant le chargement du formulaire "Créer une instance".

3. Utilisez la région et la zone par défaut pour l'instance que vous êtes en train de créer :

4. Dans la section Disque de démarrage, cliquez sur Modifier.

5. Changez la Version en Debian GNU/Linux 10 (buster).

6. Laissez les autres paramètres tels quels et cliquez sur Sélectionner.

7. Dans la section "Identité et accès à l'API" du compte de service par défaut de Compute Engine, sélectionnez Autoriser l'accès complet à l'ensemble des APIs Cloud, puis cliquez sur Créer.

Un cercle vert avec une coche s'affiche une fois l'instance créée.

Cliquez sur Vérifier ma progression ci-dessous pour vérifier votre progression dans l'atelier.

Créer une instance Compute Engine et configurer ses paramètres d'accès aux API

Tâche 2 : Se connecter en SSH à l'instance

Pour accéder à distance à votre instance Compute Engine à l'aide du protocole Secure Shell (SSH), procédez comme suit :

1. Cliquez sur le bouton SSH à côté de la VM que vous venez de créer :

Les informations sur l'instance de VM s'affichent.

Remarque : Assurez-vous que votre navigateur ne bloque pas les pop-ups.

Les clés SSH sont transférées automatiquement. Vous pouvez ainsi vous connecter en SSH directement depuis votre navigateur, sans recourir à un autre logiciel.

2. Pour obtenir des informations sur l'instance Compute Engine, saisissez ce qui suit dans la ligne de commande :

cat /proc/cpuinfo

Le résultat doit se présenter comme suit :

processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 63 model name : Intel(R) Xeon(R) CPU @ 2.30GHz ....

Tâche 3 : Installer le logiciel

1. Toujours dans la fenêtre SSH, saisissez les commandes suivantes :

sudo apt-get update sudo apt-get -y -qq install git sudo apt-get install python-mpltoolkits.basemap

2. Lorsque vous êtes invité à accepter l'utilisation d'espace disque supplémentaire, saisissez Y (Oui).

3. Vérifiez que le logiciel git est bien installé en exécutant la commande suivante :

git --version

Le résultat doit se présenter comme suit :

git version 2.20.1

Cliquez sur Vérifier ma progression ci-dessous pour vérifier votre progression dans l'atelier.

Installer le logiciel

Tâche 4 : Ingérer les données de l'USGS

1. Toujours dans la fenêtre SSH, téléchargez le code depuis GitHub en saisissant la commande suivante :

git clone https://github.com/GoogleCloudPlatform/training-data-analyst Remarque : Si une erreur d'autorisation git s'affiche, cela signifie vraisemblablement que l'URL GitHub saisie est erronée. Dans ce cas, copiez et collez le code indiqué ci-dessus.

2. Accédez au dossier correspondant à cet atelier :

cd training-data-analyst/CPB100/lab2b

3. Examinez le code ingest à l'aide de la commande less :

less ingest.sh

La commande less vous permet d'afficher le fichier (appuyez sur la barre d'espace pour faire défiler la page vers le bas, sur la touche B pour accéder à la page précédente et sur la touche Q pour quitter).

4. Saisissez Q pour quitter l'éditeur.

Le programme ingest.sh télécharge un ensemble de données sur les séismes recueillies par l'Institut d'études géologiques des États-Unis au cours des sept derniers jours. Notez l'emplacement de téléchargement du fichier (disque ou Cloud Storage).

5. Exécutez le code ingest en saisissant la commande suivante :

bash ingest.sh

Cliquez sur Vérifier ma progression ci-dessous pour vérifier votre progression dans l'atelier.

Ingérer les données de l'USGS

Tâche 5 : Transformer les données

Vous allez transformer les données brutes en une carte de l'activité sismique à l'aide d'un programme Python.

Le code de transformation est détaillé dans ce notebook :

N'hésitez pas à lire les descriptions pour comprendre le fonctionnement du code de transformation. Le notebook lui-même a été écrit dans Datalab, un produit Google Cloud que vous utiliserez plus tard dans cette série d'ateliers.

1. Toujours dans l'instance Compute Engine, installez les packages Python nécessaires sur l'instance en saisissant la commande suivante :

bash install_missing.sh

2. Exécutez le code de transformation en saisissant la commande suivante :

python3 transform.py

3. Si vous saisissez la commande suivante, vous remarquerez la présence d'un nouveau fichier image earthquakes.png dans votre répertoire actuel :

ls -l

Cliquez sur Vérifier ma progression ci-dessous pour vérifier votre progression dans l'atelier.

Transformer les données

Tâche 6 : Créer un bucket Cloud Storage

Revenez à la console Cloud pour cette étape.

1. Dans le Menu de navigation, sélectionnez Cloud Storage :

2. Cliquez sur + Créer, puis créez votre bucket avec les caractéristiques suivantes :

• Choisissez un nom de bucket globalement unique (mais pas un nom que vous souhaiteriez utiliser pour vos propres projets), puis cliquez sur Continuer.
• Vous pouvez laisser le bucket paramétré sur Multirégional, ou le définir comme étant Régional pour améliorer la vitesse et réduire les coûts (dans ce cas, choisissez la même région que votre instance Compute Engine).
• Pour le champ Choisissez comment contrôler l'accès aux objets, décochez la case Appliquer la protection contre l'accès public sur ce bucket et sélectionnez Ultraprécis pour Contrôle des accès.

3. Ensuite, cliquez sur Créer.

Prenez note du nom de votre bucket. Vous saisirez ce nom à la place de chaque occurrence de <YOUR-BUCKET>.

Tâche 7 : Stocker des données

Maintenant, vous allez apprendre à stocker les données d'origine et transformées dans Cloud Storage.

1. Dans la fenêtre SSH de l'instance Compute Engine, exécutez la commande suivante en remplaçant <YOUR-BUCKET> par le nom du bucket que vous venez de créer :

gsutil cp earthquakes.* gs://<YOUR-BUCKET>/earthquakes/

Cette commande copie les fichiers dans votre bucket Cloud Storage.

2. Revenez à la console Cloud. Sur la page Navigateur de stockage, cliquez sur le bouton Actualiser en haut de la page. Cliquez ensuite sur le nom du bucket, puis sur le dossier /earthquakes.

Le dossier "earthquakes" doit désormais contenir les trois fichiers suivants :

• earthquakes.csv
• earthquakes.htm
• earthquakes.png

Cliquez sur Vérifier ma progression ci-dessous pour vérifier votre progression dans l'atelier.

Créer un bucket et stocker des données

Tâche 8 : Publier des fichiers Cloud Storage sur le Web

Maintenant, vous allez publier les fichiers de votre bucket sur le Web.

1. Pour créer une URL accessible au public pour les fichiers, cliquez sur les trois points à la fin du fichier earthquakes.htm et sélectionnez Modifier l'accès dans le menu déroulant.

2. Dans la fenêtre qui apparaît en superposition, cliquez sur le bouton + Ajouter une entrée.

3. Ajoutez une autorisation pour tous les utilisateurs en procédant comme suit :

• Sélectionnez Public pour le champ "Entité".
• Saisissez allUsers pour le champ "Nom".
• Sélectionnez Lecteur pour le champ "Accès".
• Ensuite, cliquez sur Enregistrer.

4. Répétez les étapes ci-dessus pour earthquakes.png.

5. Cliquez sur le nom d'un fichier pour découvrir l'URL du fichier Cloud Storage publié et son lien avec le nom et le contenu de votre bucket. Cette URL doit se présenter comme suit :

https://storage.cloud.google.com/VOTRE-BUCKET/earthquakes/earthquakes.png

6. Si vous cliquez sur le fichier image earthquakes.png, puis sur l'URL publique, vous voyez s'afficher un nouvel onglet contenant l'image suivante :

7. Vous pouvez maintenant fermer la fenêtre SSH.

Félicitations !

Vous avez terminé cet atelier, qui vous a appris à démarrer une instance Compute Engine, à y accéder à distance, puis à créer manuellement un pipeline permettant de récupérer, de traiter et de publier des données.

Terminer votre quête

Cet atelier d'auto-formation fait partie de la quête Scientific Data Processing. Une quête est une série d'ateliers associés qui constituent un parcours de formation. Si vous terminez cette quête, vous obtenez un badge attestant de votre réussite. Vous pouvez rendre publics les badges que vous recevez et ajouter leur lien dans votre CV en ligne ou sur vos comptes de réseaux sociaux. Inscrivez-vous à cette quête ou à une autre quête contenant cet atelier pour obtenir immédiatement les crédits associés. Découvrez toutes les quêtes disponibles dans le catalogue Google Cloud Skills Boost.

Atelier suivant

Continuez sur votre lancée en suivant l'atelier Données météorologiques dans BigQuery ou essayez Traitement des images distribué dans Cloud Dataproc

Étapes suivantes et informations supplémentaires

Pour aller plus loin :

• Consultez le site USGS.gov pour plus d'informations. Exemple :
  • Les 20 derniers grands séismes dans le monde
  • Données géodésiques
  • Données et modèles d'évaluation du risque, et plus.
• Inscrivez-vous pour recevoir des notifications automatiques lorsque des séismes ont lieu dans votre région.

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière modification du manuel : 16 octobre 2023

Dernier test de l'atelier : 19 octobre 2023

Copyright 2024 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.