Apprendre le Code Informatique

2022-02-16 22:33:46 Nous allons nous arrêté ici Ouvert / Commentaire

2022-02-16 22:31:05 En résumé

L’extraction de données web est un processus automatisé de récupération des données d’internet.

ETL signifie extraction, transformation et chargement. C’est un acronyme très utilisé dans la programmation, pour désigner le processus de récupération de données d’un endroit, de modification légère de ces données et de leur sauvegarde dans un autre endroit.

HTML est la structure de n’importe quelle page web et la compréhension de cette structure va vous aider à savoir comment récupérer les données dont vous avez besoin.

Requests et Beautiful Soup sont des packages Python tiers qui peuvent vous aider à récupérer et parser les données d’internet.

Parser des données signifie les préparer pour les transformer, les sauvegarder ou les utiliser.

Maintenant que vous avez vu comment extraire et transformer des données web, vous allez apprendre à charger des données web ! Ouvert / Commentaire

2022-02-16 22:30:48 Ouvert / Commentaire

2022-02-16 22:22:01 Ouvert / Commentaire

2022-02-16 22:21:01 Le package Requests

Pour extraire des données à partir d’un site web, nous devons utiliser le package Requests. Rappelez-vous qu’elle fournit la fonctionnalité de faire des requêtes HTTP. Nous pouvons l’utiliser puisque nous essayons d’obtenir des données à partir d’un site web qui utilise le protocole HTTP (par exemple, http://google.com).

Le package Requests contient une fonction .get()qui peut être utilisée pour récupérer le code HTML du site.

Pour appliquer ça à l’exercice d’extraction de données web, nous allons utiliser le package Requests pour obtenir le code HTML de la page d’informations et de communication britanniques. Dans le code ci-dessous, nous importons le package, nous sauvegardons l’URL que nous voulons extraire dans une variable url, et nous utilisons la méthode .get()pour récupérer les données HTML. Si vous exécutez le code ci-dessous, vous verrez le code source HTML affiché dans la console. Ouvert / Commentaire

2022-02-16 22:20:07 Si vous faites défiler la page source ou utilisez ctrl + f pour trouver le premier titre d’actualité, vous pouvez voir que le titre et la description sont directement dans le HTML !

Voici un exemple de code HTML que nous voulons extraire de la page web :

Restart of the UK in JAPAN campaign

The British Embassy, British Consulate-General and the British Council, in partnership with principal partners Jaguar Land Rover and Standard Chartered Bank are proud to announce the resumption of our ambitious UK in JAPAN c…

Ne paniquez pas en voyant tout ce code ! Vous devez juste chercher l’élément class du titre et de la description. Ne vous inquiétez pas si vous ne la trouvez pas immédiatement, nous allons voir ça en détail plus tard. Ouvert / Commentaire

2022-02-16 22:20:07 Si vous faites défiler la page source ou utilisez ctrl + f pour trouver le premier titre d’actualité, vous pouvez voir que le titre et la description sont directement dans le HTML !

Voici un exemple de code HTML que nous voulons extraire de la page web :

Restart of the UK in JAPAN campaign

The British Embassy, British Consulate-General and the British Council, in partnership with principal partners Jaguar Land Rover and Standard Chartered Bank are proud to announce the resumption of our ambitious UK in JAPAN c…

Ne paniquez pas en voyant tout ce code ! Vous devez juste chercher l’élément class du titre et de la description. Ne vous inquiétez pas si vous ne la trouvez pas immédiatement, nous allons voir ça en détail plus tard. Ouvert / Commentaire

2022-02-16 22:20:07 Deux choses importantes à connaître sur les balises HTML : les attributs class et id qui donnent des identifiants à différents éléments HTML. Par exemple, si vous voulez identifier tous les éléments de « vetements » dans un seul identifiant, vous pouvez écrire le code ci-dessous :

chemise

chaussettes

De cette manière, vous savez que tous les éléments avec la classe « vetements » contiendront un élément lié aux vêtements à l’intérieur. Vous pouvez utiliser cette classe « vetements » plus tard pour que tous les éléments soient marqués avec la même classe.

De la même manière, pour avoir tous les titres et les descriptions du site d’informations et de services britanniques, nous pouvons trouver la class ou l’id de chacun de ces éléments. Nous pouvons utiliser le bouton « Voir la page source » pour voir le code HTML de la page et chercher l’identifiant voulu. Ouvert / Commentaire

2022-02-16 22:16:01 CONNAITRES LES BALISE ESSENTIELLE EN HTML
Le HTML est le langage utilisé pour toutes les pages internet que vous voyez sur internet. Si vous faites un clic droit sur n’importe quel site web (même ici) et que vous sélectionnez Voir la page source (ou Afficher le code source), vous verrez le code HTML utilisé pour afficher ce que vous voyez.

Le HTML est conçu avec une structure en arborescence appelée DOM (Document Object Model). La structure DOM comprend différentes balises qui peuvent s’emboîter les unes les autres. Certaines balises représentent chaque partie d’une page HTML et la plupart des éléments ont des balises d’ouverture et de fermeture.

Une balise d’ouverture ressemble à ça : . Une balise de fermeture a le même nom_element, mais avec / devant : . Par exemple, chaque page a une balise d’ouverture et une balise de fermeture . Toutes les informations que vous voulez dans cet élément doivent être entre ces deux balises. Ouvert / Commentaire

2022-02-16 22:16:01 ETL : Extraire, Transformer, Charger

ETL signifie extraction, transformation et chargement (Extract, Transform, Load en anglais). C’est une procédure qui "permettant d'effectuer des synchronisations massives d'information d'une source de données (le plus souvent une base de données) vers une autre" (source Wikipédia). C’est une manière compliquée de nommer le processus qui sert à récolter des données à un endroit, à les manipuler un peu et à les sauvegarder dans un autre endroit.

L’extraction de données web est une forme d’ETL : vous extrayez des données à partir d’un site web, vous les transformez dans le format que vous voulez et vous les chargez dans un fichier CSV (ou dans une base de données).

Pour extraire les données à partir d’internet, vous devez connaître quelques bases à propos du HTML, la structure de chaque page internet que vous voyez sur internet. Si vous n’avez encore jamais utilisé HTML, ne vous inquiétez pas, ce chapitre contient tout ce qu’il faut savoir pour l’extraction. Ouvert / Commentaire