Mise à jour fichier hosts

Kerlam · Le 09/03/2016, à 15:42

Bonjour,

J'aimerais avoir votre avis sur ce fichier hosts: https://raw.githubusercontent.com/Steve … ster/hosts

Il semble tenu à jour quotidiennement et être une compilation de plusieurs fichiers hosts de qualité. Je l'ai donc utilisé dans cet excellent script:

#!/bin/bash
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts ||exit
mv /tmp/hosts /etc/hosts
echo "127.0.1.1 ubuntu" >> /etc/hosts
echo "::1 ip6-localhost ip6-loopback" >> /etc/hosts
echo "fe00::0 ip6-localnet" >> /etc/hosts
echo "ff00::0 ip6-mcastprefix" >> /etc/hosts
echo "ff02::1 ip6-allnodes" >> /etc/hosts
echo "ff02::2 ip6-allrouters" >> /etc/hosts

(un grand merci à son auteur)
trouvé ici:https://doc.ubuntu-fr.org/hosts
De plus comme il est quotidiennement mis à jour, je l'ai copié dans /etc/cron.daily/

Après quelques jours de tests, je pense qu'il remplace avantageusement adblock. La navigation me semble plus rapide, sa mise à jour est automatique et il filtre pour tous les navigateurs en même temps.
Qu'en pensez-vous?

Dernière modification par Kerlam (Le 26/03/2016, à 11:43)

moko138 · Le 09/03/2016, à 18:05

L'importance du fichier hosts pour lutter contre les sorties indésirables est en effet méconnue.

Je ne connais pas ton lien mais j'ai un hosts qui pèse 0,6 Mo et que je m'efforce de tenir à jour.
+ le paquet fail2ban contre les tentatives d'intrusion,
+ refus des cookies tiers,
+ blocage sélectif des iframes et des javascripts, grâce à une extension genre noscript pour firefox.

Les spécialistes de la sécurité pourront t'en dire plus...

Kerlam · Le 26/03/2016, à 11:15

J'ai aussi remplacé dans Firefox les extensions de blocage par celle-ci: https://addons.mozilla.org/fr/firefox/a … ck-origin/
En plus de la modification du fichier hosts, cela m'a permis de gagner en rapidité dans le chargement des pages.

Par contre il me reste une question, lorsque le fichier hosts est modifié (ce qui est quotidiennement le cas grâce au script cité plus haut), l'ordinateur doit-il obligatoirement être redémarré pour que les modifications puissent être prises en compte?

Je viens de m'apercevoir d'une petite erreur dans le code du script mais je ne sais pas comment et à qui le signaler pour que ce soit modifié. Il s'agit de la dernière ligne qui devrait être

echo "ff02::2 ip6-allrouters" >> /etc/hosts

et non

echo "ff02::2 ip6-alllrouters" >> /etc/hosts

Il y a un "l" de trop à "allrouters" ce n'est peut être rien mais je tenais à le signaler.

Dernière modification par Kerlam (Le 26/03/2016, à 11:50)

moko138 · Le 26/03/2016, à 12:20

Ouaaaaaaaa ! Bien vu l'l en trop !
Quel oeil !

l'ordinateur doit-il obligatoirement être redémarré

Non. Tu peux le vérifier aisément en tentant d'atteindre un domaine vers lequel tu viens de bloquer les sorties.

kholo · Le 26/03/2016, à 13:31

bonjour,
petite observation : la ligne

echo "127.0.1.1 ubuntu" >> /etc/hosts

doit être adaptée : ubuntu remplacé par le nom de votre machine

et l'IPV6 peut être ajoutée en une seule commande :

echo "::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters" >> /etc/hosts

et on peut mettre le réseau perso en premier
en ajoutant ensuite le fichier hosts distant avec un cat

echo "127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
" > /etc/hosts
cat /tmp/hosts >> /etc/hosts

Compte anonymisé · Le 26/03/2016, à 13:44

Kerlam a écrit :

Après quelques jours de tests, je pense qu'il remplace avantageusement adblock. La navigation me semble plus rapide, sa mise à jour est automatique et il filtre pour tous les navigateurs en même temps.
Qu'en pensez-vous?

Bonjour.
Oui, c'est un très bon moyen de filtrer les requêes tes plus ou moins recommandables émises par l'ordinateur, par exemple, à la demande des pages web téléchargées (Javascript foireux).
Mais un problème peut se poser vu qu'il s'agit de domaines. Certaines agences de statistiques web et de publicité n'hésitent pas à occuper le web salement en ajoutant des sous-domaines à la pelle.
Ainsi un exemple parmi d'autres dans mon /etc/hosts

127.0.0.1	ww1082.smartadserver.com
127.0.0.1	ww129.smartadserver.com
127.0.0.1	ww13.smartadserver.com
127.0.0.1	ww14.smartadserver.com
127.0.0.1	ww234.smartadserver.com
127.0.0.1	ww251.smartadserver.com
127.0.0.1	ww264.smartadserver.com
127.0.0.1	ww276.smartadserver.com
127.0.0.1	ww302.smartadserver.com
127.0.0.1	ww362.smartadserver.com
127.0.0.1	ww370.smartadserver.com
127.0.0.1	ww38.smartadserver.com
127.0.0.1	ww381.smartadserver.com
127.0.0.1	ww392.smartadserver.com
127.0.0.1	ww50.smartadserver.com
127.0.0.1	ww55.smartadserver.com
127.0.0.1	ww57.smartadserver.com
127.0.0.1	ww651.smartadserver.com
127.0.0.1	ww684.smartadserver.com
127.0.0.1	ww690.smartadserver.com
127.0.0.1	ww84.smartadserver.com
127.0.0.1	ww856.smartadserver.com
127.0.0.1	ww881.smartadserver.com

Sub0 · Le 26/03/2016, à 15:31

Avec dnsmasq, l'ensemble des sous-domaines sont bloqués.

address=/smartadserver.com/127.0.0.1

bloque toute la liste. C'est plus simple à tenir à jour (mais ça a sa limite)

pgl.yoyo.org fournit une liste au format dnsmasq (a peu près tous les formats en fait !)

Pour ma part, j'ai opté pour une autre solution : j'ai un script qui est lancé par la crontab de mon routeur régulièrement, qui récupère les fichiers de pgl.yoyo.org/adservers et malwaredomains.com et les retaille au format privoxy. Toutes les machines sont configurées pour utiliser le proxy du routeur.
J'ai aussi pas mal de règles perso (et des filtres par site).

L'intérêt, c'est de pouvoir utiliser des regex et des exceptions. Les fichiers par défaut sont déjà relativement efficaces, mais pas complètement.
À l'aide de filtre, il est même possible de ne plus avoir de requêtes du tout sur certains domaines, ou de nettoyer le code source de certains sites de ces trackers, voire d'enlever les bloqueurs de bloqueurs de pub (qu'on rencontre de plus en plus).

Ça change aussi la vie sur le téléphone connecté en wifi : les pubs des applis ne passent plus.

@Kerlam : merci d'avoir partagé la liste, elle semble encore plus complète que ce que j'utilise pour le moment.

Kerlam · Le 26/03/2016, à 18:48

Sub0 a écrit :

@Kerlam : merci d'avoir partagé la liste, elle semble encore plus complète que ce que j'utilise pour le moment.

C'était un plaisir. Le fichier vient de ce projet: https://github.com/StevenBlack/hosts Un grand merci et bravo à son auteur pour son travail.

Sub0 a écrit :

Avec dnsmasq, l'ensemble des sous-domaines sont bloqués.
address=/smartadserver.com/127.0.0.1
bloque toute la liste. C'est plus simple à tenir à jour (mais ça a sa limite)
pgl.yoyo.org fournit une liste au format dnsmasq (a peu près tous les formats en fait !)
Pour ma part, j'ai opté pour une autre solution : j'ai un script qui est lancé par la crontab de mon routeur régulièrement, qui récupère les fichiers de pgl.yoyo.org/adservers et malwaredomains.com et les retaille au format privoxy. Toutes les machines sont configurées pour utiliser le proxy du routeur.
J'ai aussi pas mal de règles perso (et des filtres par site).
L'intérêt, c'est de pouvoir utiliser des regex et des exceptions. Les fichiers par défaut sont déjà relativement efficaces, mais pas complètement.
À l'aide de filtre, il est même possible de ne plus avoir de requêtes du tout sur certains domaines, ou de nettoyer le code source de certains sites de ces trackers, voire d'enlever les bloqueurs de bloqueurs de pub (qu'on rencontre de plus en plus).

Ça semble très intéressant mais ça dépasse un peu mes compétences.

kholo a écrit :

et on peut mettre le réseau perso en premier
en ajoutant ensuite le fichier hosts distant avec un cat

Donc, si je comprend bien ta suggestion, on pourrait modifier le script comme cela:

#!/bin/bash
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts ||exit
mv /tmp/hosts /etc/hosts
echo "127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
" >> /etc/hosts
cat /tmp/hosts >> /etc/hosts

Dernière modification par Kerlam (Le 26/03/2016, à 19:01)

Rufus T. Firefly · Le 26/03/2016, à 19:04

Salut,

Ce qu'on peut essayer aussi, c'est de mettre un fichier hosts dans /etc/default qui contiendrait ceci :

127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Le mieux, c'est de prendre le fichier hosts d'origine. Evidemment on peut y ajouter des choses à la main.
Ensuite le script pourrait ressembler à ceci :

#!/bin/bash 
rm /tmp/hosts ## supprime un éventuel hosts téléchargé précédemment
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts || exit
cd /etc
cat default/hosts > hosts ## régénère le fichier hosts d'origine (éventuellement complété)
cat /tmp/hosts | grep 0.0.0.0 >> hosts ## ajoute les règles téléchargées

grep 0.0.0.0 permet de ne conserver que les nouvelles règles et de virer, outre les commentaires, ceci (ou d'autres choses de cette sorte), qui pourrait faire double-emploi avec ce qui existe déjà (voire semer le trouble) :

127.0.0.1 localhost
127.0.0.1 localhost.localdomain
127.0.0.1 local
255.255.255.255 broadcasthost
::1 localhost
fe80::1%lo0 localhost

Dernière modification par Rufus T. Firefly (Le 26/03/2016, à 19:14)

lynn · Le 26/03/2016, à 19:10

Bonjour,

On peut même remplacer cette partie

127.0.1.1 VOTRENOM

par

127.0.1.1 `uname -n`

Kerlam · Le 26/03/2016, à 19:39

lynn a écrit :

Bonjour,
On peut même remplacer cette partie
127.0.1.1 VOTRENOM
par
127.0.1.1 `uname -n`

Bonne idée mais il me semble que la commande "uname -n" se serait pas prise en compte car comprise dans un fichier et non dans un script.

lynn · Le 26/03/2016, à 19:52

Ton post #8 contient un script et ça fonctionne chez moi alors ça doit fonctionner chez les autres...

Kerlam · Le 26/03/2016, à 19:54

Rufus T. Firefly a écrit :

Salut,
Ce qu'on peut essayer aussi, c'est de mettre un fichier hosts dans /etc/default qui contiendrait ceci :
127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
Le mieux, c'est de prendre le fichier hosts d'origine. Evidemment on peut y ajouter des choses à la main.
Ensuite le script pourrait ressembler à ceci :
#!/bin/bash 
rm /tmp/hosts ## supprime un éventuel hosts téléchargé précédemment
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts || exit
cd /etc
cat default/hosts > hosts ## régénère le fichier hosts d'origine (éventuellement complété)
cat /tmp/hosts | grep 0.0.0.0 >> hosts ## ajoute les règles téléchargées
grep 0.0.0.0 permet de ne conserver que les nouvelles règles et de virer, outre les commentaires, ceci (ou d'autres choses de cette sorte), qui pourrait faire double-emploi avec ce qui existe déjà (voire semer le trouble) :
127.0.0.1 localhost
127.0.0.1 localhost.localdomain
127.0.0.1 local
255.255.255.255 broadcasthost
::1 localhost
fe80::1%lo0 localhost

L'idée est intéressante, ça permettrait en plus de "nettoyer" le fichier hosts téléchargé. Je vais essayer.

Kerlam · Le 26/03/2016, à 19:57

lynn a écrit :

Ton post #8 contient un script et ça fonctionne chez moi alors ça doit fonctionner chez les autres...

Tu as raison, excuse moi. Je pensais que tu parlais d'appliquer cette commande dans le script suggéré par Rufus T. Firefly.

Sub0 · Le 26/03/2016, à 20:02

Et pour juste ajouter les nouvelles entrées, un truc dans le genre ?

while read -r lines ; do grep -q "$lines" /etc/hosts || printf "$lines\n" ; done < <(grep '^0.0.0.0 /tmp/hosts) >> /etc/hosts

Ça évite de devoir recopier à chaque fois un fichier hosts par défaut, puis de copier le contenu de /tmp/hosts
Il doit y avoir moyen de simplifier la comparaison entre les fichiers.

Sub0 · Le 26/03/2016, à 20:03

lynn a écrit :

Bonjour,
On peut même remplacer cette partie
127.0.1.1 VOTRENOM
par
127.0.1.1 `uname -n`

Dans ce cas ce n'est pas un soucis, mais autant utiliser $(), non ?

Rufus T. Firefly · Le 26/03/2016, à 20:13

Kerlam a écrit :

L'idée est intéressante, ça permettrait en plus de "nettoyer" le fichier hosts téléchargé. Je vais essayer.

En plus, si tu as un serveur (local par exemple), il peut y avoir des choses dans hosts à ce propos. Avec cette méthode, tu les gardes dans /etc/default/hosts. Et c'est donc ce fichier qu'il convient de modifier en cas de changement sur le serveur. Puis une exécution manuelle du script te régénère un /etc/hosts correct.
Un peu comme /etc/default/grub puis sudo update-grub...
D'ailleurs, en rangeant le script par exemple dans /usr/local/bin, puis en faisant un lien dans /etc/cron.daily, je pense que non seulement tu auras les mises à jour automatiques, mais de surcroît tu pourras appeler le script directement comme n'importe quelle commande...

Sub0 · Le 26/03/2016, à 20:31

Rufus T. Firefly a écrit :

Salut,

#!/bin/bash 
rm /tmp/hosts ## supprime un éventuel hosts téléchargé précédemment
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts || exit
cd /etc
cat default/hosts > hosts ## régénère le fichier hosts d'origine (éventuellement complété)
cat /tmp/hosts | grep 0.0.0.0 >> hosts ## ajoute les règles téléchargées

- Pourquoi supprimer /tmp/hosts en début de script, en non à la fin ? wget l'écrase de toutes manières
- Pourquoi cd /etc ?
- Et... cat /tmp/hosts | grep 0.0.0.0 fonctionnerait aussi bien avec grep 0.0.0.0 /tmp/hosts

Dernière modification par Sub0 (Le 26/03/2016, à 20:32)

moko138 · Le 26/03/2016, à 21:07

Et si on démarre sans connexion...?

Rufus T. Firefly · Le 26/03/2016, à 21:38

Sub0 a écrit :

wget l'écrase de toutes manières

Chez moi il en crée un second...
Pour le reste, oui, pourquoi pas ?

Rufus T. Firefly · Le 26/03/2016, à 21:53

moko138 a écrit :

Et si on démarre sans connexion...?

wget ... || exit

Kerlam · Le 28/03/2016, à 10:20

Essayons de synthétiser les idées. Je pense que le but ici est de créer un fichier hosts automatiquement tenu à jour dans lequel on remplace systématiquement:

127.0.0.1 localhost
127.0.0.1 localhost.localdomain
127.0.0.1 local
255.255.255.255 broadcasthost
::1 localhost
fe80::1%lo0 localhost

situé au début du fichier téléchargé, par:

127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

On créé dans un premier temps un fichier hosts dans /etc/default avec ceci:

127.0.1.1 VOTRENOM
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

Puis, corrigez-moi si je me trompe, le script que vous proposez devrait maintenant ressembler à ceci:

#!/bin/bash 
rm /tmp/hosts
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts || exit
cat /etc/default/hosts >> /etc/hosts
grep 0.0.0.0 /tmp/hosts >> /etc/hosts

Ou, si on préfère ne faire qu'un seul fichier:

#!/bin/bash
rm /tmp/hosts
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts ||exit
grep 0.0.0.0 /tmp/hosts >> /etc/hosts
echo "127.0.1.1 'uname -n'
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
" >> /etc/hosts

Excusez mes erreurs si il y en a, elles ne sont dues qu'à mon faible niveau de compétences en programmation. Je profite justement de vos propositions pour apprendre.

Rufus T. Firefly · Le 28/03/2016, à 10:27

Kerlam a écrit :

Puis, corrigez-moi si je me trompe, le script que vous proposez devrait maintenant ressembler à ceci:
cat /etc/default/hosts >> /etc/hosts

Ça ce n'est pas bon !
Quand tu mets >> ça ajoute à la fin du fichier existant. Or ce qu'on veut, c'est régénérer le fichier d'origine, donc remplacer ce qui existe. Il faut un seul >

Kerlam · Le 28/03/2016, à 10:34

Ok merci. Donc après correction ça donne:

#!/bin/bash 
rm /tmp/hosts
wget --directory-prefix=/tmp  https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/gambling-porn-social/hosts || exit
cat /etc/default/hosts > /etc/hosts
grep 0.0.0.0 /tmp/hosts >> /etc/hosts

J'ai bon?

Rufus T. Firefly · Le 28/03/2016, à 10:40

Oui, ça c'est bon.

Et laisse tomber le second script (qui contient la même erreur des >> dans la première commande). Parce qu'il faudra penser à le modifier chaque fois que tu songes à modifier manuellement hosts, ce qui peut arriver. C'est plus logique (comme pour grub et autres) de faire les modifications manuelles dans /etc/default/hosts, puis de lancer le script pour les appliquer. Ou même attendre, tout simplement, qu'il se lance tout seul si ce n'est pas urgent...
En outre, si tu fais une simple copie du hosts d'origine dans /etc/default, ça t'évite les erreurs genre 'uname -n', qu'un lecteur moyen ne verra pas. Et du coup ça ne fonctionnera pas ! A cause des guillemets : c'est `uname -n` avec des guillemets obtenus par altgr 7

Dernière modification par Rufus T. Firefly (Le 28/03/2016, à 10:49)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 09/03/2016, à 15:42

Mise à jour fichier hosts

#2 Le 09/03/2016, à 18:05

Re : Mise à jour fichier hosts

#3 Le 26/03/2016, à 11:15

Re : Mise à jour fichier hosts

#4 Le 26/03/2016, à 12:20

Re : Mise à jour fichier hosts

#5 Le 26/03/2016, à 13:31

Re : Mise à jour fichier hosts

#6 Le 26/03/2016, à 13:44

Re : Mise à jour fichier hosts

#7 Le 26/03/2016, à 15:31

Re : Mise à jour fichier hosts

#8 Le 26/03/2016, à 18:48

Re : Mise à jour fichier hosts

#9 Le 26/03/2016, à 19:04

Re : Mise à jour fichier hosts

#10 Le 26/03/2016, à 19:10

Re : Mise à jour fichier hosts

#11 Le 26/03/2016, à 19:39

Re : Mise à jour fichier hosts

#12 Le 26/03/2016, à 19:52

Re : Mise à jour fichier hosts

#13 Le 26/03/2016, à 19:54

Re : Mise à jour fichier hosts

#14 Le 26/03/2016, à 19:57

Re : Mise à jour fichier hosts

#15 Le 26/03/2016, à 20:02

Re : Mise à jour fichier hosts

#16 Le 26/03/2016, à 20:03

Re : Mise à jour fichier hosts

#17 Le 26/03/2016, à 20:13

Re : Mise à jour fichier hosts

#18 Le 26/03/2016, à 20:31

Re : Mise à jour fichier hosts

#19 Le 26/03/2016, à 21:07

Re : Mise à jour fichier hosts

#20 Le 26/03/2016, à 21:38

Re : Mise à jour fichier hosts

#21 Le 26/03/2016, à 21:53

Re : Mise à jour fichier hosts

#22 Le 28/03/2016, à 10:20

Re : Mise à jour fichier hosts

#23 Le 28/03/2016, à 10:27

Re : Mise à jour fichier hosts

#24 Le 28/03/2016, à 10:34

Re : Mise à jour fichier hosts

#25 Le 28/03/2016, à 10:40

Re : Mise à jour fichier hosts

Pied de page des forums