logiciel de gestion de favoris

Serpolet · Le 13/07/2023, à 22:40

Bonsoir

Je me suis aperçu que j'avais des favoris que je cumule depuis des années sur différents navigateurs

J'ai commencé à fusionner ceci

Mais le fichier fait presque 200MB !

Du coup les navigateurs finissent par crasher lors du tri

Je voulais accéder au dossier le plus gros pour faire des sous dossiers A, B, C etc en me disant que ça pourrait "alléger" (la mémoire ?) et arrêter de crasher

Mais impossible à cause des crashs systématiques lorsque je veux rentrer dans ce dossier "à trier"

Je me demandais donc s'il existait un logiciel extérieur aux navigateurs pour gérer mes favoris, les exporter "propres" (sans doublons avec aussi ces sous-dossiers) et les importer dans mon navigateur principal ?

Je suis sur Focal

Merci pour votre aide

Serpolet

Vobul · Le 14/07/2023, à 03:15

Pour Firefox, les favoris sont contenus dans places.sqlite (c'est bien de ce fichier dont tu parles ?). Donc tu peux utiliser sqlite pour manipuler les données.

Je ne sais pas pour les autres navigateurs.

Mais peut-être que cela pourrait être bénéfique de réfléchir à ton besoin. Je parie que de nombreux sites sont défunts, quelle est l'utilité de garder ces signets ? Quelle utilisation as-tu pour en avoir autant ? Et surtout quel besoin peuvent-ils avoir après de nombreuses années. Soit le site n'existe plus (probable), soit la page n'existe plus (très probable), soit l'information contenue est caduque.

Ce serait intéressant que tu nous expliques pourquoi t'as autant de signets !

Aussi, une fois que t'auras fait le ménage, je te conseille fortement la synchronisation avec un compte Firefox. C'est vraiment super bien fait et pratique.

J'ai commencé à fusionner ceci

Comment ?

Coeur Noir · Le 14/07/2023, à 04:26

Mmm… ouais, faudrait s'entendre sur la définition de « favoris » ici.

Tous ( ? ) les navigateurs web permettent d'exporter les « favoris, les marque-pages » ( bookmarks ) dans un fichier …html
Faudrait avoir une sacré quantité de marques-pages pour qu'un tel export pèse dans les 200MB…

Je suspecte que ça n'est pas seulement les « favoris / marques-pages » que tu évoques ici ?

Serpolet · Le 14/07/2023, à 05:21

Vobul a écrit :

Pour Firefox, les favoris sont contenus dans places.sqlite (c'est bien de ce fichier dont tu parles ?). Donc tu peux utiliser sqlite pour manipuler les données.
Je ne sais pas pour les autres navigateurs.
Mais peut-être que cela pourrait être bénéfique de réfléchir à ton besoin. Je parie que de nombreux sites sont défunts, quelle est l'utilité de garder ces signets ? Quelle utilisation as-tu pour en avoir autant ? Et surtout quel besoin peuvent-ils avoir après de nombreuses années. Soit le site n'existe plus (probable), soit la page n'existe plus (très probable), soit l'information contenue est caduque.
Ce serait intéressant que tu nous expliques pourquoi t'as autant de signets !
Aussi, une fois que t'auras fait le ménage, je te conseille fortement la synchronisation avec un compte Firefox. C'est vraiment super bien fait et pratique.
J'ai commencé à fusionner ceci
Comment ?

Hello

Je parle d'une exportation en html depuis FF, Chromium et ses dérivés (Brave, Vivaldi entre autre) etc

Je teste les navigateurs, parfois ils ne sont plus adaptés à mes usages donc je reviens à d'anciennes amours qui ont elles la petite option qui va bien et qui m'est utile

J'ai aussi certains navigateurs pour certains usages

Pendant des mois j'ai utilisé Vivaldi mais sa gestion mémoire (pourtant j'ai 32 de RAM) était catastrophique, j'avais de + en + de plantées etc alors je suis passé à autre chose

Si jamais, quel logiciel pour manipuler sqlite ?

Très probablement que des liens ne sont plus valables, que le site n'existe plus, que des refontes font qu'on trouve des 404 etc, il y avait des doublons que j'ai pu enlever avec le plugin Abookmark.0.31.3

Je fais de l'informatique depuis > 40 ans, j'ai commencés à programmer sur des TI 59c

L'utilité ? souvent je ne retrouve pas l'information par un moteur de recherche mais par mes favoris si, un autre aspect est que pour moi c'est comme les likes sur les réseaux sociaux quand j'y étais, cela me permet de savoir que je suis déjà passé par là (oui je likais pour ça pas pour avaliser) donc c'est "ha je connais ce site ? mmh donc j'ai d'autres informations ailleurs et paf je peux revenir à mes bookmark" (j'aurais pu regarder là en premier, certes, après les moteurs de recherches ont plus de clés dont les dorks, à savoir que j'ai une pensée en arborescence, depuis une branche je peux souvent partir / revenir ailleurs)

Tu parles de synchronisation, je le faisais depuis Vivaldi justement, après si tu ne peux pas manipuler tes infos, à quoi bon ?

Dans mon exemple de vouloir entrer dans le dossier le plus conséquent de mes bookmark fait planter le navigateur ! je ne peux donc faire le nettoyage idoine, créer les sous-dossiers dans un soucis de clarté et alléger la base de données de ces favoris etc de synchroniser en ce cas, quel serait l'avantage pour la manipulation des dites données ?

Le j'ai fusionné, c'est fait en important mes "favoris.html" en un seul navigateur, justement dans ce soucis d'optimiser (doublons entre autres et les 404)

Est-ce que cela a répondu à ta question ?

Merci pour ton aide

Serpolet

Serpolet · Le 14/07/2023, à 05:34

Coeur Noir a écrit :

Mmm… ouais, faudrait s'entendre sur la définition de « favoris » ici.
Tous ( ? ) les navigateurs web permettent d'exporter les « favoris, les marque-pages » ( bookmarks ) dans un fichier …html
Faudrait avoir une sacré quantité de marques-pages pour qu'un tel export pèse dans les 200MB…
Je suspecte que ça n'est pas seulement les « favoris / marques-pages » que tu évoques ici ?

Hello Coeur Noir

Oui cela fait une sacré quantité, avec le plugin précités je vois un dossier de 50050 liens !

J'ai vu internet avant le web, dès les prémices du web je suis tombé dedans tel un Astérix, je voulais en être dans les 2 cas tout comme pour l'AI (ChatGPT / Bard etc) maintenant je sens quelque chose en moi qui trépigne, je sens le tournant et ai envie d'apprendre du coup je prends des renseignements et hop ma boulimie dans le bookmark en reprend un coup ....

A nouveau cela représente +- 40 ans de ma vie et avec le web une grosse trentaine, j'ai entendu parler de Linux dans les années 90 mais le pratique depuis à peine 10 ans ce qui avait donné une seconde jeunesse à des Windows moribonds, les ordis j'étais prêts à les amener à la déchetterie et au total je les ai eus 15 ans, c'est ainsi que j'ai découvert XFCE, j'ai même été promu modo sur le fofo francophone, j'en ai eu marre des trolls, j'ai démissionné de là tout en remerciant les admins pour leur confiance et aussi d'autres lieux car j'en pouvais plus de faire le service d'ordre et de gérer une pouponnière et autres crises d'ados, j'ai changé de pseudo par la même occasion

Sisi, en allant dans la section favoris du navigateur et en exportant en html j'y suis

sans doublons (après le passage dans le fameux plugin précité)

avec doublons

Merci pour ton aide

Belle journée

Serpolet

Serpolet · Le 14/07/2023, à 05:37

le fameux dossier de 50050

iznobe · Le 14/07/2023, à 06:45

Bonjour , la synchronisation de firefox , ca permet de faire ton menage et tri dans les favoris sanspour autant acceder directement au fichier qui les contient . Tout ca est sauvegardé en externe en temps reel .

tu peux alors facilement rapatrié tes favoris ( mais pas que eux d' ailleurs ) sur le navigateur de ton smartphone par exemple ( ou un autre ordi ) juste en activant la synchro , pas besoin de bidouiller des fichiers , de faire des imports / exports.

je serais etonné que firefox plante en gerant les favoris , juste parcequ ' il yen a beaucoup . y a probablement autre chose .

Dernière modification par iznobe (Le 14/07/2023, à 06:46)

Vobul · Le 14/07/2023, à 14:29

Serpolet,

Merci pour tes précisions, je comprends mieux, même si j'ai du mal à considérer l'utilité de 50.000 bookmarks. Mais c'est aussi parce que j'ai tendance à ne pas trop me soucier du passé.

Si tu les as en format HTML, tu peux faire un peu de bashisme/pythonique pour les merger/nettoyer. Demande à ChatGPT de t'aider vu que ça semble t'intéresser

Tu peux même imaginer un script qui va taper l'URL, et si ça retourne une erreur, ça enlève le bookmark !

Serpolet a écrit :

Si jamais, quel logiciel pour manipuler sqlite ?

Euh, bah, ... sqlite !

https://www.sqlite.org/index.html

iznobe · Le 14/07/2023, à 15:06

avec firefox , y a plein d' addons qui peuvent gerer les 404 , et d' autres trucs du moment que le favori n' est pas bon , suffit de regarder dans les parametres de FF , extensions ,=> recherche entre " bookmark " , y en a des centaines , dejà tout pret , pas besoin de faire de script .

Coeur Noir · Le 14/07/2023, à 15:45

Ok, bah au moins ça précise le contexte.

Je reste étonné de la taille de ce fichier .html : 137 ou 191 MiB.
Ça fait + de 20 millions de caractères, pour ± 50000 entrées dans tes marque-pages soit potentiellement 400 caractères pour chacune…

…est-ce qu'on est dans des grandeurs cohérentes ? ( les url + un peu de code html autour ).

Sauvegarde ces fichiers.
Ouvres-en une copie dans un éditeur de texte voire un éditeur de code.

Je suspecte - sans certitude - qu'il y aura un peu trop d'info texte relative à des images / des favicon ?

iznobe · Le 14/07/2023, à 17:37

doit aussi y avoir le code HTML et / ou sqlite .
c' est le fait de l' exporter dans un format precis et comprehensible qui ajoute des caracteres . ca doit presque doubler le volume je pense . mais c' est clair que ca en fait beaucoup . En 40 ans on en accumule des choses

tu peux peut etre donner quelques lignes par exemple avec head ou tail sur le fichier en question .

Dernière modification par iznobe (Le 14/07/2023, à 17:38)

Vobul · Le 14/07/2023, à 18:42

Alors j'ai regardé avec firefox, en fait les favicons sont en base64, donc forcément ça ajoute MASSE de caractères.

Mais si on parse le document et qu'on vire l'attribut ICON et sa valeur, ça devrait déjà grandement réduire le truc.

Coeur Noir · Le 15/07/2023, à 23:18

Oui, je voulais pas trop entrer dans les détails.

Reste à savoir si c'est bien ce qui se passe ( par ex. y a-t-il un favicon pour chaque url stockée dans les marques pages ? )

Serpolet · Le 20/07/2023, à 06:42

Bonjour

Je ne vous ai pas oublié

J'ai synchronisé FF comme suggéré

J'ai pu créé des dossier de A à Z

Je suis en train de faire un tri manuel (déplacer du dossier à trier dans le bon endroit)

Je vous tiens informé de la suite

Merci encore à tout le monde pour votre précieuse aide

Serpolet

PS oui il y a presque toujours 1 favicon / url

Coeur Noir · Le 20/07/2023, à 16:42

Un par lettre d'alphabet ?
Pourquoi pas… y'a une ( petite ) chance que des dossiers restent vides, et quid d'un nom de site genre 1001astuces.truc ?

Tu aurais pu faire un dossier par « intervalle » :
⋅ A-E
⋅ F-J
⋅ K-O
⋅ P-T
⋅ U-Z
⋅ 0-9

Je ne sais pas si c'est « souhaitable » qu'il y ait un favicon par url écrit dans les favoris mais en tout cas, les favicon ( traduits en texte base64 ) prennent plus de place que les url qui leur correspondent.

Vobul · Le 20/07/2023, à 18:18

Coeur Noir a écrit :

Je ne sais pas si c'est « souhaitable » qu'il y ait un favicon par url écrit dans les favoris mais en tout cas, les favicon ( traduits en texte base64 ) prennent plus de place que les url qui leur correspondent.

J'pense que la personne qui a écrit ce code d'export ne se doutait pas que quelqu'un allait arriver avec ses 50.000 favoris accumulés depuis 1996...

Coeur Noir · Le 20/07/2023, à 18:37

Oui, vrai. Et c'est pas un truc qui a changé ces dernières années, ça, les favicons ?

Ça se trouve aujourd'hui ils ne sont pas tous (ré)écrits par là, dans les favoris ? ( ai pas vérifié. )

Serpolet · Le 22/07/2023, à 09:48

juste pour se (me) faire peur (après fusion et classement manuel du binz)

le plugin a fait moins de 70 actions avant de planter .... FF était à 11G et > 100% de CPU sur un 16 coeurs ....

c'est également l'une des raisons de mes subdivisions de # à Z, en passant par L, La, Le, Les, Li, Lo, Lu

le # inclut les caractères spéciaux et surtout les chiffres / nombres

aucun dossier n'est vide

comme le jeu : hâtes-toi lentement ...

merci encore

Serpolet

Vobul · Le 22/07/2023, à 11:17

Pour le fun tu pourras tenter de les visiter ces bookmarks. Si tu t'y mets 8 heures par jour, à 5 secondes par bookmark ça ne te prendra qu'un peu plus de 100 jours

Serpolet · Le 03/08/2023, à 20:29

Hello tout le monde, je ne vous ai pas oublié

Quelle que soit la méthode, plugin ou à la main, les browsers plantent

J'en ai eu marre et ai demandé à un ami informaticien à la retraite, qui me dit :

1) Ton navigateur a enregistré à la fois l'URI de l'icône de l'URL d'un site et une image de cette icône en base64. La représentation d'une image en base64 a l'avantage d'être universel et permet de stocker localement une image sans à avoir à la rechercher sur le ouèbe, mais cela est terriblement vorace au niveau de la mémoire.

2) prendre un simple éditeur de texte (pas un traitement de texte) qui supporte les expressions régulières (regexp)

3) Ensuite tu effectues un rechercher/remplacer global

4) chercher (ICON="data:image.*") remplacer par (rien/vide/nada)

5) chercher ^(.*)(\r?\n\1)+$ replacer par \1

et voilà-voilou...

Résultat

ça change, n'est-ce pas ?

Si vous n'avez rien à rajouter, je pense que je peux mettre le thread comme résolu ?

Merci encore à toutes les bonnes volontés

Serpolet

+++
J'ai demandé l'explicatif du code :

Donc ^(.*)(\r?\n\1)+$

^ = début de ligne
$ = fin de ligne
(.*) = on prend tous les caractères entre le début de ligne et la fin de ligne
(\r?\n\1) = à au moins une ligne suivante, on recherche le contenu du groupe 1 = ici (.*)
+ = on répète ça autant de fois que l'assertion de recherche est vérifiée

et on remplace par \1 = toutes les assertions trouvées par une seule (.*)

Dernière modification par Serpolet (Le 03/08/2023, à 20:31)

Vobul · Le 03/08/2023, à 21:51

C'était le sens de mon message en #12.

Serpolet · Le 04/08/2023, à 00:59

en effet, mais je n'avais pas le parser (et ne l'ai toujours pas ....)

là ce n'est pas encore bon, j'ai constaté qu'en triant par url depuis FF, qu'il y a encore des doublons

je vais recontacter mon ami pour qu'il m'explique comment améliorer son script

bonne nuit

krodelabestiole · Le 04/08/2023, à 01:24

j'utilise l'extension bookmarks de nextcloud.

on peut profiter d'un système de tags, il existe des extensions pour la plupart des navigateurs.
nextcloud c'est un peu un tractopelle pour un si petit projet mais quand on prend en compte toutes les infos qu'on tient à synchroniser, ça s'inscrit parfaitement dans ce projet plus vaste...

Serpolet · Le 04/08/2023, à 02:23

je viens de faire une découverte

v10 a été importé dans FF

v11 a été exporté de FF, sans modif

pfff je ne suis pas sorti de l'auberge

je ne comprends pas ce qui se passe, pourtant la synchro est coupée, j'ai effacé " places.sqlite " avant d'importé v10

je vais aller me coucher

PS merci mais, non merci pour le tractopelle, je ne veux pas installer nexcloud, vraiment je cherche le moyen de virer les doublons

Serpolet · Le 04/08/2023, à 08:16

Bonjour

J'ai la réponse :

Ensuite, pour ton problème de "doublons", il s'agit là d'un vieux problème des navigateurs ouèbes qui considèrent une adresse IP comme une URL statique ne devant pas être résolue (pas d'appel DNS). En fait c'est une mauvaise idée d'utiliser une adresse IP dans une URL, car elle peut vite prêter à confusion (par exemple au lieu d'entrer 127.0.0.1 tu peux entrer 2130706433 ou remplacer http://192.168.1.1 par http://3232235777 ou encore http://0x C0A80101
Il vaut donc mieux utiliser un FQDN, par exemple, pour http://127.0.0.1 tu peux utiliser http://localhost.
Tu peux définir des noms en local dans le fichier /etc/hosts : le stack IP ira toujours regarder ce fichier AVANT* de faire une résolution DNS (demande un droit root pour le modifier). Tu peux aussi agir au niveau du serveur DHCP de ton routeur et l'utiliser comme DNS local.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 13/07/2023, à 22:40

logiciel de gestion de favoris

#2 Le 14/07/2023, à 03:15

Re : logiciel de gestion de favoris

#3 Le 14/07/2023, à 04:26

Re : logiciel de gestion de favoris

#4 Le 14/07/2023, à 05:21

Re : logiciel de gestion de favoris

#5 Le 14/07/2023, à 05:34

Re : logiciel de gestion de favoris

#6 Le 14/07/2023, à 05:37

Re : logiciel de gestion de favoris

#7 Le 14/07/2023, à 06:45

Re : logiciel de gestion de favoris

#8 Le 14/07/2023, à 14:29

Re : logiciel de gestion de favoris

#9 Le 14/07/2023, à 15:06

Re : logiciel de gestion de favoris

#10 Le 14/07/2023, à 15:45

Re : logiciel de gestion de favoris

#11 Le 14/07/2023, à 17:37

Re : logiciel de gestion de favoris

#12 Le 14/07/2023, à 18:42

Re : logiciel de gestion de favoris

#13 Le 15/07/2023, à 23:18

Re : logiciel de gestion de favoris

#14 Le 20/07/2023, à 06:42

Re : logiciel de gestion de favoris

#15 Le 20/07/2023, à 16:42

Re : logiciel de gestion de favoris

#16 Le 20/07/2023, à 18:18

Re : logiciel de gestion de favoris

#17 Le 20/07/2023, à 18:37

Re : logiciel de gestion de favoris

#18 Le 22/07/2023, à 09:48

Re : logiciel de gestion de favoris

#19 Le 22/07/2023, à 11:17

Re : logiciel de gestion de favoris

#20 Le 03/08/2023, à 20:29

Re : logiciel de gestion de favoris

#21 Le 03/08/2023, à 21:51

Re : logiciel de gestion de favoris

#22 Le 04/08/2023, à 00:59

Re : logiciel de gestion de favoris

#23 Le 04/08/2023, à 01:24

Re : logiciel de gestion de favoris

#24 Le 04/08/2023, à 02:23

Re : logiciel de gestion de favoris

#25 Le 04/08/2023, à 08:16

Re : logiciel de gestion de favoris

Pied de page des forums