[1fichier] "Montez" votre stockage 1fichier en une commande simple !

xxx31fr · Le 09/06/2019, à 10:47

Bonjour,
Ah d'accord, je comprends.
C'est donc quasi impossible a moins qu'un service de cloud storage intègre une fonctionnalité "built-in" de client torrent.

Merci
Cdlt

Zakhar · Le 09/06/2019, à 10:49

Ca existe s'appelle une SeedBox !

En gros c'est un serveur dans le "cloud" avec un stockage local et les outils Torrent.

... ou sans aller jusque là, si vous êtes chez Free, la Freebox fait ça nativement. C'est d'ailleurs elle qui me télécharge gentiment mes iso d'Ubuntu, et comme je suis généreux, je mets même un ratio de partage de 100 !

Dernière modification par Zakhar (Le 09/06/2019, à 10:51)

xxx31fr · Le 09/06/2019, à 10:54

Zakhar a écrit :

Ca existe s'appelle une SeedBox !
[...]

Oui, je connais (ex: offcloud, seedr, etc...etc...)
Je me sers de mon serveur dédié comme seedbox, mais, lespace disque que j'ai est trop limite, du coup, je voulais trouver une solution pour dl directement sur un stockage cloud, sans passer par un DL en local.

Zakhar · Le 09/06/2019, à 11:04

Il y a malheureusement peu d'espoir que ça fonctionne de façon satisfaisante. Cependant, je regarderai ça quand j'en serai à l'écriture aléatoire... l'autre inconvénient qu'on aura alors, c'est que ça va bouffer en bande passante. Si elle est également limitée sur votre serveur, on ne résoudra pas le problème.

En effet, l'implémentation en cours uploade le fichier en morceaux (morceaux variables selon la mémoire dispo, mais jamais moins de 64Mb). Une fois tout uploadé, deux solutions sont possibles, on relit les morceaux comme si c'était un seul fichier (j'ai un code qui fait ça : mfs), ou alors on "concatène" pour refaire un seul fichier sur le serveur. Avec cette option, un upload de 1G coûte 3G : 2G up et 1G down. Ca évite certes du stockage local... mais au détriment de la bande passante.

... il n'y a rien de gratuit et d'idéal pour contourner la limite du "write" qui est en fait une limite "théoriquement" impossible.

Par contre, si le cas d'usage le rend possible, il est sans doute possible de faire des scripts pour déplacer les fichiers dont le téléchargement est fini vers le stockage cloud.

[Edit] en fait ça pourrait être réaliste (avec le coût du triple de bande passante), mais en modifiant le client torrent pour qu'on connaisse la taille des blocs à écrire.

Dernière modification par Zakhar (Le 09/06/2019, à 11:11)

xxx31fr · Le 09/06/2019, à 13:03

Rebonjour,

Dans la mesure où mon hébergeur me propose du traffic illimité, pour moi, ça ne pose pas de problème.

cordialement.

Sauriez-vous, si avec Google drive, ça marcherait pareil q'avec 1fichier?

Zakhar · Le 09/06/2019, à 13:05

Google Drive ou Dropobox ou 1fichier, c'est tout pareil, le Write est juste en séquentiel. (ou alors c'est que le driver utilise un support local en temporaire, comme aufs pour les Linux Live)

Dernière modification par Zakhar (Le 09/06/2019, à 13:06)

xxx31fr · Le 09/06/2019, à 13:19

Ok, donc une fois implémenté dans le driver 1fichier pour l'écriture en séquentiel, il serait pas trop compliqué de l'adapter pour du google drive ou autre, si je comprends bien?

Zakhar · Le 09/06/2019, à 13:21

Les drivers pour Google existent déjà.

xxx31fr · Le 09/06/2019, à 13:29

Zakhar a écrit :

Les drivers pour Google existent déjà.

si vous pensez à google-ocalm-fuse, gcfs ou autres, l'écriture en séquentiel ne fonctionne pas.

Zakhar · Le 09/06/2019, à 13:37

xxx31fr a écrit :

Zakhar a écrit :
Les drivers pour Google existent déjà.
si vous pensez à google-ocalm-fuse, gcfs ou autres, l'écriture en séquentiel ne fonctionne pas.

Je ne les ai pas essayés... bah alors c'est fâcheux. L'écriture est toujours galère, et désolé, je n'ai pas de plan pour travailler gratuitement pour Gogole. En réalité je n'utilise plus du tout leurs services !..

Mais 1fichierfs est open source, on peut donc récupérer les idées... si toutefois elles sont applicables à GDrive ce qui n'est pas vraiment certain !

Et vraisemblablement, cela serait sans doute aussi limité à de l'écriture séquentielle.

<Mode coup de gueule>
Google est une grosse boîte U.S. qui gagne des milliards, ne paye aucun impôt en Europe, et commence à être "evil" malgré les préceptes de ses patrons. Par exemple, ils fournissent un driver "officiel" pour W$... mais Linux, on peut toujours se brosser ! Et pourtant ils piochent joyeusement dans l'Open Source, n'est qu'à voir ChromeBook/Android avec le noyau Linux. Bon, heureusement c'est aussi un des plus gros contributeurs... mais ça sert leur modèle économique.
A l'opposé, 1fichier est une petit boîte française. Les gars sont courageux avec tous les bâtons dans les roues que les "officiels" cherchent à leur mettre, et ils ont un personnel très limité. Leur service est sans commune mesure moins cher de Google au Giga octet, et la performance est géniale. Aussi, leur modèle économique n'est pas de chercher à lire mes données (ce qui ne m'empêche bien sûr pas de chiffrer à la source mes sauvegardes). Je suis donc très content de contribuer à aider cette petite boîte Française, en produisant un driver qui en plus sert à mes propres besoins.
Si on compte ne serait-ce que le temps que les pauvres ont mis à répondre à mes mails... j'ai largement bouffé l'argent que je leur ai versé pour mes abonnements.

Donc, pas question que j'aide Googl€ : militantisme oblige. S'ils le voulaient, ils auraient largement les moyens de produire un driver "de qualité" tournant nativement sur Linux. C'est super simple avec Fuse, bien plus facile que sur W$. En plus, comme je n'utilise plus du tout leurs services (sauf Gmail en compte "anonyme"), même pas la recherche, je ne vais pas leur faire ce "cadeau".
</Mode coup de gueule>

Dernière modification par Zakhar (Le 09/06/2019, à 13:53)

Zakhar · Le 09/06/2019, à 16:04

xxx31fr a écrit :

Bonjour @Zakhar,
Je vous remercie pour votre réponse.
Je pensais qu'il serait possible d'utiliser le montage 1fichier comme un disque local sdb avec les même fonctionnalités.
C'est aussi que dans ce sens là que je cherche à monter un stockage type google drive comme un "vrai disque" NAS ou USB pour permetttre aussi bien de l'écriture séqentielle que aléatoire sans stockage temporaire en local (surtout si le stockage local est très faible)
Cdlt

En fait merci de ton intervention, ça m'a donné une idée pour l'écriture... et ce que tu cherches devrait être possible via une astuce.
Par contre ça risque deux choses :
- consommer de la mémoire (combien de RAM disponible sur le serveur ?)
- consommer plus de disque que la taille brute des fichiers sur 1fichier (mais vu le prix du stockage "étendu" ce n'est sans doute pas bien grave).

... il faudra être patient cependant, c'est pas pour demain, ya du taf ! ;-)

L'idée est d'écrire en blocs de 4Mo, regroupés ensemble en 64/128/256Mo, et de tenir une table d'allocation.
Comme la taille limite des fichiers sur 1fichier est fixée à 100Go, ça nous fait une table d'allocation de 128k assez raisonnable. Par contre, les blocs de 4Mo ne seront écrits par paquets que quand ils sont pleins, et c'est là qu'on a besoin de RAM si on a du torrent qui écrit aléatoirement partout !

Pour éviter de tomber en erreur, on peut alors faire des montages "loop" sur des fichiers de 100Go formatés en ext4 avec un cluster à 4Mo. En principe ça devrait alors n'écrire que des blocs entiers de 4Mo et éviter l'épuisement mémoire... ou plutôt c'est le kernel qui va alors gérer !..

La ré-écriture consomme alors de nouveaux paquets, ce qui fait que si on écrit plusieurs fois des choses différentes on va se retrouver avec des données écrites inutiles.
Après, on peu faire un machin qui "nettoie" les écritures inutiles en tâche de fond.

Est-ce que 100Go seraient Ok pour le cas d'usage... parce que de toute façon c'est la limite de taille des fichiers sur 1fichier.

... et bien sûr on peut avoir plusieurs montages "loop", donc plusieurs conteneurs de 100Go.

Dernière modification par Zakhar (Le 09/06/2019, à 16:59)

xxx31fr · Le 09/06/2019, à 17:11

Zakhar a écrit :

En fait merci de ton intervention, ça m'a donné une idée pour l'écriture... et ce que tu cherches devrait être possible via une astuce.
Par contre ça risque deux choses :
- consommer de la mémoire (combien de RAM disponible sur le serveur ?)
- consommer plus de disque que la taille brute des fichiers sur 1fichier (mais vu le prix du stockage "étendu" ce n'est sans doute pas bien grave).
[...]
... il faudra être patient cependant, c'est pas pour demain, ya du taf ! ;-)
... et bien sûr on peut avoir plusieurs montages "loop", donc plusieurs conteneurs de 100Go.

re, j'ai 96go de ram sur mon serveur.
j'avais pas imaginé l'idée de stocker en ram.
Maintenant que vous l'évoquez, c'est vrai que c'est une bonne idée.

Juste pour finir la parenthèse sur gdrive, c'est parce que j'ai un compte avec drive illimité que je demandais cela, mais, j'avoue que 1fichier, qui est français, est une boîte super sérieuse, avec de très nombreuse update/upgrade sur leurs hardware et software, et au vu du prix du cold storage : 1euro/To (en ce moment, pour un abo 12 mois), c'est juste une offre imbattable comparé au offres des Google, amazon et autres dropbox ou backblaze.....donc, oui, 1fichier est franchement génial!

juste, si possibilité d'utiliser le stockage de 1fichier comme un vrai disque, alors, j'aurai même plus besoin de disque dur chez moi, donc, une méga économie!!!!

[edit]: Avez-vous un github avec les sources du projet, je peux essayer de vous aider sur des petits correctifs mineurs (je viens de terminer mon BTS SIO slam)

Dernière modification par xxx31fr (Le 09/06/2019, à 17:13)

Zakhar · Le 09/06/2019, à 17:19

xxx31fr a écrit :

re, j'ai 96go de ram sur mon serveur.
j'avais pas imaginé l'idée de stocker en ram.

Ca c'est de la bestiole ! J'avais imaginé un truc anémique à 512Mo...

Je bave là, mon desktop a 32Go et parfois je me dis que j'aurais dû mettre plus !

Alors selon la taille de vos torrent, il y a un truc beaucoup plus simple, c'est carrément stocker en RAM.

Par défaut /dev/shm est monté en RAM, et j'ai pris pour habitude de monter aussi /tmp en RAM.

La valeur par défaut est de la moitié de la RAM, mais ça se paramètre facilement.

Exemple dans mon /etc/fstab:

# /tmp et /var/tmp en RAM
none           /tmp		tmpfs   size=16G,nr_inodes=100k,mode=01777,noatime,nodev,nosuid      0       0
none           /var/tmp		tmpfs   size=4G,nr_inodes=100k,mode=01777,noatime,nodev,nosuid       0       0

Donc avec 96Go de RAM... même en supposant que vous consommez allez... 6Go de RAM, ça en laisse 90. Vous pouvez alors tester avec disque en RAM de 80Go, ça laissera encore 10Go de marge pour le système.

80Go c'est déjà pas mal... après c'est sûr que si ce sont des torrent à 50Go l'un... ça n'en fait même pas 2.

Ce serait une option sans commune mesure plus performante que "swapper" sur 1fichier !.. Bien sûr stocker en RAM est encore bien plus performant que n'importe quel SSD. ;-)

Dernière modification par Zakhar (Le 09/06/2019, à 17:20)

xxx31fr · Le 09/06/2019, à 17:24

effectivement, maintenant, à savoir que sur mon serveur, j'ai pas mal de VMs et services, et toutes se partagent les 96 go de ram, donc, j'ai pas 96 go à pouvoir allouer juste pour les torrents.

Zakhar · Le 09/06/2019, à 17:26

Je me disais bien... 96Go pour des Torrent ça fait la machine de riche et c'est pas logique par rapport à la demande de manque de d'espace disque.

Il reste donc combien de RAM une fois l'espace pris par les VM retiré ?

C'est vrai qu'il m'arrive aussi d'avoir 3 VM qui tournent en parallèle sur mon desktop. Avec 32Go de RAM, ça bouge pas d'une oreille !

A savoir que si vous allouez 48Go de RAM à /tmp et que seulement 30Go sont occupés, l'espace inoccupé est en fait de la mémoire disponible grâce à la gestion de la mémoire en "virtuel" du kernel.

Sur mon PC portable à 8Go de RAM, j'ai mis 6Go de /tmp et ça ne m'empêche pas de faire tourner des VM + autre chose, le tout dépassant allègrement 4Go, sans swapper tant qu'il n'y a à peu près rien dans /tmp.

La taille indiquée pour le disque RAM n'est donc que le "maximum".

Dernière modification par Zakhar (Le 09/06/2019, à 17:30)

xxx31fr · Le 09/06/2019, à 17:31

je pense pouvoir allouer 32go de ram pour la VMs qui abritera mon client bittorrent

Zakhar · Le 09/06/2019, à 17:33

Ce qui lui fait par défaut 16Go de RAM-disk, mais si elle ne fait tourner qu'un client torrent, vous pouvez sans doute facilement monter à 30Go

xxx31fr · Le 09/06/2019, à 17:37

hum, par certain qu'il y aura qu'un seul client torrent, si je peux partager avec mes frères, ça serait top.

Zakhar · Le 09/06/2019, à 17:38

Oui chacun son iso d'ubuntu téléchargée en Torrent.
Enfin à 30Go on stocke une 20 d'images Linux !

xxx31fr · Le 09/06/2019, à 17:42

ok, ça devrait donc aller.

Zakhar · Le 10/06/2019, à 20:51

(10 Juin 2019) Version 1.4.1

Nouveautés par rapport à la 1.4.0

Crash : dans la lecture des statistiques sous certaines conditions (je me demande comment ce bout de code écrit avec les pieds pouvait bien fonctionner ! ).

Mise à jour recommandée si vous comptez afficher les statistiques.

Dernière modification par Zakhar (Le 10/06/2019, à 20:55)

jaxx21 · Le 13/06/2019, à 13:41

Zakhar a écrit :

(10 Juin 2019) Version 1.4.1
Nouveautés par rapport à la 1.4.0
Crash : dans la lecture des statistiques sous certaines conditions (je me demande comment ce bout de code écrit avec les pieds pouvait bien fonctionner ! ).
Mise à jour recommandée si vous comptez afficher les statistiques.

mdrrrr, pour des simples mortels comme nous, c'est passé inaperçu lol. Merci à toi.

Zakhar · Le 13/06/2019, à 13:49

Je devais penser à autre chose en écrivant ce bout de code... et par "malchance", dans la plupart des cas il marchait !
Donc je ne me suis pas aperçu de la bourde tout de suite.

Dernière modification par Zakhar (Le 13/06/2019, à 13:50)

Zakhar · Le 15/06/2019, à 17:40

ANNONCE :

Voir post #1.

Le driver bute actuellement sur des limites imposées par le serveur sur les petits fichiers. La team 1fichier ne souhaite pas changer ce comportement du serveur par crainte d'attaque.

Pour éviter que des actions que vous fassiez innocemment, comme archiver un répertoire contenant 1000 photos (2 clics de souris) vous fasse passer pour des attaquants, et pour préserver le service tel qu'il est et qui nous plaît bien, je suspens le développement en l'état.

Bien sûr les bugs potentiels continueront à être corrigés.

Désolé pour ceux qui attendaient l'écriture, je ne vais pas l'implémenter, mais me consacrer maintenant plutôt au driver http(s) générique (astreamfs) qui a pris du retard.

Dernière modification par Zakhar (Le 15/06/2019, à 17:44)

jaxx21 · Le 16/06/2019, à 14:23

Aucun soucis, ce que tu as fait est Terrible !!! Mon plex tourne bien bien mieux que Rclone avec GoogleDrive. Dynamique, Rapide, fluide que du bonheur. Merci à toi.
Pour L'écriture, j'utilise leur FTP. Ça évite des demandes d'api supplémentaires. J'ai pas trop compris avec plex comment le nombre de demandes se faisait. Scan, click de lecture. marche arrière ou avant. En tout cas ça plante pas et cela grâce toi. Donc, merci

Dernière modification par jaxx21 (Le 16/06/2019, à 14:26)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#126 Le 09/06/2019, à 10:47

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#127 Le 09/06/2019, à 10:49

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#128 Le 09/06/2019, à 10:54

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#129 Le 09/06/2019, à 11:04

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#130 Le 09/06/2019, à 13:03

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#131 Le 09/06/2019, à 13:05

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#132 Le 09/06/2019, à 13:19

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#133 Le 09/06/2019, à 13:21

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#134 Le 09/06/2019, à 13:29

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#135 Le 09/06/2019, à 13:37

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#136 Le 09/06/2019, à 16:04

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#137 Le 09/06/2019, à 17:11

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#138 Le 09/06/2019, à 17:19

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#139 Le 09/06/2019, à 17:24

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#140 Le 09/06/2019, à 17:26

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#141 Le 09/06/2019, à 17:31

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#142 Le 09/06/2019, à 17:33

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#143 Le 09/06/2019, à 17:37

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#144 Le 09/06/2019, à 17:38

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#145 Le 09/06/2019, à 17:42

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#146 Le 10/06/2019, à 20:51

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#147 Le 13/06/2019, à 13:41

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#148 Le 13/06/2019, à 13:49

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#149 Le 15/06/2019, à 17:40

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#150 Le 16/06/2019, à 14:23

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Pied de page des forums