surveiller en CLI un téléchargement de Captvty

k3c · Le 08/03/2020, à 08:54

Avertissement : c'est juste pour le fun, vu que toutes les infos sont dans Captvty

Un téléchargement de profilage est en cours

ls -l /proc/$(pgrep Captvty)/fd | grep Profilage                                                                                                                           
lrwx------ 1 gg gg 64 mars   8 07:58 79 -> /home/gg/Vidéos/Captvty/ProfilageLouvesRTBF.be2020_03_0722_40.tmp.ts

donc le file descriptor numéro 79 est celui qui míntéresse

je le stocke

thefd=$(ls -l /proc/$(pgrep Captvty)/fd | awk '/Profilage/ {print $9}')

ce qui m'intéresse est ce qui suit
pos:

cat /proc/$(pgrep Captvty)/fdinfo/$thefd                                                                                                                                  
pos:	639233276
flags:	02104002
mnt_id:	22

donc je fais

awk '/pos:/ {print $NF}' /proc/$(pgrep Captvty)/fdinfo/$thefd                                                                                                             
656958668

et pour le répéter je fais

watch -n 10 "awk '/pos:/ {printf \$NF}' /proc/$(pgrep Captvty)/fdinfo/$thefd"

ce qui affiche

671095140
674925076

voilà, c'est sans doute bien améliorable, mais cela fonctionne :-)

Dernière modification par k3c (Le 08/03/2020, à 19:39)

kamaris · Le 08/03/2020, à 12:31

C'est instructif (en tout cas pour moi), mais est-ce que ça n'est pas plus simple de faire

lsof -p $(pgrep Captvty) | grep 'Profilage'

La 7ème colonne donne la taille du fichier, et si on veut plutôt l'offset, on peut ajouter l'option -o.

k3c · Le 08/03/2020, à 13:22

@kamaris

oui, tu as raison, en fait, j'ai repris une idée vue dans

http://yazgoo.github.io/blag/2018/10/10 … -proc.html

mais si on combine tes 2 idées, on peut afficher le pourcentage, et le débit.

kamaris · Le 08/03/2020, à 16:47

Le pourcentage, c'est pas évident, parce qu'il faudrait avoir la taille finale.
Si le logiciel de téléchargement dispose de cette info, et qu'il préalloue la taille totale, alors peut-être que c'est possible : lsof renverrait la taille finale, et lsof -o l'offset du téléchargement en cours.
Par contre, pour le débit, on peut toujours l'estimer à partir de deux valeurs successives renvoyées par la commande (la taille si elle est variable, l'offset sinon).

k3c · Le 09/03/2020, à 00:01

Je pense que la taille est dans les gros fichiers XML qui donnent des infos sur les vidéos (titre, acteurs, heure de début/fin, qualité de la vidéo...)

moko138 · Le 09/03/2020, à 02:44

Pouvez-vous obtenir l'url réelle de téléchargement ?

Si oui (mais je suppose que ce serait trop beau...) on peut faire :

wget -c URL

qui préaffiche la taille finale
et qui affiche :
- le pourcentage déjà téléchargé
- une barre de progression
- et le débit moyen depuis le début du téléchargement.

melixgaro · Le 09/03/2020, à 03:49

Le problème est que le mode de diffusion à la mode (pour des raisons techniques plus ou moins honnêtes) se fait via vidéos segmentées. Donc les URLs ne pointent pas vers une vidéo complète mais vers un bout de quelques secondes et il faut tout recoller au fur et à mesure.

Radio France s'y est mise aussi (pour de l'audio tout simple !) puisque par défaut (donc en passant par leur site web) le son est servi par segments de 4s environ. À part justifier des salaires de dévs, je ne vois pas ce qui posait problème avec le lien vers le flux (non fragmenté) mp3 (d'autant qu'il existe toujours pour l'instant). Là, où il y avait une seule transaction HTTP (pour se brancher sur le flux mp3) il y en a maintenant environ 900 (4s * 900 = 3600s = 1h) pour écouter une émission d'1h. On saluera la sobriété algorithmique dont notre époque est spécialiste (c'était de l'ironie, bien sûr).

moko138 · Le 09/03/2020, à 10:58

Mais, melixgaro,
Pour le direct :

wget https://icecast.radiofrance.fr/franceinter-lofi.aac

Et pour le podcast :

wget -c <URL>

fonctionnent malgré tout.

melixgaro · Le 09/03/2020, à 11:17

De rien moko.
Oui c'est vrai que pour RF, il y a toujours le lien direct mp3 et aac, chacun décliné en plusieurs qualités.
Pour les 900 transactions HTTP, c'est une estimation basse puisqu'en fait, il y a aussi des requêtes pour savoir quel sera le prochain fragment, donc c'est peut-être proche du double de requêtes, soit 1800 pour une heure de radio.

grandtoubab · Le 09/03/2020, à 13:46

pour info streamlink a un plugin radio.net, pour accéder à https://www.radio.net/s/franceinter

streamlink ouvre le flux sélectionné directement dans vlc

exemple

streamlink  https://www.radio.net/s/franceinter
[cli][info] Found matching plugin radionet for URL https://www.radio.net/s/franceinter
Available streams: 128k_alt (worst), 128k, 190k_alt, 190k (best)

streamlink  https://www.radio.net/s/franceinter best
[cli][info] Found matching plugin radionet for URL https://www.radio.net/s/franceinter
[cli][info] Available streams: 128k_alt (worst), 128k, 190k_alt, 190k (best)
[cli][info] Opening stream: 190k (http)
[cli][info] Starting player: /usr/bin/vlc

https://github.com/streamlink/streamlink

On peut aussi s'en servir comme alternative à Captvty

streamlink https://www.france.tv/france-5/la-grande-librairie/la-grande-librairie-saison-12/1275319-l-amour-et-la-guerre.html best -o lgl.mp4

Dernière modification par grandtoubab (Le 09/03/2020, à 14:34)

melixgaro · Le 09/03/2020, à 16:35

Oui, je trouve qu'il y a suffisamment d'outil pour ne plus parler de captvty sur linux. Pas forcément tous aussi conviviaux que captvty à l'usage mais l'installation de captvty sur linux, sans être insurmontable, n'est pas non plus à la portée de tous.

kamaris · Le 09/03/2020, à 18:31

De mon point de vue, le problème n'est pas tellement de trouver une alternative à captvty pour télécharger un fichier quand on a son url, mais plutôt pour trouver l'url en question.
C'est-à-dire un logiciel qui regroupe les programmes tv téléchargeables en replay, triés par chaine, date, heure, durée, avec une fonction de recherche selon ces critères.
Ce logiciel-là n'existe pas à ma connaissance.

Personnellement, comme les seules choses qui m'intéressent à la télé sont les documentaires sur france tv ou arte, je m'en sors avec :
- qarte, dont j'ai modifié un peu l'affichage des programmes, et auquel j'ai ajouté une fonction de tri / recherche par date, heure, durée ;
- cette page du site france tv, qui regroupe tous les documentaires des chaines du groupe : https://www.france.tv/documentaires/replay-videos/.

Pour qarte c'est bien, efficace et sans fioriture, même si un peu long à initialiser comparé à captvty.
Pour la page web des docus france tv, ça passe, même si elle est polluée par mille liens « Météo à la carte », dont on se demande bien ce qu'ils viennent faire là, et aussi divers liens vers des extraits de quelques minutes qui sont inutiles.
Mais au moins, ça n'est pas saturé de pubs, la page n'est pas trop lourde, et quand on clique sur « plus de vidéos » en bas de page, ça se charge vite, contrairement à tant de pages de programme tv en ligne…

Ensuite, une fois que j'ai mon url de téléchargement, je la passe à youtube-dl, y compris pour qarte : je préfère gérer tous mes téléchargements avec le même logiciel, et en ligne de commande.
Au final, je n'utilise donc plus captvty, mais encore une fois, c'est parce que je ne m'intéresse qu'à un type de programmes : si je voulais avoir un accès simple, rapide et unifié aux programmes tv français en général, c'est toujours vers ce logiciel que je me tournerais.

melixgaro · Le 09/03/2020, à 19:13

Merci kamaris pour ton avis !

Je comprends le besoin que tu décris mais avec un tel logiciel, plus besoin de passer par les sites des chaînes, et ça, ça me pose un problème aussi. En particulier, pour arte et francetv qui font un effort d'éditorialisation (surtout arte) et ne pas visiter le site fait passer à côté de beaucoup de chose. Arte et francetv offrent un moteur de recherche assez merdique quand même. Un seul champ, impossible de préciser si tu fais une recherche sur le titre/sous-titre/personnes/autres, impossible de chercher par date de diffussion (ou autre type de date), impossible d'exclure des familles de programmes (par exemple, les jeux), etc

k3c · Le 09/03/2020, à 21:07

@ kamaris

tu sais que Captvty v3 a une fonction de recherche par mots-clés ?

http://v3.captvty.fr/

par exemple, extrait de
https://hub.docker.com/r/k3ck3c/captvty_v3_1/

Let you search for a keyword in all the TV replay

For example, "Inspecteur Barnaby" may be found in

France3 C8 Tou.tv

Dernière modification par k3c (Le 09/03/2020, à 21:10)

kamaris · Le 09/03/2020, à 21:48

@melixgaro : la question de la visite de leur site renvoie à la question plus vaste du financement de l'audiovisuel public (si je ne me trompe pas en faisant le rapprochement), et là on dévierait trop du sujet, mais disons que pour moi, il faudrait tout revoir, depuis la manière de se financer jusqu'à la manière de dépenser l'argent.
En plus de ça, effectivement, leurs sites ne sont pas fonctionnels : ils ne sont manifestement pas conçus pour que l'utilisateur puisse faire des recherches et trouver ce qu'il veut.

@k3c : oui, j'avais vu cette fonction de recherche, ça marche pas mal d'ailleurs.
captvty est un bon logiciel, c'est juste dommage qu'il ne soit pas libre…

melixgaro · Le 09/03/2020, à 21:59

La question du financement de l'audiovisuel n'est évidemment pas complètement étrangère à la question du trafic sur les sites de rattrapage des chaînes.
La (non-)complexité du formulaire de recherche est aussi conforme à l'ère du temps avec des outils simples qui ne doivent faire qu'un nombre limité de choses, qui ne doivent surtout pas dissuader le client de s'en servir et par conséquent qui ne laisse pas une grande liberté d'action à l'utilisateur ou l'utilisatrice. D'un point de vue marketing (et donc pour ne pas effrayer l'internaute), un formulaire à un champ est vachement mieux qu'un formulaire à multiples champs (de là à penser qu'ils nous prennent pour des neuneus, il n'y a qu'un pas).

k3c · Le 09/03/2020, à 22:33

@kamaris

Le problème n'est pas d'écrire un clone libre de Captvty, c'est de le maintenir, Tvdownloader était chouette, mais est abandonné

Cela dit, on pourrait se limiter à une interface graphique, et un appel à youtube-dl qui télécharge (je crois) toutes les chaînes françaises

kamaris · Le 10/03/2020, à 00:44

Quand j'avais mis le nez dans le code de qarte, je m'étais dit que j'allais essayé d'ajouter du contenu venant de france tv.
Et puis finalement, une fois ajoutés quelques filtres, comme je n'avais plus de réel besoin (cf. post #12), j'ai perdu la motivation (d'autant que je découvrais à peu près python à cette occasion, donc il fallait quand même se forcer un peu…).
Mais il me semble que qarte ne serait pas une mauvaise base pour la partie interface graphique.

k3c · Le 10/03/2020, à 12:52

@ kamaris

est ce que videoob ou qvideoob, les applis CLI et GUI de weboob font ce que tu veux ?

Je ne crois pas , mais c'est une base, vois

http://weboob.org

kamaris · Le 10/03/2020, à 14:49

Merci pour le lien, je ne connaissais pas
Il faudra que je regarde ça à tête reposée, il y a pas mal de choses là-dedans…

k3c · Le 10/03/2020, à 15:10

j'adore weboob, chercher une recette de cuisine sur plein de sites en même temps, une location sur plein de sites immobiliers, récupérer ses comptes bancaires et envoyer une alerte si un mouvement dépasse un montant ou un compte est en dessous de..., chercher des radios et leurs url avec radioob...

k3c · Le 22/03/2020, à 12:07

pour améliorer l'affichage, la taille par milliers

$ lsof -p $(pgrep Captvty) | awk '/Profilage/ { printf("%'"'"'d   %s\n",$7,$NF)}'

ce qui peut afficher

215 898 636   /home/gg/Vidéos/Captvty/Profilage_RTBF.be_2020_03_21_22_53.tmp.ts

k3c · Le 25/03/2020, à 19:40

pour faire un watch régulier

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\"'\"'d   %s\n\",\$7,\$NF)}'"

Dernière modification par k3c (Le 25/03/2020, à 19:41)

kamaris · Le 25/03/2020, à 20:48

C'est pas mal comme ça
On peut éventuellement remplacer « \"'\" » par « \' », pour gagner un peu en lisibilité :

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\''d   %s\n\",\$7,\$NF)}'"

Sinon j'ai regardé un peu videoob, et c'est pas mal du tout, mais il y a un truc qui est dommage : la fonction search ne prend pas un pattern générique, du style . ou .* en regex.
Du coup, je n'ai pas réussi à lui faire afficher tous les programmes, filtrés seulement sur des critères de date et de durée par exemple, avec un truc comme ça :

videoob -f multiline -b francetelevisions -c 'date>2020-03-10 19:00:00 AND date<2020-03-12 05:00:00 AND duration>48m' search '.*'

Si on ne passe pas d'argument à search, ça ne va pas non plus, il sort en erreur : c'est vraiment dommage.
Tu sais s'il est possible de faire ça avec videoob ?

k3c · Le 25/03/2020, à 22:53

@kamaris

merci pour l'amélioration

il me reste à passer ce que je cherche en paramètre, par exemple, lancer ce qui suit dans un .sh avec en paramètre $1 le nom de la vidéo cherchée, sur le modèle de

lsof -p $(pgrep Captvty) | awk -v vid=$1 '$0 ~ vid {print $7}'

Pour videoob, je l'ai utilisé tel quel, il faudrait regarder sur

https://git.weboob.org/weboob/weboob/issues

et

https://git.weboob.org/weboob/weboob/-/wikis/home

La communauté autour de weboob est active et dynamique.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 08/03/2020, à 08:54

surveiller en CLI un téléchargement de Captvty

#2 Le 08/03/2020, à 12:31

Re : surveiller en CLI un téléchargement de Captvty

#3 Le 08/03/2020, à 13:22

Re : surveiller en CLI un téléchargement de Captvty

#4 Le 08/03/2020, à 16:47

Re : surveiller en CLI un téléchargement de Captvty

#5 Le 09/03/2020, à 00:01

Re : surveiller en CLI un téléchargement de Captvty

#6 Le 09/03/2020, à 02:44

Re : surveiller en CLI un téléchargement de Captvty

#7 Le 09/03/2020, à 03:49

Re : surveiller en CLI un téléchargement de Captvty

#8 Le 09/03/2020, à 10:58

Re : surveiller en CLI un téléchargement de Captvty

#9 Le 09/03/2020, à 11:17

Re : surveiller en CLI un téléchargement de Captvty

#10 Le 09/03/2020, à 13:46

Re : surveiller en CLI un téléchargement de Captvty

#11 Le 09/03/2020, à 16:35

Re : surveiller en CLI un téléchargement de Captvty

#12 Le 09/03/2020, à 18:31

Re : surveiller en CLI un téléchargement de Captvty

#13 Le 09/03/2020, à 19:13

Re : surveiller en CLI un téléchargement de Captvty

#14 Le 09/03/2020, à 21:07

Re : surveiller en CLI un téléchargement de Captvty

#15 Le 09/03/2020, à 21:48

Re : surveiller en CLI un téléchargement de Captvty

#16 Le 09/03/2020, à 21:59

Re : surveiller en CLI un téléchargement de Captvty

#17 Le 09/03/2020, à 22:33

Re : surveiller en CLI un téléchargement de Captvty

#18 Le 10/03/2020, à 00:44

Re : surveiller en CLI un téléchargement de Captvty

#19 Le 10/03/2020, à 12:52

Re : surveiller en CLI un téléchargement de Captvty

#20 Le 10/03/2020, à 14:49

Re : surveiller en CLI un téléchargement de Captvty

#21 Le 10/03/2020, à 15:10

Re : surveiller en CLI un téléchargement de Captvty

#22 Le 22/03/2020, à 12:07

Re : surveiller en CLI un téléchargement de Captvty

#23 Le 25/03/2020, à 19:40

Re : surveiller en CLI un téléchargement de Captvty

#24 Le 25/03/2020, à 20:48

Re : surveiller en CLI un téléchargement de Captvty

#25 Le 25/03/2020, à 22:53

Re : surveiller en CLI un téléchargement de Captvty

Pied de page des forums