全球主机交流论坛

标题: Aria2 自动RSS订阅下载完并使用gclone上传到GD/OD 最后删除文件 [打印本页]
作者: kuk    时间: 2020-7-5 05:05
标题: Aria2 自动RSS订阅下载完并使用gclone上传到GD/OD 最后删除文件
本帖最后由 kuk 于 2020-7-17 01:23 编辑


稍微搜索了一下，发现已经有现成的Aria2 下载完自动使用rclone上传并删除文件脚本
不过却发现Aria2 本身不支持RSS订阅，于是搜索了整天总算有个能用第三方RSS订阅推送Aria2，Flexget
最终实现Aria2 自动RSS订阅任务下载，完并使用gclone上传到GD/OD，最后删除本地占用文件

本贴参考
https://p3terx.com/archives/offline-download-of-onedrive-gdrive.html
https://npchk.info/linux-flexget-rss/
https://linkthis.me/2018/02/15/the-note-of-using-flexget/
https://flexget.com/Plugins/aria2

使用软件
aria2
AriaNgGUI
gclone / rclone
Flexget（需要python3环境）

Aria2 一键安装管理脚本 增强版
  1. wget -N git.io/aria2.sh && chmod +x aria2.sh && ./aria2.sh
复制代码

安装完后返回信息
Aria2 简单配置信息：

IPv4 地址        : 127.0.0.1
IPv6 地址        : IPv6 地址检测失败
RPC 端口        : 6800
RPC 密钥        : 221d8645ddf44bc5953c
下载目录        : /root/downloads



使用AriaNg WebGUI / 程序GUI，远程/本地连接图形化管理Aria2
对应填写Aria2 简单配置信息
AriaNg WebGUI
——html下载 https://github.com/mayswind/AriaNg/releases/tag/1.1.6
——Demo 网页在线页面 http://ariang.mayswind.net/latest
AriaNgGUI 程序版
——https://github.com/Xmader/aria-ng-gui/releases


安装 gclone / rclone
  1. #推荐 gclone 安装并复制命名rclone
  2. bash <(wget -qO- https://git.io/gclone.sh)
  3. cp /usr/bin/gclone /usr/bin/rclone

  5. #rclone 安装（注意：已安装gclone无需再安装rclone）
  6. curl https://rclone.org/install.sh | sudo bash
复制代码

配置方面请自行搜索rclone教程

编辑自动上传脚本
  1. nano /root/.aria2c/script.conf
复制代码

对应修改相关参数
  1. # Aria2 下载目录
  2. DOWNLOAD_PATH='/root/downloads'

  4. # Rclone 配置时填写的网盘名(name)
  5. DRIVE_NAME='Onedrive'

  7. # 网盘目录。即上传目标路径，留空为网盘根目录，末尾不要有斜杠。
  8. DRIVE_PATH='/DRIVEX/Download'
复制代码


启动脚本
  1. nano /root/.aria2c/aria2.conf
复制代码

修改以下参数
  1. # 下载完成后执行的命令
  2. on-download-complete=/root/.aria2c/upload.sh
复制代码

重启 Aria2
  1. service aria2 restart

  3. ./aria2.sh
  4. 6
复制代码


Flexget 第三方RSS订阅推送，全局安装
  1. apt update
  2. apt install python3-pip
  3. pip3 install --upgrade pip
  4. hash -d pip3
  5. pip3 install --upgrade setuptools
  6. pip3 install --ignore-installed flexget
复制代码


如果Flexget 全局安装失败，可以参试virtualenv环境安装
  1. apt update
  2. apt install python3-pip
  3. apt-get install python3-venv
  4. pip3 install --upgrade pip
  5. python3 -m venv ~/flexget/
  6. cd ~/flexget/
  7. bin/pip install flexget
  8. source ~/flexget/bin/activate
复制代码


配置Flexget Aria2 RSS
  1. cd
  2. mkdir -p ~/.config/flexget
  3. cd .config/flexget
  4. touch config.yml
  5. nano config.yml
复制代码


config.yml格式
  1. tasks:
  2.   任务名称:
  3.     rss: RSS-URL
  4.     accept_all: yes
  5.     aria2:
  6.         server: Aria2-IP
  7.         port: Aria2-端口
  8.         secret: Aria2-密钥
  9.         path: Aria2-下载绝对路径
复制代码


config.yml例子
创建"Anime"名称任务，RSS链接为"https://nyaa.si/?page=rss&c=1_0&f=0"
aria2 IP为"127.0.0.1"，端口为"6800"，密钥为"221d8645ddf44bc5953c"，下载路径为"/root/downloads/"
  1. tasks:
  2.   Anime:
  3.     rss: https://nyaa.si/?page=rss&c=1_0&f=0
  4.     accept_all: yes
  5.     aria2:
  6.         server: 127.0.0.1
  7.         port: 6800
  8.         secret: 221d8645ddf44bc5953c
  9.         path: /root/downloads/
复制代码


编辑完成后测试一下
  1. flexget --test execute
复制代码


使用crontab设置Flexget刷新频率
查看Flexget的绝对路径
  1. which flexget
复制代码


假设Flexget的绝对路径为"/usr/local/bin/flexget"，设置每2分钟频率刷新
  1. crontab -e
复制代码

添加
  1. */2 * * * * /usr/local/bin/flexget --cron execute
复制代码


2分钟后查看状态
  1. flexget status
复制代码


有问题可以查看日志
  1. cat ~/.config/flexget/flexget.log
复制代码
作者: 专收爆米花    时间: 2020-7-5 05:20
刚好我在学习PY
然后安装py的时候遇到了问题，顺便问问老司机，

我这个pip一直安装不上，然后py3=py3.8 吗？

  1. yum install python3-pip
  2. Loaded plugins: changelog, fastestmirror
  3. Setting up Install Process
  4. Loading mirror speeds from cached hostfile
  5. * base: ftp.tsukuba.wide.ad.jp
  6. * extras: ftp.tsukuba.wide.ad.jp
  7. * updates: ftp.tsukuba.wide.ad.jp
  8. base                                                                                | 3.7 kB     00:00     
  9. extras                                                                              | 3.3 kB     00:00     
  10. updates                                                                             | 3.4 kB     00:00     
  11. No package python3-pip available.
  12. Error: Nothing to do
复制代码

作者: kuk    时间: 2020-7-5 05:23
专收爆米花 发表于 2020-7-5 05:20
刚好我在学习PY
然后安装py的时候遇到了问题，顺便问问老司机，

你的CentOS的源没python3-pip包
建议安装EPEL第三方源
  1. #CentOS/RHEL 6/7
  2. yum install epel-release

  4. #CentOS/RHEL 8
  5. dnf install epel-release
复制代码
作者: 按摩店老板    时间: 2020-7-5 05:47
楼主 我有个问题 “同人”是什么意思
作者: wifitry    时间: 2020-7-5 06:57
感谢分享
作者: darkst    时间: 2020-7-5 06:58
进来学习一下
作者: lancolor    时间: 2020-7-5 07:43
问下这个下载就下到本地看的话是用的服务器的流量还是本地宽带的流量呢？
作者: 7777    时间: 2020-7-5 07:57
感谢分享                
作者: ciddy    时间: 2020-7-5 08:24
支持技术贴
作者: KuYeHQ    时间: 2020-7-5 08:25
支持技术贴
作者: 52mfzy    时间: 2020-7-5 08:26
感觉还是用萌咖那个上传工具比较好，速度快一些，而且不需要挂在
作者: 绿豆    时间: 2020-7-5 08:46
大佬牛皮，前排广告位招租
作者: remarkable    时间: 2020-7-5 08:49
支持，技术贴mark一下
作者: Drrick    时间: 2020-7-5 09:03
感谢分享，Mrak下
作者: Alanku    时间: 2020-7-5 09:19
谢谢分享，收藏了
作者: Miriam    时间: 2020-7-5 09:24
感觉不错
作者: pers    时间: 2020-7-5 09:30
从没用过rss下载源，一般你们用来下什么的？
作者: 志明    时间: 2020-7-5 10:19
mark一下，这样gd要爆掉
作者: 我不是你的    时间: 2020-7-5 12:05
能不能上传到团队盘
作者: kuk    时间: 2020-7-5 12:08
我不是你的 发表于 2020-7-5 12:05
能不能上传到团队盘

当然可以，自动上传脚本（/root/.aria2c/upload.sh）修改对应的rclone网盘名
作者: kuk    时间: 2020-7-5 12:10
lancolor 发表于 2020-7-5 07:43
问下这个下载就下到本地看的话是用的服务器的流量还是本地宽带的流量呢？ ...

Aria2是本地的话，当然是耗本地宽带流量
作者: kuk    时间: 2020-7-5 12:27
52mfzy 发表于 2020-7-5 08:26
感觉还是用萌咖那个上传工具比较好，速度快一些，而且不需要挂在


你是说OneDriveUploader？如果是上传OD的话，确实V佬的这个工具快

不过我这边只用GD，OD在什么方面都太烂又不稳定还BUG多多
另外我这边用自动上传脚本不需要挂载，直接填写rclone网盘命名即可
作者: 我不是你的    时间: 2020-7-5 12:28
kuk 发表于 2020-7-5 12:08
当然可以，自动上传脚本（/root/.aria2c/upload.sh）修改对应的rclone网盘名

哟西……
作者: 52mfzy    时间: 2020-7-5 12:30
kuk 发表于 2020-7-5 12:27
你是说OneDriveUploader？如果是上传OD的话，确实V佬的这个工具快

不过我这边只用GD，OD在什么方面都太 ...

那挺好的，我是习惯od了，而且利用它来直链取回文件
作者: b67    时间: 2020-7-5 12:36
提示: 作者被禁止或删除 内容自动屏蔽
作者: forg    时间: 2020-7-5 12:38
make
作者: lancolor    时间: 2020-7-5 13:04
kuk 发表于 2020-7-5 12:10
Aria2是本地的话，当然是耗本地宽带流量

老哥能不能给个好用的ARIA2的教程呀  找了好多都没弄懂呀 晕 太多了都不知道看哪个 哎
作者: vensin    时间: 2020-7-5 13:05
学习标记一下，谢谢分享
作者: Mio    时间: 2020-7-5 13:07
支持技术，战术马克
作者: gta5GS87    时间: 2020-7-5 13:18
p3terx 工具的最大问题是，他的rclone使用官方源，如果你在国内机器上部署Docker基本装不了rclone
作者: kuk    时间: 2020-7-5 13:21
gta5GS87 发表于 2020-7-5 13:18
p3terx 工具的最大问题是，他的rclone使用官方源，如果你在国内机器上部署Docker基本装不了rclone ...

这种小问题代理就行啦
作者: 百元大户    时间: 2020-7-5 13:31
卧槽，居然有人和我干一毛一样的事(下黄油)！不过我推送是自己写的，同时给服务器还有NAS上的Aria2推，链接还存了份到数据库，上传OD前文件名全部规范过
作者: 天蓝色的忧伤    时间: 2020-7-5 13:31
限制大小怎么弄呢
作者: kuk    时间: 2020-7-5 13:32
lancolor 发表于 2020-7-5 13:04
老哥能不能给个好用的ARIA2的教程呀  找了好多都没弄懂呀 晕 太多了都不知道看哪个 哎 ...

呃……Aria2都有一键安装脚本了，你甚至都不用从头配置aria2.conf，只需要连接WebGUI

Aria2 一键安装管理脚本 增强版
  1. wget -N git.io/aria2.sh && chmod +x aria2.sh && ./aria2.sh
复制代码


安装完后返回信息
Aria2 简单配置信息：

IPv4 地址        : 127.0.0.1
IPv6 地址        : IPv6 地址检测失败
RPC 端口        : 6800
RPC 密钥        : 221d8645ddf44bc5953c
下载目录        : /root/downloads


使用AriaNg WebGUI / 程序GUI，远程/本地连接图形化管理Aria2
对应填写Aria2 简单配置信息

AriaNg WebGUI
——html下载 https://github.com/mayswind/AriaNg/releases/tag/1.1.6
——Demo 网页在线页面 http://ariang.mayswind.net/latest

AriaNgGUI 程序版
——https://github.com/Xmader/aria-ng-gui/releases
作者: maiawpyg    时间: 2020-7-5 13:33
就佩服技术大佬
作者: kuk    时间: 2020-7-5 13:42
百元大户 发表于 2020-7-5 13:31
卧槽，居然有人和我干一毛一样的事(下黄油)！不过我推送是自己写的，同时给服务器还有NAS上的Aria2推，链接 ...


看来是老绅士了，命名规范+链接存储到数据库还是大佬会玩（膜拜

我这边只能无脑RSS，缺点就是没能与种子发布标题和磁链HASH对应起来
后续搜索查找只能搜索种子资源实际文件名，不能直接标题/磁链HASH搜索
列如velka 发布者（https://sukebei.nyaa.si/user/velka），发布的资源实际文件名全是以dl站的“RJ码.zip”格式发布
作者: kuk    时间: 2020-7-5 13:44
本帖最后由 kuk 于 2020-7-5 13:47 编辑
天蓝色的忧伤 发表于 2020-7-5 13:31
限制大小怎么弄呢


如果你是说FLexget RSS推送限制大小的话

  1. content_size:
  2.   min: 12
  3.   max: 1200
  4.   strict: no
复制代码

https://flexget.com/Plugins/content_size
是这个参数

其他具体玩法，请查看
官方文档 https://flexget.com/Cookbook
linkthis博客大佬的教程 https://linkthis.me/2018/02/15/the-note-of-using-flexget/
作者: iwktd1220    时间: 2020-7-5 13:49
优秀的同学，帮顶
作者: LIHKG    时间: 2020-7-5 13:51
最近也有类似需求
搜索后找到隔壁大佬一个用 Go 写的项目
  1. https://github.com/pcmid/waifud
复制代码

支持在 telegram 机器人上管理 RSS  订阅
不知道有没有 mjj 研究过
作者: JustBeHappy    时间: 2020-7-5 13:55
感谢分享，学习了
作者: kuk    时间: 2020-7-5 13:55
LIHKG 发表于 2020-7-5 13:51
最近也有类似需求
搜索后找到隔壁大佬一个用 Go 写的项目


这个我试过，但RSS推送不成功了，直接推送下载链接（/link url [dir]）倒是没问题，不知道为什么
不过现在用FLexget 就完事了，FLexget 还支持推送其他BT程序（如Deluge、Transmission、qBittorrent和rtorrent等）
作者: tyhunter    时间: 2020-7-5 13:57
请教下flexget支持直接推送磁力到Aria2吗？试过推送到QB不支持
作者: kuk    时间: 2020-7-5 14:02
tyhunter 发表于 2020-7-5 13:57
请教下flexget支持直接推送磁力到Aria2吗？试过推送到QB不支持

严格来说，是FLexget是推送种子下载连接，BT程序下载种子文件后自动开始种子任务
FLexget是支持QB的，建议你多尝试一下，或查看日志自行搜索错误问题
作者: LIHKG    时间: 2020-7-5 14:31
kuk 发表于 2020-7-5 13:55
这个我试过，但RSS推送不成功了，直接推送下载链接（/link url [dir]）倒是没问题，不知道为什么
不过现 ...

可能是与 nyaa 的 RSS 没有把种子链接放在 <enclosures> 字段有关
waifud 作者的示例 RSS 中，种子链接是在 <enclosures> 字段
楼主订阅的 nyaa.si 则是直接放在了 <link> 字段
不过 FLexget 支持更多 BT 下载项目的确更加吸引
作者: kuk    时间: 2020-7-5 14:38
LIHKG 发表于 2020-7-5 14:31
可能是与 nyaa 的 RSS 没有把种子链接放在  字段有关
waifud 作者的示例 RSS 中，种子链接是在  字段
楼 ...

原来如此，我也去看了一下waifud 作者的示例 RSS，应该是这种情况没错了
作者: loukky    时间: 2020-7-5 14:58
这种需要无线流量的机器....
作者: lancolor    时间: 2020-7-5 15:32
kuk 发表于 2020-7-5 13:32
呃……Aria2都有一键安装脚本了，你甚至都不用从头配置aria2.conf，只需要连接WebGUI

Aria2 一键安装管 ...

这个我装好了  我是用的GPC装的 如果填GCP的IP的话是不是下载跑GCP的流量呀？
作者: kuk    时间: 2020-7-5 15:34
lancolor 发表于 2020-7-5 15:32
这个我装好了  我是用的GPC装的 如果填GCP的IP的话是不是下载跑GCP的流量呀？ ...

那肯定啊，不然你想跑谁的流量？
作者: lancolor    时间: 2020-7-5 15:35
kuk 发表于 2020-7-5 15:34
那肯定啊，不然你想跑谁的流量？

OK 谢了 看来要弄个能下载的机器呀 有没有推荐的呀？
作者: kuk    时间: 2020-7-5 15:37
lancolor 发表于 2020-7-5 15:35
OK 谢了 看来要弄个能下载的机器呀 有没有推荐的呀？


hetzner、Online、OneProvider等



欢迎光临 全球主机交流论坛 (https://91ai.net/) Powered by Discuz! X3.4