全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 13435|回复: 49
打印 上一主题 下一主题

Aria2 自动RSS订阅下载完并使用gclone上传到GD/OD 最后删除文件

  [复制链接]
跳转到指定楼层
1#
发表于 2020-7-5 05:05:06 | 显示全部楼层 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 kuk 于 2020-7-17 01:23 编辑


稍微搜索了一下,发现已经有现成的Aria2 下载完自动使用rclone上传并删除文件脚本
不过却发现Aria2 本身不支持RSS订阅,于是搜索了整天总算有个能用第三方RSS订阅推送Aria2,Flexget
最终实现Aria2 自动RSS订阅任务下载,完并使用gclone上传到GD/OD,最后删除本地占用文件

本贴参考
https://p3terx.com/archives/offline-download-of-onedrive-gdrive.html
https://npchk.info/linux-flexget-rss/
https://linkthis.me/2018/02/15/the-note-of-using-flexget/
https://flexget.com/Plugins/aria2

使用软件
aria2
AriaNgGUI
gclone / rclone
Flexget(需要python3环境)

Aria2 一键安装管理脚本 增强版
  1. wget -N git.io/aria2.sh && chmod +x aria2.sh && ./aria2.sh
复制代码

安装完后返回信息
Aria2 简单配置信息:

IPv4 地址        : 127.0.0.1
IPv6 地址        : IPv6 地址检测失败
RPC 端口        : 6800
RPC 密钥        : 221d8645ddf44bc5953c
下载目录        : /root/downloads



使用AriaNg WebGUI / 程序GUI,远程/本地连接图形化管理Aria2
对应填写Aria2 简单配置信息
AriaNg WebGUI
——html下载 https://github.com/mayswind/AriaNg/releases/tag/1.1.6
——Demo 网页在线页面 http://ariang.mayswind.net/latest
AriaNgGUI 程序版
——https://github.com/Xmader/aria-ng-gui/releases


安装 gclone / rclone
  1. #推荐 gclone 安装并复制命名rclone
  2. bash <(wget -qO- https://git.io/gclone.sh)
  3. cp /usr/bin/gclone /usr/bin/rclone

  4. #rclone 安装(注意:已安装gclone无需再安装rclone)
  5. curl https://rclone.org/install.sh | sudo bash
复制代码

配置方面请自行搜索rclone教程

编辑自动上传脚本
  1. nano /root/.aria2c/script.conf
复制代码

对应修改相关参数
  1. # Aria2 下载目录
  2. DOWNLOAD_PATH='/root/downloads'

  3. # Rclone 配置时填写的网盘名(name)
  4. DRIVE_NAME='Onedrive'

  5. # 网盘目录。即上传目标路径,留空为网盘根目录,末尾不要有斜杠。
  6. DRIVE_PATH='/DRIVEX/Download'
复制代码


启动脚本
  1. nano /root/.aria2c/aria2.conf
复制代码

修改以下参数
  1. # 下载完成后执行的命令
  2. on-download-complete=/root/.aria2c/upload.sh
复制代码

重启 Aria2
  1. service aria2 restart

  2. ./aria2.sh
  3. 6
复制代码


Flexget 第三方RSS订阅推送,全局安装
  1. apt update
  2. apt install python3-pip
  3. pip3 install --upgrade pip
  4. hash -d pip3
  5. pip3 install --upgrade setuptools
  6. pip3 install --ignore-installed flexget
复制代码


如果Flexget 全局安装失败,可以参试virtualenv环境安装
  1. apt update
  2. apt install python3-pip
  3. apt-get install python3-venv
  4. pip3 install --upgrade pip
  5. python3 -m venv ~/flexget/
  6. cd ~/flexget/
  7. bin/pip install flexget
  8. source ~/flexget/bin/activate
复制代码


配置Flexget Aria2 RSS
  1. cd
  2. mkdir -p ~/.config/flexget
  3. cd .config/flexget
  4. touch config.yml
  5. nano config.yml
复制代码


config.yml格式
  1. tasks:
  2.   任务名称:
  3.     rss: RSS-URL
  4.     accept_all: yes
  5.     aria2:
  6.         server: Aria2-IP
  7.         port: Aria2-端口
  8.         secret: Aria2-密钥
  9.         path: Aria2-下载绝对路径
复制代码


config.yml例子
创建"Anime"名称任务,RSS链接为"https://nyaa.si/?page=rss&c=1_0&f=0"
aria2 IP为"127.0.0.1",端口为"6800",密钥为"221d8645ddf44bc5953c",下载路径为"/root/downloads/"
  1. tasks:
  2.   Anime:
  3.     rss: https://nyaa.si/?page=rss&c=1_0&f=0
  4.     accept_all: yes
  5.     aria2:
  6.         server: 127.0.0.1
  7.         port: 6800
  8.         secret: 221d8645ddf44bc5953c
  9.         path: /root/downloads/
复制代码


编辑完成后测试一下
  1. flexget --test execute
复制代码


使用crontab设置Flexget刷新频率
查看Flexget的绝对路径
  1. which flexget
复制代码


假设Flexget的绝对路径为"/usr/local/bin/flexget",设置每2分钟频率刷新
  1. crontab -e
复制代码

添加
  1. */2 * * * * /usr/local/bin/flexget --cron execute
复制代码


2分钟后查看状态
  1. flexget status
复制代码


有问题可以查看日志
  1. cat ~/.config/flexget/flexget.log
复制代码
2#
 楼主| 发表于 2020-7-5 05:23:34 | 显示全部楼层
专收爆米花 发表于 2020-7-5 05:20
刚好我在学习PY
然后安装py的时候遇到了问题,顺便问问老司机,

你的CentOS的源没python3-pip包
建议安装EPEL第三方源
  1. #CentOS/RHEL 6/7
  2. yum install epel-release

  3. #CentOS/RHEL 8
  4. dnf install epel-release
复制代码
3#
 楼主| 发表于 2020-7-5 12:08:33 | 显示全部楼层
我不是你的 发表于 2020-7-5 12:05
能不能上传到团队盘

当然可以,自动上传脚本(/root/.aria2c/upload.sh)修改对应的rclone网盘名
4#
 楼主| 发表于 2020-7-5 12:10:54 | 显示全部楼层
lancolor 发表于 2020-7-5 07:43
问下这个下载就下到本地看的话是用的服务器的流量还是本地宽带的流量呢? ...

Aria2是本地的话,当然是耗本地宽带流量
5#
 楼主| 发表于 2020-7-5 12:27:06 | 显示全部楼层
52mfzy 发表于 2020-7-5 08:26
感觉还是用萌咖那个上传工具比较好,速度快一些,而且不需要挂在


你是说OneDriveUploader?如果是上传OD的话,确实V佬的这个工具快

不过我这边只用GD,OD在什么方面都太烂又不稳定还BUG多多
另外我这边用自动上传脚本不需要挂载,直接填写rclone网盘命名即可
6#
 楼主| 发表于 2020-7-5 13:21:01 | 显示全部楼层
gta5GS87 发表于 2020-7-5 13:18
p3terx 工具的最大问题是,他的rclone使用官方源,如果你在国内机器上部署Docker基本装不了rclone ...

这种小问题代理就行啦
7#
 楼主| 发表于 2020-7-5 13:32:22 | 显示全部楼层
lancolor 发表于 2020-7-5 13:04
老哥能不能给个好用的ARIA2的教程呀  找了好多都没弄懂呀 晕 太多了都不知道看哪个 哎 ...

呃……Aria2都有一键安装脚本了,你甚至都不用从头配置aria2.conf,只需要连接WebGUI

Aria2 一键安装管理脚本 增强版
  1. wget -N git.io/aria2.sh && chmod +x aria2.sh && ./aria2.sh
复制代码


安装完后返回信息
Aria2 简单配置信息:

IPv4 地址        : 127.0.0.1
IPv6 地址        : IPv6 地址检测失败
RPC 端口        : 6800
RPC 密钥        : 221d8645ddf44bc5953c
下载目录        : /root/downloads


使用AriaNg WebGUI / 程序GUI,远程/本地连接图形化管理Aria2
对应填写Aria2 简单配置信息

AriaNg WebGUI
——html下载 https://github.com/mayswind/AriaNg/releases/tag/1.1.6
——Demo 网页在线页面 http://ariang.mayswind.net/latest

AriaNgGUI 程序版
——https://github.com/Xmader/aria-ng-gui/releases
8#
 楼主| 发表于 2020-7-5 13:42:01 | 显示全部楼层
百元大户 发表于 2020-7-5 13:31
卧槽,居然有人和我干一毛一样的事(下黄油)!不过我推送是自己写的,同时给服务器还有NAS上的Aria2推,链接 ...


看来是老绅士了,命名规范+链接存储到数据库还是大佬会玩(膜拜

我这边只能无脑RSS,缺点就是没能与种子发布标题和磁链HASH对应起来
后续搜索查找只能搜索种子资源实际文件名,不能直接标题/磁链HASH搜索
列如velka 发布者(https://sukebei.nyaa.si/user/velka),发布的资源实际文件名全是以dl站的“RJ码.zip”格式发布
9#
 楼主| 发表于 2020-7-5 13:44:29 | 显示全部楼层
本帖最后由 kuk 于 2020-7-5 13:47 编辑


如果你是说FLexget RSS推送限制大小的话

  1. content_size:
  2.   min: 12
  3.   max: 1200
  4.   strict: no
复制代码

https://flexget.com/Plugins/content_size
是这个参数

其他具体玩法,请查看
官方文档 https://flexget.com/Cookbook
linkthis博客大佬的教程 https://linkthis.me/2018/02/15/the-note-of-using-flexget/
10#
 楼主| 发表于 2020-7-5 13:55:43 | 显示全部楼层
LIHKG 发表于 2020-7-5 13:51
最近也有类似需求
搜索后找到隔壁大佬一个用 Go 写的项目


这个我试过,但RSS推送不成功了,直接推送下载链接(/link url [dir])倒是没问题,不知道为什么
不过现在用FLexget 就完事了,FLexget 还支持推送其他BT程序(如Deluge、Transmission、qBittorrent和rtorrent等)
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-5-23 00:35 , Processed in 0.064654 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表