全球主机交流论坛

标题: 【gclone】一个rclone的魔改版本。 [打印本页]

作者: donwa 时间: 2020-2-13 16:47
标题: 【gclone】一个rclone的魔改版本。
本帖最后由 donwa 于 2020-2-13 16:47 编辑

gclone 一个 rclone 的修改版.
为Google Drive操作增加自动切换账户和命令行根目录id操作支持.
其他功能与原版rclone相同.

安装：https://github.com/donwa/gclone

主要增加两个功能。
1、动态切换 sa 文件。在配置文件中增加了 service_account_file_path 这一个配置项。如果出现rateLimitExceeded错误，就会随机切换sa文件。

[gc]
type = drive
scope = drive
service_account_file = /root/accounts/1.json
service_account_file_path = /root/accounts/ <------ 新增了这个选项
root_folder_id = root

复制代码

自动替换sa文件，适用于所有对google drive盘操作，包括不限于 copy sync ls 还有挂载

2、支持cli命令中带google drive id 的操作，省去新建配置的步骤。

// 此操作不限制于copy，sync 等等操作都是支持的
gclone copy gc:{目录1的id} gc:{目录2的id} --drive-server-side-across-configs

复制代码

// 首参数为文件id的，只限于copy操作
gclone copy gc:{文件的id} gc:{目录2的id} --drive-server-side-across-configs

复制代码

ps:本来还有个网页界面功能的，搞搞突然没什么兴趣了，准备开其他坑了。

哪位大佬有比较多资源的团队盘，站内pm带下我，也许我就有兴趣继续搞了。

作者: Sheldonliu 时间: 2020-2-13 16:48
前排支持大佬

作者: hellfires 时间: 2020-2-13 16:48
提示: 作者被禁止或删除内容自动屏蔽

作者: 风为裳 时间: 2020-2-13 16:49
支持大佬，大佬出品，必是精品

作者: jiejuezhisi 时间: 2020-2-13 16:50
支持大佬，厉害

作者: 挖坑达人 时间: 2020-2-13 16:51
前排支持大佬

作者: kxzd 时间: 2020-2-13 16:51
增加下世纪互联支持大佬

作者: mikj521 时间: 2020-2-13 16:53

大佬出品

作者: Reves 时间: 2020-2-13 16:54
goindex大佬！

作者: Uscnc 时间: 2020-2-13 16:59
前排支持大佬

作者: 1016797313 时间: 2020-2-13 17:08
支持大佬，6666666

作者: FallFor 时间: 2020-2-13 17:13
后排支持大佬

作者: atXiang 时间: 2020-2-13 17:17
牛×

作者: 逸笙 时间: 2020-2-13 17:19
后排支持一下

作者: weixiangnan 时间: 2020-2-13 17:22
大佬厉害，话说跟autorclone比有啥区别

作者: b66667777 时间: 2020-2-13 17:37
666 紫薯布丁

作者: donwa 时间: 2020-2-13 18:05

weixiangnan 发表于 2020-2-13 17:22
大佬厉害，话说跟autorclone比有啥区别

gclone没提供生成sa文件和添加到group的功能。

gclone是在进程中替换sa文件的，不用到750G结束进程重新列目录，这样有两个好处，1、文件多时能减少多次列目录对比时间。2、避免多次启动相同拷贝导致丢文件和多文件的问题。

可以在任何rclone命令中自动替换sa文件，包括挂载目录。

作者: maddox 时间: 2020-2-13 19:57
提示: 作者被禁止或删除内容自动屏蔽

作者: reg009 时间: 2020-2-13 20:04
提示: 作者被禁止或删除内容自动屏蔽

作者: AntiWaR 时间: 2020-2-13 20:06
能不能直接配合autorclone来用

作者: hemake 时间: 2020-2-13 20:09
搞个网页界面的。。

作者: 三国麒麟 时间: 2020-2-13 20:32
mark，膜拜大佬

作者: maddox 时间: 2020-2-13 21:55
提示: 作者被禁止或删除内容自动屏蔽

作者: donwa 时间: 2020-2-13 22:02

maddox 发表于 2020-2-13 21:55
root@debian:~# gclone version
fatal: repository 'version' does not exist

你确定下载了gclone？

你到 https://github.com/donwa/gclone/releases 下载对应版本的 gclone

然后复制到/usr/bin/ 下面，并给权限就可以了。

作者: maddox 时间: 2020-2-13 22:24
提示: 作者被禁止或删除内容自动屏蔽

作者: wcm 时间: 2020-2-13 22:28
支持大佬

作者: donwa 时间: 2020-2-13 22:38

maddox 发表于 2020-2-13 22:24
下的是 linux_x86_x64, 用脚本和手动都尝试过..
直接输入gclone 会提示以下信息
You must specify a repo ...

linux 操作我也不是很熟。我自己的debian 64 是正常的。

作者: 菊花帅比 时间: 2020-2-13 22:51
支持下大佬。。

作者: maddox 时间: 2020-2-13 22:59
提示: 作者被禁止或删除内容自动屏蔽

作者: donwa 时间: 2020-2-13 23:00

maddox 发表于 2020-2-13 22:59
好像是命令被占用了..gclone=git clone,不知道怎么解决,还在谷歌//

把gclone 改名rclone 也是一样用的。因为就是一个全功能的rclone 加了点功能。

作者: maddox 时间: 2020-2-13 23:16
提示: 作者被禁止或删除内容自动屏蔽

作者: Corei7 时间: 2020-2-13 23:17
支持大佬

作者: Uscnc 时间: 2020-2-13 23:21
话不多说，期待网页版

作者: Cee 时间: 2020-2-13 23:32
来晚了，在用大佬的 GoIndex，后排支持一下。

作者: tVb 时间: 2020-2-14 01:14
大佬好牛，继续啊！

作者: 颠峰布衣飘 时间: 2020-2-14 02:27
大佬快修下onedrive 都用不了了github已经留言了

作者: bbsbbs 时间: 2020-2-14 09:32
dalao v5，这是Autorclone rclone的复合体

作者: bbsbbs 时间: 2020-2-14 09:51
建议增加AutoClone的一键生成多个Services Account和一键加入Team Drive的Python脚本。

作者: bbsbbs 时间: 2020-2-14 10:20
gclone的配置文件是哪一个？

作者: donwa 时间: 2020-2-14 10:23

bbsbbs 发表于 2020-2-14 10:20
gclone的配置文件是哪一个？

它就是一个rclone 啊。用的是rclone的配置文件。
可以用 gclone config file 查看。
命令，配置文件全是和rclone 一样的。

作者: bbsbbs 时间: 2020-2-14 10:27

donwa 发表于 2020-2-14 10:23
它就是一个rclone 啊。用的是rclone的配置文件。
可以用 gclone config file 查看。
命令，配置文件全是 ...

我明白了。就是在rclone.conf配置文件里面，每个名称格外增加一个行service_account_file_path = /root/accounts/

作者: donwa 时间: 2020-2-14 10:34

bbsbbs 发表于 2020-2-14 10:27
我明白了。就是在rclone.conf配置文件里面，每个名称格外增加一个行service_account_file_path = /root/a ...

嗯。你要保证 sa 账号的权限都是一样的。要不拷贝文件的时候没有访问权限也会出错的。

作者: bbsbbs 时间: 2020-2-14 10:37

donwa 发表于 2020-2-14 10:34
嗯。你要保证 sa 账号的权限都是一样的。要不拷贝文件的时候没有访问权限也会出错的。 ...

这个我懂的，AutoRclone的原理我研究了好几天。你这个工具配合AutoRclone使用，太爽了。尤其是功能2比rcone强很多

作者: bianco 时间: 2020-2-14 11:10
提示: 作者被禁止或删除内容自动屏蔽

作者: xyhw 时间: 2020-2-14 12:38
非常不错，mark一下

作者: lsc 时间: 2020-2-14 12:52
支持大佬

作者: wcyrio 时间: 2020-2-14 15:47
支持大佬

作者: kxzd 时间: 2020-2-14 16:33
大佬支持下世纪互联被，论坛里有人魔改的，有修改记录

作者: Agoni 时间: 2020-2-14 17:03
能复制非公开的私有团队盘吗？

作者: AntiWaR 时间: 2020-2-14 20:44
不能弄个教程吗跟autorclone水土不服

作者: foobarren 时间: 2020-2-14 22:32
大佬出品，必是精品

作者: kxzd 时间: 2020-2-15 01:25
https://gist.github.com/ShadeShady/81b6fecca82c289e8e5ae0637918e7e6

大佬能把这个加进去么，支持世纪互联

作者: T1T2T3 时间: 2020-2-15 01:41
很好的脚本大大提高了效率，但得注意触发rateLimitexceeded不仅是超过750g，还有每秒频率调用超过了谷歌规定的也会触发；这就会有个问题，很多sa帐号可能还没用一会就切换了；加个tpslimit参数会好很多，大佬可以针对性优化下让脚本更强悍！另外有时临近750g的时候rclone进程就会一直停在那里也不会触发rateLimitexceed，这种情况不知道脚本能否解决，有待测试。

作者: nekolate 时间: 2020-2-15 02:03
可以，支持大佬

作者: CNBlue 时间: 2020-2-15 02:07
好东西，正好用得到

作者: flyqie 时间: 2020-2-15 04:50
支持大佬，

作者: donwa 时间: 2020-2-15 11:29

T1T2T3 发表于 2020-2-15 01:41
很好的脚本大大提高了效率，但得注意触发rateLimitexceeded不仅是超过750g，还有每秒频率调用超过了谷歌规 ...

本来是可以精确hook到超750g那个点再切换的。但是怕某些sa文件有问题，就用更广泛的错误了。
我没那么多文件可以拷贝，所以有什么问题，我没遇到就测不出。

作者: T1T2T3 时间: 2020-2-15 11:33

donwa 发表于 2020-2-15 11:29
本来是可以精确hook到超750g那个点再切换的。但是怕某些sa文件有问题，就用更广泛的错误了。
我没那么多 ...

可以私我邮箱，我给你个超级庞大的团队盘库慢慢测试优化脚本

作者: donwa 时间: 2020-2-15 11:39

T1T2T3 发表于 2020-2-15 11:33
可以私我邮箱，我给你个超级庞大的团队盘库慢慢测试优化脚本

终于有资源大佬带我了

作者: zxhpipi 时间: 2020-2-15 18:21
中间踩了一些坑,不过成功搞定,感谢大佬

作者: 彼音星垠 时间: 2020-2-15 19:25

maddox 发表于 2020-2-13 21:55
root@debian:~# gclone version
fatal: repository 'version' does not exist

sed -i "s/gclone/gggclone/" /etc/bash.bashrc

然后退出 SSH 重进，再输入 gclone version 应该就好了

作者: 苏老板 时间: 2020-2-15 19:56
支持大佬

作者: tianmo 时间: 2020-2-15 19:58
水贴佬支持大佬

作者: 809509941 时间: 2020-2-16 06:59
还是不懂service_account怎么生成。。。

作者: yidaomm 时间: 2020-2-16 08:04
gclone 有电报**流讨论么~~

作者: 809509941 时间: 2020-2-16 09:59
楼主，试了下pc的。pc的accounts目录默认是啥

作者: hjvn2211445 时间: 2020-2-16 19:31
大佬，文件夹id那个好像用不了啊，

1SjuWduCvw96Gmpf4YWuPmfokAH4WU5tM 是共享的文件夹
https://drive.google.com/drive/folders/1uuGC1ePLV9hJp1sSpKUar6a7zRcZlpuW

1uuGC1ePLV9hJp1sSpKUar6a7zRcZlpuW 是团队盘的文件夹
sa账号已加入团队盘

root@trtr-65bc844647-62b6m:~# gclone copy sa:1SjuWduCvw96Gmpf4YWuPmfokAH4WU5tM sa:1uuGC1ePLV9hJp1sSpKUar6a7zRcZlpuW --config ./rclone.conf
2020/02/16 11:24:35 ERROR : : error reading source directory: directory not found
2020/02/16 11:24:35 ERROR : Attempt 1/3 failed with 1 errors and: directory not found
2020/02/16 11:24:36 ERROR : : error reading source directory: directory not found
2020/02/16 11:24:36 ERROR : Attempt 2/3 failed with 1 errors and: directory not found
2020/02/16 11:24:36 ERROR : : error reading source directory: directory not found
2020/02/16 11:24:36 ERROR : Attempt 3/3 failed with 1 errors and: directory not found
2020/02/16 11:24:36 Failed to copy: directory not found
root@trtr-65bc844647-62b6m:~#

复制代码

直接lsd也不能，1aZs54vPJN9P7G9JmnuDa8KUy80DQouXP 就是time4vps的id

root@trtr-65bc844647-62b6m:~# gclone lsd sa: --config ./rclone.conf
-1 2020-02-16 11:27:23 -1 123
-1 2020-02-15 13:57:05 -1 98tang
-1 2020-02-16 11:24:25 -1 movies
-1 2019-08-10 13:18:02 -1 time4vps
root@trtr-65bc844647-62b6m:~# gclone lsd sa:1aZs54vPJN9P7G9JmnuDa8KUy80DQouXP --config ./rclone.conf
2020/02/16 11:30:03 ERROR : : error listing: directory not found
2020/02/16 11:30:03 Failed to lsd with 2 errors: last error was: directory not found

复制代码

作者: donwa 时间: 2020-2-16 19:34

hjvn2211445 发表于 2020-2-16 19:31
大佬，文件夹id那个好像用不了啊，

1SjuWduCvw96Gmpf4YWuPmfokAH4WU5tM 是共享的文件夹

我的说明不是写得很清楚吗？ {id}

{} 呢？

作者: hjvn2211445 时间: 2020-2-16 19:35

donwa 发表于 2020-2-16 19:34
我的说明不是写得很清楚吗？ {id}

{} 呢？

回复得真快，刚试了，准备回来删帖，你就回贴了
牛逼，好用

作者: 流河旱树 时间: 2020-2-16 23:22
我试了一下非常好用方便很多
感谢lz

作者: AntiWaR 时间: 2020-2-17 01:25

donwa 发表于 2020-2-16 19:34
我的说明不是写得很清楚吗？ {id}

{} 呢？

和autoclone（开了多端口）一样同时多开传输资源会乱串（最后一级的目录名字都不同），不过不会像ac一样卡住很给力，期待改进

作者: donwa 时间: 2020-2-17 09:27

AntiWaR 发表于 2020-2-17 01:25
和autoclone（开了多端口）一样同时多开传输资源会乱串（最后一级的目录名字都不同），不过不会像ac一样 ...

同个资源不要多进程。如果你觉得机器可以，就增加线程。

作者: discold 时间: 2020-2-21 22:26

donwa 发表于 2020-2-17 09:27
同个资源不要多进程。如果你觉得机器可以，就增加线程。

大佬你这个支持gd shared文件到 team盘吗命令是怎么拼麻烦说一下谢谢

作者: stonesnake 时间: 2020-2-21 22:49
提示: 作者被禁止或删除内容自动屏蔽

作者: ALPP 时间: 2020-2-22 15:38
感觉比autorclone好,ac我经常报错...就是这个看不到进度...

作者: discold 时间: 2020-2-23 18:45
有个bug
本地到gd的时候用gclone 速度不会超过50M/S rclone速度正常。

作者: shig 时间: 2020-2-23 18:47
必须支持支持

作者: 809509941 时间: 2020-3-2 17:01
楼主。pc端那个
service_account_file = /root/accounts/1.json
service_account_file_path = /root/accounts/ <------ 新增了这个选项

这两个地址搞的

欢迎光临全球主机交流论坛 (https://mjj.022333.xyz/)