diff --git a/README.md b/README.md index 1292dee..68e8aaf 100644 --- a/README.md +++ b/README.md @@ -32,4 +32,5 @@ MoviePilot三方插件市场：https://github.com/thsrite/MoviePilot-Plugins/ - [自定义命令 1.5](docs%2FCustomCommand.md) - docker自定义任务 1.2 - 插件彻底卸载 1.0 +- 文件软连接 1.0 diff --git a/icons/softlink.png b/icons/softlink.png new file mode 100644 index 0000000..4cf57b3 Binary files /dev/null and b/icons/softlink.png differ diff --git a/package.json b/package.json index 6dcaf15..ad19f02 100644 --- a/package.json +++ b/package.json @@ -302,5 +302,16 @@ "history": { "v1.0": "init" } + }, + "FileSoftLink": { + "name": "文件软连接", + "description": "监控目录文件变化，媒体文件软连接，其他文件可选复制。", + "version": "1.0", + "icon": "https://raw.githubusercontent.com/thsrite/MoviePilot-Plugins/main/icons/softlink.png", + "author": "thsrite", + "level": 1, + "history": { + "v1.0": "init" + } } } diff --git a/plugins/cloudlinkmonitor/__init__.py b/plugins/cloudlinkmonitor/__init__.py index 08e32fb..6964e20 100644 --- a/plugins/cloudlinkmonitor/__init__.py +++ b/plugins/cloudlinkmonitor/__init__.py @@ -219,8 +219,9 @@ class CloudLinkMonitor(_PluginBase): # 运行一次定时服务 if self._onlyonce: - logger.info("目录监控服务启动，立即运行一次") - self._scheduler.add_job(func=self.sync_all, trigger='date', + logger.info("云盘实时监控服务启动，立即运行一次") + self._scheduler.add_job(name="云盘实时监控", + func=self.sync_all, trigger='date', run_date=datetime.datetime.now( tz=pytz.timezone(settings.TZ)) + datetime.timedelta(seconds=3) ) @@ -258,7 +259,7 @@ class CloudLinkMonitor(_PluginBase): """ if event: event_data = event.event_data - if not event_data or event_data.get("action") != "directory_sync": + if not event_data or event_data.get("action") != "cloud_link_sync": return self.post_message(channel=event.event_data.get("channel"), title="开始同步监控目录 ...", @@ -347,11 +348,6 @@ class CloudLinkMonitor(_PluginBase): file_path = Path(blurray_dir) logger.info(f"{event_path} 是蓝光目录，更正文件路径为：{str(file_path)}") - # 查询历史记录，已转移的不处理 - if self.transferhis.get_by_src(str(file_path)): - logger.info(f"{file_path} 已整理过") - return - # 元数据 file_meta = MetaInfoPath(file_path) if not file_meta.name: @@ -649,22 +645,22 @@ class CloudLinkMonitor(_PluginBase): :return: 命令关键字、事件、描述、附带数据 """ return [{ - "cmd": "/directory_sync", + "cmd": "/cloud_link_sync", "event": EventType.PluginAction, - "desc": "目录监控同步", - "category": "管理", + "desc": "云盘实时监控同步", + "category": "", "data": { - "action": "directory_sync" + "action": "cloud_link_sync" } }] def get_api(self) -> List[Dict[str, Any]]: return [{ - "path": "/directory_sync", + "path": "/cloud_link_sync", "endpoint": self.sync, "methods": ["GET"], - "summary": "目录监控同步", - "description": "目录监控同步", + "summary": "云盘实时监控同步", + "description": "云盘实时监控同步", }] def get_service(self) -> List[Dict[str, Any]]: @@ -680,8 +676,8 @@ class CloudLinkMonitor(_PluginBase): """ if self._enabled and self._cron: return [{ - "id": "DirMonitor", - "name": "目录监控全量同步服务", + "id": "CloudLinkMonitor", + "name": "云盘实时监控全量同步服务", "trigger": CronTrigger.from_crontab(self._cron), "func": self.sync_all, "kwargs": {} @@ -792,7 +788,7 @@ class CloudLinkMonitor(_PluginBase): {'title': '移动', 'value': 'move'}, {'title': '复制', 'value': 'copy'}, {'title': '硬链接', 'value': 'link'}, - {'title': '软链接', 'value': 'softlink'}, + {'title': '软链接', 'value': 'filesoftlink'}, {'title': 'Rclone复制', 'value': 'rclone_copy'}, {'title': 'Rclone移动', 'value': 'rclone_move'} ] @@ -873,7 +869,7 @@ class CloudLinkMonitor(_PluginBase): 'model': 'monitor_dirs', 'label': '监控目录', 'rows': 5, - 'placeholder': '每一行一个目录，支持以下几种配置方式，转移方式支持 move、copy、link、softlink、rclone_copy、rclone_move：\n' + 'placeholder': '每一行一个目录，支持以下几种配置方式，转移方式支持 move、copy、link、filesoftlink、rclone_copy、rclone_move：\n' '监控目录:转移目的目录\n' '监控目录:转移目的目录$是否刮削（True/False）\n' '监控目录:转移目的目录#转移方式\n' diff --git a/plugins/dirmonitor/__init__.py b/plugins/dirmonitor/__init__.py index 803bae2..a03b409 100644 --- a/plugins/dirmonitor/__init__.py +++ b/plugins/dirmonitor/__init__.py @@ -784,7 +784,7 @@ class DirMonitor(_PluginBase): {'title': '移动', 'value': 'move'}, {'title': '复制', 'value': 'copy'}, {'title': '硬链接', 'value': 'link'}, - {'title': '软链接', 'value': 'softlink'}, + {'title': '软链接', 'value': 'filesoftlink'}, {'title': 'Rclone复制', 'value': 'rclone_copy'}, {'title': 'Rclone移动', 'value': 'rclone_move'} ] @@ -847,7 +847,7 @@ class DirMonitor(_PluginBase): 'model': 'monitor_dirs', 'label': '监控目录', 'rows': 5, - 'placeholder': '每一行一个目录，支持以下几种配置方式，转移方式支持 move、copy、link、softlink、rclone_copy、rclone_move：\n' + 'placeholder': '每一行一个目录，支持以下几种配置方式，转移方式支持 move、copy、link、filesoftlink、rclone_copy、rclone_move：\n' '监控目录\n' '监控目录#转移方式\n' '监控目录:转移目的目录\n' diff --git a/plugins/filesoftlink/__init__.py b/plugins/filesoftlink/__init__.py new file mode 100644 index 0000000..25556a0 --- /dev/null +++ b/plugins/filesoftlink/__init__.py @@ -0,0 +1,607 @@ +import datetime +import os +import re +import shutil +import threading +import traceback +from pathlib import Path +from typing import List, Tuple, Dict, Any, Optional + +import pytz +from apscheduler.schedulers.background import BackgroundScheduler +from apscheduler.triggers.cron import CronTrigger +from watchdog.events import FileSystemEventHandler +from watchdog.observers import Observer +from watchdog.observers.polling import PollingObserver + +from app import schemas +from app.core.config import settings +from app.core.event import eventmanager, Event +from app.core.metainfo import MetaInfoPath +from app.log import logger +from app.plugins import _PluginBase +from app.schemas.types import EventType, MediaType, SystemConfigKey +from app.utils.system import SystemUtils + +lock = threading.Lock() + + +class FileMonitorHandler(FileSystemEventHandler): + """ + 目录监控响应类 + """ + + def __init__(self, monpath: str, sync: Any, **kwargs): + super(FileMonitorHandler, self).__init__(**kwargs) + self._watch_path = monpath + self.sync = sync + + def on_created(self, event): + self.sync.event_handler(event=event, text="创建", + mon_path=self._watch_path, event_path=event.src_path) + + def on_moved(self, event): + self.sync.event_handler(event=event, text="移动", + mon_path=self._watch_path, event_path=event.dest_path) + + +class FileSoftLink(_PluginBase): + # 插件名称 + plugin_name = "文件软连接" + # 插件描述 + plugin_desc = "监控目录文件变化，媒体文件软连接，其他文件可选复制。" + # 插件图标 + plugin_icon = "https://raw.githubusercontent.com/thsrite/MoviePilot-Plugins/main/icons/softlink.png" + # 插件版本 + plugin_version = "1.0" + # 插件作者 + plugin_author = "thsrite" + # 作者主页 + author_url = "https://github.com/thsrite" + # 插件配置项ID前缀 + plugin_config_prefix = "filesoftlink_" + # 加载顺序 + plugin_order = 10 + # 可使用的用户级别 + auth_level = 1 + + # 私有属性 + _scheduler = None + _observer = [] + _enabled = False + _onlyonce = False + _copy_files = False + _cron = None + _size = 0 + # 模式 compatibility/fast + _mode = "compatibility" + _monitor_dirs = "" + _exclude_keywords = "" + # 存储源目录与目的目录关系 + _dirconf: Dict[str, Optional[Path]] = {} + _medias = {} + # 退出事件 + _event = threading.Event() + + def init_plugin(self, config: dict = None): + # 清空配置 + self._dirconf = {} + + # 读取配置 + if config: + self._enabled = config.get("enabled") + self._onlyonce = config.get("onlyonce") + self._copy_files = config.get("copy_files") + self._mode = config.get("mode") + self._monitor_dirs = config.get("monitor_dirs") or "" + self._exclude_keywords = config.get("exclude_keywords") or "" + self._cron = config.get("cron") + self._size = config.get("size") or 0 + + # 停止现有任务 + self.stop_service() + + if self._enabled or self._onlyonce: + # 定时服务管理器 + self._scheduler = BackgroundScheduler(timezone=settings.TZ) + # 追加入库消息统一发送服务 + self._scheduler.add_job(self.send_msg, trigger='interval', seconds=15) + + # 读取目录配置 + monitor_dirs = self._monitor_dirs.split("\n") + if not monitor_dirs: + return + for mon_path in monitor_dirs: + # 格式源目录:目的目录 + if not mon_path: + continue + + # 存储目的目录 + if SystemUtils.is_windows(): + if mon_path.count(":") > 1: + paths = [mon_path.split(":")[0] + ":" + mon_path.split(":")[1], + mon_path.split(":")[2] + ":" + mon_path.split(":")[3]] + else: + paths = [mon_path] + else: + paths = mon_path.split(":") + + # 目的目录 + target_path = None + if len(paths) > 1: + mon_path = paths[0] + target_path = Path(paths[1]) + self._dirconf[mon_path] = target_path + else: + self._dirconf[mon_path] = None + + # 启用目录监控 + if self._enabled: + # 检查媒体库目录是不是下载目录的子目录 + try: + if target_path and target_path.is_relative_to(Path(mon_path)): + logger.warn(f"{target_path} 是监控目录 {mon_path} 的子目录，无法监控") + self.systemmessage.put(f"{target_path} 是下载目录 {mon_path} 的子目录，无法监控") + continue + except Exception as e: + logger.debug(str(e)) + pass + + try: + if self._mode == "compatibility": + # 兼容模式，目录同步性能降低且NAS不能休眠，但可以兼容挂载的远程共享目录如SMB + observer = PollingObserver(timeout=10) + else: + # 内部处理系统操作类型选择最优解 + observer = Observer(timeout=10) + self._observer.append(observer) + observer.schedule(FileMonitorHandler(mon_path, self), path=mon_path, recursive=True) + observer.daemon = True + observer.start() + logger.info(f"{mon_path} 的目录监控服务启动") + except Exception as e: + err_msg = str(e) + if "inotify" in err_msg and "reached" in err_msg: + logger.warn( + f"目录监控服务启动出现异常：{err_msg}，请在宿主机上（不是docker容器内）执行以下命令并重启：" + + """ + echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf + echo fs.inotify.max_user_instances=524288 | sudo tee -a /etc/sysctl.conf + sudo sysctl -p + """) + else: + logger.error(f"{mon_path} 启动目录监控失败：{err_msg}") + self.systemmessage.put(f"{mon_path} 启动目录监控失败：{err_msg}") + + # 运行一次定时服务 + if self._onlyonce: + logger.info("软连接服务启动，立即运行一次") + self._scheduler.add_job(name="软连接", func=self.sync_all, trigger='date', + run_date=datetime.datetime.now( + tz=pytz.timezone(settings.TZ)) + datetime.timedelta(seconds=3) + ) + # 关闭一次性开关 + self._onlyonce = False + # 保存配置 + self.__update_config() + + # 启动定时服务 + if self._scheduler.get_jobs(): + self._scheduler.print_jobs() + self._scheduler.start() + + def __update_config(self): + """ + 更新配置 + """ + self.update_config({ + "enabled": self._enabled, + "onlyonce": self._onlyonce, + "mode": self._mode, + "monitor_dirs": self._monitor_dirs, + "exclude_keywords": self._exclude_keywords, + "cron": self._cron, + "size": self._size + }) + + @eventmanager.register(EventType.PluginAction) + def remote_sync(self, event: Event): + """ + 远程全量同步 + """ + if event: + event_data = event.event_data + if not event_data or event_data.get("action") != "softlink_sync": + return + self.post_message(channel=event.event_data.get("channel"), + title="开始同步监控目录 ...", + userid=event.event_data.get("user")) + self.sync_all() + if event: + self.post_message(channel=event.event_data.get("channel"), + title="监控目录同步完成！", userid=event.event_data.get("user")) + + def sync_all(self): + """ + 立即运行一次，全量同步目录中所有文件 + """ + logger.info("开始全量同步监控目录 ...") + # 遍历所有监控目录 + for mon_path in self._dirconf.keys(): + # 遍历目录下所有文件 + for file_path in SystemUtils.list_files(Path(mon_path), settings.RMT_MEDIAEXT): + self.__handle_file(event_path=str(file_path), mon_path=mon_path) + logger.info("全量同步监控目录完成！") + + def event_handler(self, event, mon_path: str, text: str, event_path: str): + """ + 处理文件变化 + :param event: 事件 + :param mon_path: 监控目录 + :param text: 事件描述 + :param event_path: 事件文件路径 + """ + if not event.is_directory: + # 文件发生变化 + logger.debug("文件%s：%s" % (text, event_path)) + self.__handle_file(event_path=event_path, mon_path=mon_path) + + def __handle_file(self, event_path: str, mon_path: str): + """ + 同步一个文件 + :param event_path: 事件文件路径 + :param mon_path: 监控目录 + """ + file_path = Path(event_path) + try: + if not file_path.exists(): + return + # 全程加锁 + with lock: + # 回收站及隐藏的文件不处理 + if event_path.find('/@Recycle/') != -1 \ + or event_path.find('/#recycle/') != -1 \ + or event_path.find('/.') != -1 \ + or event_path.find('/@eaDir') != -1: + logger.debug(f"{event_path} 是回收站或隐藏的文件") + return + + # 命中过滤关键字不处理 + if self._exclude_keywords: + for keyword in self._exclude_keywords.split("\n"): + if keyword and re.findall(keyword, event_path): + logger.info(f"{event_path} 命中过滤关键字 {keyword}，不处理") + return + + # 整理屏蔽词不处理 + transfer_exclude_words = self.systemconfig.get(SystemConfigKey.TransferExcludeWords) + if transfer_exclude_words: + for keyword in transfer_exclude_words: + if not keyword: + continue + if keyword and re.search(r"%s" % keyword, event_path, re.IGNORECASE): + logger.info(f"{event_path} 命中整理屏蔽词 {keyword}，不处理") + return + + # 判断是不是蓝光目录 + if re.search(r"BDMV[/\\]STREAM", event_path, re.IGNORECASE): + # 截取BDMV前面的路径 + blurray_dir = event_path[:event_path.find("BDMV")] + file_path = Path(blurray_dir) + logger.info(f"{event_path} 是蓝光目录，更正文件路径为：{str(file_path)}") + + # 元数据 + file_meta = MetaInfoPath(file_path) + if not file_meta.name: + logger.error(f"{file_path.name} 无法识别有效信息") + return + + # 判断文件大小 + if self._size and float(self._size) > 0 and file_path.stat().st_size < float(self._size) * 1024 ** 3: + logger.info(f"{file_path} 文件大小小于监控文件大小，不处理") + return + + # 查询转移目的目录 + target: Path = self._dirconf.get(mon_path) + target_file = str(file_path).replace(str(mon_path), str(target)) + + # 如果是文件夹 + if Path(target_file).is_dir(): + if not Path(target_file).exists(): + logger.info(f"创建目标文件夹 {target_file}") + os.makedirs(target_file) + return + else: + # 文件 + if Path(target_file).exists(): + logger.info(f"目标文件 {target_file} 已存在") + return + + if not Path(target_file).parent.exists(): + logger.info(f"创建目标文件夹 {Path(target_file).parent}") + os.makedirs(Path(target_file).parent) + + # 媒体文件软连接 + if target_file.lower().endswith(self._video_formats): + SystemUtils.softlink(str(file_path), target_file) + else: + if self._copy_files: + # 其他nfo、jpg等复制文件 + shutil.copy2(str(file_path), target_file) + logger.info(f"复制其他文件 {str(file_path)} 到 {target_file}") + except Exception as e: + logger.error("软连接发生错误：%s - %s" % (str(e), traceback.format_exc())) + + def get_state(self) -> bool: + return self._enabled + + @staticmethod + def get_command() -> List[Dict[str, Any]]: + """ + 定义远程控制命令 + :return: 命令关键字、事件、描述、附带数据 + """ + return [{ + "cmd": "/softlink_sync", + "event": EventType.PluginAction, + "desc": "文件软连接同步", + "category": "", + "data": { + "action": "softlink_sync" + } + }] + + def get_api(self) -> List[Dict[str, Any]]: + return [{ + "path": "/softlink_sync", + "endpoint": self.sync, + "methods": ["GET"], + "summary": "文件软连接同步", + "description": "文件软连接同步", + }] + + def get_service(self) -> List[Dict[str, Any]]: + """ + 注册插件公共服务 + [{ + "id": "服务ID", + "name": "服务名称", + "trigger": "触发器：cron/interval/date/CronTrigger.from_crontab()", + "func": self.xxx, + "kwargs": {} # 定时器参数 + }] + """ + if self._enabled and self._cron: + return [{ + "id": "FileSoftLink", + "name": "文件软连接全量同步服务", + "trigger": CronTrigger.from_crontab(self._cron), + "func": self.sync_all, + "kwargs": {} + }] + return [] + + def sync(self) -> schemas.Response: + """ + API调用目录同步 + """ + self.sync_all() + return schemas.Response(success=True) + + def get_form(self) -> Tuple[List[dict], Dict[str, Any]]: + return [ + { + 'component': 'VForm', + 'content': [ + { + 'component': 'VRow', + 'content': [ + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VSwitch', + 'props': { + 'model': 'enabled', + 'label': '启用插件', + } + } + ] + }, + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VSwitch', + 'props': { + 'model': 'onlyonce', + 'label': '立即运行一次', + } + } + ] + }, + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VSwitch', + 'props': { + 'model': 'copy_files', + 'label': '复制非媒体文件', + } + } + ] + } + ] + }, + { + 'component': 'VRow', + 'content': [ + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VSelect', + 'props': { + 'model': 'mode', + 'label': '监控模式', + 'items': [ + {'title': '兼容模式', 'value': 'compatibility'}, + {'title': '性能模式', 'value': 'fast'} + ] + } + } + ] + }, + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VTextField', + 'props': { + 'model': 'cron', + 'label': '定时全量同步周期', + 'placeholder': '5位cron表达式，留空关闭' + } + } + ] + }, + { + 'component': 'VCol', + 'props': { + 'cols': 12, + 'md': 4 + }, + 'content': [ + { + 'component': 'VTextField', + 'props': { + 'model': 'size', + 'label': '监控文件大小（GB）', + 'placeholder': '0' + } + } + ] + } + ] + }, + { + 'component': 'VRow', + 'content': [ + { + 'component': 'VCol', + 'props': { + 'cols': 12 + }, + 'content': [ + { + 'component': 'VTextarea', + 'props': { + 'model': 'monitor_dirs', + 'label': '监控目录', + 'rows': 5, + 'placeholder': '监控目录:转移目的目录' + } + } + ] + } + ] + }, + { + 'component': 'VRow', + 'content': [ + { + 'component': 'VCol', + 'props': { + 'cols': 12, + }, + 'content': [ + { + 'component': 'VTextarea', + 'props': { + 'model': 'exclude_keywords', + 'label': '排除关键词', + 'rows': 2, + 'placeholder': '每一行一个关键词' + } + } + ] + } + ] + }, + { + 'component': 'VRow', + 'content': [ + { + 'component': 'VCol', + 'props': { + 'cols': 12, + }, + 'content': [ + { + 'component': 'VAlert', + 'props': { + 'type': 'info', + 'variant': 'tonal', + 'text': '监控文件大小：单位GB，0为不开启，低于监控文件大小的文件不会被监控转移。' + } + } + ] + } + ] + } + ] + } + ], { + "enabled": False, + "onlyonce": False, + "copy_files": True, + "mode": "compatibility", + "monitor_dirs": "", + "exclude_keywords": "", + "cron": "", + "size": 0 + } + + def get_page(self) -> List[dict]: + pass + + def stop_service(self): + """ + 退出插件 + """ + if self._observer: + for observer in self._observer: + try: + observer.stop() + observer.join() + except Exception as e: + print(str(e)) + self._observer = [] + if self._scheduler: + self._scheduler.remove_all_jobs() + if self._scheduler.running: + self._event.set() + self._scheduler.shutdown() + self._event.clear() + self._scheduler = None diff --git a/plugins/shortplaymonitor/__init__.py b/plugins/shortplaymonitor/__init__.py index c222aa0..078aba1 100644 --- a/plugins/shortplaymonitor/__init__.py +++ b/plugins/shortplaymonitor/__init__.py @@ -503,7 +503,7 @@ class ShortPlayMonitor(_PluginBase): if transfer_type == 'link': # 硬链接 retcode, retmsg = SystemUtils.link(file_item, target_file) - elif transfer_type == 'softlink': + elif transfer_type == 'filesoftlink': # 软链接 retcode, retmsg = SystemUtils.softlink(file_item, target_file) elif transfer_type == 'move': @@ -884,7 +884,7 @@ class ShortPlayMonitor(_PluginBase): {'title': '移动', 'value': 'move'}, {'title': '复制', 'value': 'copy'}, {'title': '硬链接', 'value': 'link'}, - {'title': '软链接', 'value': 'softlink'}, + {'title': '软链接', 'value': 'filesoftlink'}, {'title': 'Rclone复制', 'value': 'rclone_copy'}, {'title': 'Rclone移动', 'value': 'rclone_move'} ]