From 834f81eff0b59339328cd5c83c504ec27ae45a54 Mon Sep 17 00:00:00 2001 From: alikia2x Date: Sun, 30 Mar 2025 21:29:02 +0000 Subject: [PATCH] doc: GitBook - No subject --- doc/zh/SUMMARY.md | 2 +- doc/zh/architecture/database-structure/README.md | 8 ++++++-- .../message-queue/latestvideosqueue-dui-lie.md | 2 ++ .../message-queue/video-tags-queue.md | 15 --------------- doc/zh/architecture/overview.md | 13 +++++++++++-- 5 files changed, 20 insertions(+), 20 deletions(-) create mode 100644 doc/zh/architecture/message-queue/latestvideosqueue-dui-lie.md delete mode 100644 doc/zh/architecture/message-queue/video-tags-queue.md diff --git a/doc/zh/SUMMARY.md b/doc/zh/SUMMARY.md index 981ee4b..b51d329 100644 --- a/doc/zh/SUMMARY.md +++ b/doc/zh/SUMMARY.md @@ -14,7 +14,7 @@ * [歌曲类型](architecture/database-structure/type-of-song.md) * [人工智能](architecture/artificial-intelligence.md) * [消息队列](architecture/message-queue/README.md) - * [VideoTagsQueue队列](architecture/message-queue/video-tags-queue.md) + * [LatestVideosQueue 队列](architecture/message-queue/latestvideosqueue-dui-lie.md) ## API 文档 diff --git a/doc/zh/architecture/database-structure/README.md b/doc/zh/architecture/database-structure/README.md index 15d0a59..33b5b2b 100644 --- a/doc/zh/architecture/database-structure/README.md +++ b/doc/zh/architecture/database-structure/README.md @@ -5,6 +5,10 @@ CVSA 使用 [PostgreSQL](https://www.postgresql.org/) 作为数据库。 CVSA 的所有公开数据（不包括用户的个人数据）都存储在名为 `cvsa_main` 的数据库中，该数据库包含以下表： * songs：存储歌曲的主要信息 -* bili\_user：存储 Bilibili 用户信息快照 -* all\_data：[分区 30](../../about/scope-of-inclusion.md#vocaloiduatu-fen-qu) 中所有视频的元数据。 +* bilibili\_user：存储 Bilibili 用户信息快照 +* bilibili\_metadata：[分区 30](../../about/scope-of-inclusion.md#vocaloiduatu-fen-qu) 中所有视频的元数据 * labelling\_result：包含由我们的 AI 系统 标记的 `all_data` 中视频的标签。 +* latest\_video\_snapshot：存储视频最新的快照 +* video\_snapshot：存储视频的快照，包括特定时间下视频的统计信息（播放量、点赞数等） +* snapshot\_schedule：视频快照的规划信息，为辅助表 + diff --git a/doc/zh/architecture/message-queue/latestvideosqueue-dui-lie.md b/doc/zh/architecture/message-queue/latestvideosqueue-dui-lie.md new file mode 100644 index 0000000..bc9564e --- /dev/null +++ b/doc/zh/architecture/message-queue/latestvideosqueue-dui-lie.md @@ -0,0 +1,2 @@ +# LatestVideosQueue 队列 + diff --git a/doc/zh/architecture/message-queue/video-tags-queue.md b/doc/zh/architecture/message-queue/video-tags-queue.md deleted file mode 100644 index a90540c..0000000 --- a/doc/zh/architecture/message-queue/video-tags-queue.md +++ /dev/null @@ -1,15 +0,0 @@ ---- -description: 关于VideoTagsQueue队列的信息。 ---- - -# VideoTagsQueue队列 - -### 任务 - -视频标签队列包含两个任务：`getVideoTags`和`getVideosTags`。前者用于获取视频的标签，后者负责调度前者。 - -### 返回值 - -两个任务的返回值遵循以下表格： - -
返回值描述
0在 getVideoTags 中：标签成功获取
在 getVideosTags 中：所有无标签视频的相应任务已成功排队。
1在 getVideoTags 中：任务期间发生 fetch 错误
2在 getVideoTags 中：已达到 NetScheduler 设置的速率限制
3在 getVideoTags 中：未在任务数据中提供帮助
4在 getVideosTags 中：没有视频的 `tags` 为 NULL
1xx在 getVideosTags 中：队列中的任务数量超过了限制，因此 getVideosTags 停止添加任务。xx 是在执行期间添加到队列的任务数量。
diff --git a/doc/zh/architecture/overview.md b/doc/zh/architecture/overview.md index 33dbe0d..3e3312d 100644 --- a/doc/zh/architecture/overview.md +++ b/doc/zh/architecture/overview.md @@ -1,5 +1,4 @@ --- -icon: globe-pointer layout: title: visible: true @@ -15,4 +14,14 @@ layout: # 概览 -自动化是 CVSA 技术设计的最大亮点，为了实现自动化，我们使用BullMQ驱动的消息队列来并发处理数据采集生命周期中的各项任务。 +整个CVSA项目分为三个组件：**crawler**, **frontend** 和 **backend。** + +### **crawler** + +位于项目目录`packages/crawler` 下，它负责以下工作： + +* 抓取新的视频并收录作品 +* 持续监控视频的播放量等统计信息 + +整个 crawler 由 BullMQ 消息队列驱动，使用 Redis 和 PostgreSQL 管理状态。 +