在本地搭建私有翻译服务:MTranServer 上手指南

前天 17:07

MTranServer 是基于 Mozilla Firefox 翻译模型的自托管服务,完全通过 CPU 计算实现,无需通过独立显卡,这使得我们可以借此搭建一个「私有翻译服务」。


翻译服务作为一项历史悠久的互联网服务,早已成为互联网产品的标配。例如,Chrome 浏览器内置了 Google 翻译,微软 Edge 浏览器内置了微软翻译。国内厂商也推出了各种翻译工具。如今,在 AI 大模型的加持下,翻译质量已从「机翻」进化到接近人工翻译的水平。

然而,这些翻译服务大多依赖网络,无法离线使用。基于大模型的翻译服务响应速度也差强人意。有没有可以私有化部署甚至本地离线运行的翻译服务呢?

MTranServer 项目是一款基于 Mozilla Firefox 翻译模型的自托管服务。它虽然也基于「大模型」,但完全通过 CPU 计算实现,无需独立显卡。同时,系统资源占用率极低,仅使用英译中翻译模型时,平均内存占用仅 700MB。由于模型在本地运行,无需联网和依赖第三方服务,我们可以借此搭建一个「私有翻译服务」。

部署方法

MTranServer 目前支持 Docker 自部署。最新版本的 Docker 镜像支持 AMD64 和 ARM64 处理器架构,因此无论是普通的 X86-64 架构 Windows 电脑还是 Apple Silicon 架构的 Mac 都可以通过 Docker Desktop 进行本地部署。

此外,如果你希望分享这个翻译服务,也可以将 MTranServer 部署到私有云/公有云服务器上,然后通过生成的公网服务地址来分享。

桌面电脑本地部署

在桌面端部署的前提是先下载并安装 Docker Desktop。然后下载 MTranServer 项目作者提供的「桌面一键包」,将压缩包解压缩到本地的一个纯英文目录下,然后进入文件夹,使用文本编辑器打开 compose.yml 进行修改。

services:
  mtranserver:
    image: xxnuo/mtranserver:latest
    container_name: mtranserver
    restart: unless-stopped
    ports:
      - "8989:8989"
    volumes:
      - ./models:/app/models
    environment:
      - CORE_API_TOKEN=your_token

这里可以修改映射端口,例如将访问端口修改为 9000,则修改为 9000:8989your_token 用于防止滥用,本机部署可设置为空。

完成compose.yml 修改后,进入 mtranserver 目录,右键菜单选择「在终端打开」,输入以下命令启动服务进行测试:

docker compose up

如果终端输出内容如下,则表示启动成功:

[+] Running 2/2
 ✔ Network sample_default  Created  0.1s
 ✔ Container mtranserver  Created  0.1s

在浏览器中输入http://localhost:8989/imme,如果返回405 Method Not Allowed,说明服务运行正常。

回到终端,使用快捷键 Ctrl + C 关闭容器,然后输入命令:docker compose up -d 使容器在后台运行。

「桌面一键包」仅包含英译中模型(models 文件夹下只有 enzh)。如需更多语种,可点击这里下载模型包,并将每个语言的压缩包解压到 models 文件夹内。注意:同时使用多个模型会增加内存占用,请按需选择。

优化技巧:在 Windows 上通过 Docker Desktop 部署时,可结合 WSL 作为容器引擎后端,大幅优化系统资源占用 1

切换到 WSL 后端:打开 Docker Desktop 设置,在 General 中勾选 「Use the WSL2 based engine」,然后在 Resources - WSL integration 中勾选 Enable integration with my default WSL distro 并勾选默认的 WSL 发行版,点击 Apply 生效。之后容器将运行在 WSL 的 Linux 发行版上。

云服务器 / NAS 部署

如果 NAS 性能较强或购买了云服务器,也可将 MTranServer 部署其上,打造「私有翻译服务」。以腾讯云轻量云服务器(Ubuntu)为例,讲解部署步骤。

首先确保服务器已安装 Docker-CE 及相关引擎(参考云服务商文档)。

使用 SSH 客户端登录服务器,创建 mtranserver 目录,将「桌面一键包」中的 models 文件夹和 compose.yml 上传到服务器。如果服务器公网 IP 位于国内,需在这里手动下载镜像,并将.tar镜像包上传到 mtranserver 目录,效果如下:

进入 mtranserver 目录,输入以下命令导入镜像:

sudo docker load -i mtranserver.image.tar

输入以下命令运行容器(步骤与桌面类似):

sudo docker compose up -d

 

在浏览器中输入https://公网IP:8989/imme,如果返回「405 Method Not Allowed」,则表示部署成功。如无法访问,请检查云服务器防火墙规则是否放行了相关端口。

结合沉浸式翻译插件

服务搭建好后,可使用浏览器扩展程序「沉浸式翻译」调用 MTranServer 服务。安装完成后,进入设置,点击「开发者设置」,开启开启 Beta 测试特性开关。

会员专属文章,欢迎加入少数派会员。
优质内容
权益周边
会员社群
power+
评论区
全部评论0
成为少数派会员方可评论,立即加入 。若已是少数派会员,点击登录
还没有评论,来发表第一个评论吧
全部评论
还没有评论,来发表第一个评论吧
成为少数派会员方可评论,立即加入 。若已是少数派会员,点击登录
会员新功能
内容侧边栏
点击这里拉开侧边栏,即可查看会员内容列表,快速切换内容。