Weights & Biases
W&B(Weights & Biases) 是一个平台,可以帮助数据科学家跟踪他们的模型、数据集、系统信息等。只需几行代码,用户就可以开始跟踪有关这些功能的所有内容。它免费供个人使用,团队使用通常需要付费,但用于学术目的的团队是免费的。你可以将 W&B 与自己喜欢的框架一起使用,例如 TensorFlow、Keras、PyTorch、SKlearn、fastai 等。
W&B 提供了以下 4 个有用的工具:
- Dashboard:实验跟踪;
- Artifacts:数据集版本控制、模型版本控制;
- Sweeps:超参数优化;
- Reports 保存和共享可重现的结果。
W&B 教程:https://docs.wandb.ai/quickstart
MLFlow
MLFlow 是一个能够覆盖机器学习全流程(从数据准备到模型训练到最终部署)的新平台,它是一款管理机器学习工作流程的工具,主要有三个功能模块:Tracking 跟踪和记录、Project 项目管理和 Models 模型管理。MLflow 支持 Java、Python、R 和 REST API 等。
MLFlow 具有以下主要组件:
- 跟踪:用于跟踪试验,以记录和比较参数与结果;
- 模型:用于通过各种 ML 库管理模型,并将其部署到各种模型服务和推理平台;
- 项目:用于将 ML 代码打包成可重用、可再现的格式,以便与其他数据科学家共享或转移到生产环境;
- 模型注册表:使你可以将模型存储集中化,以便使用版本控制和批注功能来管理模型的完整生命周期阶段转换;
- 模型服务:可用于将 MLflow 模型以 REST 终结点的形式托管。
MLFlow 教程:https://www.mlflow.org/docs/latest/tutorials-and-examples/tutorial.html
Screen
对于每个研究者来说,让实验通宵运行而且机器不会进入休眠状态再好不过了。当进行远程工作时,很多人都会担心 ssh 会话中断——代码运行几个小时就停止了。
screen 命令允许用户在一个窗口内使用多个终端会话,可以断开连接,也可以重新连接已断开连接的会话。每个会话都可以恢复连接,这样就算会话断开了,用户也不必担心数据丢失。
Screen 教程:https://www.geeksforgeeks.org/screen-command-in-linux-with-examples/
Lucidchart
Lucidchart 是一款免费的可以支持离线操作的谷歌浏览器图表插件,可以帮助用户绘制包括流程图、实体模型、UML、思维导图等多种图表的绘制工作。它提供了很多免费绘图模板,大大地加快了用户的绘图速度。该应用的一大优势是,它基于 HTML5,因此用户不需要下载本地应用程序,就可以在电脑、iPad 等设备上使用该应用。它的另一主要优势是共享的协作空间和在图表旁边做笔记的能力。
Lucidchart 教程:https://www.lucidchart.com/pages/tour
Inkscape
Inkscape 是一个开源的矢量图编辑工具,使用可伸缩向量图形 (SVG),以及基于 W3C 标准的 open XML 格式作为其默认文件格式。设计过程可能从一张涂鸦、一幅素描或者软件中模型设计开始,这些可能不足以完成一整个项目。Inkscape 可以帮助你将以上不成熟的素材转变为专业的设计,用于广告发布、模型制作等用途。Inkscape 还能提供 TexText 扩展,使用此软件包,你可以将 latex 公式无缝集成到图像中。
Inkscape 推荐教程:https://inkscape.org/learn/tutorials/
Streamlit
Streamlit 和常规 Web 框架不同之处在于,它不需要你去编写任何客户端代码(HTML/CSS/JS),只需要编写普通的 Python 模块,就可以在很短的时间内创建美观并具备高度交互性的界面,从而快速生成数据分析或者机器学习的结果;另一方面,和那些只能通过拖拽生成的工具也不同的是,你仍然具有对代码的完整控制权。
教程地址:https://builtin.com/machine-learning/streamlit-tutorial
Apifox
API 文档、API 调试、API Mock、API 自动化测试。集成以下功能:
- Swagger(后改名 OpenAPI):用于 API 设计。
- Postman:调试 API。
- Mock 工具:模拟 API 的返回数据,用于测试。
- JMeter:API 性能压测。
AppFlowy
Notion的替代品,可以自己搭建。
Netlify Drop
Netlify 最近发布的一个静态网页托管服务,只要把包含 HTML、CSS、JS 文件的目录拖到上传位置,Netlify 就会自动将这个目录发布为网站。这跟 Dropbox 的功能有点像。
LazyDocker
下载地址:https://github.com/jesseduffield/lazydocker
Lazydocker是一款专为懒人设计的Docker以及Docker-Compose终端管理工具,该工具采用Go语言开发,基于gocui实现。