Python 环境

更新时间：2024-4-23

对于深度学习工程师来说，Python 是必不可少的工具，因为大多数深度学习框架都支持 Python（比如 PyTorch 等）。在模型开发阶段，使用 Python 非常方便，如果配合 Jupyter Notebook 使用，还可以进一步提升开发效率。

Miniconda

Miniconda 是一个 Python 环境管理工具，它可以帮助你创建多个 Python 环境，每个环境可以有不同的 Python 版本和库。它的大小比 Anaconda 小很多，Anaconda 是一个大礼包，里面包含了很多库，而 Miniconda 只包含了 Python 和 conda，你可以根据自己的需求安装其他库。我个人比较喜欢安装 Miniconda。

你可以先下载安装包，然后使用 bash 安装 Miniconda，也可以使用 brew 安装。

bash 安装

下载最新的 miniconda 安装包。

20240423 下载的是 Miniconda3-latest-MacOSX-arm64.sh

需要使用 brew 安装 wget 命令
如果遇到网络问题，可以使用清华大学的镜像，如 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-MacOSX-arm64.sh

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-MacOSX-arm64.sh
bash Miniconda3-latest-MacOSX-arm64.sh

默认安装路径是 ~/miniconda3，如果你的用户名是 ypw，那么安装路径就是 /Users/ypw/miniconda3。

安装 Miniconda 后，会自动将 Miniconda 的路径添加到环境变量中，但是需要关闭并重新打开 shell 才能生效。如果需要在当前终端会话中立即生效，可以使用以下命令：

source ~/.zshrc

brew 安装

brew install --cask miniconda

此时，conda 会安装在这个路径下 /opt/homebrew/bin/conda。

检查 miniconda 是否安装成功：

conda --version

配置环境变量

安装好以后，有可能需要手动配置环境变量，如果你使用的是 zsh，你需要为 zsh 初始化：

~/miniconda3/bin/conda init zsh

执行以后，在 ~/.zshrc 中可以看到下面的内容：

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/Users/ypw/miniconda3/bin/conda' 'shell.zsh' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/Users/ypw/miniconda3/etc/profile.d/conda.sh" ]; then
        . "/Users/ypw/miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="/Users/ypw/miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

使用 conda 创建其他 Python 环境

如果我们需要其他 Python 环境，可以使用 conda 创建：

conda create -n python310 python=3.10
conda activate python310

参考链接：https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html

切换 conda 源

如果遇到网络问题，可以使用清华大学的镜像：

nano ~/.condarc

# 添加下面的内容
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

切换 pip 源

如果遇到网络问题，可以使用阿里云的镜像：

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

常用 pypi 镜像：

https://mirrors.aliyun.com/pypi/simple/
https://pypi.tuna.tsinghua.edu.cn/simple/
https://mirrors.163.com/pypi/simple/
https://pypi.doubanio.com/simple/
https://mirrors.ustc.edu.cn/pypi/web/simple/

Python 库

下面是我认为比较重要的 Python 库：

jupyter
numpy
matplotlib
opencv-python
pillow
tqdm
torch
torchvision
pytorch-lightning
wandb

安装大礼包：

pip install jupyter jupyter_contrib_nbextensions numpy pandas flask fastapi scikit-image scikit-learn matplotlib opencv-python pillow tqdm openpyxl ninja xtcocotools json_tricks munkres shapely ftfy pytest regex pyyaml yapf cython build twine memory_profiler transformers accelerate datasets pytorch-lightning wandb