参考：https://github.com/QwenLM/Qwen1.5

下载：https://huggingface.co/collections/Qwen/qwen15-65c0a2f577b1ecb76d786524

下载可以参考huggingface-cli 命令下载使用：https://blog.csdn.net/weixin_42357472/article/details/132663693

1、vllm运行

显卡驱动：NVIDIA-SMI CUDA Version: 12.0
cuda版本：