南充市住房和城乡建设局考试网站百度广告电话号码是多少

南充市住房和城乡建设局考试网站,百度广告电话号码是多少,用网站建设与管理创业,江门seo培训阅前说明 本文档主要介绍采用MindIE镜像的方式在离线环境下给服务器部署大模型#xff0c;因在离线环境前需要准备好软件包以及模型#xff0c;因此也同样适用有线环境#xff0c;如有其他的问题请参考示例文档#xff1a; https://www.hiascend.com/software/modelzoo/m…阅前说明本文档主要介绍采用MindIE镜像的方式在离线环境下给服务器部署大模型因在离线环境前需要准备好软件包以及模型因此也同样适用有线环境如有其他的问题请参考示例文档https://www.hiascend.com/software/modelzoo/models/detail/11aa2a48479d4d229a9830b8e41fc0111.安装驱动以及固件在准备进行部署大模型前需要确认服务器是否安装了驱动以及固件。可以通过以下指令来判断当前命令是否安装驱动若返回驱动信息则证明已安装成功,则可以跳过第一章npm-smi info说明首次安装场景硬件设备刚出厂时未安装驱动或者硬件设备前期安装过驱动固件但是当前已卸载上述场景属于首次安装场景需按照“驱动-固件”的顺序安装驱动固件。覆盖安装场景硬件设备前期安装过驱动固件且未卸载当前要再次安装驱动固件此场景属于覆盖安装场景需按照“固件-驱动”的顺序安装固件驱动。本文仅主要介绍首次安装的场景因首次安装的场景是大部分人会遇到的情况覆盖安装场景请前往华为昇腾社区查询方法1.1准备用户指导用户创建安装和运行用户若用户已存在请跳过本节内容。组件安装用户运行用户NPU驱动和固件root由于安装驱动固件时运行用户和用户组默认指定为HwHiAiUser需在安装软件包前自行创建HwHiAiUser的运行用户和用户组。若创建的用户和用户组是非HwHiAiUser安装驱动和固件时必须指定运行用户。执行命令创建HwHiAiUer用户和用户组groupadd HwHiAiUser useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash1.2首次安装1.以root用户登录安装环境之后将驱动包和固件包放置在任意目录下或者可以自己新建文件夹进行放置比如:/root/data/npu2.进入软件包所在的目录下执行以下命令给驱动包还有固件包增加权限chmod x Ascend-hdk-chip_type-npu-driver_version_linux-arch.run chmod x Ascend-hdk-chip_type-npu-firmware_version.run3.接下来进行驱动固件的安装软件包的默认安装路径为/usr/local/Ascend。a.执行如下命令进行安装驱动./Ascend-hdk-chip_type-npu-driver_version_linux-arch.run --full --install-for-all若系统出现以下信息则表示安装成功Driver package installed successfully!说明假设执行命令时出现缺失部分Linux工具请根据安装过程中的会先信息提示自行安装b.执行如下命令进行安装固件./Ascend-hdk-chip_type-npu-firmware_version.run --full若系统出现如下关键回显信息表示固件安装成功。Firmware package installed successfully! Reboot now or after driver installation for the installation/upgrade to take effect说明如果驱动和固件运行用户和运行用户组未按照示例步骤创建为HwHiAiUser时则在安装驱动和固件包时必须指定运行用户和用户组示例命令如下./Ascend-hdk-chip_type-npu-driver_version_linux-arch.run --full --install-usernameusername --install-usergroupusergroup4.根据系统提示信息决定是否重启系统若需要重启请执行以下命令否则请跳过此步骤。boot5.执行如下命令查看驱动加载是否成功npu-smi info若返回驱动相关信息说明加载成功。否则说明加载失败2.模型及镜像传输在准备实现部署大模型的过程需要进行配置好docker环境还有下载好大模型以及适配的mindie镜像。因此需要外部存储设备来进行挂载来获取所需要的文件将外部存储设备插入服务器之后进行设备的识别2.1挂载外部存储设备在对系统进行任何存储操作前首要任务是精确识别目标设备。此步骤至关重要可有效防止对系统盘或其他关键数据盘的误操作。推荐使用lsblk命令来查看系统中所有块设备的信息该命令能以树状结构清晰地展示设备及其分区。lsblk执行后终端会出现以下内容NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 1.8T 0 disk ├─sda1 8:1 0 512M 0 part /boot/efi └─sda2 8:2 0 1.8T 0 part / sdb 8:16 0 931.5G 0 disk └─sdb1 8:17 0 931.5G 0 part分析与判断设备名称 (NAME): 系统内置硬盘通常被识别为sda。新接入的外部设备会按字母顺序依次命名为sdb、sdc等。设备容量 (SIZE): 通过对比设备的标称容量与命令输出的SIZE值可以快速定位目标设备。上例中931.5G的sdb设备即为目标外部硬盘。目标分区: 操作的核心对象是设备的分区即带有数字后缀的名称如sdb1。请准确记录此分区标识符例如/dev/sdb1后续操作将使用此路径。作为备选sudo fdisk -l命令可提供更详尽的分区表信息同样可用于设备识别。2.2创建挂载点挂载点 (Mount Point) 是 Linux 文件系统中的一个目录作为访问外部设备文件系统的入口。在挂载操作完成后对此目录的读写即是对外部设备内数据的读写。通常挂载点创建于/mnt或/media目录下。mkdir /mnt/mydev2.3执行挂载操作此步骤是将已识别的设备分区与创建的挂载点进行关联。使用mount命令完成此操作mount /dev/sdb1 /mnt/mydev命令格式为:mount [设备分区路径] [挂载点路径]。2.4文件传输设备成功挂载后即可通过挂载点路径/mnt/mydev对其进行文件操作。因为我们要从外部存储设备取文件执行以下命令cp /mnt/mydev/data.zip /path/to/server/destination/命令格式为:cp [挂载点路径] [想要放置文件的路径]。3.docker环境部署3.1确认架构再将需要的文件取过来之后我们需要进行docker环境的安装再进行安装之前需要查看docker的安装包是否与系统的架构是否匹配查看系统架构确认架构[rootlocalhost ~]uname -p x86_64 服务器如果是鲲鹏架构是aarch64 aarch64之后去对应的官网获取相对应的架构包此方法同样适用于任何镜像不单单是docker假设系统是aarch64的话下载mysql可以去官网获取相应的架构包3.2开始安装docker再确认无误之后我们进入到对应的文件目录执行命令进行解压tar -zxvf docker-20.10.7.tgz将二进制文件复制到/usr/bin/下进行配置cp docker/* /usr/bin/这时候配置添加 systemdvi /usr/lib/systemd/system/docker.service在这个文件添加[Unit] DescriptionDocker Application Container Engine Documentationhttps://docs.docker.com Afternetwork-online.target firewalld.service Wantsnetwork-online.target [Service] Typenotify ExecStart/usr/bin/dockerd ExecReload/bin/kill -s HUP $MAINPID LimitNOFILEinfinity LimitNPROCinfinity TimeoutStartSec0 Delegateyes KillModeprocess Restarton-failure StartLimitBurst3 StartLimitInterval60s [Install] WantedBymulti-user.target注意想要推出点击Esc键输入wq就可以保存推出了之后加载重启dockersystemctl daemon-reload systemctl restart docker同时我们设置docker开机自启动来确保下次再进入服务器依旧能识别docker命令systemctl enable docker这时候我们可以通过输入以下命令查看docker是否能开机自启动了,假设能看到回显enable就代表成功了systemctl is-enabled docker输入下面的指令弹出信息就代表安装成功了docker info4.加载镜像进入mindie的文件路径下执行命令进行加载docker load -i mindie:1.0.0-800I-A2-py311-openeuler24.03-lts(下载的镜像名称与标签)完成加载镜像后请使用docker images命令确认查找具体镜像名称与标签。docker images5.新建容器如果您使用的是root用户镜像例如从Ascend Hub上取得并且可以使用特权容器请使用以下命令启动容器docker run -it -d --nethost --shm-size1g \ --privileged \ --name container-name \ --device/dev/davinci_manager \ --device/dev/hisi_hdc \ --device/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro \ -v /path-to-weights:/path-to-weights:ro \ mindie:1.0.0-800I-A2-py311-openeuler24.03-lts bash如果您希望使用自行构建的普通用户镜像并且规避容器相关权限风险可以使用以下命令指定用户与设备docker run -it -d --nethost --shm-size1g \ --name container-name \ --device/dev/davinci_manager \ --device/dev/hisi_hdc \ --device/dev/devmm_svm \ --device/dev/davinci0 \ --device/dev/davinci1 \ --device/dev/davinci2 \ --device/dev/davinci3 \ --device/dev/davinci4 \ --device/dev/davinci5 \ --device/dev/davinci6 \ --device/dev/davinci7 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro \ -v /path-to-weights:/path-to-weights:ro \ mindie:1.0.0-800I-A2-py311-openeuler24.03-lts bash说明在这里我们需要变动的是container-name这个是我们自定义的容器名称两个一样/path-to-weights这是你模型的文件的路径第一个是你服务器上的文件的路径第二个是创建容器的模型存放的路径如果担心出问题或者不是很清楚的话都把这两个路径改成服务器上的模型文件的路径就好了mindie:1.0.0-800I-A2-py311-openeuler24.03-lts 这个是mindie的镜像名称也可以使用docker images命令来获取镜像的id来进行替换6.进入容器这时候执行命令进入容器docker exec -it ${容器名称} bash7.服务化推理说明当我们建立容器之后是需要进行一个基本的推理来判断模型是否成功部署推理有服务化推理以及纯模型推理本文主要介绍服务化推理想试试纯模型推理的话请前往上方的链接ps:这时候你已经进入容器了需要推出的话执行exit来进行推出有的时候需要执行多次才能退出容器回到服务器exit当我们进入到容器之后我们需要编辑文件进行配置vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json打开之后配置如下#后面的备注如有自定义一定要修改实际情况的话看着修改{ Version: 1.0.0, LogConfig : { logLevel : Info, logFileSize : 20, logFileNum : 20, logPath : logs/mindservice.log }, ServerConfig : { ipAddress : 127.0.0.1, #请求ip地址根据实际情况设置 managementIpAddress: 127.0.0.2,#根据实际情况进行修改新手的话建议把这两个ip都改成服务器的ip port : 1025, #端口号根据实际情况修改 managementPort : 1026, metricsPort : 1027, allowAllZeroIpListening : false, maxLinkNum : 1000, httpsEnabled : false, # https通信安全认证,测试环境下建议设置为false fullTextEnabled : false, tlsCaPath : security/ca/, tlsCaFile : [ca.pem], tlsCert : security/certs/server.pem, tlsPk : security/keys/server.key.pem, tlsPkPwd : security/pass/key_pwd.txt, tlsCrlPath : security/certs/, tlsCrlFiles : [server_crl.pem], managementTlsCaFile : [management_ca.pem], managementTlsCert : security/certs/management/server.pem, managementTlsPk : security/keys/management/server.key.pem, managementTlsPkPwd : security/pass/management/key_pwd.txt, managementTlsCrlPath : security/management/certs/, managementTlsCrlFiles : [server_crl.pem], kmcKsfMaster : tools/pmt/master/ksfa, kmcKsfStandby : tools/pmt/standby/ksfb, inferMode : standard, interCommTLSEnabled : true, interCommPort : 1121, interCommTlsCaPath : security/grpc/ca/, interCommTlsCaFiles : [ca.pem], interCommTlsCert : security/grpc/certs/server.pem, interCommPk : security/grpc/keys/server.key.pem, interCommPkPwd : security/grpc/pass/key_pwd.txt, interCommTlsCrlPath : security/grpc/certs/, interCommTlsCrlFiles : [server_crl.pem], openAiSupport : vllm }, BackendConfig: { backendName : mindieservice_llm_engine, modelInstanceNumber : 1, npuDeviceIds : [[0,1,2,3]], #要使用的npu编号根据实际情况进行配置 tokenizerProcessNumber : 8, multiNodesInferEnabled: false, multiNodesInferPort: 1120, interNodeTLSEnabled: true, interNodeTlsCaPath: security/grpc/ca/, interNodeTlsCaFiles: [ca.pem], interNodeTlsCert: security/grpc/certs/server.pem, interNodeTlsPk: security/grpc/keys/server.key.pem, interNodeTlsPkPwd: security/grpc/pass/mindie_server_key_pwd.txt, interNodeTlsCrlPath : security/grpc/certs/, interNodeTlsCrlfiles : [server_crl.pem], interNodeKmcKsfMaster: tools/pmt/master/ksfa, interNodeKmcKsfStandby: tools/pmt/standby/ksfb, ModelDeployConfig: { maxSeqLen : 2560, maxInputTokenLen : 2048, truncation : false, ModelConfig : [ { modelInstanceType: Standard, modelName : llama_65b, # 模型名称用于标识后面做测试的时候会用到自定义 modelWeightPath : /data/atb_testdata/weights/llama1-65b, #容器内模型路径自定义 worldSize : 4, # 该参数要求与npu卡的数量同步 cpuMemSize : 5, npuMemSize : -1, backendType: atb, trustRemoteCode: false } ] }, ScheduleConfig: { templateType: Standard, templateName : Standard_LLM, cacheBlockSize : 128, maxPrefillBatchSize : 50, maxPrefillTokens : 8192, prefillTimeMsPerReq : 150, prefillPolicyType : 0, decodeTimeMsPerReq : 50, decodePolicyType : 0, maxBatchSize : 200, # 最大BatchSize maxIterTimes : 512, # 输出序列长度 maxPreemptCount : 0, supportSelectBatch : false, maxQueueDelayMicroseconds : 5000 } } }7.拉起服务化输入cd /usr/local/Ascend/mindie/latest/mindie-service/bin ./mindieservice_daemon这时候等会就会看到Success的消息表示离成功不远了8.新建窗口这时候我们再新建一个连接服务器的窗口curl 127.0.0.1:1025/generate -d { #127.0.0.1是我们请求的ip1025自定义的端口 prompt: What is deep learning?,#提问的问题 max_tokens: 32,#输出的最大内容token stream: false,#是否流式输出 do_sample:true, repetition_penalty: 1.00, temperature: 0.01, top_p: 0.001, top_k: 1, model: qwen#模型名称 }这时候就能看到模型的回答了9.卸载外部设备最后进行卸载设备就好了umount /mnt/mydev #或者 umount /dev/sdb1若系统返回target is busy错误表示设备仍被占用。可使用lsof | grep /mnt/mydev等命令检查并终止相关进程。9.常见问题9.1权限问题当你在拉起服务化的时候发现权限问题的情况时请你退出容器在服务器里进入到模型路径下使用指令修改文件权限再新建容器即可chmod 640 config.json9.2transformers问题ImportError: cannot import name shard_checkpoint from transformers.modeling_utils.降低transformers版本可解决。输入pip install transformers4.46.3 --force-reinstall pip install numpy1.26.4 --force-reinstall