https://hub.docker.com/r/paddlepaddle/paddle
https://github.com/PaddlePaddle/Paddle
https://github.com/PaddlePaddle/PaddleRec
https://paddlerec.readthedocs.io/en/latest/
docker run -itd -p 8880:80 --name paddle --restart=always -v /data/file:/data/file -v /etc/localtime:/etc/localtime:ro -v /data/docker/tools/paddle:/opt -e USER_PASSWD=wdq54321 paddlepaddle/paddle:2.1.2-gpu-cuda11.2-cudnn8
docker run -itd -p 8880:80 --name paddle --restart=always -v /data/file:/data/file -v /etc/localtime:/etc/localtime:ro --env USER_PASSWD=wdq54321 registry.baidubce.com/paddlepaddle/paddle:2.1.2-jupyter
docker exec -it paddle /bin/bash
apt-get update -y
apt-get install -y wget vim net-tools curl git
python3 -m pip install --upgrade pip
pip install ipyparallel
ipcluster nbextension enable
jupyter nbextension install --sys-prefix --py ipyparallel
jupyter nbextension enable --sys-prefix --py ipyparallel
jupyter serverextension enable --sys-prefix --py ipyparallel
ipcluster start
---需要使用root登录,需要修改配置
/opt/conda/lib/python3.8/site-packages/jupyterhub/spawner.py
args.append('--disable-user-config')
args.append('--allow-root') ##添加此行代码,实现root访问与登陆
args.extend(self.args)
docker cp paddle:/srv/jupyterhub.sqlite /data/file/jupyterhub.sqlite
-国内
registry.baidubce.com/paddlepaddle/paddle:2.1.2-jupyter
-国外
paddlepaddle/paddle:2.1.2-jupyter
-默认用户:
paddle
# 推荐系统
什么是PaddleRec?
源于飞桨生态的搜索推荐模型 一站式开箱即用工具
适合初学者,开发者,研究者的推荐系统全流程解决方案
包含内容理解、匹配、召回、排序、 多任务、重排序等多个任务的完整推荐搜索算法库
cd /opt
git clone https://github.com/PaddlePaddle/PaddleRec/
cd PaddleRec
-我们以排序模型中的dnn模型为例介绍PaddleRec的一键启动。
-训练数据来源为Criteo数据集,我们从中截取了100条数据:
python -u tools/trainer.py -m models/rank/dnn/config.yaml # 动态图训练
python -u tools/static_trainer.py -m models/rank/dnn/config.yaml # 静态图训练
# textcnn文本分类模型
https://github.com/PaddlePaddle/PaddleRec/tree/master/models/contentunderstanding/textcnn
---模型简介
TextCNN网络是2014年提出的用来做文本分类的卷积神经网络,由于其结构简单、效果好,在文本分类、推荐等NLP领域应用广泛。对于文本分类问题,常见的方法无非就是抽取文本的特征。然后再基于抽取的特征训练一个分类器。 然而研究证明,TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解,TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强,在短文本领域专注于意图分类时效果很好,应用广泛,且速度较快。
---进入模型目录
cd models/contentunderstanding/textcnn # 在任意目录均可运行
---动态图训练
python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml
---动态图预测
python -u ../../../tools/infer.py -m config.yaml
---静态图训练
python -u ../../../tools/static_trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml
---静态图预测
python -u ../../../tools/static_infer.py -m config.yaml
---效果复现
-确认您当前所在目录为PaddleRec/models/contentunderstanding/textcnn
-进入paddlerec/datasets/senti_clas目录下,执行该脚本,会从国内源的服务器上下载我们预处理完成的senti_clas全量数据集,并解压到指定文件夹。
cd ../../../datasets/senti_clas
sh run.sh
-切回模型目录,执行命令运行全量数据
cd - # 切回模型目录
-动态图训练
python -u ../../../tools/trainer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml
python -u ../../../tools/infer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml
#
PaddlePaddle (PArallel Distributed Deep LEarning)是一个易用、高效、灵活、可扩展的深度学习框架