https://hub.docker.com/r/paddlepaddle/paddle

https://github.com/PaddlePaddle/Paddle

https://github.com/PaddlePaddle/PaddleRec

https://paddlerec.readthedocs.io/en/latest/


docker run -itd  -p 8880:80   --name paddle  --restart=always   -v  /data/file:/data/file  -v /etc/localtime:/etc/localtime:ro -v /data/docker/tools/paddle:/opt  -e USER_PASSWD=wdq54321  paddlepaddle/paddle:2.1.2-gpu-cuda11.2-cudnn8


docker run -itd  -p 8880:80   --name paddle --restart=always   -v  /data/file:/data/file  -v /etc/localtime:/etc/localtime:ro  --env USER_PASSWD=wdq54321  registry.baidubce.com/paddlepaddle/paddle:2.1.2-jupyter


docker exec -it paddle /bin/bash

apt-get update -y

apt-get install -y wget vim net-tools curl git 

python3 -m pip install --upgrade pip

pip install ipyparallel

ipcluster nbextension enable

jupyter nbextension install --sys-prefix --py ipyparallel

jupyter nbextension enable --sys-prefix --py ipyparallel

jupyter serverextension enable --sys-prefix --py ipyparallel

ipcluster start


---需要使用root登录,需要修改配置

/opt/conda/lib/python3.8/site-packages/jupyterhub/spawner.py

 args.append('--disable-user-config')  

 args.append('--allow-root') ##添加此行代码,实现root访问与登陆  

 args.extend(self.args) 


docker  cp paddle:/srv/jupyterhub.sqlite   /data/file/jupyterhub.sqlite



-国内

registry.baidubce.com/paddlepaddle/paddle:2.1.2-jupyter

-国外

paddlepaddle/paddle:2.1.2-jupyter

-默认用户:  

paddle


# 推荐系统

什么是PaddleRec?

源于飞桨生态的搜索推荐模型 一站式开箱即用工具

适合初学者,开发者,研究者的推荐系统全流程解决方案

包含内容理解、匹配、召回、排序、 多任务、重排序等多个任务的完整推荐搜索算法库


cd  /opt

git clone https://github.com/PaddlePaddle/PaddleRec/

cd PaddleRec

-我们以排序模型中的dnn模型为例介绍PaddleRec的一键启动。

-训练数据来源为Criteo数据集,我们从中截取了100条数据:

python -u tools/trainer.py -m models/rank/dnn/config.yaml # 动态图训练 

python -u tools/static_trainer.py -m models/rank/dnn/config.yaml #  静态图训练


# textcnn文本分类模型

https://github.com/PaddlePaddle/PaddleRec/tree/master/models/contentunderstanding/textcnn

---模型简介

TextCNN网络是2014年提出的用来做文本分类的卷积神经网络,由于其结构简单、效果好,在文本分类、推荐等NLP领域应用广泛。对于文本分类问题,常见的方法无非就是抽取文本的特征。然后再基于抽取的特征训练一个分类器。 然而研究证明,TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解,TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强,在短文本领域专注于意图分类时效果很好,应用广泛,且速度较快。

---进入模型目录

cd models/contentunderstanding/textcnn # 在任意目录均可运行

---动态图训练

python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 

---动态图预测

python -u ../../../tools/infer.py -m config.yaml 

---静态图训练

python -u ../../../tools/static_trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 

---静态图预测

python -u ../../../tools/static_infer.py -m config.yaml 

---效果复现

-确认您当前所在目录为PaddleRec/models/contentunderstanding/textcnn

-进入paddlerec/datasets/senti_clas目录下,执行该脚本,会从国内源的服务器上下载我们预处理完成的senti_clas全量数据集,并解压到指定文件夹。

cd ../../../datasets/senti_clas

sh run.sh

-切回模型目录,执行命令运行全量数据

cd - # 切回模型目录

-动态图训练

python -u ../../../tools/trainer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 

python -u ../../../tools/infer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 


#

PaddlePaddle (PArallel Distributed Deep LEarning)是一个易用、高效、灵活、可扩展的深度学习框架


签名:这个人很懒,什么也没有留下!
最新回复 (0)
返回