PaddleClas图像分类

2022-07-01

概述

本文将讲解利用PaddleCals实现对图像进行分类的任务，利用AI Studio平台训练，并通过猫十二分类例子讲解如何进行训练与预测。

版本

PaddlePaddle 2.1.2
PaddleClas 2.3

下载PaddleClas

此时可以将PaddleClas下载到项目中。

1	!git clone https://gitee.com/paddlepaddle/PaddleClas/ --depth=1

预处理

1.解压数据集

1 2	# 解压缩数据集 !unzip -qoa data/data8136/cat_data_sets_models.zip -d data/

2.划分数据集

import os
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np

def break_data(target, rate=0.2):
    origin_dataset = pd.read_csv("/home/aistudio/data/data_sets/cat_12/train_list.txt", delimiter="\t", header=None)  # 加入参数
    # train_data, test_data = train_test_split(origin_dataset, test_size=rate)
    train_data,eval_data=train_test_split(origin_dataset, test_size=rate)
    train_filename = os.path.join(target, 'train.txt')
    # test_filename = os.path.join(target, 'test.txt')
    eval_filename = os.path.join(target, 'eval.txt')

    train_data.to_csv(train_filename, index=False, sep="\t", header=None)
    # test_data.to_csv(test_filename, index=False, sep="\t", header=None)
    eval_data.to_csv(eval_filename, index=False, sep="\t", header=None)


if __name__ == '__main__':
    break_data(target='data', rate=0.2)

3.通道转化

由于图片中存在一些非RGB格式的图片，会影响训练，因此进行处理。

#导入需要的包
import os
import random
import json
import cv2
import numpy as np
from PIL import Image
import paddle
import matplotlib.pyplot as plt
## 转换4通道为3通道
def proc_img(src):
    for root, dirs, files in os.walk(src):
        if '__MACOSX' in root:continue
        for file in files:            
            src=os.path.join(root,file)
            img=Image.open(src)
            ## 转换4通道为3通道
            if img.mode != 'RGB': 
                    img = img.convert('RGB') 
                    img.save(src)    
                    print(src)        


if __name__=='__main__':
    proc_img("data/data_sets/cat_12/cat_12_train")
    proc_img("data/data_sets/cat_12/cat_12_test")

训练

1.修改bug

由于PaddleClas2.3版本读数据存在bug，因此修改如下文件
目录：\ppcls\data\dataloader\imagenet_dataset.py
注释:

assert os.path.exists(self._cls_path)
assert os.path.exists(self._img_path)
添加：

self._cls_path=os.path.join(self._img_root,self._cls_path)
同时修改with open（）as fd:中的内容如下：

class ImageNetDataset(CommonDataset):
    def _load_anno(self, seed=None):
        # 会对目录进行检测，如果cls_path使用相对目录，就会报错，在此注释掉，并修改为self._cls_path=os.path.join(self._img_root,self._cls_path)

        self.images = []
        self.labels = []

        with open(self._cls_path) as fd:
            lines = fd.readlines()
            if seed is not None:
                np.random.RandomState(seed).shuffle(lines)
            for l in lines:
            	  # tab分割
                # l = l.strip().split(" ")
                l = l.strip().split("\t")
                self.images.append(os.path.join(self._img_root, l[0]))
                self.labels.append(int(l[1]))
                # 不需要判断这个
                # assert os.path.exists(self.images[-1])

2.修改配置文件

选择PaddleClas/ppcls/configs/ImageNet/ 中的模型，这里以ResNet为例，选择其中的ResNet50_vd.yaml配置文件，主要修改参数如下：

class_num: 12
Train和Eval下均需修改
image_root: /home/aistudio/data/data_sets/cat_12/
cls_label_path: /home/aistudio/data/eval.txt

3.配置说明

3.1 全局配置(Global)

参数名字	具体含义	默认值	可选值
checkpoints	断点模型路径，用于恢复训练	null	str
pretrained_model	预训练模型路径	null	str
output_dir	保存模型路径	“./output/“	str
save_interval	每隔多少个epoch保存模型	1	int
eval_during_train	是否在训练时进行评估	True	bool
eval_interval	每隔多少个epoch进行模型评估	1	int
epochs	训练总epoch数		int
print_batch_step	每隔多少个mini-batch打印输出	10	int
use_visualdl	是否是用visualdl可视化训练过程	False	bool
image_shape	图片大小	[3，224，224]	list, shape: (3,)
save_inference_dir	inference模型的保存路径	“./inference”	str
eval_mode	eval的模式	“classification”	“retrieval”

3.2 结构(Arch)

参数名字	具体含义	默认值	可选值
name	模型结构名字	ResNet50	PaddleClas提供的模型结构
class_num	分类数	1000	int
pretrained	预训练模型	False	bool， str

3.3 损失函数（Loss）

参数名字	具体含义	默认值	可选值
CELoss	交叉熵损失函数	——	——
CELoss.weight	CELoss的在整个Loss中的权重	1.0	float
CELoss.epsilon	CELoss中label_smooth的epsilon值	0.1	float，0-1之间

3.4 优化器(Optimizer)

参数名字	具体含义	默认值	可选值
name	优化器方法名	“Momentum”	“RmsProp”等其他优化器
momentum	momentum值	0.9	float
lr.name	学习率下降方式	“Cosine”	“Linear”、”Piecewise”等其他下降方式
lr.learning_rate	学习率初始值	0.1	float
lr.warmup_epoch	warmup轮数	0	int，如5
regularizer.name	正则化方法名	“L2”	[“L1”, “L2”]
regularizer.coeff	正则化系数	0.00007	float

4.开始训练

1 2	# 使用以下命令进入项目目录 %cd PaddleClas/

# GPU设置
!export CUDA_VISIBLE_DEVICES=0

# -o Arch.pretrained=True 使用预训练模型，当选择为True时，预训练权重会自动下载到本地
!python tools/train.py -c /home/aistudio/PaddleClas/ppcls/configs/ImageNet/ResNet/ResNet50_vd.yaml -o Arch.pretrained=True

使用多卡训练

!export CUDA_VISIBLE_DEVICES=0,1,2,3
!python3 -m paddle.distributed.launch \
    --gpus="0,1,2,3" \
    tools/train.py \
        -c /home/aistudio/ResNet50_vd.yaml -o Arch.pretrained=True

预测

输入以下命令进行单张图片预测：

1
2

# 预测
!python3 tools/infer.py -c /home/aistudio/ResNet50_vd.yaml -o Infer.infer_imgs=/home/aistudio/data/data_sets/cat_12/cat_12_test/ou9Ik17GtHSThRCDLZm3f6vB8ybQ4xsl.jpg  -o Global.pretrained_model=output/ResNet50_vd/best_model

输入以下命令进行批量图片预测，并重定向到output.txt文件中。

1
2

# 预测
!python3 tools/infer.py -c /home/aistudio/ResNet50_vd.yaml -o Infer.infer_imgs=/home/aistudio/data/data_sets/cat_12/cat_12_test/  -o Global.pretrained_model=output/ResNet50_vd/best_model > output.txt

输入以下命令生成提交的csv文件格式

import ast
import re

with open("output.txt") as f:
    ftxt = f.read()
    
pattern = r"{'class_ids':.*?}"
pre_results = re.findall(pattern, ftxt)
print(len(pre_results))

pre_data = []
for pre_result in pre_results:
    pre_dict = ast.literal_eval(pre_result)  # ["class_ids", "scores", "file_name", "label_names"]
    pre_data.append([pre_dict["file_name"].split("/")[-1],\
                            pre_dict["class_ids"][0], pre_dict["scores"][0]])

columns = ["img_path", "label", "scores"]
pre_df = pd.DataFrame(data=pre_data,
                       index=range(len(pre_data)), 
                       columns=columns)

pre_df.drop(columns=['scores'],inplace=True)  # 删除 scores 列
pre_df.sort_values(["img_path"], inplace=True)  # 排序
pre_df.to_csv('submission.csv',index=None,header=None)