Tensorflow object detection api 訓練過程記錄

-

一、安裝

安裝時間有點久了，細節有些已經忘記，以下紀錄主要步驟
1.Python 環境
    Python 我是使用anaconda安裝python3.6
    Tensorflow 1.14
pip install tensorflow=1.14

2.下載 Tensorflow object detection api
    網址(https://github.com/tensorflow/models) ，這是tensorflow 官方文件，我解壓縮放在 C:\tensorflow\
    這裡主要使用到的目錄是C:\tensorflow\models\research\object_detection
    編譯protoc、測試安裝... (這部分細節忘了)

3.添加環境變數
    C:\tensorflow\bin
    C:\tensorflow\models\research\
    C:\tensorflow\models\research\slim

二、建立dataset

1.Dataset 標記工具使用 labelImg，輸出xml檔保存
開啟自動儲存
會儲存一個.xml檔
2.因為tensorflow 需要 tfrecord格式，所以要做數據轉換
    建立train資料夾，放進訓練的圖片跟對應的xml檔
    建立test資料夾，放進測試的圖片跟對應的xml檔
    將多個xml檔轉換成tfrecord檔
# -*- coding: utf-8 -*-
# xml_to_tfrecord.py

import os
import io
import glob
import pandas as pd
import tensorflow as tf
import xml.etree.ElementTree as ET
 
from PIL import Image
from object_detection.utils import dataset_util
 
flags = tf.app.flags

flags.DEFINE_string('image_path', '', 'Path to the image and .xml input')
flags.DEFINE_string('output_path', '', 'Path to output TFRecord')
FLAGS = flags.FLAGS
 
# 需要修改類别標籤
def class_text_to_int(row_label):
    if row_label == 'person':
        return 1
    else:
        None
 
def create_tf_example(row):
    full_path = os.path.join(os.path.dirname(os.path.abspath(FLAGS.image_path)+'\\'), '{}'.format(row['filename']))
#    with tf.gfile.GFile(full_path, 'rb') as fid:
    with tf.io.gfile.GFile(full_path, 'rb') as fid:
        encoded_jpg = fid.read()
    encoded_jpg_io = io.BytesIO(encoded_jpg)
    image = Image.open(encoded_jpg_io)
    width, height = image.size
 
    filename = row['filename'].encode('utf8')
    image_format = b'jpg'
    xmins = [row['xmin'] / width]
    xmaxs = [row['xmax'] / width]
    ymins = [row['ymin'] / height]
    ymaxs = [row['ymax'] / height]
    classes_text = [row['class'].encode('utf8')]
    classes = [class_text_to_int(row['class'])]
 
    tf_example = tf.train.Example(features=tf.train.Features(feature={
        'image/height': dataset_util.int64_feature(height),
        'image/width': dataset_util.int64_feature(width),
        'image/filename': dataset_util.bytes_feature(filename),
        'image/source_id': dataset_util.bytes_feature(filename),
        'image/encoded': dataset_util.bytes_feature(encoded_jpg),
        'image/format': dataset_util.bytes_feature(image_format),
        'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
        'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
        'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
        'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
        'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
        'image/object/class/label': dataset_util.int64_list_feature(classes),
    }))
    return tf_example

def xml_to_csv(_path):
    xml_list = []
    for xml_file in glob.glob(os.path.abspath(_path) + '/*.xml'):
        tree = ET.parse(xml_file)
        root = tree.getroot()
        for member in root.findall('object'):
            value = (root.find('filename').text,
                     int(root.find('size')[0].text),
                     int(root.find('size')[1].text),
                     member[0].text,
                     int(member[4][0].text),
                     int(member[4][1].text),
                     int(member[4][2].text),
                     int(member[4][3].text)
                     )
            xml_list.append(value)
    column_name = ['filename', 'width', 'height', 'class', 'xmin', 'ymin', 'xmax', 'ymax']
    xml_df = pd.DataFrame(xml_list, columns=column_name)
    return xml_df
 
def main(_):
    global examples
    examples = xml_to_csv(os.path.abspath(FLAGS.image_path))
#    writer = tf.python_io.TFRecordWriter(FLAGS.output_path)
    writer = tf.io.TFRecordWriter(FLAGS.output_path)
    
    for index, row in examples.iterrows():
        tf_example = create_tf_example(row)
        writer.write(tf_example.SerializeToString())
    writer.close()
    print('Successfully created the TFRecords: {}'.format(os.path.abspath(FLAGS.output_path)))
    return 0
 
if __name__ == '__main__':
#    tf.app.run()
    tf.compat.v1.app.run()
輸入下面指令，將xml及image轉換成tfrecord格式： 
python xml_to_tfrecord.py (image and xml資料夾位置) (tfrecord輸出位置及檔名)
python xml_to_tfrecord.py ./path/train ./path/train.record
python xml_to_tfrecord.py ./path/test ./path/test.record

三、訓練數據 (這邊以 ssd_mobilenet_v2_coco model 為例子)

1.建一個資料夾 train_model 放訓練要用的資料
    在train_model 下建立 data 資料夾，把剛剛轉換出來的 train.record、test.record放進train_model\data
    建立label標籤文件，文件名稱person_label_map.pbtxt，格式可參考C:\tensorflow\models\research\object_detection\data裡的.pbtxt文件
item {
  id: 1
  name: 'person'
}
train_model\data 裡的資料有


2.下載預訓練模型
    下載官方預訓練模型將文件解壓縮放到train_model
    例如下載 ssd_mobilenet_v2_coco

3.修改 ssd_mobilenet_v2_coco.config
    將 C:\tensorflow\models\research\object_detection\samples\configs\ssd_mobilenet_v2_coco.config 複製一份到train_model裡面，修改 ssd_mobilenet_v2_coco.config以下內容
- num_classes: 90 #類別數量
- batch_size: 24 #根據機器性能調整
- #fine_tune_checkpoint: "PATH_TO_BE_CONFIGURED/ model.ckpt" #預訓練模型位置，可以修改為：
   fine_tune_checkpoint: "ssd_mobilenet_v2_coco_2018_03_29/model.ckpt"
- num_steps: 200000 #需要訓練的step
- train_input_reader
   input_path: "data/train.record"
   label_map_path: "data/person_label_map.pbtxt" # train eval共用label_map
- eval_input_reader
   input_path: "data/test.record"
   label_map_path: "data/person_label_map.pbtxt" # train eval共用label_map
- num_examples: 8000 # eval樣本數量，根據實際修改

在train_model 下建立 training資料夾，等等放訓練後的ckpt檔案

四、開始訓練

開啟cmd ，目錄轉到 train_model 資料夾
python C:\tensorflow\models\research\object_detection\legacy\train.py --train_dir=./training --pipeline_config_path=./ssd_mobilenet_v2_coco.config --logtostderr

五、轉換成freeze model

目錄在 train_model 資料夾，選擇要轉換的 steps，例如model.ckpt-100 
python C:\tensorflow\models\research\object_detection\export_inference_graph.py --input_type image_tensor --pipeline_config_path ./ssd_mobilenet_v2_coco.config --trained_checkpoint_prefix training/model.ckpt-xxx  --output_directory person_inference_graph

六、轉換成 opencv model格式(如果要用opencv load的話)

1.這裡需要兩個檔案
    person_inference_graph\frozen_inference_graph.pb
  train_model\ssd_mobilenet_v2_coco.config

2.轉換成 opencv 格式的 pb檔
# pb_TF2CV.py
# -*- coding: utf-8 -*-
import os, sys
import argparse
import tensorflow as tf
from tensorflow.tools.graph_transforms import TransformGraph
     
def changPB(input_pb, output_pb):
    with tf.gfile.FastGFile(input_pb, 'rb') as f:
        graph_def = tf.compat.v1.GraphDef()
        graph_def.ParseFromString(f.read())
        graph_def = TransformGraph(graph_def, ['image_tensor'], ['detection_boxes', 'detection_classes', 'detection_scores', 'num_detections'], ['sort_by_execution_order'])
        with tf.gfile.FastGFile(output_pb, 'wb') as f:
            f.write(graph_def.SerializeToString())
            
def arg():
    parser = argparse.ArgumentParser(description='input arguments')
    parser.add_argument('-i', action='store', dest='input_pb', type=str, default=None)
    parser.add_argument('-o', action='store', dest='output_pb', type=str, default=None)
    args = parser.parse_args()
    if not (args.input_pb is not None and args.output_pb is not None):
        parser.print_help()
        sys.exit(1)
    print('input args:', args)
    return args
    
if __name__ == '__main__':
    args = arg()
    if not os.path.exists(args.input_pb):
        print('not found input pb file')
        sys.exit(1)
    outputfile = os.path.abspath(args.output_pb)
    output_folder = os.path.dirname(outputfile)
    if not os.path.exists(output_folder):
        print('not found output folder:', output_folder)
        sys.exit(1)
    changPB(args.input_pb, outputfile)
    sys.exit(0)
輸入下面指令，轉換成opencv格式的pb檔
python pb_TF2CV.py -i frozen_inference_graph.pb -o sorted_inference_graph.pb

建立 opencv 格式的 graph_cv.pbtxt 下載 opencv v4.0 以後版本的 sources code
python path~\opencv\sources\samples\dnn\tf_text_graph_ssd.py --input sorted_inference_graph.pb --config sorted_inference_graph.pb --output graph_cv.pbtxt

七、python opencv load model 

import cv2
import numpy as np

net = cv2.dnn.readNetFromTensorflow("sorted_inference_graph.pb", "sorted_inference_graph.pb")
Img = cv2.imread("image.png")
img = cv2.dnn.blobFromImage(img, 1.0, size=(300, 300), swapRB=True, crop=False)
net.setInput(img)
outs = net.forward()
outs = outs[0][0]
for i, obj in enumerate(outs):
    classId = obj[1]
    score = obj[2]
    bbox = obj[3:]
    Lx= bbox[0] * img.shape[1]
    Ly= bbox[1] * img.shape[0]
    Rx= bbox[2] * img.shape[1]
    Ry= bbox[3] * img.shape[0]
    cv2.rectangle(img, (int(Lx), int(Ly)), (int(Rx), int(Ry)), (0, 255, 255), thickness=1)
cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

留言

張貼留言

這個網誌中的熱門文章

C# 模擬鍵盤滑鼠控制電腦

-
滑鼠模擬 指定一個螢幕像素的座標位置 int x = 1255; int y = 161; Cursor.Position = new Point(x, y); ClassMouse.LeftClick(); //按下滑鼠左鍵 鍵盤模擬 官方文件 的範例是用小算盤程式，計算111*11= public class demo { [DllImport("USER32.DLL", CharSet = CharSet.Unicode)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); // Activate an application window. [DllImport("USER32.DLL")] public static extern bool SetForegroundWindow(IntPtr hWnd); // Send a series of key presses to the Calculator application. public static void Calculator() { // Get a handle to the Calculator application. The window class // and window name were obtained using the Spy++ tool. IntPtr calculatorHandle = FindWindow("ApplicationFrameWindow", "小算盤"); // Verify that Calculator is a running process. if (calculatorHandle == IntPtr.Zero) { MessageBox.Show("Calculator is not running....
閱讀完整內容

android 定時通知(永久長期的) 本篇只講AlarmManager使用

-
本篇使用AlarmManager達到準時執行某程式，跟鬧鐘的方式一樣，我之前用過IntentService、Service、Handler，都不能長期使用。 Servicer簡單缺點整理： IntentService：只要關閉activity背景保存視窗，IntentService背景所執行的程式就被強迫結束，好像可以重開(我沒試過)。 Service、Handler：雖然關閉activity會繼續執行，但他是重新在開啟一次service，這到還好，但當手機螢幕關閉處於待機狀態時，service會停止運作暫停在那邊，等你喚醒再繼續執行，所以用這個加timer做定時通知會整個亂掉，timer會停下來不數了。 AlarmManager主要架構是 跟系統註冊鬧鐘甚麼時間點 → 時間到系統會發送一個鬧鈴 → 你的activity接收那個鬧鈴後執行你的程式 當你註冊好幾個鬧鐘已經晚於現在時間，他會馬上通通都執行完 先建立接收鬧鈴的程式 在Manifest.xml 中加入接收系統鬧鈴 <application> <activity android:name=".MainActivity"> </activity> <!-- 當鬧鈴時間到達時要執行的程式 --> <receiver android:name=".AlarmReceiver"> <intent-filter> <action android:name="activity_app" /> </intent-filter> </receiver> </application> 建立一個class檔，執行接收到鬧鈴後的程式 public class AlarmReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) { ...
閱讀完整內容

python 爬蟲程式 -1

-
做一個抓取 104人力銀行 新鮮人找工作版 所有工作及公司資料的程式 首先要抓搜尋結果頁面的資訊 import requests from bs4 import BeautifulSoup as bs search_url = "https://www.104.com.tw/area/freshman/search?keyword=%E6%A9%9F%E5%99%A8%E4%BA%BA&area=6001001000,6001002000&jobcategory=2007000000&industry=&page=1&sortField=APPEAR_DATE&sortMode=DESC" head = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36', 'Accept-Language':'zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4'} res = requests.get(search_url, headers = head) print(res.encoding) res.encoding = 'utf8' soup = bs(res.text) Out[1]:ISO-8859-1 用request傳回網頁內容 res.encoding可得知網頁編碼方式，一開始我根據網站上寫utf-8編碼，跟python設定編碼一致，想說沒問題，之後才找到如何知道是用甚麼編碼的方法，print出來才知道被python判斷成ISO-8859-1，那就自行設定成utf-8 BeautifulSoup 是一個能解構及分析的一套很好用的工具，將res轉成文字"res.text"，丟給 BeautifulSoup 抓取一個工作資料 用select擷取出我們要的資訊在哪個區域 job_box = soup.select(...
閱讀完整內容

python pyautogui 簡介

-
pyautogui 是 python的一個模組，他能控制鍵盤和滑鼠的操作，能利用它做自動化操作，像是用在軟體測試、重複性動作等。 pyautogui 暫停幾秒鐘 >>>pyautogui.PAUSE = 1.5 fail-safe (預設false) 當滑鼠一道螢幕左上角時，觸發 pyautogui 的failsafeexception 異常 >>>pyautogui.FAILSAFE = True 螢幕上的座標軸 (0,0) →→→→(1920,0)    ↓    ↓    ↓    ↓ (0,1080) 取得螢幕解析度 >>>import pyautogui >>>pyautogui.size() (1920, 1080) >>>width, height = pyautogui.size() 滑鼠部分 moveTo(width, height, duration) example移動到(300, 400)位置 pyautogui.moveTo(300, 400)                 #立即到 pyautogui.moveTo(300, 400, duration = 1.5) #花1.5秒移到 moeRel(width, height, duration) 移到相對座標，以當前滑鼠座標為基準點 pyautogui.moveRel(0, 100, duration=0.25) pyautogui.moveRel(-100, 0, duration=0.25) position() 獲得滑鼠當前的座標位置 >>>pyautogui.position() (300, 400) click(width, height, button) 滑鼠點擊 button = 'left', 'middle', 'right'。 pyautogui.click()       ...
閱讀完整內容

訂午餐/訂飲料/團購訂單 使用excel製作 - 4 統計項目唯一值/去除重複值 使用office365 新UNIQUE函數

-
新的 office 365 在 excel 回傳多個數值推出了一個新功能"溢出"，意思是如果公式得出多個數值，無法在一個儲存格內全部顯示，他會溢出到鄰近的空白儲存格內，但是當周遭都沒有空白儲存格時會顯示"溢出"，所以要注意溢出的地方要有空白儲存格讓他溢出。 一、公式介紹 主要是用以下兩個公式： UNIQUE (array，[by_col]，[exactly_once]) FILTER(array,include,[if_empty]) 1.UNIQUE (array，[by_col]，[exactly_once]) 描述：傳回清單或範圍中的唯一值清單。 array - 尋找唯一值的範圍 [by_col] - TRUE：欄彼此比較 FALSE：(可省略)列彼此比較 [exactly_once] - TRUE：剛好發生一次之列或欄 FALSE：(可省略)返回所有不同的列或欄 2.FILTER(array,include,[if_empty]) 描述：根據自定義的準則來篩選資料範圍。 array - 要篩選的陣列或範圍 include - 布林陣列的高度或寬度必須與該陣列相同 [if_empty] - 若所包含陣列中的全部值均為空時要傳回的值 二、取得項目的唯一值(使用office365) 使用 FILTER 函數是因為當取唯一值範圍裡有空白儲存格時，空白儲存格會被當作一個唯一值看待，但我的資料有時量多有時量少資料長度不固定，公式每次都調整資料範圍非常麻煩所以要將空白儲存格捨去。 1.有空白儲存格的情況 A12、A13為空白儲存格，取唯一值後空白儲存格會當作0。 =UNIQUE(A2:A13) 2.解決方法 不等於的寫法： <> 空白值 ""  公式一：先移除空白再取唯一值 =UNIQUE(FILTER(A2:A13, A2:A13<>"")) 黃色為公式拆解步驟結果 拆解步驟公式 ...
閱讀完整內容