熱影像物件偵測 (Object Detection on Thermal Image)- 2 使用TensorRT C++ Win10 - 測試onnx model

-

上篇文章我們得到了onnx格式的model，先做個測試確認這個model是可以使用的，需要在onnx framework下執行這個model，這邊使用到python onnx runtime。

一、下載onnx runtime

可以在 https://www.onnxruntime.ai/ 下載你需要的版本。
我下載的是GPU版，在python環境下輸入：

pip install onnxruntime-gpu

二、寫執行程式

1.import

  import cv2>
  import numpy as np
  import onnxruntime as ort
  import onnxruntime.backend

2.讀入 onnx model

  modelName = 'weights/export.onnx'
  sess = ort.InferenceSession(modelName)

3.顯示讀入model的相關資訊

print("device", ort.get_device())

print("in count", len(sess.get_inputs()))
print("out count", len(sess.get_outputs()))

input_name = sess.get_inputs()[0].name
print("input name", input_name)
input_shape = sess.get_inputs()[0].shape
print("input shape", input_shape)
input_type = sess.get_inputs()[0].type
print("input type", input_type)

output_name0 = sess.get_outputs()[0].name
print("output0 name", output_name0)
output_shape0 = sess.get_outputs()[0].shape
print("output0 shape", output_shape0)
output_type0 = sess.get_outputs()[0].type
print("output0 type", output_type0)

output_name1 = sess.get_outputs()[1].name
print("output1 name", output_name1)
output_shape1 = sess.get_outputs()[1].shape
print("output1 shape", output_shape1)
output_type1 = sess.get_outputs()[1].type
print("output1 type", output_type1)
執行結果：
device GPU
in count 1
out count 2
input name input0
input shape [1, 3, 320, 416]
input type tensor(float)
output0 name output0
output0 shape [8190, 80]
output0 type tensor(float)
output1 name output1
output1 shape [8190, 4]
output1 type tensor(float)

4.讀入測試用圖片

imgs = []

img_orig = cv2.imread("image.jpeg")

img = cv2.resize(img_orig, (416,320))
imgs.append(img)

imgs = np.stack(imgs, 0)
imgs = imgs[:, :, :, ::-1].transpose(0, 3, 1, 2)  # BGR to RGB
imgs = np.ascontiguousarray(imgs, dtype=np.float32)  # uint8 to fp16/fp32

imgs /= 255.0  # 0 - 255 to 0.0 - 1.0

print("imgs.shape", imgs.shape)
執行結果：
imgs.shape (1, 3, 320, 416)

5.將圖片輸入至model做inference

res2 = sess.run([output_name0, output_name1], {input_name: imgs})

6.整理inference result

class_scores = res[0][:]
bbox = res[1][:]

# 80個種類中哪一個種類分數最高，紀錄種類的index及分數
class_IDs = np.argmax(class_scores, axis=1)
objects_class_score = []
for i, idx in enumerate(class_IDs):
    objects_class_score.append(class_scores[i,idx])
objects_class_score = np.array(objects_class_score)

# 將class_ID、class_score、bbox集合起來
preds = np.stack([class_IDs,objects_class_score], axis=1)
preds = np.concatenate((preds, bbox), axis=1)

# 篩選出 class_score > 0.3 的物體
i = (objects_class_score>0.3) & np.isfinite(preds).all()
preds = preds[i]
print("result shape:", preds.shape)
執行結果：
result shape: (15, 6)

7.show inference result

drawimg = img.copy()
imgH, imgW = drawimg.shape[:2]

# 取得 bbox 的部分，bbox的結構是[center point x, center point y, object width, object height]
for x,y,w,h in preds[:,2:]:
    L=int((x-w/2)*imgW)
    T=int((y-h/2)*imgH)
    R=int(L+w*imgW)
    B=int(T+h*imgH)
    cv2.rectangle(drawimg, (L,T), (R,B), (255,0,0), 1)
cv2.imshow("img", drawimg)
key = cv2.waitKey(0)
cv2.destroyAllWindows()
執行結果：

三、結論

有抓出物體大致位置代表這個model運作正常，下篇開始講解tensorRT的部分

四、參考資料來源：

https://medium.com/@joehoeller/object-detection-on-thermal-images-f9526237686a
https://github.com/joehoeller/Object-Detection-on-Thermal-Images


留言

張貼留言

這個網誌中的熱門文章

C# 模擬鍵盤滑鼠控制電腦

-
滑鼠模擬 指定一個螢幕像素的座標位置 int x = 1255; int y = 161; Cursor.Position = new Point(x, y); ClassMouse.LeftClick(); //按下滑鼠左鍵 鍵盤模擬 官方文件 的範例是用小算盤程式，計算111*11= public class demo { [DllImport("USER32.DLL", CharSet = CharSet.Unicode)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); // Activate an application window. [DllImport("USER32.DLL")] public static extern bool SetForegroundWindow(IntPtr hWnd); // Send a series of key presses to the Calculator application. public static void Calculator() { // Get a handle to the Calculator application. The window class // and window name were obtained using the Spy++ tool. IntPtr calculatorHandle = FindWindow("ApplicationFrameWindow", "小算盤"); // Verify that Calculator is a running process. if (calculatorHandle == IntPtr.Zero) { MessageBox.Show("Calculator is not running....
閱讀完整內容

python pyautogui 簡介

-
pyautogui 是 python的一個模組，他能控制鍵盤和滑鼠的操作，能利用它做自動化操作，像是用在軟體測試、重複性動作等。 pyautogui 暫停幾秒鐘 >>>pyautogui.PAUSE = 1.5 fail-safe (預設false) 當滑鼠一道螢幕左上角時，觸發 pyautogui 的failsafeexception 異常 >>>pyautogui.FAILSAFE = True 螢幕上的座標軸 (0,0) →→→→(1920,0)    ↓    ↓    ↓    ↓ (0,1080) 取得螢幕解析度 >>>import pyautogui >>>pyautogui.size() (1920, 1080) >>>width, height = pyautogui.size() 滑鼠部分 moveTo(width, height, duration) example移動到(300, 400)位置 pyautogui.moveTo(300, 400)                 #立即到 pyautogui.moveTo(300, 400, duration = 1.5) #花1.5秒移到 moeRel(width, height, duration) 移到相對座標，以當前滑鼠座標為基準點 pyautogui.moveRel(0, 100, duration=0.25) pyautogui.moveRel(-100, 0, duration=0.25) position() 獲得滑鼠當前的座標位置 >>>pyautogui.position() (300, 400) click(width, height, button) 滑鼠點擊 button = 'left', 'middle', 'right'。 pyautogui.click()       ...
閱讀完整內容

android 定時通知(永久長期的) 本篇只講AlarmManager使用

-
本篇使用AlarmManager達到準時執行某程式，跟鬧鐘的方式一樣，我之前用過IntentService、Service、Handler，都不能長期使用。 Servicer簡單缺點整理： IntentService：只要關閉activity背景保存視窗，IntentService背景所執行的程式就被強迫結束，好像可以重開(我沒試過)。 Service、Handler：雖然關閉activity會繼續執行，但他是重新在開啟一次service，這到還好，但當手機螢幕關閉處於待機狀態時，service會停止運作暫停在那邊，等你喚醒再繼續執行，所以用這個加timer做定時通知會整個亂掉，timer會停下來不數了。 AlarmManager主要架構是 跟系統註冊鬧鐘甚麼時間點 → 時間到系統會發送一個鬧鈴 → 你的activity接收那個鬧鈴後執行你的程式 當你註冊好幾個鬧鐘已經晚於現在時間，他會馬上通通都執行完 先建立接收鬧鈴的程式 在Manifest.xml 中加入接收系統鬧鈴 <application> <activity android:name=".MainActivity"> </activity> <!-- 當鬧鈴時間到達時要執行的程式 --> <receiver android:name=".AlarmReceiver"> <intent-filter> <action android:name="activity_app" /> </intent-filter> </receiver> </application> 建立一個class檔，執行接收到鬧鈴後的程式 public class AlarmReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) { ...
閱讀完整內容

raspberrypi 開機自動執行程式 與 在terminal開啟第二個terminal執行python

-
raspberrypi 開啟另一個terminal執行程式 在terminal輸入： lxterminal -e python3 demo.py 參考自： https://www.raspberrypi.org/forums/viewtopic.php?t=65607 ------------------------------------------------------------------------------------------------------------------------------------------------------- raspberrypi 開機自動執行程式 在terminal中輸入以下指令，開啟檔案： sudo nano /etc/rc.local 以下是加入執行python程式 #!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. # Print the IP address _IP=$(hostname -I) || true if [ "$_IP" ]; then    printf "My IP address is %s\n" "$_IP" fi sudo python /home/pi/demo.py  <==加入在這邊 exit 0 參考自： http://dirtypig8.blogspot.tw/2016/12/python.html#!/tcmbck
閱讀完整內容

python nn 聲音辨識 -1 傅立葉轉換

-
辨識環境聲音判斷出這是甚麼聲音 主要想法是用頻域赫茲分布做判斷 首先先錄三種聲音的聲音檔，我每一種聲音重複錄製九個sample，所以有27個wav檔 讀取wav檔案，作正規劃處理，在做傅立葉轉換 一開始由於自己做的fft_domyself() function跟其他聲音處理軟體做出來的不一樣，數值非常小，之後找到有內建的spectrogram() function，使用也是數值很小，最後才想到要20log()，但由於內建的覺得不適合自由調整，所以還是修改自己的function。 import matplotlib.pyplot as plt from scipy.fftpack import fft from scipy.io import wavfile # get the api import numpy as np from scipy import signal import math import pyaudio import wave import time #buf=[] #讀入單一檔案測試 def init(): fs, data = wavfile.read('0106.wav') # load the data b=[(ele/2**16.) for ele in data] # this is 16-bit track, b is now normalized on [-1,1) c = fft(b) # calculate fourier transform (complex numbers list) d = len(c)/2 # you only need half of the fft list (real signal symmetry) plt.subplot(211) plt.plot(b,'b') plt.title('time line') plt.subplot(212) plt.plot(abs(c[:(d-1)]),'r') plt.title('fft') plt.show() return fs, b #取樣率 dat...
閱讀完整內容