python nn 聲音辨識 -2 建立nn

-

建立神經網路


網路上查聲音用這個function，跟這個loss算法(網站沒記下來) 
output_layer = add_layer(intput, input_tensors = input_len, output_tensors = output_len, n_layer = 1, activation_function = tf.nn.softmax)
loss = tf.reduce_mean(-tf.reduce_sum(y_feeds * tf.log(output_layer), reduction_indices=[1]))
訓練與預測的函數很像
#訓練 要餵入 x , y
sess.run(train, feed_dict = {x_feeds: x_data, y_feeds: y_data})
#放入loss 就能輸出現在loss值
loss_ = sess.run(loss, feed_dict={x_feeds: x_data, y_feeds: y_data})
#預測 只要餵入 x
result = sess.run(output_layer, feed_dict = {x_feeds: [x_test]})

完整程式碼：

import tensorflow as tf
import numpy as np
import wav_fft as wavf
import os
# 定義一個添加層的函數
def add_layer(inputs, input_tensors, output_tensors, n_layer, activation_function = None):
    layer_name = 'layer%s' % n_layer
    print(layer_name)
    with tf.name_scope('Layer'):
        with tf.name_scope('Weights'):
            W = tf.Variable(tf.random_normal([input_tensors, output_tensors]), dtype=tf.float32 ,name = 'W')          #
            tf.summary.histogram(name = layer_name + '/Weights', values = W)
            print(W.name)
        with tf.name_scope('Biases'):
            b = tf.Variable(tf.zeros([1, output_tensors])+0.1, dtype=tf.float32, name = 'b')      #
            tf.summary.histogram(name = layer_name + '/Biases', values = b)
        with tf.name_scope('Formula'):
            formula = tf.add(tf.matmul(inputs, W), b)
            
        if activation_function is None:
            outputs = formula
        else:
            outputs = activation_function(formula)
        tf.summary.histogram(name = layer_name + '/Outputs', values = outputs)
        return outputs
def nn_road(intput, input_len, output_len = 4):
    output_layer = add_layer(intput, input_tensors = input_len, output_tensors = output_len, n_layer = 1, activation_function = tf.nn.softmax)
    return output_layer
    
def train_run():
    
    # 準備資料
    audio_value, answer = wavf.read_to_mat()
    x_data = audio_value
    y_data = answer
    x_data_len = len(audio_value[0])

    # 建立 Feeds
    with tf.name_scope('Inputs'):
        x_feeds = tf.placeholder(tf.float32, shape = [None, 525], name = 'x_inputs')
        y_feeds = tf.placeholder(tf.float32, shape = [None, 4], name = 'y_inputs')
        
    output_layer = nn_road(x_feeds, 525)
    
    # 定義 `loss` 與要使用的 Optimizer
    with tf.name_scope('Loss'):
        #loss = tf.reduce_mean(tf.square(y_feeds - output_layer))
        loss = tf.reduce_mean(-tf.reduce_sum(y_feeds * tf.log(output_layer), reduction_indices=[1]))
        tf.summary.scalar('loss', loss)
    with tf.name_scope('Train'):
        optimizer = tf.train.GradientDescentOptimizer(learning_rate = 0.01)
        train = optimizer.minimize(loss)
    
    # 初始化 Graph
    saver = tf.train.Saver(tf.global_variables())
    init = tf.global_variables_initializer()
    with tf.Session() as sess:
        
        # 開始運算
        sess.run(init)
        for step in range(5000):
            sess.run(train, feed_dict = {x_feeds: x_data, y_feeds: y_data})
            if step % 200 == 0:
                loss_ = sess.run(loss, feed_dict={x_feeds: x_data, y_feeds: y_data})
                
                print(loss_)

        dir_name = 'tensorflow_model'
        if not os.path.exists(dir_name):    #先確認資料夾是否存在
            os.makedirs(dir_name)
        print("保存模型: ", saver.save(sess, './' + dir_name + '/' + 'wav_nn' + '_model.ckpt'))
        
        #predict test         
        temp, fs = wavf.read_file('./train_data/0210' + '.wav')
        ftmap, ftline = wavf.fft_domyself(temp, fs) 
        normalized_linefft_data = (ftline - np.mean(ftline)) / np.std(ftline)     
        x_test = normalized_linefft_data.tolist()     
        result = sess.run(output_layer, feed_dict = {x_feeds: [x_test]})
        print('[' + ' %0.10f'%result[0][0], ' %0.10f'%result[0][1], ' %0.10f'%result[0][2], ' %0.10f'%result[0][3] + ']')

if __name__ == '__main__':
    train_run()
拿0210.wav檔案測試，理想結果是[0.0, 0.0, 1.0, 0.0]，是第二種聲音的第10個檔案
神經網路得出[ 0.0000000000 0.0000349988 0.9999548197 0.0000101149]準確率相當高
Out[1]:
./train_data/0001.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0101.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0201.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0301.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0002.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0102.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0202.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0302.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0003.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0103.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0203.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0303.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0004.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0104.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0204.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0304.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0005.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0105.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0205.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0305.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0006.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0106.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0206.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0306.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0007.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0107.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0207.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0307.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0008.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0108.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0208.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0308.wav [0.0, 0.0, 0.0, 1.0]
./train_data/0009.wav [1.0, 0.0, 0.0, 0.0]
./train_data/0109.wav [0.0, 1.0, 0.0, 0.0]
./train_data/0209.wav [0.0, 0.0, 1.0, 0.0]
./train_data/0309.wav [0.0, 0.0, 0.0, 1.0]
layer1
Layer/Weights/W:0
19.0726
0.00698306
0.00230496
0.00142493
0.00104555
0.000831516
0.000692958
0.000595413
0.000522728
0.000466331
0.000421281
0.000384355
0.000353519
0.000327388
0.000304925
0.000285414
0.000268292
0.000253139
0.000239637
0.00022752
0.000216596
0.000206709
0.000197676
0.000189412
0.000181816
保存模型:  ./tensorflow_model/wav_nn_model.ckpt
[ 0.0000000000  0.0000349988  0.9999548197  0.0000101149]

留言

  1. 偷心兔2018年1月18日 清晨5:33

    跪求高手解有點不太懂

    回覆刪除
    回覆
    1. 阿翔2018年1月27日 下午4:23

      我這個不算是教學網站 你可以去看:https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/
      我很多時間是在這邊學的

      刪除

張貼留言

這個網誌中的熱門文章

C# 模擬鍵盤滑鼠控制電腦

-
滑鼠模擬 指定一個螢幕像素的座標位置 int x = 1255; int y = 161; Cursor.Position = new Point(x, y); ClassMouse.LeftClick(); //按下滑鼠左鍵 鍵盤模擬 官方文件 的範例是用小算盤程式，計算111*11= public class demo { [DllImport("USER32.DLL", CharSet = CharSet.Unicode)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); // Activate an application window. [DllImport("USER32.DLL")] public static extern bool SetForegroundWindow(IntPtr hWnd); // Send a series of key presses to the Calculator application. public static void Calculator() { // Get a handle to the Calculator application. The window class // and window name were obtained using the Spy++ tool. IntPtr calculatorHandle = FindWindow("ApplicationFrameWindow", "小算盤"); // Verify that Calculator is a running process. if (calculatorHandle == IntPtr.Zero) { MessageBox.Show("Calculator is not running.&q
閱讀完整內容

android 定時通知(永久長期的) 本篇只講AlarmManager使用

-
本篇使用AlarmManager達到準時執行某程式，跟鬧鐘的方式一樣，我之前用過IntentService、Service、Handler，都不能長期使用。 Servicer簡單缺點整理： IntentService：只要關閉activity背景保存視窗，IntentService背景所執行的程式就被強迫結束，好像可以重開(我沒試過)。 Service、Handler：雖然關閉activity會繼續執行，但他是重新在開啟一次service，這到還好，但當手機螢幕關閉處於待機狀態時，service會停止運作暫停在那邊，等你喚醒再繼續執行，所以用這個加timer做定時通知會整個亂掉，timer會停下來不數了。 AlarmManager主要架構是 跟系統註冊鬧鐘甚麼時間點 → 時間到系統會發送一個鬧鈴 → 你的activity接收那個鬧鈴後執行你的程式 當你註冊好幾個鬧鐘已經晚於現在時間，他會馬上通通都執行完 先建立接收鬧鈴的程式 在Manifest.xml 中加入接收系統鬧鈴 <application> <activity android:name=".MainActivity"> </activity> <!-- 當鬧鈴時間到達時要執行的程式 --> <receiver android:name=".AlarmReceiver"> <intent-filter> <action android:name="activity_app" /> </intent-filter> </receiver> </application> 建立一個class檔，執行接收到鬧鈴後的程式 public class AlarmReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) {
閱讀完整內容

python nn 聲音辨識 -1 傅立葉轉換

-
辨識環境聲音判斷出這是甚麼聲音 主要想法是用頻域赫茲分布做判斷 首先先錄三種聲音的聲音檔，我每一種聲音重複錄製九個sample，所以有27個wav檔 讀取wav檔案，作正規劃處理，在做傅立葉轉換 一開始由於自己做的fft_domyself() function跟其他聲音處理軟體做出來的不一樣，數值非常小，之後找到有內建的spectrogram() function，使用也是數值很小，最後才想到要20log()，但由於內建的覺得不適合自由調整，所以還是修改自己的function。 import matplotlib.pyplot as plt from scipy.fftpack import fft from scipy.io import wavfile # get the api import numpy as np from scipy import signal import math import pyaudio import wave import time #buf=[] #讀入單一檔案測試 def init(): fs, data = wavfile.read('0106.wav') # load the data b=[(ele/2**16.) for ele in data] # this is 16-bit track, b is now normalized on [-1,1) c = fft(b) # calculate fourier transform (complex numbers list) d = len(c)/2 # you only need half of the fft list (real signal symmetry) plt.subplot(211) plt.plot(b,'b') plt.title('time line') plt.subplot(212) plt.plot(abs(c[:(d-1)]),'r') plt.title('fft') plt.show() return fs, b #取樣率 dat
閱讀完整內容

python pyautogui 簡介

-
pyautogui 是 python的一個模組，他能控制鍵盤和滑鼠的操作，能利用它做自動化操作，像是用在軟體測試、重複性動作等。 pyautogui 暫停幾秒鐘 >>>pyautogui.PAUSE = 1.5 fail-safe (預設false) 當滑鼠一道螢幕左上角時，觸發 pyautogui 的failsafeexception 異常 >>>pyautogui.FAILSAFE = True 螢幕上的座標軸 (0,0) →→→→(1920,0)    ↓    ↓    ↓    ↓ (0,1080) 取得螢幕解析度 >>>import pyautogui >>>pyautogui.size() (1920, 1080) >>>width, height = pyautogui.size() 滑鼠部分 moveTo(width, height, duration) example移動到(300, 400)位置 pyautogui.moveTo(300, 400)                 #立即到 pyautogui.moveTo(300, 400, duration = 1.5) #花1.5秒移到 moeRel(width, height, duration) 移到相對座標，以當前滑鼠座標為基準點 pyautogui.moveRel(0, 100, duration=0.25) pyautogui.moveRel(-100, 0, duration=0.25) position() 獲得滑鼠當前的座標位置 >>>pyautogui.position() (300, 400) click(width, height, button) 滑鼠點擊 button = 'left', 'middle', 'right'。 pyautogui.click()                                #在當前位置點擊(預設左鍵) pyautogui.click(width, height)    
閱讀完整內容

python opencv 基本讀取、轉換、顯示、儲存等

-
檔案位置關系 filename = 'yourfilename.jpg'  #與程式碼相同位置的檔案 filename = './file/yourfilename.jpg' #程式碼資料夾裡的資料夾中的檔案 filename = '../yourfilename.jpg' #程式碼上一層資料夾的檔案 讀取image 及 顯示 import cv2 filename = 'yourfilename.jpg'     #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imshow("window title", image)  #顯示照片 儲存照片 import cv2 filename = 'yourfilename.jpg'      #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imwrite("filename.jpg", image)  #儲存照片，試過的檔案格式 .jpg .png 照片尺寸大小取得 image = cv2.imread(filename)    #讀取照片 hight = image.shape[1] width = image.shape[0] 色彩空間轉換 這邊要注意rgb色彩空間在opencv裡排列方式是bgr image = cv2.imread(filename) yuv = cv2.cvtColor(image,cv2.COLOR_BGR2YUV) #RGB to YUV hsv = cv2.cvtColor(image,cv2.COLOR_BGR2HSV) #RGB to HSV gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) #RGB to gray gray = cv2.cvtColor(image,cv2.COLOR_GRAY2BGR) #gray to rgb 照片三層色分離 import cv2 filename = 'yourfilename
閱讀完整內容