python nn 聲音辨識 -1 傅立葉轉換

-

辨識環境聲音判斷出這是甚麼聲音

主要想法是用頻域赫茲分布做判斷
首先先錄三種聲音的聲音檔，我每一種聲音重複錄製九個sample，所以有27個wav檔

讀取wav檔案，作正規劃處理，在做傅立葉轉換
一開始由於自己做的fft_domyself() function跟其他聲音處理軟體做出來的不一樣，數值非常小，之後找到有內建的spectrogram() function，使用也是數值很小，最後才想到要20log()，但由於內建的覺得不適合自由調整，所以還是修改自己的function。
import matplotlib.pyplot as plt
from scipy.fftpack import fft
from scipy.io import wavfile # get the api
import numpy as np
from scipy import signal
import math
import pyaudio
import wave
import time
#buf=[]

#讀入單一檔案測試
def init():
    fs, data = wavfile.read('0106.wav') # load the data
    b=[(ele/2**16.) for ele in data] # this is 16-bit track, b is now normalized on [-1,1)
    c = fft(b) # calculate fourier transform (complex numbers list)
    d = len(c)/2  # you only need half of the fft list (real signal symmetry)
    plt.subplot(211)
    plt.plot(b,'b')
    plt.title('time line')
    plt.subplot(212)
    plt.plot(abs(c[:(d-1)]),'r')
    plt.title('fft') 
    plt.show()
    return fs, b    #取樣率 data

#轉成頻域
def fft_domyself(b, fs, plotshow=None):
    global ftmap
    #set value
    one_second_block_num = 21*2                   #one second 擷取次數
    second = len(b)/44100
    second_len = int(one_second_block_num*second)
    fft_num = int(fs/one_second_block_num)        #one second 間格點數 #2100
    ftmap = np.zeros((int(fft_num/2),second_len)) #建立fft陣列的圖片大小  
    startime = 0#362000

    #轉成fft 並儲存在fft陣列
    for i in range(0,second_len):
        endtime = startime + fft_num
        ffttemp = abs(fft(b[startime:endtime]))
        ftmap[0:fft_num,i] = ffttemp[0:int(len(ffttemp)/2)]
        startime = endtime

    #做20log()
    for i in range(0, len(ftmap[:,1])):
        for j in range(0, len(ftmap[1,:])):
            try:
                #ftmap[i,j] = 20*math.log10(ftmap[i,j])
                ftmap[i,j] = 20*math.log(ftmap[i,j], 10)
            except:
                #由於 log(0) 輸入0會error
                print('log error with ftmap: ', ftmap[i,j])
        
    ftmap = ftmap + abs(np.min(ftmap))  
    lineft = np.median(ftmap, axis=1)   #用二維的方式，查看頻域的整體資料情況
    
    if plotshow:
        if plotshow == 'linefft':
            plt.plot(lineft, 'b')
            plt.show()
        else:
            
            plt.plot(lineft,'g') 
            plt.show()
            plt.imshow(ftmap)
            plt.xlabel('Frequency [Hz]')
            plt.ylabel('Time [sec]')
            plt.colorbar()
            plt.show()
     
    return ftmap, lineft

#使用內建的function將聲音轉成頻域
def spectrogram_(b, fs, plotshow=None):
    #x1 = np.array(b, dtype = float)
    f, t, Sxx = signal.spectrogram(b, fs)    #output 時頻譜
    
    for i in range(0, len(Sxx[:,1])):
        for j in range(0, len(Sxx[1,:])):
            Sxx[i,j] = 20*math.log10(Sxx[i,j])
            #print('do')
    Sxx = Sxx + abs(np.min(Sxx))
    
    if plotshow: 
        plt.pcolormesh(t, f, Sxx)             #draw 時頻譜
        plt.ylabel('Frequency [Hz]')
        plt.xlabel('Time [sec]')
        plt.colorbar()
        plt.show()
    return Sxx
if __name__ == '__main__':
    
    fs, b = init()
    fftmap = fft_domyself(b, fs, plotshow = True)   #自己做的
    sx = spectrogram_(b, fs, plotshow = True)       #內建function
2018/2/24更新(添加註解)
img
lineft
ftmap


spectrogram_()



讀多個聲音檔，並轉換成fft矩陣

我是用三個鈴鐺做的，無聲音檔就是沒有鈴鐺聲只有背景聲
  2018/2/24更新
輸出：
linef = [0~20000Hz頻域的大小 ,  0~20000Hz頻域的大小 ,  0~20000Hz頻域的大小 ......]
answer = [ [0.0 , 1.0 , 0.0 , 0.0] , [0.0 , 0.0 , 1.0 , 0.0] , [0.0 , 0.0 , 0.0 , 1.0] ......]
                [0.0 , 1.0 , 0.0 , 0.0] 代表是第一類聲音
def read_file(filename, plotshow=None):
    fs, data = wavfile.read(filename) # load the data
    b=[(ele/2**16.) for ele in data] # this is 16-bit track
    if plotshow:
        plt.plot(b,'b')
        plt.title('time line')
        plt.show()
    return b, fs

def read_to_mat():
    file_road = './train_data/'
    filehead = ['00', '01', '02', '03']
    linef = []
    answer = []
    for i in range(1, 10):                  #last two number
        for j in range(0, len(filehead)):   #first two number
            readURL = file_road + filehead[j] + '%02d'%(i) + '.wav'
            x = [0.0, 0.0, 0.0, 0.0]
            x[int(filehead[j])] = 1.0
            
            audio_value, fs = read_file(readURL)
            fftmap, linefft = fft_domyself(audio_value, fs)
            normalized_linefft = (linefft - np.mean(linefft)) / np.std(linefft)
            
            answer.append(x)
            linef.append(normalized_linefft.tolist())
            print(readURL, x)
    return linef, answer
錄製聲音


def recoder(recoder_second, filename = None, plotshow=None):
    NUM_SAMPLES  =  100       # pyAudio內部緩存的塊的大小
    SAMPLING_RATE = 44100     #取樣頻率
    #recoder_second = 1       
    '''
    LEVEL  =  1500             #聲音保存的閾值
    COUNT_NUM  =  20           # NUM_SAMPLES個取樣之內出現COUNT_NUM個大於LEVEL的取樣則記錄聲音
    SAVE_LENGTH  =  8          #聲音記錄的最小長度：SAVE_LENGTH * NUM_SAMPLES個取樣
    skip_second = 0.07
    swidth = 2
    '''
    #開啟聲音輸入

    save_buffer = []
    pa  =  pyaudio.PyAudio ()  
    stream  =  pa . open ( format = pyaudio.paInt16 ,  channels = 1 ,  rate = SAMPLING_RATE ,  input = True ,  #output = True,
                    frames_per_buffer = NUM_SAMPLES ) #,stream_callback = callback 

    time.sleep(0.1)
    stream.start_stream()
    skip_buffer = []
    num = 3500 / NUM_SAMPLES#SAMPLING_RATE / NUM_SAMPLES * skip_second
    for i in range(0, int(num)): 
        string_audio_data  =  stream.read ( NUM_SAMPLES) 
        skip_buffer.append(np.fromstring(string_audio_data, np.int16))
        #stream.read ( NUM_SAMPLES) 
    
    print('star recoder')
    
    num = SAMPLING_RATE / NUM_SAMPLES * recoder_second
    for i in range(0, int(num)): 
        #讀入NUM_SAMPLES個取樣
        string_audio_data  =  stream.read ( NUM_SAMPLES ) 
        save_buffer.append(np.fromstring(string_audio_data, np.int16))
        #stream.write(string_audio_data, NUM_SAMPLES)
    print("* done recording")

    stream.stop_stream()
    stream.close()
    pa.terminate()
    
    numpydata = np.hstack(save_buffer)
    skipnp = np.hstack(skip_buffer).tolist()
    
    '''
    #直接存檔
    WAVE_OUTPUT_FILENAME = filename + ".wav"
    wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
    wf.setnchannels(1)
    wf.setsampwidth(pa.get_sample_size(pyaudio.paInt16))
    wf.setframerate(SAMPLING_RATE)
    wf.writeframes(b''.join(save_buffer))
    wf.close()
    '''
    if plotshow:
        if plotshow == 'line':
            plt.plot(numpydata,'r')
            plt.show()
        else:    
            plt.subplot(311)
            plt.plot(skipnp,'g')
            
            plt.subplot(312)
            plt.plot(save_buffer,'b')
            
            plt.subplot(313)
            plt.plot(numpydata,'r')
            plt.show()
    
    return numpydata, SAMPLING_RATE

if __name__ == '__main__':
    buffer = []
    recoder_second = 0.5
    buffer, fs = recoder(recoder_second, plotshow=True)
    fttmap, linef = fft_domyself(buffer, fs, plotshow = True)

開始錄音時發現會有一個雜訊，那個雜訊值非常大，以下是跳過雜訊再錄音0.05秒，green line是跳過的雜訊，blue line是接續綠色後面的0.05秒錄音
green line：跳過的雜訊
blue line：原始錄到的資料，每一點的資料量跟 (NUM_SAMPLES  =  100 # pyAudio內部緩存的塊的大小) 有關
red line：將blue line的資料串接起來





留言

  1. 偷心兔2018年1月18日 凌晨3:08

    請問如何辨識出來~然後自動分類....
    我到第25行的地方就不太行了
    求高手教QAQ

    回覆刪除
    回覆
    1. 阿翔2018年1月27日 下午4:19

      自動分類?! 類神經網路就直接讓他學習就好 他會自己處理
      但是你給他訓練的資料(聲音檔)要自己分類喔
      抱歉!!~我不知道你指的第25行是指哪一段的25行

      刪除
    2. 偷心兔2018年2月4日 晚上11:00

      作者已經移除這則留言。

      刪除
    3. 阿翔2018年2月24日 凌晨12:27

      我是不知道轉速的聲音有沒有差別 但最好能擷取較無雜訊的音訊
      其實我真正用程式錄音方式下去做其實誤差非常大 我是用鈴鐺聲音 用程式錄音就沒辦法把前後雜音的部份去掉 我先前的錄音檔是有經過去除無鈴鐺聲音的部分 所以成功機率較高
      所以基本上要將聲音去頭去尾 只留下真正需要的部分

      我這個其實是很陽春版的 只是用來實驗 聲音也能分類
      其實他主要還是用圖像的方式做神經網路 你可以以圖像的角度去看待它會比較清楚 網上有很多對於圖像的範例

      刪除
  2. 偷心兔2018年2月28日 下午6:59

    有沒有不經過圖像，直接用FFT轉換後數字化，用全數字的檔案辨識的方法

    回覆刪除
    回覆
    1. 阿翔2018年3月3日 晚上11:32

      你所說的全數字的檔案跟我說的圖像意思其實是一樣的，一張黑白照片其實就是一個全數字檔
      FFT轉換後一定會轉成我第四張圖那樣，一個二維的圖每一個像素點就是一個數字啊!!

      刪除
  3. 翔2021年7月8日 凌晨12:48

    版主你好~想請問第一段第二張做出來紅色的圖的Y軸的數值代表什麼意思?為什麼需要透過abs讓他全部都為正的?還有第三張綠色的圖的X軸和Y軸又分別代表什麼意思呢?謝謝

    回覆刪除
    回覆
    1. 阿翔2021年7月23日 凌晨1:09

      有點久了幾乎忘記當初在做甚麼，回答可能不一定正確先跟你說聲抱歉了。
      我想紅色的Y軸應該是傅立葉轉換出來的大小，abs轉正是為了視覺上的習慣，像是音樂撥放器或是收音設備上的頻譜都沒有顯示負值，所以就習慣看沒有負值。
      綠色的圖 (lineft) 應該跟 ftmap 是一樣的意思，在ftmap上有軸的說明，所以綠色的圖 (lineft) X軸應該是Hz吧!? Y軸應該就是值的大小了。

      刪除
    2. Kurt Ding2022年7月3日 晚上8:33

      最近研究雜音捕捉看到這篇，16-bit wav 有一位是符號，b=ele/2^16結果應該是-0.5~0.5才對，才會有數值非常小的問題。
      20log()是音壓，據我理解，如果是處理錄製結果，資料數值應該是變回音強。

      刪除

張貼留言

這個網誌中的熱門文章

C# 模擬鍵盤滑鼠控制電腦

-
滑鼠模擬 指定一個螢幕像素的座標位置 int x = 1255; int y = 161; Cursor.Position = new Point(x, y); ClassMouse.LeftClick(); //按下滑鼠左鍵 鍵盤模擬 官方文件 的範例是用小算盤程式，計算111*11= public class demo { [DllImport("USER32.DLL", CharSet = CharSet.Unicode)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); // Activate an application window. [DllImport("USER32.DLL")] public static extern bool SetForegroundWindow(IntPtr hWnd); // Send a series of key presses to the Calculator application. public static void Calculator() { // Get a handle to the Calculator application. The window class // and window name were obtained using the Spy++ tool. IntPtr calculatorHandle = FindWindow("ApplicationFrameWindow", "小算盤"); // Verify that Calculator is a running process. if (calculatorHandle == IntPtr.Zero) { MessageBox.Show("Calculator is not running.&q
閱讀完整內容

android 定時通知(永久長期的) 本篇只講AlarmManager使用

-
本篇使用AlarmManager達到準時執行某程式，跟鬧鐘的方式一樣，我之前用過IntentService、Service、Handler，都不能長期使用。 Servicer簡單缺點整理： IntentService：只要關閉activity背景保存視窗，IntentService背景所執行的程式就被強迫結束，好像可以重開(我沒試過)。 Service、Handler：雖然關閉activity會繼續執行，但他是重新在開啟一次service，這到還好，但當手機螢幕關閉處於待機狀態時，service會停止運作暫停在那邊，等你喚醒再繼續執行，所以用這個加timer做定時通知會整個亂掉，timer會停下來不數了。 AlarmManager主要架構是 跟系統註冊鬧鐘甚麼時間點 → 時間到系統會發送一個鬧鈴 → 你的activity接收那個鬧鈴後執行你的程式 當你註冊好幾個鬧鐘已經晚於現在時間，他會馬上通通都執行完 先建立接收鬧鈴的程式 在Manifest.xml 中加入接收系統鬧鈴 <application> <activity android:name=".MainActivity"> </activity> <!-- 當鬧鈴時間到達時要執行的程式 --> <receiver android:name=".AlarmReceiver"> <intent-filter> <action android:name="activity_app" /> </intent-filter> </receiver> </application> 建立一個class檔，執行接收到鬧鈴後的程式 public class AlarmReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) {
閱讀完整內容

python pyautogui 簡介

-
pyautogui 是 python的一個模組，他能控制鍵盤和滑鼠的操作，能利用它做自動化操作，像是用在軟體測試、重複性動作等。 pyautogui 暫停幾秒鐘 >>>pyautogui.PAUSE = 1.5 fail-safe (預設false) 當滑鼠一道螢幕左上角時，觸發 pyautogui 的failsafeexception 異常 >>>pyautogui.FAILSAFE = True 螢幕上的座標軸 (0,0) →→→→(1920,0)    ↓    ↓    ↓    ↓ (0,1080) 取得螢幕解析度 >>>import pyautogui >>>pyautogui.size() (1920, 1080) >>>width, height = pyautogui.size() 滑鼠部分 moveTo(width, height, duration) example移動到(300, 400)位置 pyautogui.moveTo(300, 400)                 #立即到 pyautogui.moveTo(300, 400, duration = 1.5) #花1.5秒移到 moeRel(width, height, duration) 移到相對座標，以當前滑鼠座標為基準點 pyautogui.moveRel(0, 100, duration=0.25) pyautogui.moveRel(-100, 0, duration=0.25) position() 獲得滑鼠當前的座標位置 >>>pyautogui.position() (300, 400) click(width, height, button) 滑鼠點擊 button = 'left', 'middle', 'right'。 pyautogui.click()                                #在當前位置點擊(預設左鍵) pyautogui.click(width, height)    
閱讀完整內容

python opencv 基本讀取、轉換、顯示、儲存等

-
檔案位置關系 filename = 'yourfilename.jpg'  #與程式碼相同位置的檔案 filename = './file/yourfilename.jpg' #程式碼資料夾裡的資料夾中的檔案 filename = '../yourfilename.jpg' #程式碼上一層資料夾的檔案 讀取image 及 顯示 import cv2 filename = 'yourfilename.jpg'     #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imshow("window title", image)  #顯示照片 儲存照片 import cv2 filename = 'yourfilename.jpg'      #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imwrite("filename.jpg", image)  #儲存照片，試過的檔案格式 .jpg .png 照片尺寸大小取得 image = cv2.imread(filename)    #讀取照片 hight = image.shape[1] width = image.shape[0] 色彩空間轉換 這邊要注意rgb色彩空間在opencv裡排列方式是bgr image = cv2.imread(filename) yuv = cv2.cvtColor(image,cv2.COLOR_BGR2YUV) #RGB to YUV hsv = cv2.cvtColor(image,cv2.COLOR_BGR2HSV) #RGB to HSV gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) #RGB to gray gray = cv2.cvtColor(image,cv2.COLOR_GRAY2BGR) #gray to rgb 照片三層色分離 import cv2 filename = 'yourfilename
閱讀完整內容