python pyautogui 簡介

-
pyautogui 是 python的一個模組，他能控制鍵盤和滑鼠的操作，能利用它做自動化操作，像是用在軟體測試、重複性動作等。

pyautogui 暫停幾秒鐘

>>>pyautogui.PAUSE = 1.5

fail-safe (預設false)

當滑鼠一道螢幕左上角時，觸發 pyautogui 的failsafeexception 異常
>>>pyautogui.FAILSAFE = True

螢幕上的座標軸


(0,0) →→→→(1920,0)
   ↓
   ↓
   ↓
   ↓
(0,1080)

取得螢幕解析度
>>>import pyautogui

>>>pyautogui.size()
(1920, 1080)

>>>width, height = pyautogui.size()

滑鼠部分

moveTo(width, height, duration)

example移動到(300, 400)位置
pyautogui.moveTo(300, 400)                 #立即到
pyautogui.moveTo(300, 400, duration = 1.5) #花1.5秒移到

moeRel(width, height, duration)

移到相對座標，以當前滑鼠座標為基準點
pyautogui.moveRel(0, 100, duration=0.25)
pyautogui.moveRel(-100, 0, duration=0.25)

position()

獲得滑鼠當前的座標位置
>>>pyautogui.position()
(300, 400)

click(width, height, button)

滑鼠點擊
button = 'left', 'middle', 'right'。
pyautogui.click()                                #在當前位置點擊(預設左鍵)
pyautogui.click(width, height)                   #在(width, height)點擊滑鼠(預設左鍵)
pyautogui.click(width, height, button='left')    #點擊滑鼠左鍵

click()包含著mouseDown()及mouseUp()兩個動作

mouseDown()

只按下按鍵

mouseUp()

只彈起按鍵

Other：

pyautogui.doubleClick()：鼠標雙擊，其實就是執行兩次click()函數。
pyautogui.rightClick()：右擊
pyautogui.middleClick()：中擊

dragTo(width, height, duration) 

拖曳。按下滑鼠拉動
注意：duration時間不能太短，拖動太快有些系統會吃不消

dragRel(width, height, duration)

拖曳。按下滑鼠拉動相對位置
注意：duration時間不能太短，拖動太快有些系統會吃不消

scroll(int)

滑鼠滾輪。值為正值往上滾，值為負往下滾。
pyautogui.scroll(200)

locateOnScreen(filename)

透過圖片匹配找到所在位置，尋找的位置一定要完整地出現在螢幕上，找獨到需要等很久才會出現錯誤跳出，目前還沒找到如何能判斷找不到的判斷式。
>>>locateOnScreen('button.png')
(643, 745, 70, 29)

center()

中心座標。
button = locateOnScreen('button.png')
width, height = pyautogui.center(button)

width, height = pyautogui.center((643, 745, 70, 29))
pyautogui.click(width, height)

鍵盤操作

typewrite(string)

輸入字串。
pyautogui.typewrite('Hello world!')

pyautogui.typewrite('Hello world!', 0.25)  #延遲輸入

鍵盤按鍵表
'enter' (或'return' 或 '\n')                 Enter鍵
'esc'                                        ESC鍵
'shiftleft', 'shiftright'                    左右SHIFT鍵
'altleft', 'altright'                        左右ALT鍵
'ctrlleft', 'ctrlright'                      左右CTRL鍵
'tab' ('\t')                                 TAB鍵
'backspace', 'delete'                        BACKSPACE 、DELETE鍵
'pageup', 'pagedown'                         PAGE UP和PAGE DOWN鍵
'home', 'end'                                HOME和END鍵
'up', 'down', 'left', 'right'                方向鍵
'f1', 'f2'，'f3'...。                        F1 ...... .F12鍵
'volumemute', 'volumedown', 'volumeup'       有些鍵盤沒有
'pause'                                      PAUSE鍵
'Capslock', 'numlock', 'scrolllock'          CAPS LOCK，NUM LOCK和SCROLL LOCK鍵
'insert'                                     INS或INSERT鍵
'printscreen'                                PRTSC 或 PRINT SCREEN鍵
'winleft', 'winright'                        Win鍵
'command'                                    Mac OS X command鍵

keyDown()

按下某個鍵

keyUp()

鬆開某個鍵

press()

一次完整的擊鍵，前面兩個函數的組合。
pyautogui.press(['enter','tab']) #按一下enter 再按tab

example： altleft + f4

pyautogui.keyDown('altleft');
pyautogui.press('f4');
pyautogui.keyUp('altleft')

hotkey()

example： altleft + f4 
pyautogui.hotkey('altleft', 'f4')






整理自：WTF Daily Blog
參考自：https://sites.google.com/a/crayflames.co.cc/crayflames/python/ptp/pythonpyautoguimonishubiaodongzuo
http://martychen920.blogspot.tw/2017/06/python-pyautogui.html

留言

張貼留言

這個網誌中的熱門文章

C# 模擬鍵盤滑鼠控制電腦

-
滑鼠模擬 指定一個螢幕像素的座標位置 int x = 1255; int y = 161; Cursor.Position = new Point(x, y); ClassMouse.LeftClick(); //按下滑鼠左鍵 鍵盤模擬 官方文件 的範例是用小算盤程式，計算111*11= public class demo { [DllImport("USER32.DLL", CharSet = CharSet.Unicode)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); // Activate an application window. [DllImport("USER32.DLL")] public static extern bool SetForegroundWindow(IntPtr hWnd); // Send a series of key presses to the Calculator application. public static void Calculator() { // Get a handle to the Calculator application. The window class // and window name were obtained using the Spy++ tool. IntPtr calculatorHandle = FindWindow("ApplicationFrameWindow", "小算盤"); // Verify that Calculator is a running process. if (calculatorHandle == IntPtr.Zero) { MessageBox.Show("Calculator is not running.&q
閱讀完整內容

android 定時通知(永久長期的) 本篇只講AlarmManager使用

-
本篇使用AlarmManager達到準時執行某程式，跟鬧鐘的方式一樣，我之前用過IntentService、Service、Handler，都不能長期使用。 Servicer簡單缺點整理： IntentService：只要關閉activity背景保存視窗，IntentService背景所執行的程式就被強迫結束，好像可以重開(我沒試過)。 Service、Handler：雖然關閉activity會繼續執行，但他是重新在開啟一次service，這到還好，但當手機螢幕關閉處於待機狀態時，service會停止運作暫停在那邊，等你喚醒再繼續執行，所以用這個加timer做定時通知會整個亂掉，timer會停下來不數了。 AlarmManager主要架構是 跟系統註冊鬧鐘甚麼時間點 → 時間到系統會發送一個鬧鈴 → 你的activity接收那個鬧鈴後執行你的程式 當你註冊好幾個鬧鐘已經晚於現在時間，他會馬上通通都執行完 先建立接收鬧鈴的程式 在Manifest.xml 中加入接收系統鬧鈴 <application> <activity android:name=".MainActivity"> </activity> <!-- 當鬧鈴時間到達時要執行的程式 --> <receiver android:name=".AlarmReceiver"> <intent-filter> <action android:name="activity_app" /> </intent-filter> </receiver> </application> 建立一個class檔，執行接收到鬧鈴後的程式 public class AlarmReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) {
閱讀完整內容

python nn 聲音辨識 -1 傅立葉轉換

-
辨識環境聲音判斷出這是甚麼聲音 主要想法是用頻域赫茲分布做判斷 首先先錄三種聲音的聲音檔，我每一種聲音重複錄製九個sample，所以有27個wav檔 讀取wav檔案，作正規劃處理，在做傅立葉轉換 一開始由於自己做的fft_domyself() function跟其他聲音處理軟體做出來的不一樣，數值非常小，之後找到有內建的spectrogram() function，使用也是數值很小，最後才想到要20log()，但由於內建的覺得不適合自由調整，所以還是修改自己的function。 import matplotlib.pyplot as plt from scipy.fftpack import fft from scipy.io import wavfile # get the api import numpy as np from scipy import signal import math import pyaudio import wave import time #buf=[] #讀入單一檔案測試 def init(): fs, data = wavfile.read('0106.wav') # load the data b=[(ele/2**16.) for ele in data] # this is 16-bit track, b is now normalized on [-1,1) c = fft(b) # calculate fourier transform (complex numbers list) d = len(c)/2 # you only need half of the fft list (real signal symmetry) plt.subplot(211) plt.plot(b,'b') plt.title('time line') plt.subplot(212) plt.plot(abs(c[:(d-1)]),'r') plt.title('fft') plt.show() return fs, b #取樣率 dat
閱讀完整內容

python opencv 基本讀取、轉換、顯示、儲存等

-
檔案位置關系 filename = 'yourfilename.jpg'  #與程式碼相同位置的檔案 filename = './file/yourfilename.jpg' #程式碼資料夾裡的資料夾中的檔案 filename = '../yourfilename.jpg' #程式碼上一層資料夾的檔案 讀取image 及 顯示 import cv2 filename = 'yourfilename.jpg'     #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imshow("window title", image)  #顯示照片 儲存照片 import cv2 filename = 'yourfilename.jpg'      #與程式碼相同位置的檔案 image = cv2.imread(filename)    #讀取照片 cv2.imwrite("filename.jpg", image)  #儲存照片，試過的檔案格式 .jpg .png 照片尺寸大小取得 image = cv2.imread(filename)    #讀取照片 hight = image.shape[1] width = image.shape[0] 色彩空間轉換 這邊要注意rgb色彩空間在opencv裡排列方式是bgr image = cv2.imread(filename) yuv = cv2.cvtColor(image,cv2.COLOR_BGR2YUV) #RGB to YUV hsv = cv2.cvtColor(image,cv2.COLOR_BGR2HSV) #RGB to HSV gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) #RGB to gray gray = cv2.cvtColor(image,cv2.COLOR_GRAY2BGR) #gray to rgb 照片三層色分離 import cv2 filename = 'yourfilename
閱讀完整內容