TW201516890A - 路人偵測方法、裝置與電腦程式產品 - Google Patents

路人偵測方法、裝置與電腦程式產品 Download PDF

Info

Publication number
TW201516890A
TW201516890A TW102139349A TW102139349A TW201516890A TW 201516890 A TW201516890 A TW 201516890A TW 102139349 A TW102139349 A TW 102139349A TW 102139349 A TW102139349 A TW 102139349A TW 201516890 A TW201516890 A TW 201516890A
Authority
TW
Taiwan
Prior art keywords
image
feature
value
face
passer
Prior art date
Application number
TW102139349A
Other languages
English (en)
Other versions
TWI508001B (zh
Inventor
Chih-Sung Chang
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Priority to TW102139349A priority Critical patent/TWI508001B/zh
Priority to CN201310585361.2A priority patent/CN104601876B/zh
Priority to US14/197,222 priority patent/US20150116471A1/en
Publication of TW201516890A publication Critical patent/TW201516890A/zh
Application granted granted Critical
Publication of TWI508001B publication Critical patent/TWI508001B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種路人偵測方法、裝置與電腦程式產品,適用於具有影像擷取單元的電子裝置。此方法包括利用影像擷取單元擷取影像。偵測出現在影像中的至少一個人臉,並取得各人臉的至少一個特徵的位置。根據特徵的位置,計算各人臉的特徵值。計算特徵值中至少其一與參考值的比值,並與門檻值比較。當比值小於門檻值時,判定影像中包含至少一個路人。

Description

路人偵測方法、裝置與電腦程式產品
本發明是有關於一種人臉偵測技術的應用,且特別是有關於一種路人偵測方法、裝置與電腦程式產品。
隨著影像擷取技術的進步,數位相機、以及具有影像擷取功能的手機、平板電腦等電子裝置日益普及,各式各樣的新功能被提出以便於使用者拍攝影像。
目前許多應用程式都被設計來幫助使用者拍攝出更貼近使用者預期的影像。其中,在安卓(Android)作業系統上更有可用於移除影像中路人的應用程式被提出。此應用程式是利用連續拍攝多張照片來偵測移動物體,再由使用者手動選擇欲移除的物件,並使用影像合成技術來達到移除路人的目的。
然而,雖然上述應用程式能移除影像中的路人,但此技術需要拍攝大量的連續影像,將會耗費系統大量儲存空間與運算資源。另一方面,此項技術只能將移動的物件從畫面中移除,若 拍攝主體有移動或是欲移除的物件沒有移動,將可能無法準確地將路人從影像中移除。因此,有必要提供一種更為便利的方式,來偵測影像中的路人並幫助使用者拍攝出無路人的影像。
本發明提供一種路人偵測方法、裝置與電腦程式產品,可自動偵測影像中是否包含路人,便於使用者直覺地拍攝出無路人的影像。
本發明的路人偵測方法適用於具有影像擷取單元的電子裝置。此方法先利用影像擷取單元擷取影像,接著偵測出現在影像中的至少一個人臉,並取得各人臉的至少一個特徵的位置。之後,根據所述特徵的位置,計算各人臉的特徵值。再計算特徵值中至少其一與參考值的比值,並與門檻值比較。當比值小於門檻值時,判定影像中包含至少一個路人。
在本發明的一實施例中,在上述計算特徵值中之至少其一與參考值的比值之步驟係為計算所有特徵值中之最小值與參考值的比值,並且當比值小於門檻值時,判定影像中包含至少一個路人。
在本發明的一實施例中,在上述計算特徵值中之至少其一與參考值的比值之步驟係為分別計算每一特徵值與參考值的比值,並且當有任一比值小於門檻值時,判定影像中包含至少一個路人,並且進一步辨識出比值所對應之特徵值所屬之人臉為路人。
在本發明的一實施例中,在上述計算特徵值中之至少其一與該參考值的比值之步驟係為隨機計算所有特徵值與參考值的比值,並且只要一有比值小於門檻值時,即判定影像中包含至少一個路人。
在本發明的一實施例中,所述方法更包括當影像擷取單元擷取的影像被判定包含路人時,禁止拍攝影像。
在本發明的一實施例中,所述方法更包括當影像擷取單元擷取的影像被判定不包含路人時,可拍攝影像並記錄所拍攝影像為影像檔。
在本發明的一實施例中,上述的特徵包括兩眼及嘴巴,且上述根據特徵的位置,計算各人臉的特徵值的步驟包括計算由各人臉的兩眼及嘴巴的位置所形成之三角形的面積,以作為人臉的特徵值。
在本發明的一實施例中,上述的特徵包括包圍各人臉的臉部定位框,且上述根據特徵的位置,計算各人臉的特徵值的步驟包括計算包圍各人臉的臉部定位框的面積,以作為人臉的特徵值。
在本發明的一實施例中,上述的特徵包括兩眼,且上述根據特徵的位置,計算各人臉的特徵值的步驟包括計算各人臉的兩眼之間的距離,以作為人臉的特徵值。
在本發明的一實施例中,在計算特徵值中之至少其一與參考值的比值,並與門檻值比較的步驟之前,所述方法更包括調 整影像擷取單元的焦距,使影像擷取單元對焦於所述人臉中的一或多個人臉,並使用影像擷取單元對焦的人臉其特徵值的平均值作為特徵值中的參考值。
在本發明的一實施例中,上述調整影像擷取單元的焦距,使影像擷取單元對焦於人臉之一的步驟包括接收使用者對於人臉之一的選取操作,據以調整影像擷取單元的焦距,使影像擷取單元對焦於選取操作選取的人臉。
在本發明的一實施例中,在使用影像擷取單元對焦的人臉的特徵值作為特徵值中的參考值的步驟之後,所述方法更包括分別計算各特徵值與參考值的比值,並與門檻值比較。當比值小於門檻值時,判定具有對應之特徵值的人臉為路人。
在本發明的一實施例中,在計算特徵值中至少其一與參考值的比值,並與門檻值比較的步驟之前,所述方法更包括接收使用者對於路人偵測的多個靈敏度之一的選擇操作,據以從多個預設門檻值中選擇與靈敏度相對應的預設門檻值,作為與比值比較的門檻值。
在本發明的一實施例中,在計算特徵值中至少其一與參考值的比值,並與門檻值比較的步驟之前,所述方法更包括計算特徵值的平均值或中位數,或取用特徵值中的最大值,以作為參考值。
在本發明的一實施例中,上述當該影像擷取單元擷取的該影像被判定包含所述路人時,更包括發出警示訊息以告知使用 者有路人存在於影像中。
本發明的路人偵測裝置包括影像擷取單元、儲存單元以及一或多個處理單元。其中,影像擷取單元用以擷取影像。儲存單元用以記錄多個模組。處理單元耦接於影像擷取單元及儲存單元,以存取並執行儲存單元中記錄的模組,這些模組包括影像擷取模組、人臉偵測模組、特徵值計算模組、比較模組以及判斷模組。其中,影像擷取模組用以利用影像擷取單元擷取影像。人臉偵測模組用以偵測出現在影像中的至少一個人臉,並取得各人臉的至少一個特徵的位置。特徵值計算模組用以根據特徵的位置,計算各人臉的特徵值。比較模組用以計算特徵值中至少其一與參考值的比值,並與門檻值比較。判斷模組用以當比值小於門檻值時,判定影像中包含至少一個路人。
本發明另提供一種電腦程式產品,其經由行動裝置載入以執行下列步驟:利用電子裝置的影像擷取單元擷取影像;偵測出現在影像中的至少一人臉,並取得各人臉的至少一個特徵的位置。根據特徵的位置,計算各人臉的特徵值。計算特徵值中之至少其一與參考值的比值,並與門檻值比較,且當比值小於門檻值時,判定影像中包含至少一個路人。
基於上述,本發明實施例的路人偵測方法、裝置與電腦程式產品藉由計算至少一人臉特徵值與參考值的比值,並將比值與對應於路人偵測靈敏度的門檻值相比較,從而判斷影像中是否包含路人,並據以決定是否擷取並儲存影像。藉此,可便於使用 者直覺地拍攝出無路人的影像。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100‧‧‧路人偵測裝置
110‧‧‧影像擷取單元
120‧‧‧儲存單元
130‧‧‧處理單元
121‧‧‧影像擷取模組
122‧‧‧人臉偵測模組
123‧‧‧特徵值計算模組
124‧‧‧比較模組
125‧‧‧判斷模組
126‧‧‧快門觸發模組
127‧‧‧影像儲存模組
300、400、500、600‧‧‧影像
310‧‧‧拍攝主體
312、322、510‧‧‧方形
320‧‧‧路人
410‧‧‧三角形
610‧‧‧直線
S202~S210、S702~S714‧‧‧步驟
圖1是依照本發明一實施例所繪示的路人偵測裝置的方塊圖。
圖2是依照本發明一實施例所繪示的路人偵測方法的流程圖。
圖3是依照本發明一實施例所繪示的路人偵測方法的範例。
圖4是依照本發明一實施例所繪示的路人偵測方法的範例。
圖5是依照本發明一實施例所繪示的路人偵測方法的範例。
圖6是依照本發明一實施例所繪示的路人偵測方法的範例。
圖7是依照本發明一實施例所繪示的路人偵測方法的流程圖。
觀察人像攝影的情境可發現,當使用者拍照時,拍攝主體通常離相機較近,而在所拍攝影像中佔據較大面積;相對地,非拍攝主體的路人則通常離相機較遠,而在影像中佔據較小的面積。由此可知,拍攝主體與路人在影像中佔據的面積通常不會相 等,而是會具有一定程度的比例差異。據此,本發明即以影像中各人臉之臉部面積或兩眼距離的大小為依據,當彼此之間的差距過大時,即判定影像中包含路人,並進而控制相機的快門,以避免使用者拍攝到包含路人的影像。藉此,可實現影像的自動路人偵測,並提供使用者便利地拍攝出無路人的影像。
圖1是依照本發明一實施例所繪示的路人偵測裝置的方塊圖。請參照圖1,本實施例的路人偵測裝置100包括影像擷取單元110、儲存單元120以及一或多個處理單元130。本實施例的路人偵測裝置100可以是數位相機,或是手機、平板電腦等其他具備影像擷取設備的電子裝置,在此並不限制其種類。
影像擷取單元110例如是包含光學定焦鏡頭或光學變焦鏡頭,以及電荷耦合元件(Charge Coupled Device;CCD)或互補金氧半導體(Complementary Metal-Oxide Semiconductor;CMOS)元件等感光元件的裝置,在本實施例中,影像擷取單元110用以擷取影像。
儲存單元120可以是行動裝置100的主記憶體、任何型態的固定或可移動隨機存取記憶體(random access memory;RAM)、唯讀記憶體(read-only memory;ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中,儲存單元120用以儲存影像擷取模組121、人臉偵測模組122、特徵值計算模組123、比較模組124以及判斷模組125等之軟體程式及透過前述影像擷取單元110所擷取之影像資料。本實施例中所述儲存 單元120並未限制是單一記憶體元件,上述之各軟體模組與影像資料亦可以分開儲存在不同的二個或二個以上之相同或不同型態之記憶體元件中。
處理單元130耦接影像擷取單元110與儲存單元120。處理單元130可以是中央處理單元(Central Processing Unit;CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor;DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit;ASIC)或其他類似元件或上述元件的組合。在本實施例中,處理單元130用以存取並執行上述儲存單元120中記錄的模組,藉以偵測影像中是否包含路人。本實施例中所述處理單元130並未限制是單一處理元件,也可以是二個或二個以上之處理元件共同執行。
圖2是依照本發明一實施例所繪示的路人偵測方法的流程圖。請同時參照圖1與圖2,本實施例的方法適用於上述的路人偵測裝置100,以下即搭配圖1中路人偵測裝置100的各項元件,說明本實施例方法的詳細流程。
首先,影像擷取模組121利用影像擷取單元110擷取影像(步驟S202)。接著,由人臉偵測模組122偵測出現在影像中的至少一個人臉,並取得各人臉的至少一個特徵的位置(步驟S204)。在本實施例中,路人偵測裝置100可以是使用安卓作業系統的電子裝置,並可藉由安卓系統所支援的人臉偵測(face detection)功能來取得影像中人臉特徵的相關資訊。其中,上述的特徵可以是人臉的左眼、右眼、嘴巴、臉部輪廓等其中之一或其組合,在此並不對特徵的選擇加以限制。
具體而言,圖3是依照本發明一實施例所繪示的路人偵測方法的範例。如圖3所示,影像300包括拍攝主體310以及路人320。其中,相較於路人320的人臉面積(即對應於人臉的特徵值),拍攝主體310的人臉面積較大。在本實施例中,當影像擷取單元110擷取影像時,路人偵測裝置100可透過人臉偵測技術,而在預覽(preview)影像時回報影像中所偵測到的人臉資訊。藉由上述偵測到的人臉資訊,路人偵測裝置100可得到對應於各人臉的識別碼(face ID),以及對應於各人臉的左眼和右眼的中心座標位置、嘴巴中心座標位置、臉部定位框的邊界位置等特徵的位置。此處的『臉部定位框』為影像擷取單元110通常具備的功能,用以定位出人臉在影像中的位置,如圖3中的方形312、322所示。在其他實施例中,路人偵測裝置100亦可透過其他人臉偵測演算法或相關技術,而從影像中獲得上述人臉特徵的位置,對此本發明並不限制。
之後,特徵值計算模組123根據特徵的位置,計算各人臉的特徵值(步驟S206)。更明確地說,此處的『特徵值』可以對應於人臉在影像中所佔的面積,也可以是人臉特徵之間在影像中所佔的長度,或是其他人臉特徵對應於影像中的量值或上述之組合,應用本實施例者可依據其需求提供不同方式來得到上述的特 徵值,本發明對此不限制。以下將以人臉特徵所形成的三角形面積、方形面積以及形成的直線長度作為特徵值的方法各舉一實施例作為說明。
在一實施例中,人臉的特徵值可由兩眼及嘴巴所形成的三角形面積來決定。在此實施例中,路人偵測裝置藉由人臉偵測技術從影像中獲得各人臉對應的人臉資訊,並利用人臉資訊中的左眼、右眼的中心座標位置以及嘴巴的中心座標位置,而可計算上述座標位置所形成的三角形面積,藉以作為各人臉的特徵值。
舉例而言,圖4是依照本發明一實施例所繪示的路人偵測方法的範例。請參照圖4,在此實施例中,人臉的特徵值可由兩眼及嘴巴所形成的三角形面積來決定。藉由人臉偵測技術所獲得的人臉資訊,人臉偵測模組122可取得影像400中各人臉對應的兩眼及嘴巴在影像中的位置,並由特徵值計算模組123根據兩眼及嘴巴在影像中的位置,來計算其所形成的三角形面積(如圖4中由兩眼及嘴巴所形成的三角形410),藉以作為各人臉的特徵值。
在一實施例中,人臉的特徵值可由包圍各人臉的臉部定位框所形成的方形面積來決定。在此實施例中,路人偵測裝置藉由人臉偵測技術從影像中獲得各人臉對應的人臉資訊,並利用人臉資訊中的臉部定位框的座標位置,而可計算臉部定位框所形成的方形面積,藉以作為各人臉的特徵值。
舉例而言,圖5是依照本發明一實施例所繪示的路人偵測方法的範例。在圖5的實施例中,人臉的特徵值可由包圍各人 臉的臉部定位框所形成的方形面積來決定。與前一實施例相似,人臉偵測模組122同樣可藉由人臉偵測技術所獲得的人臉資訊,以取得影像500中各人臉對應到的臉部定位框在影像中的位置座標,並由特徵值計算模組123根據臉部定位框的位置座標,來計算其所形成的方形面積(如圖5中由臉部定位框所形成的方形510),藉以作為各人臉的特徵值。
在一實施例中,人臉的特徵值可由人臉中兩眼位置所形成的直線長度,亦即兩眼之間的距離來決定。在此實施例中,路人偵測裝置藉由人臉偵測技術從影像中獲得各人臉對應的人臉資訊,並利用人臉資訊中的左眼以及右眼的中心座標位置,而可計算上述座標位置之間的直線長度,藉以作為各人臉的特徵值。
舉例而言,圖6是依照本發明一實施例所繪示的路人偵測方法的範例。在圖6的實施例中,人臉的特徵值透過兩眼位置之間的距離決定。人臉偵測模組122藉由人臉偵測技術所獲得的人臉資訊,以取得影像600中各人臉對應的兩眼在影像中的位置,並由特徵值計算模組123根據兩眼在影像中的位置,計算兩眼之間的距離(如圖6中直線610的長度),以作為各人臉的特徵值。
回到圖2的流程,在特徵值計算模組123計算出影像中各人臉的特徵值之後,比較模組124計算特徵值中之至少其一與參考值的比值,並與門檻值比較(步驟S208)。當比值小於門檻值時,判斷模組125判定影像中包含至少一個路人(步驟S210)。上述的參考值用來對應影像中可能的拍攝主體,而特徵值中之至少 其一則用來對應影像中可能的路人。此外,上述的門檻值則可對應於路人偵測的靈敏度。換句話說,本實施例即是藉由特徵值中之至少其一與參考值的相對大小,並以門檻值的限制作為判斷條件,藉此來判斷影像中是否包含路人。
在此先以特徵值中的最小值作為上述特徵值中之至少其一來進行說明。詳細來說,在本實施例中,在將最小值與參考值的比值與門檻值比較之前,比較模組124會先藉由各人臉的特徵值來決定參考值。上述參考值可以取用所有特徵值中的最大值,亦可取用所有特徵值的平均值或中位數,在此不限定。另外,參考值也可透過影像擷取單元110所對焦的人臉來決定,也就是以對焦人臉所對應的特徵值作為參考值。應用本實施例者可依照其需求而提供獲得參考值的不同方式,在此並不加以限制。以下將先對取用所有特徵值的最大值、平均值或中位數來作為參考值的方法,各舉實施例加以說明。而透過對焦人臉來決定參考值的方法,則在之後的實施例有更詳盡的說明,請參閱後述。
具體而言,在一實施例中,比較模組124可直接取用特徵值中的最大值來作為參考值。由前述可知,一般情況下,拍攝主體在影像中所對應的特徵值會大於路人在影像中所對應的特徵值(例如圖3中的拍攝主體310的人臉面積即大於路人320的人臉面積)。故在此實施例中,比較模組124直接取用特徵值中的最大值來作為參考值。
需說明的是,在一些特定情況,例如當路人從路人偵測 裝置100與拍攝主體之間經過,將會導致影像中路人所對應的特徵值大於拍攝主體。因此,為避免此類狀況發生而影響路人偵測的準確度,在一實施例中,比較模組124可計算特徵值的平均值來作為參考值。在另一實施例中,比較模組124亦可計算特徵值的中位數作為參考值,藉以避免路人所對應的特徵值可能大於拍攝主體的特徵值的情況。
另一方面,比較模組124在將最小值與參考值的比值與門檻值比較之前,亦可先決定門檻值。在一實施例中,比較模組124可接收使用者對於路人偵測的多個靈敏度之一的選擇操作,據以從多個預設門檻值中選擇與靈敏度相對應的預設門檻值,作為與比值比較的門檻值。也就是說,路人偵測裝置100可提供對應於路人偵測靈敏度的選單,以供使用者可依據拍攝環境或主體差異來選擇適合的靈敏度,藉以對影像進行路人偵測。
舉例而言,路人偵測裝置100可提供例如包括低、中、高靈敏度的靈敏度選單,以分別對應25%、50%、75%的門檻值。 也就是說,當使用者選擇高靈敏度的路人偵測時,影像中的最小人臉特徵值與參考值的比值只要小於75%,判斷模組125就會判定影像中包含路人;相對地,當使用者選擇低靈敏度的路人偵測時,若影像中的最小人臉特徵值與參考值的比值則要小於25%,判斷模組125才會判定影像中包含路人。在此需說明的是,雖然上述實施例的門檻值採用25%、50%、75%並分別對應低、中、高靈敏度,但本發明並不僅限於此。另外,上述門檻值除了透過 使用者手動選擇之外,亦可由路人偵測裝置100依據環境自動設定,或是依據影像擷取模式而預先設定,本發明對此亦不限制。應用本實施例者可將本發明實施例的精神應用在不同路人偵測的靈敏程度的設定上,只要該偵測方法可依據靈敏程度判定影像中是否存在路人便可符合本實施例的技術範疇。
值得一提的是,在一實施例中,在判斷模組125判定影像中包含路人之後,路人偵測裝置100會重複上述偵測路人的步驟,持續偵測該影像擷取單元110擷取的下一影像中是否包含所述路人。
上述所揭露的實施例在S208的步驟中係該計算特徵值中最小值與參考值的比值並與一門檻值作比較,惟在另一實施例中該S208步驟亦可以改變成是分別計算每一特徵值與參考值的比值,並且當有任一個比值小於門檻值時,不但可判定影像中包含有至少一個路人,並且還可以進一步地辨識出此比值所對應之特徵值所屬之人臉為哪一個路人。此外,在又一實施例中,該S208步驟亦可以改變成是係隨機計算所有特徵值與參考值的比值,並且只要一出現有比值小於門檻值時,即可判定該影像中包含至少一個路人,並且可以不用再計算其它特徵值與參考值的比值。
在一實施例中,路人偵測裝置100還可透過快門觸發模組126接收使用者觸發的快門訊號,且此快門訊號可以是當使用者拍攝影像並按下快門按鍵時所發出的訊號。當快門觸發模組126接收到此快門訊號後,將可據以觸發鏡頭的快門以進行拍攝影像 的動作。而當快門觸發模組126未接收到此快門訊號時,則不拍攝影像。
需說明的是,此處的『拍攝』指的是使用者按下快門按鍵,並觸發鏡頭的快門而取得影像並可記錄為影像檔的動作;而前述的『影像擷取』則是指當路人偵測裝置100為開啟狀態時,影像擷取單元110會每隔一段時間對鏡頭視野內的畫面進行擷取的動作,且所擷取影像會於路人偵測裝置100的顯示器(未繪示)上顯示,以供使用者預覽影像。
因此,在本實施例中,當判斷模組125判定影像擷取單元110所擷取的影像包含路人時,可以透過將快門觸發模組126禁能,使得快門觸發模組126無法響應使用者觸發的快門訊號而觸發快門(即使用者無法按下快門),從而禁止使用者拍攝影像。
在一實施例中,路人偵測裝置100還可透過影像儲存模組127將影像擷取單元110所拍攝的影像記錄為影像檔。具體而言,當判斷模組125判定影像擷取單元110所擷取的影像不包含路人(例如路人已被排除的情況)時,快門觸發模組126即可響應使用者觸發的快門訊號而觸發快門拍攝影像,而影像儲存模組127則可響應於該快門訊號而將所拍攝影像記錄為影像檔。
在又一實施例中,當判斷模組125判斷影像擷取單元110所擷取影像中包含路人時,可以發出一警示訊息以告知使用者有路人存在於影像中,而由使用者自行決定是否仍要進行拍攝動作。警告訊息可以是顯示在一顯示器上之警告文字或圖像,或是 發出警告語音或聲響,或是產生震動等等可以讓使用者感知之任何方式。
藉此,本發明實施例即可透過影像中各人臉特徵值的比較判斷出影像中是否包含路人,並可據以禁止或允許使用者拍攝影像,讓使用者能更便利且直覺地拍攝出無路人的影像。
如前所述,在另一實施例中,參考值還可由對焦人臉的特徵值來決定,並可進一步透過路人偵測裝置100中的對焦模組(未繪示)來實現。以下將詳細說明。
當使用者拍照時,通常影像擷取單元110可自動對焦於拍攝主體,或可提供使用者藉由在預覽畫面上點選的方式,控制影像擷取單元110對焦於所點選的拍攝主體。藉由上述概念,在此實施例中,人臉特徵值的參考值可由影像擷取單元110所對焦的人臉來決定,也就是以對焦人臉的特徵值來作為參考值。
詳細來說,圖7是依照本發明一實施例所繪示的路人偵測方法的流程圖。請同時參照圖1與圖7,本實施例的方法適用於上述的路人偵測裝置100,以下即搭配圖1中路人偵測裝置100的各項元件,說明本實施例方法的詳細流程。
首先,影像擷取模組121利用影像擷取單元110擷取影像(步驟S702)。接著,由人臉偵測模組122偵測出現在影像中的至少一個人臉,並取得各人臉的至少一個特徵的位置(步驟S704)。之後,特徵值計算模組123根據特徵的位置,計算各人臉的特徵值(步驟S706)。上述步驟S702~S706的實施方式係與前 述實施例中的S202~S206相同或相似,故其詳細內容在此不再贅述。
與前述實施例不同的是,在本實施例中,路人偵測裝置100還可更包括一對焦模組(未繪示),藉以進一步地透過此對焦模組來調整影像擷取單元110的焦距,使得影像擷取單元110對焦於影像中的一或多個人臉(步驟S708)。其中,在一實施例中,對焦模組可藉由影像處理的方式決定所要對焦的人臉(即自動對焦),而在另一實施例中,對焦模組則可接收使用者對於影像中人臉的選取操作,來調整影像擷取單元110的焦距,而使影像擷取單元110對焦於選取操作選取的人臉(即手動對焦)。
接著,比較模組124則可使用這些對焦人臉之特徵值的平均值,來作為參考值(步驟S710)。其中,若對焦的人臉只有一個,則直接使用該人臉的特徵值來作為參考值。而在決定參考值之後,比較模組124則會分別計算影像中各個人臉之特徵值與此參考值的比值,並與門檻值比較(步驟S712)。而在比值小於門檻值時,判斷模組125即判定具有對應之特徵值的人臉為路人(步驟S714)。需說明的是,在本實施例中,使用者亦可點選所述人臉中的一或多個人臉來決定參考值,本發明對此並不加以限制。
藉此,本發明實施例可透過影像擷取單元自動對焦或手動對焦的人臉,來決定人臉特徵值的參考值,而藉由逐一比較各人臉的特徵值,則可更精確地判斷出影像中出現的每一個人臉是否為路人。再將判斷結果與快門結合,則可讓使用者更便利且直 覺地拍攝出無路人的影像。
另外,本發明實施例的精神亦可與路人刪除的技術結合,而有更多元的應用。詳細來說,透過本發明實施例提出的路人偵測方式可先判斷出影像擷取設備所擷取影像中的哪些人臉是路人,此時再連續拍攝多張影像,並將這些影像中已預先被判定為路人的部分利用影像合成或填補的方式去除,藉此即可省去使用者自行點選以決定刪除對象的步驟,從而實現路人的自動刪除。
本發明另提供一種電腦程式產品,其是用以執行上述路人偵測方法的各個步驟,此電腦程式產品是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入電子裝置中並執行之後,即可完成上述路人偵測方法的步驟。
綜上所述,本發明實施例的路人偵測方法、裝置與電腦程式產品可透過偵測影像中人臉特徵的位置,來決定各人臉的特徵值,並藉由比較這些人臉的特徵值,從而自動判斷出影像中是否包含路人。當判定影像中包含路人時,本發明可進一步禁止使用者觸發快門,或是在使用者觸發快門之後,等待影像中的路人消失後才拍攝並記錄影像。藉此,透過本發明實施例,可供使用者更便利且直覺地拍攝出無路人的影像。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍 當視後附的申請專利範圍所界定者為準。
S202~S210‧‧‧步驟

Claims (27)

  1. 一種路人偵測方法,適用於具有一影像擷取單元的一電子裝置,該方法包括下列步驟:利用該影像擷取單元擷取一影像;偵測出現在該影像中的至少一人臉,並取得各所述人臉的至少一特徵的位置;根據所述特徵的位置,計算各所述人臉的一特徵值;計算所述特徵值中之至少其一與一參考值的一比值,並與一門檻值比較;以及當該比值小於該門檻值時,判定該影像中包含至少一路人。
  2. 如申請專利範圍第1項所述的路人偵測方法,其中該計算所述特徵值中之該至少其一與該參考值的該比值之步驟係為計算所有所述特徵值中之最小值與該參考值的該比值,並且當該比值小於該門檻值時,判定該影像中包含至少一路人。
  3. 如申請專利範圍第1項所述的路人偵測方法,其中該計算所述特徵值中之該至少其一與該參考值的該比值之步驟係為分別計算每一所述特徵值與該參考值的該比值,並且當有任一該比值小於該門檻值時,判定該影像中包含至少一路人,並且進一步辨識出該比值所對應之該特徵值所屬之人臉為該路人。
  4. 如申請專利範圍第1項所述的路人偵測方法,其中該計算所述特徵值中之該至少其一與該參考值的該比值之步驟係為隨機計算所有所述特徵值與該參考值的該比值,並且只要一有該比值 小於該門檻值時,即判定該影像中包含至少一路人。
  5. 如申請專利範圍第1項所述的路人偵測方法,更包括:當該影像擷取單元擷取的該影像被判定包含所述路人時,禁止拍攝該影像。
  6. 如申請專利範圍第1項所述的路人偵測方法,更包括:當該影像擷取單元擷取的該影像被判定不包含所述路人時,該影像可被拍攝並記錄所拍攝影像為一影像檔。
  7. 如申請專利範圍第1項所述的路人偵測方法,其中所述特徵包括兩眼及嘴巴,而根據所述特徵的位置,計算各所述人臉的該特徵值的步驟包括:計算由各所述人臉的所述兩眼及嘴巴的位置所形成之一三角形的面積,以作為該人臉的該特徵值。
  8. 如申請專利範圍第1項所述的路人偵測方法,其中所述特徵包括包圍各所述人臉的一臉部定位框,而根據所述特徵的位置,計算各所述人臉的該特徵值的步驟包括:計算包圍各所述人臉的該臉部定位框的面積,以作為該人臉的該特徵值。
  9. 如申請專利範圍第1項所述的路人偵測方法,其中所述特徵包括兩眼,而根據所述特徵的位置,計算各所述人臉的該特徵值的步驟包括:計算各所述人臉的所述兩眼之間的一距離,以作為該人臉的該特徵值。
  10. 如申請專利範圍第1項所述的路人偵測方法,其中在計算所述特徵值中該至少其一與該參考值的該比值,並與該門檻值比較的步驟之前,所述方法更包括:調整該影像擷取單元的一焦距,使該影像擷取單元對焦於所述人臉之一或多個;以及使用該影像擷取單元對焦的所述人臉的特徵值的一平均值作為所述特徵值中的該參考值。
  11. 如申請專利範圍第10項所述的路人偵測方法,其中調整該影像擷取單元的該焦距,使該影像擷取單元對焦於所述人臉之一的步驟包括:接收使用者對於所述人臉之一的一選取操作,據以調整該影像擷取單元的該焦距,使該影像擷取單元對焦於該選取操作選取的該人臉。
  12. 如申請專利範圍第10項所述的路人偵測方法,其中在使用該影像擷取單元對焦的該人臉的該特徵值作為所述特徵值中的該參考值的步驟之後,所述方法更包括:分別計算各所述特徵值與該參考值的該比值,並與該門檻值比較;以及當該比值小於該門檻值時,判定具有對應之該特徵值的該人臉為該路人。
  13. 如申請專利範圍第1項所述的路人偵測方法,其中在計算所述特徵值中該至少其一與該參考值的該比值,並與該門檻值 比較的步驟之前,所述方法更包括:接收使用者對於路人偵測之多個靈敏度之一的一選擇操作,據以從多個預設門檻值中選擇與該靈敏度相對應的該預設門檻值,作為與該比值比較的該門檻值。
  14. 如申請專利範圍第1項所述的路人偵測方法,其中在計算所述特徵值中該至少其一與該參考值的該比值,並與該門檻值比較的步驟之前,所述方法更包括:計算所述特徵值的一平均值或一中位數,或取用所述特徵值中的一最大值,以作為該參考值。
  15. 如申請專利範圍第1項所述的路人偵測方法,其中當該影像擷取單元擷取的該影像被判定包含所述路人時,更包含以下步驟:發出一警示訊息以告知一使用者有所述路人存在於影像中。
  16. 一種路人偵測裝置,包括:一影像擷取單元,擷取一影像;一儲存單元,記錄多個模組;以及一處理單元,耦接該影像擷取單元及該儲存單元,以存取並執行該儲存單元中記錄的所述模組,所述模組包括:一影像擷取模組,利用該影像擷取單元擷取一影像;一人臉偵測模組,偵測出現在該影像中的至少一人臉,並取得各所述人臉的至少一特徵的位置;一特徵值計算模組,根據所述特徵的位置,計算各所述 人臉的一特徵值;一比較模組,計算所述特徵值中至少其一與一參考值的一比值,並與一門檻值比較;以及一判斷模組,當該比值小於該門檻值時,判定該影像中包含至少一路人。
  17. 如申請專利範圍第16項所述的路人偵測裝置,其中所述模組更包括:一快門觸發模組,用以接收使用者觸發的一快門訊號以觸發一快門拍攝該影像,並當該判斷模組判定該影像中包含所述路人時,該判斷模組禁能該快門觸發模組,藉以禁止拍攝該影像。
  18. 如申請專利範圍第16項所述的路人偵測裝置,其中所述模組更包括:一快門觸發模組,接收使用者觸發的一快門訊號以觸發一快門拍攝該影像;以及一影像儲存模組,當該判斷模組判定該影像中不包含所述路人時,響應於該快門訊號而記錄所拍攝的該影像為一影像檔。
  19. 如申請專利範圍第16項所述的路人偵測裝置,其中所述特徵包括兩眼及嘴巴,而該特徵值計算模組係計算由各所述人臉的所述兩眼及嘴巴的位置所形成之一三角形的面積,以作為該人臉的該特徵值。
  20. 如申請專利範圍第16項所述的路人偵測裝置,其中所述特徵包括包圍各所述人臉的一臉部定位框,而該特徵值計算模組 係計算包圍各所述人臉的該臉部定位框的面積,以作為該人臉的該特徵值。
  21. 如申請專利範圍第16項所述的路人偵測裝置,其中所述特徵包括兩眼,而該特徵值計算模組係計算各所述人臉的所述兩眼之間的一距離,以作為該人臉的該特徵值。
  22. 如申請專利範圍第16項所述的路人偵測裝置,其中所述模組更包括:一對焦模組,調整該影像擷取單元的一焦距,使該影像擷取單元對焦於所述人臉之一或多個,其中該比較模組係使用該影像擷取單元對焦的所述人臉的特徵值的一平均值作為所述特徵值中的該參考值。
  23. 如申請專利範圍第22項所述的路人偵測裝置,其中該對焦模組接收使用者對於所述人臉之一的一選取操作,據以調整該影像擷取單元的該焦距,使該影像擷取單元對焦於該選取操作選取的該人臉。
  24. 如申請專利範圍第22項所述的路人偵測裝置,其中該比較模組分別計算各所述特徵值與該參考值的該比值,並與該門檻值比較,而該判斷模組在該比值小於該門檻值時,判定具有對應之該特徵值的該人臉為該路人。
  25. 如申請專利範圍第16項所述的路人偵測裝置,其中該比較模組更接收使用者對於路人偵測之多個靈敏度之一的一選擇操作,據以從多個預設門檻值中選擇與該靈敏度相對應的該預設門 檻值,作為與該比值比較的該門檻值。
  26. 如申請專利範圍第16項所述的路人偵測裝置,其中該比較模組更計算所述特徵值的一平均值或一中位數,或取用所述特徵值中的一最大值,以作為該參考值。
  27. 一種電腦程式產品,經由一電子裝置載入該程式以執行下列步驟:利用該電子裝置的一影像擷取單元擷取一影像;偵測出現在該影像中的至少一人臉,並取得各所述人臉的至少一特徵的位置;根據所述特徵的位置,計算各所述人臉的一特徵值;計算所述特徵值中之至少其一與一參考值的一比值,並與一門檻值比較;以及當該比值小於該門檻值時,判定該影像中包含至少一路人。
TW102139349A 2013-10-30 2013-10-30 路人偵測方法、裝置與電腦程式產品 TWI508001B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102139349A TWI508001B (zh) 2013-10-30 2013-10-30 路人偵測方法、裝置與電腦程式產品
CN201310585361.2A CN104601876B (zh) 2013-10-30 2013-11-19 路人侦测方法与装置
US14/197,222 US20150116471A1 (en) 2013-10-30 2014-03-05 Method, apparatus and storage medium for passerby detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102139349A TWI508001B (zh) 2013-10-30 2013-10-30 路人偵測方法、裝置與電腦程式產品

Publications (2)

Publication Number Publication Date
TW201516890A true TW201516890A (zh) 2015-05-01
TWI508001B TWI508001B (zh) 2015-11-11

Family

ID=52994942

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102139349A TWI508001B (zh) 2013-10-30 2013-10-30 路人偵測方法、裝置與電腦程式產品

Country Status (3)

Country Link
US (1) US20150116471A1 (zh)
CN (1) CN104601876B (zh)
TW (1) TWI508001B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN105652560B (zh) * 2016-01-25 2018-08-14 广东小天才科技有限公司 一种自动调节焦距的拍照方法及系统
CN105744165A (zh) * 2016-02-25 2016-07-06 深圳天珑无线科技有限公司 拍照方法、装置及终端
US9883097B2 (en) 2016-06-03 2018-01-30 Google Inc. Optical flow based auto focus
CN109427053A (zh) 2017-08-31 2019-03-05 丽宝大数据股份有限公司 皮肤老化状态评估方法与电子装置
JP6974162B2 (ja) * 2017-12-27 2021-12-01 富士フイルム株式会社 撮影制御システム、撮影制御方法、プログラムおよび記録媒体
CN110934591B (zh) * 2019-09-30 2022-12-23 宁波华茂优加科技有限公司 一种坐姿检测方法及装置
US11516386B2 (en) * 2021-01-22 2022-11-29 Dell Products L.P. System and method for intelligent imaging sensory classification

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0226178D0 (en) * 2002-11-11 2002-12-18 Johnson Matthey Plc Desulphurisation
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
CN1839410B (zh) * 2003-07-18 2015-05-20 佳能株式会社 图像处理设备、摄像设备、图像处理方法
TW200810558A (en) * 2006-08-01 2008-02-16 Lin Jin Deng System and method using a PTZ image-retrieving device to trace a moving object
WO2008051907A1 (en) * 2006-10-20 2008-05-02 Cardiomems, Inc. Method and apparatus for measuring pressure inside a fluid system
US8817061B2 (en) * 2007-07-02 2014-08-26 Cisco Technology, Inc. Recognition of human gestures by a mobile phone
JP4917509B2 (ja) * 2007-10-16 2012-04-18 ルネサスエレクトロニクス株式会社 オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
KR20090093440A (ko) * 2008-02-29 2009-09-02 삼성전자주식회사 디지털-아날로그 변환기, 소스 드라이버 및 액정디스플레이 장치
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US8818034B2 (en) * 2009-11-30 2014-08-26 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
TWI415010B (zh) * 2009-12-03 2013-11-11 Chunghwa Telecom Co Ltd Face recognition method based on individual blocks of human face
CN102111535B (zh) * 2009-12-23 2012-11-21 华晶科技股份有限公司 提高人脸辨识率的方法
CN102300044B (zh) * 2010-06-22 2013-05-08 原相科技股份有限公司 处理图像的方法与图像处理模块
TWI439951B (zh) * 2010-11-08 2014-06-01 Inst Information Industry 人臉影像性別辨識系統及其辨識方法及其電腦程式產品
CN102004911B (zh) * 2010-12-31 2013-04-03 上海全景数字技术有限公司 提高人脸识别正确率的方法
TW201338516A (zh) * 2012-03-07 2013-09-16 Altek Corp 攝像裝置及其攝像方法及人物辨識拍照系統

Also Published As

Publication number Publication date
TWI508001B (zh) 2015-11-11
CN104601876B (zh) 2018-01-05
US20150116471A1 (en) 2015-04-30
CN104601876A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
TWI508001B (zh) 路人偵測方法、裝置與電腦程式產品
KR101297524B1 (ko) 이미지에서의 흐림 검출에 대한 응답
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
TWI640199B (zh) 影像擷取裝置及其攝影構圖的方法
WO2017008353A1 (zh) 一种拍摄方法及用户终端
EP3062513B1 (en) Video apparatus and photography method thereof
US9973687B2 (en) Capturing apparatus and method for capturing images without moire pattern
JP2015115839A5 (zh)
WO2016197657A1 (zh) 一种拍照处理方法和装置
JP2019515519A5 (zh)
US20170244938A1 (en) Camera system with an automatic photo taking
JP2016019249A (ja) 表示制御装置
JP2015008385A (ja) 画像選択装置、撮像装置および画像選択プログラム
JP2015019376A (ja) 撮影制御システム及びその制御方法
WO2017054475A1 (zh) 拍照的方法、装置及终端
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
JP5386880B2 (ja) 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
CN111182199B (zh) 电子装置及拍照方法
TWI469629B (zh) 啟動自動對焦功能的方法、其電子裝置、儲存媒體,與使用此方法之電腦程式產品
TWI413003B (zh) Face recognition of the automatic camera method
TWI424738B (zh) The method of adjusting the resolution
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
WO2015074261A1 (zh) 一种保存拍摄图像的方法以及电子设备
WO2022269999A1 (ja) 制御装置、制御方法、およびプログラム