TWI512644B - 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 - Google Patents

智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 Download PDF

Info

Publication number
TWI512644B
TWI512644B TW103128783A TW103128783A TWI512644B TW I512644 B TWI512644 B TW I512644B TW 103128783 A TW103128783 A TW 103128783A TW 103128783 A TW103128783 A TW 103128783A TW I512644 B TWI512644 B TW I512644B
Authority
TW
Taiwan
Prior art keywords
face
business card
information
unit
recognized
Prior art date
Application number
TW103128783A
Other languages
English (en)
Other versions
TW201608489A (zh
Inventor
Chia Chien Wu
Wei Hsin Kan
Cheng Yen Huang
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to TW103128783A priority Critical patent/TWI512644B/zh
Priority to US14/788,814 priority patent/US9536159B2/en
Application granted granted Critical
Publication of TWI512644B publication Critical patent/TWI512644B/zh
Publication of TW201608489A publication Critical patent/TW201608489A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Description

智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
本發明是有關於一種人臉辨識方法及裝置，且特別是有關於一種智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法。
社交互動隨著科技發展而帶來不同程度的影響，有人因智慧型裝置及社交軟體的普及而變得足不出戶，相反的有人則善用智慧型裝置擴展人脈與生活圈。
隨著時間的累積，認識的人事物也隨之增加。若身為一位公眾人物或事業有成的生意人，人脈更是重要資產。然而，並非每個人的記憶力都可達到過目不忘，當許久不見的人站在面前帶著親切微笑，欲打招呼時卻發現記憶中僅剩模糊的印象，怎麼想也記不起他/她的名字、從事什麼工作，當下的狀況想必是尷尬萬分。因此，若能幫助使用者即時地認出所遇見的人物，對於使用者的社交互動及人脈擴展將起到相當的助力。
使用智慧型眼鏡進行人臉辨識相關的專利有台灣發明專 利公開號201401184、台灣新型專利公告號M480729、中國大陸發明專利公開號103827728與美國發明專利公開號20110026782。
本發明提供一種智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法，可幫助使用者即時地認出所遇見的人物。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的，本發明之一實施例提供一種人臉辨識與提示方法，適用於具有影像擷取單元、儲存單元及顯示單元的智慧型眼鏡。此儲存單元儲存有記錄多筆人物資訊及各筆人物資訊對應之名片資訊的資料庫。所述方法是利用影像擷取單元擷取位於智慧型眼鏡之視野內的影像，並辨識影像擷取單元所擷取影像中出現的至少一個人臉，然後將所辨識之各個人臉與資料庫內的人物資訊進行人臉特徵的比對，以搜尋人臉特徵相符之人物資訊。其中，若搜尋到人臉特徵相符之人物資訊，則在顯示單元上顯示此人物資訊對應之名片資訊；若未搜尋到人臉特徵相符之人物資訊，則繼續辨識影像擷取單元所擷取影像中出現之名片的名片資訊，並將所辨識之名片資訊與所辨識之人臉建立關聯。
在本發明的一實施例中，在上述辨識影像擷取單元所擷取影像中出現之名片的名片資訊的步驟之前，所述方法更偵測影 像擷取單元所擷取影像中是否出現名片，並累積未偵測到名片的時間，而在所累積的時間超過一預設值時，停止名片的偵測及名片資訊的辨識。
在本發明的一實施例中，在上述將所辨識之各個人臉與資料庫內的人物資訊進行人臉特徵的比對，以搜尋人臉特徵相符之人物資訊的步驟中，若未搜尋到人臉特徵相符之人物資訊，計算所辨識之各個人臉的人臉大小，並判斷此人臉大小是否位於一預設範圍內。其中，若人臉大小位於預設範圍內，則啟動名片資訊的辨識步驟，並將人臉大小位於預設範圍內的人臉與所辨識之名片資訊建立關聯。
在本發明的一實施例中，上述將所辨識之名片資訊與所辨識之人臉建立關聯的步驟更包括計算所辨識之各個人臉的人臉大小，並判斷此人臉大小是否位於一預設範圍內，並將人臉大小位於預設範圍內的人臉與所辨識之名片資訊建立關聯。
在本發明的一實施例中，上述的智慧型眼鏡更包括定位單元，且上述將所辨識之各個人臉與資料庫內的人物資訊進行人臉特徵的比對，以搜尋人臉特徵相符之人物資訊的步驟更包括利用定位單元對智慧型眼鏡進行定位，以取得智慧型眼鏡的所在位置，然後將此位置與資料庫內各筆人物資訊之名片資訊中的地址進行比對，以篩選出地址與此位置相近的人物資訊，並用以與所辨識之各個人臉進行人臉特徵的比對。
在本發明的一實施例中，上述的智慧型眼鏡更包括聲音 擷取單元，而所述方法更在利用影像擷取單元擷取影像的同時，利用聲音擷取單元擷取聲紋訊號，並將所擷取之聲紋訊號與資料庫內各筆人物資訊之聲紋訊號進行比對，以搜尋聲紋訊號相符之該人物資訊。其中，若搜尋到聲紋訊號及人臉特徵均相符的人物資訊，則在顯示單元上顯示此人物資訊對應之名片資訊。
本發明之一實施例提供一種智慧型眼鏡，其包括影像擷取單元、儲存單元、顯示單元及處理單元。其中，影像擷取單元係用以擷取位於智慧型眼鏡之視野內的影像。儲存單元係用以儲存資料庫，此資料庫記錄多筆人物資訊及各筆人物資訊對應之名片資訊。處理單元係耦接影像擷取單元、儲存單元及顯示單元，用以辨識影像擷取單元所擷取影像中出現的至少一個人臉，並將所辨識之各個人臉與資料庫內的人物資訊進行人臉特徵的比對，以搜尋人臉特徵相符之人物資訊。其中，若搜尋到人臉特徵相符之人物資訊，處理單元會在顯示單元上顯示此人物資訊對應之名片資訊；若未搜尋到人臉特徵相符之人物資訊，則處理單元會繼續辨識影像擷取單元所擷取影像中出現之名片的名片資訊，並將所辨識之名片資訊與所辨識之人臉建立關聯。
在本發明的一實施例中，上述的處理單元更偵測影像擷取單元所擷取影像中是否出現名片，並累積未偵測到名片的時間，而在所累積的時間超過預設值時，停止名片的偵測及名片資訊的辨識。
在本發明的一實施例中，上述的處理單元若未搜尋到人 臉特徵相符之人物資訊，更計算所辨識之各個人臉的大小，並判斷此人臉大小是否位於一預設範圍內。其中，若人臉大小位於預設範圍內，處理單元將會啟動名片資訊的辨識步驟，並將人臉大小位於預設範圍內的人臉與所辨識之名片資訊建立關聯。
在本發明的一實施例中，上述的處理單元更計算所辨識之各個人臉的人臉大小，並判斷此人臉大小是否位於一預設範圍內，而僅將人臉大小位於預設範圍內的人臉與所辨識之名片資訊建立關聯。
在本發明的一實施例中，上述的智慧型眼鏡更包括定位單元，其係用以定位智慧型眼鏡，以取得智慧型眼鏡的所在位置，其中處理單元更將位置與資料庫內各筆人物資訊之名片資訊中的地址進行比對，以篩選出地址與位置相近的人物資訊，並用以與所辨識之各個人臉進行人臉特徵的比對。
在本發明的一實施例中，上述的智慧型眼鏡更包括聲音擷取單元，其係用以在影像擷取單元擷取影像的同時，擷取聲紋訊號，其中處理單元包括將所擷取之聲紋訊號與資料庫內各筆人物資訊之聲紋訊號進行比對，以搜尋聲紋訊號相符之人物資訊，並在搜尋到聲紋訊號及人臉特徵均相符的人物資訊時，在顯示單元上顯示此人物資訊對應之名片資訊。
基於上述，本發明之智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法藉由拍攝使用者所遇見人物的影像並進行人臉辨識，從而在預先建立的資料庫中搜尋人臉特徵相符的人物資 訊，並顯示該人物資訊中的名片資訊以提示使用者。藉此，使用者可經由名片資訊的提示即時地認出所遇見之人。另一方面，若未搜尋到相符的人臉，本發明的智慧型眼鏡亦可自動進行名片資訊的辨識，並與所辨識的人臉進行關聯，而能在下一次見面的場合中提供給使用者。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉多個實施例，並配合所附圖式，作詳細說明如下。
10、31、60‧‧‧智慧型眼鏡
11、61‧‧‧影像擷取單元
12、62‧‧‧儲存單元
13、63‧‧‧顯示單元
14、66‧‧‧處理單元
30‧‧‧人物
32、36‧‧‧影像
33‧‧‧人臉
34‧‧‧人物資訊介面
341‧‧‧頭像
342‧‧‧姓名
343‧‧‧公司電話
344‧‧‧公司傳真
345‧‧‧公司電子郵件地址
37‧‧‧名片
38‧‧‧聯絡人新增介面
381‧‧‧人名
382‧‧‧姓的編輯欄位
383‧‧‧名的編輯欄位
64‧‧‧定位單元
65‧‧‧聲音擷取單元
S202~S212‧‧‧本發明一實施例之人臉辨識與提示方法的步驟
S402~S412‧‧‧本發明一實施例之人臉與名片資訊關聯方法的步驟
S502~S510‧‧‧本發明一實施例之人臉與名片資訊關聯方法的步驟
圖1是依照本發明一實施例所繪示之智慧型眼鏡的方塊圖。
圖2是依照本發明一實施例所繪製的人臉辨識與提示方法的流程圖。
圖3A至圖3D是依照本發明一實施例所繪製的人臉辨識與提示方法的範例。
圖4是依照本發明一實施例所繪製的人臉與名片資訊關聯方法的流程圖。
圖5是依照本發明一實施例所繪製的人臉與名片資訊關聯方法的流程圖。
圖6是依照本發明一實施例所繪示之智慧型眼鏡的方塊圖。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之多個實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如「上」、「下」、「前」、「後」、「左」、「右」等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明，而非用來限制本發明。
在與陌生人初次見面、交換名片的場合中，人們通常會先目視對方並向對方打招呼，然後再遞交名片。此時，人們的目光將會由對方身上轉向手中拿到的名片。基於上述情境，本發明利用使用者配戴的智慧型眼鏡拍攝所遇見人物的影像以進行人臉辨識，並在使用者觀看名片時繼續拍攝名片的影像以進行名片資訊的辨識，從而將所辨識的名片資訊與人臉進行關聯。藉此，當使用者下次遇見對方時，智慧型眼鏡即可藉由資料庫的比對，辨識出對方的身分並顯示其名片資訊給使用者，從而幫助使用者即時地認出所遇見的人物。
圖1是依照本發明一實施例所繪示之智慧型眼鏡的方塊圖。請參照圖1，本實施例的智慧型眼鏡10包括影像擷取單元11、儲存單元12、顯示單元13及處理單元14，其功能分述如下：影像擷取單元11包括鏡頭、快門、感光元件等組成元件，例如攝相機(camera)；其中，感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他類似元件。影像擷取單元11係用以擷取位於智慧型眼鏡之視野內的影像。
儲存單元12可以是任何型態的固定或可移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中，儲存單元12係用以儲存一個資料庫，此資料庫中例如會記錄使用者預先建立的多筆人物資訊以及各筆人物資訊對應之名片資訊。
顯示單元13例如是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體顯示器(Light-Emitting Diode(LED)Display)、有機電激發光顯示器(Organic Light Emitting Display，OLED)、電泳動顯示器(Electro-Phoretic Display，EPD)、採用LED光源或雷射光源的微投影顯示器或其他種類的顯示器，顯示單元13耦接處理單元14，可顯示處理單元14輸出的影像。顯示單元13例如是採用透明或半透明的顯示面板，使得配戴智慧型眼鏡10的使用者不僅可看到顯示單元13顯示的影像，且能穿透顯示單元13看到顯示單元13後方位於智慧型眼鏡10視野內的影像，具有擴充實境(Augmented Reality)的功能。
處理單元14耦接至影像擷取單元11、儲存單元12及顯示單元13，處理單元14例如是具有單核心或多核心的中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類 似元件或上述元件的組合。在本實施例中，處理單元14可執行電腦程式，藉以實現本發明實施例的人臉辨識與提示方法。以下即舉實施例說明智慧型眼鏡10執行人臉辨識與提示的詳細步驟。
詳言之，圖2是依照本發明一實施例所繪製的人臉辨識與提示方法的流程圖。請同時參照圖1與圖2，本實施例的方法適用於上述的智慧型眼鏡10，以下即搭配圖1中智慧型眼鏡10的各項元件，說明本實施例方法的詳細流程。
首先，處理單元14利用影像擷取單元11擷取位於智慧型眼鏡10之視野內的影像(步驟S202)。其中，處理單元14例如是在接收到使用者觸發的拍攝操作(例如按壓或觸碰智慧型眼鏡10的快門鍵或其他按鍵)時，即控制影像擷取單元11擷取影像。
接著，處理單元14針對影像擷取單元11所擷取影像進行人臉辨識，以辨識出所擷取影像中出現的至少一個人臉(步驟S204)。其中，處理單元14例如是利用人臉的輪廓、五官位置及形狀、髮型或膚色辨識影像中出現的人臉，並取得各個人臉的人臉特徵。
然後，處理單元14會將其所辨識出的各個人臉分別與資料庫內的人物資訊進行人臉特徵的比對(步驟S206)，以搜尋人臉特徵相符之人物資訊(步驟S208)。其中，儲存單元12中儲存的資料庫會記錄使用者曾經見過且已完成人臉辨識及名片辨識之人物的相關資訊，其中包括該人物的臉部輪廓、五官位置及形狀、髮型、膚色等特徵。處理單元14藉由將所辨識的人臉與資料庫中 的各筆人物資訊進行人臉特徵的比對，即可確認使用者目前所遇到的人物是否是使用者曾經見過的人物。
若搜尋到人臉特徵相符之人物資訊，處理單元14即會在顯示單元13上顯示此人物資訊對應之名片資訊以提示使用者(步驟S210)，顯示的方式例如是直接顯示名片的影像或顯示從名片中擷取的名片資訊，本發明對此不加以限制。藉此，使用者即可從顯示單元13中看到其所遇見人物的相關資訊，從而認出對方。
反之，若未搜尋到人臉特徵相符之人物資訊，處理單元14會進一步辨識影像擷取單元11所擷取影像中出現之名片以得到名片資訊，再將所辨識之名片資訊與所辨識之人臉進行關聯並寫入資料庫內(步驟S212)。上述的名片資訊例如是藉由對影像擷取單元11擷取的影像進行光學字元辨識(optical character recognition，OCR)所得到的人名及公司的名稱、電話、傳真、住址、網址、統一編號、電子郵件地址等或其他個人相關資訊，本發明並不以此為限。
舉例來說，圖3A至圖3D是依照本發明一實施例所繪製的人臉辨識與提示方法的範例。請先參照圖3A，在本實施例中，當使用者遇到人物30時，可藉由智慧型眼鏡31拍攝人物30的影像32。此時，智慧型眼鏡31即會對影像32進行人臉辨識，而辨識出其中出現的人臉33。
之後，智慧型眼鏡31會將人臉33與資料庫中儲存的人物資訊進行人臉特徵的比對，以找出人臉特徵相符的人物資訊。 其中，若智慧型眼鏡31找到人臉特徵相符的人物資訊，即會顯示一個人物資訊介面34(如圖3B所示)。此人物資訊介面34中會顯示人臉33的頭像341、姓名342、公司電話343、公司傳真344及公司電子郵件地址345等個人的相關資訊。
反之，若智慧型眼鏡31未找到人臉特徵相符的人物資訊，則會繼續拍攝使用者所收到之名片的影像36(如圖3C所示)，並辨識影像36中出現之名片37的名片資訊。其中，智慧型眼鏡31例如會在辨識完成後，顯示一個聯絡人新增介面38(如圖3D所示)，並在其中顯示所辨識的人名381及姓、名的編輯欄位382、383。待使用者修改並確認後，智慧型眼鏡31即會將此名片資訊與先前由影像32辨識出的人臉33進行關聯，以便在下次見到此人物30時，可以辨識出其身分。
藉由上述方法，使用者即可藉由智慧型眼鏡的輔助，即時地取得所遇見人物的名字或其他相關資訊，從而達到增加社交互動及人脈擴展的目的。
需說明的是，有鑑於使用者在交換名片時，從其目視對方、交換名片乃至於觀看名片屬於連續動作，且通常會在短時間內完成。故本發明的一實施例中，智慧型眼鏡可在人臉辨識及名片辨識之間設定一個時間間隔，以在其搜尋不到與所辨識人臉之人臉特徵相符的人物資訊時，自動進行名片的辨識。簡言之，在此時間間隔內，智慧型眼鏡會對其所擷取的影像進行名片的偵測，但在偵測時間超出此時間間隔時，智慧型眼鏡即會停止名片 的偵測及名片資訊的辨識。以下則再舉一實施例詳細說明。
圖4是依照本發明一實施例所繪製的人臉與名片資訊關聯方法的流程圖。請同時參照圖1與圖4，本實施例的方法適用於上述的智慧型眼鏡10，以下即搭配圖1中智慧型眼鏡10的各項元件，說明本實施例方法的詳細流程。
本實施例接續在圖2的步驟S208之後，即若未搜尋到人臉特徵相符之人物資訊，則由處理單元14偵測影像擷取單元11所擷取影像中出現的名片(步驟S402)，以判斷是否偵測到名片(步驟S404)。處理單元14例如是藉由分析影像中白色區塊的形狀、面積或其中的文字來偵測影像中是否出現名片，本發明並不以此為限。
其中，若有偵測到名片，處理單元14即會辨識影像擷取單元11所擷取影像中出現之名片的名片資訊，並將所辨識的名片資訊與所辨識的人臉進行關聯(步驟S406)。此步驟係與前述實施例中的步驟S212相同或相似，故其詳細的實施方式在此不再贅述。
反之，若未偵測到名片，處理單元14則會累積其未偵測到名片的時間(步驟S408)，並判斷所累積的時間是否超過一預設值(步驟S410)。此預設值例如是5秒、10秒、20秒、30秒或其他適當長度的時間，本發明並不以此為限。
其中，若所累積的時間未超過預設值，處理單元14將會繼續偵測影像擷取單元11所擷取影像中出現的名片(步驟S402)。反之，若所累積的時間超過預設值，處理單元14則會停 止名片的偵測及名片資訊的辨識(步驟S412)。
藉由上述的關聯機制，本發明可準確地將使用者所收到之名片的名片資訊與名片的主人建立關聯，而可避免將錯誤的資訊關聯至所辨識的人臉，並可節省智慧型眼鏡10持續執行名片偵測及名片資訊辨識所需的運算成本。
此外，由於在交換名片的情境中，使用者與對方之間的距離必定是在彼此雙手可觸及的範圍內，此時在智慧型眼鏡所拍攝的影像中，對方的頭像將會佔據一固定的比例或大小。據此，本發明即依上述距離，設定一個人臉大小的預設範圍，從而輔助智慧型眼鏡判斷其所拍攝影像中的人物是否是與使用者交換名片之人。以下則再舉一實施例詳細說明。
圖5是依照本發明一實施例所繪製的人臉與名片資訊關聯方法的流程圖。請同時參照圖1與圖5，本實施例的方法適用於上述的智慧型眼鏡10，以下即搭配圖1中智慧型眼鏡10的各項元件，說明本實施例方法的詳細流程。
本實施例亦接續在圖2的步驟S208之後，即若未搜尋到人臉特徵相符之人物資訊，則處理單元14會在辨識名片資訊之前，先計算所辨識之各個人臉的人臉大小(步驟S502)，並判斷此人臉大小是否位於一預設範圍內(步驟S504)。此預設範圍例如是人臉佔據影像的比例如百分之20、百分之30、百分之50等，或是一個特定數值，本發明對此不加以限制。
其中，若處理單元14判斷人臉大小是位於預設範圍內， 則會啟動名片資訊的辨識步驟，以辨識影像擷取單元11所擷取影像中出現之名片的名片資訊(步驟S508)，並將人臉大小位於預設範圍內的人臉與所辨識之名片資訊建立關聯(步驟S510)。反之，則不進行名片資訊的辨識及關聯性的建立(步驟S506)。上述名片資訊的辨識及關聯性的建立的步驟係與前述實施例的步驟S212相同或相似，故其詳細內容在此不再贅述。
上述的人臉篩選機制可避免將名片資訊關聯至錯誤的人物，也可確保建立關聯的人臉是與使用者交換名片的對象。
需說明的是，上述實施例是在辨識出人臉之後，即依照人臉大小決定是否進行名片資訊的辨識，而在另一實施例中，則可在辨識出名片資訊之後，才去確認是否有人臉大小符合預設範圍之人，並據以決定要將名片資訊關聯至哪一個人臉。
另一方面，在其他實施例中，本發明的人臉辨識與提示方法還可藉由定位及聲紋辨識，輔助智慧型眼鏡在資料庫中搜尋人臉所對應的人物資訊。以下則再舉一實施例詳細說明。
圖6是依照本發明一實施例所繪示之智慧型眼鏡的方塊圖。請參照圖1，本實施例的智慧型眼鏡60包括影像擷取單元61、儲存單元62、顯示單元63、定位單元64、聲音擷取單元65及處理單元66，其中影像擷取單元61、儲存單元62、顯示單元63及處理單元66的功能係與前述實施例中的影像擷取單元11、儲存單元12、顯示單元13及處理單元14相同或相似，故在此不再贅述。
與前述實施例不同的是，本實施例的智慧型眼鏡60更包 括定位單元64，此定位單元64例如是全球定位系統(Global Positioning System，GPS)，或是其他利用全球行動通信(Global System for Mobile Communication，GSM)系統、個人手持式電話系統(Personal Handy-phone System，PHS)、碼多重擷取(Code Division Multiple Access，CDMA)系統、無線相容認證(Wireless fidelity，Wi-Fi)系統、全球互通微波存取(Worldwide Interoperability for Microwave Access，WiMAX)系統、無線電中繼器(Radio Repeater)或無線電廣播電台(Radio Broadcaster)進行定位的通訊定位系統，本發明不以此為限。
處理單元66例如會在對所辨識人臉與資料庫內的人物資訊進行人臉特徵的比對時，進一步利用定位單元64對智慧型眼鏡60進行定位，以取得智慧型眼鏡60所在之位置，然後再將此定位位置與資料庫內各筆人物資訊之名片資訊中的地址進行比對，以篩選出地址與位置相近或相同的人物資訊，並用以與所辨識之各個人臉進行人臉特徵的比對。
另一方面，本實施例的智慧型眼鏡60亦包括聲音擷取單元65，此聲音擷取單元65例如是動圈式麥克風(Dynamic Microphone)、電容式麥克風(Condenser Microphone)、駐極體電容麥克風(Electret Condenser Microphone)、微機電麥克風(MEMS Microphone)或是針對來自不同角度聲音有不同靈敏度的指向性麥克風，本發明不以此為限。
處理單元66例如會在其利用影像擷取單元61擷取影像 的同時，利用聲音擷取單元65擷取當時周遭的聲紋訊號，而在進行資料比對時，則將所擷取之聲紋訊號與資料庫內各筆所述人物資訊之聲紋訊號進行比對，以搜尋與聲紋訊號相符之人物資訊。而若處理單元66在資料庫中搜尋到聲紋訊號及人臉特徵均相符的人物資訊，則會在顯示單元63上顯示人物資訊對應之名片資訊。
藉由上述定位單元64與聲音擷取單元65的輔助，智慧型眼鏡60可更精確地確認使用者所遇見之人物的身分，從而提示使用者。
綜上所述，本發明的智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法藉由拍攝使用者所遇見人物的影像並進行人臉辨識，而可幫助使用者即時地認出所遇見之人的身分，達到增加社交互動及人脈擴展的目的。在無法辨識出對方的情況下，本發明亦提供完整的名片資訊建立機制，可準確地將所辨識出之名片資訊與所擷取影像中實際與使用者交換名片之人的人臉進行關聯，而省去繁瑣的設定步驟。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外，本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
S202~S212‧‧‧本發明一實施例之人臉辨識與提示方法的步驟

Claims (10)

  1. 一種人臉辨識與提示方法，適用於具有一影像擷取單元、一儲存單元及一顯示單元的一智慧型眼鏡，該儲存單元儲存有記錄多筆人物資訊及各筆所述人物資訊對應之名片資訊的一資料庫，該方法包括下列步驟：利用該影像擷取單元擷取位於該智慧型眼鏡之視野內的影像；辨識該影像擷取單元所擷取影像中出現的至少一人臉；將所辨識之各所述人臉與該資料庫內的所述人物資訊進行人臉特徵的比對，以搜尋該人臉特徵相符之該人物資訊；若搜尋到該人臉特徵相符之該人物資訊，顯示該人物資訊對應之該名片資訊於該顯示單元；以及若未搜尋到該人臉特徵相符之該人物資訊，自動偵測該影像擷取單元所擷取影像中是否出現一名片，其中若超過一預設值時間未偵測到該名片，則停止偵測，若偵測到該名片，辨識該名片的名片資訊，並將該名片資訊與所辨識之該人臉建立關聯。
  2. 如申請專利範圍第1項所述的人臉辨識與提示方法，其中將所辨識之各所述人臉與該資料庫內的所述人物資訊進行該人臉特徵的比對，以搜尋該人臉特徵相符之該人物資訊的步驟更包括：若未搜尋到該人臉特徵相符之該人物資訊，計算所辨識之各所述人臉的人臉大小，並判斷該人臉大小是否位於一預設範圍 內；以及若該人臉大小位於該預設範圍內，啟動該名片資訊的辨識步驟，並將該人臉大小位於該預設範圍內的該人臉與所辨識之該名片資訊建立關聯。
  3. 如申請專利範圍第1項所述的人臉辨識與提示方法，其中關聯所辨識之該名片資訊於所辨識之該人臉的步驟更包括：計算所辨識之各所述人臉的人臉大小，並判斷該人臉大小是否位於一預設範圍內；以及將該人臉大小位於該預設範圍內的該人臉與所辨識之該名片資訊建立關聯。
  4. 如申請專利範圍第1項所述的人臉辨識與提示方法，其中該智慧型眼鏡更包括一定位單元，且將所辨識之各所述人臉與該資料庫內的所述人物資訊進行該人臉特徵的比對，以搜尋該人臉特徵相符之該人物資訊的步驟更包括：利用該定位單元定位該智慧型眼鏡，以取得該智慧型眼鏡所在之位置；以及將該位置與該資料庫內各所述人物資訊之該名片資訊中的地址進行比對，以篩選出該地址與該位置相近的所述人物資訊，並用以與所辨識之各所述人臉進行該人臉特徵的比對。
  5. 如申請專利範圍第1項所述的人臉辨識與提示方法，其中該智慧型眼鏡更包括聲音擷取單元，且所述方法更包括：在利用該影像擷取單元擷取該影像的同時，利用該聲音擷取 單元擷取一聲紋訊號；將所擷取之該聲紋訊號與該資料庫內各筆所述人物資訊之該聲紋訊號進行比對，以搜尋與該聲紋訊號相符之該人物資訊；以及若搜尋到該聲紋訊號及該人臉特徵均相符的該人物資訊，顯示該人物資訊對應之該名片資訊於該顯示單元。
  6. 一種智慧型眼鏡，包括：一影像擷取單元，擷取位於該智慧型眼鏡之視野內的影像；一儲存單元，儲存一資料庫，該資料庫記錄多筆人物資訊及各筆所述人物資訊對應之名片資訊；一顯示單元；以及一處理單元，耦接該影像擷取單元、該儲存單元及該顯示單元，辨識該影像擷取單元所擷取影像中出現的至少一人臉，並將所辨識之各所述人臉與該資料庫內的所述人物資訊進行人臉特徵的比對，以搜尋該人臉特徵相符之該人物資訊，其中若搜尋到該人臉特徵相符之該人物資訊，顯示該人物資訊對應之該名片資訊於該顯示單元；以及若未搜尋到該人臉特徵相符之該人物資訊，自動偵測該影像擷取單元所擷取影像中是否出現一名片，其中若超過一預設值時間未偵測到該名片，則停止偵測，若偵測到該名片，辨識該名片的名片資訊，並將該名片資訊與所辨識之該人臉建立關聯。
  7. 如申請專利範圍第6項所述的智慧型眼鏡，其中若未搜尋到該人臉特徵相符之該人物資訊，該處理單元更計算所辨識之各所述人臉的人臉大小，並判斷該人臉大小是否位於一預設範圍內，其中若該人臉大小位於該預設範圍內，該處理單元啟動該名片資訊的辨識步驟，並將該人臉大小位於該預設範圍內的該人臉與所辨識之該名片資訊建立關聯。
  8. 如申請專利範圍第6項所述的智慧型眼鏡，其中該處理單元更計算所辨識之各所述人臉的人臉大小，並判斷該人臉大小是否位於一預設範圍內，而僅將該人臉大小位於該預設範圍內的該人臉與所辨識之該名片資訊建立關聯。
  9. 如申請專利範圍第6項所述的智慧型眼鏡，更包括：一定位單元，定位該智慧型眼鏡，以取得該智慧型眼鏡所在之位置，其中該處理單元更將該位置與該資料庫內各筆所述人物資訊之該名片資訊中的地址進行比對，以篩選出該地址與該位置相近的所述人物資訊，並用以與所辨識之各所述人臉進行該人臉特徵的比對。
  10. 如申請專利範圍第6項所述的智慧型眼鏡，更包括：一聲音擷取單元，在該影像擷取單元擷取該影像的同時，擷取一聲紋訊號，其中該處理單元包括將所擷取之該聲紋訊號與該資料庫內各筆所 述人物資訊之該聲紋訊號進行比對，以搜尋該聲紋訊號相符之該人物資訊，並在搜尋到該聲紋訊號及該人臉特徵均相符的該人物資訊時，顯示該人物資訊對應之該名片資訊於該顯示單元。
TW103128783A 2014-08-21 2014-08-21 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法 TWI512644B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103128783A TWI512644B (zh) 2014-08-21 2014-08-21 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
US14/788,814 US9536159B2 (en) 2014-08-21 2015-07-01 Smart glasses and method for recognizing and prompting face using smart glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103128783A TWI512644B (zh) 2014-08-21 2014-08-21 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法

Publications (2)

Publication Number Publication Date
TWI512644B true TWI512644B (zh) 2015-12-11
TW201608489A TW201608489A (zh) 2016-03-01

Family

ID=55348561

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103128783A TWI512644B (zh) 2014-08-21 2014-08-21 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法

Country Status (2)

Country Link
US (1) US9536159B2 (zh)
TW (1) TWI512644B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403875B2 (en) 2019-12-25 2022-08-02 Askey Computer Corp. Processing method of learning face recognition by artificial intelligence module

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158108A (ja) * 2015-02-24 2016-09-01 株式会社リコー 頭部装着型表示装置、情報処理システム、および情報処理方法
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
US9615179B2 (en) * 2015-08-26 2017-04-04 Bose Corporation Hearing assistance
US10212338B2 (en) * 2016-11-22 2019-02-19 Google Llc Camera operable using natural language commands
CN107808120B (zh) * 2017-09-30 2018-08-31 平安科技（深圳）有限公司 眼镜定位方法、装置及存储介质
US10713489B2 (en) 2017-10-24 2020-07-14 Microsoft Technology Licensing, Llc Augmented reality for identification and grouping of entities in social networks
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
CN111813281A (zh) * 2020-05-28 2020-10-23 维沃移动通信有限公司 信息获取方法、信息输出方法、装置和电子设备
CN114882976A (zh) 2021-02-05 2022-08-09 中强光电股份有限公司 医疗用影像辅助系统及医疗用影像辅助方法
CN115171028B (zh) * 2022-09-06 2022-11-18 深圳市天趣星空科技有限公司 基于图像处理的智能眼镜调节控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200939143A (en) * 2008-03-14 2009-09-16 Tlj Intertech Inc A data management system
TW201224955A (en) * 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof
TW201401184A (zh) * 2012-06-18 2014-01-01 Altek Corp 智慧提示裝置及其方法
US8705177B1 (en) * 2011-12-05 2014-04-22 Google Inc. Integrated near-to-eye display module

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5438419B2 (ja) 2009-07-29 2014-03-12 富士フイルム株式会社 人物照合装置及び人物照合方法
US8724853B2 (en) 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
WO2015089040A2 (en) * 2013-12-12 2015-06-18 Evernote Corporation User discovery via digital id and face recognition
TWM480729U (zh) 2014-03-05 2014-06-21 ji-zhong Lin 整合有電子設備並用於顯示2d擴增實境之擴增實境系統
US9311525B2 (en) * 2014-03-19 2016-04-12 Qualcomm Incorporated Method and apparatus for establishing connection between electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200939143A (en) * 2008-03-14 2009-09-16 Tlj Intertech Inc A data management system
TW201224955A (en) * 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof
US8705177B1 (en) * 2011-12-05 2014-04-22 Google Inc. Integrated near-to-eye display module
TW201401184A (zh) * 2012-06-18 2014-01-01 Altek Corp 智慧提示裝置及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403875B2 (en) 2019-12-25 2022-08-02 Askey Computer Corp. Processing method of learning face recognition by artificial intelligence module
TWI783199B (zh) * 2019-12-25 2022-11-11 亞旭電腦股份有限公司 臉部辨識的處理方法及電子裝置

Also Published As

Publication number Publication date
US20160055371A1 (en) 2016-02-25
TW201608489A (zh) 2016-03-01
US9536159B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
TWI512644B (zh) 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
CN104408426B (zh) 人脸图像眼镜去除方法及装置
WO2016173443A1 (zh) 账户信息获取的方法、终端、服务器和系统
WO2020135127A1 (zh) 一种行人识别方法及装置
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
US10115019B2 (en) Video categorization method and apparatus, and storage medium
WO2017084182A1 (zh) 图片处理方法及装置
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
US20150332439A1 (en) Methods and devices for hiding privacy information
WO2017071064A1 (zh) 区域提取方法、模型训练方法及装置
US20130335314A1 (en) Intelligent Reminding Apparatus and Method Thereof
JP2018500706A (ja) 領域認識方法及び装置
CN109274891B (zh) 一种图像处理方法、装置及其存储介质
TWI603270B (zh) 偵測人員使用手持裝置的方法及裝置
TW202009761A (zh) 身分識別方法、裝置和電腦可讀儲存媒體
CN106971164A (zh) 脸型匹配方法及装置
WO2017197778A1 (zh) 图像发送方法和装置
WO2021047069A1 (zh) 人脸识别方法和电子终端设备
KR101671137B1 (ko) 영상 촬영 장치 및 그 방법
WO2017008696A1 (zh) 信息推送方法、装置及智能眼镜
KR20120046653A (ko) 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법
CN107992811A (zh) 人脸识别方法及装置
CN109544716A (zh) 学生签到方法及装置、电子设备和存储介质
CN105203456A (zh) 植物品种识别方法及装置
CN105335714A (zh) 照片处理方法、装置和设备