TWI462035B - 物件偵測後設資料 - Google Patents

物件偵測後設資料 Download PDF

Info

Publication number
TWI462035B
TWI462035B TW100120758A TW100120758A TWI462035B TW I462035 B TWI462035 B TW I462035B TW 100120758 A TW100120758 A TW 100120758A TW 100120758 A TW100120758 A TW 100120758A TW I462035 B TWI462035 B TW I462035B
Authority
TW
Taiwan
Prior art keywords
data
detected
pixel
coordinate system
face
Prior art date
Application number
TW100120758A
Other languages
English (en)
Other versions
TW201209730A (en
Inventor
David William Singer
Courtney Ann Kennedy
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201209730A publication Critical patent/TW201209730A/zh
Application granted granted Critical
Publication of TWI462035B publication Critical patent/TWI462035B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Description

物件偵測後設資料
本發明之實施例大體而言係針對物件偵測後設資料。
相機及其他計算器件日益能夠辨別出相片及視訊資料之圖框中物件之位置。舉例而言，一些計算器件可辨別出臉部(例如，人臉)之位置。臉部偵測為判定臉部(例如，人臉)出現在靜態或視訊影像資料中之一位置處的程序。臉部匹配為判定在一影像圖框中偵測到之臉部與在另一影像圖框中偵測到之臉部相同的可能性的程序。第三程序為臉部識別，其為藉由所偵測之臉部之名字或其他識別符來識別臉部的程序。
在一實施例中，產生物件偵測後設資料。在一第一座標系統中產生圍繞影像資料之一圖框中之一經偵測物件的一周邊。將該周邊自該第一座標系統轉換至具有與該第一座標系統相同之縱橫比的一第二座標系統中。產生一第一後設資料項，該第一後設資料項包括該第二座標系統之尺寸。產生一第二後設資料項，該第二後設資料項包括定義在第二座標空間中該經偵測物件之一位置及該經轉換周邊之尺寸的資訊。
在另一實施例中，該物件偵測後設資料項包括一第三後設資料項，該第三後設資料項包括一額外經偵測物件之一位置及經轉換周邊。該第二後設資料項及該第三後設資料項可包括一分層值。該等分層值指示該第二後設資料項之該經偵測物件較比該第三後設資料項之該額外經偵測物件更靠近或更遠離一相機。
在又一實施例中，影像資料之第一圖框之該第二後設資料項包括一匹配值，該匹配值可為指派給該經偵測物件之一唯一索引值。若在影像資料之一不同圖框中偵測到該物件，則對應於影像資料之該不同圖框且指示在後設資料之該不同圖框中該物件之位置的一後設資料項可包括相同唯一索引值，以指示該兩個經偵測物件為同一物件。
在另一實施例中，該第二後設資料項包括一經偵測物件加權。此加權指示該經偵測物件實際上為該經偵測物件的一機率。舉例而言，該經偵測物件加權可提供一經偵測物件實際上為一人臉的一機率。
在又一實施例中，該第二後設資料項包括一匹配物件加權。該匹配物件加權指示兩個匹配物件實際上為同一物件的一機率。舉例而言，該匹配物件加權可提供不同影像圖框中之兩個經偵測物件對應於同一人之臉部的一機率。
在隨附圖式之諸圖中藉由實例而非限制來說明本發明，在隨附圖式中相似參考數字指示類似元件。
將參考下文所論述之細節來描述本發明之各種實施例及態樣，且隨附圖式將說明各種實施例。以下描述及圖式說明本發明且不應解釋為限制本發明。描述眾多特定細節以提供對本發明之各種實施例的透徹理解。然而，在某些情況下，不描述熟知或習知的細節，以便提供對本發明之實施例的簡略論述。
在一實施例中，物件偵測後設資料描述在相片、視訊圖框及其他影像資料中物件之位置。物件偵測後設資料可儲存為與靜態或視訊影像資料相關聯之基於片段之後設資料，或儲存為與視訊播放軌(video track)相關聯之時控後設資料。時控後設資料可儲存於與視訊播放軌相關聯之後設資料播放軌中。在一實施例中，可根據由蘋果公司(Cupertino,California)開發之QuickTime檔案格式或根據其他檔案格式產生後設資料播放軌及視訊播放軌。
在一實施例中，物件偵測後設資料可包括臉部偵測後設資料，臉部偵測後設資料可包括用於人臉及動物臉之後設資料。在其他實施例中，物件偵測後設資料可包括用於在影像資料中可偵測之其他物件(諸如汽車、汽車牌照或任何其他可偵測物件)的後設資料。可使用不同偵測技術來偵測不同物件。舉例而言，一種技術可較好地適用於偵測人臉，而另一種技術可較好地適用於偵測非面部物件。雖然下文之描述將本發明之一些實施例說明性地應用於臉部偵測後設資料，但一般熟習此項技術者將顯而易見，本發明亦可應用於其他物件偵測後設資料。
圖1為說明根據本發明之一實施例之物件偵測周邊的圖式。在一實施例中，影像資料之圖框中的每一臉部之位置可用一簡單矩形來描述。該矩形之左上角、寬度及高度可儲存於臉部偵測後設資料中，臉部偵測後設資料可被稱作經偵測物件或經偵測臉部項。在下文結合圖9更詳細地描述經偵測臉部項。設定資訊可包括圖框之視覺尺寸，其係以與像素無關、相等間隔之單位計。在其他實施例中，影像資料之圖框中的(多個)物件之位置可用具有不同形狀之一周邊來描述。
圖1中所說明之影像具有為高度113及寬度111之尺寸。臉部偵測矩形105具有為高度109及寬度107之尺寸及初始點101。臉部偵測矩形105對臉部103定邊界。該影像可為原始影像資料，掃描該原始影像資料以發現臉部，從而引起臉部偵測矩形105之產生。在一實施例中，該影像之及該矩形之尺寸係以與像素無關之座標來表達。與像素無關之座標可經選擇以給出對臉部偵測程序之判定之準確度的大致指示。舉例而言，若影像資料具有4:3之縱橫比且與像素無關之座標經設定為100:75，則該指示為：應在大致為百分之一的準確度內置放該等矩形(亦即，準確到視訊尺寸之1%內)。該指示可為大致估計。
在一實施例中，為識別臉部偵測矩形之實際像素值，重新按比例調整矩形之尺寸及左上角以考量如下兩者：影像圖框之實際大小，及影像圖框中所使用之像素縱橫比。在一些實施例中，影像圖框之實際視覺縱橫比不同於設定尺寸之縱橫比。此情形指示可能已在未考慮臉部偵測後設資料的情況下處理(例如，修剪、旋轉等)影像資料。在此等實施例中，臉部偵測矩形可被視為不可靠的。
圖2為說明根據本發明之一實施例之重疊物件偵測周邊的圖式。在影像資料中偵測到之物件可重疊。若物件偵測程序可判定哪個物件較遠離相機，則其可為較遠的周邊指派一較高的層編號。層零可用作預設層。舉例而言，基於攝取該影像之相機之位置，臉部201在臉部205「前面」。在一實施例中，偵測由於相機位置而一者在另一者之上的臉部之分層。在此實施例中，將臉部偵測矩形203指派給在臉部矩形207所指派給之層之上的層。
圖3為說明根據本發明之一實施例之圖框之間的物件匹配的圖式。圖框301及圖框309可為視訊資料在不同時間點的圖框。舉例而言，圖框301可出現在時間x時，而圖框309出現在時間x+1時。在圖框301中在標誌307左邊偵測到臉部303，且在圖框309中在標誌307右邊偵測到臉部311。在一實施例中，在臉部偵測完成之後，圖框301與臉部偵測矩形305相關聯，而圖框309與臉部偵測矩形313相關聯。在此實施例中，臉部辨識處理發生，在臉部辨識處理中比較圖框之間的臉部以判定同一臉部出現在不同圖框中之可能性。若該可能性超過一臨限值，則可假設臉部311為與臉部303相同之臉部。
圖4為說明根據本發明之一實施例的產生物件偵測後設資料之方法的流程圖。舉例而言，在步驟401，該方法對影像資料(諸如來自攝錄影機之視訊資料)之至少一圖框執行臉部偵測。在步驟403，該方法使用像素座標產生圍繞經偵測臉部之一矩形。亦即，矩形之初始點及矩形之尺寸係相對於影像圖框自身按像素來量測。
在步驟405，使基於像素之矩形轉換至與像素無關之空間中。與像素無關之空間之尺寸可經選擇以使得與像素無關之空間之縱橫比匹配影像資料之縱橫比。舉例而言，若影像資料為640像素×320像素，則縱橫比為寬度除以高度，其將得到2:1之縱橫比。與像素無關之空間可為120單位×60單位以便具有相同縱橫比。
在步驟407，該方法產生一臉部設定項，該臉部設定項規定在與像素無關之空間中影像資料之圖框之尺寸。在下文結合圖9更詳細地描述臉部設定項。在步驟409，該方法產生一經偵測臉部項，該經偵測臉部項規定在與像素無關之空間中影像資料之至少一圖框中的臉部之位置。在下文結合圖9更詳細地描述經偵測臉部項。
亦可根據關於圖4說明性地描述之程序來產生影像中用於其他物件之偵測後設資料。臉部偵測後設資料僅為可產生之物件偵測後設資料之一實例。
圖5為說明根據本發明之一實施例的擷取物件偵測後設資料之方法的流程圖。舉例而言，在步驟501，該方法自對應於影像資料之圖框的後設資料播放軌擷取臉部設定項。該臉部設定項指示在影像資料中已偵測到多少個臉部及影像資料之與像素無關之尺寸。
在步驟503，該方法判定影像資料之圖框之像素尺寸。在決策505處比較來自臉部設定項的與像素無關之尺寸之縱橫比與影像資料之縱橫比。若縱橫比不匹配，則該方法過渡至步驟511且判定臉部偵測座標可能不可靠。舉例而言，可以改變縱橫比之方式對該影像資料調整大小。該影像資料可能已自寬螢幕格式修改成標準格式。此修改改變視訊資料之縱橫比。臉部偵測矩形之位置取決於原始影像資料之縱橫比。若影像資料之縱橫比改變，則臉部偵測矩形之位置變得不可靠且可被捨棄。
若影像資料之縱橫比與臉部設定項之縱橫比匹配或大體上類似，則該方法在步驟507自對應於影像資料之圖框的後設資料播放軌擷取經偵測臉部項。該經偵測臉部項描述在影像資料中偵測到之一特定臉部，且在下文結合圖9更詳細地描述該經偵測臉部項。在步驟509，該方法使用在步驟503所擷取之影像大小按比例調整經偵測臉部後設資料之座標。使用按比例調整來獲得臉部偵測矩形相對於影像資料之圖框之像素座標。
舉例而言，原始影像資料可為640像素×480像素。可對原始影像資料執行圖4中所說明之物件偵測方法，以獲得臉部偵測矩形。臉部偵測矩形之所得與像素無關之尺寸及座標將對應於原始影像資料之縱橫比。隨後，可以保留縱橫比之方式對該影像資料調整大小。舉例而言，該影像資料可自640像素×480像素減小至320像素×240像素。縱橫比保持相同，但影像資料之量減小，此可能是為了促進經由低頻寬連接來串流傳輸影像資料(例如，當該影像資料包括視訊資料時)。影像資料中之臉部之像素座標及其對應臉部偵測矩形歸因於減小之影像大小而改變。藉由基於影像資料之當前大小按比例調整該矩形，該臉部偵測矩形準確地定位經調整大小之影像資料中的臉部。
亦可根據關於圖5說明性地描述之程序來擷取影像中用於其他物件之偵測後設資料。臉部偵測後設資料僅為可擷取之物件偵測後設資料之一實例。
圖6為說明根據本發明之一實施例的傳輸物件偵測後設資料之方法的流程圖。舉例而言，在步驟601，該方法對影像資料之圖框執行臉部偵測。此影像資料可為由視訊攝影機最初攝取之資料，或該影像資料可能已在先前自其原始形式被修改。在步驟603，該方法產生包括一臉部設定項及複數個經偵測臉部項之臉部偵測後設資料。每一經偵測臉部項對應於在影像資料之圖框中偵測到之臉部，而該臉部設定項規定影像資料之與像素無關之尺寸且可包括指示在影像資料中偵測到多少個臉部之一值。
在步驟605，該方法將後設資料播放軌添加至影像資料(例如，視訊資料)。經添加之播放軌包括經產生之臉部偵測後設資料。在一實施例中，該臉部設定項為經添加之後設資料播放軌中之第一元素。在步驟607，該方法傳輸包括經添加之後設資料播放軌之影像資料。舉例而言，可將該影像資料串流傳輸至遠端用戶端。或者，可將該影像資料下載至遠端用戶端且接著在遠端用戶端上本端地播放。
在步驟611，該方法(例如)在遠端用戶端處接收經傳輸之影像資料。在步驟613，該方法(例如)在影像資料之播放期間自所接收之影像資料擷取臉部偵測後設資料。在步驟615，該方法使用所接收之影像資料之尺寸按比例調整來自臉部偵測後設資料之座標，以提供臉部偵測矩形之準確像素座標。
在一實施例中，圖6中所說明之方法由一個以上器件執行。舉例而言，步驟601至607可由第一器件執行且步驟611至615可由第二器件執行。在另一實施例中，單一器件消耗其產生之物件偵測後設資料。器件可為專用的，使得該等器件僅儲存及/或伺服器物件偵測後設資料及/或相關聯之影像資料。
亦可根據關於圖6說明性地描述之程序來傳輸影像中用於其他物件之偵測後設資料。臉部偵測後設資料僅為可傳輸之物件偵測後設資料之一實例。
圖7為說明根據本發明之一實施例之物件分層的流程圖。舉例而言，如圖2中所說明，多個臉部可在一影像圖框中分層。舉例而言，相對於影像攝取器件，一個人可站在另一個人前面。在一實施例中，可將該等臉部指派給不同層。該等層之排序可指示在同一圖框中一臉部是否比另一臉部更靠近相機。
在步驟701，該方法識別影像資料之同一圖框中之第一臉部及第二臉部。在一實施例中，此識別作為影像資料中之臉部偵測之部分而發生。在步驟703，該方法使用此項技術中已知之技術判定第一臉部比第二臉部更遠離相機。
在步驟705，該方法指派比第二臉部高之層索引給第一臉部，此係由於第一臉部比第二臉部更遠離相機，或反之亦然。在步驟707，該方法將第一經偵測臉部項及第二經偵測臉部項儲存於對應於影像資料之當前圖框之後設資料中。在下文結合圖9更詳細地描述經偵測臉部項。
亦可根據關於圖7說明性地描述之程序來處理影像中用於其他物件之偵測後設資料。臉部偵測後設資料僅為物件偵測後設資料之一實例。
圖8為說明根據本發明之一實施例之物件匹配的流程圖。舉例而言，可在臉部偵測完成之後或在臉部偵測進行的同時執行臉部匹配。如圖3中所說明，臉部匹配判定在第一圖框中偵測到之臉部是否為與在第二圖框中偵測到之臉部相同的臉部。臉部匹配可使得能夠在不同圖框間追蹤臉部。
在步驟801，該方法識別影像資料之第一圖框中之第一臉部。在步驟803，該方法在對應於影像資料之第一圖框之後設資料中指派一臉部索引值給第一臉部。此後設資料可為經偵測臉部項。在一實施例中，當偵測到每一新的臉部時，使用此項技術中已知之臉部辨識技術比較該臉部與先前臉部，且若發現匹配，則指派相同臉部索引給該臉部。在一替代實施例中，在臉部偵測程序期間指派一索引值給每一臉部，且後續臉部匹配程序判定經偵測臉部跨不同圖框是否為同一臉部。
在步驟805，該方法識別影像資料之第二圖框中之第二臉部，且在步驟807判定第一圖框中之第一臉部匹配第二圖框中之第二臉部。在一實施例中，臉部匹配程序產生一信賴值，該信賴值指示該兩個經偵測臉部對應於同一「真實」臉部的可能性有多大。亦即，每一個體具有一臉部。可在兩個或兩個以上圖框中攝取該臉部。攝取該臉部之每一圖框包括一經偵測臉部。該信賴值指示兩個經偵測臉部對應於同一個體之臉部之可能性。若該信賴值超過一預定臨限值或以預定方式與一預定臨限值相當，則可將兩個臉部視為「匹配」。該臨限值可由使用者或管理者修改。在步驟811，該方法在該等臉部匹配之情況下在對應於影像資料之第二圖框之後設資料中指派相同臉部索引值給第二臉部。
亦可根據關於圖8說明性地描述之程序來處理影像中用於其他物件之偵測後設資料。臉部偵測後設資料僅為物件偵測後設資料之一實例。
圖9為說明根據本發明之一實施例之物件偵測後設資料格式的圖式。物件設定項901提供臉部設定項之一實例，且可包括最大識別符(max-id)、寬度及高度。最大識別符指示在臉部偵測期間指派之最高臉部識別符。在此實例中，最大識別符為7，其指示在臉部偵測期間偵測到七個臉部。在臉部偵測與臉部匹配交錯之實施例中，最大識別符可指示偵測到之唯一臉部之編號。在臉部匹配在臉部偵測之後發生之實施例中，最大識別符可指示偵測到之臉部之總數目，且不指示一或多個臉部是否匹配。臉部設定項901之寬度及高度指示影像資料之與像素無關之尺寸。在一實施例中，與像素無關之尺寸之縱橫比總是匹配原始影像資料之縱橫比。
經偵測物件項903提供影像資料之後設資料播放軌中的經偵測臉部項之一實例。X及Y可對應於如在與像素無關之座標中量測得之臉部偵測矩形之左上角之座標。寬度及高度對應於如在與像素無關之座標中量測得之臉部偵測矩形之寬度及高度。ID為指派給由經偵測臉部項903描述之特定臉部的數字識別符。層對應於上文關於圖2及圖7描述之層索引。在另一實施例中，物件周邊可為圓或橢圓。在此實施例中，可儲存圓或橢圓之半徑及中心點，而非左上座標及寬度與高度。半徑及中心點提供物件周邊之位置及尺寸。亦可使用其他形狀。在又一實施例中，可使用座標規定物件周邊之位置及尺寸(例如，左上角及右下角，而非左上角及寬度與高度)。
偵測權重(DetectWeight)可為具有一值範圍(例如，在0與255之間)之信賴值。偵測權重指示由經偵測物件項描述之物件偵測周邊含有希望偵測到之物件(例如，臉部)之可能性。在此實例中，偵測權重值為243，其可指示臉部偵測矩形含有臉部之極大可能性。在一實施例中，比較偵測權重與一預定臨限值。若偵測權重小於該臨限值，則不針對該經偵測臉部產生經偵測臉部項。該臨限值可由使用者或管理者修改。
匹配權重(MatchWeight)可為經偵測物件項903之另一元素。匹配權重可為在一範圍內(例如，在0與255之間)之值，其指示由經偵測物件項903描述之物件(例如，臉部)與使用同一物件ID之其他經偵測物件項相同的可能性。
在一實施例中，對影像資料執行物件偵測，且可將所得物件偵測後設資料儲存為基於片段之影像資料或儲存為基於時間之後設資料。在基於時間之後設資料中，將每一經偵測物件項應用於視訊資料之一或多個時間上對準之圖框。若經偵測物件項之持續時間橫跨一個以上視訊圖框，且其可為用於該等圖框中之一者之校正項，且「適合於」其他圖框。一般而言，該項針對第一個在時間上對準之視訊圖框為最精確的。在另一實施例中，在對視訊資料執行物件偵測之後，處理該視訊資料以減小圖框速率。在此狀況下，一個以上經偵測物件項可在時間方面對應於視訊資料之同一圖框。在此狀況下，可將第一經偵測物件項視為最具描述性的。
圖10展示可用於本發明之一實施例的資料處理系統之一實例。應注意，雖然圖10說明電腦系統之各種組件，但其並不意欲表示互連該等組件之任何特定架構或方式，此係因為此等細節與本發明沒有密切關係。亦將瞭解，具有較少組件或可能較多組件之網路電腦、平板電腦及其他資料處理系統亦可用於本發明。
如圖10中所展示，呈資料處理系統之形式之電腦系統1000包括一匯流排1003，該匯流排1003耦接至(多個)微處理器1005及ROM(唯讀記憶體)1007及揮發性RAM 1009及非揮發性記憶體1011。微處理器1005耦接至快取記憶體1004。微處理器1005可自記憶體1007、1009、1011擷取指令且執行該等指令以執行上文描述之操作。匯流排1003將此等各種組件互連在一起，且亦將此等組件1005、1007、1009及1011互連至顯示控制器與顯示器件1013且互連至諸如輸入/輸出(I/O)器件之周邊器件，I/O器件可為滑鼠、觸控螢幕、觸控板、觸敏式輸入器件、鍵盤、數據機、網路介面、印表機及此項技術中所熟知之其他器件。通常，輸入/輸出器件1015經由輸入/輸出控制器1017耦接至系統。揮發性RAM(隨機存取記憶體)1009通常實施為動態RAM(DRAM)，其不斷地需要電力以便再新或維持該記憶體中之資料。
大容量儲存器1011通常為磁性硬碟機或磁性光碟機或光碟機，或DVD RAM或快閃記憶體，或即使在自系統移除電力之後仍維持資料(例如，大量資料)之其他類型之記憶體系統。通常，大容量儲存器1011亦將為隨機存取記憶體，但並不要求如此。雖然圖10展示大容量儲存器1011為直接耦接至資料處理系統中之剩餘組件的本端器件，但將理解，本發明可利用在該系統之遠端之非揮發性記憶體，諸如經由諸如數據機、乙太網路介面或無線網路之網路介面耦接至資料處理系統之網路儲存器件。匯流排1003可包括經由如此項技術中所熟知之各種橋接器、控制器及/或配接器彼此連接之一或多個匯流排。
圖11展示可用於本發明之一實施例的另一資料處理系統之一實例。圖11中所展示之資料處理系統1100包括一可為一或多個微處理器或可為一系統單晶片(system on a chip)積體電路的處理系統1111，且該系統亦包括用於儲存用於由處理系統執行之資料及程式的記憶體1101。系統1100亦包括一音訊輸入/輸出子系統1105，該音訊輸入/輸出子系統1105可包括麥克風及揚聲器以用於(例如)經由該揚聲器及該麥克風播放音樂或提供電話功能性。
顯示控制器與顯示器件1107為使用者提供一視覺使用者介面，此數位介面可包括圖形使用者介面，其類似於在執行OS X作業系統軟體時展示於麥金塔電腦(Macintosh computer)上之圖形使用者介面。系統1100亦包括用以與另一資料處理系統通信之一或多個無線收發器1103。無線收發器可為WiFi收發器、紅外線收發器、藍芽收發器及/或無線蜂巢式電話收發器。應瞭解，在某些實施例中，額外組件(圖中未繪示)亦可為系統1100之部分，且在某些實施例中，亦可在資料處理系統中使用比圖11中所展示之組件少的組件。
資料處理系統1100亦包括經提供以允許使用者將輸入提供至系統的一或多個輸入器件1113。此等輸入器件可為小鍵盤或鍵盤，或觸控面板或多點觸控(multi touch)面板。資料處理系統1100亦包括選用之輸入/輸出器件1115，其可為用於銜接之連接器。應瞭解，如此項技術中所熟知，一或多個匯流排(圖中未繪示)可用以互連該等各種組件。圖11中所展示之資料處理系統可為手持型電腦或個人數位助理(PDA)，或具有類PDA功能性的蜂巢式電話，或包括蜂巢式電話之手持型電腦，或諸如iPod之媒體播放器，或組合此等器件之態樣或功能的器件，諸如在一器件中與PDA及蜂巢式電話組合之媒體播放器。在其他實施例中，資料處理系統1100可為網路電腦或另一器件內之嵌式處理器件，或具有比圖11中所展示之組件更少的組件或可能更多的組件的其他類型之資料處理系統。
圖12為說明搜尋儲存物件偵測後設資料之索引之方法的流程圖。在步驟1201，該方法產生物件偵測後設資料。物件可包括人臉、動物臉，及其他實體物件(例如，汽車、汽車牌照等)。可使用不同技術來偵測不同物件。舉例而言，一種技術可比偵測人臉更適合於偵測動物臉。物件偵測後設資料可在格式上類似於上文描述之說明性臉部偵測後設資料，可基於使用圍繞經偵測物件之周邊，及/或可在與像素無關之座標空間中表達。
在步驟1203，該方法使用物件偵測後設資料產生物件識別後設資料。物件識別後設資料指派一識別碼給經偵測物件。舉例而言，若物件偵測周邊對牌照定邊界，則物件識別後設資料可包括對應於牌照之內容之文數字字串，且可使用此項技術中已知之光學字元辨識(OCR)技術來獲得物件識別後設資料。在一實施例中，物件之屬性可經偵測及/或識別且包括於後設資料中。舉例而言，若物件為汽車，則汽車之顏色、品牌、型號等可經識別且添加至後設資料。
在步驟1205，該方法將物件偵測後設資料及物件識別後設資料儲存於一可搜尋索引中。該可搜尋索引可為索引資料庫。該可搜尋索引之內容可包括描述在靜態影像、視訊影像資料之圖框等中之特徵的後設資料。可由不同源攝取靜態影像及視訊。舉例而言，該可搜尋索引可包括描述用使用者之行動電話拍攝之照片、用使用者之相機拍攝之照片、用使用者之視訊錄影機攝取之視訊等的後設資料。在一實施例中，物件匹配後設資料亦經產生且儲存於可搜尋索引中。物件匹配可跨不同靜態影像及視訊影像而匹配各物件。
在步驟1207，該方法可使用一搜尋查詢將該索引仔細搜尋一遍以產生搜尋結果。可(例如)回應於搜尋命令而起始該搜尋。該搜尋查詢可為一字串或其他資訊。舉例而言，該搜尋查詢可為臉部可能出現在後設資料中的人的名字。作為另一實例，該搜尋查詢可針對白色汽車。在步驟1209，可提供及/或顯示結果(諸如在顯示器件1013或1107上)。
在一實施例中，單一器件執行步驟1201至1209。在另一實施例中，第一器件產生特徵偵測後設資料(1201)，第二器件產生特徵識別後設資料(1203)，第三器件將後設資料儲存於可搜尋索引中(1205)且將後設資料仔細搜尋一遍(1207)，而第四器件顯示搜尋之結果(1209)。在其他實施例中，使用不同的工作分配。
圖13為說明影像資料之播放軌與物件偵測後設資料之播放軌之間的關係的圖式。播放軌1301包括隨時間過去的影像資料之圖框，該等圖框可作為視訊重放。播放軌1303包括經偵測物件後設資料項。播放軌1301中之圖框1305對應於影像圖框1309。後設資料項1307對應於經偵測臉部項1311，且包括描述圖框1305中之經偵測物件(諸如在影像資料1309中攝取的人的臉部)的後設資料。後設資料播放軌1303亦可包括如上文所描述之一或多個設定項。
在前述說明書中，已參考物件偵測後設資料之例示性實施例來描述物件偵測後設資料。將顯而易見，可在不脫離如以下申請專利範圍中所闡述之本發明之更廣泛精神及範疇的情況下對其進行各種修改。相應地，應以說明性意義而非限制性意義來看待說明書及圖式。
101．．．初始點
103．．．臉部
105．．．臉部偵測矩形
107．．．寬度
109．．．高度
111．．．寬度
113．．．高度
201．．．臉部
203．．．臉部偵測矩形
205．．．臉部
207．．．臉部矩形
301．．．圖框
303．．．臉部
305．．．臉部偵測矩形
307．．．標誌
309．．．圖框
311．．．臉部
313．．．臉部偵測矩形
901．．．物件設定項/臉部設定項
903．．．經偵測物件項/經偵測臉部項
1000．．．電腦系統
1003．．．匯流排
1004．．．快取記憶體
1005．．．微處理器/組件
1007．．．唯讀記憶體(ROM)/組件
1009．．．揮發性隨機存取記憶體(RAM)/組件
1011．．．非揮發性記憶體/組件/大容量儲存器
1013．．．顯示控制器與顯示器件
1015．．．輸入/輸出器件
1017．．．輸入/輸出控制器
1100．．．資料處理系統
1101．．．記憶體
1103．．．無線收發器
1105．．．音訊輸入/輸出子系統
1107．．．顯示控制器與顯示器件
1111．．．處理系統
1113．．．輸入器件
1115．．．輸入/輸出器件
1301．．．播放軌
1303．．．後設資料播放軌
1305．．．圖框
1307．．．後設資料項
1309．．．影像圖框/影像資料
1311．．．經偵測臉部項
圖1為說明根據本發明之一實施例之物件偵測周邊的圖式；
圖2為說明根據本發明之一實施例之重疊物件偵測周邊的圖式；
圖3為說明根據本發明之一實施例之圖框之間的物件匹配的圖式；
圖4為說明根據本發明之一實施例的產生物件偵測後設資料之方法的流程圖；
圖5為說明根據本發明之一實施例的擷取物件偵測後設資料之方法的流程圖；
圖6為說明根據本發明之一實施例的傳輸物件偵測後設資料之方法的流程圖；
圖7為說明根據本發明之一實施例之物件分層的流程圖；
圖8為說明根據本發明之一實施例之物件匹配的流程圖；
圖9為說明根據本發明之一實施例之物件偵測後設資料格式的圖式；
圖10為可用於本發明之實施例之資料處理系統的圖式；
圖11為可用於本發明之實施例之器件的圖式；
圖12為說明根據本發明之一實施例的搜尋物件偵測後設資料之索引之方法的流程圖；及
圖13為說明影像資料之播放軌與物件偵測後設資料之播放軌之間的關係的圖式。
(無元件符號說明)

Claims (19)

  1. 一種用於產生臉部偵測後設資料之方法，該方法包含：產生圍繞視訊資料之一圖框中之一經偵測物件的一周邊，該周邊使用一以像素為基礎的座標系統；藉由一資料處理系統將該周邊自該以像素為基礎的座標系統轉換至一與像素無關的座標系統中，其中在該以像素為基礎的座標系統中該周邊之尺寸的一縱橫比匹配在該與像素無關的座標系統中該等尺寸的一縱橫比；產生一第一後設資料項，該第一後設資料項包括在該與像素無關的座標系統中視訊資料之該圖框之尺寸；產生一第二後設資料項，該第二後設資料項包括提供在該與像素無關的座標系統中該經轉換周邊之一位置及尺寸的資訊。
  2. 如請求項1之方法，其中該位置包含指示一矩形之左上角之一點，且該經轉換周邊之該等尺寸包含該矩形之一寬度及一高度。
  3. 如請求項1之方法，其中：該第一後設資料項進一步包括經偵測臉部之一總數目之一指示；及在該與像素無關的座標系統中視訊資料之該圖框之該等尺寸包含一寬度及一高度。
  4. 如請求項1之方法，其進一步包含將該第一後設資料項及該第二後設資料項儲存於對應於該視訊資料之一後設資料播放軌中。
  5. 如請求項4之方法，其中該後設資料播放軌係針對基於時間之後設資料儲存而組態，該後設資料播放軌中之該等後設資料項與該視訊資料在時間上對準。
  6. 一種產生物件偵測後設資料之方法，其包含：藉由一資料處理系統將來自一以像素為基礎之座標系統的一第一物件偵測周邊轉換成一與像素無關的座標系統，其中在該以像素為基礎的座標系統中的該第一物件偵測周邊的一尺寸縱橫比匹配該與像素無關的座標系統的一尺寸縱橫比；藉由該資料處理系統傳輸物件偵測後設資料，該物件後設資料包含在一與像素無關之座標系統中影像資料之尺寸及關於該第一物件偵測周邊之資訊，其中關於該第一物件偵測周邊之該資訊提供該第一物件偵測周邊之一第一位置及該第一物件偵測周邊之尺寸，且其中該資訊係在該與像素無關之座標系統中表達。
  7. 如請求項6之方法，其中該影像資料包含視訊資料且該物件偵測後設資料併入至該視訊資料之一後設資料播放軌中。
  8. 如請求項7之方法，其中該物件偵測後設資料包含複數個經偵測臉部項，該複數個經偵測臉部項對應於在該視訊資料之一圖框中偵測到之重疊臉部，其中每一經偵測臉部項包括一層索引，該層索引指示該經偵測臉部相對於其他經偵測臉部之相對位置。
  9. 如請求項7之方法，其中該物件偵測後設資料係自具有 一第一組像素尺寸之原始視訊資料產生，且其中經傳輸之視訊資料具有不同於該第一組像素尺寸之一第二組像素尺寸。
  10. 如請求項7之方法，其中該物件後設資料進一步包含關於一第二物件偵測周邊之資訊，其中關於該第二物件偵測周邊之該資訊提供該第二物件偵測周邊之一第二位置及該第二物件偵測周邊之第二尺寸，且該資訊係在該與像素無關之座標空間中表達，且其中該後設資料播放軌係針對基於時間之後設資料儲存而組態，該後設資料播放軌中之後設資料項與該視訊資料在時間上對準。
  11. 一種產生物件偵測後設資料之方法，其包含：接收在對應於視訊資料之一後設資料播放軌中之物件偵測後設資料，其中該物件偵測後設資料包含關於一第一物件偵測周邊的資訊，該第一物件偵測周邊是從像素為基礎之座標空間轉換成一與像素無關的座標空間；判定該視訊資料之像素尺寸；自該物件偵測後設資料擷取設定後設資料，該設定後設資料包含在該與像素無關之座標空間中該視訊資料之尺寸；自該後設資料播放軌擷取一經偵測物件項，該經偵測物件項包含在該與像素無關之座標空間中提供該物件偵測周邊之一位置及該物件偵測周邊之尺寸的資訊；藉由一資料處理系統使用該視訊資料之該等像素尺寸及該與像素無關之座標空間之尺寸來按比例調整提供該 物件偵測周邊之該位置及該等尺寸的該資訊。
  12. 如請求項11之方法，其中該經偵測物件項包括對應於一特定物件之一經偵測物件索引值，且其中對應於該視訊資料之一不同圖框的另一經偵測物件項包括相同經偵測物件索引值，從而指示該特定物件出現在兩個圖框中。
  13. 一種非暫時性機器可讀儲存媒體，該非暫時性機器可讀儲存媒體儲存在由一處理器執行時使一器件執行操作的指令，該等操作包含：產生圍繞視訊資料之一圖框中之一經偵測物件的一周邊，該周邊使用一以像素為基礎的座標系統，且該以像素為基礎的座標系統具有一第一縱橫比；將該周邊自該以像素為基礎的座標系統轉換至一與像素無關的座標系統中，其中該與像素無關的座標系統之尺寸具有匹配該第一縱橫比之一第二縱橫比；產生一第一後設資料項，該第一後設資料項包括該與像素無關的座標系統之尺寸；產生一第二後設資料項，該第二後設資料項包括在該與像素無關的座標系統中該經轉換周邊之位置及尺寸，其中該經偵測物件為一人臉、一動物臉、或一實體物件。
  14. 一種非暫時性機器可讀儲存媒體，該非暫時性機器可讀儲存媒體儲存在由一處理器執行時使一器件執行操作的指令，該等操作包含：將來該自該以像素為基礎的座標系統之物件偵測後設 資料轉換至一與像素無關的座標系統，其中該物件偵測後設資料包括與在影像資料中之一經偵測物件相關的資訊；儲存該物件偵測後設資料，該物件偵測後設資料提供該經偵測物件之一位置，其中該位置係在該與像素無關之座標系統中規定，且該與像素無關之座標系統中該像素資料之尺寸之一縱橫比匹配該該以像素為基礎的座標系統中之影像資料之尺寸之一縱橫比；及儲存物件識別後設資料，該物件識別後設資料規定該經偵測物件之一識別碼。
  15. 如請求項14之非暫時性機器可讀儲存媒體，該等操作進一步包含：儲存物件匹配後設資料，該物件匹配後設資料使該經偵測物件與視訊資料之另一圖框中之另一經偵測物件相關聯；儲存該物件偵測後設資料及該物件識別後設資料與一可搜尋索引之關聯；接收一搜尋查詢；及使用該搜尋查詢來搜尋該可搜尋索引以產生包含視訊圖框之搜尋結果，該等視訊圖框包括具有匹配該搜尋查詢之後設資料的經偵測物件。
  16. 一種非暫時性機器可讀媒體，該非暫時性機器可讀媒體儲存在由一處理器執行時使一器件執行操作的指令，該等操作包含： 儲存一設定後設資料項，該設定後設資料項包含在一與像素無關之座標系統中影像資料之尺寸且包含經偵測物件之一總數目之一指示，其中該等影像資料之尺寸被從與像素為基礎的座標系統中轉換成與像素無關的座標系統；儲存用於每一經偵測物件之一經偵測物件後設資料項，每一經偵測物件後設資料項包含提供圍繞一經偵測物件之一周邊的一位置及尺寸的資訊，其中該資訊提供在該與像素無關之座標系統中該周邊之該位置及該等尺寸。
  17. 如請求項16之非暫時性機器可讀媒體，其中該位置對應於一矩形之左上角，且該等尺寸包含該矩形之一高度及一寬度。
  18. 如請求項16之非暫時性機器可讀媒體，其中一第一經偵測物件後設資料項以與攝取該影像資料之一相機之一第一關係對應於一第一經偵測物件，且一第二經偵測物件項以與該相機之一第二關係對應於一第二經偵測物件，其中該第一關係比該第二關係更近，其中該第一經偵測物件後設資料項包括一第一層值且該第二經偵測物件後設資料項包括一第二層值，且其中該第一層值指示該第一經偵測物件比第二經偵測物件更靠近該相機。
  19. 如請求項16之非暫時性機器可讀媒體，其中一第三經偵測物件後設資料項對應於影像資料之一第一圖框中之一第三經偵測物件，且一第四經偵測物件後設資料項對應 於影像資料之一第二圖框中之一第四經偵測物件，其中該第三經偵測物件與該第四經偵測物件相同，其中該第三經偵測物件後設資料項包括一第一匹配值且該第四經偵測物件後設資料項包括一第二匹配值，其中該第一匹配值與該第二匹配值相同。
TW100120758A 2010-06-15 2011-06-14 物件偵測後設資料 TWI462035B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/815,959 US8320644B2 (en) 2010-06-15 2010-06-15 Object detection metadata

Publications (2)

Publication Number Publication Date
TW201209730A TW201209730A (en) 2012-03-01
TWI462035B true TWI462035B (zh) 2014-11-21

Family

ID=44357629

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100120758A TWI462035B (zh) 2010-06-15 2011-06-14 物件偵測後設資料

Country Status (6)

Country Link
US (4) US8320644B2 (zh)
CN (1) CN102870123B (zh)
DE (1) DE112011102043T5 (zh)
GB (2) GB2513218B (zh)
TW (1) TWI462035B (zh)
WO (1) WO2011159525A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514373B2 (en) 2019-06-27 2022-11-29 Bigobject, Inc. Bionic computing system and cloud system thereof

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US8861896B2 (en) * 2010-11-29 2014-10-14 Sap Se Method and system for image-based identification
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
JP5843618B2 (ja) * 2012-01-06 2016-01-13 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US9092675B2 (en) * 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
SE537206C2 (sv) * 2012-04-11 2015-03-03 Vidispine Ab Metod och system för sökningar i digitalt innehåll
SG11201407749TA (en) * 2012-05-24 2014-12-30 Hitachi Ltd Image analysis device, image analysis system, and image analysis method
US9232247B2 (en) 2012-09-26 2016-01-05 Sony Corporation System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user
JP6103948B2 (ja) * 2013-01-17 2017-03-29 キヤノン株式会社 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
EP2757800A1 (en) * 2013-01-21 2014-07-23 Thomson Licensing A Transmission method, a receiving method, a video apparatus and a database system
US9436692B1 (en) * 2013-06-25 2016-09-06 Emc Corporation Large scale video analytics architecture
JP6132719B2 (ja) * 2013-09-18 2017-05-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9986140B2 (en) 2013-11-21 2018-05-29 International Business Machines Corporation Utilizing metadata for automated photographic setup
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10089330B2 (en) * 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
GB2528330B (en) * 2014-07-18 2021-08-04 Unifai Holdings Ltd A method of video analysis
WO2016082008A1 (pt) * 2014-11-24 2016-06-02 Costa Ivan Ferreira Da Dispositivo variador de enroscamento em veio único
JP6262708B2 (ja) * 2014-12-31 2018-01-17 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 深い検索性を有するオブジェクト化及びハードコピーからオリジナルの電子ファイルを検出するドキュメント検出方法
US10204274B2 (en) * 2016-06-29 2019-02-12 Cellular South, Inc. Video to data
FR3055446A1 (fr) * 2016-09-01 2018-03-02 Arjo Solutions Procede et syteme de generation de la signature d'une surface
US10754514B1 (en) * 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
CN107192342A (zh) * 2017-05-11 2017-09-22 广州帕克西软件开发有限公司 一种非接触式体型数据的测量方法及系统
US20180357486A1 (en) * 2017-06-07 2018-12-13 Satori Worldwide, Llc System and method for analyzing video frames in a messaging system
US10491375B2 (en) 2017-10-05 2019-11-26 Accenture Global Solutions Limited Secure verification of conditions of a contract using a set of verification tools
US10905339B2 (en) 2018-02-08 2021-02-02 Rochester Institute Of Technology Opportunistic plethysmography using video cameras
US11949943B2 (en) * 2018-07-16 2024-04-02 Arris Enterprises Llc Gaze-responsive advertisement
KR101954717B1 (ko) * 2018-10-22 2019-03-06 주식회사 인텔리빅스 고속분석 영상처리장치 및 그 장치의 구동방법
US10990840B2 (en) * 2019-03-15 2021-04-27 Scenera, Inc. Configuring data pipelines with image understanding
CN110598548A (zh) * 2019-08-07 2019-12-20 万翼科技有限公司 常住人员识别方法、装置、计算机设备和存储介质
CN110868600B (zh) * 2019-11-11 2022-04-26 腾讯云计算（北京）有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质
CN111652158A (zh) * 2020-06-04 2020-09-11 浙江大华技术股份有限公司 目标对象的检测方法和装置、存储介质及电子装置
CN112418153B (zh) * 2020-12-04 2024-06-11 上海商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质
US11893769B2 (en) * 2021-06-04 2024-02-06 Vade Usa, Incorporated Data collection for object detectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200521879A (en) * 2003-12-29 2005-07-01 Ind Tech Res Inst Method for adjusting image acquisition parameters to optimize objection extraction
TW200835328A (en) * 2006-09-19 2008-08-16 Sony Corp Recording device and method, program, and reproducing device and method
TW200919106A (en) * 2007-07-13 2009-05-01 Nikon Corp Pattern formation method and device, exposure method and device, and device manufacturing method and device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360234B2 (en) 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
EP1217574A3 (en) * 2000-12-19 2004-05-19 Matsushita Electric Industrial Co., Ltd. A method for lighting- and view-angle-invariant face description with first- and second-order eigenfeatures
JP3903783B2 (ja) 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
GB2395853A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Association of metadata derived from facial images
GB2395779A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
JP2007041987A (ja) 2005-08-05 2007-02-15 Sony Corp 画像処理装置および方法、並びにプログラム
US8861863B2 (en) * 2005-09-20 2014-10-14 Brightex Bio-Photonics Llc Method and system for analyzing lip conditions using digital images
US8782002B2 (en) 2005-11-16 2014-07-15 Hewlett-Packard Development Company, L.P. Distributed processing with metadata placeholders
JP4706849B2 (ja) * 2006-03-23 2011-06-22 花王株式会社 ヘアスタイルシミュレーション画像の形成方法
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
CN100514365C (zh) * 2007-01-15 2009-07-15 浙江大学 多张人脸照片自动合成方法
US8116537B2 (en) 2007-04-04 2012-02-14 Sony Corporation Image recording device, player device, imaging device, player system, method of recording image, and computer program
JP4337064B2 (ja) * 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4775306B2 (ja) * 2007-04-23 2011-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
US8633962B2 (en) * 2007-06-22 2014-01-21 Lifesize Communications, Inc. Video decoder which processes multiple video streams
CN101374220B (zh) * 2007-08-23 2010-06-16 凌阳科技股份有限公司 视频画面传送方法与系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JP5153478B2 (ja) 2008-06-26 2013-02-27 キヤノン株式会社 画像処理装置及び画像処理方法
WO2010006367A1 (en) * 2008-07-16 2010-01-21 Imprezzeo Pty Ltd Facial image recognition and retrieval
JP4636135B2 (ja) 2008-08-04 2011-02-23 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US20100128181A1 (en) * 2008-11-25 2010-05-27 Advanced Micro Devices, Inc. Seam Based Scaling of Video Content
KR101033098B1 (ko) * 2009-02-09 2011-05-06 성균관대학교산학협력단 실시간 얼굴 검출 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200521879A (en) * 2003-12-29 2005-07-01 Ind Tech Res Inst Method for adjusting image acquisition parameters to optimize objection extraction
TW200835328A (en) * 2006-09-19 2008-08-16 Sony Corp Recording device and method, program, and reproducing device and method
TW200919106A (en) * 2007-07-13 2009-05-01 Nikon Corp Pattern formation method and device, exposure method and device, and device manufacturing method and device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514373B2 (en) 2019-06-27 2022-11-29 Bigobject, Inc. Bionic computing system and cloud system thereof
TWI803760B (zh) * 2019-06-27 2023-06-01 核桃運算股份有限公司 仿生計算系統及其雲端系統

Also Published As

Publication number Publication date
US8509540B2 (en) 2013-08-13
GB2513218A (en) 2014-10-22
US8320644B2 (en) 2012-11-27
GB2513218B (en) 2015-01-14
DE112011102043T5 (de) 2013-05-16
WO2011159525A1 (en) 2011-12-22
GB2481298A (en) 2011-12-21
TW201209730A (en) 2012-03-01
CN102870123A (zh) 2013-01-09
US20130077866A1 (en) 2013-03-28
GB201109873D0 (en) 2011-07-27
US20130343657A1 (en) 2013-12-26
US20110305394A1 (en) 2011-12-15
GB2481298B (en) 2014-06-11
CN102870123B (zh) 2016-08-10
US9100630B2 (en) 2015-08-04
GB201401271D0 (en) 2014-03-12
US20140240603A1 (en) 2014-08-28
US8744195B2 (en) 2014-06-03

Similar Documents

Publication Publication Date Title
TWI462035B (zh) 物件偵測後設資料
US9154761B2 (en) Content-based video segmentation
KR102173123B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20210248356A1 (en) Method and apparatus for face recognition
US8285006B2 (en) Human face recognition and user interface system for digital camera and video camera
WO2018028583A1 (zh) 字幕提取方法及装置、存储介质
EP3547218B1 (en) File processing device and method, and graphical user interface
EP3341851B1 (en) Gesture based annotations
KR101660576B1 (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
WO2021189911A1 (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
US11782572B2 (en) Prioritization for presentation of media based on sensor data collected by wearable sensor devices
CN104077024A (zh) 信息处理设备、信息处理方法及记录介质
CN104487915A (zh) 维持扩增的连续性
WO2019105457A1 (zh) 图像处理方法、计算机设备和计算机可读存储介质
WO2020259522A1 (zh) 一种内容查找方法、相关设备及计算机可读存储介质
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
TW202008781A (zh) 多媒體檔案的產生方法與播放方法、多媒體檔案產生裝置與多媒體檔案播放裝置
TW202021534A (zh) 異常肺音標記的方法及裝置
KR20200127928A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20140169687A1 (en) Image search systems and methods
JP6770227B2 (ja) 画像処理装置、画像領域検出方法および画像領域検出プログラム
TWI571753B (zh) 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品
TW201702854A (zh) 系統資訊的顯示方法、系統與電子裝置
AU2015255305B2 (en) Facilitating image capture and image review by visually impaired users
TW202117586A (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法