TW202238439A - 攝像裝置、追蹤系統、及攝像方法 - Google Patents

攝像裝置、追蹤系統、及攝像方法 Download PDF

Info

Publication number
TW202238439A
TW202238439A TW111105629A TW111105629A TW202238439A TW 202238439 A TW202238439 A TW 202238439A TW 111105629 A TW111105629 A TW 111105629A TW 111105629 A TW111105629 A TW 111105629A TW 202238439 A TW202238439 A TW 202238439A
Authority
TW
Taiwan
Prior art keywords
unit
camera
feature
feature quantity
priority
Prior art date
Application number
TW111105629A
Other languages
English (en)
Inventor
渡邉正浩
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202238439A publication Critical patent/TW202238439A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

[課題] 提供一種可減輕資料頻寬並且可提高物件之偵測精度的攝像裝置。 [解決手段] 攝像裝置(12)係具備:攝像部(22),係拍攝物件;和特徵量抽出部(24),係將攝像部(22)所拍攝到的物件之特徵量予以複數抽出;和優先度決定部(27),係將特徵量抽出部(24)所抽出的複數個特徵量之優先度,加以決定;和控制部(28),係隨應於優先度之高低及輸出目標之容許量,而決定特徵量;和輸出部(32),係將控制部(28)所決定的特徵量,予以輸出。攝像裝置(12)係還具備:移動方向演算部(25),係演算物件之移動方向;輸出部(32)係可將特徵量與移動方向加以綁定而輸出。

Description

攝像裝置、追蹤系統、及攝像方法
本技術係有關於攝像裝置、追蹤系統、及攝像方法,更詳言之係有關於,識別攝像對象,並追蹤該攝像對象之移動的攝像裝置、追蹤系統、及攝像方法。
先前以來,從監視相機所拍攝到的影像求出人物的移動軌跡並記錄,對被求出移動軌跡的人物進行臉部認證,而可與被進行臉部認證之其他人物做識別的監視系統,已為人知。
例如,在專利文獻1中係提出一種監視資訊收集系統,係具備:監視用的攝像手段;和人測知手段,係用以從前記攝像手段所拍攝的影像,測知出人;和軌跡解析手段,係用以將已被前記人測知手段所測知的人,在前記影像上進行解析以求出移動軌跡;和臉部辨識手段,係用以從被前記人測知手段所測知且被前記軌跡解析手段求出前記移動軌跡之人的前記影像上之臉部,求出可與其他臉部做識別的臉部資料以辨識臉部;和記錄手段,係用以將不同人之前記臉部資料與可彼此識別的識別符號建立關連而將前記臉部資料與前記臉部資料所對應之前記移動軌跡加以記錄;和臉部判定手段,係用以對前記記錄手段中所被記錄之前記臉部資料,將已被前記臉部認證手段所求出之前記臉部資料進行比較,判定這些臉部資料是否滿足所定之條件;和臉部資料收集手段,係用以在滿足前記條件的情況下,將前記臉部認證手段所求出之前記臉部資料所對應之前記移動軌跡,與和該當臉部資料一致之前記記錄手段中所被記錄之前記臉部資料所被建立關連的前記識別符號建立關連而記錄至前記記錄手段,在不滿足前記條件的情況下,對前記臉部認證手段所求出之前記臉部資料及該當臉部資料所對應之前記移動軌跡,將未與前記臉部資料建立關連的前記識別資訊予以建立關連而記錄至前記記錄手段。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2018-93283號公報
[發明所欲解決之課題]
然而,在專利文獻1的技術中,記錄在攝像手段中的資料量會變大,而可能導致攝像手段相互間的通訊速度會變慢,甚至有無法收授資料的可能性。又,在專利文獻1的技術中,並未想定隨著資料收訊側的攝像手段之環境狀況等,來決定收授資料的攝像手段,因此隨著環境等之狀況,會有無法高精度地偵測物件的情況。
於是,在本技術中,主要目的係為,提供一種可減輕資料頻寬並且可提高物件之偵測精度的攝像裝置。 [用以解決課題之手段]
本技術所述之攝像裝置,係具備:攝像部,係拍攝物件;和特徵量抽出部,係將攝像部所拍攝到的物件之特徵量予以複數抽出;和優先度決定部,係將特徵量抽出部所抽出的複數個特徵量之優先度,加以決定;和控制部,係隨應於優先度之高低及輸出目標之容許量,而決定特徵量;和輸出部,係將控制部所決定的特徵量,予以輸出。前記攝像部係可同時拍攝同一領域之前記物件。
本技術所述之攝像裝置,係還具備:移動方向演算部,係演算前記物件之移動方向;前記輸出部係亦可將前記特徵量與前記移動方向加以綁定而輸出。 前記優先度決定部係具有:將各個前記特徵量之隱私等級加以設定的隱私等級設定部,亦可隨應於前記隱私等級而決定前記優先度。 本技術所述之攝像裝置,係還具備:攝像位置取得部,係取得前記攝像部的攝像位置及攝像方向;前記輸出部係亦可將前記攝像位置及前記攝像方向予以輸出。本技術所述之攝像裝置,係還具備:環境資訊取得部,係將前記攝像裝置所被設置之周圍的環境資訊,加以取得;前記控制部係亦可基於前記環境資訊,而決定前記特徵量之輸出目標。本技術所述之攝像裝置,係還具備:狀態變化資訊取得部,係取得前記特徵量之輸出目標的狀態變化資訊;前記控制部係亦可隨應於前記狀態變化資訊,而決定前記輸出目標。本技術所述之攝像裝置,係還具備:感情資訊取得部,將關於前記物件之感情的感情資訊,加以取得;前記輸出部係亦可將前記特徵量與前記感情資訊加以綁定而輸出。前記攝像部,係複數拍攝前記物件;還具備:對象選擇部,係從前記攝像部所拍攝到的複數個前記物件,選擇出注目的前記物件;前記特徵量抽出部係亦可將前記對象選擇部所選擇之前記物件之特徵量予以複數抽出。
又,本技術所述之另一攝像裝置,係具備:輸入部,係隨應於優先度之高低及可輸入之容許量,而將物件之複數個特徵量予以輸入;和追蹤部,係基於輸入部所輸入之特徵量,而追蹤物件。
又,本技術所述之追蹤系統,係具備複數攝像裝置,其係具有:攝像部,係拍攝物件;和特徵量抽出部,係將前記攝像部所拍攝到的前記物件之特徵量予以複數抽出;和優先度決定部,係將前記特徵量抽出部所抽出的複數個前記特徵量之優先度,加以決定;和送訊部,係隨應於前記優先度之高低及送訊目標之容許量,而發送前記特徵量;和收訊部,係隨應於前記優先度之高低及可收訊之容許量,而接收前記特徵量;和追蹤部,係基於前記收訊部所接收之前記特徵量,而追蹤前記物件;複數個前記攝像裝置,係彼此協同而收送前記特徵量。
又,本技術所述之攝像方法,係含有:拍攝物件之步驟;和將已拍攝之前記物件之特徵量予以複數抽出之步驟;和將已抽出之複數個前記特徵量之優先度加以決定之步驟;和隨應於前記優先度之高低及輸出目標之容許量而決定前記特徵量之步驟;和將已決定之前記特徵量予以輸出之步驟。又,本技術所述之另一攝像方法,係含有:隨應於優先度之高低及可輸入之容許量而將物件之複數個特徵量予以輸入之步驟;和基於已輸入之前記特徵量而追蹤前記物件之步驟。 [發明效果]
若依據本技術,則可提供一種可減輕資料頻寬並且可提高物件之偵測精度的攝像裝置。此外,上記效果並不一定是限定性的,亦可連同上記效果、或取代上記效果,而達成本說明書所揭露之任一效果或根據本說明書而可掌握的其他效果。
以下針對用以實施本技術的理想形態,參照圖式而加以說明。以下說明的實施形態,係表示本技術之代表性實施形態之一例,任一實施形態都可加以組合。又,不應根據這些而狹隘檢視本技術之範圍。此外,說明係用以下順序來進行。 1.第1實施形態 (1)追蹤系統10之構成例 (2)相機12之構成例 (3)相機12之動作例 (4)追蹤系統10所致之追蹤方法 2.第2實施形態 3.第3實施形態 4.第4實施形態
1.第1實施形態 (1)追蹤系統10之構成例 首先,參照圖1,說明本技術的第1實施形態所述之追蹤系統10之構成例。圖1係為追蹤系統10之構成例的模式圖。追蹤系統10,係可適用於可疑人物之跟隨、交通量調査、遊行偵測等之應用。
如圖1所示,追蹤系統10,作為一例,係具備:伺服器11、和分別與伺服器11通訊連接的複數個攝像裝置也就是相機12。伺服器11,係可使用雲端伺服器。
各相機12,作為一例,係分別具備RGB相機及Depth相機,可拍攝1或複數個物件。又,在本實施形態中,雖然將相機12圖示成使用3台(Cam1、Cam2、Cam3)的例子,但複數個相機12的台數係不限於此,亦可為2台,亦可為4台以上。
追蹤系統10,係使用複數個相機12(Cam1、Cam2、Cam3)之各者來拍攝追蹤對象之物件,演算各物件之特徵量與3維之移動方向向量,從進行了攝像的相機12往伺服器11發送演算結果資訊。特徵量及移動方向向量之演算係可使用例如人工智慧(AI)來進行。
接收到演算結果資訊的伺服器11,係將該演算結果資訊所致之特徵量與已登錄之特徵量進行核對而特定出追蹤對象,隨應於追蹤對象之移動方向而向各相機12發送追蹤對象之資訊。各相機12,係彼此協同而收送特徵量以追蹤(tracking)追蹤對象。關於該追蹤方法之細節,將於後述。
(2)相機12之構成例 接著,參照圖2,說明相機12之構成例。圖2係為相機12之構成例的區塊圖。
相機12,作為一例,可以使用RGB相機、Depth相機(iTOF/dToF/Structured Light/Stereo/Active Stereo)、偏向相機、DVS相機、多光譜・IR相機、高速攝影機、紅外線相機等。
如圖2所示,作為一例,相機12係具備:輸入部21,係將從外部接收到的資訊輸入至必要構成;和攝像部22,係拍攝物件;和攝像位置取得部23,係取得攝像部22的攝像位置及攝像方向;和特徵量抽出部24,係將攝像部22所拍攝到的物件之特徵量予以複數抽出;和移動方向演算部25,係演算物件之移動方向。
又,相機12係具備:優先度決定部27,係將特徵量抽出部24所抽出的複數個特徵量之優先度,加以決定;和控制部28,係隨應於優先度之高低及輸出目標之容許量,而決定特徵量;和環境資訊取得部29,係將相機12所被設置之周圍的環境資訊,加以取得;和狀態變化資訊取得部30,係取得特徵量之輸出目標相機12的狀態變化資訊;和輸出部32,係將控制部28所決定的特徵量,予以輸出。
又,相機12係具備:追蹤部33,係基於輸入部21所輸入之特徵量,而追蹤物件;和通訊部34,係與外部進行資訊之收送訊。相機12係可還具備:感情資訊取得部31,將關於前記物件之感情的感情資訊,加以取得。
輸入部21,係可隨應於優先度之高低及可輸入之容許量,而將物件之複數個特徵量予以輸入。
攝像部22係可具備:對象選擇部41,係從攝像部22所拍攝到的複數個物件,選擇出注目的物件。又,攝像部22係可同時拍攝同一領域之物件。此時,特徵量抽出部24,係可將對象選擇部41所選擇之物件之特徵量予以複數抽出。此外,對象選擇部41,係亦可作為相機12內之攝像部22以外的構成而被具備。
優先度決定部27係具有:隱私等級設定部26,係將各者的特徵量之隱私保護之等級,加以設定。優先度決定部27,係可隨應於隱私等級設定部26所設定的隱私等級,來決定優先度。
隱私等級設定部26係具有,切換是否「處理」或「不處理」有隱私疑慮之資訊的機能。此外,特徵量係被附加有,表示隱私等級的資訊。隱私等級設定部26係亦具有,在輸出特徵量之際,依照隱私等級而控制輸出可否或其順序的機能。
控制部28,係可基於環境資訊取得部29所取得的環境資訊,而決定特徵量之輸出目標,或可隨應於狀態變化資訊取得部30所取得的狀態變化資訊,而決定輸出目標等等。
作為環境資訊取得部29所取得的環境資訊係可舉出:緯度、經度、時間、方向、天候、溫度、濕度、氣流、SO 2、CO、NOx、SPM、CO 2、噪音等。
所謂狀態變化資訊取得部30所取得的狀態變化資訊,係包含有:藉由特徵量偵測演算法替換機能,而在對象之相機12所能取得的特徵量發生了變化時的資訊、或因為該相機12之環境變化(故障、明暗、不良天候、電池容量降低等)而導致特徵量無法取得時的資訊等。
輸出部32,係可將攝像位置取得部23所取得的攝像位置及攝像方向,予以輸出。又,輸出部32,係可將特徵量與移動方向演算部25所演算之移動方向加以綁定而輸出,或將感情資訊取得部31所取得之特徵量與感情資訊加以綁定而輸出等等。
通訊部34係具有:送訊部42,係隨應於優先度之高低及送訊目標之容許量,而發送特徵量;和收訊部43,係隨應於前記優先度之高低及可收訊之容許量,而接收特徵量。
此處說明,物件之特徵量的具體例。作為RGB相機所抽出的特徵量係可舉出人的靜態特徵之臉部、手、足、指紋、體格、髮色、眼色的關鍵部位位置或移動量等。又,還可舉出人的動態特徵之步態、聲音、動作、扎眼、移動方向向量等。再者,作為附加資訊係可舉出:衣服或物體的形狀或顏色或圖案或移動量、持有物、飾品、購物籃、台車等。
又,作為Depth相機所抽出的特徵量係可舉出:人或物體的移動量、形狀、及反射率(主動方式)等。此外,雖然RGB相機也能夠取得2維之移動量,但能夠取得縱深資訊的Depth相機,係可取得3維之移動量。
除了上記以外,使用偏向相機,則可抽出和RGB相機相同的特徵量,尤其可使用在隔著玻璃或水中等的被攝體。使用DVS相機,則可抽出物體的移動物體之外形、高亮度或低亮度物體之位置變化等之特徵量。使用多光譜・IR相機,則可抽出植物的植生指數(NDVI)等之特徵量。使用高速攝影機,則可抽出物體之移動量或向量、高速移動物體上的紋路或文字等之特徵量。又,使用紅外線相機,則可抽出人或物體的溫度等之特徵量。
(3)相機12之動作例 接著,參照圖3,說明相機12之動作例。圖3係為相機12之動作例的流程圖。相機12的攝像部22,係一旦拍攝含有物件的影像,就開始以下的動作。
如圖3所示,於步驟S1中,特徵量抽出部24,係從攝像部22所拍攝到的RGB影像,抽出物件。
於步驟S2中,特徵量抽出部24,係從已抽出之各物件,將該物件之特徵量予以複數抽出。
於步驟S3中,移動方向演算部25,係從Depth資訊,演算出各對應之物件的移動方向向量。
於步驟S4中,控制部28,係從已抽出之特徵量,隨應於優先度之高低及輸出目標之容許量而決定特徵量,將已決定之特徵量及演算出來的移動方向向量之資訊,按照每一物件而予以打包。
於步驟S5中,輸出部32係將物件之數量個的已被打包之資料,往外部輸出。亦即,輸出部32,係可將控制部28所決定的特徵量,輸出至外部。
(4)追蹤系統10所致之追蹤方法 接著,參照圖4至圖7,說明本實施形態所述之追蹤系統10所致之追蹤方法。圖4係為追蹤系統10所致之追蹤方法的說明用影像。圖4A係表示以相機12的Cam1所拍攝到的影像,圖4B係表示以相機12的Cam2所拍攝到的影像,圖4C係表示以相機12的Cam3所拍攝到的影像。
在本實施形態中係說明,如圖4B所示,人1及人2是往Cam1方向(圖的左方向)移動,人3是往Cam3方向(圖的右方向)移動的影像,是以Cam2進行拍攝,基於該已拍攝之影像,以Cam1來追蹤人1及人2,以Cam3來追蹤人3的情況。
參照圖5及圖6,說明追蹤系統10所致之清單管理。圖5係為追蹤系統10所致之清單管理的概念圖。圖5A係表示主機也就是伺服器11所管理的特徵量之清單,圖5B係表示Cam1所管理的特徵量之清單,圖5C係表示Cam2所管理的特徵量之清單,圖5D係表示Cam3所管理的特徵量之清單。
如圖5A所示,伺服器11係管理著例如:追蹤對象之物件之全部特徵量也就是特徵量1至特徵量8為止的清單。如圖5B所示,Cam1係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量1、3、6、2、4、5之順序而管理著清單。如圖5C所示,Cam2係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量2、1、4、5、3、6之順序而管理著清單。如圖5D所示,Cam3係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量5、2、1、3、4、6之順序而管理著清單。
圖6係為追蹤系統10所致之清單發布之例子的程序圖。如圖6所示,由主機也就是伺服器11來管理特徵量的情況下,例如,伺服器11係向Cam2發布Cam1及Cam3之清單,並向Cam1及Cam3分別發布Cam2之清單。
此處,1個相機12,係可處理特徵量抽出部24所抽出的複數個特徵量。這些複數個特徵量,係如同上述,是按照每一相機12而以清單(附帶優先度的特徵量表)而被管理。各相機12係可分別獨自藉由優先度決定部27而決定清單內的複數個特徵量之優先順位。
送訊側(送訊來源)相機12,係在輸出特徵量之際,可將送訊側與收訊側(送訊目標)的清單進行比較,依照收訊側相機12的優先度,而將送訊資料予以排序然後輸出。
因通訊頻寬等之限制或其他系統上的要求而導致收送訊容量被限制的情況下,各相機12係可從優先度較低者依序予以丟棄,以使其能符合限制內的方式,按照每一物件來調整所要輸出的特徵量之總容量。
又,各相機12所管理的清單,係在伺服器11與相機12間或相機12彼此間(P2P間),在一定間隔通訊或發生了某些變化時,藉由發生的事件通訊而進行交換,具有可動態地追隨於相機12之狀態變化的機制。
接著,參照圖4及圖7,說明追蹤系統10所致之透過伺服器11的追蹤方法。圖7係為追蹤系統10所致之透過伺服器11的追蹤方法的說明用概念圖。
如圖4及圖7所示,追蹤系統10係例如,以相機12的Cam2來拍攝包含有追蹤對象之物件也就是人1、人2、及人3的影像。接著,Cam2,係從已拍攝之影像抽出人1、人2、及人3之各自的特徵量,並演算3維之移動方向向量,將特徵量及移動方向向量資訊,按照每一人而進行打包。然後,Cam2係向伺服器11發送每一人的打包資訊。接收到打包資訊的伺服器11,係將每一人的打包資訊內的特徵量與伺服器11內已登錄的特徵量進行核對,特定出追蹤對象。
如圖7所示,若核對的結果為,人1的特徵量是未登錄在伺服器11內的新的特徵量的情況下,則伺服器11,係將該新的特徵量登錄至伺服器11內,根據打包資訊內的移動方向向量資訊,判定人1的移動目標係為Cam1方向。若人2及人3的特徵量是已經登錄在伺服器11內的特徵量的情況下,則伺服器11係判定為這些特徵量是已經登錄在伺服器11內,根據打包資訊內的移動方向向量資訊,判定人2的移動目標係為Cam1方向且人3的移動目標係為Cam3方向。
然後,伺服器11,係隨應於追蹤對象之移動方向,而向Cam1發送人1及人2之資訊,向Cam3發送人3之資訊,Cam1就會追蹤(tracking)人1及人2,Cam3就會追蹤人3。
與Cam2之動作同樣地,以Cam1來拍攝含有人1及人2的影像,以Cam3來拍攝含有人3的影像。接著,Cam1,係從已拍攝之影像抽出人1及人2之各自的特徵量,並演算3維之移動方向向量,將特徵量及移動方向向量資訊,按照每一人而進行打包。Cam3,係從已拍攝之影像抽出人3的特徵量,並演算3維之移動方向向量,將特徵量及移動方向向量資訊進行打包。
然後,Cam1係向伺服器11發送每一人的打包資訊,Cam3係向伺服器11發送人3的打包資訊。接收到打包資訊的伺服器11,係將每一人的打包資訊內的特徵量與伺服器11內已登錄的特徵量進行核對,特定出追蹤對象。
如圖7所示,由於核對的結果為,人1及人2的特徵量是已經登錄在伺服器11內,因此伺服器11係判定為,人1及人2的特徵量是已經登錄在伺服器11內,根據打包資訊內的移動方向向量資訊,判定人1的移動目標係為CamX方向且人2的移動目標係為CamY方向。
同樣地,由於核對的結果為,人3的特徵量是已經登錄在伺服器11內,因此伺服器11係判定為,人3的特徵量是已經登錄在伺服器11內,根據打包資訊內的移動方向向量資訊,判定人3的移動目標係為CamZ方向。
然後,伺服器11,係隨應於追蹤對象之移動方向,而向CamX、CamY及CamZ,分別發送人1、人2及人3之資訊,CamX就會追蹤人1,CamY就會追蹤人2,CamZ就會追蹤人3。追蹤系統10,係重複這些動作,藉由複數個相機12的協同運作,就可追蹤追蹤對象。
藉由以上,具備本實施形態所述之複數個相機12的追蹤系統10,係藉由使用特徵量,即可削減收送訊之資料量而降低負荷。又,追蹤系統10,係可切換成能夠辨識人或物體並取得適切之複數個特徵量的相機12而取得資料。又,追蹤系統10,係可根據優先度清單而動態地變更相機12間的通訊量。因此,若依據追蹤系統10,則可減輕資料頻寬並且可提高物件之偵測精度。
甚至,追蹤系統10,係僅使用特徵量而不會直接輸出個人的臉部或身體之資訊,因此可保護個人的隱私。又,追蹤系統10係按照每一物件(人)而具有移動方向向量資訊,因此在追蹤複數個相機12中所拍到的複數個人之際,可使得按照各個物件而判斷應切換至哪個相機12的判斷處理變得輕量化。藉此,追蹤系統10係亦可增加能夠追蹤的人數。此外,由於是根據特徵量而用複數個相機12來核對人物,因此也不需要使相機12的攝像區域做重疊。
2.第2實施形態 接著,參照圖8至圖10,說明本技術的第2實施形態所述之追蹤系統所致之追蹤方法。圖8係為本實施形態所述之追蹤系統所致之清單發布之例子的程序圖。本實施形態所述之追蹤方法,係在相機12相互間會收授特徵量等之資訊的這點上,是與第1實施形態所述之追蹤方法不同。本實施形態的其他點,係和第1實施形態相同。
如圖8所示,由各個相機12來管理特徵量的情況下,例如,Cam2係向Cam1及Cam3分別發布Cam1及Cam3之清單,Cam1及Cam3係分別向Cam2發布Cam2之清單。
接著,參照圖9及圖10,說明追蹤系統10所致之僅複數個相機12相互的協同運作所致之自動跟隨之追蹤方法。圖9係為本實施形態所述之追蹤系統所致之追蹤方法的說明用概念圖。圖10係為本實施形態所述之追蹤系統所致之追蹤方法之例子的流程圖。
如圖9及圖10所示,於步驟S11中,相機12的Cam2,係拍攝含有追蹤對象之物件也就是人1、人2、及人3的影像,並偵測人1、人2、及人3。此時,Cam2,係從已拍攝之影像抽出人1、人2、及人3之各自的特徵量,並演算3維之移動方向向量,將特徵量及移動方向向量資訊,按照每一人而進行打包。然後,Cam2係向伺服器11發送每一人的打包資訊。
於步驟S12中,伺服器11或Cam2係例如,將注目的人1選擇作為追蹤對象。此時,接收到打包資訊的伺服器11,係將每一人的打包資訊內的特徵量與伺服器11內已登錄的特徵量進行核對,特定出追蹤對象。
如圖9所示,若核對的結果為,人1的特徵量是未登錄在伺服器11內的新的特徵量的情況下,則伺服器11,係將該新的特徵量登錄至伺服器11內,根據打包資訊內的移動方向向量資訊,判定人1的移動目標係為Cam1方向。若人2及人3的特徵量是已經登錄在伺服器11內的特徵量的情況下,則伺服器11係判定為這些特徵量是已經登錄在伺服器11內,根據打包資訊內的移動方向向量資訊,判定人2的移動目標係為Cam1方向且人3的移動目標係為Cam3方向。然後,伺服器11係向Cam2,發送已選擇的人1之資訊。
於步驟S13中,Cam2係基於從伺服器11所接收到的人1之資訊,而將人1予以標記並追蹤。
於步驟S14中,Cam2係根據打包資訊內的移動方向向量資訊,而判定人1之移動目標係為Cam1方向。然後,Cam2係將把攝像相機切換成Cam1的指示及人1之資訊,傳達給Cam1。
於步驟S15中,Cam1係和Cam2的動作同樣地,繼續人1之追蹤。此時,Cam1係拍攝含有人1的影像。接著,Cam1係從已拍攝之影像抽出人1之特徵量,並演算3維之移動方向向量。Cam1,係從已抽出之特徵量,隨應於優先度之高低及輸出目標之容許量而決定複數個特徵量,將已決定之人1之特徵量及演算出來的移動方向向量資訊予以打包。Cam1係根據打包資訊內的移動方向向量資訊,來判定人1的移動目標之相機12。然後,基於打包資訊內的特徵量,而追蹤物件也就是人1。其後,Cam1係向所判定之相機12,傳達切換攝像相機的指示及人1之資訊。
藉由以上,若依據本實施形態所述之追蹤方法,則和第1實施形態所述之追蹤方法同樣地,可減輕資料頻寬並且可提高物件之偵測精度。再者,若依據本實施形態所述之追蹤方法,則複數個相機12可不必透過伺服器11就能彼此協同而收送特徵量,因此可更高速度地自動跟隨追蹤對象。
3.第3實施形態 接著,參照圖11及圖12,說明本技術的第3實施形態所述之追蹤系統10所致之追蹤方法。圖11係為本實施形態所述之追蹤系統10所致之清單管理的概念圖。圖11A係表示主機也就是伺服器11所管理的特徵量之清單,圖11B係表示Cam1所管理的特徵量之清單,圖11C係表示Cam2所管理的特徵量之清單,圖11D係表示Cam3所管理的特徵量之清單。本實施形態所述之追蹤方法,係在隨應於隱私等級而決定特徵量之優先度的這點上,是與第1實施形態所述之追蹤方法不同。本實施形態的其他點,係和第1實施形態相同。
如圖11A所示,伺服器11係管理著例如:令追蹤對象之物件之全部特徵量也就是特徵量1至特徵量8與隱私等級做對應的清單。在本實施形態中,特徵量1至3、6至8,係為隱私等級0,特徵量4係為隱私等級1,特徵量5係為隱私等級2。
如圖11B所示,Cam1係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量1、3、6、2、4、5之順序而管理著清單。如圖11C所示,Cam2係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量2、1、4、5、3、6之順序而管理著清單。如圖11D所示,Cam3係例如,將追蹤對象之物件之特徵量,按照優先度順序,以特徵量5、2、1、3、4、6之順序而管理著清單。然後,Cam1、Cam2及Cam3之各自的特徵量4係為隱私等級1,特徵量5係為隱私等級2。Cam1、Cam2及Cam3的特徵量4及5以外之特徵量,係為隱私等級0。
圖12係為本實施形態所述之追蹤系統所致之追蹤方法之例子的程序圖。
如圖12所示,例如,從相機12的Cam1往Cam2發送人1之資訊的情況下,並非將Cam1所取得的人1之資訊,直接以Cam1的清單之優先度順序來發送,而是先改成隨應於收訊側Cam2的清單之優先度及隱私等級而做了排序的清單,然後才予以發送。如果資料的收送訊容量是有所限制的情況下,則從優先度低者或隱私等級高者,依序將所要輸出的資料予以刪減然後發送。
Cam2係將已接收之來自Cam1的人1之資訊與Cam2所取得的人1之資訊進行核對,判定是否一致。若為一致的情況,則認定該人物是人1,以Cam2進行人1之追蹤。若為不一致的情況,則認定該人物是有別於人1的另一人,而與Cam2所取得的其他有可能性的人物進行核對。
其後,人1從Cam2之攝像範圍往Cam3方向做移動的情況下,Cam2係先改成隨應於收訊側Cam3的清單之優先度及隱私等級做了排序的清單,然後發送人1之資訊。
Cam3,係和Cam2同樣地,將已接收之來自Cam2的人1之資訊與Cam3所取得的人1之資訊進行核對,判定是否一致。若為一致的情況,則認定該人物是人1,以Cam3繼續人1之追蹤。若為不一致的情況,則認定該人物是有別於人1的另一人,而與Cam3所取得的其他有可能性的人物進行核對。
藉由以上,若依據本實施形態所述之追蹤方法,則和第1實施形態所述之追蹤方法同樣地,可減輕資料頻寬並且可提高物件之偵測精度,可使判斷處理輕量化。再者,若依據本實施形態所述之追蹤方法,則由於是隨應於隱私等級而決定要發送的特徵量,因此可更加保護隱私。
4.第4實施形態 接著,參照圖13,說明本技術的第4實施形態所述之追蹤系統10所致之追蹤方法。圖13係為本實施形態所述之追蹤系統10所致之追蹤方法的說明用概念圖。本實施形態所述之追蹤方法,係在考慮複數人之感情資訊而追蹤人等之物件的這點上,是與第1實施形態所述之追蹤方法不同。本實施形態的其他點,係和第1實施形態相同。
如圖13所示,本實施形態所述之追蹤系統10係例如,以相機12的Cam1拍攝含有人1、人2、及人3的影像,從已拍攝之影像抽出人1、人2、及人3之各自的特徵量,演算3維之移動方向向量,取得感情資訊。又,以Cam2拍攝含有人4、人5、及人6的影像,從已拍攝之影像抽出人4、人5、及人6之各自的特徵量,演算3維之移動方向向量,取得感情資訊。再者,以Cam3拍攝含有人7、人8、及人9的影像,從已拍攝之影像抽出人7、人8、及人9之各自的特徵量,演算3維之移動方向向量,取得感情資訊。
藉由以上,若依據本實施形態所述之追蹤方法,則和第1實施形態所述之追蹤方法同樣地,可減輕資料頻寬並且可提高物件之偵測精度。再者,若依據本實施形態所述之追蹤方法,則由於可根據以Cam1、Cam2及Cam3所取得的人1至人9之複數人的感情資訊來掌握現場的全體之感情的變化,因此可隨應於現場的全體之感情的變化,而追蹤追蹤對象。
此外,在本技術中係亦可採取以下之構成。 (1) 一種攝像裝置,係具備: 攝像部,係拍攝物件;和 特徵量抽出部,係將前記攝像部所拍攝到的前記物件之特徵量予以複數抽出;和 優先度決定部,係將前記特徵量抽出部所抽出的複數個前記特徵量之優先度,加以決定;和 控制部,係隨應於前記優先度之高低及輸出目標之容許量,而決定前記特徵量;和 輸出部,係將前記控制部所決定的前記特徵量,予以輸出。 (2) 如(1)所記載之攝像裝置,其中,前記攝像部係同時拍攝同一領域之前記物件。 (3) 如(1)或(2)所記載之攝像裝置,其中, 還具備:移動方向演算部,係演算前記物件之移動方向; 前記輸出部係將前記特徵量與前記移動方向加以綁定而輸出。 (4) 如(1)至(3)之任一項所記載之攝像裝置,其中, 前記優先度決定部係具有:將各個前記特徵量之隱私等級加以設定的隱私等級設定部,隨應於前記隱私等級而決定前記優先度。 (5) 如(1)至(4)之任一項所記載之攝像裝置,其中, 還具備:攝像位置取得部,係取得前記攝像部的攝像位置及攝像方向; 前記輸出部係將前記攝像位置及前記攝像方向予以輸出。 (6) 如(1)至(5)之任一項所記載之攝像裝置,其中, 還具備:環境資訊取得部,係將前記攝像裝置所被設置之周圍的環境資訊,加以取得; 前記控制部,係基於前記環境資訊,而決定前記特徵量之輸出目標。 (7) 如(1)至(6)之任一項所記載之攝像裝置,其中, 還具備:狀態變化資訊取得部,係取得前記特徵量之輸出目標的狀態變化資訊; 前記控制部,係隨應於前記狀態變化資訊,而決定前記輸出目標。 (8) 如(1)至(7)之任一項所記載之攝像裝置,其中, 還具備:感情資訊取得部,將關於前記物件之感情的感情資訊,加以取得; 前記輸出部係將前記特徵量與前記感情資訊加以綁定而輸出。 (9) 如(1)至(8)之任一項所記載之攝像裝置,其中, 前記攝像部,係複數拍攝前記物件; 還具備:對象選擇部,係從前記攝像部所拍攝到的複數個前記物件,選擇出注目的前記物件; 前記特徵量抽出部,係將前記對象選擇部所選擇之前記物件之特徵量予以複數抽出。 (10) 一種攝像裝置,係具備: 輸入部,係隨應於優先度之高低及可輸入之容許量,而將物件之複數個特徵量予以輸入;和 追蹤部,係基於前記輸入部所輸入之前記特徵量,而追蹤前記物件。 (11) 一種追蹤系統,係具備複數攝像裝置,其係具有: 攝像部,係拍攝物件;和 特徵量抽出部,係將前記攝像部所拍攝到的前記物件之特徵量予以複數抽出;和 優先度決定部,係將前記特徵量抽出部所抽出的複數個前記特徵量之優先度,加以決定;和 送訊部,係隨應於前記優先度之高低及送訊目標之容許量,而發送前記特徵量;和 收訊部,係隨應於前記優先度之高低及可收訊之容許量,而接收前記特徵量;和 追蹤部,係基於前記收訊部所接收之前記特徵量,而追蹤前記物件; 複數個前記攝像裝置,係彼此協同而收送前記特徵量。 (12) 一種攝像方法,係含有: 拍攝物件之步驟;和 將已拍攝之前記物件之特徵量予以複數抽出之步驟;和 將已抽出之複數個前記特徵量之優先度加以決定之步驟;和 隨應於前記優先度之高低及輸出目標之容許量而決定前記特徵量之步驟;和 將已決定之前記特徵量予以輸出之步驟。 (13) 一種攝像方法,係含有: 隨應於優先度之高低及可輸入之容許量而將物件之複數個特徵量予以輸入之步驟;和 基於已輸入之前記特徵量而追蹤前記物件之步驟。
10:追蹤系統 11:伺服器 12:相機(攝像裝置) 21:輸入部 22:攝像部 23:攝像位置取得部 24:特徵量抽出部 25:移動方向演算部 26:隱私等級設定部 27:優先度決定部 28:控制部 29:環境資訊取得部 30:狀態變化資訊取得部 31:感情資訊取得部 32:輸出部 33:追蹤部 34:通訊部 41:對象選擇部 42:送訊部 43:收訊部
[圖1]本技術的第1實施形態所述之追蹤系統之構成例的模式圖。 [圖2]本技術的第1實施形態所述之攝像裝置之構成例的區塊圖。 [圖3]本技術的第1實施形態所述之攝像裝置之動作例的流程圖。 [圖4]本技術的第1實施形態所述之追蹤系統所致之追蹤方法的說明用影像。 [圖5]本技術的第1實施形態所述之追蹤系統所致之清單管理的概念圖。 [圖6]本技術的第1實施形態所述之追蹤系統所致之清單發布之例子的程序圖。 [圖7]本技術的第1實施形態所述之追蹤系統所致之追蹤方法的說明用概念圖。 [圖8]本技術的第2實施形態所述之追蹤系統所致之清單發布之例子的程序圖。 [圖9]本技術的第2實施形態所述之追蹤系統所致之追蹤方法的說明用概念圖。 [圖10]本技術的第2實施形態所述之追蹤系統所致之追蹤方法之例子的流程圖。 [圖11]本技術的第3實施形態所述之追蹤系統所致之清單管理的概念圖。 [圖12]本技術的第3實施形態所述之追蹤系統所致之追蹤方法之例子的程序圖。 [圖13]本技術的第4實施形態所述之追蹤系統所致之追蹤方法的說明用概念圖。
12:相機(攝像裝置)
21:輸入部
22:攝像部
23:攝像位置取得部
24:特徵量抽出部
25:移動方向演算部
26:隱私等級設定部
27:優先度決定部
28:控制部
29:環境資訊取得部
30:狀態變化資訊取得部
31:感情資訊取得部
32:輸出部
33:追蹤部
34:通訊部
41:對象選擇部
42:送訊部
43:收訊部

Claims (13)

  1. 一種攝像裝置,係具備: 攝像部,係拍攝物件;和 特徵量抽出部,係將前記攝像部所拍攝到的前記物件之特徵量予以複數抽出;和 優先度決定部,係將前記特徵量抽出部所抽出的複數個前記特徵量之優先度,加以決定;和 控制部,係隨應於前記優先度之高低及輸出目標之容許量,而決定前記特徵量;和 輸出部,係將前記控制部所決定的前記特徵量,予以輸出。
  2. 如請求項1所記載之攝像裝置,其中,前記攝像部係同時拍攝同一領域之前記物件。
  3. 如請求項1所記載之攝像裝置,其中, 還具備:移動方向演算部,係演算前記物件之移動方向; 前記輸出部係將前記特徵量與前記移動方向加以綁定而輸出。
  4. 如請求項1所記載之攝像裝置,其中,前記優先度決定部係具有:將各個前記特徵量之隱私等級加以設定的隱私等級設定部,隨應於前記隱私等級而決定前記優先度。
  5. 如請求項1所記載之攝像裝置,其中, 還具備:攝像位置取得部,係取得前記攝像部的攝像位置及攝像方向; 前記輸出部係將前記攝像位置及前記攝像方向予以輸出。
  6. 如請求項1所記載之攝像裝置,其中, 還具備:環境資訊取得部,係將前記攝像裝置所被設置之周圍的環境資訊,加以取得; 前記控制部,係基於前記環境資訊,而決定前記特徵量之輸出目標。
  7. 如請求項1所記載之攝像裝置,其中, 還具備:狀態變化資訊取得部,係取得前記特徵量之輸出目標的狀態變化資訊; 前記控制部,係隨應於前記狀態變化資訊,而決定前記輸出目標。
  8. 如請求項1所記載之攝像裝置,其中, 還具備:感情資訊取得部,將關於前記物件之感情的感情資訊,加以取得; 前記輸出部係將前記特徵量與前記感情資訊加以綁定而輸出。
  9. 如請求項1所記載之攝像裝置,其中, 前記攝像部,係複數拍攝前記物件; 還具備:對象選擇部,係從前記攝像部所拍攝到的複數個前記物件,選擇出注目的前記物件; 前記特徵量抽出部,係將前記對象選擇部所選擇之前記物件之特徵量予以複數抽出。
  10. 一種攝像裝置,係具備: 輸入部,係隨應於優先度之高低及可輸入之容許量,而將物件之複數個特徵量予以輸入;和 追蹤部,係基於前記輸入部所輸入之前記特徵量,而追蹤前記物件。
  11. 一種追蹤系統,係具備複數攝像裝置,其係具有: 攝像部,係拍攝物件;和 特徵量抽出部,係將前記攝像部所拍攝到的前記物件之特徵量予以複數抽出;和 優先度決定部,係將前記特徵量抽出部所抽出的複數個前記特徵量之優先度,加以決定;和 送訊部,係隨應於前記優先度之高低及送訊目標之容許量,而發送前記特徵量;和 收訊部,係隨應於前記優先度之高低及可收訊之容許量,而接收前記特徵量;和 追蹤部,係基於前記收訊部所接收之前記特徵量,而追蹤前記物件; 複數個前記攝像裝置,係彼此協同而收送前記特徵量。
  12. 一種攝像方法,係含有: 拍攝物件之步驟;和 將已拍攝之前記物件之特徵量予以複數抽出之步驟;和 將已抽出之複數個前記特徵量之優先度加以決定之步驟;和 隨應於前記優先度之高低及輸出目標之容許量而決定前記特徵量之步驟;和 將已決定之前記特徵量予以輸出之步驟。
  13. 一種攝像方法,係含有: 隨應於優先度之高低及可輸入之容許量而將物件之複數個特徵量予以輸入之步驟;和 基於已輸入之前記特徵量而追蹤前記物件之步驟。
TW111105629A 2021-03-09 2022-02-16 攝像裝置、追蹤系統、及攝像方法 TW202238439A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-037678 2021-03-09
JP2021037678 2021-03-09

Publications (1)

Publication Number Publication Date
TW202238439A true TW202238439A (zh) 2022-10-01

Family

ID=83226589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111105629A TW202238439A (zh) 2021-03-09 2022-02-16 攝像裝置、追蹤系統、及攝像方法

Country Status (5)

Country Link
US (1) US20240155221A1 (zh)
KR (1) KR20230155432A (zh)
CN (1) CN116941237A (zh)
TW (1) TW202238439A (zh)
WO (1) WO2022190652A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックIpマネジメント株式会社 人物追尾システム及び人物追尾方法
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP6909575B2 (ja) 2016-11-30 2021-07-28 マクセル株式会社 監視情報収集システム
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN116941237A (zh) 2023-10-24
WO2022190652A1 (ja) 2022-09-15
US20240155221A1 (en) 2024-05-09
KR20230155432A (ko) 2023-11-10

Similar Documents

Publication Publication Date Title
KR101363017B1 (ko) 얼굴영상 촬영 및 분류 시스템과 방법
US8180106B2 (en) Image capturing apparatus and image capturing method
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR101172747B1 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
CN103988227B (zh) 用于图像捕获目标锁定的方法和装置
US8600121B2 (en) Face recognition system and method
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
KR20120052637A (ko) 영상 촬영 장치의 객체 추적 장치 및 방법과 보안 관리 시스템의 객체 추적 장치
JP4553384B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
KR101436290B1 (ko) 생체인식 유형의 접근제어시스템에 대한 부정 검출
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN110516623A (zh) 一种人脸识别方法、装置及电子设备
CN106881716A (zh) 基于3d摄像头机器人的人体跟随方法及系统
JPH1115979A (ja) 顔検出及び顔追跡方法並びにその装置
TW202238439A (zh) 攝像裝置、追蹤系統、及攝像方法
JPH11339139A (ja) 監視装置
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
KR20200010690A (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
Pollok A new multi-camera dataset with surveillance, mobile and stereo cameras for tracking, situation analysis and crime scene investigation applications
Kosmopoulos et al. Vision-based production of personalized video
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
Gutfeter et al. Fusion of depth and thermal imaging for people detection
Bhaumik et al. Analysis and detection of human faces by using minimum distance classifier for surveillance
Pieri et al. Active video surveillance based on stereo and infrared imaging
KR20240060968A (ko) 얼굴인식에 대한 안티스푸핑 방법 및 그 장치