JP6739200B2 - 映像処理装置、映像処理システムおよび制御方法 - Google Patents

映像処理装置、映像処理システムおよび制御方法 Download PDF

Info

Publication number
JP6739200B2
JP6739200B2 JP2016060901A JP2016060901A JP6739200B2 JP 6739200 B2 JP6739200 B2 JP 6739200B2 JP 2016060901 A JP2016060901 A JP 2016060901A JP 2016060901 A JP2016060901 A JP 2016060901A JP 6739200 B2 JP6739200 B2 JP 6739200B2
Authority
JP
Japan
Prior art keywords
attribute
frequency information
video
unit
images obtained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016060901A
Other languages
English (en)
Other versions
JP2017175466A (ja
Inventor
山本 真司
真司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016060901A priority Critical patent/JP6739200B2/ja
Priority to EP17159308.0A priority patent/EP3223192A3/en
Priority to US15/451,437 priority patent/US20170278265A1/en
Priority to CN201710173566.8A priority patent/CN107231519B/zh
Publication of JP2017175466A publication Critical patent/JP2017175466A/ja
Application granted granted Critical
Publication of JP6739200B2 publication Critical patent/JP6739200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、複数のカメラで撮影された映像を処理する映像処理装置、映像処理システムおよびそれらの制御方法に関する。
近年、映像解析技術の向上とともに、街中に設置した複数のカメラからの映像に対してオブジェクトの属性情報を抽出し、その属性情報を基にカメラの映像を分析・解析するシステムが提案されている。しかし、得られる属性情報はカメラの画角や設置位置に依存することが多い。
一方、映像を精度良く分析・解析するために、属性抽出のパラメータを調整する方法やカメラ画角を調整する方法が提案されている。特許文献1では、映像から得られる属性情報から所定の距離内にある学習データを用いて生成されたパラメータを、画像中の人物の属性(年齢性別)を推定するための推定パラメータとして用いるシステムが提案されている。また、特許文献2では、映像から得られた検出結果を基に、より顔検出のしやすい画角を計算して自動でカメラの画角を修正するシステムが提案されている。
特開2012−252507号公報 特開2014−064083号公報
Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005) [実施形態で参照される] X Zhu, D Ramanan. Face detection, pose estimation, and landmark localization in the wild.Computer Vision and Pattern Recognition (CVPR), 2012. [実施形態で参照される] Benfold, B. Stable multi-target tracking in real-time surveillance video. Computer Vision and Pattern Recognition (CVPR), 2011. [実施形態で参照される]
しかしながら、特許文献1や特許文献2に記載された構成は、単体のカメラからの画像や単体のカメラの画角を対象としたものであり、複数のカメラが存在する場合について考慮されていない。そのため、大規模な台数のカメラを設置した場合、それぞれのカメラがどのような解析に適しているのかをそれぞれ確認する必要があり、ユーザへの負荷が大きくなってしまう。
本発明は上述した課題に鑑みてなされたものであり、複数のカメラを用いた際の撮像装置の設定または解析機能の設定にかかるユーザ負荷を軽減することを目的とする。
上記目的を達成するための本発明の一態様による映像処理装置は以下の構成を備える。すなわち、
複数の撮像装置から得られた映像を取得する取得手段と、
前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析手段と、
前記個別属性頻度情報と前記全体属性頻度情報を出力する出力手段と、を備え
前記出力手段は、前記個別属性頻度情報と前記全体属性頻度情報をユーザに提示する提示手段を有し、
前記提示手段は、前記複数の撮像装置の配置状態を示す配置図面を提示し、
前記配置図面において指定された撮像装置に関して前記解析手段により得られた個別属性頻度情報を提示する。
本発明によれば、複数のカメラを用いた際の撮像装置の設定または解析機能の設定にかかるユーザ負荷が軽減される。
第1実施形態の映像処理システムにおけるネットワーク接続図。 第1実施形態の機能構成例を示したブロック図。 (a)、(b)は、第1実施形態による撮像装置の選択を説明する図、(c)、(d)は属性頻度情報をグラフで表した例を示す図。 第1実施形態のユーザインタフェースの一例を示す図。 第1実施形態の処理を示すフローチャート。 第1実施形態の処理を示すフローチャート。 第1実施形態の処理を示すフローチャート。 第2実施形態の機能構成例を示したブロック図。 (a)は第2実施形態のユーザインタフェースの一例を示す図、(b)は必要属性データの構成例を示す図。 第2実施形態の処理を示すフローチャート。 第3実施形態の機能構成例を示したブロック図。 (a)は第3実施形態のユーザインタフェースの一例を示す図、(b)は最適画角データのデータ構成例を示す図、(c)はレコメンドの登録データを説明する図。 選択した撮像装置間で得られる属性頻度情報に乖離がある例を示す図。 (a)、(b)、(c)は、第3実施形態のユーザインタフェースの一例を示す図。 第3実施形態の処理を示すフローチャート。 映像処理ステムのハードウエア構成例を示すブロック図。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<第1実施形態>
第1実施形態では、複数の撮像装置または映像から得られる属性情報を解析し、属性が取得される頻度に関する情報(以下、属性頻度情報)を出力する場合について説明する。
図1は、第1実施形態による映像処理システムのネットワーク接続例を示す構成図である。図1において、100はネットワークカメラなどの撮像装置である。本実施形態では、複数の撮像装置100がネットワーク(LAN600)に接続されている。200は映像解析装置であり、設置された複数の撮像装置100で撮影された映像データを収集し、映像解析処理を行う。映像解析処理は、例えば、人物の顔領域から特徴量を抽出してマッチングすることで顔を認証する顔認証などを行なう機能を含む。また、映像解析装置200は、ネットワークストレージ装置300に記録された過去の映像データとその映像解析結果である解析データとを収集し、映像解析処理を行っても良い。
300は記録装置としてのネットワークストレージ装置であり、撮像装置100で撮影された映像データ、さらに映像解析装置200で映像解析された結果である解析データがLAN600を介して記録される。400は表示装置であり、たとえば、解析データを、ユーザインタフェースを通して表示する。また、出力装置400は、たとえば、ネットワークストレージ装置300に記録された映像データやカメラのレイアウト情報に解析結果(解析データ)を重畳して表示する。500は入力装置であり、マウスやキーボード、タッチパネルのように、解析処理を操作する機能を有する。
なお、撮像装置100は、2台以上であれば何台でも良い。さらに映像解析装置200、ネットワークストレージ装置300、出力装置400がLAN600に接続される数は、図1で例示した構成に限定されるものではなく、アドレスなどで識別できれば、複数存在してもかまわない。また、本実施形態では、出力装置400および入力装置500としてはパーソナルコンピュータ(PC)やタブレット端末などの情報処理装置を想定している。したがって、出力装置400と入力装置500が一体であってもかまわない。また、映像解析装置200と出力装置400と入力装置500が一体であってもかまわない。また、出力装置400および入力装置500のLAN600への接続形態はたとえば有線でも無線でもよい。すなわち、LAN600との接続形態は、プロトコル的に接続されていればよく、物理的な形態が制限されるものではない。
図16は、映像解析装置200、出力装置400および入力装置500を実現するハードウエア構成の一例を示すブロック図である。図16において映像解析装置200は映像処理装置1600により実現される。映像処理装置1600において、CPU1601は、プログラムを実行することにより後述する各種処理を実現する。ROM1602は、CPU1601により実行されるプログラムや各種データを記憶する読み出し専用のメモリである。RAM1603は、CPU1601の作業メモリとして用いられる、随時書き込みおよび読み出しが可能なメモリである。二次記憶装置1604は、たとえばハードディスクで構成され、CPU1601により実行される各種プログラムや、撮像装置100からの映像などを格納する。二次記憶装置1604に格納されているプログラムは、必要に応じてRAM1603上に展開され、CPU1601により実行される。なお、二次記憶装置1604を用いてネットワークストレージ装置300が実現されてもよい。ネットワークインタフェース1605はLAN600と接続するためのインタフェースである。上述の各構成は、バス1606により相互に通信可能に接続されている。
情報処理装置1620において、CPU1621は、プログラムを実行することにより後述するユーザインタフェースの提供を含む各種処理を実現する。ROM1622は、CPU1621により実行されるプログラムや各種データを記憶する読み出し専用のメモリである。RAM1623は、CPU1621の作業メモリとして用いられる、随時書き込みおよび読み出しが可能なメモリである。二次記憶装置1624は、たとえばハードディスクで構成され、CPU1621により実行される各種プログラムや、撮像装置100により得られた映像などを格納する。二次記憶装置1624に格納されているプログラムは、必要に応じてRAM1623上に展開され、CPU1621により実行される。なお、二次記憶装置1624を用いてネットワークストレージ装置300が実現されてもよい。ディスプレイ1625は、CPU1621の制御下で後述するユーザインタフェース画面を表示する。入力機器1626は、キーボードやポインティングデバイス(マウス)等で構成され、ユーザの指示を受け付ける。ネットワークインタフェース1627はLAN600と接続するためのインタフェースである。入力機器1626として、ディスプレイ1625の画面に設けられたタッチパネルが用いられてもよい。上述の各構成は、バス1628により相互に通信可能に接続されている。本実施形態では、出力装置400および入力装置500が情報処理装置1620のディスプレイ1625や入力機器1626により実現される。
本実施形態の映像処理システムは、主として映像処理装置1600と情報処理装置1620がLAN600を介して接続されることにより構成される。なお、情報処理装置1620と映像処理装置1600は別体でなくてもよい。
図2は、第1実施形態の映像処理システムにおける属性情報の解析に係る機能構成例を示したブロック図である。図2において、画像取得部210、検出部211、属性抽出部212、解析部213は、映像解析装置200によって実現される機能である。また、出力部411は出力装置400によって実現され、選択部511は入力装置500によって実現される機能である。但し、検出部211と属性抽出部212と解析部213が撮像装置100上で実現されても良く、機能を実現する装置の切り分けは図示の例に限られるものではない。
画像取得部210は、LAN600を介して、撮像装置100から所定の時間間隔で画像を順次取得し、画像情報を検出部211に提供する。なお、画像取得部210による画像の取得は、撮像装置100からの撮像画像の入力に限定されるものではない。たとえば、ネットワークストレージ装置300からの映像データ(録画映像)の読み込みやネットワークを介したストリーミング入力などで画像が入力されてもよい。
検出部211は、画像取得部210が取得した画像から対象(オブジェクト)を検出する検出処理を行う。検出部211は、検出処理により検出された対象に関するIDと位置座標とサイズ情報とをまとめて検出情報とし、属性抽出部212に提供する。なお、画像からの対象の検出は、周知の技術を用いて実現することができ、たとえば、非特許文献1に記載された人の全身を検出する方法を利用することができる。
属性抽出部212は、画像取得部210から取得した画像と検出部211から取得した検出情報を用いて対象の属性を抽出して属性情報を生成し、生成した属性情報を解析部213に提供する。属性情報とは、たとえば、年齢、性別、メガネの有無、髭の有無、髪型、体型、服装、鞄の有無、髪の色、服の色、身長などの情報である。服装とは、コートやTシャツなどの服の種別を表す。これらの情報は、周知の技術により検出され得る。
上述した属性情報の一部を構成する、年齢、性別、メガネの有無、髭の有無の抽出方法の一例について説明する。まず、周知の技術(たとえば、非特許文献2の顔を検出する方法及び顔の器官を検出する方法)を用いて、画像中の顔の部位の位置を特定する。そして、特定された顔の部位の特徴量と、公知技術の機械学習を用いて予め学習した学習データの特徴量とを比較することにより、年齢、性別、メガネの有無、髭の有無を求める。また、特徴量を比較した際の特徴量間の距離を基に確度情報を求める。
次に、属性情報の一部を構成する、体型、服装、鞄の有無の抽出方法の一例について説明する。たとえば、非特許文献1の全身検出処理によって、画像中に存在する全身の領域を特定し、特定された全身の領域に対してGaborフィルタを用いることで特徴量を算出する。そして、算出された特徴量とSupport Vector Machineなどの識別器を用いることで、体型、服装情報を求める。また、特徴量を比較した際の特徴量間の距離を基に確度情報を求める。
次に、属性情報の一部を構成する、髪の色、服の色の抽出方法の一例について説明する。まず、非特許文献1の処理を画像中の各体の部位について適用することで全身の各部位の領域を特定する。そして、各部位について色ヒストグラムを求める。そして、頭部領域の色ヒストグラムを髪の色、上半身及び下半身領域の色ヒストグラムを服の色とする。このとき、予め定めた代表色データを用意し、最も類似度の高い代表色を、髪の色及び服の色としても良い。代表色データとは、色ヒストグラムであり、赤・青・緑・黄色など代表的な色毎に事前に定義したものである。色の類似度は、計算した色ヒストグラムと代表色データの色ヒストグラムを基に、バタチャリヤ距離の計算式によって求める。また、このとき得られる類似度を基に確度情報を求める。なお、算出した類似度をそのまま確度情報としてもよいし、類似度が高いほど確度が高くなる計算式によって算出された情報を確度情報としてもよい。
次に、属性情報の一部を構成する身長の抽出方法の一例について説明する。まず、非特許文献1の全身検出処理によって、画像中の全身の領域を特定する。そして、全身領域の高さ情報と撮像装置の倍率情報の比率から身長情報を求める。
入力装置500により実現される選択部511は、ユーザからの入力を受けて、解析を行う撮像装置100またはネットワークストレージ装置300に格納された録画映像を選択する。選択された撮像装置100により撮像された映像または選択された録画映像に関わる情報は解析部213に提供される。以下では、撮像装置100を選択する例を説明する。なお、ユーザからの選択のための入力は、入力装置500を用いてなされる。
解析対象の撮像装置を選択する選択処理の例について説明する。図3(a)、図3(b)は、解析対象の撮像装置を選択するためのユーザインタフェースの例を示す。まず、ユーザは図3(a)で示される撮像装置の一覧(本例では撮像装置の配置状態を示す配置図面420(レイアウト)が表示されている)から、解析対象とする撮像装置を複数選択することができる。選択には、マウスやキーボード、タッチパネルを用いる。たとえば、マウスカーソル421により所望の撮像装置を一つずつ指定することで、指定された撮像装置が解析対象に選択される。或いは、たとえば、マウスカーソル422による範囲指定操作により指定された範囲423内に存在する撮像装置が解析対象に選択されるようにしてもよい。ユーザインタフェースでは、選択されたネットワークカメラを、ユーザが識別できるようにその表示形態を変更する。図3(b)の例では、配置図面420において、選択された撮像装置を白抜き表示することで、選択されている撮像装置をユーザが直ちに識別可能な表示となっている。
解析部213は、選択部511で選択した撮像装置に関して、属性抽出部212で取得した属性情報を用いて各属性が検出された頻度を計算し、属性頻度情報を生成する。生成された属性頻度情報は出力部411に提供される。以下、解析部213による解析処理の内容(属性頻度情報の生成)について説明する。
まず、解析部213は、選択部511で選択された撮像装置で抽出された属性情報のみを処理対象として抽出する。以下、Cは各撮像装置、Aは各属性情報、Fは一連の映像の各フレームを示す。M台の撮像装置100が接続されているのであればj=1〜Mであり、属性情報がN個の属性項目を有するのでればi=1〜Nである。一連の映像のフレームの総数がLであればk=1〜Lである。また、例えば、撮像装置C、撮像装置Cが選択されており、撮像装置Cが選択されていない場合、撮像装置Cと撮像装置Cの属性情報は処理対象になるが、撮像装置Cの属性情報は処理対象外となる。そして、撮像装置Cにより取得された映像上で、属性Aが抽出された回数の総和S(Ai,Cj,F)を、
S(Ai,Cj,F)=ΣkS(Ai,Cj,Fk)) …(1)
で求める。(1)式で、S(Ai,Cj,Fk)は、撮像装置CのフレームFで属性Aが得られた場合は1、得られなかった場合は0となる。
次に、撮像装置Cjの属性頻度情報R(Ai,Cj,F)として、
R(Ai,Cj,F)=S(Ai,Cj,F)/ΣiS(Ai,Cj,F) …(2)
を計算する。(2)式で、分母のΣiS(Ai,Cj,F)は、撮像装置Cjで属性A1から属性ANまでの属性情報が得られた回数の総和を示す。なお、ΣiS(Ai,Cj,F)の代わりにフレームの総数Lを用いてもよい。撮像装置Cから撮像装置CMの内、選択された撮像装置について、それぞれこの計算を実施する。以上のようにして、各撮像装置ごとの、個別の属性頻度情報(個別属性頻度情報)が得られる。
同じように、選択したすべての撮像装置で属性Aが抽出された回数の総和S(Ai,C,F)から、属性頻度情報R(Ai,C,F)を計算する。計算式はそれぞれ、
S(Ai,C,F)=ΣjΣkS(Ai,Cj,Fk) …(3)
R(Ai,C,F)=S(Ai,C,F)/ΣiS(Ai,C,F) …(4)
である。分母のΣiS(Ai,C,F)は、各撮像装置で属性情報が得られた回数の、解析対象に選択されたすべての撮像装置による総和を示し、全ての撮像装置におけるフレームの総数Lでもよい。こうして、選択された撮像装置100による、全体の属性頻度情報(全体属性頻度情報)が得られる。
図3(c)、図3(d)は上述した解析処理の解析結果をグラフ化した一例を示す図である。図3(c)は、各属性を横軸、頻度を縦軸にすることで解析結果を棒グラフ340で表したものである。図3(c)の例では、体格情報が最も多く得られた属性であり、メガネ・髭は得られた回数が少ないことを表している。図3(d)は解析結果を円グラフ360で表したものである。解析結果の数値は図3(c)と同じものを示している。なお、図3(c)、図3(d)で表示される解析結果の表示方法は、個別の属性頻度情報(式(2)により得られる結果)、全ての属性頻度情報(式(4)により得られる結果)の何れにも適用できる。
出力部411は、ユーザインタフェースを通じて、解析部213の解析結果である撮像装置の個別の属性頻度情報R(Ai,Cj,F)や、全体の属性頻度情報R(Ai,C,F)をユーザに出力する。図4(a)、図4(b)は、属性頻度情報を解析結果として出力するユーザインタフェース画面430の一例である。ユーザインタフェース画面430の左側領域433には、選択部511を用いて撮像装置を選択したりその結果を示したりする配置図面420(図3(a)(b))が表示される。
ユーザインタフェース画面430の右上領域431には、解析を始めるための解析開始ボタン441が表示されている。また、右下領域432は、解析結果としての属性頻度情報の表示例であり、図3(c)や図3(d)で説明した棒グラフと円グラフを並べた解析結果442が表示された例が示されている。なお、右下領域432には、左側領域433に表示された配置図面420の中から撮像装置がユーザにより指定された場合には、その指定された撮像装置に関する個別の属性頻度情報が解析結果442として表示される。他方、何れの撮像装置も指定されていない場合には全体の属性頻度情報が解析結果442として表示される。なお、配置図面420上の個別の属性頻度情報の重畳表示には、たとえば図13のように棒グラフが用いられてもよい。
図4(b)は、ユーザインタフェース画面430の他の例を示す図である。図4(b)において、右下領域432には、解析結果442として全体の属性頻度情報が表示される。また、左側領域433の配置図面420には、選択された撮像装置の各々の近傍に、対応する個別の属性頻度情報が円グラフで重畳表示されている。
なお、検出部211による検出の処理は、画像から所定の対象を検出し、対象の位置を特定する処理であればよく、特定の画像特徴量や識別器による検出に限定されるものではない。例えば、抽出する特徴量は非特許文献1で利用されている勾配方向ヒストグラム特徴に限らず、Haar-like特徴、LBPH特徴(Local Binary Pattern Histogram)等を用いてもよいし、それらを組み合せてもよい。また、識別には、サポートベクターマシンに限らず、アダブースト識別器、ランダム分類木(Randomized Tree)等を用いてもよい。また、非特許文献3に記載されているような、人体を追尾する方法を用いても良い。追尾の方法についても、画像から検出した対象を画像内で追尾する処理であればよく、非特許文献3に記載された方法に限定されるものではない。例えば、Mean-shift tracking、Kalman Filter、on-line boosting等を用いても良い。
また、属性抽出部212による抽出処理は、特定の画像特徴量や識別器による抽出に限定されるものではなく、対象の属性情報を特定する処理であればよい。また、温度や距離などの情報や、対象が保有している機器のセンサ情報などを利用するものでもよい。
また、選択部511は、解析対象とする撮像装置または映像を選択する処理であり、ユーザインタフェースによる撮像装置の選択に限定されるものではない。たとえば、各撮像装置からの映像のイベント情報や検出された対象の数などから自動で解析対象の撮像装置を選択するようにしてもいし、別のシステムの出力をもとに解析対象の撮像装置を選択するようにしても良い。
また、解析部213では、属性頻度情報を計算する際に、属性情報に関して算出された確度情報が示す確度を重みづけして総和を計算しても良い。例えば、確度W(Ai,Cj,Fk)を重みづけする場合、各撮像装置に関する個別属性頻度情報の計算式は以下のようになる。
S(Ai,Cj,F)=Σk{S(Ai,Cj,Fk)×W(Ai,Cj,Fk)} …(5)
R(Ai,Cj,F)=S(Ai,Cj,F)/Σi{S(Ai,Cj,F)} …(6)
また、選択された撮像装置に関する全体属性頻度情報は、以下のようになる。
S(Ai,C,F)=ΣjΣk{S(Ai,Cj,Fk)×W(Ai,Cj,Fk)} …(7)
R(Ai,C,F)=S(Ai,C,F)/Σi{S(Ai,C,F)} …(8)
また、出力部411は、解析部213の結果を出力する処理であり、ユーザインタフェースによる表示に限定されるものではない。解析結果をメタデータとして出力する方法や、別のシステムにデータを転送する方法であっても良い。また、本実施形態では解析結果を棒グラフと円グラフで出力する例を示したが、得られた属性頻度情報がユーザに提示できる方法であれば、この形式に限るものではない。
図5は第1実施形態の映像処理システムによる処理を示したフローチャートである。処理開始後、映像解析装置200は、各撮像装置で取得された映像から属性を抽出し、抽出された属性の頻度情報を算出して個別の属性頻度情報を得る(S100)。本実施形態では、映像解析装置200は、上述した式(2)あるいは式(6)により、個別の属性頻度情報を求める。次に、映像解析装置200は、選択された撮像装置に関する全体の属性頻度情報を上述の式(4)あるいは式(8)により求める(S200)。S100とS200で得られた個別の属性頻度情報および全体の属性頻度情報は出力装置400へ供給され、出力装置400は供給された属性頻度情報に基づいて図4(a)(b)で説明したような画面を表示する(S300)。
以下、S100における個別の属性頻度情報の算出処理、およびS200における全体の属性頻度情報の算出処理について図6、図7のフローチャートを参照して詳細に説明する。まず、映像毎(撮像装置毎)の個別の属性頻度情報の算出処理(S100)の詳細について図6を用いて説明する。
画像取得部210が処理対象の映像のフレーム(対象の撮像装置から得られた映像のフレーム)である画像を取得し(S101)、検出部211が、取得した画像から対象を検出する(S102)。次に属性抽出部212において、S102で検出された対象ごとに属性の抽出を行う(S103)。次に、解析部213が、属性別の検出回数の総和に各属性が得られた回数を加算し(S104)、属性全体の検出回数の総和を加算する(S105)。その後、画像取得部210において、次のフレームが存在するか否かを判定し(S106)、存在すると判定された場合、処理はS101に戻る。他方、次のフレームが存在しないと判定された場合は、処理はS107に進む。
以上のように、全てのフレームについてS102〜S105の処理が繰り返されることにより、S104において式(1)で示される属性項目ごとの検出回数の総和(S(Ai,Cj,F))が得られる。また、S105により、式(2)の分母となる、全属性項目の検出回数の総和(ΣiS(Ai,Cj,F))が得られる。
処理対象の映像の全てのフレームについて上記の処理を終えると、解析部213は、S104とS105で得られた検出回数の総和を用いて、対象の撮像装置の属性頻度情報を式(2)により算出する(S107)。次に、画像取得部210は、まだ処理していない映像(撮像装置)があるか否かを判定する(S108)。未処理の映像(撮像装置)が存在しない場合は処理を終了し、存在する場合は対象とする映像(撮像装置)を変更して処理をS101に戻す。こうして、撮像装置(Cj)毎の、各属性(Ai)の抽出頻度を表す個別の属性頻度情報(R(Ai,Cj,F))が取得される。
取得された個別の属性頻度情報は、対応する撮像装置に関連付けてネットワークストレージ装置300に保持される。本実施形態では、属性毎の総和S(Ai,Cj,F)と属性頻度情報R(Ai,Cj,F)が各撮像装置に関連付けて保持される。
次に、選択された撮像装置全体に係る属性頻度情報である、全体の属性頻度情報を算出する処理(S200)について図7のフローチャートを参照して説明する。
解析部213は、映像処理システムに属する複数の撮像装置のうちの一つを特定し(S201)、その特定した撮像装置が選択部511により選択された撮像装置か否かを判定する(S202)。選択された撮像装置であると判定された場合には、解析部213は、特定された撮像装置に対応する属性頻度情報をネットワークストレージ装置300から読み込む(S203)。ここでは、特定された撮像装置Cに関連付けられた属性毎の総和S(Ai,Cj,F)が取得される。
次に、解析部213は、S203で読み込んだ属性毎の総和について加算し(S204)、全体の総和についても加算する(S205)。選択部511にて、まだ処理していない撮像装置があるかを判定する(S206)。未処理の撮像装置が存在する場合、処理はS201に戻り、解析部213は対象とする撮像装置を変更して上述のS202〜S205を繰り返す。
以上の結果、S204の処理により、解析部213は、選択された撮像装置の全体に関する属性毎の抽出数の総和S(Ai,C,F)(式3)を得る。また、解析部213は、S205の処理により、選択された撮像装置の全体に関する全属性の抽出数の総和(ΣiS(Ai,C,F)(式(4)の分母)を得る。
S206で未処理の撮像装置が存在しないと判定された場合、解析部213は、S204で得られた属性別の総和をS205で得られた全体の総和で割ることによって(式(4))、正規化された属性頻度情報を得る(S207)。こうして、全体の属性頻度除法が得られる。
なお、属性頻度情報は、映像終了時にまとめて計算する処理順序を例として示したが、属性頻度情報の計算のタイミングはこの例に限られるものではない。たとえば、フレームごとに全体の属性頻度情報を更新するように計算しても良い。また、複数の撮像装置に関する個別の属性頻度情報の計算が並列化されても良い。また、個別の属性頻度情報の計算と全ての撮像装置の属性頻度情報の計算とを同時に行っても良い。
以上のように、第1実施形態によれば、複数の撮像装置または映像から得られる属性の頻度情報(属性頻度情報)を出力し、ユーザに提示することができる。ユーザは、提示された属性頻度情報から、適用できる映像解析処理を想定することができる。より具体的には、得られている属性が年齢・性別が多い場合には、年齢・性別を主に利用する映像解析処理、たとえば、年齢性別ごとに人数をカウントする映像解析処理を利用することを想定できる。また、髭・メガネの有無や服装の情報が多い場合、これらの情報から人物同定することで、人物を検索する映像解析処理を利用することを想定できる。このように、得られる属性の頻度情報を出力することで、ユーザは効率的に適応可能な映像解析処理を選択することが可能となる。複数のカメラで得られているオブジェクトの属性情報を統計してユーザにフィードバックすることによって、解析機能の設定にかかるユーザ負荷を軽減することができる
<第2実施形態>
第2実施形態では、第1の実施形態で求められる属性頻度情報を基に、選択された複数の撮像装置で適用可能な映像解析処理を表示する構成について説明する。以下では、主として、第1実施形態と異なる構成について説明する。
図8は、第2実施形態による映像処理システムの機能構成例を示したブロック図である。なお、第2実施形態の映像処理システムのネットワーク接続構成は第1実施形態(図1)と同様である。また、図8において第1実施形態(図2)と同様の機能構成には、同一の参照番号を付してある。第2実施形態の映像処理システムの機能構成は、第1実施形態(図2)の機能構成に加えて、比較部214を有している。
比較部214は、解析結果と必要属性データを比較することで、適用可能な映像解析処理を求める。そして、適用可能な映像解析処理を示す情報(以下、解析処理情報)を出力部411に提供する。まず、必要属性データについて説明する。必要属性データは、映像解析処理ごとに必要な属性情報の抽出頻度の閾値を表すものである。必要属性データTh={Th,Th,...,Th}は、閾値Thをまとめて定義したものであり、属性情報Aについて、必要とする抽出頻度R(Ai,C,F)を表す。図9(b)は必要属性データのデータ構成例を示す図である。「混雑検知」「人流解析」などの解析機能(映像解析処理)ごとに、「顔」「人種」などの各属性について必要な頻度の閾値が記録されている。必要属性データは映像解析装置200の格納装置(不図示)に格納されてもよいし、ネットワークストレージ装置300に格納されてもよい。
次に、比較部214による、属性頻度情報と必要属性データの比較処理について説明する。比較処理では、各属性の抽出頻度と必要属性データの閾値情報を比較し、少なくとも1つ以上の属性について全体の属性頻度情報R(Ai,C,F)が閾値Th以上であった場合、映像解析処理が適用可能であると判定する。なぜならば、抽出頻度R(Ai,C,F)が閾値Th以上の場合、映像解析処理に必要な属性情報が、多くの人物について得られているからである。比較部214は、すべての映像解析処理(解析機能)について、対応する必要属性データを用いた比較処理を行うことで、それぞれの映像解析処理が適応可能であるかを判定する。なお、ある映像解析処理において不要な属性の閾値には、頻度情報として取りえない特定の値(たとえば−1など)が記録され、上述した比較の対象とはならないようにする。
出力部411は、比較部214で求めた適用可能な映像解析処理のリストをユーザインタフェースに表示する。図9(a)は、適用可能な映像解析処理のリストを表示するユーザインタフェース画面430の一例である。第1実施形態と同様に左側領域433には撮像装置の配置図面420が表示されている。本実施形態では、右上領域431に判定開始ボタン443が表示されており、判定開始ボタン443の押下により、後述の判定処理(図10のフローチャートにより後述する処理)を開始する。そして、その判定処理による判定結果が右下領域432に表示される。右下領域432では、映像解析処理のリスト444が表示されるとともに、適用可能な映像解析処理が黒で強調表示されている。
なお、上記では、1つ以上の属性について属性頻度情報が閾値を越えることを映像解析処理を適用可能とする判定条件したが、これに限られるものではない。たとえば、2つ以上の属性について属性頻度情報が閾値を越えることを判定条件としたり、必要なすべての属性について属性頻度情報が閾値を超えることを判定条件としたりしてもよい。また、映像解析処理ごとに異なる条件が設定されてもよい。また、比較部214の比較は、閾値を超えているかの比較に限られるものではない。たとえば、比較部214は、閾値Th={Th,Th,...,Th}と属性頻度R(A,C,F)を比較し、何れの閾値にも達していない場合に、閾値と属性頻度との差分値の総和を求める。差分値は、閾値に対して、属性頻度が過不足している値を表しても良いし、不足している値のみを表してもよい。そして、比較部214は、この総和が所定値以上の場合には映像解析処理の適用が困難であると判定する。また、予め定めた属性毎の重要度を基に、差分値に重みづけをしてもよい。重要度とは、対象の映像解析処理を利用する際に、その属性が必要である度合いを示したものである。
出力部411は、比較部214の判定結果を出力するものであり、上述したようなユーザインタフェースによる表示に限定されるものではない。たとえば、判定結果をメタデータとして出力したり、別のシステムにデータを転送したりしても良い。また、本実施形態では判定結果をリストで出力する例を示したが、適用可能な映像解析処理をユーザに提示できる方法であれば、この形式に限られるものではない。
図10は第2実施形態の処理の流れを示したフローチャートである。図10のS100,S200は第1実施形態(図5のS100、S200)で説明したとおりである。S400において、比較部214は必要属性データと解析結果(属性頻度情報)とを比較する。S500において、出力部411は、S400で得られた比較結果に基づいて、図9(a)で示したように、映像解析処理のリスト444を適用可能か否かを明示しながら表示する。
以上のように、第2実施形態によれば、複数の撮像装置または映像から得られる属性の頻度情報を基に、適用可能な映像解析処理をユーザに提示することができる。ユーザは、適用可能な映像解析処理情報を確認することで、効率的に利用する映像解析処理を選択することができる。
なお、上記実施形態では、全体の属性頻度情報と必要属性データとの比較により映像解析処理の適用可否を判定したが、これに限られるものではない。たとえば、個別の属性頻度情報と必要属性データとを比較して、映像解析処理を実行可能な撮像装置を計数し、その計数の結果に基づいて(たとえば、計数された値が所定値を超えるか否かに基づいて)映像解析処理の実行可否を判定してもよい。なお、映像解析処理を実行可能な撮像装置とは、算出された個別の属性頻度情報が、必要な属性項目の頻度を満足している撮像装置である。
<第3実施形態>
第3実施形態では、第1実施形態で取得された属性頻度情報を基に、選択した撮像装置の中で指定された映像解析処理に向かない撮像装置を特定し、撮像装置の画角のレコメンドまたは画角の自動調整を行う。以下では、主として、第1及び第2実施形態と異なる部分について説明する。
図11は、本発明が適用される映像処理システムの機能構成例を示したブロック図である。第3実施形態の映像処理システムは、第2実施形態で説明した機能に加えて、画角計算部215を有する。
入力装置500の選択部511は、第1の実施形態で説明した撮像装置または映像を選択する機能に加え、利用したい映像解析処理を指定する機能を有する。そして、選択部511は、選択した撮像装置または映像と利用したい映像解析処理の情報を解析部213と比較部214に提供する。ユーザインタフェース上で、利用したい映像解析処理を選択する例について説明する。図12(a)は、利用したい映像解析処理を選択するためのユーザインタフェース画面430の例を示している。このユーザインタフェース画面430は選択部511と出力部411の協働により提供される。ユーザインタフェース画面430には、リスト446が表示されており、ユーザはリスト446に含まれている映像解析処理から所望の処理を指定することができる。図9(a)の例では、右上領域434に表示されたリスト446に含まれる複数の映像解析処理のうち、「人物検索処理」が指定されており、黒で強調表示されることで選択状態であることが識別可能になっている。
比較部214は、選択部511で選択した撮像装置に関する全体の属性頻度情報(S200で算出される)と個別の属性頻度情報(S100で算出される)を比較し、映像解析に向かない撮像装置を特定する。そして、指定された映像解析処理の適用が困難であると判定した撮像装置の情報を出力部411及び画角計算部215に提供する。なお、比較部214は、第2実施形態と同様に、適用可能な映像解析処理を判定する機能を有し、その判定結果に基づいてリスト446からユーザが指定可能な映像解析処理を制限するようにしてもよい。
まず、映像解析に向かない撮像装置の特定方法について説明する。図13は選択された撮像装置の各々について得られた個別の属性頻度情報を表した例である。図13の一番下に配置されている撮像装置100aは、周囲の撮像装置と比べると、得られている属性情報に乖離が見られる。具体的には、全体的には顔に関する属性情報が得られているが、一番下の撮像装置では服装や歩容の情報が得られている。このような状態の場合、撮像装置間で対象を同定する処理を含む映像解析処理を利用すると、未対応(対象が同じであっても同定されない現象)を引き起こす場合がある。なぜならば、同定処理には同じ属性同士の比較が必要になり、例えば服装情報がある撮像装置で得られており、一方の撮像装置では得られていない場合、マッチング処理が適用できないからである。マッチング処理が適用できない場合、対象間の類似度が算出できず、異なる対象であるとして判定される。そのため、得られている個別の属性情報に、全体の属性情報からの乖離の度合いを求めることで、各撮像装置(の映像)に関して映像解析処理の適用が困難か否かを判定することができる。
比較部214による第3実施形態の比較処理について説明する。比較処理では、全体の属性頻度情報と個別の属性頻度情報との比較による類似度を、バタチャリヤ距離の計算式を用いて求める。この類似度は、異なる撮像装置間で、各属性情報が得られる頻度が同じである度合いを示したものになる。そして、選択部511で選択した撮像装置の全体の属性頻度情報に対する、1つの撮像装置の個別の属性頻度情報の類似度が予め決めた閾値より低い場合、映像解析処理の適用が困難であると判定する。なぜならば、そのような類似度が閾値より低い属性頻度情報は、異なる撮像装置で得られる属性頻度情報との間に上述のような乖離があることと同義となるからである。
画角計算部215は、解析部213で得られた属性頻度情報を用いて、映像解析処理の適用が困難であると判定された撮像装置の最適画角を計算する。そして、計算された最適画角情報は出力部411に提供される。以下、画角の計算方法について説明する。
全体で得られた属性頻度情報を基に、画角データベース上の最適画角データから、最適な画角を検索する。図12(b)は画角データベースのデータ構成例を示す図である。画角データベースの各レコードでは、代表的な属性頻度情報と最適画角データが対応づけられている。最適画角データとは、撮像装置のパン、チルト、ズームの値をまとめた画角情報である。また、データベースにおいて、最適画角データは、代表的な属性頻度情報と対応づけて記録される。例えば、顔に関する属性頻度が高い属性頻度情報には、対象を大きく写す必要があるとして、ズーム値の大きい画角情報との対応づけが定義される。一方、服装に関する属性頻度が高い属性頻度情報には、対象の全身を写す必要があるため、ズーム値の小さい画角情報と対応づけが定義される。
最適画角を求める手順について説明する。まず、全体で得られた属性頻度情報と、画角データベースにおいて最適画角データと対応づいている属性頻度情報(図12(b)の代表的な属性頻度情報)との類似度を、バタチャリヤ距離の計算式を用いて求める。そして、この類似度が最大のとなる最適画角データを特定し、対応する最適画角情報を求める。パン、チルトの値については、対象が検出される位置情報から計算して求めてもよい。例えば、検出部211から得られる対象の検出位置の平均座標を求め、現在のパン、チルト値と平均座標の差分をパン、チルト値として求める。この場合、パンやチルトは取得された映像から算出されるので、最適画角データの画角情報には含まれなくてもよい(したがって、その場合、画角情報にはズームのみが記述されればよい)。
出力部411は、比較部214で得られた映像解析処理の適用が困難な撮像装置を示す情報を用いて、映像解析処理の適用が困難な撮像装置のリストをユーザインタフェースに表示する。さらに、出力部411は、画角計算部215から得られる最適画角情報を用いて、画角のレコメンド及び撮像装置100における画角の自動調整を行う。
まず、出力部411による、映像解析処理の適用が困難な撮像装置の情報表示について説明する。図14(a)は、映像解析処理の適用が困難な撮像装置のリストを表示するユーザインタフェース画面430の一例である。出力部411は、ユーザインタフェース画面の右側領域460に撮像装置のリスト461を表示し、映像解析処理の適用が困難な撮像装置をマークで強調表示する。また、出力部411は、左側領域433に表示される撮像装置の配置図面420において、映像解析処理の適用が困難な撮像装置に所定のマークを重畳表示する。
次に、映像解析処理の適用が困難な撮像装置に関する画角のレコメンド表示について説明する。図14(b)は、ユーザインタフェース画面430において、撮像装置のリスト461の表示に加えて、最適画角情報をレコメンド情報に変換して表示したレコメンド表示462が表示される例を表す。レコメンド情報とは、現在の画角から最適画角へ撮像装置の設定を変更するために、ユーザが行うべき設定情報を文章化したものである。例えば、「よりズームをしてください」、「右に30度カメラをパンしてください」、などの文章である。レコメンド情報は、図12(c)に示されるように、パン、チルト、ズームに関する代表的な制御値(画角の制御値)と対応づけて保持される。
最適画角情報からレコメンド情報への変換について説明する。まず、指定された解析処理に不向きな撮像装置100の現在の画角と、画角計算部215で取得された最適画角との差分値を計算する。この差分値を制御値として、レコメンド情報を対応づいている差分値を基にレコメンド情報を検索する。図12(c)はレコメンド情報の登録例を示す図であり、画角(パン、チルト、ズーム)の制御値に応じてレコメンド情報(レコメンド表示462に表示すべき文章)が登録されている。出力部411は、図12(c)のごとく登録されたレコメンド情報から、上記差分に対応する「画角の制御値」を検索し、これに関連付けられたレコメンド情報を取得する。例えば、撮像装置の現在の画角と最適画角においてズーム値の差分が大きい場合には、より被写体にズームする必要がある旨のレコメンド情報が抽出される。図14(b)では、リスト461において選択されたCam8に関する最適画角を得るためのレコメンド表示462がなされている。
次に、画角を自動調整する例について説明する。図14(c)は、出力部411が画角計算部215で得られた最適画角を用いて撮像装置100の画角を自動調整するユーザインタフェース画面430の例を表す。最適画角が得られた撮像装置は、画面の右側領域460の自動調整実施ボタン463を押下することにより、対象の撮像装置に最適画角情報を送信し、撮像装置の画角の自動調整を行う。なお、ユーザからの入力無しに(自動調整実施ボタン463の押下なしに)、得られた最適画角情報を撮像装置100に提供することで撮像装置の画角を自動調整するようにしても良い。
出力部411は、比較部214の判定結果を出力する処理であり、ユーザインタフェース画面への表示に限定されるものではない。たとえば、結果をメタデータとして出力したり、別のシステムにデータを転送したりする方法であっても良い。また、本実施形態では判定結果をリストで出力する例を示したが、映像解析の適用が困難な撮像装置のリストをユーザに提示できる方法であれば、この形式に限るものではない。
図15は第3実施形態による処理の流れを示したフローチャートである。図15のS100,S200は第1実施形態と同様の処理である。比較部214は、S200で得られた複数の撮像装置から得られた全体の属性頻度情報と、S100で得られた対象の撮像装置の個別の属性頻度情報を比較し、映像解析処理が適用困難な撮像装置を特定する(S600)。そして、出力部411は、映像解析処理が適用困難な撮像装置のリスト461を表示する(S700)。画角計算部215は、S600で特定された撮像装置に関する最適画角を算出し(S800)、出力部411にて最適画角情報をレコメンド表示462として表示する(S900)。または、レコメンド情報の表示に代えて(或いはこれに加えて)、出力部411は、最適画角情報に基づいて(自動調整実施ボタン463の押下に応じて)、S600で特定された撮像装置の画角調整を実行する。
以上説明したように、第3実施形態によれば、複数の撮像装置または映像から得られる属性の頻度情報を基に、映像解析処理が適用困難な撮像装置の情報を出力することができる。映像解析処理が適用困難な撮像装置の情報をユーザに提示することで、ユーザは画角調整を行う必要のある撮像装置を容易に知ることができる。或いは、映像解析処理を適用困難な撮像装置が適切な画角へ自動的に調整される。そのため、映像解析処理を行うために、各撮像装置の画角を調整する負荷を軽減することができる。
なお、上記第1乃至第3実施形態では、解析部213は図3(a)(b)で説明したようにしてユーザ選択された撮像装置から全体の属性頻度情報を算出しているが、これに限られるものではない。たとえば、解析部213は、1つの撮像装置から一定距離内にある複数の周辺撮像装置を比較対象として、属性頻度情報を算出しても良い。この場合、1つの撮像装置から一定距離内にある複数の周辺撮像装置から得られた映像に基づいて全体の属性頻度情報が算出されることになる。また、この場合に、第3実施形態の比較部214は、1つの撮像装置から得られる個別の属性頻度情報と解析部213で求めた比較対象の属性頻度情報と比較する。また、比較対象の撮像装置の決定方法は、カメラ間の繋がりを表す情報を基にした方法であればよく、上述のような距離に限られるものではない。たとえば、事前に分割したエリア内にある撮像装置を比較対象に決定するようにしてもよい。また、距離などの情報を基に、各撮像装置に対応した属性頻度情報に重みづけを行っても良い。
また、画角計算部215による処理は、比較結果と属性頻度情報を基に最適画角を求める処理であればよく、上述のようなデータベースとの比較による方法に限るものではない。たとえば、属性頻度情報を基に画角を求める関数を定義しておき、これを用いるようにしても良い。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:撮像装置、200:映像解析装置、300:ネットワークストレージ装置、400:表示装置、500:入力装置、210:画像取得部、211:検出部、212:属性抽出部、213:解析部、214:比較部、215:画角計算部、411:出力部、511:選択部

Claims (20)

  1. 複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析手段と、
    前記個別属性頻度情報と前記全体属性頻度情報を出力する出力手段と、を備え
    前記出力手段は、前記個別属性頻度情報と前記全体属性頻度情報をユーザに提示する提示手段を有し、
    前記提示手段は、前記複数の撮像装置の配置状態を示す配置図面を提示し、
    前記配置図面において指定された撮像装置に関して前記解析手段により得られた個別属性頻度情報を提示することを特徴とする映像処理装置。
  2. 複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析手段と、
    前記個別属性頻度情報と前記全体属性頻度情報を出力する出力手段と、を備え、
    前記出力手段は、前記個別属性頻度情報と前記全体属性頻度情報をユーザに提示する提示手段を有し、
    前記提示手段は、前記複数の撮像装置の配置状態を示す配置図面を提示し、
    前記配置図面の各撮像装置の位置に前記個別属性頻度情報を重畳して表示することを特徴とする映像処理装置。
  3. 複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報のうち少なくとも何れか一方を計算する解析手段と、
    前記個別属性頻度情報および前記全体属性頻度情報のうち少なくとも何れか一方に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定する判定手段と、を備えることを特徴とする映像処理装置。
  4. 前記判定手段は、前記複数の映像解析処理のそれぞれに関して必要な属性項目とその頻度を含む必要属性データと前記全体属性頻度情報との比較により、適用可能な映像解析処理を判定することを特徴とする請求項に記載の映像処理装置。
  5. 前記判定手段は、前記複数の映像解析処理のそれぞれに関して、必要な属性項目の頻度を満足する個別属性頻度情報が得られた撮像装置の数を計数し、該計数の結果に基づいて適用可能な映像解析処理を判定することを特徴とする請求項に記載の映像処理装置。
  6. 前記判定手段により適用可能と判定された映像解析処理をユーザに提示する提示手段をさらに備えることを特徴とする請求項乃至のいずれか1項に記載の映像処理装置。
  7. 複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析手段と、
    前記全体属性頻度情報との類似度が所定値より小さくなる個別属性頻度情報に対応する撮像装置を、映像解析処理の実行に適さない撮像装置と判定する判定手段と、を備えることを特徴とする映像処理装置。
  8. 代表的な属性頻度情報と画角情報を対応づけた画角データを有し、
    前記全体属性頻度情報と最大の類似度を有する代表的な属性情報に対応づけられた画角情報に基づいて、前記映像解析処理の実行に適さないと判定された撮像装置に設定すべき画角を取得する画角の取得手段をさらに備えることを特徴とする請求項に記載の映像処理装置。
  9. 前記画角の取得手段により取得された画角と前記映像解析処理の実行に適さないと判定された撮像装置の画角との差に基づいて、当該撮像装置の画角の調整に関するレコメンドを提示する提示手段をさらに備えることを特徴とする請求項に記載の映像処理装置。
  10. 前記画角の取得手段により取得された画角と前記映像解析処理の実行に適さないと判定された撮像装置の画角とに基づいて、当該撮像装置の画角を調整する調整手段をさらに備えることを特徴とする請求項に記載の映像処理装置。
  11. 前記個別属性頻度情報または前記全体属性頻度情報に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定し、適用可能と判定された映像解析処理からユーザに映像解析処理を指定させる指定手段をさらに備え、
    前記判定手段は、前記指定手段において指定された映像解析処理の実行に適さない撮像装置を判定することを特徴とする請求項乃至10のいずれか1項に記載の映像処理装置。
  12. 解析の対象とする撮像装置を選択する選択手段をさらに備え、
    前記複数の撮像装置は、前記選択手段により選択された撮像装置で構成されることを特徴とする請求項1乃至11のいずれか1項に記載の映像処理装置。
  13. 前記解析手段は、前記抽出手段が映像から属性を抽出した際に得られる確度情報を重みとして用いて、前記個別属性頻度情報および前記全体属性頻度情報を算出することを特徴とする請求項1乃至12のいずれか1項に記載の映像処理装置。
  14. 映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記抽出手段により前記属性が抽出された頻度を示す属性頻度情報を計算する解析手段と、
    前記属性頻度情報に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定する判定手段と、を備えることを特徴とする映像処理装置。
  15. 映像処理装置と、ユーザインタフェースを提供する情報処理装置とが接続された映像処理システムであって、
    前記映像処理装置が、
    複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報のうち少なくとも何れか一方を計算する解析手段と、
    前記個別属性頻度情報および前記全体属性頻度情報の少なくともいずれか一方に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定する判定手段と、を備え、
    前記情報処理装置が、
    前記判定手段による判定結果をユーザに提示する提示手段を備える、ことを特徴とする映像処理システム。
  16. 映像処理装置と、ユーザインタフェースを提供する情報処理装置とが接続された映像処理システムであって、
    前記映像処理装置が、
    複数の撮像装置から得られた映像を取得する取得手段と、
    前記取得手段により取得された前記映像から所定の属性を抽出する抽出手段と、
    前記複数の撮像装置の各々により得られた映像について前記抽出手段により前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出手段により前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析手段と、
    前記全体属性頻度情報との類似度が所定値より小さくなる個別属性頻度情報に対応する撮像装置を、映像解析処理の実行に適さない撮像装置と判定する判定手段と、を備え、
    前記情報処理装置が、
    前記判定手段による判定結果をユーザに提示する提示手段を備える、ことを特徴とする映像処理システム。
  17. 複数の撮像装置から得られた映像を取得する取得工程と、
    前記取得工程で取得された前記映像から所定の属性を抽出する抽出工程と、
    前記複数の撮像装置の各々により得られた映像について前記抽出工程で前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出工程で前記属性が抽出された頻度を示す全体属性頻度情報のうち少なくとも何れか一方を計算する解析工程と、
    前記個別属性頻度情報および前記全体属性頻度情報のうち少なくとも何れか一方に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定する判定工程と、を有することを特徴とする映像処理装置の制御方法。
  18. 複数の撮像装置から得られた映像を取得する取得工程と、
    前記取得工程で取得された前記映像から所定の属性を抽出する抽出工程と、
    前記複数の撮像装置の各々により得られた映像について前記抽出工程で前記属性が抽出された頻度を示す個別属性頻度情報、および、前記複数の撮像装置により得られた複数の映像について前記抽出工程で前記属性が抽出された頻度を示す全体属性頻度情報を計算する解析工程と、
    前記全体属性頻度情報との類似度が所定値より小さくなる個別属性頻度情報に対応する撮像装置を、映像解析処理の実行に適さない撮像装置と判定する判定工程と、を備えることを特徴とする映像処理装置の制御方法。
  19. 映像を取得する取得工程と、
    前記取得工程で取得された前記映像から所定の属性を抽出する抽出工程と、
    前記抽出工程で前記属性が抽出された頻度を示す属性頻度情報を計算する解析工程と、
    前記属性頻度情報に基づいて、複数の映像解析処理のうち適用可能な映像解析処理を判定する判定工程と、を有することを特徴とする映像処理装置の制御方法。
  20. 請求項1乃至14のいずれか1項に記載された映像処理装置の各手段としてコンピュータを機能させるためのプログラム。
JP2016060901A 2016-03-24 2016-03-24 映像処理装置、映像処理システムおよび制御方法 Active JP6739200B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016060901A JP6739200B2 (ja) 2016-03-24 2016-03-24 映像処理装置、映像処理システムおよび制御方法
EP17159308.0A EP3223192A3 (en) 2016-03-24 2017-03-06 Video processing apparatus and control method
US15/451,437 US20170278265A1 (en) 2016-03-24 2017-03-07 Video processing apparatus and control method
CN201710173566.8A CN107231519B (zh) 2016-03-24 2017-03-22 视频处理装置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016060901A JP6739200B2 (ja) 2016-03-24 2016-03-24 映像処理装置、映像処理システムおよび制御方法

Publications (2)

Publication Number Publication Date
JP2017175466A JP2017175466A (ja) 2017-09-28
JP6739200B2 true JP6739200B2 (ja) 2020-08-12

Family

ID=58264408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016060901A Active JP6739200B2 (ja) 2016-03-24 2016-03-24 映像処理装置、映像処理システムおよび制御方法

Country Status (4)

Country Link
US (1) US20170278265A1 (ja)
EP (1) EP3223192A3 (ja)
JP (1) JP6739200B2 (ja)
CN (1) CN107231519B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7062960B2 (ja) * 2018-01-12 2022-05-09 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法
JP2020022054A (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮影装置、電子機器及び通知方法
US11495024B2 (en) * 2020-04-01 2022-11-08 Honeywell International Inc. Systems and methods for collecting video clip evidence from a plurality of video streams of a video surveillance system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0715453B1 (en) * 1994-11-28 2014-03-26 Canon Kabushiki Kaisha Camera controller
JP4125634B2 (ja) * 2003-05-26 2008-07-30 Necソフト株式会社 顧客情報収集管理方法及びそのシステム
US7792359B2 (en) * 2006-03-02 2010-09-07 Sharp Laboratories Of America, Inc. Methods and systems for detecting regions in digital images
FR2898757A1 (fr) * 2006-03-14 2007-09-21 Canon Kk Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP2010033474A (ja) * 2008-07-31 2010-02-12 Omron Corp 属性別人数集計装置、属性別人数集計方法、および属性別人数集計システム
JP5923723B2 (ja) 2011-06-02 2016-05-25 パナソニックIpマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
CN102496024B (zh) * 2011-11-25 2014-03-12 山东大学 智能监控中以特征帧触发的事件检测方法
JP5971712B2 (ja) 2012-09-20 2016-08-17 株式会社東芝 監視装置及び方法
US9158970B2 (en) * 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
JP6098981B2 (ja) * 2015-03-31 2017-03-22 パナソニックIpマネジメント株式会社 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames

Also Published As

Publication number Publication date
EP3223192A2 (en) 2017-09-27
EP3223192A3 (en) 2017-12-13
JP2017175466A (ja) 2017-09-28
US20170278265A1 (en) 2017-09-28
CN107231519A (zh) 2017-10-03
CN107231519B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
JP6013241B2 (ja) 人物認識装置、及び方法
JP5664553B2 (ja) 人物服装特徴抽出装置、人物検索装置、人物服装特徴抽出方法、人物検索方法及びプログラム
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6172551B1 (ja) 画像検索装置、画像検索システム及び画像検索方法
JP7282851B2 (ja) 装置、方法及びプログラム
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
KR20200136961A (ko) 관심 대상에 대한 이미지 검색을 촉진하기 위해 사용자와 상호 작용하는 방법 및 시스템
JP6254836B2 (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
US10146992B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
KR20080104034A (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP5180922B2 (ja) 画像検索システム及び画像検索方法
JP2014016968A (ja) 人物検索装置及びデータ収集装置
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6739200B2 (ja) 映像処理装置、映像処理システムおよび制御方法
JP2018081654A (ja) 検索装置、表示装置および検索方法
JP2019185205A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015230616A (ja) 画像処理方法および画像処理装置
JP6090162B2 (ja) 部位分離位置抽出装置、プログラム、方法
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
JP7435837B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2002208011A (ja) 画像照合処理システムおよび画像照合方法
US11716448B2 (en) Information processing apparatus, information processing method, and storage medium
JP2023065024A (ja) 検索処理装置、検索処理方法及びプログラム
JP2018049566A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R151 Written notification of patent or utility model registration

Ref document number: 6739200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151