JP6218089B2 - 撮影位置決定装置及び撮影位置決定方法 - Google Patents

撮影位置決定装置及び撮影位置決定方法 Download PDF

Info

Publication number
JP6218089B2
JP6218089B2 JP2015522558A JP2015522558A JP6218089B2 JP 6218089 B2 JP6218089 B2 JP 6218089B2 JP 2015522558 A JP2015522558 A JP 2015522558A JP 2015522558 A JP2015522558 A JP 2015522558A JP 6218089 B2 JP6218089 B2 JP 6218089B2
Authority
JP
Japan
Prior art keywords
state
person
monitoring area
position determination
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522558A
Other languages
English (en)
Other versions
JPWO2014203523A1 (ja
Inventor
陽一 合田
陽一 合田
宏明 由雄
宏明 由雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014203523A1 publication Critical patent/JPWO2014203523A1/ja
Application granted granted Critical
Publication of JP6218089B2 publication Critical patent/JP6218089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本開示は、監視カメラシステムに用いて好適な撮影位置決定装置及び撮影位置決定方法に関する。
監視カメラシステムには、撮像された画像より照合対象者の顔画像を抽出する画像処理装置を有するものがある。例えば、特許文献1に記載された画像処理装置がある。この画像処理装置は、撮像手段により撮像された画像より、照合対象者の顔画像を抽出し、照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適していない場合、顔画像に基づいて、撮像手段の撮像方向の調整、ズーム倍率の調整及び露光量の調整を行うようにしている。
日本国特開2009−086932号公報
しかしながら、上述した特許文献1に記載された画像処理装置は、照合対象者の顔画像が照合に適していないと判定した場合、撮像手段の撮像方向、ズーム倍率及び露光量の調整を行うが、状況に即した調整ができなかった。また、目瞑り顔や正面を向いていない顔に対して、顔照合に適していないと判定することができなかった。具体的には、照合対象者の目状態や顔向きが変化する要因の1つとして照明条件の変化が考えられる。太陽の光による照明条件は時間的に変化し、その変化に応じてカメラの調整を変更する必要があるが、特許文献1に記載された画像処理装置では、その変更量を適切に予測することができなかった。また、目瞑り顔に対して照合に適していないと判定することができなかった。
本開示は、係る事情に鑑みてなされたものであり、撮像された画像より顔照合を行う画像処理を行う撮影位置決定装置及び撮影位置決定方法において、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減できる撮影位置決定装置及び撮影位置決定方法を提供することを目的とする。
本開示の撮影位置決定装置は、顔照合を行う撮影位置決定装置であって、監視エリア内の人物の画像と位置を取得する入力部と、前記入力部で取得した画像から前記人物の顔の状態を抽出する状態抽出部と、前記人物の位置と前記人物の顔の状態から前記監視エリア内の前記人物の顔の状態を示す状態マップを作成する状態マップ作成部と、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする。
本開示によれば、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減でき、顔照合の精度向上が図れる。
本開示の一実施の形態に係る撮影位置決定装置の概略構成を示すブロック図 図1の撮影位置決定装置の監視エリアを真上から見た図 図1の撮影位置決定装置の監視エリアを横から見た図 図1の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、真上から見た図 図1の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、横から見た図 図1の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、真上から見た図 図1の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、横から見た図 図1の撮影位置決定装置の調整量予測部の処理を示すフローチャート 図1の撮影位置決定装置の各種マップ表示画面生成部で生成された表示情報の一例であり、真上から見た図 図1の撮影位置決定装置の各種マップ表示画面生成部で生成された表示情報の一例であり、横から見た図 図1の撮影位置決定装置の最適監視位置表示画面生成部で生成された表示情報の一例であり、真上から見た図 図1の撮影位置決定装置の最適監視位置表示画面生成部で生成された表示情報の一例であり、横から見た図 図1の撮影位置決定装置のカメラ設置最適位置表示画面生成部で生成された表示情報の一例であり、カメラ監視位置調整前の図 図1の撮影位置決定装置のカメラ設置最適位置表示画面生成部で生成された表示情報の一例であり、カメラ監視位置調整後の図 図1の撮影位置決定装置のカメラを通して観察できる2次元画像の一例を示す図
以下、本開示を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
図1は、本開示の一実施の形態に係る撮影位置決定装置の概略構成を示すブロック図である。同図において、本実施の形態に係る撮影位置決定装置1は、カメラ(撮影部)2と、画像処理装置3と、最適監視位置表示画面生成部4と、各種マップ表示画面生成部5と、カメラ設置最適位置表示画面生成部6と、予測調整量表示画面生成部7と、表示部8とを有する。
カメラ2は、監視エリアを撮影して監視画像を取得し、画像データとして出力する。画像処理装置3は、画像受取部(入力部)30と、顔検出部31と、適正顔画像判定部32と、顔状態マップ生成部33と、調整量予測部(位置決定部)34と、カメラ設定変更部35とを有する。画像受取部30は、カメラ2から出力される画像データより、監視エリア内の人物の画像を取得する。顔検出部31は、画像受取部30が取得した画像から人物の顔を検出する顔検出処理を行う。適正顔画像判定部32は、顔検出部31で検出された人物の顔サイズを判定する顔サイズ判定部321と、顔検出部31で検出された人物の顔の輝度を判定する顔輝度判定部322と、顔検出部31で検出された人物の目の開閉状態を検出する目状態検出部(状態抽出部)323とを有する。
顔状態マップ生成部33は、人物の位置と該人物の状態から監視エリア内の人物の目の開閉状態を示す目状態マップを作成する目状態マップ生成部(状態マップ作成部)331と、人物の顔サイズから顔サイズマップを生成する顔サイズマップ生成部332と、人物の顔輝度から顔の明るさマップを生成する顔明るさマップ生成部333とを有する。顔状態マップ生成部33は、生成した目状態マップ、顔サイズマップ及び顔明るさマップを各種マップ表示画面生成部5及びカメラ設置最適位置表示画面生成部6それぞれに出力する。
調整量予測部34は、顔状態マップ生成部33で生成された各種マップを用いて監視エリア内の人物の最適監視位置を決定し、決定した最適監視位置を最適監視位置表示画面生成部4に出力する。また、調整量予測部34は、決定した最適監視位置におけるカメラ2の調整量(撮像方向、ズーム倍率及び露光量等)を予測し、予測した調整量をカメラ設定変更部35に出力する。カメラ設定変更部35は、調整量予測部34で予測された調整量を用いてカメラ設定を変更する。
最適監視位置表示画面生成部4は、調整量予測部34で決定された最適監視位置を、カメラ2の設定に最適な3次元位置で視覚表示するための表示情報を生成する。各種マップ表示画面生成部5は、顔状態マップ生成部33で生成された各種マップを視覚的に表示するための表示情報を生成する。カメラ設置最適位置表示画面生成部6は、顔状態マップ生成部33で生成された各種マップの状態を分析して、カメラ2をどの位置に設置すれば最適な監視が可能となるかを提案する表示情報を生成する。予測調整量表示画面生成部7は、調整量予測部34で予測された調整量を視覚的に表示するための表示情報を生成する。表示部8は、最適監視位置表示画面生成部4から出力される表示情報、各種マップ表示画面生成部5から出力される表示情報、カメラ設置最適位置表示画面生成部6から出力される表示情報及び予測調整量表示画面生成部7から出力される表示情報をそれぞれ視覚表示する。
次に、本実施の形態に係る撮影位置決定装置1の動作について説明する。
図2及び図3は、カメラ2による監視エリア50を示す図であり、図2は同エリア50を真上から見た図、図3は同エリア50を横から見た図である。カメラ2は、店舗の出入り口付近に配置され、店舗内から出てくる人物100を撮影する。監視エリア50は、その遠端と近端との間が一定間隔で区切られており、各区画をセル51と呼ぶ。
図4〜図7は、目状態マップ生成部331で生成された目状態マップの一例を示す図であり、図4及び図6はそれぞれ目状態マップを真上から見た図、図5及び図7はそれぞれ目状態マップを横から見た図である。図4及び図5において、目状態マップは、ある時間帯における人物の目の状態を示すもので、色の濃いセルほど目瞑り状態の画像が多くなる。図4及び図5に示す目状態マップが得られた時間帯では、カメラ2側から数えて4列目のセル51において目瞑り状態の顔画像が多く観測されている。この場合、目瞑り状態の顔画像が多く観測されるセル51は1個の場合もあるが、複数個の場合もある。図4及び図5に示す例では、目瞑り状態の顔画像が多く観測されるセル51は複数個あり、この複数個のセル51に対応するエリアを悪化エリア60と呼ぶ。
悪化エリア60では目瞑り状態の顔画像を多く観測することになり、顔照合の精度が低下する。そこで、目瞑り状態のない最適な顔画像を取得できるように、カメラ2の撮像方向、ズーム倍率及び露光量等を調整する。例えば、カメラ2側から数えて5列目のセル51に対応するエリア(最適監視エリア)70で最適な顔画像(目瞑りの無い顔画像)が取得できるようにカメラ2の調整を行うと、精度の高い顔照合を行えるようになる。
ところが、時間が経過して図6及び図7に示すような状態になると、エリア70で目瞑り状態の顔画像が多く観測されるようになる。即ち、悪化エリア60が移動してエリア70まで来てしまうと、目瞑り状態の顔画像が多く観測されるようになる。この場合、図6及び図7に示すように、前回の悪化エリアを60B(B:Before)とし、今回の悪化エリアを60A(A:After)としている。本実施の形態に係る撮影位置決定装置1では、所定の時間内に目状態マップを複数生成し、目状態マップの監視エリア50内の移動方向に応じて、監視エリア50内の人物の撮影位置を変更するようにしている。なお、図6及び図7において、前回のエリア(最適監視エリア)を70B(B:Before)とし、今回のエリア(最適監視エリア)を70A(A:After)としている。
このように、本実施の形態に係る撮影位置決定装置1は、目瞑り状態の顔画像を多く観測しないように、監視エリア50内の人物の撮影位置を変更するようにしている。以下、各部の動作を説明する。まず目状態マップ生成部331は、監視エリア50のセル51ごとの目瞑り状態を示すスコアを算出し、セルごとに積算して目状態マップを生成する。この目状態マップを所定の時間内に複数回作成し、目状態マップを生成するごとに調整量予測部34が当該目状態マップを用いて監視エリア50内の人物の撮影位置(以下、最適監視位置と呼ぶ)を決定する。そして、決定した最適監視位置を最適監視位置表示画面生成部4に出力する。また、調整量予測部34は、決定した最適監視位置におけるカメラ2の調整量(撮像方向、ズーム倍率及び露光量等)を予測し、予測した調整量をカメラ設定変更部35に出力する。
図8は、調整量予測部34の処理を示すフローチャートである。同図において、まず時間帯Aの目状態マップを入力する(ステップS1)。次いで、時間帯Bの目状態マップを入力する(ステップS2)。時間帯Aの目状態マップと時間帯Bの目状態マップを入力した後、これらの差分を算出する(ステップS3)。そして、算出した差分より、悪化エリア(即ち、目瞑りエリア)の移動速度を算出する(ステップS4)。悪化エリアの移動速度を算出した後、最適監視位置を算出する(ステップS5)。
なお、顔サイズと顔明るさについても同様に処理することができる。顔明るさについては、目状態と同様に、太陽光による影響が時間的に連続して目瞑りエリアが移動することを利用することができるし、顔サイズについては、例えば平日の学校の下校時刻頃に顔の小さい子供の来店が多い傾向がある等の情報を予測に用いることができる。
また、目状態マップ、顔サイズマップ及び顔明るさマップの作成は、毎日の同時刻ごとに作成して使用するようにしてもよいし、季節ごとに作成して使用するようにしてもよい。また、照明状態を制御することができる場合には、照明状態を制御することで監視エリアの環境を改善することもできる。
また、目状態マップ、顔サイズマップ及び顔明るさマップを表示するための表示情報を生成する各種マップ表示画面生成部5により、顔照合の精度が悪化する虞のある位置をユーザが認識できるようになり、その情報を元に微調整を加えることで更なる精度改善も可能となる。また、最終的にどの位置が監視位置となっているかについては、最適監視位置表示画面生成部4により生成される表示情報によって確認することが可能であり、動線の妨げになっている障害物を取り除くなどすることで、ユーザがその位置の監視環境を改善させることもできるようになる。
監視エリア50内の人物の最適監視位置が決定されると、カメラ設定変更部35は、調整量予測部34で予測されたカメラ2の調整量を用いて最適監視位置を変更する。即ち、目状態マップの監視エリア50内の移動方向に応じて、監視エリア50内の人物の最適監視位置を変更する。例えば、ある時間に作成した目状態マップが、図4及び図5に示すものとし、その後のある時間に作成した目状態マップが、図6及び図7に示すものとすると、図4及び図5に示す時間における目状態マップが時間的にカメラ2から遠ざかる方向に目状態の悪いセルが移動していることが検出されて、その速度から最適監視エリア70Bが最適監視エリア70Aへ移動するように、カメラ2が調整される。このようにして、状況に即した調整量でカメラ調整が可能になる。何故ならば、眩しさを感じる原因の一つである太陽の光が差し込む角度は時間的に連続して変化するからである。
各種マップ表示画面生成部5は、実空間上のスケールに合わせて表示するための表示情報を生成する。図9及び図10は、各種マップ表示画面生成部5で生成された表示情報の一例であり、図9は真上から見た図、図10は横から見た図である。各種マップ表示画面生成部5で生成された表示情報は表示部8にて表示されるので、ユーザはこの目状態マップを見ることで、具体的にどの辺りの各顔状態が悪化しているのかを直感的に知ることができる。例えば図9に示すように、カメラ2から見て左側遠方に悪化エリア61があり、その原因が店外からの外光の影響であれば、ブラインドを下ろしたり、鏡の向きを変更したりするなどの改善措置を取ることができ、更なる監視環境の改善が可能となる。
最適監視位置表示画面生成部4は、現在の状況において顔検出に最適な監視位置を表示するための表示情報を生成する。図11及び図12は、最適監視位置表示画面生成部4で生成された表示情報の一例であり、図11は真上から見た図、図12は横から見た図である。最適監視位置71を表示するための表示情報は表示部8にて表示されるので、ユーザはこの表示を見ることで、例えば、表示されている部分に動線を遮るようなものを置かないよう注意したり、逆に通行者がその位置を通りやすいよう設備等を配置したりすることができ、更なる監視環境の改善が可能となる。
カメラ設置最適位置表示画面生成部6は、カメラ2の設定に最適な3次元位置を表示するための表示情報を生成する。図13及び図14は、カメラ設置最適位置表示画面生成部6で生成された表示情報の一例であり、図13はカメラ監視位置調整前の図、図14はカメラ監視位置調整後の図である。カメラ設置最適位置表示画面生成部6で生成された表示情報は表示部8にて表示されるので、ユーザはこの表示を見ることで、カメラ2をどの位置に設置すれば最適な監視が可能となるかが分る。例えば、目状態マップが図13に示すような状態の場合、目状態マップの分布状況から、矢印90に示すように、図の右下から左上に向けて目状態を悪化させる原因となるものがあると推測できる。例えば、エアコンの風が直接吹き付けるなどである。その場合、調整量予測部34で、図中に示すようにカメラ2の最適監視位置の調整量が予測される。そして、予測調整量表示画面生成部7が、その予測値に基づく表示情報を生成するので、ユーザがその表示を見ることでカメラ2の最適監視位置の変更を行う。これにより、図14に示すように監視エリア50の環境改善が可能となる。この場合、調整前の監視エリアを50B(B:Before)とし、調整後の監視エリアを50A(A:After)としている。
このように本実施の形態に係る撮影位置決定装置1によれば、監視エリア50内の人物の画像と位置を取得する画像受取部30と、画像受取部30で取得した画像から人物の目の開閉状態を検出する目状態検出部323と、目状態検出部323で取得した人物の目の開閉状態から監視エリア50内の人物の目状態を示す目状態マップを作成する目状態マップ生成部331と、目状態マップ生成部331で作成された目状態マップを用いて監視エリア50内の人物の撮影位置を決定する調整量予測部34と、を有するので、人物の目状態に即したカメラ調整を行うことができ、これによって目瞑り顔の取得が低減し、顔照合精度の向上が図れる。
なお、本実施の形態に係る撮影位置決定装置1は、目状態マップを生成するときに3次元位置を必要としたが、単に監視するだけであれば、3次元位置は不要であるので、カメラ2を通して観察できる2次元位置でも構わない。図15は、カメラ2を通して観察できる2次元画像の一例を示す図である。同図において、500はカメラ2の画角であり、501,502はそれぞれ画像取得領域(カメラ2で撮影された画像における撮影位置に対応する領域)である。
(本開示の一態様の概要)
本開示の撮影位置決定装置は、監視エリア内の人物の画像と位置を取得する入力部と、前記入力部で取得した画像から前記人物の状態を抽出する状態抽出部と、前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成部と、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする。
上記構成によれば、人物の位置と該人物の状態に即した撮影位置を決定できる。
上記構成において、前記状態マップ作成部は時間帯ごとに前記状態マップを作成することを特徴とする。
上記構成によれば、時間帯に即した撮影位置を決定できる。
上記構成において、前記撮影位置決定装置は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする。
上記構成によれば、監視エリアの環境を改善することができる。
上記構成において、前記人物の状態は前記人物の目の開閉状態であることを特徴とする。
上記構成によれば、目瞑り顔の取得を低減できる。
上記構成において、所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする。
上記構成によれば、例えば太陽光が差し込む角度が時間的に連続して変化しても、その影響を受けることがないように、撮影位置を変更できるので、目瞑り顔の取得を低減できる。
上記構成において、前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする。
上記構成によれば、監視の邪魔となる障害物を取り除くことができ、監視環境の改善が図れる。
上記構成において、前記監視エリアを撮影して監視画像を取得する撮影部を有し、前記撮影部は前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする。
上記構成によれば、人物の状態に即した撮影位置を決定でき、顔照合精度の向上が図れる。
上記構成において、前記決定された撮影位置を元に、前記撮影部を制御することを特徴とする。
上記構成によれば、監視エリア内の人物を確実に撮影することができる。
上記構成において、前記状態マップを表示するための表示情報を生成する表示画面生成部をさらに有することを特徴とする。
上記構成によれば、作成した状態マップを目視で確認することができる。
本開示の撮影位置決定方法は、監視エリア内の人物の画像と位置を取得する入力ステップと、前記入力ステップで取得した画像から前記人物の状態を抽出する状態抽出ステップと、前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成ステップと、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定ステップと、を有することを特徴とする。
上記方法によれば、人物の位置と該人物の状態に即した撮影位置を決定できる。
上記方法において、前記状態マップ作成ステップは時間帯ごとに前記状態マップを作成することを特徴とする。
上記方法によれば、時間帯に即した撮影位置を決定できる。
上記方法において、前記撮影位置決定方法は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする。
上記方法によれば、監視エリアの環境を改善することができる。
上記方法において、前記人物の状態は前記人物の目の開閉状態であることを特徴とする。
上記方法によれば、目瞑り顔の取得を低減できる。
上記方法において、所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする。
上記方法によれば、例えば太陽光が差し込む角度が時間的に連続して変化しても、その影響を受けることがないように、撮影位置を変更できるので、目瞑り顔の取得を低減できる。
上記方法において、前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする。
上記方法によれば、監視の邪魔となる障害物を取り除くことができ、監視環境の改善が図れる。
上記方法において、前記監視エリアを撮影して監視画像を取得する撮影ステップを有し、前記撮影ステップは前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする。
上記方法によれば、人物の状態に即した撮影位置を決定でき、顔照合精度の向上が図れる。
上記方法において、前記決定された撮影位置を元に、前記撮影ステップを制御することを特徴とする。
上記方法によれば、監視エリア内の人物を確実に撮影することができる。
上記方法において、前記状態マップを表示するための表示情報を生成する表示画面生成ステップをさらに有することを特徴とする。
上記方法によれば、作成した状態マップを目視で確認することができる。
本開示を詳細にまた特定の実施態様を参照して説明したが、本開示の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2013年6月18日出願の日本特許出願(特願2013−127594)に基づくものであり、その内容はここに参照として取り込まれる。
本開示は、撮像された画像より顔照合を行う画像処理を行う撮影位置決定装置及び撮影位置決定方法において、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減できるといった効果を有し、監視カメラシステムへの適用が可能である。
1 撮影位置決定装置
2 カメラ
3 画像処理装置
4 最適監視位置表示画面生成部
5 各種マップ表示画面生成部
6 カメラ設置最適位置表示画面生成部
7 予測調整量表示画面生成部
8 表示部
30 画像受取部
31 顔検出部
32 適正顔画像判定部
33 顔状態マップ生成部
34 調整量予測部
35 カメラ設定変更部
50 監視エリア
51 セル
100 人物
321 顔サイズ判定部
322 顔輝度判定部
323 目状態検出部
331 目状態マップ生成部
332 顔サイズマップ生成部
333 顔明るさマップ生成部

Claims (18)

  1. 顔照合を行う撮影位置決定装置であって、
    監視エリア内の人物の画像と位置を取得する入力部と、
    前記入力部で取得した画像から前記人物の顔の状態を抽出する状態抽出部と、
    前記人物の位置と前記人物の顔の状態から前記監視エリア内の前記人物の顔の状態を示す状態マップを作成する状態マップ作成部と、
    前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする撮影位置決定装置。
  2. 前記状態マップ作成部は時間帯ごとに前記状態マップを作成することを特徴とする請求項1に記載の撮影位置決定装置。
  3. 前記撮影位置決定装置は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする請求項1に記載の撮影位置決定装置。
  4. 前記人物の顔の状態は前記人物の目の開閉状態であることを特徴とする請求項1に記載の撮影位置決定装置。
  5. 所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の悪化エリアの移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする請求項1に記載の撮影位置決定装置。
  6. 前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする請求項1に記載の撮影位置決定装置。
  7. 前記監視エリアを撮影して監視画像を取得する撮影部を有し、
    前記撮影部は前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする請求項1に記載の撮影位置決定装置。
  8. 前記決定された撮影位置を元に、前記撮影部を制御することを特徴とする請求項7に記載の撮影位置決定装置。
  9. 前記状態マップを表示するための表示情報を生成する表示画面生成部をさらに有することを特徴とする請求項1に記載の撮影位置決定装置。
  10. 顔照合を行う撮影位置決定方法であって、
    監視エリア内の人物の画像と位置を取得する入力ステップと、
    前記入力ステップで取得した画像から前記人物の顔の状態を抽出する状態抽出ステップと、
    前記人物の位置と前記人物の顔の状態から前記監視エリア内の前記人物の顔の状態を示す状態マップを作成する状態マップ作成ステップと、
    前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定ステップと、を有することを特徴とする撮影位置決定方法。
  11. 前記状態マップ作成ステップは時間帯ごとに前記状態マップを作成することを特徴とする請求項10に記載の撮影位置決定方法。
  12. 前記撮影位置決定方法は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする請求項10に記載の撮影位置決定方法。
  13. 前記人物の顔の状態は前記人物の目の開閉状態であることを特徴とする請求項10に記載の撮影位置決定方法。
  14. 所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の悪化エリアの移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする請求項10に記載の撮影位置決定方法。
  15. 前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする請求項10に記載の撮影位置決定方法。
  16. 前記監視エリアを撮影して監視画像を取得する撮影ステップを有し、
    前記撮影ステップは前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする請求項10に記載の撮影位置決定方法。
  17. 前記決定された撮影位置を元に、前記撮影ステップを制御することを特徴とする請求項16に記載の撮影位置決定方法。
  18. 前記状態マップを表示するための表示情報を生成する表示画面生成ステップをさらに有することを特徴とする請求項10に記載の撮影位置決定方法。
JP2015522558A 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法 Active JP6218089B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013127594 2013-06-18
JP2013127594 2013-06-18
PCT/JP2014/003255 WO2014203523A1 (ja) 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法

Publications (2)

Publication Number Publication Date
JPWO2014203523A1 JPWO2014203523A1 (ja) 2017-02-23
JP6218089B2 true JP6218089B2 (ja) 2017-10-25

Family

ID=52104274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015522558A Active JP6218089B2 (ja) 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法

Country Status (4)

Country Link
US (1) US9905010B2 (ja)
EP (1) EP3013043A4 (ja)
JP (1) JP6218089B2 (ja)
WO (1) WO2014203523A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9905010B2 (en) * 2013-06-18 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Image position determination device and image position determination method for reducing an image of a closed eye person
US10667007B2 (en) * 2014-01-22 2020-05-26 Lenovo (Singapore) Pte. Ltd. Automated video content display control using eye detection
JP6725381B2 (ja) 2016-09-20 2020-07-15 株式会社東芝 画像照合装置および画像照合方法
US10909385B2 (en) 2017-03-30 2021-02-02 Nec Corporation Image monitoring system, image monitoring method, and image monitoring program
US10186124B1 (en) * 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
US11328404B2 (en) 2018-07-31 2022-05-10 Nec Corporation Evaluation apparatus, evaluation method, and non-transitory storage medium
MX2021012393A (es) 2019-04-10 2022-03-17 Scott Charles Mullins Sistemas de monitoreo.
EP4020981A1 (en) 2020-12-22 2022-06-29 Axis AB A camera and a method therein for facilitating installation of the camera

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076102B2 (en) 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20030058111A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US20030058237A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Multi-layered background models for improved background-foreground segmentation
US7202791B2 (en) 2001-09-27 2007-04-10 Koninklijke Philips N.V. Method and apparatus for modeling behavior using a probability distrubution function
US7110569B2 (en) 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US7369680B2 (en) 2001-09-27 2008-05-06 Koninklijke Phhilips Electronics N.V. Method and apparatus for detecting an event based on patterns of behavior
US7043075B2 (en) 2001-09-27 2006-05-09 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
KR20040037145A (ko) 2001-09-27 2004-05-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 컴퓨터-기반 영상 감시용 최적 다중-카메라 셋업
US20030058342A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Optimal multi-camera setup for computer-based visual surveillance
JP4082190B2 (ja) * 2002-11-26 2008-04-30 松下電工株式会社 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
EP1685535B1 (en) * 2003-08-21 2014-04-30 Philips Intellectual Property & Standards GmbH Device and method for combining two images
US20060171453A1 (en) 2005-01-04 2006-08-03 Rohlfing Thomas R Video surveillance system
WO2006118563A1 (en) 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
US20060255931A1 (en) 2005-05-12 2006-11-16 Hartsfield Andrew J Modular design for a security system
US7574043B2 (en) * 2005-06-27 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Method for modeling cast shadows in videos
JP4862518B2 (ja) 2006-06-29 2012-01-25 パナソニック株式会社 顔登録装置、顔認証装置および顔登録方法
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
JP5082724B2 (ja) 2007-09-28 2012-11-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP4831434B2 (ja) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
WO2010125489A1 (en) 2009-04-29 2010-11-04 Koninklijke Philips Electronics N.V. Method of selecting an optimal viewing angle position for a camera
JP2011114580A (ja) 2009-11-26 2011-06-09 Panasonic Corp 複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法
GB2476500B (en) 2009-12-24 2012-06-20 Infrared Integrated Syst Ltd Activity mapping system
US9905010B2 (en) * 2013-06-18 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Image position determination device and image position determination method for reducing an image of a closed eye person

Also Published As

Publication number Publication date
WO2014203523A1 (ja) 2014-12-24
US20160133021A1 (en) 2016-05-12
EP3013043A1 (en) 2016-04-27
EP3013043A4 (en) 2017-04-12
JPWO2014203523A1 (ja) 2017-02-23
US9905010B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
JP6218089B2 (ja) 撮影位置決定装置及び撮影位置決定方法
US11403771B2 (en) Image processing apparatus, monitoring system, image processing method, and program
JP5435307B2 (ja) 車載カメラ装置
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2013005234A5 (ja)
JP4979525B2 (ja) マルチカメラシステム
JPWO2005107240A1 (ja) 自動撮影方法および装置
JP2006229322A (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2011174648A (ja) 画像処理装置、画像処理方法および空調制御装置
JP5887508B2 (ja) 露光制御装置、撮像装置、画像表示装置及び露光制御方法
JP2006211139A (ja) 撮像装置
WO2013114862A1 (ja) 最適カメラ設定装置及び最適カメラ設定方法
CN109146906B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
EP2309454A2 (en) Apparatus and method for detecting motion
KR20140004291A (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
JP2017098776A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4872396B2 (ja) 画像編集装置、画像編集方法および画像編集プログラム
JP4618062B2 (ja) 監視装置、監視システム、および監視方法
US10715787B1 (en) Depth imaging system and method for controlling depth imaging system thereof
CN106170061B (zh) 摇摄指标显示设备和处理方法
JP4816431B2 (ja) モニタリングシステム、ドライビングアシストシステム
KR20100032005A (ko) 차선이 표시된 측방/후방 영상 제공 시스템
JP2005277726A (ja) 画像監視装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170915

R151 Written notification of patent or utility model registration

Ref document number: 6218089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151