JP6265133B2 - 見え方提示システム、方法およびプログラム - Google Patents

見え方提示システム、方法およびプログラム Download PDF

Info

Publication number
JP6265133B2
JP6265133B2 JP2014550914A JP2014550914A JP6265133B2 JP 6265133 B2 JP6265133 B2 JP 6265133B2 JP 2014550914 A JP2014550914 A JP 2014550914A JP 2014550914 A JP2014550914 A JP 2014550914A JP 6265133 B2 JP6265133 B2 JP 6265133B2
Authority
JP
Japan
Prior art keywords
image
monitoring
camera
resolution
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014550914A
Other languages
English (en)
Other versions
JPWO2014087622A1 (ja
Inventor
浩雄 池田
浩雄 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014087622A1 publication Critical patent/JPWO2014087622A1/ja
Application granted granted Critical
Publication of JP6265133B2 publication Critical patent/JP6265133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00Other aspects
    • G06K2207/1012Special detection of object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、カメラによって撮影される監視対象物が撮影画像内でどのように見えるかをユーザに提示する見え方提示システム、見え方提示方法および見え方提示プログラムに関する。
カメラの撮影範囲を表示する技術が特許文献1に記載されている。特許文献1に記載された技術では、表示装置に表示された所定エリアの上面図上で、カメラの位置等を指定すると、カメラの撮影範囲を投影した水平視野をその上面図内に表示するとともに、カメラの光軸を含み水平面に垂直な面内におけるカメラの視野である垂直視野を立面図内に表示する。図13は、特許文献1に記載の技術によって表示される水平視野および垂直視野を表す模式図である。
特許文献1に記載の技術では、例えば、上面図100においてカメラの位置を指定すると、カメラを表すカメラ表示子101が上面図100上に表示される。また、ユーザは、カメラの高さを、立面図107に表示されるカメラ表示子111をドラッグすることで調整する。カメラの位置が指定されると、計算された水平視野105が上面図100に表示され、垂直視野115が立面図107に表示される。垂直視野115は、カメラの光軸110を含む。また、人物のアイコンを上面図100上にドラッグアンドドロップすると、その位置に人物表示子102が表示され、さらに、立面図107内にも人物表示子112が表示される。同様に、カメラの障害物となる壁の存在位置を指定することで、壁表示子103が上面図に表示される。なお、図13において、上面図100内の人物表示子を符号“102”で表し、立面図107内の人物表示子を符号“112”で表す。
特許文献1に記載の技術は、上記のような表示を行うことで、カメラの視野と、所定エリア内の壁、人物等との関係を提示して、カメラの配置位置の調整に利用される。
特開2009−239821号公報
カメラが監視対象物(例えば、人物)を撮影することによって得られた画像を用いて、画像認識処理を行う場合がある。画像認識処理の例として、画像内から監視対象物を検出する検出処理や、画像内から監視対象物を検出するだけでなく、さらにその監視対象物を識別する識別処理等が挙げられる。ただし、画像認識処理は、これらの例に限定されない。このような画像認識処理を実行する場合、カメラによって撮影される画像がどの程度、画像認識処理に適しているかをユーザが事前に把握できることが好ましい。
例えば、画像内に写った監視対象物の解像度が低いと、その画像は画像認識処理に適していると言えない。また、例えば、画像認識処理にとって好ましくない角度で監視対象物を撮影した場合の画像も、画像認識処理に適していると言えない。このようなことを、実際にカメラを配置して運用する前にユーザが把握できることが好ましい。
特許文献1に記載された技術では、カメラの水平視野105を上面図100内に表示し、垂直視野115を立面図107内に表示するとともに、人物表示子102,112を表示することができる(図13参照)。
しかし、特許文献1に記載した技術では、ユーザが指定した位置に人物表示子を表示するに止まっていて、撮影画像内で人物がどのように見えるか(すなわち、人物がどのように画像に写るか)を確認することができない。そのため、カメラの配置位置や姿勢等を定めた場合にそのカメラによって得られる画像が、画像認識処理にどの程度適しているかをユーザが事前に把握できない。また、配置位置や姿勢等が定められたカメラの撮影画像内で監視対象物が写る位置によっても、画像内における監視対象物の見え方は変化し、そのような変化をユーザが確認できることが好ましい。
そこで、本発明は、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方(換言すれば、監視対象物が画像内にどのように写るか)を提示することができる見え方提示システム、見え方提示方法および見え方提示プログラムを提供することを目的とする。
本発明による見え方提示システムは、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、その画像内で、対象物表示子の位置の指定を受け付ける位置指定受付手段と、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、表示制御手段が、画像生成手段に生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする。
また、本発明による見え方提示方法は、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、その画像内で、対象物表示子の位置の指定を受け付け、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成し、生成した画像から、監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする。
また、本発明による見え方提示プログラムは、コンピュータに、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、その画像内で、対象物表示子の位置の指定を受け付ける位置指定受付処理、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像を生成する画像生成処理、および、画像生成処理で生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理を実行させることを特徴とする。
本発明によれば、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方を提示することができる。
本発明の見え方提示システムの構成例を示すブロック図である。 解像度評価関数の例を示すグラフである。 監視対象物への注視点角度を示す説明図である。 注視点角度評価関数の例を示すグラフである。 ユーザ操作用画像の例を示す説明図である。 評価用画像の例を示す説明図である。 本発明の処理経過の例を示すフローチャートである。 ステップS8で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップS8で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップS8で表示されるユーザ判断用情報の表示例を示す説明図である。 ステップS8で表示されるユーザ判断用情報の表示例を示す説明図である。 本発明の主要部の例を示すブロック図である。 特許文献1に記載の技術によって表示される水平視野および垂直視野を表す模式図である。
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明の見え方提示システムの構成例を示すブロック図である。本実施形態の見え方提示システム1は、情報記憶部2と、画像生成部3と、位置指定受付部4と、非隠れ率算出部5と、注視点角度算出部6と、第1の適合度算出部7と、解像度取得部8と、第2の適合度算出部9と、表示制御部10と、表示部11とを備える。また、図示を省略しているが、見え方提示システム1は、マウス等のポインティングデバイスも備える。
表示部11は、画像を表示する表示装置である。
情報記憶部2は、カメラパラメータおよびカメラの画面サイズと、監視対象領域を示す情報と、カメラによって撮影される監視対象物に関する情報と、監視対象領域に配置される障害物に関する情報と、解像度評価関数と、注視点角度評価関数とを記憶する記憶装置である。
カメラパラメータは、撮影画像内の監視対象物の見え方の確認対象となるカメラのパラメータである。カメラパラメータには、カメラの配置位置、姿勢、画角、焦点距離、レンズ歪み等の情報が含まれる。
監視対象領域は、カメラによって撮影され、撮影の結果得られた画像内で画像認識処理の対象となる実空間内の領域である。情報記憶部2は、監視対象領域の範囲を記憶する。
監視対象物に関する情報には、監視対象物の形状、大きさ等の情報が含まれる。
障害物に関する情報には、障害物の配置位置、形状、大きさ等の情報が含まれる。
解像度評価関数は、画像内の監視対象物の解像度を、画像認識処理の適性を示す解像度評価値に変換する関数である。図2は、解像度評価関数の例を示すグラフである。画像認識処理に適している解像度であるほど、解像度評価値は1に近づき、画像認識処理に適していない解像度であるほど、解像度評価値は0に近づく。一般的に、解像度が高いほど、監視対象物が鮮明となり、画像認識処理に適する。解像度評価関数は、扱う画像認識処理に応じて設定しておく。ここで述べる解像度は、例えば、画像内の監視対象物の画素面積であってもよく、あるいは、画像内の監視対象物を囲む矩形の画素面積であってもよい。または、解像度は、画像内の監視対象物を囲む矩形の縦方向の画素サイズ、あるいは、その矩形の横方向の画素サイズであってもよい。解像度rを変数とする解像度評価関数をFR(r)と記す。
注視点角度評価関数は、監視対象物への注視点角度を、画像認識処理の適性を示す注視点角度評価値に変換する関数である。図3は、監視対象物への注視点角度を示す説明図である。図3では、監視対象物が人物の頭部である場合を例示している。監視対象物13への注視点角度とは、カメラ位置と監視対象物13内の注視点位置とを結ぶ直線と、地面とがなす角度である。ここで、監視対象物13内の注視点位置とは、監視対象物13の注目すべき位置を表す監視対象物13内の任意の点である。例えば、監視対象物13の重心や、重心軸の中心を注視点位置としてもよい。なお、図3では、カメラの光軸上に注視点が存在する場合を例示しているが、カメラの光軸は注視点とずれていてもよい。カメラ位置と監視対象物13内の注視点位置が定まれば、カメラの光軸が注視点からずれていても、注視点角度が定まる。
図4は、注視点角度評価関数の例を示すグラフである。例えば、画像認識処理が、監視対象物の位置を推定する処理である場合、監視対象物同士の重なりや監視対象物と障害物との重なりが少ない方が好ましい。この場合、図4(a)に示すように、注視点角度が90°に近いほど(すなわち、撮影位置が真上に近いほど)、注視点角度評価値が1に近づき、注視点角度が0°に近いほど注視点角度評価値が0に近づくような注視点角度評価関数を定めておけばよい。また、例えば、画像認識処理が物体検出処理や物体識別処理である場合、注視点角度が特定角度に近いことが好ましい。この場合、図4(b)に示すように、注視点角度が特定角度に近づくほど注視点角度評価値が高くなる注視点角度評価関数を定めておけばよい。注視点角度aを変数とする注視点角度評価関数をFA(a)と記す。
本実施形態では、解像度評価値および注視点角度評価値がいずれも0〜1の範囲である場合を例にする。
画像生成部3は、障害物に関する情報が示す障害物を監視対象領域に配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像を生成する。画像生成部3は、例えばCG(Computer Graphics)によってこの画像を生成する。この画像は、実際にカメラが撮影して得た画像ではなく、カメラパラメータに合致するカメラが、障害物の存在する監視対象領域上の空間を撮影した場合に得られる画像を模擬した画像である。ただし、実空間の監視対象領域に障害物が存在しない場合には、情報記憶部2に障害物に関する情報を記憶させておく必要はない。その場合、画像生成部3は、障害物が存在しない監視対象領域上の空間をカメラが撮影した場合の画像を生成する。さらに、画像生成部3は、生成した画像に、監視対象物を表す対象物表示子を重畳する。対象物表示子を重畳する位置は例えば予め定められた初期位置でよい。後述するように、対象物表示子は、ユーザの操作によって画像内で移動する。対象物表示子を重畳した画像をユーザ操作用画像と記す。本例では、ユーザ操作用画像に表示される対象物表示子が1つである場合を例にして説明する。
表示制御部10は、ユーザ操作用画像を表示部11に表示させる。図5は、ユーザ操作用画像の例を示す説明図である。図5では、対象物表示子17を複数図示している。このことは、1つの対象物表示子17がユーザの操作により画像内で移動することを表している。また、本実施形態では、人物の頭部を監視対象物とする場合を例にして説明するが、図5に示す例では、頭部だけでなく人物全体を表す対象物表示子17が表示される場合を例示している。また、図5では、障害物22とともに対象物表示子17が表示される。また、図5では、画像内に写った監視対象領域21に該当する部分も図示している。
位置指定受付部4は、ユーザ操作用画像(図5参照)上でユーザが対象物表示子17の表示位置を指定する操作を受け付ける。例えば、位置指定受付部4は、ユーザがポインティングデバイスによって対象物表示子17に対してドラッグ操作を行った場合、ドラッグ操作によって移動した先を、対象物表示子17の表示位置として受け付ける。本実施形態では、ユーザがドラッグ操作で対象物表示子17を移動させる場合を例にして説明するが、他の操作で、ユーザが対象物表示子17の表示位置を指定してもよい。
位置指定受付部4が対象物表示子17の表示位置をユーザから指定されると、画像生成部3は、対象物表示子17の重畳位置を指定された位置に変更し、ユーザ操作用画像を更新する。
このとき、画像生成部3は、ユーザに指定された位置に応じて、対象物表示子17の大きさや向き等を変えることが好ましい。この場合、例えば、画像生成部3は、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置を特定する。また、情報記憶部2は、対象物表示子17を3次元形状で表した形状、大きさに関する情報を予め記憶しておく。そして、画像生成部3は、その形状、大きさによって表される物体を、特定した監視対象領域上の位置に配置した状態をカメラで撮影した場合の画像を生成すればよい。この結果、ユーザに指定された位置に応じて、ユーザ操作用画像内で対象物表示子17の大きさや向きを変えることができる。例えば、図5に示す画像内の位置Aに対象物表示子17を表示する場合と、位置Dに対象物表示子17を表示する場合とでは、対象物表示子17の位置や向きが異なっている。
また、位置指定受付部4が対象物表示子17の表示位置をユーザから指定されると、画像生成部3は、前述のように、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置を特定する。そして、画像生成部3は、その位置に、情報記憶部2に記憶された形状および大きさに応じた監視対象物を配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像をCGによって生成する。この画像は、画像認識処理にどの程度適しているか評価される画像であり、評価用画像と記す。評価用画像に基づいて、その評価用画像が画像認識処理にどの程度適しているかをユーザが判断するための情報(ユーザ判断用情報)が生成される。
なお、評価用画像も、実際にカメラが撮影して得た画像ではなく、カメラパラメータに合致するカメラが、監視対象物が存在する監視対象領域上の空間を撮影した場合に得られる画像を模擬した画像である。
表示制御部10は、ユーザ操作用画像の他に、ユーザ判断用情報も表示部11に表示させる。ユーザ判断用情報には、少なくとも、評価用画像から監視対象物に該当する部分を抽出した画像が含まれる。この画像以外のユーザ判断用情報の具体例、および、ユーザ判断用情報の表示例については後述する。
非隠れ率算出部5は、非隠れ率を算出する。非隠れ率とは、評価用画像内で、監視対象物全体に対する、評価用画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である。非隠れ率は、0〜1の範囲の値である。
図6は、評価用画像の例を示す説明図である。図6では、説明をわかりやすくするために、頭部だけでなく人物全体が監視対象物である場合を例にして説明する。
図6(a)に示す評価用画像には、監視対象物13全体が収まっている。従って、図6(a)に示す例では、非隠れ率は“1”である。
図6(b)に例示する評価用画像では、監視対象物13の一部のみが評価用画像内に収まっている。また、図6(c)に例示する画像では、監視対象物13の一部が障害物22によって隠されている。従って、図6(b),(c)に示す評価用画像では、非隠れ率は1未満の値となる。
非隠れ率算出部5は、例えば、以下のように非隠れ率を算出する。非隠れ率算出部5は、監視対象物13が収まる十分な大きさの画像であって、障害物が存在しない状態の画像を生成する。この画像は、カメラによって得られる画像の大きさが十分に大きいと仮定した場合の画像である。監視対象物13全体はこの画像内に収まり、また、この画像内で監視対象物13が障害物に隠されることはない。非隠れ率算出部5は、この画像における監視対象物13の画素数(Aとする。)を求める。そして、非隠れ率算出部5は、評価用画像において、評価用画像内に収まっていてかつ障害物に隠されていない監視対象物13の部分の画素数(Bとする。)を求める。そして、非隠れ率算出部5は、画素数Aに対する画素数Bの割合を算出し、その値を非隠れ率とする。非隠れ率をαで表す。
非隠れ率αは、ユーザ判断用情報に該当する。
前述のように、ユーザに指定された画像内の位置に対応する実空間の監視対象領域上の位置が、画像生成部3によって特定される。以下、この位置を符号Pで表す。
注視点角度算出部6は、位置Pに監視対象物を配置した状態を定め、その状態における監視対象物の注視点とカメラ位置とを通過する直線を、カメラパラメータを用いて算出する。そして、注視点角度算出部6は、その直線と地面とのなす角度を注視点角度として算出する。
第1の適合度算出部7は、その注視点角度と注視点角度評価関数FA(a)とを用いて、位置Pの注視点角度評価値を算出する。位置Pに関して算出された注視点角度をaと記す。また、その注視点角度aから得られる注視点角度評価値をSAと記す。
第1の適合度算出部7は、位置Pの注視点角度aを注視点角度評価関数FA(a)で評価し、注視点角度評価値SAを算出する。すなわち、第1の適合度算出部7は、以下の式(1)の計算によって、注視点角度評価値SAを算出する。
SA=FA(a) 式(1)
ここで、位置Pに関して算出された非隠れ率をαと記す。そして、第1の適合度算出部7は、位置Pの注視点角度評価値SAに非隠れ率αを乗算することによって、第1の適合度を算出する。すなわち、以下の式(2)の計算により、第1の適合度を算出する。
第1の適合度=α×SA 式(2)
適合度は、位置Pに監視対象物を配置した状態の撮影画像が画像認識処理に適している度合いを表す指標値である。第1の適合度は、注視点角度の観点から算出した適合度である。
第1の適合度を算出するということは、画像認識処理の適性を評価する上で重要となるカメラの撮影角度によるアピアランスの違いや、監視対象物同士の重なり具合等を、監視対象物への注視点角度で評価していることになる。
注視点角度および第1の適合度は、それぞれユーザ判断用情報に該当する。
解像度取得部8は、画像生成部3が生成した評価用画像を用いて、評価用画像内に写っている監視対象物の解像度を取得する。前述のように、解像度として、画像内の監視対象物の画素面積を採用しても、画像内の監視対象物を囲む矩形の画素面積を採用しても、その矩形の縦方向または横方向の画素サイズを採用してもよい。
第2の適合度算出部9は、解像度取得部8が取得した解像度と解像度評価関数FR(r)とを用いて、位置Pの解像度評価値を算出する。位置Pに関して得られた解像度をrと記す。また、その解像度rから得られる解像度評価値をSRと記す。
第2の適合度算出部9は、位置Pの解像度rを解像度評価関数FR(r)で評価し、解像度評価値SRを算出する。すなわち、第2の適合度算出部9は、以下の式(3)の計算によって、解像度評価値SRを算出する。
SR=FR(r) 式(3)
さらに、第2の適合度算出部9は、位置Pの解像度評価値SRに非隠れ率αを乗算することによって、第2の適合度を算出する。すなわち、以下の式(4)の計算により、第2の適合度を算出する。
第2の適合度=α×SR 式(4)
第2の適合度は、解像度の観点から算出した適合度である。
第2の適合度を算出するということは、画像認識処理の適性を評価する上で重要となる画像内の監視対象物の鮮明さを監視対象物の解像度で評価していることになる。
解像度および第2の適合度は、それぞれユーザ判断用情報に該当する。
表示制御部10は、評価用画像から監視対象物に該当する部分を抽出した画像を抽出し、ユーザ判断用情報として表示部11に表示させる。この画像は、カメラの撮影画像内における監視対象物の見え方を直接的に表した画像であると言える。また、表示制御部10は、非隠れ率、注視点角度、第1の適合度、解像度、第2の適合度および非隠れ率もユーザ判断用情報として表示部11に表示させる。
画像生成部3、位置指定受付部4、非隠れ率算出部5、注視点角度算出部6、第1の適合度算出部7、解像度取得部8、第2の適合度算出部9および表示制御部10は、例えば、見え方提示プログラムに従って動作するコンピュータのCPUによって実現される。この場合、CPUが、見え方提示プログラムを読み込み、そのプログラムに従って、画像生成部3、位置指定受付部4、非隠れ率算出部5、注視点角度算出部6、第1の適合度算出部7、解像度取得部8、第2の適合度算出部9および表示制御部10として動作すればよい。また、見え方提示プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、画像生成部3、位置指定受付部4、非隠れ率算出部5、注視点角度算出部6、第1の適合度算出部7、解像度取得部8、第2の適合度算出部9および表示制御部10がそれぞれ別々のハードウェアで実現されていてもよい。
次に、本発明の処理経過について説明する。図7は、本発明の処理経過の例を示すフローチャートである。なお、表示制御部10は、ユーザ操作用画像を表示しているものとする。
位置指定受付部4は、ユーザ操作用画像(例えば、図5参照)内での対象物表示子17の位置をユーザによって指定される(ステップS1)。例えば、ユーザが対象物表示子17に対してドラッグ操作を行う。そして、位置指定受付部4は、ドラッグ操作によって移動した先を、対象物表示子17の表示位置として受け付ける。なお、ステップS1に応じて、画像生成部3は、指定された位置に対象物表示子17の位置を変更したユーザ操作用画像を生成し、表示制御部10は、そのユーザ操作用画像を表示部11に表示させる。
また、ステップS1の後、画像生成部3は、ステップS1で指定されたユーザ操作用画像内の位置に対応する実空間の監視領域上の位置Pを特定する。そして、画像生成部3は、その位置Pに監視対象物を配置した状態を、カメラパラメータに合致するカメラが撮影した場合の画像(すなわち、評価用画像)を生成する(ステップS2)。
次に、非隠れ率算出部5は、位置Pに関する非隠れ率αを、ステップS2で生成された評価用画像に基づいて算出する(ステップS3)。
また、注視点角度算出部6は、位置Pの注視点角度aを算出する(ステップS4)。具体的には、注視点角度算出部6は、位置Pに監視対象物を配置した状態を定め、その状態における監視対象物の注視点とカメラ位置とを通過する直線を算出し、その直線と地面とのなす角を算出する。この角度が注視点角度aである。
次に、第1の適合度算出部7は、位置Pに関して算出された注視点角度aと注視点角度評価関数とを用いて、式(1)の計算により、注視点角度評価値SAを算出する。さらに、第1の適合度算出部7は、その注視点角度評価値SAに非隠れ率αを乗じることによって、位置Pに関する第1の適合度を算出する(ステップS5)。
また、解像度取得部8は、画像生成部3が生成した評価用画像を用いて、評価用画像内に写っている監視対象物の解像度を取得する(ステップS6)。この解像度は、位置Pに関する解像度rである。
次に、第2の適合度算出部9は、位置Pに関して得られた解像度rと解像度評価関数とを用いて、式(3)の計算により、解像度評価値SRを算出する。さらに、第2の適合度算出部9は、その解像度評価値SRに非隠れ率αを乗じることによって、位置Pに関する第2の適合度を算出する(ステップS7)。
そして、表示制御部10は、ユーザ判断用情報を表示部11に表示させる(ステップS8)。表示制御部10は、評価用画像から監視対象物に該当する部分を抽出した画像を抽出し、ユーザ判断用情報として表示部11に表示させる。また、表示制御部10は、非隠れ率、注視点角度、第1の適合度、解像度および第2の適合度もユーザ判断用情報として表示部11に表示させる。本実施形態では、表示制御部10は、注視点角度の大きさを図として表示部11に表示させるとともに、注視点角度の値も表示部11に表示させる場合を例にする。見え方提示システム1は、注視点角度に関して、図のみ、あるいは、値のみ表示してもよい。ただし、注視点角度の大きさを表す図を表示することで、ユーザに注視点角度の大きさを直感的に把握させることができる。従って、注視点角度の大きさを表す図を表示することが好ましい。
図8ないし図11は、ステップS8で表示されるユーザ判断用情報の表示例を示す説明図である。なお、図8から図11に示す例では、注視点角度が特定角度(顔の正面が撮影でき、適用する画像認識エンジンが最も有効に機能する角度)に近いほど好ましい場合を例にして説明する。
図8ないし図11に示す画像表示欄51は、評価用画像から抽出された監視対象物に該当する部分の画像を表示する表示欄である。画像表示欄51の大きさは一定であり、表示制御部10は、監視対象物に該当する部分の画像を画像表示欄51の大きさに合わせて表示させる。その場合、表示制御部10は、画像のリサイズ処理において、バイリニア(Bilinear)やバイキュービック(Bicubic )等の処理は行わずに、元の画像の解像度が表現されるような処理(例えば、最近傍補間(Nearest neighbor)等)を実行し、表示する。画像表示欄51において、カメラの撮影画像内における監視対象物の見え方が直接表される。
非隠れ率表示欄57は、ステップS3で算出された非隠れ率を表示する表示欄である。
注視点角度表示欄55は、ステップS4で算出された注視点角度の値を表示する表示欄である。また、注視点角度表示欄54は、その注視点角度の大きさ表す図を表示する表示欄である。
第1の適合度表示欄56は、ステップS5で算出された第1の適合度を表示する表示欄である。
解像度表示欄52は、ステップS6で得られた解像度を表示する表示欄である。
第2の適合度表示欄53は、ステップS7で算出された第2の適合度を表示する表示欄である。
図8ないし図11では、非隠れ率、第1の適合度および第2の適合度に関して、値だけを表示するのではなく、その値に対応する長さのバーも併せて表示する場合を例示している(図8ないし図11に示す非隠れ率表示欄57、第1の適合度表示欄56および第2の適合度表示欄53を参照)。
表示制御部10は、ユーザ判断用情報を上述の表示欄51〜57内に含めて、表示部11に表示させる。
図8は、図5に示す位置Aが指定された場合のユーザ判断用情報の例を示す。位置Aに配置された監視対象物は、画像内で小さく写るので、一定の大きさの画像表示欄51に合わせて表示すると、図8に例示するように荒い画像となる。また、図8に例示する画像表示欄51から、注視点角度の程度や、障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図8に例示する画像表示欄51から、位置A(図5参照)に監視対象物が存在する場合の撮影画像は、監視対象物が障害物に隠されていない点では好ましいが、解像度の観点からは画像認識処理に好ましくないと判断できる。画像表示欄51に表示された画像は、非隠れ率、注視点角度および解像度の状態を総合的に表した画像である。従って、ユーザは、この画像を参照することによって、非隠れ率、注視点角度および解像度の観点から、指定した位置に監視対象物が存在した場合の撮影画像が画像認識処理にどの程度適しているかを判断することができる。
また、注視点角度表示欄54には、注視点角度の大きさを表す図が表示される。従って、ユーザは、注視点角度の大きさを容易に理解でき、指定した位置に監視対象物が存在した場合の撮影画像が画像認識処理にどの程度適しているかを注視点角度の観点から判断することができる。また、注視点角度表示欄55には、注視点角度の値が表示され、第1の適合度表示欄56には、第1の適合度が表示される。これらの値によっても、ユーザは、撮影画像が画像認識処理にどの程度適しているかを注視点角度の観点から判断できる。
また、非隠れ率表示欄57には非隠れ率の値が表示される。ユーザは、この値を参照して、撮影画像が画像認識処理にどの程度適しているかを非隠れ率の観点(すなわち、監視対象物全体のうちどの程度の部分が画像内に写るかという観点)から判断することができる。
また、解像度表示欄52には解像度の値が表示され、第2の適合度表示欄53には、第2の適合度が表示される。ユーザは、これらの値を参照することによって、撮影画像が画像認識処理にどの程度適しているかを解像度の観点から判断することができる。
図9は、図5に示す位置Bが指定された場合のユーザ判断用情報の例を示す。図9に、例示する画像表示欄51から、注視点角度の程度、解像度は良好なこと、障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図9に例示する画像表示欄51から、位置B(図5参照)に監視対象物が存在する場合の撮影画像は、注視点角度、解像度および非隠れ率のいずれの観点からも、画像認識処理に好ましいと判断することができる。
図10は、図5に示す位置Cが指定された場合のユーザ判断用情報の例を示す。図10に例示する画像表示欄51から、注視点角度の程度、解像度は良好なこと、障害物に監視対象物が隠されていることが分かる。従って、ユーザは、図10に例示する画像表示欄51から、位置C(図5参照)に監視対象物が存在する場合の撮影画像は、注視点角度および解像度の観点からは画像認識処理に好ましいと言えるが、非隠れ率の観点からは十分に好ましいとは言えないと判断することができる。
図11は、図5に示す位置Dが指定された場合のユーザ判断用情報の例を示す。図11に例示する画像表示欄51から、頭部が上側から撮影され注視点角度が大きいこと、解像度が良好なこと、および障害物に監視対象物が隠されていないことが分かる。従って、ユーザは、図11に例示する画像表示欄51から、位置D(図5参照)に監視対象物が存在する場合の撮影画像は、非隠れ率および解像度の観点からは画像認識処理に好ましいと言えるが、注視点角度の観点からは好ましいとは言えないと判断することができる。
また、図8から図11に示す各表示例において、ユーザは、他の表示欄52〜57の表示を参照することによって、非隠れ率、注視点角度および解像度それぞれの観点における好ましさを定量的に判断できる。
上記のように、本実施形態の見え方表示システムは、ユーザ操作用画像内でユーザが指定した位置に対応する実空間の監視対象領域上の位置に監視対象物を配置した場合の画像(評価用画像)を生成し、評価用画像から抽出された監視対象物に該当する部分の画像を表示する。従って、指定した位置に監視対象物が存在する場合の撮影画像において、監視対象物がどのように写るかをユーザに提示することができる。換言すれば、撮影画像内における監視対象物の見え方をユーザに提示することができる。そして、ユーザは、その見え方を確認することによって、カメラによって得られる画像が画像認識処理にどの程度適しているかを、非隠れ率、注視点角度および解像度の観点から総合的に確認することができる。また、ユーザは、そのような確認を、実際にカメラを配置して運用する前に行うことができる。
また、本実施形態の見え方表示システムは、注視点角度の大きさを図として表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、注視点角度の観点から判断できる。また、注視点角度および第1の適合度の値も表示するので、これらの値によっても、ユーザは、注視点角度の観点から撮影画像の適性を判断できる。
また、本実施形態の見え方表示システムは、解像度および第2の適合度の値も表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、解像度の観点から判断できる。
また、本実施形態の見え方表示システムは、非隠れ率の値も表示する。従って、ユーザは、撮影画像が画像認識処理にどの程度適しているかを、非隠れ率の観点から判断できる。
なお、図7に示した処理経過は例示であり、本発明における処理の順番は、図7に示す例に限定されない。
また、本発明の見え方提示システム1は、ユーザ判断用情報として、少なくとも、評価用画像から抽出した監視対象物に該当する部分を表示する。
見え方提示システム1は、第1の適合度の表示を省略してもよい。その場合、見え方提示システム1は、第1の適合度算出部7を備えていなくてもよい。さらに、見え方提示システム1は、注視点角度の表示を省略してもよい。その場合には、見え方提示システム1は、注視点角度算出部6も備えていなくてよい。
また、見え方提示システム1は、第2の適合度の表示を省略してもよい。その場合、見え方提示システム1は、第2の適合度算出部9を備えていなくてもよい。さらに、見え方提示システム1は、解像度の表示も省略してもよい。その場合には、見え方提示システム1は、解像度取得部8も備えていなくてよい。
また、見え方提示システム1は、非隠れ率の表示も省略してよい。非隠れ率、第1の適合度および第2の適合度の表示を省略する場合には、見え方提示システム1は、非隠れ率算出部5を備えていなくてもよい。
また、図5では、対象物表示子17を、簡略化した形状で示しているが、監視対象物を具体的に表した対象物表示子17を表示させてもよい。この場合、画像生成部3は、情報記憶物2に記憶された監視対象物の形状および大きさに基づいて対象物表示子17の画像を生成すればよい。
次に、本発明の主要部について説明する。図12は、本発明の主要部の例を示すブロック図である。本発明の見え方提示システムは、主要部として、表示制御部10と、位置指定受付部4と、画像生成部3とを備える。
表示制御部10は、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像(例えば、ユーザ操作用画像)を表示装置に表示させる。
位置指定受付部4は、その画像内で、対象物表示子の位置の指定を受け付ける。
画像生成部3は、その画像内で指定された位置に対応する監視対象領域上の位置に監視対象物を配置した状態をカメラが撮影した場合に得られる画像(例えば、評価用画像)を生成する。
そして、表示制御部10は、画像生成部3に生成された画像から、監視対象物に該当する部分を抽出して表示装置に表示させる。
そのような構成により、カメラによって得られる画像が画像認識処理にどの程度適しているかをユーザが事前に把握できるように、ユーザが指定した画像内の位置における監視対象物の見え方を提示することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
(付記1)位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付手段と、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、前記表示制御手段は、前記画像生成手段に生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする見え方提示システム。
(付記2)画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段を備え、表示制御手段は、前記注視点角度を表す図を表示装置に表示させる付記1に記載の見え方提示システム。
(付記3)画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段と、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第1の適合度を算出する第1の適合度算出手段とを備え、表示制御手段は、前記注視点角度および前記第1の適合度を表示装置に表示させる付記1または付記2に記載の見え方提示システム。
(付記4)画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、画像生成手段に生成された画像内における監視対象物の解像度を取得する解像度取得手段と、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第2の適合度を算出する第2の適合度算出手段とを備え、表示制御手段は、前記解像度および前記第2の適合度を表示装置に表示させる付記1から付記3のうちのいずれかに記載の見え方提示システム。
(付記5)表示制御手段は、非隠れ率を表示装置に表示させる付記3または付記4に記載の見え方提示システム。
(付記6)位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、前記画像内で、前記対象物表示子の位置の指定を受け付け、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成し、生成した前記画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させることを特徴とする見え方提示方法。
(付記7)画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、前記注視点角度を表す図を表示装置に表示させる付記6に記載の見え方提示方法。
(付記8)監視対象物を配置した状態をカメラが撮影した場合に得られる画像として生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出し、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第1の適合度を算出し、前記注視点角度および前記第1の適合度を表示装置に表示させる付記6または付記7に記載の見え方提示方法。
(付記9)監視対象物を配置した状態をカメラが撮影した場合に得られる画像として生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出し、前記画像内における監視対象物の解像度を取得し、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第2の適合度を算出し、前記解像度および前記第2の適合度を表示装置に表示させる付記6から付記8のうちのいずれかに記載の見え方提示方法。
(付記10)非隠れ率を表示装置に表示させる付記8または付記9に記載の見え方提示方法。
(付記11)コンピュータに、位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付処理、前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成処理、および、前記画像生成処理で生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理を実行させるための見え方提示プログラム。
(付記12)コンピュータに、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理を実行させ、ユーザ判断用情報表示処理で、前記注視点角度を表す図を表示装置に表示させる付記11に記載の見え方提示プログラム。
(付記13)コンピュータに、画像生成処理で生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出処理、画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理、および、前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第1の適合度を算出する第1の適合度算出処理を実行させ、ユーザ判断用情報表示処理で、前記注視点角度および前記第1の適合度を表示装置に表示させる付記11または付記12に記載の見え方提示プログラム。
(付記14)コンピュータに、画像生成処理で生成した画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出処理、画像生成処理で生成した画像内における監視対象物の解像度を取得する解像度取得処理、および、前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第2の適合度を算出する第2の適合度算出処理を実行させ、ユーザ判断用情報表示処理で、前記解像度および前記第2の適合度を表示装置に表示させる付記11から付記13のうちのいずれかに記載の見え方提示プログラム。
(付記15)コンピュータに、ユーザ判断用情報表示処理で、非隠れ率を表示装置に表示させる付記13または付記14に記載の見え方提示プログラム。
この出願は、2012年12月6日に出願された日本特許出願2012−267554を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
本発明は、カメラによって撮影される監視対象物が撮影画像内でどのように見えるかをユーザに提示する見え方提示システムに好適に適用される。
1 見え方提示システム
2 情報記憶部
3 画像生成部
4 位置指定受付部
5 非隠れ率算出部
6 注視点角度算出部
7 第1の適合度算出部
8 解像度取得部
9 第2の適合度算出部
10 表示制御部
11 表示部

Claims (9)

  1. 位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御手段と、
    前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付手段と、
    前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成手段とを備え、
    前記表示制御手段は、前記画像生成手段に生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させる
    ことを特徴とする見え方提示システム。
  2. 画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段を備え、
    表示制御手段は、前記注視点角度を表す図を表示装置に表示させる
    請求項1に記載の見え方提示システム。
  3. 画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、
    画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出手段と、
    前記注視点角度を、注視点角度と画像認識処理の適性を示す注視点角度評価値との関係を定めた注視点角度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での注視点角度評価値を算出し、当該注視点角度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第1の適合度を算出する第1の適合度算出手段とを備え、
    表示制御手段は、前記注視点角度および前記第1の適合度を表示装置に表示させる
    請求項1または請求項2に記載の見え方提示システム。
  4. 画像生成手段に生成された画像内で、監視対象物全体に対する、画像内に収まっていてかつ障害物によって隠されていない監視対象物の部分の割合である非隠れ率を算出する非隠れ率算出手段と、
    画像生成手段に生成された画像内における監視対象物の解像度を取得する解像度取得手段と、
    前記解像度を、解像度と画像認識処理の適性を示す解像度評価値との関係を定めた解像度評価関数で評価することによって、監視対象領域上の監視対象物の配置位置での解像度評価値を算出し、当該解像度評価値および前記非隠れ率に基づいて、前記配置位置に配置された監視対象物の画像が画像認識処理に適している度合いを示す第2の適合度を算出する第2の適合度算出手段とを備え、
    表示制御手段は、前記解像度および前記第2の適合度を表示装置に表示させる
    請求項1から請求項3のうちのいずれか1項に記載の見え方提示システム。
  5. 表示制御手段は、非隠れ率を表示装置に表示させる請求項3または請求項4に記載の見え方提示システム。
  6. 位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させ、
    前記画像内で、前記対象物表示子の位置の指定を受け付け、
    前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成し、
    生成した前記画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させる
    ことを特徴とする見え方提示方法。
  7. 画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出し、
    前記注視点角度を表す図を表示装置に表示させる
    請求項6に記載の見え方提示方法。
  8. コンピュータに、
    位置および姿勢が定められたカメラが所定の監視対象領域を撮影した場合の画像に、監視対象物を表す対象物表示子を重畳した画像を表示装置に表示させる表示制御処理、
    前記画像内で、前記対象物表示子の位置の指定を受け付ける位置指定受付処理、
    前記画像内で指定された位置に対応する監視対象領域上の位置に前記監視対象物を配置した状態を前記カメラが撮影した場合に得られる画像を生成する画像生成処理、および、
    前記画像生成処理で生成された画像から、前記監視対象物に該当する部分を抽出して表示装置に表示させるユーザ判断用情報表示処理
    を実行させるための見え方提示プログラム。
  9. コンピュータに、
    画像内で指定された位置に対応する監視対象領域上の位置に配置された監視対象物内の注視点とカメラの位置とを通過する直線と地面とのなす角度である注視点角度を算出する注視点算出処理を実行させ、
    ユーザ判断用情報表示処理で、前記注視点角度を表す図を表示装置に表示させる
    請求項8に記載の見え方提示プログラム。
JP2014550914A 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム Active JP6265133B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012267554 2012-12-06
JP2012267554 2012-12-06
PCT/JP2013/007026 WO2014087622A1 (ja) 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2014087622A1 JPWO2014087622A1 (ja) 2017-01-05
JP6265133B2 true JP6265133B2 (ja) 2018-01-24

Family

ID=50883064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014550914A Active JP6265133B2 (ja) 2012-12-06 2013-11-29 見え方提示システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US9811738B2 (ja)
JP (1) JP6265133B2 (ja)
WO (1) WO2014087622A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US10296982B1 (en) 2015-10-15 2019-05-21 State Farm Mutual Automobile Insurance Company Using images and voice recordings to facilitate underwriting life insurance
JP6936288B2 (ja) * 2019-09-06 2021-09-15 パナソニックi−PROセンシングソリューションズ株式会社 カメラ設置支援システム、カメラ設置支援方法およびカメラ設置支援プログラム
US20230298464A1 (en) * 2022-03-16 2023-09-21 Rekor Systems, Inc. Systems and Methods for Distributed Video-Management in Traffic Monitoring Systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3651745B2 (ja) 1998-03-17 2005-05-25 株式会社東芝 物体領域追跡装置および物体領域追跡方法
US6801245B2 (en) * 2002-01-18 2004-10-05 Imageid Ltd. Method for automatic identification and data capture
DE112005000929B4 (de) * 2004-04-28 2011-07-21 Chuo Electronics Co. Ltd., Tokyo Automatisches Abbildungsverfahren und Vorrichtung
JP4975673B2 (ja) * 2008-03-28 2012-07-11 ティーオーエー株式会社 カメラ設置シミュレータプログラム
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
CN102985957B (zh) * 2010-07-09 2015-03-04 本田技研工业株式会社 车辆周围监测装置
JP2012155595A (ja) * 2011-01-27 2012-08-16 Secom Co Ltd 対象物画像判定装置
US9094617B2 (en) * 2011-04-01 2015-07-28 Sharp Laboratories Of America, Inc. Methods and systems for real-time image-capture feedback

Also Published As

Publication number Publication date
JPWO2014087622A1 (ja) 2017-01-05
US9811738B2 (en) 2017-11-07
WO2014087622A1 (ja) 2014-06-12
US20150317522A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6265132B2 (ja) 画像認識処理適性表示システム、方法およびプログラム
US10051244B2 (en) Display image formation device and display image formation method
CN108292448B (zh) 信息处理装置、信息处理方法和程序
JP2020184795A (ja) 映像監視システム、映像監視方法、及びプログラム
US9807310B2 (en) Field display system, field display method, and field display program
EP2590138A1 (en) Gas visualization arrangements, devices, and methods
JP5281972B2 (ja) 撮像装置
JP2013152423A5 (ja)
JP6126501B2 (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
JP5549605B2 (ja) 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム
JP6265133B2 (ja) 見え方提示システム、方法およびプログラム
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP2016224919A (ja) データ閲覧装置、データ閲覧方法、及びプログラム
US20170169595A1 (en) Information superimposed image display device, non-transitory computer-readable medium which records information superimposed image display program, and information superimposed image display method
JP6174547B2 (ja) 分布図表示装置及び方法
JP2007249527A (ja) 画像編集装置、画像編集方法および画像編集プログラム
US11941749B2 (en) Image display method, display control device, and recording medium for displaying shape image of subject and coordinates estimated from two-dimensional coordinates in reference image projected thereon
JP2008288707A (ja) 監視装置
JP5714960B2 (ja) 監視範囲検知装置
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP6687510B2 (ja) Ar情報表示装置及びプログラム
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171211

R150 Certificate of patent or registration of utility model

Ref document number: 6265133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150