JP6201991B2 - カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム - Google Patents

カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム Download PDF

Info

Publication number
JP6201991B2
JP6201991B2 JP2014522397A JP2014522397A JP6201991B2 JP 6201991 B2 JP6201991 B2 JP 6201991B2 JP 2014522397 A JP2014522397 A JP 2014522397A JP 2014522397 A JP2014522397 A JP 2014522397A JP 6201991 B2 JP6201991 B2 JP 6201991B2
Authority
JP
Japan
Prior art keywords
evaluation
target object
resolution
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014522397A
Other languages
English (en)
Other versions
JPWO2014002398A1 (ja
Inventor
浩雄 池田
浩雄 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014002398A1 publication Critical patent/JPWO2014002398A1/ja
Application granted granted Critical
Publication of JP6201991B2 publication Critical patent/JP6201991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Description

本発明は、カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラムに関し、特に、カメラの状態の評価を表す値を算出するカメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラムに関する。
特許文献１には、複数のカメラの中から、視者の視界と近い視界を持つカメラを選択するカメラ選択装置が記載されている。特許文献１に記載の装置は、視者、カメラおよび視点に関する位置・方向の関係を評価して、視者の視界と近い視界を持つカメラを選択する。具体的には、特許文献１に記載の装置は、視者位置Ｐと、カメラの位置と、視点Ｑとが形成する三角形の面積、および、カメラの光軸中心ベクトルとベクトルＰＱとのなす角度を算出する。そして、特許文献１に記載の装置は、その面積および角度という評価値に基づいて、視者の視界と近い視界を持つカメラを選択する。
また、特許文献２には、分解能が異なる２台のカメラの撮影画像を用いて、２台のうち一方のカメラの位置および姿勢を算出する位置姿勢計測方法が記載されている。
また、非特許文献１には、カメラによって得られた画像に基づいて、カメラパラメータを求める技術が記載されている。
特開２００５−２６０７３１号公報（段落００２０，００２１，図２等） 特開２００８−７０２６７号公報（段落００２５，００２６，００９９、図１，３等）
Roger Y. TSAI, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE JOURNAL OF ROBOTICS AND AUTOMATION, VOL.RA-3, NO.4 AUGUST 1987, pp.323-344
特許文献１に記載された装置は、視者の視界に近い視界を持つカメラを選択することを目的にしている。そのため、特許文献１に記載された装置は、カメラの視界と視者の視界との類似性を示す評価値を算出する。
しかし、撮影対象となる領域に存在する物体をカメラが撮影したときに、画像処理に適した状態でその物体が画像内に現れるように、カメラの位置および姿勢を調整することが好ましい場合もある。この場合には、画像処理にどの程度適した状態で物体が画像内に現れるかという観点から、位置および姿勢を含むカメラの状態がどの程度好ましい状態になっているかを示す評価値を算出することが好ましい。画像処理の例として、画像内から物体を検出する検出処理や、画像内から物体を検出するだけでなくさらにその物体を識別する識別処理等が挙げられる。ただし、画像処理は、これらの例に限定されない。
特許文献１に記載された三角形の面積等は、視者の視界とカメラの視界との近さを表す評価値であるので、画像処理にどの程度適した状態で物体が画像内に現れるかという観点でカメラの状態の評価を示す値としては適当ではない。
そこで、本発明は、画像処理にどの程度適した状態で物体が画像内に現れるかという観点でカメラの状態の評価を示す値を算出することができるカメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラムを提供することを目的とする。
本発明によるカメラ位置姿勢評価装置は、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段と、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段とのうち、少なくとも一方を備え、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価手段と、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価手段とを備えることを特徴とする。
また、本発明によるカメラ位置姿勢評価装置は、対象領域内の各位置に配置される対象物体を撮影することによって得られた画像から取得された画像内の対象物体の解像度、および、対象物体全体が画像内に収まっているか否かを示す情報が与えられ、解像度を、解像度と画像処理の適性を示す適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた適合度を導出する解像度評価手段を備え、解像度評価手段が、対象物体全体が画像内に収まっている場合に、解像度を解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に係数の値を０以上１未満の値に定め、解像度を解像度評価関数で評価した結果に対して係数を乗じることによって適合度を導出することを特徴とする。
また、本発明によるカメラ位置姿勢評価方法は、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価ステップと、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価ステップとのうち、少なくとも一方を含み、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価ステップと、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価ステップとを含むことを特徴とする。
また、本発明によるカメラ位置姿勢評価プログラムは、コンピュータに、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価処理と、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価処理とのうち、少なくとも一方を実行させ、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価処理、および、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価処理を実行させることを特徴とする。
本発明によれば、画像処理にどの程度適した状態で物体が画像内に現れるかという観点でカメラの状態の評価を示す値を算出することができる。
本発明の第１の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。 対象領域を示す模式図である。 解像度評価関数の例を示すグラフである。 対象物体への注視点角度を示す説明図である。 注視点角度評価関数の例を示すグラフである。 画像処理適性評価手段２１を示すブロック図である。 対象物体モデルの解像度を取得する例を示す模式図である。 対象物体モデルが画像内に収まる場合および収まらない場合の例を示す説明図である。 対象物体モデルの注視点角度を取得する例を示す模式図である。 対象物体視界領域を定める例を示す模式図である。 対象領域と対象物体視界領域との重なりの例を示す模式図である。 第１の実施形態の処理経過の例を示すフローチャートである。 ステップＳ２の処理経過の例を示すフローチャートである。 ステップＳ３の処理経過の例を示すフローチャートである。 ステップＳ４の処理経過の例を示すフローチャートである。 本発明の第２の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。 第２の実施形態の処理経過の例を示すフローチャートである。 本発明の第３の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。 画像処理特性評価手段２４を示すブロック図である。 画像内で対象物体モデルが障害物に隠される場合および隠されない場合の例を示す説明図である。 第４の実施形態における解像度評価手段２１８への入力データを示す説明図である。 第４の実施形態における解像度評価手段の動作の例を示すフローチャートである。 本発明の第５の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。 本発明の第６の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。 本発明のカメラ位置姿勢評価装置の最小構成の例を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明の第１の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。本実施形態のカメラ位置姿勢評価装置は、カメラパラメータ入力装置１と、データ処理装置２と、記憶装置３とを備える。データ処理装置２は、例えば、プログラム制御により動作するコンピュータである。データ処理装置２は、画像処理適性評価手段２１を含む。
本実施形態のカメラ位置姿勢評価装置は、現状のカメラの状態（カメラパラメータ）を入力データとし、対象領域の各位置に関して画像内における画像処理の適性を評価し、その適性を示す値（以下、適合度と記す。）に基づいて、カメラの状態が画像処理にどの程度適しているかを示す評価指標を算出する。前述のように、画像処理の例として、画像内から物体を検出する検出処理や、画像内から物体を検出するだけでなくさらにその物体を識別する識別処理等が挙げられる。ただし、画像処理は、これらの例に限定されない。
ここで、対象領域とは、カメラによって撮影され、撮影の結果得られた画像内で画像処理の対象となる実空間内の範囲である。図２は、対象領域を示す模式図である。例えば、カメラの撮影によって得られる画像で監視を行う場合、実空間内の監視領域が対象領域に該当する。
カメラパラメータ入力装置１は、カメラの状態を示すカメラパラメータをデータ処理装置２（画像処理適性評価手段２１）に供給する。このカメラパラメータは、カメラの焦点距離、レンズ歪み係数、画像中心位置等を示す内部パラメータと、カメラの位置および姿勢を示す外部パラメータとを含んでいる。また、カメラパラメータは、画像座標系の２次元座標と、世界座標系の３次元座標とを相互に変換できるパラメータでもある。
カメラパラメータ入力装置１が供給するカメラパラメータの値は、評価したいカメラによって得られた画像に基づいて、公知の方法（例えば、非特許文献１に記載の方法）で導出された値であってもよい。また、カメラパラメータの値は、カメラによって得られる画像を仮想的にＣＧ（Computer Graphics ）等で作成し、そのＣＧ画像に基づいて導出してもよい。あるいは、人手で定めたカメラパラメータの値をカメラパラメータ入力装置１が供給してもよい。これらは、カメラパラメータの値の導出方法の例であり、カメラパラメータ入力装置１が供給するカメラパラメータの値の導出方法は特に限定されない。
記憶装置３は、画像サイズ記憶手段３１と、対象物体モデル記憶手段３２と、対象領域記憶手段３３と、解像度評価関数記憶手段３４と、注視点角度評価関数記憶手段３５とを含む。
画像サイズ記憶手段３１は、状態を評価しようとしているカメラの画像サイズを記憶する。具体的には、画像サイズ記憶手段３１は、画像の縦サイズを表すピクセル数および横サイズを表すピクセル数を記憶する。
対象物体モデル記憶手段３２は、カメラによって撮影され、撮影の結果得られた画像内で画像処理の対象となる物体（以下、対象物体と記す。）の形状および大きさを表すデータを記憶する。以下、このデータによって表される対象物体を、対象物体モデルと記す場合がある。例えば、カメラの撮影によって得られる画像が顔検出および顔認識に利用される場合、対象物体モデル記憶手段３２は、顔の形状、大きさ、地面からの高さ等を表すデータを記憶する。対象物体の形状は、円筒、直方体、棒等の近似形状で表されていてもよい。
対象領域記憶手段３３は、対象領域を記憶する。すなわち、対象領域記憶手段３３は、カメラによって撮影され、撮影の結果得られた画像内で画像処理の対象となる実空間内の範囲（図２参照）を記憶する。また、対象領域記憶手段３３は、対象領域の面積も記憶する。
解像度評価関数記憶手段３４は、画像内の対象物体の解像度を、画像処理の適性を表す適合度に変換する評価関数（以下、解像度評価関数と記す。）を記憶する。図３は、解像度評価関数の例を示すグラフである。画像処理に適している解像度であるほど、適合度は１に近づき、画像処理に適していない解像度ほど適合度は０に近づく。一般的に、解像度が高い方が、対象物体が鮮明となり、画像処理に適する。解像度評価関数は、扱う画像処理における性能限界の解像度に応じて設定しておく。ここで述べる解像度は、例えば、画像内の対象物体の画素面積であってもよく、あるいは、画像内の対象物体を囲む矩形の画素面積であってもよい。あるいは、解像度は、その矩形の縦方向の画素サイズ、あるいは、その矩形の横方法の画素サイズであってもよい。解像度評価関数を用いることにより、画像内の対象物体から得た解像度を、画像処理の適性を表す適合度に変換できる。
注視点角度評価関数記憶手段３５は、対象物体への注視点角度を、画像処理の適性を表す適合度に変換する評価関数（以下、注視点角度評価関数と記す。）を記憶する。図４は、対象物体への注視点角度を示す説明図である。図４では、対象物体モデルが人物である場合を例示している。対象物体への注視点角度とは、カメラ位置と対象物体内の注視点位置とを結ぶ直線と、地面とがなす角度である。ここで、対象物体内の注視点位置とは、対象物体の注目すべき位置を表す対象物体内の任意の点である。例えば、対象物体の重心や、重心軸の中点を注視点位置としてもよい。なお、図４では、カメラが対象物体の方向を向いている場合を例示しているが、カメラの向きは問わない。すなわち、カメラ位置と対象物体内の注視点位置とが定まれば、カメラの向きに依らず、注視点角度が定まる。
図５は、注視点角度評価関数の例を示すグラフである。例えば、画像処理が、対象物体の位置を推定する処理である場合、対象物体同士の重なりや対象物体と障害物との重なりが少ない方が好ましい。この場合、図５（ａ）に示すように、注視点角度が９０°に近いほど（すなわち、撮影位置が真上に近いほど）、適合度が１に近づき、注視点角度が０°に近いほど適合度が０に近づくような注視点角度評価関数を定めておけばよい。また、例えば、画像処理が物体検出および物体認識である場合、注視点角度が特定角度に近いことが好ましい。この場合、図５（ｂ）に示すように、注視点角度が特定角度に近づくほど適合度が高くなる注視点角度評価関数を定めておけばよい。
各実施形態では、注視点角度評価関数および注視点角度評価関数によって求められる適合度は、０〜１の範囲である場合を例にする。
画像処理適性評価手段２１は、カメラパラメータ入力装置１からカメラの状態を表すカメラパラメータ（カメラの焦点距離、レンズ歪み係数、画像中心位置等を示す内部パラメータ、およびカメラの位置および姿勢を示す外部パラメータ）を入力される。そして、画像処理適性評価手段２１は、解像度、注視点角度、画像内における対象領域の見え方という観点から、カメラの状態が画像処理にどの程度適しているかを示す評価指標を算出する。
図６は、画像処理適性評価手段２１を示すブロック図である。画像処理適性評価手段２１は、解像度評価手段２１１と、注視点角度評価手段２１２と、対象領域評価手段２１３と、総合評価手段２１４とを含む。
解像度評価手段２１１は、対象領域内の各位置に関して、仮想的に対象物体を配置し、その状態における画像を生成する。すなわち、解像度評価手段２１１は、対象領域に対象物体モデルを配置したときの状態を定め、その状態を表す画像を生成する。この画像は、カメラが実空間内の対象物体を撮影して得られる画像を模擬したものであると言うことができる。解像度評価手段２１１は、生成した画像から解像度を取得し、解像度評価関数記憶手段３４に記憶されている解像度評価関数を用いて、対象領域内の位置毎に適合度を算出する。対象領域内の位置ｉに関して生成した画像から得られる解像度をｒｉと記す。また、その解像度ｒｉから得られる適合度をＳＲｉと記す。
上記のように、適合度ＳＲｉを算出するということは、画像処理の適性を評価する上で重要となる画像内の対象物体の鮮明さを対象物体の解像度で評価していることとなる。そして、対象領域内の各位置に関して適合度を算出しているので、解像度評価手段２１１は、このような評価を対象領域内の各位置に関して行っていることになる。
解像度評価手段２１１の処理をより詳細に示す。図７は、対象物体モデルの解像度を取得する例を示す模式図である。解像度評価手段２１１は、対象領域記憶手段３３に記憶されている対象領域内の位置ｉに対して対象物体を仮想的に配置し（換言すれば、対象領域内の位置ｉに対して対象物体モデルを配置したときの状態を定め）、カメラパラメータを用いて、その状態における画像を生成する。すなわち、解像度評価手段２１１は、対象領域内の位置ｉに存在する対象物体をカメラが撮影した場合に得られる画像の模擬画像を生成する。解像度評価手段２１１は、生成した画像から解像度ｒｉを取得する。そして、解像度評価手段２１１は、解像度評価関数記憶手段３４に記憶されている解像度評価関数ＦＲ（ｒｉ）でその解像度ｒｉを評価し、対象領域内の位置ｉに対応する適合度ＳＲｉを求める。
ただし、対象領域内の位置ｉに対して対象物体モデルを配置したときの画像を生成したときに、カメラパラメータによっては、図８（ａ）に例示するように、対象物体モデルが画像内に収まる場合や、図８（ｂ）に例示するように、対象物体モデルの一部が画像外に出る場合が生じる。対象物体モデルの一部が画像外に出ると画像処理がしにくくなるため、そのような画像が生成される位置ｉは画像処理にあまり適していないと言える。このような事項も、解像度評価関数ＦＲ（ｒｉ）による評価に反映させることが好ましい。そこで、解像度評価手段２１１は、以下の式（１）の計算によって、適合度ＳＲｉを算出することが好ましい。
ＳＲｉ＝αＦＲ（ｒｉ） 式（１）
αは、生成された画像において対象物体の一部が画像外に出る場合に適合度を低くするための係数（以下、ペナルティ係数と記す。）である。対象物体の一部が画像外に出る場合、αを１未満の値とし、対象物体が画像内に収まる場合にα＝１とすればよい。例えば、対象物体が画像内に収まる場合にα＝１とし、それ以外の場合にα＝０としてもよい。また、例えば、対象物体全体の画素面積に対する画像内に収まっている対象物体の部分の画素面積の割合をペナルティ係数αとしてもよい。上記のαの値の定め方は例示であり、対象物体が画像内に収まっていない場合のαの値の定め方は上記の例に限定されない。
なお、対象物体全体の画素面積に対する画像内に収まっている対象物体の部分の画素面積の割合は、換言すれば、対象物体のうち画像内に収まっている部分の割合ということができる。また、対象物体のうち画像内に収まっている部分の割合が高くなれば、画像からはみ出した部分の割合が低くなるという相関性がある。従って、解像度評価手段２１１は、対象物体のうち画像からはみ出した部分の割合に応じて、αを定めることもできる。
解像度評価手段２１１は、対象物体が画像内に収まるか否かや、画像内に収まっている対象物体の部分の画素面積の割合に関しては、画像サイズ記憶手段３１に記憶されている画像サイズを用いて求める。
また、解像度評価手段２１１が適合度を算出する対象領域内の位置ｉは、離散化されたサンプル点であってもよい。
注視点角度評価手段２１２は、対象領域内の各位置に関して、仮想的に対象物体を配置し（換言すれば、対象領域に対象物体モデルを配置したときの状態を定め）、その状態における対象物体モデルの注視点とカメラ位置とを通過する直線から注視点角度を求める。そして、注視点角度評価手段２１２は、注視点角度評価関数記憶手段３５に記憶されている注視点角度評価関数を用いて、対象領域内の位置毎に適合度を算出する。対象領域内の位置ｉに関して求めた注視点角度をａｉと記す。また、その注視点角度ａｉから得られる適合度をＳＡｉと記す。
上記のように適合度ＳＡｉを算出するということは、画像処理の適性を評価する上で重要となるカメラの撮影角度による対象物体のアピアランスの違いや、対象物体同士の重なり具体等を、対象物体への注視点角度で評価していることとなる。そして、対象領域内の各位置に関して適合度を算出しているので、注視点角度評価手段２１２は、このような評価を対象領域内の各位置に関して行っていることになる。
注視点角度評価手段２１２の処理をより詳細に示す。図９は、対象物体モデルの注視点角度を取得する例を示す模式図である。注視点角度評価手段２１２は、対象領域記憶手段３３に記憶されている対象領域内の位置ｉに対して対象物体を仮想的に配置する（換言すれば、対象領域内の位置ｉに対して対象物体モデルを配置したときの状態を定める）。そして、注視点角度評価手段２１２は、例えば、位置ｉの対象物体モデルの重心等を注視点として、カメラ位置と注視点とを通過する直線を、カメラパラメータを用いて算出する。注視点角度評価手段２１２は、その直線と地面とのなす角度を注視点角度ａｉとして算出する。そして、注視点角度評価手段２１２は、注視点角度評価関数記憶手段３５に記憶されている注視点角度評価関数ＦＡ（ａｉ）でその注視点角度ａｉを評価し、対象領域内の位置ｉに対応するＳＡｉを求める。
ただし、前述のように、対象領域内の位置ｉに対して対象物体モデルを配置したときの画像を生成したときに、カメラパラメータによっては、対象物体モデルが画像内に収まる場合（図８（ａ）参照）や、対象物体モデルの一部が画像外に出る場合（図８（ｂ）参照）が生じる。そして、対象物体モデルの一部が画像外に出る画像が生成される位置ｉは、画像処理にあまり適していないと言える。このような事項も、注視点角度評価関数ＦＡ（ａｉ）による評価に反映させることが好ましい。そこで、注視点角度評価手段２１２は、以下の式（２）の計算によって、適合度ＳＡｉを算出することが好ましい。
ＳＡｉ＝αＦＡ（ａｉ） 式（２）
αは、式（１）におけるαと同じく、ペナルティ係数である。ペナルティ係数αの値の定め方の例については、既に説明したとおりであり、ここでは説明を省略する。
注視点角度評価手段２１２は、対象物体が画像内に収まるか否かや、画像内に収まっている対象物体の部分の画素面積の割合に関しては、画像サイズ記憶手段３１に記憶されている画像サイズを用いて求める。
また、注視点角度評価手段２１２が適合度を算出する対象領域内の位置ｉは、離散化されたサンプル点であってもよい。
次に、対象領域評価手段２１３は、対象領域と、対象物体がカメラの画像内に完全に映ることを条件として求めた実空間の領域（対象物体視界領域）とがどの程度正確に重なっているかを評価して、適合度を求める。以下、この適合度をＳＴと記す。
画像内で対象領域が小さく撮影されること、あるいは、画像からはみ出すように対象領域が大きく撮影されることは、対象領域内で対象物体を的確に捉える画像処理に適さない。例えば、画像内で対象領域が小さく撮影されていると対象物体が見えにくくなり、画像内の対象物体を捉えにくくなる。また、画像からはみ出すように対象領域が大きく撮影されると、対象領域に死角ができ、その結果、画像処理で対象物体を捉えにくくなる。上記の適合度ＳＴを算出するということは、画像内で対象領域が小さく撮影されること、あるいは、画像からはみ出すように対象領域が大きく撮影されることは、対象領域内で対象物体を的確に捉える画像処理に適さないという観点から、画像処理の適性を評価していることを意味する。
対象領域評価手段２１３の処理をより詳細に示す。図１０は、対象物体視界領域を定める例を示す模式図である。対象領域評価手段２１３は、画像サイズ記憶手段３１に記憶されている画像サイズの画像内の画素位置に対応する実空間内の地面の位置を、カメラパラメータを用いて決定する。画素位置に対応する実空間内の地面の位置が無限遠点（または、それに準じる点）であるならば、対象領域評価手段２１３は、その実空間内の位置が対象物体視界領域に該当しないと判定する。画素位置に対応する実空間内の位置が無限遠点でなければ、対象領域評価手段２１３は、その実空間内の位置に、仮想的に対象物体を配置し（すなわち、その位置に対象物体モデルを配置した状態を定め）、その状態における画像を生成する。その画像内に対象物体モデルが収まっていれば、対象領域評価手段２１３は、その実空間の位置を対象物体視界領域に該当する位置として記録する。その画像内に対象物体モデルが収まらなければ、対象領域評価手段２１３は、その実空間の位置が対象物体視界領域に該当しないと判定する。対象領域評価手段２１３は、この処理を、例えば、画像サイズの画像内の全画素に対して行う。あるいは、対象領域評価手段２１３は、画像全体を均等に網羅する離散的なサンプル画素毎に、上記の処理を行ってもよい。
このような処理によって、対象物体視界領域が定まる。従って、対象物体視界領域は、画像内の画素位置に対応する実空間内の位置であって、対象物体を配置した場合に対象物体が画像内に完全に収まる位置の集合であるということができる。
対象領域評価手段２１３は、対象物体視界領域に該当するとして記録された実空間の位置の集まりを対象物体視界領域とする。そして、対象領域評価手段２１３は、以下の式（３）の計算によって、対象領域と対象物体視界領域とがどの程度正確に重なっているかを表す適合度ＳＴを算出する。なお、図１１に、対象領域と対象物体視界領域との重なりの一例を示す。
ＳＴ＝β（Ｖ／Ｔ）＋（１−β）（Ｖ／Ｕ） 式（３）
式（３）においてβは重みである。Ｔは対象領域の面積である。Ｕは対象物体視界領域の面積である。Ｖは、対象領域と対象物体視界領域との重なり領域の面積である。ＳＴは、０〜１の値となる。対象領域と対象物体視界領域とが正確に重なっている度合いが高いほど、適合度ＳＴは１に近づき、対象領域と対象物体視界領域とが正確に重なっている度合いが低いほど適合度ＳＴは０に近づく。適合度ＳＴの値が高いほど、画像処理の適性も高い。
総合評価手段２１４は、解像度、注視点角度、画像内における対象領域の見え方の観点から画像処理の適性を示す各適合度を総合的に評価し、カメラ状態（カメラパラメータ）が画像処理にどの程度適しているかを示す評価指標Ｃを算出し、その評価指標Ｃを出力する。
総合評価手段２１４の処理を詳細に示す。総合評価手段２１４は、解像度に基づいて算出された各位置ｉの適合度ＳＲｉを解像度評価手段２１１から取得し、注視点角度に基づいて算出された各位置ｉの適合度ＳＡｉを注視点角度評価手段２１２から取得し、画像内における対象領域の見え方を評価した適合度ＳＴを対象領域評価手段２１３から取得する。総合評価手段２１４は、取得した各適合度を用いて、以下の式（４）の計算を行うことによって評価指標Ｃを算出する。評価指標Ｃが０に近いほど、カメラ状態（カメラパラメータ）が画像処理に適している。
Figure 0006201991
式（４）において、ｎは、対象領域を、対象領域の複数の位置ｉに離散化したときの各位置の総数である。ｗｉは、対象領域内の位置ｉの重要度を示す重みである。また、Ｗ１，Ｗ２，Ｗ３は、各種適合度（ＳＲｉ，ＳＡｉ，ＳＴ）の重要度を示す重みである。Ｗ１，Ｗ２，Ｗ３を同じ重みとするのであれば、Ｗ１，Ｗ２が１の場合、Ｗ３がｎｗｉであることが好ましい。
適合度ＳＲｉが最高値“１”になるときに評価指標Ｃの値が０に近づくこと、および、対象領域内の位置ｉの重要度を評価したいことから、式（４）の適合度ＳＲｉに関する項（第１項）では、位置ｉに対する重要度を示す重みｗｉを考慮した１とＳＲｉの差の重み付き二乗和を計算している。同様に、適合度ＳＡｉが最高値“１”になるときに評価指標Ｃの値が０に近づくこと、および、対象領域内の位置ｉの重要度を評価したいことから、式（４）の適合度ＳＡｉに関する項（第２項）でも、位置ｉに対する重要度を示す重みｗｉを考慮した１とＳＡｉの差の重み付き二乗和を計算している。また、適合度ＳＴが最高値“１” になるときに評価指標Ｃの値が０に近づくこと、および、第１項、第２項に合わせるという観点から、式（４）の適合度ＳＴに関する項（第３項）でも、１とＳＴの差の二乗和を計算している。
式（４）の計算は、自乗和の重み付き線形和の計算である。
総合評価手段２１４は、算出した評価指標Ｃをそのまま出力してよい。あるいは、総合評価手段２１４は、画像処理に適している場合に１を出力し、適していない場合に０を出力するように、評価指標Ｃをシグモイド関数や式（５）に例示する関数で変換し、変換後の値を出力してもよい。
Figure 0006201991
式（５）において、γは調整係数であり、γ≧０である。
また、総合評価手段２１４は、算出した評価指標Ｃを出力するとともに、解像度評価手段２１１から取得した各位置ｉの適合度ＳＲｉ、注視点角度評価手段２１２から取得した各位置ｉの適合度ＳＡｉ、対象領域評価手段２１３から取得した適合度ＳＴをそのまま出力してもよい。
また、総合評価手段２１４は、対象領域内の位置ｉの適合度ＳＲｉに関しては、位置ｉに対応する画像内の画素位置や対象領域内のそのままの位置ｉに、適合度ＳＲｉに応じた色を表示してもよい。同様に、対象領域内の位置ｉの適合度ＳＡｉに関しても、位置ｉに対応する画像内の画素位置や対象領域内のそのままの位置ｉに、適合度ＳＡｉに応じた色を表示してもよい。このように適合度を表示すれば、画像処理の適性を視覚的に表すことができ、また、適合度の空間的な広がりも分かる。ここでは、色で適合度を表示する場合を例にしたが、色以外の態様で適合度を表示してもよい。
次に、動作について説明する。
図１２は、第１の実施形態の処理経過の例を示すフローチャートである。まず、カメラパラメータ入力装置１は、カメラの状態を示すカメラパラメータを、画像処理適性評価手段２１の解像度評価手段２１１、注視点角度評価手段２１２および対象領域評価手段２１３に供給する（ステップＳ１）。
解像度評価手段２１１は、対象領域内の各位置に関して、対象領域に対象物体モデルを配置したときの状態の画像を生成する。そして、解像度評価手段２１１は、位置毎に生成した画像から解像度を取得し、解像度評価関数記憶手段３４に記憶されている解像度評価関数を用いて、対象領域内の各位置ｉにおける適合度ＳＲｉを算出する（ステップＳ２）。
ステップＳ２をさらに詳細に説明する。図１３は、ステップＳ２の処理経過の例を示すフローチャートである。解像度評価手段２１１は、対象領域記憶手段３３に記憶されている対象領域を示す情報を参照し、対象領域の中から、未選択の位置ｉを選択する（ステップＳ２０１）。次に、解像度評価手段２１１は、選択した対象領域内の位置ｉに、対象物体モデルを配置した状態を定める（ステップＳ２０２）。すなわち、解像度評価手段２１１は、対象物体モデル記憶手段３２に記憶されている対象物体の位置および大きさを表すデータを用いて、対象物体モデルを位置ｉに配置した状態を表現する。続いて、解像度評価手段２１１は、ステップＳ２０２で定めた状態を表す画像を、カメラパラメータを用いて生成する（ステップＳ２０３）。
解像度評価手段２１１は、生成した画像から、対象物体モデルの解像度ｒｉを取得する（ステップＳ２０４）。また、同時に、解像度評価手段２１１は、画像サイズ記憶手段３１に記憶されている画像サイズを参照して、生成された画像内に対象物体モデルが収まっているか否かを判定し、対象物体モデルが収まっている場合には、ペナルティ係数αを１として決定する。また、画像内に対象物体モデルが収まっていなければ、解像度評価手段２１１は、αを１未満の値として決定する（ステップＳ２０５）。この場合、例えば、対象物体のうち画像内に収まっている部分の割合、あるいは、画像からはみ出した部分の割合を計算し、その割合に基づいて、αの値を決定してもよい。前述のように、対象物体モデルが画像内に収まっていない場合のαの定め方は特に限定されない。ただし、αは、０〜１の範囲の値であるものとする。
ステップＳ２０４，Ｓ２０５の後、解像度評価手段２１１は、決定したペナルティ係数αと解像度評価関数ＦＲ（ｒｉ）とを用いて式（１）の計算を行うことによって、解像度ｒｉを評価し、選択した位置ｉに対応する適合度ＳＲｉを算出する（ステップＳ２０６）。
次に、解像度評価手段２１１は、対象領域内の全ての位置ｉについて適合度ＳＲｉを算出したか否かを判定する（ステップＳ２０７）。対象領域内の全ての位置ｉについて適合度ＳＲｉの算出が完了していなければ（ステップＳ２０７のＮｏ）、解像度評価手段２１１は、ステップＳ２０１以降の処理を繰り返す。対象領域内の全ての位置ｉについて適合度ＳＲｉの算出が完了していれば（ステップＳ２０７のＹｅｓ）、ステップＳ２の処理を終了する。
なお、対象領域内の全ての位置に関してではなく、対象領域内の離散化されたサンプル点となる各位置に関して適合度を算出することとしてもよい。この点は、後述のステップＳ３においても同様である。
ステップＳ２の後、注視点角度評価手段２１２は、対象領域内の各位置に関して、対象領域に対象物体モデルを配置したときの注視点角度を算出し、注視点角度評価関数記憶手段３５に記憶されている注視点角度評価関数を用いて、対象領域内の各位置ｉにおける適合度ＳＡｉを算出する（ステップＳ３）。
ステップＳ３をさらに詳細に説明する。図１４は、ステップＳ３の処理経過の例を示すフローチャートである。注視点角度評価手段２１２は、対象領域記憶手段３３に記憶されている対象領域を示す情報を参照し、対象領域の中から、未選択の位置ｉを選択する（ステップＳ３０１）。次に、注視点角度評価手段２１２は、選択した対象領域内の位置ｉに、対象物体モデルを配置した状態を定める（ステップＳ３０２）。すなわち、注視点角度評価手段２１２は、対象物体モデル記憶手段３２に記憶されている対象物体の位置および大きさを表すデータを用いて、対象物体モデルを位置ｉに配置した状態を表現する。
そして、注視点角度評価手段２１２は、ステップＳ３０２で定めた状態において、例えば、対象物体モデルの重心等を注視点とし、カメラパラメータによって規定されるカメラ位置と、その注視点とを通過する直線を算出する（ステップＳ３０３）。そして、注視点角度評価手段２１２は、その直線と地面とがなす角度を注視点角度ａｉとして算出する（ステップＳ３０４）。
また、注視点角度評価手段２１２は、ステップＳ３０２，Ｓ３０３と並行して、ステップＳ３０２で定めた状態を表す画像を、カメラパラメータを用いて生成する（ステップＳ３０５）。そして、注視点角度評価手段２１２は、画像サイズ記憶手段３１に記憶されている画像サイズを参照して、生成された画像内に対象物体モデルが収まっているか否かを判定し、対象物体モデルが収まっている場合には、ペナルティ係数αを１として決定する。また、画像内に対象物体モデルが収まっていなければ、注視点角度評価手段２１２は、αを１未満の値として決定する（ステップＳ３０６）。ステップＳ３０６は、解像度評価手段２１１が行うステップＳ２０５の処理と同様である。前述のように、αは、０〜１の範囲の値である。
ステップＳ３０４，Ｓ３０６の後、注視点角度評価手段２１２は、決定したペナルティ係数αと注視点角度評価関数ＦＡ（ａｉ）とを用いて式（２）の計算を行うことによって、注視点角度ａｉを評価し、選択した位置ｉに対応する適合度ＳＡｉを算出する（ステップＳ３０７）。
次に、注視点角度評価手段２１２は、対象領域内の全ての位置ｉについて適合度ＳＡｉを算出したか否かを判定する（ステップＳ３０８）。対象領域内の全ての位置ｉについて適合度ＳＡｉの算出が完了していなければ（ステップＳ３０８のＮｏ）、注視点角度評価手段２１２は、ステップＳ３０１以降の処理を繰り返す。対象領域内の全ての位置ｉについて適合度ＳＡｉの算出が完了していれば（ステップＳ３０８のＹｅｓ）、ステップＳ３の処理を終了する。
ステップＳ３の後、対象領域評価手段２１３は、対象領域と対象物体視界領域とがどの程度正確に重なるかを示す適合度ＳＴを算出する（ステップＳ４）。
ステップＳ４をさらに詳細に説明する。図１５は、ステップＳ４の処理経過の例を示すフローチャートである。対象領域評価手段２１３は、画像サイズ記憶手段３１に記憶された画像サイズで規定される大きさの画像の画素位置のうち、未選択の画素位置を選択する（ステップＳ４０１）。そして、対象領域評価手段２１３は、カメラパラメータを用いて、選択した画素位置に対応する実空間内の地面の位置を決定する（ステップＳ４０２）。対象領域評価手段２１３は、ステップＳ４０２で決定した実空間の位置が無限遠点（または無限遠点に準じる点）であるか否かを判定する（ステップＳ４０３）。ステップＳ４０２で決定した実空間の位置が無限遠点（または無限遠点に準じる点）である場合（ステップＳ４０３のＹｅｓ）、ステップＳ４０１以降の処理を繰り返す。
ステップＳ４０２で決定した実空間の位置が無限遠点（または無限遠点に準じる点）でない場合（ステップＳ４０３のＮｏ）、対象領域評価手段２１３は、その実空間の位置に、対象物体モデルを配置した状態を定める（ステップＳ４０４）。すなわち、対象領域評価手段２１３は、対象物体モデル記憶手段３２に記憶されている対象物体の位置および大きさを表すデータを用いて、その位置に対象物体モデルを配置した状態を表現する。続いて、対象領域評価手段２１３は、ステップＳ４０４で定めた状態を表す画像を、カメラパラメータを用いて生成する（ステップＳ４０５）。
そして、対象領域評価手段２１３は、画像サイズ記憶手段３１に記憶されている画像サイズを参照して、生成された画像内に対象物体モデルが収まっているか否かを判定する（ステップＳ４０６）。画像内に対象物体モデルが収まっていなければ（ステップＳ４０６におけるＮｏ）、ステップＳ４０１以降の処理を繰り返す。
ステップＳ４０３，Ｓ４０６の判定の結果、ステップＳ４０１以降の処理を繰り返すことになった場合（ステップＳ４０３のＹｅｓ、または、ステップＳ４０６のＮｏ）、直近のステップＳ４０２で決定した実空間の位置に関して、対象物体視界領域に該当しないと判定していることになる。
ステップＳ４０６において画像内に対象物体モデルが収まっている場合（ステップＳ４０６のＹｅｓ）、対象領域評価手段２１３は、直近のステップＳ４０２で決定した実空間の位置を、対象物体視界領域として記録する（ステップＳ４０７）。
次に、対象領域評価手段２１３は、画像内の全ての画素位置が選択済みであるか否かを判定する（ステップＳ４０８）。画像内に未選択の画素位置が残っている場合（ステップＳ４０８のＮｏ）、対象領域評価手段２１３は、ステップＳ４０１以降の処理を繰り返す。
画像内の全ての画素位置が選択済みである場合（ステップＳ４０８のＹｅｓ）、対象領域評価手段２１３は、対象物体視界領域として記録された実空間の位置について、それらの集まりを表す領域を求め、その領域を対象物体視界領域とする（ステップＳ４０９）。
次に、対象領域評価手段２１３は、対象領域記憶手段３３に記憶された対象領域を参照し、対象領域と対象物体視界領域との重なり領域の面積Ｖを求める。そして、対象領域評価手段２１３は、対象領域記憶手段３３に記憶された対象領域の面積Ｔ、対象物体視界領域の面積Ｕ、および重なり領域の面積Ｖを用いて式（３）の計算を行うことによって、適合度ＳＴを算出し（ステップＳ４１０）、ステップＳ４の処理を終了する。
ステップＳ４の後、総合評価手段２１４は、解像度に基づいて算出された各位置ｉの適合度ＳＲｉを解像度評価手段２１１から取得し、注視点角度に基づいて算出された各位置ｉの適合度ＳＡｉを注視点角度評価手段２１２から取得し、画像内における対象領域の見え方を評価した適合度ＳＴを対象領域評価手段２１３から取得する。そして、総合評価手段２１４は、それらの適合度を用いて、カメラパラメータが画像処理にどの程度適しているかを表す評価指標Ｃを算出し、出力する（ステップＳ５）。具体的には、総合評価手段２１４は、対象領域内の各位置に対してそれぞれ算出された適合度ＳＲｉ，ＳＡｉ、および適合度ＳＴを用いて、式（４）の計算を行うことによって、評価指標Ｃを算出する。
なお、図１２に示すフローチャートにおいて、ステップＳ２，Ｓ３，Ｓ４の実行順序は任意の順序でよい。
第１の実施形態のカメラ位置姿勢評価装置は、対象領域内の各位置に対象物体を配置した場合における画像内での対象物体の鮮明さを示す解像度と、対象領域内の各位置における、カメラの撮影角度による対象物体のアピアランスの違いや対象物体同士の重なり具体等を示す注視点角度と、画像内における対象領域の見え方の違いを示す対象領域と対象物体視界領域との重なり具合とを用いて、カメラパラメータに対して、画像処理の適性を総合的に評価し、評価指標Ｃとして出力する。従って、想定した対象領域および対象物体に対して画像処理を行う場合、評価しようとしているカメラパラメータがどの程度適しているかを評価指標の形で提供することができる。
また、前述のように、総合評価手段２１４は、対象領域内の位置ｉの適合度ＳＲｉに関しては、位置ｉに対応する画像内の画素位置や対象領域内のそのままの位置ｉに、適合度ＳＲｉに応じた色等を表示してもよい。同様に、総合評価手段２１４は、対象領域内の位置ｉの適合度ＳＡｉに関しても、位置ｉに対応する画像内の画素位置や対象領域内のそのままの位置ｉに、適合度ＳＡｉに応じた色を表示してもよい。このような表示を出力することによって、画像処理の適性を視覚的に表すことができる。
また、画像処理適性評価手段２１は、解像度評価手段２１１と注視点角度評価手段２１２のうち、一方のみを備え、他方については備えていない構成であってもよい。例えば、画像処理適性評価手段２１が解像度評価手段２１１を備えていない場合、ステップＳ２を実行しなくてよい。そして、総合評価手段２１４は、式（４）の第２項および第３項の和として評価指標Ｃを算出すればよい。また、例えば、画像処理適性評価手段２１が注視点角度評価手段２１２を備えていない場合、ステップＳ３を実行しなくてよい。そして、総合評価手段２１４は、式（４）の第１項および第３項の和として評価指標Ｃを算出すればよい。この場合であっても、カメラパラメータが、画像処理にどの程度適しているかを評価することができる。
実施形態２．
図１６は、本発明の第２の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。第１の実施形態と同様の要素についは、図１と同一の符号を付し、詳細な説明を省略する。第２の実施形態では、データ処理装置１００は、画像処理適性評価手段２１に加え、カメラパラメータ切替手段２２と、カメラパラメータ最適化手段２３とを備える。
カメラパラメータ切替手段２２は、カメラパラメータ入力装置１またはカメラパラメータ最適化手段２３から供給されるカメラパラメータを画像処理適性評価手段２１に供給する。具体的には、初期時には、カメラパラメータ切替手段２２は、カメラパラメータ入力装置１から供給されるカメラパラメータを画像処理適性評価手段２１に供給する。そして、その後には、カメラパラメータ切替手段２２は、カメラパラメータ最適化手段２３から供給されるカメラパラメータを画像処理適性評価手段２１に供給する。すなわち、カメラパラメータ切替手段２２は、初期時の後、カメラパラメータの供給元をカメラパラメータ入力装置１からカメラパラメータ最適化手段２３に切り替える。
カメラパラメータ最適化手段２３は、画像処理適性評価手段２１が出力する評価指標Ｃを用いて、評価指標が小さくなるように（すなわち、画像処理により適した状態になるように）、カメラパラメータを更新する。そして、カメラパラメータ最適化手段２３は、その更新後のカメラパラメータをカメラパラメータ切替手段２２に供給する。カメラパラメータ最適化手段２３は、評価指標Ｃが算出される毎にカメラパラメータを更新することによって、カメラパラメータを最適化する。
カメラパラメータ最適化手段２３は、例えば、以下の式（６）の計算を行うことによって、更新後のカメラパラメータを算出すればよい。最適化手法として、最急降下法等の公知の手法を用いてもよい。
Figure 0006201991
ｎ，ｗｉ，Ｗ１，Ｗ２，Ｗ３に関しては、式（４）と同様である。θは、カメラパラメータを示す。式（６）の左辺の、ハット記号“^”とともに示したθは、更新後のカメラパラメータである。また、適合度ＳＲｉ，ＳＡｉ，ＳＴは、それぞれカメラパラメータθの変化に伴い変化する値であるので、式（６）では、これらの適合度をそれぞれθの関数として示している。
なお、カメラパラメータの最適化において、例えば、カメラパラメータの一部を固定値にしたり、カメラパラメータのとり得る値の範囲を限定したりする等の制約を設けてもよい。例えば、カメラの設置位置が決定されている場合、カメラパラメータ最適化手段２３は、カメラパラメータを更新するときに、カメラの位置を示す外部パラメータである並進行列Ｔを固定とし、カメラの方向を示す外部パラメータである回転行列Ｒとカメラの特性を示す内部パラメータを変動させてもよい。
図１７は、第２の実施形態の処理経過の例を示すフローチャートである。最初に、カメラパラメータ入力装置１がカメラパラメータをカメラパラメータ切替手段２２に供給する（ステップＳ１）。
そして、カメラパラメータ切替手段２２は、カメラパラメータ入力装置１またはカメラパラメータ最適化手段２３から供給されたカメラパラメータを、画像処理適性評価手段２１（具体的には、解像度評価手段２１１、注視点角度評価手段２１２および対象領域評価手段２１３）に供給する（ステップＳ６）。
ここで、ステップＳ１の後、最初のステップＳ６では、カメラパラメータ切替手段２２は、カメラパラメータ入力装置１から供給されたカメラパラメータを画像処理適性評価手段２１に供給する。
また、２回目以降のステップＳ６を実行する場合（換言すれば、後述のステップＳ８の後にステップＳ６を実行する場合）、カメラパラメータ切替手段２２は、ステップＳ８でカメラパラメータ最適化手段２３から供給されたカメラパラメータを画像処理適性評価手段２１に供給する。
ステップＳ６の後、画像処理適性評価手段２１はステップＳ２〜Ｓ５の処理を実行する。ステップＳ２〜Ｓ５の処理は、第１の実施形態におけるステップＳ２〜Ｓ５の処理（図１２参照）と同様であり、説明を省略する。
ステップＳ５の後、カメラパラメータ最適化手段２３は、ステップＳ５で総合評価手段２１４（図６参照）が出力する評価指標Ｃが最小値になったか否かを判定する（ステップＳ７）。評価指標Ｃが最小値になっていなければ（ステップＳ７のＮｏ）、ステップＳ８に移行する。また、評価指標Ｃが最小値であれば（ステップＳ７のＹｅｓ）、カメラパラメータ最適化手段２３は直前のステップＳ８で更新されたカメラパラメータθを、画像処理に最適なカメラパラメータとして出力する。
また、カメラパラメータ最適化手段２３は、ステップＳ７において、評価指標Ｃが収束したか否かを判定してもよい。この場合、評価指標Ｃが収束していなければ（ステップＳ７のＮｏ）、ステップＳ８に移行する。評価指標Ｃが収束していれば（ステップＳ７のＹｅｓ）、カメラパラメータ最適化手段２３は直前のステップＳ８で更新されたカメラパラメータθを、画像処理に最適なカメラパラメータとして出力する。
ステップＳ７の判定方法は、特に限定されない。例えば、評価指標Ｃが収束しているか否かを判定する場合、評価指標Ｃと前回の評価指標Ｃの値の差分が予め定められた閾値以下になっていれば、評価指標Ｃが収束したと判定し、その差分が閾値を越えていれば、評価指標Ｃは収束していないと判定することもできる。
ステップＳ８において、カメラパラメータ最適化手段２３は、式（６）の計算によって、更新後のカメラパラメータを算出する（ステップＳ８）。具体的には、カメラパラメータ最適化手段２３は、ステップＳ２で得られた位置毎の適合度ＳＲｉと、ステップＳ３で得られた位置毎の適合度ＳＡｉと、ステップＳ４で得られた適合度ＳＴとを、それぞれ、式（６）のＳＲｉ（θ），ＳＡｉ（θ），ＳＴ（θ）に代入し、式（６）の計算を行うことで更新後のパラメータを算出すればよい。カメラパラメータ最適化手段２３は、更新したカメラパラメータをカメラパラメータ切替手段２２に供給する。
以降、データ処理装置１００は、ステップＳ６以降の処理を繰り返す。２回目以降のステップＳ６の実行時には、カメラパラメータ切替手段２２は、カメラパラメータ最適化手段２３が直前のステップＳ８で更新したカメラパラメータを画像処理特性評価手段２１に供給する。
このように、ステップＳ６，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ７，Ｓ８の処理を繰り返し、ステップＳ７で、評価指標Ｃが最小値になった（あるいは、評価指標Ｃが収束した）と判定したときにカメラパラメータ最適化手段２３が出力するカメラパラメータが、画像処理に最適なカメラパラメータである。
第２の実施形態においても、第１の実施形態と同様に、画像処理の適性を総合的に評価し、評価指標Ｃを算出する。そして、カメラパラメータ最適化手段２３が、評価指標が小さくなるようにカメラパラメータを更新し、評価指標Ｃを算出する処理を繰り返す。従って、本実施形態によれば、想定した対象領域および対象物体に関して、画像処理に最も適しているカメラパラメータ（カメラの状態）を求めることができる。また、画像処理に最も適しているカメラパラメータをデータ処理装置１００の処理によって自動的に算出することができるため、ユーザがカメラの位置や姿勢を試行錯誤して調整する必要がない。
実施形態３．
図１８は、本発明の第３の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。第１の実施形態および第２の実施形態と同様の要素については、図１、図１６と同一の符号を付し、詳細な説明を省略する。
第３の実施形態における記憶装置１０２は、画像サイズ記憶手段３１と、対象物体モデル記憶手段３２と、対象領域記憶手段３３と、解像度評価関数記憶手段３４と、注視点角度評価関数記憶手段３５と、障害物記憶手段３６とを備える。
障害物記憶手段３６は、対象領域に存在する障害物の位置、形状、大きさを記憶する。
また、第３の実施形態におけるデータ処理装置１０１は、画像処理特性評価手段２４を備える。図１９は、画像処理特性評価手段２４を示すブロック図である。画像処理特性評価手段２４は、解像度評価手段２１５と、注視点角度評価手段２１６と、対象領域評価手段２１７と、総合評価手段２１４とを備える。総合評価手段２１４は、第１の実施形態における総合評価手段２１４と同様である。
解像度評価手段２１５は、第１の実施形態における解像度評価手段２１１（図６参照）とは、ペナルティ係数の決定方法が異なる。解像度評価手段２１５は、対象領域内に対象物体モデルを配置した状態の画像を作成するときに、障害物記憶手段３６が記憶している情報も参照して、対象領域内の位置ｉに対象物体モデルが配置され、障害物記憶手段３６が記憶する位置に、障害物記憶手段３６が記憶している形状・大きさの障害物が配置された状態の画像を生成する。そして、解像度評価手段２１５は、対象物体モデルの一部が画像外に出る場合、または、画像内で対象物体モデルが障害物に隠される場合に、αを１未満の値とする。また、解像度評価手段２１５は、対象物体モデルが画像内に収まり、かつ、画像内で対象物体モデルが障害物に隠されない場合に、α＝１とする。画像内において、対象物体モデルが障害物に隠されるか否かや、対象物体モデルが障害物にどれくらい隠されるかに関する判定は、カメラパラメータ、および、障害物記憶手段３６が記憶している障害物の位置、形状、大きさの情報に基づいて行うことができる。
ペナルティ係数αの決定の例を挙げる。例えば、解像度評価手段２１５は、対象物体モデルが画像内に収まり、かつ、画像内で対象物体モデルが障害物に隠されない場合に、α＝１とし、それ以外の場合にα＝０としてもよい。また、例えば、解像度評価手段２１５は、画像からはみ出しておらず、かつ、障害物に隠されていない対象物体モデルの部分の画素面積（Ｐとする。）を求め、対象物体全体の画素面積に対する画素面積Ｐの割合をペナルティ係数αとしてもよい。この割合は、対象物体のうち、画像内に収まっていて、かつ、障害物で隠されてない部分の割合と言うことができる。上記のαの値の定め方は例示であり、対象物体が画像内に収まっていない場合、または、対象物体が障害物に隠されていない場合のαの値の定め方は上記の例に限定されない。
解像度評価手段２１５の他の処理は、第１の実施形態における解像度評価手段２１１の処理と同様である。
注視点角度評価手段２１６は、第１の実施形態における解像度評価手段２１２（図６参照）とは、ペナルティ係数の決定方法が異なる。注視点角度評価手段２１６は、対象領域内に対象物体モデルを配置した状態の画像を作成するときに、障害物記憶手段３６が記憶している情報も参照して、対象領域内の位置ｉに対象物体モデルが配置され、障害物記憶手段３６が記憶する位置に、障害物記憶手段３６が記憶している形状・大きさの障害物が配置された状態の画像を生成する。そして、注視点角度評価手段２１６は、本実施形態における解像度評価手段２１５と同様にペナルティ係数を決定する。
注視点角度評価手段２１６の他の処理は、第１の実施形態における注視点角度評価手段２１２の処理と同様である。
対象領域評価手段２１７は、第１の実施形態における対象領域評価手段２１３と同様に、画像内の画素位置に対応する実空間内の地面の位置を決定する。そして、対象領域評価手段２１７は、その位置に対象物体モデルを配置した状態の画像を作成するときに、障害物記憶手段３６が記憶している情報も参照して、その位置に対象物体モデルが配置され、障害物記憶手段３６が記憶する位置に、障害物記憶手段３６が記憶している形状・大きさの障害物が配置された状態の画像を生成する。そして、対象領域評価手段２１７は、その画像において、対象物体モデルが画像内に収まっていて、かつ、障害物に隠されていない場合に、その実空間の位置を対象物体視界領域に該当する位置として記録する。そうでない場合には、対象領域評価手段２１７は、その実空間の位置が象物体視界領域に該当しないと判定する。
対象領域評価手段２１７の他の処理は、第１の実施形態における対象領域評価手段２１３の処理と同様である。
図２０は、画像内で対象物体モデルが障害物に隠される場合および隠されない場合の例を示す説明図である。図２０（ａ）に示すように、画像内で対象物体モデルの一部分でも障害物に隠される場合には、対象物体モデルが障害物に隠される状態に該当する。また、図２０（ｂ）に示すように、対象物体モデルのうち障害物に隠される部分が全くなければ、対象物体モデルが障害物に隠されていない状態に該当する。
第３の実施形態の処理経過は、図１２に示すフローチャートと同様である。ただし、ステップＳ２，Ｓ３，Ｓ４の処理の一部が第１の実施形態と異なるので、異なる点を中心に、図１３ないし図１５のフローチャートを参照して、本実施形態の処理経過について説明する。既に説明した処理と同様の処理については説明を省略する。
図１３に示すステップＳ２０２では、解像度評価手段２１５は、選択した対象領域内の位置ｉに、対象物体モデルを配置し、さらに、障害物記憶手段３６が記憶する位置に、障害物記憶手段３６が記憶している形状・大きさの障害物を配置した状態を定める。続いて、解像度評価手段２１５は、その状態を表す画像を、カメラパラメータを用いて生成する（ステップＳ２０３）。
次のステップＳ２０５では、解像度評価手段２１５は、画像内において、対象物体モデルの一部が画像外に出るか否か、および、対象物体モデルが障害物に隠されるか否かを評価する。対象物体モデルの一部が画像外に出る場合、または、画像内で対象物体モデルが障害物に隠される場合に、αを１未満の値とする。また、解像度評価手段２１５は、対象物体モデルが画像内に収まり、かつ、画像内で対象物体モデルが障害物に隠されない場合に、α＝１とする。
この場合、解像度評価手段２１５は、例えば、対象物体のうち、画像内に収まっていて、かつ、障害物で隠されてない部分の割合を計算し、その計算結果に基づいて、αの値を決定してもよい。ただし、第１の実施形態と同様に、αは、０〜１の範囲の値である。
ステップＳ２におけるその他の処理は、第１の実施形態におけるステップＳ２の処理と同様である。
また、第３の実施形態で注視点角度評価手段２１６が実行するステップＳ３０２，Ｓ３０５，Ｓ３０６（図１４参照）は、上記の解像度評価手段２１５が実行するステップＳ２０２，Ｓ２０３，Ｓ２０５と同様である。また、ステップＳ３におけるその他の処理は、第１の実施形態におけるステップＳ３の処理と同様である。
また、第３の実施形態で対象領域評価手段２１７が実行するステップＳ４０４，Ｓ４０５（図１５参照）は、上記の解像度評価手段２１５が実行するステップＳ２０２，Ｓ２０３と同様である。そして、対象領域評価手段２１７は、ステップＳ４０６で、対象物体モデルが画像内に収まっていて、かつ、画像内で対象物体モデルが障害物に隠されていない状態になっているか否かを判定する。対象物体モデルが画像内に収まっていて、かつ、画像内で対象物体モデルが障害物に隠されていないならば（ステップＳ４０６のＹｅｓ）、ステップＳ４０７に移行する。それ以外の場合（ステップＳ４０６のＮｏ）には、ステップＳ４０１以降の処理を繰り返す。また、ステップＳ４におけるその他の処理は、第１の実施形態におけるステップＳ４の処理と同様である。
本実施形態では、解像度、注視点角度、および対象領域と対象物体視界領域との重なり具合を用いて、カメラパラメータに対して、画像処理の適性を総合的に評価する際、障害物で対象物体が隠されることによる画像処理の適性の低下を考慮している。従って、想定した対象領域、対象物体および障害物に対して画像処理を行う場合、評価しようとしているカメラパラメータがどの程度適しているかを評価指標の形で提供することができる。
なお、第３の実施形態に第２の実施形態を適用してもよい。
実施形態４．
第４の実施形態では、データ処理装置は、注視点角度評価手段、対象領域評価手段および総合評価手段を備えない。そして、第４の実施形態では、データ処理装置は、解像度評価手段を備えていればよい。また、第４の実施形態では、解像度評価手段への入力データが、第１の実施形態と異なる。第４の実施形態における解像度評価手段を符号“２１８”で表す。
図２１は、第４の実施形態における解像度評価手段２１８への入力データを示す説明図である。第４の実施形態における解像度評価手段２１８には、カメラパラメータは入力されない。解像度評価手段２１８には、カメラパラメータの代わりに、実際にカメラが対象領域内の対象物体を撮影して得られた画像から求めた対象物体の解像度と、対象物体全体が画像内に収まっているか否かを示す情報が入力される。対象物体全体が画像内に収まっていない場合には、対象物体全体のうち画像内に収まっている部分の割合、あるいは、画像からはみ出している部分の割合が入力されてもよい。本例では、対象物体が画像内に収まっていない場合には、対象物体全体のうち画像内に収まっている部分の割合が入力される場合を例にして説明する。
対象領域内では対象物体の配置位置を変化させ、カメラは、対象物体の配置位置毎に、定められた位置・姿勢等の設定条件のもとで、対象領域内の対象物体を撮影する。そして、対象物体の配置位置毎に得られた各画像からそれぞれ、対象物体の解像度と、対象物体が画像内に収まっているか否かを示す情報を抽出し、解像度評価手段２１８への入力データとすればよい。
第１の実施形態では、対象領域に対象物体モデルを配置したときの状態を定め、その状態を表す画像を生成し、その画像から解像度等を取得していた。これに対し、本実施形態では、実際にカメラの撮影によって得られた画像から、解像度や、対象物体全体が画像内に収まっているか否かを示す情報等を、例えば、管理者が人手で取得しておき、それらの情報を入力データとする。従って、第４の実施形態では、画像サイズ記憶手段３１、対象物体モデル記憶手段３２、対象領域記憶手段３３は設けられていなくてよい。さらに、注視点角度評価関数記憶手段３５も設けられていなくてよい。ただし、解像度評価関数記憶手段３４は、記憶装置３（図２１において図示略）に設けられる。
以下、本実施形態の処理経過の例について説明する。解像度評価手段２１８に、実際にカメラが対象領域内の対象物体を撮影して得られた画像から求めた対象物体の解像度と、対象物体全体が画像内に収まっているか否かを示す情報が、対象物体の配置位置毎に入力される。また、対象物体全体が画像内に収まっていない場合には、対象物体全体のうち画像内に収まっている部分の割合も解像度評価手段２１８に入力される。これらの入力データが入力された後の解像度評価手段２１８の動作を、図２２を参照して説明する。
図２２は、第４の実施形態における解像度評価手段２１８の動作の例を示すフローチャートである。解像度評価手段２１８は、対象領域のうち対象物体が配置され画像が撮影された位置ｉを選択する（ステップＳ２０１）。
次に、解像度評価手段２１８は、選択した位置ｉに対応して入力された情報を取得する（ステップＳ２０８）。すなわち、解像度評価手段２１８は、位置ｉに対応する、解像度、対象物体全体が画像内に収まっているか否かを示す情報を取得する。解像度評価手段２１８は、対象物体全体が画像内に収まっていない場合には、対象物体全体のうち画像内に収まっている部分の割合も取得する。
そして、解像度評価手段２１８は、対象物体全体が画像内に収まっているか否か、対象物体全体のうち画像内に収まっている部分の割合に基づいて、ペナルティ係数αを決定する（ステップＳ２０９）。対象物体全体が画像内に収まっている場合、解像度評価手段２１８は、α＝１と決定する。そうでない場合、解像度評価手段２１８は、αを１未満の値として決定する。この場合、解像度評価手段２１８は、対象物体全体のうち画像内に収まっている部分の割合に応じて、αの値を決定してもよい。対象物体が画像内に収まっていない場合のαの定め方は特に限定されず、対象物体のうち画像からはみ出している部分の割合に応じてαを定めてもよい。ただし、αは、０〜１の範囲の値である。
ステップＳ２０８，Ｓ２０９の後、解像度評価手段２１８は、決定したペナルティ係数αと解像度評価関数ＦＲ（ｒｉ）とを用いて式（１）の計算を行うことによって、選択した位置ｉに対応する適合度ＳＲｉを算出する（ステップＳ２０６）。本実施形態では、解像度評価手段２１８は、ステップＳ２０８で取得した解像度を式（１）に代入する。
そして、解像度評価手段２１８は、対象領域のうち対象物体が配置され画像が撮影された全ての位置について適合度ＳＲｉを算出したか否かを判定する（ステップＳ２１０）。各位置ｉについて適合度ＳＲｉの算出が完了していなければ（ステップＳ２１０のＮｏ）、解像度評価手段２１８は、ステップＳ２０１以降の処理を繰り返す。各位置ｉについて適合度ＳＲｉの算出が完了していれば（ステップＳ２１０のＹｅｓ）、解像度評価手段２１８は、各位置ｉについて算出した適合度ＳＲｉをそれぞれ出力し、処理を終了する。各位置ｉにおける適合度ＳＲｉも、解像度に関する画像処理適性の評価に利用することができる。
本実施形態では、解像度に関する画像処理適性の評価を、実際に対象物体を撮影して得られた画像に基づいて行うことができる。
実施形態５．
図２３は、本発明の第５の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。本実施形態のカメラ位置姿勢評価装置は、カメラパラメータ入力装置１と、カメラ位置姿勢推定手段３０１と、評価指標統合手段３０４と、対象領域分割手段３０５とを備える。
カメラパラメータ入力装置１は、第２の実施形態におけるカメラパラメータ入力装置１と同様である。
また、図２３では、第２の実施形態におけるカメラパラメータ切替手段２２、画像処理適性評価手段２１、カメラパラメータ最適化手段２３、および記憶装置３を合わせて、カメラ位置姿勢推定手段３０１として図示している。すなわち、カメラ位置姿勢推定手段３０１は、第２の実施形態におけるカメラパラメータ切替手段２２、画像処理適性評価手段２１、カメラパラメータ最適化手段２３、および記憶装置３を合わせたものに相当し、これらの各手段２１〜２３および記憶装置３を含んでいる。そして、カメラ位置姿勢推定手段３０１は、第２の実施形態のデータ処理装置１００と同様の処理を行う。
本実施形態では、カメラ位置姿勢推定手段３０１が第２の実施形態と同様の処理を行って最適化したカメラパラメータに関する評価指標Ｃが閾値以下でない場合、対象領域分割手段３０５が、対象領域を分割する。そして、分割された対象領域には、それぞれ１つずつカメラを配置するものと仮定し、カメラパラメータ入力装置１は、分割後の対象領域毎に、カメラパラメータをカメラ位置姿勢推定手段３０１に供給する。
カメラ位置姿勢推定手段３０１は、対象領域毎に、入力されたカメラパラメータに基づいて、最適化したカメラパラメータを算出するとともに、そのカメラパラメータに関する評価指標Ｃを算出する。従って、分割後の各対象領域と一対一に対応するように、カメラパラメータおよび評価指標Ｃを算出する。
１つの領域に関して、カメラ位置姿勢推定手段３０１が最適なカメラパラメータおよびそのパラメータに関する評価指標Ｃを算出する場合、カメラ位置姿勢推定手段３０１に含まれるカメラパラメータ切替手段２２、画像処理適性評価手段２１、カメラパラメータ最適化手段２３は、第２の実施形態と同様の処理を行う。
分割後の領域毎に算出された評価指標Ｃの統合結果（評価指標Ｃ’）が閾値以下でない場合、対象領域分割手段３０５が、対象領域をさらに分割して同様の処理を繰り返す。
統合結果である評価指標Ｃ’が閾値以下でないということは、分割後の各領域に一対一に対応するカメラのカメラパラメータが、画像処理に適しているという観点から見て好ましい状態になっていないことを意味する。この場合、対象領域分割手段３０５が、対象領域の分割数を増やす。これは、分割数に合わせてカメラ台数を増やした場合を仮定していることに相当する。従って、本実施形態のカメラ位置姿勢評価装置は、領域毎のカメラのカメラパラメータが好ましい状態でない場合、カメラ台数を増加させることで、各カメラのカメラパラメータが好ましくなる状態を探索していると言うことができる。
評価指標統合手段３０４は、分割後の対象領域毎に算出された評価指標Ｃを統合する。分割後の対象領域毎に算出された評価指標Ｃの統合結果を、符号Ｃ’で表し、評価指標Ｃ’と記す。
以下、統合後の評価指標Ｃ’の計算方法について説明する。１つの領域に関する評価指標Ｃは、前述の式（４）で表される。評価指標統合手段３０４は、領域毎に評価指標Ｃを算出するときにおける式（４）の第１項および第２項をそのまま全て加算する。さらに、評価指標統合手段３０４は、元の対象領域の面積に対する分割後の対象領域の面積の割合で式（４）の第３項に対して重み付けを行い、重み付けを行った後の第３項をそれぞれ加算する。この加算結果が、統合後の評価指標Ｃ’である。
以下、評価指標Ｃ’の算出の具体例を示す。元の対象領域が３つの領域Ａ，Ｂ，Ｃに分割されているとする。そして、元の対象領域の面積をｎとする。また、領域Ａの面積をａとする。領域Ｂの面積をｂとする。領域Ｃの面積をｃとする。
領域Ａのカメラパラメータに関する評価指標ＣＡは、以下の式（７）で表される。
Figure 0006201991
領域Ｂのカメラパラメータに関する評価指標ＣＢは、以下の式（８）で表される。
Figure 0006201991
領域Ｃのカメラパラメータに関する評価指標ＣＣは、以下の式（９）で表される。
Figure 0006201991
前述のように、第１項および第２項をそのまま全て加算し、第３項に関しては元の面積に対する分割後の領域の面積で重み付けした結果を加算する。従って、本例では、評価指標統合手段３０４は、以下の式（１０）の計算を行うことによって、統合後の評価指標Ｃ’を算出する。
Figure 0006201991
このように評価指標Ｃ’を算出することによって、元の対象領域の分割数が増加したとしても、同じスケールで評価指標Ｃ’同士を比較することができ、スケールで評価指標Ｃ’と比較される閾値の値を変化させる必要がない。
なお、元の対象領域が分割されていない当初の状態では、その１つの領域に関して算出された評価指標Ｃが、そのまま統合後の評価指標Ｃ’となる。
対象領域分割手段３０５は、統合後の評価指標Ｃ’と閾値を比較し、評価指標Ｃ’が閾値以下であれば、その時点で得られている分割後の各領域に関してそれぞれ求められた最適化されたカメラパラメータおよび分割後の領域数（換言すれば、カメラ台数）を出力する。評価指標Ｃ’が閾値よりも大きい場合、対象領域の分割数をさらに増やす。そして、対象領域分割手段３０５は、分割後の各領域の情報をカメラ位置推定手段３０１に入力し、領域毎に、最適なカメラパラメータおよびそのカメラパラメータに関する評価指標Ｃを算出する処理をカメラ位置推定手段３０１に実行させる。このとき、カメラパラメータ入力装置１は、領域毎に、初期時のカメラパラメータをカメラ位置推定手段３０１に供給する。
カメラ位置推定手段３０１が、領域毎の評価指標Ｃを算出すると評価指標統合手段３０４は、領域毎の評価指標Ｃを統合した結果である評価指標Ｃ’を算出する。
第５の実施形態のカメラ位置姿勢評価装置は、評価指標Ｃ’が閾値以下になるまで、上記の処理を繰り返す。
対象領域分割手段３０５が対象領域を分割する態様は、特に限定されない。例えば、対象領域分割手段３０５は、元の対象領域を２等分し、次に分割を行うときには、２つの領域の一方を２等分し、さらに次に分割を行うときには、他方の領域を２等分し、以降、同様に分割を行ってもよい。
本実施形態によれば、評価指標を満たす最適なカメラパラメータが得られなかった場合、カメラ台数（分割後の領域数）を増加させていくことで、好ましい評価指標が得られる最適なカメラパラメータおよびカメラ台数を求めることができる。
第５の実施形態におけるカメラ位置姿勢推定手段３０１に第３の実施形態が適用されてもよい。
実施形態６．
図２４は、本発明の第６の実施形態のカメラ位置姿勢評価装置の構成例を示すブロック図である。第１の実施形態と同様の要素については、図１と同一の符号を付し、詳細な説明を省略する。第６の実施形態では、画像サイズ記憶手段３１と、対象物体モデル記憶手段３２と、対象領域記憶手段３３と、解像度評価関数記憶手段３４と、注視点角度評価関数記憶手段３５とを含む記憶装置３と、カメラパラメータ入力装置１が、コンピュータ４００に接続される。また、カメラ位置姿勢評価プログラム４０１を記憶するコンピュータ可読記憶媒体４０２もコンピュータ４００に接続されている。
コンピュータ可読記憶媒体４０２は、例えば、磁気ディスクや半導体メモリ等で実現され、コンピュータ４００は起動時等に、カメラ位置姿勢評価プログラム４０１を読み取り、そのプログラム４０１に従って、例えば、第１の実施形態におけるデータ処理装置２（解像度評価手段２１１、注視点角度評価手段２１２、対象領域評価手段２１３および総合評価手段２１４を含む画像処理適性評価手段２１）として動作する。
また、コンピュータ４００は、カメラ位置姿勢評価プログラム４０１に従って、第２から第５までの各実施形態におけるデータ処理装置として動作してもよい。
また、第１ないし第５の各実施形態において、個々の手段が別々のユニットで実現されていてもよい。
次に、本発明の最小構成を説明する。図２５は、本発明のカメラ位置姿勢評価装置の最小構成の例を示すブロック図である。本発明のカメラ位置姿勢評価装置は、解像度評価手段７１と、注視点角度評価手段７２のうち、少なくとも一方を備え、さらに、対象領域評価手段７３と、総合評価手段７４とを備える。
解像度評価手段７１は、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度（例えば、ＳＲｉ）を導出する。
注視点角度評価手段７２は、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度（例えば、ＳＡｉ）を導出する。
対象領域評価手段７３は、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度（例えば、ＳＴ）を導出する。
総合評価手段７４は、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標（例えば、評価指標Ｃ）を導出する。
そのような構成によって、画像処理にどの程度適した状態で物体が画像内に現れるかという観点でカメラの状態の評価を示す値を算出することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段と、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段とのうち、少なくとも一方を備え、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価手段と、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価手段とを備えることを特徴とするカメラ位置姿勢評価装置。
（付記２）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段を備え、解像度評価手段は、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する付記１に記載のカメラ位置姿勢評価装置。
（付記３）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段を備え、解像度評価手段は、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する付記１に記載のカメラ位置姿勢評価装置。
（付記４）対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段を備え、注視点角度評価手段は、対象物体全体が画像内に収まっている場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する付記１から付記３のうちのいずれかに記載のカメラ位置姿勢評価装置。
（付記５）対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段を備え、注視点角度評価手段は、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する付記１から付記３のうちのいずれかに記載のカメラ位置姿勢評価装置。
（付記６）総合評価手段は、解像度評価手段が備えられている場合に、各位置における重みを用いて、第１の適合度の上限値と第１の適合度との差の重み付き二乗和を計算し、注視点角度評価手段が備えられている場合に、各位置における重みを用いて、第２の適合度の上限値と第２の適合度との差の重み付き二乗和を計算し、第３の適合度の上限値と第３の適合度との差の二乗和を計算し、計算した各二乗和の重み付き線形和を計算することによって評価指標を算出する付記１から付記５のうちのいずれかに記載のカメラ位置姿勢評価装置。
（付記７）総合評価手段によって導出される評価指標が所定の値に近づくようにカメラの状態を表すカメラパラメータを更新するパラメータ更新手段を備え、前記パラメータ更新手段は、評価指標が所定の条件を満たすまで、評価指標が導出される毎にカメラパラメータを更新することによってカメラパラメータの最適値を求める付記１から付記６のうちのいずれかに記載のカメラ位置姿勢評価装置。
（付記８）対象領域を分割する対象領域分割手段を備え、解像度評価手段が備えられている場合に、当該解像度評価手段は、対象領域毎に、対象領域内の各位置に応じた第１の適合度を導出し、注視点角度評価手段が備えられている場合に、当該注視点角度評価手段は、対象領域毎に、対象領域内の各位置に応じた第２の適合度を導出し、注視点角度評価手段は、対象領域毎に第３の適合度を導出し、総合評価手段は、対象領域毎に評価指標を導出し、パラメータ更新手段は、対象領域毎にカメラパラメータの最適値を求め、各対象領域におけるカメラパラメータが最適値になるときの評価指標を統合する評価指標統合手段を備え、対象領域分割手段は、統合後の評価指標が閾値を越えている場合、対象領域の分割数を増やす付記７に記載のカメラ位置姿勢評価装置。
（付記９）対象領域内の各位置に配置される対象物体を撮影することによって得られた画像から取得された画像内の対象物体の解像度、および、対象物体全体が画像内に収まっているか否かを示す情報が与えられ、前記解像度を、解像度と画像処理の適性を示す適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた適合度を導出する解像度評価手段を備え、解像度評価手段は、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって適合度を導出することを特徴とするカメラ位置姿勢評価装置。
（付記１０）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価ステップと、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価ステップとのうち、少なくとも一方を含み、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価ステップと、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価ステップとを含むことを特徴とするカメラ位置姿勢評価方法。
（付記１１）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価ステップを含み、解像度評価ステップで、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する付記１０に記載のカメラ位置姿勢評価方法。
（付記１２）対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価ステップを含み、解像度評価ステップで、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する付記１０に記載のカメラ位置姿勢評価方法。
（付記１３）対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価ステップを含み、注視点角度評価ステップで、対象物体全体が画像内に収まっている場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する付記１０から付記１２のうちのいずれかに記載のカメラ位置姿勢評価方法。
（付記１４）対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価ステップを含み、注視点角度評価ステップで、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、前記注視点角度を注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する付記１０から付記１２のうちのいずれかに記載のカメラ位置姿勢評価方法。
（付記１５）解像度評価ステップが含まれている場合に、総合評価ステップで、各位置における重みを用いて、第１の適合度の上限値と第１の適合度との差の重み付き二乗和を計算し、注視点角度評価ステップが含まれている場合に、総合評価ステップで、各位置における重みを用いて、第２の適合度の上限値と第２の適合度との差の重み付き二乗和を計算し、総合評価ステップで、第３の適合度の上限値と第３の適合度との差の二乗和を計算し、計算した各二乗和の重み付き線形和を計算することによって評価指標を算出する付記１０から付記１４のうちのいずれかに記載のカメラ位置姿勢評価方法。
（付記１６）総合評価ステップで導出される評価指標が所定の値に近づくようにカメラの状態を表すカメラパラメータを更新するパラメータ更新ステップを含み、前記パラメータ更新ステップで、評価指標が所定の条件を満たすまで、評価指標が導出される毎にカメラパラメータを更新することによってカメラパラメータの最適値を求める付記１０から付記１５のうちのいずれかに記載のカメラ位置姿勢評価方法。
（付記１７）対象領域を分割する対象領域分割ステップを含み、解像度評価ステップが含まれている場合に、当該解像度評価ステップで、対象領域毎に、対象領域内の各位置に応じた第１の適合度を導出し、注視点角度評価ステップが含まれている場合に、当該注視点角度評価ステップで、対象領域毎に、対象領域内の各位置に応じた第２の適合度を導出し、注視点角度評価ステップで、対象領域毎に第３の適合度を導出し、総合評価ステップで、対象領域毎に評価指標を導出し、パラメータ更新ステップで、対象領域毎にカメラパラメータの最適値を求め、各対象領域におけるカメラパラメータが最適値になるときの評価指標を統合する評価指標統合ステップを含み、統合後の評価指標が閾値を越えている場合、対象領域分割ステップで、対象領域の分割数を増やす付記１６に記載のカメラ位置姿勢評価方法。
（付記１８）対象領域内の各位置に配置される対象物体を撮影することによって得られた画像から取得された画像内の対象物体の解像度、および、対象物体全体が画像内に収まっているか否かを示す情報が与えられ、前記解像度を、解像度と画像処理の適性を示す適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた適合度を導出する解像度評価ステップを含み、解像度評価ステップで、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって適合度を導出することを特徴とするカメラ位置姿勢評価方法。
（付記１９）コンピュータに、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価処理と、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価処理とのうち、少なくとも一方を実行させ、画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価処理、および、対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価処理を実行させるためのカメラ位置姿勢評価プログラム。
（付記２０）コンピュータに、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価処理を実行させ、解像度評価処理で、対象物体全体が画像内に収まっている場合に、前記解像度を解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出させる付記１９に記載のカメラ位置姿勢評価プログラム。
（付記２１）コンピュータに、対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価処理を実行させ、解像度評価処理で、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出させる付記１９に記載のカメラ位置姿勢評価プログラム。
（付記２２）コンピュータに、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価処理を実行させ、注視点角度評価処理で、対象物体全体が画像内に収まっている場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出させる付記１９から付記２１のうちのいずれかに記載のカメラ位置姿勢評価プログラム。
（付記２３）コンピュータに、対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価処理を実行させ、注視点角度評価処理で、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出させる付記１９から付記２１のうちのいずれかに記載のカメラ位置姿勢評価プログラム。
（付記２４）コンピュータに、解像度評価処理を実行させた場合に、総合評価処理で、各位置における重みを用いて、第１の適合度の上限値と第１の適合度との差の重み付き二乗和を計算させ、注視点角度評価処理を実行させた場合に、総合評価処理で、各位置における重みを用いて、第２の適合度の上限値と第２の適合度との差の重み付き二乗和を計算させ、総合評価処理で、第３の適合度の上限値と第３の適合度との差の二乗和を計算させ、計算した各二乗和の重み付き線形和を計算することによって評価指標を算出させる付記１９から付記２３のうちのいずれかに記載のカメラ位置姿勢評価プログラム。
（付記２５）コンピュータに、総合評価処理で導出される評価指標が所定の値に近づくようにカメラの状態を表すカメラパラメータを更新するパラメータ更新処理を実行させ、前記パラメータ更新処理で、評価指標が所定の条件を満たすまで、評価指標が導出される毎にカメラパラメータを更新することによってカメラパラメータの最適値を求めさせる付記１９から付記２４のうちのいずれかに記載のカメラ位置姿勢評価プログラム。
（付記２６）コンピュータに、対象領域を分割する対象領域分割処理を実行させ、
解像度評価処理を実行させる場合に、当該解像度評価処理で、対象領域毎に、対象領域内の各位置に応じた第１の適合度を導出させ、注視点角度評価処理を実行させる場合に、当該注視点角度評価処理で、対象領域毎に、対象領域内の各位置に応じた第２の適合度を導出させ、注視点角度評価処理で、対象領域毎に第３の適合度を導出させ、総合評価処理で、対象領域毎に評価指標を導出させ、パラメータ更新処理で、対象領域毎にカメラパラメータの最適値を求めさせ、各対象領域におけるカメラパラメータが最適値になるときの評価指標を統合する評価指標統合処理を実行させ、対象領域分割処理で、統合後の評価指標が閾値を越えている場合、対象領域の分割数を増加させる付記２５に記載のカメラ位置姿勢評価プログラム。
（付記２７）コンピュータに、対象領域内の各位置に配置される対象物体を撮影することによって得られた画像から取得された画像内の対象物体の解像度、および、対象物体全体が画像内に収まっているか否かを示す情報が与えられ、前記解像度を、解像度と画像処理の適性を示す適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた適合度を導出する解像度評価処理を実行させ、解像度評価処理で、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって適合度を導出させるためのカメラ位置姿勢評価プログラム。
この出願は、２０１２年６月２８日に出願された日本特許出願２０１２−１４５４３３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
本発明は、想定した対象領域および対象物体を撮影するカメラのカメラパラメータを、画像処理の適性の観点から評価する用途に好適に適用される。また、監視、マーケティング、業務改善等の分野で、物体検出、物体位置推定、動線解析、行動解析等を行う際のカメラ設置や監視システムの構築の支援やコンサルティングに利用することができる。
１ カメラパラメータ入力装置
２，１００，３００ データ処理装置
３、１０２ 記憶装置
２１，２４ 画像処理適性評価装置
２２ カメラパラメータ切替手段
２３ カメラパラメータ最適化手段
３１ 画像サイズ記憶手段
３２ 対象物体モデル記憶手段
３３ 対象領域記憶手段
３４ 解像度評価関数記憶手段
３５ 注視点角度評価関数記憶手段
３６ 障害物記憶手段
２１１，２１５，２１８ 解像度評価手段
２１２，２１６ 注視点角度評価手段
２１３，２１７ 対象領域評価手段
２１４ 総合評価手段
３０１ カメラ位置姿勢推定手段
３０４ 評価指標統合手段
３０５ 対象領域分割手段

Claims (10)

  1. 対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段と、
    対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段とのうち、
    少なくとも一方を備え、
    画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価手段と、
    対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価手段とを備える
    ことを特徴とするカメラ位置姿勢評価装置。
  2. 対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段を備え、
    解像度評価手段は、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する
    請求項１に記載のカメラ位置姿勢評価装置。
  3. 対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価手段を備え、
    解像度評価手段は、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって第１の適合度を導出する
    請求項１に記載のカメラ位置姿勢評価装置。
  4. 対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段を備え、
    注視点角度評価手段は、対象物体全体が画像内に収まっている場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する
    請求項１から請求項３のうちのいずれか１項に記載のカメラ位置姿勢評価装置。
  5. 対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価手段を備え、
    注視点角度評価手段は、対象物体全体が画像内に収まっていて、かつ、対象物体が障害物に隠されていない場合に、注視点角度を前記注視点角度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合、または、対象物体が障害物に隠されている場合に、前記係数の値を０以上１未満の値に定め、注視点角度を前記注視点角度評価関数で評価した結果に対して前記係数を乗じることによって第２の適合度を算出する
    請求項１から請求項３のうちのいずれか１項に記載のカメラ位置姿勢評価装置。
  6. 総合評価手段は、
    解像度評価手段が備えられている場合に、各位置における重みを用いて、第１の適合度の上限値と第１の適合度との差の重み付き二乗和を計算し、
    注視点角度評価手段が備えられている場合に、各位置における重みを用いて、第２の適合度の上限値と第２の適合度との差の重み付き二乗和を計算し、
    第３の適合度の上限値と第３の適合度との差の二乗和を計算し、
    計算した各二乗和の重み付き線形和を計算することによって評価指標を算出する
    請求項１から請求項５のうちのいずれか１項に記載のカメラ位置姿勢評価装置。
  7. 総合評価手段によって導出される評価指標が所定の値に近づくようにカメラの状態を表すカメラパラメータを更新するパラメータ更新手段を備え、
    前記パラメータ更新手段は、評価指標が所定の条件を満たすまで、評価指標が導出される毎にカメラパラメータを更新することによってカメラパラメータの最適値を求める
    請求項１から請求項６のうちのいずれか１項に記載のカメラ位置姿勢評価装置。
  8. 対象領域内の各位置に配置される対象物体を撮影することによって得られた画像から取得された画像内の対象物体の解像度、および、対象物体全体が画像内に収まっているか否かを示す情報が与えられ、前記解像度を、解像度と画像処理の適性を示す適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた適合度を導出する解像度評価手段を備え、
    解像度評価手段は、対象物体全体が画像内に収まっている場合に、解像度を前記解像度評価関数で評価した結果に対して乗じる係数の値を１と定め、対象物体の一部が画像内に収まっていない場合に前記係数の値を０以上１未満の値に定め、解像度を前記解像度評価関数で評価した結果に対して前記係数を乗じることによって適合度を導出する
    ことを特徴とするカメラ位置姿勢評価装置。
  9. 対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価ステップと、
    対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価ステップとのうち、
    少なくとも一方を含み、
    画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価ステップと、
    対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価ステップとを含む
    ことを特徴とするカメラ位置姿勢評価方法。
  10. コンピュータに、
    対象領域内の各位置に配置される対象物体を撮影した場合の画像内の対象物体の解像度を、解像度と画像処理の適性を示す第１の適合度との関係を定めた解像度評価関数で評価することによって、対象領域内の各位置に応じた第１の適合度を導出する解像度評価処理と、
    対象領域内の各位置に配置される対象物体内の注視点とカメラの位置とを通過する直線と地面とがなす角度である注視点角度を、注視点角度と画像処理の適性を示す第２の適合度との関係を定めた注視点角度評価関数で評価することによって、対象領域内の各位置に応じた第２の適合度を導出する注視点角度評価処理とのうち、
    少なくとも一方を実行させ、
    画像内の画素位置に対応する実空間内の地面の位置であって、その位置に対象物体を配置したときに画像内に対象物体全体が収まる位置の集合である対象物体視界領域と、対象領域とがどの程度正確に重なるかによって定まる、画像処理の適性を示す第３の適合度を導出する対象領域評価処理、および、
    対象領域内の各位置に応じた第１の適合度と、対象領域内の各位置に応じた第２の適合度の少なくともいずれか一方と、第３の適合度とに基づいて、カメラの状態が画像処理に適している度合いを示す評価指標を導出する総合評価処理
    を実行させるためのカメラ位置姿勢評価プログラム。
JP2014522397A 2012-06-28 2013-06-06 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム Active JP6201991B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012145433 2012-06-28
JP2012145433 2012-06-28
PCT/JP2013/003572 WO2014002398A1 (ja) 2012-06-28 2013-06-06 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム

Publications (2)

Publication Number Publication Date
JPWO2014002398A1 JPWO2014002398A1 (ja) 2016-05-30
JP6201991B2 true JP6201991B2 (ja) 2017-09-27

Family

ID=49782600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014522397A Active JP6201991B2 (ja) 2012-06-28 2013-06-06 カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム

Country Status (9)

Country Link
US (1) US9367752B2 (ja)
EP (1) EP2802149B1 (ja)
JP (1) JP6201991B2 (ja)
CN (1) CN104160700B (ja)
AR (1) AR091471A1 (ja)
BR (1) BR112014018522A8 (ja)
HK (1) HK1204408A1 (ja)
TW (1) TWI530160B (ja)
WO (1) WO2014002398A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN105957064A (zh) * 2016-04-24 2016-09-21 长安大学 一种沥青路面表面构造二维测试评价系统及方法
CN108234900B (zh) * 2018-02-13 2020-11-20 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
US10255507B2 (en) * 2016-12-19 2019-04-09 Canon Kabushiki Kaisha Detection of an object in a distorted image
US11381782B2 (en) 2018-03-29 2022-07-05 Nec Corporation Video monitoring apparatus, control method thereof, and computer readable medium
WO2019186889A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 カメラ配置適性度評価装置、その制御方法、最適カメラ配置算出装置、及び、コンピュータ可読媒体
JP7235049B2 (ja) 2018-07-31 2023-03-08 日本電気株式会社 評価装置、評価方法、及びコンピュータプログラム
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
JP6721076B1 (ja) 2019-03-25 2020-07-08 日本電気株式会社 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム
JP7291013B2 (ja) * 2019-06-28 2023-06-14 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム
JP7332363B2 (ja) * 2019-07-08 2023-08-23 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びコンピュータプログラム
JP7298709B2 (ja) * 2019-11-21 2023-06-27 日本電気株式会社 パラメータ決定装置、パラメータ決定方法及び記録媒体
CN111212272B (zh) * 2020-01-21 2022-04-19 浙江大华技术股份有限公司 灾情监测方法、装置、存储介质及电子装置
US11176705B2 (en) * 2020-03-10 2021-11-16 Shenzhen Fugui Precision Ind. Co., Ltd. Method for optimizing camera layout for area surveillance and apparatus employing the method
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256591A (ja) 2000-03-10 2001-09-21 Toshiba Corp 監視装置
JP3907397B2 (ja) 2000-10-11 2007-04-18 富士通株式会社 映像監視装置
JP4129514B2 (ja) * 2001-12-04 2008-08-06 ウェールズ アンド ヴァーン インヴェストメンツ リミティッド 画像生成用コンピュータ支援システム
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
JP2004333872A (ja) 2003-05-08 2004-11-25 Fuji Photo Film Co Ltd カメラ
TW200528945A (en) 2004-01-20 2005-09-01 Chuang-Jan Chang 3D visual measurement system using fish-eye cameras as visual detectors and method for constructing same
JP2005260731A (ja) 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
US7924311B2 (en) * 2004-12-21 2011-04-12 Panasonic Corporation Camera terminal and monitoring system
JP5036260B2 (ja) 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
US7769219B2 (en) 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
JP5082724B2 (ja) * 2007-09-28 2012-11-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
GB0907870D0 (en) * 2009-05-07 2009-06-24 Univ Catholique Louvain Systems and methods for the autonomous production of videos from multi-sensored data

Also Published As

Publication number Publication date
TWI530160B (zh) 2016-04-11
BR112014018522A8 (pt) 2017-07-11
US9367752B2 (en) 2016-06-14
BR112014018522A2 (ja) 2017-06-20
EP2802149A4 (en) 2015-09-16
HK1204408A1 (zh) 2015-11-13
US20150339537A1 (en) 2015-11-26
CN104160700A (zh) 2014-11-19
AR091471A1 (es) 2015-02-04
JPWO2014002398A1 (ja) 2016-05-30
TW201424345A (zh) 2014-06-16
EP2802149B1 (en) 2020-03-18
EP2802149A1 (en) 2014-11-12
WO2014002398A1 (ja) 2014-01-03
CN104160700B (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
JP6201991B2 (ja) カメラ位置姿勢評価装置、カメラ位置姿勢評価方法およびカメラ位置姿勢評価プログラム
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US20210232845A1 (en) Information processing apparatus, information processing method, and storage medium
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
US20170249752A1 (en) Device for measuring position and orientation of imaging apparatus and method therefor
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP5263694B2 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
CN110148179A (zh) 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
JP2013520723A (ja) 二次元運動に基づいて相対的三次元速度及び加速度投射関数を推定するデータ・マイニング方法及びシステム
CN113052907B (zh) 一种动态环境移动机器人的定位方法
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
JP2012226645A (ja) 画像処理装置および方法、記録媒体並びにプログラム
JPWO2012133371A1 (ja) 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
JP6719945B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2014109832A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP2014164525A (ja) 物体数推定方法、物体数推定装置、及び物体数推定プログラム
JP7427615B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6843552B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JPWO2020075237A1 (ja) 画像処理装置および画像処理方法
JP7040627B2 (ja) 算出装置、情報処理方法およびプログラム
JP5788781B2 (ja) 撮影対象検索システム
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US12125238B2 (en) Information processing device, information processing method, and computer program product
US20130343636A1 (en) Image processing apparatus, control method of the same and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R150 Certificate of patent or registration of utility model

Ref document number: 6201991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150