JP5830546B2 - 対象物のモデル変換に基づくモデルパラメータの決定 - Google Patents

Description

本発明の実施形態は、モデルパラメータを決定する装置に関する。いくつかの実施形態は、モデルパラメータを決定する方法に関する。いくつかの実施形態は、領域ベースの対象物の検出と追跡のフレームワークに関する。いくつかの実施形態は、領域のマッチングに基づくモデルパラメータの決定に関する。いくつかの実施形態は、統一されたカラーとジオメトリのカメラ較正のフレームワークに関する。非常に効率的で、ロバストで、統一された方法で、個別のまたは同時のジオメトリおよび／またはカラーのカメラ較正を可能にする較正フレームワークが記載されている。

このセクションにおいて、カメラの較正アルゴリズムの技術水準上の短い概要が与えられる。カメラの較正のもとで、我々はカメラのジオメトリおよび／またはカラメトリックの特性を推定するプロセスを理解する。

ジオメトリの較正は、内部標定と外部標定を推定する２つの部分に分けることができる。内部標定は、どのように光波が３次元世界から光学レンズ系を通して２次元イメージセンサ上に投影されるかを記述する。内部標定は、光の幾何学的投影を記述する３×３の上部三角行列（内因性カメラマトリクスとも呼ばれる）によって与えられる。レンズおよびイメージセンサの誤差により、付加的な幾何学的歪みが画像において現れることがあり、それにより、ピクセルは理想的な位置に対して変位する。これらの歪みは、いわゆるレンズ歪み係数によって記述される。外部標定（外因性カメラパラメータとも呼ばれる）は、外界においてカメラの位置を記述し、回転マトリクスと移動ベクトルによって与えられる。この位置は、与えられた外界座標系に対して、またはいくつかの較正パターンもしくは他のカメラに関して、関連している可能性がある。

幾何学的歪みおよび内部標定パラメータを推定するために、いくつかの全般的に異なるアプローチがある。広く用いられているクラスは、事前に既知のジオメトリによる何らかの特別にデザインされた較正対象物を用いる（非特許文献２、２４、２１を参照）。このような較正対象物は、２次元平面（非特許文献２４）、３次元対象物（非特許文献２１）、または１次元対象物（非特許文献２５）とすることができる。アルゴリズムの第２のクラスは、直線または直角のようないくつかの潜在的に歪んだジオメトリ特徴を抽出し、これらのジオメトリ情報をカメラの較正に用いるために、シーンを解析することを試みている（非特許文献８、３、４、５）。比較的最近のアプローチは、多くの人工および自然の対象物に含まれるシンメトリー情報を利用することを試みている。観察された（主に平面の）関心のある対象物に対して、最もシンメトリックな表現においてもたらす変換が計算される（非特許文献２６、１９）。アルゴリズムの最後のクラスは、いかなる事前の知識も用いないが、画像数からポイントツーポイント対応に基づいてパラメータを解析することを試みている（非特許文献６、２０、３）。良い概要は、非特許文献１１において見つけることができる。

カメラの外部標定は、座標系に対する外界における位置を記述する。この座標系は、他のカメラによってまたは較正対象物によって与えられ、またはユーザによって独自に定めることができる。外部標定を決定するために、１つ以上のビューのシーンが必要である。非特許文献２４において、外部標定は、座標原点に位置すると想定されるパターンを参照して取得される。一方、カメラアレイにおけるカメラの方位、または移動カメラの軌跡は、隣接するカメラ画像において位置対応を評価することによって見つけることができる。少なくとも７つの対応位置が、回転および移動パラメータを記述する、いわゆる基礎的マトリクスの計算を可能とする（非特許文献１６、９、１０）。

カラメトリックの較正は、光学系において起こる光強度とカラー偏差を記述する。多くの典型的な誤差は、色収差として要約される（非特許文献１７、１３）。他の典型的な誤差は、「けられ」である（非特許文献２７、２３）。異なる照明条件により、画像におけるカラーの再生は、物理的な目によって知覚される現実のカラーから有意に偏差する可能性がある。これは、目が異なる光（異なる光温度）に自動的に適応することができるのに対して、カメラはできないという事実による。フリーシーンからのカラー補正のための異なるアルゴリズムが、非特許文献１８、１４、１５、１、７、２２において見いだすことができる。較正に対してカラーチェッカーが利用可能である場合、カラー補正は、歪んだカラーを補正された表現に変換する３×３のマトリクスを計算することによってなすことができる。非特許文献１２において、カラーとジオメトリの較正に対するアプローチを見いだすことができる。

カメラを較正する大部分の上述したコンセプトは、比較的高い演算労力を必要とする。例えば、カメラ較正に対するいくつかの上述したアプローチは、コンピュータグラフィックスを用いた、既知の較正対象物の完全なレンダリングを必要とする。加えて、完全なレンダリングは、１つ以上のカメラパラメータが修正されるときはいつでも、すなわち、おそらくカメラパラメータの良好な推定を決定する最適化アルゴリズムの反復の度に一回繰り返されなければならない。カメラ較正に対する前述のアプローチの他は、通常は演算処理上集約的な画像特徴解析および／またはシンメトリー判定を必要とする。

カメラまたは他の取得デバイス（例えば、Ｘ線、ＣＴ、ＭＲＩ、ミリ波スキャナー、レーダー、ソナー、その他）によって取得される画像（より一般的には：データ）に対して実行すべきと考えられる他のタスクは、対象物の検出および／または追跡である。カメラパラメータ（または取得パラメータ）は、充分な精度で既知である。更にまた、少なくともいくつかの対象物関連パラメータは、通常は既知である。対象物を検出または追跡するために、対象物の位置および／または方位を決定することができる。

O. C. Au. Automatic white balancing using luminance component and standard deviation of rgb components [image preprocessing]. 2004 IEEE International Conference on Acoustics Speech and Signal Processing, pages iii-493-6, 2004. 2 D. C. Brown. Calibration of close range cameras. International Archives of Photogrammetry, 19, 1972. 1 R. Cipolla, T. Drummond, and D. Robertson. Camera calibration from vanishing points in images of architectural scenes, volume 2, pages 382-391. Citeseer, 1999. 1 F. Devernay and O. Faugeras. Automatic calibration and removal of distortion from scenes of structured environments. Proceedings of SPIE, 2567(1): 62-72, 1995. 1 M. T. El-melegy. Nonmetric lens distortion calibration: closed-form solutions, robust estimation and model selection. Proceedings Ninth IEEE International Conference on Computer Vision, (Iccv): 554-559 vol.1, 2003. 1 O. D. Faugeras, Q. T. Luong, and S. J. Maybank. Camera Self-Calibration: Theory and Experiments, volume 588, pages 321-334. Springer-Verlag, 1992. 1 G. D. Finlayson, S. D. Hordley, and P. M. HubeL. Color by correlation: a simple, unifying framework for color constancy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(11): 1209-1221, 2001. 2 D. Guru. A simple and robust line detection algorithm based on small eigenvalue analysis. Pattern Recognition Letters, 25(1): 1-13, Jan. 2004. 1 R. Hartley and A. Zisserman. in computervision multiple view geometry in computer vision. computer-Aided Design, 16(2): 279-309, 2003. 2 R. I. Hartley. Estimation of relative camera positions for uncalibrated cameras. Compute, 92(1): 579-587, 1992. 2 E. E. Hemayed. A survey of camera self-calibration. Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance 2003, pages 351-357, 2003. 1 M. Jackowski, A. Goshtasby, S. Bines, D. Roseman, and C. Yu. Correcting the geometry and color of digital images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(10): 1152-1158, 1997. 2 M. K. Johnson and H. Farid. Exposing digital forgeries through chromatic aberration. Proceeding of the 8th workshop on Multimedia and security MMSec 06, (2): 48, 2006. 2 E. Y. Lam. Combining gray world and retinex theory for automatic white balance in digital photography, pages 134-139. Ieee, 2005. 2 H.-k. Lam, O. C. Au, and C.-w. Wong. Automatic white balancing using standard deviation of RGB components, volume 3, pages III-921-4 Vol.3. IEEE, 2004. 2 H. C. Longuet-Higgins. A computer algorithm for reconstructing a scene from two projections. Nature, 293(5828): 133-135, 1981. 2 T. Luhmann, H. Hastedt, and W. Tecklenburg. Modelling of chromatic aberration for high precision photogrammetry. Evaluation, XXXVI(September): 173-178, 2006. 2 D. Nikitenko, M. Wirth, and K. Trudel. Applicability of white-balancing algorithms to restoring faded colour slides: An empirical evaluation. Journal of Multimedia, 3(5): 9-18, 2008. 2 Y. Peng, A. Ganesh, and S. Member. Rasl : Robust alignment by sparse and low-rank decomposition for linearly correlated images. Image Rochester NY, (July): 1-30, 2010. 1 B. Triggs. Autocalibration from planar scenes. Structure, I(11): 89-105, 1998. 1 R. Y. Tsai. A versatile camera calibration technique for high accuracy 3d machine vision metrology using off-the-shelf tv cameras and lenses. IEEE Journal of Robotics and Automation, RA-3(4): 323-344, 1987. 1 C.-c. Weng, H. Chen, and C.-s. Fuh. A novel automatic white balance method for digital still cameras. 2005 IEEE International Symposium on Circuits and Systems, pages 3801-3804, 2005. 2 W. Yu. Practical anti-vignetting methods for digital cameras. IEEE Transactions on Consumer Electronics, 50(4): 975-983, 2004. 2 Z. Zhang. Flexible camera calibration by viewing a plane from unknown orientations. In Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on, volume 1, pages 666-673. Ieee, 1999. 1 Z. Zhang. Camera calibration with one-dimensional objects. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(7): 892-9, 2004. 1 Z. Zhang. Camera calibration with lens distortion from low-rank textures. Camera, pages 2321-2328, 2011. 1 Y. Zheng, S. Lin, C. Kambhamettu, J. Yu, and S. B. Kang. Single-image vignetting correction. Pattern Analysis and Machine Intelligence IEEE Transactions on, 31(12): 2243-2256, 2009. 2 P. Viola and M. Jones, Rapid object detection using a boosted cascade of simple fea-tures, in IEEE Conference on Computer Vision and Pattern Recognition, volume 1, pages 511-518, Kauai, HI, USA, Apr. 2001 Z. Yin and R. T. Collins, Object tracking and detection after occlusion via numerical hybrid local and global mode seeking, in Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on, page 1-8, 2008 D. Mohr and G. Zachmann, FAST: fast adaptive silhouette area based template matching, in Proceedings of the British Machine Vision Conference, pages 39.1-39.12, 2010 S. Baker and I. Matthews. Lucas-Kanade 20 years on: A unifying framework: Part 1: The quantity approximated, the warp update rule, and the gradient descent approximation. International Journal of Computer Vision, 56(3): 221-255, 2004 B. Han and L. Davis. Robust observations for object tracking. In IEEE International Conference on Image Processing, volume 2, 2005 B. Ristic, S. Arulampalam, and N. Gordon. Beyond the Kalman filter : particle filters for tracking applications. Artech House, Boston MA, 2004 A. Yilmaz, O. Javed, and M. Shah. Object tracking. ACM Computing Surveys, 38(4): 13-es, 2006

本発明の実施形態は、モデルパラメータを決定する装置を提供する。装置は、対象物モデル変換器と、領域比較器と、およびモデルパラメータ決定器とを備える。対象物モデル変換器は、既知の対象物の対象物モデルを受信し、モデルパラメータのセットに基づいて対象物モデルの変換を実行するように構成される。変換は、対象物モデルを、第１の基準フレームから第２の基準フレームに変換する。この変換の結果として、対象物変換器は、対象物の対象物領域に関連する少なくとも１つの領域を備える変換された対象物モデルを決定するように構成される。領域比較器は、変換された対象物モデルと、対象物を表している画像を受信するように構成される。領域比較器は、変換された対象物モデルの選択領域に対して、領域関連類似度尺度を決定するように更に構成される。領域関連類似度尺度は、選択領域と画像の画像セクションとの類似度を表す。この画像セクションは、変換に依存するマッピングによって選択領域に関連する。モデルパラメータ決定器は、領域関連類似度尺度と最適化スキームに基づいて、モデルパラメータの更新されたセットを決定するように構成される。

通常は、しかし必然的ではなく、モデルパラメータは、対象物を撮像する撮像技術の文脈において、またはそれに関連して、本装置によって決定される。撮像技術は、光学的、音響ベース（例えば、ソナー）、放射線ベース（例えば、Ｘ線、ＣＴ、レーダー、その他）、電磁界ベース（例えば、ミリ波スキャナー）、その他とすることができる。更にまた、撮像技術は、対象物をｎ次元様式（１次元、２次元、３次元、…）で取得し、ｍ次元の画像を生成することができる（ここで、ｍとｎは、等しくても異なってもよい）。

本発明の更なる実施形態は、既知の対象物を用いてモデルパラメータを決定する方法を提供する。本方法は、対象物の対象物モデルを受信し、対象物モデルを変換し、画像を受信し、領域関連類似度尺度を決定し、モデルパラメータの更新されたセットを決定することを備える。対象物モデルの変換は、モデルパラメータのセットに基づいている。対応する変換は、対象物モデルを、第１の基準フレームから第２の基準フレームに変換する。この変換の結果として、少なくとも１つの領域を備える変換された対象物モデルが決定される。当該少なくとも１つの領域は、対象物の少なくとも１つの対象物領域に関連する。受信される画像は、対象物を表している。領域関連類似度尺度は、変換された対象物の選択領域に対して決定され、選択領域と、変換に依存するマッピングによって選択領域に関連する画像の画像セクションとの類似度を表す。モデルパラメータの更新されたセットを決定することは、領域関連類似度尺度と最適化スキームに基づいてなされる。通常は、しかし必然的ではなく、モデルパラメータは、対象物を撮像する撮像技術の文脈において、またはそれに関連して決定される。

本発明の更なる実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、上述した方法を実行するプログラムコードを有するコンピュータプログラムを提供する。同様に、コンピュータ読取可能デジタル記録媒体は、コンピュータプログラムがコンピュータ上で動作するときに、既知の対象物を用いてモデルパラメータを決定する方法であって、対象物の対象物モデルを受信し； モデルパラメータのセットに基づいて対象物モデルを変換し、対応する変換が、対象物モデルを第１の基準フレームから第２の基準フレームに変換するものであって、この変換の結果として、少なくとも１つの領域において対象物の少なくとも１つの対象物領域に関連する少なくとも１つの領域を備える変換された対象物モデルを決定し； 対象物を表している画像を受信し； 変換された対象物モデルの選択領域に対して、選択領域と、変換に依存するマッピングによって選択領域に関連する画像の画像セクションとの類似度を表現する領域関連類似度尺度を決定し； 領域関連類似度尺度と最適化スキームに基づいてモデルパラメータの更新されたセットを決定することを備えた方法を実行するプログラムコードを有するコンピュータプログラムがその上に格納されたいくつかの実施形態によって提供することができる。通常は、しかし必然的ではなく、モデルパラメータは、対象物を撮像する撮像技術の文脈において、またはそれに関連して決定される。

本発明のいくつかの実施形態において、対象物モデルの変換は、通常は演算労力をほとんど必要としない。同じことは、領域関連類似度尺度に対しても正しい。それ故、通常は、例えば、モデルパラメータの各々の新規の更新されたセットに対して、反復の度に一回 実行される必要があるタスクを、比較的高速に実行することができる。

前述の対象物モデルの変換された対象物モデルへの変換は、画像値変換を更に備えることができる。類似度尺度は、ジオメトリ類似度成分と画像値類似度成分を備えることができる。ジオメトリ類似度成分は、画像セクションのジオメトリが選択領域のジオメトリにどれくらいよくマッチするかを示している。ジオメトリ類似度は、画像セクションと選択領域間のいかなる移動のオフセットおよび／または回転の偏差も考慮することができる。加えてまたは代替として、ジオメトリ類似度は、画像セクションの形状（例えば、境界、円周、その他）が、選択領域の形状にどれくらいよくマッチするかを考慮に入れることができる。画像値類似度成分は、画像セクションの画像値（例えば、カラー、グレーの明度、吸収率（Ｘ線またはＣＴ画像の場合）、反射率（レーダー、ソナーの場合）、その他）が、選択領域の画像値にどれくらいよく符合するかを示し、選択領域の画像値は、変換に依存するマッピングによって画像セクションの画像値に関連する。

対象物モデルは、ジオメトリ特性によって少なくとも１つの領域を記述するデータ構造（例えば、ベクトル、ＸＭＬリスト、その他）を備えることができる。対象物モデル変換器は、ジオメトリ特性を、変換された対象物モデルの変換されたジオメトリ特性に変換するように構成することができる。

領域比較器は、選択領域上で、画像の特性値を積分するように構成することができる。更にまたは代替として、領域比較器は、領域関連類似度尺度の決定のために、画像の少なくとも１つの積分画像を評価するように構成することができる。領域比較器は、画像の座標軸と平行であるカーブセグメントを有する閉曲線によって、選択領域の境界を近似するように構成することもできる。領域比較器は、離散グリーンの定理を用いて、画像セクションを評価するように構成することも可能であり、離散グリーンの定理に対して用いられる画像セクションの境界は、選択領域の境界の多角形近似に基づいている。領域比較器に対する他のオプションは、選択領域に対する画像の少なくとも１つの統計的モーメントを決定し、当該少なくとも１つの統計的モーメントに基づいて領域関連類似度尺度を決定するように構成することができるということである。領域比較器は、第１の統計的モーメントに基づいて平均画像値を決定し、画像セクション内で生じる画像値の均一性に対する第２の統計的モーメントに基づいて均一性尺度を決定するように構成することができ、平均画像値は、対応する比較結果を取得するために、選択領域に関係する期待画像値と比較することができる。均一性尺度は、画像セクションがどれくらいよく選択領域に配列されているかを示すことができ、類似度尺度は、少なくとも、比較結果および／または均一性尺度に基づいて決定される。領域比較器に対する前述のオプションは、個々に実装するようにしてもよく、お互いに結合するようにしてもよい。

対象物モデルは、対象物の複数の較正領域に対応する複数の領域を記述することができ、領域比較器は、対象物モデルの複数の領域の少なくともサブセット上で選択領域を反復し、複数の領域関連類似度尺度に基づいて複合類似度尺度を決定するように構成することができる。

対象物は、複数の明度またはカラーの較正領域を備えることができ、各明度またはカラーの較正領域は、ユニークな明度またはカラーを含んでいる。選択領域は、複数の明度またはカラーの較正領域のうちの１つとすることができる。

最適化スキームは、ＬＭアルゴリズム（Levenberg-Marquardt algorithm）、パーティクルフィルタ、滑降シンプレックス（Downhill-Simplex）、遺伝的アルゴリズム、またはこれらのいずれかの組合せのうちの少なくとも１つの最適化ステップを、実行することができる。

装置は、パラメータの現在のセットとして、パラメータの更新されたセットに基づいて、対象物モデル変換器、領域比較器、および較正パラメータ決定器によって実行される較正パラメータの決定を繰り返すように構成することができる。

対象物は、較正チャート、較正対象物、および標準化された対象物のうちの１つとすることができる。

本発明の実施形態は、本願明細書において、添付される図面を参照して記載される。
較正チャートのような較正対象物を用いてカメラを較正するセットアップを示す。 いくつかの実施形態に係るモデルパラメータを決定する装置の概略ブロック図を示す。 いくつかの実施形態に係るカメラに対して較正パラメータを決定する装置の概略ブロック図を示す。 対象物モデルの変換を概略的に図示する。 本願明細書に開示された教示に係る較正フレームワークのシステム概要を、概略ブロック図として示す。 カメラ画像の部分と、基準として、異なるカラーのいくつかの領域を表している変換された較正チャートモデルの部分を概略的に図示する。 変換された較正チャートモデルの選択領域を強調するために、図５から変換された較正チャートモデルの部分とカメラ画像の部分を概略的に図示する。 内接された形状によって近似される選択領域の境界によって、図６の変換された較正チャートモデルとカメラ画像の部分を概略的に図示する。 外接する形状によって近似される選択領域の境界によって、図６の変換された較正チャートモデルとカメラ画像の部分を概略的に図示する。 多角形の内側および外側の形状近似を概略的に図示する。 選択領域と、カメラ画像の関連する画像セクションとの類似度尺度を決定するためのカメラ画像と選択領域の処理を例示する概略ブロック図を示す。 本願明細書に開示された教示に係るカメラ較正パラメータを決定する方法の概略フロー図を示す。 本発明の一実施形態に係る方法のフロー図を示す。 本発明の一実施形態に係る装置の概略ブロック図を示す。 実施形態に係る領域の尺度を導き出すために、合計または減算に対する頂点における値をどのように選定するかに関する実施例を示す。 近似される領域を有する２次元画像表現と対応する積分画像の実施例を示す。 近似される変更領域を有する図１３ｂからの２次元画像表現と積分画像を示す。 すべてのセグメントが軸に平行である、領域の境界を近似するセグメントのみを備える閉曲線または形状の実施例を示す。 実施形態に係る方法を用いて、三角形がどのように異なる精度で近似することができるかを示す。 三角形の境界を近似する異なる閉曲線に対する実施例を示す。 図１５ａと１５ｂから三角形を操作する実施例を示す。 方位に依存して加算または減算される交差を有する異なる閉領域の形状の実施例を示す。 画像における形状または境界ボックスによって囲まれるすべてのピクセルを発見する高速で簡単なアルゴリズムの実施例を示す。 異なる（または等しい）特性（例えば、輝度、分散）を有するさまざまな領域を含む交通標識に対する基本的な２Ｄ領域ベースの対象物モデルの実施例を示す。 軸配列された矩形によって近似された任意の領域の実施例を示す。 操作に関係する全ての矩形コーナーを強調した、近似された領域の小さな操作の実施例を示す。

以下において、等しいまたは等価な要素あるいは等しいまたは等価な機能を有する要素は、等しいまたは等価な符号によって表される。

以下の記述において、本発明の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、本発明の実施形態がこれらの具体的な詳細なしに実施することができることは、当業者にとって明らかである。他の事例において、本発明の実施形態を不明瞭にすることを回避するため、周知の構造およびデバイスは、詳細に記載するよりむしろブロック図のフォームで示される。加えて、特に強調されない限り、以下に記載される異なる実施形態の特徴は、お互いに組み合わされたものであってもよい。

いくつかの実施形態は、対象物の検出および／または追跡に関する。他の実施形態は、カメラまたは他の取得デバイスの較正に関する。両方のタスクはいくらか関連している。対象物の検出および／または追跡は、通常は対象物の位置および／または方位を決定することを目指している。それ故、位置および／または方位は、未知の変数であるが、対象物と取得ジオメトリ（例えば、焦点距離、画像解像度、画像歪み、その他）を記述するパラメータは、充分な精度で事前に既知である。カメラ較正のケースでは、取得ジオメトリ関連パラメータは、未知の変数を形成するが、対象物とその位置および方位は既知である。第３の可能性として、対象物は、例えばそのサイズに関して完全に既知でなくてもよい。対象物は、変形可能（例えば、折り曲げ可能な較正チャート）とすることができ、対象物の１つ以上の変形パラメータが可変であって決定する必要があるとすることも可能である。以下の説明においては、説明的な理由で、カメラ較正に重点が置かれている。しかしながら、後述するコンセプトは、本願明細書に記載される実施形態に係る方法および装置の他の使用ケースまたはアプリケーションに対して、特に対象物の追跡および／または検出において、直ちに適用できる。

図１は、較正チャート３のような既知の対象物を用いたカメラ２の較正のセットアップを概略的に図示している。光軸ＯＡと視野ＦＯＶは、カメラ２に対して定めることができる。較正チャート３は、図１におけるカメラ２の視野ＦＯＶ内にある。較正チャート３の位置および方位は、基準フレームに対して定義することができる。図１に示された構成において、基準フレームは座標系によって定義され、その原点は、較正チャート３の１つのコーナーと一致する。更にまた、３つの座標軸のうちの２つは、較正チャート３のそれぞれのエッジと平行である。もちろん、他の基準フレーム（例えば、部屋の固定点、録音スタジオ、ランドスケープなどによって定義される関連する基準フレーム）を選択し、この基準フレーム内で較正チャートの位置および方位を（手動またはその他で）決定することも可能である。カメラ較正のタスクは、較正チャートの基準フレーム内でカメラの位置および方位を決定することもできる。

図１に示された較正チャート３は、カメラを用いて取得することができるいかなる対象物をも表している。対象物は、１つ以上の領域、例えば較正チャート３のカラーフィールドを備える。対象物が２つ以上の領域を備えるケースでは、領域は、互いに隣接していてもよく、お互いから少し離れていてもよい。カメラ２は、現実の対象物の画像データを取得するために用いることができる、デジタルスチルカメラ、ビデオカメラ、カムコーダ、医療用画像装置、レーダー、ソナーその他のようないかなる取得デバイスをも表現しているとみなすことができる。画像自体は、１次元、２次元、３次元、またはより高次元とすることができる。

図２ａは、少なくともいくつかの実施形態に係るモデルパラメータを決定する装置の概略ブロック図を示す。装置は、対象物モデル変換器１２０、領域比較器１３０、およびモデルパラメータ決定器１４０を備える。対象物モデル変換器１２０は、例えば、そのサイズ、次元、形状、カラーその他によって対象物を記述する対象物モデル１１２を受信するように構成される。特に、対象物の少数の特徴的位置、並びにお互いに対するまたは１つの対象物関連基準ポイントに対するそれらの幾何学的関係を記述することができる。対象物は、通常はその形状および次元に関して既知である。対象物モデル変換器１２０は、位置および方位のような、モデルパラメータの現在の推定を記述するモデルパラメータのセット１１４を受信するように構成される。これらの２つの入力に基づいて、対象物モデル変換器は、次にモデルパラメータの仮定下でどのようにモデルが撮像されるかを決定することができる。変換は、変換された対象物モデルに結果としてなる。対象物モデル１１２の変換された対象物モデルへの変換のいくつかの態様は、図３の記載に関連して後述される。

変換された対象物モデルは、領域比較器１３０に転送される。領域比較器１３０は、手元の取得デバイス、例えばカメラを用いて取得された画像を受信するように更に構成される。画像を用いて、モデルパラメータのセット１１４が、実際のモデルパラメータのセット（しかしながら、この時点では未知である）に、どれくらいよくマッチするかを決定することができる。領域比較器１３０に対する他のオプション入力は、変換された対象物モデルとカメラ画像との類似度尺度が、変換された対象物モデルの複数の領域のどの領域に対して決定されるかを決定する、領域選択である。変換された対象物モデルの領域は、特定の特性を呈する現実の対象物の領域に対応する。例えば、対象物の領域は、単一のカラーを有する形状（正方形、矩形、円、多角形、その他）とすることができる。

変換の結果として、対象物の与えられた領域は、画像の特定の画像セクション上に投影される。変換は、画像セクションのジオメトリおよび／または画像セクション内の画像値の決定を可能にする。実施例はこれを次のように図示している。現実の対象物の領域を考慮し、領域は緑の正方形であると仮定する。対象物モデルは、ここで、対象物固有の基準点、例えば対象物の１つのコーナーに対する正方形の４つの頂点の位置を定義することができる。更にまた、対象物モデルは、いくつかの予め決定されたカラー識別スキームによって、緑の明度を定義することができる。変換によって、緑の正方形の４つの頂点の位置は、カメラ関連基準フレーム、例えばピクセルで表されるイメージセンサの２Ｄ座標上に投影される。この変換または投影は、もはや正方形に必ずしも結果としてなるわけではなく、通常は、矩形、平行四辺形、台形、または一般的な四角形になる可能性がある点に注意されたい。更にまた、変換された正方形のエッジは、もはや直線ではなく、いくつかの画像歪みにより、カーブしている可能性がある。このような画像歪みは、通常は頂点によって表現することができないが、領域輪郭の頂点の位置に加えて、モデルパラメータにおいて説明することができる。

領域比較器１３０によって決定された類似度尺度は、モデルパラメータの（現在の）セットを更新し、モデルパラメータの更新されたセットを提供するように構成されたモデルパラメータ決定器１４０に提供される。モデルパラメータの更新されたセットは、モデルパラメータの（現在の）セットを置換し、最適化スキームの次の反復において用いることができる。モデルパラメータ決定器１４０に提供される類似度尺度は、スカラー、または変換された対象物モデルの領域とカメラ画像における関連する画像セクションとの相違点のクラス（ジオメトリ、歪み、カラー、その他）についてのいくつかの表示を含む多次元のデータ構造とすることができる。この情報に基づいて、較正パラメータ決定器１４０は、（より）ターゲット指向の方法で、モデルパラメータの更新されたセットを決定することができる。例えば、類似度尺度が、領域のジオメトリは画像セクションのジオメトリに比較的よくマッチするがカラーにおいてまだ相違があることを示す場合、モデルパラメータ決定器１４０は、次の反復に対して、１つ以上のカラー関連パラメータを修正しながら、現在のジオメトリ関連パラメータを保持することができる。類似度尺度は、ジオメトリ類似度成分（または：ジオメトリ関連類似度成分）および／または画像値類似度成分（または：画像値関連類似度成分）を備えることができる。

さらに、較正パラメータ決定器１４０は、例えば最適化戦略またはスキームによって、モデルパラメータの前に決定された（前の反復において取得された）セットを評価することによって、モデルパラメータの更新されたセットを推測することができる。モデルパラメータの前に決定されたセットは、パラメータ記憶装置に格納するようにしてもよい。このように、類似度尺度の挙動は、モデルパラメータの関数として推定することができ、モデルパラメータの次の更新されたセットに対して、より良い予想値を作るために用いることができる。

図２Ｂは、少なくともいくつかの実施形態に係るカメラ較正パラメータを決定する装置の概略ブロック図を示す。装置は、対象物モデル変換器２２０、領域比較器２３０、および較正パラメータ決定器２４０を備える。対象物モデル変換器２２０は、例えば、そのサイズ、次元、形状、カラーその他によって対象物を記述する対象物モデル２１２を受信するように構成される。特に、対象物の少数の特徴的位置、並びにお互いに対するまたは１つの対象物関連基準点に対するそれらの幾何学的関係を記述することができる。対象物は、通常は既知であり、例えば、較正チャートとすることができる。更に、対象物モデル変換器２２０は、対象物に対して有効な基準フレームにおける位置および方位、およびカメラの撮像特性（焦点距離、ピクセルサイズ、歪み、カラーマッピング、その他）のような、カメラ関連パラメータの現在の推定を記述するカメラパラメータのセット２１４を受信するように構成される。これらの２つの入力に基づいて、対象物モデル変換器は、次に、カメラパラメータのセットが有効であるカメラによって、どのようにモデルが撮像されるかを決定することができる。変換は、変換された対象物モデルに結果としてなる。対象物モデル２１２の、変換された対象物モデルへの変換のいくつかの態様は、図３の記述に関連して後述される。

変換された対象物モデルは、領域比較器２３０に転送される。領域比較器２３０は、較正されるカメラを用いて取得されたカメラ画像を受信するように更に構成される。カメラ画像を用いて、パラメータのセット２１４が実際のカメラパラメータのセットにどれくらいよくマッチするかを決定することができる。領域比較器２３０に対する他のオプション入力は、変換された対象物モデルとカメラ画像との類似度尺度が、変換された対象物モデルの複数の領域のどの領域に対して決定されるかを決定する領域選択である。変換された対象物モデルの領域は、特定の特性を呈する現実の対象物の領域に対応する。例えば、対象物の領域は、単一のカラーを有する形状（正方形、矩形、円、多角形、その他）とすることができる。

変換の結果として、与えられた対象物の領域は、カメラ画像の特定の画像セクション上に投影される。変換は、画像セクションのジオメトリおよび／または画像セクション内の画像値の決定を可能にする。実施例はこれを次のように図示している。現実の対象物の領域を考慮し、領域は緑の正方形であると仮定する。対象物モデルは、ここで、対象物固有の基準点、例えば対象物の１つのコーナーに対する正方形の４つの頂点の位置を定義することができる。更にまた、対象物モデルは、いくつかの予め決定されたカラー識別スキームによって、緑の明度を定義することができる。変換によって、緑の正方形の４つの頂点の位置は、カメラ関連基準フレーム、例えばピクセルで表されるイメージセンサの２Ｄ座標上に投影される。この変換または投影は、もはや正方形に必ずしも結果としてなるわけではなく、通常は矩形、平行四辺形、台形、または一般的な四角形になる可能性がある点に注意されたい。更にまた、変換された正方形のエッジは、もはや直線ではなく、いくつかの画像歪みにより、カーブしている可能性がある。

領域比較器２３０によって決定された類似度尺度は、カメラパラメータの（現在の）セットを更新し、カメラパラメータの更新されたセットを提供するように構成された較正パラメータ決定器２４０に提供される。カメラパラメータの更新されたセットは、カメラパラメータの（現在の）セットを置換することができ、最適化スキームの次の反復において用いることができる。較正パラメータ決定器２４０に提供された類似度尺度は、スカラー、または変換された対象物モデルの領域とカメラ画像における関連する画像セクションとの相違点のクラス（ジオメトリ、歪み、カラー、その他）についてのいくつかの表示を含む多次元のデータ構造とすることができる。この情報に基づいて、較正パラメータ決定器２４０は、ターゲット指向の方法で、カメラパラメータの更新されたセットを決定することができる。例えば、類似度尺度が、領域のジオメトリは画像セクションのジオメトリと比較的よくマッチするがカラーにおいてはまだ相違があることを示す場合、較正パラメータ決定器２４０は、次の反復に対して、１つ以上のカラー関連パラメータを修正しながら、現在のジオメトリ関連パラメータを保持することができる。類似度尺度は、ジオメトリ類似度成分（または：ジオメトリ関連類似度成分）および／または画像値類似度成分（または：画像値関連類似度成分）を備えることができる。

さらに、較正パラメータ決定器２４０は、例えば最適化戦略またはスキームによって、カメラパラメータの前に決定された（前の反復において取得された）セットを評価することによって、カメラパラメータの更新されたセットを推測することができる。カメラパラメータの前に決定されたセットは、パラメータ記憶装置に格納するようにしてもよい。このように、類似度尺度の挙動は、カメラパラメータの関数として推定することができ、カメラパラメータの次の更新されたセットに対して、より良い予想値を作るために用いることができる。

図３は、第１の基準フレームにおいて定義される対象物モデルの、第２の基準フレームにおいて定義される変換された対象物モデルへの変換を概略的に図示している。対象物３は、ｍ個の異なる領域を備える較正チャートとして概略的に図示されている。第１の基準フレームは、３Ｄ座標系ｘ、ｙ、ｚによって示される。対象物３は、対象物３自体が回転しおよび／または第１の基準フレームに対して変換することができることを図示するために、斜視図で図示されている点に注意されたい。ｍ個の異なる領域は、それぞれカラー color₁、color₂、color₃、…、color_m を有する。第１の領域のジオメトリは、第１の基準フレームの座標ｘ、ｙ、ｚを用いて表されるcolor₁の矩形の４つのコーナーＡ₁、Ｂ₁、Ｃ₁、Ｄ₁の３Ｄ位置によって、このケースにおいて（ｘ_A1、ｙ_A1、ｚ_A1）、（ｘ_B1、ｙ_B1、ｚ_B1）、（ｘ_C1、ｙ_C1、ｚ_C1）、（ｘ_D1、ｙ_D1、ｚ_D1）として、定義される。更にまた、カラーは、color₁として定義される。同様に、残る領域のジオメトリが定義され、その結果、図３の右上に図示されるように、対象物を記述するベクトル
（ｘ_A1、ｙ_A1、ｚ_A1、ｘ_B1、ｙ_B1、ｚ_B1、ｘ_C1、ｙ_C1、ｚ_C1、ｘ_D1、ｙ_D1、ｚ_D1、color₁、…ｘ_Am、ｙ_Am、ｚ_Am … color_m ）^T
が取得される。

変換は、２Ｄ座標系ｘ^*、ｙ^*によって定義される第２の基準フレームに対する変換された対象物モデルを決定する。第１の領域のコーナーは、位置Ａ^* ₁、Ｂ^* ₁、Ｃ^* ₁、Ｄ^* ₁に変換される（または、幾何学的に投影される）。カラー color₁ は、新たなカラー color^* ₁に（カラー）変換される。変換された対象物モデルは、図３の右下部に図示されるように、ベクトル
（ｘ^* _A1、ｙ^* _A1、ｘ^* _B1、ｙ^* _B1、ｘ^* _C1、ｙ^* _C1、ｘ^* _D1、ｙ^* _D1、color^* ₁ 、…ｘ^* _Am、ｙ^* _Am、… color^* _m）^T
によって表すことができる。

次に記載される図４において、カメラ較正パラメータを決定する装置の実施形態が、ブロック図のフォームで提示されている。

カメラを較正するために、基本的に、現実の外界を、較正チャートとカメラのパラメータ化可能なモデルによってシミュレートすることができ、次に、人工的なカメラビューを、パラメータセットに基づいて生成する（レンダーする）ことができ、シミュレーションの人工的なカメラ画像を、現実のカメラの画像と比較することができる。現実の外界システムが、モデルとパラメータセットによって非常によくシミュレートされると仮定すると、シミュレートされたカメラ画像における較正チャートが、現実のカメラ画像における較正チャートにほぼ等しく見えることを期待することができる。従って、パラメータセットは、シミュレートされた画像における較正チャートが、現実の画像における外観に、可能な限りよくフィットする方法で最適化される。結局、最適化プロセスは、現実のカメラ較正パラメータを反映するパラメータセットに結果としてなる。

最適化器は、通常はシミュレートされたカメラ画像と現実のカメラ画像の一致を示す目的関数を必要とする。この目的関数を実現する明白なアプローチは、それぞれシミュレートされたカメラ画像と現実のカメラ画像における較正チャートに属する画像ピクセルの差分を用いることである。この強行アプローチには、強い欠点がある。それは、目的関数によるパラメータセットの各評価が、人工的なカメラ画像が生成され（レンダーされ）、較正チャートに属するピクセルの現実の画像と人工的な画像との差分が計算されることを必要とするので、非常に演算集約的なシステムに結果としてなる。さらに、最適化手続内で、目的関数は、通常は非常に頻繁に評価されなければならない。

このアイデアに基づき、演算コストを最小化し、大きな柔軟性とロバスト性を提供する較正フレームワークが、以下の段落において記載される。図４は、較正フレームワークの最も重要な要素の概要を示す。ここで、この図の全ての要素を詳細に記載する。

較正フレームワークの入力は、較正チャートを示す現実のカメラ画像（右下）と、現実のカメラ画像において示される較正チャートの３Ｄモデル（左中）である。さらに、パラメータベクトル４０５（カメラ較正パラメータを含む）に対する事前の知識または初期の推測が必要とされる。それは、例えば、画像における（またはカメラに対する）較正チャートのサイズ、位置および方位についての仮定に基づいて、取得することができる。較正フレームワークが、画像シーケンス（例えば較正チャートの追跡）に適用される場合、前の画像の結果は、最初の推定として用いることができる。最悪のケースにおいて、パラメータ空間における強行探索が必要である。

システムは、外因性カメラパラメータ（３つの座標軸に対する回転および移動成分ｒ_x；ｒ_y；ｒ_z；ｔ_x；ｔ_y；ｔ_z）、内因性カメラパラメータ、およびレンズ歪みパラメータ（焦点距離、ピクセルサイズ、主点およびレンズ歪み係数ｆ；ｓ_x；ｓ_y；ｃ_x；ｃ_y；ｋ₁；ｋ₂）から成るパラメータベクトル４０５によってパラメータ化される。さらに、パラメータベクトル４０５は、カラー補正パラメータ、例えば線形の３×３カラー変換行列Ｍ３×３の要素を含む。ここでは、左側の３Ｄ較正チャートモデルの記述から始める。較正チャートの各カラーパッチ（または均一なカラーを有する領域）は、領域境界とパッチの基準カラーのみによってモデル化される。領域境界は、３Ｄ空間において頂点によって定義される多角形によって、任意の精度で近似することができる。平坦な較正チャートを用い、チャートにおいて３Ｄ外界座標系をとる場合、全ての多角形は、全ての頂点のｚを０とするｘ-ｙ平面において定義することができる。矩形領域に対して、矩形の４つのコーナーを定義することが十分でさえある。全体の較正チャートは、較正手順に組み込まれている全てのカラーパッチ（および均一な領域）によって、モデル化される。外界座標系は、便宜上、較正チャートに対して固定することができる。

較正チャートの３Ｄ多角形の頂点は、ブロック「３Ｄ変換（回転と移動）」４０２を用いて、外因性パラメータによって定義される３Ｄの回転および移動（これは、逆カメラ変換とみなすこともできる）を受ける。

その後、変換された３Ｄ頂点は、内部のカメラパラメータによってパラメータ化されるカメラモデル４０４により、（例えば投影またはピンホールカメラモデルを用いて、）２Ｄ画像プレーンに投影される。これは、多角形の頂点に対する２Ｄ画像の座標に結果としてなる。２Ｄ頂点は、次に多角形再標本化ブロック４０６に転送される。

引き続く多角形再標本化は、予め定義されたスレショルドより長い全ての折れ線を、関係する多角形セグメントに付加的な頂点を挿入することによって、セクションに分割する。従って、多角形の領域は、最大多角形セグメント長に対して小さい値を選択することによって、任意の数の頂点により近似することができる。再標本化ステップは、必ずしもここでなされる必要はないが、原則として下流の領域積分ブロック４１２の前の任意の場所および直線を直線にマップしない最初のブロック（これは次のレンズ歪みブロックのケース）において適用することができる。実際上、この再標本化ステップ４０６は、同様に、３Ｄ較正チャートモデルの多角形に対して、既に一度適用できた可能性がある。

レンズ歪み４０８は、カメラレンズの物理的特性をモデル化するために再標本化された多角形の頂点に適用され、通常は画像におけるカラーパッチ境界のカーブした線分に結果としてなる。このレンズ歪みは、再標本化ステップなしでは、適切にモデル化することはできない。例えばカラーパッチの４つのコーナーのみを用いて、矩形境界の歪みをモデル化することは可能でない。さらに、再標本化ステップ４０６は、少なくとも次のブロック４１２における領域積分に対して、必要であるかまたは単純化する。

カラーパッチの歪んだ多角形の頂点は、領域積分ステップ４１２に転送される。右下において、較正チャートを示すカメラ画像は、較正手順に入る。入力画像の各カラーバンドに対して、積分画像は、ブロック「積分画像演算」４１４によって演算される（これは２次元画像表現の領域尺度の決定を記載する文脈において後述される）。さらに、全ての画像ピクセル値の自乗された値に対する積分画像が計算される（これらはカラーパッチにおける分散計算に対して必要である；これも後述される）。全てのこれらの積分画像プレーンは、領域積分ブロック４１２に供給される。それは、１つのキーとなるアイデアであり、較正フレームワークの要素を表している。

領域積分ブロック４１２は、較正チャートモデルの各多角形モデルに対して、積分画像の助けにより、以下を計算する（これは、本開示の他の部分において後述されるように、形状近似を用いてなすことができる）。
・現実のカメラ画像における多角形によって囲まれる全てのピクセル値の合計
・現実のカメラ画像における多角形によって囲まれる全ての自乗ピクセル値の合計
・現実のカメラ画像における多角形によって囲まれるエリアのサイズ

多角形領域内でこのピクセル値の合計を計算する効果的で簡単なアプローチは、図９と関連して後述される。

中間結果（各カラーバンドに対する多角形内のピクセル値の合計と多角形領域の面積）を用いて、現実のカメラ画像における全てのカラーバンドの平均値と分散が各カラーパッチ領域に対して計算され、カラー変換ブロック４１６に供給される。

カラー変換４１６は、歪んでいないカラーを目指して、カラーマッピング（またはカラー補正）パラメータによって、全ての平均カラー値（および分散）をマッピングする。カラー変換４１６は、線形変換または他のいかなる適用可能なカラー補正とすることができる。このステップ／ブロックの出力は、誤差関数ブロック４２２に転送される。

誤差関数４２２は、カメラ画像において、多角形領域内で測定されたマッピングされた平均カラーを、較正チャートによって定義されるカラーパッチの基準カラーと比較する。さらに、多角形領域内のカラー分散を考慮に入れ、カラーの差分と分散の両方に基づいて誤差ベクトルを生成する。例えば、誤差ベクトルは、カラー分散と、測定された平均カラーと適当な色空間（例えば視覚等距離またはＲＧＢ色空間を有するＣＩＥラボ色空間）における基準カラーとの差分を備えることができる。誤差ベクトルは、最適化器４２４による最適化を受ける。

最適化器４２４は、誤差ベクトルが最小化される方法で、パラメータベクトル４０５を反復的に更新する。この目的に対して、さまざまな最適化スキームを適用することができる。例えば、ＬＭアルゴリズム、パーティクルフィルタ（フレームワークが画像シーケンスに適用される場合、更なる状態パラメータをパラメータベクトル４０５に組み込むこともできる）、滑降シンプレックスまたは遺伝的アルゴリズムである。

最適化プロセスの後、パラメータベクトル４０５は、較正パラメータを非常によく反映しなければならない。カメラ画像において全ての多角形がカラーパッチに完全にフィットする場合、全ての多角形領域におけるカラー分散並びに多角形領域における平均カラー値と対応する基準カラーとの差分は、（理想的なケースにおいておよびセンサ雑音を無視して）ゼロに近づかなければならない。

図５は、カメラ画像の部分と、変換された対象物モデルの部分、すなわち実施例として供される変換された較正チャートモデルを図示している。カメラ画像は、対象物または少なくともその部分を示している。対象物は、複数の異なるカラーまたはパターンの領域を含む。各領域は、正方形であると仮定される。一般に、領域は、任意のフォームを有することができる。

カメラ画像の図示された部分は、いくつかの色のついた領域、すなわち、中心の緑の領域と、以下の色：淡青色、青色、紫色、青緑色、赤色、黄色、橙色および桃色を有する８つの周囲の領域を表している。較正されるカメラが対象物を取得する遠近法により、およびカメラ固有の歪みにより、図５において破線によって示されるように、元の対象物の正方形領域は、歪んだ多角形のように見える（図５において図示の目的のために誇張されている）。

参照のため、図５は、変換された領域の領域境界を、点線としても図示している。変換された領域は、変換された対象物モデルに属している。変換された領域の境界は、図５に示された実施例において直線で囲まれており、カメラパラメータのセットがカメラの歪みをモデル化していないことを意味する。しかしながら、変換された領域の領域境界はカーブしているとも考えることができる、すなわち、カメラパラメータのセットは、カメラが歪みを導入することを仮定している。

変換された較正チャートモデル（点線）をカメラ画像における撮像された領域（破線）と比較することによって、例えば、カメラ画像の撮像された緑色の領域は、変換された較正チャートモデルの対応する緑色の領域にあまりよくマッチしないことが分かる。むしろ、カメラ画像の撮像された緑色の領域は、変換された較正チャートモデルの青色および青緑色の領域にも達する。カメラ画像と変換された較正チャートモデルとのこのミスマッチは、変換された較正チャートモデルを生成するために用いられたカメラパラメータのセットが、ジオメトリ関連の実際のカメラパラメータをあまりよく再現しないことを示している。加えて、同様に、カメラパラメータのセットのカラー関連のカメラパラメータは、カメラの実際のカラー挙動から異なる可能性があり、その上、カメラパラメータのセットによるカメラのカラー取得の誤った再現に結果としてなる。

カメラ較正パラメータの決定の目標は、変換された領域境界（点線）が画像セクションの撮像された境界（破線）に実質的にマッチするまで、および各変換された領域内のカラーがカメラ画像の対応する撮像されたカラー領域に対して実質的に同一となるまで、カメラパラメータのセットを更新することである。この状態が到達されるとき、カメラパラメータの対応するセットは、較正されるカメラの挙動を、比較的高い精度で再現すると仮定することができる。

図６は、図５と類似しているが、カメラ画像ではなく、変換された対象物モデルについて強調している。このように、図６の中央に図示された領域は、実線によって区切られ、較正チャート、すなわち現実の対象物の変換された緑色の領域に対応する。この領域は、図６において太い破線によって示される選択領域に対応する。カメラ画像の画像セクションは、選択領域と合致する。画像セクション（それ故に選択領域）は、カメラ画像の撮像された領域の境界に整列しないことが分かる。むしろ、画像セクションは、カメラ画像の６つの異なる色のついた領域、すなわち、カメラ画像において見ることができる青緑色の領域、緑色の領域、赤色の領域、黄色の領域、橙色の領域、および桃色の領域とオーバーラップする。選択領域に対応する画像セクションにおけるカラーを評価するとき、緑色が支配的であり、引き続いて橙色、赤色、青緑色、桃色であり、最後が黄色であることが分かる。変換された較正チャートモデルは、底部にオフセットし、カメラ画像について時計回りに約２０度回転している。このように、図６に表された状況において、カメラパラメータのセットは、カメラ画像（破線）とより良好にマッチングするために、変換された対象物は上にシフトし、反時計回りに回転するように修正されなければならない。更にまた、カメラパラメータのセットは、カメラ画像において観察されるカーブした領域境界を近似するために、カメラの歪みを再現することを必要とする。加えて、変換されたモデルの選択領域の緑色の明度がカメラ画像において現れる緑色の明度と実質的に同じであるように、カラー関連のカメラパラメータを適応させる必要があると考えられる。

図７は、カメラ画像の第１軸または第２軸と平行であるセグメントによる選択領域の境界の近似を図示している。選択領域の境界を内接形状によって再現した近似、すなわち近似する形状は完全に選択領域内にある。カメラ画像の軸は、他の基準フレーム、例えば、対象物関連の基準フレームあるいは「現実の外界」の基準フレームにおいて、お互いに直線で囲まれているおよび／または直交するように見えない可能性があることに注意されたい。このため、近似する形状のセグメントは、カーブしているように見える可能性がある。図７において、カメラ画像のピクセル分解能が図示されている。近似する形状のセグメントは、２つピクセルの境界を追従する。図６に関して上述されたように、カメラ画像の、異なって色のついた領域が、選択領域に入る可能性がある。近似する形状によって囲まれた各ピクセルは、カメラ画像の対応する部分に従って、異なるカラーまたは２つの異なるカラーの混合を検出する可能性がある。選択領域内のさまざまなピクセルによって検出されるカラーは、図７において、次の文字：緑色に対して「Ｇ」、赤色に対して「Ｒ」、青緑色に対して「Ｔ」、黄色に対して「Ｙ」、橙色に対して「Ｏ」、および桃色に対して「Ｐ］で示される（図５および取得されたカメラ画像において異なる色の境界を示す図５における破線を参照 ― 破線は図７においても再現される）。大部分のピクセルは、単一のカラーを取得する。しかしながら、いくつかのピクセルは、２つの撮像された領域の境界にあり、２つ（以上）の異なるカラーを取得する。例えば、緑色の撮像された領域と赤色の撮像された領域の境界は、いくつかのピクセルの中央をちょうど通る。それ故、これらのピクセルは、図７において省略形「Ｇ＋Ｒ」で示される緑色と赤色を取得する。同様に、省略形「Ｏ＋Ｐ」は、橙色と桃色を意味する。

近似する形状によって囲まれているピクセルを計数することで、次の結果が得られる。
緑色： １８ピクセル
橙色： １３ピクセル
桃色： ４ピクセル
青緑色： ３ピクセル
赤色： ２ピクセル
緑色と赤色： ２ピクセル
橙色と桃色： ２ピクセル
黄色： １ピクセル
合計： ４５ピクセル

これらの結果の評価は、選択領域における支配的なカラーが緑色であることを明らかにする。しかしながら、カラーは顕著な広がりを示しており、すなわちカラーの分散は比較的高い。これは、選択領域のジオメトリが、撮像された領域のジオメトリをあまりよく再現しないことを意味する。

選択領域を評価する代替オプションは後述され、積分画像に基づいている。

図８は、ほとんど図７と類似している。図８における近似する形状は、外接する形状である。再び、特定のカラーを含んでいるピクセルは、以下のように計数することができる。
緑色： ２５ピクセル
橙色： １９ピクセル
桃色： １０ピクセル
青緑色： ８ピクセル
赤色： ６ピクセル
黄色： ４ピクセル
緑色と赤色： ４ピクセル
橙色と桃色： ２ピクセル
黄色と橙色： １ピクセル
合計： ７９ピクセル

図１０は、較正されるカメラ２によって提供されるカメラ画像の可能な処理を図示する概略ブロック図を示す。

カメラ画像は、積分画像計算ブロック１０１２と自乗積分計算ブロック１０１４に供給される。積分画像計算ブロック１０１２は、カメラ画像の各ピクセル位置ｘ^*、ｙ^*に対して、積分画像値Ｉ₁（ｘ^*、ｙ^*）を決定する。変数ｘ^*およびｙ^*は、積分画像内の個々のピクセルをインデックスする整数であって、カメラ関連座標系における座標を示す。積分画像Ｉ₁（ｘ^*、ｙ^*）の各ピクセルは、ピクセル値ｐ（ｉ、ｊ）を、ｉ≦ｘ^*およびｊ≦ｙ^*に対して合計することによって決定される。言い換えれば、ピクセル値ｐ（ｉ、ｊ）は、現在のピクセル位置まで積分される。自乗積分画像Ｉ₂（ｘ^*、ｙ^*）は、同様の方法で決定されるが、ピクセル値ｐ（ｉ、ｊ）は加算の前に自乗される。

積分画像Ｉ₁と自乗積分画像Ｉ₂のみならず、それは、（選択領域に関連する（または、配列された））画像セクション内のピクセル数を決定するために役立つと考えられる。画像セクション内のピクセル数は、画像セクションの統計的モーメントを決定する文脈において後述されるようにすることができる。

積分画像Ｉ₁は、境界決定ブロック１０２２に転送される。境界判定ブロック１０２２に対する他の入力は、変換された対象物（例えば較正チャート）の選択領域のジオメトリである。選択領域のジオメトリは、カメラパラメータの現在のセットを用いて、現実の対象物の特定領域がどのように変換されるかを記述する。境界判定ブロック１０２２は、次に、積分画像Ｉ₁の座標系内の選択領域の境界を近似する。例えば、選択領域の境界は、積分画像Ｉ１の軸と平行であるセグメントによって近似することができる。加えて、または積分画像Ｉ₁に対する代替において、カメラ画像、積分画像Ｉ₁、および自乗積分画像Ｉ₂の軸は通常同じであるので、境界決定ブロック１０２２は、入力として自乗積分画像Ｉ₂または元のカメラ画像を受信することもできる。積分画像は、ゼロで満たされた新たな最初の行と新たな最初の列を加えることによって、１ピクセル広くかつ高くすることができる。

選択領域の近似された境界、積分画像Ｉ₁、および自乗積分画像Ｉ₂は、選択領域に対応する（境界近似された）画像セクション内の統計的モーメントの決定のために、ブロック１０３２に供給される。これは、例えば離散グリーンの定理を用いて、画像セクションの境界における積分された画像値と自乗積分された画像値を評価することによって、達成することができる。このように、選択領域に対応する画像セクションの統計的モーメントは、非常に効率的な方法で決定することができる。ブロック１０３２は、統計的モーメント、例えば選択領域に対応する画像セクション内のカメラ画像値の平均画像値と均一性尺度を出力する。均一性尺度は、画像セクションにおいて生じている画像値が、比較的類似している（すなわち実質的に同一のカラー、カラーの明度、またはグレーの明度）か、または広範囲にわたる（すなわち、いくつかの異なるカラー、カラーの明度、またはグレーの明度）かを記述する。

カメラ２によって提供されるカメラ画像は、２つ以上のカラー成分の画像に分割することができ、各カラー成分に対して、個々の積分画像と個々の自乗積分画像を計算することができることに注意されたい。更にまた、統計的モーメントの決定も、カラー成分個別の方法で実行することができる。

統計的モーメント（例えば、画像セクション内の平均の画像値／カラー値、均一性尺度）は、次に、決定された統計的モーメントを選択領域の対応する特性と比較する比較ブロック１０３４に提供される。この比較の結果は、類似度尺度である。オプションとして、比較ブロック１０３４は、選択領域の、対応する現実の画像セクションに対する配列の尺度を出力することができる。

いくつかの実施形態において、類似度尺度は、２つ以上の領域間の関係を考慮に入れることができる。特に、これは、１つ以上の領域に関するいくつかの情報が絶対値として事前に既知でないが、２つ以上の領域間の関係のみが事前に既知であるときに、興味深いかもしれない。例えば、既知の対象物領域の第１の対象物領域のカラーは既知でない（または正確には既知でない）が、対象物のこの第１の対象物領域のみが第２の対象物領域より明るいまたは暗いとすることができる。明るい／暗いの関係の他に、その他の関係、例えば低い‐高いの関係、強い‐弱いの関係なども考えられる。変換された対象物において、第１の対象物領域と第２の対象物領域の間の事前に既知の関係が、正しい方法で表現されているという事実は、第１の対象物領域と第２の対象物領域の少なくとも１つの類似度尺度に関して影響を有する、すなわち、類似度尺度は、変換された対象物において事前に既知の関係が観察される場合、通常はより高いスコアを有することになる。それ故、対象物モデルの第１の基準フレームから第２の基準フレームへの変換は、第１の対象物領域と第２の対象物領域の関係を正しい方法で取り扱うことを仮定することができる。
例を挙げると：白黒カメラは、色のついた対象物、例えば赤い領域、白い領域、および黒い領域を有する交通標識の画像を取得することができる。白黒カメラによって取得される画像は、グレースケール画像であり、それ故にカラー「赤」は、画像においてグレーの明度として現れる。交通標識を記述する対象物モデルにおいて、白い領域は赤い領域より明るいと定義することができる。同様に、赤い領域は黒い領域より明るいと定義することができる。これらの２つの状況から、また、白い領域が黒い領域より明るいという結果になる。更にまた、対象物モデルは、白い領域（黒い領域）が白黒カメラによって取得される画像において生ずる最も明るい領域（最も暗い領域）の１つであると定義することができる。このような条件は、類似度尺度を決定するときに、評価することもできる。いくつかの実施形態において、２つ以上の関連する領域のグループが、大きい、結合された領域に対する領域関連類似度尺度を決定する目的に対して、１つの大きい、結合された領域とみなす（取り扱う）ことができる点に注意されたい。

カメラ画像が修正されない限り、積分画像Ｉ₁と自乗積分画像Ｉ₂は、同様に一定である。これは、カメラ画像が修正されない限り、積分画像Ｉ₁と自乗積分画像Ｉ₂は一度だけ計算されればよいことを意味する。カメラパラメータの推定の最適化は、選択領域のジオメトリにのみ影響し、従って境界判定ブロック１０２２に影響する。興味のある画像セクション内の統計的モーメントの決定は、積分画像Ｉ₁と自乗積分画像Ｉ₂を用いて非常に効率的な方法で実施することができるので、最適化ステップ当りの演算コストは比較的小さい。

図１１は、本願明細書に開示される教示の１つ以上の実施形態に係るカメラ較正パラメータを決定する方法のフロー図を概略的に図示している。第１ステップ１１０２において、カメラを較正するために用いられる対象物の対象物モデルが受信される。対象物は、通常は既知であり、対象物モデルは利用可能である。例えば、対象物は、いくつかの異なるカラーの領域を備える較正チャートとすることができる。

対象物モデルは、次に、図１１のフロー図のブロック１１０４において示されるように、較正されるカメラのカメラパラメータの（現在の）セットに基づいて変換される。対応する変換は、対象物モデルの少なくとも第１の基準フレームから第２のカメラ関連基準フレームへの幾何学的投影を備える。この変換の結果として、少なくとも１つの領域を備える変換された対象物モデルが決定される。当該少なくとも１つの領域は、対象物の少なくとも１つの較正領域（例えば、現実の対象物の単一カラーの領域）に関連する。

図１１のフロー図のブロック１１０６において、カメラ画像が受信される。カメラ画像は、較正されるカメラを用いて取得される対象物を表している。カメラ画像によって、変換の品質と、それ故にカメラパラメータの現在の推定されたセットの品質を検証することができる。言い換えれば、カメラ画像は基準として役立つ。

変換された対象物モデルの選択領域に対して、領域関連類似度尺度がステップ１１０８において決定される。類似度尺度は、選択領域と、変換に依存するマッピングによって選択領域に関連するカメラ画像の画像セクションとの類似度を表現する。領域関連類似度尺度を決定するいくつかの可能なオプションが、この文書において記載されている。

カメラ較正パラメータを決定する方法のステップ１１０９において、カメラパラメータの更新されたセットが、領域関連類似度尺度と最適化スキームに基づいて決定される。

カメラ較正は、本願明細書に開示された少なくともいくつかの実施形態に係る方法の多くの可能なアプリケーションの単に１つであるので、フロー図は、より一般的なフォームで提供することもできる。第１のステップ１１０２において、本方法を実行するために用いられる対象物の対象物モデルが受信される。対象物は、通常は既知であり、対象物モデルが利用可能である。対象物モデルは、次に、モデルパラメータの（現在の）セットに基づいて変換される。このアクションは、図１１のフロー図のブロック１１０４に対応する。対応する変換は、対象物モデルを、第１の基準フレームから第２の基準フレームに変換する。この変換の結果として、少なくとも１つの領域を備える変換された対象物モデルが決定される。当該少なくとも１つの領域は、対象物の少なくとも１つの対象物領域（例えば、現実の対象物の単一カラーの領域）に関連する。

図１１のフロー図のブロック１１０６に対応するアクションにおいて、画像が受信される。画像は、取得デバイスを用いて取得された対象物を表している。画像によって、変換の品質と、それ故に現在の推定されたモデルパラメータのセットの品質を検証することができる。言い換えれば、画像は基準として役立つ。変換された対象物モデルの選択領域に対して、領域関連類似度尺度が（図１１のフロー図のステップ１１０８に対応して）決定される。類似度尺度は、選択領域と、変換に依存するマッピングによって選択領域に関連するカメラ画像の画像セクションとの類似度を表現する。領域関連類似度尺度を決定するいくつかの可能なオプションは、この文書において記載されている。図１１のフロー図のステップ１１０９に対応するアクションにおいて、モデルパラメータの更新されたセットが、領域関連類似度尺度と最適化スキームに基づいて決定される。

記載されたシステムは（特に、図４と図９において）、較正フレームワークの１つの可能な具現化である。本システムのいくつかの可能なバリエーションは以下の通りである。
・現実の外界システムをよりよくモデル化するため、更なるパラメータをパラメータベクトルに加える、またはパラメータを変えることができる。例えば、接線の歪みまたは照明条件を同様にモデル化することができる。さらに、較正対象物（チャート）もパラメータ化することができ、例えば折り畳み可能な（堅くない）較正チャートの開口角度を付加的なパラメータによってモデル化することができる。
・色収差をパラメータ化することができ、同様にモデル化することができる。従って、カラーパッチの境界を記述する多角形は、（レンズ歪みブロック４０８と同様に）領域積分ブロック４１２の前に、各カラーバンドに対して別々に変形することができる。
・システム、特に誤差関数ブロック４２２は、さまざまな色空間を用いることができる。例えば、視覚等価またはＲＧＢ色空間によるＣＩＥラボ色空間を用いることができる。生のセンサデータの使用を同様に考慮することができる。
・カメラ画像の代わりにまたは加えて、画像の前処理されたまたは変換されたバージョン（例えばエッジ画像または輝度画像）をシステムにおいて用いることができる。用語「カメラ画像」は、このような画像の前処理されたまたは変換されたバージョンを含んでいる。さらに、輝度画像またはカラー画像のみでなく、奥行き画像も考慮することができる。
・多角形領域におけるピクセル分散を計算するために、自乗ピクセル値の画像および適当な積分画像を計算し、用いることが提案された。その代わりに、各多角形領域は任意の数の小領域に分割することができ、全部の多角形領域の分散は小領域の平均値の分散によって近似することができる。これは、より少ない積分画像を計算し、記憶すれば足りるので、結果として速度とメモリの最適化になることができる。
・画像においてカラーパッチがあまりよくフィットしなかった場合に、誤差を回避するため、カラー変換パラメータの最適化は、全部のカラーパッチ（選択領域）に基づかず、カラーパッチのマージンをスキップすることができる。このために、各カラーパッチは、正確な境界とマージンによって減少された境界を定義する多角形によってモデル化することができる。
・最適化手続きは、演算コストを低減させるため、最初に（何らかの収束に到達するまで）いくつかのカラーパッチのみを含み、他のパッチを段階的に加えることができる。
・パッチの境界と基準カラー（または輝度）だけでなく、カラーパッチのまわりのフレームと、フレーム（バックグラウンド）の対応するカラーと輝度をモデル化することができる。それらは、同様に誤差ベクトルに組み入れることができる。
・多角形再標本化ブロックは、より少ない頂点により演算ロードを下げるため、最初に最大セグメント長に対する高いスレショルドを用い、最適化において下げることができる。
・多角形領域のカラー（輝度）および分散に加えてまたは代わりに、高位のモーメントを計算し、用いることもできる。
・多角形再標本化ブロックは、他の再標本化戦略、例えば、画像におけるチャート（または多角形）のサイズに依存して付加的な頂点の数を調整する適応的な方法に従うこともできる。
・グレイレベルまたは白黒の較正チャートを用いることができ、ジオメトリの較正、カメラカーブの較正、またはホワイトバランスのみが必要である場合、処理はグレイレベルの画像についてなすことができる。
・多角形領域の積分は、積分画像における補間によって、サブピクセル精度で改善することができる。
・一般に、較正チャートの部分のみ、例えば、カラーパッチ（領域）のいくつかのみをモデル化し、最適化手続きに含めることができる。
更にまた、カラーパッチ間の領域もモデル化し、最適化プロセスに含めることができる。
・較正パターンの単一画像またはビューのみを用いることが、劣決定システムに結果としてなることができる。従って、多数のビューまたは画像を、同時にまたは段階的に、較正手順に組み入れることができる。
・任意のカラー補正またはマッピングをモデル化し、３×３の線形カラーマッピングのみを用いる代わりに、パラメータ化することができる。
・カラー変換ブロック４１６は、積分画像演算４１４の前に置き、画像における各ピクセルに適用することもできるが、この場合において、積分画像は、カラーマッピングパラメータが変化するときはいつでも、最適化において更新されなければならない。
・誤差ベクトルの各要素は、誤差ベクトルの特定の成分を強調するまたは特定のカラーパッチに対して較正を集中させるために、分離した重み係数によって乗算することができる。重みは、較正チャートまたは画像における多角形領域のサイズに基づくこともできる。

提案された較正フレームワークのいくつかの利点は、以下の通りである。
・システムは、閉フォームの解法でカラーおよびジオメトリのカメラ較正を統一し、商業上利用可能な較正チャートに適用することもできる。
・ゼロ平均によるノイズは積分ステップにおいて除去されるので、多角形領域の積分により、センサノイズに関して非常にロバストである。
・この較正フレームワークの全ての構成要素は、非常に効率的に実施することができ、低い演算コストに結果としてなる。さらに、積分画像演算コスト以外の全ては、画像のサイズと独立している。アルゴリズムは、特別なハードウェア上（例えばグラフィックカード）の並列化と具現化に対しても完全にフィットする。

提案システムは、例えば以下のような、カメラ較正が有益である多くのアプリケーションにおいて用いることができる。
・写真のジオメトリとカラーの較正のための画像操作プログラムへの集積化。
・アルゴリズムの効率化により、構成手順を単純化するため、消費者またはプロのカメラに集積化することができる。カメラは、画像において較正チャートを検出するとすぐに、自分自身で自動的に較正することができる。従って、撮影者は、ライトまたはカメラのセットアップが変化した場合に、システムを較正するために、カメラの前に較正チャートを一度置きさえすればよい。
・システムは、マルチカメラセットアップ（例えば、ステレオカメラ）のジオメトリと色彩の較正を行うために用いることができる。これは例えば３Ｄ製品において有利である。

積分画像を用いた２次元画像表現の領域の尺度の決定

モデルパラメータを決定する装置／方法に関連して、積分画像および／または対応する方法を用いて、２次元画像表現の領域の尺度を決定する装置／方法を使用することは興味深いと考えられる。例えば、このような２次元画像表現の領域の尺度を決定する方法は、２次元画像表現（より高次の画像表現も考えられる）の積分画像を用いることができる。

非特許文献２８において、ViolaとJonesは、迅速な対象物検出のためのフレームワークを提案している。彼らは、対象物検出に対して識別器カスケードをトレーニングするために、ハールライクな矩形特徴とブースティング（アダブースト）を用いた。彼らは、速い特徴抽出に対して積分画像を提案している。積分画像における各ピクセルは、ピクセルの左側と上部までの全てのピクセルの合計を含む。従って、積分画像は、左上と右下のコーナーのピクセル値を加算し、右上と左下のコーナーのピクセル値を減算することによって、矩形領域における全てのピクセルの合計を計算するために用いることができる。この目的で、任意のサイズの矩形領域における全てのピクセルを合計することが、積分画像における４つのルックアップのみによって、一定時間でなすことができる。

その後、積分画像のハールライクな特徴とアプリケーションが、多数の刊行物において用いられ、さまざまな改良が提案された。しかしながら、それらのいずれもが、矩形領域または矩形領域の組合せに基づいている。

YinとCollins（非特許文献２９）は、任意の画像領域が、座標軸に平行なエッジを有する矩形において分割することができることを提案している。従って、任意の領域内部の合計は、積分画像の助けによって、全ての矩形領域を合計することによって計算することができる。

MohrとZachmann（非特許文献３０）は、また、軸に配列されたエッジを有する矩形のセットによって、任意のエリアを近似することを提案している。彼らは、各ピクセルが対象物に属するか否かの確率を含む確率画像に基づく高速テンプレートマッチング法を用いている。

彼らは、また拡張性のある解像度に独立な解法を得るため、積分画像を採用している。

矩形ベースの領域近似は、前のアプローチと比較していくつかの利点を有する。それは、任意の画像領域内のピクセル値の合計を計算する非常に高速で拡張性のある方法を提供する。しかしながら、それは、さまざまなアプリケーションに対していくつかの欠点を有する。

軸配列された矩形によって近似される任意の領域の例が、図２０ａに示される。それは、矩形におけるピクセル値の合計を計算するため、積分画像において、各矩形と４つのルックアップを格納する４つの数値を必要とする。領域近似を記憶し、それぞれのピクセル値の合計を計算するために、合計４Ｎの数値とルックアップを必要とする。

任意の多角形によって定義される領域を近似しなければならないと仮定すると、多角形領域をオーバーラップしない矩形において分割するアルゴリズムが必要である。これは、時間がかかり、難しいタスクであると考えられる。さらに、近似を修正または操作したい場合に、操作に含まれる全ての矩形の全てのコーナーを常に取扱わなければならない。図２０ｂは、領域境界の小さな操作を示す。１つの矩形のコーナーを移動するこの基本的なケースにおいてさえ、全ての強調された矩形が操作されなければならない。

オーバーラップしない矩形により領域を近似することができるアルゴリズムに対するニーズと、領域操作に含まれる困難さは、両方とも多くのアプリケーションにおいて考慮されなければならない欠点である。

これらの欠点を取扱う１つのオプションは、２次元画像表現の積分画像を用いて、２次元（またはより高次の）画像表現の領域の尺度を決定する装置によって提供される。装置は、領域の境界を近似する閉曲線を、閉曲線が積分画像の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように決定するように構成される第１の決定器を備える。更に、装置は、多角形の頂点において、積分画像の値を交互に加算・減算することによって領域の尺度を決定するように構成される第２の決定器を備える。

２次元（またはより高次の）画像表現の領域の尺度を決定する対応する方法は、２次元画像表現の積分画像を用いる。本方法は、領域の境界を近似する閉曲線を、閉曲線が積分画像の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように決定するステップを備える。更にまた、本方法は、多角形の頂点において積分画像の値を交互に加算・減算することによって領域の尺度を決定するステップを備える。

特に、領域の尺度を決定する提案された装置および方法は、対応するモデルが、どのように対象物が第１の基準フレーム（通常は、取得された現実の対象物の「現実の」外界内）から第２の基準フレーム（通常は、画像、すなわち取得プロセスの結果に関して定義される）に変換されるかを記述するモデルパラメータを決定する文脈において用いることができる。

任意の領域（例えば、モデルパラメータの決定の文脈において上述された選択領域）は、領域の境界を近似する軸平行セグメント（例えば水平および垂直セグメント）のみが用いられるとき、矩形ベースの近似に結びつくいずれの欠点も有しない、ずっとフレキシブルでコンパクトな形状記述によって記述することができる。任意の領域に対するこの効率的な形状表現は、軸平行セグメントを備える多角形の頂点において積分画像の値を交互に加算・減算することによって、閉曲線によって定義される領域の尺度を迅速に計算するために用いることができる。

以下において、閉曲線は形状として指定することもでき、軸平行セグメントはセグメントとして指定することもできる。

矩形ベースの方法と比較して、尺度は、領域の境界を近似する閉曲線である多角形の頂点において値を加算・減算することによって計算されるので、領域の尺度の計算に対して、領域の境界のみを考慮すれば足りるため、領域の尺度を計算することは非常に容易である。モデルパラメータの上述された決定に対して、取得された画像は、変換された選択領域にマッピングされた画像セクション内で評価される。変換された選択領域は、取得された画像内の画像セクションを記述するマスクまたはテンプレートとしてふるまう。画像セクションのさまざまな尺度は、高速かつ効率的な方法で決定することができる。画像セクション内の平均画像値は、画像セクション内の画像値（例えばピクセル値）の合計を決定することによって決定することができる。画像セクション内の総ピクセル数は、全てのピクセルが同じ値、例えば「１」を有する補助積分画像において画像セクションを評価することによって決定することもできる。画像セクション内の平均画像値は、（変換に依存するマッピングによって）選択領域に対応する画像セクションにおける総ピクセル数上の合計の比率である。

図２０ａから分かるように、図２０ａに示された領域の尺度の計算のために、各矩形に対して尺度が計算されなければならないので、全ての矩形の全ての頂点が考慮されなければならない。従って、矩形ベースのアプローチにおいて、領域の境界だけでなく、付加的に任意の領域に位置する矩形の頂点も、考慮されなければならない。

多角形の２つの頂点は、１つの軸平行セグメントによって結合することができる。言い換えれば、軸平行セグメントの始点は、第１の頂点であり、軸平行セグメントの終点は、例えば、閉曲線上を移動するときに第１の頂点に続く第２の頂点である。

多角形の頂点は、積分画像の第１軸に平行な軸平行セグメントの終点と、積分画像の第２軸と平行な軸平行セグメントの始点とすることができる。言い換えれば、閉曲線上を移動するとき、積分画像の第１軸に平行な水平の軸平行セグメントと、積分画像の第２軸に平行な垂直の軸平行セグメントは、交互に切り替わる。例えば、積分画像の軸に平行でない領域のエッジは、少なくとも２つの軸平行セグメントを用いて近似することができ、第１の軸平行セグメントは積分画像の第１軸と平行であり、第２の軸平行セグメントは積分画像の第２軸と平行である。

図１２ａは、２次元画像表現の積分画像を用いて２次元画像表現の領域の尺度を決定する方法１００のフロー図を示す。方法１００は、閉曲線が、積分画像の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように、領域の境界を近似する閉曲線を決定するステップ１０１を備える。

更にまた、方法１００は、多角形の頂点において積分画像の値を交互に加算・減算することによって領域の尺度を決定するステップ１０３を備える。

上述のように、矩形の代わりに軸平行セグメントを用いて領域の境界に近似することによって、矩形ベースの近似に結びつくいずれの欠点も有しない、ずっとフレキシブルでコンパクトな形状記述を達成することができる。更にまた、領域の尺度（例えば、領域の全てのピクセルの合計）は、多角形の頂点において積分画像の値を交互に加算・減算することによって容易に決定することができる。それ故、矩形ベースの近似と比較して、矩形のベースのアプローチにおけるような領域の内側の頂点の代わりに、領域の境界を近似する多角形の頂点のみを記憶すれば足り、領域の尺度を計算するために用いることができる。

前述したように、積分画像において、各ピクセルは、ピクセルの左および上の全てのピクセルの合計を含むことができる。それ故、多角形の頂点において積分画像の値を交互に加算・減算することによって、形状または閉曲線によって定義された画像領域におけるピクセル値の合計を任意の領域に対して迅速に計算することができる。

図１２ｂは、２次元画像表現１５２の積分画像１５４を用いて、２次元画像表現１５２の領域の尺度１５１を決定する装置１５０を示す。装置１５０は、閉曲線１５５が、積分画像１５４の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように、領域の境界を近似する閉曲線１５５を決定するように構成された第１の決定器１５３を備える。

更に、装置１５０は、多角形の頂点において積分画像１５４の値を交互に加算・減算することによって領域の尺度１５１を決定するように構成された第２の決定器１５７を備える。言い換えれば、装置１５０は、方法１００を実行するように構成することができる。

第１の決定器１５３は、２次元画像表現１５２を受信し、その積分画像１５４を決定するように構成するかまたは２次元画像表現１５２の既に決定された積分画像１５４を受信するように構成することができる。

装置１５０に関連して以下に記載される更なる（オプションの）特徴は、方法１００にも適用可能であり、その逆もまた同様である。

簡潔なメモの形式のリストとして、２次元画像の領域の尺度の決定に対する教示の態様を、以下のように提示することができる。

２次元画像表現（１５２）の積分画像（１５４）を用いて、２次元画像表現（１５２）の領域（２１１₁、２１１₂、４０１）の尺度（１５１）を決定する装置（１５０）は、閉曲線（１５５、１５５₁〜１５５₅）が、積分画像（１５４）の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように、領域（２１１_１、２１１_２、４０１）の境界を近似する閉曲線（１５５、１５５₁〜１５５₅）を決定するように構成される第１の決定器（１５３）と、多角形の頂点において積分画像（１５４）の値を交互に加算・減算することによって、領域（２１１₁、２１１₂、４０１）の尺度（１５１）を決定するように構成される第２の決定器（１５７）と、を備える。

第１の決定器（１５３）は、多角形の２つの頂点が１つの軸平行セグメントによって結合されるように、閉曲線（１５５、１５５₁〜１５５₅）を決定するように構成することができる。

第１の決定器（１５３）は、閉曲線（１５５、１５５₁〜１５５₅）上を移動するとき、積分画像（１５４）の第１軸に平行な水平の軸平行セグメントと積分画像（１５４）の第２軸に平行な垂直の軸平行セグメントとが交互に切り替わるように、閉曲線（１５５、１５５₁〜１５５₅）を決定するように構成することができる。

第１の決定器（１５３）は、領域（２１１₁、２１１₂、４０１）の各単一の非軸平行エッジが、積分画像（１５４）の第１軸に平行な少なくとも１つの水平の軸平行セグメントと、積分画像（１５４）の少なくとも第２軸に平行な少なくとも１つの垂直の軸平行セグメントとのシーケンスによって近似されるように構成することができる。

多角形の各頂点は、積分画像（１５４）の２次元ｘｙ座標系のｘ座標値と、２次元ｘｙ座標系のＹ座標値に関連することができ、第１の決定器（１５３）は、閉曲線（１５５、１５５₁〜１５５₅）上を移動するとき、連続する頂点がｘ座標またはｙ座標のいずれかにおいて異なるように、閉曲線（１５５、１５５₁〜１５５₅）を決定するように構成される。

第２の決定器（１５７）は、多角形の各頂点に対して、頂点に隣接する積分画像（１５４）の値が加算または減算されるように、領域（２１１₁、２１１₂）の尺度（１５１）を決定するように構成することができる。

積分画像（１５４）の水平軸は、積分画像（１５４）の２次元ｘｙ座標系のｘ座標方向に沿って伸びており、積分画像（１５４）の垂直軸は、２次元ｘｙ座標系のＹ座標方向に沿って伸びているとすることができる。更にまた、第２の決定器（１５７）は、領域（２１１₁、２１１₂）の尺度（１５１）を、頂点（２０１）に隣接し、頂点（２０１）に対する前のｘ座標および前のｙ座標に関連する積分画像（１５４）の値（Ａ）として決定するため、多角形の頂点（２０１）に対して、加算または減算する値を選択するように構成することができる。前のｘ座標および前のＹ座標の代替として、丸められたｘ座標および丸められたＹ座標を用いることができる。

第２の決定器（１５７）は、頂点に隣接し、前のｘ座標および前のＹ座標に関連する値が積分画像（１５４）の外側に位置する積分画像（１５４）の境界に位置する多角形の頂点に対して、値がゼロに選択されるように、領域（２１１₁、２１１₂）の尺度（１５１）を決定するように構成することができる。

第１の決定器（１５３）は、２次元画像表現（１５２）の領域（２１１₁）の変更に対応して、多角形の頂点を変更するように構成することができ、第２の決定器（１５７）は、領域（２１１₁）の尺度（１５１）を決定するために加算された古い値が領域（２１１₁）の尺度（１５１）から減算され、そして領域（２１１₁）の尺度（１５１）を決定するために減算された古い値が領域（２１１₁）の尺度（１５１）に加算されるように、第１の決定器（１５３）によって領域（２１１₁）の尺度（１５１）からおよび領域（２１１_１）の尺度（１５１）に変更されたまたは除去された頂点（２０１₁）の古い値を減算し、加算することによって、そして多角形の変更されたまたは新しい頂点（２０１₁、２０１₂、２０１₃）において、領域（２１１₁）の尺度（１５１）に新しい値を交互に加算・減算することによって、変更された領域（２１１₂）の尺度を決定するように構成することができる。

積分画像（１５４）の水平軸は、積分画像（１５４）の２次元ｘｙ座標系のｘ座標方向に沿って伸びており、積分画像（１５４）の垂直軸は、積分画像（１５４）の２次元ｘｙ座標系のｙ座標方向に沿って伸びているとすることができる。第１の決定器（１５３）は、ｘ座標方向またはＹ座標方向において、領域（２１１₁）の境界の変更に対応する頂点（２０１₁）をシフトし、シフトされた頂点（２０１₁）がｘ方向またはｙ方向のいずれかにシフトされるとき、閉曲線（１５５）上のシフトされた頂点に隣接する１つの頂点のみを付加的に変更し、シフトされた頂点（２０１₁）がｘ方向およびｙ方向にシフトされるとき、閉曲線（１５５、１５５₄、１５５₅）上のシフトされた頂点（２０１₁）に隣接する２つの頂点（２０１₂、２０２₃）のみを変更するように構成することができる。

第１の決定器（１５３）は、多角形が領域（４０１）の境界によって完全に囲まれるように、領域（４０１）の境界を近似する閉曲線（１５５₁）を決定するように構成することができる。第１の決定器（１５３）は、領域（４０１）の境界が軸平行セグメントを横切るように、領域（４０１）の境界を近似する閉曲線（１５５₂）を決定するように構成することができる。

第１の決定器（１５３）は、領域（４０１）の境界が軸平行セグメントの中央において軸平行セグメントを横切るように、閉曲線（１５５₂）を決定するように構成することができる。

第１の決定器（１５３）は、多角形の第１の頂点（４０３₁）が領域（４０１）の外側に位置し、閉曲線（１５５₃）上を移動するとき、第１の頂点（４０３₁）に続く第２の頂点（４０３₂）が領域（４０１）の内側にあるように、閉曲線（１５５₂）を決定するように構成することができる。

第１の決定器（１５３）は、多角形の第１の頂点（４０３₃）が領域（４０１）の外側に位置し、閉曲線（１５５₃）上を移動するとき、第１の頂点（４０３₃）に続く第２の頂点（４０３₄）が領域（４０１）の境界に位置するように、閉曲線（１５５₃）を決定するように構成することができる。

第１の決定器（１５３）は、多角形の軸平行セグメントの最大固定長を変更することによって、閉曲線による領域の境界の近似の精度を調整するように構成することができる。

領域（２１１₁、２１１₂）は、複数のピクセルを備えることができ、各ピクセルはピクセル値を有し、第２の決定器（１５７）は、領域（２１１₁、２１１₂）の内側に２次元画像表現（１５２）の全てのピクセルのピクセル値の合計を記述するように、領域（２１１₁、２１１₂）の尺度（１５１）を決定するように構成することができる。

積分画像（１５４）の各値は、積分画像（１５４）の２次元ｘｙ座標系の座標位置に関連することができる。第１の決定器（１５３）は、２次元画像表現（１５２）の各ピクセルの各ピクセル値が同じ値にセットされた２次元画像表現（１５２）の更なる積分画像を決定するように構成することができる。第２の決定器（１５７）は、更なる領域の尺度が、領域におけるピクセル数を記述するように、領域の尺度（１５１）を決定するために用いられた積分画像（１５４）の値と同じ座標位置において、更なる積分画像の値を交互に加算・減算することによって、更なる積分画像における更なる領域の尺度を決定するように構成することができる。

第２の決定器（１５７）は、領域の尺度と更なる領域の尺度に基づいて、領域における全てのピクセルの平均値を計算するように構成することができる。

２次元画像表現（１５２）の積分画像（１５４）を用いて、２次元画像表現（１５２）の領域（２１１₁、２１１₂、４０１）の尺度（１５１）を決定する方法（１００）が提案され、その方法（１００）は、閉曲線（１５５、１５５₁〜１５５₅）が、積分画像（１５４）の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように、領域（２１１₁、２１１₂、４０１）の境界を近似する閉曲線（１５５、１５５₁〜１５５₅）を決定する（１０１）ステップと、多角形の頂点において、積分画像（１５４）の値を交互に加算・減算することによって、領域（２１１₁、２１１₂、４０１）の尺度（１５１）を決定するステップ（１０３）と、を備える。

図１４は、第１の決定器１５３によって、閉曲線１５５を用いて境界が近似される２次元画像表現１５２の領域３０１に対する実施例を示す。閉曲線１５５は、多角形であり、２次元画像表現１５２の軸に平行な複数の軸平行セグメントを備える。例えば、２次元画像表現１５２は、第１の座標軸（例えばｘ座標軸または水平軸）と第２の座標軸（例えばｙ座標軸または垂直座標軸）を有する２次元ｘｙ座標系を備えることができる（または、それに基づいている）。２次元画像表現１５２の軸は、２次元画像表現１５２の軸に平行な閉曲線１５５の軸平行セグメントが、積分画像１５４の軸とも平行でもあるように、２次元画像表現１５２の積分画像１５４の軸に等しいとすることができる。図１４から分かるように、閉曲線１５５の全てのセグメントは、軸に平行であり、閉曲線１５５上を移動するとき、２次元画像表現１５２の第１の座標軸に平行な軸平行セグメントは、２次元画像表現１５２の第２の座標軸に平行な軸平行セグメントと交互に切り替わる。

言い換えれば、多角形の各頂点は、積分画像１５４と２次元画像表現１５２の座標系の第１の座標値と第２の座標値に関連することができ、閉曲線１５５上を移動するとき、連続する頂点は、第１の座標（例えばｘ座標）または第２の座標（例えばＹ座標）のいずれかにおいて異なる。

他の可能性は、既に示された方法と同様に、境界ボックスと境界ボックスに対する頂点によって形状を記述することである。従って、形状の幅、高さおよび位置は、境界ボックスのサイズまたは位置のみを変更することによって、容易に操作することができる。

選択された表現から独立して、形状は、指定されたアプリケーションに役立ついかなる座標変換も受けることができる。ｘ；ｙペアーの順序は、代わりにｙ；ｘに切り替えることもできる。

矩形ベースの方法と比較して、記述された形状表現を用いて任意の精度で任意の領域を近似することが非常に容易である。多角形領域は、例えば、図１５ａに示されるように、多角形の各単一のエッジを、水平または垂直の形状セグメントのシーケンスで近似することによって、任意の精度で近似される。

言い換えれば、更なる実施形態によれば、領域の境界の各単一の非軸平行エッジは、少なくとも１つの水平の軸平行セグメント（例えば、積分画像の第１の座標軸と平行な）と、少なくとも１つの垂直の軸平行セグメント（例えば、積分画像の第２の座標軸と平行な）とのシーケンスによって近似される。

図１５ａと１５ｂに示されるもの以外のジオメトリフォームは、境界のみが考慮されるので、同様に容易に近似される。アプリケーションおよび要求条件に依存して、形状は、調節可能な精度で近似することができる。一例として、固定の最大長を有するセグメント並びに自由に調節可能な長さを有するセグメントを使用することができる。言い換えれば、閉曲線による領域の境界の近似の解像度は、多角形の軸平行セグメントの最大固定長を変更することによって調整することができる。

加えて、近似は内側領域に制限されない。
図１５ｂに示されるように、平均または外側領域を近似することも可能である。平均近似のケースでは、領域の境界は、各（形状）セグメントの中心によって交差される。

図１５ｂは、上図において、領域４０１の境界を近似する閉曲線１５５₁が、図７に類似した方法で、第１の決定器１５３によって、多角形が領域の境界によって完全に囲まれるように決定される実施例を示す。

更に、図１５ｂは、中図において、領域４０１の境界を近似する閉曲線１５５₂が、第１の決定器１５３によって、領域の境界が軸平行セグメントを交差するように決定される実施例を示す。図１５ｂに示される実施例において、領域の境界は、多角形の各軸平行セグメントを交差する。更に、多角形の軸平行セグメントの少なくともいくつかに対して、領域の境界は、軸平行セグメントの中央において軸平行セグメントを交差する。

更にまた、多角形の（または閉曲線の）第１の頂点４０３₁は、領域４０１の外側に位置し、閉曲線１５５₂上を移動するとき、第１の頂点４０３₁に続く第２の頂点４０３₂は、領域４０１の内側に位置する。

更にまた、図１５ｂは、下図において、多角形（または閉曲線１５５₃）の第１の頂点４０３₃が領域４０１の外側に位置し、閉曲線１５５₃上を移動するとき、第１の頂点４０３₃に続く第２の頂点４０３₄が領域４０１の境界上に位置するように決定される閉曲線１５５₃に対する実施例を示す（図８も参照されたい）。言い換えれば、閉曲線１５５₃は、領域４０１を囲んでいる。

図１５ａと１５ｂから、任意の領域を近似することは、（軸平行セグメントを用いた）形状表現による簡単なタスクであり、任意の精度で容易になすことができることが分かる。

さらに、形状表現（または閉曲線）は、簡単でフレキシブルな方法で操作することができる。ｘ方向またはｙ方向において頂点をシフトすることは、正確に１つの隣接する頂点に影響を及ぼす。例えば、ｘ方向は、２次元画像表現および積分画像の２次元ｘｙ座標系の第１の座標方向とすることができる。更にまた、ｙ方向は、２次元画像表現および積分画像の２次元ｘｙ座標系の第２の座標方向とすることができる。２次元画像表現の領域の境界を近似する閉曲線または多角形のあらゆる軸平行セグメントは、第１の座標方向に平行で、従ってｘ方向に沿って伸びているか、第２の座標方向に平行で、従ってｙ方向に沿って伸びているかのいずれかである。

ｘ方向およびｙ方向において頂点をシフトするとき、正確に２つの隣接した頂点が影響を受ける。

一例として、第１の決定器１５３は、ｘ方向またはｙ方向における領域の境界の変更に応じて、多角形の頂点をシフトし、シフトされた頂点がｘ方向またはｙ方向のいずれかにシフトされるとき、閉曲線上のシフトされた頂点に隣接する１つの頂点（のみ）を付加的に変更するか、またはシフトされた頂点がｘ方向およびｙ方向においてシフトされるとき、閉曲線上のシフトされた頂点に隣接する２つの頂点（のみ）を付加的に変更するように構成することができる。

図１６は、１つの頂点のみの操作を例示する。形状をフレキシブルで簡単な方法で操作することができることが分かる。矩形ベースの方法とは異なり、隣接する頂点のみが操作において含まれる。図１６から、ｘ方向およびｙ方向において１つの頂点をシフトすることによって、２つの隣接する頂点のみを変更すれば足りることが分かる。これは、１つの頂点のみが変化する場合に、全ての矩形を変更しなければならない、図２０ｂによって示されたような矩形ベースの方法と比較される大きな利点である。

上記で導入された閉曲線に対する冗長性のないコンパクトな形状表現において、各エントリーは２つの頂点に属するので、各単一のエントリーは、他の全てのエントリーと独立に変えることさえできる。

更にまた、 形状表現は、修正された部分の始めと終わりの頂点位置を一定に保持しながら、任意の方法で、セグメントを分割、併合、加算、または除去することを可能にする。従って、形状は、多くのアプリケーションに対して有利であるフレキシブルな方法で変えることができる。いくつかの可能なアプリケーションが以下に示される。

形状または閉曲線は、積分画像によって、形状によって囲まれる全てのピクセル値の合計を非常に高速で快適な方法で計算するために用いることができる。積分画像の形状頂点の位置において、各値に正または負の代数符号を交互に割り当てることによって、領域内の全てのピクセル値の合計は、これらの符号付きの値を合計することによって取得することができる。代数符号がこれらの値に割り当てられる順序は、形状頂点の順序によって定義される。最初の値の代数符号は、形状における全てのピクセル値の合計が取得されるか負の合計が取得されるかを決定する。

言い換えれば、方法１００または装置１５０によって決定される領域の尺度１５１は、領域内（その境界は閉曲線１５５によって近似される）の２次元画像表現１５２の全てのピクセル値の合計とすることができる。

以下において、図１３ａ〜１３ｃを用いて、２次元画像表現１５２の積分画像１５４を用いて２次元の画像表現１５２の領域内の全てのピクセルの合計を計算する実施例を示す。既に記載されたように、領域の境界を近似する閉曲線は、第１の決定器１５３によって、閉曲線が積分画像１５４の軸に平行な少なくとも６つの軸平行セグメントを備える多角形であるように決定される。領域の尺度１５１（具体的な実施例において、領域内の全てのピクセルの合計）は、第２の決定器１５７によって、多角形の頂点において積分画像１５４の値を交互に加算・減算することによって決定される。

図１３ａは、領域の境界を近似する多角形の異なる頂点の可能性と、頂点におけるどの値が領域の基準１５１を決定するために選択されるかの実施例を示す。図１３ａに示された実施例において、頂点２０１は、例えば、積分画像１５４および２次元画像表現１５２の２次元ｘｙ座標系のｘ座標およびｙ座標をそれぞれ有する４つの値によって囲まれている。従って、第１の決定器１５３を用いた領域の尺度１５１の計算に対して、各頂点は、領域の尺度１５１を導き出すために、加算または減算する異なる値を提供する。頂点２０１は、２次元ｘｙ座標系のｙ座標軸に平行である第１の軸平行セグメント２０３_１と、２次元ｘｙ座標系のｘ座標軸に平行である第２の軸平行セグメント２０３_２を結合する。図１３ａにおける影のついたエリアは、多角形の内側エリアを象徴する、すなわち、影のついたエリアにおける値は、尺度１５１が決定される領域に属する。図１３ａから、各頂点に対して、左上の値Ａは、領域の尺度１５１を決定するために、加算または減算されるために常に必要とされることが分かる。言い換えれば、多角形の頂点に対して、尺度を決定するために加算または減算する値は、頂点に隣接し、頂点に対する前のｘ座標（丸められたｘ座標）および前のｙ座標（丸められたＹ座標）に関連するまたは有する積分画像１５４の値として選択される。積分画像１５４において、通常、前のｘ座標およびｙ座標による値は、頂点２０１に隣接する４つの値Ａ、Ｂ、Ｃ、Ｄの最小値である。

図１３ｂは、左側に示される２次元画像表現１５２の領域２１１_１の全てのピクセルの合計が、右側上に示される２次元画像表現１５２の積分画像１５４を用いて、どのように決定されるかを示す。

２次元画像表現１５２は、複数のピクセルを備え、各ピクセルは、２次元画像表現１５２および積分画像１５４の２次元ｘｙ座標系において、値と、関連するｘ座標およびｙ座標を有する。領域２１１₁は、２次元画像表現１５２および積分画像１５２の軸に平行な複数の軸平行セグメントを備える閉曲線１５５₄によって近似される。領域２１１₁の尺度として、領域２１１₁内の全てのピクセルの合計を導き出すことが目標である。方法１００によれば、領域２１１₁の尺度は、（第２の決定器１５７によって）領域２１１₁の境界を近似する多角形（または閉曲線１５５₄）の頂点において、積分画像１５４の値を交互に加算・減算することによって決定される。

領域２１１₁内の全てのピクセル値の加算から、領域２１１₁の内側の全てのピクセルの合計は、４７として決定することができる。

図１３ｂから、右側において、領域２１１₁内の全てのピクセルのこの合計が、第２の決定器１５７によって、２次元画像表現１５２の積分画像１５４を用いて、どのように導き出すことができるかが分かる。図１３ｂから、全てのピクセルの合計は、多角形（または閉曲線１５５₄）の頂点において、値を交互に加算・減算することによって導き出されることが分かる。図１３ｂに示された積分画像１５４において、各頂点に対して、領域の尺度を引き出すために用いられる値は、円でマークされ、値に対して用いられる代数符号（＋または−）が示される。更に、各頂点に対して閉曲線１５５₄に沿って移動するとき、値が加算または減算され、前の頂点の値が減算されたときに値が加算され、前の頂点の値が加算されたときに値が減算される。更にまた、領域２１１₁の尺度準１５１を決定するために、閉曲線１５５₄の各頂点に対して１つの値が加算または減算されるように、閉曲線１５５₄に沿って一度移動しなければならない。

更にまた、図１３ｂから、積分画像の境界に位置する頂点のケースでは、頂点に隣接し、前のｘ座標および前のｙ座標に関連するまたは有する値が積分画像の外側であるように、値は０に選択されることが分かる。

閉曲線１５５₄に沿って移動し、閉曲線１５５₄の頂点において値を加算・減算することは、結果として次式になる。
1-6+0-0+15-13+33-44+82-55+42-8=47

それ故、領域２１１₁における全てのピクセルの合計は、閉曲線１５５₄の頂点において、値を交互に加算・減算することによって導き出される。

他の実施例が図１３ｃに示され、領域２１１₁はわずかに変わっている。図１３ｃに示される新しい領域２１１₂は、値７を有するピクセルを包含しない、従って、図１３ｃから分かるように、領域２１１₂の全てのピクセルの合計は４０に等しい。積分画像１５４は、２次元画像表現１５２が変化しなかったので、もちろん、同じままである。しかし、領域２１１₂が変わったので、閉曲線１５５₄は、第１の決定器１５３によって変更され、新しい領域２１１₂の境界を近似する新しい閉曲線１５５₅に結果としてなる。これは、図１３ｃの左側に示される２次元画像表現１５２において、および図１３ｃの右側に示される積分画像１５４において、理解される。以上のように、領域の変更は、ｘ方向およびｙ方向における頂点２０１₁のシフトに結果としてなり、これにより２つの新しい頂点２０１₂、２０１₃を生成する。新しい領域２１１₂の全てのピクセルの合計は、閉曲線１５５₅回りを移動することによって、図１３ｂと同じ方法で導き出することができ、次式を受け取る。
1-6＋0-0＋15-13＋33-44＋60-46＋61-55＋42-8=40

前に記載されたように、矩形の代わりに軸平行セグメントを用いる利点は、閉曲線の簡単な操作と、領域の変更のために変化した頂点を考慮することのみによる変更された領域の新しい尺度の簡単な決定である。図１３ｂと１３ｃに示された実施例において、新しい領域２１１₂内の全てのピクセルの合計は、変更された頂点２０１₁の値（８２）を減算し、新しい頂点２０１₂において値を交互に加算・減算することによって、変更された頂点２０１₁および新しい頂点２０１₃が古い領域２１１₁の尺度に加算され、および古い領域の尺度から減算され、簡単に計算することができる。従って、新しい領域の尺度２１１₂は、次のように簡単に計算することができる。
47-82+60-64+61=40,
これは、頂点において再び全ての値を加算・減算することよりも非常に少ない演算労力となることを意味する。

または他の言葉で表現すれば、第１の決定器１５３は、（例えば、変更された領域に応じて）多角形の頂点を変更するように構成することができる。

更に、第２の決定器１５７は、古い領域の尺度を決定するために加算された古い値（例えば、+８２）が、古い領域の尺度から減算され、古い領域の尺度を決定するために減算された古い値が、古い領域の尺度に加算されるように、第１の決定器１５３によって変更または除去された頂点（例えば、頂点２０１₁）の古い領域の尺度から古い値を減算し、または古い値を加算することによって、また多角形の変更された頂点（例えば、変更された頂点２０１₁）または新しい頂点（例えば、新しい頂点２０１₂、２０１₃）において、古い領域の尺度に、新しい値（例えば、+６０、-４６、+６１）を交互に加算・減算することによって、変更された領域の尺度を決定するように構成することができる。

以下において、積分画像と共に任意の形状を用いるこの方法が、多くのアプリケーションに対してパフォーマンスの増加とフレキシビリティを提供することが示される。

形状の可能性

記載された形状記述を用いて、任意の画像領域のさまざまな特性を、非常に高速で、拡張性のあるフレキシブルな方法で取得することができる。前に示されたように、形状は、形状によって定義された領域の全てのピクセル値の合計を計算するために処理すべき画像の積分画像上に適用することができる。

さらに、形状が、各ピクセルが同じ値（１または他の値）を有する画像の積分画像上に供給された場合、形状によって囲まれたピクセル数（または値が掛けられた）を取得することができる。形状におけるピクセル値の合計およびピクセル数によって、形状によって囲まれた全てのピクセルの平均輝度または平均値は非常に高速に計算することができる。

一例として、装置１５０は、同じ値（例えば、１）に設定されている２次元画像表現の各ピクセルの各ピクセル値によって、２次元画像表現の更なる積分画像を決定するように構成することができる。また、装置１５０は、更なる積分画像において、更なる尺度が領域におけるピクセル数を記述するように、領域の尺度を決定するために用いられた積分画像の値と同じ座標位置に関連する更なる積分画像の値を交互に加算・減算することによって、更なる領域の尺度を決定するように構成することができる。領域（閉曲線によって囲まれた）の全てのピクセルの平均値は、次に、装置１５０によって、領域における全てのピクセルの合計を記述する領域の尺度と、領域におけるピクセル数を記述する更なる領域の尺度に基づいて計算することができる。

高位のモーメントと付加的な特性を有する他の特徴は、任意の画像領域の特性を抽出し、記述するために、同様に考慮することができる。本方法は、グレイレベルまたは輝度画像、並びに任意の色空間におけるカラー画像に適用することができる。一般に、全ての種類の画像は、この方法と共に用いることができる。形状は、積分ヒストグラムと共に用いることもできる。

形状表現は、また、画像において形状によって囲まれた全てのピクセルを、非常に効率的で簡単な方法で捜し出すまたはラベルをつけることに完全に適している。従って、形状の頂点に対応する全てのピクセルは、画像において、形状ラベル「＋」および「−」によって、交互にマークされる。以下において、境界ボックスを通り、形状によって囲まれるピクセルのインデックスを印刷する実施例が記載されている。図１８に示されたアルゴリズムに対して、いかなる一般性の損失もないと仮定して、原点に最も近い頂点は「＋」でラベル付けされる。

境界ボックスまたは画像上をライン毎に反復し、アルゴリズムが「プラスセクション」の内側にある場合または上記ピクセルが「形状の内側」とマークされている場合、およびアルゴリズムが現在「プラスセクション」または「マイナスセクション」のいずれでもない場合、現在のピクセルは「形状の内側」としてラベル付けされる。各ラインは、偶数のラベル付けピクセルを有する。２つの連続するラベル付けピクセルは、これらの２つのピクセルの最初のピクセルが「＋」にラベル付けされる場合「プラスセクション」になり、最初のピクセルが「−」にラベル付けされる場合「マイナスセクション」になるセクションを定義する。上記ピクセルが「形状の内側」にラベル付けされたかどうかを知るため、単にこの情報を保有する境界ボックスのカラムの長さ数の配列が導入される。自然な初期条件として、このエリアの値は「形状の内側」にセットされない。このアルゴリズムは、形状を平面にスライスすることによって３Ｄボリュームに容易に拡張することができる。

２次元画像表現は、例えば、画像または３Ｄボリュームのスライスとすることができる。

領域ベースの対象物モデル

以下において、軸平行セグメントのみを用いて、形状表現を新しい領域ベースの対象物モデルにどのように適用することができるかを示す。領域ベースのマッチングスキームを、例えばパーティクルフィルタと結合し、画像ノイズにほぼ不変である非常に高速の検出と追跡のアルゴリズムに導くことができることが例示される。

対象物の検出、追跡、および認識に関する研究は、最近の２０年において集中的になされている。対象物の追跡についての優れた概要は、Yilmaz 他によって提供されている（非特許文献３４参照）。

対象物の追跡のさまざまなモデルと方法、例えば、とりわけ基本的な幾何学形状、輪郭、またはスケルトンモデルが提案されている（非特許文献３４参照）。多くの検出と追跡のアルゴリズムは、エッジと特徴点に依存する（非特許文献３１参照）。しかしながら、エッジと特徴点の検出器は、ノイズに敏感で、従って、しばしば良好な画質を拘束する。

Han とDavis は、他のロバストな追跡スキームを提案している（非特許文献３２参照）。彼らは、矩形によって対象物を近似し、対象物を囲む領域はバックグラウンドを含むと仮定した。彼らは、尤度画像において対象物を追跡するために、パーティクルフィルタとログ尤度レシオを用いた。

モデルスキーム

以下に記載されるモデルおよび追跡スキームは、矩形状領域に限定されない。さらに、それは、尤度画像に拘束されず、対象物がバックグラウンドによって囲まれることを必ずしも必要としない。

以下において、画像ノイズにほぼ不変である領域ベースの対象物モデルが記載される。提案された技術は、リジッドなまたはパラメータ化可能な形状を有する２Ｄおよび３Ｄモデルに採用することができる。方法は、例えばパラメータ化可能な顔の動きを有する３Ｄ顔モデルに適用することができる。

図１９は、囲まれた領域の異なる特性により、さまざまな領域を定義する基本的な２Ｄ領域ベースの形状モデルを例示する。一般に、モデルは、領域の特性間で対応する特性と依存性を有する多くの領域を備える。

特定の交通標識に対するリジッドな２Ｄモデルのパラメータベクトルｘは、画像平面内の標識の中心のｘ座標およびｙ座標と、標識のサイズｓによる、例えばｘ＝｛ｘ_c、ｙ_c、ｓ｝とすることができる。変形可能な３Ｄ顔モデルのパラメータベクトルは、３Ｄ位置ｘ、ｙ、ｚと、３つの座標軸についての回転α、β、γと、顔の動きａ₁〜ａ_kによる、ｘ＝｛ｘ、ｙ、ｚ、α、β、γ、ａ₁、ａ₂、…、ａ_k｝を備えることができる。顔の動きは、口の開口、目の開口、凝視、または顔の動き符号化システム（ＦＡＣＳ）から知られる顔の動きとすることができる。さらに、速度または加速度のようないかなる状態変数も、パラメータベクトルの一部とすることができる。一般に、モデルのいかなる有効なパラメータ化も可能である。モデルまたは形状変形は、制約を受けることもできる。例えば、現実的なまたは特定の変形のみを許容することができる。追跡または最適化における非現実的な変形は、最適化スキームの目的関数においてペナルティを与えることができる。

特定の尺度は、２つの領域の平均輝度を比較し、平均輝度間の高い差分に対して高いレスポンスをもたらすことができる。異なる特徴値（例えば輝度または分散）に対して高いレスポンスをもたらすいかなる尺度も、モデルの差分に用いることができる。また、１つの領域の特性（例えば輝度または分散）が他の領域のそれより大きい（または小さい）場合に、レスポンスのみをもたらす尺度を用いることができる。より類似した特性に対して高いレスポンスをもたらす尺度を、モデルの同等性に用いることができる。また、予め定義されたモデル特定の特性によって領域特性を比較する尺度を適用することができる。尺度は、試験中の対象物の領域または画像の特性が、モデル化され、探索され、追跡される対象物に属する確率または尤度を提供することもできる。

さまざまなまたは全ての尺度の組合せを、パラメータ化されたモデルと画像との全体的なマッチングに用いることができる。図１９の交通標識の実施例において、全体的なマッチングは、例えば以下の依存関係を備え、評価することができる。
・領域Ｒ₂の平均輝度は、領域Ｒ₁の平均輝度より高い。
・領域Ｒ₃の平均輝度は、領域Ｒ₄の平均輝度に等しい。
・領域Ｒ₃とＲ₄の平均輝度は、領域Ｒ₂の平均輝度より低い。

複数の形状によって定義される領域におけるピクセル値の合計は、個々の形状によって定義されるピクセル値の合計を加算または減算することによって計算することができる。例えば、領域Ｒ₁のピクセル値の合計は、Ｓ₁によって囲まれる全てのピクセル値の合計からＳ₂によって囲まれる全てのピクセル値の合計を引いたものである。同じことは、他の特性に対しても保持される。

検出、追跡、および認識

対象物の検出、追跡、および認識は、いかなる最適化または状態推定アルゴリズムによるモデルスキームの組合せによっても行うことができる。

例えば、パーティクルフィルタ（非特許文献３３参照）は、画像における対象物を検出し、追従し、認識するために、記述されたモデルを組合せて用いることができる。従って、状態またはパラメータベクトルｘは、パーティクルフィルタによって推定される。パーティクルは、ランダムにまたは事前の知識によって初期化される。予測ステップは、特定のモーション、変形、または状態進化モデルに従ってモデル化することができる。更新ステップは、測定モデルにおいて、モデル（比較尺度の組合せ）の、画像との全体的なマッチングを組み入れる。従って、モデルの閉曲線は、画像における形状によってマッピングされ、近似され、形状によって囲まれた領域の要求される特性が抽出され、全体的なマッチング（例えば囲まれた領域の平均輝度の比較）に用いられる。

サンプルによる自動モデル生成

対象物モデルは、対象物のサンプル画像によって、自動的に生成することもできる。従って、対象物の異なる領域は、画像において、例えば提案された画像分割方法を用いて、自動的に分割される。サンプル画像に基づいて生成される対象物領域の形状と比較尺度は、対象物モデルに含むことができる。

高次元への拡張

２次元形状に対して記述された方法、モデル、およびアプリケーションは、（離散）３次元ボリュームまたはｎ次元のハイパーボリュームにさえも拡張することができる。離散ｎ次元ハイパーボリュームに対して、積分ハイパーボリューム表現Ｖ（ｘ）は、以下のように計算することができる。

３次元のケースに対する実施例は、コンピュータで生成されたＣＴまたはＮＭＲ画像のボリュームである。４次元のケースに対する実施例は、離散位置に対する時間における画像の発展を記述する時間次元が加えられたものである。分割、追跡、および識別に対する２次元における方法と同様に、多次元における形状を用いることができる。

アプリケーション

以下において、記載された方法をどのように用いることができるかについてのサンプルアプリケーションと実施例が記載される。

尤度画像における追跡

尤度画像は、特定の出来事（例えば画像における位置に関する画像内の対象物またはパターンの発生）の確率を記述するために用いられる。画像の各位置は、発生の確率に関する数を含む。記載された方法は、探索されたパターンまたは対象物に対して最も高い尤度を有するエリアを検出するために用いることができる。

画像分割

画像分割は、例えば、誤差評価基準（目的関数）を最適化することによって、領域に反復的に適合する初期のまたはランダムな形状（例えば矩形）によって行うことができる。形状の適合は、任意の最適化または状態推定スキーム（例えばパーティクルフィルタ、カルマンフィルタ、遺伝的アルゴリズム、最急降下、滑降シンプレックス、…）の組合せによるランダムなまたは誘導された形状修正によって、なすことができる。目的関数は、形状によって定義される内側と外側の領域の特性を比較することができる。また、特定の方法で（例えば分割される領域についての事前の知識を用いて）形状を操作するため、形状進化確率を用いることもできる。このような最適化スキームを用いて、各単一のセグメントを互いに独立に最適化することも可能である。セグメントを加えるまたは除去するまたは他の有効な方法で形状を変更することによって、精製され、関心のある画像領域に適合する初期の粗形状（例えば矩形領域）によってスタートする、粗から精への最適化スキームが適用可能である。セグメントの付加は、関心のある画像領域を任意の精度またはパフォーマンスで特定するために、用いることができる。固定（最大）長のセグメントを、適応セグメント長と同様に用いることができる。例えば、水平および垂直の境界は、単一のセグメントによって近似することができるが、４５°回転した境界または断片化された境界は、多くのセグメントによって近似することができる。

対象物識別のための無限特徴プール

局所特徴（例えば顔検出に用いられるハール特徴）は、矩形領域上でしばしば計算されるが、特徴の生成に対して、ほぼランダムな形状を用いることも可能である。このように、ほぼ任意のランダムな特徴を生成することができる。利点は、特徴が計算されるエリアが、検出されるパターンにかなりよくフィットするような方法で適合することができるということである。その上、画像ピクセル自体を用いて、他の導き出された（低レベルの）特徴を用いることもできる。実施例は、第２以上のモーメントまたはローカルコントラスト（例えば、ソーブルまたはラプラシアンオペレータを用いた）である。そうすることは、更なるトレーニングと識別ステップに対して用いることができる非常にリッチな特徴プールに結果としてなる。

パラメータ化された形状の生成

形状は、制約なしに設計することができる。しかし、特定の制約は、最適解の発見において、速度と収束を改善することができる。可能な制約は、以下の通りである。
・形状は、自己横断が許容されず、自己回避されなければならず、
・形状は、予め定義されたＡとＢによって、最小Ａの頂点と最大Ｂの頂点から成り、
・形状は、予め定義され、パラメータ化可能なフォームから構成され、実施例は、円、予め与えられたサイズおよび離心率範囲を有する楕円、またはフォームを記述する重みとペナルティ項目を有する複合の予め定義された「弾性」形状）であり、
・２Ｄ形状を獲得するため、投影を用いて３Ｄモデルから導き出された形状である。

これらの形状は、パターンおよび領域を近似し、マッチングするために用いることができる。具体的な使用のケースは、３Ｄ顔モデル（メッシュ）とすることができる。

非リジッドな汎用２Ｄ／３Ｄ領域ベースモデル

本方法は、上記においてより詳細に記載されたように、領域ベースのモデルを用いた画像における対象物の検出、追跡、および認識に対して用いることができる。

具体的な実施例

記載された方法で処理することができるいくつかのアプリケーションには、瞳孔追跡、顔特徴追跡、交通標識認識、光学文字認識がある。

眼球内の瞳孔は、より明るい周囲に囲まれた暗い円形領域としてモデル化することができる。このように、円形形状を用いて、形状の内側により暗いピクセルを有し、外側により明るいピクセルを有するという制約によって、検出することができる。本願の実施形態に係る方法は、（２次元画像表現として）グレイレベル画像上でも動作する。瞳孔は、円形形状近似によってモデル化される。本方法が、高レベルの人工ノイズを有する画像によってでさえ動作することが、発明者によって行われた適切な実験によって立証することができる。

口領域のような他の顔の特徴は、特定の発見的方法を用いて追跡することができる。ピクセルではなく、ローカル分散のようなコントラストを記述する低レベルの特徴を合計するモデルを用いて、しわでさえも検出することができる。

交通標識は、形状およびテクスチャーについての正確な（または十分に正確な）知識を用いてモデル化することができる。テクスチャーから、サブコンテンツが互いにどのように関連しているかについてのルールによって、いくつかのサブ形状を組合せるために用いることができる特定のピクセル値分布を導き出すことができる。３Ｄ形状のような既知の現実の交通形状を、３Ｄ→２Ｄ変換を用いて画像に投影することは、異なるビュー／アングルからさえも標識を検出することを可能にする。

他のアプリケーションは、光学文字認識（ＯＣＲ）である。ここで、すべての単一の文字は、形状を用いてモデル化することができる。

記述された形状表現とモデルスキームは、いくつかの利点と有益な特性を有し、それらのいくつかが以下において挙げられる。

記載された方法は、標準のハードウェア上で非常に高速に実施することができ、グラフィックカード上での並列化にもよく適合している。積分画像の計算でさえも、ＧＰＵ（最初にカラム毎に次にライン毎に合計する）上で並列化することができる。提案された形状表現は、頂点のカウントと近似の精度に関して非常に拡張性がある。提案された形状記述子は、非常にフレキシブルで、非常に容易に操作することができる。多角形またはパラメータ化された曲線によって記述された任意の領域は、非常に容易に近似することができる。提案された方法のパフォーマンスは、画像のサイズに対してほぼ不変である。提案された領域ベースの追跡スキームは、ノイズに対して非常にロバストである。形状によって定義された領域の特性は、積分画像においてサブピクセル精度でルックアップ（補間）することによって、サブピクセル精度で計算することができる。

要約すると、本実施形態は、任意の画像領域の特性をフレキシブルな形状記述子と積分画像によって計算する高速の方法を提供する。さらに、対象物を記述する領域ベースのモデルが記載されている。更にまた、２Ｄまたは３Ｄの領域ベースの対象物モデルを用いて、画像における対象物のロバストな検出、追跡、および認識に対するマッチングスキームが記載されている。更にまた、方法／アプローチのサンプルアプリケーション、拡張、および一般化が記載されている。更にまた、提案された方法の利点が表され、最高水準の技術と比較されている。

更に、形状によって定義された画像領域におけるピクセル値の合計を計算するために用いることができる、任意の画像領域に対する効率的な形状表現が記載され、この形状表現の利点が示され、矩形ベースの近似の欠点と比較されている。

更に、例えば、非リジッドな対象物の分割および追跡の分野において、簡単な方法で操作することができるフレキシブルな形状表現を用いたアプリケーションが示されている。更にまた、高次元に対する一般化が記載されている。

いくつかの態様が装置の文脈において記載されたが、これらの態様は対応する方法の記載をも表していることは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは機能の記述をも表している。いくつかまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップを、このような装置によって実行することができる。

特定の実施要求仕様に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に格納される電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、デジタル記録媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。従って、デジタル記録媒体は、コンピュータ読取可能とすることができる。

本発明に係るいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取可能な制御信号を有するデータキャリアを備える。

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するように動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。

他の実施形態は、機械読取可能なキャリアに格納された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。

言い換えれば、本発明の方法の実施形態は、従って、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。

本発明の方法の更なる実施形態は、従って、その上に記録され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記録媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常は有形および／または非過渡的である。

本発明の方法の更なる実施形態は、従って、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。

更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成または適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。

更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがその上にインストールされたコンピュータを備える。

本発明に係る更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムを、受信者に転送（例えば、電子的または光学的に）するように構成された装置またはシステムを備える。受信者は、例えば、コンピュータ、モバイルデバイス、メモリデバイス等とすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するファイルサーバを備えることができる。

いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。
いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

上述した実施形態は、単に本発明の原理に対して解説したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。従って、本発明のスコープは、本願明細書の実施形態の記載および説明の方法による具体的な詳細によって制限されず、間近に迫った特許クレームの範囲のみによって制限されることが意図される。

Claims (36)

1. モデルパラメータを決定する装置であって、
   既知の対象物の対象物モデルを受信し、モデルパラメータのセットに基づいて、前記対象物モデルの、第１の基準フレームから第２の基準フレームへの変換を実行し、この変換の結果として、前記対象物の対象物領域に関連する少なくとも１つの領域を備える変換された対象物モデルを決定するように構成された、対象物モデル変換器と、
   前記変換された対象物モデルと前記対象物を表している画像を受信し、前記変換された対象物モデルの選択領域に対して、前記選択領域と、変換に依存するマッピングによって前記選択領域に関連する前記画像の画像セクションとの類似度を表す領域関連類似度尺度を決定するように構成された、領域比較器と、
   前記領域関連類似度尺度と最適化スキームに基づいて、モデルパラメータの更新されたセットを決定するように構成された、モデルパラメータ決定器と、
   を備える、装置。
2. 前記対象物モデル変換器は、画像値変換を実行するように更に構成された、請求項１に記載の装置。
3. 前記類似度尺度は、ジオメトリ類似度成分と画像値類似度成分とを備える、請求項１または２に記載の装置。
4. 前記対象物モデルは、前記少なくとも１つの領域をジオメトリ特性によって記述するデータ構造を備え、前記対象物モデル変換器は、前記ジオメトリ特性を、前記変換された対象物モデルの変換されたジオメトリ特性に変換するように構成された、請求項１〜３のいずれかに記載の装置。
5. 前記領域比較器は、前記選択領域上で、前記画像の特性値を積分するように構成された、請求項１〜４のいずれかに記載の装置。
6. 前記領域比較器は、前記領域関連類似度尺度の決定に対して、前記画像の少なくとも１つの積分画像を評価するように構成された、請求項１〜５のいずれかに記載の装置。
7. 前記領域比較器は、前記選択領域の境界を、前記画像の座標軸に平行なカーブセグメントを有する閉曲線によって近似するように構成された、請求項１〜６のいずれかに記載の装置。
8. 前記領域比較器は、前記画像セクションを離散グリーンの定理を用いて評価するように構成され、前記離散グリーンの定理に対して用いられる前記画像セクションの境界は、前記選択領域の境界の多角形近似に基づいている、請求項１〜７のいずれかに記載の装置。
9. 前記領域比較器は、前記選択領域に対して、前記画像の少なくとも１つの統計的モーメントを決定し、前記少なくとも１つの統計的モーメントに基づいて、前記領域関連類似度尺度を決定するように構成された、請求項１〜８のいずれかに記載の装置。
10. 前記領域比較器は、前記少なくとも１つの統計的モーメントに基づいて平均画像値を決定し、前記平均画像値は、前記選択領域に関係している期待画像値と比較され、対応する比較結果を取得するように構成され、前記類似度尺度は、少なくとも、前記比較結果に基づいて決定される、請求項９に記載の装置。
11. 前記領域比較器は、前記少なくとも１つの統計的モーメントまたは更なる統計的モーメントに基づいて均一性尺度を決定するように構成され、前記均一性尺度は、前記画像セクションが前記選択領域にどれくらいよく配列されているかを示し、前記類似度尺度は、少なくとも、前記均一性尺度に基づいて決定される、請求項９または１０に記載の装置。
12. 前記対象物モデルは、前記対象物の複数の対象物領域に対応する複数の領域を記述し、前記領域比較器は、前記対象物モデルの前記複数の領域の少なくともサブセット上で前記選択領域を反復し、複数の領域関連類似度尺度に基づいて複合類似度尺度を決定するように構成された、請求項１〜１１のいずれかに記載の装置。
13. 前記対象物は、複数の明度またはカラーの領域を備え、各明度またはカラーの領域は、ユニークな明度またはカラーを含み、前記選択領域は、前記複数の明度またはカラーの領域の１つである、請求項１〜１２のいずれかに記載の装置。
14. 前記最適化スキームは、ＬＭアルゴリズム、パーティクルフィルタ、滑降シンプレックス、遺伝的アルゴリズム、勾配降下アルゴリズム、またはそれらのいずれかの組合せのうちの少なくとも１つの最適化ステップを実行する、請求項１〜１３のいずれかに記載の装置。
15. 前記対象物モデル変換器、前記領域比較器、および前記モデルパラメータ決定器によって実行されるパラメータ決定を、前記モデルパラメータの更新されたセットに基づいて繰り返すように構成された、請求項１〜１４のいずれかに記載の装置。
16. 前記対象物は、較正チャート、較正対象物、および標準化された対象物のうちの１つである、請求項１〜１５のいずれかに記載の装置。
17. 前記画像は、較正されるカメラを用いて取得されるカメラ画像であり、前記モデルパラメータは、前記対象物モデルが前記第１の基準フレームから前記カメラ関連の第２の基準フレームにどのように変換されるかを少なくとも部分的に記述するカメラパラメータを備え、前記モデルパラメータ決定器は、更新されたカメラパラメータを、前記モデルパラメータの更新されたセットの一部として決定するように構成された、請求項１〜１６のいずれかに記載の装置。
18. 前記対象物および前記モデルパラメータの検出または追跡に対して、前記対象物の現在の位置および現在の方位の少なくとも１つを記述するように構成された、請求項１〜１７のいずれかに記載の装置。
19. 既知の対象物を用いてモデルパラメータを決定する方法であって、
    前記対象物の対象物モデルを受信するステップと、
    前記対象物モデルを、モデルパラメータのセットに基づいて、第１の基準フレームから第２の基準フレームに変換し、この変換の結果として、前記対象物の少なくとも１つの対象物領域に関連する少なくとも１つの領域を備える変換された対象物モデルを決定する、対象物モデルを変換するステップと、
    前記対象物を表している画像を受信するステップと、
    前記変換された対象物モデルの選択領域に対して、前記選択領域と、変換に依存するマッピングによって前記選択領域に関連する前記画像の画像セクションとの類似度を表す領域関連類似度尺度を決定するステップと、
    前記領域関連類似度尺度と最適化スキームに基づいて、モデルパラメータの更新されたセットを決定するステップと、
    を備えた、方法。
20. 前記対象物モデルを変換するステップは、画像値変換を更に備える、請求項１９に記載の方法。
21. 前記類似度尺度は、ジオメトリ類似度成分と画像値類似度成分を備える、請求項１９または２０に記載の方法。
22. 前記対象物モデルは、ジオメトリ特性によって前記少なくとも１つの領域を記述するデータ構造を備え、前記対象物モデルを変換するステップは、前記ジオメトリ特性を、前記変換された対象物モデルの変換されたジオメトリ特性に変換するステップを備える、請求項１９〜２１のいずれかに記載の方法。
23. 前記領域関連類似度尺度を決定するステップの前に、前記選択領域上で、前記画像の特性値を積分するステップを更に備えた、
    請求項１９〜２２のいずれかに記載の方法。
24. 前記領域関連類似度尺度を決定するステップは、前記領域関連類似度尺度の決定に対して、前記画像の少なくとも１つの積分画像を評価するステップを備える、請求項１９〜２３のいずれかに記載の方法。
25. 前記領域関連類似度尺度を決定するステップは、前記画像の座標軸に平行なカーブセグメントを有する閉曲線によって、前記選択領域の境界を近似するステップを備える、請求項１９〜２４のいずれかに記載の方法。
26. 前記領域関連類似度尺度を決定するステップは、離散グリーンの定理を用いて前記画像セクションを評価するステップを備え、前記離散グリーンの定理に対して用いられる前記画像セクションの境界は、前記選択領域の境界の多角形近似に基づいている、請求項１９〜２５のいずれかに記載の方法。
27. 前記領域関連類似度尺度を決定するステップは、前記選択領域に対して前記画像の少なくとも１つの統計的モーメントを決定し、前記少なくとも１つの統計的モーメントに基づいて前記領域関連類似度尺度を決定するステップを備える、請求項１９〜２６のいずれかに記載の方法。
28. 前記領域関連類似度尺度を決定するステップは、前記少なくとも１つの統計的モーメントに基づいて平均画像値を決定するステップを備え、前記平均画像値は、前記選択領域に関連する期待画像値と比較され、対応する比較結果を取得するものであって、前記類似度尺度は、少なくとも前記比較結果に基づいて決定される、請求項２７に記載の方法。
29. 前記領域関連類似度尺度を決定するステップは、前記少なくとも１つの統計的モーメントまたは他の統計的モーメントに基づいて均一性尺度を決定するステップを備え、前記均一性尺度は、前記画像セクションが前記選択領域にどれくらいよく配列されているかを示し、前記類似度尺度は、少なくとも、前記均一性尺度に基づいて決定される、請求項２７または２８に記載の方法。
30. 前記対象物モデルは、前記対象物の複数の対象物領域に対応する複数の領域を記述するものであって、
    前記対象物モデルの前記複数の領域の少なくともサブセット上で、前記選択領域を反復するステップと、
    複数の領域関連類似度尺度に基づいて複合類似度尺度を決定するステップと、
    を更に備えた、請求項１９〜２９のいずれかに記載の方法。
31. 前記対象物は、複数の明度またはカラーの領域を備え、各明度またはカラーの領域は、ユニークな明度またはカラーを含み、前記選択領域は、前記複数の明度またはカラーの領域の１つである、請求項１９〜３０のいずれかに記載の方法。
32. 前記最適化スキームは、ＬＭアルゴリズム、パーティクルフィルタ、滑降シンプレックス、遺伝的アルゴリズム、勾配降下アルゴリズム、またはこれらのいずれかの組合せの１つである、請求項１９〜３１のいずれかに記載の方法。
33. 前記対象物は、較正チャート、較正対象物、および標準化された対象物の１つである、請求項１９〜３２のいずれかに記載の方法。
34. 前記画像は、較正されるカメラを用いて取得されたカメラ画像であり、前記モデルパラメータは、前記対象物モデルが前記第１の基準フレームから前記カメラ関連の第２の基準フレームにどのように変換されるかを少なくとも部分的に記述するカメラパラメータを備え、前記モデルパラメータの更新されたセットを決定するステップは、更新されたカメラパラメータを、前記モデルパラメータの更新されたセットの一部として決定するステップを備える、請求項１９〜３３のいずれかに記載の方法。
35. 前記方法は、前記対象物を検出または追跡する方法であって、前記モデルパラメータは、前記対象物の現在の位置および現在の方位の少なくとも１つを記述する、請求項１９〜３４のいずれかに記載の方法。
36. コンピュータプログラムがコンピュータ上で動作するときに、請求項１９〜３５のいずれかに記載の方法を実行するプログラムコードを有する、コンピュータプログラム。

Images