JP6619927B2 - キャリブレーション装置 - Google Patents

Description

本発明は、監視カメラのカメラパラメータを求めるキャリブレーション装置及びキャリブレーション方法に関するものである。

近年、監視分野において、撮像装置で撮影した映像から、対象物の位置やサイズを検出する画像認識技術のニーズが高まっている。このような画像認識技術を実現するためには、カメラの撮影した画像上に設置した座標（以下「画像座標」と称する）と実空間上に設置した座標（以下「世界座標」と称する）とを対応付ける必要がある。この対応付けには、カメラパラメータが使用される。

カメラパラメータは、カメラの焦点距離や向き等を示すカメラ情報であり、大きく内部パラメータと外部パラメータの２つに分けられる。（数１）は、内部パラメータ行列であり、fは焦点距離、aはアスペクト比、sはスキュー、(v_c,u_c)は画像座標の中心座標を示す。

また、（数２）は、外部パラメータ行列であり、(r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃)はカメラの向きを示し、(t_x、t_y、t_z)はカメラ設置位置の世界座標を示す。

これら２つのパラメータ行列K、D及び定数λを用いると、画像座標(u,v)と世界座標(X_W、Y_W、Z_W)は（数３）の関係式により対応付けられる。

なお、外部パラメータのカメラの向きを示す(r₁₁、r₁₂、…r₃₃)においては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。（数３）において、カメラパラメータ行列は定数倍しても意味が不変であることから、λとパラメータ行列K、Dを１つの行列に整理して（数４）のように表現しても良い。さらに、（数４）において、c₃₄=1と固定すると未知のパラメータ数は１１個となり、これら１１個のパラメータを求めることは（数３）における５つの内部パラメータと６つの外部パラメータを求めることと同義である。

したがって、最終的に（数３）は（数５）のように変形でき、（数５）における行列Cが最終的に求めるカメラパラメータとなる。このカメラパラメータCを算出するために、キャリブレーション技術が求められている。

一般的なキャリブレーションでは、対象のカメラにて特定の被写体を撮影して、特徴点の世界座標と、その特徴点に対応する画像座標の複数の組み合わせを（数５）に入力することでカメラパラメータCを算出する。例えば、特許文献１では、手動にてこれら座標情報を取得している。

特開２００６−０６７２７２

特許文献１では、キャリブレーションに必要な情報を人手により入力している。そのため、複数のカメラを設置する際に作業負担が大きくなるだけでなく、作業内容の複雑さから人手によるミスも生じやすいという課題がある。

本発明は、前記の課題を解決するための発明であって、キャリブレーションにおいて、カメラ画像から複数の物体を抽出してそれぞれの物体に特性情報を付加することで、座標情報を入力することなくキャリブレーションを実施することを目的とする。

前記目的を達成するため、本発明のキャリブレーション装置は、撮像装置から画像を取
得する画像取得部と、画像から複数の物体を抽出する物体抽出部と、複数の物体間の幾何
学的な関係を示す幾何学情報を、物体間毎に特性情報として付加する特性情報付加部と、
特性情報に応じて物体の画像座標を取得し、特性情報および画像座標に基づいて焦点距離、アスペクト比、スキュー、画像座標の中心座標のいずれかを示す内部パラメータと、カメラの向き、カメラ設置位置の世界座標のいずれかを示す外部パラメータからなるカメラパラメータを推定するカメラパラメータ推定部と、カメラパラメータを出力するカメラパラメータ出力部と、を有し前記撮像装置は複数台設けられており、推定された前記カメラパラメータに基づいて、前記画像上の物体と前記撮像装置との距離を算出することにより、前記物体の３次元情報を取得し、前記３次元情報に基づいて前記カメラパラメータの値を調整するカメラパラメータ精度確認部と、前記カメラパラメータに基づき前記３次元情報を異なる視点から見た視点変換画像を表示する表示部と、を有し前記表示部は、前記カメラパラメータの値の変更を受け付けるパラメータ調整手段と、を有することを特徴とする。

以上述べた特徴により本発明のキャリブレーション装置を適用することで、監視カメラにおいて、座標情報を入力せずキャリブレーションを実施できる。

本発明の実施例１の機能ブロック図である。 物体抽出部において、撮像画像から建物、人、道路を抽出した例である。 図２の場合において、特性情報付加部によって、物体抽出部により撮像画像中から抽出された物体P_n、Q_nに付加される特性情報O_nの一例を示している。 撮像画像から、高さが同じである物体、および道路を示している。 図４の場合において、特性情報付加部によって、物体抽出部により撮像画像中から抽出された物体P_n、Q_nに付加される特性情報O_nの一例を示している。 物体情報取得部のフローを説明する図である。 物体情報取得部の処理のフローを示している。 特性情報が「垂直」である物体間の空間ベクトルの一例である。 特性情報が「同じ高さ」である物体間の空間ベクトルの一例である。 本発明の実施例２の機能ブロック図である。 カメラパラメータ精度確認部を説明する図である。 本発明の実施例３の機能ブロック図である。 人物追跡部のフローを説明する図である。 本発明の実施例４の機能ブロック図である。 人物位置推定部を説明する図である。 人流解析部を説明する図である。 人流解析部のフローを説明する図である。 ３次元情報により生成される俯瞰画像の違いを説明する図である。

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。

図１は、本実施例におけるキャリブレーション装置１のブロック構成図を示している。

図１に示すキャリブレーション装置１は、画像取得部３、物体抽出部４、特性情報付加部５、カメラパラメータ推定部６、およびカメラパラメータ出力部７を有する。キャリブレーション装置は、撮像装置２とネットワークを介して管理サーバー等に設けられていてもよいし、撮像装置２内に設けられていてもよい。

撮像画像取得部３は、所定の時間周期で少なくとも１つ以上のカメラ２から取得した可視光を、ＣＣＤやＣＭＯＳ素子を介して電気信号に変換する。デジタル方式の場合には、これに加えてデジタル変換も行う。以降では、電気信号やデジタル変換を施した画像取得部３から出力された画像を、撮像画像と称する。

物体抽出部４は、撮像画像から物体を抽出する。本実施例において、例えば、撮像画像中に含まれる水平面や、その水平面に直立した物体等を抽出する。屋外では、水平面として道路、水平面に直立した物体として人や建築物等があげられる。一方、屋内では、水平面として床面、水平面に直立した物体としては、机や棚等が挙げられる。

物体の抽出方法は、GUI等の表示画面による手動の検出と、画像認識による自動の検出方法がある。前者のGUI等による手動の検出は、撮像画像をディスプレイ等に表示させた後、物体の外枠を直接指定する方法や物体を矩形により囲む方法がある。後者の画像認識による自動の検出は、物体が存在しない背景画像を予め取得して背景画像と撮像画像との差分により物体を抽出する方法や、撮像画像から特別な色情報を持つ物体のみを抽出する方法がある。この他にも、シーン認識により画像中から複数の物体を抽出及び分別して、それら物体の中から手動にて特定の物体を選択する方法もある。なお、物体の抽出方法としては、上記以外にも撮像画像から特定の物体を検出する方法であれば、特に限定しない。

特性情報付加部５は、物体抽出部４において抽出した物体に対して特性情報を付加する。特性情報とは、複数の物体間で成立する幾何学的な関係を示す幾何学情報のことである。

図２〜５は、特性情報付加部５によって、物体抽出部４により撮像画像中から抽出された物体P_n、Q_nに付加される特性情報O_nの一例を示している。

図２は、物体抽出部４において、撮像画像から建物である物体１０および１１、人である物体１２、道路である物体１３を抽出した例を示している。このような撮像画像が得られる場合、図３のような特性情報が付加される。

図３のｎは、物体間毎に付加される特性情報に付与した通し番号であり、P_n、Q_nは、特性情報が付加される物体を示す。本実施例では幾何学情報が付加される物体は、P_n、Q_nの２物体の場合で説明するが、２以上の複数の物体間における幾何学情報が付加されてもよい。特性情報O_nは、物体間の幾何学情報を示し、本実施例では「垂直」、「同じ高さ」といった２つの特性情報である。図３においてｎ＝１の場合、P₁＝１０、Q₁＝１２の幾何学情報O₁は、水平である。すなわち、図２に示すように、建物１０と人１２は、いずれも地面に対して垂直に立っているので、幾何学的には互いに水平関係にある。

図４は、撮像画像から、物体１４ａ〜１４ｄは高さが同じである電柱、物体１５は道路を示している。

この場合、例えば図５のような特性情報を付加できる。特性情報付加部５により付加する特性情報数としては、未知のパラメーター数存在すればよい。例えば図２の場合は、図３に記載の物体１０と物体１３が「垂直」、図４の場合は、図４に記載の物体１４ａと物体１４ｂが「同じ高さ」という特性情報O_nのみ付加するだけでも良い。

ここで、物体に特性を付加する手段としては、表示画面などのGUI等により、撮像画像中から抽出した物体を２つ選択した後、特性情報を「垂直」、「同じ高さ」の中から１つ選択するというフローを繰り返す方法や、予め抽出物体にＩＤ番号等を付加しておき、その番号と特性情報をテキストファイル等に書き込み対応付ける方法がある。

その他にも、例えば図４の場合、物体１４ａ、１４ｂ、１４ｃ、１４ｄが「同じ高さ」の属性であると対応付けられれば、自動的に６つの物体間の組み合わせを作成し、それぞれに特性情報を付加させる方法もある。なお、上記以外にも撮像画像内の抽出物体の中から物体を複数選択して、それら物体に特性情報を対応付ける方法であれば、特に限定しない。

図６は、図１に示したカメラパラメータ推定部６の詳細を示した図である。カメラパラメータ推定部６は、物体の特性情報に基づき、カメラパラメータを推定する。

カメラパラメータ推定部６は、物体情報取得部２０、初期パラメータ取得部２１、およびパラメータ算出部２２を有する。

物体情報取得部２０は、特性情報付加部５から出力された特性情報を入力するとともに、画像座標を取得する。

初期パラメータ取得部２１は、カメラパラメータの初期値を取得する。パラメータ算出部２２は、物体に付加された特性情報と画像座標に基づき、カメラパラメータの初期値から最終カメラパラメータを計算する機能である。

図７は、物体情報取得部２０の処理のフローを示している。

物体情報取得部２０では、まず特性情報付加部５により物体P_n、Q_nに付加された特性情報O_nが「垂直」か「同じ高さ」であるか判定する(Ｓ７０１)。

Ｓ７０１において、特性情報O_nが「垂直」と判定された場合は、物体P_n、Q_nが〈水平面〉か〈水平面に垂直な物体〉のどちらかを判定する(Ｓ７０２)。物体が〈水平面〉の場合は、その水平面上から２つの画像座標を取得する(Ｓ７０３)。水平面上から２つの画像座標を取得する方法としては、水平面上からランダムに選出する方法や、GUI等を用いて手動にて選択する方法等がある。一方、物体が〈水平面に垂直な物体〉の場合は、その物体領域の上底と下底の画像座標を取得する(Ｓ７０４)。なお、物体領域の上底と下底でなくても、物体領域の実空間上での高さ方向軸上にある２点であればよい。また、物体の物体領域の撮像画像上でのy軸上にある２つの画像座標を取得してもよい。

Ｓ７０１において、特性情報O_nが「同じ高さ」と判定された場合は、物体P_n、Q_nのそれぞれの領域における上底と下底の画像座標を取得する(Ｓ７０５)。なお、物体領域の上底と下底でなくても、物体領域の実空間上での高さ方向軸上にある２点であればよい。物体領域の上底と下底の画像座標を取得する方法としては、画像左上を原点とした場合、物体領域の外枠の画像座標の中でy座標が最大のものを上底、最小のものを下底とする方法や、物体領域の上辺の中点を上底、下辺の中点を下底とする方法等がある。なお、画像座標を取得する方法としては、上記以外の方法でも画像座標を選出できる方法であれば良い。このようにして、物体情報取得部２０は、物体に付加された特性情報と、特性情報に応じた画像情報を取得する機能を有する。

次に、初期パラメータ取得部２１について説明する。初期パラメータ取得部２１は、１１個のカメラパラメータの初期値を取得する機能を有する。初期パラメータの取得の方法としては、乱数により取得する方法や、カメラのハード情報を利用して手動にて入力する方法等があり、特に限定しない。

最後に、パラメータ算出部２２について説明する。パラメータ算出部２２は、物体情報取得部２０により取得した物体P_n、Q_nの特性情報O_nと、物体P_nの画像座標(px_n,py_n)、(px_n ^',py_n ^')及び物体Q_nの画像座標(qx_n,qy_n)、 (qx_n ^',qy_n ^')と、初期パラメータ取得部２１により入力された初期カメラパラメータC₀とに基づいて、最終的なカメラパラメータを算出する。

パラメータ算出部２２により扱うカメラパラメータCについて説明する。前述した（数５）において、世界座標Z_wを固定値Hとすると、（数６）の式を経ることで（数７）のように変形できる。（数７）は世界座標Z_wをHが既知であれば、画像座標(u,v)とカメラパラメータCから、世界座標X_wとY_wを導出できることを示している。

ここで、（数８）のように（数７）を展開し、C₃₁ ^'C₁₃+C₃₂ ^'C₂₃+C₃₄ ^'C₃₃≠0という条件を加えると、固定値Hは（数９）のように置き換えることが可能である。

したがって、（数７）においてHの値が既知でなくても、画像座標(u,v)とカメラパラメータCにより世界座標w_iは算出でき、本実施例ではこの関係式を関数fを用いて（数１０）のように示す。パラメータ算出部２２では、（数１０）によりカメラパラメータを推定する。

以下、特性情報O_nが「垂直」の場合を例に、カメラパラメータの推定方法について説明する。図８は、この例における撮像画像を示している。物体P_nが水平面に垂直かつ高さがHの物体、物体Q_nが水平面とした場合、物体P_nの上底部分の画像座標(px_n,py_n)に対応する世界座標w_pnと下底部分の画像座標(px_n ^',py_n ^')に対応する世界座標w_pn ^'は（数１１）のように示される。

一方、物体Q_nの画像座標は水平面に存在するため、その世界座標w_qn、w_qn ^'は（数１２）のように示される。

ここで、図８に示すように、物体P_nと物体Q_nは垂直であるため、（数１３）のように空間ベクトルのw_pnw_pn ^'とw_qnw_qn ^'の内積は０となる。

そして、（数１４）に示すエラー関数Eが最小となるよう、初期カメラパラメータC₀の最適化を行うことで、最終カメラパラメータCを導出できる。

最適化の手法としては、バンドル調整等の一般的な方法を使用し、特に限定しない。次に、特性情報O_nが「同じ高さ」の際の推定方法について説明する。図９は、この例における撮像画像を示している。物体P_n、Q_nの高さがHでありかつそれらが水平面に直立していると仮定すると、物体P_nの上底、下底部分の画像座標(px_n,py_n)、(px_n ^',py_n ^')及び、高さがHである物体Q_nの上底、下底部分の画像座標(qx_n,qy_n)、 (qx_n ^',qy_n ^')に対応する世界座標w_pn、w_pn ^'、 w_qn、w_qn ^'は(数１５)のように示される。

ここで、図９に示すように、物体P_n、Q_nは同じ高さであるため、（数１６）のように空間ベクトルのw_pnw_pn ^'とw_qnw_qn ^'の大きさの差は０となる。

したがって、（数１７）に示すエラー関数Eが最小となるよう初期パラメータC₀の最適化によりカメラパラメータCを推定できる。

なお、（数１４）や（数１７）を用いて最適化をする際、１組のベクトル情報のみでは１つのカメラパラメータしか推定することはできない。しかし、特性情報を増やすことで複数のカメラパラメータを同時に推定することが可能であることは自明である。制約条件を増やす方法としては、例えば、特性情報が「垂直」の場合は、水平面の物体領域から２つ以上の画像座標を抽出して複数の空間ベクトルを取得することで対応することができる。また、特性情報が「同じ高さ」の場合は、同じ高さの物体を更に画像上から選択することで、空間ベクトル情報を増やすことで対応できる。また、カメラのハード情報等から既知のカメラパラメータを固定値として初期パラメータC₀に設定することで、制約条件を少なくしカメラパラメータを推定することも可能である。また、本実施例では物体の特性情報を「垂直」と「同じ高さ」のみについて述べたが、例えば「平行」や「物体間の成す角度が４５度」等の特性情報を使用しても良い。

図１に戻り、カメラパラメータ出力部７は、カメラパラメータ推定部６で推定されたカメラパラメータを、撮像装置２又は管理サーバー等に出力して、撮像装置２に対してカメラパラメータを設定する。

以上の通り、本実施例では、カメラ画像から抽出した複数の物体と、それら物体に付加された特性情報を利用することで、実空間上の座標情報を入力することなくキャリブレーションを実施することができる。

なお、実施例１において、ある物体間の特性情報から最終カメラパラメータを求めた後に、最終カメラパラメータを初期パラメータとして前回とは異なる物体間の特性情報を用いてパラメータの値を更新しても良い。

本実施例は、実施例１において求めたカメラパラメータの精度調整を行う場合に関するものである。

実施例２の機能ブロック図を、図１０に示す。図１０において、１、２、３、４、５、６、７の各機能は実施例１と同一である。

図１０の概要を述べると、まず、複数のカメラ２(撮像装置２)において、機能３、４、５、６、７により各カメラ２のカメラパラメータを推定する。次に、３次元情報取得部３０は２台のカメラの撮像画像とカメラパラメータ出力部７より入手したカメラパラメータから、画像中の物体の３次元情報を取得する。

そして、カメラパラメータ精度確認部３１は、３次元情報取得部３０により取得した物体の３次元情報からカメラパラメータの精度を確認し、パラメータの精度が悪い場合は再度カメラパラメータを推定する。このような構成にすることにより、精度の高いカメラパラメータを取得することが可能となる。

以下、３次元情報取得部３０とカメラパラメータ精度確認部３１の機能について説明する。

３次元情報取得部３０は、２台のカメラにより得た撮像画像と各カメラにおいて推定したカメラパラメータから、撮像画像中の物体とカメラとの距離を算出することで物体の３次元情報を取得する。なお、３次元情報の取得方法としては、カメラパラメータから求めた基礎行列Ｆによって視差を算出するステレオマッチングと呼ばれる一般的な手法を使用する。基礎行列Ｆは、２台のカメラの相対的な位置関係を示すパラメータ行列であり、（数１８）に示すように、カメラパラメータ出力部７により取得した２台のカメラの内部パラメータK₀、K₁と外部パラメータD₀、D₁により算出できる。

図１１は、カメラパラメータ精度確認部３１において、３次元情報から作成した視点変換画像を見ることで、ユーザがカメラパラメータの精度を確認しつつ、パラメータの値を調整するGUI画面の一例である。

図１１において、画面４０はカメラ２の撮像画像であり、同じ身長の人物４１ａ、４１ｂ、４１ｃと道路４２が撮影されている。画面４３は、人物４１ａ、４１ｂ、４１ｃと道路４２の３次元情報を示し、画面４４、４５、４６は、画面４３に表示された３次元情報を仮想の視点から見た際の視点変換画像である。画面４４は真正面方向、画面４５は真横(右)方向、画面４６は真上方向の視点における視点変換画像を示す。なお、視点変換画像の作成方法としては、カメラパラメータを用いた透視投影といった一般的な方法を使用する。また、真正面、真横(右)、真上以外の視点方向から作成した視点変換画像を利用しても良い。

カメラパラメータ精度確認部３１では、この視点変換画像４４、４５、４６によりカメラパラメータの精度を確認する。カメラパラメータが正確に算出されている場合、図１１に示すように、視点変換画像４４、４５において、道路４２は水平となり、人物４１ａ、４１ｂ、４１ｃは道路４２に直立しかつ各頭頂部が同じ高さになり、視点変換画像４６においては、人物４１ａ、４１ｂ、４１ｃの位置が離れているため各人物領域は独立する。

しかし、例えば、カメラの外部パラメータの内、カメラの俯角を示すチルト角に誤差がある際は、視点変換画像４４、４５において、道路４２は水平とならず、人物４１ａ、４１ｂ、４１ｃの頭頂部も同じ高さにならない。よって、ユーザは表示画面を確認することによりチルト角に誤差があることを確認できる。そこで、図１１のカメラパラメータ調整GUI４７により、誤差があるカメラパラメータの調整を行う。カメラパラメータ調整GUI４７では、画面４８にて表示された撮像画像４０を出力するカメラのカメラパラメータを、増減ボタン４９により調整することが可能である。なお、GUI４７において、増減ボタン４９によりパラメータ値を変更すると、その値に応じて視点変換画像４４、４５、４６が更新されるため、ユーザは視覚的にカメラパラメータを補正できる。ユーザが変更したカメラパラメータは、初期値あるいは固定値として再度カメラパラメータ推定部６に入力し最適化を行うか、あるいはそのまま使用しても良い。なお、カメラパラメータ調整GUIによりパラメータを調整するカメラは選択でき、調整するカメラを変更すると撮像画像４０と視点変換画像４４、４５、４６は変更後のカメラに応じた画像に更新される。また、パラメータの調整手段としては、図１１のような 増減ボタン４９の使用の他にも、直接値を入力するといった方法でも良く、特に限定はしない。

本発明の実施例２では、以上説明した機能構成により、２台のカメラから取得したカメラパラメータと物体の３次元情報から視点変換画像を生成しGUIに表示することで、ユーザは視覚的に２台のカメラのカメラパラメータの精度を確認しつつ、必要な場合はそのパラメータ値を調整できる。

なお、実施例２において、カメラ台数は２台に限定せず、複数台のカメラのカメラパラメータの精度を同時に確認しつつパラメータ値を調整しても良い。

本実施例では、実施例１における１つの撮像画像上に存在する２以上の物体間の幾何学的関係に基づいて付加される特性情報に代えて、異なる時刻に取得された２以上の撮像画像上に存在する物体間の幾何学的関係に基づいて特性情報を付加する場合を説明する。

図１２は、実施例３の機能ブロック図を示したものである。

図１２において、１、２、３、６、７の各機能は実施例１と同一である。物体追跡部６０は、例えば、動体である人物を追跡することで、複数の撮像画像から物体の特性情報と画像情報を取得する機能である。以下、物体追跡部６０の機能の詳細について説明する。

図１３は、物体追跡部６０の機能を詳細に示したものである。

図１３において、物体検出部６１は撮像画像から人物を検出する機能、物体認識部６２は物体検出部６１により検出された物体が過去の撮像画像から検出された物体と同一であるかを判定する機能、ID番号付加部６３は物体認識部６２の判定結果に基づき物体にＩＤ番号を付加する機能、物体情報保存部６４は検出された物体の画像情報等を保存する機能である。

物体検出部６１は、撮像画像から物体を検出する機能であり、GUI等を用いて手動にて検出する方法や、画像特徴量を用いて自動で検出する方法がある。後者の画像特徴量を用いて自動で検出する方法としては、予め撮影した背景画像との差分により物体領域を抽出する方法、オプティカルフロー等を利用して画像中の動きのある領域を物体として抽出する方法、HOG特徴量等を利用したパターン認識により検出する方法等がある。なお、この他にも物体を画像から検出する方法であれば、特に限定しない。

物体認識部６２は、現在の撮像画像から物体検出部６１により検出した物体と、過去の撮像画像から検出した物体が同一であるかを判定する機能である。同一であるかを判定する方法としては、物体が人物である場合には顔認識を利用する方法や、オプティカルフロー等により直前フレームとの動きの差を求め動きが最少のものは同一人物とみなすといった位置情報から判定する方法等があり、この他にも同一物体と判定できる方法であれば良い。

ＩＤ番号付加部６３では、現在の撮像画像において物体検出部１０２により検出した物体が、物体認識部６２により過去の物体と同一と判定された場合は、過去の物体と同じＩＤ番号を、同一と判定されなければ新しいＩＤ番号を付加する。なお本実施例では、ＩＤ番号は０から昇順に付加することとする。

物体情報保存部６４は、現在の撮像画像から物体検出部６１により検出された物体P_nにおいて、その領域の上底と下底の画像情報を取得及び保存する。そして、過去の撮像画像の中から、その物体P_nのＩＤ番号と同一のＩＤ番号を持つ物体Q_nの画像情報を保存していた場合は、「同じ高さ」という特性情報O_nを付加する。

以上のような処理を採用することにより、特性情報O_nが「同じ高さ」である物体P_n、Q_n、R_n、…の上底と下底の画像情報[(px_n,py_n)、(px_n ^',py_n ^')]、[(qx_n,qy_n)、(qx_n ^',qy_n ^')]、[(rx_n,ry_n)、(rx_n ^',ry_n ^')]、…を出力することで、実施例１と同様にカメラパラメータ推定部６からカメラパラメータを算出することができる。なお、物体追跡部６０において、上述した方法以外でも、同一物体を追跡でき、かつその物体の物体領域の実空間上での高さ方向軸上にある２つの画像座標を取得することができれば、特に限定しない。

本発明の実施例３では以上説明した機能構成により、カメラ映像内で同一人物を追跡することで、実空間上の座標情報を入力することなくキャリブレーションを実施することができる。

なお、実施例３において、映像内における同一人物を追跡することが可能であれば、２台のカメラを用いた撮像装置２であるステレオカメラにも適用できる。

本発明の実施例４の機能ブロック図を図１４に示す。

図１４において、１、２、３、４、５、６、７、３０、３１の各機能は実施例２と同一であり、人物位置推定部７０は距離情報取得部３０から取得した距離情報と、カメラパラメータ精度確認部３１により調整したカメラパラメータから、画像中の人物における実空間上の位置を推定する機能、人流解析部７１は人物位置推定部７０により推定した人物の位置に基づき、人数計測、動線抽出、混雑時間計測等の人流解析を行う機能、解析結果表示部７２は人流解析部７１によって行われた人流解析の結果をPCディスプレイ等に表示する機能である。以下、人物位置推定部７０と人流解析部７１の詳細について説明する。ここでは、人物としたが他の動体であってもよい。

図１５は、人物位置推定部を説明するための図である。

図１５において、（ａ）は２台のカメラの内、どちらか一方のカメラにおける撮像画像であり、７５ａ、７５ｂは人物、７６は道路、７７はビルを示している。人物位置推定部７０では、まず人検出により撮像画像から人物のみ抽出し、図１５（ｂ）に示す人物領域画像を作成する。なお、人検出の方法については、実施例３で述べた人検出部６１の手法や、予め取得した人物が存在しない状況での３次元情報との差分により導出する方法がある。次に、カメラパラメータ精度確認部３１と同様に、抽出した人物領域に対応する３次元情報を取得し、取得した３次元情報を真上方向からの視点から見た際の視点変換画像である俯瞰画像（ｃ）を生成する。最後に、俯瞰画像（ｃ）における各人物領域において重心位置を求めることで、人物位置画像（ｄ）を算出でき、人物７５ａ、７５ｂの実空間上の位置である、７８ａ、７８ｂの推定が可能となる。

図１６は、人流解析部７１を説明するための図である。図１６において、（ａ）は撮像画像、（ｂ）は推定した実空間上の人物の位置と実際の地図をマッピングするフロー、（ｃ）、（ｄ）、（ｅ）は人数計測、動線抽出、滞留時間測定といった人流解析のアプリ例を示す。人流解析部７１では、まず撮像画像（ａ）から人物位置推定部７０によって算出した人物位置画像７９と、実際の地図情報である地図画像８０との対応付けを行う。この対応付けの方法としては、GUI等により、人物位置画像７９に示される人物位置７８ａ、７８ｂがマップ画像８０の適した場所に収まるよう画像座標を手動で調整する方法等があり、特に限定しない。次に、人物位置画像７９と地図画像８０を対応付けたマッピング画像８３を使用して人流解析を行う。図１６（ｃ）は、マッピング画像８３における道路７６の画像情報と、人物位置７８ａ、７８ｂの画像情報とを比較することで、道路７６上にいる人物の数を計測するアプリの実行例である。本実行例では、道路７６上にいる人物は７５ａのみなので、実行結果８４には１人と表示される。図１６（ｄ）は、連続フレームにおいて、人物位置推定部７０により推定した人物位置の結果を結合して人物を追跡する動線抽出アプリの実行例である。人物の追跡方法としては、実施例３にて述べた人物追跡部６０と同様の方法や、俯瞰画像における複数の人物領域を前後フレームにて比較し、移動量が最小のものを同じ人物領域と扱い追跡する方等があるが、特に限定しない。図１６（ｄ）において、８５ａは人物７５ａの、８５ｂは人物７５ｂの動線を示しており、人物７５ａは大きく移動しているものの、人物７５ｂは同じ場所付近を滞留していることがわかる。図１６（ｅ）はマップ画像を４つのブロックに分割し、動線抽出結果を利用して各ブロックごとの人物の平均滞留時間を計測するアプリの実行例である。実行結果８６では、ブロックＡ、Ｃには人物がいないため平均滞留時間は０秒、ブロックＢには大きく移動する人物７５ａが居り、ブロックＤには滞留する人物７６ｂがいるため、平均滞留時間はＤブロックが最も大きくなる。

本発明の実施例４では、以上説明した機能構成により、２台のカメラから取得したカメラパラメータと物体の３次元情報から人物の位置を推定することで、実空間上の座標情報を入力することなく、人流解析を実施できる。

実施例４において、人物全体の３次元情報ではなく頭部の３次元情報を利用しても良い。

図１７は、人物位置推定部７０により撮像画像から人物の位置を推定するフローの一例である。

まず人検出により撮像画像から人物領域画像を作成する（Ｓ１７０１）。

次に、人物領域に対応する３次元情報を取得し（Ｓ１７０２）、取得した人物の３次元情報から頭部のみの３次元情報を抽出する（Ｓ１７０３）。

最後に、抽出した頭部のみの３次元情報からカメラパラメータを使用して俯瞰画像を作成し（Ｓ１７０４）、作成した俯瞰画像における各頭部の重心位置を求めることで（Ｓ１７０５）、人物位置を推定できる。

なお、Ｓ１７０３における頭部の３次元情報を抽出する方法としては、あらかじめ撮像画像から画像特徴量を用いて頭部の凸状の形状等を検出し、検出した頭部領域に対応する３次元情報を取得する方法や、カメラパラメータ精度確認部３１により作成した、真正面方向や真横方向の視点変換画像を用いて一定以上の高さから上の３次元情報を頭部として検出する等の方法がある。その他にも、頭部付近を検出する手法であれば、特に限定しない。

人物全体の３次元情報から人物の位置を推定した結果と、図１７のフローに従い頭部のみの３次元情報から人物の位置を推定した結果の違いを図１８に示す。図１８において、人物９０ａ、９０ｂ、９０ｃが密集した撮像画像９１から人物全体の３次元情報９２を抽出して俯瞰画像９３を作成した場合、肩等の部分に重なりが生じてしまい人物の区別が困難となりその位置を正確に推定できない。しかし、撮像画像９１から人物の顔部分のみの３次元情報９４を抽出して作成した俯瞰画像９５では、重なりが生じないため人物９０ａ、９０ｂ、９０ｃの位置を精度良く推定することが可能となる。

また、実施例４において、人流解析部７１では、人数計測、動線抽出、滞留時間測定といった推定した人物の位置に基づく人流解析アプリ以外のアプリを実行しても良い。例えば、ある特定領域内に直立する人物の数と人物ごとの滞留時間を測定することで、特定領域内の混雑度を数値として算出する混雑度推定アプリや、俯瞰画像における人物領域同士の結合状態により、人物が近づいたか遠のいたか判定し、近づいた場合その場での滞留時間を計測することで店頭等の接客行動を認識する行動認識アプリ等がある。

１…キャリブレーション装置、２…撮像装置、３…画像取得部、４…物体抽出部、
５…特性情報付加部、６…カメラパラメータ推定部、７…カメラパラメータ出力部

Claims (8)

1. 撮像装置から画像を取得する画像取得部と、
   前記画像から複数の物体を抽出する物体抽出部と、
   前記複数の物体間の幾何学的な関係を示す幾何学情報を、物体間毎に特性情報として付加する特性情報付加部と、
   前記特性情報に応じて前記物体の画像座標を取得し、前記特性情報および前記画像座標に基づいて焦点距離、アスペクト比、スキュー、画像座標の中心座標のいずれかを示す内部パラメータと、カメラの向き、カメラ設置位置の世界座標のいずれかを示す外部パラメータからなるカメラパラメータを推定するカメラパラメータ推定部と、
   前記カメラパラメータを出力するカメラパラメータ出力部と、を有し
   前記撮像装置は複数台設けられており、
   推定された前記カメラパラメータに基づいて、前記画像上の物体と前記撮像装置との距離を算出することにより、前記物体の３次元情報を取得し、前記３次元情報に基づいて前記カメラパラメータの値を調整するカメラパラメータ精度確認部と、前記カメラパラメータに基づき前記３次元情報を異なる視点から見た視点変換画像を表示する表示部と、
   前記調整後のカメラパラメータから再生成した真正面方向や真横方向の前記視点変換画像に基づき人物を検出する物体検出部とを有し、
   前記表示部は、前記カメラパラメータの値の変更を受け付ける撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記特性情報が垂直である場合には、前記カメラパラメータ出力部は、
   前記複数の物体のうち実空間上で水平面を構成する物体については、前記物体の任意の２つの画像座標を取得し、前記複数の物体のうち実空間上で水平面に垂直な物体については、前記物体の物体領域の実空間上での高さ方向軸上にある２つの画像座標を取得する撮像システム。
3. 請求項１に記載の撮像システムであって、
   前記特性情報が同じ高さである場合には、前記カメラパラメータ出力部は、
   前記複数の物体のうち実空間上で水平面に垂直な物体について、物体領域の実空間上での高さ方向軸上にある２つの画像座標を取得する撮像システム。
4. 請求項１に記載の撮像システムであって、
   前記画像を表示させ、前記複数の物体を選択することができるとともに、前記複数の物体において前記複数の物体の任意の物体間毎に特性情報を付加する表示画面を有する撮像システム。
5. 請求項１に記載の撮像システムであって、
   前記物体抽出部は、前記画像のシーン認識を行い、前記シーン認識の結果に基づいて前記画像中から複数の物体を検出するとともに、前記特性情報を付加する撮像システム。
6. 撮像装置から画像を取得する画像取得部と、
   前記画像から物体を検出し、追跡する物体追跡部と、
   前記物体追跡部は、
   第１の時刻において検出した第１の物体と第２の時刻において検出した第２の物体とが同一物体であるかを判定する物体認識部、
   前記物体が同一物体である場合には、前記第１の時刻および前記第２の時刻における画像上の前記物体の高さに関する情報を取得し、前記第１の物体および前記第２の物体の間で成り立つ幾何学的な関係を示す幾何学情報を、物体間毎に特性情報として付加する物体情報保存部、を含み、
   前記特性情報および前記特性情報に応じて取得した前記物体の画像座標に基づいて、焦点距離、アスペクト比、スキュー、画像座標の中心座標のいずれかを示す内部パラメータと、カメラの向き、カメラ設置位置の世界座標のいずれかを示す外部パラメータからなるカメラパラメータを推定するカメラパラメータ推定部と、
   前記カメラパラメータを出力するカメラパラメータ出力部と、を有し
   前記撮像装置は複数台設けられており、
   推定された前記カメラパラメータに基づいて、前記画像上の物体と前記撮像装置との距離を算出することにより、前記物体の３次元情報を取得し、前記３次元情報に基づいて前記カメラパラメータの値を調整するカメラパラメータ精度確認部と、前記カメラパラメータに基づき前記３次元情報を異なる視点から見た視点変換画像を表示する表示部と、
   前記調整後のカメラパラメータから再生成した真正面方向や真横方向の前記視点変換画像に基づき人物を検出する物体検出部とを有し、
   前記表示部は、前記カメラパラメータの値の変更を受け付ける撮像システム。
7. 請求項６に記載の撮像システムにおいて、
   前記カメラパラメータ精度確認部において、前記のカメラパラメータに基づき前記３次元情報を異なる視点から見た視点変換画像を表示し、前記２つのカメラパラメータの値を変更すると前記視点変換画像も変更するステレオカメラ装置。
8. 請求項７に記載のステレオカメラ装置おいて、
   前記視点変換画像の画像を用いて物体検出を行うステレオカメラ装置。