JP4903358B2 - 撮像装置及び方法 - Google Patents

Description

本発明は、例えば、スポーツ観戦において、複数のカメラにより撮像された画像（多視点画像）に基づき、仮想的な撮像位置から撮像対象を撮像したような効果をもたらす撮像装置及び方法に関する。

放送事業者は、競技場で行われているスポーツや劇場で行われている演劇を競技場又は劇場に設置されている実写カメラで撮影し、撮影した画像を所定の方法で外部に送信する。ユーザは、上述のように送信されてきた画像を所定の方法でディスプレイ等に表示させ、遠隔地で行われているスポーツや演劇を鑑賞する。

ところで、放送事業者は、競技場で行われているスポーツの様子を中継する場合、プレーの妨害をしない位置、すなわちプレーヤから所定距離だけ離れた位置から撮影することになる。したがって、ユーザが鑑賞する画像は、プレーヤから所定距離だけ離れた位置のものになるため、真に迫った臨場感をユーザに与えることが困難であった。

そこで、真に迫った臨場感を出すために、競技場の複数の場所に実写カメラを設置し、プレーヤを様々な角度（視点）から撮影し、撮影した画像に基づきプレーヤの３Ｄ（３Dimension）モデルを構築し、仮想的な視点位置で撮影したような画像を提示する技術（自由視点画像生成技術）がある（例えば、非特許文献１参照）。

また、任意の視点画像生成技術として、モデルベースの手法（例えば、非特許文献２参照）やイメージベースの手法（例えば、非特許文献３、４参照）がある。これらの技術を用いれば、あたかもプレーヤの直ぐ側で実写カメラを回しているかのような画像を得ることができる。

しかし、自由視点画像生成技術は、高精度な３Ｄモデルを生成しテクスチャを提示することが容易でなく、高価な機器が必要となる。

また、モデルベースの手法では、シーンの３Ｄモデルを精度良く推定することが困難であり、３Ｄモデルを高速に推移することが困難であり、また、イメージベースの手法では、膨大な数の実写カメラが必要であり、被写体の解像度を上げるために、広角で高解像度カメラが必要となり実用的でない。

多視点画像の融合によるスポーツシーンの自由視点画像生成、画像の認識・理解シンポジウム（MIRU2000）、北原格、大田友一、金出武雄 Spatio-Temporal View Interpolation,Tech Report CMU-RI-TR-01-35,Robotics Institute,CMU Light Field Rendering,Siggraph'96 Processing,pp.31-42,(1996) The Lumigraph,Siggraph'96 Processing,pp.43-54,(1996)

解決しようとする問題点は、撮像対象の移動に応じて撮像方向及び撮影画角が変動し、また、位置が移動する複数台の実写カメラにより撮像対象を撮像し、撮像した画像を用いて、任意の仮想的な視点位置から当該撮像対象を撮像した場合の画像を生成する点にある。

本発明に係る撮像装置は、上記課題を解決するために、仮想的に作り出される仮想視点位置の後方に配置された複数のカメラにより撮像対象を撮像して得られた複数の画像から上記仮想視点位置における仮想視点画像を生成する撮像装置において、上記複数のカメラにより仮想的に作り出される仮想視点位置及び当該仮想視点位置における任意の解像度をユーザーが指定する解像度指定手段と、上記解像度指定手段により指定された仮想視点位置及び当該仮想視点位置における解像度に基づき、カメラの水平方向及び垂直方向の光軸が下記式（１）を満たすように、上記複数のカメラの撮像方向及び撮像画角を制御する制御手段と、上記制御手段により制御された上記複数のカメラにより撮像された画像に基づき、画像間の対応点を求める画像間対応付け手段と、上記画像間対応付け手段から出力された画像間の対応点に関する情報に基づき、光線情報を推定する推定手段と、上記推定手段によって推定された光線情報に基づき、画像内挿により仮想視点画像を生成する仮想視点画像生成手段とを有することを特徴とする。
θ２＋γ２／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ２／２・・・ 式（１）
ただし、
θ２は、実写カメラｃａｍ＿２が仮想視点位置Ａを見込む方向を示す。
γ２は、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿２の視野角を示す。
ａｒｃｔａｎは、正接の逆関数を示す。
ｚｖは、仮想カメラｃｖの生成される位置と、実写カメラｃａｍ＿１と実写カメラｃａｍ＿２が並んでいる位置Ｘとの間の距離を示す。
ｘ２は、仮想カメラｃｖの光学中心を基準点とし、当該基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離を示す。

また、本発明に係る撮像方法は、上記課題を解決するために、仮想的に作り出される仮想視点位置の後方に配置された複数のカメラにより撮像対象を撮像して得られた複数の画像から上記仮想視点位置における仮想視点画像を生成する撮像方法において、上記複数のカメラにより仮想的に作り出される仮想視点位置及び当該仮想視点位置における任意の解像度がユーザーによって指定される解像度指定工程と、上記解像度指定工程で指定された仮想視点位置及び当該仮想視点位置における解像度に基づき、カメラの水平方向及び垂直方向の光軸が下記式（１）を満たすように、上記複数のカメラの撮像方向及び撮像画角を制御する制御工程と、上記制御工程で撮像方向及び撮像画角が制御された上記複数のカメラにより撮像された画像に基づき、画像間の対応点を求める画像間対応付け工程と、上記画像間対応付け工程で求められた画像間の対応点に関する情報に基づき、光線情報を推定する推定工程と、上記推定工程で推定された光線情報に基づき、画像内挿により仮想視点画像を生成する仮想視点画像生成工程とを含むことを特徴とする。
θ２＋γ２／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ２／２・・・ 式（１）
ただし、
θ２は、実写カメラｃａｍ＿２が仮想視点位置Ａを見込む方向を示す。
γ２は、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿２の視野角を示す。
ａｒｃｔａｎは、正接の逆関数を示す。
ｚｖは、仮想カメラｃｖの生成される位置と、実写カメラｃａｍ＿１と実写カメラｃａｍ＿２が並んでいる位置Ｘとの間の距離を示す。
ｘ２は、仮想カメラｃｖの光学中心を基準点とし、当該基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離を示す。

本発明に係る撮像装置及び方法は、競技場等で行われている競技の様子を複数台の実写カメラで撮像し、撮像した画像に基づき、仮想的な視点位置を任意の位置に生成し、当該任意の位置から競技の様子を撮像した場合の画像を生成するので、実写カメラよりも広い視野角で撮像された画像を得ることができ、かつ、実写カメラとほぼ同レベルの空間解像度を得ることができる。したがって、本発明に係る撮像装置及び方法は、例えば、スポーツ観戦などにおいて、観客があたかも競技場の中にいるように観戦することが可能となり、より臨場感のあるスポーツ観戦が実現できる。

以下、本発明を実施するための最良の形態として撮像装置及び方法について述べる。

本発明に係る撮像装置では、図１に示すように撮像対象を撮像する撮像部１０と、撮像部１０で撮像された画像に所定の処理を行う処理部１１と、処理後の画像を外部に出力する出力部１２とを備える。

撮像部１０は、撮像対象を撮像する複数台の実写カメラｃａｍ＿１〜ｃａｍ＿ｋを有するカメラ部２０と、実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮像対象を撮像する際の撮像タイミングを決定するための同期信号を生成する同期信号生成部２１と、仮想的に生成される仮想視点位置、撮像対象及び解像度を指定する指定部２２と、指定部２２の指定に基づき各実写カメラｃａｍ＿１〜ｃａｍ＿ｋの撮影方向（水平方向及び垂直方向）、撮影画角並びに位置を設定する設定部２３と、設定部２３の設定に応じて各実写カメラｃａｍ＿１〜ｃａｍ＿ｋを駆動する駆動部２４とを備える。なお、指定部２２は、仮想視点位置、撮像対象及び解像度の指定がない場合には、予め定められている仮想視点位置、撮像対象及び解像度を設定部２３に供給することとする。また、撮像部１０は、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮影した画像を保存するためのＨＤＤ（Hard Disc）等の記憶部を有していても良い。

処理部１１は、撮像対象を撮像するために所定の場所に配置されているカメラどうしの幾何学位置関係やそれぞれの実写カメラｃａｍ＿１〜ｃａｍ＿ｋのレンズ収差等のパラメータを算出するキャリブレーション部２５と、キャリブレーション部２５で算出されたパラメータに基づき、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮像した画像から対応点を求める画像対応付け部２６と、画像対応付け部２６で求めた対応点に基づき、仮想的に生成される仮想視点位置Ａにおける光線情報を推定する推定部２７と、推定部２７で推定された仮想視点位置Ａにおける光線情報に基づき仮想視点画像を生成する仮想視点画像生成部２８と、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮像された画像又は仮想視点画像生成部２８で生成された仮想視点画像の何れかを選択する選択部２９とを備える。なお、選択部２９は、例えば、５台の実写カメラｃａｍ＿１〜ｃａｍ＿５により撮像対象を撮像した場合には、それぞれの実写カメラｃａｍ＿１〜ｃａｍ＿５で撮影した画像と当該画像から生成した仮想視点画像の計６つの画像の中から一つの画像を選択する。

キャリブレーション部２５は、既知の画像パターンを撮影し、それらの画像パターンから画像処理技術によってカメラ間の位置関係及びカメラのレンズ収差等の所定のパラメータを求め、画像対応付け部２６に供給する。画像対応付け部２６は、キャリブレーション部２５から供給されたパラメータに基づき、隣接（左右または上下）の画像間のパラメータを補正し、補正後の画像における画素間の対応付けを求める。また、選択部２９は、見たい視点の各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮像した画像を出力するか、または見たい視点の各カメラペア（立体）映像を出力するかを選択することもできる。

出力部１２は、選択部２９から供給される画像をディスプレイ等の表示部に出力する画像出力端子ａと、選択部２９から供給される画像をネットワークを介して接続されている機器に送信する画像送信端子ｂを備える。

ここで、複数の実写カメラｃａｍ＿１〜ｃａｍ＿ｋを用いて仮想的な視点位置から撮像対象を撮像した場合の仮想視点画像を生成する概念について図２（ａ）を用いて説明する。なお、仮想視点位置Ａに仮想的に生成されるカメラを仮想カメラｃｖという。また、実写カメラｃａｍ＿１〜ｃａｍ＿ｋは、図２（ｂ）に示すように平面上に配されている。

仮想視点位置Ａに生成される仮想カメラｃｖにより撮像対象を撮像したときの仮想視点画像は、仮想カメラｃｖの光学中心を通る光線上の画像値を求めることで生成することができる。つまり、仮想カメラｃｖの中心を通る全ての光線を複数の実写カメラｃａｍ＿１〜ｃａｍ＿ｋでサンプリングし、処理部１１で所定の処理を行えば、仮想視点位置Ａにおける仮想視点画像（光線情報）を生成することができる。なお、計測空間内での光線の屈折等は無視する。

ところで、仮想視点位置Ａにおいて得られる仮想視点画像の解像度をＸｓｉｚｅ×Ｙｓｉｚｅとすると、これらの光線をすべて記録するためには、原理的にＸｓｉｚｅ×Ｙｓｉｚｅ台の実写カメラが必要となり、現実的ではない。

また、図３に示すように、仮想カメラｃｖの視野角が、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの視野角よりも大きく設定した場合、仮想カメラｃｖで撮像した仮想視点画像の一部が再生できなくなる。つまり、図中のＲａｙ１の光線情報は、どの実写カメラｃａｍ＿１〜ｃａｍ＿ｋでも記録されないので、その光線情報を再生することができない。したがって、仮想カメラｃｖで撮像した画像のすべてを再生するためには、仮想カメラｃｖの視野角は、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの視野角より小さくする必要がある。

また、実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）から距離ｚｖだけ前方の位置を仮想カメラｃｖが仮想的に生成される仮想視点位置Ａとし、撮像対象Ｐまでの距離をｚ０とした場合、仮想視点位置Ａでの１画素に対する空間解像度Ｒｖ（横方向）と実写カメラｃａｍ＿１〜ｃａｍ＿５の位置での１画素に対する空間解像度Ｒｒ（横方向）はそれぞれ下記のように求めることができる。
Ｒｖ＝（ｚ０／ｆ１）×（Ｗ／Ｘｓｉｚｅ）・・・（１）
Ｒｒ＝（（ｚ０＋ｚｖ）／ｆ２）×（Ｗ／Ｘｓｉｚｅ）・・・（２）
ここで、ｆ１は、仮想カメラｃｖのレンズ長であり、ｆ２は、実写カメラｃａｍ＿１〜ｃａｍ＿ｋのレンズ長である。Ｗは、横方向のＣＣＤサイズで、Ｘｓｉｚｅは、横方向の画素数である。つまり、仮想カメラｃｖにより撮像される仮想視点画像と実写カメラｃａｍ＿１〜ｃａｍ＿ｋにより撮像される画像を同じ空間解像度で得るためには、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの解像度（画素数）は、仮想カメラｃｖの画素数の（ｚ０＋ｚｖ）／ｚ０倍が必要となる。

したがって、仮想視点位置Ａの仮想カメラｃｖにより、実写カメラｃａｍ＿１〜ｃａｍ＿ｋとほぼ同程度の高解像度で、かつ、実写カメラｃａｍ＿１〜ｃａｍ＿ｋよりも広視野角の仮想視点画像を得るためには、膨大な数の超高解像度でかつ広視野角の実写カメラｃａｍ＿１〜ｃａｍ＿ｋが必要となり、撮像装置１を構成するのに莫大な費用が掛ってしまう。

そこで、本発明に係る撮像装置１では、低解像度（画素数の少ない）でかつ視野角の狭い実写カメラを少なくとも２台用いて、広視野角で解像度の高い（画素数の多い）画像を得るものである。

ここで、仮想カメラｃｖの視野角と実写カメラｃａｍ＿１〜ｃａｍ＿ｋの視野角及び水平位置及び垂直位置等の関係を図４を用いて説明する。なお、以下では、仮想カメラｃｖは、実写カメラｃａｍ＿１と実写カメラｃａｍ＿２が並んでいる位置Ｘから距離ｚｖだけ前方に仮想的に生成されるものとする。また、実写カメラｃａｍ＿１及び実写カメラｃａｍ＿２よりは、仮想カメラｃｖの視野角α（レンズ長ｆｖ）が広くなるようにそれぞれ所定の位置に設定し、垂直方向及び水平方向を所定の方向に設定してあることとする。

仮想視点位置Ａから撮像対象を撮像した場合の仮想視点画像（光学中心）を生成するために、仮想カメラｃｖの視野角α（α＝２×ａｒｃｔａｎ（ｐ／（２×ｆｖ）））をｎ等分にし、各α／ｎの小さな視野角内の仮想視点画像を、実写カメラで撮像した画像から生成する。なお、本願発明に係る撮像装置１では、各α／ｎの小さな視野角内の仮想視点画像は、最低２台の実写カメラがあれば生成することができる。

また、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿１と実写カメラｃａｍ＿２の視野角γは下記式を用いて求める。
γ＝β＝ａｒｃｔａｎ（ｆｖ／ｐ１）−ａｒｃｔａｎ（ｆｖ／ｐ２）・・・（３）
ここで、ｆｖは、仮想カメラｃｖのレンズ長で、ｐ１とｐ２は、仮想視点位置Ａにおけるｋ番目の仮想視点画像の左側と右側の画素位置を示す。

また、このときの実写カメラｃａｍ＿１及び実写カメラｃａｍ＿２の設置位置と光軸の水平方向は次のように求める。仮想カメラｃｖの光学中心を基準点とし、当該基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿１までの距離ｘ１は、
ｘ１＝（ｐ１×ｚｖ）／ｆｖ
で求め、また、基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離ｘ２は、
ｘ２＝（ｐ２×ｚｖ）／ｆｖ
で求める。また、実写カメラｃａｍ＿１の光軸の水平方向（θ１−γ／２）は、
θ１−γ／２＝ａｒｃｔａｎ（ｚｖ／ｘ１）−γ／２
で求め、実写カメラｃａｍ＿２の光軸の水平方向（θ２＋γ／２）は、
θ２＋γ／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ／２
で求める。

なお、光軸の垂直方向の算出も上述と同様に類推可能である。また、上述では、３次元空間内における任意の位置にある撮像対象を仮想カメラｃｖで撮像した場合の仮想視点画像（光線）の情報を復元する例について、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの視野角γと、仮想視点位置Ａから実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）までの垂線の長さ（距離）ｚｖと、仮想視点位置Ａの光学中心（基準点）の垂線と複数の実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）の交点から各実写カメラｃａｍ＿１〜ｃａｍ＿ｋまでの距離ｘと、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋの光軸の水平方向（θ−γ／２）の算出方法を示したが、撮像対象までの距離（奥行き）が限定される場合には、より狭い視野角を持つ実写カメラｃａｍ＿１〜ｃａｍ＿ｋを使用し、仮想視点位置Ａに仮想的に生成される仮想カメラｃｖによる仮想視点画像（光線）の各情報を求める。

ここで、仮想視点位置Ａから撮影対象までの距離をｚ０に限定したときの例について図５を用いて説明する。

実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置Ｘから距離ｚｖだけ前方に仮想的に生成する仮想カメラｃｖの視野角α（レンズ長ｆｖ）を広くし、この仮想カメラｃｖにより撮像した場合の仮想視点画像（光学中心）を生成するために、上述と同様に、まず仮想カメラ映像の視野角α（α＝２×ａｒｃｔａｎ（ｐ／（２×ｆｖ）））をｎ等分にし、各α／ｎの小さな視野角内の仮想視点画像を、実写カメラｃａｍ＿１及び実写カメラｃａｍ＿２で撮像した画像から生成する。

また、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿１の視野角γ１と実写カメラｃａｍ＿２の視野角γ２を下記式を用いて求める。
γ１＝ａｒｃｔａｎ（ｆｖ／ｐ１）−ａｒｃｔａｎ（ｚ０／（（ｚ０×ｐ２）／ｆｖ−（ｚｖ×ｗ）／（ｚｖ＋ｚ０）））・・・（４）
γ２＝ａｒｃｔａｎ（ｚ０／（（ｚ０×ｐ１）／ｆｖ＋（ｚｖ×ｗ）／（ｚｖ＋ｚ０）））−ａｒｃｔａｎ（ｆｖ／ｐ２）・・・（５）
ここで、ｆｖは、仮想カメラのレンズ長を示し、ｐ１とｐ２は、仮想視点位置Ａにおけるｋ番目の仮想視点画像の左側と右側の画素位置を示す。また、ｗは、仮想視点位置Ａから撮像対象までの距離（奥行き）ｚ０の横方向の撮影領域であり、下記の式で求められる。
ｗ＝（ｐ２−ｐ１）×ｚ０／ｆｖ・・・（６）
また、このときの実写カメラｃａｍ＿１〜ｃａｍ＿ｋの設置位置と水平方向は次のように求められる。仮想カメラｃｖの光学中心（基準点）の垂線が実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿１までの距離ｘ１は、
ｘ１＝（ｐ１×ｚｖ）／ｆｖ・・・（７）
で求まり、また、基準点の垂線が実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離ｘ２は、
ｘ２＝（ｐ２×ｚｖ）／ｆｖ・・・（８）
で求まる。また、実写カメラｃａｍ＿１の光軸の水平方向（θ１−γ１／２）は、
θ１−γ１／２＝ａｒｃｔａｎ（ｚｖ／ｘ１）−γ１／２・・・（９）
で求まり、実写カメラｃａｍ＿２の光軸の水平方向（θ２−γ１／２）は、
θ２＋γ２／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ２／２・・・（１０）
で求まる。なお、光軸の垂直方向の算出も上述と同様に類推可能である。

つぎに、仮想視点位置Ａにおける仮想カメラｃｖにより、実写カメラｃａｍ＿１〜ｃａｍ＿ｋよりも広視野角で、かつ、高解像度の画像を得るための例について図６（ａ）を用いて説明する。実写カメラｃａｍ＿１〜ｃａｍ＿ｋの解像度をＶＧＡサイズ（６４０×４８０）とし、ＣＣＤサイズを、図６（ｂ）に示すように、１／３インチ（４．８ｍｍ×３．２ｍｍ）とし、レンズ長を２２．５ｍｍとすると、式（２）から１画素の被写体の空間解像度は１ｃｍになる。

そこで、実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）の前方２０ｍ先の位置を仮想視点位置Ａとして、仮想的に生成した仮想カメラｃｖから撮像対象までの距離を１０ｍとし、同じ撮像対象の１画素の空間解像度を１ｃｍにする場合、実写カメラｃａｍ＿１〜ｃａｍ＿ｋと同じＶＧＡサイズの仮想視点位置Ａにある画像を生成するために、式（１）と式（２）の計算によって実写カメラｃａｍ＿１〜ｃａｍ＿ｋのＣＣＤサイズの３倍に相当する大きさ１４．４×９．６ｍｍが必要となる。また、仮想カメラｃｖのレンズ長を７．５ｍｍとすれば、同じ空間解像度でＨＤＴＶ程度の解像度（１９２０×１０８０）の画像を生成することができる。なお、以上の説明は、理解しやすくする都合上、１次元（横方向）のカメラ配置を例にしているが、実際には２次元のカメラ配置により行う。

ここで、撮像装置１により仮想視点画像を生成するまでの手順について図７及び図８に示すフローチャートを用いて説明する。なお、撮像装置１は、図９に示すように、サッカー場に設置されているものとし、複数台の実写カメラｃａｍ＿１〜ｃａｍ＿ｋが一方のゴール裏に配置されているものとする。また、撮像装置１に備えれている各部の操作をする者を操作者と呼ぶ。

ステップＳ１において、操作者は、仮想視点位置、生成する仮想視点画像の解像度及び撮像対象を指定する。操作者は、例えば、サッカーボールや特定のプレーヤを撮像対象として指定し、その撮像対象から所定距離離れた位置（高さ）を仮想視点位置として指定し、その仮想視点位置から撮像対象を撮像した場合の仮想視点画像の解像度を指定する。

ステップＳ２において、指定部２２は、入力された仮想視点位置、解像度及び撮像対象を設定部２３に供給する。

ステップＳ３において、設定部２３は、指定部２２から供給された仮想視点位置に基づき仮想視点位置Ａを決定する。

ステップＳ４において、設定部２３は、決定した仮想視点位置Ａに仮想的に生成する仮想カメラｃｖの光学中心を推定する。設定部２３は、ステップＳ２で指定部２２から供給された撮像対象と、ステップＳ３で決定した仮想視点位置Ａから視野角（レンズ長）を決定し、光学中心を推定する。

ステップＳ５において、設定部２３は、ステップＳ４で推定した光学中心を基準点として、当該基準点から実写カメラｃａｍ＿１〜ｃａｍ＿ｋが並んでいる位置（Ｘ軸）までの距離ｚｖと、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋの配置（間隔）と、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋごとの垂直方向及び水平方向とを決定し、駆動部２４に供給する。

ステップＳ６において、駆動部２４は、設定部２３から供給された各種の情報に基づき、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋを駆動する。

ステップＳ７において、操作者は、撮像を開始する旨の命令を撮像装置１に行う。

ステップＳ８において、同期信号生成部２１は、撮像を開始する旨の命令を受けたときに、同期信号を生成し、生成した同期信号を各実写カメラｃａｍ＿１〜ｃａｍ＿ｋに供給する。

ステップＳ９において、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋは、供給された同期信号に応じて撮像対象の撮像を開始する。なお、撮像装置１は、撮像対象を自動的に実写カメラｃａｍ＿１〜ｃａｍ＿ｋで追尾するような構成でも良いし、操作者の操作に従って撮像対象を撮像するような構成であっても良い。各実写カメラｃａｍ＿１〜ｃａｍ＿ｋは、撮像した画像を画像対応付け部２６と選択部２９に供給する。

ステップＳ１０において、画像対応付け部２６は、キャリブレーション部２５から供給されたパラメータに基づき各実写カメラｃａｍ＿１〜ｃａｍ＿ｋから供給された画像間で対応付けを行う。また、実写カメラｃａｍ＿１〜ｃａｍ＿ｋが追尾カメラである場合、撮影された画像から特徴点を求めて、それらの特徴点を用いて、キャリブレーション部２５でパラメータを求める必要がある。画像対応付け部２６は、対応付けた情報を推定部２７に供給する。

ここで、キャリブレーション部２５と画像対応付け部２６の具体的な動作について説明する。キャリブレーション部２５は、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋのレンズにおける色収差や歪み、光軸のずれをそれぞれの実写カメラｃａｍ＿１〜ｃａｍ＿ｋごとにパラメータ化し、要求に応じて画像対応付け部２６に供給する。

画像対応付け部２６は、例えば、撮像対象であるサッカーボールを構成する同一の箇所を特徴点として抽出した場合にはかかる箇所にある画素位置と輝度成分を同時に各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮像された複数の画像間で抽出して、対応をとるようにする。

なお、キャリブレーション部２５は、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋが固定カメラである場合、それらのカメラに関する各パラメータを図示しないＲＯＭやＲＡＭに予め生成し格納しておいても良い。こうすることにより、パラメータ生成の時間を無くすことができ、画像対応付け部２６で高速な画像対応付け処理を行わせることが可能となる。また、キャリブレーション部２５は、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋが追尾カメラである場合、撮像した画像が供給される度にこれらのパラメータを求めることにより、画像対応付け部２６において精度の高い補正処理を実現することができる。

ステップＳ１１において、推定部２７は、画像対応付け部２６から供給された情報に基づき、光線情報を推定する。推定部２７は、推定した情報を仮想視点画像生成部２８に供給する。

ステップＳ１２において、仮想視点画像生成部２８は、推定部２７から供給された推定情報に基づき、画像内挿（View Interpolation）により仮想視点画像を生成する。

ステップＳ１３において、仮想視点画像生成部２８は、すべての光線方向・位置上の画素値が決定されたかどうかを判定する。決定されていればステップＳ１４の工程に進み、決定されていなければステップＳ４の工程に戻る。

ステップＳ１４において、仮想視点画像生成部２８は、生成した仮想視点画像を選択部２９に供給する。なお、仮想視点画像生成部２８で生成された仮想視点画像は、ステップＳ１で操作者が指定した仮想視点位置で実際に撮像した場合に得られる画像である。

ステップＳ１５において、選択部２９は、仮想視点画像生成部２８から供給された仮想視点画像か、ステップＳ９で各実写カメラｃａｍ＿１〜ｃａｍ＿ｋから供給された撮像画像のいずれかを選択し、出力部１２に供給する。出力部１２に供給された画像は、画像出力端子を介してディスプレイ等の表示部か、画像送信端子を介してネットワークに接続されている機器に供給される。

なお、例えば、撮像装置１がネットワークを介して外部の機器と接続されている場合には、機器を所有しているユーザが仮想視点位置Ａを指定することができるような構成であっても良い。この場合には、ユーザは、機器を操作して所定の方法により仮想視点位置Ａをネットワークを介して撮像装置１に送信する。撮像装置１の指定部２２は、ネットワークを介して供給された仮想視点位置Ａとなるように位置情報を指定部２２に供給する。そして、撮像装置１は、上記ステップＳ３〜ステップＳ１５の各工程を経て、指定された仮想視点位置Ａの仮想視点映像をユーザに送信する。

上述した例では、図９に示すように、実写カメラの撮像範囲をフィールド内とし、一方のゴール裏に地面に対して水平方向に２１台の実写カメラｃａｍ＿ｘ００〜ｃａｍ＿ｘ２０を設置し、実写カメラｃａｍ＿ｘ００の光学中心が他方のゴールラインに達する位置ａから実写カメラｃａｍ＿ｘ２０の光学中心が他方のゴールラインに達する位置ｂまでの距離は３８．４ｍであり、実写カメラｃａｍ＿ｘ００の光学中心と実写カメラｃａｍ＿ｘ０１の光学中心との角度は２．０℃であり、他方のゴールラインにおける実写カメラｃａｍ＿ｘ００と実写カメラｃａｍ＿ｘ０１とで作られる視野幅は６．４ｍである。

また、各実写カメラの配列形態として、上述したように一方のゴール裏に地面に対して水平方向に配列されたものと、図１０に示すように一方のゴール裏に地面に対して垂直方向に配列されたものが必要である。図１０では、ゴールの高さが２．４４ｍであるので、地面に対して垂直方向に配列されている実写カメラｃａｍ＿ｙ０１〜ｃａｍ＿ｙ０５の内一番下にあるカメラ（実写カメラｃａｍ＿ｙ０５）の高さは２．４４ｍであり、仮想視点位置Ａの高さは地面から３．５ｍであり、当該仮想視点位置Ａを越えて他方のゴールラインに達した際の実写カメラｃａｍ＿ｙ０５の撮像範囲は、４．８ｍであり、すべての実写カメラｃａｍ＿ｙ０１〜ｃａｍ＿ｙ０５による撮像範囲は、最大２１．７２ｍである。

また、仮想視点位置Ａを地面からどのくらいの高さに指定するかは、具体的な撮像対象により異なり、また、撮像する場所によっても異なる。本願発明に係る撮像装置１は、撮像対象及び撮像場所に応じて、自由な位置を仮想視点位置Ａに設定することができる。

なお、仮想視点画像生成部２８は、仮想視点画像の各画素のＲＧＢ濃淡値を求めるために、仮想視点画像の各画素の位置と仮想カメラｃｖの光学中心を結ぶすべての光線に対して、実写カメラｃａｍ＿１〜ｃａｍ＿ｋが配置されている位置を算出し、それらの位置にある実写カメラｃａｍ＿１〜ｃａｍ＿ｋの配置の仮想視点画像を生成しても良い。このような構成にすることにより、撮像装置１は、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの平面上の仮想カメラｃｖにより撮像された場合の仮想視点画像を生成するために、その回りの少なくとも２台以上の実写カメラの撮像画像を用いる画像内挿（View Interpolation）、又は、その仮想カメラｃｖの光学中心に近い実写カメラの画像を用いることによっても実現できる。

したがって、本願発明に係る撮像装置１は、撮像対象を撮像する実写カメラが少なくとも２台以上配設されており、仮想視点位置Ａと、撮像対象と、解像度と、撮影画角を設定し、設定した仮想視点位置Ａに基づき各実写カメラｃａｍ＿１〜ｃａｍ＿ｋの位置、水平方向及び垂直方向並びに実写カメラｃａｍ＿１〜ｃａｍ＿ｋどうしの間隔及び撮影画角を調整し、所定のタイミングで撮像対象を各実写カメラｃａｍ＿１〜ｃａｍ＿ｋにより撮像し、撮像された各画像を用いて画像内挿（View Interpolation）により仮想視点画像を生成するので、従来のように３Ｄモデルを生成して仮想視点画像を生成する必要がなく、かつ、各実写カメラｃａｍ＿１〜ｃａｍ＿ｋで撮影された画像を用いて、仮想視点位置Ａでの画像を光線補間によって生成するので、実写カメラｃａｍ＿１〜ｃａｍ＿ｋの視野角及び画像解像度に比べて、より広角で高解像度の仮想視点映像を生成することが可能となる。また、本願発明に係る撮像装置１により生成された仮想視点画像は、視聴者にあたかもサッカーコートの中央付近位置で試合を鑑賞しているような臨場感を与えることが可能となる。

さらに、本願発明に係る撮像装置１は、例えば、サッカーコートの中心付近位置で複数の仮想視点画像を生成し、生成した仮想視点画像を立体ディスプレイに出力するような構成にすることにより、真に迫った臨場感のあるスポーツ試合の鑑賞を可能とする。

本発明に係る撮像装置の構成を示すブロック図である。 撮像装置により仮想視点画像を生成する際の概念を説明する図である。 仮想視点位置に仮想的に生成される仮想カメラの視野角と実写カメラの視野角の関係を示す図である。 仮想視点位置から所定の視野角で撮像対象を撮像する場合の仮想カメラと、実写カメラの位置、視野角及び撮像方向について説明する図である。 仮想視点位置から所定の視野角で、所定の距離に或る撮像対象を撮像する場合の仮想カメラと、実写カメラの位置、視野角及び撮像方向について説明する図である。 実写カメラよりも広い視野角を有し、高解像度の画像を得る仮想カメラの生成について説明する図である。 本発明に係る撮像装置により仮想視点画像を生成するまでの手順を示すフローチャートである。 図７に示すフローチャートの続きである。 本発明に係る撮像装置に備えられている実写カメラが水平方向に配置された例を示す図である。 本発明に係る撮像装置に備えられている実写カメラが垂直方向に配置された例を示す図である。

符号の説明

１ 撮像装置、１０ 撮像部、１１ 処理部、１２ 出力部、２０ カメラ部、２１ 同期信号生成部、２２ 指定部、２３ 設定部、２４ 駆動部、２５ キャリブレーション部、２６ 画像対応付け部、２７ 推定部、２８ 仮想視点画像生成部、２９ 選択部

Claims (10)

1. 仮想的に作り出される仮想視点位置の後方に配置された複数のカメラにより撮像対象を撮像して得られた複数の画像から上記仮想視点位置における仮想視点画像を生成する撮像装置において、
   上記複数のカメラにより仮想的に作り出される仮想視点位置及び当該仮想視点位置における任意の解像度をユーザーが指定する解像度指定手段と、
   上記解像度指定手段により指定された仮想視点位置及び当該仮想視点位置における解像度に基づき、カメラの水平方向及び垂直方向の光軸が下記式（１）を満たすように、上記複数のカメラの撮像方向及び撮像画角を制御する制御手段と、
   上記制御手段により制御された上記複数のカメラにより撮像された画像に基づき、画像間の対応点を求める画像間対応付け手段と、
   上記画像間対応付け手段から出力された画像間の対応点に関する情報に基づき、光線情報を推定する推定手段と、
   上記推定手段によって推定された光線情報に基づき、画像内挿により仮想視点画像を生成する仮想視点画像生成手段とを有する撮像装置。
   θ２＋γ２／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ２／２・・・ 式（１）
   ただし、
   θ２は、実写カメラｃａｍ＿２が仮想視点位置Ａを見込む方向を示す。
   γ２は、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿２の視野角を示す。
   ａｒｃｔａｎは、正接の逆関数を示す。
   ｚｖは、仮想カメラｃｖの生成される位置と、実写カメラｃａｍ＿１と実写カメラｃａｍ＿２が並んでいる位置Ｘとの間の距離を示す。
   ｘ２は、仮想カメラｃｖの光学中心を基準点とし、当該基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離を示す。
2. 上記複数のカメラの間隔を調整する間隔調整手段を備える請求項１に記載の撮像装置。
3. 上記複数のカメラにより仮想的に作り出される仮想視点位置における撮影方向を指定する撮影方向指定手段を備え、
   上記制御手段は、上記撮影方向指定手段により指定された仮想視点位置における撮影方向に基づき、上記複数のカメラの撮影方向及び撮影画角を制御する請求項１に記載の撮像装置。
4. 上記複数のカメラの幾何学的な位置関係に基づき、上記複数のカメラにより撮像されたそれぞれの画像を補正する画像補正手段を備える請求項１に記載の撮像装置。
5. 上記仮想視点画像生成手段は、上記画像対応付け手段により求めた画像間の対応点に基づき、仮想的に作り出される仮想視点位置での光線情報を推定し、推定した光線情報を用いて仮想視点画像を生成する請求項１に記載の撮像装置。
6. 上記仮想視点画像生成手段により生成された仮想視点画像、又は上記カメラにより撮像された画像を選択する選択手段と、
   上記選択手段により選択された画像をディスプレイに出力する出力手段とを備える請求項１に記載の撮像装置。
7. 同期信号を生成する同期信号生成手段を備え、
   上記同期信号生成手段は、生成した同期信号を上記複数のカメラに出力し、撮像対象を撮像するタイミングの同期を取る請求項１に記載の撮像装置。
8. 上記複数のカメラで撮像した画像を記録媒体に記録する記録手段を備える請求項１に記載の撮像装置。
9. 上記仮想視点画像生成手段で生成された画像を、ネットワークを介して外部機器に送信する送信手段を備える請求項１に記載の撮像装置。
10. 仮想的に作り出される仮想視点位置の後方に配置された複数のカメラにより撮像対象を撮像して得られた複数の画像から上記仮想視点位置における仮想視点画像を生成する撮像方法において、
    上記複数のカメラにより仮想的に作り出される仮想視点位置及び当該仮想視点位置における任意の解像度がユーザーによって指定される解像度指定工程と、
    上記解像度指定工程で指定された仮想視点位置及び当該仮想視点位置における解像度に基づき、カメラの水平方向及び垂直方向の光軸が下記式（１）を満たすように、上記複数のカメラの撮像方向及び撮像画角を制御する制御工程と、
    上記制御工程で撮像方向及び撮像画角が制御された上記複数のカメラにより撮像された画像に基づき、画像間の対応点を求める画像間対応付け工程と、
    上記画像間対応付け工程で求められた画像間の対応点に関する情報に基づき、光線情報を推定する推定工程と、
    上記推定工程で推定された光線情報に基づき、画像内挿により仮想視点画像を生成する仮想視点画像生成工程とを含む撮像方法。
    θ２＋γ２／２＝ａｒｃｔａｎ（ｚｖ／ｘ２）＋γ２／２・・・ 式（１）
    ただし、
    θ２は、実写カメラｃａｍ＿２が仮想視点位置Ａを見込む方向を示す。
    γ２は、仮想視点位置Ａから得られたｋ番目の仮想視点画像の各画素ｐ１〜ｐ２を生成するのに必要な実写カメラｃａｍ＿２の視野角を示す。
    ａｒｃｔａｎは、正接の逆関数を示す。
    ｚｖは、仮想カメラｃｖの生成される位置と、実写カメラｃａｍ＿１と実写カメラｃａｍ＿２が並んでいる位置Ｘとの間の距離を示す。
    ｘ２は、仮想カメラｃｖの光学中心を基準点とし、当該基準点の垂線が複数の実写カメラが並んでいる位置（Ｘ軸）と交わる点から実写カメラｃａｍ＿２までの距離を示す。

Images