WO2012090398A1 - 画像撮像装置および画像提示システム - Google Patents

Abstract

　第１撮像部２０は、前方を撮像する。凸型反射部３３は、第１撮像部２０による光学系の結像面よりも後方に配置されて第１撮像部２０と光軸を共通にし、凸部が前方を向くように配置されており、少なくとも側面を写す。第２撮像部３０は、第１撮像部２０と光軸７を共通にし、凸型反射部３３に写る像を撮像する。画像処理部１２は、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像との解像度を調整し、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とのいずれか一方を鏡像反転してもう一方の映像と合成する。

Description

画像撮像装置および画像提示システム

　この発明は画像撮像装置および画像提示システムに関し、特に画像を広角に撮像する装置およびその装置を用いて撮像した画像の提示システムに関する。

　従来より、全方位の画像を撮像する装置が知られている。こうしたものの中には、広角カメラと湾曲する反射板を利用して撮像するカメラを組み合わせて撮像する方式のものも存在する（例えば、特許文献１参照）。

特開２０００－３２２５６４号公報

　従来の装置は、撮像した画像中に不連続な境界が存在するものがある。このような画像では、例えば大きな被写体を撮像する場合、映像中で本来ひとつであるべき被写体が分断される。また、動きのある被写体を動画で撮像すると、動画像中で本来滑らかな軌跡を描くべき被写体の動きが分断されて不連続となる。特に、分断の前後で被写体の動く向きが変わったように観察される映像となるものもあり、被写体の追跡がしにくくなる。

　このように、従来の装置ではひとつの映像として被写体を観察するためには、分断された映像を再構成する等、さらなる画像処理等が必要となる場合もあり、映像を広角に撮像する装置には改良の余地があると考えられる。

　本発明はこうした状況に鑑みてなされたものであり、その目的は、映像中に不連続な境界の少ない広角映像を撮像する技術を提供することにある。

　本発明のある態様は画像撮像装置である。この装置は、前方を撮像する第１撮像部と、前記第１撮像部による光学系の結像面の後方に配置されて前記第１撮像部と光軸を共通にする、少なくとも側面を写す凸型反射部であって、凸部が前方を向くように配置された凸型反射部と、前記第１撮像部と光軸を共通にする、前記凸型反射部に写る像を撮像する第２撮像部と、前記第１撮像部が撮像した映像と前記第２撮像部が撮像した映像との解像度を調整し、前記第１撮像部が撮像した映像と前記第２撮像部が撮像した映像とのいずれか一方を鏡像反転してもう一方の映像と合成する画像処理部とを含む。

　本発明の別の態様は画像提示システムに関する。このシステムは、上述の画像撮像装置と、前記画像撮像装置が生成する映像を投影する投影部と、前記投影部の映像を映し出す湾曲型スクリーンとを含む。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、サーバ、システム、光学系、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、映像中に不連続な境界の少ない広角映像を撮像する技術を提供することができる。

実施の形態に係る画像提示システムの概観を模式的に示す図である。 実施の形態に係る画像撮像装置の内部構成を模式的に示す図である。 図３（ａ）－（ｄ）は、実施の形態に係る画像撮像装置が合成した映像の例を模式的に示す図である。 図４（ａ）－（ｂ）は、合成した合成映像を、湾曲面を有する投影面に投影する様子を示す図である。 図５（ａ）－（ｂ）は、合成した合成映像を、湾曲面を有する投影面に投影する様子を示す別の図である。 実施の形態に係る画像撮像装置における処理手順を示すフローチャートである。 図７（ａ）－（ｃ）は、本発明の実施の形態に係る画像撮像装置が合成した映像の例である。 実施例により取得した合成映像の合成処理を模式的に示す図である。 実施例により取得した合成映像を投影するスクリーン形状の例である。 別の実施の形態に係る視覚センサの内部構成を模式的に示す図である。 別の実施の形態に係る画像撮像装置における処理手順を示すフローチャートである。

（実施の形態１）
　図１は、実施の形態１に係る画像提示システム２００の概観を模式的に示す図である。画像提示システム２００は、視覚センサ１０と画像処理部１２とを含む画像撮像装置１００と、表示部１４とを含む。図１は、画像提示システム２００を用いて、符号１で総称する被写体１ａ、１ｂ、１ｃ、１ｄおよび１ｅを撮像する様子を示す。詳細は後述するが、視覚センサ１０はふたつのカメラを含み、ふたつのカメラが独立に撮像した映像を画像処理部１２が合成し、その結果を表示部１４が表示する。図示はしないが、画像撮像装置１００には例えばキーボードやマウス等のユーザインタフェースが接続されており、画像処理部１２が利用する各種パラメータの変更を指示することができる。

　図２は、実施の形態１に係る画像撮像装置１００の内部構成を模式的に示す図である。画像撮像装置１００は、視覚センサ１０と画像処理部１２とを含む。

　視覚センサ１０は、第１撮像部２０としてのカメラおよび第２撮像部３０としてのカメラの計２台のカメラ、および凸型に湾曲する凸型反射部３３を含む。第１撮像部２０にはレンズ２１が取り付けられており、視覚センサ１０の正面の被写体を撮像する。したがって、以後本明細書において、レンズ２１が取り付けられた状態の第１撮像部２０を、単に「第１撮像部２０」と呼ぶ。視覚センサ１０の正面の被写体は第１撮像部２０により撮像され、撮像された映像は後述する画像処理部１２に送られる。

　第２撮像部３０は、第１撮像部２０と光軸７を共有するが、第２撮像部３０は第１撮像部２０の背後に背中合わせで設置されており、撮像する方向が１８０度異なる。以後、本明細書において第１撮像部２０の撮像する方向を「正面」、第２撮像部３０の撮像する方向を「後方」と呼ぶ。第２撮像部３０の後方には、凸型に湾曲する凸型反射部３３が光を透過するフレーム３２によって取り付けられており、第２撮像部３０は第１撮像部２０の視野外の被写体を含む映像を撮像する。視覚センサ１０の側面にある被写体は凸型反射部３３に反射した後に第２撮像部３０で撮像され、撮像された映像は後述する画像処理部１２に送られる。第１撮像部２０および第２撮像部３０は、例えばＣＣＤ（Charge Coupled Device）カメラ等の既知の技術を用いて実現できる。また凸型反射部３３は、例えば双曲面ミラーや半球ミラー等を用いて実現できる。

　凸型反射部３３も、第２撮像部３０と同様に、第１撮像部２０と光軸７を共有する。したがって、第１撮像部２０の光軸、第２撮像部３０の光軸、および凸型反射部３３の光軸は、全て共通の光軸７である。また、第１撮像部２０、第２撮像部３０、および凸型反射部３３は、第１撮像部２０による光学系の結像面よりも後方に凸型反射部３３が配置される位置関係となる。凸型反射部３３の凸部は正面の方向を向く。

　第１撮像部２０、第２撮像部３０、および凸型反射部３３を上述のように配置することにより、図２において、第１撮像部２０が前方の映像（符号５で示す範囲の映像）を撮影し、第２撮像部３０が、凸型反射部３３が映し出す側面の映像（符号６ａで示す範囲の映像）を撮像することになる。このように、第１撮像部２０と第２撮像部３０とがそれぞれ別の方向の映像を撮像することにより、互いに補完しあって、全体としていずれか一方の撮像部が撮像する映像よりも視野角の広い範囲の映像を撮像することが可能となる。

　なお、凸型反射部３３は、第２撮像部３０も当然に映し出すため、第２撮像部３０は凸型反射部３３に写る自身の映像も撮像することになる。第２撮像部３０は本来の撮像対象ではないため、符号６ａで示す側面の映像が、第２撮像部３０が撮影すべき実質的な撮像範囲の映像となる。この意味で、第２撮像部３０自身は凸型反射部３３が写す像の死角の要因となる。近年、撮像素子の小型化が急速に進んだことにより、第１撮像部２０や第２撮像部３０に利用するＣＣＤカメラも従来と比較して小型なものが利用できるようになった。このため、前述の死角も従来と比較して小さくすることができるようになった。そしてこの死角の範囲を含む映像を、第１撮像部２０が撮像する。

　ところで、第１撮像部２０が撮像する映像の解像度と第２撮像部３０が撮像する映像の解像度とは異なる場合がある。例えば、第１撮像部２０と第２撮像部３０とが同じ画素数の映像を生成するカメラである場合、第２撮像部３０は第１撮像部２０よりも広い範囲を撮像するため、結果として第１撮像部２０が撮像する映像の解像度と第２撮像部３０が撮像する映像の解像度とは異なるものとなる。さらに、第２撮像部３０は凸型反射部３３の反射像を撮像するため、仮に第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とに同じ被写体が写っていても、そのふたつの映像における被写体像は鏡像関係となる。

　そこで画像処理部１２は、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とに画像処理を施して合成映像を生成する。このため、画像処理部１２は鏡像反転部４２、合成部４３、鏡像反転部４２と合成部４３とに入力する映像を制御する制御部４１、および拡縮率取得部４４を含む。

　制御部４１は、提示方法記憶部４５と切換部４６とをさらに含む。切換部４６は、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とを取得する。第１撮像部２０および第２撮像部３０が動画像を生成する場合には、切換部４６は、第１撮像部２０および第２撮像部３０からフレーム単位でフレームレートに同期して映像を取得する。切換部４６は、提示方法記憶部４５から提示方法を取得し、第1撮像部２０または第２撮像部３０から取得した映像を鏡像反転部４２に出力する。なお、提示方法記憶部４５については後述する。

　鏡像反転部４２は、切換部４６から取得した映像を鏡像反転する。通常は切換部４６から出力された第２撮像部３０の映像が鏡像反転され、これにより、凸型反射部３３によって鏡像反転された映像を、鏡像反転されていない元の状態に戻すことができる。合成部４３は、切換部４６から第１撮像部２０が撮像した映像を取得し、鏡像反転部４２から第２撮像部３０が撮像した映像の鏡像反転像を取得する。また、合成画像を左右の反転した鏡像として取得する場合は、鏡像反転部４２は、切換部４６より第１撮像部２０の映像を取得し鏡像反転する。合成部４３は、切換部４６から第２撮像部３０が撮影した映像を取得し、鏡像反転部４２から第１撮像部２０が撮影した映像の鏡像反転像を取得する。合成部４３は次いで、取得したふたつの映像の解像度を調整する。

　具体例として、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とはともに、横のピクセル数が６４０、縦のピクセル数が４８０であるＶＧＡ（Video Graphics Array）サイズの映像であるとする。また、合成部４３が最終的に出力する映像もＶＧＡサイズであるとする。ここで第１撮像部２０が撮像した映像の撮像範囲は、第２撮像部３０が撮像した映像においては１６０×１２０ピクセルの映像に相当するとする。すなわち、第１撮像部２０が撮像した映像は第２撮像部３０が撮像した映像の４倍の解像度を持つ。このとき、合成部４３は第１撮像部２０が撮像した映像の縦横のサイズを４分の１に縮小して、第２撮像部３０が撮像した映像の解像度に合わせる。この縮小率は標準拡縮率として拡縮率取得部４４内の図示しない記憶部に格納されており、合成部４３は拡縮率取得部４４から標準拡縮率を読み出して使用する。

　前述したように、第１撮像部２０、第２撮像部３０、および凸型反射部３３は光軸７を共有する。したがって、第１撮像部２０が撮像した映像の中心と第２撮像部３０が撮像した映像の中心とは一致する。そこで、合成部４３は縮小した第１撮像部２０の映像の一部または全てを第２撮像部３０の映像の中央部に上書きしてひとつの合成映像を生成する。このとき、合成部４３は、提示方法記憶部４５から上書きする領域の大きさと形状を取得し、第２撮像部３０の映像の中央部に領域を設定するとともに、縮小した第１撮像部２０の映像から上書きするための映像を切り取る。これにより、上下左右１８０度の視野が撮像された、視野内の被写体の自然な遠近感を有した映像を合成することができる。また、凸型反射部３３の形状によっては反射鏡の後方にも撮像範囲が拡大し、１８０度を超える視野の撮像が可能になる。上書きする領域の大きさと形状および拡縮率の適切な調整により、合成映像は死角が少なく、不連続な境界も少ない。

　図１および図２に示す画像撮像装置１００およびその内部の構成は、ハードウェア的には、レンズや鏡等の光学系、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　図３（ａ）は、実施の形態に係る画像撮像装置１００が合成した映像の例を模式的に示す図であり、図１における被写体１を映す映像の例である。図３（ａ）において、第１撮像部２０によって撮像された視覚センサ１０の正面方向は、矩形領域１７の部分に撮像されている。また、凸型反射部３３によって反射され第２撮像部３０によって撮像された視覚センサ１０の上方と下方および側面の被写体は、矩形領域１７を除いた円形領域１６の部分に撮像されている。図３（ａ）において、映像内の上下左右方向は被写体１と画像撮像装置１００との位置関係と一致している。

　図３（ｂ）は、合成映像における矩形領域１７の占める割合と、矩形領域１７を除いた円形領域１６の占める割合との比率を変更して作成された合成映像である。図３（ｂ）に示す映像は、図３（ａ）に示す映像の中心部分が拡大された映像となっている。図２における拡縮率取得部４４は上述のユーザインタフェースと接続されており、画像撮像装置１００のユーザは、ユーザインタフェースを介して合成部４３が出力する合成映像の拡縮率を設定できるように構成されている。

　具体例として、前述した例と同様に、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像、および合成部４３が最終的に出力する映像がＶＧＡサイズの映像であるとする。拡縮率取得部４４が、ユーザから合成部４３が出力する画像縦横の拡縮率を２００％とすべき旨の指示を取得したとする。この場合、第１撮像部２０の撮像した映像である矩形領域１７は、３２０×２４０ピクセルの映像に相当することになる。そこで、合成部４３は、第１撮像部２０が撮像した映像の縦横のサイズを２分の１に縮小し、かつ第２撮像部３０が撮像した映像の縦横のサイズを２倍に拡大し、これらを合成する。続いて、合成部４３は合成映像の中心からＶＧＡサイズの映像を切り出して最終的な合成映像として出力する。

　このように、拡縮率取得部４４がユーザから合成映像の拡縮率を変更すべき旨の指示を取得した場合、合成部４３は第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像との解像度を再調整して合成映像を生成し直す。前述した標準拡縮率を用いて生成した合成映像を拡大する場合と比較して、質の高い映像を得られる点で有利である。第１撮像部２０が撮像した映像の縮小率が抑えられるので、元となる映像が持つ高周波成分をより多く残すことができるからである。

　図３（ｃ）および図３（ｄ）は、図３（ａ）に示す画像のうち、第１撮像部２０が撮像した映像の一部を切り取った上で合成した場合の映像を示す図である。図３（ｃ）は、第１撮像部２０の画像の縦横比が１：１となるよう正方形の映像を切り取って合成したものであり、上下方向と左右方向に視野角が同じ映像となる。また、図３（ｄ）は、第１カメラが撮像した映像を円形に切り取って合成したものであり、第２撮像部３０が撮像した映像の中心に存在する円形の死角領域を自然な形で補う映像となる。

　図１に示すように、表示部１４に表示された、合成部４３が合成した合成映像を観察することにより、ユーザは視野角の広い範囲の映像を撮像することができる。ここで合成映像を観察するためのデバイスは、モニタ等の平面形状である必要はなく、湾曲面状の構造物であってもよい。以下このことについて説明する。

　図４（ａ）は、合成部４３が合成した合成映像を、湾曲面を有する投影面の開口部に向けて投影する様子を示す図である。具体的には、画像処理部１２中の合成部４３が生成した映像を、プロジェクタ５０を用いて湾曲型スクリーン５４の開口部側に投影し、湾曲型スクリーン５４に投影された映像を投影する方向からユーザ６０が観察する様子を示す。視覚センサ１０の前方方向に離れた被写体１ほど、湾曲型スクリーン５４上においてユーザ６０から離れた場所に投影されるため、自然な奥行き感を提示できる点で有利である。

　図４（ｂ）は、合成部４３が合成した合成映像を、湾曲面を有する投影面の背面に向けて投影する様子を示す図である。図４（ａ）に示す場合と異なり、ユーザ６０は、投影する方向の反対の方向から湾曲型スクリーン５４を透過した映像を観察する。図４（ｂ）に示す場合も、図４（ａ）に示す場合と同様に、視覚センサ１０の前方方向に離れた被写体１ほど、湾曲型スクリーン５４上においてユーザ６０から離れた場所に投影されるため、自然な奥行き感を提示することが可能である。これに加えて、図４（ｂ）に示す場合は、映像の投影される湾曲型スクリーン５４の形状と、凸型反射部３３の形状とが類似する形状となる。このため、ひとたび凸型反射部３３によって歪曲した映像が、湾曲型スクリーン５４の凸型形状に投影することでいわば修正され、より自然な映像を提示することが可能となる。この意味において、第１撮像部２０が撮像した映像を映し出す場所に対応する湾曲型スクリーン５４の中心部は、曲率を持たない方が好ましい。ただし、凸型反射部３３が双曲面ミラーの場合は、その中央部分が平面に近似しやすい形状のため、双曲面を拡大した形状の湾曲面をスクリーンとして利用できる。このとき、光軸を含む断面において拡大した湾曲面の形状は多項式で近似できる。実際にスクリーンを構成する場合は４次の多項式で近似した曲線を用いることができる。さらに、双曲面を拡大した湾曲面の形状は半球に類似していることから、半球面をスクリーンとして利用することも可能である。

　ここで、図４（ｂ）に示す場合は、図４（ａ）の場合の映像を反対側から観察することになるため、図４（ａ）の場合の映像と図４（ｂ）の場合の映像とは鏡像関係になることに注意する。このため、図４（ｂ）に示すように湾曲型スクリーン５４の透過光を観察する場合には、切換部４６は、第１撮像部２０から取得した映像を鏡像反転部４２に出力する。また合成部４３は、切換部４６から取得した第２撮像部３０が撮像した映像と、鏡像反転部４２から取得した第１撮像部２０が撮像した映像の鏡像反転像との解像度を調整して合成する。これにより、プロジェクタ５０投影する映像は鏡像反転した映像となるため、結果としてユーザ６０が観察する映像は鏡像反転していない映像となる。

　このように、最終的な映像の提示方法をもとに、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とのいずれを鏡像反転するかを切換部４６が制御する。このため、提示方法記憶部４５は前述のユーザインタフェースと接続しており、ユーザから提示方法の情報を取得して記憶するように構成されている。以後、図４（ａ）に示すような提示方法を「投影型」、図４（ｂ）に示すような提示方法を「透過型」と呼ぶ。切換部４６は、提示方法記憶部４５から提示方法を取得し、取得した提示方法をもとに鏡像反転部４２および合成部４３に出力する映像を制御する。

　図５（ａ）は、合成部４３が合成した合成映像を湾曲型スクリーン５４の開口部の背面に向けて投影する様子を示す図である。また図５（ｂ）は、合成部４３が合成した合成映像を湾曲型スクリーン５４背面に向けて投影する様子を示す図である。図４（ｂ）の場合と同様に、図５（ｂ）の場合には、切換部４６は、第１撮像部２０から取得した映像を鏡像反転部４２に出力することで、ユーザ６０は鏡像反転していない映像を観察することが可能となる。

　図６は、実施の形態１に係る画像撮像装置１００における処理手順を示すフローチャートである。本フローチャートにおける処理は、画像撮像装置１００が撮像を開始したときに開始する。

　第１撮像部２０は、視覚センサ１０の前方の映像を撮像する（Ｓ２）。第２撮像部３０は、凸型反射部３３に反射された、視覚センサ１０の側面にある被写体を撮像する（Ｓ４）。続いて切換部４６は提示方法記憶部４５を参照して合成画像の提示方法を確認する。提示方法が投影型の場合（Ｓ６の投影型）、切換部４６は、第２撮像部３０が撮像した側面の映像を鏡像反転部４２に出力し、鏡像反転部４２は取得した側面の映像を鏡像反転する（Ｓ８）。提示方法が透過型の場合（Ｓ６の透過型）、切換部４６は、第１撮像部２０が撮像した前方の映像を鏡像反転部４２に出力し、鏡像反転部４２は取得した前方の映像を鏡像反転する（Ｓ１０）。

　合成部４３は、切換部４６が鏡像反転部４２に送らなかった映像と、鏡像反転部４２が出力した映像との解像度を調整して合成する（Ｓ１２）。プロジェクタ５０は、合成部４３が合成した合成映像を湾曲型スクリーン５４に出力する（Ｓ１４）。プロジェクタ５０が合成映像を出力すると、本フローチャートにおける処理は終了する。

　以下、実施の形態１に係る画像撮像装置１００についてのより詳細な構成例を説明する。

　図７は、本発明の実施の形態１における視覚センサ１０を含む画像撮像装置１００によって取得した映像の例である。図７に示す例においては、画像撮像装置１００の凸型反射部３３として直径３０ｍｍの双曲面ミラーを用いた。双曲面はその２つの焦点間の距離２ｃに対してｃ＝（ａ^２＋ｂ^２）^１／２を満たす定数ａとｂによりその形状が決まる。

　視覚センサ１０のレンズ２１には画角１２５度の広角レンズを用い、凸型反射部３３の双曲面ミラーは正面に５５度、後方に１０度の範囲で撮影が可能である。視覚センサ１０の視野は水平方向に２００度、垂直方向に１８０度となる。

　図７（ａ）は、第１撮像部２０が撮影した映像の例を示す図であり、図７（ｂ）は、第２撮像部３０の撮影した映像を鏡像反転部４２で反転した映像の例を示す図である。第１撮像部２０が撮影した映像３００ａと、第２撮像部３０の撮影した映像を鏡像反転部４２で反転した映像３００ｂはともに６４０×４８０ピクセルの映像である。図７（ｃ）は、合成部４３が合成した映像の例を示す図である。合成部４３において映像３００ａと映像３００ｂとを合成した合成映像３０２も、６４０×４８０ピクセルの映像である。

　合成映像３０２において、円形領域１６には映像３００ｂが撮像され、円形の死角部分１８が１６０×１６０ピクセルの正方形の矩形領域１７で上書きされている。また、矩形領域１７には映像３００ａの矩形領域１９の部分が切り取られ拡縮率０．４７で縮小されて上書きされている。

　視覚センサ１０の前方１．５ｍの位置には、高さ０．５ｍの１１本の被写体２ａから２ｋが配置されており、合成映像３０２では全ての被写体が撮像されている。一方、映像３００ｂにおいては中央の２ｆを除く１０本、映像３００ａでは中央付近に配置された２ｄから２ｈの５本と２ｃの一部のみが撮像されている。映像３０２より、合成映像により広視野の撮像が可能であり、不連続な部分の少ない自然な映像が取得されていることが確認できる。

　図８は、合成部４３により得られる合成映像３０２の合成処理を、光軸７を含む平面における投影として模式的に表したものである。第１撮像部２０の結像面４１０は、第１撮像部２０の投影中心４１１から距離ｆｗにあり、第２撮像部３０の結像面４２０は第２撮像部３０の投影中心４２１ｂから距離ｆｏにある。

　第１撮像部２０の投影中心４１１と第２撮像部３０の投影中心４２１ｂとの間に合成映像の結像面４３０を配置し、合成映像の投影中心４３１を第２撮像部３０の投影中心４２１ｂと一致させる。結像面４３０と投影中心４３１の距離をｆｚとし、第１撮像部２０の投影中心４１１との距離をｄとする。合成映像は、結像面４１０および結像面４２０の投影点を結像面４３０に再投影することにより得る。

　空間内の点Ｐ４１５および点Ｑ４２５の位置は、第１撮像部２０の投影中心４１１を原点として設定した座標系上で表す。この座標系のＺ軸は光軸７と平行で視覚センサ１０の正面方向を正として定め、Ｘ軸とＹ軸はそれぞれ結像面の横方向（幅方向）と縦方向（高さ方向）とに平行に定める。各結像面上には、光軸７との交点を原点とし、結像面の横方向にｘ軸、縦方向にｙ軸を定めた座標系を設定し、結像面上の投影点はこの座標系上の位置として表す。

　合成部４３は、まず、結像面４２０上の投影点を結像面４３０上に再投影する。ここで、第２撮像部３０の撮影した映像を等倍で用いる場合はｆｚ＝ｆｏとし、拡大縮小して用いる場合は拡縮率をＫｆとしてｆｚ＝Ｋｆ・ｆｏとする。空間内の点Ｑ４１６が結像面４２０上に投影された点４２２ａの位置を（ｘｏ，ｙｏ）と表すと、この点を（－Ｋｆ・ｘｏ，Ｋｆ・ｙｏ）として結像面４３０上に投影する。ここで、第２撮像部３０の撮影した映像は鏡像反転部４２により鏡像反転されているためｘ座標は符号が逆になる。

　次に、合成部４３は、第１撮像部２０が撮影した映像を縮小する。拡縮率をＫｗとしてｆｚに対する拡縮率Ｋｆに応じて調整し、空間内の点Ｐ４１５が画像面４１０上に投影された点４１２ａの位置を（ｘｗ，ｙｗ）と表すと、この点を（Ｋｗ・ｘｗ，Ｋｗ・ｙｗ）として映像を縮小する。

　最後に合成部４３は、提示方法記憶部４５より上書きする領域の大きさと形状を取得し、第１撮像部２０が撮影した映像を縮小して得た（Ｋｗ・ｘｗ，Ｋｗ・ｙｗ）のうち、上書きする領域に含まれるもののみを選び結像面４３０上に再投影して上書きする。以上の処理により映像３００ａと映像３００ｂから合成映像３０２が得られる。

　図９は、凸型反射部３３を構成する双曲面と、双曲面から導かれるスクリーンの形状の例を双曲面ミラーの２つの焦点を含む断面５００上に示したものである。ここに、双曲面から遠い焦点を原点５１０とした座標系を設定し、２つの焦点を結ぶ直線に沿ってｙ軸を、ｙ軸と直交するようｘ軸を定める。

　断面５００内において双曲面ミラーの形状はｙ＝ｂ・｛１＋（ｘ／ａ）^２｝^１／２＋ｂ＋ｃで表される曲線５０１に一致する。双曲面ミラーの直径が３０ｍｍであることから、曲線５０１においてミラーの外周部分のうち断面５００上に存在する２点と原点とを結ぶ直線は、図９における直線５０２ａおよび直線５０２ｂである。曲線５０１のうち直線５０２ａと直線５０２ｂとに囲まれる部分が双曲面ミラーの断面である。

　合成映像３０２内の円形領域１６は、凸型反射部３３である双曲面ミラー上の像を平面に結像することによって得られる。円形領域１６を原点５１０を投影点として曲線５０１から構成される湾曲型スクリーン５４に投影することにより、凸型反射部３３である双曲面ミラー上の像を再現できる。このとき、平面への結像時に生じた歪みが補正できる。また、双曲面ミラーの中央部分は比較的平坦であるため、合成映像３０２の矩形領域１７は、そのまま湾曲面に投影しても違和感の少ない投影映像となる。

　曲線５０３は、曲線５０１上の点（ｘ，ｙ）を７倍してえら得る点（７ｘ，７ｙ）をプロットした曲線である。曲線５０３のうち直線５０２ａと直線５０２ｂに囲まれた部分がスクリーンとして利用できる。

　曲線５０３は曲線５０１の相似形であることから、曲線５０１で構成される湾曲型スクリーン５４に投影された映像は曲線５０３で構成された湾曲型スクリーン５４上に拡大して投影することができる。このとき、このとき曲線５０１で構成される湾曲型スクリーン５４同様に、平面への結像時に生じた歪みが補正される。

　曲線５０３の直線５０２ａと直線５０２ｂに囲まれた部分は半円５０４の形状に類似している。したがって、半球のスクリーン上においても歪みの補正された合成映像の提示が可能である。

　以上の構成による動作は以下のとおりである。ユーザはまずユーザインタフェースを介して、画像撮像装置１００に合成画像の拡縮率と提示方法とを入力する。その後、画像撮像装置１００を用いて被写体を撮像すると、提示方法に応じて鏡像反転の有無が決定され、拡縮率にしたがった解像度の合成映像が出力される。

　以上説明したとおり、実施の形態１によれば、映像中に不連続な境界の少ない広角映像を自然な奥行き感とともに提示することが可能となる。

（実施の形態２）
　実施の形態２の概要を述べる。実施の形態２に係る画像撮像装置１００は、実施の形態１に係る画像撮像装置１００と同様に、あるカメラで前方の映像を撮像し、別のカメラで側方の映像を撮像した後に合成する。実施の形態２に係る画像撮像装置１００は、側方の映像を映し出す凸型反射鏡の鏡像反転像を、別の反射板を用いて光学的にさらに鏡像反転することにより、結果として鏡像反転のない映像を生成する。以下、実施の形態１と共通する事項については適宜省略あるいは簡略化して説明する。

　図１０は、実施の形態２に係る視覚センサ１０の内部構成を模式的に示す図である。実施の形態２に係る視覚センサ１０は、第１撮像部２０としてのカメラと第２撮像部３０としてのカメラとの計２台のカメラ、開口部付き凸型反射部３５、および平型反射部３６を含む。なお、実施の形態２に係る視覚センサ１０は、実施の形態１に係る画像処理部１２と同様の構成の画像処理部に接続される。

　開口部付き凸型反射部３５は、第１撮像部２０の後方に配置されて第１撮像部２０と光軸７を共有する。また、開口部付き凸型反射部３５は視覚センサ１０の前方および側方を写す凸型反射坂であり、反射板の中心部に開口部が形成されている。第１撮像部２０と開口部付き凸型反射部３５と間には平型反射部３６が設置され、平型反射部３６は開口部付き凸型反射部３５に写る像を写す。平型反射部３６は、光軸７と直交する向きに配置される。

　第２撮像部３０は、開口部付き凸型反射部３５の後方に配置されており、第１撮像部２０と光軸７を共有する。第２撮像部３０は、開口部付き凸型反射部３５の開口部をとおして平型反射部３６に写る像を撮像する。第１撮像部２０で撮像された映像と第２撮像部３０で撮像された映像とは、画像処理部１２に送られる。

　第１撮像部２０、第２撮像部３０、開口部付き凸型反射部３５、および平型反射部３６を上述のように配置することにより、図１０において、第１撮像部２０が前方の映像（符号５で示す範囲の映像）を撮影し、第２撮像部３０が、開口部付き凸型反射部３５が映し出した側面の映像（符号６ｂで示す範囲の映像）をさらに映し出す平型反射部３６の反射像を撮像することになる。視覚センサ１０の側面の映像は、開口部付き凸型反射部３５と平型反射部３６とで鏡像反転されるため、結果として第２撮像部３０が撮像する映像は鏡像反転していない映像となる。

　切換部４６は、提示方法記憶部４５を参照して、合成部４３が合成する合成映像の提示方法を確認する。提示方法が投影型の場合、切換部４６は、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とをともに、合成部４３に直接出力する。合成部４３は、切換部４６から取得したふたつの映像の解像度を調整して合成し、合成映像を出力する。

　提示方法が透過型の場合、切換部４６は、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とをともに、鏡像反転部４２に出力する。鏡像反転部４２は、切換部４６から取得したふたつの映像をそれぞれ鏡像反転して合成部４３に出力する。合成部４３は、鏡像反転部４２から取得したふたつの映像の解像度を調整して合成し、合成映像を出力する。

　図１１は、実施の形態２に係る画像撮像装置１００における処理手順を示すフローチャートである。本フローチャートにおける処理は、画像撮像装置１００が撮像を開始したときに開始する。

　第１撮像部２０は、視覚センサ１０の前方の映像を撮像する（Ｓ１６）。第２撮像部３０は、開口部付き凸型反射部３３に映し出した側面映像をさらに平型反射部３６が反射した映像を撮像する（Ｓ１８）。続いて切換部４６は、提示方法記憶部４５を参照して合成画像の提示方法を確認する。提示方法が透過型の場合（Ｓ２０の透過型）、切換部４６は、第１撮像部２０が撮像した前方の映像と第２撮像部３０が撮像した側面の映像とを鏡像反転部４２に出力し、鏡像反転部４２は取得したふたつの映像を鏡像反転する（Ｓ２２）。提示方法が投影型の場合（Ｓ２０の透過型）、切換部４６は、第１撮像部２０が撮像した前方の映像と第２撮像部３０が撮像した側面の映像とを鏡像反転部４２に出力しないで合成部４３に直接出力する。

　合成部４３は、切換部４６または鏡像反転部４２から出力したふたつの映像の解像度を調整して合成する（Ｓ２４）。プロジェクタ５０は、合成部４３が合成した合成映像を湾曲型スクリーン５４に出力する（Ｓ２６）。プロジェクタ５０が合成映像を出力すると、本フローチャートにおける処理は終了する。

　以上の構成による動作は以下のとおりである。ユーザはまずユーザインタフェースを介して、画像撮像装置１００に合成画像の拡縮率と提示方法とを入力する。その後、画像撮像装置１００を用いて被写体を撮像すると、提示方法に応じて鏡像反転の有無が決定され、拡縮率にしたがった解像度の合成映像が出力できる。

　以上説明したとおり、実施の形態２によれば、映像中に不連続な境界の少ない広角映像を自然な奥行き感とともに提示することが可能となる。

　以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　上記説明では、合成部４３が画像縮小する場合について説明したが、鏡像反転を実行する前に鏡像反転部４２が画像縮小を実行してもよい。鏡像反転すべき画像のサイズが小さくなるため、鏡像反転に要する計算量を抑制できる点で有利である。

　上記説明では、最終的な合成映像の提示方法をもとに、第１撮像部２０が撮像した映像と第２撮像部３０が撮像した映像とのどの映像を鏡像反転するかを制御部４１が制御する場合について説明したが、これに替えて、合成部４３が常に鏡像反転していない映像となるようにしておきつつ、鏡像反転が必要な場合にはプロジェクタ５０の手前に図示しない鏡像反転回路を設けたり、プロジェクタ５０が投影する映像を反射板を用いて鏡像反転した後、スクリーンに投影したりするようにしてもよい。

　上記説明では、視覚センサ１０が撮像した実在する被写体の映像を湾曲型スクリーン５４に投影する場合について説明したが、湾曲型スクリーン５４に投影する映像は、コンピュータで合成されたＣＧ（Computer Graphics）映像であってもよい。この場合、仮想的な３次元空間中に実施の形態１または実施の形態２に係る視覚センサ１０を仮想的に設置し、その視覚センサ１０が撮像する映像をシミュレーションによって生成することで実現できる。自然な奥行き感を持った３次元のゲームを提供したり、Ｘ線ＣＴ（Computed Tomography）で撮像した人体の３次元映像を用いて仮想的な内視鏡検査映像を提供したりすることができる点で有利である。

　７　光軸、　１０　視覚センサ、　１２　画像処理部、　１４　表示部、　２０　第１撮像部、　２１　レンズ、　３０　第２撮像部、　３２　フレーム、　３３　凸型反射部、３５　開口部付き凸型反射、　３６　平型反射部、　４１　制御部、　４２　鏡像反転部、　４３　合成部、　４４　拡縮率取得部、　４５　提示方法記憶部、　４６　切換部、　５０　プロジェクタ、　５４　湾曲型スクリーン、　１００　画像撮像装置、　２００　画像提示システム。

　この発明は画像撮像装置および画像提示システムに関し、特に画像を広角に撮像する装置およびその装置を用いて撮像した画像の提示システムに利用可能である。

Claims (4)

1. 　前方を撮像する第１撮像部と、
   　前記第１撮像部による光学系の結像面よりも後方に配置されて前記第１撮像部と光軸を共通にする、少なくとも側面を写す凸型反射部であって、凸部が前方を向くように配置された凸型反射部と、
   　前記第１撮像部と光軸を共通にする、前記凸型反射部に写る像を撮像する第２撮像部と、
   　前記第１撮像部が撮像した映像と前記第２撮像部が撮像した映像との解像度を調整し、前記第１撮像部が撮像した映像と前記第２撮像部が撮像した映像とのいずれか一方を鏡像反転してもう一方の映像と合成する画像処理部とを含むことを特徴とする画像撮像装置。
2. 　前方を撮像する第１撮像部と、
   　前記第１撮像部による光学系の結像面よりも後方に配置されて前記第１撮像部と光軸を共通にする、少なくとも側面の被写体を写す凸型反射部であって、中心部に開口部が形成されて凸部が前方を向くように配置された凸型反射部と、
   　前記第１撮像部と前記凸型反射部との間に配置され、前記凸型反射部に写る像を写す平型反射部と、
   　前記第１撮像部と光軸を共通にする、前記凸型反射部の開口部をとおして前記平型反射部に写る像を撮像する第２撮像部と、
   　前記第１撮像部の映像と前記第２撮像部の映像との解像度を調整し、前記第１撮像部の映像を前記第２撮像部の映像の中央部に上書きしてひとつの合成映像を生成する画像処理部とを含むことを特徴とする画像撮像装置。
3. 　前記画像処理部が出力する画像の拡縮率をユーザから取得する拡縮率取得部とをさらに含み、
   　前記画像処理部は、前記拡縮率取得部が拡縮率を取得した場合、前記第１撮像部の映像と前記第２撮像部の映像との解像度を再調整して合成映像を生成し直すことを特徴とする請求項１または２に記載の画像撮像装置。
4. 　請求項１から３のいずれかに記載の画像撮像装置と、
   　前記画像撮像装置が生成する映像を投影する投影部と、
   　前記投影部の映像を映し出す湾曲型スクリーンとを含むことを特徴とする画像提示システム。

Images