JP4385963B2 - 画像処理装置 - Google Patents

Description

本発明は、全方位画像などの周囲画像に基づいてパノラマ画像を生成する画像処理装置に関する。

従来より、３６０度の全方位画像（全周囲画像）に基づいてパノラマ画像を生成する画像処理装置が知られている。例えば、複数のカメラを用いるもの、魚眼カメラを用いるもの、全周囲カメラを用いるものなどがある。このような画像処理装置は、例えば監視カメラやロボットの誘導などの目的に用いられる。

図９〜図１２は従来の画像処理装置を説明するための図である。

図９は単一カメラの回転による複数回撮影タイプの画像処理装置を示す。すなわち、図９（Ａ）において、画角が９０度またはそれ以上の１つのカメラＣＭが回転可能に取り付けられており、カメラＣＭが１回転する間に複数回の撮影を行う。例えば、１回転の間に、順次９０度回転したときの時刻であるｔ１、ｔ２、ｔ３、ｔ４において合計４回の撮影を行うことによって、図９（Ｂ）〜（Ｅ）に示すように４つの画像ＦＤ１〜４が得られる。これらの画像ＦＤ１〜４を繋ぎ合わせることによって、１つのパノラマ画像が得られる。

図１０は複数カメラによる複眼撮影タイプの画像処理装置を示す。すなわち、図１０（Ａ）において、カメラＣＭと同様な４つのカメラＣＭ１〜４が、それぞれの撮影方向が順次９０度の方位差となるように配置されている。これら４つのカメラＣＭ１〜４によって、図１０（Ｂ）〜（Ｅ）に示すように４つの画像ＦＥ１〜４が同時に得られる。これらの画像ＦＥ１〜４を繋ぎ合わせることによって、１つのパノラマ画像が得られる。

図１１は凸面鏡によるミラー撮影タイプの画像処理装置を示す。すなわち、図１１（Ａ）において、凸面鏡ＴＫの下方にカメラＣＭ５が配置されており、凸面鏡ＴＫに映った全周の画像をカメラＣＭ５で撮影する。カメラＣＭ５からは、図１１（Ｂ）に示すような全方位の画像ＦＦ１が得られる。

図１２は超広角撮影タイプの画像処理装置を示す。すなわち、図１２（Ａ）において、カメラＣＭ６の前方に配置された魚眼レンズＧＬによって全周の画像を撮影する。カメラＣＭ６からは、図１２（Ｂ）に示すような全方位の画像ＦＧ１が得られる。

このように、従来の画像処理装置は、撮影によって得られた全方位の画像ＦＤ１〜４、ＦＥ１〜４、ＦＦ、ＦＧから、パノラマ画像を生成する。図１３にはパノラマ画像ＰＧ９の例が示されている。パノラマ画像ＰＧ９に基づいて、例えば、侵入者の検出や認証を行ったり、ロボットの移動方向や動作の決定を行なう。

通常、侵入者の認証やロボットの詳細な移動方向などの決定を行なうために必要な画質は比較的高い傾向にあるため、そのような高画質の画像を全周囲に対して同時に取得し、それを転送し、また出力するには、データ量が大きくなりすぎるという問題がある。したがって、実際には、パノラマ画像ＰＧ９については低解像度で作成してユーザに提示し、パノラマ画像ＰＧ９によって周囲の全体の状況を大まかにリアルタイムで把握できるようにするとともに、ユーザがパノラマ画像ＰＧ９上で指定した局所領域や、パノラマ画像ＰＧ９に対する画像処理で対象物体を検出した局所領域について、別途詳細画像を提示することが一般的である。

例えば、特許文献１には、ＰＴＺ動作によって得られる複数の画像を接続して広角画像を取得し、広角画像上でユーザが指定した位置をＰＴＺ動作により撮影することで任意の領域を拡大表示するシステムが開示されている。

また、特許文献２には、複数のカメラから得られる画像の圧縮率を画像の優先度に応じて決定し、限られた転送速度内で複数のカメラからの画像を同時に転送するようにしたシステムが開示されている。
特開２００３−２５９３４９ 特開平１０−２２４７７１

ところで、侵入物体をカメラによってリアルタイムで追尾しながら他の新たな物体の侵入をも常時監視したり、ロボットの次の移動や動作の決定のために必要な場所の画像を取得しながら周囲全体の環境把握をリアルタイムに行ないたいというニーズがある。このためには、検出された侵入物体やロボットの次の移動や動作の決定のために必要な場所といった、詳細な画像を取得したい領域と周囲全体との両方をリアルタイムに撮影することが必要になる。

図１１や図１２に示すようなタイプの全方位画像の取得方法では、全方位画像上の任意の局所領域ごとに画像の詳細度を変更することができないという問題がある。図９に示すタイプでは、全周囲の画像をリアルタイムで取得することが不可能である。また、図１０に示すタイプでは、個別にデータ量を制御することが行なわれておらず、入力される画像の数が多いためにデータ量が多くなってしまうか、または情報量を抑えるために詳細情報の必要な部分の画質も低下してしまうという問題がある。

上に述べた特許文献１においては、転送速度および処理速度の負荷および追尾物体の重要度を考慮した処理は行われておらず、複数の物体への対応についても考慮されていない。特許文献２においては、複数の画像を張り合わせて１枚にすることを想定しておらず、優先度の画像間の関係が考慮されていない。つまり、あたかも1 つのセンサで撮影したかのように周囲全体が滑らかに接続する画像をユーザに提示するものではなく、あるカメラで優先度が高かった場合にその周辺も優先度を高く設定するといったようなことは全く考慮されていない。

本発明は、上述の問題に鑑みてなされたもので、複数のカメラから出力される画像（画像データ）を限られた転送速度で転送しても、パノラマ画像および十分な画質の詳細画像を得ることを可能とすることを目的とする。

本発明に係る画像処理装置は、複数のカメラを含んで構成され、それぞれのカメラから得られる画像からなる周囲画像を取得する周囲画像取得手段と、前記それぞれのカメラから得られる画像に対して重みを決定する重み決定手段と、前記それぞれのカメラから得られる画像について、それぞれの画像に対して決定された重みおよびカメラの位置関係に基づいて、画像のデータ量を変更するためのパラメータをそれぞれ決定するパラメータ制御手段と、を有する。

前記周囲画像取得手段は、向きを変更することの可能な移動体に対して取り付けられており、前記重み決定手段は、前記移動体の向きを示す情報を用いて前記重みを決定する。

本発明によると、複数のカメラから出力される画像を限られた転送速度で転送しても、パノラマ画像および十分な画質の詳細画像を得ることが可能となる。

本実施形態においては、単一カメラの回転による複数回撮影タイプ、凸面鏡や魚眼レンズを用いるタイプの全周囲カメラではなく、複数カメラや多眼カメラを用いるタイプの周囲画像取得手段によって周囲画像を取得する。各カメラごとに、または各カメラから出力される画像ごとに、その重要度（重み）に応じてデータ量を制御する。これにより、データ転送が行われる経路の転送速度が限られていても、受け取り側において所望の局所領域の詳細画像と周囲画像との両方をリアルタイムで取得することが可能となる。

転送の際には、画像の重要度の高い領域の周辺についても重要度が高い可能性があるため、データ量の制御を行う際に、カメラ相互の位置関係をも考慮する。データ量の制御の方法は、画像の解像度、フレームレート、圧縮率、または階調方向のサンプリング数などを変更することで行う。また、画像の重要度の決定方法としては、オペレータのマニュアル指定によるもの、画像認識によって既知の対象物体、物体の既知の状態、移動物体、または侵入物体などを認識してその結果を利用するもの、向きを任意に変更可能な乗り物やロボットなどの装置に搭載した場合にその進行方向や部品の向きなどの方向に関する情報を利用するもの、などがある。

さらに、データ量の異なる画像を合成して全周囲の一続きのパノラマ画像を得る場合に、重要度の高い画像領域が中心部分にくるようにパノラマ画像を作成する。これによって、ユーザの関心が高いと思われる領域が見やすくなるようにパノラマ画像を提示することができる。

以下において図面を参照して説明する。

図１は本発明に係る実施形態の画像生成システム１を示すブロック図、図２はカメラＣＭから出力される画像ＦＥおよびその重みＭＭとパラメータＰＭの例を示す図である。

図１において、画像生成システム１は、サーバ３およびクライアント４からなる。サーバ３には、全方位画像取得部１１、重み決定部１２、パラメータ制御部１３、送信部１４、操作入力部１５、表示部１６、および画像認識部１７などが設けられている。クライアント４には、受信部２１、パノラマ画像作成処理部２２、表示部２３、印刷部２４、記録部２５、および図示しない操作入力部などが設けられている。

全方位画像取得部１１は、複数のカメラＣＭ１〜４を含んで構成される複眼撮影タイプの全方位カメラであり、３６０度の全方位画像を取得する。全方位画像取得部１１は、例えば図１０（Ａ）に示すように、それぞれの撮影方向が順次９０度の方位差となるように配置された４つのカメラＣＭ１〜４からなる。各カメラＣＭ１〜４からは、例えば、図１０（Ｂ）〜（Ｅ）に示すような４つの画像（画像データ）ＦＥ１〜４が出力され、全方位画像取得部１１に設けられた図示しないメモリに格納される。

これらのカメラＣＭ１〜４は、静止画を撮影するもの、動画を撮影するもの、両方を撮影するもののいずれであってもよい。つまり、画像ＦＥ１〜４は、静止画であってもよく、また動画であってもよい。

これらの画像ＦＥ１〜４を「全方位画像ＦＣ」と記載する。つまり、全方位画像ＦＣは、全方位画像を構成するための画像情報全体を意味し、１つの全方位画像として完成していなくてもよく、例えば全方位画像を構成するための断片的な画像の集合であってもよい。

なお、本実施形態では、３６０度の全周の画像である全方位画像ＦＣを周囲画像として用いたが、３６０度の全周ではなく、その一部、例えば３００度、１８０度などの周囲画像を用いてもよい。

図２をも参照して、重み決定部１２は、それぞれのカメラＣＭ１〜４から得られる画像ＦＥ１〜４に対して、それぞれ重み（重要度）ＭＭ１〜４を決定する。重みＭＭの決定に際しては、ユーザが操作入力部１５を操作してマニュアルによって設定することが可能である。また、ユーザが中心方位ＴＨを設定したときに、その中心方位ＴＨの情報を用いて重みＭＭを設定することも可能である。

例えば、ユーザが指定したカメラＣＭまたは画像ＦＥについては重みＭＭを最大とし、その画像ＦＥの両側に位置するカメラＣＭまたは画像ＦＥについては重みＭＭをそれよりも低減し、その他のカメラＣＭまたは画像ＦＥについては重みＭＭをさらに低減する。

例えば、ユーザが指定したカメラＣＭまたは画像ＦＥについては重みＭＭを「１」とし、その画像ＦＥの両側に位置するカメラＣＭまたは画像ＦＥについては重みＭＭを「０．５」とし、その他のカメラＣＭまたは画像ＦＥについては重みＭＭを「０．１」とする。また、例えば、それぞれ、「１」「０．６」「０．２」などとしてもよい。

また、画像認識部１７によって、各画像ＦＥ１〜４について、それぞれの画像内の被写体（対象物体）についての画像認識を行うことによって、重みＭＭを決定することも可能である。例えば、注目すべき対象物体Ｑが検出された場合に、その対象物体Ｑが含まれる画像ＦＥの重みＭＭを大きくする。対象物体Ｑのサイズを検出し、サイズが大きいほど重みＭＭを大きくする。対象物体Ｑの移動速度を検出し、移動速度が大きいほど重みＭＭを大きくする。また、対象物体Ｑのサイズや移動速度が大きい場合には、短時間のうちに対象物体Ｑが隣の画像ＦＥに移る可能性が高いので、その隣の画像ＦＥの重みＭＭを大きくする。また、この場合にその両隣の画像ＦＥの重みＭＭを大きくする。

また、対象物体Ｑなどを検出するためのセンサを設けておき、センサによる検出結果などによって重みＭＭを決定することも可能である。

さらに、後で述べるように、全方位画像取得部１１を、自走ロボットのように向きを変更することの可能な移動体に取り付けておき、その移動体の向きを示す情報に基づいて重みＭＭを設定することも可能である。

いずれにしても、重み決定部１２からは、それぞれの画像ＦＥ１〜４に対応付けられた重みＭＭ１〜４を示す情報が出力される。また、重みＭＭ１〜４を示す情報をそれぞれのカメラＣＭ１〜４と対応付けるようにすることも可能である。

パラメータ制御部１３は、それぞれのカメラＣＭ１〜４から得られる画像ＦＥ１〜４について、それぞれの画像ＦＥ１〜４またはカメラＣＭ１〜４に対して決定された重みＭＭ１〜４、およびカメラＣＭ１〜４の互いの位置関係に基づいて、それぞれパラメータＰＭ１〜４を決定する。

パラメータＰＭとして、解像度、フレームレート、圧縮率、または階調方向のサンプリング数などが用いられる。例えば、パラメータＰＭが解像度である場合には、解像度（画像サイズ）を低くすることによってデータ量を低減できる。パラメータＰＭが階調方向のサンプリング数である場合には、階調方向のサンプリング数（サンプリングビット）を減らすことによってデータ量を低減できる。例えば、階調方向のサンプリング数を「２」とすれば、２値の画像となってデータ量は大幅に削減される。階調方向のサンプリング数は、「８」「１６」「６４」「２５６」など、種々の値とすることができる。

また、パラメータＰＭがフレームレートである場合には、フレームレートを低くすることによってデータ量を低減できる。通常、フレームレートは「３０」であるが、これを例えば「１５」とすると、データ量は半分になる。その場合に、画像を再現する際に、例えば同じ画像を２回連続して用いることにより、元と同じフレームレートで再現することが可能である。

また、パラメータＰＭが圧縮率であれば、圧縮率を高くすることによってデータ量を低減できる。例えば、ＪＰＥＧやＭＰＥＧで用いられているＤＣＴ符号化を行う。ＤＣＴ符号化において、量子化テーブルの値を大きくすることでサンプリングを粗くし、これによって圧縮率を高くするよう制御できる。したがって、例えば、重みＭＭの値によって量子化テーブルの値を除算することにより、重みＭＭの低い画像ＦＥほど圧縮率を高くすることができる。他の圧縮方法においても、圧縮率を制御できるものであれば、重みＭＭと圧縮率との関係を予めテーブルなどに記述しておくことによって、画像データの圧縮度合いに反映させることができる。

なお、サーバ３に記録部を設け、パラメータ制御部１３から出力されるパラメータＰＭ１〜４および画像ＦＥ１〜４を種々の記録媒体に記録するようにしてもよい。

送信部１４は、パラメータ制御部１３で決定したパラメータＰＭ１〜４を用いて、それぞれの画像ＦＥ１〜４ごとに実際にデータ量の削減を行い、データ量の削減された画像ＦＥｄ１〜４をデータＤＴとしてクライアント４に向けて送信する。

すなわち、送信部１４には、データ量削減部１４１が設けられており、データ量削減部１４１において、パラメータ制御部１３が決定したパラメータＰＭ１〜４を用いて、各画像ＦＥ１〜４に対し、解像度変換処理、フレームレート変換処理、圧縮処理、または階調変更処理などを行い、画像ＦＥ１〜４のデータ量を削減する。送信部１４からは、データ量が削減された画像ＦＥｄ１〜４が出力される。なお、送信の際に必要に応じて暗号化処理などが行われることもある。

また、必要に応じて、パラメータＰＭまたは重みＭＭに関する情報、中心方位ＴＨおよび画角ＧＫ、その他の情報も、データＤＴとしてクライアント４に送信される。

操作入力部１５は、ユーザがマニュアル（手動）で操作することによって、各画像ＦＥ１〜４に対する重みＭＭなどを設定するための入力操作を行うことが可能である。操作入力部１５として、例えば、キーボード、マウス、ジョイスティック、カーソル移動のためのボタンなどが用いられる。

表示部１６は、液晶パネル、ＣＲＴ、その他の表示デバイスを用いて構成され、全方位画像ＦＣ、各画像ＦＥ１〜４、その他の画像、またはメッセージなどを表示面に表示可能である。ユーザがマニュアルによって重みＭＭなどを設定する際には、表示部１６に表示された画像ＦＥ１〜４を見ながら操作入力部１５を操作する。

画像認識部１７は、全方位画像ＦＣまたは各画像ＦＥ１〜４について画像認識を行い、対象物体Ｑなどを検出する。対象物体Ｑのサイズや移動速度などをも同時に検出する。画像認識部１７として、公知の種々の構成、処理方法、または回路などを用いることが可能である。

受信部２１は、サーバ３から送信された画像ＦＥｄ１〜４などのデータＤＴを受信する。また、画像ＦＥｄ１〜４について、画像ＦＥｄ１〜４が暗号化されていた場合には複号化処理を行う。

パノラマ画像作成処理部２２は、全方位画像ＦＣつまり画像ＦＥｄ１〜４の全部または一部から、所定の方位を中心位置とし且つ適当な画角のパノラマ画像ＰＧを作成する。パノラマ画像ＰＧは、例えば、画像ＦＥｄ１〜４のうちのデータ量の最も少ない画像を基準にして、そのデータ量に合わせて作成する。また、全体としてデータ量を低減するようにしてパノラマ画像ＰＧを作成する。なお、元の画像ＦＥｄ１〜４は、それ自体を詳細画像として単独で表示することが可能である。

表示部２３は、液晶パネル、ＣＲＴ、その他の表示デバイスを用いて構成され、作成されたパノラマ画像ＰＧ、詳細画像、その他の画像、メッセージなどを表示面に表示可能である。

印刷部２４は、作成されたパノラマ画像ＰＧ、詳細画像、その他の画像、メッセージなどを用紙に印刷する。記録部２５は、設定されたパノラマ画像ＰＧなどを、種々の記録媒体に記録する。記録媒体として、例えば、半導体メモリ、磁気ディスク、ＣＤ−ＲＯＭ、フレキシブルディスクなどが用いられる。

このように、本実施形態の画像生成システム１では、サーバ３において取得した全方位画像ＦＣについて、それを構成する画像ＦＥ１〜４についてそれぞれの重みＭＭを決定し、重みＭＭに応じて画像ＦＥ１〜４のデータ量の削減を行ってクライアント４に送信する。クライアント４においては、サーバ３から送られた画像ＦＥｄ１〜４を用いてパノラマ画像ＰＧを作成し、それを表示しまたは記録する。サーバ３からクライアント４に転送される画像ＦＥｄ１〜４は、画像ごとにその重要度に応じてデータ量が削減されている。したがって、全体として転送されるデータ量が低減され、画像ＦＥｄ１〜４を高速で転送することが可能であるとともに、重要な画像ＦＥについてはデータ量が削減されないかまたは削減の程度が小さいので、十分な画質を確保することができる。

したがって、画像ＦＥを限られた転送速度で転送する場合であっても、クライアント４において、画像ＦＥからパノラマ画像ＰＧを作成することができるとともに、注目領域についても十分な画質の詳細画像が得られる。

サーバ３およびクライアント４として、種々の半導体デバイスや電子機器から構成され、適当なプログラムをＣＰＵ（中央処理装置）が実行することによってそれらの機能を実現するように構成された専用機が用いられる。また、これらのいずれかまたは両方に、適当なプログラムが格納されたパーソナルコンピュータを用いることも可能である。サーバ３とクライアント４とは、互いに接近して一体的に設けられていてもよく、また互いに離れて独立して設置されていてもよい。サーバ３とクライアント４とは適当なケーブルやバス電極などで接続しておけばよい。サーバ３とクライアント４とが離れている場合には、それらの間を、適当なケーブル、専用回線、ＬＡＮ、ＷＡＮ、またはインターネットなどで接続することが可能である。

また、サーバにおいて、パノラマ画像ＰＧを表示し記録してもよい。スタンドアローンなどのシステム構成としてもよい。
〔変形例〕
図３は本発明に係る画像生成システムの変形例を示すブロック図、図４は画像ＦＥ１〜４について設定された中心方位ＴＨおよび画角ＧＫの例を示す図、図５は作成されたパノラマ画像ＰＧの例を示す図である。なお、図３において、図１と同じ機能を有する部分には同じ符号を付して説明を省略しまたは簡略化する。

図３に示すように、画像生成システム１Ｂにはパノラマ画像端設定部１８が設けられている。

パノラマ画像端設定部１８は、全方位画像取得部１１により取得される全方位画像ＦＣに対して、その中心方位ＴＨおよび画角ＧＫを設定するためのものである。中心方位ＴＨおよび画角ＧＫの設定に際しては、ユーザが操作入力部１５を操作してマニュアルによって設定することが可能である。また、画像認識部１７によって、全方位画像ＦＣまたは各画像ＦＥ１〜４について、画像内の被写体（対象物体）についての画像認識を行うことによって、中心方位ＴＨおよび画角ＧＫを自動的に設定することも可能である。

また、各画像ＦＥ１〜４の重みＭＭ１〜４に応じて、中心方位ＴＨおよび画角ＧＫを自動的に決定することも可能である。具体的には、例えば、重みＭＭの大きい画像ＦＥｄが中心方位ＴＨに含まれるようにする。また、重みＭＭが所定値よりも大きい画像ＦＥｄが含まれるように画角ＧＫを決定する。

さらに、後で述べるように、全方位画像取得部１１を、自走ロボットのように向きを変更することの可能な移動体に対してそれ自体の向きを変更可能に取り付けておき、移動体の向きを示す情報に基づいて、中心方位ＴＨおよび画角ＧＫを自動的に設定することも可能である。

また、対象物体Ｑを検出するためのセンサを別途設けておき、センサによって対象物体Ｑの方位、位置、またはサイズなどを検出し、検出結果に基づいて中心方位ＴＨおよび画角ＧＫなどを自動的に設定するようにしてもよい。そのようなセンサとして、例えば、赤外線センサや超音波センサなどの公知の種々のセンサを用いることが可能である。

これら種々の方法を切り替えて中心方位ＴＨおよび画角ＧＫを設定することが可能であり、また、これら種々の方法を適当に組み合わせて中心方位ＴＨおよび画角ＧＫを設定することも可能である。

いずれにしても、パノラマ画像端設定部１８からは、設定された中心方位ＴＨおよび画角ＧＫを示す情報が出力される。

送信部１４は、設定された中心方位ＴＨおよび画角ＧＫを含むデータＤＴをクライアント４Ｂに送信する。

受信部２１は、サーバ３Ｂから送信された中心方位ＴＨおよび画角ＧＫを含むデータＤＴを受信する。

パノラマ画像作成処理部２２は、受信した中心方位ＴＨおよび画角ＧＫに基づいて、パノラマ画像ＰＧを作成する。つまり、画像ＦＥｄ１〜４について、パノラマ画像端設定部１８により設定された中心方位ＴＨを中心位置とし、且つ画角ＧＫに対応する範囲の画像を抽出し、パノラマ画像ＰＧを作成する。

図４に示す全方位画像ＦＣ１では、中央左寄りに位置する人物である対象物体Ｑが、その他の物体Ｑ１〜３とともに写っている。このような全方位画像ＦＣ１に対して、ユーザが操作入力部１５を操作するなどによって、中心方位ＴＨおよび画角ＧＫを設定（指定）することができる。

すなわち、図４に示すように、例えば操作入力部１５を操作しパノラマ画像端設定部１８によって中心方位ＴＨ１および画角ＧＫ１を設定する。パノラマ画像作成処理部２２は、設定された中心方位ＴＨ１および画角ＧＫ１に対応して、全方位画像ＦＣ１から図５（Ａ）に示すパノラマ画像ＰＧ１を作成する。

図５（Ａ）に示すパノラマ画像ＰＧ１では、設定された中心方位ＴＨ１がパノラマ画像ＰＧ１の中心位置となり、設定された画角ＧＫ１がパノラマ画像ＰＧ１の画角ＧＫ１となっている。これによって、ユーザが意図した対象物体Ｑがパノラマ画像ＰＧ１の中心位置にきている。したがって、ユーザは、対象物体Ｑを観察し易くなる。

なお、図５（Ａ）に示すパノラマ画像ＰＧ１が表示されているときに、クライアント４Ｂにおいて操作入力部をユーザが操作し、拡大表示を指定すると、表示部２２には詳細画像が表示される。これによって、対象物体Ｑが例えば侵入者であるか否かをより的確に判断することができる。

図４において、全方位画像ＦＣ１に対して中心方位ＴＨ１および画角ＧＫ２を設定すると、その画角ＧＫ２に対応して、図５（Ｂ）に示すパノラマ画像ＰＧ２が作成される。また、図４において、中央の２つの画像ＦＡ２とＦＡ３との間を中心方位ＴＨ４として指定し、２つの画像ＦＡ２，３を含む範囲を画角ＧＫ４として設定すると、それに対応して図５（Ｃ）に示すパノラマ画像ＰＧ３が作成される。

図５（Ｃ）に示すパノラマ画像ＰＧ３では、設定された中心方位ＴＨ４が中心位置とされ、設定された画角ＧＫ４がパノラマ画像ＰＧ４の画角ＧＫ４となっている。これによって、対象物体Ｑは、パノラマ画像ＰＧ３の中心位置ではないものの、対象物体Ｑの全体が分断されることなく写っている。

なお、中心方位ＴＨおよび画角ＧＫの指定に際して、表示部１６の表示面には、それぞれの全方位画像ＦＣを表示すればよく、これとともに、中心方位ＴＨや画角ＧＫを示す矢符、記号、中心線、または寸法線などを適所に表示してもよい。また、画角ＧＫを示すのに、画角ＧＫの濃度や色を他と変えたりすることによって強調表示してもよい。また、これらの表示とともに、中心方位ＴＨや画角ＧＫを数値で表示してもよい。
〔他の実施形態〕
次に、サーバ３，３Ｂを移動体に搭載した場合の例について説明する。

図６は走行ロボット５１にサーバ３を搭載した場合の概観を示す図、図７は得られたパノラマ画像ＰＧ５，６の例を示す図、図８は得られたパノラマ画像ＰＧ７，８の例を示す図である。

図６において、走行ロボット５１は、本体５２、および本体５２に設けられた４つのタイヤ５３などからなる。タイヤ５３は正転または逆転方向の駆動回転し、また回転速度の制御も行われ、舵を取りながら自走することができる。本体５２の上部には、全方位画像ＦＣを取得するための全方位カメラＣＭＺ（カメラＣＭ１〜４）、および、詳細画像を取得するためのメインカメラＣＭＭが搭載されている。メインカメラＣＭＭは、人型ロボットの場合には首の機能を果たし、乗物の場合には、全方位カメラＣＭＺよりも詳細な画像を取得することができる。これらのカメラＣＭＺ，ＣＭＭは、次の２種類のいずれかの取り付け方法で本体５２に取り付けられる。
（１） メインカメラＣＭＭと全方位カメラＣＭＺとが一体化された状態で、本体５２に回転可能に取り付けられている。本体５２の正面や進行方向とメインカメラＣＭＭおよび全方位カメラＣＭＺの向きとがメカ的に独立しているタイプ。
（２） 全方位カメラＣＭＺが本体５２に一体化されて取り付けられており、同じ部位にメインカメラＣＭＭが回転可能に取り付けられている。メインカメラＣＭＭの向きと全方位カメラＣＭＺの向きとがメカ的に独立しているタイプ。

この２通りがある。図７は（１）のタイプによる場合であり、図８は（２）のタイプによる場合である。

走行ロボット５１は、道路ＤＲを走行しており、したがって道路ＤＲの前方が正面であり進行方向でもある。前方でクロスする道路を走行しているトラックを、メインカメラＣＭＭが対象物体Ｑとしてとらえたとする。図７（Ａ）に示すパノラマ画像ＰＧ５は、メインカメラＣＭＭの向きを中心方位ＴＨとして作成したものである。この場合に、対象物体Ｑを拡大して見るためにパノラマ画像ＰＧ５を拡大すると、図７（Ｂ）に示すパノラマ画像ＰＧ６となる。

図７（Ｂ）に示すパノラマ画像ＰＧ６では、対象物体Ｑは中心位置にあり拡大されて見やすいが、正面である道路ＤＲは一層右方に寄ってしまい、見にくくなる。つまり、この場合には、進行方向または正面を常にパノラマ画像ＰＧ５，６の中心位置とするようにならないので、正面である道路ＤＲを注視したい場合に対応できない。

そこで、本実施形態では、上に説明したように、種々の方法で中心方位ＴＨおよび画角ＧＫを任意に設定する。例えば、操作入力部１５を操作することによって、道路ＤＲの方向を中心方位ＴＨとして設定する。対象物体Ｑを注視したい場合には対象物体Ｑを中心方位ＴＨとして設定する。

また、走行ロボット５１の走行方向（進行方向）を中心方位ＴＨとして自動的に設定する。画像認識などによって対象物体Ｑを検出し、対象物体Ｑの方向を中心方位ＴＨとして設定する。必要に応じて、中心方位ＴＨの設定方法を切り替える。

図８（Ａ）に示すパノラマ画像ＰＧ７は、走行ロボット５１の走行方向を中心方位ＴＨとして作成したものである。この場合には、対象物体Ｑを拡大して見るためにパノラマ画像ＰＧ７を拡大すると、図８（Ｂ）に示すパノラマ画像ＰＧ８となる。

図８（Ｂ）に示すパノラマ画像ＰＧ８では、道路ＤＲは中心位置にあり拡大されて見やすいが、対象物体Ｑは一層左方に寄ってしまい、見にくくなる。つまり、この場合には、メインカメラＣＭＭで追尾する対象物体Ｑをパノラマ画像ＰＧの中心位置にもってくるといったことができない。メインカメラＣＭＭの注目領域の位置がパノラマ画像ＰＧ７，８の中で変化するので、注目領域付近が見辛い。

そこで、本実施形態では、上に説明したように、種々の方法で中心方位ＴＨおよび画角ＧＫを任意に設定する。例えば、操作入力部１５を操作することによって、対象物体Ｑまたは道路ＤＲの方向を中心方位ＴＨとして設定する。

また、上と同様に、走行ロボット５１の走行方向を中心方位ＴＨとして設定し、または画像認識などによって対象物体Ｑの方向を中心方位ＴＨとして設定する。

このように、パノラマ画像ＰＧの中心位置を任意に設定可能とすることにより、目的に合った見やすい画像を得ることができる。また、画像を拡大した場合でも、注目領域が端に寄ってしまったり視野から外れてしまうといったことを防ぐことが可能である。

そして、このようにして設定された中心方位ＴＨに基づいて、各画像ＦＥ１〜４の重みＭＭ１〜４を設定することが可能である。対象物体Ｑを検出した方向を向いたカメラＣＭ１〜４の重みＭＭを大きくする。

また、上述の（１）のタイプによる場合に、可動ユニット（全方位カメラＣＭＺおよびメインカメラＣＭＭ）が回転した場合でも、走行ロボット５１の進行方向を写すカメラＣＭ１〜４を各時刻において特定し、その方向の近辺の重みＭＭを常に高くするようにパラメータＰＭを設定することも可能である。この場合に、進行方向の検出方法として、各カメラＣＭ１〜４で進行方向に関するランドマークや道路などを検出してカメラＣＭ１〜４を特定してもよいし、可動ユニットまたは全方位カメラＣＭＺと本体５２との回転角度を測定したり、方位センサを利用してもよい。

上述の（２）のタイプによる場合に、可動ユニット（メインカメラＣＭＭ）と本体５２または全方位カメラＣＭＺとの相対的な回転角度を知ることで、検出された対象物体Ｑの方向などの任意の方向を写すカメラＣＭの画像の重みＭＭを大きくすることが可能である。そして、上にも述べたように、各カメラＣＭの重みＭＭ１〜４を元に、カメラＣＭ１〜４間の位置関係を考慮して、最終的にパラメータＰＭが決定される。

上述の実施形態において、全方位画像取得部１１として、例えば水平方向の３６０度の全周の画像をとるのではなく、全方向の全周の画像をとる全天球タイプのものを用いることも可能である。

その他、全方位画像取得部１１、重み決定部１２、パラメータ制御部１３、パノラマ画像端設定部１８、パノラマ画像作成処理部２２、サーバ、クライアント、画像生成システムなどの全体または各部の構造、構成、形状、寸法、個数、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。

本発明は、探索用ロボットまたは救助用ロボットなどに用いる画像処理装置として利用することが可能である。

本発明に係る実施形態の画像生成システムを示すブロック図である。 カメラから出力される画像およびその重みとパラメータの例を示す図である。 本発明に係る画像生成システムの変形例を示すブロック図である。 画像について設定された中心方位および画角の例を示す図である。 作成されたパノラマ画像の例を示す図である。 走行ロボットにサーバを搭載した場合の概観を示す図である。 得られたパノラマ画像の例を示す図である。 得られたパノラマ画像の例を示す図である。 単一カメラの回転による複数回撮影タイプの画像生成装置を示す図である。 複数カメラによる複眼撮影タイプの画像生成装置を示す図である。 凸面鏡によるミラー撮影タイプの画像生成装置を示す図である。 超広角撮影タイプの画像生成装置を示す図である。 パノラマ画像の例を示す図である。

符号の説明

１，１Ｂ 画像生成システム（画像処理装置）
３，３Ｂ サーバ
４，４Ｂ クライアント
１１ 全方位画像取得部（周囲画像取得手段）
１２ 重み決定部（重み決定手段）
１３ パラメータ制御部（パラメータ制御手段）
１４ 送信部（データ出力手段）
１５ 操作入力部（入力手段）
１７ 画像認識部
１８ パノラマ画像端設定部（パノラマ画像端設定手段）
２２ パノラマ画像作成処理部（パノラマ画像作成手段）
２３ 表示部（表示手段）
５１ 走行ロボット（移動体）
１４１ データ量削減部（データ量変更手段）
ＣＭ１〜４ カメラ
ＭＭ１〜４ 重み
ＰＭ パラメータ
ＴＨ 中心方位
ＧＫ 画角
ＦＣ 全方位画像（周囲画像）
ＰＧ パノラマ画像

Claims (1)

1. 複数のカメラを含んで構成され、それぞれのカメラから得られる画像からなる周囲画像を取得する周囲画像取得手段と、
   前記それぞれのカメラから得られる画像に対して重みを決定する重み決定手段と、
   前記それぞれのカメラから得られる画像について、それぞれの画像に対して決定された重みおよびカメラの位置関係に基づいて、画像のデータ量を変更するためのパラメータをそれぞれ決定するパラメータ制御手段と、を有し、
   前記周囲画像取得手段は、向きを変更することの可能な移動体に対して取り付けられており、
   前記重み決定手段は、前記移動体の向きを示す情報を用いて前記重みを決定する、
   ことを特徴とする画像処理装置。