JP6512787B2 - 画像処理装置、画像処理方法、撮像装置 - Google Patents

Description

本発明は、パノラマ画像の表示技術に関するものである。

従来から、全方位ミラー又は魚眼レンズ等を用いて、撮像装置のパン方向について全周囲を一度に撮影することができる撮像装置が知られている。ユーザは、このような撮像装置で撮像された画像を、ディスプレイなどの表示装置上で確認することができる。

特許文献１には、ディスプレイに全周囲画像を展開したパノラマ画像を表示する際に、パノラマ画像を複数の分割画像に分割して表示する表示装置が開示されている。全方位ミラー又は魚眼レンズ等を用いて、撮像装置のパン方向について全周囲を一度に撮影した環状の撮像画像を図１２（ａ）に示す。また、撮影画像を複数のパノラマ画像に展開し、該パノラマ画像を２枚の分割画像に分割して表示した例を図１２（ｂ）に示す。

図１２（ｂ）の分割画像１２０５は、図１２（ａ）に示した環状画像１２０１の上半分部分１２０２の撮影領域に対応する画像である。また図１２（ｂ）の分割画像１２０６は、図１２（ａ）に示した環状画像１２０１の下半分部分１２０３の撮影領域に対応する画像である。特許文献１では、被写体の上下左右が表示画面上で同じ方向を向くようにして、分割画像１２０５及び分割画像１２０６が表示される。

特開２０１１−２４４１１６号公報

従来の方法では、撮像画像の第１の分割画像に映った被写体の位置と、該撮像画像の第２の分割画像に映った被写体の位置と、の関係が把握しづらいという課題があった。例えば、図１２（ａ）に示される被写体１２０４と被写体１２１０との相対位置が、図１２（ｂ）の表示態様では把握しづらくなるという課題があった。例えば、図１２（ａ）の例において、被写体１２０４が点線で示される軌跡１２０７に従って移動することは、図１２（ｂ）に示した分割画像１２０５及び１２０６では、被写体１２０４は軌跡１２０８に従って移動することに相当する。このとき、分割画像１２０５では左下方向に向かって移動していたにも関わらず、分割画像１２０６では右上の方向に向かって位置１２０９に向かって移動する。このように、各分割画像における被写体の相対関係が把握しづらいために、ユーザに違和感を生じさせる場合があった。

本発明はこのような問題に鑑みてなされたものであり、円形若しくは環状の撮像画像に写っているオブジェクトの位置関係等を把握しやすくするための技術を提供する。

本発明の一様態は、円形若しくは環状の撮像画像を、該撮像画像の中心位置を含む線分で第１の分割画像と第２の分割画像とに分割する分割手段と、
前記第１の分割画像と、前記第２の分割画像に基づいて生成したパノラマ画像と、を含む表示画像を生成する生成手段と、
前記生成手段が生成した前記表示画像を表示手段に表示させる表示制御手段と
を備え、
前記表示制御手段は、前記第１の分割画像が前記第２の分割画像と分割された境界領域と前記パノラマ画像における前記撮像画像の中心に対応する領域とが対向し又は接するようにして並べて前記表示手段に表示させることを特徴とする。

本発明の構成によれば、円形若しくは環状の撮像画像に写っているオブジェクトの位置関係等を把握しやすくすることができる。

システムの構成例を示すブロック図。 撮像画像の一例を示す図。 表示画像の一例を示す図。 ユーザインターフェース３０４ａ、３０４ｂを説明する図。 ユーザインターフェース３０５を説明する図。 ユーザインターフェース３０６を説明する図。 撮像装置１００が行う処理のフローチャート。 第２の実施形態を説明する図。 撮像装置１００が行う処理のフローチャート。 表示画像の表示例を説明する図。 システムの構成例を示すブロック図。 従来技術を説明する図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、魚眼レンズを用いて周囲を撮像することで環状の撮像画像を取得する撮像装置について説明する。先ず、本実施形態に係る撮像装置を含むシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１００と、ＰＣ（パーソナルコンピュータ）やタブレット端末装置等のコンピュータ機器１１０と、を有している。撮像装置１００はコンピュータ機器１１０に対して、無線若しくは有線のネットワークを介して接続されており、該ネットワークを介して互いにデータ通信が可能な状態となっている。

先ず、撮像装置１００について説明する。

レンズ群１０１は、外界の光を後段の撮像素子１０２に導くためのものであり、１８０°の画角をもったレンズ群である。然るに、撮像装置１００を天井に設置した場合には、３６０°の範囲が撮像可能となる。本実施形態では、このレンズ群１０１は、魚眼レンズであるものとして説明するが、周囲を撮像可能な機構、例えば、全方位を撮像可能な機構であれば良く、例えば、魚眼レンズの代わりに全方位ミラーを用いても構わない。

撮像素子１０２は、レンズ群１０１を介して入光した光をディジタル画像信号（ＲＡＷ画像を表すディジタル画像信号）に変換するものであり、該ディジタル画像信号は後段の増幅器１０３に入力される。

増幅器１０３は、撮像素子１０２から出力されたディジタル画像信号を規定の信号レベルを有するディジタル画像信号に増幅し、該増幅したディジタル画像信号を後段の画像処理部１０４に対して送出する。

なお、外界の光をディジタル画像信号に変換して画像処理部１０４に入力するための機構については従来から様々な機構が存在しており、本実施形態では、同様の目的を達成することができるのであれば、如何なる機構を採用しても構わない。また、ディジタル画像信号は、動画像を構成する各フレームの画像のディジタル画像信号であっても構わないし、静止画像のディジタル画像信号であっても構わない。

次に、画像処理部１０４について説明する。

現像部１０５は、増幅器１０３から送出されたディジタル画像信号が表すＲＡＷ画像に基づいて周知の現像処理を行うことで、１枚の撮像画像（例えばＲＧＢカラー画像）を生成する。なお、撮像画像の生成の際には周知の通り、色相、彩度、コントラストの調整処理やノイズ除去処理などが適宜行われる。このようにして生成された撮像画像は、例えば図２に示す如く、全方位３６０°を撮像した環状の画像２０１となる。以下では、現像部１０５により図２に示した画像２０１が生成されたものとして説明する。そして現像部１０５は、このようにして生成した撮像画像を、後段の切り出し部１０６に対して送出する。

切り出し部１０６は、現像部１０５から送出された撮像画像を、該撮像画像の中心位置からＮ（Ｎは２以上の自然数）方向に伸びる直線で分割することで、Ｎ個の分割画像を生成する。また、直線とは切り出し方向に従った隣接する画素群を繋いだものを表す。また、これは直線には限らず、切り出し方向にほぼ対応した線分であれば十分である。本実施形態ではＮ＝２とするが３以上の方向で分割するようにしてもよい。２方向で切りだす場合、切り出し部１０６は、現像部１０５から送出された撮像画像を、該撮像画像の中心位置から第１の方向に伸びる直線及び該中心位置から第２の方向に伸びる直線で分割して２つの分割画像を生成することになる。第１の方向の初期値（初期方向）は、図２に示す如く、撮像画像２０１の中心位置２５０から０°の方向（水平右方向）、第２の方向の初期値（初期方向）は、図２に示す如く、中心位置２５０から１８０°の方向（水平左方向）である。然るに、第１の方向及び第２の方向が初期状態である場合には、撮像画像２０１は、中心位置２５０から０°の方向に伸びる直線（図中点線）及び中心位置２５０から１８０°の方向に伸びる直線（図中点線）で分割され、その結果、上半分の分割画像２０２と下半分の分割画像２０３とが生成されることになる。この第１の方向及び第２の方向は、後述するユーザインターフェースによって制御される。

画像表示部１０７は、切り出し部１０６によって分割されたそれぞれの分割画像のうち１つを選択分割画像として選択し、該選択分割画像に基づいて周知の技術でもってパノラマ画像を生成する。２つの分割画像のうちの何れを選択分割画像として選択するのかについては、別段取り決めはないが、本実施形態では、第１の方向に伸びる直線を右側の辺の一部、第２の方向に伸びる直線を左側の辺の一部、とする分割画像を選択分割画像として選択する。そして画像表示部１０７は、パノラマ画像、切り出し部１０６によって分割されたそれぞれの分割画像のうち選択分割画像以外の分割画像、後述する様々なユーザインターフェース、を含む表示画像を生成する。画像表示部１０７は、切り出し部１０６の分割処理により得られる複数の分割画像のうちの一つの分割画像を補正して、該一つの分割画像を撮像するための画角に対応する撮像範囲についてのパノラマ画像を生成する。

画像表示部１０７が生成する表示画像の一例を図３に示す。表示画像３０８は、第１の方向及び第２の方向が初期状態である場合に生成された表示画像であり、然るにパノラマ画像３０２は、上半分の分割画像２０２に基づいて生成されたパノラマ画像である。画像３０３は、下半分の分割画像２０３であり、図３に示す如く、パノラマ画像３０２と画像３０３とを隣接させて上下に並べて配置している。なお、パノラマ画像３０２や画像３０３は、例えばパノラマ画像３０２の水平サイズと、画像３０３の水平サイズ（直径）と、が一致するように適宜リサイズしても構わない。ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６の機能については後述する。そして画像表示部１０７は、このような表示画像を生成すると、該表示画像を後段のネットワーク部１０９に対して送出する。例えば、画像表示部１０７は、１つの撮像画像から第１の分割画像を生成する。また画像表示部１０７は、該１つの撮像画像から第２の分割画像を生成する。ここで第１の分割画像と第２の分割画像は、撮像画像の中心から伸びる１本の直線によって分割される場合について説明する。画像表示部１０７は、第１の分割画像と、第２の分割画像に基づいて生成したパノラマ画像とが並べて表示部に表示されるように表示制御する。例えば、第１の分割画像における第２の分割画像との境界領域と、パノラマ画像における撮像画像の中心に対応する領域とが対向し又は接するようにして並べて表示されるようにする。

制御部１０８は、コンピュータ機器１１０から送信された様々な指示に応じて切り出し部１０６及び画像表示部１０７の動作制御を行うためのものである。

ネットワーク部１０９は、ネットワークを介してコンピュータ機器１１０との間のデータ通信を行うためのものである。ネットワーク部１０９は、例えば、表示画像をコンピュータ機器１１０に対して送信したり、コンピュータ機器１１０から送信された様々な指示を受信したりする。この指示には、コンピュータ機器１１０に対して送信してコンピュータ機器１１０側で表示された表示画像上のユーザインターフェースに対してユーザが操作した内容や、レンズ群１０１に対する制御指示内容、などが含まれている。

次に、コンピュータ機器１１０について説明する。

コンピュータ機器１１０は、キーボード、マウス、タッチパネルなどの操作部と、ＣＲＴや液晶画面等の表示部と、を有する機器であり、撮像装置１００から送信された表示画像を受信して表示部に表示する。ユーザは、操作部を操作して、該表示画像に含まれているユーザインターフェースに対する操作を行うことができる。ユーザがユーザインターフェースを操作すると、該操作の内容が撮像装置１００に対して送信される。撮像装置１００は、コンピュータ機器１１０から操作内容を表す指示を受けるたびに表示画像を生成してコンピュータ機器１１０に対して送信するので、コンピュータ機器１１０は、該操作の結果に応じた表示画像を表示部に表示する。

次に、図３に例示した表示画像３０８内のユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６のそれぞれの機能について説明する。図３では、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６は何れもボタン画像である。

先ず、ユーザインターフェース３０４ａ、３０４ｂについて説明する。図４の左側に示す如く、表示画像３０８がコンピュータ機器１１０側で表示されている状態で、ユーザが操作部を操作してポインタ３０７をユーザインターフェース３０４ｂの位置に移動させてそこで該ユーザインターフェース３０４ｂを指示したとする。ユーザインターフェース３０４ｂが指示されると、コンピュータ機器１１０は、ユーザインターフェース３０４ｂが指示された旨を撮像装置１００に対して送信する。該指示はネットワーク部１０９を介して制御部１０８に通知され、制御部１０８は、該指示に基づいて切り出し部１０６及び画像表示部１０７の動作制御を行う。

制御部１０８による動作制御の元、切り出し部１０６は、第１の方向の現在の角度（初期値は０°）を、該角度に規定量の角度Δ（＞０）を加えた角度に変更すると共に、第２の方向の現在の角度（初期値は１８０°）を、該角度に規定量の角度Δを加えた角度に変更する。そして切り出し部１０６は、撮像画像を、該撮像画像の中心位置から変更後の第１の方向に伸びる直線及び該中心位置から変更後の第２の方向に伸びる直線で分割して２つの分割画像を生成する。図２に示す如く、第１の方向及び第２の方向が初期状態である場合に、ユーザインターフェース３０４ｂが操作されると、点線で示すライン（分割ライン）が中心位置２５０を中心にして反時計回りに規定量の角度Δだけ傾くことになる。然るに切り出し部１０６は、撮像画像２０１を、該傾いたラインで分割して２つの分割画像を生成する。

このように、ユーザインターフェース３０４ｂが操作されるたびに、分割ラインが反時計回りに回転し、該回転後の分割ラインでもって撮像画像が分割されることになる。回転量は、ユーザインターフェース３０４ｂの連続操作回数に応じて決めても良いし、ユーザインターフェース３０４ｂの指示時間に応じて決めても良い。

また、ユーザインターフェース３０４ａが操作されるたびに、分割ラインは時計回りに回転し（上記の規定量の角度Δを「−Δ」とすればよい）、該回転後の分割ラインでもって撮像画像が分割される。

そして画像表示部１０７は、切り出し部１０６によって分割されたそれぞれの分割画像のうち１つを選択分割画像として選択し、該選択分割画像に基づいて周知の技術でもってパノラマ画像を生成する。そして画像表示部１０７は、パノラマ画像、切り出し部１０６によって分割されたそれぞれの分割画像のうち選択分割画像以外の分割画像、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６、を含む表示画像を生成する。

例えば、図４の左側に示した表示画像３０８において、ユーザが操作部を操作してユーザインターフェース３０４ｂを指示した場合には、図４の右側に示す如く、反時計回りに回転した分割ラインによって撮像画像２０１を分割した２枚の分割画像のうちの一方に基づくパノラマ画像４０５及び他方の分割画像４０６を含む表示画像４０１が生成される。

なお、上記の規定量の角度Δや、表示画像の更新速度などは、予め定められた値であっても良いし、表示画像上にこれらの値を設定するためのユーザインターフェースを新たに設けても良い。

次に、ユーザインターフェース３０５について説明する。図５の左側に示す如く、表示画像５０１がコンピュータ機器１１０側で表示されている状態で、ユーザが操作部を操作してポインタ３０７をユーザインターフェース３０５の位置に移動させてそこで該ユーザインターフェース３０５を指示したとする。ユーザインターフェース３０５が指示されると、コンピュータ機器１１０は、ユーザインターフェース３０５が指示された旨を撮像装置１００に対して送信する。該指示はネットワーク部１０９を介して制御部１０８に通知され、制御部１０８は、該指示に基づいて切り出し部１０６及び画像表示部１０７の動作制御を行う。

制御部１０８による動作制御の元、切り出し部１０６は、第１の方向の現在の角度を、該第１の方向の初期値に変更すると共に、第２の方向の現在の角度を、該第２の方向の初期値に変更する。ここで、変更する角度は初期値に限るものではなく、ホームポジションとして設定した如何なる値であっても良い。そして切り出し部１０６は、撮像画像を、該撮像画像の中心位置から変更後の第１の方向に伸びる直線及び該中心位置から変更後の第２の方向に伸びる直線で分割して２つの分割画像を生成する。

そして画像表示部１０７は、切り出し部１０６によって分割されたそれぞれの分割画像のうち１つを選択分割画像として選択し、該選択分割画像に基づいて周知の技術でもってパノラマ画像を生成する。そして画像表示部１０７は、パノラマ画像、切り出し部１０６によって分割されたそれぞれの分割画像のうち選択分割画像以外の分割画像、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６、を含む表示画像を生成する。

例えば、図５の左側に示した表示画像５０１において、ユーザが操作部を操作してユーザインターフェース３０５を指示した場合には、図５の右側に示す如く、初期状態の分割ライン（図２の点線）によって撮像画像２０１を分割した２枚の分割画像のうちの一方に基づくパノラマ画像５０５及び他方の分割画像５０６を含む表示画像５０４が生成される。

次に、ユーザインターフェース３０６について説明する。図６の左側に示す如く、表示画像６０１がコンピュータ機器１１０側で表示されている状態で、ユーザが操作部を操作してポインタ３０７をユーザインターフェース３０６の位置に移動させてそこで該ユーザインターフェース３０６を指示したとする。ユーザインターフェース３０６が指示されると、コンピュータ機器１１０は、ユーザインターフェース３０６が指示された旨を撮像装置１００に対して送信する。該指示はネットワーク部１０９を介して制御部１０８に通知され、制御部１０８は、該指示に基づいて画像表示部１０７の動作制御を行う。

制御部１０８による動作制御の元、画像表示部１０７は、現時点で選択分割画像として選択されている分割画像を非選択分割画像とし、現時点で選択分割画像として選択されていない分割画像を選択分割画像とする。そして画像表示部１０７は、選択分割画像に基づいて周知の技術でもってパノラマ画像を生成し、パノラマ画像、非選択分割画像、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６、を含む表示画像を生成する。

例えば、図６の左側に示した表示画像６０１において、ユーザが操作部を操作してユーザインターフェース３０６を指示した場合には、図６の右側に示す如く、パノラマ画像６０２の生成元となった分割画像が分割画像６０６として配置され、分割画像６０３に基づくパノラマ画像がパノラマ画像６０５として配置された表示画像６０４が生成される。これにより、ユーザが追尾したい被写体がパノラマ画像から分割画像の向きに通過したときなどでも迅速にそれぞれの画像の表示位置の変更が可能である。

次に、コンピュータ機器１１０側で表示されている表示画像上のユーザインターフェースが操作され、該操作の内容を示す指示がコンピュータ機器１１０から送信された場合に、撮像装置１００が行う処理について、図７のフローチャートを用いて説明する。

＜ステップＳ７０１＞
ネットワーク部１０９は、コンピュータ機器１１０から送信された操作内容を示す指示を受信し、該受信した指示を制御部１０８に対して送出する。

＜ステップＳ７０２＞
制御部１０８は、コンピュータ機器１１０から受信した指示が示す操作内容を解析し、ユーザインターフェース３０４ａ若しくは３０４ｂが操作されたのか、ユーザインターフェース３０５が操作されたのか、ユーザインターフェース３０６が操作されたのかを判断する。

この判断の結果、ユーザインターフェース３０４ａ若しくは３０４ｂが操作された場合には、処理はステップＳ７０３に進む。また、ユーザインターフェース３０５が操作された場合には、処理はステップＳ７０４に進む。また、ユーザインターフェース３０６が操作された場合には、処理はステップＳ７０５に進む。

＜ステップＳ７０３＞
制御部１０８による動作制御の元、切り出し部１０６は、第１の方向の現在の角度及び第２の方向の現在の角度を、規定量の角度Δに応じて変更する。より詳しくは、ユーザインターフェース３０４ａが指示された場合には、第１の方向の現在の角度及び第２の方向の現在の角度から規定量の角度Δを減じて変更し、ユーザインターフェース３０４ｂが指示された場合には、第１の方向の現在の角度及び第２の方向の現在の角度に規定量の角度Δを加えて変更する。そして切り出し部１０６は、撮像画像を、該撮像画像の中心位置から変更後の第１の方向に伸びる直線及び該中心位置から変更後の第２の方向に伸びる直線で分割して２つの分割画像を生成する。

＜ステップＳ７０４＞
制御部１０８による動作制御の元、切り出し部１０６は、第１の方向の現在の角度を、該第１の方向の初期値に変更すると共に、第２の方向の現在の角度を、該第２の方向の初期値に変更する。そして切り出し部１０６は、撮像画像を、該撮像画像の中心位置から変更後の第１の方向に伸びる直線及び該中心位置から変更後の第２の方向に伸びる直線で分割して２つの分割画像を生成する。

＜ステップＳ７０５＞
制御部１０８による動作制御の元、画像表示部１０７は、現時点で選択分割画像として選択されている分割画像を非選択分割画像とし、現時点で選択分割画像として選択されていない分割画像を選択分割画像とする。

＜ステップＳ７０６＞
画像表示部１０７は、選択分割画像に基づいて周知の技術でもってパノラマ画像を生成する。ステップＳ７０３やステップＳ７０４を介してステップＳ７０６に処理が進んだ場合には、分割した２つの分割画像のうちの一方を選択分割画像とし、他方を非選択分割画像とする。

＜ステップＳ７０７＞
画像表示部１０７は、ステップＳ７０６で生成したパノラマ画像、非選択分割画像、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６、を含む表示画像を生成する。

＜ステップＳ７０８＞
画像表示部１０７は、ステップＳ７０７で生成した表示画像を、ネットワーク部１０９を介してコンピュータ機器１１０に対して送出する。

なお、本実施形態では、撮像装置１００側でパノラマ画像、非選択分割画像、ユーザインターフェースを配置した表示画像を生成したが、撮像装置１００がパノラマ画像、非選択分割画像、ユーザインターフェースのそれぞれをコンピュータ機器１１０に送信し、コンピュータ機器１１０側でパノラマ画像、非選択分割画像、ユーザインターフェースを配置した表示画像を生成して表示するようにしても構わない。

また、図１０に示す如く、表示領域１００１及び１００２のそれぞれに表示画像を表示した画面を撮像装置１００側若しくはコンピュータ機器１１０側で生成して、コンピュータ機器１１０側で表示するようにしても構わない。この場合、それぞれの表示領域において別個にユーザインターフェースを操作して、パノラマ画像を閲覧することができる。

また、本実施形態ではＮ＝２の場合について説明したが、Ｎが３以上の自然数である場合には、次のような構成に従うことになる。すなわち、周囲を撮像した円形若しくは環状の撮像画像を、該撮像画像の中心位置からＮ方向に伸びる直線で分割し、該分割により得られるそれぞれの分割画像のうちの１つに基づくパノラマ画像と、該１つ以外の分割画像と、を含む表示画像を生成する。

［第２の実施形態］
本実施形態では、追尾しているオブジェクトが常にパノラマ画像内に収まるようにすべく、パノラマ画像中に写っているオブジェクトが分割画像中に移動したことを検知した場合には、該オブジェクトが常にパノラマ画像内に位置するように第１の方向及び第２の方向を変更する。

以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとして説明する。

本実施形態では図８に示す如く、パノラマ画像８０２と分割画像８０３との境界線（若しくは境界領域）を、Ａ，Ｂ，Ｃといったように、複数の区間に分割して管理している。ここで、追尾対象のオブジェクトとしてオブジェクト８０７が指定されているものとする。オブジェクト８０７の指定方法については特定の指定方法に限るものではない。例えば、現像部１０５から出力される各フレームの撮像画像に対して制御部１０８が動体検出処理や異常被写体検知処理などを行って、その結果特定されるオブジェクトをオブジェクト８０７としても良い。また、ユーザが撮像装置１００に備わっている不図示の操作部を操作して指定しても良いし、コンピュータ機器１１０側でユーザが操作部を操作して指定しても良い。

ここで、制御部１０８がオブジェクト８０７を追尾し、その結果、オブジェクト８０７が矢印８０８で示す如く、区間Ｂを跨いでパノラマ画像８０２から分割画像８０３側に移動したことを検知したとする。「オブジェクト８０７が区間Ｂを跨いでパノラマ画像８０２から分割画像８０３側に移動した」か否かは、次のような処理によって判断される。

先ず、撮像画像から今回検出されたオブジェクト８０７の位置（現在位置）、前回検出されたオブジェクト８０７の位置（前回位置）、のそれぞれが、表示画像内に表示されているパノラマ画像や分割画像のどの位置に対応するのかを求める。そして、現在位置に対応する位置が分割画像上の位置で、前回位置に対応する位置がパノラマ画像上の位置で、現在位置に対応する位置と前回位置に対応する位置との間を結ぶ線分が区間Ｂを横切っていた場合には、「オブジェクト８０７が区間Ｂを跨いでパノラマ画像８０２から分割画像８０３側に移動した」と判断する。もちろん、判断方法はこの方法に限るものではない。

そして、「オブジェクト８０７が区間Ｂを跨いでパノラマ画像８０２から分割画像８０３側に移動した」場合、制御部１０８は、切り出し部１０６を制御して、第１の方向の現在の角度及び第２の方向の現在の角度のそれぞれに１８０°を加えて変更させ、撮像画像を変更後の第１の方向及び第２の方向に基づいて分割して２つの分割画像を生成させる。そして更に制御部１０８は画像表示部１０７を制御して、図８の右側に示す如く、２つの分割画像のうちの一方を選択分割画像とし、該選択分割画像に基づくパノラマ画像８０５、他方の分割画像８０６を並べて配置させる。

また、オブジェクト８０７が区間Ａを跨いでパノラマ画像８０２から分割画像８０３側に移動したことを検知したとする。この検知方法は、区間Ｂについての上記の検知方法と同様である。そして、オブジェクト８０７が区間Ａを跨いでパノラマ画像８０２から分割画像８０３側に移動した場合、制御部１０８は、切り出し部１０６を制御して、第１の方向の現在の角度及び第２の方向の現在の角度のそれぞれに９０°を加えて変更させ、撮像画像を変更後の第１の方向及び第２の方向に基づいて分割して２つの分割画像を生成させる。そして更に制御部１０８は画像表示部１０７を制御して、２つの分割画像のうちの一方を選択分割画像とし、該選択分割画像に基づくパノラマ画像、他方の分割画像を並べて配置させる。

また、オブジェクト８０７が区間Ｃを跨いでパノラマ画像８０２から分割画像８０３側に移動したことを検知したとする。この検知方法は、区間Ｂについての上記の検知方法と同様である。そして、オブジェクト８０７が区間Ｃを跨いでパノラマ画像８０２から分割画像８０３側に移動した場合、制御部１０８は、切り出し部１０６を制御して、第１の方向の現在の角度及び第２の方向の現在の角度のそれぞれから９０°を減じて変更させ、撮像画像を変更後の第１の方向及び第２の方向に基づいて分割して２つの分割画像を生成させる。そして更に制御部１０８は画像表示部１０７を制御して、２つの分割画像のうちの一方を選択分割画像とし、該選択分割画像に基づくパノラマ画像、他方の分割画像を並べて配置させる。

本実施形態では、撮像装置１００は、図７のフローチャートに従った処理に加えて、図９のフローチャートに従った処理をも行う。もちろん、図７のフローチャートに従った処理は行わずに、図９のフローチャートに従った処理を行うようにしても構わない。また、図７のフローチャートに従った処理を行うモード、図９のフローチャートに従った処理を行うモード、図７のフローチャートに従った処理及び図９のフローチャートに従った処理を行うモード、を設け、何れか１つのモードをユーザが撮像装置１００若しくはコンピュータ機器１１０が有する操作部を操作して設定するようにしても構わない。

＜ステップＳ９０１＞
制御部１０８は、上記の方法でもって、オブジェクト８０７がパノラマ画像から区間Ａ，Ｂ，Ｃの何れかを跨いで（通過して）分割画像内に移動したか否かを判断する。この判断の結果、オブジェクト８０７がパノラマ画像から区間Ａ，Ｂ，Ｃの何れかを跨いで分割画像内に移動した場合には、処理はステップＳ９０２に進む。一方、オブジェクト８０７がパノラマ画像から区間Ａ，Ｂ，Ｃの何れかを跨いで（通過して）分割画像内に移動していない場合には、処理はステップＳ９０１で待機する。

＜ステップＳ９０２＞
制御部１０８は、切り出し部１０６を制御して、オブジェクト８０７が跨いだ区間に応じて第１の方向及び第２の方向を変更させ、撮像画像を、該変更後の第１の方向及び第２の方向に応じて分割して２つの分割画像を生成させる。

＜ステップＳ９０３＞
制御部１０８は、画像表示部１０７を制御して、ステップＳ９０２で生成された２つの分割画像のうちの一方を選択分割画像とし、該選択分割画像に基づいて周知の技術でもってパノラマ画像を生成させる。

＜ステップＳ９０４＞
画像表示部１０７は、ステップＳ９０３で生成したパノラマ画像、非選択分割画像、ユーザインターフェース３０４ａ、３０４ｂ、３０５，３０６、を含む表示画像を生成する。

＜ステップＳ９０５＞
画像表示部１０７は、ステップＳ９０５で生成した表示画像を、ネットワーク部１０９を介してコンピュータ機器１１０に対して送出する。

このように、本実施形態では、パノラマ画像中に写っているオブジェクトが、該パノラマ画像に隣接して配置されている分割画像中に移動したことを検知した場合には、該移動が、該パノラマ画像と該分割画像との境界線を複数の区間に分割した場合のどの区間を跨いでなされたのかに応じて、オブジェクトが常にパノラマ画像内に写るようにすべく第１の方向及び第２の方向を変更する。

然るに、本実施形態では説明上、パノラマ画像と分割画像との境界線（若しくは境界領域）を、Ａ，Ｂ，Ｃという３つの区間に分割した場合について説明したが、如何なる数の区間に分割しても構わない。その場合、各区間に対応する第１の方向及び第２の方向の変更量については適宜決めればよい。

［第３の実施形態］
本実施形態では、現像部１０５による撮像画像に基づいて表示画像を生成する処理を、撮像装置とは別個の装置が行うシステムについて説明する。本実施形態に係るシステムの構成例を図１１に示す。図１１において図１に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

撮像装置１１０４は、レンズ群１０１、撮像素子１０２、増幅器１０３、現像部１０５を有し、現像部１０５から出力された撮像画像はネットワーク部１０９を介して画像処理装置１１１０に入力される。画像処理装置１１１０は、切り出し部１０６、画像表示部１０７、制御部１０８、を有し、これらの各機能部により表示画像を生成してコンピュータ機器１１０に対して送出する。

なお、切り出し部１０６、画像表示部１０７、制御部１０８、は専用のハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で構成しても良い。その場合、このコンピュータプログラムは画像処理装置１１１０が有するメモリに格納される。そして、画像処理装置１１１０が有するＣＰＵ等のプロセッサがこのコンピュータプログラムを実行することで、該プロセッサは、切り出し部１０６、画像表示部１０７、制御部１０８、のそれぞれの機能を実現することができる。なお、画像処理装置１１１０とコンピュータ機器１１０とを１つの装置で構成しても良い。

［第４の実施形態］
第１〜３の実施形態では、表示画像にはユーザインターフェース３０４ａ、３０４ｂ、３０５、３０６の全てが配置されているものとして説明したが、その一部を配置したものであっても良いし、使用するインターフェースを選択できるようにしても構わない。また、第１〜３の実施形態で説明した構成の一部若しくは全部を適宜組み合わせて使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０６：切り出し部 １０７：画像表示部 １０８：制御部

Claims (10)

1. 円形若しくは環状の撮像画像を、該撮像画像の中心位置を含む線分で第１の分割画像と第２の分割画像とに分割する分割手段と、
   前記第１の分割画像と、前記第２の分割画像に基づいて生成したパノラマ画像と、を含む表示画像を生成する生成手段と、
   前記生成手段が生成した前記表示画像を表示手段に表示させる表示制御手段と
   を備え、
   前記表示制御手段は、前記第１の分割画像が前記第２の分割画像と分割された境界領域と前記パノラマ画像における前記撮像画像の中心に対応する領域とが対向し又は接するようにして並べて前記表示手段に表示させることを特徴とする画像処理装置。
2. 前記生成手段は、前記線分の方向を変更するためにユーザが操作するユーザインターフェースを更に含む前記表示画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記分割手段は、前記ユーザインターフェースを介した操作に従って、前記撮像画像を該操作により方向が変更された線分で分割することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記線分の方向を初期方向に設定するためのユーザインターフェースを更に含む前記表示画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、前記第１の分割画像および前記第２の分割画像のうち前記パノラマ画像を生成するための分割画像を変更するためのユーザインターフェースを更に含む前記表示画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記パノラマ画像と、前記第１の分割画像と、を隣接させて並べた前記表示画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、前記第２の分割画像を補正して、該第２の分割画像を撮像するための画角に対応する撮像範囲のパノラマ画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 周囲を撮像することで円形若しくは環状の撮像画像を取得する撮像手段と、
   請求項１乃至７の何れか１項に記載の画像処理装置と
   を備えることを特徴とする撮像装置。
9. 円形若しくは環状の撮像画像を、該撮像画像の中心位置を含む線分で第１の分割画像と第２の分割画像とに分割する分割工程と、
   前記第１の分割画像と、前記第２の分割画像に基づいて生成したパノラマ画像と、を含む表示画像を生成する生成工程と、
   前記生成工程で生成した前記表示画像を表示手段に表示させる表示制御工程と
   を備え、
   前記表示制御工程では、前記第１の分割画像が前記第２の分割画像と分割された境界領域と前記パノラマ画像における前記撮像画像の中心に対応する領域とが対向し又は接するようにして並べて前記表示手段に表示させることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images