WO2014185169A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】魚眼レンズを用いて撮像された画像を展開せずに利用する場合により有用な画像を得る。 【解決手段】魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する画像取得部と、上記撮像画像における動きベクトルを取得するベクトル取得部と、上記動きベクトルの発生点または収束点を検出する点検出部とを含む画像処理装置が提供される。

Description

画像処理装置、画像処理方法およびプログラム

　本開示は、画像処理装置、画像処理方法およびプログラムに関する。

　魚眼レンズを用いることによって、通常のレンズよりも広い画角の画像を撮像することができる。例えば魚眼レンズを鉛直方向に向けて撮像すれば、カメラの上方から全周までを含む画像を得ることができる。また、魚眼レンズを水平方向に向けて撮像すれば、上下および左右方向に広い範囲の画像を得ることができる。しかし、魚眼レンズを用いて撮像された画像にはひずみが生じるため、そのひずみの影響を除去して画像を利用するための技術が開発されてきた。例えば、特許文献１には、魚眼レンズを用いて撮像された画像を円筒面上に展開した展開画像に変換し、展開画像に基づいてオブジェクトまでの距離などを検出する技術が記載されている。

特開２０１２－２２６６４５号公報

　上記の通り魚眼レンズを用いて撮像された画像にはひずみが生じるが、このひずみは必ずしも観察者が脳内で補正することが困難なレベルのものではない。それゆえ、魚眼レンズを用いて撮像された画像をそのまま利用することも可能である。ところが、魚眼レンズを用いて撮像された画像を展開することなくそのまま利用するための技術は、これまで提案されてこなかった。

　そこで、本開示では、魚眼レンズを用いて撮像された画像を展開せずに利用する場合により有用な画像を得ることを可能にする、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。

　本開示によれば、魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する画像取得部と、上記撮像画像における動きベクトルを取得するベクトル取得部と、上記動きベクトルの発生点または収束点を検出する点検出部とを含む画像処理装置が提供される。

　また、本開示によれば、魚眼レンズを介して時間的に連続して撮像される撮像画像を取得することと、上記撮像画像における動きベクトルを取得することと、プロセッサが、上記動きベクトルの発生点または収束点を検出することとを含む画像処理方法が提供される。

　また、本開示によれば、魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する機能と、上記撮像画像における動きベクトルを取得する機能と、上記動きベクトルの発生点または収束点を検出する機能とをコンピュータに実現させるためのプログラムが提供される。

　撮像画像が魚眼レンズを介して時間的に連続して撮像される場合、撮像画像における動きベクトルの発生点や収束点は、例えば魚眼レンズを有するカメラが移動している方向を示すものでありうる。これらの点を検出して例えば撮像画像の編集や撮像の制御に利用することによって、観察しやすい有用な画像を得ることができる。

　以上説明したように本開示によれば、魚眼レンズを用いて撮像された画像を展開せずに利用する場合により有用な画像を得ることができる。

本開示の第１の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態においてカメラを鉛直方向に向けて撮像された撮像画像の例について説明するための図である。 本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第１の例について説明するための図である。 本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第２の例について説明するための図である。 本開示の第１の実施形態における移動方向の推定を概念的に示すフローチャートである。 本開示の第１の実施形態における撮像画像の回転の第１の例について説明するための図である。 本開示の第１の実施形態における撮像画像の回転の第２の例について説明するための図である。 本開示の第２の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第２の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第３の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第４の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第４の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第５の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第５の実施形態における撮像画像の領域最適化の第１の例について説明するための図である。 本開示の第５の実施形態における撮像画像の領域最適化の第２の例について説明するための図である。 本開示の第６の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第６の実施形態における記録制御の例を示すフローチャートである。 情報処理装置のハードウェア構成を説明するためのブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１－１．機能構成
　　１－２．発生点および検出点の具体的な例
　　１－３．移動方向の推定
　　１－４．撮像画像の回転の例
　２．第２の実施形態
　３．第３の実施形態
　４．第４の実施形態
　５．第５の実施形態
　　５－１．機能構成
　　５－２．領域最適化の例
　６．第６の実施形態
　　６－１．機能構成
　　６－２．記録制御の例
　７．ハードウェア構成
　８．補足

　（１．第１の実施形態）
　（１－１．機能構成）
　図１は、本開示の第１の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、画像処理装置１００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、ベクトル算出部１０８と、点検出部１１０と、回転角度算出部１１２と、画像編集部１１４とを含む。さらに、画像処理装置１００は、表示制御部１１６と、表示部１１８とを含んでもよい。

　本実施形態において、画像処理装置１００は、ネットワークを介して他の装置から撮像画像を取得し、取得された画像を編集する装置である。画像処理装置１００は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

　画像処理装置１００は、例えば各種のＰＣ（Personal　Computer）、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。画像処理装置１００は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置１００がサーバである場合、画像処理装置１００の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。

　通信部１０２は、例えば通信装置によって実現され、有線または無線の各種のネットワークを介して他の装置と通信する。例えば、通信部１０２は、他の装置から撮像画像のデータを受信して記憶部１０４に格納する。また、例えば、通信部１０２は、画像処理装置１００において編集されて記憶部１０４に格納された画像のデータを他の装置に送信する。さらに、図示していないが、画像処理装置１００がサーバである場合、通信部１０２は、サービスの提供を受ける端末装置から送信された処理の依頼などのコマンドを受信して画像処理装置１００の各部に提供する。

　記憶部１０４は、例えばストレージ装置および各種のメモリの組み合わせによって実現され、画像処理装置１００で用いられる各種のデータを一時的または永続的に格納する。例えば、記憶部１０４は、通信部１０２が他の装置から受信した撮像画像のデータを少なくとも一時的に格納し、必要に応じて画像取得部１０６に提供する。また、例えば、記憶部１０４は、画像編集部１１４によって編集された画像のデータを少なくとも一時的に格納し、必要に応じて他の装置に送信するために通信部１０２に提供する。あるいは、記憶部１０４は、編集された画像のデータを表示のために表示制御部１１６に提供してもよい。

　画像取得部１０６は、例えばＣＰＵ（Central　Processing　Unit）がメモリに格納されたプログラムに従って動作することによって実現され、記憶部１０４に格納された撮像画像のデータを取得する。ここで、画像取得部１０６によってデータが取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。ここで、魚眼レンズを介して撮像された撮像画像は、魚眼レンズを有するカメラの全周を含むため、全周画像ともいえる。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

　ベクトル算出部１０８は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、画像取得部１０６によって取得された撮像画像における動きベクトルを算出する。例えば、ベクトル算出部１０８は、撮像画像を所定のサイズのブロックに分割し、時間的に前後に位置する撮像画像の間でブロックマッチングを実行することによって動きベクトルを算出する。なお、動きベクトルの算出にはこれ以外にも公知のさまざまな手法を利用することが可能である。

　ここで、ベクトル算出部１０８は、後述する点検出部１１０での処理結果に応じて２段階で動きベクトルを算出してもよい。この場合、例えば、ベクトル算出部１０８は、まず撮像画像の全体について第１のブロックサイズで動きベクトルを算出する。算出された動きベクトルは一旦点検出部１１０に提供され、点検出部１１０で動きベクトルに基づいて探索領域が設定される。次に、ベクトル算出部１０８は、撮像画像のうちの探索領域（その近傍を含んでもよい）について第１のブロックサイズよりも小さい第２のブロックサイズで動きベクトルを算出し、算出された動きベクトルを点検出部１１０に提供する。点検出部１１０は、探索領域において、より小さい第２のブロックサイズで算出された動きベクトルを用いて発生点または収束点を探索する。このように、ベクトル算出部１０８におけるブロックマッチングの実行回数を削減することによって、画像処理装置１００全体としての処理負荷が軽減されうる。

　なお、他の実施形態では、ベクトル算出部１０８が画像処理装置１００に含まれなくてもよい。つまり、画像処理装置１００は、必ずしも動きベクトルを自ら算出しなくてもよい。例えば、動きベクトルは、他の装置で算出されてデータとして通信部１０２によって受信され、記憶部１０４に格納されてもよい。この場合、ベクトル算出部１０８は、撮像画像に対応する動きベクトルのデータを記憶部１０４から読み出すベクトル取得部によって代替されうる。

　点検出部１１０は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、ベクトル算出部１０８によって算出された動きベクトルの発生点または収束点を検出する。後述するように、魚眼レンズを介して時間的に連続して撮像された撮像画像では、カメラの移動方向に応じて動きベクトルの発生点または収束点が現れる。より具体的には、点検出部１１０は、撮像画像の周縁部で発生点および収束点の両方を検出するか、撮像画像の中央部で発生点または収束点のいずれかを検出しうる。

　ここで、点検出部１１０は、上述したベクトル算出部１０８での２段階の動きベクトルの算出に対応して、２段階で発生点または収束点を検出してもよい。この場合、例えば、点検出部１１０は、まず撮像画像の全体について第１のブロックサイズで算出された動きベクトルに基づいて撮像画像中に探索領域を設定する。探索領域には、例えば、動きベクトルの大きさが相対的に小さい領域、または相対的に多くの動きベクトルの方向が交差する領域が設定されうる。これは、発生点および収束点の近傍では動きベクトルの大きさが小さくなり、また発生点および収束点には多くの動きベクトルの方向が集中するという、魚眼レンズを介して時間的に連続して撮像された撮像画像の特徴を反映したものである。点検出部１１０は探索領域の情報をベクトル算出部１０８に提供し、ベクトル算出部１０８は探索領域（その近傍を含んでもよい）についてより小さい第２のブロックサイズで動きベクトルを算出する。さらに、点検出部１１０は第２のブロックサイズで算出された動きベクトルに基づいて、探索領域の中で発生点または収束点を探索する。

　あるいは、ベクトル算出部１０８での動きベクトルの算出が２段階ではない場合でも、点検出部１１０は、上記の例と同様にして探索領域を設定し、探索領域の中で発生点または収束点を探索してもよい。この場合、点検出部１１０は、ベクトル算出部１０８によって算出された動きベクトルを第１の粒度で抽出して探索領域を設定し、探索領域の中で第１の粒度よりも細かい第２の粒度で動きベクトルを抽出して発生点または収束点を探索しうる。この場合も、探索領域には、例えば動きベクトルの大きさが相対的に小さい領域、または相対的に多くの動きベクトルの方向が交差する領域が設定されうる。

　なお、点検出部１１０によって検出される動きベクトルの発生点および収束点のより具体的な例については後述する。

　回転角度算出部１１２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０によって撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。より具体的には、回転角度算出部１１２は、発生点が撮像画像の中心に対して下に位置するように回転角度を算出しうる。このような回転角度は、後述するように、例えば撮像画像が魚眼レンズを鉛直方向に向けて撮像された画像である場合に、カメラの移動に伴って流れていく撮像画像がより自然に観察されるように撮像画像を回転させる角度でありうる。ここで、回転角度算出部１１２は、発生点を基準点として、基準点が撮像画像の中心に対して所定の向きに位置するように回転角度を算出するともいえる。後述するように、本実施形態において、撮像画像の解析の結果得られた発生点は撮像画像における注視点であるものと推定され、回転角度算出部１１２は推定された注視点を基準点として回転角度を算出している。

　画像編集部１１４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、回転角度算出部１１２によって算出された回転角度に従って撮像画像を回転させる。上述のように、回転角度算出部１１２は、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような回転角度を算出しうる。従って、画像編集部１１４は、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させているともいえる。より具体的には、画像編集部１１４は、発生点が撮像画像の中心に対して下に位置するように撮像画像を回転させてもよい。後述する動きベクトルの発生点および収束点のより具体的な例を参照すれば明らかなように、このような回転の処理は、撮像画像が収束点から発生点に向かって移動しながら撮像された画像であるという推定に基づく処理ともいえる。

　表示制御部１１６は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、例えば各種のディスプレイなどの出力装置によって実現される表示部１１８を制御して記憶部１０４から読み出したデータに基づく画像を表示させる。ここで、記憶部１０４には、画像編集部１１４によって編集された画像、より具体的には回転角度算出部１１２によって算出された回転角度に従って画像編集部１１４で回転された撮像画像が格納されうる。従って、表示制御部１１６は、画像取得部１０６から画像編集部１１４までの処理の結果として生成された画像を表示部１１８に表示させるともいえる。

　（１－２．発生点および検出点の具体的な例）
　図２～図４を参照して、上述した画像処理装置１００の点検出部１１０によって検出される動きベクトルの発生点および検出点のより具体的な例について、さらに説明する。

　図２は、本開示の第１の実施形態においてカメラを鉛直方向に向けて撮像された撮像画像の例について説明するための図である。図２には、カメラ１０を鉛直方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略鉛直方向である。また、カメラ１０は、略水平方向、すなわち魚眼レンズ１１の光軸方向に対して垂直な方向に移動している。

　この場合、撮像画像１５では、周縁部に動きベクトルＶの発生点Ｒおよび収束点Ｃの両方が現れる。魚眼レンズ１１の光軸方向が略鉛直方向である場合、撮像画像１５の中央部がカメラ１０の上方にあたり、撮像画像１５の周縁部がカメラ１０の周囲にあたる。ここで、撮像画像１５は、カメラ１０の全周を含む全周画像である。この状態でカメラ１０が略水平方向に移動すると、時間的に連続して撮像される撮像画像１５では、周縁部のある点、すなわちカメラ１０が向かっている方向に対応する点から発生した画像が、主に両側に分かれて周縁部を流れ、撮像画像１５の中心に対して反対側にある周縁部の点、すなわちカメラ１０が遠ざかっている方向に対応する点に収束する。このようにして、動きベクトルＶには発生点Ｒと収束点Ｃとが現れる。この場合、撮像画像１５における観察者の注視点は、カメラ１０が向かっていく先、すなわち発生点Ｒであるものと推定されうる。

　上述のように、画像処理装置１００の点検出部１１０は、このような発生点Ｒと収束点Ｃとを検出しうる。ここで、点検出部１１０は、発生点Ｒと収束点Ｃとの位置関係の規則性を利用して、検出の処理を効率化してもよい。例えば、発生点Ｒが撮像画像１５の周縁部の第１の部分で発見された場合、収束点Ｃは撮像画像１５の中心に対して第１の部分の反対側に位置する第２の部分に存在するはずである。そこで、点検出部１１０は、この第２の部分を優先的に、または第２の部分に限定して収束点Ｃを探索してもよい。逆に、収束点Ｃが撮像画像１５の周縁部の第１の部分で発見された場合、発生点Ｒは撮像画像１５の中心に対して第１の部分の反対側に位置する第２の部分に存在するはずである。そこで、点検出部１１０は、この第２の部分を優先的に、または第２の部分に限定して発生点Ｒを探索してもよい。

　より具体的には、例えば、点検出部１１０は、撮像画像１５の端から順に動きベクトルを解析して発生点Ｒまたは収束点Ｃを探索し、撮像画像１５の周縁部で発生点Ｒまたは収束点Ｃが発見された場合には、その部分を第１の部分として、探索の対象を当該第１の部分に対応する第２の部分（撮像画像１５の中心に対して反対側の部分）にジャンプさせてもよい。このように、点検出部１１０による動きベクトルの解析の実行回数を削減することによって、画像処理装置１００全体としての処理負荷が軽減されうる。

　なお、例えば魚眼レンズ１１の光軸方向が鉛直方向に対してある程度以上傾いているような場合、撮像画像１５の周縁部には発生点Ｒまたは収束点Ｃのいずれか一方だけが現れ、他方の点は撮像画像１５の範囲から外れうる。この場合、上記の第１の部分で発生点Ｒまたは収束点Ｃが発見されたとしても、第２の部分でこれらと対になる収束点Ｃまたは発生点Ｒは発見されない。しかし、この場合、第２の部分以外に収束点Ｃまたは発生点Ｒが存在することもないと考えられるため、点検出部１１０は第２の部分で収束点Ｃまたは発生点Ｒが発見されなかったことをもって探索を終了してもよい。

　図３は、本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第１の例について説明するための図である。図３には、カメラ１０を水平方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略水平方向である。また、カメラ１０は、略水平方向に、魚眼レンズ１１のある方を前にして移動している。

　この場合、撮像画像１５では、中央部に動きベクトルＶの発生点Ｒだけが現れる。カメラ１０が魚眼レンズ１１のある方を前にして移動している場合、撮像画像１５の中央部がカメラ１０の前方にあたり、撮像画像１５の周縁部がカメラ１０の上下および左右にあたる。この状態でカメラ１０が前方に移動すると、時間的に連続して撮像される撮像画像１５では、中央部のある点、すなわちカメラ１０が向かっている方向に対応する点から発生した画像が周縁部に向かって流れ、そのまま撮像画像１５の端へと発散する。このようにして、動きベクトルＶには発生点Ｒだけが現れる。この場合、撮像画像１５における観察者の注視点が、カメラ１０が向かっていく先、すなわち発生点Ｒであるものと推定されうる。

　図４は、本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第２の例について説明するための図である。図４にも、カメラ１０を水平方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略水平方向である。また、カメラ１０は、略水平方向に、魚眼レンズ１１のある方を後ろにして移動している。

　この場合、撮像画像１５では、中央部に動きベクトルＶの収束点Ｃだけが現れる。カメラ１０が魚眼レンズ１１のある方を後ろにして移動している場合、撮像画像１５の中央部がカメラ１０の後方にあたり、撮像画像１５の周縁部がカメラ１０の上下および左右にあたる。この状態でカメラ１０が前方に移動すると、時間的に連続して撮像される撮像画像１５では、撮像画像１５の端から現れた画像が周縁部から中央部に向かって流れ、中央部のある点、すなわちカメラ１０が遠ざかっている方向に対応する点に収束する。このようにして、動きベクトルＶには収束点Ｃだけが現れる。この場合、撮像画像１５における観察者の注視点が、カメラ１０が遠ざかっていく元、すなわち収束点Ｃであるものと推定されうる。

　（１－３．移動方向の推定）
　図５は、本開示の第１の実施形態における移動方向の推定を概念的に示すフローチャートである。本実施形態では、画像処理装置１００の画像編集部１１４が、撮像画像の周縁部で動きベクトルの発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させうる。このような処理が、撮像画像が収束点から発生点に向かって移動しながら撮像された画像であるという推定に基づく処理ともいえることは、上述した通りである。このように、本開示のいくつかの実施形態では、撮像画像の移動方向の推定に基づく処理が実行されうる。図５では、そのような推定の一例が概念的に示されている。

　なお、以下で説明する撮像画像の移動方向の推定は、必ずしも画像処理装置１００において明示的に実行されるとは限らない。つまり、画像処理装置１００において実現される機能、または画像処理装置１００において実行されるステップの中に、撮像画像の移動方向に推定は必ずしも含まれない。ただし、例えば上記の画像編集部１１４の処理のように、点検出部１１０による発生点または収束点の検出結果に基づいて実行される処理は、検出結果から推定される撮像画像の移動方向をふまえて設定された処理でありうる。

　図を参照すると、まず、画像取得部１０６が、撮像画像を取得する（ステップＳ１０１）。上記のように、ここで取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。次に、ベクトル算出部１０８が撮像画像における動きベクトルを算出する（ステップＳ１０３）。なお、図ではベクトル算出部１０８および点検出部１１０のシンプルな処理が示されているが、上記の説明で提示されたようなオプションを採用することも可能である。

　ここで、点検出部１１０が動きベクトルの発生点または収束点を検出した結果、撮像画像に発生点および収束点の両方が存在した場合（ステップＳ１０５のＹＥＳ）、撮像画像は、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であると推定される（ステップＳ１０７）。なお、上述のように、魚眼レンズの光軸方向が鉛直方向に対して傾いていたなどの理由で撮像画像の周縁部に発生点または収束点のいずれか一方だけが現れ、他方の点が撮像画像の範囲から外れた場合を考慮して、ステップＳ１０５の条件は「撮像画像の周縁部に発生点または収束点が存在する？」と読み替えられてもよい。この場合、ステップＳ１０７でいう収束点および発生点は、撮像画像の範囲から外れた点を含みうる。

　一方、ステップＳ１０５でＮＯの場合、撮像画像に発生点が存在すれば（ステップＳ１０９のＹＥＳ）、撮像画像は、図３に示した例のように、発生点に向かって、すなわち発生点に近づくように移動しながら撮像された画像であると推定される（ステップＳ１１１）。また、ステップＳ１０９でもＮＯの場合、撮像画像に収束点が存在すれば（ステップＳ１１３のＹＥＳ）、撮像画像は、図４に示した例のように、収束点から遠ざかるように移動しながら撮像された画像であると推定される（ステップＳ１１５）。なお、図示していないが、ステップＳ１１５でもＮＯの場合、すなわち点検出部１１０が発生点も収束点も検出しなかった場合、撮像画像が移動せずに撮像された画像であると推定されてもよい。

　以上で説明したような移動方向の推定を、上記で説明した第１の実施形態に当てはめると、以下のようになる。

　まず、撮像画像が、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であると推定される場合（ステップＳ１０７）、画像編集部１１４が、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させうる。これは、後述するように、魚眼レンズを鉛直方向に向けて移動させながら撮像された撮像画像は、進行方向が画像の中心に対して所定の向きに位置する方が観察しやすいためである。

　一方、撮像画像が、図３および図４に示した例のように、発生点に向かって、または収束点から遠ざかって移動しながら撮像された画像であると推定される場合（ステップＳ１１１，Ｓ１１５）、画像編集部１１４は撮像画像を回転させない。これは、これらの例のような画像では、既に上下および左右が固定されており、回転させる必要がないためである。

　（１－４．撮像画像の回転の例）
　図６および図７を参照して、上述した画像処理装置１００の画像編集部１１４における撮像画像の回転のより具体的な例について、さらに説明する。なお、以下で例示する撮像画像は、いずれも、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であるものとする。

　図６は、本開示の第１の実施形態における撮像画像の回転の第１の例について説明するための図である。図６では、動きベクトルＶの発生点Ｒと収束点Ｃとが存在する撮像画像１５が示されている。撮像画像１５をそのまま観察した場合、画像は、左上にある発生点Ｒから右下にある収束点Ｃへと、主に撮像画像１５の両側に分かれて流れていく。このような状態での画像の観察は、観察者に違和感を覚えさせることが多いことが、経験的に知られている。

　そこで、図示された例では、回転角度算出部１１２が発生点Ｒが撮像画像１５の中心に対して下に位置するように回転角度を算出し、画像編集部１１４が算出された回転角度に従って撮像画像１５を回転させる。回転後の撮像画像１５は、撮像画像１５ｒとして図示されている。撮像画像１５ｒでは、画像が下にある発生点Ｒから上にある収束点Ｃへと流れていくため、観察者は違和感を覚えにくい。

　魚眼レンズを介して撮像された撮像画像の向きによる観察者の違和感に対処するためには、車両などの移動手段にカメラを設置する際に向きを固定したり、カメラとは別のセンサなどによってカメラの向きを検出したりすることも考えられるが、上記のように撮像後に撮像画像を回転させることによって、撮像時のカメラの向きに関わらず、より自然に観察することが可能な撮像画像を提供することができる。

　図７は、本開示の第１の実施形態における撮像画像の回転の第２の例について説明するための図である。図７でも、図６と同様に動きベクトルＶの発生点Ｒと収束点Ｃとが存在する撮像画像１５が示されている。図示された例では、回転角度算出部１１２が発生点Ｒと収束点Ｃとを結ぶ方向が左右方向に一致するように回転角度を算出し、画像編集部１１４が算出された回転角度に従って撮像画像１５を回転させる。回転後の撮像画像１５ｒでは、画像が右にある発生点Ｒから左にある収束点Ｃへと流れていく。このような撮像画像１５ｒの向きは、例えば、観察者の注目がカメラの向かっていく先、すなわち発生点Ｒよりも、流れていく画像そのものにある場合に好適でありうる。

　（２．第２の実施形態）
　次に、図８および図９を参照して、本開示の第２の実施形態について説明する。本実施形態では、上記の第１の実施形態に係る画像処理装置１００と同様の機能が、第１および第２の画像処理装置に分散して実現される。

　図８は、本開示の第２の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図であり、図９は、本開示の第２の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。

　図８を参照すると、第１の画像処理装置２００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、ベクトル算出部１０８と、点検出部１１０と、記録制御部２０２とを含む。さらに、第１の画像処理装置２００は、回転角度算出部１１２を含んでもよい。

　本実施形態において、第１の画像処理装置２００は、ネットワークを介して他の装置から撮像画像を取得し、取得された画像をメタ情報とともに記録する装置である。第１の画像処理装置２００は、メタ情報が関連付けられた画像を第２の画像処理装置２５０にネットワークを介して送信する。

　図９を参照すると、第２の画像処理装置２５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部２５８と、画像編集部１１４とを含む。さらに、第２の画像処理装置２５０は、表示制御部１１６と、表示部１１８とを含んでもよい。

　本実施形態において、第２の画像処理装置２５０は、ネットワークを介して第１の画像処理装置２００からメタ情報が関連付けられた画像を取得し、メタ情報に従って取得された画像を編集する装置である。第２の画像処理装置２５０は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

　第１の画像処理装置２００および第２の画像処理装置２５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。第１の画像処理装置２００および第２の画像処理装置２５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。第１の画像処理装置２００または第２の画像処理装置２５０がサーバである場合、装置の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

　記録制御部２０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０による発生点または収束点の検出結果に基づくメタ情報を撮像画像に関連付けて記録する。例えば、記録制御部２０２は、検出された発生点または収束点の撮像画像内での位置を記録してもよい。また、第１の画像処理装置２００が回転角度算出部１１２を含む場合、記録制御部２０２は、回転角度算出部１１２によって算出された撮像画像の回転角度を記録してもよい。

　通信部２５２は、例えば通信装置によって実現され、有線または無線の各種のネットワークを介して第１の画像処理装置２００を含む他の装置と通信する。例えば、通信部２５２は、第１の画像処理装置２００から撮像画像のデータをメタ情報とともに受信して記憶部２５４に格納する。また、例えば、通信部２５２は、第２の画像処理装置２５０において編集されて記憶部２５４に格納された画像のデータを他の装置に送信する。さらに、図示していないが、第２の画像処理装置２５０がサーバである場合、通信部２５２は、サービスの提供を受ける端末装置から送信された処理の依頼などのコマンドを受信して第２の画像処理装置２５０の各部に提供する。

　記憶部２５４は、例えばストレージ装置および各種のメモリの組み合わせによって実現され、第２の画像処理装置２５０で用いられる各種のデータを一時的または永続的に格納する。例えば、記憶部２５４は、通信部２５２が第１の画像処理装置から受信した撮像画像のデータとメタ情報とを少なくとも一時的に格納し、必要に応じて画像取得部２５６または回転角度算出部２５８に提供する。また、例えば、記憶部２５４は、画像編集部１１４によって編集された画像のデータを少なくとも一時的に格納し、必要に応じて他の装置に送信するために通信部２５２に提供する。あるいは、記憶部２５４は、編集された画像のデータを表示のために表示制御部１１６に提供してもよい。

　画像取得部２５６は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、記憶部２５４に格納された撮像画像のデータを取得する。ここで、画像取得部２５６によってデータが取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

　回転角度算出部２５８は、第１の画像処理装置２００が回転角度算出部１１２を含まない場合に設けられうる。回転角度算出部２５８は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。本実施形態では点検出部１１０が第１の画像処理装置２００に含まれるため、回転角度算出部２５８は、第１の画像処理装置２００から撮像画像とともに提供されたメタ情報を記憶部２５４から読み出し、このメタ情報に基づいて発生点の撮像画像内での位置を特定する。

　（３．第３の実施形態）
　次に、図１０を参照して、本開示の第３の実施形態について説明する。本実施形態では、上記の第１の実施形態と同様の機能が、撮像を実行する撮像装置において実現される。つまり、本実施形態では、撮像装置が画像処理装置としても機能する。

　図１０は、本開示の第３の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。図１０を参照すると、撮像装置３００は、撮像部３０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、回転角度算出部１１２と、画像編集部１１４とを含む。撮像装置３００は、さらに、通信部１０２を含んでもよい。また、撮像装置３００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

　本実施形態において、撮像装置３００は、自ら撮像を実行して撮像画像を取得し、取得された画像を編集する装置である。撮像装置３００は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

　撮像装置３００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。撮像装置３００は、例えば後述する情報処理装置のハードウェア構成によって実現される。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

　撮像部３０２は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を有する撮像装置と、撮像素子によって生成されたＲＡＷデータに対して階調や色調の調節、ノイズ低減処理、サイズ変換などの処理を実行した上で例えばＪＰＥＧ（Joint　Photographic　Experts　Group）など各種の形式の画像データを生成する画像処理回路とによって実現される。撮像部３０２は、撮像素子へのオブジェクト像の結像を制御するためのレンズとして魚眼レンズを含み、魚眼レンズを介して時間的に連続して撮像した撮像画像を画像取得部３０４に提供する。魚眼レンズは、例えばデジタルカメラの場合の交換式レンズや、その他の端末装置の場合のレンズアタッチメントなどのように、撮像部３０２に着脱可能に取り付けられてもよい。

　画像取得部３０４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、撮像部３０２が撮像した撮像画像のデータを取得する。ここで、画像取得部３０４によってデータが取得される撮像画像は、撮像部３０２の魚眼レンズを介して時間的に連続して撮像されたものである。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

　（４．第４の実施形態）
　次に、図１１および図１２を参照して、本開示の第４の実施形態について説明する。本実施形態では、上記の第３の実施形態に係る撮像装置３００と同様の機能が、撮像装置と画像処理装置とに分散して実現される。

　図１１は、本開示の第４の実施形態に係る撮像装置の概略的な機能構成を示すブロック図であり、図１２は、本開示の第４の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。

　図１１を参照すると、撮像装置４００は、撮像部４０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、記録制御部２０２とを含む。撮像装置４００は、さらに、通信部１０２、または回転角度算出部１１２を含んでもよい。また、撮像装置４００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

　本実施形態において、撮像装置４００は、自ら撮像を実行して撮像画像を取得し、取得された画像をメタ情報とともに記録する装置である。撮像装置４００は、メタ情報が関連付けられた画像を記憶部１０４に含まれるリムーバブル記録媒体を介して画像処理装置４５０に受け渡すか、通信部１０２からネットワークを介して画像処理装置４５０に送信する。

　図１２を参照すると、画像処理装置４５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部２５８と、画像編集部１１４とを含む。さらに、画像処理装置４５０は、表示制御部１１６と、表示部１１８とを含んでもよい。なお、画像処理装置４５０の機能構成は、上記の第２の実施形態に係る第２の画像処理装置２５０の機能構成と同様である。

　本実施形態において、画像処理装置４５０は、ネットワークを介して撮像装置４００からメタ情報が関連付けられた画像を取得し、メタ情報に従って取得された画像を編集する装置である。画像処理装置４５０は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

　撮像装置４００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。また、画像処理装置４５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。撮像装置４００および画像処理装置４５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置４５０がサーバである場合、画像処理装置４５０の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１～第３の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

　撮像部４０２は、上記の第３の実施形態で説明した撮像部３０２と同様の機能構成であるが、撮像画像を画像取得部３０４に提供するだけではなく記憶部１０４に格納する。撮像装置４００、記録制御部２０２によってメタ情報が撮像画像に関連付けて記録されるが、撮像画像の編集は撮像装置４００ではなく画像処理装置４５０で実行されるため、記憶部１０４に格納される撮像画像は撮像部４０２から提供されたものでありうる。

　（５．第５の実施形態）
　次に、図１３～図１５を参照して、本開示の第５の実施形態について説明する。本実施形態では、撮像装置において、撮像画像における動きベクトルの発生点または収束点の検出結果に基づいて撮像部が制御される。発生点または収束点の検出結果に基づく撮像画像の編集やメタ情報の記録は、必ずしも実行されなくてもよい。つまり、本実施形態は、発生点または収束点の検出結果を、撮像画像の編集などに用いる代わりに撮像部の制御に用いる例を含みうる。

　（５－１．機能構成）
　図１３は、本開示の第５の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。図１３を参照すると、撮像装置５００は、撮像部４０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、撮像制御部５０２とを含む。撮像装置５００は、さらに、回転角度算出部１１２と画像編集部１１４とを含んでもよく、通信部１０２を含んでもよく、表示制御部１１６と表示部１１８とを含んでもよい。また、図示していないが、撮像装置５００は、上記の第２の実施形態で説明した記録制御部２０２を含んでもよい。

　撮像装置５００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。撮像装置５００は、例えば後述する情報処理装置のハードウェア構成によって実現される。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１～第４の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

　撮像制御部５０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０による発生点または収束点の検出結果に基づいて撮像部４０２を制御する。撮像制御部５０２は、例えば、撮像画像における発生点または収束点を含む領域の画像が最適化されるように撮像部４０２を制御しうる。撮像画像において発生点および収束点の両方が検出された場合、撮像制御部５０２は発生点を含む領域の画像がより最適化されるように撮像部４０２を制御してもよい。より具体的には、例えば、撮像制御部５０２は、発生点または収束点を含む領域を基準にして自動露出（ＡＥ：Automatic　Exposure）、自動ホワイトバランス（ＡＷＢ：Automatic　White　Balance）、またはオートフォーカス（ＡＦ：Autofocus）を設定するように撮像部４０２を制御してもよい。

　（５－２．領域最適化の例）
　図１４および図１５を参照して、上述した撮像装置５００の撮像制御部５０２による撮像部４０２の制御のより具体的な例について、さらに説明する。

　図１４は、本開示の第５の実施形態における撮像画像の領域最適化の第１の例について説明するための図である。図１４では、動きベクトルＶの発生点Ｒと収束点Ｃとが存在する撮像画像１５が示されている。このような場合、撮像制御部５０２は、発生点Ｒを含む領域Ａの画像が最適化されるように撮像部４０２を制御する。より具体的には、撮像制御部５０２は、領域Ａを基準にしてＡＥ、ＡＷＢ、またはＡＦを設定するように撮像部４０２を制御しうる。

　上述のように、図示された例のような撮像画像１５では、カメラが向かっていく先、すなわち発生点Ｒが観察者の注視点になるものと推定される。従って、発生点Ｒを含む領域Ａの画像を最適化すると、観察者の体感上の最適化の効果がより大きくなる。

　図１５は、本開示の第５の実施形態における撮像画像の領域最適化の第２の例について説明するための図である。図１５では、動きベクトルＶの収束点Ｃだけが存在する撮像画像１５が示されている。このような場合、撮像制御部５０２は、収束点Ｃを含む領域Ｂの画像が最適化されるように撮像部４０２を制御する。より具体的には、撮像制御部５０２は、領域Ｂを基準にしてＡＥ、ＡＷＢ、またはＡＦを設定するように撮像部４０２を制御しうる。

　上述のように、図示された例のような撮像画像１５では、カメラが遠ざかっていく元、すなわち収束点Ｃが観察者の注視点になるものと推定される。従って、収束点Ｃを含む領域Ｂの画像を最適化すると、観察者の体感上の最適化の効果がより大きくなる。

　なお、図示していないが、撮像制御部５０２は、動きベクトルの発生点だけが存在する撮像画像についても、同様に、発生点を含む領域の画像が最適化されるように撮像部４０２を制御しうる。

　以上で説明した本開示の第５の実施形態では、例えば撮像画像の移動方向に応じて、観察者によって注視されると推定される点を含む領域で撮像画像が最適化される。従って、少なくとも観察者によって注視される領域では最適な画質が実現された、より見やすい撮像画像を提供することができる。

　（６．第６の実施形態）
　次に、図１６および図１７を参照して、本開示の第６の実施形態について説明する。本実施形態では、撮像装置において、撮像画像における動きベクトルの発生点または収束点の検出結果に基づいて撮像画像の記録の実行および停止が制御される。発生点または収束点の検出結果に基づく撮像画像の編集やメタ情報の記録は、必ずしも実行されなくてもよい。つまり、本実施形態は、発生点または収束点の検出結果を、撮像画像の編集などに用いる代わりに撮像画像の記録の制御に用いる例を含みうる。

　（６－１．機能構成）
　図１６は、本開示の第６の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。図１６を参照すると、撮像装置６００は、撮像部４０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、記録制御部６０２とを含む。撮像装置６００は、さらに、回転角度算出部１１２を含んでもよく、通信部１０２を含んでもよく、表示制御部１１６と表示部１１８とを含んでもよく、撮像制御部５０２を含んでもよい。また、図示していないが、撮像装置６００は、上記の第１の実施形態で説明した画像編集部１１４を含んでもよい。

　撮像装置６００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。撮像装置６００は、例えば後述する情報処理装置のハードウェア構成によって実現される。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１～第５の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

　記録制御部６０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０による発生点または収束点の検出結果に基づいて撮像画像の記録を制御する。記録制御部６０２は、例えば、撮像画像において発生点または収束点が検出されている場合に撮像画像の記録を実行し、発生点も収束点も検出されていない場合には撮像画像の記録を停止してもよい。あるいは、記録制御部６０２は、撮像画像において発生点または収束点が検出されている場合には撮像画像の記録を停止し、発生点も収束点も検出されていない場合に撮像画像の記録を実行してもよい。記録制御部６０２が撮像画像の記録を実行している間、撮像部４０２によって取得された撮像画像は記憶部１０４に記録される。また、記録制御部６０２が撮像画像の記録を停止している間、撮像部４０２によって取得された撮像画像は記憶部１０４には記録されない。

　なお、記録制御部６０２は、上記の機能に加えて、上記の第２の実施形態で説明した記録制御部２０２と同様に、撮像画像にメタ情報を関連付けて記録する機能を有してもよい。また、撮像装置６００が図示しない画像編集部１１４を含む場合、撮像部４０２から提供される撮像画像に代えて、画像編集部１１４によって編集された画像が記憶部１０４に記録されうる。

　（６－２．記録制御の例）
　図１７は、本開示の第６の実施形態における記録制御の例を示すフローチャートである。図１７を参照すると、まず、撮像装置６００の画像取得部３０４が、撮像部４０２から撮像画像を取得する（ステップＳ２０１）。次に、ベクトル算出部１０８が撮像画像における動きベクトルを算出する（ステップＳ２０３）。なお、図ではベクトル算出部１０８および点検出部１１０のシンプルな処理が示されているが、上記の第１の実施形態などで説明されたようなオプションを採用することも可能である。

　ここで、点検出部１１０が動きベクトルの発生点または収束点を検出した結果、撮像画像に発生点または収束点の少なくともいずれかが存在した場合（ステップＳ２０５のＹＥＳ）、記録制御部６０２は撮像画像の記録を実行／停止する（ステップＳ２０７）。一方、撮像画像に発生点も収束点も存在しなかった場合（ステップＳ２０５のＮＯ）、記録制御部６０２は撮像画像の記録を停止／実行する（ステップＳ２０９）。なお、ステップＳ２０７で撮像画像の記録が実行される場合にはステップＳ２０９では撮像画像の記録が停止され、ステップＳ２０７で撮像画像の記録が停止される場合にはステップＳ２０９では撮像画像の記録が実行される。

　ここで、撮像画像において発生点または収束点が検出されている場合に撮像画像の記録が実行され、そうでない場合に撮像画像の記録が停止される例では、撮像装置６００が移動している場合に限って撮像画像が記録されることになる。一方、撮像画像において発生点または収束点が検出されている場合に撮像画像の記録が停止され、そうでない場合に撮像画像の記録が実行される例では、撮像装置６００が移動せずに停止している場合に限って撮像画像が記録されることになる。これらの例は、例えば撮像画像の用途などによって使い分けられうる。

　なお、以上で説明した第６の実施形態の変形例として、上記の第２の実施形態と同様の機能構成において、記録制御部２０２が、上記の記録制御部６０２と同様の機能を有してもよい。この場合、第１の画像処理装置２００は、既に撮像された撮像画像から、カメラが移動している間、またはカメラが移動せずに停止している間に撮像された部分を抽出することになる。

　（７．ハードウェア構成）
　次に、図１８を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１８は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における画像処理装置（第１の画像処理装置および第２の画像処理装置を含む）および撮像装置を実現しうる。

　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）またはＡＳＩＣ（Application　Specific　Integrated　Circuit）と呼ばれるような処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＰＤＰ（Plasma　Display　Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

　接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

　撮像装置９３３は、例えば、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子、および撮像素子へのオブジェクト像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画像を撮像するものであってもよい。

　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

　（８．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置（画像処理装置（第１の画像処理装置および第２の画像処理装置を含む）または撮像装置）、複数の情報処理装置を含むシステム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する画像取得部と、
　前記撮像画像における動きベクトルを取得するベクトル取得部と、
　前記動きベクトルの発生点または収束点を検出する点検出部と
　を備える画像処理装置。
（２）前記点検出部は、前記撮像画像の周縁部で前記発生点または前記収束点を検出する、前記（１）に記載の画像処理装置。
（３）前記点検出部は、前記発生点または前記収束点が前記撮像画像の第１の部分で発見された場合に、前記撮像画像の中心に対して前記第１の部分の反対側に位置する第２の部分で未発見の前記収束点または前記発生点を探索する、前記（２）に記載の画像処理装置。
（４）前記撮像画像が前記収束点から前記発生点に向かって移動しながら撮像された画像であるという推定に基づく処理を実行する処理部をさらに備える、前記（２）または（３）に記載の画像処理装置。
（５）前記点検出部は、前記撮像画像の中央部で前記発生点または前記収束点のいずれかを検出する、前記（１）に記載の画像処理装置。
（６）前記撮像画像が、前記発生点に近づくように移動しながら撮像された画像、または前記収束点から遠ざかるように移動しながら撮像された画像であるという推定に基づく処理を実行する処理部をさらに備える、前記（５）に記載の画像処理装置。
（７）前記点検出部は、前記動きベクトルの大きさまたは方向に基づいて設定される探索領域で前記発生点または前記収束点を探索する、前記（１）～（６）のいずれか１項に記載の画像処理装置。
（８）前記点検出部は、前記動きベクトルの大きさが相対的に小さい領域を前記探索領域に設定する、前記（７）に記載の画像処理装置。
（９）前記点検出部は、相対的に多くの前記動きベクトルの方向が交差する領域を前記探索領域に設定する、前記（７）または（８）に記載の画像処理装置。
（１０）前記点検出部は、前記撮像画像の全体について第１のブロックサイズで算出された動きベクトルに基づいて前記探索領域を設定し、
　前記ベクトル取得部は、少なくとも前記探索領域について前記第１のブロックサイズよりも小さい第２のブロックサイズで前記動きベクトルを取得し、
　前記点検出部は、前記第２のブロックサイズで算出された動きベクトルに基づいて前記探索領域で前記発生点または前記収束点を探索する、前記（７）～（９）のいずれか１項に記載の画像処理装置。
（１１）前記発生点または前記収束点の検出結果に基づいて前記撮像画像を編集する画像編集部をさらに備える、前記（１）～（１０）のいずれか１項に記載の画像処理装置。
（１２）前記画像編集部は、前記撮像画像の周縁部で前記発生点が検出された場合に、前記発生点が前記撮像画像の中心に対して所定の向きに位置するように前記撮像画像を回転させる、前記（１１）に記載の画像処理装置。
（１３）前記画像編集部は、前記発生点が前記撮像画像の中心に対して下に位置するように前記撮像画像を回転させる、前記（１２）に記載の画像処理装置。
（１４）前記発生点または前記収束点の検出結果に基づく情報を前記撮像画像に関連付けて記録する記録制御部をさらに備える、前記（１）～（１０）のいずれか１項に記載の画像処理装置。
（１５）前記発生点または前記収束点の検出結果に基づいて前記撮像画像を撮像する撮像部を制御する撮像制御部をさらに備える、前記（１）～（１４）のいずれか１項に記載の画像処理装置。
（１６）前記撮像制御部は、前記発生点または前記収束点を含む領域の画像が最適化されるように前記撮像部を制御する、前記（１５）に記載の画像処理装置。
（１７）前記撮像制御部は、前記撮像画像で前記発生点および前記収束点の両方が検出された場合に、前記発生点を含む領域の画像がより最適化されるように前記撮像部を制御する、前記（１６）に記載の画像処理装置。
（１８）前記発生点または前記収束点の検出結果に基づいて前記撮像画像の記録を制御する記録制御部をさらに備える、前記（１）～（１７）のいずれか１項に記載の画像処理装置。
（１９）魚眼レンズを介して時間的に連続して撮像される撮像画像を取得することと、
　前記撮像画像における動きベクトルを取得することと、
　プロセッサが、前記動きベクトルの発生点または収束点を検出することと
　を含む画像処理方法。
（２０）魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する機能と、
　前記撮像画像における動きベクトルを取得する機能と、
　前記動きベクトルの発生点または収束点を検出する機能と
　をコンピュータに実現させるためのプログラム。

　１００，４５０　　画像処理装置
　１０２，２５２　　通信部
　１０４，２５４　　記憶部
　１０６，２５６，３０４　　画像取得部
　１０８　　ベクトル算出部
　１１０　　点検出部
　１１２，２５８　　回転角度算出部
　１１４　　画像編集部
　２００　　第１の画像処理装置
　２０２，６０２　　記録制御部
　２５０　　第２の画像処理装置
　３００，４００，５００，６００　　撮像装置
　３０２，４０２　　撮像部
　５０２　　撮像制御部

Claims (20)

1. 　魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する画像取得部と、
   　前記撮像画像における動きベクトルを取得するベクトル取得部と、
   　前記動きベクトルの発生点または収束点を検出する点検出部と
   　を備える画像処理装置。
2. 　前記点検出部は、前記撮像画像の周縁部で前記発生点または前記収束点を検出する、請求項１に記載の画像処理装置。
3. 　前記点検出部は、前記発生点または前記収束点が前記撮像画像の第１の部分で発見された場合に、前記撮像画像の中心に対して前記第１の部分の反対側に位置する第２の部分で未発見の前記収束点または前記発生点を探索する、請求項２に記載の画像処理装置。
4. 　前記撮像画像が前記収束点から前記発生点に向かって移動しながら撮像された画像であるという推定に基づく処理を実行する処理部をさらに備える、請求項２に記載の画像処理装置。
5. 　前記点検出部は、前記撮像画像の中央部で前記発生点または前記収束点のいずれかを検出する、請求項１に記載の画像処理装置。
6. 　前記撮像画像が、前記発生点に近づくように移動しながら撮像された画像、または前記収束点から遠ざかるように移動しながら撮像された画像であるという推定に基づく処理を実行する処理部をさらに備える、請求項５に記載の画像処理装置。
7. 　前記点検出部は、前記動きベクトルの大きさまたは方向に基づいて設定される探索領域で前記発生点または前記収束点を探索する、請求項１に記載の画像処理装置。
8. 　前記点検出部は、前記動きベクトルの大きさが相対的に小さい領域を前記探索領域に設定する、請求項７に記載の画像処理装置。
9. 　前記点検出部は、相対的に多くの前記動きベクトルの方向が交差する領域を前記探索領域に設定する、請求項７に記載の画像処理装置。
10. 　前記点検出部は、前記撮像画像の全体について第１のブロックサイズで算出された動きベクトルに基づいて前記探索領域を設定し、
    　前記ベクトル取得部は、少なくとも前記探索領域について前記第１のブロックサイズよりも小さい第２のブロックサイズで前記動きベクトルを取得し、
    　前記点検出部は、前記第２のブロックサイズで算出された動きベクトルに基づいて前記探索領域で前記発生点または前記収束点を探索する、請求項７に記載の画像処理装置。
11. 　前記発生点または前記収束点の検出結果に基づいて前記撮像画像を編集する画像編集部をさらに備える、請求項１に記載の画像処理装置。
12. 　前記画像編集部は、前記撮像画像の周縁部で前記発生点が検出された場合に、前記発生点が前記撮像画像の中心に対して所定の向きに位置するように前記撮像画像を回転させる、請求項１１に記載の画像処理装置。
13. 　前記画像編集部は、前記発生点が前記撮像画像の中心に対して下に位置するように前記撮像画像を回転させる、請求項１２に記載の画像処理装置。
14. 　前記発生点または前記収束点の検出結果に基づく情報を前記撮像画像に関連付けて記録する記録制御部をさらに備える、請求項１に記載の画像処理装置。
15. 　前記発生点または前記収束点の検出結果に基づいて前記撮像画像を撮像する撮像部を制御する撮像制御部をさらに備える、請求項１に記載の画像処理装置。
16. 　前記撮像制御部は、前記発生点または前記収束点を含む領域の画像が最適化されるように前記撮像部を制御する、請求項１５に記載の画像処理装置。
17. 　前記撮像制御部は、前記撮像画像で前記発生点および前記収束点の両方が検出された場合に、前記発生点を含む領域の画像がより最適化されるように前記撮像部を制御する、請求項１６に記載の画像処理装置。
18. 　前記発生点または前記収束点の検出結果に基づいて前記撮像画像の記録を制御する記録制御部をさらに備える、請求項１に記載の画像処理装置。
19. 　魚眼レンズを介して時間的に連続して撮像される撮像画像を取得することと、
    　前記撮像画像における動きベクトルを取得することと、
    　プロセッサが、前記動きベクトルの発生点または収束点を検出することと
    　を含む画像処理方法。
20. 　魚眼レンズを介して時間的に連続して撮像される撮像画像を取得する機能と、
    　前記撮像画像における動きベクトルを取得する機能と、
    　前記動きベクトルの発生点または収束点を検出する機能と
    　をコンピュータに実現させるためのプログラム。

Images