JP6674630B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置に関するものである。

従来より、複数台のカメラを用いて同時に撮影された撮影方向が異なる動画像（以下、動画という。）を画面上に同時に再生表示する技術が知られている（例えば下記特許文献１参照）。係る技術によれば、閲覧者は異なる方向の視野の映像を同時に観察することができる。

特表２００８−５０７４４９号公報

しかしながら、これら複数台のカメラを移動体に設け、これらのカメラにより撮影された動画を画像の端部で合成して、例えば流れる風景の複数の動画を同時に再生させた時、その再生映像で閲覧者に臨場感を与えることは難しく、違和感を与える可能性があるという問題があった。

本願発明はこのような問題点に鑑みてなされたものであり、撮影し、合成により生成された広範囲の画像を再生表示する場合、臨場感を保つことができるようにすることを目的とする。

前記課題を解決するため、本発明においては、撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得手段と、前記画像取得手段により取得された前記第２の画像から動きベクトルを検出する検出手段と、前記検出手段によって検出された動きベクトルに基づいて、前記第２の画像の分割位置を決定し、前記画像取得手段により取得された前記第２の画像を決定した分割位置に基づいて第１の分割画像と第２の分割画像とに分割する分割手段と、前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成手段と、を備えたことを特徴とする。
また、撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得手段と、前記第２の画像を鏡面変換する鏡面変換手段と、前記鏡面変換手段による鏡面変換後の第２の画像を第１の分割画像と第２の分割画像とに分割する分割手段と、前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成手段と、を備えたことを特徴とする。

本発明によれば、撮影し、合成により生成された広範囲の画像を再生表示する場合、臨場感を保つことが可能となる。

本発明の一実施形態に係る画像処理装置、及び撮像装置の要部を示すブロック図である。 画像処理装置の処理手順を示すフローチャートである。 図２に続くフローチャートである。 （ａ）は移動体における第１の撮像装置２００ａと第２の撮像装置２００ｂの配置を示す図であり、（ｂ）は第１の動画データにおける画像の動きベクトル群の例、（ｃ）は第２の動画データにおける画像の動きベクトル群の例を示す図である。 第１のモードでの画像処理装置の処理内容を示す説明図である。 第２のモードでの画像処理装置の処理内容を示す説明図である。

以下、本発明の実施形態について説明する。図１は、本発明の一実施形態として例示する画像処理装置１００と、この画像処理装置１００と通信可能な撮像装置２００ａ，２００ｂの要部を示したブロック図である。

画像処理装置１００は、後述するように、撮像装置２００ａ，２００ｂによって個別に撮影され記憶された動画データを無線によりそれぞれ取得し、取得した双方の動画データから新たな動画データを生成し、生成した動画データに基づく動画を再生表示及びその動画データを保存する機能を有している。

画像処理装置１００は、具体的にはスマートフォン（多機能携帯電話機）や、タブレット型のパーソナルコンピュータ等により実現されるものあり、画像処理装置１００には以下の各部が含まれる。すなわち画像処理装置１００は、表示部１０１と、画像処理部１０２、プログラムメモリ１０３、無線通信部１０４、制御部１０５、操作部１０６、画像メモリ１０７を備えている。

無線通信部１０４は、撮像装置２００ａ，２００ｂ（以下、第１の撮像装置２００ａ、第２の撮像装置２００ｂと区別する。）から無線通信技術によって動画データを取得する。無線通信部１０４が採用する無線通信技術は、例えば、国際標準規格ＩＥＥＥ ８０２．１１シリーズを適用するＷｉ−Ｆｉ（登録商標）、或いはＢｌｕｅｔｏｏｔｈ（登録商標）を準拠した技術を採用するが、動画データの伝送が可能な通信媒体であれば、有線、無線限らず他の方法を適用することも可能である。画像メモリ１０７は、フラッシュメモリ等から構成され、無線通信部１０４によって取得された動画データ等を記憶する。画像処理部１０２は、画像メモリ１０７に記憶された動画データから後述する新たな動画データを生成する画像処理回路等から構成される。なお、画像処理部１０２により生成された動画データも画像メモリ１０７に記憶される。

表示部１０１は、液晶パネルや、その駆動回路からなり、第１の撮像装置２００ａや第２の撮像装置２００ｂから受信した動画データや、画像処理部１０２によって生成され、画像メモリ１０７に記憶された動画データに基づく動画を表示する。

操作部１０６は、電源スイッチや、ユーザーが画像処理装置１００を操作するための操作ボタンにより構成され、ユーザーによる操作情報を制御部１０５へ供給する。なお、操作部１０６には、前記液晶パネルの表面に一体的に設けられタッチパネルが含まれる。

プログラムメモリ１０３は、フラッシュメモリ等の書き換え可能な不揮発性メモリで構成され、画像処理装置１００の動作制御に必要な基本プログラムや、各種のアプリムーションプログラムを記憶する。制御部１０５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びその周辺回路等やメモリ等から構成され、プログラムメモリ１０３に記憶されている基本プログラムに従い、操作部１０６から供給される操作情報を参照しながら画像処理装置１００全体を制御する。特に制御部１０５は、プログラムメモリ１０３に記憶されている所定の画像処理プログラムに従い、後述する図２及び図３に示した処理を実行する。

なお、例えば画像処理装置１００がスマートフォンである場合、画像処理装置１００には、上記の構成に加え、音声通信やデータ通信を行うための周知の回路、すなわち入力された音声を変調して送信する音声入力回路、送信回路、及び受信した音声信号を受信して復号再生する受信回路、再生回路やデータ送受信回路等が含まれる。また、画像処理プログラムは、アプリケーションプログラムとして提供される。

一方、第１の撮像装置２００ａ及び第２の撮像装置２００ｂは、各々が動画を撮影して記憶するとともに、記憶した動像データを必要に応じて画像処理装置１００に送信する構成を備えている。

図に示したように第１の撮像装置２００ａは、広角レンズ２０１を介して被写体を撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａ１ ０ｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子２０２と、撮像素子２０２から出力される撮像信号の増幅、デジタル信号への変換、デジタル信号に変換後の画像データの圧縮等を行う画像処理部２０３と、圧縮後の画像データが静止画ファイルや動画ファイルとして記憶される画像メモリ２０５とを備えている。なお、広角レンズ２０１は水平方向に１８０°の画角を確保するものである。

また、第１の撮像装置２００ａは、プログラムメモリ２０４、制御部２０６、操作部２０７、センサモジュール２０８、無線通信部２０９を備えている。無線通信部２０９は、例えば、国際標準規格ＩＥＥＥ ８０２．１１シリーズを適用するＷｉ−Ｆｉ（登録商標）、或いは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を準拠した技術によって、画像メモリ２０５に記憶されている動画データ（動画ファイル）を必要に応じて画像処理装置１００等の外部機器に送信する。

センサモジュール２０８は、３軸方向の加速度を検出するモーションセンサやジャイロセンサ、ＧＰＳアンテナ等の検出信号をデジタル信号に変換し、第１の撮像装置２００ａの動きの有無や移動方向を示す動き情報として制御部２０６へ供給する。操作部２０７は、電源スイッチ、及びユーザーが第１の撮像装置２００ａを操作するための１又は複数の操作ボタンにより構成され、ユーザーによる操作情報を制御部２０６へ供給する。

制御部２０６は、ＣＰＵ及びその周辺回路等やメモリ等から構成され、プログラムメモリ２０４に記憶されているプログラムに従い、操作部２０７から供給される操作情報、センサモジュール２０８から供給される動き情報を確認しながら第１の撮像装置２００ａの各部を制御する。すなわち第１の撮像装置２００ａにおける動画の撮影動作を制御する。

また、第１の撮像装置２００ａにおいては、ユーザーが動画の撮影中に移動方向を記録するか否かを設定することができ、移動方向の記録が設定されている場合、制御部２０６は、動画の撮影中に上記動き情報に基づいて、撮影方向（広角レンズ２０１の光軸に沿って被写体に向かう方向）を基準とした第１の撮像装置２００ａの移動方向を逐次演算し、その情報（以下、撮影方向情報という）動画の各フレームに関連付けて画像メモリ２０５に記憶する。

なお、図示しないが、第２の撮像装置２００ｂは第１の撮像装置２００ａと同一の構成を備えている。

以下、画像処理装置１００の本発明に係る動作について説明する。以下の説明においては、画像処理装置１００が第２の撮像装置２００ｂ及び第１の撮像装置２００ａと通信可能な状態であるとともに、第１の撮像装置２００ａと第２の撮像装置２００ｂとが、自動車等の任意の移動体に設置された状態で、各々の画像メモリ２０５に、移動体の移動中における前方側、又は後方側をそれぞれ撮影した動画データ（動画ファイル）が記録されているものとする。

図４（ａ）は、移動体Ｍにおける第１の撮像装置２００ａと第２の撮像装置２００ｂの配置、及び撮影範囲を示した模式図である。第１の撮像装置２００ａは、図に矢印で示した移動体Ｍの前方側（進行方向側）の端部に位置し、第２の撮像装置２００ｂは、移動体Ｍの後方側の端部に位置する。

既説したように第１の撮像装置２００ａは水平方向に１８０°の画角を有しており、第２の撮像装置２００ａの画像メモリ２０５には、移動体Ｍの前方側における図に示した［Ｆ０］から［Ｆ１０８］までの範囲を撮影した第１の動画データＧ１を含む動画ファイルが記憶されている。また、第２の撮像装置２００ｂも水平方向に１８０°の画角を有しており、第２の撮像装置２００ｂの画像メモリ２０５には、移動体Ｍの後方側における図に示した［Ｒ０］から［Ｒ１０８］までの範囲を撮影した第２の動画データＧ２を含む動画ファイルが記憶されている。なお、ここでは第１の撮像装置２００ａと第２の撮像装置２００ｂには単一の動画ファイルがそれぞれ記憶されているものとする。

図２及び図３は、画像処理装置１００において、制御部１０５がプログラムメモリ１０３に記憶されている所定の画像処理プログラムに従い実行する処理手順の要部を示したフローチャートである。

制御部１０５は、操作部１０６の操作ボタンの操作によってユーザーから動作開始が指示されると直ちに動作を開始するとともに、無線通信部１０４を介して第１の撮像装置２００と第２の撮像装置３００との通信を開始し、双方の画像メモリ２０５に格納された動画ファイルをそれぞれ取得する（ステップＳ１）。

次に、制御部１０５は、取得した動画ファイルの撮影タイミング（日時）が共通しているか否かを判断し、共通していないと判断したならば（ステップＳ２：ＮＯ）、各々の動画ファイルに基づく第１の動画データＧ１と第２の動画データＧ２をそれぞれ再生する（ステップＳ２６）。なお、その場合において制御部１０５は、２つの動画データＧ１，Ｇ２の再生を終了した時点で全ての処理を完了する。

また、制御部１０５は、取得した動画ファイルの撮影タイミングが共通していると判断したならば（ステップＳ２：ＹＥＳ）、双方の動画ファイルに撮影方向情報が含まれているか否かをさらに判断する（ステップＳ３）。

ここで、双方の動画ファイルの少なくともいずれか一方に方向情報が含まれていると判断した場合（ステップＳ３：ＹＥＳ）、制御部１０５は、方向情報に基づいて動画撮影時における第１の撮像装置２００ａと第２の撮像装置２００ｂの進行方向（撮影方向を基準とする移動方向）を判定する（ステップＳ４）。そして、制御部１０５は、判定した進行方向に基づき双方の動画ファイルによる２つの動画データにおいて、前方を撮影した動画データと後方を撮影した動画データとを特定する（ステップＳ５）。

次に、制御部１０５は、後方側の動画（ここでは、第２の動画データＧ２）において動きベクトルを解析する（ステップＳ６）。具体的には、動画データの隣接する２つ以上のフレームの画像において、広角レンズ２０１の光学特性による幾何学的歪（歪曲収差）をそれぞれ補正するとともに、補正後の各フレームの画像を複数のマクロブロックに分割し、マクロブロック毎にブロックマッチング法等の周知の方法により動きベクトルを解析する。

図４（ｃ）は、後方側の動画（第２の動画データＧ２）において解析される動きベクトル群の例を矢印により便宜的に示した図である。なお、動きベクトルの解析時におけるマクロブロックは必ずしも画像を分割した領域である必要はなく、予め決められた互いに離間する複数の領域であっても構わない。

しかる後、制御部１０５は、後方側の動画における動きベクトル群に基づいて消失点ＶＰを検出する（ステップＳ１０）。かかる処理は、各々の動きベクトルが透視図法におけるパース線の延在方向を示すものと仮定し、動きベクトルで示される仮想のパース線が収束する点を消失点ＶＰとして検出する処理である。ただし、仮想のパース線は必ずしも１点に収束しているとは限らない。そのため、ステップＳ１０の処理において制御部１０５は、予め決められているサイズの領域であって、仮想のパース線の収束度合が最も高い収束領域を探索し、その中心を消失点とする。なお、消失点ＶＰは画像外の場合もある。

また、以上の処理とは異なり、記録日時が一致する双方の動画ファイルに方向情報が含まれていないと判断した場合（ステップＳ３：ＮＯ）、制御部１０５は、双方の動画ファイルによる動画データにおいて動きベクトルを解析する（ステップＳ７）。すなわちステップＳ６の処理と同様の処理を、双方の動画データを対象として個別に行う。図４（ｂ）は、前方側の動画データ（第１の動画データＧ１）における各動きベクトルの例を矢印により便宜的に示した図である。

引き続き、制御部１０５は、双方の動画データ（第１の動画データＧ１と第２の動画データＧ２）の一方側において動きベクトル群が画像の外側に向って発散し、かつ他方側において動きベクトル群が画像の内側に向かって収束しているか否かを判断する（ステップＳ８）。

ここで、上記の判断においてＮｏと判断した場合（ステップＳ８：ＮＯ）、制御部１０５は、双方の動画をそれぞれ再生し、表示部１０１に２画面で再生し（ステップＳ２６）、双方の動画の再生を終了した時点で全ての処理を完了する。

これに対し、図４（ｂ）及び図４（ｃ）に例示したように、一方の動画データの動きベクトル群が発散し、かつ他方の動画データの動きベクトル群が収束していると判断した場合（ステップＳ８：ＹＥＳ）、制御部１０５は、動きベクトル群が収束している側の動画データを、後方を撮影した動画データであるとして特定する（ステップＳ９）。

すなわち、双方の動画データの動きベクトル群の状態が図４（ｂ）及び図４（ｃ）に例示した状態であれば、この時点で第２の動画データＧ２が後方側の動画データとして特定される。

しかる後、制御部１０５は、前述したステップＳ１０へ進み、ステップＳ８の処理で解析した動きベクトル群に基づいて、後方側の動画データ（第２の動画データＧ２）について消失点ＶＰを検出する。

以後、制御部１０５は図３に示した処理を行う。まず、制御部１０５は、ユーザーにより設定されている合成モードの種類を確認し、合成モードとして第１のモードが設定されているときには（ステップＳ１１：第１）、ステップＳ１２以降の処理を実施し、合成モードとして第２のモードが設定されているときには（ステップＳ１１：第２）、ステップＳ１７以降の処理を実施する。なお、これ以降は、第１の動画データＧ１を前方側の動画データ、第２の動画データＧ２を後方側の動画データと呼ぶこととする。

まず、第１のモードが設定されている場合について説明する。図５は、第１のモードでの処理内容を示す説明図であって、図５（ａ）及び図５（ｂ）は、図４（ｂ）及び図４（ｃ）に対応する図である。

連続モードにおいて制御部１０５は、まず前方側の動画データＧ１と後方側の動画データＧ２についての各フレームの画像（以下、フレーム画像という）をフレーム順に矩形画像に変換する（ステップＳ１２）。係る処理は、広角レンズ２０１の光学特性によりフレーム画像に生じている幾何学的歪（歪曲収差）を補正する処理である。図５（ａ）は、矩形画像に変換後の前方側の動画データＧ１のフレーム画像ＦＧ１、図５（ｂ）は、矩形画像に変換した後の後方側の動画データＧ２のフレーム画像ＦＧ２を示す図である。

次に、制御部１０５は、後方側のデータＧ２のフレーム画像ＦＧ２を、ステップＳ１０で検出した消失点ＶＰを分割位置として左右に分割する（ステップＳ１３）。つまり図５（ｂ）のように、消失点ＶＰがフレーム画像ＦＧ２の左右方向の中央であれば、制御部１０５は、フレーム画像ＦＧ２を、撮影範囲が［Ｒ０］から［Ｒ９０］までの左半分の分割画像ＦＧ２−Ｌと、撮影範囲が［Ｒ９０］から［Ｒ１８０］までの右半分の分割画像ＦＧ２−Ｒと、に分割する。

次に、制御部１０５は、分割した左右の分割画像ＦＧ２−Ｌ，ＦＧ２−Ｒを、フレーム画像ＦＧ２における位置関係を左右で逆転して、前方側の動画データＧ１のフレーム画像ＦＧ１の左右端部に合成する（ステップＳ１４）。すなわち図５（ｃ）に示したように、左側の分割画像ＦＧ２−Ｌを前方側の動画データＧ１のフレーム画像ＦＧ１の右側端部に合成し、かつ右側の分割画像ＦＧ２−Ｒを前方側の動画データＧ１のフレーム画像ＦＧ１の左側に合成したフレーム画像ＦＧ３を新たに生成する。なお、図５（ａ）〜図５（ｃ）において各フレーム画像ＦＧ１，ＦＧ２，ＦＧ３に示した矢印は、個々の画像内に存在する被写体の、前方側の動画データＧ１及び後方側の動画データＧ２での移動方向を便宜的に示すものである。

引き続き、制御部１０５は、合成後のフレーム画像ＦＧ３を順次一時記憶し（ステップＳ１５）、以後、最終フレームの合成が完了するまで（ステップＳ１６：ＮＯ）、ステップＳ１２以降の処理を繰り返す。しかる後、最終フレームの合成処理が完了すると（ステップＳ１６：ＹＥＳ）、一時記憶しているフレーム画像ＦＧ３を含む動画データの動画を表示部１０１に再生する（ステップＳ２３）。

これにより、前方側の動画データＧ１と後方側の動画データＧ２を、前方側の動画データＧ１を再生すべきフレーム画像の中心とするとともに、移動体Ｍの周囲のほぼ全域を再生する動画としてユーザーに観察又は鑑賞させることができる。

そして、制御部１０５は、ユーザーから記録指示があるまで動画の再生を継続し（ステップＳ２４：ＮＯ）、記録指示を検出すると（ステップＳ２４：ＹＥＳ）、一時記憶している合成後の動画データを新たな動画ファイルとして画像メモリ１０７に記憶し（ステップＳ２５）、処理を終了する。

次に、第２のモードが設定されている場合について説明する。第２のモードは、主として移動体Ｍが自動車であって、第１の撮像装置２００ａと第２の撮像装置２００ｂが自動車の前後の撮影に用いられる場合を想定して設けられているモードである。図６は、ミラーモードでの処理内容を示す説明図であって、図６（ａ）は、図５（ａ）に対応する図である。

第２のモードにおいても制御部１０５は、まずステップＳ１２の処理と同様に、前方側の動画データＧ１と後方側の動画データＧ２のフレーム画像をフレーム順に矩形画像に変換する（ステップＳ１７）。

次に、制御部１０５は、変換後における後方側の動画データＧ２のフレーム画像ＦＧ２に鏡面変換する（ステップＳ１８）。図６（ｂ）は、鏡面変換後のフレーム画像ＦＧ２２を示す図である。

しかる後、制御部１０５は、鏡面変換後のフレーム画像ＦＧ２２をステップＳ１０で検出した消失点ＶＰを中心に左右に分割する（ステップＳ１９）。つまり図６（ｂ）のように、消失点ＶＰが鏡面変換後のフレーム画像ＦＧ２２（フレーム画像ＦＧ２）の左右方向の中央であれば、制御部１０５は、フレーム画像ＦＧ２２を、撮影範囲が［Ｒ９０］から［Ｒ１８０］までの左半分の分割画像ＦＧ２２−Ｌと、撮影範囲が［Ｒ０］から［Ｒ９０］までの右半分の分割画像ＦＧ２２−Ｒと、に分割する。

次に、制御部１０５は、分割した左右の分割画像ＦＧ２２−Ｌ，ＦＧ２２−Ｒを、鏡面変換後のフレーム画像ＦＧ２２における位置関係を維持したまま、前方側の動画データＧ１のフレーム画像ＦＧ１の左右端部に合成する（ステップＳ２０）。すなわち図６（ｃ）に示したように、左側の分割画像ＦＧ２２−Ｌを前方側の動画データＧ１のフレーム画像ＦＧ１の左側端部に合成し、かつ、右側の分割画像ＦＧ２２−Ｒを前方側の動画データＧ１のフレーム画像ＦＧ１の右側端部に合成したフレーム画像ＦＧ４を新たに生成する。なお、図６（ａ）〜図６（ｃ）においても、各フレーム画像ＦＧ２，ＦＧ２２，ＦＧ４に示した矢印は、個々の画像内に存在する被写体の前方側の動画データＧ１と後方側の動画データＧ２での移動方向を便宜的に示すものである。

引き続き、制御部１０５は、合成後のフレーム画像ＦＧ４を順次一時記憶し（ステップＳ２１）、以後、最終フレームの合成が完了するまで（ステップＳ２２：ＮＯ）、ステップＳ１７以降の処理を繰り返す。しかる後、最終フレームの合成が完了すると（ステップＳ２２：ＹＥＳ）、一時記憶しているフレーム画像ＦＧ３を含む動画データの動画を表示部１０１に再生する（ステップＳ２３）。

これにより、前方側の動画データＧ１と後方側の画像データＧ２とを用いて、例えば自動車の走行中に運転席から見える前方の景色と左右のサイドミラーに映った左後方側の景色と右後方側の景色とが並んだ動画としてユーザーに観察又は鑑賞させることができる。

以後、制御部１０５は、ユーザーにより設定されている合成モードの種類（第１のモード、又は第２のモード）に関係なく、ユーザーから記録指示があるまでは、合成した動画の表示を継続する（ステップＳ２４：ＮＯ）。そして、制御部１０５は、記録指示を検出すると（ステップＳ２４：ＹＥＳ）、一時記憶している動画データを新たな動画ファイルとして画像メモリ１０７に記憶し（ステップＳ２５）、全ての処理を終了する。

以上説明したように画像処理装置１００においては、同時に撮影された撮影方向が異なる第１の動画データＧ１と第２の動画データＧ２とを再生して表示する際、第１のモードが設定されている場合には、第１の動画データＧ１と第２の動画データＧ２とから、移動体Ｍの周囲のほぼ全域をカバーする単一の動画データを生成して表示部１０１に再生する。また、第２のモードが設定されている場合には、第１の動画データＧ１と第２の動画データＧ２から、前方の景色と左右のサイドミラーに映った左後方側の景色と右後方側の景色とが並んだ単一の動画データを生成して表示部１０１に再生する。

これにより、ユーザーにおいては、撮影し、合成により生成された広範囲の画像を再生表示する場合、臨場感を保つことができる。

また、第１の動画データＧ１と第２の動画データＧ２との動画ファイルの少なくともいずれか一方に方向情報が含まれている場合には、それによって示される撮影方向に基づいて、分割対象とすべき動画データ（本実施形態では後方側の動画データ）を特定する。つまり分割対象の動画データを自動的に特定する。これにより、ユーザーに分割対象とすべき動画データを選択させることなく、特定の方向を撮影した動画データ（本実施形態では前方側の動画データ）を中心とする単一の動画データを生成して表示することができる。

また、第１の動画データＧ１の動画ファイルと第２の動画データＧ２の動画ファイルの少なくとも一方に方向情報が含まれていない場合には、各々の動画データについて複数箇所の動きベクトルを検出し、検出した動きベクトル群から分割対象とすべき動画データ（本実施形態では後方側の動画データ）を特定する。これによっても、分割対象の動画データを自動的に特定することができ、ユーザーに分割対象とすべき動画を選択させることなく、特定の方向を撮影した動画データ（本実施形態では前方側の動画データ）を中心とする単一の動画を生成して表示することができる。

しかも、第１の動画データＧ１と第２の動画データＧ２とを解析することによって分割対象とすべき動画データを特定することから、処理対象の動画データが方向情報を有するものに限定されることがない。また、撮影前に撮像装置２００ａは前方側の動画データを、撮像装置２００ｂは後方側の画像データを、夫々撮影するものとして通信経路を設定しておけば、上記の特定処理を行うことなく、特定の方向を撮影した動画データを中心とする単一の動画を生成して表示する合成することも可能である。

また、分割対象の動画データ（後方側の動画データＧ２）において、それから検出した動きベクトル群に基づき消失点ＶＰを特定し、その消失点ＶＰが存在する位置を分割対象の動画データのフレーム画像における分割位置とした。これにより、分割対象の動画データについて適切な位置で分割することができる。なお、これとは異なり、分割対象の動画データの分割位置は、例えば動きベクトル群によって示される動画データ内の複数ヶ所での被写体の移動方向が全体的に反転する位置とすることもできる。

ここで、本実施形態においては、主として画像処理装置１００の処理対象が水平方向に１８０°の画角で撮影された動画である場合について説明したが、処理対象の動画の撮影時の画角はこれに限定されることはなく、任意の画角であって構わない。

また、画像処理装置１００の処理対象が、異なる撮像装置２００ａ，２００ｂによって個別に撮影された２つの動画である場合について説明したが、処理対象の動画は、例えば単一の撮像装置によって撮影された２つの動画であっても構わない。

また、画像処理装置１００は、撮像装置としての機能を備えた任意の電子機器によって実現することができ、その場合には、自機で撮影した動画と他の撮像装置から取得した動像とを処理対象として前述した処理を行ってもよい。また、画像処理装置１００において表示部１０１は必須の構成ではなく、画像処理装置１００は、第１の動画データＧ１と第２の動画データＧ２とから生成した、図５（ｃ）や図６（ｃ）に示した動画像を単に外部の表示機器に出力する構成であっても構わない。

また、本実施形態では、処理対象の第１の動画データＧ１及び第２の動画データＧ２が、移動体Ｍの移動中に前方側及び後方側を撮影した動画である場合について説明した。しかし、第１の動画データＧ１及び第２の動画データＧ２は、移動体Ｍの左方向及び右方向を撮影した動画であってもよい。その場合、第１の動画データＧ１及び第２の動画データＧ２が水平方向に１８０°の画角で撮影された動画データであれば、予め決められた方向（例えば左方向）を撮影した動画データを分割対象として、前述した第１モードの場合と同様の処理を行わせればよい。

また、以上の説明においては、画像処理装置１００の処理対象が、第１の撮像装置２００ａ及び第２の撮像装置２００ｂにおいて予め撮影されて記憶されている動画データである場合について説明した。しかし、画像処理装置１００には、第１の撮像装置２００ａ及び第２の撮像装置２００ｂにおいて逐次撮影されるフレーム画像を対象として本実施形態と同様の処理を行わせてもよい。すなわち画像処理装置１００には、リアルタイムで図５（ｃ）や図６（ｃ）に示したようなフレーム画像を生成して表示する処理を行わせてもよい。

また、その場合には、例えば第１の撮像装置２００ａと第２の撮像装置２００ｂとの移動速度（撮影地点の移動速度）を確認させ、その移動速度が所定の速度以下である間は、各々から取得したフレーム画像を２画面表示させるようにしてもよい。つまり、第１の撮像装置２００ａと第２の撮像装置２００ｂとの移動に伴い各々の動画内において移動する被写体の移動速度が遅く、各々の動画を見るときのユーザーの負担が少ない間は、各々から取得したフレーム画像を２画面表示させるようにしてもよい。

なお、第１の撮像装置２００ａと第２の撮像装置２００ｂとの双方又は一方からそれらの移動速度は、第１の撮像装置２００ａや第２の撮像装置２００ｂから移動速度を示す速度情報を直接取得して確認してもよいし、相前後して取得した２フレーム分のフレーム画像の各部から動きベクトルを検出し、検出した動きベクトル群を、撮影地点の移動速度を示す速度情報として確認してもよい。

また、以上の説明においては、画像処理装置１００の処理対象が動像である場合について説明したが、画像処理装置１００には静止画を対象とした処理を行わせてもよい。但し、その場合、処理対象の静止画は、撮影方向情報が付加されているものに限定される。

以上、本発明の一実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
撮影タイミングが共通し、且つ、撮影方向が異なる２つの画像を取得する画像取得手段と、
前記画像取得手段により取得された前記２つの画像のうちで、その撮影方向が一方の画像の撮影方向に対して所定の関係にある他方の画像を第１の分割画像と第２の分割画像とに分割する分割手段と、
前記第１の分割画像と前記第２の分割画像とを、前記一方の画像の両端側にそれぞれ合成する合成手段と、
を備えたことを特徴とする画像処理装置。
（付記２）
前記合成手段は、前記第１の分割画像と前記第２の分割画像とを、前記他方の画像での位置関係を逆転させて、前記一方の画像の両端側にそれぞれ合成することを特徴とする付記１記載の画像処理装置。
（付記３）
前記他方の画像を鏡面変換する鏡面変換手段を更に備え、
前記分割手段は、前記鏡面変換手段による鏡面変換後の前記他方の画像を第１の分割画像と第２の分割画像とに分割し、
前記合成手段は、前記第１の分割画像と前記第２の分割画像とを前記一方の画像の両端側にそれぞれ合成する
ことを特徴とする付記１記載の画像処理装置。
（付記４）
前記撮影方向に基づいて、前記２つの画像の何れかを前記他方の画像として特定する第１の特定手段を更に備えたことを特徴とする付記１乃至３のいずれか１つに記載の画像処理装置。
（付記５）
前記２つの画像を解析することによって、これら２つの画像の何れかを前記他方の画像として特定する第２の特定手段を更に備えることを特徴とする付記１乃至３のいずれか１つに記載の画像処理装置。
（付記６）
前記２つの画像のそれぞれから動きベクトルを検出する第１の検出手段をさらに備え、
前記第２の特定手段は、前記第１の検出手段によって検出された動きベクトルに基づいて、前記２つの画像の何れかを前記他方の画像として特定することを特徴とする付記５記載の画像処理装置。
（付記７）
前記他方の画像から動きベクトルを検出する第２の検出手段と、
前記第２の検出手段によって検出された動きベクトルに基づいて、前記他方の画像の分割位置を決定する分割位置決定手段と、
をさらに備え、
前記分割手段は、前記分割位置決定手段により決定された分割位置で前記他方の画像を第１の分割画像と第２の分割画像とに分割する
ことを特徴とする付記１乃至６のいずれか１つに記載の画像処理装置。
（付記８）
前記分割位置決定手段は、前記他方の画像から前記検出手段によって検出された被写体の移動方向に基づいて、前記他方の画像の消失点を検出し、この検出された消失点が存在する位置を前記他方の画像の分割位置を決定することを特徴とする付記７記載の画像処理装置。
（付記９）
前記２つの画像は広角レンズに撮影された画像であり、
前記２つの画像を歪みのないパノラマ画像に補正する補正手段をさらに備え、
前記分割手段は、前記補正手段による補正後の前記他方の画像を第１の分割画像と第２の分割画像とに分割する
ことを特徴とする付記１乃至８のいずれか１つに記載の画像処理装置。
（付記１０）
前記２つの画像は、動画像を含み、
前記分割手段は、他方の動画像の動画のフレーム画像を第１の分割画像と第２の分割画像とに分割することを特徴とする付記１乃至９のいずれか１つに記載の画像処理装置。
（付記１１）
前記２つの動画像を撮像した装置、もしくは、当該装置が設置された移動体の、撮影時における移動速度を示す速度情報を取得する速度情報取得手段を更に備え、
前記合成手段は、前記速度情報取得手段により取得された速度情報により示される前記移動速度が所定の速度以上である時に撮像された動画像について、前記第１の分割画像と前記第２の分割画像とを、前記一方の画像の両端側にそれぞれ合成することを特徴とする付記１０記載の画像処理装置。
（付記１２）
撮影タイミングが共通し、且つ、撮影方向が異なる２つの画像を取得する画像取得ステップと、
前記画像取得ステップにて取得された前記２つの画像のうちで、その撮影方向が一方の画像の撮影方向に対して所定の関係にある他方の画像を第１の分割画像と第２の分割画像とに分割する分割ステップと、
前記第１の分割画像と前記第２の分割画像とを、前記一方の画像の両端側にそれぞれ合成する合成ステップと、
を含むことを特徴とする画像処理方法。
（付記１３）
コンピュータを、
撮影タイミングが共通し、且つ、撮影方向が異なる２つの画像を取得する画像取得手段、
前記画像取得手段により取得された前記２つの画像のうちで、その撮影方向が一方の画像の撮影方向に対して所定の関係にある他方の画像を第１の分割画像と第２の分割画像とに分割する分割手段、
前記第１の分割画像と前記第２の分割画像とを、前記一方の画像の両端側にそれぞれ合成する合成手段、
として機能させることを特徴とするプログラム。

１ 画像処理装置
１００ 画像処理装置
１０１ 表示部
１０２ 画像処理部
１０３ プログラムメモリ
１０４ 無線通信部
１０５ 制御部
１０６ 操作部
１０７ 画像メモリ
２００ａ 第１の撮像装置
２００ｂ 第２の撮像装置
２０１ 広角レンズ
２０２ 撮像素子
２０３ 画像処理部
２０４ プログラムメモリ
２０５ 画像メモリ
２０６ 制御部
２０７ 操作部
２０８ センサモジュール
２０９ 無線通信部
３００ 第２の撮像装置
Ｍ 移動体
ＶＰ 消失点
Ｇ１ 第１の動画データ
Ｇ２ 第２の動画データ
ＦＧ１，ＦＧ２，ＦＧ３，ＦＧ４ フレーム画像
ＦＧ２−Ｌ，ＦＧ２−Ｒ 分割画像
ＦＧ２２−Ｌ，ＦＧ２２−Ｒ 分割画像

Claims (8)

1. 撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得手段と、
   前記画像取得手段により取得された前記第２の画像から動きベクトルを検出する検出手段と、
   前記検出手段によって検出された動きベクトルに基づいて、前記第２の画像の分割位置を決定し、前記画像取得手段により取得された前記第２の画像を決定した分割位置に基づいて第１の分割画像と第２の分割画像とに分割する分割手段と、
   前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記分割手段は、前記第２の画像から前記検出手段によって検出された動きベクトルに基づいて、前記第２の画像の消失点を検出し、この検出された消失点が存在する位置を前記第２の画像の分割位置を決定することを特徴とする請求項１記載の画像処理装置。
3. 前記画像取得手段によって取得された２つの画像は広角レンズにて撮影された画像であり、
   前記２つの画像を歪みのないパノラマ画像に補正する補正手段をさらに備え、
   前記分割手段は、前記補正手段による補正後の前記第２の画像を第１の分割画像と第２の分割画像とに分割する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像取得手段により取得された２つの画像は、動画像であり、
   前記分割手段は、前記進行方向の逆方向を撮影方向とした第２の画像のフレーム画像を第１の分割画像と第２の分割画像とに分割することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像取得手段により取得された２つの動画像を撮像した装置、もしくは、当該装置が設置された移動体の、撮影時における移動速度を示す速度情報を取得する速度情報取得手段を更に備え、
   前記合成手段は、前記速度情報取得手段により取得された速度情報により示される前記移動速度が所定の速度以上である時に撮像された動画像について、前記第１の分割画像と前記第２の分割画像とを、前記第１の画像である動画像の両端側にそれぞれ合成することを特徴とする
   請求項４記載の画像処理装置。
6. 撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得手段と、
   前記第２の画像を鏡面変換する鏡面変換手段と、
   前記鏡面変換手段による鏡面変換後の第２の画像を第１の分割画像と第２の分割画像とに分割する分割手段と、
   前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
7. 撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得ステップと、
   前記画像取得ステップにて取得された前記第２の画像から動きベクトルを検出する検出ステップと、
   前記検出ステップにて検出された動きベクトルに基づいて、前記第２の画像の分割位置を決定し、前記画像取得ステップにて取得された前記第２の画像を決定した分割位置に基づいて第１の分割画像と第２の分割画像とに分割する分割ステップと、
   前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
8. コンピュータを、
   撮影タイミングが共通し、且つ、進行方向を撮影方向とした第１の画像と前記進行方向の逆方向を撮影方向とした第２の画像とを取得する画像取得手段、
   前記画像取得手段により取得された前記第２の画像から動きベクトルを検出する検出手段、
   前記検出手段によって検出された動きベクトルに基づいて、前記第２の画像の分割位置を決定し、前記画像取得手段により取得された前記第２の画像を決定した分割位置に基づいて第１の分割画像と第２の分割画像とに分割する分割手段、
   前記第１の分割画像と前記第２の分割画像とを、前記第１の画像の両端側にそれぞれ合成する合成手段、
   として機能させることを特徴とするプログラム。

Images