JP7380435B2 - 映像処理装置、及び映像処理システム - Google Patents

Description

本発明は、超広角レンズを使用して撮影された映像を処理する、映像処理装置、及び映像処理システムに関する。

近年、車両の前後左右３６０°の全方位の映像を録画できるドライブレコーダが普及してきている。例えば、車両の前後左右に４つのカメラを設置するとともに、車室内の天井に車室内を見下ろすように超広角カメラを設置する構成が考えられる。魚眼レンズ等を使用した超広角カメラで撮影された映像は、円形状の映像になる（例えば、特許文献１参照）。一般的な映像の記録フォーマットは、矩形の映像をフレーム単位で記録するものであるため、超広角カメラで撮影された映像を一般的な記録フォーマットで記録する場合、四隅に無駄な領域が発生する。

特開２０１５－８０１０７号公報

上述したように、車両に設置された複数のカメラで同時に撮影して記録する場合、カメラごとに映像データのファイルが生成され、再生の際、複数のカメラで撮影された映像データの合成や同期管理が煩雑になる傾向があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、超広角カメラを含む複数のカメラで撮影された映像データのファイルを効率的に生成する技術を提供することにある。

上記課題を解決するために、本発明のある態様の映像処理装置は、移動体の所定の位置に設置された主撮像部から、曲線部を有する形状の映像領域を含む主映像データを取得する第１取得部と、前記移動体の別の位置に設置された副撮像部から、副映像データを取得する第２取得部と、前記主映像データの各フレームの前記映像領域以外の空き領域に、前記副映像データをもとに生成される前記空き領域に収まる形状をした映像データを合成して配置する合成部と、前記合成された映像データをもとに一つの動画ファイルを生成する生成部と、を備える。

本発明の別の態様は、映像処理方法である。この方法は、移動体の所定の位置に設置された主撮像部から、曲線部を有する形状の映像領域を含む主映像データを取得するステップと、前記移動体の別の位置に設置された副撮像部から、副映像データを取得するステップと、前記主映像データの各フレームの前記映像領域以外の空き領域に、前記副映像データをもとに生成される前記空き領域に収まる形状をした映像データを合成して配置するステップと、前記合成された映像データをもとに一つの動画ファイルを生成するステップと、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、超広角カメラを含む複数のカメラで撮影された映像データのファイルを効率的に生成することができる。

図１（ａ）－（ｂ）は、実施の形態１に係る映像処理システムを構成する、車両に搭載される主撮像部と４つの副撮像部の配置例を示す図である。 実施の形態１に係る映像処理システムの構成を示すブロック図である。 実施の形態１に係る、主撮像部、第１副撮像部－第４副撮像部によりそれぞれ撮像された主映像、第１副映像－第４副映像を説明するための図である。 実施の形態１に係る、主撮像部、第１副撮像部－第４副撮像部によりそれぞれ撮像された主映像、第１副映像－第４副映像の変形処理を説明するための図である。 主映像に、４つの部分映像データが配置された後の合成映像を示す図である。 図６（ａ）－（ｂ）は、実施の形態２に係る映像処理システムを構成する、車両に搭載される主撮像部と副撮像部の配置例を示す図である。 実施の形態２に係る映像処理システムの構成を示すブロック図である。 実施の形態２に係る、主撮像部、副撮像部によりそれぞれ撮像された主映像、副映像を説明するための図である。 実施の形態２に係る、主撮像部、副撮像部によりそれぞれ撮像された主映像、副映像の変形処理を説明するための図である。 主映像に、４つの部分映像データが配置された後の合成映像を示す図である。

（実施の形態１）
図１（ａ）－（ｂ）は、実施の形態１に係る映像処理システムを構成する、車両１に搭載される主撮像部１０と４つの副撮像部１１－１４の配置例を示す図である。図１（ａ）は車両１を上から見た図であり、図１（ｂ）は車両１を左側面から見た図である。主撮像部１０は、超広角レンズを有するカメラを備える。超広角レンズは、本実施の形態では、画角が１８０°の車両１の前後左右、及び車室内の半球状の全周囲を収めることができる円周魚眼レンズを使用することを想定する。図１（ａ）－（ｂ）に示すように本実施の形態では、主撮像部１０は、車内の天井に、車内を見下ろすように下向きに設置され、車内外の光景を撮像する。

実施の形態１では、主撮像部１０の死角ないしは周辺部の解像度不足を補完するために、車両１の外側に複数の副撮像部１１－１４が設置される。複数の副撮像部１１－１４は、円周魚眼レンズに比べて周辺画像の歪みが少ない一般的な広角レンズを有するカメラを備えることを想定する。実施の形態１では、車両１の前方に第１副撮像部１１が設置され、車両１の後方に第２副撮像部１２が設置され、車両１の左側方に第３副撮像部１３が設置され、車両１の右側方に第４副撮像部１４が設置される。

図１（ａ）－（ｂ）に示す例では、第１副撮像部１１は、フロントグリルに取り付けられ、車両１の前方の光景を撮像する。第２副撮像部１２は、リアグリルに取り付けられ、車両１の後方の光景を撮像する。第３副撮像部１３は、左側のサイドミラーに取り付けられ、車両１の左側方の光景を撮像する。第４副撮像部１４は、右側のサイドミラーに取り付けられ、車両１の右側方の光景を撮像する。

図２は、実施の形態１に係る映像処理システム５の構成を示すブロック図である。実施の形態１に係る映像処理システム５は、主撮像部１０、第１副撮像部１１、第２副撮像部１２、第３副撮像部１３、第４副撮像部１４、及び映像処理装置２０を備える。主撮像部１０、第１副撮像部１１、第２副撮像部１２、第３副撮像部１３、及び第４副撮像部１４と、映像処理装置２０はそれぞれケーブルで接続されている。なお、リアルタイム性、及びノイズ耐性の要求を満たしていれば、主撮像部１０、第１副撮像部１１、第２副撮像部１２、第３副撮像部１３、及び第４副撮像部１４の少なくとも一つと、映像処理装置２０が無線で接続されてもよい。

主撮像部１０は、超広角レンズ、固体撮像素子及び信号処理回路を含む。固体撮像素子は、超広角レンズを介して入射される光を電気的な映像信号に変換し、信号処理回路に出力する。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、映像処理装置２０に出力する。第１副撮像部１１－第４副撮像部１４の構成も、レンズの形状や各回路部品のスペックを除き、主撮像部１０の構成と同様である。

映像処理装置２０は、主映像取得部２１、第１副映像取得部２２ａ、第２副映像取得部２２ｂ、第３副映像取得部２２ｃ、第４副映像取得部２２ｄ、主映像加工部２３、第１副映像加工部２４ａ、第２副映像加工部２４ｂ、第３副映像加工部２４ｃ、第４副映像加工部２４ｄ、合成部２５、圧縮符号化部２６、ファイル生成部２７、及び記録部２８を含む。

映像処理装置２０のファイル生成部２７までの構成は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

主映像取得部２１は、主撮像部１０から、円形状の映像領域を含む主映像データを取得する。主映像取得部２１は、取得した主映像データを主映像加工部２３に出力する。本明細書において円形状の映像領域は、真円の映像領域に限らず、楕円の映像領域や歪んだ円の映像領域も含む概念である。

通常、固体撮像素子の画素は矩形状に配置されているため、レンズが超広角の円周魚眼レンズであっても、主撮像部１０から出力される主映像データは、円形状の映像領域を内部に含む矩形状のデータとなる。主映像データの各フレームにおいて、円形状の映像領域以外の領域は、映像情報を含まない空き領域となる。画角変換を行わずに主映像データが再生される場合、空き領域は、黒い背景として表示される。

第１副映像取得部２２ａ－第４副映像取得部２２ｄは、第１副撮像部１１－第４副撮像部１４から、第１副映像データ－第４副映像データをそれぞれ取得する。第１副映像取得部２２ａ－第４副映像取得部２２ｄは、取得した第１副映像データ－第４副映像データを第１副映像加工部２４ａ－第４副映像加工部２４ｄにそれぞれ出力する。

第１副映像加工部２４ａ－第４副映像加工部２４ｄは、第１副映像データ－第４副映像データを加工して、主映像データの各フレームの空き領域の形状をした映像データを生成する。以下、図３－図５を参照しながら具体的に説明する。

図３は、実施の形態１に係る、主撮像部１０、第１副撮像部１１－第４副撮像部１４によりそれぞれ撮像された主映像１０ｉ、第１副映像１１ｉ－第４副映像１４ｉを説明するための図である。主映像データで映像情報を含まない領域はハッチングされた空き領域１０ｅで示している。図３では、車両１が前進している状態における、主映像１０ｉ、第１副映像１１ｉ、第２副映像１２ｉ、第３副映像１３ｉ、及び第４副映像１４ｉに映る光景の動きを矢印でそれぞれ示している。各映像に映る光景は、車両１が動く方向と反対方向に流れる光景となる。

車両１が前進（図３では、車両１が下から上に移動）しているため、主映像１０ｉに映る光景は、後方に流れる光景になる。具体的には上から下に流れる光景になる。超広角レンズを介して撮像された映像は、丸く歪んだ映像になるため、円周に近い領域では、円周に沿って上から下に流れる光景になる。第１副映像１１ｉに映る光景は、中央から周辺部に広がる光景になる。第２副映像１２ｉに映る光景は、周辺部から中央に吸い寄せられる光景になる。第３副映像１３ｉに映る光景は、右から左に流れる光景になる。第４副映像１４ｉに映る光景は、左から右に流れる光景になる。

なお、車両１が後退（図３では、車両１が上から下に移動）している場合は、主映像１０ｉ、第１副映像１１ｉ、第２副映像１２ｉ、第３副映像１３ｉ、及び第４副映像１４ｉに映る光景の動きは、図３に示した矢印の方向と逆方向の動きになる。

図４は、実施の形態１に係る、主撮像部１０、第１副撮像部１１－第４副撮像部１４によりそれぞれ撮像された主映像１０ｉ、第１副映像１１ｉ－第４副映像１４ｉの変形処理を説明するための図である。図３－図５に示す例では、主映像１０ｉの上の空き領域１０ｅに第１副映像１１ｉを配置し、主映像１０ｉの下の空き領域１０ｅに第２副映像１２ｉを配置し、主映像１０ｉの左の空き領域１０ｅに第３副映像１３ｉを配置し、主映像１０ｉの右の空き領域１０ｅに第４副映像１４ｉを配置する。

主映像加工部２３及び第１副映像加工部２４ａ－第４副映像加工部２４ｄは、映像を合成する前に、前処理として主映像データ及び第１副映像データ－第４副映像データに対してそれぞれ種々の加工処理を実行する。例えば、主撮像部１０の固体撮像素子の解像度と、第１副撮像部１１－第４副撮像部１４の固体撮像素子の解像度が異なる場合、主映像加工部２３及び第１副映像加工部２４ａ－第４副映像加工部２４ｄの少なくとも一方により、以下の加工処理が実行される。主映像データの解像度と第１副映像データ－第４副映像データの解像度が一致するように、主映像加工部２３による主映像データの間引又は補間処理、及び第１副映像加工部２４ａ－第４副映像加工部２４ｄによる第１副映像データ－第４副映像データの間引又は補間処理の少なくとも一方が実行される。

主映像加工部２３は、円形状の主映像１０ｉの映像領域の拡大又は縮小処理を実行してもよい。例えば、主映像データと別に、第１副映像データ－第４副映像データがそれぞれ保存される場合、主映像加工部２３は、円形状の映像領域を最大限に拡大させてもよい。反対に、第１副映像データ－第４副映像データが保存されずに破棄される場合、主映像加工部２３は、円形状の映像領域を縮小させてもよい。この場合、空き領域１０ｅの領域をより多くとれ、第１副映像１１ｉ－第４副映像１４ｉの情報をより多く残すことができる。

主映像加工部２３は、主映像１０ｉの歪を低減するために、主撮像部１０の超広角レンズの視野角に応じて設定された歪パラメータに基づき主映像データを、所定の射影変換方式により座標変換してもよい。

第１副映像加工部２４ａ－第４副映像加工部２４ｄは、車両１の動きに応じた、主映像１０ｉ内の空き領域１０ｅに隣接する領域の動きベクトルに、第１副映像１１ｉ－第４副映像１４ｉの動きベクトルを近づけるように、第１副映像データ－第４副映像データを変形する。図４に示す例では、第３副映像加工部２４ｃは、第３副映像データを反時計回りに９０°回転させる。第４副映像加工部２４ｄは、第４副映像データを時計回りに９０°回転させる。図４に示す例では、第１副映像データ及び第２副映像データは回転させる必要はない。

なお、副映像データの回転角度は、主撮像部１０と第１副撮像部１１－第４副撮像部１４との位置関係及びそれぞれの画角に応じて、予め設定される。例えば、第３副撮像部１３の画角がロール方向に傾いている場合、第３副映像加工部２４ｃは第３副映像データを、９０°ではなく、その傾きに応じた角度で回転させる。例えば、第１副撮像部１１又は第２副撮像部１２がロール方向に傾いている場合、第１副映像加工部２４ａ又は第２副映像加工部２４ｂは、第１副映像データ又は第２副映像データを、その傾きに応じた角度で回転させる。

第１副映像加工部２４ａは第１副映像１１ｉから、主映像１０ｉの上の空き領域１０ｅに対応する形状の部分映像データ１１ｃを切り出す。なお、第１副映像１１ｉから部分映像データ１１ｃを切り出す位置は、図４に示した位置に限定されるものでなく、任意の位置から切り出すことができる。また、第１副映像加工部２４ａは、より大きなサイズで部分映像データ１１ｃを切り出し、切り出した部分映像データ１１ｃを、第１副映像１１ｉの上の空き領域１０ｅのサイズまで縮小してもよい。なお、第１副映像加工部２４ａは第１副映像１１ｉから部分映像データ１１ｃを切り出すのではなく、第１副映像１１ｉ全体を、主映像１０ｉの上の空き領域１０ｅに対応する形状に変形してもよい。

同様に、第２副映像加工部２４ｂは第２副映像１２ｉから、主映像１０ｉの下の空き領域１０ｅに対応する形状の部分映像データ１２ｃを切り出す。なお、第２副映像加工部２４ｂは第２副映像１２ｉ全体を、主映像１０ｉの下の空き領域１０ｅに対応する形状に変形してもよい。第３副映像加工部２４ｃは第３副映像１３ｉから、主映像１０ｉの左の空き領域１０ｅに対応する形状の部分映像データ１３ｃを切り出す。なお、第３副映像加工部２４ｃは第３副映像１３ｉ全体を、主映像１０ｉの左の空き領域１０ｅに対応する形状に変形してもよい。第４副映像加工部２４ｄは第４副映像１４ｉから、主映像１０ｉの右の空き領域１０ｅに対応する形状の部分映像データ１４ｃを切り出す。なお、第４副映像加工部２４ｄは第４副映像１４ｉ全体を、主映像１０ｉの右の空き領域１０ｅに対応する形状に変形してもよい。

第１副映像加工部２４ａ－第４副映像加工部２４ｄは、第１副映像データ－第４副映像データの変形、回転、又は切出に伴い座標変換を実行する。なお、主映像加工部２３及び第１副映像加工部２４ａ－第４副映像加工部２４ｄは、上記した加工処理の他に、階調補正、色補正、輪郭補正などの加工処理を実行することもできる。

合成部２５はフレームバッファを有する。合成部２５は、主映像データの各フレームの円形状の映像領域以外の空き領域１０ｅに、第１副映像加工部２４ａ－第４副映像加工部２４ｄにより生成された部分映像データ１１ｃ－１４ｃをそれぞれ配置する。

図５は、主映像１０ｉに、４つの部分映像データ１１ｃ－１４ｃが配置された後の合成映像１５を示す図である。図５に示すように、円形状の映像領域の境界の内側と外側とで、光景が流れる方向が近似するようになっている。

圧縮符号化部２６は、合成された映像データを圧縮符号化する。圧縮符号化部２６は例えば、ＭＰＥＧ系の圧縮方式を使用して、映像データを圧縮符号化する。ＭＰＥＧ系の圧縮方式として、例えば、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ等を使用することができる。

ファイル生成部２７は、圧縮符号化された映像データのストリームをもとに、一つの動画ファイルを生成する。なお、図示しないマイクにより音声データが取得されている場合、ファイル生成部２７は、映像データと音声データを多重化して、一つの音声付き動画ファイルを生成してもよい。例えば、ＭＰ４のフォーマットを使用して、映像データと音声データを一つのファイルに格納する。ファイル生成部２７は、生成した動画ファイルを記録部２８に保存する。ここで記録部２８に保存する動画ファイルは合成された映像データから圧縮符号化して生成するとしたが、記録容量や処理速度などの仕様上の制限がなければ、合成のための加工等は行わない第１副映像データ－第４副映像データをそれぞれ圧縮符号化して記録部２８に別に保存してもよい。

記録部２８は、不揮発性の記録媒体を備える。不揮発性の記録媒体は、リムーバブル記録媒体であってもよいし、映像処理装置２０に内蔵される固定の記録媒体であってもよい。リムーバブル記録媒体として、半導体メモリカード（例えば、ＳＤカード）、光ディスク（例えば、ＤＶＤ）等を使用することができる。固定の記録媒体として、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ、ＨＤＤ等を使用することができる。

なお、図２には示していないが映像処理装置２０には、撮像された映像を表示するための表示部（例えば、液晶ディスプレイ、有機ＥＬディスプレイ）が設けられてもよい。なお、表示部を設ける代わりに、カーナビゲーションシステム又はスマートフォンと連携して、カーナビゲーションシステム又はスマートフォンの画面に、撮像された映像を表示させてもよい。また、リムーバブル記録媒体を映像処理装置２０から取り出し、取り出したリムーバブル記録媒体を、ＰＣ等の映像再生装置に装着し、リムーバブル記録媒体に保存されている動画ファイルを再生してもよい。

なお、図２には示していないが映像処理装置２０には、無線通信部が設けられてもよい。無線通信部は、生成された動画ファイルを、無線ネットワークを介してクラウド上のサーバに送信し、保存することができる。また、無線通信部は、合成された映像を、無線ネットワークを介して監視センタのＰＣ又はサーバにストリーム送信することもできる。

以上説明したように実施の形態１によれば、円周魚眼レンズ等の超広角レンズを有する主撮像部１０と、第１副撮像部１１－第４副撮像部１４で撮像された映像データのファイルを効率的に生成することができる。即ち、主撮像部１０から取得される円形状の映像領域の周囲の領域に、第１副撮像部１１－第４副撮像部１４から取得される映像を配置することにより、映像を効率的に記録することができる。円周魚眼レンズを介して撮像された映像は、円形状の映像領域の外側の領域に映像情報がなく、矩形の記録可能領域において無駄が生じていた。これに対して本実施の形態によれば、当該外側の空き領域を有効活用することができる。

複数の撮像部を使用して同時に撮像することで広い視野の映像を記録しようとする場合、撮像部ごとに映像データが別々に記録されることで、再生の際、複数の映像データの合成や同期管理が煩雑になる傾向があった。これに対して本実施の形態によれば、複数の撮像部で撮像された映像を一つの映像領域に集約して記録できるため、再生時に複数の映像データの同期を意識する必要がなくなり、再生時の処理を簡易化することができる。

複数の撮像部で撮像された映像を一つの映像領域に合成して記録する場合、それぞれの映像の動きに関連性がないため、映像の圧縮効率が向上せず、合成された映像間の境界領域でデータ容量が大きくなる傾向があった。

例えば、ＭＰＥＧ系の圧縮符号化方式では、動き補償を利用したフレーム間予測符号化が用いられる。圧縮符号化部２６は、現フレームと時間方向に隣接する参照フレーム内において、現フレームのマクロブロックと最も誤差が小さい予測領域を探索する。圧縮符号化部２６は、現フレームのマクロブロックと、参照フレーム内で探索した予測領域とのずれを示す動きベクトルを求める。圧縮符号化部２６は、求めた動きベクトルを用いてマクロブロックの動きを補償し、動き補償後のマクロブロックの画像と、参照フレーム内で探索した予測領域の画像との差分画像を生成する。圧縮符号化部２６は、当該差分画像の直交変換係数を量子化したデータと当該動きベクトルを符号化する。

動き補償を利用したフレーム間予測符号化では、マクロブロック内に映る光景の動きが均一であるほど、差分画像のデータ量を少なくでき圧縮効率を向上させることができる。本実施の形態では、主映像の外周部に映る光景の動きベクトルに、その周囲に配置する副映像に映る光景の動きベクトルを近づけるように、副映像データを回転させる。これにより、主映像と副映像間の境界領域のマクロブロック内に映る光景の動きベクトルのバラツキを低減することができ、差分画像のデータ量を削減することができる。よって、副映像データを回転させずに合成する場合と比較して、当該境界領域の映像データの圧縮効率を向上させることができる。

なお、同一フレーム内において、対象領域に類似する参照領域を探索し、対象領域の画像と参照領域の画像との差分画像を生成して符号化する場合も、主映像と副映像間の境界領域付近の映像データの圧縮効率を向上させることができる。主映像の外周部に映る光景の動きベクトルに、その周囲に配置する副映像に映る光景の動きベクトルを近づけるように、副映像データを回転させることにより、当該境界付近において、対象領域と類似度が高い参照領域を探索しやすくなり、差分画像のデータ量を削減することに貢献する。なお、副映像データを回転させることにより、当該境界付近における映像の見た目上の連続性を向上させることにも貢献する。

（実施の形態２）
図６（ａ）－（ｂ）は、実施の形態２に係る映像処理システムを構成する、車両１に搭載される主撮像部１０と副撮像部１１の配置例を示す図である。図６（ａ）は車両１を上から見た図であり、図６（ｂ）は車両１を左側面から見た図である。実施の形態２は、副撮像部１１が一つの例である。副撮像部１１は、フロントグリルに取り付けられ、車両１の前方の光景を撮像する。

図７は、実施の形態２に係る映像処理システム５の構成を示すブロック図である。実施の形態２に係る映像処理システム５の構成は、図２に示した実施の形態１に係る映像処理システム５の構成から、第２副撮像部１２、第３副撮像部１３、第４副撮像部１４、第２副映像取得部２２ｂ、第３副映像取得部２２ｃ、第４副映像取得部２２ｄ、第２副映像加工部２４ｂ、第３副映像加工部２４ｃ、及び第４副映像加工部２４ｄを取り除いた構成である。以下、図８－図１０を参照しながら具体的に説明する。

図８は、実施の形態２に係る、主撮像部１０、副撮像部１１によりそれぞれ撮像された主映像１０ｉ、副映像１１ｉを説明するための図である。図８では、車両１が前進している状態における、主映像１０ｉと副映像１１ｉに映る光景の動きを矢印でそれぞれ示している。各映像に映る光景は、車両１が動く方向と反対方向に流れる光景となる。

図８に示す例では、副映像加工部２４は、副映像１１ｉを十字に４分割し、左上領域Ａの第１部分映像１１Ａ、右上領域Ｂの第２部分映像１１Ｂ、左下領域Ｃの第３部分映像１１Ｃ、及び右下領域Ｄの第４部分映像１１Ｄを生成する。

図９は、実施の形態２に係る、主撮像部１０、副撮像部１１によりそれぞれ撮像された主映像１０ｉ、副映像１１ｉの変形処理を説明するための図である。図８－図１０に示す例では、主映像１０ｉの左上隅の空き領域１０ｅに副映像１１ｉの第１部分映像１１Ａを配置し、主映像１０ｉの右上隅の空き領域１０ｅに副映像１１ｉの第２部分映像１１Ｂを配置し、主映像１０ｉの左下隅の空き領域１０ｅに副映像１１ｉの第３部分映像１１Ｃを配置し、主映像１０ｉの右下隅の空き領域１０ｅに副映像１１ｉの第４部分映像１１Ｄを配置する。

副映像加工部２４は、車両１の動きに応じた、主映像１０ｉ内の空き領域１０ｅに隣接する領域の動きベクトルに、第１部分映像１１Ａ－第４部分映像１１Ｄの動きベクトルを近づけるように、第１部分映像１１Ａ－第４部分映像１１Ｄを変形する。図９に示す例では、副映像加工部２４は、第１部分映像１１Ａを反時計回りに９０°回転させ、第２部分映像１１Ｂを時計回りに９０°回転させ、第３部分映像１１Ｃを反時計回りに９０°回転させ、第４部分映像１１Ｄを時計回りに９０°回転させる。

副映像加工部２４は第１部分映像１１Ａから、主映像１０ｉの左上隅の空き領域１０ｅに対応する形状の部分映像データ１１Ａｃを切り出す。同様に、副映像加工部２４は第２部分映像１１Ｂから、主映像１０ｉの右上隅の空き領域１０ｅに対応する形状の部分映像データ１１Ｂｃを切り出す。同様に、副映像加工部２４は第３部分映像１１Ｃから、主映像１０ｉの左下隅の空き領域１０ｅに対応する形状の部分映像データ１１Ｃｃを切り出す。同様に、副映像加工部２４は第４部分映像１１Ｄから、主映像１０ｉの右下隅の空き領域１０ｅに対応する形状の部分映像データ１１Ｄｃを切り出す。副映像加工部２４は、副映像データの変形、回転、又は切出に伴い座標変換を実行する。

合成部２５は、主映像データの各フレームの円形状の映像領域以外の空き領域１０ｅに、副映像加工部２４により生成された部分映像データ１１Ａｃ－１１Ｄｃをそれぞれ配置する。

図１０は、主映像１０ｉに、４つの部分映像データ１１Ａｃ－１１Ｄｃが配置された後の合成映像１５を示す図である。図１０に示すように、円形状の映像領域の境界の内側と外側とで、光景が流れる方向が近似するようになっている。

以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。さらに実施の形態２では、実施の形態１と比較して副撮像部の数が少ないため、実施の形態１より映像処理システム５のコストを削減することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で置き換えたものもまた本発明の態様として有効である。

実施の形態２では、副映像部１１を車両１の前方の光景を撮像するものと説明したが、後方の光景を撮影する車両後部に取り付けられたカメラに適用してもよい。この場合、図８で車両１が前進しているときの副映像１１ｉの各矢印の方向は逆となるが、副映像データの回転方向を変更することにより、円形状の映像領域の境界の内側と外側とで、光景が流れる方向が近似するように揃えることが可能となる。また、第１部分映像１１Ａ－第４部分映像１１Ｄの配置を適宜入れ替えてもよい。

上記図３－図５に示した例では、第３副映像加工部２４ｃは、第３副映像データを反時計回りに９０°回転させ、第４副映像加工部２４ｄは、第４副映像データを時計回りに９０°回転させた。この点、第３副撮像部１３及び第４副撮像部１４の画角をロール方向に予め回転させて設置しておいてもよい。具体的には車両１が前進している状態で、撮像された映像の上側に車両１の前方側が映り、下側に車両１の後方側が映る向きに、第３副撮像部１３及び第４副撮像部１４をそれぞれ設置する。この場合、第３副映像加工部２４ｃ及び第４副映像加工部２４ｄは、第３副映像データ及び第４副映像データをそれぞれ回転させる必要はない。このように、主映像の外周部に映る光景の動きベクトルと、その周囲に配置する副映像に映る光景の動きベクトルが揃うように、主撮像部１０と第１副撮像部１１－第４副撮像部１４の配置と向きを予め調整することにより、高度な映像加工処理を必要とせずに、境界領域付近の映像データの圧縮効率を向上させることができる。

上述の実施の形態１、２では、映像処理システム５が搭載される対象として車両１を想定した。この点、車両以外の移動体に映像処理システム５が搭載されてもよい。例えば、バイク、自転車、鉄道車両、船舶、飛行機、マルチコプタ（ドローン）などに映像処理システム５を搭載してもよい。

また実施の形態１において、第１副映像加工部２４ａ－第４副映像加工部２４ｄは、移動体の動きに応じた、主映像１０ｉ内の空き領域１０ｅに隣接する領域の動きベクトルに応じて、第１副映像１１ｉ－第４副映像１４ｉの動きベクトルを動的に導出し、第１副映像データ－第４副映像データの回転角度を適応的に調整してもよい。例えば、主映像加工部２３は、主映像１０ｉの時間方向に隣接するフレームの各領域間の差分が最小となるように主映像１０ｉの各領域の動きベクトルを導出する。第１副映像加工部２４ａは、第１副映像１１ｉの時間方向に隣接するフレーム間の差分が最小となるように第１副映像１１ｉの動きベクトルを導出する。第１副映像加工部２４ａは、第１副映像１１ｉを配置すべき領域に隣接する主映像１０ｉの領域の動きベクトルに、第１副映像１１ｉの動きベクトルが近似するように、第１副映像１１ｉを回転させる。

実施の形態２においても同様に、副映像加工部２４は、移動体の動きに応じた、主映像１０ｉ内の空き領域１０ｅに隣接する領域の動きベクトルに応じて、副映像１１ｉの各部分領域Ａ－Ｄの動きベクトルを動的に導出し、第１部分映像１１Ａ－第４部分映像１１Ｄの回転角度を適応的に調整してもよい。

上述の実施の形態１、２では、主映像として円形状の有効な映像領域を、副映像として矩形の映像領域を用いて説明したがこれに限定することはなく、例えば主映像としてレンズ部を通して固定撮像素子に投影される有効画素領域の形状、あるいは前もって設定された有効画素領域などに依存して、樽型や半円形状など円形状に限定しない曲線部を有する形状の映像領域としてもよい。曲線部を有する形状は、曲線部と直線部を有していてもよい。また、曲線部とは、直線部をつなぎ合わせて略円弧状とした多角形状であってもよい。同様に副映像として異形形状の映像を用いた場合においても本発明は実施可能である。

１ 車両、 ５ 映像処理システム、 １０ 主撮像部、 １１ 第１副撮像部、 １２ 第２副撮像部、 １３ 第３副撮像部、 １４ 第４副撮像部、 ２０ 映像処理装置、 ２１ 主映像取得部、 ２２ 副映像取得部、 ２３ 主映像加工部、 ２４ 副映像加工部、 ２５ 合成部、 ２６ 圧縮符号化部、 ２７ ファイル生成部、 ２８ 記録部。

Claims (5)

1. 移動体の所定の位置に設置された主撮像部から、曲線部を有する形状の映像領域を含む主映像データを取得する第１取得部と、
   前記移動体の別の位置に設置された副撮像部から、副映像データを取得する第２取得部と、
   前記主映像データの各フレームの前記映像領域以外の空き領域に、前記副映像データをもとに生成される前記空き領域に収まる形状をした映像データを合成して配置する合成部と、
   前記合成された映像データをもとに一つの動画ファイルを生成する生成部と、を備える、
   映像処理装置。
2. 前記副映像データを加工して、前記空き領域に収まる形状をした映像データを生成する加工部をさらに備え、
   前記加工部は、前記移動体の動きに応じた、前記主映像内の前記空き領域に隣接する領域の動きベクトルに、前記副映像の動きベクトルを近づけるように、前記副映像データを変形させる処理を含む加工処理を実行する、
   請求項１に記載の映像処理装置。
3. 前記副撮像部は、前記移動体の前方、後方、左側方、右側方の４箇所に設置され、
   前記合成部は、
   前記主映像データの上方に、前記移動体の前方に設置された前記副撮像部から取得された副映像データをもとに生成される映像データを配置し、
   前記主映像データの下方に、前記移動体の後方に設置された前記副撮像部から取得された副映像データをもとに生成される映像データを配置し、
   前記主映像データの左方に、前記移動体の左側方に設置された前記副撮像部から取得された副映像データをもとに生成される映像データを配置し、
   前記主映像データの右方に、前記移動体の右側方に設置された前記副撮像部から取得された副映像データをもとに生成される映像データを配置し、
   前記加工部は、
   前記移動体の左側方に設置された前記副撮像部から取得された副映像データを回転させる処理を含む加工処理を実行し、
   前記移動体の右側方に設置された前記副撮像部から取得された副映像データを回転させる処理を含む加工処理を実行する、
   請求項２に記載の映像処理装置。
4. 前記副撮像部は、前記移動体の前方に設置され、
   前記加工部は、
   前記副撮像部から取得された副映像データを４分割した４つの部分映像データを加工して、四隅の空き領域の形状をした４つの部分映像データを生成し、
   前記合成部は、
   前記四隅の空き領域に、前記４つの映像データをそれぞれ配置する、
   請求項２に記載の映像処理装置。
5. 移動体の所定の位置に設置された主撮像部と、
   前記移動体の別の位置に設置された副撮像部と、
   請求項１から４のいずれか１項に記載の映像処理装置と、を備える、
   映像処理システム。

Images