JP6455354B2 - 動画撮影装置、動画撮影方法及びプログラム - Google Patents

Description

本発明は、動画撮影装置、動画撮影方法及びプログラムに関する。

デジタルビデオカメラなどの動画撮影装置において動画撮影時のブレを補正する技術として、機械式手ブレ補正技術と電子式手ブレ補正技術とが主に知られている。機械式手ブレ補正技術は、ブレによるデジタルカメラ筐体の振動を検出する加速度／ジャイロセンサからの出力信号に基づき、撮像素子または光学レンズを揺らしてブレを打ち消す技術である。一方、電子式手ブレ補正技術は、例えば特許文献１に記載されているように、撮像素子から得られる画像の全領域（撮像画像の全領域）のうちの一部の領域（切り取り領域）を切り取りながら撮影を行い、動画の像ブレに応じて撮像画像の全領域における切り取り領域の位置を変化させながら記録することでブレ補正を行うものである。

特開２００７−２７４０３１号公報

近年、ドライブレコーダなど、自動車などの移動体の内部から外部を撮影するために、動画撮影装置を移動体の内部に配置することも多い。移動体の内部から外部を撮影した画像の一部に移動体の内部が映り込んでいる場合、移動体の内部は動画撮影装置に対し実質的に静止しているため、画像において、移動体の内部が映り込んだ領域（以下、「移動体の内部の領域」という）のブレは移動体の外部を映した領域（以下、「移動体の外部の領域」という）のブレに対して非常に小さい。このため、特許文献１に記載されたブレ補正技術のように、移動体の外部の領域に生じたブレに呼応して切り取り位置を変化させると、動画撮影装置に対して実質的に静止している領域である移動体の内部の領域ではかえってブレが悪化するという問題があった。

以上の背景に鑑み、本発明の目的は、移動体の内部から外部を撮影する場合に、撮影した画像内において移動体の内部が映り込んだ領域及び移動体の外部を映した領域のいずれについてもブレを軽減できる動画撮影装置を提供することである。

本発明は、動画撮影装置であって、動画を撮像する撮像部と、撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行うブレ補正部と、前記撮像部で撮像した動画に映った被写体の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部の検出結果に基づいて前記撮像画像内において実質的に静止している第１の領域を抽出する画像抽出部と、ブレ補正されていない前記第１の領域と、前記ブレ補正部によってブレ補正された、前記撮像画像内における前記第１の領域以外の第２の領域と、を合成する画像合成部と、を備えるものである。

さらに、前記画像合成部は、ブレ補正されていない前記撮像画像に対し前記第２の領域のみ透過させる処理をした画像と、ブレ補正した前記撮像画像と、を合成するものである。

さらに、前記第２の領域内の各画素に設定される透過率は、それぞれ、前記第１の領域と前記第２の領域との境界からの距離に応じて重み付けされるものである。

さらに、前記画像抽出部は、前記撮像画像内において前記第１の領域を抽出するにあたって、前記撮像画像内の各画素の輝度および／または色情報を考慮するものである。

本発明は、動画撮影方法であって、動画を撮像する撮像部による撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行うステップと、前記撮像部で撮像した動画に映った被写体の動きベクトルを検出するステップと、検出された前記動きベクトルに基づいて前記撮像画像内において実質的に静止している第１の領域を抽出するステップと、ブレ補正されていない前記第１の領域と、ブレ補正を行うステップでブレ補正された、前記撮像画像内における前記第１の領域以外の領域である第２の領域と、を合成するステップと、を備えるものである。

本発明は、動画撮影プログラムであって、コンピュータに、動画を撮像する撮像部による撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行う処理手順と、前記撮像部で撮像した動画に映った被写体の動きベクトルを検出する処理手順と、検出された前記動きベクトルに基づいて前記撮像画像内において実質的に静止している第１の領域を抽出する処理手順と、ブレ補正されていない前記第１の領域と、ブレ補正を行う処理手順でブレ補正された、前記撮像画像内における前記第１の領域以外の領域である第２の領域と、を合成する処理手順と、を実行させるものである。

移動体の内部から外部を撮影する場合に、撮影した画像内において移動体の内部が映り込んだ領域及び移動体の外部を映した領域のいずれについてもブレを軽減できる。

本実施の形態にかかる動画撮影装置の概略構成を示すブロック図である。 本実施の形態にかかる動画撮影装置におけるブレ補正処理について説明する図である。 本実施の形態にかかる動画撮影装置１におけるブレ補正の処理フローを示すフローチャートである。 車載カメラから車外を撮影した画像を模式的に示す図である。 車載カメラから車外を撮影した画像においてブレが発生する領域を模式的に示す図である。 車載カメラから車外を撮影した画像において、ブレを補正するために既存の電子式ブレ補正を適用したときの画像を模式的に示す図である。 車載カメラから車外を撮影した画像における動きベクトルについて模式的に示す図である。 抽出された車内の領域（移動体の内部の領域）に対して透過処理を行った後の画像について模式的に示す図である。 図６に示すブレ補正後の画像と、図８に示すブレ補正前の画像において車内の領域（移動体の内部の領域）以外の領域を透過した画像と、を合成した画像について模式的に示す図である。 動画撮影装置における、ブレ補正の処理に加えて行う追加処理のフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施の形態にかかる動画撮影装置の概略構成を示すブロック図である。図１に示すように、本実施の形態にかかる動画撮影装置１は、ＣＰＵ部（制御部）２と、撮像部３と、ブレ検出部４と、ブレ補正部５と、メモリ部６と、動きベクトル検出部７と、画像抽出部８と、画像合成部９と、を備えている。

ＣＰＵ部（制御部）２は、動画撮影装置１の全体を制御する。撮像部３は、光学レンズを通して撮影した像を撮像素子により映像信号に変換し、当該映像信号をブレ補正部５および画像抽出部８に出力する。ブレ検出部４は、撮像部３のブレに関する情報を検出する。具体的には、ブレ検出部４は、ジャイロセンサ等の角速度センサと処理部とを備え、角速度センサで、撮像部３のＸ軸、Ｙ軸に対しての角度、ＸＹ軸の並進方向、Ｚ軸（光軸）の回転方向などを検出し、処理部でブレ補正量を算出する。

ブレ補正部５は、撮像部３から入力された映像信号をメモリ部６に一時的に格納し、ブレ検出部４による検出結果に基づき撮像部３のブレによって生じ得る動画の像ブレのベクトルと周波数を算出する。さらに、ブレ補正部５は、撮影した動画の像ブレを打ち消すように撮影可能画素領域から切り取りする切り取り領域の位置を変化させ、切り取りした当該切り取り領域を１９２０×１０８０画素などの汎用の出力サイズにリサイズした画像を生成する。

動きベクトル検出部７は、撮影された動画の各フレームにおいて動きベクトルをそれぞれ検出する。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。画像抽出部８は、動きベクトル検出部７により検出された動きベクトルに基づいて撮影画像内に映り込んだ移動体の内部の領域（実質的に静止している第１の領域）を抽出する。画像合成部９は、ブレ補正されていない第１の領域と、ブレ補正部によってブレ補正された、撮像画像内における第１の領域以外の第２の領域と、を合成した画像を生成する。

動画撮影装置１における構成要素である、ブレ補正部５、動きベクトル検出部７、画像抽出部８及び画像合成部９は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、動画撮影装置１は、プログラムメモリに格納されたプログラムを主記憶装置にロードし、ＣＰＵ部２の制御またはＣＰＵ部２を用いることによって当該プログラムを実行して実現する。また、ブレ補正部５、動きベクトル検出部７、画像抽出部８及び画像合成部９は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。

ここで、動画撮影装置１におけるブレ補正について説明する。動画撮影装置１におけるブレ補正には、電子式手ブレ補正技術を用いる。
図２は、動画撮影装置１におけるブレ補正処理について説明する図である。図２に示すように、電子式ブレ補正では、撮像素子から得られる画像の全領域（撮影画像の全領域）から、一部の領域（切り取り領域）を切り取りして記録する。つまり、切り取り領域が有効画素領域となる。また、撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させる。図２では、撮影した動画のフレーム１〜４で、切り取りする切り取り領域の撮影画像の全領域における位置をそれぞれ変化させている。これにより、撮像素子のブレに起因した像ブレ（被写体のブレ）を軽減できる。

図３は、動画撮影装置１におけるブレ補正の処理フローを示すフローチャートである。図３に示すように、ステップＳ１０１では、撮影した動画データを取得する。ここで取得する動画データは、動画を構成するフレーム毎のデータである。ステップＳ１０２では、ブレ検出部４で、ステップＳ１０１で取得したフレームの撮影時に撮像部３に加えられた角速度を検出する。ステップＳ１０３では、検出された角速度に基づいてブレ検出部４でブレ補正量を算出する。ステップＳ１０４では、ブレ補正量に応じて撮影画像の全領域における切り取り領域の位置を決め、当該切り取り領域を切り取りする。ステップＳ１０５では、切り取り領域を例えば１９２０×１０８０画素などの汎用の出力サイズにリサイズし（リサイズ処理）、リサイズ処理した画像を記録する。ステップＳ１０６では、動画の撮影を終了したか否かを判断し、終了した場合は処理を終了し、終了していない場合は処理をステップＳ１０１に戻す。

移動体の内部から外部を撮影した画像の一部に移動体の内部が映り込んでいる場合に、上述したブレ補正のみ実施すると、移動体の内部の領域でブレが悪化する。その理由について以下で説明する。
図４は、車載カメラから車外を撮影した画像を模式的に示す図である。図４に示すように、撮影した画像には、車外の領域（移動体の外部の領域）とともに、ダッシュボード等の車内の領域（移動体の内部の領域）も映り込んでいる。

図５は、車載カメラから車外を撮影した画像においてブレが発生する領域を模式的に示す図である。図５に示すように、走行時の車体の振動により、車外の領域には５〜３０Ｈｚ程度のブレが生じる。

図６は、車載カメラから車外を撮影した画像において、ブレを補正するために既存の電子式ブレ補正を適用したときの画像を模式的に示す図である。図６に示すように、ブレが生じた画像に対し、上述した既存の電子式ブレ補正を適用すると車外の領域のブレを軽減することができる。しかし、移動体の内部が映り込んだ領域のブレはかえって悪化してしまう。車内の領域は撮像素子とともに振動していることから、車内の領域のブレは車外の領域のブレと比べて非常に小さい。つまり、撮影した画像において、車内の領域は実質的に静止している。このため、車外の領域のブレ量に応じて画像のブレ補正をすると、車内の領域では、車外の領域のブレ量に応じた分だけ逆にブレが生じてしまう。

移動体の内部から外部を撮影した撮像画像の一部に移動体の内部が映り込んでいる場合に、移動体の内部の領域及び移動体の外部の領域のいずれについてもブレを軽減するためには、上述したブレ補正の処理に加えて、追加処理を行う必要がある。この追加処理には、動きベクトルにより撮像画像における移動体の内部の領域を抽出する処理と、合成画像を作成する処理と、が含まれる。

まず、動きベクトルにより撮像画像における移動体の内部の領域を抽出する処理について説明する。
図７は、車載カメラから車外を撮影した画像における動きベクトルについて模式的に示す図である。動きベクトルとは、２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。動きベクトルの検出方法として、動画像の圧縮などに広く用いられている一般的なものを用いることができる。図７に示すように、画像における車内の領域（移動体の内部の領域）は車外の領域（移動体の外部の領域）に対して動きベクトルの大きさが非常に小さい。これは、上述したように、車内の領域は撮像素子とともに振動していることから、撮影した画像において、車内の領域は実質的に静止しているからである。つまり、ブレ補正前の画像から検出した動きベクトルに基づいて実質的に静止している領域を抽出することにより、車内の領域（移動体の内部の領域）を抽出することができる。

なお、移動体の内部の領域であるか外部の領域であるかの判断をするために、動きベクトルに加えて、輝度や色情報といった特徴量を考慮してもよい。例えば、昼間であれば輝度の高い範囲や、明度の高い範囲を外部の領域とし、輝度の低い範囲や明度の低い範囲を内部の領域とする。このようにすることで、エッジ領域や、空などの動きベクトルが検出しにくい領域についても、移動体の内部の領域であるか外部の領域であるかの判断を精度良く行うことができる。

次に、合成画像を作成する処理について以下で説明する。
図８は、抽出された車内の領域（移動体の内部の領域）以外の領域（すなわち、車外の領域）に対して透過処理を行った後の画像について模式的に示す図である。図８に示すように、抽出された車内の領域（移動体の内部の領域）以外の領域に対して、例えば、透過率を１００％に設定する処理を行う。なお、車内の領域（移動体の内部の領域）については透過処理を行わない。なお、抽出された車内の領域（移動体の内部の領域）以外の領域の透過率を設定するにあたり、当該境界からの距離によって重み付けをしてもよい。移動体の内部の領域と外部の領域との境界において滑らかなグラデーションとなるように、当該境界からの距離によって透過率の重み付けをすることで、後述する、画像の合成を行った際に、合成後の画像を自然なものとすることができる。

上述した透過処理に続いて、図６に示すブレ補正後の画像と、図８に示すブレ補正前の画像において車内の領域（移動体の内部の領域）以外の領域を透過した画像と、を合成した画像を作成する。図９は、図６に示すブレ補正後の画像と、図８に示すブレ補正前の画像において車内の領域（移動体の内部の領域）以外の領域を透過した画像と、を合成した画像について模式的に示す図である。車内の領域（移動体の内部の領域）及び車外の領域（移動体の外部の領域）のいずれについても像ブレを軽減できている。

ブレ補正の処理に加えて行う追加処理のフローについて以下で説明する。なお、以下の説明において図１についても適宜参照する。
図１０は、動画撮影装置１における、図３で説明したブレ補正の処理に加えて行う追加処理のフローチャートである。図１０に示すように、ステップＳ２０１では、撮影した動画データを取得する。ステップＳ２０２では、動きベクトル検出部７がブレ補正前の画像における動きベクトルを検出する。

ステップＳ２０３では、画像抽出部８が、動きベクトル検出部７によって検出された動きベクトルに基づいて、ブレ補正前の画像における移動体の内部の領域（実質的に静止していると判定された領域）を抽出する。ステップＳ２０４では、画像抽出部８が、ブレ補正前の画像における移動体の内部の領域以外の領域を透過した画像を生成する。ステップＳ２０５では、画像合成部９が、ブレ補正部５によりブレ補正された画像と画像抽出部８により生成された画像とを合成する。ステップＳ２０６では、ＣＰＵ部が動画の撮影が終了したか否かを判断し、撮影が終了した場合は処理を終了し、撮影が終了していない場合は処理をステップＳ２０１に戻す。ステップＳ２０５で合成した画像は、図示しない記録装置に記録したり、図示しない表示部に表示させたり、動画撮影装置１の目的に応じた利用が行われる。

以上で説明した、ブレ補正の処理に加えて行う画像合成の処理により、移動体の内部から外部を撮影する場合に、撮影した画像内において移動体の内部が映り込んだ領域及び移動体の外部を映した領域のいずれについてもブレを軽減できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、移動体の内部は動画撮影装置１に対して実質的に静止しているものとして説明したが、移動体に対して動画撮影装置１も少ないながらもブレは生じることもある。このため、ステップＳ２０４で生成する移動体の内部の領域以外の領域を透過した画像は、移動体の内部のブレ量を補正したものであってもよい。

合成画像を作成する処理は、上述した処理方法に限るものではない。ブレ補正されていない移動体の内部の領域（第１の領域）と、ブレ補正部５（図１参照）によってブレ補正された、撮像画像内における移動体の外部の領域（第２の領域）と、を合成するものであれば、いずれの方法であってもよい。例えば、ブレ補正した撮像画像において第１の領域のみマスキング処理をした画像と、ブレ補正していない撮像画像において第２の領域のみマスキング処理をした画像と、を合成した画像を作成してもよい。

上記実施の形態では、撮像部３のブレに関する情報を検出するブレ検出部４として、ジャイロセンサ等の角速度センサを用いたがこれに限るものではない。例えば、動画の複数のフレーム画像データに基づく電子的なブレ検出方法を用いてもよい。

１ 動画撮影装置
２ ＣＰＵ部
３ 撮像部
４ ブレ検出部
５ ブレ補正部
６ メモリ部
７ 動きベクトル検出部
８ 画像抽出部
９ 画像合成部

Claims (6)

1. 動画を撮像する撮像部と、
   撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行うブレ補正部と、
   前記撮像部で撮像した動画に映った被写体の動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部の検出結果に基づいて前記撮像画像内において実質的に静止している第１の領域を抽出する画像抽出部と、
   ブレ補正されていない前記第１の領域と、前記ブレ補正部によってブレ補正された、前記撮像画像内における前記第１の領域以外の第２の領域と、を合成する画像合成部と、
   を備える動画撮影装置。
2. 前記画像合成部は、ブレ補正されていない前記撮像画像に対し前記第２の領域のみ透過させる処理をした画像と、ブレ補正した前記撮像画像と、を合成する請求項１に記載の動画撮影装置。
3. 前記第２の領域内の各画素に設定される透過率は、それぞれ、前記第１の領域と前記第２の領域との境界からの距離に応じて重み付けされる請求項２に記載の動画撮影装置。
4. 前記画像抽出部は、前記撮像画像内において前記第１の領域を抽出するにあたって、前記撮像画像内の各画素の輝度および／または色情報を考慮する請求項１乃至３のいずれか一項に記載の動画撮影装置。
5. 動画を撮像する撮像部による撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行うステップと、
   前記撮像部で撮像した動画に映った被写体の動きベクトルを検出するステップと、
   検出された前記動きベクトルに基づいて前記撮像画像内において実質的に静止している第１の領域を抽出するステップと、
   ブレ補正されていない前記第１の領域と、ブレ補正を行うステップでブレ補正された、前記撮像画像内における前記第１の領域以外の領域である第２の領域と、を合成するステップと、
   を備える動画撮影方法。
6. コンピュータに、
   動画を撮像する撮像部による撮像画像の全領域から一部の領域を切り取ることによって得られる切り取り領域の前記全領域内における位置を、ブレを補正するように動画の各フレームでそれぞれ変化させることでブレ補正を行う処理手順と、
   前記撮像部で撮像した動画に映った被写体の動きベクトルを検出する処理手順と、
   検出された前記動きベクトルに基づいて前記撮像画像内において実質的に静止している第１の領域を抽出する処理手順と、
   ブレ補正されていない前記第１の領域と、ブレ補正を行う処理手順でブレ補正された、前記撮像画像内における前記第１の領域以外の領域である第２の領域と、を合成する処理手順と、
   を実行させるための動画撮影プログラム。

Images