JP7418697B2 - 画像処理装置、及び画像処理プログラム - Google Patents

Description

本発明は、撮像部により撮像された映像の各フレームを処理する画像処理装置、及び画像処理プログラムに関する。

電子式の手ブレ補正機能が搭載されたカメラが広く普及している。電子式の手ブレ補正機能では、カメラの手ブレが相殺されるように、撮像範囲から切り出す画角の範囲を適応的に移動させて、ブレが低減された画像を生成する。電子式の手ブレ補正では、画角内の被写体の位置ができるだけ固定されるように制御される。しかしながら、カメラの移動により視点が移動すると、画角内の構図が変わり、対象物と背景の位置関係の見え方が変わる。

特許文献１は、被写体空間が異なる複数の視点から撮像した視差画像を合成して、視点が変わる前の画像に近い画像を合成する技術を開示する。ただし、この技術では一つのマイクロレンズに対して複数の画素を備えた撮像素子が必要であり、光学系が複雑化する。

特開２０１６－４２６６２号公報

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、撮影視点がブレても、構図を含めて安定した映像を電子的に生成する技術を提供することにある。

上記課題を解決するために、本実施形態のある態様の画像処理装置は、撮像部により撮像された映像を取得する映像取得部と、前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する移動量特定部と、取得された映像のフレーム内から、注目すべき対象物を検出する対象物検出部と、距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する距離特定部と、前記振動によるブレを打ち消すための補正ベクトルの強度を調整するベクトル強度調整部と、取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する切出位置決定部であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する切出位置決定部と、前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する画像合成部と、を備える。

なお、以上の構成要素の任意の組合せ、本実施形態の表現を、装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。

本実施形態によれば、撮影視点がブレても、構図を含めて安定した映像を電子的に生成することができる。

本発明の実施の形態１に係る撮像装置の構成を示す図である。 図２（ａ）－（ｃ）は、実施の形態１に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その１）。 図３（ａ）－（ｃ）は、実施の形態１に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その２）。 本発明の実施の形態２に係る撮像装置の構成を示す図である。 図５（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その１）。 図６（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その２）。 図７（ａ）－（ｃ）は、実施の形態２に係る画像処理装置による合成画像生成処理の具体例を説明するための図である（その３）。 本発明の実施の形態３に係る撮像装置の構成を示す図である。 図９（ａ）－（ｃ）は、実施の形態１、３に係る画像処理装置による総切り出し範囲の制限処理の具体例を説明するための図である。

図１は、本発明の実施の形態１に係る撮像装置１の構成を示す図である。撮像装置１は、単体のビデオカメラであってもよいし、スマートフォン、タブレット、ノートＰＣなどの情報機器に搭載されるカメラモジュールであってもよい。

実施の形態１に係る撮像装置１は、撮像部１０、振動検出センサ１１及び画像処理装置２０を備える。撮像部１０は、レンズ、固体撮像素子、信号処理回路を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置２０に出力する。

振動検出センサ１１は、撮像部１０に加わる振動を検出して、画像処理装置２０に出力する。振動検出センサ１１には例えば、ジャイロセンサを使用することができる。ジャイロセンサは、撮像部１０のヨー方向およびピッチ方向に加わる振動を角速度としてそれぞれ検出する。

画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、対象物追尾部２４、動きベクトル検出部２５、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１及び画素補完部３２を備える。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。

映像取得部２１は、撮像部１０により撮像された映像を取得する。振動情報取得部２８は、振動検出センサ１１の出力信号を振動成分情報として取得する。移動量特定部２９は、振動情報取得部２８により取得された出力信号を積分して撮像部１０の移動量を特定する。例えば、移動量特定部２９は、振動情報取得部２８により取得されたヨー方向およびピッチ方向の角速度信号をそれぞれ積分して、撮像部１０のヨー方向およびピッチ方向の移動角度を算出する。

なお移動量特定部２９は、フレーム間の差分から、後述する画像認識部２２により認識された対象物を除く、背景領域の全体が一律に同じ方向に移動していることが検出された場合、当該背景領域の全体の移動量を、撮像部１０の移動量として特定してもよい。この場合、振動検出センサ１１を省略しても、撮像部１０に加わる振動に基づく撮像部１０の移動量を推定することができる。振動検出センサ１１を省略すればコストを削減することができる。

移動量特定部２９は、特定した撮像部１０の移動量を打ち消すための補正ベクトルを生成する。即ち、撮像部１０がブレた方向に、撮像部１０の移動量と同量の補正量を持つ補正ベクトルを生成する。移動量特定部２９は、生成した補正ベクトルを切出位置決定部２７に出力する。撮像部１０が理想的に静止している場合、補正ベクトルの値はゼロになる。

画像認識部２２は、映像取得部２１により取得された映像のフレーム内において、対象物を探索する。画像認識部２２は、辞書データとして、特定の対象物が写った多数の画像を学習して生成された特定の対象物の識別器を有する。特定の対象物は例えば、人物の顔、人物の全身、動物（例えば、犬や猫）の顔、動物の全身、乗り物（例えば、鉄道車両）などが対象となる。

画像認識部２２は、映像のフレーム内を各対象物の識別器を用いて探索する。対象物の認識には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。フレーム内に対象物が存在する場合、画像認識部２２は、矩形の検出枠で当該対象物を補足する。

対象物検出部２３は、画像認識部２２により認識された対象物を、注目すべき対象物として検出するか否か決定する。注目すべき対象物は、撮像装置１のユーザ（撮影者）が注目している被写体と推定される対象物である。

対象物検出部２３は、以下の判断基準のいずれか一つまたは複数の組み合わせをもとに、認識された対象物を被写体とするか否か決定する。（ａ）所定のサイズより大きな対象物であるか、（ｂ）フレーム内の中央領域に位置する対象物であるか、（ｃ）対象物が人物または動物であるか、（ｄ）対象物までの距離が所定値未満か（対象物までの距離の推定方法は後述する）、（ｅ）対象物に隠れている部分がないか、（ｆ）対象物の動きが所定値より小さいか（動きの検出方法は後述する）。

フレーム内において複数の対象物が認識された場合、対象物検出部２３は、上記の判断基準を満たす対象物を全て被写体として検出してもよいし、下記の判断基準のいずれか一つまたは複数の組み合わせをもとに、一つの被写体を選定してもよい。（ａ）’フレーム内で最も大きい対象物であるか、（ｂ）’フレーム内で最も中央に位置する対象物であるか、（ｄ）’対象物までの距離が最も近いか、（ｆ）’動きのある対象物の中で最も動きが小さい対象物か。

これらの判断基準は、撮影者が注目している被写体の多くが、フレーム内で大きな領域を占めている、フレームの中央に位置している、被写界深度の手前側に位置している、撮影者が撮像装置１で被写体を追うことによりフレーム内での動きが小さくなっている、という経験則に基づく。

なお撮像装置１のファインダ画面がタッチパネル式の場合、対象物検出部２３は、ファインダ画面内に映っている対象物のうち、撮像装置１のユーザによりタッチされた対象物を、被写体に決定してもよい。

対象物追尾部２４は、画像認識部２２が認識した対象物を、後続するフレーム内において追尾する。対象物の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。追尾する対象物は、画像認識部２２により認識された全ての対象物であってもよいし、対象物検出部２３により注目すべき対象物として検出された対象物のみであってもよい。なお、被写体の選定基準に対象物の動きを用いている場合は、画像認識部２２により認識された全ての対象物を追尾する必要がある。

動きベクトル検出部２５は、映像のフレーム間における注目すべき対象物の移動量を、当該対象物の動きベクトルとして検出する。この動きベクトルは、当該対象物の動きの順ベクトル（追尾ベクトル）を示している。

切出位置決定部２７は、映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する。切出位置決定部２７は、固体撮像素子の全画素で撮像された全撮像範囲から、一部の領域を切り出して表示または記録する画像の範囲を決定する。

本実施の形態では、電子式の手ブレ補正機能を採用している。電子式の手ブレ補正機能では、撮像装置１の手ブレが相殺されるように、全撮像範囲から切り出す画角の位置を適応的に変化させる。また本実施の形態では、被写体追尾機能も採用している。被写体追尾機能では、被写体の動きに対して、画角内の被写体の位置ができるだけ固定されるように、全撮像範囲から切り出す画角の位置を変化させる。このように本実施の形態では、電子式の手ブレ補正機能と被写体追尾機能によるリアルタイムの画角切り出しが行われる。

切出位置決定部２７は、移動量特定部２９から補正ベクトルを取得し、動きベクトル検出部２５から注目すべき対象物の位置と動きベクトルを取得する。切出位置決定部２７は、注目すべき対象物の切り出し位置と、背景の切り出し位置を別々に決定する。

切出位置決定部２７は、参照フレームの対象物用の切り出し位置を、補正ベクトルと対象物の動きベクトルを合成した合成ベクトルに従い移動させて、現フレームの対象物用の切り出し位置を決定する。

参照フレームが前フレームの場合、補正ベクトルは、前フレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなり、対象物の動きベクトルは、前フレームと現フレーム間の対象物の動きを示す動きベクトルとなる。参照フレームが対象物の追尾開始時のフレームの場合、補正ベクトルは、追尾開始時のフレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなり、対象物の動きベクトルは、追尾開始時のフレームと現フレーム間の対象物の動きを示す動きベクトルとなる。

切出位置決定部２７は、参照フレームの背景用の切り出し位置を、補正ベクトルに従い移動させて、現フレームの背景用の切り出し位置を決定する。参照フレームが前フレームの場合、補正ベクトルは、前フレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなる。参照フレームが対象物の追尾開始時のフレームの場合、補正ベクトルは、追尾開始時のフレームと現フレーム間の撮像部１０の動きを打ち消すための補正ベクトルとなる。

切出位置決定部２７は、現フレームの対象物用の切り出し位置を、対象物の動きベクトルの逆ベクトルに従い移動させて、背景用の切り出し位置を決定してもよい。この場合、対象物の動きベクトルは、追尾開始時のフレームと現フレーム間の動きを示す動きベクトルとなる。

切出部３０は、対象物用の切り出し位置の画像データから、当該対象物の画像データのみを切り出す。切出部３０は、背景用の切り出し位置の画像データから当該対象物を除く背景の画像データを切り出す。画像合成部３１は、切り出された当該対象物の画像データと、切り出された背景の画像データを合成する。

詳細な説明は後述するが、フレーム内に注目すべき対象物が複数設定される場合、合成された画像内において欠陥画素が発生する可能性がある。その場合、画素補完部３２は、合成された画像内における欠陥画素を、当該欠落画素に空間的または時間的に近接する少なくとも１つの有効画素をもとに補完する。

図２（ａ）－（ｃ）は、実施の形態１に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その１）。図３（ａ）－（ｃ）は、実施の形態１に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その２）。

図２（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において対象物ＯＢ１を、注目すべき対象物として検出する。対象物追尾部２４は、対象物ＯＢ１の追尾を開始する。図２（ａ）に示す例では、対象物ＯＢ１が左方向に移動している。また、撮影者の手ブレにより撮像部１０が上方向へ移動している。

図２（ｂ）に示すように切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと対象物ＯＢ１の動きベクトルの合成ベクトルに従い移動させ、対象物ＯＢ１用の切り出し位置Ｃ１を決定する。

図２（ｃ）に示すように切出位置決定部２７は、現フレームＦ１の対象物ＯＢ１用の切り出し位置Ｃ１を、対象物ＯＢ１の動きベクトルの逆ベクトルに従い移動させ、背景用の切り出し位置Ｃ２を決定する。

図３（ａ）に示すように切出部３０は、現フレームＦ１の対象物ＯＢ１用の切り出し位置Ｃ１の画像データから対象物ＯＢ１の画像データを切り出す。図３（ｂ）に示すように切出部３０は、現フレームＦ１の背景用の切り出し位置Ｃ２の画像データから対象物ＯＢ１の画像データを除く背景の画像データを切り出す。図３（ｃ）に示すように画像合成部３１は、切り出された対象物ＯＢ１の画像データと、切り出された背景の画像データを合成して新たな合成画像Ｉｃを生成する。

以上説明したように実施の形態１によれば、全撮像範囲から被写体を追尾して画角を切り出す際、被写体用の画角と背景用の画角を別々に切り出して、背景用の画角に対して背景ブレの補正を実施する。背景ブレの補正後に、被写体用の画角と背景用の画角を合成することにより、背景ブレを抑制することができる。その際、手ブレの補正は被写体用の画角と背景用の画角の両方に実施する。これにより、画角全体においてブレが抑制された映像を生成することができる。

したがって、被写体を鮮明に捉えつつ自然な背景の映像を生成することができる。例えば、リビングで猫を撮影する場合、猫は被写体追尾機能で追尾されるため、猫のブレは抑制される。さらに、猫の動きに応じて目まぐるしく背景が動くこともなく、自然な背景の映像を撮影することができる。また撮像者がパンニングしているときも、背景の動きが抑制されるため、何が映っているか認識しにくい映像になることを抑制することができる。また詳細は後述するが、被写体が複数の場合でも、複数の被写体をできるだけ一枚の画角に収めることができる。また手ブレを相殺するための補正ベクトルの強度を、被写体の動きベクトルと同強度にかけることにより、バーチャル背景のような背景が静止した映像を撮影することができる。また、バーチャル背景に使用可能な素材を作成することもできる。

図４は、本発明の実施の形態２に係る撮像装置１の構成を示す図である。実施の形態２に係る撮像装置１は、撮像部１０、振動検出センサ１１、距離検出センサ１２及び画像処理装置２０を備える。実施の形態２に係る画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、ベクトル強度調整部２６、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１、画素補完部３２、距離情報取得部３３及び距離特定部３４を備える。

以下、実施の形態１との相違点を説明する。距離検出センサ１２は、撮影方向にある物体の撮像部１０からの距離を検出するためのセンサである。距離検出センサ１２には例えば、ＴＯＦ（Time of Flight）センサを使用することができる。ＴＯＦセンサの代表的なものに、超音波センサ（ソナー）やＬｉＤＡＲ（Light Detection and Ranging）がある。超音波センサは撮影方向に超音波を発信し、その反射波を受信するまでの時間を計測して撮影方向にある物体までの距離を検出する。ＬｉＤＡＲは撮影方向にレーザ光を照射し、その反射光を受光するまでの時間を計測して撮影方向にある物体までの距離を検出する。

距離情報取得部３３は、距離検出センサ１２の出力信号を距離情報として取得する。距離特定部３４は、取得された距離情報をもとに、撮像部１０で撮像された可視光画像に対応する距離画像を生成する。

距離特定部３４は、画像認識により、撮像部１０からフレーム内に写った対象物までの距離を推定してもよい。例えば、辞書データとして登録されている対象物の一般的な大きさと、フレーム内に写った当該対象物の大きさと、撮像部１０から当該対象物までの距離の関係を、予めテーブルまたは関数で規定しておく。距離特定部３４は、フレーム内において画像認識部２２により認識された対象物の大きさをもとに、当該テーブルまたは当該関数を参照して、撮像部１０から当該対象物までの距離を推定する。この場合、距離検出センサ１２を省略しても、フレーム内に写った対象物までの距離を推定することができる。距離検出センサ１２を省略すればコストを削減することができる。

また距離特定部３４は、撮像部１０からフレーム内に写った対象物までの距離をオートフォーカス調整部（不図示）から取得できる場合、オートフォーカス調整部から取得した距離を使用してもよい。また撮像部１０が二眼で構成される場合、距離特定部３４は、二眼の撮像部１０で撮像された映像間の視差をもとに、フレームに写った対象物までの距離を推定してもよい。

実施の形態２では被写体追尾機能は省略されている。したがって基本的に、対象物の動きベクトルを算出する必要はなく、実施の形態２では画像処理装置２０から対象物追尾部２４及び動きベクトル検出部２５が省略されている。

実施の形態２でも電子式の手ブレ補正機能が採用されている。即ち、撮像装置１の手ブレが相殺されるように、全撮像範囲から切り出す画角の位置が適応的に移動される。実施の形態２では、手ブレを打ち消すための補正ベクトルの強度を調整するためのベクトル強度調整部２６が追加される。

ベクトル強度調整部２６は、移動量特定部２９から補正ベクトルを取得し、距離特定部３４から当該対象物までの距離を取得する。ベクトル強度調整部２６は、移動量特定部２９から取得した補正ベクトルの強度を、距離特定部３４から取得した当該対象物までの距離に応じて調整する。ベクトル強度調整部２６は、当該対象物までの距離が近いほど補正ベクトルの強度を強く設定し、当該対象物までの距離が遠いほど補正ベクトルの強度を弱く設定する。

例えば、手ブレ量と、撮像部１０から対象物までの距離と、当該フレーム内に写った当該対象物の手ブレによる移動量との関係を予めテーブルまたは関数で規定しておく。当該関係は、設計者による実験やシミュレーションに基づき導出されてもよい。ベクトル強度調整部２６は、距離特定部３４から取得した撮像部１０から対象物までの距離をもとに、当該テーブルまたは当該関数を参照して、移動量特定部２９から取得した補正ベクトルの強度を調整する。

実施の形態２では切出位置決定部２７は、対象物検出部２３から注目すべき対象物の位置を取得し、ベクトル強度調整部２６から当該対象物の補正ベクトルを取得する。切出位置決定部２７は、参照フレーム（例えば、前フレーム）の切り出し位置を、補正ベクトルに従い移動させて、現フレームの切り出し位置を決定する。その際、切出位置決定部２７は、対象物と背景の補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する。

フレーム内に注目すべき対象物が複数設定されている場合、切出位置決定部２７は、注目すべき対象物ごとに切り出し位置を決定する。例えば、フレーム内において第１対象物と、当該第１対象物より奥に位置する第２対象物が注目すべき対象物として検出されている場合、ベクトル強度調整部２６は、第１対象物の補正ベクトルの強度を、第２対象物の補正強度より強く設定する。

なお背景の補正ベクトルについては、補正ベクトルの強度を調整せずにそのまま使用してもよいし、ベクトル強度調整部２６がその強度を調整してもよい。例えば、距離の区分に応じて全体の背景を複数の背景に分割し、ベクトル強度調整部２６は分割された背景ごとに補正ベクトルの強度を調整してもよい。またベクトル強度調整部２６は、背景を構成する各物体までの距離の代表値（例えば、平均値、中央値または最頻値）をもとに補正ベクトルの強度を調整してもよい。

図５（ａ）－（ｃ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その１）。図６（ａ）－（ｃ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その２）。図７（ａ）－（ｂ）は、実施の形態２に係る画像処理装置２０による合成画像生成処理の具体例を説明するための図である（その３）。

図５（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において第１対象物ＯＢ１と第２対象物ＯＢ２を、注目すべき対象物として検出する。撮像部１０から見て第２対象物ＯＢ２は第１対象物ＯＢ１の奥側に存在し、フレームＦ０内において第２対象物ＯＢ２の一部が第１対象物ＯＢ１に隠れている。

図５（ｂ）は、図５（ａ）に示した状態から、撮像者の手ブレにより撮像部１０が右に移動した状態を示している。図５（ｂ）は、電子式の手ブレ補正機能がオフの場合を示している。この場合、切り出し位置Ｃ０は変わらず、第１対象物ＯＢ１と第２対象物ＯＢ２が画角の左側に移動する。

その際、撮像部１０が右に移動したことにより視点が右に移動するが、それにより、第１対象物ＯＢ１と第２対象物ＯＢ２の相対的な位置関係の見え方が変わる。具体的には現フレームＦ１内において、視点に近い第１対象物ＯＢ１のほうが、視点から遠い第２対象物ＯＢ１より左に大きく移動する。即ち、手ブレ前の参照フレームＦ０と比較して現フレームＦ１では、第１対象物ＯＢ１と第２対象物ＯＢ２の重なり部分が大きくなり、第２対象物ＯＢ２が第１対象物ＯＢ１に隠れる部分が大きくなっている。

図５（ｃ）は、電子式の手ブレ補正機能がオンの場合で、かつ参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルに従い単純に左に移動させた場合を示している。切り出し位置Ｃ０の移動により、現フレームＦ１の切り出し位置Ｃ０’では、第１対象物ＯＢ１と第２対象物ＯＢ２が画角の中央に配置される。しかしながら、参照フレームＦ０と比較して、現フレームＦ１内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図が変わっている。

これに対して図６（ａ）－（ｃ）は、第１対象物ＯＢ１、第２対象物ＯＢ２、背景の切り出し位置を別々に決定している。図６（ａ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、第１対象物ＯＢ１の補正ベクトルに従い移動させ、第１対象物ＯＢ１用の切り出し位置Ｃ１を決定する。図６（ｂ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、第２対象物ＯＢ２の補正ベクトルに従い移動させ、第２対象物ＯＢ２用の切り出し位置Ｃ２を決定する。図６（ｃ）に示すように切出位置決定部２７は、参照フレームＦ０の切り出し位置Ｃ０を、背景の補正ベクトルに従い移動させ、背景用の切り出し位置Ｃ３を決定する。

図７（ａ）に示すように、切出部３０は、第１対象物ＯＢ１用の切り出し位置Ｃ１の画像データから第１対象物ＯＢ１の画像データを切り出し、第２対象物ＯＢ２用の切り出し位置Ｃ２の画像データから第２対象物ＯＢ２の画像データを切り出し、背景用の切り出し位置Ｃ３の画像データから第１対象物ＯＢ１と第２対象物ＯＢ２を除く背景の画像データを切り出す。画像合成部３１は、切り出された第１対象物ＯＢ１の画像データと、切り出された第２対象物ＯＢ２の画像データと、切り出された背景の画像データを合成して新たな合成画像Ｉｃを生成する。

新たに生成された合成画像Ｉｃ内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図は、参照フレームＦ０の切り出し位置Ｃ０内の第１対象物ＯＢ１と第２対象物ＯＢ２の構図と同じになる。即ち、撮像部１０があたかも動いていなかったかのような、疑似的な視点変換を行うことができる。

現フレームＦ１から新たに生成された合成画像Ｉｃ内の第１対象物ＯＢ１と第２対象物ＯＢ２の重複部分は、現フレームＦ１に実際に写った第１対象物ＯＢ１と第２対象物ＯＢ２の重複部分より少なくなる。したがって、新たに生成された合成画像Ｉｃでは、両者の重複部分の差分の領域に画素抜けが発生する。即ち、第１対象物ＯＢ１に隠れていた一部の領域が欠陥画素領域Ｒｍになる。

画素補完部３２は、この欠陥画素領域Ｒｍの画素を、当該欠陥画素領域Ｒｍに空間的または時間的に近接する少なくとも１つの有効画素をもとに補完する。第１の補完方法として画素補完部３２は、現フレームＦ１において欠陥画素領域Ｒｍに隣接する周辺画素から補完画素を生成する。

例えば画素補完部３２は、欠陥画素領域Ｒｍ内の各画素に、各画素に最も近接する有効画素と同じ画素を割り当てる。例えば画素補完部３２は、欠陥画素領域Ｒｍ内の画素に、欠陥画素領域Ｒｍに隣接する複数の有効画素の代表値を割り当ててもよい。なお欠陥画素領域Ｒｍ内の画素ごとに、近接する周辺の複数の有効画素を特定し、当該特定の複数の有効画素の代表値を算出してもよい。

例えば画素補完部３２は、欠陥画素領域Ｒｍの左右または上下に隣接する有効画素から、その間の欠陥画素領域Ｒｍ内の複数の画素を補間してもよい。例えばライン単位で線形補間してもよい。その際、グラデーションを付けて欠陥画素領域Ｒｍ内の複数の画素を補間してもよい。グラデーションを付ける場合、複数の画素間の色差は均等でもよいし、各画素間の色差に一定の規則にしたがった変化（例えば、指数関数的な変化）を持たせてもよい。

第２の補完方法として画素補完部３２は、現フレームＦ１と時間的に近接する複数のフレームにおいて、現フレームＦ１の欠陥画素領域Ｒｍに対応する領域（以下、単に対応領域という）に有効画素が存在するフレームを探索し、探索したフレーム内の対応領域の有効画素をもとに、現フレームＦ１の欠陥画素領域Ｒｍの画素を補完する。

例えば画素補完部３２は、対応領域に有効画素が存在するフレームのうち、現フレームＦ１に時間的に最も隣接するフレーム内の対応領域の有効画素を、現フレームＦ１の欠陥画素領域Ｒｍに補完する。例えば画素補完部３２は、対応領域に有効画素が存在するフレームのうち、対応領域内の有効画素の代表値が、現フレームＦ１において欠陥部分がある第２対象物ＯＢ２の領域内の画素の代表値と最も近いフレームを特定する。画素補完部３２は、特定したフレーム内の対応領域の有効画素を、現フレームＦ１の欠陥画素領域Ｒｍに補完する。

第３の補完方法として画素補完部３２は、現フレームＦ１において欠陥部分がある第２対象物ＯＢ２の本来の形状を推定し、欠陥画素領域Ｒｍを第２対象物ＯＢ２の領域と背景の領域に区分し、領域ごとに画素を補完する。

図７（ｂ）に示す例では画素補完部３２は、第２対象物ＯＢ２の外周と欠陥画素領域Ｒｍの外周が交わる２点間に直線Ｌ１を引いている。画素補完部３２は、欠陥画素領域Ｒｍにおいて直線Ｌ１の左側領域Ｒｍ２を第２対象物ＯＢ２の領域と推定し、直線Ｌ１の右側領域Ｒｍ１を背景の領域と推定する。

画素補完部３２は、欠陥画素領域Ｒｍの左側領域Ｒｍ２内の画素を、第２対象物ＯＢ２の有効画素をもとに補完する。その際、参照範囲を第２対象物ＯＢ２の有効画素の範囲内とした上で、第１の補完方法を使用することができる。画素補完部３２は、欠陥画素領域Ｒｍの右側領域Ｒｍ１内の画素を、右側領域Ｒｍ１に近接する背景の有効画素をもとに補完する。その際、参照範囲を背景の有効画素の範囲内とした上で、第１の補完方法を使用することができる。

以上説明したように実施の形態２によれば、同一フレーム内において被写体と背景を別々に手ブレ補正する。その際、撮像部１０からの距離に応じて、被写体と背景の補正強度を変えることにより、フレーム内の構図を維持しつつ手ブレを補正することができる。また、切り出し位置の移動により画素抜け領域が発生した場合は、空間的または時間的に近接する画素を補完することにより、画像の不自然さを低減することができる。以上により、手ブレが発生したにも関わらず、あたかも撮像装置１が静止しているかのような映像を生成することができる。

図８は、本発明の実施の形態３に係る撮像装置１の構成を示す図である。実施の形態３に係る撮像装置１は、撮像部１０、振動検出センサ１１、距離検出センサ１２及び画像処理装置２０を備える。実施の形態３に係る画像処理装置２０は、映像取得部２１、画像認識部２２、対象物検出部２３、対象物追尾部２４、動きベクトル検出部２５、ベクトル強度調整部２６、切出位置決定部２７、振動情報取得部２８、移動量特定部２９、切出部３０、画像合成部３１、画素補完部３２、距離情報取得部３３及び距離特定部３４を備える。

以下、実施の形態１、２との相違点を説明する。実施の形態３では実施の形態１と同様に、被写体追尾機能と電子式の手ブレ補正機能の両方が採用されている。実施の形態３では、ベクトル強度調整部２６は、動きベクトル検出部２５から注目すべき対象物の動きベクトルを取得し、距離特定部３４から当該対象物までの距離を取得する。ベクトル強度調整部２６は、動きベクトル検出部２５から取得した注目すべき対象物の動きベクトルの強度を、距離特定部３４から取得した当該対象物までの距離に応じて調整する。ベクトル強度調整部２６は、当該対象物までの距離が近いほど当該対象物の動きベクトルの強度を強く設定し、当該対象物までの距離が遠いほど当該対象物の動きベクトルの強度を弱く設定する。

例えば、対象物の実際の動きによる移動量と、撮像部１０から対象物までの距離と、対象物の実際の動きに対するフレーム内における対象物の移動量との関係を予めテーブルまたは関数で規定しておく。当該関係は、設計者による実験やシミュレーションに基づき導出されてもよい。ベクトル強度調整部２６は、距離特定部３４から取得した撮像部１０から対象物までの距離をもとに、当該テーブルまたは当該関数を参照して、動きベクトル検出部２５から取得した当該対象物の動きベクトルの強度を調整する。

実施の形態３では、切出位置決定部２７は、参照フレームの切り出し位置を、手ブレの補正ベクトルと、ベクトル強度調整部２６により調整された対象物の動きベクトルの合成ベクトルに従い移動させ、対象物用の切り出し位置を決定する（図２（ｂ）参照）。以下の処理は実施の形態１と同様である。

上述したように、フレーム内に注目すべき対象物が複数設定される場合がある。その際、複数の対象物が異なる方向に移動している場合がある。その場合、各対象物用の画角を合成した画像内における構図が、実際の構図と大きくずれることがある。そこで、複数の切り出し位置の合成前の総切り出し範囲に制限を加えてもよい。

図９（ａ）－（ｃ）は、実施の形態１、３に係る画像処理装置２０による総切り出し範囲の制限処理の具体例を説明するための図である。図９（ａ）に示すように切出位置決定部２７はデフォルトで、フレームＦ０内の中央に切り出し位置Ｃ０を設定する。対象物検出部２３は、フレームＦ０内において第１対象物ＯＢ１と第２対象物ＯＢ２を、注目すべき対象物として検出する。対象物追尾部２４は、第１対象物ＯＢ１と第２対象物ＯＢ２の追尾を開始する。図９（ａ）に示す例では、第１対象物ＯＢ１が左方向に移動し、第２対象物ＯＢ２が右方向に移動している。また、撮影者の手ブレにより撮像部１０が上方向へ移動している。

図９（ｂ）に示すように切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと第１対象物ＯＢ１の動きベクトルの合成ベクトルに従い移動させ、第１対象物ＯＢ１用の切り出し位置Ｃ１を決定する。同様に切出位置決定部２７は、現フレームＦ１において、参照フレームＦ０の切り出し位置Ｃ０を、手ブレの補正ベクトルと第２対象物ＯＢ２の動きベクトルの合成ベクトルに従い移動させ、第２対象物ＯＢ２用の切り出し位置Ｃ２を決定する。

図９（ｂ）に示す例では、第１対象物ＯＢ１用の切り出し位置Ｃ１と第２対象物ＯＢ２用の切り出し位置Ｃ２の合成前の総切り出し範囲の幅Ｗ１が広がっている。切り出し位置Ｃ１内の第１対象物ＯＢ１の画像データと、切り出し位置Ｃ２内の第２対象物ＯＢ２の画像データと、背景用の切り出し位置（図９（ｂ）には不図示）内の背景データを合成すると、合成画像内の画角に第１対象物ＯＢ１と第２対象物ＯＢ２の両方が完全に収まる。ただし、第１対象物ＯＢ１と第２対象物ＯＢ２の位置関係が、実際より近接した画像が生成され、実際の位置関係との乖離が大きくなる。

そこで、総切り出し範囲に制限を設ける。具体的には総切り出し範囲に幅上限Ｗｔと高さ上限Ｈｔを設定する。ベクトル強度調整部２６は、フレーム内において複数の対象物が検出された場合、総切り出し範囲の制限の収まるように、複数の対象物の少なくとも一つの動きベクトルの強度を調整する。

図９（ｃ）に示す例ではベクトル強度調整部２６は、総切り出し範囲の幅上限Ｗｔを満たすように、第２対象物ＯＢ２の動きベクトルの強度を弱めている。具体的にはベクトル強度調整部２６は、第１対象物ＯＢ１用の切り出し位置Ｃ１と第２対象物ＯＢ２用の切り出し位置Ｃ２’の合成前の総切り出し範囲の幅Ｗ１’が、総切り出し範囲の幅上限Ｗｔと一致するように、第２対象物ＯＢ２の動きベクトルの強度を弱めている。この場合、合成画像内の画角から第２対象物ＯＢ２の一部が外れる。

なおベクトル強度調整部２６は、第２対象物ＯＢ２の動きベクトルの強度ではなく第１対象物ＯＢ１の動きベクトルの強度を弱めてもよいし、第１対象物ＯＢ１と第２対象物ＯＢ２の動きベクトルの両方の強度を弱めてもよい。

動きベクトルの強度を弱める対象物は、優先度の低い対象物であってもよい。優先度は、サイズが大きい対象物ほど高く設定されてもよい。また優先度は、フレーム内で中央に近い対象物ほど高く設定されてもよい。また優先度は、撮像部１０からの距離が近い対象物ほど高く設定されてもよい。また優先度は、動きが小さい対象物ほど高く設定されてもよい。またこれらの基準の複数を組み合わせて使用してもよい。

総切り出し範囲の幅上限Ｗｔと高さ上限Ｈｔの値は、ユーザが設定変更可能であってもよい。幅上限Ｗｔと高さ上限Ｈｔの値を大きく設定するほど、合成画像内の画角に全ての対象物が収まる確率が高くなる。一方、幅上限Ｗｔと高さ上限Ｈｔの値を小さく設定するほど、補正の強度が弱くなり、実際の構図からの乖離を低減することができる。

以上説明したように実施の形態３によれば、実施の形態１と実施の形態２の両方の効果を奏する。即ち、画角全体においてブレが抑制され、画角内の構図が自然な映像を生成することができる。なお実施の形態２は、実施の形態３において被写体が静止している場合の例と捉えることもできる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記図９（ａ）－（ｃ）では、フレーム内に追尾対象とすべき対象物が複数設定される例を説明した。この点、フレーム内で認識された複数の対象物のうち、一つ以上の対象物を追尾対象とすべき対象物に設定し、残りの対象物を追尾対象としない対象物に設定してもよい。その場合において、追尾対象としない対象物は背景として処理される。

上述した実施の形態１－３では、撮影中にリアルタイムに切り出し画角を調整して、合成画像を生成する例を説明した。この点、全撮像範囲の映像データと各フレーム時刻のセンサ情報を記録しておき、撮影終了後に、記録した全撮像範囲の映像データと各フレーム時刻のセンサ情報を読み出し、上述した実施の形態１－３に係る合成画像生成処理を実行してもよい。その場合、撮像装置１内ではなく、別の画像再生装置（例えば、ＰＣやスマートフォン）で合成画像生成処理を実行してもよい。

１ 撮像装置、 １０ 撮像部、 １１ 振動検出センサ、 １２ 距離検出センサ、 ２０ 画像処理装置、 ２１ 映像取得部、 ２２ 画像認識部、 ２３ 対象物検出部、 ２４ 対象物追尾部、 ２５ 動きベクトル検出部、 ２６ ベクトル強度調整部、 ２７ 切出位置決定部、 ２８ 振動情報取得部、 ２９ 移動量特定部、 ３０ 切出部、 ３１ 画像合成部、 ３２ 画素補完部、 ３３ 距離情報取得部、 ３４ 距離特定部。

Claims (5)

1. 撮像部により撮像された映像を取得する映像取得部と、
   前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する移動量特定部と、
   取得された映像のフレーム内から、注目すべき対象物を検出する対象物検出部と、
   距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する距離特定部と、
   前記振動によるブレを打ち消すための補正ベクトルの強度を調整するベクトル強度調整部と、
   取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する切出位置決定部であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する切出位置決定部と、
   前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する画像合成部と、
   を備える画像処理装置。
2. 前記ベクトル強度調整部は、前記対象物までの距離が近いほど前記補正ベクトルの強度を強く設定する、
   請求項１に記載の画像処理装置。
3. 前記ベクトル強度調整部は、フレーム内において第１対象物と、当該第１対象物より奥に位置する第２対象物が検出されている場合、前記第１対象物用の切り出し位置を移動させるための前記補正ベクトルの強度を、前記第２対象物用の切り出し位置を移動させるための前記補正ベクトルの強度より強く設定する、
   請求項１または２に記載の画像処理装置。
4. 前記画像合成部により合成された画像内において、欠陥画素が発生した場合、当該欠陥画素に空間的または時間的に近接する少なくとも１つの有効画素をもとに、前記欠陥画素を補完する画素補完部を、
   さらに備える請求項３に記載の画像処理装置。
5. 撮像部により撮像された映像を取得する処理と、
   前記撮像部に加わる振動を検出するためのセンサの出力信号、または取得された映像のフレーム間の差分をもとに、前記撮像部に加わる振動に基づく前記撮像部の移動量を特定する処理と、
   取得された映像のフレーム内から、注目すべき対象物を検出する処理と、
   距離を計測するためのセンサからの出力信号、またはフレーム内の前記対象物の大きさをもとに、前記撮像部から前記対象物までの距離を特定する処理と、
   前記振動によるブレを打ち消すための補正ベクトルの強度を調整する処理と、
   取得された映像の各フレームから所定サイズの画像を切り出すための切り出し位置を決定する処理であって、前記切り出し位置を前記補正ベクトルに従い移動させ、前記補正ベクトルの強度に応じて、対象物用の切り出し位置と背景用の切り出し位置を別々に決定する処理と、
   前記対象物用の切り出し位置から切り出された前記対象物の画像データと、前記背景用の切り出し位置から切り出された前記対象物を除く背景の画像データを合成する処理と、
   をコンピュータに実行させる画像処理プログラム。

Images