JP4967938B2 - プログラム、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、離散的に撮像された２つの画像から被写体の動きを補間する補間画像を生成する画像処理技術に関する。

従来から、離散的に撮像された複数の画像を動画として滑らかに再生するために、キーフレームとなる２つの画像間で被写体の動きを補間する補間画像を生成する技術が公知である。例えば、特許文献１には、上記の補間画像を生成するための画像処理技術の一例が開示されている。
特開２００３−１５０９７２号公報

しかし、従来の技術では、例えば、規則的なパターンを有する注目被写体が移動する場合などにおいて、画像間での被写体の特徴点の対応付けが適切に行われずに動画として鑑賞したときに違和感の大きな補間画像が生成されうる点で改善の余地があった。

本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、画像間での特徴点の対応付けの精度を向上させて、より違和感の少ない補間画像を生成する手段を提供することである。

本発明の第１の形態は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第７ステップを演算部に実行させる。第１ステップでは、撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータをデータ読込部により演算部に読み込む。第２ステップでは、演算部が、第１画像および第２画像から、注目被写体に対応する対象領域をそれぞれ抽出する。第３ステップでは、演算部が、第１画像および第２画像の各画像で、対象領域の外縁より内部の外縁近傍の位置から特徴点をそれぞれ抽出し、特徴点を含む画像内の複数画素の出力値を用いて、各々の特徴点に対応する画像の特徴量を求める。第４ステップでは、演算部が、特徴量を用いて第１画像の特徴点と第２画像の特徴点とを対応付けして、２つの画像間での特徴点の位置変化量を求める。第５ステップでは、演算部が、第１画像および第２画像間で被写体の変化を補間する補間画像につき、該補間画像での特徴点の位置を位置変化量に基づいて決定する。第６ステップでは、演算部が、補間画像の対象領域における特徴点以外の画素位置を、第５ステップで決定した特徴点のうちの少なくとも３つとの相対位置に基づいて決定する。第７ステップでは、演算部が、第５ステップおよび６ステップで決定した対象領域の位置に基づいて、補間画像のデータを生成する。

上記の第１の形態において、第２ステップにて、演算部は、輪郭で仕切られた画像内の複数の分割領域を検出し、複数の分割領域の少なくとも１つを対象領域として選択するようにしてもよい。そして、演算部は、対象領域の選択のときに、分割領域の１つである第１分割領域の輪郭の閉曲線が分割領域の１つである第２分割領域の輪郭の閉曲線に内包される場合には、第１分割領域を対象領域の候補から除外することが好ましい。

上記の第１の形態において、演算部は、以下のグループ化ステップをさらに実行するようにしてもよい。グループ化ステップでは、演算部は、同一の画像内で特徴量の差が閾値未満となる特徴点をグループ化する。そして、演算部は、第４ステップでの処理対象からグループ化された特徴点を除外することが好ましい。

本発明の第２の形態は、画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータのプログラムである。このプログラムは以下の第１ステップから第５ステップを演算部に実行させる。第１ステップでは、撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータをデータ読込部により演算部に読み込む。第２ステップでは、演算部が、第１画像および第２画像から、被写体の特徴点をそれぞれ抽出する。第３ステップでは、演算部が、特徴点を含む画像内の複数画素の出力値を用いて、各々の特徴点に対応する画像の特徴量を求める。第４ステップでは、演算部が、同一の画像内で、異なる特徴点の特徴量を比較して、特徴量の差が閾値未満となる特徴点を除外して、第１画像の特徴点と第２画像の特徴点とを対応付けする。第５ステップでは、演算部が、第４ステップで対応付けされた特徴点の位置変化に基づいて、第１画像および第２画像間で被写体の変化を補間する補間画像のデータを生成する。

また、上記の第１の形態および第２の形態において、第１画像、補間画像および第２画像を連続的に再生する画像再生ステップを演算部がさらに実行するようにしてもよい。

なお、上記発明に関する構成を、上記のプログラムを実行する画像処理装置または撮像装置、コンピュータを用いた画像処理方法、上記のプログラムを記憶した記憶媒体、などに変換して表現したものも本発明の具体的態様として有効である。

本発明の第１の形態では、対象領域内の外縁近傍の位置から特徴点を抽出することで、画像間での特徴点の対応付けの精度が高く、より違和感の少ない補間画像を生成できる。

また、本発明の第２の形態では、画像の特徴量が類似する特徴点を除外することで、画像間での特徴点の対応付けの精度が高く、より違和感の少ない補間画像を生成できる。

＜第１実施形態の説明＞
図１は第１実施形態の電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ（インターフェース）２１と、通信Ｉ／Ｆ（インターフェース）２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７およびバス２８とを有している。

ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。

撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。

ここで、本実施形態における撮像素子１３には、画像のデータを生成するための受光素子とは別に、瞳分割式の位相差ＡＦを行うための測距画素が複数設けられている。この測距画素は、撮像素子１３の撮像面の全面に一定間隔をあけて配置されている。そのため、本実施形態の制御回路２７は、撮像素子１３の測距画素の出力によって、撮影画面上の任意の部分の被写体距離を求めることができる。なお、測距画素を有する撮像素子については、例えば、特開２０００−１５６８２３号公報などの公知の構成のものを適用することができる。

撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。

信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。

データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。

また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。

第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。

表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理（例えば、モニタ１９の表示特性にあわせた階調特性の変換など）を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。

圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。

記録Ｉ／Ｆ２１は、例えば、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。

ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。

なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行わずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。

また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。

通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。

操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。

一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。

また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。

レリーズ釦２４は、後述する連写撮影モードにおいて、押圧操作によるオートフォーカス（ＡＦ）動作開始の指示入力と、連写撮像動作開始の指示入力とをユーザーから受け付ける。

なお、制御回路２７は、レリーズ釦２４の押圧操作に応じて、撮像素子１３の測距画素の出力に基づいて、公知の位相差検出方式のＡＦ動作を実行する。このとき、制御回路２７は、撮像素子１３の測距画素で構成される全ての焦点検出エリアから、画像の撮像動作に同期して焦点検出情報を出力させる。これにより、制御回路２７は、各々の焦点検出エリアに対応する被写体距離を算出することができる。なお、被写体距離の算出は、フォーカス調整がマニュアルでなされる場合にも行うことが可能である。

振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データを制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。

第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。

制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御回路２７は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。

また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、補間画像の生成処理を実行する（これらの処理については後述する）。

以下、図２の流れ図を参照しつつ、第１実施形態の電子カメラの連写撮影モードの動作を説明する。

ここで、連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。この連写撮影モードで生成された記録画像はそれぞれ同一画素数の画像である。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。

ステップＳ１０１：制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。

ここで、Ｓ１０１でのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、Ｓ１０１において、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。

また、Ｓ１０１での連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。このとき、制御回路２７は、記録画像の撮像条件（撮像光学系１１の焦点距離、露出条件、振れ量データ、被写体距離など）を示す付帯情報を、各々の記録画像のデータに対応付けて記録しておく。

なお、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。

ステップＳ１０２：制御回路２７は、連写撮影された複数の記録画像（Ｓ１０１）のうちから、時間軸方向に隣接する２つの記録画像をそれぞれキーフレームとして指定する。以後の説明では、キーフレームとして指定された記録画像のうち、前に撮像された記録画像を第１画像と称する。また、後に撮像された記録画像を第２画像と称する。

また、本実施形態のＳ１０２では、制御回路２７は、第１画像および第２画像を複数の記録画像から撮影順に指定する。この指定は、時系列に並ぶ複数の記録画像から途中を飛ばすことなく全て行われるものとする。

ステップＳ１０３：制御回路２７は、第１メモリ１７に記憶されている第１画像および第２画像のデータ（Ｓ１０２）に対して公知のエッジ抽出処理をそれぞれ施す。そして、制御回路２７は、第１画像および第２画像のエッジ（輪郭）の位置情報をそれぞれ第１メモリ１７または第２メモリ２６に記録する。

ステップＳ１０４：制御回路２７は、第１メモリ１７に記憶されている第１画像および第２画像のデータ（Ｓ１０２）に対して、特徴点抽出処理を実行する。なお、第１実施形態では、Ｓ１０４の処理で求めた特徴点を特徴点候補と称する。

一例として、制御回路２７は、エッジ抽出処理（Ｓ１０３）によって画像から抽出したエッジの交点（コーナー）の位置を特徴点候補とする。このコーナー検出のアルゴリズムとしては、「C．Harris and M.J. Stephens : A combined corner and edge detector. In Alvey Vision Conferrence, page 147-152 (1988)」などの公知の手法を用いることができる。そして、制御回路２７は、第１画像および第２画像におけるそれぞれの特徴点候補の位置を第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点候補としてもよい。

ステップＳ１０５：制御回路２７は、第１画像および第２画像から注目被写体に対応する対象領域をそれぞれ抽出する。

以下、図３の記録画像を参照しつつ、Ｓ１０５での対象領域の選択方法を説明する。まず、Ｓ１０５での制御回路２７は、第１画像および第２画像の各画像で、輪郭で仕切られた複数の分割領域をそれぞれ検出する。このとき、制御回路２７は、輪郭による閉曲線で囲まれた領域を１つの分割領域として検出する。そして、制御回路２７は、これらの分割領域に含まれない部分を背景の領域と判断する。図３の例では、制御回路２７は、（１）バスの全体、（２）バスの２つの窓、（３）バスの扉、（４）バスのタイヤ、（５）花、のそれぞれを分割領域として判断する。

次に、制御回路２７は、分割領域の輪郭の閉曲線のうち一番外側のものを被写体の外形と判断し、この分割領域を対象領域として選択する。具体的には、制御回路２７は、第１分割領域と第２分割領域とがあって、第１分割領域の輪郭の閉曲線が第２分割領域の輪郭の閉曲線に内包される場合には、第１分割領域を対象領域の候補から除外する。

例えば、図３では、バスの窓、バスの扉およびバスのタイヤに対応する分割領域（輪郭の閉曲線）は、それぞれバスの全体に対応する分割領域（輪郭の閉曲線）に内包される。そのため、制御回路２７は、バスの窓およびバスの扉に対応する分割領域を対象領域の候補から除外する。よって、図３の例では、制御回路２７は、上記（１）の「バスの全体」に対応する分割領域と、上記（５）の「花」に対応する分割領域とを対象領域として選択する。

ここで、Ｓ１０５での制御回路２７は、各焦点検出エリアに対応する被写体距離に基づいて対象領域を選択してもよい。例えば、制御回路２７は、記録画像における被写体距離の分布を示す距離画像を付帯情報（Ｓ１０１）から生成する。そして、制御回路２７は、距離画像で被写体距離の差が閾値未満となる領域をグループ化して対象領域を求める。

なお、制御回路２７は、輪郭によって記録画像を領域分割した上で、被写体距離を用いて対象領域の候補を絞り込むようにしてもよい。

ステップＳ１０６：制御回路２７は、第１画像および第２画像の特徴点候補（Ｓ１０４で抽出されたもの）のうちで、対象領域（Ｓ１０５）内の外縁近傍のものを抽出して特徴点とする。なお、第１実施形態では、Ｓ１０６で抽出された特徴点を、選別特徴点と称する。この選別特徴点は後述の補間画像の生成に用いられる。

ここで、Ｓ１０６で外縁近傍の特徴点候補を抽出するのは以下の理由による。一般的に、被写体外縁の輪郭の特徴点はユニークなものが多く、個々の識別が容易である。そのため、選別特徴点を用いて画像間で被写体の対応付けを行うと、特徴点の誤った対応付けを防止しやすくなる。

一例として、Ｓ１０６での制御回路２７は、Ｓ１０４の特徴点候補のうち、対象領域（Ｓ１０５）の外縁の輪郭と重なるものを抽出して選別特徴点とする。Ｓ１０５で説明したバスの例によると、Ｓ１０６での制御回路２７は、対象領域内の特徴点候補のうち、最も外側の閉曲線をなす輪郭（バスの全体の輪郭）上の特徴点候補を選別特徴点とする。

Ｓ１０６での制御回路２７は、さらに対象領域の外縁近傍の特徴点候補を選別特徴点としてもよい。上記の特徴点候補も、被写体の外縁に近いので個々の識別が容易である可能性が高いからである。なお、対象領域の外縁近傍の特徴点候補とは、輪郭の画素を基準として、例えば記録画像の縦または横の画素数に対して５％の画素数までの範囲に含まれるものを指すものとする。

ステップＳ１０７：制御回路２７は、第１画像および第２画像の各画像において、選別特徴点（Ｓ１０６）の特徴量を求める。このＳ１０７では、制御回路２７は、選別特徴点を含む画像内の複数画素の出力値を用いて特徴量を求める。例えば、制御回路２７は、選別特徴点を中心とする９×９画素の範囲の階調値を用いて輝度のヒストグラムを生成する。そして、この輝度のヒストグラムを選別特徴点の特徴量とする。なお、制御回路２７は、各選別特徴点ごとにそれぞれ上記の特徴量（輝度のヒストグラム）を求め、その特徴量の情報を第１メモリ１７または第２メモリ２６に記録する。

ステップＳ１０８：制御回路２７は、第１画像の選別特徴点と第２画像の選別特徴点との対応付けを行う。

具体的には、第１に、制御回路２７は、第１画像の選別特徴点の特徴量と第２画像の選別特徴点の特徴量とを用いて、以下の式（１）により判定値Ｓを求める。なお、制御回路２７は、第１画像と第２画像との全ての選別特徴点の組み合わせで判定値Ｓをそれぞれ求める。

ここで、式（１）において、「ａ_x」は第１画像の任意の選別特徴点ｘを示す。「ｂ_y」は第２画像の任意の選別特徴点ｙを示す。また、「Ｌ(ｚ)_i」は、選別特徴点ｚに対応する輝度ヒストグラムにおける区間ｉの度数（頻度）を示す。すなわち、式（１）で求まる判定値Ｓは、比較する２つの輝度ヒストグラムにおける頻度差の二乗和となる。

第２に、制御回路２７は、第１画像の特定の選別特徴点に対して、判定値Ｓが最小となる第２画像の選別特徴点を抽出する。そして、制御回路２７は、第１画像の特定の選別特徴点と、上記の処理で抽出された第２画像の選別特徴点とを対応付けする。そして、上記の要領で、制御回路２７は、第１画像の各選別特徴点と第２画像の各選別特徴点との対応関係を求める。なお、Ｓ１０８で求めた選別特徴点の対応関係の情報は、制御回路２７によって第１メモリ１７または第２メモリ２６に記録される。

ステップＳ１０９：制御回路２７は、第１画像および第２画像のフレームの間を補間する補間画像を生成する。この補間画像の画素数は記録画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。

具体的には、制御回路２７は、以下の（イ）から（ヘ）の手順で補間画像を生成する。ここで、第１画像と第２画像との間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、簡単のため、第１画像と第２画像との間に２フレーム分の補間画像を挿入する場合について説明する。

（イ）制御回路２７は、第１画像および第２画像の各画像で、同一画像内の選別特徴点を直線で結んで三角形状のメッシュ（区画）を形成する（図４参照）。このメッシュは、後述の注目画素の位置を定義するときに用いられる。

ここで、制御回路２７は、各画像内において選別特徴点間を結ぶ直線同士が交差しないようにメッシュを形成する。また、制御回路２７は、第１画像および第２画像において直線で結ぶ選別特徴点がそれぞれ対応するようにする。なお、図４では、選別特徴点を結ぶメッシュの直線を破線で示す。

（ロ）また、制御回路２７は、第１画像および第２画像での一対の選別特徴点（Ｓ１０８で対応付けしたもの）の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の選別特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、第１画像と第２画像との間で対応付けができた全ての選別特徴点で上記の関数を求める。

（ハ）制御回路２７は、上記（ロ）で求めた関数によって、補間画像のフレームにおける選別特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の選別特徴点とで定義された区間を内分し、この内分点の位置を補間フレームの特徴点の位置とする。

図５は、補間画像での選別特徴点の決定方法の一例を示す説明図である。図５の例では、第１画像の選別特徴点Ａ，Ｂ，Ｃに対して、第２画像の選別特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１の選別特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１の選別特徴点の位置となる。なお、補間画像における第２の選別特徴点の位置（Ｈ，Ｋ）および第３の選別特徴点の位置（Ｉ，Ｌ）についても、上記の第１の選別特徴点の場合と同様の手順で求めることができる。

（ニ）制御回路２７は、補間画像の対象領域内において選別特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、第１画像（または第２画像）における注目画素の位置を選別特徴点を結ぶベクトルで定義する。この注目画素の位置を定義するときに、制御回路２７は、注目画素を含むメッシュ（または注目画素の位置に最も近いメッシュ）を構成する３つの選別特徴点を用いる。一例として、図４に示すように対象領域内の選別特徴点Ａ、Ｂ、Ｃを結ぶメッシュ内に注目画素Ｐ₁がある場合、制御回路２７は、選別特徴点Ａ，Ｂ間を結ぶベクトルと、選別特徴点Ａ，Ｃ間を結ぶベクトルとを用いて注目画素Ｐ₁を定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画素の位置を求める。

図６は、補間画像での注目画素の決定方法の一例を示す説明図である。

したがって、制御回路２７は、上記の方法で補間画像の対象領域における各々の注目画素の位置を求めることができる。なお、制御回路２７は、補間画像の背景領域についても、対象領域の場合と同様の手法で各画素の位置を決定する。

（ホ）制御回路２７は、補間画像における各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、第１画像と第２画像とで対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、第１画像と第２画像とで注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する値を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像での注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。

（へ）制御回路２７は、上記の工程で生成された補間画像のデータを第１メモリ１７または第２メモリ２６に記録する。

ステップＳ１１０：制御回路２７は、時間軸方向に隣接する２つの記録画像による全てのフレーム区間で補間画像（Ｓ１０９）が生成されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ１０２に戻って上記動作を繰り返す。なお、この場合において、Ｓ１０２での制御回路２７は、以前の第２画像を新たな第１画像に指定するとともに、以前の第２画像よりも時間軸方向に１つ後の記録画像を新たな第２画像に指定することとなる。

ステップＳ１１１：記録Ｉ／Ｆ２１は、制御回路２７の指示に応じて、記録画像のデータと補間画像のデータとを記憶媒体２９に記録する。このとき、制御回路２７は、ユーザーの設定に応じて画像のデータの記録形式を変更する。

例えば、制御回路２７は、上記の記録画像および補間画像を１フレームずつ静止画像のファイルとして記録する。あるいは、制御回路２７は、記録画像および補間画像を時系列に並べて１つの動画像を生成し、この動画像のファイルを記憶媒体２９に記録してもよい。勿論、制御回路２７は、複数の静止画像のファイルと動画像のファイルとをいずれも記憶媒体２９に記録するようにしてもよい。

ステップＳ１１２：制御回路２７は、ユーザーから連写撮影した画像の再生指示を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１３に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７は連写撮影モードでの動作を終了する。

ステップＳ１１３：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、記録画像および補間画像を時系列に沿ってモニタ１９で連続的に再生する。以上で、図２の流れ図の説明を終了する。

以下、第１実施形態の作用効果を述べる。第１実施形態の電子カメラでは、第１画像，第２画像の間を補間する補間画像を生成するときに、対象領域のうちで比較的に識別性が高い外縁近傍の特徴点を用いて被写体の対応付けを実行する。そのため、類似する特徴点が複数存在する注目被写体（例えば、規則的なパターンを有する注目被写体など）についても、特徴点の誤った対応付けがされる可能性が低下するので、第１画像および第２画像と比べてより違和感の少ない補間画像を生成できる。

＜第２実施形態の説明＞
図７は、第２実施形態の電子カメラにおける連写撮影モードの動作を説明する流れ図である。この第２実施形態は第１実施形態の変形例である。また、第２実施形態での電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。

なお、図７のＳ２０１からＳ２０４は、図２のＳ１０１からＳ１０４にそれぞれ対応する。また、図７のＳ２０８からＳ２１３は、図２のＳ１０８からＳ１１３にそれぞれ対応する。そのため、上記の各ステップについては重複説明を省略する。

ステップＳ２０５：制御回路２７は、第１画像および第２画像の各画像で、各々の特徴点候補（Ｓ２０４）の特徴量を求める。このＳ２０５では、制御回路２７は、特徴点候補を含む画像内の複数画素の出力値を用いて特徴量を求める。例えば、制御回路２７は、特徴点候補を中心とする９×９画素の範囲の階調値を用いて輝度のヒストグラムを生成する。そして、この輝度のヒストグラムを特徴点候補の特徴量とする。なお、制御回路２７は、各特徴点候補ごとにそれぞれ上記の特徴量（輝度のヒストグラム）を求め、その特徴量の情報を第１メモリ１７または第２メモリ２６に記録する。

ステップＳ２０６：制御回路２７は、同一の画像内で特徴量（Ｓ２０５で求めたもの）の差が閾値未満となる特徴点候補をグループ化する。

ここで、図８を参照しつつ、Ｓ２０６での処理の内容を説明する。この図８では、Ｆ１〜Ｆ１２の１２個の特徴点候補が第１画像内に存在する例を説明する。まず、制御回路２７は、第１実施形態のＳ１０８で示した式（１）を用いて、第１画像の特徴点候補Ｆ１と他の特徴点候補Ｆ２〜Ｆ１２との判定値Ｓをそれぞれ求める。次に、制御回路２７は、特徴点候補Ｆ２〜Ｆ１２のうち、判定値Ｓが閾値未満となるものを特徴点候補Ｆ１と関連付けてグループ化する。そして、制御回路２７は、Ｆ１以外の特徴点候補についても他の特徴点候補との判定値Ｓを求め、この判定値Ｓが閾値未満となるものをグループ化する。なお、図８の例では、特徴点候補Ｆ１、Ｆ４、Ｆ５のグループと、特徴点候補Ｆ３、Ｆ７、Ｆ８、Ｆ１２のグループとが生成されるものとする。なお、制御回路２７は、第２記録画像の特徴点候補についても上記と同様の処理でグループ化を行う。

ステップＳ２０７：制御回路２７は、第１画像および第２画像の各画像で、特徴点候補（Ｓ２０４）から選別特徴点として抽出する。具体的には、制御回路２７は、グループ化された特徴点候補（Ｓ２０６）を除外して、いずれのグループにも属さない特徴点候補を選別特徴点とする。したがって、上記の図８の例であれば、特徴点候補のうち、Ｆ２、Ｆ６、Ｆ９〜Ｆ１１が選別特徴点となる。以上で、図７の流れ図の説明を終了する。

以下、第２実施形態の作用効果を述べる。第２実施形態の電子カメラでは、第１画像，第２画像の間を補間する補間画像を生成するときに、同じ画像内で近似する特徴量を有する特徴点を除外して被写体の対応付けを実行する。そのため、類似する特徴点が複数存在する注目被写体（例えば、規則的なパターンを有する注目被写体など）についても、特徴点の誤った対応付けがされる可能性が低下するので、第１画像および第２画像と比べてより違和感の少ない補間画像を生成できる。

＜実施形態の補足事項＞
（１）上記実施形態の電子カメラでは、位相差ＡＦモジュールを撮像素子１３とは別に設け、コントラスト方式のＡＦ動作に加えてさらに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行う例を説明したが、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい。

（２）上記の第１実施形態では、記録画像の画像サイズ（画素数）を基準として対象領域の外縁近傍の特徴点を抽出したが、他の方法で対象領域の外縁近傍の特徴点を求めてもよい。

一例として、制御回路２７は、「David G. Lowe : Distinctive image features from scale-Invariant keypoints, Journal of Computer Vision, 60, 2 page91-110 (2004)」に記載の方法を用いて対象領域の外縁近傍の特徴点を抽出してもよい。この手法では、まず、入力画像に対してガウス関数で畳み込み演算を複数回実行する。次に、畳み込みの前後の画像間で順次差分演算を行い(Difference of Gaussian)、注目画素が２６近傍画素で極値である場合に特徴点の候補とする。

（３）上記実施形態では、特徴点の特徴量として特徴点を含む画素範囲の輝度ヒストグラムを用いたが、特徴量を他のパラメータで代替することも可能である。例えば、（ａ）上記画素範囲の色差のヒストグラム、（ｂ）上記画素範囲のＲＧＢの色別ヒストグラム、（ｃ）上記画素範囲をフィルタリングして得た周波数成分（エッジ成分など）のヒストグラムなどを特徴点の特徴量としてもよい。また、これらのヒストグラムと、実施形態の輝度ヒストグラムとを２以上組み合わせて特徴点の特徴量としてもよい。

（４）第１実施形態で選別特徴点を抽出するときに、制御回路２７は、第２実施形態と同様に同じ画像内で特徴量の差が閾値未満となるものをグループ化し、グループ化された特徴点候補を選別特徴点から除外するようにしてもよい。この場合には、対象領域の外縁近傍の特徴点のうちで識別性の低いものが選別特徴点から除外されるので、特徴点の対応付けの精度がより一層向上する。

（５）上記実施形態では、記録画像のデータから補間画像を生成する例を説明したが、記録画像よりも低解像度の画像を用いて補間画像を生成してもよい。例えば、制御回路２７は、モニタの表示サイズ以下に設定されたビュー画像を記録画像とともに記録するときには、このビュー画像のデータから補間画像を生成してもよい。

（６）上記実施形態では連写撮影モードにおいて補間画像を生成する例を示したが、再生モードにおいて、予め連写撮影された記録画像の画像ファイルを読み込んで、撮影後に補間画像を生成するようにしてもよい。

（７）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の第１実施形態または第２実施形態で説明したアルゴリズムを実現してもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態における連写撮影モードでの動作を示す流れ図 第１実施形態における選別特徴点の抽出方法の説明図 画像を区画してメッシュを形成した状態を示す図 補間画像での選別特徴点の決定方法の一例を示す説明図 補間画像での注目画素の決定方法の一例を示す説明図 第２実施形態における連写撮影モードでの動作を示す流れ図 第２実施形態における選別特徴点の抽出方法の説明図

符号の説明

１３…撮像素子、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２７…制御回路、２９…記憶媒体、３０…外部装置

Claims (8)

1. 画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータに対して、
   撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータを前記データ読込部により前記演算部に読み込む第１ステップと、
   前記第１画像および前記第２画像から、注目被写体に対応する対象領域をそれぞれ抽出する第２ステップと、
   前記第１画像および前記第２画像の各画像で、前記対象領域の外縁より内部の外縁近傍の位置から特徴点をそれぞれ抽出し、前記特徴点を含む画像内の複数画素の出力値を用いて、各々の前記特徴点に対応する画像の特徴量を求める第３ステップと、
   前記特徴量を用いて前記第１画像の前記特徴点と前記第２画像の前記特徴点とを対応付けして、２つの画像間での前記特徴点の位置変化量を求める第４ステップと、
   前記第１画像および前記第２画像間で被写体の変化を補間する補間画像につき、該補間画像での前記特徴点の位置を前記位置変化量に基づいて決定する第５ステップと、
   前記補間画像の前記対象領域における前記特徴点以外の画素位置を、前記第５ステップで決定した前記特徴点のうちの少なくとも３つとの相対位置に基づいて決定する第６ステップと、
   前記第５ステップおよび前記６ステップで決定した前記対象領域の位置に基づいて、前記補間画像のデータを生成する第７ステップと、
   を前記演算部に実行させることを特徴とするプログラム。
2. 請求項１に記載のプログラムにおいて、
   前記第２ステップにて、輪郭で仕切られた画像内の複数の分割領域を検出し、前記複数の分割領域の少なくとも１つを前記対象領域として選択し、
   前記対象領域の選択のときに、前記分割領域の１つである第１分割領域の輪郭の閉曲線が前記分割領域の１つである第２分割領域の輪郭の閉曲線に内包される場合には、前記第１分割領域を前記対象領域の候補から除外することを特徴とするプログラム。
3. 請求項１または請求項２に記載のプログラムにおいて、
   同一の画像内で前記特徴量の差が閾値未満となる前記特徴点をグループ化するグループ化ステップをさらに含み、
   前記第４ステップでの処理対象から前記グループ化された前記特徴点を除外することを特徴とするプログラム。
4. 画像のデータを読み込むデータ読込部と、演算部とを有するコンピュータに対して、
   撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータを前記データ読込部により前記演算部に読み込む第１ステップと、
   前記第１画像および前記第２画像から、被写体の特徴点をそれぞれ抽出する第２ステップと、
   前記特徴点を含む画像内の複数画素の出力値を用いて、各々の前記特徴点に対応する画像の特徴量を求める第３ステップと、
   同一の画像内で、異なる前記特徴点の前記特徴量を比較して、前記特徴量の差が閾値未満となる前記特徴点を除外して、前記第１画像の前記特徴点と前記第２画像の前記特徴点とを対応付けする第４ステップと、
   前記第４ステップで対応付けされた前記特徴点の位置変化に基づいて、前記第１画像および前記第２画像間で被写体の変化を補間する補間画像のデータを生成する第５ステップと、
   を前記演算部に実行させることを特徴とするプログラム。
5. 請求項１から請求項４のいずれか１項に記載のプログラムにおいて、
   前記第１画像、前記補間画像および前記第２画像を連続的に再生する画像再生ステップを前記演算部がさらに実行することを特徴とするプログラム。
6. 請求項１から請求項５のいずれか１項に記載のプログラムを実行するコンピュータを備えることを特徴とする画像処理装置。
7. 少なくとも１以上のコンピュータを用いた画像処理方法であって、
   撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータを前記コンピュータが読み込む第１ステップと、
   前記第１画像および前記第２画像から、注目被写体に対応する対象領域を前記コンピュータがそれぞれ抽出する第２ステップと、
   前記第１画像および前記第２画像の各画像で、前記対象領域の外縁より内部の外縁近傍の位置から特徴点をそれぞれ抽出し、前記特徴点を含む画像内の複数画素の出力値を用いて、各々の前記特徴点に対応する画像の特徴量を前記コンピュータが求める第３ステップと、
   前記特徴量を用いて前記第１画像の前記特徴点と前記第２画像の前記特徴点とを対応付けして、２つの画像間での前記特徴点の位置変化量を前記コンピュータが求める第４ステップと、
   前記第１画像および前記第２画像間で被写体の変化を補間する補間画像につき、該補間画像での前記特徴点の位置を前記位置変化量に基づいて前記コンピュータが決定する第５ステップと、
   前記補間画像の前記対象領域における前記特徴点以外の画素位置を、前記第５ステップで決定した前記特徴点のうちの少なくとも３つとの相対位置に基づいて前記コンピュータが決定する第６ステップと、
   前記第５ステップおよび前記６ステップで決定した前記対象領域の位置に基づいて、前記補間画像のデータを前記コンピュータが生成する第７ステップと、
   を備えることを特徴とする画像処理方法。
8. 少なくとも１以上のコンピュータを用いた画像処理方法であって、
   撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータを前記コンピュータが読み込む第１ステップと、
   前記第１画像および前記第２画像から、被写体の特徴点を前記コンピュータがそれぞれ抽出する第２ステップと、
   前記特徴点を含む画像内の複数画素の出力値を用いて、各々の前記特徴点に対応する画像の特徴量を前記コンピュータが求める第３ステップと、
   同一の画像内で、異なる前記特徴点の前記特徴量を比較して、前記特徴量の差が閾値未満となる前記特徴点を除外して、前記第１画像の前記特徴点と前記第２画像の前記特徴点とを前記コンピュータが対応付けする第４ステップと、
   前記第４ステップで対応付けされた前記特徴点の位置変化に基づいて、前記第１画像および前記第２画像間で被写体の変化を補間する補間画像のデータを前記コンピュータが生成する第５ステップと、
   を備えることを特徴とする画像処理方法。

Images