JP5149861B2 - 中間画像生成装置およびその動作制御方法 - Google Patents

Description

この発明は，中間画像生成装置およびその動作制御方法に関する。

動画を撮像する場合には，一定周期で被写体が撮像される。撮像周期を短くすれば動きの細やかな動画が得られるが，撮像周期を短くするのが困難な場合がある。このために，撮像により得られた隣接する２駒の画像の間に中間画像を生成し，その中間画像を２駒の画像に挿入することがある。

この中間画像を生成するには様々な方法が考えられているが（特許文献１，２），特に移動している被写体像についての生成には未だ改善の余地がある。

特許第3548071号公報 特許第3873017号公報

この発明は，移動している被写体像についての中間画像を生成することを目的とする。

この発明による中間画像生成装置は，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体の形状の特徴を示す複数の特徴点を決定する第１の特徴点決定手段，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定する第１の対応点決定手段，上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出する移動被写体像検出手段，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定する変形対象領域設定手段，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定する第２の特徴点決定手段，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定する第２の対応点決定手段，上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点との中間の位置に存在する中間点に位置決めされるように上記第１の画像または上記第２の画像の変形対象領域内の画像を変形して中間移動被写体像を生成する中間移動被写体像生成手段，ならびに上記中間移動被写体像生成手段によって生成された中間移動被写体像を用いて，上記第１の画像と上記第２の画像との中間の画像を生成する中間画像生成手段，を備えていることを特徴とする。

この発明は，上記中間画像生成装置に適した動作制御方法も提供している。すなわち，この方法は，第１の特徴点決定手段が，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体の形状の特徴を示す複数の特徴点を決定し，第１の対応点決定手段が，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定し，上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出し，変形対象領域設定手段が，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定し，第２の特徴点決定手段が，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定し，第２の対応点決定手段が，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定し，中間移動被写体像生成手段が，上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点との中間の位置に存在する中間点に位置決めされるように上記第１の画像または上記第２の画像の変形対象領域内の画像を変形して中間移動被写体像を生成し，中間画像生成手段が，上記中間移動被写体像生成手段によって生成された中間移動被写体像を用いて，上記第１の画像と上記第２の画像との中間の画像を生成する，ものである。

この発明は，中間画像生成装置の動作制御方法を実施するのに適したコンピュータ読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

この発明によると，連続撮影によって得られた第１の画像と第２の画像のうち，第１の画像の中から複数の特徴点（画像に含まれている複数の被写体像の輪郭中の点，被写体像の形状が変化している点など）が決定される。また，決定された特徴点に対応する対応点が，第２の画像の中から決定される。

また，第１の画像と第２の画像とに含まれる被写体像であって，第１の画像の撮影から第２の画像の撮影までの間に移動している物体を表す移動被写体像が，第１の画像と第２の画像とのそれぞれにおいて検出される。検出された移動被写体像上に存在する特徴点の位置と，移動被写体像上に存在する対応点の位置とを囲む変形対象領域が第１の画像および第２の画像のそれぞれにおいて設定される。

さらに，第１の画像において変形対象領域内の画像の特徴点が決定される。第２の画像において変形対象領域内の画像について，第１の画像の変形対象領域内の画像の特徴点に対応する対応点が決定される。第１の画像の変形対象領域内の画像の特徴点と第２の画像の変形対象領域内の画像の対応点との中間の位置に存在する中間点に位置決めされるように，第１の画像または第２の画像の変形対象領域内の画像が変形させられる。

第１の画像と第２の画像とのそれぞれにおいて移動被写体像が検出されると，第１の画像での移動被写体像の特徴点と第２の画像での移動被写体像の対応点とがそれぞれ検出さされる。検出された第１の画像での移動被写体像の特徴点と第２の画像での移動被写体像の対応点との中間の位置に存在する中間点に位置決めされるような中間移動被写体像が生成される。この中間移動被写体像は，第１の画像に含まれる移動被写体像を変形して生成してもよいし，第２の画像に含まれる移動被写体像を変形して生成してもよい。第１の画像に含まれる移動被写体像と第２の画像に含まれる移動被写体像との中間の画像に含まれる移動被写体像を生成することができるようになる。このようにして生成された中間移動被写体像を用いて，第１の画像と第２の画像との中間の画像が生成される。

上記変形対象領域外の領域外画像部分については上記第１の特徴点決定手段によって決定された特徴点に上記第１の対応点決定手段によって決定された対応点が一致するように，上記第２の画像を変形する領域外画像部分変形手段をさらに備えるようにしてもよい。

この場合，中間画像生成手段は，たとえば，上記変形対象領域内については上記中間移動被写体像生成手段によって生成された中間移動被写体像を用い，上記変形対象領域外については上記第１の画像または上記領域外画像部分変形手段によって生成された領域外画像部分を用いて，上記第１の画像と上記第２の画像との中間の画像を生成するものとなろう。

上記移動被写体像検出手段は，たとえば，上記第１の特徴点決定手段によって決定された複数の特徴点と上記第１の対応点決定手段によって決定された対応点との全体の動きと異なる動きにもとづいて移動被写体像を検出するものである。

上記移動被写体像検出手段は，たとえば，上記第１の特徴点決定手段によって決定された複数の特徴点と上記第１の対応点決定手段によって決定された対応点との全体の動きと異なる動きであって，異なる動きとなる対応点が一定以上存在する場合にその異なる動きにもとづいて移動被写体像を検出するものである。

ディジタル・ムービ/スチル・カメラを正面から見た斜視図である。 ディジタル・ムービ/スチル・カメラを背面から見た斜視図である。 ディジタル・ムービ/スチル・カメラの電気的構成を示すブロック図である。 中間画像の生成の仕方を示している。 ディジタル・ムービ/スチル・カメラの処理手順を示すフローチャートである。 ディジタル・ムービ/スチル・カメラの処理手順を示すフローチャートである。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 手振れおよび移動物体のずれを示している。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 被写体像の一例である。 変形対象領域内の画像を示している。 変形対象領域内の画像を示している。 変形対象領域内の画像を示している。 変形対象領域内の画像を示している。 中間画像を示している。

図１は，この発明の実施例を示すもので，ディジタル・ムービ/スチル・カメラを正面から見た斜視図である。

ディジタル・ムービ/スチル・カメラ１の上面には，シャッタ・レリーズ・ボタン２が形成されている。また，ディジタル・ムービ/スチル・カメラ１の右側面にはＵＳＢ（ユニバーサル・シリアル・バス）ケーブルを接続するための端子３が形成されている。

ディジタル・ムービ/スチル・カメラ１の前面には，ズーム・レンズ７が形成されている。このズーム・レンズ７の左上にはストロボ５が形成されている。ズーム・レンズ７の右上には光学的ビュー・ファインダ６が形成されている。

図２は，ディジタル・ムービ/スチル・カメラ１を背面から見た斜視図である。

ディジタル・ムービ/スチル・カメラ１の背面の左下部分には液晶表示画面10が形成されている。この液晶表示画面10の左上には，光学的ビュー・ファインダ６が形成されている。光学的ビュー・ファインダ６の右側には電源スイッチ12が形成されている。電源スイッチ12の右側にはモード・スイッチ13が形成されている。モード・スイッチ13により撮像モード（ムービ撮像モード，スチル撮像モード）および再生モードが設定される。モード・スイッチ13の下には，円形の上下左右部分に矢印が形成されているボタン14が設けられている。このボタン14を用いてその他のモード設定ができる。

図３は，ディジタル・ムービ/スチル・カメラ１の電気的構成を示すブロック図である。

ディジタル・ムービ/スチル・カメラ１の全体の動作は，ＣＰＵ22によって統括される。

ディジタル・ムービ/スチル・カメラ１には，後述する動作プログラム，その他のデータが格納されているメモリ43が含まれている。動作プログラムは，メモリ・カード48等に書き込まれて，そのようなメモリ・カード48から読み出されてディジタル・ムービ/スチル・カメラ１にインストールされてもよいし，プレ・インストールされていてもよい。

ディジタル・ムービ/スチル・カメラ１には，上述したようにシャッタ・レリーズ・ボタン２およびモード・スイッチ13が含まれている。シャッタ・レリーズ・ボタン２の押し下げを示す信号は，ＣＰＵ22に入力する。モード・スイッチ13は，ムービ撮像モード，スチル撮像モードまたは再生モードを選択するもので，スイッチＳ１，Ｓ２またはＳ３を選択的にオンすることができる。スイッチＳ１がオンされることによりムービ撮像モードが設定され，スイッチＳ２がオンされることによりスチル撮像モードが設定され，スイッチＳ３がオンされることにより再生モードが設定される。

ディジタル・ムービ/スチル・カメラ１は，ストロボ撮影が可能である。このために上述のようにストロボ５が設けられている。このストロボ５の発光のオン，オフはストロボ制御回路16によって制御される。

ＣＣＤなどの固体電子撮像素子27の前方には，絞り25およびズーム・レンズ７が設けられている。絞り25は，モータ・ドライバ30によって制御されるモータ33によって絞り値が決定される。ズーム・レンズ７は，モータ・ドライバ31によって制御されるモータ34によってズーム位置が決定される。

モード・スイッチ13によってムービまたはスチル撮像モードが設定されると，絞り25を通過した被写体像を表す光線束は，ズーム・レンズ７によって撮像素子27の受光面上に結像する。タイミング・ジェネレータ32によって，撮像素子27が制御され，一定周期（例えば，１／30秒周期）で被写体が撮像される。被写体像を表す映像信号は，一定周期で撮像素子27から出力し，ＣＤＳ（相関二重サンプリング）回路28に入力する。ＣＤＳ回路28において相関二重サンプリングされた映像信号がアナログ／ディジタル変換回路29においてディジタル画像データに変換される。

ディジタル画像データは，画像入力コントローラ35によって画像信号処理回路36に入力し，ガンマ補正などの所定の信号処理が行われる。ディジタル画像データは，ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）44に書き込まれた後に，読み出されて画像表示装置47に与えられることにより，画像表示装置47の表示画面に動画として表示される。

この実施例によるディジタル・ムービ/スチル・カメラ１においては第１の画像と第２の画像とからそれらの中間画像（補間画像）を生成することができる。中間画像の生成において，第１の画像に含まれている被写体像の輪郭等の特徴点が決定され，その特徴点に対応する対応点が第２の画像において決定される。対応点が特徴点に一致するように，第２の画像の位置合わせが行われる。これにより，第１の画像の撮影と第２の画像の撮影との間の手振れが補正される。

また，第１の画像の撮影から第２の画像の撮影までの間に移動している物体が存在する場合には，その物体の被写体像の動きが解析され，第１の画像における移動被写体像と第２の画像における移動被写体像との中間に中間画像における移動被写体像の位置が決定される。

このような中間画像を生成するためにディジタル・ムービ／スチル・カメラ１には特徴点／対応点検出回路38，動き解析回路39および画像変形／合成回路45が設けられている。

撮像によって得られたディジタル画像データは，ＡＦ（自動合焦）検出回路41に入力する。ＡＦ検出回路41において，合焦するようにズーム・レンズ７のズーム位置が制御される。また，撮像によって得られたディジタル画像データは，ＡＥ（自動露光）／ＡＷＢ（自動白バランス）検出回路42にも入力する。ＡＥ／ＡＷＢ検出回路42において，検出された明るさが適正な明るさとなるように絞り25の絞りが決定される。さらに，ＡＥ／ＡＷＢ検出回路42において白バランス調整も行われる。

スチル撮像モードにおいてシャッタ・レリーズ・ボタン２が押されると，その押されたタイミングの撮像によって得られた一駒の画像データは圧縮処理回路37に入力する。圧縮処理回路37において所定の圧縮処理が行われた画像データはビデオ・エンコーダ40に入力してエンコーディングされる。エンコーディングされた画像データがメモリ・コントローラ46の制御のもとにメモリ・カード48に記録される。ムービ撮像モードにおいてはシャッタ・レリーズ・ボタン２が押されている間に撮像によって得られた画像データが動画データとしてメモリ・カード48に記録される。

モード・スイッチ13によって再生モードが設定されると，メモリ・カード48に記録されている画像データが読み取られる。読み取られた画像データによって表される画像が画像表示装置47の表示画面に表示される。

図４は，中間画像の生成の仕方を示している。

上述のように，この実施例においては第１の画像70と第２の画像80とから，それらの第１の画像70と第２の画像80との中間の画像90が生成される。第１の画像70と第２の画像80とは動画の中の連続した２駒の画像のように撮影間隔が一定時間空いている画像であるが，必ずしも連続した２駒の画像でなくともよい。

とくに，この実施例においては，第１の画像73の中に自動車などのように移動する被写体像73が含まれており，第２の画像80の中にも同一の移動する被写体像83が含まれている場合に，中間画像90が生成された場合に，その中間画像90中に存在するであろう位置に移動する被写体像93が位置決めされる。第１の画像70，中間画像90および第２の画像80を連続した見た場合に移動する被写体像が違和感なく動くように見える。詳しくは後述のように移動被写体像73において特徴点78が決定され，移動被写体像83において対応点88が決定される。決定された特徴点78と対応点88とから中間画像90の移動被写体像93を規定する対応点98が決定される。決定された対応点98で規定される位置に移動被写体像93が位置決めされる。

さらに，この実施例においては，移動する被写体像の背景または前景などの画像部分は手振れなどによる位置ずれが補正されるように，第２の画像80の移動被写体像83を除く画像部分は第１の画像70の移動被写体像73を除く画像部分と一致するようにぶれ補正が行われる。第１の画像70と第２の画像80とでは，被写体が動いていない画像部分では一致するので，画像ぶれを防止できる。中間画像90においても移動する被写体像93を除く画像部分については第１の画像70または第２の画像80の移動していない画像部分と一致するような画像部分が生成されるのはいうまでもない。

図５および図６は，ディジタル・ムービ/スチル・カメラ１の処理手順を示すフローチャートである。

第１の画像と第２の画像とがメモリ・カード48から得られる（図５ステップ51）。

図７は第１の画像の一例であり，図８は第２の画像の一例である。

図７を参照して，第１の画像70には，手前に自動車の画像73が表示されており，奥に樹木の画像71および72が表示されている。

図８を参照して，第２の画像80は第１の画像70の後に撮影されている。第１の画像70と第２の画像80とは同時に撮影されていないから，第１の画像70と第２の画像80との間に手振れによるずれが生じてしまい，第２の画像80は第１の画像70に比べて斜めになっている。第２の画像80にも手前に自動車の画像83が表示されており，奥に樹木の画像81および83が表示されている。

第１の画像70の樹木の画像71および72と第２の画像80の樹木の画像81と82とはそれぞれ同じ樹木の画像であり，第１の画像70の自動車の画像73と第２の画像80の自動車の画像83とは同じ自動車の画像である。

第１の画像70および第２の画像80が得られると，基準画像および対応画像が決定される（図５ステップ52）。この実施例では，第１の画像70を基準画像，第２の画像80を対応画像とするが，その逆でもよい。

基準画像および対応画像が決定されると，次に述べるように基準画像の特徴点が決定される（図５ステップ53）。また，対応画像の対応点も決定される（図５ステップ54）。

図９は，基準画像（第１の画像）70を示している。

上述したように，基準画像70には，樹木の画像71および72ならびに自動車の画像73が含まれている。特徴点は，基準画像70に含まれている被写体像の輪郭，被写体像の特徴的な形状のある一点を規定するものである。樹木の画像71および72ならびに自動車の画像73のそれぞれについて複数の特徴点74が決定される。

図10は，対応画像（第２の画像）80を示している。

対応点は，基準画像70において決定された特徴点に対応する画素の点を示すものである。対応画像80に含まれている樹木の画像81および82ならびに自動車の画像83のそれぞれについて，特徴点74に対応する対応点84が決定される。

つづいて，基準画像70と対応画像80との間の画像全体のぶれが算出される（図５ステップ55）。画像ぶれの算出（ぶれ量およびぶれ方向の算出）について詳しくは後述する。算出された画像のぶれに応じて対応画像80が補正される。基準画像70と対応画像80と重畳するときに，ぶれ補正を行ってもよい。

図11は，ぶれが補正された対応画像80Ａの一例である。ぶれ補正により，基準画像70との間のずれが補正されている。

図12は，オプティカル・フロー・グラフを示している。

このオプティカル・フロー・グラフは，特徴点に対応する対応点の，特徴点からのずれ量およびずれ方向を，特徴点（対応点）ごとにマークで示すものである。オプティカル・フロー・グラフにおいて，３つのマークの集合部分が示されている。第１の集合部分Ｇ１はマークの数が一番多く，第２の集合部分Ｇ２はマークの数が次に多く，第３の集合部分Ｇ３はマークの数が非常に少ないものとする。この実施例では，マークの数が一番多い第１の集合部分Ｇ１で表されるものが基準画像70と対応画像80との画像全体のずれと判断される。また，マークの数が所定以上ある第２の集合部分Ｇ２で表されるものが基準画像70の撮影と対応画像80の撮影との間に移動があった移動物体の被写体像の移動量および移動方向を示すものと判断される。マークの数が所定未満である第３の集合部分Ｇ３で表されるものはごみとして扱われ，移動被写体像では無いと判断される。

画像全体のぶれが存在する場合には（図５ステップ56でＹＥＳ），つづいて，基準画像70の撮影から対応画像80の撮影までの間に移動した物体を表す被写体像（移動被写体像）が対応画像80に存在するかどうかが判定される（図６ステップ57）。この実施例においては，基準画像70には自動車の画像73が含まれており，対応画像80にも自動車の画像83が含まれており，基準画像70の撮影から対応画像80の撮影までの間に自動車は移動しているから移動被写体像が存在すると判定される（図６ステップ57）。

つづいて，移動被写体像の対応点が多数（所定数以上）存在するかどうかが確認される（図６ステップ58）。対応点が多数存在しない場合には，その対応点で表される被写体像部分はごみの影響で移動被写体像と判断されたものと考えられるので取り除かれる。

図13は，基準画像70において，上述のようにして判定された移動被写体像（自動車の画像）73を囲む移動部分領域76を示している。また，図14は，対応画像80において，移動被写体像83を囲む移動部分領域86を示していている。

自動車は移動しているから，図13に示す移動部分領域76の位置と図14に示す移動部分領域86の位置とは，その移動量および方向に応じてずれている。この実施例では，これらの移動部分領域76および86の両方を囲む変形対象領域が設定される（図６ステップ59）。

図15は，基準画像70に設定された変形対象領域77を示している。また，この図においては，変形対象領域77が基準画像70における移動部分領域76および対応画像80における移動部分領域86を囲むものであることをわかりやすくするために，基準画像70における移動部分領域76のほかに対応画像80における移動部分領域86も図示されている。

図16は，対応画像に設定された変形対象領域87を示している。この図においても，変形対象領域87が基準画像70における移動部分領域76および対応画像80における移動部分領域86を囲むものであることをわかりやすくするために，対応画像80における移動部分領域86のほかに基準画像70における移動部分領域76も図示されている。

つづいて，基準画像70の変形対象領域77内の画像の特徴点が新たに決定される（図６ステップ60）。また，基準画像70の変形対象領域77内の画像の特徴点に対応する，対応画像80の変形対象領域87内の画像の対応点が新たに決定される（図６ステップ61）。

図17は，基準画像70の変形対象領域77内の画像79を示している。

変形対象領域77内の画像79には，自動車の画像73が含まれている。この自動車の画像について，複数の特徴点78が決定される。この特徴点78の間隔は，図９に示したように基準画像70の全体に対して決定される特徴点の間隔よりも狭いことが好ましい。後述するように，画像変形する場合に，より詳細な画像変形が実現できるからである。

図18は，対応画像80の変形対象領域87内の画像89を示している。

変形対象領域87内の画像89について，変形対象領域77内の画像79について決定された特徴点78に対応する対応点88が決定される。

つづいて，基準画像70内の特徴点78と変形対象領域77の各頂点とを利用して図19に示すように三角形分割（ポリゴン化）が行われる（図６ステップ62）。

さらに，図17に示す基準画像70における変形対象領域77内の特徴点78と図18に示す対応画像80における変形対象領域87内の対応点88との対応する点同士の中間の位置に存在する中間点が決定される（図６ステップ63）。

すると，三角形分割が行われた変形対象領域77内の画像79について，特徴点78と決定された中間点とが一致するように，分割された三角形ごとに移動被写体像の移動量に応じて画像変形処理（三角形の変形処理）が行われる（図６ステップ64）。

図20は，画像変形処理により得られた中間画像を構成する自動車の画像（中間移動被写体像）93を示している。上述したように，三角形分割が行われた変形対象領域77内の画像79について，特徴点78と決定された中間点98とが一致するように，分割された三角形ごとに移動被写体像の移動量に応じて画像変形処理が行われることにより，変形対象領域77に対応する領域97内に中間画像を構成する自動車の画像93が得られる。

領域97内については図20に示すようにして生成された画像99が用いられ，領域97外については基準画像70が用いられることにより，図21に示すように自動車については基準画像70と対応画像80との間に位置決めされ，自動車の背景などにおいては基準画像70と同じとなる中間画像90が得られる（図６ステップ65）。基準画像，中間画像および対応画像を順に見た場合に，移動している自動車については滑らかな動きとなり，移動していない背景などにおいてはぶれが改善されるようになる。

移動被写体像が存在しない場合（図６ステップ57でＮＯ）または移動被写体像が存在すると判断されても，その移動被写体像の対応点が多数存在しない場合（ごみの影響により移動被写体像と判断された場合）（図６ステップ58でＮＯ）には，上述した画像変形処理が行われることなく基準画像70から中間画像が生成される（図６ステップ65）。もっとも全体のぶれ補正が行われた対応画像から中間画像を生成するようにしてもよい。

上述の実施例においては，基準画像70の変形対象領域77内の画像79を変形させて中間画像90の移動被写体像93を生成しているが，対応画像80の変形対象領域87内の画像89を変形させて中間画像90の移動被写体像93を生成するようにしてもよい。

上述した実施例においては，２駒の画像からそれらの２駒の画像の中間画像を生成しているが，同様の処理を動画の多数の駒について行うことにより，動きの滑らかな動画を表すデータを生成することができる。

次に，上述した基準画像と対応画像との画像全体のぶれを算出する方法（図５ステップ55の処理）について述べる。

上述のように特徴点から対応点にぶれた場合，そのぶれは，アフィン変換，射影変換を利用して算出することができる。

式１は，アフィン変換の関係式を示し，式２は射影変換の関係式を示している。式１，式２において，対応点の位置が（Ｘ，Ｙ）で示され，特徴点の位置が（ｘ，ｙ）で示されている。

最小二乗法を用いてぶれを算出すると次のようになる。

最小二乗法によるＧＭ推定は，式３となる。但し，行列Ｔは特徴点を表し，式４で示される。また，行列Ａは，アフィン・パラメータ・ベクトルであり，式５で示される。行列Ｆは，対応点を表し，式６で示される。さらに，行列Ｆの転置行列は式７となる。

アフィン・パラメータ・ベクトルを求めると，式８となり，式９，式10のように定義することができる。

また，式９の逆行列は式11によって表される。但し，式12の関係がある。

コーシーシュワルツの不等式から式13が成立し，式14の関係が成立する。

式15からアフィン・パラメータが算出されるので，特徴点から対応点へのぶれが算出される。

次に上述した変形対象領域内の画像変形処理（図６ステップ64の処理）について述べる。

上述したようにして生成された三角形の各頂点が（ｘ０，ｙ０），（ｘ１，ｙ１）および（ｘ２，ｙ２）から（Ｘ０，Ｙ０），（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）に移動するものとすると（すなわち，上述した変形対象領域内の対応点から特徴点に移動），式16が成立する。

各係数ａ，ｂ，ｃ，ｄ，ｓ，ｔは，上記変換の逆行列から求められるので，式17，式18となり，式19が得られる。但し，式20の関係がある。

（ｘ０，ｙ０）が常に原点になるようにすると，式21が成立する。

（ｘ０，ｙ０）はシフト量のみであるため，（ｓ，ｔ）に移動する。したがって，式19の逆行列は式22となる。但し，式23の関係がある。

各係数ａ，ｂ，ｃ，ｄ，ｓ，ｔは，式24から式29となる。

このようにして，上述した変形対象領域内の対応点から特徴点に移動させる（画像変形させる）ことができるようになる。

１ ディジタル・ムービ/スチル・カメラ
22 ＣＰＵ
38 特徴点／対応点検出回路
39 動き解析回路
45 画像変形／合成回路

Claims (6)

1. 連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体の形状の特徴を示す複数の特徴点を決定する第１の特徴点決定手段，
   上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定する第１の対応点決定手段，
   上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出する移動被写体像検出手段，
   上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定する変形対象領域設定手段，
   上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定する第２の特徴点決定手段，
   上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定する第２の対応点決定手段，
   上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点との中間の位置に存在する中間点に位置決めされるように上記第１の画像または上記第２の画像の変形対象領域内の画像を変形して中間移動被写体像を生成する中間移動被写体像生成手段，ならびに
   上記中間移動被写体像生成手段によって生成された中間移動被写体像を用いて，上記第１の画像と上記第２の画像との中間の画像を生成する中間画像生成手段，
   を備えた中間画像生成装置。
2. 上記変形対象領域外の領域外画像部分については上記第１の特徴点決定手段によって決定された特徴点に上記第１の対応点決定手段によって決定された対応点が一致するように，上記第２の画像を変形する領域外画像部分変形手段をさらに備え，
   上記中間画像生成手段は，上記変形対象領域内については上記中間移動被写体像生成手段によって生成された中間移動被写体像を用い，上記変形対象領域外については上記第１の画像または上記領域外画像部分変形手段によって生成された領域外画像部分を用いて，上記第１の画像と上記第２の画像との中間の画像を生成するものである，
   請求項１に記載の中間画像生成装置。
3. 上記移動被写体像検出手段は，
   上記第１の特徴点決定手段によって決定された複数の特徴点と上記第１の対応点決定手段によって決定された対応点との全体の動きと異なる動きにもとづいて移動被写体像を検出するものである，
   請求項１または２に記載の中間画像生成装置。
4. 上記移動被写体像検出手段は，
   上記第１の特徴点決定手段によって決定された複数の特徴点と上記第１の対応点決定手段によって決定された対応点との全体の動きと異なる動きであって，異なる動きとなる対応点が一定以上存在する場合にその異なる動きにもとづいて移動被写体像を検出するものである，
   請求項３に記載の中間画像生成装置。
5. 第１の特徴点決定手段が，連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体の形状の特徴を示す複数の特徴点を決定し，
   第１の対応点決定手段が，上記第１の特徴点決定手段によって決定された特徴点に対応する対応点を上記第２の画像の中から決定し，
   上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出し，
   変形対象領域設定手段が，上記第１の特徴点検出手段によって決定された特徴点のうち，上記移動被写体像検出手段によって検出された移動被写体像上に存在する特徴点の位置と上記第１の対応点検出手段によって決定された対応点のうち上記移動被写体像検出手段によって検出された移動被写体像上に存在する対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定し，
   第２の特徴点決定手段が，上記変形対象領域設定手段によって設定された上記第１の画像の変形対象領域内の画像の複数の特徴点を決定し，
   第２の対応点決定手段が，上記変形対象領域設定手段によって設定された上記第２の画像の変形対象領域内の画像において，上記第２の特徴点決定手段によって決定された特徴点に対応する対応点を決定し，
   中間移動被写体像生成手段が，上記第２の特徴点決定手段によって決定された特徴点と上記第２の対応点決定手段によって決定された対応点との中間の位置に存在する中間点に位置決めされるように上記第１の画像または上記第２の画像の変形対象領域内の画像を変形して中間移動被写体像を生成し，
   中間画像生成手段が，上記中間移動被写体像生成手段によって生成された中間移動被写体像を用いて，上記第１の画像と上記第２の画像との中間の画像を生成する，
   中間画像生成装置の動作制御方法。
6. 中間画像生成装置のコンピュータを制御するプログラムであって，
   連続撮影によって得られた第１の画像と第２の画像とにおいて，第１の画像の中から被写体の形状の特徴を示す複数の第１の特徴点を決定させ，
   決定された第１の特徴点に対応する第１の対応点を上記第２の画像の中から決定させ，
   上記第１の画像と上記第２の画像とに含まれる被写体像であって，上記第１の画像の撮影から上記第２の画像の撮影までの間に移動している物体を表している移動被写体像を，上記第１の画像および上記第２の画像のそれぞれにおいて検出させ，
   決定された第１の特徴点のうち検出された移動被写体像上に存在する第１の特徴点の位置と決定された第１の対応点のうち検出された移動被写体像上に存在する第１の対応点の位置との両方を囲む変形対象領域を上記第１の画像および上記第２の画像のそれぞれに設定させ，
   設定された上記第１の画像の変形対象領域内の画像の複数の第２の特徴点を決定させ，
   設定された上記第２の画像の変形対象領域内の画像において，決定された第２の特徴点に対応する対応点を決定させ，
   第２の特徴点と決定された第２の対応点との中間の位置に存在する中間点に位置決めされるように上記第１の画像または上記第２の画像の変形対象領域内の画像を変形して中間移動被写体像を生成させ，
   生成された中間移動被写体像を用いて，上記第１の画像と上記第２の画像との中間の画像を生成させるように中間画像生成装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。

Images