JP4151422B2 - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、多数のフレーム情報からなる映像情報から画像データを生成する画像生成装置、画像生成方法および画像生成プログラムに関する。
【０００２】
【従来の技術】
従来、デジタルビデオ等で撮影した映像を表す映像情報から静止画像を表す画像データを生成し、この画像データに基づいて静止画像を印刷することが行われている。映像情報は画像を多数の画素別の階調データで表現した多数のフレーム情報から構成されており、同映像情報から所定数のフレーム情報を取得して合成することにより静止画像を多数の画素で階調表現する画像データが生成される。デジタルビデオ等で撮影した映像には手ぶれが生じていることがあるため、複数のフレーム情報で表現される画像間の横方向と縦方向のずれを画素単位で検出し、基準とする画像に対して重ね合わせる画像を横方向にＮｘ画素、縦方向にＮｙ画素（Ｎｘ，Ｎｙは正の整数）並進（平行移動）させ、縦方向と横方向のずれを少なくさせている。
また、特許文献１には、標準解像度の画像から高解像度の画像への解像度変換の際に、高解像度の画像用のメモリを用意しておき、画像の動きを検出し、画像の動きに応じて平行移動させた複数の標準解像度の画像の画素で高解像度の画像の各画素を埋めていくことが開示されている。その際、同特許文献１の段落００８９にあるように、シーンチェンジがあったと判定されるか、あるいは、歪み画像（標準解像度の画像）の入力が終了したと判定されるまで、画像の各画素を埋めていく処理を繰り返している。
【０００３】
【特許文献１】
特開平１１−１６４２６４号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の技術では、以下のような課題があった。
前者の技術では、合成するフレーム情報数が固定されているため、求められる画質に対して必要以上に画像データを生成する処理時間がかかることがあった。
後者の技術では、シーンチェンジがあるかフレーム情報の入力が終了するまでフレーム情報が合成されることになるため、やはり、求められる画質に対して必要以上に画像データを生成する処理時間がかかることになる。
【０００５】
本発明は、上記課題にかんがみてなされたもので、静止画像を表現する画像データを生成する処理を効率よく行って静止画像を効率よく得ることが可能な画像生成装置、画像生成方法および画像生成プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段および発明の効果】
上記目的を達成するため、請求項１にかかる発明では、フレーム取得手段が、まず、画像出力装置の出力画像の画質を設定可能とする画質設定情報に基づいて、多数のフレーム情報を有する映像情報から取得するフレーム情報の数を決定する。なお、各フレーム情報は、画像を多数の画素別の階調データで表現した情報とされている。そして、決定した数のフレーム情報を映像情報から取得する。すると、合成手段は、フレーム取得手段にて取得された数のフレーム情報を合成して画像データを生成する。
【０００７】
すなわち、出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することが可能となるので、静止画像を表現する画像データを生成する処理を効率よく行って静止画像を効率よく得ることが可能となる。例えば、高画質の出力画像を得たい場合には比較的多くの数のフレーム情報を合成すればよいし、出力画像を素早く得たい場合には比較的少ない数のフレーム情報を合成すればよい。このような場合、最短の処理時間で目標とする画質の静止画像を得ることが可能となる。
【０００８】
上記画像出力装置は、画像データを入力して印刷を行うプリンタ、表示により出力するディスプレイ、等、様々な装置が考えられる。
上記画質設定情報の形式は、例えば、数値情報、文字情報、等、様々な形式が考えられる。
【０００９】
ここで、上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間のずれを表すずれ情報を取得するずれ量取得手段と、取得された上記ずれ情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを移動させて画像間のずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換手段とが設けられ、上記合成手段は、上記変換処理が行われた複数のフレーム情報を合成して上記画像データを生成する構成としてもよい。
【００１０】
すなわち、画像を階調表現する画像データは、複数のフレーム情報で表現される複数の画像間のずれが少なくされて同複数のフレーム情報から合成されて生成されているので、手ぶれが補正されている。従って、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。
【００１１】
上記フレーム情報や画像データは、例えば、ビットマップデータ、圧縮されたデータ、等、様々なデータ形式の情報が考えられる。また、同フレーム情報や画像データは、例えば、輝度データ（Ｙ）と色差データ（Ｃｂ，Ｃｒ）とから構成されるＹＣｂＣｒデータ、レッドデータ（Ｒ）とグリーンデータ（Ｇ）とブルーデータ（Ｂ）とから構成されるＲＧＢデータ、シアンデータ（Ｃ）とマゼンタデータ（Ｍ）とイエローデータ（Ｙｅ）とグリーンデータ（Ｇ）とから構成されるＣＭＹｅＧデータ、ＣＩＥ規格とされたＬａｂ空間内のＬａｂデータ、等、様々な種類のデータが考えられる。
【００１２】
上記ずれ量取得手段は、上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量情報を取得し、上記変換手段は、上記取得された回転量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行ってもよい。
【００１３】
また、上記ずれ量取得手段は、上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の並進ずれを表す並進量情報を取得し、上記変換手段は、上記取得された並進量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを並進させて画像間の並進ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う構成としてもよい。
【００１４】
すなわち、フレーム情報間の回転ずれや並進ずれ（縦横のずれ）が少なくされるようにフレーム情報が合成されて静止画像が生成される。また、画像を回転させる所定の中心位置の並進ずれを少なくさせることにより、より確実に手ぶれの傾き成分が補正される。従って、さらに高画質の静止画像を得ることが可能となる。
上記回転量情報や並進量情報は、例えば、数値情報、文字情報、等、様々な情報が考えられる。
【００１５】
上記変換処理の具体例として、上記変換手段は、上記回転量情報と並進量情報に基づいて、上記両画像のずれを少なくするように上記複数のフレーム情報の少なくとも一つの各画素の位置を変換する変換処理を行ってもよい。その際、変換手段は、複数のフレーム情報の少なくとも一つの各画素の位置を当該画素よりも細かい単位で変換してもよい。フレーム情報の各画素の位置変換（座標変換）を高精度にて行うことができるので、さらに高画質の静止画像を得ることが可能となる。
【００１６】
上記フレーム取得手段は、上記画質設定情報がより高画質を表す情報であるほど上記取得するフレーム情報の数を増やす構成としてもよい。画質設定情報がより高画質を意味する情報になるほど合成するフレーム情報の数は多くなり、より高画質の静止画像を得ることが可能となる。一方、画質設定情報がより低画質を意味する情報になるほど合成するフレーム情報の数は少なくなるので、より高速にて画像データを生成する処理が行われる。従って、効率よく静止画像を表現する画像データを生成する処理を行って静止画像を得ることが可能となる。
【００１７】
ここで、上記フレーム取得手段は、上記フレーム情報における画素の総数と上記画質設定情報とに基づいて上記取得するフレーム情報の数を決定し、決定した数の上記フレーム情報を上記映像情報から取得する構成としてもよい。画素数に基づいて合成するフレーム情報の数を決定するという簡易な構成で、効率よく画像データを生成する処理を行うことができる。
【００１８】
その具体例として、請求項５にかかる発明では、合成するフレーム情報の画素の数が多いほど静止画像をより高画質にさせるので、より確実に出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、より確実に画像データを生成する処理を効率よく行うことが可能となる。
【００１９】
また、上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上記画像データにおける各画素について同取得した複数のフレーム情報の画素のうち最も近い画素までの距離を算出し、算出した距離をまとめた値と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了する構成としてもよい。フレーム情報の画素が生成後の画像データの画素に近いほど静止画像をより高画質にさせるので、確実に出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、画像データを生成する処理を効率よく行うことが可能となる。
【００２０】
算出した距離をまとめた値は、例えば、相加平均、相乗平均、調和平均（算出した距離の逆数の相加平均の逆数）、算出した各距離に異なる重みを付けた平均、総和、等、様々考えられる。以下、複数の数をまとめる場合も同様のことが言える。その具体例として、請求項７にかかる発明では、簡易な構成で確実に画像データを生成する処理を効率よく行うことが可能となる。
【００２１】
さらに、上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上記画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数を求め、求めた数をまとめた値と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了する構成としてもよい。
【００２２】
フレーム情報の画素が生成後の画像データの画素に近いほど静止画像をより高画質にさせるので、確実に出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、画像データを生成する処理を効率よく行うことが可能となる。その具体例として、請求項９にかかる発明では、簡易な構成で確実に画像データを生成する処理を効率よく行うことが可能となる。
【００２３】
さらに、上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上記画像データにおける画素のうち所定の範囲内となる上記フレーム情報の画素の数が所定数以下となる画素の数を求め、求めた数と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了する構成としてもよい。
【００２４】
フレーム情報の画素が生成後の画像データの画素に近いほど静止画像をより高画質にさせるので、より確実に出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、画像データを生成する処理を効率よく行うことが可能となる。その具体例として、請求項１１にかかる発明では、簡易な構成で確実に画像データを生成する処理を効率よく行うことが可能となる。
【００２５】
ところで、上記フレーム取得手段は、上記出力画像の画質に影響を与える情報の入力を受け付け、入力された情報に基づいて上記画質設定情報を取得し、取得した画質設定情報に基づいて上記映像情報から取得するフレーム情報の数を決定する構成としてもよい。画質に影響を与える情報の入力を行うことにより合成するフレーム情報の数が自動的に決定されて画質を設定することができるので、利便性が向上し、より思い通りの静止画像を得ることが可能となる。
出力画像の画質に影響を与える情報は、例えば、画質と処理速度とを感覚的に設定するスライド可能な調節つまみの位置に対応した設定値、解像度、画素数、等、様々な情報が考えられる。
【００２６】
上記合成手段は、上記画像データを生成する注目画素を順次移動させながら、上記複数のフレーム情報の全画素のうち同注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行い、補間処理後の階調データから上記画像データを生成する構成としてもよい。各画素の画像データが周辺に存在する画素の階調データにより補間されて生成されるので、より高画質の静止画像を得ることが可能となる。
【００２７】
上述した画像生成装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。
また、所定の手順に従って上述した手段に対応した処理を行う方法にも発明は存在する。従って、本発明は画像生成装置の制御方法としても適用可能であり、請求項１３にかかる発明においても、基本的には同様の作用となる。
さらに、生成した画像データに基づいて印刷を行う印刷装置に対して印刷制御を行う印刷制御装置としても適用可能であるし、同印刷制御装置と印刷装置を備える印刷システムとしても適用可能であり、基本的には同様の作用となる。
【００２８】
本発明を実施しようとする際に、上記装置にて所定のプログラムを実行させる場合もある。そこで、画像生成装置の制御プログラムとしても適用可能であり、請求項１４にかかる発明においても、基本的には同様の作用となる。さらに、同プログラムを記録した媒体が流通し、同記録媒体からプログラムを適宜コンピュータに読み込むことが考えられる。すなわち、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能であり、基本的には同様の作用となる。
むろん、請求項２〜請求項１２に記載した構成を上記方法、印刷制御装置、印刷システム、プログラム、プログラムを記録した媒体に対応させることも可能である。
ここで、上記記録媒体は、磁気記録媒体や光磁気記録媒体の他、今後開発されるいかなる記録媒体であってもよい。一次複製品、二次複製品などの複製段階も問わない。一部がハードウェアで実現される場合や、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む場合も本発明の思想に含まれる。
【００２９】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）印刷システムの構成：
（２）画像生成装置の構成の概略：
（３）画質設定情報の例：
（４）カメラモーションの推定：
（５）画像生成装置が行う処理：
（５−１）合成範囲の切り出し：
（５−２）並進量と回転量の検出：
（５−３）フレーム画像のずれ補正：
（５−４）フレーム画像の合成：
（６）第二の実施形態：
（７）第三の実施形態：
（８）第四の実施形態：
（９）まとめ：
【００３０】
（１）印刷システムの構成：
図１は、本発明の一実施形態である印刷システム１００の概略構成を示している。本システム１００は、パーソナルコンピュータ（ＰＣ）１０、印刷装置（画像出力装置）であるカラー印刷可能なインクジェットプリンタ２０等から構成されている。なお、ＰＣ１０は、映像情報の複数のフレーム情報から静止画像（画像出力装置の出力画像）を表現する画像データを生成する意味で本発明にいう画像生成装置となる。また、画像データを生成して対応する静止画像をプリンタ２０に印刷させる意味で印刷制御装置となる。
ＰＣ１０は演算処理の中枢をなすＣＰＵ１１を備えており、このＣＰＵ１１はシステムバス１０ａを介してＰＣ１０全体の制御を行う。同バス１０ａには、ＲＯＭ１２、ＲＡＭ１３、ＤＶＤ−ＲＯＭドライブ１５、１３９４用Ｉ／Ｏ１７ａ、各種インターフェイス（Ｉ／Ｆ）１７ｂ〜ｅ等が接続されている。また、ハードディスクドライブを介してハードディスク（ＨＤ）１４も接続されている。本実施形態のコンピュータにはデスクトップ型ＰＣを採用しているが、コンピュータとしては一般的な構成を有するものを採用可能である。
【００３１】
ＨＤ１４には、オペレーティングシステム（ＯＳ）や画像情報等を作成可能なアプリケーションプログラム（ＡＰＬ）等が格納されている。実行時には、ＣＰＵ１１がこれらのソフトウェアを適宜ＲＡＭ１３に転送し、ＲＡＭ１３を一時的なワークエリアとして適宜アクセスしながらプログラムを実行する。
１３９４用Ｉ／Ｏ１７ａは、ＩＥＥＥ１３９４規格に準拠したＩ／Ｏであり、デジタルビデオカメラ３０等が接続されるようになっている。同ビデオカメラ３０は、映像情報を生成してＰＣ１０に出力可能である。ＣＲＴＩ／Ｆ１７ｂにはフレーム情報や画像データに基づく画像を表示するディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続されている。また、プリンタＩ／Ｆ１７ｅには、パラレルＩ／Ｆケーブルを介してプリンタ２０が接続されている。むろん、ＵＳＢケーブル等を介してプリンタ２０を接続する構成としてもよい。
【００３２】
プリンタ２０は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙｅ（イエロー）、Ｋ（ブラック）のインクを使用して、印刷用紙（印刷媒体）に対して画像データを構成する階調値に対応したインク量となるようにインクを吐出し、画像を印刷する。むろん、４色以外のインクを使用するプリンタを採用してもよい。また、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタや、レーザープリンタ等、種々の印刷装置を採用可能である。
図２に示すように、プリンタ２０では、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｏ２４、コントロールＩＣ２５、ＡＳＩＣ２６、Ｉ／Ｆ２７、等がバス２０ａを介して接続されている。通信Ｉ／Ｏ２４はＰＣ１０のプリンタＩ／Ｆ１７ｅと接続されており、プリンタ２０は通信Ｉ／Ｏ２４を介してＰＣ１０から送信されるＣＭＹｅＫに変換されたデータやページ記述言語等からなる印刷ジョブを受信する。ＡＳＩＣ２６は、ＣＰＵ２１と所定の信号を送受信しつつヘッド駆動部２６ａに対してＣＭＹｅＫデータに基づく印加電圧データを出力する。同ヘッド駆動部２６ａは、同印加電圧データに基づいて印刷ヘッドに内蔵されたピエゾ素子への印加電圧パターンを生成し、印刷ヘッドにＣＭＹｅＫのインクを吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドを主走査させたり、適宜改ページ動作を行いながらメディアを順次送り出して副走査を行ったりする。そして、ＣＰＵ２１が、ＲＡＭ２３をワークエリアとして利用しながらＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。
【００３３】
ＰＣ１０では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてＯＳとＡＰＬとが実行される。ＯＳには、プリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等の各種のドライバ類が組み込まれ、ハードウェアの制御を実行する。プリンタドライバは、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＡＰＬから画像データを受け取って印刷ジョブを作成し、プリンタ２０に送出する。本発明の画像生成プログラムは、ＡＰＬから構成されるが、プリンタドライバにより構成されてもよい。また、ＨＤ１４は同プログラムを記録した媒体であるが、同媒体は、例えば、ＤＶＤ−ＲＯＭ１５ａ、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク、不揮発性メモリ、パンチカード、バーコード等の符号が印刷された印刷媒体、等であってもよい。むろん、通信Ｉ／Ｆ１７ｄからインターネット網を介して所定のサーバに格納された上記の制御プログラムをダウンロードして実行させることも可能である。
そして、上記ハードウェアと上記プログラムとが協働して画像生成装置を構築する。
【００３４】
（２）画像生成装置の構成の概略：
図３は、上記画像生成装置の構成の概略を模式的に示している。ＰＣを画像生成装置Ｕ０として機能させる画像生成プログラムは、以下に述べる各種手段に対応した複数のモジュールから構成されている。
映像情報Ｄ１は、多数のフレーム情報Ｄ２を有している。各フレーム情報Ｄ２は、フレーム画像をドットマトリクス状の多数の画素で階調表現した情報とされている。これらのフレーム情報Ｄ２は、時系列に連続した情報である。図では、左側から右側に向かって時系列順、すなわち、右側ほど時系列順に後の情報として示している。フレーム取得手段Ｕ１は、まず、プリンタ２０の出力画像の画質を設定可能とする画質設定情報Ｄ１０を取得し、同画質設定情報Ｄ１０に基づいて映像情報Ｄ１から取得するフレーム情報の数ｎ（ｎは２以上の整数）を決定する。その際、図中のグラフに示したように、画質設定情報Ｄ１０がより高画質を表す情報であるほど取得するフレーム情報の数を増やすようにしている。言い換えると、画質設定情報Ｄ１０がより高速を表す情報であるほど取得するフレーム情報の数を減らすようにしている。ここで、「ｎ」と記載したのは分かりやすく説明するためであり、決定した数のフレーム情報を後で取得することができればよいため、必ずしも「ｎ」という数値情報を取得することを意味している訳ではない。
【００３５】
次に、決定した数ｎのフレーム情報を映像情報Ｄ１から取得する。本実施形態では、映像情報Ｄ１から時系列に連続した複数のフレーム情報Ｄ３を取得する。また、時系列順に最初のフレーム情報を参照フレーム情報Ｄ３１とし、その後に続くフレーム情報（図の例では三つ）を対象フレーム情報Ｄ３２としている。むろん、複数のフレーム情報のうちどれを参照フレーム情報にしてもよいし、参照フレーム情報は取得された複数のフレーム情報でなくてもよい。
【００３６】
図４は、フレーム情報Ｄ２の構成を模式的に示している。図に示すように、各フレーム情報Ｄ２は、ドットマトリクス状の多数の画素５１別の階調データＤ８でフレーム画像を表現している。本実施形態の階調データＤ８は、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータであるとして説明するが、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であってもよい。また、ＹＣｂＣｒ各成分は、２５６階調であるとして説明するが、１０２４階調、１００階調、等であってもよい。
【００３７】
ずれ量取得手段Ｕ２は、フレーム取得手段Ｕ１にて取得された数のフレーム情報Ｄ３に基づいて、複数のフレーム情報で表現される画像間の回転ずれを表す回転量や並進ずれを表す並進量を検出し（ずれ量検出手段に相当）、回転量情報Ｄ４や並進量情報Ｄ５を取得する。本実施形態では時系列順に一番最初の参照フレーム情報Ｄ３１から残りの対象フレーム情報Ｄ３２のそれぞれの回転量と並進量を検出するようにしているが、いずれを参照フレーム情報とするか等により様々な態様で回転量と並進量を検出することが可能である。
【００３８】
図５に示すように、フレーム情報の多数の画素をｘｙ平面上で表すことにし、上段のフレーム情報５２ａ，ｂは時系列の順とされ、下段のフレーム情報５２ｃ，ｄも時系列の順とされているものとする。図の上段に示すように、フレーム情報５２ａ上のオブジェクト５３ａが回転せずに平行移動するときのｘ軸方向の移動量ｕ（＝１画素）、ｙ軸方向の移動量ｖ（＝２画素）が並進量であり、本発明にいう並進量情報となる。また、図の下段に示すように、並進量（ｕ，ｖ）が（０，０）であるときにフレーム情報５２ｃ上のオブジェクト５３ｃがフレーム画像５２ｃの中心５２ｃ１を回転中心として回転移動するときの回転量（δ）が、回転量情報となる。
【００３９】
本実施形態のずれ量取得手段Ｕ２は、複数のフレーム情報Ｄ３の画素の位置とその画素の階調データとに基づいて、最小自乗法により複数のフレーム情報で表現される画像間の回転ずれと並進ずれを求める演算式を用いて回転ずれと並進ずれを求め、回転量情報Ｄ４と並進量情報Ｄ５を取得するようにしている。同回転ずれと並進ずれを求める手法を、「カメラモーション（Camera Motion）の推定」と呼ぶことにする。
【００４０】
変換手段Ｕ３は、両情報Ｄ４，Ｄ５に基づいて、複数のフレーム情報Ｄ３で表現される各画像の少なくとも一つを回転させたり並進させたりして画像間のずれを少なくするように、複数のフレーム情報Ｄ３の少なくとも一つを変換する変換処理を行う。本実施形態の変換手段Ｕ３は、画像間のずれをなくすように、複数のフレーム情報Ｄ３の少なくとも一つ、具体的には対象フレーム情報Ｄ３２を変換し、変換処理が行われた複数のフレーム情報Ｄ６を生成する。その際、複数のフレーム情報の少なくとも一つの各画素の位置を、当該画素よりも細かい単位で変換する。
【００４１】
ここで、第一のフレーム画像の次に第二のフレーム画像があるとき、第一のフレーム画像から第二のフレーム画像への並進量が（ｕ，ｖ）、回転量が（δ）であるとする。例えば、第二のフレーム画像について第一のフレーム画像とのずれをなくす場合、第二のフレーム画像を（−ｕ，−ｖ）並進させ、（−δ）回転させる。むろん、第一のフレーム画像を（ｕ／２，ｖ／２）並進させ、（δ／２）回転させるとともに、第二のフレーム画像を（−ｕ／２，−ｖ／２）並進させ、（−δ／２）回転させてもよい。
【００４２】
合成手段Ｕ４は、変換処理が行われた複数のフレーム情報Ｄ６を合成して画像データＤ７を生成する。合成するフレーム情報Ｄ６は、フレーム取得手段Ｕ１にて取得された数とされている。同画像データは、プリンタ２０の出力画像をドットマトリクス状の多数の画素で階調表現するデータである。本実施形態の画像データＤ７は、ＲＧＢ各２５６階調のＲＧＢデータであるとして説明するが、ＹＣｂＣｒデータ等であってもよいし、階調数も１０２４階調、１００階調、等であってもよい。本実施形態の画像データは、フレーム情報と画素数が異なり、フレーム情報よりも画素数が多くされ、高解像度化されているものとして説明する。なお、生成される画像データは、フレーム情報と同じ画素数とされてもよいし、フレーム情報よりも少ない画素数とされてもよい。
複数のフレーム情報を合成する際、画像データを生成する注目画素を順次移動させながら、複数のフレーム情報の全画素のうち注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行って注目画素の階調値を求め、静止画像を画素別の階調値で表現する画像データＤ７を生成する。
【００４３】
従来の技術では、合成するフレーム情報数が固定されているため、求められる画質に対して必要以上に画像データを生成する処理時間がかかることがあった。本画像生成装置Ｕ０で生成される画像データで表現される静止画像は、出力画像の画質を設定可能とする画質設定情報に基づいて自動的に決定された数のフレーム情報から合成されて生成されるので、出力画像の画質に合った適切な数のフレーム情報を合成することにより、静止画像を表現する画像データを生成する処理を効率よく行って静止画像を効率よく得ることが可能となる。特に、画質設定情報がより高画質を意味する情報になるほど合成するフレーム情報の数は多くなるのでより高画質の静止画像が得られるし、画質設定情報がより低画質を意味する情報になるほど合成するフレーム情報の数は少なくなるのでより速く静止画像を得ることができる。
【００４４】
（３）画質設定情報の例：
図６は、上記画質設定情報の例を示している。
例えば、生成する画像データにおける画素の総数に対するフレーム情報における画素の総数の比に乗じる係数である画質向上度Ｖを画質設定情報（その１）としてもよい。同比に画質向上度Ｖを乗じた値を求めると、当該値と略一致するようにフレーム情報を取得する数を決定すれば、静止画像を表現する画像データを生成する処理が効率よく行われる数のフレーム情報が取得され、合成される。なお、画質向上度Ｖは、後述するように画質モード入力欄への操作入力により設定される画質モード設定値と同じ値とされ、値が大きくなるほど取得されるフレーム情報の数が多くなり、高画質化される。
【００４５】
上記画像データにおける各画素について複数のフレーム情報の画素のうち最も近い画素までの距離の相加平均（距離をまとめた値）についての閾値TH1を画質設定情報（その２）としてもよい。同画像データにおける各画素について、取得した複数のフレーム情報の画素のうち最も近い画素までの距離を算出し、算出した距離の平均値が閾値TH1以下またはより小となるまでフレーム情報を取得すると、上記画像データを生成する処理が効率よく行われる数のフレーム情報が取得され、合成される。
上記画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数の相加平均（数をまとめた値）についての閾値TH2を画質設定情報（その３）としてもよい。同画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数を求め、求めた数の平均値が閾値TH2以上またはより大となるまでフレーム情報を取得すると、上記画像データを生成する処理が効率よく行われる数のフレーム情報が取得され、合成される。
【００４６】
上記画像データの画素の総数に対する同画像データにおける画素のうち所定の範囲内となるフレーム情報の画素が存在しない画素の数の比についての閾値TH3を画質設定情報（その４）としてもよい。同画像データにおける画素のうち所定の範囲内となるフレーム情報の画素が存在しない画素の数を求め、同画像データの画素の総数で除して比を求め、求めた比が閾値TH3以下またはより小となるまでフレーム情報を取得すると、上記画像データを生成する処理が効率よく行われる数のフレーム情報が取得され、合成される。
なお、より高画質にする設定であるほど閾値TH1，TH3は小さくされ、閾値TH2は大きくされている。
これらの画質設定情報は、画質モード設定値に対応させた対応テーブルとしてＨＤに記憶されている。画質設定情報を読み出し、同画質設定情報に基づいて映像情報から取得するフレーム情報の数を決定することにより、静止画像を効率よく得ることが可能となる。
【００４７】
（４）カメラモーションの推定：
本実施形態では、カメラモーションの推定により、フレーム画像間の並進ずれを補正するのみならず、フレーム画像間の回転ずれも補正している。カメラモーションの推定とは、映像情報から切り出した複数のフレーム情報で表現される複数のフレーム画像の相対的な位置関係を推定するものである。ここで、撮影中には撮影対象物自体やビデオカメラの設置位置の動きはなく、ビデオカメラの向きのみ変化しているものと仮定している。すなわち、パンおよびチルトと呼ばれるカメラワークに相当している。また、分かりやすく説明するため、参照フレーム情報で表現される参照フレーム画像の次に対象フレーム情報で表現される対象フレーム画像があるとし、参照フレーム画像と対象フレーム画像とのずれ量を推定するものとする。
【００４８】
図７に示すように、参照フレーム情報の座標（x1，y1）が対象フレーム情報の座標（x2，y2）に対応しているものとする。並進量は（ｕ，ｖ）、回転量はフレーム画像の中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
x2 ＝ cosδ・x1 ＋ sinδ・y1 − ｕ …(1)
y2 ＝ −sinδ・x1 ＋ cosδ・y1 − ｖ …(2)
なお、参照フレーム画像と対象フレーム画像との時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
x2 ＝ x1 ＋ δ・y1 − ｕ …(3)
y2 ＝ −δ・x1 ＋ y1 − ｖ …(4)
そして、式(3)，(4)のｕ，ｖ，δを最小自乗法により推定する。
【００４９】
カメラモーションの推定は、フレーム情報間の各画素の例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。
ここで、図８の上段に示すように、参照フレーム情報の各画素の輝度をz1（ix，iy）、対象フレーム情報の各画素の輝度をz2（ix'，iy'）と表すことにする。まず、対象フレーム情報の座標（ix'，iy'）が参照フレーム情報の座標（ix〜ix＋１，iy〜iy＋１）の間にあるものとして、勾配法により座標（ix'，iy'）を求める手法を説明する。
【００５０】
図の中段に示すように、座標（ix'，iy'）のｘ軸方向の位置をix＋Δxとし、Px＝z1（ix＋１，iy）−z1（ix，iy）とすると、Px・Δx＝z2（ix'，iy'）−z1（ix，iy）となるようなΔxを求めればよい。実際には、各画素についてΔxを算出し、全体で平均をとることになる。ここで、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔxを算出すればよい。
｛Px・Δx − （z2−z1）｝² ＝ ０ …(5)
また、図の下段に示すように、座標（ix'，iy'）のｙ軸方向の位置をiy＋Δyとし、Py＝z1（ix，iy＋１）−z1（ix，iy）とすると、Py・Δy＝z2（ix'，iy'）−z1（ix，iy）となるようなΔyを求めればよい。ここでも、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔyを算出すればよい。
｛Py・Δy − （z2−z1）｝² ＝ ０ …(6)
そこで、ｘｙ両方向を考慮すると、以下の式のＳ²を最小にするΔx、Δyを最小自乗法により求めればよい。
Ｓ² ＝ Σ｛Px・Δx ＋ Py・Δy − （z2−z1）｝² …(7)
【００５１】
以上、勾配法によりフレーム画像がｘ軸方向とｙ軸方向に平行移動したとして並進量を求める手法を説明した。本発明では、さらにフレーム画像の回転も考慮している。以下、その手法を説明する。
図９に示すように、参照フレーム情報の座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
ｒ ＝ （ｘ² ＋ ｙ²）^1/2 …(8)
θ ＝ tan^-1（ｘ／ｙ） …(9)
【００５２】
ここで、並進ずれが補正されているとして、参照フレーム画像と対象フレーム画像の原点を合わせておき、対象フレーム画像では座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
ｘ'−ｘ ≒ −ｒδsinθ ＝ −δ・ｙ …(10)
ｙ'−ｙ ≒ ｒδcosθ ＝ δ・ｘ …(11)
そこで、上記式(7)におけるΔx，Δyは、並進量ｕ，ｖ、回転量δを用いて、以下の式で表される。
Δx ＝ ｕ − δ・ｙ …(12)
Δy ＝ ｖ ＋ δ・ｘ …(13)
これらを上記式(7)に代入すると、以下の式が得られる。
Ｓ² ＝ Σ｛Px・（ｕ−δ・ｙ） ＋ Py・（ｖ＋δ・ｘ） − （z2−z1）｝² …(14)
【００５３】
すなわち、参照フレーム情報の座標を（ix，iy）として、参照フレーム情報の全画素の座標値と階調データ（輝度値）を式(14)に代入したときに、Ｓ²を最小にするｕ，ｖ，δを最小自乗法により求めればよい。最小自乗法により、以下の式を得ることができる。
【数１】

ただし、ｉは全画素を区別する番号であり、α，β，Ｄ，N1〜N5，Ｍは以下のようにして求められる。
【数２】

【００５４】
従って、最小自乗法によりフレーム画像間の回転ずれと並進ずれを求める上記式(15)〜(29)を用いて、カメラモーションにより並進量（ｕ，ｖ）と回転量（δ）を検出し、これらを並進量情報と回転量情報として取得することができる。ここで、並進量はフレーム画像の画素よりも小さい単位とされているので、精度よく検出を行うことができる。そして、検出された並進量や回転量を用いて複数のフレーム情報を合成すれば、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。
【００５５】
なお、上記推定を行う前に、並進ずれのみについて並進量を画素単位で検出するようにし、フレーム画像間の並進ずれを画素単位で（大ざっぱに）補正しておいてもよい。すると、さらに精度よく並進量情報と回転量情報とを取得することができ、同並進量情報と回転量情報とを用いて複数のフレーム画像を合成することにより、さらに高画質の静止画像を得ることが可能となる。
図１０に示すように、フレーム画像間の並進ずれを大ざっぱに検出する手法として、パターンマッチ法による推定手法が知られている。図の上段に示すように、参照フレーム情報の各画素の輝度をz1（ix，iy）、対象フレーム情報において同じ位置の画素の輝度をz2（ix，iy）と表すことにする。
まず、参照フレーム情報の画素（ix，iy）を対象フレーム情報の画素（ix，iy）に対応させる場合を基準として、対象フレーム情報を１画素単位でｘ方向またはｙ方向にずらしながら、以下のＬが最も小さくなる位置を探索する。
Ｌ ＝ ｜Z2_i−Z1_i｜ …(30)
または、
Ｌ ＝ （Z2_i−Z1_i）² …(31)
【００５６】
そして、探索終了時に参照フレーム情報の画素（ix，iy）に対応させる対象フレーム情報の画素の位置が（ix−Δx，iy−Δy）となるとき、参照フレーム画像から対象フレーム画像への並進量は画素単位として（Δx，Δy）と表すことができる。
そこで、対象フレーム情報について並進量（Δx，Δy）だけ画素をずらしておくと、カメラモーションの推定を高精度にて行うことができる。
【００５７】
（５）画像生成装置が行う処理：
以下、画像生成装置が行う処理とともに、動作を詳細に説明していく。
図１１は、本画像生成装置が行う処理をフローチャートにより示している。具体的には、画像生成ＡＰＬに従って、ＰＣ１０のＣＰＵ１１が本処理を行う。同ＡＰＬは、ＰＣ上で再生されている映像の中の、任意のシーンを静止画として生成するためのアプリケーションである。この静止画は、単に１フレームを切り出すのではなく、複数フレームを合成した高精細な静止画である。
【００５８】
（５−１）合成範囲の切り出し：
画像生成ＡＰＬを起動させると、まず、図示しない映像ファイル指定画面をディスプレイに表示し、画像生成装置のユーザから映像ファイルを指定する操作入力を受け付け、映像ファイルの記憶アドレスを表す情報を取得する（Ｓ１０５。以下、「ステップ」の記載を省略）。次に、その記憶アドレスの映像ファイルを開き（オープンし）、同映像ファイルにより映像表示される多数のフレーム画像から静止画像として生成したい箇所のフレーム画像を選択する入力を受け付け、対応するフレーム情報の記憶アドレスを表す情報をポインタ情報としてＲＡＭ内に記憶する（Ｓ１１０）。
【００５９】
図１２は、フレーム画像選択画面を示している。映像ファイルを開くと、同映像ファイルに格納された多数のフレーム情報からなる映像情報から時系列順に先頭のフレーム情報を取得し、図の左側に示す初期画面８１を表示する。フレーム情報は、画像を多数の画素別のＹＣｂＣｒデータ（階調データ）で表現したデータである。同画面８１の映像表示欄８１ａでは、先頭のフレーム情報に基づいてフレーム画像を表示する。同映像表示欄８１ａの下側には各種ボタン８１ｂ，ｃが設けられており、これらのボタンをマウスによりクリック操作すると、ユーザは所望のシーンに移動させることができる。制御ボタン８１ｂがクリック操作されると操作に応じてポインタ情報を変化させ、フレーム画像を更新する。そして、停止ボタン８１ｃがクリック操作されると、対応する記憶アドレスのフレーム情報に基づくフレーム画像を表示する。このときのフレーム画像選択画面８２を図の右側に示している。
ここで、シーン取得ボタン８２ａがクリック操作されると、フレーム画像の選択入力を受け付けたことになり、そのそのシーンを静止画として取得する処理に移る。
【００６０】
その直後、図１３に示すようなシーン取得設定画面のダイアログボックス８３を表示し、横解像度（ｘ軸方向の画素数）Ｗ、縦解像度（ｙ軸方向の画素数）Ｈ、画質モードの設定入力を受け付ける（Ｓ１１５）。ダイアログボックス８３では、合成する元となるフレーム画像の解像度を映像解像度表示欄８３ａに表示するとともに、生成させる画像の解像度を任意で指定可能な解像度入力欄８３ｂ，ｃ、生成させる画像の画質を５段階で設定可能な画質モード入力欄８３ｄ、各種ボタン８３ｇ，ｈを表示する。横解像度入力欄８３ｂでは横解像度の操作入力を受け付けてＷの値を取得し、縦解像度入力欄８３ｃでは縦解像度の操作入力を受け付けてＨの値を取得する。画質モード入力欄８３ｄでは、直線状の溝８３ｅと、マウス操作により溝８３ｅに沿ってスライド可能な調節つまみ８３ｆを表示する。ここで、画質モードは５段階設けられ、左端が速い（高速）モードとされ、右端がきれい（最高画質）モードとされている。そして、調節つまみ８３ｆが左端から右端になるにつれ、画質モード設定値として順に１，２，３，４，５を取得する。図の例でＯＫボタン８３ｇがクリック操作されると、生成画像の画素数はＷ＝1280、Ｈ＝960とされ、画質モード設定値は３とされる。このように、ダイアログボックス８３では、生成画像の画素数と画質を指定できるようになっている。
このように、静止画像の画素数（解像度）を変えることができ、画質を変えることができるので、思い通りの静止画像を得ることが可能となる。本画像生成装置は、複数のフレーム情報を合成することにより高画質の静止画像を表現する画像データを生成することができるので、静止画像をフレーム画像よりも高解像度に設定することにより、画素数が多くされた高画質の静止画像を得ることができ、より思い通りの静止画像を得ることが可能となる。
なお、解像度の代わりに拡大率や印刷サイズを指定させるようにしてもよい。ＯＫボタン８３ｇがクリック操作されると、画質モード設定値に基づいて、出力画像の画質を設定可能とする画質向上度Ｖを取得する（Ｓ１２０）。本実施形態では、図６で示したように画質モード設定値をそのまま画質向上度Ｖとするが、画質向上度Ｖは画質モード設定値と異なっていてもよい。
【００６１】
次に、画質向上度Ｖに基づいて、映像情報から取得するフレーム情報の数ｎ１を決定する（Ｓ１２５）。フレーム情報の横画素数をｗ、縦画素数をｈ、合成するフレーム情報数をｎ１とすると、合成後の静止画像の１画素あたりの合成前のフレーム情報の画素数の合計Ｖは、以下の式で表される。
Ｖ＝ｎ１・（ｗ・ｈ）／（Ｗ・Ｈ） …(32)
となる。ここで、横方向の拡大率をＳｘ、縦方向の拡大率をＳｙとすると、Ｓｘ＝Ｗ／ｗ, Ｓｙ＝Ｈ／ｈであるので、以下の式で表すこともできる。
Ｖ＝ｎ１／（Ｓｘ・Ｓｙ） …(33)
画質向上度Ｖの値は、１画素あたりのデータ密度であり、画質と密接に関わる値であるため、Ｖの値を画質向上の目安とすることができる。
【００６２】
上記式(32)，(33)を変形すると、以下の式が得られる。
ｎ１＝Ｖ・（Ｗ・Ｈ）／（ｗ・ｈ） …(34)
ｎ１＝Ｖ・（Ｓｘ・Ｓｙ） …(35)
従って、複数のフレーム情報を合成するときに、画素数や拡大率が指定されているとき、画質の目安を画質向上度Ｖで指定すれば、合成するのに必要なフレーム情報数ｎ１を決定することができる。なお、Ｓ１２５では、上記式(34)を用いて、フレーム情報における画素の総数ｗ・ｈと画質向上度Ｖとに基づいて取得するフレーム情報数ｎ１を算出する。上記式(34)，(35)を用いることにより、簡易な構成ながら、合成するフレーム情報数を合成前に計算することができる。
ここで、画質モード設定値が大きくなるほど画質向上度Ｖも大きくなるため、画質向上度Ｖが大きくなるほどより高画質を表す情報となり、取得するフレーム情報の数が増え、より高画質の静止画像を得ることが可能となる。一方、画質向上度Ｖが小さくなるほどより高速処理を表す情報となり、取得するフレーム情報の数が減り、より高速にて静止画像を表現する画像データを生成する処理が行われる。従って、同処理を効率よく行って静止画像を得ることが可能となる。
【００６３】
フレーム情報数を決定すると、決定した数のフレーム情報を映像情報から取得する（Ｓ１３０）。決定したフレーム情報数ｎ１が整数でない場合、ｎ１を四捨五入したり、小数点以下を切り上げたり切り捨てたりする等により、整数にしてフレーム情報を取得する。本実施形態では、映像情報から時系列に連続したフレーム情報を取得するようにしているが、時系列に連続していない離散的な複数のフレーム情報を取得しても、並進量と回転量を検出してフレーム情報を合成し、静止画像を得ることが可能である。例えば、全画素の階調データを有して他のフレーム情報を参照しないで画像を表現可能な独立フレーム情報と、全画素の階調データを有しておらず他のフレーム情報を参照しないと画像を表現できない非独立フレーム情報と、から映像情報が構成される場合、離散的な独立フレーム情報のみを参照することにより、以下のカメラモーション推定処理を高速にて行うことが可能となる。
以上説明したように、Ｓ１０５〜Ｓ１３０の処理を行うＰＣ１０は、フレーム取得手段を構成する。
【００６４】
（５−２）並進量と回転量の検出：
その後、ずれ量取得手段およびずれ量検出手段にて、カメラモーションによりフレーム画像の並進量と回転量を推定して並進量情報と回転量情報を取得するカメラモーション推定処理を行う（Ｓ１３５）。
図１４は、カメラモーション推定処理をフローチャートにより示している。
まず、映像情報から取得した複数のフレーム情報の中から、参照フレーム情報を設定する（Ｓ２０５）。本実施形態では、時系列順に一番最初のフレーム情報を参照フレーム情報と設定する。ここで、参照フレーム情報とするフレーム情報をＲＡＭの中の所定の領域に格納することにより参照フレーム情報を設定してもよいし、参照フレーム情報とするフレーム情報の記憶アドレスをＲＡＭ内の所定のポインタに格納することにより参照フレーム情報を設定してもよい。
【００６５】
次に、映像情報から取得した複数のフレーム情報の中から、対象フレーム情報を設定する（Ｓ２１０）。例えば時系列順に二番目のフレーム情報を対象フレーム情報に設定する等、取得したフレーム情報から参照フレーム情報を除いた残りの中から対象フレーム情報を設定する。ここでも、対象フレーム情報とするフレーム情報をＲＡＭの中の所定の領域に格納してもよいし、対象フレーム情報とするフレーム情報の記憶アドレスを所定のポインタに格納してもよい。
【００６６】
さらに、最小自乗法により並進ずれが表された並進量ｕ，ｖと回転ずれが表された回転量δとを算出する上記式(15)〜(29)に用いる各種変数（パラメータ）を初期設定する（Ｓ２１５）。例えば、総和を算出する変数M20，M11，M02，ｍ_u，ｍ_v，ｍ_δ，ｃ_u，ｃ_v，ｃ_δに０を代入する。
その後、参照フレーム情報から注目画素ｉの位置を設定し、対象フレーム情報から注目画素ｉ'の位置を設定する（Ｓ２２０）。例えば、フレーム情報が横（ｘ軸方向）nx画素、縦（ｙ軸方向）ny画素のドットマトリクス状に構成されている場合、参照フレーム情報の座標（ix，iy）の画素を注目画素にする際に、ｉ＝ix＋nx×iyにより注目画素ｉの位置を設定することができるし、対象フレーム情報の座標（ix'，iy'）の画素を注目画素にする際に、ｉ'＝ix'＋nx×iy'により注目画素ｉ'の位置を設定することができる。本実施形態では、注目画素の位置を設定する順序は、左上の画素から開始して順番に右上の画素までとし、その後一つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素としている。以下、各種処理にて注目画素の位置を設定する場合も同様にしている。むろん、注目画素の位置を設定する順序は、適宜変更可能であり、フレーム画像の種類等に応じて異なる順序とすることも可能である。
なお、Ｓ２２０の処理を行う前に、上述したパターンマッチ法により参照フレーム画像から対象フレーム画像への大ざっぱな並進量（Δx，Δy）を検出して取得し、並進量（Δx，Δy）だけ画素をずらしておいてもよい。
【００６７】
注目画素ｉ，ｉ'の位置を設定すると、上記式(18)〜(28)に用いるPt_i，ｋ_i，M20，M11，M02，ｍ_u，ｍ_v，ｍ_δ，ｃ_u，ｃ_v，ｃ_δを順次演算する（Ｓ２２５）。例えば、M20については総和を算出する必要があるため、変数M20について、
M20 ← M20 ＋ （注目画素ｉ，ｉ'のΣ内の値）
の演算、すなわち、注目画素ｉ，ｉ'のΣ内の値を加算する処理を行う。
そして、参照フレーム情報の全画素について、上記各種変数について演算したか否かを判断する（Ｓ２３０）。上記各種変数を演算していない画素が残っている場合には、上記各種変数を演算する注目画素ｉ，ｉ'を順次移動させながら繰り返しＳ２２０〜Ｓ２３０の処理を行い、全画素について上記各種変数を演算した場合には、Ｓ２３５に進む。
【００６８】
Ｓ２３５では、上記式(29)を用いて、ｄを算出する。
次に、上記式(15)，(16)を用いて並進量ｕ，ｖを算出し（Ｓ２４０）、上記式(17)を用いて回転量δを算出する（Ｓ２４５）。すなわち、複数のフレーム情報で表現される画像間の並進ずれや回転ずれを表す並進量や回転量が１画素よりも細かい単位で検出されたことになり、並進量情報や回転量情報が数値情報である並進量ｕ，ｖや回転量δとして取得されたことになる。そして、ｕ，ｖ，δをＲＡＭ内の所定の領域に記憶する（Ｓ２５０）。
【００６９】
その後、全フレーム情報について、ｕ，ｖ，δを取得したか否かを判断する（Ｓ２５５）。ｕ，ｖ，δを取得していないフレーム情報が残っている場合には、時系列順に対象フレーム情報を設定して繰り返しＳ２０５〜Ｓ２５５の処理を行い、全フレーム情報についてｕ，ｖ，δを取得した場合、本フローを終了する。以上の処理にて、並進量（ｕ，ｖ）と回転量（δ）を検出し、これらを並進量情報と回転量情報として取得することができる。その際、フレーム情報の各画素の位置変換が当該画素よりも細かい単位で高精度にて行われるので、高画質の静止画像を得ることが可能となる。また、最小自乗法によりフレーム画像間の回転ずれと並進ずれを求める演算式を用いることにより、高速にて回転量と並進量を検出することができるので、画像データを生成する処理を高速化させることが可能となる。
なお、フレーム画像の性質等に応じて、ｕ，ｖ，δに所定の補正係数を乗じて並進量情報と回転量情報としてもよい。
【００７０】
（５−３）フレーム画像のずれ補正：
その後、図１１のＳ１４０に進み、変換手段にて、並進量情報と回転量情報とに基づいて、対象フレーム画像を並進させるとともに回転させて参照フレーム画像とのずれをなくすように、対象フレーム情報を変換する変換処理を行う。
図１５は、フレーム変換処理をフローチャートにより示している。
まず、図１４のＳ２１０と同様にして、対象フレーム情報の中から、画素の座標を変換する対象フレーム情報を設定する（Ｓ３０５）。次に、図１４のＳ２２０と同様にして、対象フレーム情報から座標変換する注目画素ｉ'の位置を設定する（Ｓ３１０）。
【００７１】
その後、並進量ｕ，ｖをＲＡＭから読み出し、対象フレーム画像の並進ずれをキャンセルするよう、注目画素ｉ'の位置をｘ軸方向に−ｕ、ｙ軸方向に−ｖ並進させるように座標変換する（Ｓ３１５）。すなわち、座標（ix'，iy'）の注目画素ｉ'の位置は、座標（ix'−ｕ，iy'−ｖ）に平行移動させられる。ここで、座標（ix'−ｕ，iy'−ｖ）は、アナログ量であり、フレーム情報の画素よりも細かくされている。
さらに、回転量δをＲＡＭから読み出し、対象フレーム画像の回転ずれをキャンセルするよう、フレーム画像の中心を原点として注目画素ｉ'の位置をさらに−δ回転させるように座標変換する（Ｓ３２０）。ここで、座標（ix'−ｕ，iy'−ｖ）を、原点を中心とする座標（ｘ'，ｙ'）に置き換え、原点から座標（ｘ'，ｙ'）までの距離をｒ'とすると、座標（ｘ'，ｙ'）は−δの回転によりｘ軸方向に−δ・ｙ'、ｙ軸方向にδ・ｘ'移動する。すなわち、並進後の座標（ix'−ｕ，iy'−ｖ）の注目画素ｉ'の位置は、フレーム情報の画素よりも細かくされた座標（ｘ'−δ・ｙ'，ｙ'＋δ・ｘ'）に移動させられる。
【００７２】
その後、対象フレーム情報の全画素について、座標変換を行ったか否かを判断する（Ｓ３２５）。座標変換を行っていない画素が残っている場合には、注目画素ｉ'を順次移動させながら繰り返しＳ３０５〜Ｓ３２５の処理を行い、全画素について座標変換を行った場合には、Ｓ３３０に進む。
Ｓ３３０では、全対象フレーム情報について、座標変換を行ったか否かを判断する。座標変換を行っていない対象フレーム情報が残っている場合には、時系列順に対象フレーム情報を設定して繰り返しＳ３０５〜Ｓ３３０の処理を行い、全対象フレーム情報について座標変換を行った場合、本フローを終了する。
以上の処理にて、並進量情報と回転量情報に基づいて、対象フレーム画像を並進させるとともに回転させて参照フレーム情報と対象フレーム情報とで表現される画像間の回転ずれをなくすように対象フレーム情報を変換することができる。なお、フレーム画像の性質等に応じて、ｕ，ｖ，δに所定の補正係数を乗じてから座標変換を行ってもよいし、所定の補正係数を乗じたｕ，ｖ，δを用いて、二つのフレーム情報双方とも座標変換を行うようにしてもよい。
【００７３】
（５−４）フレーム画像の合成：
フレーム変換処理が終了すると、図１１のＳ１４５に進み、合成手段にて、参照フレーム情報と、上記フレーム変換処理にて変換処理が行われた対象フレーム情報とを合成して、静止画像を多数の画素で階調表現する画像データを生成する処理を行う。
図１６に示すように、複数のフレーム情報からカメラモーションの推定により、参照フレーム情報に対して並進ずれと回転ずれがなくなるように座標変換された対象フレーム情報を重ね合わせる処理を行う。
【００７４】
図１７は、合成処理をフローチャートにより示している。なお、フレーム画像の画素をｘ軸方向、ｙ軸方向ともに１．５倍に増やす場合を例にとって、静止画像を表現する画像データを生成する様子を説明する。本画像生成装置は、画像データを生成する注目画素を順次移動させながら、参照フレーム情報と対象フレーム情報の全画素のうち注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行い、画像データを生成する。
【００７５】
まず、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定する（Ｓ４０５）。本実施形態では、図１４のＳ２２０と同様にして静止画像に対応する注目画素ｉの位置を設定するが、ここでいうｉは、上記カメラモーション推定処理における参照フレーム情報の注目画素ｉとは異なるものである。
注目画素ｉを設定すると、四つ全てのフレーム情報の全画素のうち、注目画素ｉの近傍に存在する画素と同注目画素ｉとの距離を算出する（Ｓ４１０）。次に、注目画素ｉに最も近い最短画素を選出する（Ｓ４１５）。選出の際には、例えば、最短画素の座標値をＲＡＭ内の所定領域に格納すればよい。ここで、生成する画像データを基準とした注目画素ｉの座標を（x0，y0）、注目画素ｉの近傍に存在する画素の座標を（xf，yf）とすると、｛（xf−x0）²＋（yf−y0）²｝^1/2が最小となる画素を最短画素とすればよい。
【００７６】
図１８は、上記最短画素を選択する様子を模式的に示している。図の例では、参照フレーム情報と三つの対象フレーム情報の全画素の位置がプロットされるとともに、生成する画像データの画素（縦横１．５倍密）の位置もプロットされている。ここで、各フレーム情報にフレーム番号ｆ（ｆ＝１，２，３，４）を付与するとともに、各フレーム情報のそれぞれについて、注目画素に最も近い画素を選出する。図中、選出された画素と注目画素ｉとの距離を、Ｌ（ｉ，ｆ）で表している。そして、Ｌ（ｉ，ｆ）が最も小さくなるfnearest(i)を求める。この値が小さい画素であるほど（選出された画素が注目画素ｉに近いほど）、その画素を含むフレーム情報を参照した補間処理を行うことにより、静止画像中のエッジ部分のジャギーが少なくなる傾向にある。図の注目画素ｉについては、Ｌ（ｉ，４）が最小値となるため、フレーム４の画素が選出される。
その後、注目画素ｉから最短画素までの距離MinＬ（ｉ，ｆ）を取得し（Ｓ４２０）、最短画素を含むフレーム情報を取得する（Ｓ４２５）。図の例では、フレーム４のフレーム情報が取得される。ここで、最短画素を含むフレーム情報をＲＡＭの中の所定の領域に格納することにより取得してもよいし、最短画素を含むフレーム情報の記憶アドレスをＲＡＭ内の所定のポインタに格納することにより取得してもよい。
【００７７】
最短画素を含むフレーム情報を取得すると、同フレーム情報から最短画素のＹＣｂＣｒデータ（階調データ）を用いて、バイ・リニア法等の所定の補間処理を行い、注目画素ｉの画像データを生成する（Ｓ４３０）。その際、ＹＣｂＣｒデータのまま画像データを生成してもよいし、所定の換算式を用いてＹＣｂＣｒデータを各ＲＧＢ階調値からなるＲＧＢデータに変換してＲＧＢからなる画像データを生成してもよい。
図１９は、バイ・リニア法（共１次内挿法）による補間処理を行う様子を模式的に示している。図に示すように、取得したフレーム情報から最短画素６１ａを含めて、注目画素ｉを囲む周辺の四つの画素６１ａ〜ｄの階調データを用いて補間処理を行う。バイリニア法は、補間演算に用いる画素（格子点）６１ａ〜ｄの一方から他方へと近づくにつれて階調データの重み付けが徐々に変化していき、その変化が両側の画素の階調データだけに依存する一次関数とされている。ここで、内挿したい注目画素ｉを取り囲む四つの画素６１ａ〜ｄで区画される領域を当該注目画素ｉで四つの区画に分割し、その面積比で対角位置のデータに重み付けすればい。
生成された画像データの各画素について、同様のことを行えば、すべての画素値を推定することができる。
【００７８】
以上のようにして、カメラモーションにより推定された画像間の位置関係をもとに重ね合わせて、生成する画像データの画素の階調値（画素値）を、その付近のフレーム情報の画素の階調データから推定することができる。すなわち、各画素の画像データが補間されて生成されるので、高画質の静止画像を得ることが可能となる。
むろん、画像データを生成する処理を高速化させるために、例えばニアリストネイバー法による補間処理を行ってもよい。この場合、フレーム情報の最短画素の階調データを注目画素ｉの画像データとすればよい。また、例えばバイ・キュービック法のように精度のよい補間処理を行ってもよい。
さらに、「バイ・キュービック法」、「バイ・リニア法」、「ニアリストネイバー法」のいずれかを選択入力可能としておき、選択入力された補間処理により注目画素の画像データを生成するようにしてもよい。すると、画質を優先するか処理速度を優先するかを選択することが可能となり、利便性を向上させることができる。
【００７９】
その後、画像データを生成する全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ４３５）。画像データを生成していない画素が残っている場合には、生成する画像データに対応する画素上で注目画素ｉを順次移動させながら繰り返しＳ４０５〜Ｓ４３５の処理を行う。全画素について画像データを生成した場合には、本フローを終了する。
このようにして、座標変換の行われた複数のフレーム情報が合成され、静止画像を多数の画素で階調表現する画像データが生成される。なお、この段階で例えば所定の換算式を用いてＹＣｂＣｒデータをＲＧＢデータに変換する等してもよい。
実際に試験を行ったところ、複数のフレーム情報の全画素のうち注目画素ｉに最も近い画素の階調データを用いて補間処理を行うようにしたことにより、静止画像中のエッジ部分にジャギーが入らなくなる効果が得られた。このように、単に１フレームを使っただけでは得られない、高精細な高解像度画像が、複数フレームを使うことによって生成することができる。特に、個々のフレーム画像の動き推定の精度が良好であるときに、高精細な高解像度画像を得ることが可能となる。
【００８０】
合成処理が終了すると、図１１のＳ１５０に進み、生成した画像データに基づいて静止画像をディスプレイに表示する。
図２０は、静止画像を表示して生成した画像データを保存させるための静止画像保存画面のダイアログボックス８４を示している。同ダイアログボックス８４では、静止画像表示欄８４ａに静止画像を表示するとともに、保存ファイル名入力欄８４ｂ、ボタン８４ｃ，ｄも表示する。保存ファイル名入力欄８４ｂにて保存するファイル名の操作入力を受け付け、ＯＫボタン８４ｃがクリック操作されると、直ちに入力されたファイル名で画像データをＨＤ等に保存し（Ｓ１５５）、本フローを終了する。このようにして、ユーザが映像の中の所望のシーンを高精細な静止画として取得することができる。このときに、必要な画質を得るための最短時間処理で生成されるので、ユーザの待ち時間が無駄に長くなることがない。
【００８１】
以上の処理により、静止画像を表現する画像データは複数のフレーム情報で表現される複数のフレーム画像間の並進ずれや回転ずれがなくされて同複数のフレーム情報から合成されて生成されるので、回転成分を含む手ぶれも十分に補正され、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。そして、出力画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することが可能となる。また、画質設定情報がより高画質を意味する情報になるほど合成するフレーム情報の数は多くなって静止画像を高画質化させることが可能になる一方、画質設定情報がより高速を意味する情報になるほど合成するフレーム情報の数は少なくなって静止画像の生成速度を向上させることが可能になる。従って、効率よく静止画像を表現する画像データを生成する処理を行って静止画像を得ることが可能となる。
言い換えると、画質と処理速度との関係を体感的に把握し難いフレーム情報の数をユーザが直接指定することなく、合成するフレーム数が自動的にフレキシブルに決定される。ユーザが設定する項目は、フレーム数ではなく「画質モード」や「解像度」であり、直感的である。また、機器によって要求される画像サイズ・画質が決まっている場合、さまざまな解像度の映像ソースを均一化された画像サイズ、画質にそろえて出力することができる。
なお、対象フレーム画像を回転させる所定の中心位置の並進ずれがなくなることにより、より確実に手ぶれの傾き成分が補正され、より高画質の静止画像を得ることが可能となる。また、合成する複数のフレーム情報は、変化の小さい時系列に連続した情報であるので、これらのフレーム情報が合成されて静止画像を表現する画像データが生成されることにより、簡易な構成で高画質の静止画像を得ることが可能となる。
【００８２】
（６）第二の実施形態：
なお、図１７で示した合成処理の中で最短画素までの距離MinＬ（ｉ，ｆ）を算出しているので、同距離を利用してフレーム情報数を決定してもよい。
図２１は、第二の実施形態にかかる画像生成装置が行う処理をフローチャートにより示している。本実施形態では、フレーム取得手段によりＳ５０５〜Ｓ５２０，Ｓ５４０〜Ｓ５５０の処理が行われる。
図示を省略しているが、図１１のＳ１０５〜Ｓ１１０と同様、映像ファイルを指定する操作入力を受け付けるとともに静止画像として生成したい箇所のフレーム画像の選択入力を受け付けた後、縦横解像度、画質モードの設定入力を受け付け、横画素数Ｗ、縦画素数Ｈ、画質モード設定値を取得する（Ｓ５０５）。次に、図６で示した対応テーブルを参照して画質モード設定値に対応する閾値TH1（画質設定情報）を取得する（Ｓ５１０）。このTH1は、画像データにおける各画素について複数のフレーム情報の画素のうち最も近い画素までの距離MinＬ（ｉ，ｆ）の平均についての閾値である。
【００８３】
その後、参照フレーム情報とするフレーム情報を映像情報から取得する（Ｓ５１５）。次に、時系列に次のフレーム情報を対象フレーム情報として映像情報から取得する（Ｓ５２０）。対象フレーム情報を取得すると、図１４で示したカメラモーション推定処理を行い、参照フレーム画像から対象フレーム画像への並進量ｕ，ｖと回転量δを取得する（Ｓ５２５）。ｕ，ｖ，δを取得すると、図１５で示したフレーム変換処理を行い、対象フレーム情報の全画素について参照フレーム情報とのずれをなくすように座標変換を行う（Ｓ５３０）。フレーム変換処理を行うと、図１７で示した合成処理（その１）を行い、生成する画像データの各画素についてMinＬ（ｉ，ｆ）を算出するとともに、参照フレーム情報と対象フレーム情報とを合成して出力画像を階調表現する画像データを生成する（Ｓ５３５）。
【００８４】
その後、フレーム情報の取得を終了する所定の終了条件が成立するか否かを判断するための評価値V1を算出する（Ｓ５４０）。評価値V1は、以下の式で表されるように、MinＬ（ｉ，ｆ）の総和を生成後の画像データの画素数Ｗ・Ｈで除した値、すなわち、MinＬ（ｉ，ｆ）の平均値である。
V1＝｛ΣMinＬ（ｉ，ｆ）｝／（Ｗ・Ｈ） …(36)
そして、V1がTH1以下（所定の終了条件）であるか否かを判断する（Ｓ５４５）。V1がTH1より小であるか否かを判断するようにしてもよい。V1がTH1より大（または以上）であるとき終了条件成立としてＳ５５０に進み、V1がTH1以下であるときＳ５５５に進む。Ｓ５５０では、所定の強制終了条件（例えば、図１３の強制終了ボタン８３ｉがクリック操作された状態）が成立しているか否かを判断し、条件成立時にＳ５５５に進み、条件不成立時に、映像情報から時系列順にさらに次のフレーム情報を対象フレーム情報として取得して繰り返しＳ５２０〜Ｓ５４５の処理を行う。すなわち、映像情報から順次フレーム情報を取得しながら、生成する画像データにおける各画素について、取得した複数のフレーム情報の画素のうち注目画素から最短最画素までの距離MinＬ（ｉ，ｆ）を算出し、MinＬ（ｉ，ｆ）の平均値と閾値TH1とに基づいて所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときにフレーム情報の取得を終了することになる。その結果、フレーム情報が増加して最短画素までの距離MinＬ（ｉ，ｆ）の平均値が閾値TH1以下まで小さくなるまで、フレーム情報を取得する処理が繰り返される。そして、Ｓ５４５にて終了条件が成立すると、映像情報から取得するフレーム情報の数が決定され、Ｓ５３５の合成処理により、決定された数のフレーム情報が合成され、静止画像を表現する画像データが生成される。
【００８５】
Ｓ５５５では、生成した画像データに基づいて、図２０で示したダイアログボックス８４で静止画像を表示する。そして、画像データをＨＤ等に保存し（Ｓ５６０）、本フローを終了する。
以上の処理を行うと、フレーム情報の画素が生成後の画像データの画素に近くなるほど出力画像をより高画質化させるので、確実に出力する静止画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、効率よく静止画像を得ることが可能となる。また、画質モード設定値を大きくさせるほど閾値TH1が小さくなってフレーム情報数が増えるので出力画像の画質を向上させ、画質モード設定値を小さくさせるほど閾値TH1が大きくなってフレーム情報数が減るのでより素早く出力画像を得ることができ、本画像生成装置は便利である。
【００８６】
（７）第三の実施形態：
図２２は第三の実施形態にかかる画像生成装置が行う処理をフローチャートにより示しており、図２３はＳ６３５で行われる合成処理（その２）をフローチャートにより示している。まず、合成処理（その２）について、説明する。
まず、最短画素距離の閾値Lthを取得する（Ｓ７０５）。例えば、所定の選択欄を有する印刷インターフェイス画面を表示し、同選択欄への操作入力から閾値Lthを表すパラメータを取得してＲＡＭに格納すればよい。
ここで、図２４に示すように、最短画素距離の閾値Lthとは、フレーム情報の画素が注目画素ｉから所定の距離内にあるかどうかを判定するための閾値である。図の例では、生成する画像データにおける画素間の距離の１／２を閾値Lthとしている。注目画素ｉを含む各画素を中心として点線で描いた円は、同画素から閾値Lthの距離にあることを示している。また、円内の右上には、生成する画素から閾値Lthの距離内にあるフレーム情報の数を記載している。
なお、閾値Lthを表すパラメータを操作入力によって取得する以外にも、生成画像の画素数、フレーム画像の総画素数などの値から自動的に閾値Lthを設定するようにしてもよい。例えば、
Lth ＝ ３×（生成画像画素間距離）×（生成画像画素数）／（フレーム画像総画素数）
とすれば、閾値Lthは図２４で示した円内に平均３個のフレーム画像画素が入るような値に設定することができる。
【００８７】
次に、図１７のＳ４０５〜Ｓ４１０と同様、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定し（Ｓ７１０）、全てのフレーム情報の全画素のうち、注目画素ｉの近傍に存在する座標（xf，yf）の画素と、座標（x0，y0）の注目画素ｉとの距離｛（xf−x0）²＋（yf−y0）²｝^1/2を算出する（Ｓ７１５）。
さらに、算出した距離が閾値Lth以下となるフレーム情報の画素を選出する（Ｓ７２０）。選出の際には、例えば、同画素の座標値をＲＡＭ内の所定領域に格納すればよい。図２４の例では、距離Ｌ（ｉ，４）の画素と距離（ｉ，２）の画素とが選出される。
このようにして、複数のフレーム情報のうち注目画素ｉを基準とした所定の範囲内の画素を選出することができる。
【００８８】
その後、注目画素ｉから所定の範囲内となる画素を有するフレーム情報の数nf（ｉ）を算出して取得し（Ｓ７２５）、選出された画素を含むフレーム情報を取得する（Ｓ７３０）。図の例では、nf（ｉ）＝２となる。次に、フレーム情報別に、同フレーム情報から最短画素のＹＣｂＣｒデータを用いてバイ・リニア法による補間処理等の所定の補間処理を行い、フレーム情報別の階調データを生成する（Ｓ７３５）。すなわち、複数のフレーム情報のうち注目画素ｉを基準とした所定の範囲内の画素を含むフレーム情報を用いて補間処理を行うことになる。
そして、補間処理後の各階調データの相加平均を求めて、注目画素ｉの画像データを生成する（Ｓ７４０）。ここで、補間処理後の階調データは、ＹＣｂＣｒデータであってもよいし、ＲＧＢデータであってもよい。階調データをまとめる際には、相加平均以外にも、相乗平均、調和平均、フレーム情報別に異なる重みを付けた平均、等を行ってもよい。注目画素ｉから所定の範囲内にあるフレーム情報の画素が一つしかないとき、平均する処理を省略すると、画像データを生成する処理を高速化させることが可能となる。
【００８９】
なお、図２４の画素ｉ_Aのように、生成する画像データの画素から閾値Lth以下の距離（所定の範囲内）にフレーム情報の画素が存在しないとき、複数のフレーム情報のうちのいずれかのフレーム情報を用いて補間処理を行うことにしている。この場合、参照フレーム情報を用いて補間処理を行ってもよいし、図１７で示したように最短画素を含むフレーム情報を取得して補間処理を行ってもよい。このようにして、生成する画像データの全画素を確実に埋めることができる。
【００９０】
その後、生成する画像データの全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ７４５）。画像データを生成していない画素が残っている場合には、注目画素ｉを順次移動させながら繰り返しＳ７１０〜Ｓ７４５の処理を行い、全画素について画像データを生成した場合には、本フローを終了する。
以上の処理により、座標変換の行われた複数のフレーム情報が合成され、静止画像を多数の画素で階調表現する画像データが生成される。特に、個々のフレーム画像の動き推定の精度が良好でないときにフレーム画像間のずれを目立たせなくすることができるため、このようなときに高精細な高解像度画像を得ることが可能となる。
【００９１】
以上の合成処理を行うことを前提として、図２２のフローについて説明する。まず、映像ファイルを指定する操作入力を受け付けるとともに静止画像として生成したい箇所のフレーム画像の選択入力を受け付けた後、横画素数Ｗ、縦画素数Ｈ、画質モード設定値を取得する（Ｓ６０５）。次に、図６で示した対応テーブルを参照して画質モード設定値に対応する閾値TH2（画質設定情報）を取得する（Ｓ６１０）。このTH2は、画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数の平均値についての閾値である。
【００９２】
その後、映像情報から、参照フレーム情報とするフレーム情報を取得し（Ｓ６１５）、時系列に次のフレーム情報を対象フレーム情報として取得する（Ｓ６２０）。対象フレーム情報を取得すると、図１４で示したカメラモーション推定処理を行い、参照フレーム画像から対象フレーム画像への並進量ｕ，ｖと回転量δを取得する（Ｓ６２５）。ｕ，ｖ，δを取得すると、図１５で示したフレーム変換処理を行い、対象フレーム情報の全画素について参照フレーム情報とのずれをなくすように座標変換を行う（Ｓ６３０）。フレーム変換処理を行うと、図２３で示した合成処理（その２）を行い、生成する画像データの各画素についてnf（ｉ）を算出するとともに、参照フレーム情報と対象フレーム情報とを合成して出力画像を階調表現する画像データを生成する（Ｓ６３５）。
【００９３】
その後、フレーム情報の取得を終了する所定の終了条件が成立するか否かを判断するための評価値V2を算出する（Ｓ６４０）。評価値V2は、以下の式で表されるように、nf（ｉ）の総和を生成後の画像データの画素数Ｗ・Ｈで除した値、すなわち、nf（ｉ）の平均値である。
V2＝｛Σnf（ｉ）｝／（Ｗ・Ｈ） …(37)
そして、V2がTH2以上（所定の終了条件）またはより大であるか否かを判断する（Ｓ６４５）。V2がTH2より小（または以下）であるとき終了条件成立としてＳ６５０に進み、V2がTH2以上であるときＳ６５５に進む。Ｓ６５０では、所定の強制終了条件が成立しているか否かを判断し、条件成立時にＳ６５５に進み、条件不成立時に、映像情報から時系列順にさらに次のフレーム情報を対象フレーム情報として取得して繰り返しＳ６２０〜Ｓ６４５の処理を行う。すなわち、映像情報から順次フレーム情報を取得しながら、生成する画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数nf（ｉ）を求め、nf（ｉ）の平均値と閾値TH2とに基づいて所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときにフレーム情報の取得を終了することになる。その結果、フレーム情報が増加して所定範囲内の画素を有するフレーム情報の数nf（ｉ）の平均値が閾値TH2以上まで大きくなるまで、フレーム情報を取得する処理が繰り返される。そして、Ｓ６４５にて終了条件が成立すると、映像情報から取得するフレーム情報の数が決定され、Ｓ６３５の合成処理により、決定された数のフレーム情報が合成され、静止画像を表現する画像データが生成される。
【００９４】
Ｓ６５５では、生成した画像データに基づいて静止画像を表示する。そして、画像データをＨＤ等に保存し（Ｓ６６０）、本フローを終了する。
以上の処理を行うと、フレーム情報の画素が生成後の画像データの画素に近くなるほど静止画像をより高画質化させるので、確実に出力する静止画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、効率よく静止画像を得ることが可能となる。また、画質モード設定値を大きくさせるほど閾値TH2が大きくなってフレーム情報数が増えるので出力画像の画質を向上させ、画質モード設定値を小さくさせるほど閾値TH2が小さくなってフレーム情報数が減るのでより素早く出力画像を得ることができ、本画像生成装置は便利である。
【００９５】
（８）第四の実施形態：
図２５は第四の実施形態にかかる画像生成装置が行う処理をフローチャートにより示しており、図２６はＳ８３５で行われる合成処理（その３）をフローチャートにより示している。まず、合成処理（その３）について、説明する。
まず、ＲＡＭ内に設けたカウンタnuに０を代入する（Ｓ９０５）。次に、図２３のＳ５０５〜Ｓ５２０と同様、最短画素距離の閾値Lthを取得し、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定し、全てのフレーム情報の全画素のうち、注目画素ｉの近傍に存在する座標（xf，yf）の画素と、座標（x0，y0）の注目画素ｉとの距離｛（xf−x0）²＋（yf−y0）²｝^1/2を算出し、算出した距離が閾値Lth以下となるフレーム情報の画素を選出する（Ｓ９１０〜Ｓ９２５）。
【００９６】
その後、注目画素ｉから所定の範囲内となるフレーム情報の画素の数が０であるか否か（０以下であるか否か）を判断する（Ｓ９３０）。条件成立時にはカウンタnuを１増加させて（Ｓ９３５）、Ｓ９４０に進み、条件不成立時にはそのままＳ９４０に進む。図２４の例では、生成する画像データの９画素のうち画素ｉ_A，ｉ_Bの２画素が、所定範囲内に画素が存在していない。従って、注目画素が画素ｉ_A，ｉ_Bであるときにnuが１ずつ増える。
Ｓ９４０〜Ｓ９５０では、上記Ｓ７３０〜Ｓ７４０と同様、選出された画素を含むフレーム情報を取得し、フレーム情報別に、同フレーム情報から最短画素のＹＣｂＣｒデータを用いてバイ・リニア法による補間処理等の所定の補間処理を行い、フレーム情報別の階調データを生成し、補間処理後の各階調データの相加平均を求めて、注目画素ｉの画像データを生成する。
そして、生成する画像データの全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ９５５）。画像データを生成していない画素が残っている場合には、注目画素ｉを順次移動させながら繰り返しＳ９１５〜Ｓ９５５の処理を行い、全画素について画像データを生成した場合には、本フローを終了する。
【００９７】
以上の合成処理を行うことを前提として、図２５のフローについて説明する。
まず、映像ファイルを指定する操作入力を受け付けるとともに静止画像として生成したい箇所のフレーム画像の選択入力を受け付けた後、横画素数Ｗ、縦画素数Ｈ、画質モード設定値を取得する（Ｓ８０５）。次に、図６で示した対応テーブルを参照して画質モード設定値に対応する閾値TH3（画質設定情報）を取得する（Ｓ８１０）。このTH3は、画像データの画素の総数に対する当該画素のうち所定の範囲内となるフレーム情報の画素の数が０となる画素の数の比についての閾値である。
【００９８】
その後、映像情報から、参照フレーム情報とするフレーム情報を取得し（Ｓ８１５）、時系列に次のフレーム情報を対象フレーム情報として取得する（Ｓ８２０）。対象フレーム情報を取得すると、図１４で示したカメラモーション推定処理を行い、参照フレーム画像から対象フレーム画像への並進量ｕ，ｖと回転量δを取得する（Ｓ８２５）。ｕ，ｖ，δを取得すると、図１５で示したフレーム変換処理を行い、対象フレーム情報の全画素について参照フレーム情報とのずれをなくすように座標変換を行う（Ｓ８３０）。フレーム変換処理を行うと、図２３で示した合成処理（その３）を行い、nuを求めるとともに、参照フレーム情報と対象フレーム情報とを合成して出力画像を階調表現する画像データを生成する（Ｓ８３５）。
【００９９】
その後、フレーム情報の取得を終了する所定の終了条件が成立するか否かを判断するための評価値V3を算出する（Ｓ８４０）。評価値V3は、以下の式で表されるように、nuを生成後の画像データの画素数Ｗ・Ｈで除した値、すなわち、生成する全画素のうち所定範囲内に画素が存在しない画素の割合である。
V3＝nu／（Ｗ・Ｈ） …(38)
そして、V3がTH3以下（所定の終了条件）またはより小であるか否かを判断する（Ｓ８４５）。V3がTH3より大（または以上）であるとき終了条件成立としてＳ８５０に進み、V3がTH3以下であるときＳ８５５に進む。Ｓ８５０では、所定の強制終了条件が成立しているか否かを判断し、条件成立時にＳ８５５に進み、条件不成立時に、映像情報から時系列順にさらに次のフレーム情報を対象フレーム情報として取得して繰り返しＳ８２０〜Ｓ８４５の処理を行う。すなわち、映像情報から順次フレーム情報を取得しながら、生成する画像データにおける画素のうち所定の範囲内となるフレーム情報の画素の数が０となる画素の数nuを求め、nuと閾値TH3とに基づいて所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときにフレーム情報の取得を終了することになる。その結果、フレーム情報が増加して生成する画像データの画素のうち所定範囲内に画素が存在しない画素の数nuの比が閾値TH3以下まで小さくなるまで、フレーム情報を取得する処理が繰り返される。そして、Ｓ８４５にて終了条件が成立すると、映像情報から取得するフレーム情報の数が決定され、Ｓ８３５の合成処理により、決定された数のフレーム情報が合成され、静止画像を表現する画像データが生成される。
【０１００】
図２４の例では、生成する画像データの９画素のうち２画素が所定範囲内の画素数０となっているので、２／９＝０．２２が評価値V3となる。図６の例で画質モード設定値が３であるとすると、閾値TH3は０．２であり、Ｓ８４５で条件不成立となる。そこで、Ｓ８２０〜Ｓ８４０で対象フレーム情報を一つ追加してフレーム変換処理を行うことになる。フレーム情報数が４である図２４の状態から対象フレーム情報（フレーム５）を一つ追加してフレーム変換処理を行ったときに図２７に示す状態になったものとする。このとき、生成する画像データの９画素のうち画素ｉ_Aの１画素のみ所定範囲内に画素が存在しないので、評価値V3は１／９＝０．１１となる。すると、V3≦TH3となるので、終了条件の基準が達成され、Ｓ８４５で条件成立となる。
【０１０１】
Ｓ８５５では、生成した画像データに基づいて静止画像を表示する。そして、画像データをＨＤ等に保存し（Ｓ８６０）、本フローを終了する。
以上の処理を行うと、フレーム情報の画素が生成後の画像データの画素に近くなるほど静止画像をより高画質化させるので、確実に出力する静止画像の画質に合った適切な数のフレーム情報を合成して画像データを生成することができ、効率よく静止画像を得ることが可能となる。
なお、全く同じ内容の画像が連続している等の理由により、いくらフレーム情報を追加しても基準を達成しないことが考えられる。そのときのために、フレーム情報を追加していくループには基準を達成していない場合でも無限ループにならないように停止する手段を設けておけばよい。例えば、単に合成するフレーム情報数の上限値を設けておいたり、規定回数連続して評価値がほとんど変化しなければ終了する等により、無限ループを回避することができる。
【０１０２】
ところで、図２６のＳ９３０では注目画素ｉから所定の範囲内となるフレーム情報の画素の数が所定数（例えば、１）以下であるか否かを判断し、所定数以下である場合にnuを１増加させるようにしてもよい。この場合であっても、生成する画像データの全画素数に対するnuの比は、生成後の画像データの画素からフレーム情報の画素がどの程度近いかを表す指標となるので、閾値TH3が小さくなるほど（画質モード設定値が大きくなるほど）静止画像をより高画質にさせ、閾値TH3が大きくなるほどより高速にて画像データを生成することができ、本画像生成装置は便利である。
これまで、図６にあるいくつかの画質設定情報を取り入れた実施例を説明してきたが、画質設定情報（その１）を使う方法は、フレーム取得前にフレーム数を決定することができる、簡易な方法である。それに比べて、画質設定情報（その２〜４）を使う方法は、画像データにおける各画素についてそれぞれ定められた方法で情報を取得し、全画素の情報をまとめるため、処理負担がかかる。合成するフレーム数が多く、各フレーム情報のずれ量がランダムであれば、それぞれの方法は、適当な設定値あるいは閾値に調整することでほぼ同一の結果が得られる。しかし、４フレーム程度の合成で、各フレーム情報のずれ量に偏りがある場合は、画質設定情報（その１）を使う方法では、部分的に所望の画質に到達しないこともあるため、画質設定情報（その２〜４）を使う方法がより有効である。これまで説明してきた実施例にあるように、合成手段の方法にあわせた画質設定情報を使うようにすると、処理負担を軽減することが可能である。
【０１０３】
（９）まとめ：
本発明の画像生成装置は、様々な構成が可能である。
例えば、プリンタは、コンピュータと一体化されたものであってもよい。上述したフローについては、コンピュータ本体内で実行する以外にも、一部または全部をプリンタあるいは専用の画像出力装置で実行するようにしてもよい。
画像データを構成する多数の画素は、縦横に整然と並んだドットマトリクス状とされる以外にも、様々な構成が考えられる。例えば、正六角形を密に並べたような蜂の巣状に整然と並んだ画素から画像データを構成してもよい。
フレーム画像の一部分を合成して静止画像を表現する画像データを生成することにも、本発明を適用可能である。また、１ライン毎に分からない領域があるインターレース映像であっても、フィールド毎に重ね合わせることにより、Ｉ・Ｐ変換にも効果を発揮し、動画像の１シーンを高解像度の静止画として表示、印刷する場合に、精細さを高めることができる。むろん、必ずしも解像度変換を目的としない複数フレームの重ね合わせ（例えば、パノラマ合成など）にも有効である。
【０１０４】
さらに、フレーム画像の並進量や回転量を検出する際に、参照フレーム情報を変えながら検出を行ってもよい。時系列順に第一、第二、第三のフレーム情報を取得する場合、第一・第三のフレーム情報で表現される画像間の回転ずれよりも時系列順に隣接した第二・第三のフレーム情報で表現される画像間のずれのほうが少ないことが多いので、より高精度にて並進ずれを表す並進量や回転ずれを表す回転量を検出することができる。従って、高精度にて並進量情報や回転量情報を取得することができ、より高画質の静止画像を得ることが可能となる。
以上説明したように、本発明によると、種々の態様により、静止画像を表現する画像データを生成する処理を効率よく行って静止画像を効率よく得ることが可能な画像生成装置および画像生成プログラムを提供することができる。また、画像生成方法としても適用可能である。
【図面の簡単な説明】
【図１】印刷システムの概略構成を示す図。
【図２】プリンタの構成を示すブロック図。
【図３】画像生成装置の構成の概略を模式的に示す図。
【図４】フレーム情報の構成を模式的に示す図。
【図５】並進量と回転量を検出する様子を模式的に示す図。
【図６】画質設定情報の例を示す図。
【図７】参照フレーム画像と対象フレーム画像とを重ね合わせる様子を模式的に示す図。
【図８】勾配法により並進量を推定する様子を模式的に示す図。
【図９】画素の回転量を模式的に示す図。
【図１０】パターンマッチ法により並進量を推定する様子を模式的に示す図。
【図１１】画像生成装置が行う処理を示すフローチャート。
【図１２】フレーム画像選択画面の表示例を示す図。
【図１３】シーン取得設定画面の表示例を示す図。
【図１４】カメラモーション推定処理を示すフローチャート。
【図１５】フレーム変換処理を示すフローチャート。
【図１６】対象フレーム情報を座標変換して重ね合わせる様子を模式的に示す図。
【図１７】合成処理（その１）を示すフローチャート。
【図１８】最短画素を選択する様子を模式的に示す図。
【図１９】バイ・リニア法による補間処理を行う様子を模式的に示す図。
【図２０】静止画像保存画面の表示例を示す図。
【図２１】第二の実施形態にかかる画像生成装置が行う処理を示すフローチャート。
【図２２】第三の実施形態にかかる画像生成装置が行う処理を示すフローチャート。
【図２３】合成処理（その２）を示すフローチャート。
【図２４】注目画素ｉから所定範囲内の画素を選択する様子を模式的に示す図。
【図２５】第四の実施形態にかかる画像生成装置が行う処理を示すフローチャート。
【図２６】合成処理（その３）を示すフローチャート。
【図２７】図２４の状態からフレーム情報を一つ追加した状態を模式的に示す図。
【符号の説明】
１０…パーソナルコンピュータ（ＰＣ）、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ハードディスク（ＨＤ）、１５…ＤＶＤ−ＲＯＭドライブ、１７ａ…１３９４用Ｉ／Ｏ、１７ｂ〜ｅ…各種インターフェイス（Ｉ／Ｆ）、１８ａ…ディスプレイ、１８ｂ…キーボード、１８ｃ…マウス、２０…インクジェットプリンタ、３０…デジタルビデオカメラ、５１…画素、５２ａ〜ｄ…フレーム情報、５２ｃ１…中心、５３ａ，ｃ…オブジェクト、６１ａ…最短画素、６１ｂ〜ｄ…画素、１００…印刷システム、Ｄ１…映像情報、Ｄ２…フレーム情報、Ｄ３…複数のフレーム情報、Ｄ３１…参照フレーム情報、Ｄ３２…対象フレーム情報、Ｄ４…回転量情報、Ｄ５…並進量情報、Ｄ６…フレーム情報、Ｄ７…画像データ、Ｄ８…階調データ、Ｄ１０…画質設定情報、Ｕ０…画像生成装置、Ｕ１…フレーム取得手段、Ｕ２…ずれ量取得手段、Ｕ３…変換手段、Ｕ４…合成手段

Claims (11)

1. 画像を多数の画素別の階調データで表現したフレーム情報を多数有する映像情報から複数のフレーム情報を取得し、当該複数のフレーム情報を合成して画像出力装置の出力画像を多数の画素で階調表現する画像データを生成する画像生成装置であって、
   上記出力画像の画質を設定可能とする画質設定情報に基づいて上記映像情報から取得するフレーム情報の数を決定し、決定した数の上記フレーム情報を上記映像情報から取得するフレーム取得手段と、
   取得された数の上記フレーム情報を合成して上記画像データを生成する合成手段と、
   を具備し、
   前記フレーム取得手段は、
   前記出力画像の横解像度及び縦解像度を取得すると共に、画質モードを取得し、予め用意されたテーブルを参照して、前記画質モードに対応した、前記画質設定情報である画質向上度を取得し、前記フレーム情報の横画素数をｗ、縦画素数をｈ、前記出力画像の横解像度をＷ、縦解像度をＨ、前記画質向上度をＶとした場合、前記フレーム情報の数ｎ１を、下記の式に基づいて、
   ｎ１＝Ｖ・（Ｗ・Ｈ）／（ｗ・ｈ）
   決定することを特徴とする画像生成装置。
2. 上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間のずれを表すずれ情報を取得するずれ量取得手段と、
   取得された上記ずれ情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを移動させて画像間のずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換手段とが設けられ、
   上記合成手段は、上記変換処理が行われた複数のフレーム情報を合成して上記画像データを生成することを特徴とする請求項１に記載の画像生成装置。
3. 上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上画像データにおける各画素について同取得した複数のフレーム情報の画素のうち最も近い画素までの距離を算出し、算出した距離をまとめた値と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了することを特徴とする請求項１または請求項２に記載の画像生成装置。
4. 上記画質設定情報は、上記画像データにおける各画素について上記複数のフレーム情報の画素のうち最も近い画素までの距離をまとめた値についての閾値とされ、上記フレーム取得手段は、上記算出した距離をまとめた値が同閾値以下またはより小となるまで上記映像情報から上記フレーム情報を取得することを特徴とする請求項３に記載の画像生成装置。
5. 上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上記画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数を求め、求めた数をまとめた値と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了することを特徴とする請求項１〜請求項４のいずれかに記載の画像生成装置。
6. 上記画質設定情報は、上記画像データにおける各画素について所定の範囲内となる画素を有するフレーム情報の数をまとめた値についての閾値とされ、上記フレーム取得手段は、上記求めた数をまとめた値が同閾値以上またはより大となるまで上記映像情報から上記フレーム情報を取得することを特徴とする請求項５に記載の画像生成装置。
7. 上記フレーム取得手段は、上記映像情報から順次上記フレーム情報を取得しながら、上記画像データにおける画素のうち所定の範囲内となる上記フレーム情報の画素の数が所定数以下となる画素の数を求め、求めた数と上記画質設定情報とに基づいてフレーム情報の取得を終了する所定の終了条件が成立するか否かを判断し、同終了条件が成立すると判断したときに上記フレーム情報の取得を終了することを特徴とする請求項１〜請求項６のいずれかに記載の画像生成装置。
8. 上記画質設定情報は、上記画像データの画素の総数に対する同画像データにおける画素のうち所定の範囲内となる上記フレーム情報の画素の数が所定数以下となる画素の数の比についての閾値とされ、上記フレーム取得手段は、上記比を求め、求めた比が同閾値以下またはより小となるまで上記映像情報から上記フレーム情報を取得することを特徴とする請求項７に記載の画像生成装置。
9. 上記フレーム取得手段は、上記出力画像の画質に影響を与える情報の入力を受け付け、入力された情報に基づいて上記画質設定情報を取得し、取得した画質設定情報に基づいて上記映像情報から取得するフレーム情報の数を決定することを特徴とする請求項１〜請求項８のいずれかに記載の画像生成装置。
10. 画像を多数の画素別の階調データで表現したフレーム情報を多数有する映像情報から複数のフレーム情報を取得し、当該複数のフレーム情報を合成して画像出力装置の出力画像を多数の画素で階調表現する画像データを生成する画像生成方法であって、
    上記出力画像の画質を設定可能とする画質設定情報に基づいて上記映像情報から取得するフレーム情報の数を決定し、決定した数の上記フレーム情報を上記映像情報から取得するフレーム取得工程と、
    取得された数の上記フレーム情報を合成して上記画像データを生成する合成工程と、
    を具備し、
    前記フレーム取得工程では、
    前記出力画像の横解像度及び縦解像度を取得すると共に、画質モードを取得し、予め用意されたテーブルを参照して、前記画質モードに対応した、前記画質設定情報である画質向上度を取得し、前記フレーム情報の横画素数をｗ、縦画素数をｈ、前記出力画像の横解像度をＷ、縦解像度をＨ、前記画質向上度をＶとした場合、前記フレーム情報の数ｎ１を、下記の式に基づいて、
    ｎ１＝Ｖ・（Ｗ・Ｈ）／（ｗ・ｈ）
    決定することを特徴とする画像生成方法。
11. 画像を多数の画素別の階調データで表現したフレーム情報を多数有する映像情報から複数のフレーム情報を取得し、当該複数のフレーム情報を合成して画像出力装置の出力画像を多数の画素で階調表現する画像データを生成する機能をコンピュータに実現させる画像生成プログラムであって、
    上記出力画像の画質を設定可能とする画質設定情報に基づいて上記映像情報から取得するフレーム情報の数を決定し、決定した数の上記フレーム情報を上記映像情報から取得するフレーム取得機能と、
    取得された数の上記フレーム情報を合成して上記画像データを生成する合成機能と、
    を実現させると共に、
    前記フレーム取得機能では、
    前記出力画像の横解像度及び縦解像度を取得すると共に、画質モードを取得し、予め用意されたテーブルを参照して、前記画質モードに対応した、前記画質設定情報である画質向上度を取得し、前記フレーム情報の横画素数をｗ、縦画素数をｈ、前記出力画像の横解 像度をＷ、縦解像度をＨ、前記画質向上度をＶとした場合、前記フレーム情報の数ｎ１を、下記の式に基づいて、
    ｎ１＝Ｖ・（Ｗ・Ｈ）／（ｗ・ｈ）
    決定することを特徴とする画像生成プログラム。

Images