JP4270281B2 - 画像処理のための装置、方法、および、プログラム - Google Patents

Description

本発明は、画像処理のための装置、方法、および、プログラムに関するものである。

動画像は、時系列に沿って並ぶ複数の静止画像を含んでいる。このような静止画像を抽出することにより、動画像中の１ショットを表す静止画像を生成することができる。ここで、複数の静止画像を重ね合わせて合成することによって、元の静止画像よりも画素密度の高い高解像度画像を生成する技術が知られている。

特開２０００−２４４８５１号公報

ところで、合成に利用される複数の静止画像を動画像から取得する処理は複雑であった。例えば、或る静止画像（対象画像とも呼ぶ）を表す高解像度画像を生成するために、対象画像に加えて対象画像の前後の静止画像を合成する技術が知られている。ここで、対象画像よりも先の静止画像（「先画像」とも呼ぶ）を取得するために、動画像データにおけるデータの並び（シーケンス）を対象画像から遡って先画像を取得する場合がある。ところが、動画像のフォーマットは、データの並びを遡って静止画像を取得することを考慮せずに設定されている場合が多い。そこで、一旦、動画像におけるデータの並びを大幅に遡った後に、目的の先画像が得られるまで動画像からデータを読み出す処理といった複雑な処理が用いられていた。また、ＭＰＥＧ形式の動画像のように、一部の静止画像が、他の参照画像との差分を利用した符号化によって表されている場合がある。この場合には、目的の先画像を取得するために参照画像も要求されるので、合成に利用される複数の静止画像を動画像から取得する処理がさらに複雑であった。

本発明は、上記の課題を解決するためになされたものであり、合成に利用される複数の静止画像を動画像から取得する処理の簡素化を図ることができる技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の画像処理装置は、動画像を処理する画像処理装置であって、前記動画像に含まれる複数の静止画像の中から対象画像を指定する指定情報に従って、前記対象画像を含む複数の静止画像で構成される画像グループを、前記動画像から選択する選択部と、前記画像グループに含まれる複数の静止画像を前記動画像から取得する取得処理を実行する取得部と、前記取得された複数の静止画像を合成することによって、前記対象画像よりも画素密度が高い、前記対象画像の高解像度画像を生成する合成処理を実行する合成部と、を備え、前記選択部は、前記対象画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第１モードによる選択を実行する機能を有する。

この画像処理装置によれば、合成に利用される複数の静止画像として、対象画像と、時系列の順番が対象画像よりも後の静止画像と、が選択されるので、合成に利用される複数の静止画像を動画像から取得する処理の簡素化を図ることができる。

上記画像処理装置において、前記選択部は、さらに、前記対象画像と、時系列の順番が前記対象画像よりも先の静止画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第２モードによる選択を実行する機能を有し、前記指定情報によって、同じ動画像内の複数の静止画像のそれぞれが、前記対象画像として指定される場合には、前記選択部は、前記各対象画像毎に前記画像グループを選択し、前記取得部および前記合成部は、前記取得処理および前記合成処理を含む一連の処理を、与えられた順番で前記各画像グループ毎に実行し、前記選択部は、（Ａ）最初に取得される画像グループを選択するために、前記第１モードによる選択を実行し、（Ｂ）他の画像グループを選択するために、前記第２モードによる選択を実行することとしてもよい。

この構成によれば、最初に取得される画像グループが第１モードで選択されるので、最初の高解像度画像が提供されるまでに要する時間が過剰に長くなることを抑制できる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としてのプリンタを示す説明図である。図１（Ａ）は、プリンタ１００の外観を示し、図１（Ｂ）は、プリンタ１００の構成の概略を示している。図１（Ａ）に示すように、このプリンタ１００は、ディスプレイ４０と、操作パネル５０と、メモリカードインターフェース７０と、を備えている。さらに、図１（Ｂ）に示すように、このプリンタ１００は、制御部２００と、印刷エンジン３００と、を備えている。

制御部２００は、ＣＰＵ２１０と、ＲＯＭ２２０と、ＲＡＭ２３０と、を備えるコンピュータである。この制御部２００は、プリンタ１００の各構成要素を制御する。印刷エンジン３００は、与えられた印刷データに応じて印刷を実行する印刷機構である。印刷機構としては、インク滴を印刷媒体に吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写・定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。ディスプレイ４０は、画像を含む種々の情報を表示する。ディスプレイ４０としては、液晶ディスプレイや有機ＥＬディスプレイ等の種々のディスプレイを採用可能である。操作パネル５０は、停止ボタン５２と、選択ボタン５４と、再生ボタン５６と、送りボタン５８と、戻しボタン５９と、を含む複数のボタンを有している。いずれかのボタンが押下された場合には、そのボタンが押下されたことを示す信号が、制御部２００に供給される。操作パネル５０は、ユーザの指示を受ける入力部として機能する。このような入力部としては、操作パネル５０に限らず、タッチパネル等のユーザの指示を受ける種々の入力装置を採用可能である。メモリカードインターフェース７０は、メモリカードＭＣを挿入するスロットＭＳを含んでいる。メモリカードＭＣに格納されたデータは、メモリカードインターフェース７０を介して、制御部２００によって読み出される。

図２は、ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。第１実施例では、選択モジュール４００と、取得モジュール４１０と、合成モジュール４２０と、出力モジュール４３０と、がＲＯＭ２２０に格納されている。これらのモジュールは、ＣＰＵ２１０によって実行されるプログラムである。また、各モジュールは、ＲＡＭ２３０（図１（Ｂ））を介して種々のデータをやりとりすることが可能である。

図３は、動画像処理の手順を示すフローチャートである。この動画像処理は、制御部２００（図１）によって実行される。この動画像処理では、動画像に含まれる複数の静止画像の中からユーザによって対象画像が指定され、そして、対象画像が印刷される。制御部２００は、スロットＭＳ（図１）に動画像データを格納するメモリカードＭＣが挿入されたことに応じて、自動的に動画像処理を開始する。あるいは、制御部２００は、ユーザの指示に従って、動画像処理を開始してもよい。

最初のステップＳ３００では、取得モジュール４１０（図２）が、メモリカードＭＣから動画像データを取得し、動画像の再生を開始する。動画像データのフォーマットとしては、ＭＰＥＧ（Moving Picture Experts Group）やＭｏｔｉｏｎＪＰＥＧ等の種々のフォーマットがある。また、スキャン方式としては、プログレッシブとインタレースとがある。第１実施例では、動画像データのフォーマットが、プログレッシブスキャンのＭＰＥＧフォーマットであることとしている。このような動画像データは、複数のピクチャを含んでいる。このようなピクチャには、いわゆるＩピクチャ、Ｐピクチャ、Ｂピクチャが含まれ得る。

図４は、ピクチャの説明図である。図４には、動画像データに含まれる複数のピクチャのそれぞれが、符号付きの四角で示されている。符号中のアルファベット（Ｉ、Ｐ、Ｂ）は、ピクチャの種類を示し、符号中の数字は、再生すべき順番を示している。Ｉピクチャは予測無しの符号化を用いたデータであり、Ｐピクチャは順方向予測符号化を用いたデータであり、Ｂピクチャは双方向予測符号化を用いたデータである。本実施例では、各ピクチャのそれぞれが、ある時点における１枚のフレーム画像（静止画像）を表している。

図中の「デコード順」は、動画像を再生する場合にデコードされる順番を表している。動画像データには、このデコード順に、複数のピクチャが格納されている。動画像データがＢピクチャを含む場合には、このデコード順が再生順（時系列順）とは異なり得る。この理由は、Ｂピクチャのデコードに、そのＢピクチャよりも後に再生すべきＰピクチャあるいはＩピクチャが利用されるからである。

取得モジュール４１０は、各ピクチャをデコードすることによって、時系列に沿って並ぶ複数の静止画像を表す静止画像データ（フレーム画像データ）を取得し、取得した静止画像データが表す静止画像（フレーム画像）をディスプレイ４０に表示させる。そして、取得モジュール４１０は、表示されるフレーム画像を時系列に沿った順番に切り換えることによって、動画像を再生する。

図３の次のステップＳ３１０では、ユーザによって対象画像が指定される。第１実施例では、選択ボタン５４（図１（Ｂ））が押下された時点に表示されているフレーム画像が対象画像として利用される。ユーザは、ディスプレイ４０に表示される動画像を見て、好みのショットが表示された時点で選択ボタン５４を押下すればよい。選択ボタン５４が押下されたことを示す信号は、操作パネル５０から制御部２００に供給される。以下、この信号を「指定信号」とも呼ぶ。

選択モジュール４００（図２）は、指定信号の受信に応じて、その時点に表示されていたフレーム画像が対象画像として指定されていることを、認識する。すなわち、第１実施例では、指定信号が、特許請求の範囲における「指定情報」に相当する。また、取得モジュール４１０は、指定信号の受信に応じて、動画像の再生を停止する。

次のステップＳ３２０は、選択モジュール４００（図２）が、指定信号の受信に応じて、画像グループを選択する。図５は、画像グループの説明図である。図中には、動画像に含まれる複数のフレーム画像ＦＲのそれぞれが四角で示されている。四角の中に記載された数字は、時系列に沿った順番を示している（以下、この順番を「フレーム番号」とも呼ぶ）。符号ＳＩが付されたフレーム画像は対象画像を示している。そして、フレーム画像のグループＩＧは、指定信号に応じて選択された画像グループを示している。この画像グループＩＧは、対象画像ＳＩを含む５枚のフレーム画像で構成されている。特に、この画像グループＩＧは、対象画像ＳＩと、時系列に沿った順番（再生順番）が対象画像ＳＩよりも後ろのフレーム画像（以下「後フレーム」とも呼ぶ）と、で構成されている。対象画像ＳＩよりも後ろのフレーム画像が選択される理由については、後述する。

図３の次のステップＳ３３０では、取得モジュール４１０が、画像グループＩＧに含まれる静止画像を取得する（静止画像を表す静止画像データを取得する）。図５に示したように、画像グループＩＧは、対象画像ＳＩと、後フレームと、で構成されている。従って、取得モジュール４１０は、動画像の再生時と同様に、対象画像の取得に続いて所定のデコード順にピクチャをデコードすることによって、画像グループＩＧの全ての静止画像（フレーム画像）を取得することができる。

ここで、画像グループＩＧに、時系列の順番（再生順番）が対象画像ＳＩよりも先のフレーム画像（以下「先フレーム」とも呼ぶ）が含まれていると仮定する。例えば、図４において、Ｂ６ピクチャが対象画像として指定され、そして、１つ先のＰ５ピクチャと２つ先のＢ４ピクチャとが画像グループに含まれていると仮定する。ここで、Ｂ４ピクチャのデコードには、Ｉ２ピクチャとＰ５ピクチャとが要求される。従って、２つの先フレーム（Ｐ５、Ｂ４）の取得には、３つのピクチャＢ４、Ｐ５、Ｉ２が利用される。これら３つのピクチャＢ４、Ｐ５、Ｉ２のデコード順は、それぞれ、対象画像（Ｂ６）よりも４つ先、２つ先、７つ先である。このように、対象画像から遡るべきデータサイズ（デコード順）は、取得すべきフレーム（ピクチャ）によって大幅に変化し得る。また、利用する動画像データによっても、遡るべきデータサイズは大幅に変化し得る。また、選択された先フレームによっては、先フレームのデコード順が対象画像のデコード順よりも後である場合もある。そこで、このような先フレームを取得するためには、例えば、動画像データにおけるデータの並び（データシーケンス）を大幅に遡った後に動画像データからデータシーケンスの順番にデータを読み出すことによって先フレームを取得する処理が実行される。

このように、画像グループＩＧに先フレームが含まれている場合には、合成用のフレーム画像を取得する処理が複雑な場合が多い。ところが、第１実施例では、画像グループＩＧには、先フレームが含まれていない。その結果、画像グループＩＧに含まれる複数のフレーム画像を取得する処理の簡素化を図ることができる。

図３の次のステップＳ３４０では、合成モジュール４２０が、画像グループＩＧに含まれる複数のフレーム画像を合成することによって、対象画像ＳＩの高解像度静止画像を生成する（複数のフレーム画像データを合成することによって高解像度静止画像データを生成する）。この高解像度静止画像および対象画像ＳＩは、同じ画像を表している。そして、この高解像度静止画像の画素密度は、対象画像ＳＩの画素密度よりも高い。図６は、画像合成の一例を示す説明図である。図中には対象画像ＳＩと４枚のフレーム画像Ｆ１〜Ｆ４が示されている（いずれの画像も画像グループＩＧに含まれている）。

合成モジュール４２０は、先ず、フレーム画像Ｆ１〜Ｆ４のそれぞれに関して、対象画像ＳＩを基準とする相対位置を決定する。図６には、４枚のフレーム画像Ｆ１〜Ｆ４が対象画像ＳＩに重ね合わせられる様子が示されている。各フレーム画像Ｆ１〜Ｆ４のそれぞれは、対象画像ＳＩに対する相対位置に配置されている。この相対位置は、被写体が重なり合うように決定される。図６の例では、太陽ＰＳＳと山ＰＳＭとが重なるように、相対位置が決定される。合成モジュール４２０は、このような相対位置を、画像のパターンマッチングや特徴点追跡、勾配法等の種々の周知の方法を用いて決定することができる。例えば、合成モジュール４２０は、重ね合わせたい２枚の画像のそれぞれから、被写体を表す線（例えば、輪郭線）の端点や分岐点等の特徴点を抽出し、得られた特徴点が重なるように相対位置を決定すればよい。また、合成モジュール４２０は、上述した種々の方法を用いることによって、１画素未満の大きさの精度で相対位置を決定することができる。なお、相対位置は、例えば、並進方向のズレ量と、回転方向のズレ量と、の組み合わせを用いて表すことができる。

次に、合成モジュール４２０は、画像グループＩＧに含まれる５枚の画像ＳＩ、Ｆ１〜Ｆ４を利用することによって、高解像度画像ＨＲの画素値を決定する。第１実施例では、高解像度画像ＨＲは、対象画像ＳＩと同じ画像を表している。ただし、高解像度画像ＨＲの画素密度は、対象画像ＳＩの画素密度よりも高い。高解像度画像ＨＲの画素密度は、ユーザが指定することとしてもよく、また、予め設定されていてもよい。いずれの場合も、高解像度画像ＨＲに含まれる複数の画素のそれぞれの画像内の位置は、画素密度に応じて決まる。

合成モジュール４２０は、対象画像ＳＩと、相対位置に基づく移動後のフレーム画像Ｆ１〜Ｆ４と、の画素値を利用して高解像度画像ＨＲの画素値を決定する。画素値の決定方法としては、種々の方法を採用可能である。例えば、高解像度画像ＨＲの或る画素（以下「生成画素」と呼ぶ）の画素値を、以下の方法で決定することができる。すなわち、重ね合わされた５枚の画像ＳＩ、Ｆ１〜Ｆ４の複数の画素の内の生成画素に最も近い所定数（例えば、４つ）の画素の画素値を補間することによって生成画素の画素値を決定してもよい。この際、生成画素と補間に利用される画素との距離に応じた重みを利用することが好ましい（距離が遠いほど重みが小さい）。また、重ね合わされた５枚のフレーム画像ＳＩ、Ｆ１〜Ｆ４の中から生成画素毎に１枚のフレーム画像を選択し、選択したフレーム画像に補間処理（例えば、バイリニア法やバイキュービック法）を適用することによって、生成画素の画素値を決定してもよい。この際、生成画素に最も近い画素を有するフレーム画像を選択すればよい。

図３の次のステップＳ３５０では、出力モジュール４３０は、高解像度画像ＨＲを利用した印刷を開始する。出力モジュール４３０は、高解像度画像ＨＲを利用して印刷データを生成し、生成した印刷データを印刷エンジン３００に供給する。印刷エンジン３００は、受信した印刷データを利用して印刷を実行する。印刷が完了したことに応じて、図３の動画像処理は終了する。

以上のように、第１実施例では、高解像度画像の合成に利用される複数の静止画像として、対象画像ＳＩと、時系列に沿った順番が対象画像ＳＩよりも後ろのフレーム画像と、が選択される。その結果、合成に利用される複数の静止画像を動画像から取得する処理の簡素化を図ることができる。

なお、ステップＳ３１０〜Ｓ３５０の処理が、同じ動画像データに対して繰り返されてもよい。すなわち、動画像が再生されている間に選択ボタン５４が押下される毎に、その時点で表示されているフレーム画像が印刷されてもよい。この場合には、取得モジュール４１０は、指定信号の受信した場合であっても、動画像の再生を継続すればよい。

なお、第１実施例では、選択ボタン５４以外のボタン５２、５６〜５９は利用されない（図１（Ｂ））。そこで、これらのボタン５２、５６〜５９を省略してもよい。

Ｂ．第２実施例：
図７は、動画像処理の別の例を示すフローチャートである。図３に示す処理との差違は、選択モジュール４００が、画像グループの選択モードとして、第１モードと第２モードとを有している点である（詳細は後述）。装置の構成は、図１、図２に示す第１実施例と同じである。

最初のステップＳ６００、Ｓ６１０は、図３のステップＳ３００、Ｓ３１０と同様である。ただし、第２実施例では、ステップＳ６１０が、複数回、繰り返され得る。その結果、同じ動画像から複数の対象画像がユーザによって指定され得る。また、第２実施例では、対象画像を指定するために、ユーザは、選択ボタン５４に加えて、停止ボタン５２と、再生ボタン５６と、送りボタン５８と、戻しボタン５９と、を利用可能である（図１）。取得モジュール４１０は、これらのボタンの押下に応じて以下の処理を実行する。
（１）停止ボタン５２：動画像の再生を停止（表示されるフレーム画像の更新を停止）。
（２）再生ボタン５６：動画像の再生を再開（表示されるフレーム画像の更新を再開）。
（３）送りボタン５８：表示されるフレーム画像をコマ送り。
（４）戻しボタン５９：表示されるフレーム画像をコマ戻し。

ユーザは、これらのボタンを選択的に押下することによって、好みのフレーム画像を表示させることができる。そして、好みのフレーム画像が表示された状態で選択ボタン５４を押下することによって、対象画像を指定することができる。選択モジュール４００は、選択ボタン５４が押下されたことに応じて、その時点に表示されているフレーム画像が対象画像として指定されていることを、認識する。

ステップＳ６１５では、選択モジュール４００は、対象画像の指定が完了したか否かを判断する。完了の条件としては、任意の条件を採用可能である。例えば、動画像が最後まで再生されたことを採用してもよい。また、操作パネル５０の完了ボタン（図示せず）が押下されたことを採用してもよい。対象画像の指定が完了していない場合には、ステップＳ６１０が繰り返される。

図８は、対象画像の一例を示す説明図である。図８には、図５と同様に、動画像に含まれる複数のフレーム画像ＦＲが示されている。図中の３つの画像ＳＩ１、ＳＩ２、ＳＩ３は、対象画像を示している。図７のステップＳ６１０が繰り返された場合には、選択モジュール４００は、指定信号（選択ボタン５４が押下されたことを示す信号）を、複数回、受信する。３つの画像ＳＩ１、ＳＩ２、ＳＩ３は、複数（この場合は３つ）の指定信号で指定されたフレーム画像を、それぞれ示している。第２実施例では、このような複数の指定信号の全体が、特許請求の範囲における「指定情報」に相当する。

対象画像の指定が完了した後、図７のステップＳ６２５〜Ｓ６６０の処理が実行される。これらのステップＳ６２５〜Ｓ６６０では、１枚の対象画像に関して、画像グループ取得と画像合成とを含む一連の処理が実行される。複数の対象画像が選択された場合には、各対象画像毎に、これらの一連の処理が繰り返される。第２実施例では、各対象画像は時系列の順番に処理される。例えば、図８の例では、第１対象画像ＳＩ１、第２対象画像ＳＩ２、第３対象画像ＳＩ３の順番に、ステップＳ６２５〜Ｓ６６０の処理が繰り返される。

ステップＳ６２５では、選択モジュール４００は、現行の対象画像が、複数の対象画像の内の最初に処理される画像であるか否かを判断する。この判断結果に応じて、選択モジュール４００は、画像グループ選択のモードを切り換える。第１モードでの選択は、上述の第１実施例での選択と同じであり、対象画像と、時系列の順番が対象画像よりも後の静止画像と、が選択される。第２モードは、対象画像と、時系列の順番が対象画像よりも先の静止画像と、時系列の順番が対象画像よりも後の静止画像と、を選択するモードである。

先ず、最初の対象画像が処理される場合について説明を行う。この場合には、ステップＳ６３０で、選択モジュール４００は、第１モードによる選択を実行する。ステップＳ６３０での選択は、図３のステップＳ３２０での選択と同じである。選択モジュール４００は、対象画像と後フレームとを、画像グループとして選択する。例えば、図８の例では、第１対象画像ＳＩ１は、複数の対象画像（ＳＩ１、ＳＩ２、Ｓｉ３）の中で最初に処理される。この第１対象画像ＳＩ１が処理される場合には、選択モジュール４００は、第１対象画像ＳＩ１と、第１対象画像ＳＩ１に続く４枚のフレーム画像とを、第１対象画像ＳＩ１のための画像グループＩＧ１として選択する。

続くステップＳ６４０、Ｓ６５０、Ｓ６６０は、図３のステップＳ３３０、Ｓ３４０、Ｓ３５０と、それぞれ同様に実行される。ステップＳ６４０では、取得モジュール４１０は、画像グループに含まれる全ての静止画像（フレーム画像）を動画像から取得する。この際、取得モジュール４１０は、データシーケンスの順番に動画像データからデータを読み出すことによって、画像グループを取得する。この際、不要なデータをスキップしつつデータ読み出しが実行されてもよい。

第１モードによる選択では、対象画像と後フレームとが選択される。従って、取得モジュール４１０は、対象画像の取得に続いて動画像の再生時と同様に所定のデコード順にピクチャをデコードすることによって、速やかに全てのフレーム画像を取得することができる。

画像グループに含まれる各静止画像を識別するための情報は、選択モジュール４００から取得モジュール４１０へ供給される。このような情報としては、対象画像を識別可能な任意の情報を採用可能である。例えば、フレーム番号（時系列に沿った順番）を採用可能である。また、各フレーム画像に対応付けられた再生時刻を採用してもよい（フレーム画像を表示すべき時刻であって、最初のフレーム画像に対する相対的な時刻）。

次のステップＳ６５０では、合成モジュール４２０は、取得されたフレーム画像を合成することによって、対象画像と同じ画像を表す高解像度画像を生成する。次のステップＳ６６０では、出力モジュール４３０は、高解像度画像を利用した印刷を開始する。

次のステップＳ６６５では、選択モジュール４００は、全ての対象画像に関する処理が完了したか否かを判断する。処理が完了した場合には、制御部２００は、動画像処理を終了する。未処理の対象画像が残っている場合には、選択モジュール４００は、ステップＳ６２５に戻り、次の対象画像に関する処理を開始する。次の対象画像に関する処理は、印刷の完了を待たずに開始される。

次に、２枚目の対象画像、および、それに続く対象画像が処理される場合について説明する。ステップＳ６２５では、選択モジュール４００は、現行の対象画像が最初の対象画像では無いと判断する。この場合には、ステップＳ６３５で、選択モジュール４００は、第２モードによる選択を実行する。第２モードでは、対象画像と、先フレームと、後フレームと、が選択される。例えば、図８に示す例において第２対象画像ＳＩ２が処理される場合について説明する。この場合には、選択モジュール４００は、第２対象画像ＳＩ２と、第２対象画像ＳＩ２に先行する２枚のフレーム画像と、第２対象画像ＳＩ２に続く２枚のフレーム画像とを、第２対象画像ＳＩ２のための画像グループＩＧ２として選択する。第３対象画像ＳＩ３のための画像グループＩＧ３についても、選択は同様に行われる。

次のステップＳ６４０では、取得モジュール４１０は、画像グループに含まれる全ての静止画像（フレーム画像）を動画像から取得する。取得モジュール４１０は、前回のステップＳ６４０に続いて、データシーケンスの順番に動画像データからデータを読み出すことによって、画像グループの少なくとも一部の静止画像を取得可能である。この際、不要なデータをスキップしつつデータ読み出しが実行されてもよい。

ところで、２枚目の対象画像、および、それに続く対象画像が処理される場合には、画像グループが先フレームを含んでいる。このような場合の静止画像の取得処理としては、種々の処理を採用可能である。例えば、取得モジュール４１０は、動画像データから対象画像を取得した後に、データシーケンスを対象画像から遡ることによって、先フレームを取得することができる。いずれの場合も、画像グループが第１モードで選択される場合と比べて、静止画像の取得処理が複雑になり得る。

なお、遡るデータサイズとしては、所定の値を採用可能である。例えば、種々の動画像データに対して先フレームを取り損なうことが無いように実験的に決定された値を採用すればよい。また、所定の値の代わりに、可変値を採用してもよい。例えば、データシーケンスを遡った後にデータシーケンスの順番にデータを読み出す処理を、遡るデータサイズを増大させつつ繰り返してもよい。ここで、この繰り返しを、画像グループの全てのフレーム画像の取得が完了するまで実行すればよい。

続くステップＳ６５０、Ｓ６６０は、最初の対象画像が処理される場合と同様に実行される。そして、全ての対象画像に関する処理が完了するまで、ステップＳ６２５〜Ｓ６６０の処理が繰り返される。これらにより、全ての対象画像に関して高解像度画像が生成される。また、全ての対象画像が印刷される。例えば、図８の例では、３枚の対象画像ＳＩ１、ＳＩ２、ＳＩ３に対応する３枚の高解像度画像ＨＲ１、ＨＲ２、ＨＲ３が、それぞれ生成される。

以上のように、第２実施例では、最初に取得される画像グループが第１モードで選択される。その結果、最初の画像グループには先フレームが含まれないので、最初の画像グループの取得に要する時間が過剰に長くなることが抑制される。そして、最初の高解像度画像の合成処理の速やかな開始が可能となる。これらにより、最初の高解像度画像が提供されるまでに要する時間が過剰に長くなることを抑制できる。

また、第２実施例では、他の画像グループ（最初の画像グループよりも後に取得される画像グループ）を選択するために、第２モードによる選択が実行される。これにより、先フレームと後フレームとの両方が、選択される。その結果、第１モードによる選択が実行された場合と比べて、画像グループにおける、対象画像に時間的に近いフレーム画像の数を増やすことができる。すなわち、画像グループにおける、対象画像に似たフレーム画像の数を増やすことができる。その結果、高画質な高解像度画像を生成することができる。

なお、第１モードによる画像グループの選択が利用される場合に、画像グループ中の時系列の順番が中央であるフレーム画像を高解像度画像が表すように合成を行えば、画像グループにおける、高解像度画像に似たフレーム画像の数を増やすことができる。例えば、図８の例で、高解像度画像ＨＲ１が、対象画像ＳＩ１では無く第６フレーム画像を表す場合が挙げられる。ただし、この場合には、高解像度画像が、指定された対象画像とは異なる画像を表す可能性が高くなる。従って、高解像度画像が対象画像と同じ画像を表すように合成を行うことが好ましい。

また、第２実施例では、次の対象画像に関する処理は、先の対象画像の印刷の完了を待たずに、開始される。従って、先の対象画像の印刷が実行されている間に、次の対象画像に関する処理を進行させることができる。その結果、複数の高解像度画像を生成する処理に要する時間が過剰に長くなることを抑制できる。

Ｃ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

変形例１：
動画像処理としては、図３、図７に示した処理に限らず、種々の処理を採用可能である。例えば、図７の手順において、画像グループの選択処理（ステップＳ６２５〜Ｓ６３５）が、ステップＳ６１０とステップＳ６１５との間に実行されてもよい。また、図７の手順において、ステップＳ６２５、Ｓ６３５を省略してもよい。すなわち、複数の対象画像が指定された場合に、全ての画像グループが第１モードで選択されてもよい。

変形例２：
複数の静止画像を合成することによって高解像度画像を生成する方法としては、上述の各実施例の方法に限らず、元の静止画像よりも画素密度が高い、対象画像の高解像度画像を生成するような任意の方法を採用可能である。例えば、対象画像を複数のブロックに分割し、複数の静止画像を重ね合わせるための相対位置をブロック毎に決定してもよい。また、合成に利用される静止画像の総数としては、５に限らず、任意の複数を採用可能である。

変形例３：
上述の各実施例において、第１モードおよび第２モードのそれぞれにおける画像グループの選択方法としては、上述の各実施例の方法に限らず、種々の方法を採用可能である。例えば、選択モジュール４００は、第１モードによる選択において、対象画像に対する類似度が所定の閾値以下である静止画像を画像グループから除外し、類似度が閾値よりも高い静止画像を画像グループとして選択してもよい。こうすれば、対象画像に似ていない静止画像が合成に利用されることが抑制されるので、生成される高解像度画像の画質を高めることができる。なお、２枚の画像間の類似度の算出方法としては任意の方法を採用可能である。例えば、２枚の画像のそれぞれの輝度ヒストグラムを作成し、各階級の度数の差分の和を類似度として用いてもよい（この場合には、和が小さいほど類似度が高い）。また、各画像中における特徴点を用いたパターンマッチングによって、類似度を算出してもよい。なお、類似度の低い静止画像を除外する場合には、合成に利用される画像の総数を維持するために別の静止画像を追加してもよく、また、別の静止画像を追加せずに総数を低減させてもよい。これらのような態様は、第２モードによる選択にも適用可能である。

変形例４：
上述の各実施例において、高解像度画像の用途としては、印刷に限らず種々の用途を採用可能である。例えば、図３のステップＳ３５０、および、図７のステップＳ６６０において、出力モジュール４３０（図２）は、印刷を実行する代わりに、高解像度静止画像データをユーザに提供してもよい。このように、高解像度画像を生成する動画像処理を適用する画像処理装置としては、プリンタ１００に限らず、任意の装置を採用可能である。例えば、デジタルカメラ、携帯電話、携帯情報端末等の種々の装置を採用可能である。

変形例５：
上述の各実施例において、指定情報としては、選択ボタン５４が押下されたことを示す信号に限らず、対象画像を指定する任意の情報を採用可能である。例えば、図２のＲＯＭ２２０に、ユーザの指示に応じて、あるいは、自動的に、対象画像を選択する対象画像選択モジュールを設けてもよい（図示せず）。そして、対象画像選択モジュールによって供給される情報であって、対象画像を指定する情報を、指定情報として利用してもよい。ここで、対象画像選択モジュールは、任意の方法で対象画像を選択することができる。例えば、動画像中の任意の期間を指定するユーザの指示に応じて、指定された期間から均等に所定数（例えば、１２）の対象画像を選択してもよい。また、ユーザによって入力された情報を利用せずに、自動的に対象画像を選択してもよい。例えば、動画像の全期間から均等に所定数（例えば、１２）の対象画像を選択してもよい。

変形例６：
上述の各実施例において、動画像データのフォーマットとしては、ＭＰＥＧフォーマットに限らず、任意のフォーマットを採用可能である。また、上述の各実施例では、プログレッシブスキャンの動画像データを利用しているが、インタレーススキャンの動画像データを利用してもよい。この場合には、静止画像として、フレーム画像の代わりにフィールド画像を採用することが可能である。また、フィールド画像をそのまま採用する代わりに、２枚のフィールド画像から再構成された１枚のフレーム画像を採用してもよい。このようなフィールド画像からのフレーム画像の再構成は、取得モジュール４１０によって実行され得る。

変形例７：
上述の各実施例では、複数の対象画像が指定された場合の画像グループの取得及び高解像度画像の合成を含む一連の処理の順番が、各画像グループに対応する対象画像の時系列の順番と同じであるが、この順番としては任意の順番を採用可能である。例えば、ユーザによって指定された順番を採用してもよい。

変形例８：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図２の取得モジュール４１０の機能を、論理回路を有するハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としてのプリンタを示す説明図である。 ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。 動画像処理の手順を示すフローチャートである。 ピクチャの説明図である。 画像グループの説明図である。 画像合成の一例を示す説明図である。 動画像処理の別の例を示すフローチャートである。 対象画像の一例を示す説明図である。

符号の説明

４０…ディスプレイ
５０…操作パネル
５２…停止ボタン
５４…選択ボタン
５６…再生ボタン
５８…送りボタン
５９…戻しボタン
７０…メモリカードインターフェース
１００…プリンタ
２００…制御部
２１０…ＣＰＵ
２２０…ＲＯＭ
２３０…ＲＡＭ
３００…印刷エンジン
４００…選択モジュール
４１０…取得モジュール
４２０…合成モジュール
４３０…出力モジュール
ＭＣ…メモリカード
ＭＳ…スロット

Claims (3)

1. 動画像を処理する画像処理装置であって、
   前記動画像に含まれる複数の静止画像の中から対象画像を指定する指定情報に従って、前記対象画像を含む複数の静止画像で構成される画像グループを、前記動画像から選択する選択部と、
   前記画像グループに含まれる複数の静止画像を前記動画像から取得する取得処理を実行する取得部と、
   前記取得された複数の静止画像を合成することによって、前記対象画像よりも画素密度が高い、前記対象画像の高解像度画像を生成する合成処理を実行する合成部と、
   を備え、
   前記選択部は、前記対象画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第１モードによる選択を実行する機能と、前記対象画像と、時系列の順番が前記対象画像よりも先の静止画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第２モードによる選択を実行する機能とを、有し、
   前記指定情報によって、同じ動画像内の複数の静止画像のそれぞれが、前記対象画像として指定される場合には、
   前記選択部は、前記各対象画像毎に前記画像グループを選択し、
   前記取得部および前記合成部は、前記取得処理および前記合成処理を含む一連の処理を、与えられた順番で前記各画像グループ毎に実行し、
   前記選択部は、
   （Ａ）最初に取得される画像グループを選択するために、前記第１モードによる選択を実行し、
   （Ｂ）他の画像グループを選択するために、前記第２モードによる選択を実行する、
   画像処理装置。
2. 動画像を処理する画像処理方法であって、
   前記動画像に含まれる複数の静止画像の中から対象画像を指定する指定情報に従って、前記対象画像を含む複数の静止画像で構成される画像グループを、前記動画像から選択する選択工程と、
   前記画像グループに含まれる複数の静止画像を前記動画像から取得する取得処理を実行する工程と、
   前記取得された複数の静止画像を合成することによって、前記対象画像よりも画素密度が高い、前記対象画像の高解像度画像を生成する合成処理を実行する工程と、
   を備え、
   前記指定情報によって、同じ動画像内の複数の静止画像のそれぞれが、前記対象画像として指定される場合には、
   前記選択工程は、前記対象画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第１モードによる選択を実行する工程と、前記対象画像と、時系列の順番が前記対象画像よりも先の静止画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第２モードによる選択を実行する工程とを含み、
   前記選択工程では、前記各対象画像毎に前記画像グループが選択され、
   前記取得処理および前記合成処理を含む一連の処理は、与えられた順番で前記各画像グループ毎に実行され、
   前記選択工程では、
   （Ａ）最初に取得される画像グループを選択するために、前記第１モードによる選択が実行され、
   （Ｂ）他の画像グループを選択するために、前記第２モードによる選択が実行される、
   方法。
3. 動画像を処理する画像処理のためのコンピュータプログラムであって、
   前記動画像に含まれる複数の静止画像の中から対象画像を指定する指定情報に従って、前記対象画像を含む複数の静止画像で構成される画像グループを、前記動画像から選択する選択機能と、
   前記画像グループに含まれる複数の静止画像を前記動画像から取得する取得処理を実行する機能と、
   前記取得された複数の静止画像を合成することによって、前記対象画像よりも画素密度が高い、前記対象画像の高解像度画像を生成する合成処理を実行する機能と、
   をコンピュータに実現させ、
   前記選択機能は、前記対象画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第１モードによる選択を実行する機能と、前記対象画像と、時系列の順番が前記対象画像よりも先の静止画像と、時系列の順番が前記対象画像よりも後の静止画像と、を選択する第２モードによる選択を実行する機能とを含み、
   前記指定情報によって、同じ動画像内の複数の静止画像のそれぞれが、前記対象画像として指定される場合には、
   前記選択機能によって、前記各対象画像毎に前記画像グループが選択され、
   前記取得処理を実行する機能と前記合成処理を実行する機能とによって、前記取得処理および前記合成処理を含む一連の処理が、与えられた順番で前記各画像グループ毎に実行され、
   前記選択機能によって、
   （Ａ）最初に取得される画像グループを選択するために、前記第１モードによる選択が実行され、
   （Ｂ）他の画像グループを選択するために、前記第２モードによる選択が実行される、
   プログラム。

Images