JP4788827B2 - 複数のフレーム画像データに基づく静止画像データの生成処理 - Google Patents

Description

この発明は、複数のフレーム画像データに基づいて静止画像データを生成する技術に関する。

デジタルビデオカメラ等で撮影された動画像は、動画像の１シーンを表現する静止画像の生成にも利用されている。動画像は複数のフレーム画像データを含んでおり、これらのフレーム画像データに基づいて、静止画像を表現する静止画像データを生成することができる（例えば、特許文献１参照）。このような静止画像データの基となるフレーム画像データは、通常は、ユーザが選択することができる。

静止画像は、その複数のフレーム画像データに含まれる種々のシーンを表現するために、複数生成される場合がある。また、生成された静止画像をアルバムのようにページに割り付けて出力（印刷や表示）する方法が、しばしば、用いられる。しかし、静止画像を生成するためのシーンを選択する作業は、ユーザにとって大きな負担となっていた。

特開２０００−２４４８５１号公報

本発明は、上述した従来の課題を解決するためになされたものであり、複数のフレーム画像データに基づいて、静止画像データを容易に生成することのできる技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の画像処理装置は、複数のフレーム画像データを用いた画像処理を行う画像処理装置であって、台紙領域と前記台紙領域上に配置された１つ以上の単画像割付領域とを含むテンプレートを表すテンプレートデータを記憶する記憶部と、前記記憶部に記憶された前記テンプレートデータによって表されるテンプレートのうちの指定されたテンプレートが含む前記単画像割付領域の数と指定されたページ数との積の数の代表フレーム画像データを、前記複数のフレーム画像データの中から選択する代表フレーム選択部と、前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成する静止画像データ生成部と、前記静止画像データと前記指定されたテンプレートを表すテンプレートデータとを用いて、前記静止画像データが表す静止画像を前記指定されたテンプレートの前記台紙領域上に割り付けるレイアウト処理を実行するレイアウト部と、を備える。

この画像処理装置では、代表フレーム選択部が、指定された数の代表フレーム画像データを自動的に複数のフレーム画像データに応じて選択するとともに、静止画像データ生成部が、選択された代表フレーム画像データに基づいて静止画像データを生成するので、複数のフレーム画像データに基づいて、指定された数の静止画像データを容易に生成することができる。

上記画像処理装置において、さらに、台紙領域と前記台紙領域上に配置された１つ以上の単画像割付領域とを含むテンプレートを表すテンプレートデータを用いて、画像を前記台紙領域上に割り付けるレイアウト処理を実行するレイアウト部を、備え、前記代表フレーム選択部は、前記レイアウト処理に用いられる前記単画像割付領域の総数を、前記指定された数として採用し、前記レイアウト部は、前記生成された静止画像データが表現する静止画像を用いた前記レイアウト処理を実行することが好ましい。

この構成によれば、静止画像を用いたレイアウト処理を実行することができる。また、単画像割付領域の総数と同じ数の静止画像データが生成されるので、静止画像が割り付けられない単画像割付領域が生じることを防止することができる。

上記各画像処理装置において、前記代表フレーム選択部は、時系列の順番に並んだ前記複数のフレーム画像データの全体から、均等な画像数間隔で、前記代表フレーム画像データを選択することが好ましい。

この構成によれば、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。

上記各画像処理装置において、さらに、前記複数のフレーム画像データの時系列におけるシーンの変わり目を検出するシーン変化検出部と、時系列に沿った順番を前記シーンの変わり目で区切ったときに、同じ区間に属する１つ以上の前記フレーム画像データで構成されるフレーム画像グループを、互いの区間が重ならないように１つ以上生成するフレーム画像グループ設定部と、を備え、前記代表フレーム選択部は、前記フレーム画像グループのそれぞれから少なくとも１つの代表フレーム画像データを選択することが好ましい。

この構成によれば、フレーム画像グループのそれぞれから代表フレーム画像データが選択されるので、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。

上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像データの特徴に関連のあるフレーム画像特徴パラメータ値を算出し、前記算出したフレーム画像特徴パラメータ値の変化に応じて、前記シーンの変わり目を検出することが好ましい。

この構成によれば、フレーム画像特徴パラメータ値の変化に応じてシーンの変わり目が検出されるので、複数のフレーム画像データに応じた適切なシーンの変わり目を検出することができる。

上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像特徴パラメータ値の変化に応じて、シーンの変化の大きさを表すシーン変化パラメータ値を算出し、前記算出したシーン変化パラメータ値が表すシーン変化の大きさが所定のしきい値以上となる時点を、前記シーンの変わり目として検出し、さらに、前記複数のフレーム画像データの同じセットに対する前記所定のしきい値を、前記指定された数が多いほど小さくなるように調整することが好ましい。

この構成によれば、指定された数が多いほど、しきい値が小さい値に調整されるので、シーンの変化が大きい時点を優先的にシーンの変わり目として検出することができる。その結果、指定された数と複数のフレーム画像データとに応じた適切なシーンの変わり目を検出することができる。

上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像データを解析することによって得られる、画像の明るさを表す輝度パラメータ値を、前記フレーム画像特徴パラメータ値として用いることが好ましい。

この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。

上記各画像処理装置において、前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影日時情報を利用して得られる撮影日時を、前記フレーム画像特徴パラメータ値として用いることが好ましい。

この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。

上記各画像処理装置において、前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影位置情報を利用して得られる撮影位置を、前記フレーム画像特徴パラメータ値として用いることが好ましい。

この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。

上記各画像処理装置において、前記シーン変化検出部は、第１と第２の前記フレーム画像特徴パラメータ値を算出することが可能であり、前記第１のフレーム画像特徴パラメータ値を用いて設定された前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、前記第２のフレーム画像特徴パラメータ値の変化に応じて、前記フレーム画像グループの数が前記指定された数と同じとなるように、前記シーンの変わり目を追加することが好ましい。

この構成によれば、フレーム画像グループの数が指定された数と比べて少ない場合には、第２のフレーム画像特徴パラメータ値の変化に応じてシーンの変わり目が追加されるので、フレーム画像グループの数を増やすことができる。

上記各画像処理装置において、前記代表フレーム選択部は、前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、含まれる前記フレーム画像データの数の多い順に選ばれた１つ以上の前記フレーム画像グループの中から、前記代表フレーム画像データを追加的に選択することが好ましい。

この構成によれば、複数のフレーム画像データに含まれる種々のシーンの長さに応じて代表フレーム画像データを選択することができる。

上記各画像処理装置において、個々の前記フレーム画像データは１画面分の全ラスタラインを含む画像を表しており、前記静止画像データ生成部は、前記代表フレーム画像データを含むとともに、時系列に沿って連続している複数の前記フレーム画像データを用いて、前記フレーム画像データと比べて高解像度な前記静止画像データを生成することが好ましい。

この構成によれば、より鮮明な静止画像を得ることができる。

上記各画像処理装置において、前記複数のフレーム画像データは、動画像に含まれていることが好ましい。

この構成によれば、動画像に基づいて、指定された数の静止画像データを容易に生成することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施例としての画像出力システムの構成を示す説明図である。 テンプレートデータの一例を示す説明図である。 静止画像データ生成処理の概要を示す説明図である。 第２実施例における画像出力システムの構成を示す説明図である。 静止画像データ生成処理の手順を示すフローチャートである。 輝度値によるシーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。 撮影日時によるシーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。 解像度の高い静止画像データを生成する処理の一例を示す説明図である。

本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第１実施例：
B.第２実施例：
C.第３実施例：
D.変形例：

A.第１実施例：
A1.装置の構成：
図１は、本発明の一実施例としての画像出力システムの構成を示す説明図である。このシステムは、デジタルカメラ１００と、コンピュータ２００と、プリンタ３００とを含んでいる。デジタルカメラ１００は画像生成装置として機能し、コンピュータ２００は画像処理装置として機能し、プリンタ３００は画像出力装置として機能する。

コンピュータ２００は、代表フレーム選択部２７０と、静止画像データ生成部２７２と、レイアウト部と２１０と、合成部２２０と、印刷データ生成部２３０と、データ送信部２４０と、テンプレート格納部２５０と、テンプレート選択部２６０とを備えている。これらの各部の機能については、後述する。

図２は、テンプレート格納部２５０に格納されているテンプレートデータの一例を示す説明図である。このテンプレートデータＴＤ１は、１ページ分の台紙領域ＰＡ１と、台紙領域ＰＡ１上に配置された４つの単画像割付領域Ｆ１とを含んでいる。本実施例では、台紙領域ＰＡ１は１つのページを表している。また、単画像割付領域Ｆ１は、１つの静止画像を割り付けることが可能な領域を表している。このテンプレートデータＴＤ１では、４つの単画像割付領域Ｆ１は、横２行に一定の間隔をあけて並ぶという規則に従って台紙領域ＰＡ１上に配置されている。これらの単画像割付領域Ｆ１には、画像優先順位（四角内の数字で表されている）が設定されている。画像優先順位は、静止画像を割り付ける優先順位を示している。静止画像を割り付ける際には、この画像優先順位の順番に静止画像が割り付けられる。さらに、テンプレートデータＴＤ１は、台紙領域ＰＡ１を装飾する装飾画像ＤＩ１を表す装飾画像データを含んでいる。

テンプレートとしては、装飾画像の模様や、単画像割付領域の数や配置の規則がこれとは異なる種々のデザインのものが予め準備されているが、ここでは図示を省略する。

A2.静止画像データ生成処理：
図３（ａ）〜（ｄ）は、コンピュータ２００（図１）によって実行される静止画像データ生成処理の概要を示す説明図である。本実施例では、まず、レイアウト処理に使用されるテンプレートとページ数とが、ユーザによって決定される。

図３（ａ）は、コンピュータ２００に接続されたモニタ（図示せず）上からテンプレート選択部２６０（図１）に対して、テンプレートとページ数とを指定する様子を示す説明図である。図示されているように、テンプレート選択部２６０の設定画面を開くと、テンプレートとページ数との設定を行う画面が表示される。この画面中のテンプレートフィールドＴＦには、利用可能なテンプレートの一覧が表示されている。ユーザは、このテンプレートフィールドＴＦを操作することによって、テンプレートを選択することができる。選択されたテンプレートは点線で囲まれている。また、ユーザは、画面中のページ数入力フィールドＰＦに数を入力することによって、ページ数を指定することができる。

図３（ａ）の例では、図２に示すテンプレートデータＴＤ１が選択され、ページ数が１ページに設定されている。その結果、レイアウト処理に用いられる単画像割付領域の数、すなわち、生成すべき静止画像データの数は４つとなる。

次に、代表フレーム選択部２７０（図１）は、デジタルカメラ１００から受け取った動画像に含まれる複数のフレーム画像データの中から、レイアウト処理に用いられる単画像割付領域の数と同じ数の代表フレーム画像データを選択する。すなわち、本実施例では、レイアウト処理のために設定されたテンプレートとページ数とによって、代表フレーム画像データの数が指定される。

代表フレーム選択部２７０は、時系列の順番に並んだ複数のフレーム画像データの全体から、均等な画像数間隔で、代表フレーム画像データを選択する。図３（ｂ）の例では、１０枚のフレーム画像データの中から、４枚の代表フレーム画像データが、２つの画像数間隔で選択されている。

静止画像データ生成部２７２（図１）は、代表フレーム画像データのそれぞれに応じて静止画像データを生成する。本実施例では、代表フレーム画像データをそのまま静止画像データとして使用する。すなわち、静止画像データ生成部２７２は、動画像に含まれる複数のフレーム画像データの中から代表フレーム画像データを切り出すことによって、静止画像データを生成する。図３（ｃ）には、図３（ｂ）の例で選択された４枚の代表フレーム画像データに対応する４つの静止画像データの一例が示されている。

レイアウト部２１０（図１）は、テンプレート選択部２６０で設定されたテンプレートを用いて、静止画像を台紙領域上に割り付けるレイアウト処理を実行する。図３（ｄ）には、図３（ａ）の例で設定されたテンプレートと、図３（ｃ）に示された静止画像データとを用いたレイアウト処理の一例が示されている。テンプレートの単画像割付領域には画像優先順位が設定されているので（図２）、レイアウト部２１０は、この画像優先順位に従って静止画像を割り付ける。通常は、時系列の順番に静止画像が並ぶように、静止画像が単画像割付領域に割り付けられる。

次に、レイアウト部２１０（図１）は、使用されるテンプレートと、各静止画像と単画像割付領域との対応関係とを表すレイアウトデータを生成し、合成部２２０に送出する。

合成部２２０は、レイアウト部２１０から受け取ったレイアウトデータと、静止画像データと、テンプレートデータとを用いて割付画像データを生成する。割付画像データは、レイアウト処理の結果に応じて静止画像が割り付けられた画像（以下、「割付画像」と呼ぶ）を表す画像データである。印刷データ生成部２３０は、合成部２２０によって生成された割付画像データに応じて印刷データを生成する。本実施例では、印刷データ生成部２３０は、割付画像データの各画素の画素値からプリンタ３００が利用可能な複数のインクの量に相当する多階調データへの変換処理を実行し、得られた多階調データに対してハーフトーン処理を行うことによって、印刷データを生成する。生成された印刷データは、データ送信部２４０によってプリンタ３００に送信される。データの送信方法としては、ケーブルを介する方法や、ネットワークを介する方法、無線通信を用いる方法等、種々の方法を用いることができる。

なお、上述のようなコンピュータ２００内の各構成要素の一部または全部の機能は、例えばコンピュータプログラムによって実現される。これらコンピュータプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供することが可能である。

以上のように、本実施例では、動画像に含まれる複数のフレーム画像データの中から、指定された数の代表フレーム画像データが自動的に選択される。さらに、代表フレーム画像データのそれぞれに応じて静止画像データが生成される。従って、指定された数の静止画像データを自動的に生成することができる。また、本実施例では、静止画像データの基となる代表フレーム画像データが、複数のフレーム画像データの全体から均等な画像数間隔で選択される。その結果、代表フレーム画像データが特定のシーンに偏り、似たような静止画像が複数生成されることを抑制することができる。

また、本実施例では、レイアウト処理に使用される単画像割付領域の数と同じ数だけ代表フレーム画像データが自動的に選択されるので、レイアウト処理の結果得られるページ内に、静止画像の無い不自然に空いた領域が生じることを抑制することができる。

なお、代表フレーム画像データは、厳密に均等な画像数間隔で並んでいる必要はなく、画像数間隔にバラツキがあってもよい。但し、画像数間隔のバラツキは小さいことが好ましい。画像数間隔のバラツキは、動画を再生する場合の再生時間に換算して、５分以下であることが好ましく、１分以下であることが特に好ましく、１０秒以下であることが最も好ましい。こうすれば、種々の動画像に対して、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。

また、時系列に沿った順番の先頭と最後尾のフレーム画像データは、必ずしも、代表フレーム画像データとして選択されなくてもよい。但し、先頭や最後尾から、時系列に沿った順番において最も近い代表フレーム画像データまでの画像数が、代表フレーム画像データ間の画像数間隔と同程度、もしくは、より小さい値となるように、代表フレーム画像データを選択することが好ましい。こうすれば、時系列の順番に並んだ複数のフレーム画像データの全体から代表を選択することができるので、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。

B.第２実施例：
図４は、第２実施例における画像出力システムの構成を示す説明図である。図１に示す例との差異は、コンピュータ２００ａが、シーン変化検出部２７４とフレーム画像グループ設定部２７６とを備えている点である。コンピュータ２００ａは、これらの機能部によって、動画像におけるシーンの変化に応じた代表フレーム画像データを選択することができる。

図５は、コンピュータ２００ａによる静止画像データ生成処理の手順を示すフローチャートである。ステップＳ１００では、シーン変化検出部２７４（図４）が、動画像のシーンの変わり目を検出し、次のステップＳ１１０では、フレーム画像グループ設定部２７６が、検出されたシーンの変わり目に応じて、複数のフレーム画像データを複数のフレーム画像グループに分割する。さらに、次のステップＳ１２０では、代表フレーム選択部２７０ａが、フレーム画像グループのそれぞれから代表フレーム画像データを選択する。

図６（ａ）〜（ｄ）は、本実施例における、シーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。本実施例では、シーン変化検出部２７４（図４）は、フレーム画像データの輝度値の変化に応じて、シーンの変わり目を検出する。

図６（ａ）は、シーンの変わり目を検出する際に用いられる輝度差ΔＹを説明する説明図である。シーン変化検出部２７４は、まず、各フレーム画像データを解析することによって、各フレーム画像データの平均輝度値ＹＡをそれぞれ算出する。次に、時系列の順番の中の、連続する２つのフレーム画像データの間（以下、「フレーム画像間」と呼ぶ）における平均輝度値ＹＡの差分の絶対値（「輝度差ΔＹ」と呼ぶ）を算出する。一般に、動画像においてシーンが変化する場合には、画像の被写体も変わるので、平均輝度値ＹＡが大きく変化し、輝度差ΔＹも大きくなる傾向がある。そこで、本実施例では、シーン変化検出部２７４は、輝度差ΔＹが大きいフレーム画像間をシーンの変わり目として採用する。

図６（ｂ）は、輝度差ΔＹの変化を示すグラフである。縦軸は輝度差ΔＹを示し、横軸は時系列に沿った順番を示している。なお、動画像を再生する場合には、一般に、フレーム画像データが表す画像（以下、「フレーム画像」と呼ぶ）が、一定のフレームレート（単位時間当たりの画像数）で時系列に沿った順番に表示される。従って、時系列に沿った順番は、再生時間を表していると考えることもできる。

本実施例では、シーン変化検出部２７４（図４）は、輝度差ΔＹに対してしきい値ΔＹｔｈを設定し、輝度差ΔＹがしきい値ΔＹｔｈ以上となるフレーム画像間をシーンの変わり目として採用する。ここで、シーン変化検出部２７４は、シーンの変わり目の数が、指定された数（生成すべき静止画像データの数）よりも１つだけ少なくなるように、しきい値ΔＹｔｈを調整する。この理由は後述する。図６（ｂ）には、生成すべき静止画像数が４つの場合の一例が示されている。シーン変化検出部２７４は、しきい値ΔＹｔｈを調整することによって、３つのシーンの変わり目Ｃ１０〜Ｃ１２を検出している。

ここで、しきい値ΔＹｔｈは、予め設定されたしきい値下限Ｙｌｏｗよりも大きい範囲内で調整される。こうすれば、しきい値ΔＹｔｈを過剰に小さくすることによって、同じシーンの途中をシーンの変わり目として検出することを抑制することができる。

次に、フレーム画像グループ設定部２７６（図４）は、時系列の順番をシーンの変わり目で区切ることによって、複数のフレーム画像グループＦＧを生成する。図６（ｃ）は、フレーム画像グループＦＧの一例を示す説明図である。フレーム画像グループ設定部２７６は、複数のフレーム画像データをシーンの変わり目Ｃ１０〜Ｃ１２（図６（ｂ））で区切ることによって、４つのフレーム画像グループＦＧ１０〜ＦＧ１３を生成している。上述したように、シーンの変わり目の数は指定された数よりも１つだけ少ないので、フレーム画像グループ設定部２７６は、指定された数のフレーム画像グループＦＧを生成することができる。生成されたフレーム画像グループＦＧ１０〜ＦＧ１３のそれぞれは、互いに異なるシーンに対応している。また、これらのフレーム画像グループＦＧ１０〜ＦＧ１３のそれぞれには、類似したシーンを表現するフレーム画像データが含まれている。

次に、ステップＳ１２０（図５）では、代表フレーム選択部２７０ａ（図４）が、フレーム画像グループＦＧのそれぞれから代表フレーム画像データを選択する。本実施例では、指定された数のフレーム画像グループＦＧが生成されている。そこで、代表フレーム選択部２７０ａは、生成されたフレーム画像グループＦＧのそれぞれから１つずつ代表フレーム画像データを選択する。図６（ｄ）は、代表フレーム画像データの一例を示す説明図である。代表フレーム選択部２７０ａは、４つのフレーム画像グループＦＧ１０〜ＦＧ１３（図６（ｃ））のそれぞれから、１つずつ代表フレーム画像データを選択する。ここで、代表フレーム選択部２７０ａは、時系列の順番の中央に位置するフレーム画像データを代表フレーム画像データとして選択する。

次に、ステップＳ１３０（図５）では、静止画像データ生成部２７２が、代表フレーム画像データのそれぞれに応じて静止画像データを生成する。

このように、本実施例では、フレーム画像グループ設定部２７６（図４）は、複数のフレーム画像データを、輝度差ΔＹに応じて検出されるシーンの変わり目で分割して、フレーム画像グループを生成している。従って、動画像に含まれる種々のシーンに対応したフレーム画像グループを生成することができる。さらに、代表フレーム選択部２７０ａは、生成されたフレーム画像グループのそれぞれから代表フレーム画像データを選択するので、代表フレーム画像データが特定のシーンに偏ることを、動画像に応じて適切に抑制することができる。

なお、シーンが大きく変化する場合には、平均輝度値ＹＡも大きく変化する可能性が高く、輝度差ΔＹも大きくなる可能性が高い。本実施例では、しきい値ΔＹｔｈが、指定された数が多いほど小さくなるように調整されるので、この輝度差ΔＹの大きいフレーム画像間が優先的にシーンの変わり目として採用される。その結果、指定された数と動画像とに応じた適切なシーンの変わり目を検出することができる。

なお、本実施例における平均輝度値ＹＡは、本発明における輝度パラメータ値に相当し、輝度差ΔＹは、シーン変化パラメータ値に相当する。

C.第３実施例：
図７（ａ）〜（ｄ）は、第３実施例における、シーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。図６（ａ）〜（ｄ）に示す実施例との差異は、平均輝度値の代わりに撮影日時の変化に応じてシーンの変わり目を検出している点である。

図７（ａ）は、シーンの変わり目を検出する際に用いられる時間差ΔＤＴを説明する説明図である。画像生成装置（例えば、デジタルカメラ）の中には、フレーム画像データと、フレーム画像データに関連する種々の情報（以下、「画像データ関連情報」と呼ぶ）とを格納する動画像データファイルを生成するものがある。画像データ関連情報としては、撮影日時に関する情報（以下、「撮影日時情報」と呼ぶ）がある。シーン変化検出部２７４は、まず、このような撮影日時情報を解析することによって、各フレーム画像データが撮影された撮影日時ＤＴを取得する。

次に、シーン変化検出部２７４は、フレーム画像間における撮影日時ＤＴの差分（「時間差ΔＤＴ」と呼ぶ）を算出する。一般に、複数のシーンを含む動画像を撮影する場合には、シーンの変わり目で撮影を中断し、撮影の準備を行った後に撮影を再開する場合が多い。その結果、シーンの変わり目では、時間差ΔＤＴが大きくなる傾向がある。そこで、本実施例では、シーン変化検出部２７４は、時間差ΔＤＴが大きいフレーム画像間をシーンの変わり目として採用する。

図７（ｂ）は、時間差ΔＤＴの変化を示すグラフである。時間差ΔＤＴが一定値ＤＴＦＲに集中しているのは、動画像が一定のフレームレート（単位時間当たりのフレーム画像数）に従って生成されているからである。

本実施例では、シーン変化検出部２７４（図４）は、時間差ΔＤＴに対してしきい値ΔＤＴｔｈを設定し、時間差ΔＤＴがしきい値ΔＤＴｔｈ以上となるフレーム画像間をシーンの変わり目として採用する。ここで、シーン変化検出部２７４は、シーンの変わり目の数が、指定された数（生成すべき静止画像データの数）よりも１つだけ少なくなるように、しきい値ΔＤＴｔｈを調整する。図７（ｂ）には、生成すべき静止画像数が４つの場合の一例が示されている。シーン変化検出部２７４は、しきい値ΔＤＴｔｈを調整することによって、３つのシーンの変わり目Ｃ２０〜Ｃ２２を検出している。

ここで、しきい値ΔＤＴｔｈは、予め設定されたしきい値下限ＤＴｌｏｗよりも大きい範囲内で調整される。こうすれば、しきい値ΔＤＴｔｈを過剰に小さくすることによって、同じシーンの途中をシーンの変わり目として検出することを抑制することができる。

次に、フレーム画像グループ設定部２７６（図４）は、図６（ｃ）の例と同様にフレーム画像グループＦＧを生成する。図７（ｃ）は、フレーム画像グループＦＧの一例を示す説明図である。フレーム画像グループ設定部２７６は、複数のフレーム画像データをシーンの変わり目Ｃ２０〜Ｃ２２（図７（ｂ））で区切ることによって、４つのフレーム画像グループＦＧ２０〜ＦＧ２３を生成している。

次に、代表フレーム選択部２７０ａ（図４）は、図６（ｄ）の例と同様に代表フレーム画像データを選択する。図７（ｄ）は、代表フレーム画像データの一例を示す説明図である。代表フレーム選択部２７０ａは、４つのフレーム画像グループＦＧ２０〜ＦＧ２３（図７（ｃ））のそれぞれから、１つずつ代表フレーム画像データを選択している。

このように、本実施例では、フレーム画像グループ設定部２７６（図４）は、複数のフレーム画像データを、時間差ΔＤＴに応じて検出されるシーンの変わり目で分割して、フレーム画像グループを生成している。従って、動画像に含まれるシーンに対応したフレーム画像グループを生成することができる。

なお、シーンが大きく変化する場合には、撮影日時ＤＴも大きく変化する可能性が高く、時間差ΔＤＴも大きくなる可能性が高い。本実施例では、しきい値ΔＤＴｔｈが、指定された数が多いほど小さくなるように調整されるので、この時間差ΔＤＴの大きいフレーム画像間が優先的にシーンの変わり目として採用される。その結果、指定された数と動画像とに応じた適切なシーンの変わり目を検出することができる。

なお、本実施例における撮影日時ＤＴは、本発明におけるフレーム画像特徴パラメータ値に相当し、時間差ΔＤＴは、シーン変化パラメータ値に相当する。

D.変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

D1.変形例1：
上述の各実施例において、輝度パラメータ値としては、平均輝度値ＹＡ（図６）に限らず、一般に、画像の明るさを表すパラメータ値を用いることができる。例えば、画像内の輝度の分布を表すヒストグラムを作成し、度数が最大となる輝度値の範囲の中心値を、輝度パラメータ値として用いてもよい。

また、フレーム画像特徴パラメータ値としては、輝度パラメータ値や撮影日時に限らず、一般に、フレーム画像データの特徴に関連のあるパラメータ値を用いることができる。例えば、撮影位置をフレーム画像特徴パラメータ値として用いてもよい。画像生成装置（例えば、デジタルカメラ）の中には、ＧＰＳ（Global Positioning System）を利用して撮影時の地理的な位置（撮影位置）を測定し、測定した撮影位置に関する撮影位置情報を動画像データファイルに格納するものがある。シーン変化検出部２７４は、このような撮影位置情報を解析することによって、各フレーム画像データが撮影された撮影位置を取得することができる。シーンが大きく変化する場合には、撮影位置も大きく変わる可能性が高い。そこで、撮影位置の差分、すなわち、距離の大きい時点をシーンの変わり目として採用することができる。ここで、距離をシーン変化パラメータ値として用いてシーンの変わり目を検出する方法を用いることができる。

D2.変形例2：
シーン変化検出部２７４（図４）が、複数種類のシーン変化パラメータ値に応じてシーンの変わり目を検出してもよい。例えば、図６に示す実施例において、輝度差ΔＹのしきい値ΔＹｔｈをしきい値下限Ｙｌｏｗまで小さくしてもシーンの変わり目の数が足りない場合に、さらに、時間差ΔＤＴに応じてシーンの変わり目を追加してもよい。逆に、図７に示す実施例において、時間差ΔＤＴのしきい値ΔＤＴｔｈをしきい値下限ＤＴｌｏｗまで小さくしてもシーンの変わり目が足りない場合に、さらに、輝度差ΔＹに応じてシーンの変わり目を追加してもよい。

D3.変形例3：
図６、７に示す実施例では、シーン変化パラメータ値（例えば、輝度差ΔＹ）を算出する際に、時系列に沿って連続する２つのフレーム画像データ間（フレーム画像間）でのフレーム画像特徴パラメータ値（例えば、平均輝度値ＹＡ）の差分を用いているが、１つ以上離れたフレーム画像データ間での差分を用いてもよい。例えば、シーン変化検出部２７４（図４）が、９つの画像数間隔を空けて並んだフレーム画像データ（以下、「抽出フレーム画像データ」と呼ぶ）の間での差分を用いてシーン変化パラメータ値を算出してもよい。この場合には、シーンの変わり目として、２つの抽出フレーム画像データに挟まれた１０個のフレーム画像間の中のいずれかを採用することができる。

一般に、時系列に沿った順番が異なる２つの時点、すなわち、再生時間が異なる２つの時点の間のフレーム画像特徴パラメータ値（例えば、平均輝度値ＹＡ）の差分を、その時点間でのシーン変化パラメータ値として用いることができる。また、このとき、２つの時点で挟まれたフレーム画像間の中のいずれかを、シーンの変わり目として採用することができる。例えば、時系列の順番の中央に位置するフレーム画像間を、シーンの変わり目として採用してもよい。

また、複数のフレーム画像データの中の一部のフレーム画像データを抽出して用いてシーンの変わり目を検出すれば、大量のフレーム画像データを含む動画像を用いる場合でも、高速にシーンの変わり目を検出することができる。このように、一部のフレーム画像データを抽出する場合には、均等な画像数間隔で抽出することが好ましい。こうすれば、特定のシーンに偏ったフレーム画像データを抽出することを抑制することができる。

D4.変形例4：
図６に示す実施例では、シーン変化検出部２７４（図４）は、１つの輝度パラメータ値（例えば、平均輝度値ＹＡ）を１つのフレーム画像データから算出しているが、複数のフレーム画像データを用いて１つの輝度パラメータ値を算出してもよい。例えば、時系列に沿って連続する５つのフレーム画像データを用いて平均化した平均輝度値を用いてもよい。

ところで、動画像には、シーンの変わり目ではないにも拘わらず画像の明るさが一時的に大きく変化するフレーム画像データが混在する場合がある。このようなフレーム画像データとしては、例えば、データ圧縮などの要因によるノイズを含むフレーム画像データや、被写体がフラッシュ光を浴びたフレーム画像データがある。このような画像の明るさは、シーンが変化した場合と異なり一時的なものであるので、短時間で元に戻る場合が多い。そこで、複数のフレーム画像データを用いて平均化した輝度パラメータ値を利用すれば、明るさの一時的な変化の影響を小さくすることができる。その結果、このような一時的な明るさの変化をシーンの変わり目として検出することを抑制することができる。

一般に、フレーム画像特徴パラメータ値が表す特徴の種類（例えば、明るさや日時）によっては、１つのフレーム画像データに応じて算出されたフレーム画像特徴パラメータ値（以下、「単フレーム画像特徴パラメータ値」と呼ぶ）には、シーンの変化とは無関係の一時的な大きい変化（以下、「特徴ノイズ」と呼ぶ）が含まれる場合がある。このような場合には、複数の単フレーム画像特徴パラメータ値を平均化したものをフレーム画像特徴パラメータ値として利用することが好ましい。こうすれば、特徴ノイズの影響を抑制することができる。なお、このように平均化して得られたフレーム画像特徴パラメータ値は、時系列における１つの区間を代表するパラメータ値として用いることができる。この１つの区間は、基となった複数のフレーム画像データの、時系列に沿った順番の先頭と最後尾で挟まれた区間である。

D5.変形例5：
図６、７に示す実施例において、代表フレーム選択部２７０ａ（図４）が、フレーム画像グループから代表フレーム画像データを選択する際には、時系列の順番の中央に位置するフレーム画像データに限らず、種々の位置のフレーム画像データを代表として選択することができる。例えば、先頭に位置するフレーム画像データを選択してもよく、また、最後尾に位置するフレーム画像データを選択してもよい。

D6.変形例6：
図６、７に示す実施例において、動画像によっては、フレーム画像特徴パラメータ値のしきい値（例えば、しきい値ΔＹｔｈ）を、しきい値下限（例えば、しきい値下限Ｙｌｏｗ）まで小さくしても、フレーム画像グループの数が指定された数よりも少なくなる場合がある。このような場合には、代表フレーム選択部２７０ａ（図４）は、１つのフレーム画像グループから２つ以上の代表フレーム画像データを選択することによって、指定された数の代表フレーム画像データを確保する。

ここで、不足分の代表フレーム画像データをフレーム画像グループに割り当てる際には、それぞれのフレーム画像グループに含まれるフレーム画像データの数に比例させた配分を用いることが好ましい。こうすれば、種々のシーンの長さに応じた数の静止画像データを生成することができる。

また、１つのフレーム画像グループから２つ以上の代表フレーム画像データを選択する方法としては、フレーム画像グループに含まれる複数のフレーム画像データの全体から、均等な画像数間隔で代表フレーム画像データを選択する方法を用いることができる。

D7.変形例7：
上述の各実施例において、代表フレーム画像データをそのまま静止画像データとして使用する代わりに、複数のフレーム画像データを用いて静止画像データを生成してもよい。図８は、静止画像データ生成部２７２（図１、４）が、複数のフレーム画像データを合成して、フレーム画像データよりも解像度の高い静止画像データを生成する処理の一例を示す説明図である。静止画像データ生成部２７２は、時系列の順番に並んだ複数のフレーム画像データの中から、代表フレーム画像データが先頭の連続する４つのフレーム画像データを処理対象として選択する。次に、選択した４つのフレーム画像データを、被写体が重なるように重ね合わせて合成することによって、高解像度静止画像データを生成する。合成処理としては、例えば、特開２０００−２４４８５１号公報に記載の方法を用いることができる。このように、複数のフレーム画像データを用いて高解像度の静止画像データを生成すれば、より鮮明な静止画像を得ることができる。

D8.変形例8：
上述の各実施例では、静止画像を用いたレイアウト処理を行う場合について説明したが、本発明は、レイアウト処理を行う場合に限らず、指定された数の静止画像データを動画像から生成する場合に適用することができる。例えば、ユーザが指定した数の静止画像データを生成してもよい。また、生成した静止画像データは、印刷に限らず、種々の用途に利用することができる。例えば、ＬＣＤディスプレイやＣＲＴモニタ等の画像出力装置を用いた画像の表示に用いてもよい。また、静止画像データを格納する静止画像データファイルを生成してもよい。このような静止画像データファイルを生成して再利用すれば、動画像から静止画像データを生成する処理を実行できない装置を用いる場合でも、静止画像データを利用することができる。

D9.変形例9：
上述の各実施例において、動画像としては、プログレッシブ形式（ノンインタレース形式ともいう）や、インタレース形式のものを用いることができる。インタレース形式の動画像を用いる場合には、奇数フィールドの画像データと偶数フィールドの画像データを、それぞれ、「フレーム画像データ」として用いることができる。この代わりに、奇数フィールドの画像データと偶数フィールドの画像データとで構成される１組の画像データ（１画面分の全ラスタラインを含む画像を表す）を「フレーム画像データ」として用いてもよい。

また、動画像としては、時系列の順番に並んだ複数の静止画像データを含む擬似的な動画像を用いることもできる。この場合には、動画像に含まれる静止画像データを、本発明における「フレーム画像データ」として用いることができる。また、動画像に限らず、独立した複数の静止画像データを、本発明における「フレーム画像データ」として用いてもよい。一般に、本発明では、時系列の順番に並んだ複数のフレーム画像データを用いることができる。

D10.変形例10：
上述の各実施例において、画像生成装置（例えば、デジタルカメラ）、または、画像出力装置（例えば、プリンタ）が、画像処理装置の機能の一部、または、全部を実行する構成としてもよい。

D11.変形例11：
なお、本明細書において、「デジタルカメラ」とは、静止画を撮影するデジタルスチルカメラと、動画を撮影するデジタルビデオカメラとの両方を含んでいる。

D12.変形例12：
上記各実施例において、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよく、逆に、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。

２００、２００ａ…コンピュータ
２１０…レイアウト部
２２０…合成部
２３０…印刷データ生成部
２４０…データ送信部
２５０…テンプレート格納部
２６０…テンプレート選択部
２７０、２７０ａ…代表フレーム選択部
２７２…静止画像データ生成部
２７４…シーン変化検出部
２７６…フレーム画像グループ設定部
３００…プリンタ
ＴＤ１…テンプレートデータ
ＰＡ１…台紙領域
Ｆ１…単画像割付領域
ＤＩ１…装飾画像

Claims (9)

1. 複数のフレーム画像データを用いた画像処理を行う画像処理装置であって、
   台紙領域と前記台紙領域上に配置された１つ以上の単画像割付領域とを含むテンプレートを表すテンプレートデータを記憶する記憶部と、
   前記記憶部に記憶された前記テンプレートデータによって表されるテンプレートのうちの指定されたテンプレートが含む前記単画像割付領域の数と指定されたページ数との積の数の代表フレーム画像データを、前記複数のフレーム画像データの中から選択する代表フレーム選択部と、
   前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成する静止画像データ生成部と、
   前記静止画像データと前記指定されたテンプレートを表すテンプレートデータとを用いて、前記静止画像データが表す静止画像を前記指定されたテンプレートの前記台紙領域上に割り付けるレイアウト処理を実行するレイアウト部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記代表フレーム選択部は、
   時系列の順番に並んだ前記複数のフレーム画像データの全体から、均等な画像数間隔で、前記代表フレーム画像データを選択する、
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、さらに、
   前記複数のフレーム画像データの時系列におけるシーンの変わり目を検出するシーン変化検出部と、
   時系列に沿った順番を前記シーンの変わり目で区切ったときに、同じ区間に属する１つ以上の前記フレーム画像データで構成されるフレーム画像グループを、互いの区間が重ならないように１つ以上生成するフレーム画像グループ設定部と、
   を備え、
   前記代表フレーム選択部は、前記フレーム画像グループのそれぞれから少なくとも１つの代表フレーム画像データを選択する、
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記シーン変化検出部は、
   前記フレーム画像データの特徴に関連のあるフレーム画像特徴パラメータ値を算出し、前記算出したフレーム画像特徴パラメータ値の変化に応じて、前記シーンの変わり目を検出する、
   画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影日時情報を利用して得られる撮影日時を、前記フレーム画像特徴パラメータ値として用いる、
   画像処理装置。
6. 請求項４に記載の画像処理装置であって、
   前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影位置情報を利用して得られる撮影位置を、前記フレーム画像特徴パラメータ値として用いる、
   画像処理装置。
7. 請求項３ないし請求項６のいずれかに記載の画像処理装置であって、
   前記代表フレーム選択部は、前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、含まれる前記フレーム画像データの数の多い順に選ばれた１つ以上の前記フレーム画像グループの中から、前記代表フレーム画像データを追加的に選択する、
   画像処理装置。
8. 複数のフレーム画像データを用いた画像処理を行う画像処理方法であって、
   記憶部に記憶されたテンプレートデータによって表される台紙領域と前記台紙領域上に配置された１つ以上の単画像割付領域とを含むテンプレートのうちの、指定されたテンプレートが含む前記単画像割付領域の数と指定されたページ数との積の数の代表フレーム画像データを、前記複数のフレーム画像データの中から選択し、
   前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成し、
   前記静止画像データと前記指定されたテンプレートを表すテンプレートデータとを用いて、前記静止画像データが表す静止画像を前記指定されたテンプレートの前記台紙領域上に割り付けるレイアウト処理を実行する、
   画像処理方法。
9. 複数のフレーム画像データを用いた画像処理を行うためのコンピュータプログラムであって、
   記憶部に記憶されたテンプレートデータによって表される台紙領域と前記台紙領域上に配置された１つ以上の単画像割付領域とを含むテンプレートのうちの、指定されたテンプレートが含む前記単画像割付領域の数と指定されたページ数との積の数の代表フレーム画像データを、前記複数のフレーム画像データの中から選択する機能と、
   前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成する機能と、
   前記静止画像データと前記指定されたテンプレートを表すテンプレートデータとを用いて、前記静止画像データが表す静止画像を前記指定されたテンプレートの前記台紙領域上に割り付けるレイアウト処理を実行する機能と、
   をコンピュータに実現させるコンピュータプログラム。

Images