JP7212529B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、ページ上に画像をレイアウトするための技術に関するものである。

近年、デジタルカメラやカメラ機能付きのスマートフォンの普及により、撮影した画像が飛躍的に増加している。このため、複数の画像をページ上に配置した電子アルバムなど、撮影した画像を使用したデータの作成機会が増加している。また、４Ｋ動画と言われるような高画質の動画が普及してきており、動画ファイルから切り出した静止画を使用して高品位な電子アルバムを作成することも可能になってきている。

そこで、動画ファイルから切り出した静止画を使用してページ上にレイアウトする方法が提案されている（特許文献１）。また、動画ファイルから切り出した静止画だけでなく、動画ファイルと画像ファイルを使用して複数の画像をレイアウトする方法が提案されている（特許文献２参照）。

特許第５３８９７２４号公報 特許第５６８６６７３号公報

上記の特許文献１に記載の発明では、テンプレート情報を使用して、動画ファイルから切り出した静止画をページ上のどの位置に配置するのかを決定している。しかしながら、特許文献１に記載の発明では、動画ファイルから切り出した静止画を複数ページに渡って配置する際にページの区切りと動画の対応関係まで言及していない。

また、特許文献２に記載の発明では、複数ページに画像を配置するために、動画ファイルと画像ファイルの解析情報または関連性情報から動画ファイルから切り出す静止画の枚数およびレイアウトを決定している。しかしながら、特許文献２に記載の発明では、複数ページに画像を配置するために、動画ファイルから静止画を切り出す範囲をページごとに指定することができないという問題がある。

本発明では、複数のページのそれぞれに配置される配置画像の撮像時刻の範囲を容易に指定することができる技術を提供する。

本発明の一様態は、ページに配置する配置画像を決定する決定手段と、
複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と
を備え、
前記決定手段は、
前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
前記決定手段は、
動画像における１以上のフレーム画像を前記配置画像として決定する
ことを特徴とする。

本発明の構成によれば、複数のページのそれぞれに配置される配置画像の撮像時刻の範囲を容易に指定することができる。

画像処理装置のハードウェア構成例およびその周辺機器を示すブロック図。 ＧＵＩの構成例を示す図。 電子アルバムを作成して印刷するために画像処理装置１００が行う処理のフローチャート。 テンプレートの一例を示す図。 ＧＵＩの構成例を示す図。 図２のＧＵＩにおいて見開きページを表示した場合の表示例を示す図。 ＧＵＩの構成例を示す図。 電子アルバムの作成処理のフローチャート。 図５のＧＵＩが表示された場合に画像処理装置１００が行う処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜全実施形態に共通の構成について＞
先ず、以下に説明する各実施形態において共通に使用される画像処理装置のハードウェア構成例およびその周辺機器について、図１のブロック図を用いて説明する。図１の画像処理装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型端末装置、スマートフォンなどのコンピュータ装置、ディジタルカメラや複合機などに組み込まれる組み込み型の装置、等に適用可能である。

ＣＰＵ１０８は、ＲＡＭ１０９やＲＯＭ１１０に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０８は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ１０９は、ＲＯＭ１１０やＨＤＤ（ハードディスクドライブ装置）１０７からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ１０９は、ＣＰＵ１０８が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０９は、各種のエリアを適宜提供することができる。ＲＯＭ１１０には、画像処理装置１００の設定データや起動プログラムなどが格納されている。

ＨＤＤ１０７は、大容量情報記憶装置の一例であり、ＯＳ（オペレーティングシステム）１０２や、各種のアプリケーションソフトウェア１０１が保存されている。アプリケーションソフトウェア１０１は、以下に説明する電子アルバムを作成するための各種の処理をＣＰＵ１０８に実行させるためのコンピュータプログラムやデータが含まれている。

またＨＤＤ１０７には、以下の説明において画像処理装置１００が既知の情報として取り扱う情報も保存されている。またＨＤＤ１０７には、プリンタ１０５に対応するドライバソフトウェアであるプリンタドライバ１０３、モニタ１０６に対応するドライバソフトウェアであるモニタドライバ１０４も保存されている。

例えば、アプリケーションソフトウェア１０１によって発行される出力画像／出力文字を示す各種の描画処理命令群（イメージ描画命令、テキスト描画命令、グラフィクス描画命令）は、ＯＳ１０２を介してモニタドライバ１０４へ入力される。モニタドライバ１０４は、描画処理命令群を処理してモニタ１０６の表示画面に画像や文字を表示させる。

また、印刷を行う場合、印刷用の描画命令群はＯＳ１０２を介してプリンタドライバ１０３へ入力される。プリンタドライバ１０３は、印刷用の描画命令群を処理して印刷データを作成する。

ＨＤＤ１０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１０８による制御に従って適宜ＲＡＭ１０９にロードされる。そしてＣＰＵ１０８は、ＲＡＭ１０９にロードされたコンピュータプログラムやデータを用いて各種の処理を実行する。

操作部１１１は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１０８に対して入力することができる。

プリンタ１０５は、画像処理装置１００から送出される印刷データに基づいて、紙などの記録媒体上に画像や文字を記録する印刷装置である。プリンタ１０５は、コピー機能やスキャン機能を有する複合機であっても良い。

モニタ１０６は、液晶画面やタッチパネル画面を有し、ＣＰＵ１０８による処理結果を画像や文字などでもって表示する。なお、モニタ１０６は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

次に、各ページに、動画像から抽出した１以上のフレーム画像および／または１以上の静止画像を配置画像として配置することで、各ページに１以上の配置画像が配置された電子アルバムを作成するためのアプリケーションソフトウェア１０１について説明する。ＣＰＵ１０８がこのアプリケーションソフトウェア１０１を実行することでモニタ１０６に表示されるＧＵＩ（グラフィカルユーザインターフェース）の構成例を図２に示す。

メニュー操作部２０１は、アプリケーションソフトウェア１０１の終了、ページに追加する画像のファイル（動画像のファイル／静止画像のファイル）の指定、ヘルプの表示等を指示するためのメニュー項目が並んでいる領域である。

ページ領域２０２は、ユーザが操作部１１１を用いてボタン２０８を操作することで指定したページにおける画像やテキストのレイアウトを表示するための領域である。図２では、あるページにおける画像や文字のレイアウトとして、配置画像を配置するための領域２０３ａ、２０３ｂ、２０３ｃ、テキスト（文字列）を配置するための領域２０４、がページ領域２０２に表示されている。

編集ボタン２０５は、画像の追加、文字の追加、ページの追加、ページの削除など、ページ領域２０２に対する編集操作を受け付けるためのアイコン群である。このアイコン群には、切替アイコン２０６が含まれている。ユーザが操作部１１１を操作して切替アイコン２０６を指示すると、複数のページについて決定した配置画像の撮像時刻の時系列を表示する後述のＧＵＩがモニタ１０６に表示される。

印刷ボタン２０７は、ページ領域２０２に表示されているページ（若しくは該ページを含む一部若しくは全部のページ）の印刷を指示するためのボタンである。ユーザが操作部１１１を用いて印刷ボタン２０７を指示すると、ページ領域２０２に表示されているページ（若しくは該ページを含む一部若しくは全部のページ）の印刷データが生成され、該印刷データがプリンタ１０５に送出される。

ボタン２０８は、ページ領域２０２に表示するページを指定するためのボタンである。ボタン２０８は、現在ページ領域２０２に表示しているページよりもページ番号が１つ大きいページを指定するボタンと、現在ページ領域２０２に表示しているページよりもページ番号が１つ小さいページを指定するボタンと、を有する。

以下では、特に説明がない限りは、ＧＵＩの表示制御や、ＧＵＩに対するユーザ操作に応じて行われる処理は何れも、ＣＰＵ１０８が行うものとする。また、特に説明がない限りは、ユーザ操作は、ユーザが操作部１１１を用いて行う操作であるものとする。

［第１の実施形態］
電子アルバムを作成して印刷するために画像処理装置１００が行う処理について、図３のフローチャートに従って説明する。図３のフローチャートに従った処理は、例えば、ユーザが操作部１１１を用いてメニュー操作部２０１における項目「ファイル」を指示したことでモニタ１０６に表示されるメニューおいてユーザが操作部１１１を用いて「新規作成」を指定することで開始される。

ステップＳ３０１では、ＣＰＵ１０８は、ユーザ操作に応じて選択されたテンプレートを取得する。例えばユーザが操作部１１１を用いて編集ボタン２０５における「レイアウト」を指示すると、モニタ１０６には、ＨＤＤ１０７に保存されているテンプレート群が一覧表示される。ユーザはこの一覧から操作部１１１を用いて所望のテンプレートを指示すると、ＣＰＵ１０８は、この指示されたテンプレートを以下で用いるテンプレートとして取得する。なお、テンプレートは全ページで共通でも良いし、ページごとにテンプレートを選択しても良い。以下では説明を簡単にするために、テンプレートは全ページで共通であるものとする。

テンプレートの一例を図４に示す。テンプレート４０１には、配置画像を配置するための画像スロット４０２ａ、４０２ｂ、４０２ｃ、テキストを配置するためのテキストスロット４０３、が設けられている。

ステップＳ３０２では、ＣＰＵ１０８は、電子アルバムのページ数を取得する。電子アルバムのページ数は、例えば、ユーザが操作部１１１を用いてメニュー操作部２０１における項目「ファイル」を指示したことでモニタ１０６に表示されるメニューおいてユーザが操作部１１１を用いて入力したものである。なお、ユーザが操作部１１１を用いて編集ボタン２０５におけるアイコン「ページの追加」を指示することでページ数を増加させても良い。また、ユーザが操作部１１１を用いて編集ボタン２０５におけるアイコン「ページの削除」を指示することでページ数を減少させても良い。

なお、ステップＳ３０１とステップＳ３０２ではテンプレートとページ数の両方をユーザが設定する構成として説明したが、一方がユーザにより設定されたときに他方が自動的に決定されてもよい。例えば、テンプレート情報に複数ページに相当するテンプレートと、該複数ページのページ数が含まれていてもよい。そして、ユーザには、テンプレート情報に基づいて、ページ数の候補、またはテンプレートの候補が提示される。そして、所望のページ数またはテンプレートがユーザにより選択されると、それに対応するテンプレートまたはページ数が自動で決定される。

例えば、電子アルバム作成サービスの場合、ページ数により料金が変更されることがある。そこで、ユーザにはページ数と料金が提示され、所望のページ数が選択されると、そのページ数に相当するテンプレートが自動的に決定されてもよい。

なお、本実施形態における１つのテンプレートは、電子アルバムの１ページに相当するものであってもよいし、電子アルバムの見開きの１ページ（電子アルバムにおける２ページ）に相当するものであってもよい。

ステップＳ３０３では、ＣＰＵ１０８はページごとに、該ページの画像スロットに配置する配置画像の抽出元となる１つの動画像、該配置画像として用いる１以上の静止画像をＨＤＤ１０７から取得する。「画像スロットに配置する配置画像の抽出元となる１つの動画像、該配置画像として用いる１以上の静止画像」は予め定められたものであっても良いし、ユーザが操作部１１１を用いて指定しても良い。例えば、Ｍ（Ｍは１以上の整数）ページ目のページに配置する配置画像の抽出元となる１つの動画像として「Ｍ番目に古い撮像日時に対応する動画像」、該配置画像として用いる静止画像として「該撮像日時の近傍の撮像日時の静止画像」を取得しても良い。

ステップＳ３０４では、ＣＰＵ１０８はページごとに、該ページの画像スロットに配置する画像が充分に得られているか否かを判断する。例えば、ステップＳ３０３で取得した動画像が「１秒の動画像（３０フレーム／秒）」である場合、この動画像からは最大３０枚のフレーム画像を抽出できる。よってこの場合、画像スロットの数が３０以下であれば「画像スロットに配置する画像が充分に得られている」と判断し、画像スロットの数が３１以上であれば「画像スロットに配置する画像は充分に得られていない」と判断する。

ステップＳ３０４において全てのページについて「画像スロットに配置する画像が充分に得られている」と判断した場合には、処理はステップＳ３０５に進む。一方、ステップＳ３０４において「画像スロットに配置する画像は充分に得られていない」と判断したページある場合には、処理はステップＳ３０３に進み、このページについてさらに静止画像をＨＤＤ１０７から取得する。更に取得する静止画像は予め定められたものであっても良いし、ユーザが操作部１１１を用いて選択しても良いし、動画像の撮像日時近傍の撮像日時に対応する静止画像であっても良い。

ステップＳ３０５では、ＣＰＵ１０８はページごとに、該ページ用に選択した静止画像を、該ページのどの画像スロットに配置するのかを決定する。着目ページ用に選択した静止画像を着目ページのどの画像スロットに配置するのかを決定する決定方法については特定の決定方法に限らない。例えば、より大きい静止画像をより大きい画像スロットに配置すると決定しても良いし、画像スロットに優先度が付与されている場合には、より高い優先度の画像スロットには、より重要度の高い静止画像を配置すると決定しても良い。「より重要度の高い静止画像」とは、例えば、より大きい画像、より解像度の高い画像、より色数の多い画像、より高い優先度が付与されている画像などがある。

ステップＳ３０６でＣＰＵ１０８はページごとに、該ページの画像スロットのうち、ステップＳ３０５で静止画像を配置する画像スロットとして決定した画像スロットを除く残りの画像スロットの数Ｚを、該ページに配置可能なフレーム画像の数として計数する。例えば、着目ページの画像スロットの数が「５」であり、そのうち３つの画像スロットに静止画像を配置することがステップＳ３０５で決定している場合、フレーム画像を配置可能な画像スロットは、残りの２つの画像スロットとなり、Ｚ＝２となる。

ステップＳ３０７では、ＣＰＵ１０８はページごとに、該ページについて選択した動画像から、該ページの画像スロットに配置する静止画像の撮像日時から規定期間だけ離間した撮像日時のフレーム画像をＺ枚抽出する。

このように、類似した画像が同一ページに配置されることを防ぐために、静止画像の撮像日時と同一または近接する撮像日時のフレーム画像は動画像から抽出しないようにしている。また、ページの区切りがシーンの区切りとなるように複数の動画像から抽出したフレーム画像が同一ページに配置されないように、動画像は１つのページに対して１つのみ選択され、該ページの画像スロットには該動画像から抽出されたフレーム画像が配置される。

ステップＳ３０８では、ＣＰＵ１０８はページごとに、該ページの画像スロットのうちステップＳ３０５で静止画像を配置するものとして決定した画像スロットにはステップＳ３０５の決定に従って静止画像を配置する。またＣＰＵ１０８はページごとに、該ページの画像スロットのうち静止画像を配置していない画像スロットにはステップＳ３０７で抽出したフレーム画像を配置する。どの画像スロットにどのフレーム画像を配置するのかについても特定の決定方法に限らず、例えば、ページの左上により近い位置には、撮像日時がより過去のフレーム画像が位置するようにしても良い。

ステップＳ３０９では、ＣＰＵ１０８は、ユーザが操作部１１１を用いてテキストスロットに対してテキストを入力する操作を行った場合には、この入力されたテキストを該テキストスロットに配置する。またＣＰＵ１０８は、ユーザが操作部１１１を用いて上記の切替アイコン２０６を指示した場合、複数のページについて決定した配置画像の撮像時刻の時系列を表示する後述のＧＵＩをモニタ１０６に表示し、画像スロットに配置する画像の編集操作を受け付ける。

ステップＳ３１０では、ＣＰＵ１０８は、ユーザが操作部１１１を用いて印刷ボタン２０７を指示したか否かを判断する。この判断の結果、ユーザが操作部１１１を用いて印刷ボタン２０７を指示した場合には、処理はステップＳ３１１に進む。一方、ユーザが操作部１１１を用いて印刷ボタン２０７を指示していない場合には、図３のフローチャートに従った処理は終了する。

ステップＳ３１１では、ＣＰＵ１０８は、上記の処理にて生成した各ページの印刷データ（電子アルバムの印刷データ）をプリンタドライバ１０３を用いて生成し、該生成した印刷データをプリンタ１０５に対して送出する。プリンタ１０５は、該印刷データに従って電子アルバムの各ページを紙などの記録媒体上に印刷する。

次に、ユーザが操作部１１１を用いて上記の切替アイコン２０６を指示した場合における画像処理装置１００の動作について説明する。ユーザが操作部１１１を用いて上記の切替アイコン２０６を指示した場合、ＣＰＵ１０８は、図２のＧＵＩの代わりに図５に例示するＧＵＩを表示する。

バー５０１は時間軸を表しており、バー５０１を挟んで上側には、各ページの画像スロットに配置した配置画像（静止画像やフレーム画像）の撮像日時を表す指標５０５，５０６が配置されている。指標５０５は静止画像の撮像日時に対応するバー５０１上の位置に配置されており、指標５０６はフレーム画像の撮像日時に対応するバー５０１上の位置に配置されている。図５では、左端の指標５０５は、各ページの画像スロットに配置した静止画像の撮像日時のうち最も過去の撮像日時に対応する位置に配置されている。また図５では、右端の指標５０５は、各ページの画像スロットに配置した静止画像の撮像日時のうち最近の撮像日時に対応する位置に配置されている。なお、静止画像の撮影日時として、静止画像ファイルのヘッダ部に記憶されている撮影日時情報が参照される。またフレーム画像の撮影日時は、例えば動画像ファイルのヘッダ部に記憶されている撮影日時情報と、該フレーム画像の動画内での撮影時間により求められる。

ユーザが操作部１１１を用いて再生ボタン５０２を指示すると、再生位置を示すシークボタン５０３がバー５０１上を右方向に移動する。着目指標（指標５０５／指標５０６）の位置を中心とする規定範囲内にシークボタン５０３が位置している間は、該着目指標に対応する画像（静止画像／フレーム画像）が領域５０７に表示される。シークボタン５０３が移動している間は、再生ボタン５０２はシークボタン５０３の移動を停止することを示す形状のボタン（一時停止ボタン）に変化し、ユーザが操作部１１１を用いて一時停止ボタンを指示すると、シークボタン５０３は停止する。なお、シークボタン５０３はユーザが操作部１１１を用いて左右に移動させることが可能であり、指標５０５／５０６の近傍位置にシークボタン５０３を移動させると、指標５０５／５０６に対応する画像（静止画像／フレーム画像）が領域５０７に表示される。

また、指標５０５や指標５０６はユーザが操作部１１１を用いて左右に移動させることができる。例えば、ユーザが操作部１１１を用いて指標５０５を左右に移動させると、該指標５０５に対応するページの画像スロットの静止画像は、該指標５０５の現在位置（撮像日時）に最も近い撮像日時の静止画像に置き換わる。また、例えば、ユーザが操作部１１１を用いて指標５０６を左右に移動させると、該指標５０６に対応するページの画像スロットのフレーム画像は、該指標５０６の現在位置（撮像日時）に最も近い撮像日時のフレーム画像に置き換わる。

また、バー５０１を挟んで下側には、ページの区切り位置を示す指標５０４が配置されている。画像スロットに配置画像を配置して初めて図５のＧＵＩを起動した段階では、左端からＮ（Ｎは１以上の整数）番目の指標５０４は、Ｎページ目の画像スロットに配置した配置画像の撮像日時のうち最近の撮像日時ＴＮを表しており、バー５０１において撮像日時ＴＮに対応する位置に配置されている。つまり、左端からＭ（Ｍは２以上の整数）番目の指標５０４と左端から（Ｍ＋１）番目の指標５０４との間の区間は、（Ｍ＋１）ページ目に対応する区間であり、（Ｍ＋１）ページ目の画像スロットに配置されている配置画像の撮像日時が属する範囲を表している。なお、左端の指標５０５と左端の指標５０４との間の区間は、１ページ目に対応する区間であり、１ページ目の画像スロットに配置されている配置画像の撮像日時が属する範囲を表している。

指標５０４は、ユーザが操作部１１１を操作して左右に移動させることができる。例えば、図５の状態において、ユーザが操作部１１１を用いて左端から２番目の指標５０４（指標５０４－２と称する）を左側に移動させたとする。このとき、指標５０４－２の現在位置Ｌに対応するそれぞれのページ（一方は２ページ目、他方は３ページ目）に対応する区間に基づいて、該それぞれのページに配置する配置画像を再決定する。

より具体的には、左端の指標５０４（指標５０４－１と称する）に対応する撮像日時と現在位置Ｌに対応する撮像日時との間の区間Ａに含まれる撮像日時の静止画像を、２ページ目の画像スロットに配置する配置画像として決定する。また、２ページ目用に選択した動画像（動画像２と称する）において区間Ａに含まれるフレーム画像群から選択したフレーム画像を、２ページ目において未だ画像を配置していない画像スロットに配置する配置画像として決定する。動画像から配置画像を決定する方法は、上記のステップＳ３０７における決定方法と同様である。

一方、現在位置Ｌに対応する撮像日時（先頭）と左端から３番目の指標５０４（指標５０４－３と称する）に対応する撮像日時との間の区間Ｂに含まれる撮像日時の静止画像を、３ページ目の画像スロットに配置する配置画像として決定する。動画像２において区間Ａを除く区間内のフレーム画像群と、３ページ目用に選択した動画像（動画像３と称する）のフレーム画像群と、から選択したフレーム画像を、３ページ目において未だ画像を配置していない画像スロットに配置する配置画像として決定する。動画像から配置画像を決定する方法は、上記のステップＳ３０７における決定方法と同様である。

また例えば、図５の状態において、ユーザが操作部１１１を用いて指標５０４－２を右側に移動させたとする。このとき、指標５０４－２の現在位置Ｒに対応するそれぞれのページ（２ページ目、３ページ目）に対応する区間に基づいて、該それぞれのページに配置する配置画像を再決定する。

より具体的には、指標５０４－１に対応する撮像日時と現在位置Ｒに対応する撮像日時（後端）との間の区間に含まれる撮像日時の静止画像を、２ページ目の画像スロットに配置する配置画像として決定する。また、動画像２のフレーム画像群と、動画像３において「指標５０４－２に対応する撮像日時と現在位置Ｒに対応する撮像日時との間の区間Ｃ」に含まれるフレーム画像群と、から選択したフレーム画像を、２ページ目において未だ画像を配置していない画像スロットに配置する配置画像として決定する。動画像から配置画像を決定する方法は、上記のステップＳ３０７における決定方法と同様である。

一方、現在位置Ｒに対応する撮像日時と指標５０４－３に対応する撮像日時との間の区間Ｄに含まれる撮像日時の静止画像を、３ページ目の画像スロットに配置する配置画像として決定する。また、動画像３において区間Ｄ内のフレーム画像群から選択したフレーム画像を、３ページ目において未だ画像を配置していない画像スロットに配置する配置画像として決定する。動画像から配置画像を決定する方法は、上記のステップＳ３０７における決定方法と同様である。

このように、複数のページについて決定した配置画像の撮像時刻の時系列において、区切り位置に対応するそれぞれのページに対応する区間に基づいて、該それぞれのページに配置する配置画像を再決定する。そして再決定後は、区切り位置に対応するそれぞれのページについて、上記のステップＳ３０８と同様に、上記の決定に従って該ページに配置画像を配置する処理を行う。

ここで、図５のＧＵＩが表示された場合に画像処理装置１００が行う配置画像の変更処理、配置画像の再決定処理、配置画像の配置処理について、図９のフローチャートに従って説明する。

ステップＳ９０１ではＣＰＵ１０８は、指標５０５がユーザ操作に応じて移動したか否かを判断する。この判断の結果、指標５０５がユーザ操作に応じて移動した場合には処理はステップＳ９０２に進み、指標５０５がユーザ操作に応じて移動していない場合には、処理はステップＳ９０３に進む。

ステップＳ９０２ではＣＰＵ１０８は、指標５０５に対応するページの画像スロットの静止画像を、該指標５０５の現在位置（撮像日時）に最も近い撮像日時の静止画像に置き換える。

ステップＳ９０３ではＣＰＵ１０８は、指標５０６がユーザ操作に応じて移動したか否かを判断する。この判断の結果、指標５０６がユーザ操作に応じて移動した場合には処理はステップＳ９０４に進み、指標５０６がユーザ操作に応じて移動していない場合には、処理はステップＳ９０５に進む。

ステップＳ９０４ではＣＰＵ１０８は、指標５０６に対応するページの画像スロットのフレーム画像を、該指標５０６の現在位置（撮像日時）に最も近い撮像日時のフレーム画像に置き換える。

ステップＳ９０５ではＣＰＵ１０８は、指標５０４がユーザ操作に応じて移動したか否かを判断する。この判断の結果、指標５０４がユーザ操作に応じて移動した場合には処理はステップＳ９０６に進み、指標５０４がユーザ操作に応じて移動していない場合には、処理はステップＳ９０８に進む。

ステップＳ９０６では、ＣＰＵ１０８は、移動後の指標５０４に対応する撮像時刻に対応するそれぞれのページに対応する区間に基づいて、上記の如く、該それぞれのページに配置する配置画像を再決定する。

ステップＳ９０７では、ＣＰＵ１０８は、移動後の指標５０４に対応する撮像時刻に対応するそれぞれのページについて、ステップＳ９０６の再決定に従って該ページに配置画像を配置する処理を行う。

ステップＳ９０８では、ＣＰＵ１０８は、切替アイコン５０８がユーザ操作に応じて指示されたか否かを判断する。この判断の結果、切替アイコン５０８がユーザ操作に応じて指示された場合には、処理はステップＳ９０９に進み、切替アイコン５０８がユーザ操作に応じて指示されていない場合には、処理はステップＳ９０１に進む。ステップＳ９０９では、ＣＰＵ１０８は、図２のＧＵＩをモニタ１０６に表示させる。そして処理は上記のステップＳ３１０に進む。

なお、指標５０４に隣接する一方側のページの区間が規定長以下となり、例えば、これ以上指標５０４を該一方側に移動させると該ページの画像スロットに配置するフレーム画像が動画像から抽出できない場合、モニタ１０６に警告メッセージを表示する。警告メッセージは、テキストであっても良いし、画像であっても良いし、テキストと画像の組み合わせであっても良い。そして指標５０４を該一方側に移動させないようにする。

なお、ユーザが操作部１１１を用いて切替アイコン５０８を指示すると、図５のＧＵＩの代わりに図２のＧＵＩがモニタ１０６に表示される。なお、図２のＧＵＩと図５のＧＵＩとを別個のＧＵＩとしても良いが、図２のＧＵＩと図５のＧＵＩとを一体化して１つのＧＵＩとしても良い。この場合、切替アイコン２０６や切替アイコン５０８は省くことになる。

なお、本実施形態では、指標５０４を移動させることで動画像からフレーム画像を抽出する範囲や静止画像を取得する範囲を変更していたが、動画像からフレーム画像を抽出する範囲や静止画像を取得する範囲から除外する除外範囲を指定しても良い。その場合、上記の配置画像の決定においてこの除外範囲からはフレーム画像や静止画像を取得しないようにする。なお、この除外範囲はバー５０１上に表示しても良い。

また、動画像において優先的にフレーム画像を抽出する優先範囲を予め指定しておいても良い。例えば、ゴルフのスイングなど、短時間での動作に対応するフレーム画像群を優先範囲として指定しておいても良い。この場合、上記の配置画像の決定においてこの優先範囲から他の範囲よりも優先的にフレーム画像や静止画像を抽出するようにする。

また、本実施形態では、ユーザが操作部１１１を操作することでＧＵＩの操作（アイコン、ボタン、指標、シークボタン５０３等に対する操作）を行っていた。しかし、ＧＵＩに対するユーザ操作は、操作部１１１を用いたものに限らない。例えば、モニタ１０６がタッチパネル画面を有している場合、ユーザは該タッチパネル画面に対する操作により、該タッチパネル画面に表示されているＧＵＩの操作（アイコン、ボタン、指標、シークボタン５０３等に対する操作）を行っても良い。

このように、本実施形態によれば、静止画像や動画像から抽出したフレーム画像を配置画像として複数のページに配置する場合、ユーザは、配置画像と該配置画像が配置されたページとの対応関係を把握することができる。さらに本実施形態によれば、ユーザは、同一ページ上に配置するフレーム画像に対応する動画像の時間範囲を容易に変更することが可能になり、ユーザの好みにあった電子アルバムの作成負荷を軽減することができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、ページごとに独立してページ区切り位置の指定を行った。しかし、電子アルバムを作成する場合、図６に示す如く、見開きページを作成する場合がある。そこで、本実施形態では、見開きページごとにページ区切り位置の指定を行う例を説明する。

図２のＧＵＩにおいて見開きページを表示した場合の表示例を図６に示す。図６に示す見開きページでは、左側のページには配置画像を配置するための領域２０３ｄ～２０３ｈが設けられており、右側のページには配置画像を配置するための領域２０３ｉおよびテキスト（文字列）を配置するための領域２９０が設けられている。そして図６のＧＵＩにおいて切替アイコン２０６をユーザが操作部１１１を用いて指示した場合にモニタ１０６に表示されるＧＵＩの構成例を図７に示す。

図７に示す如く、バー５０１を挟んで下側には、指標５０４に加えて指標５０４ａが表示されている。指標５０４ａは、見開きページの画像スロットに配置されている配置画像の撮像日時のうち最近の撮像日時に対応する位置に配置されるものであり、見開きページにおけるページ区切りに対応する。指標５０４ａと指標５０４とは互いに区別できるように、互いに異なる表示形態で表示する（図７では指標５０４は実線、指標５０４ａは点線で示している）。

指標５０４ａもまた指標５０４と同様にユーザ操作に応じて移動可能であり、指標５０４と同様、指標５０４ａに対応するそれぞれのページに対応する区間に基づいて、該それぞれのページに配置する配置画像を再決定する。このように、本実施形態によれば、見開きページについても、配置画像との対応関係を把握することができる。

［第３の実施形態］
第１，２の実施形態では、動画像から抽出したフレーム画像や静止画像を配置画像として画像スロットに配置した後、指標５０４や指標５０４ａを用いて区切り位置を変更すると、画像スロットに配置する配置画像の再決定を行っていた。本実施形態では、先にページの区切り位置を決定し、その後で各ページの画像スロットに配置する配置画像を決定する。

本実施形態に係る電子アルバムの作成処理について、図８のフローチャートに従って説明する。図８のフローチャートに従った処理は、例えば、ユーザが操作部１１１を用いてメニュー操作部２０１における項目「ファイル」を指示したことでモニタ１０６に表示されるメニューおいてユーザが操作部１１１を用いて「新規作成」を指定することで開始される。また、図８において、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ８０５では、ＣＰＵ１０８は、図５のＧＵＩをモニタ１０６に表示させる。ステップＳ８０５の段階で表示した図５のＧＵＩでは、指標５０５，５０６は未だ表示されていない。そしてＣＰＵ１０８は、ユーザが操作部１１１を用いて、バー５０１を挟んで下側に指標５０４を加えたり削除したり移動させたりすることで入力したページの区切り位置（撮像日時）を取得する。

ステップＳ８０６では、ＣＰＵ１０８はページごとに、該ページの画像スロットに配置する静止画像を該ページの区切り位置に基づいて決定し、該決定した静止画像を該ページのどの画像スロットに配置するのかを決定する。つまり、最も古い撮像日時の順にＮ番目の区切り位置をＰ（Ｎ）とすると、Ｐ（Ｎ）とＰ（Ｎ＋１）との間の区間内の撮像日時を有する静止画像を、（Ｎ＋１）ページ目の画像スロットに配置する静止画像として決定する。また、最も古い撮像日時（例えばステップＳ３０３で取得した動画像や静止画像の撮像日時のうち最も古い撮像日時）とＰ（１）との間の区間内の撮像日時を有する静止画像を、１ページ目の画像スロットに配置する静止画像として決定する。なお、どの静止画像をどの画像スロットに配置するのかの決定方法については、第１の実施形態と同様である。

ステップＳ８０７では、ＣＰＵ１０８はページごとに、該ページの画像スロットのうち、ステップＳ８０６で静止画像を配置する画像スロットとして決定した画像スロットを除く画像スロットの数Ｚを、該ページに配置可能なフレーム画像の数として計数する。

ステップＳ８０８ではＣＰＵ１０８はページごとに、該ページの画像スロットに配置するフレーム画像を決定する。（Ｎ＋１）ページ目の画像スロットに配置するフレーム画像は、Ｐ（Ｎ）とＰ（Ｎ＋１）との間の区間内の撮像日時に対応するフレーム画像を、ステップＳ３０３で取得した動画像から抽出する。１ページ目の画像スロットに配置するフレーム画像は、最も古い撮像日時とＰ（１）との間の区間内の撮像日時に対応するフレーム画像を、ステップＳ３０３で取得した動画像から抽出する。ここで、「最も古い撮像日時」は、例えば、ステップＳ３０３で取得した動画像や静止画像の撮像日時のうち最も古い撮像日時である。この処理は、第１の実施形態において指標５０４を移動させた後に画像スロットに配置するフレーム画像を決定する処理と同様である。

ステップＳ８０９では、ＣＰＵ１０８は、ユーザが操作部１１１を用いて、画像スロットに配置する配置画像の変更操作を行うと、該変更操作に応じて該画像スロットに配置する配置画像の変更を行う。例えば、第１の実施形態と同様に、図５のＧＵＩにおいて指標５０５や指標５０６を左右に移動させることで配置画像の変更を行うようにしても良い。

ステップＳ８１０では、ＣＰＵ１０８は、ユーザが操作部１１１を用いて、画像スロットに配置する配置画像の変更操作を完了させる旨の指示を入力したか否かを判断する。この判断の結果、画像スロットに配置する配置画像の変更操作を完了させる旨の指示を入力した場合には、処理はステップＳ８１１に進み、入力していない場合には、処理はステップＳ８０９に進む。例えば、ユーザが操作部１１１を用いて切替アイコン５０８を指示した場合には、「画像スロットに配置する配置画像の変更操作を完了させる旨の指示を入力した」と判断しても良い。

ステップＳ８１１では、ＣＰＵ１０８は、上記のステップＳ３０８と同様に、各ページについて、該ページの画像スロットに配置するものとして決定した配置画像を該画像スロットに配置する。そしてＣＰＵ１０８は、図２のＧＵＩをモニタ１０６に表示させる。

ステップＳ８１２では、ＣＰＵ１０８は、ユーザが操作部１１１を用いてテキストスロットに対してテキストを入力する操作を行った場合には、この入力されたテキストを該テキストスロットに配置する。なお、上記の説明では図５のＧＵＩを用いた形態について説明したが、代わりに図６のＧＵＩを用いても良い。

このように、本実施形態によれば、動画像から抽出したフレーム画像や静止画像を配置画像として複数のページに配置する場合、ページの区切り位置を先に決定してから配置画像を決定することが可能になる。これにより、ユーザの好みにあった電子アルバムの作成負荷を軽減することができる。

［第４の実施形態］
上記の各実施形態では、１つのページに、動画像から抽出されたフレーム画像、静止画像、テキスト、の全てを配置するものとして説明したが、これらのうち１つ以上を配置するようにしても良い。また、本実施形態のアプリケーションがフレーム画像に対応している必要はなく、静止画像のみを配置画像とする仕様であってもよい。

また、上記の各実施形態において説明したＧＵＩの構成やその操作方法は、上記の構成や操作方法に限らない。また、上記の各実施形態では、電子アルバムを印刷する形態について説明したが、電子アルバムの出力形態は印刷に限らない。例えば、電子アルバムのデータをＨＤＤ１０７に保存しても良いし、電子アルバムのデータをネットワークを介して外部装置に対して送信しても良い。また、各ページに画像やテキスト等を配置したことで得られるものは電子アルバムに限らない。

また、以上説明した各実施形態の一部若しくは全部は適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置 １０１：アプリケーションソフトウェア １０２：ＯＳ １０３：プリンタドライバ １０４：モニタドライバ １０５：プリンタ １０６：モニタ １０７：ＨＤＤ １０８：ＣＰＵ １０９：ＲＡＭ １１０：ＲＯＭ １１１：操作部

Claims (17)

1. ページに配置する配置画像を決定する決定手段と、
   複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と
   を備え、
   前記決定手段は、
   前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
   前記決定手段は、
   動画像における１以上のフレーム画像を前記配置画像として決定する
   ことを特徴とする画像処理装置。
2. 前記決定手段は、
   前記区切り位置に対応する一方のページに対応する動画像におけるフレーム画像群、前記区切り位置に対応する他方のページに対応する動画像において該区切り位置を後端とするフレーム画像群、から１以上のフレーム画像を、該一方のページに配置する配置画像として決定し、
   前記他方のページに対応する動画像において前記区切り位置を先頭とするフレーム画像群から１以上のフレーム画像を、該他方のページに配置する配置画像として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、複数のページについて前記決定手段が決定した配置画像の撮像時刻を表す指標を前記表示画面に表示することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、ユーザ操作に応じて前記指標を移動させると、該指標に対応する配置画像の代わりに配置する画像として移動後の指標に対応する配置画像を決定することを特徴とする請求項３に記載の画像処理装置。
5. 更に、
   前記複数のページのそれぞれについて、該ページに対して前記決定手段が決定した配置画像を該ページに配置する配置手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 更に、
   前記配置手段により配置画像が配置された前記複数のページの印刷データを生成して印刷装置に出力する出力手段を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、動画像において指定された除外範囲からは配置画像は決定しないことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、動画像において指定された範囲から、他の範囲よりも優先的に１以上のフレーム画像を前記配置画像として決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. ページに配置する配置画像を決定する決定手段と、
   複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と
   を備え、
   前記決定手段は、
   前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
   前記表示制御手段は、複数のページについて前記決定手段が決定した配置画像の撮像時刻を表す指標を前記表示画面に表示することを特徴とする画像処理装置。
10. ページに配置する配置画像を決定する決定手段と、
    複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と、
    前記複数のページのそれぞれについて、該ページに対して前記決定手段が決定した配置画像を該ページに配置する配置手段と
    を備え、
    前記決定手段は、
    前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定する
    ことを特徴とする画像処理装置。
11. ページに配置する配置画像を決定する決定手段と、
    複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と
    を備え、
    前記決定手段は、
    前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
    前記決定手段は、
    動画像において指定された除外範囲からは配置画像は決定しないことを特徴とする画像処理装置。
12. ページに配置する配置画像を決定する決定手段と、
    複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御手段と
    を備え、
    前記決定手段は、
    前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
    前記決定手段は、
    動画像において指定された範囲から、他の範囲よりも優先的に１以上のフレーム画像を前記配置画像として決定することを特徴とする画像処理装置。
13. 前記決定手段は、動画像における１以上のフレーム画像と、１以上の静止画像と、を前記配置画像として決定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記ページは見開きページを含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. さらに、
    前記ユーザ操作に応じて指定された、前記区切り位置を取得する取得手段
    を備えることを特徴とする請求項１ないし１４のいずれか１項に記載の画像処理装置。
16. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の決定手段が、ページに配置する配置画像を決定する決定工程と、
    前記画像処理装置の表示制御手段が、複数のページについて前記決定手段が決定した配置画像の撮像時刻の時系列を表示画面に表示する表示制御工程と
    を備え、
    前記決定工程では、
    前記時系列におけるページの区切り位置がユーザ操作に応じて指定されると、前記時系列において前記区切り位置に対応するそれぞれのページに対応する区間に基づいて該それぞれのページに配置する配置画像を再決定し、
    前記決定工程では、
    動画像における１以上のフレーム画像を前記配置画像として決定する
    ことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images