JP6877105B2 - 画像処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、複数の画像の中から１つ以上の画像を選択して表示するための技術に関する。

近年、デジタルカメラやカメラ機能付きのスマートフォンの普及により、撮影機会が著しく増加し、それに伴って撮影される画像の数も飛躍的に増加している。また、デジタルカメラやカメラ機能付きのスマートフォンが高機能化し、１秒間に１０枚以上など、短期間で多量の画像を撮影（連写）することが可能になり、これに伴って、多数の類似した画像が生成される機会も増えてきている。

撮影される画像の増加に従って、複数の画像を１つ以上のページ上に配置した電子アルバムなど、撮影された画像を含んだデータが作成される機会も増加している。ここで、電子アルバムの作成の際には、ユーザの好みにあった画像がページ上に配置されるように、ユーザが、多数の画像の中から手動で画像を選択することが多い。

特許文献１に記載の技術によれば、ページ上に配置された画像と同じグループの画像が候補画像表示エリアに表示されることにより、ユーザによる各々のページにおける画像配置の編集操作が容易化される。

特開２０１３−０３３４５３号公報

ユーザが、ページへの配置対象の画像を、ページに既に配置されている画像から他の画像に変更する場合、既に配置されている画像の特性を有する画像に変更したい場合がある。

しかしながら、特許文献１に記載の技術は、配置されている画像に関する特性を有する他の画像に変更できるか否かに関わらず、ユーザは同様の表示に従って画像を選択する必要がある。そのため、例えば上記の特性を有する画像が存在せず、そのような画像への変更ができないにもかかわらず、ユーザが上記の特性を有する画像を探す場合がある。また、例えば上記の特性を有する画像が存在しており、そのような画像への変更が可能であるにもかかわらず、そのことをユーザが認識できない場合がある。

本発明は上記課題に鑑みなされたものであり、ページに配置されている画像の特性を有する他の画像に配置対象を変更する際のユーザの操作の負担を軽減することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、ページに画像を配置して表示する画像処理装置であって、前記ページの所定領域に配置されている第１の画像から、前記第１の画像に関する所定の特性を有し且つ前記第１の画像と異なる第２の画像へと前記ページの前記所定領域に配置されている配置対象を変更することが可能である場合と、当該第２の画像への変更が可能でなく、且つ、前記所定領域に配置されている前記第１の画像から、前記所定の特性を有さない他の画像へと前記所定領域に配置されている配置対象を変更することが可能である場合と、で異なる表示を表示装置に表示させる制御手段と、前記第２の画像への変更が可能であり且つ前記第２の画像へ変更する操作を受け付けた場合、前記ページへの配置対象を前記第１の画像から前記第２の画像へと変更する変更手段と、を有し、前記変更手段は、前記ページの前記所定領域に配置されている前記第１の画像を変更する前の状態において、前記ページの前記所定領域とは別領域に前記第２の画像が表示されている場合、前記所定領域に配置されている前記第１の画像を前記第２の画像へと変更したら、当該変更に基づき、前記別領域に配置されている前記第２の画像を、前記所定の特性を有し且つ前記第１の画像および前記第２の画像のいずれとも異なる第３の画像へと変更することを特徴とする。

本発明によれば、ページに配置されている画像の特性を有する他の画像に配置対象を変更する際のユーザの操作の負担を軽減することができる。

画像処理装置の構成例を示すブロック図である。 表示される画面構成の例を示す図である。 画像処理装置が実行する処理の第１の例を示すフローチャートである。 類似画像に変更するためのボタンを表示した画面の例を示す図である。 類似画像群を示す図である。 複数の連続写真を配置したページの例を示す図である。 図６の状態から画像を変更した結果の一例を示す図である 画像処理装置が実行する処理の第２の例を示すフローチャートである。 画像処理装置が実行する処理の第３の例を示すフローチャートである。 画像処理装置が実行する処理の第４の例を示すフローチャートである。 動画ファイルから画像を生成する処理の例を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（装置構成）
図１に、本実施形態に係るホストコンピュータ１００の構成例を示す。図１の例において、ホストコンピュータ１００には、プリンタ１０５とモニタ１０６とが接続されている。なお、本実施形態のホストコンピュータ１００は、画像処理が可能な任意の形式の画像処理装置であり、パーソナルコンピュータやサーバなど、様々な形態の装置によって実現することができる。ホストコンピュータ１００は、例えば、ワードプロセッサ、表計算、インターネットブラウザ、またはそれらの組み合わせなどの、１つ以上のアプリケーションソフトウェア１０１を有する。アプリケーションソフトウェア１０１は、所定の処理を実行して、その処理の実行の結果を表示する画像を生成するための、各種描画処理命令群（イメージ描画命令、テキスト描画命令、またはグラフィクス描画命令等）を発行する。そして、アプリケーションソフトウェア１０１によって発行された描画処理命令群は、オペレーティングシステム（ＯＳ）１０２を介してモニタドライバ１０４へ入力される。また、描画処理命令群は、印刷に関するものである場合には、ＯＳ１０２を介してプリンタドライバ１０３へも入力される。プリンタドライバ１０３は、入力された描画処理命令群を処理して印刷データを作成し、プリンタ１０５に印刷させるためのソフトウェアである。また、モニタドライバ１０４は、入力された描画命令群を処理してモニタ１０６に画像を表示させるためのソフトウェアである。

ホストコンピュータ１００は、上述のソフトウェアを格納して機能させるために、ＣＰＵ１０８、ハードディスク（ＨＤ）１０７、ＲＡＭ１０９、ＲＯＭ１１０等のハードウェアを有する。例えば、ホストコンピュータ１００には、印刷機能を有する任意のアプリケーションソフトウェアがインストールされ、モニタ１０６およびプリンタ１０５が接続される。なお、ホストコンピュータ１００と、モニタ１０６およびプリンタ１０５は、直接ケーブル等によって接続されてもよいし、有線または無線のＬＡＮ等を介して接続されてもよい。

ホストコンピュータ１００は、アプリケーションソフトウェア１０１により、文字等のテキストに分類されるテキストデータ、図形等のグラフィクスに分類されるグラフィクスデータ、写真画像等に分類される画像データ等を用いて、出力画像データを作成する。そして、その出力画像データは、モニタ１０６に表示される。また、アプリケーションソフトウェア１０１は、出力画像データに基づく画像を印刷する場合、ＯＳ１０２に対して印刷出力を要求する。このとき、テキストデータ部がテキスト描画命令により構成され、グラフィクスデータ部分がグラフィクス描画命令により構成され、画像データ部分がイメージ描画命令により構成される描画命令群が、ＯＳ１０２に対して発行される。

（画面構成例）
図２は、上述のアプリケーションソフトウェア１０１によって実現される、ページ上に画像を配置して編集する機能を有する画面構成の例を示す図である。ここでのアプリケーションソフトウェア１０１は、例えば電子アルバム作成用のアプリケーション用のソフトウェアであり、画面上に電子アルバムの１つ以上のページを表示して、そのページ上に配置される画像をユーザ操作によって編集可能とする。この場合、アプリケーションソフトウェア１０１は、例えば、編集された１つ以上のページを、印刷によって紙媒体のアルバムを作成することもできる。アプリケーションソフトウェア１０１は、本例において、メニュー操作部２０１、ページ表示領域２０２、編集ボタン領域２０５、印刷ボタン２０６、表示ページ変更ボタン２０７を含む。

メニュー操作部２０１は、アプリケーションソフトウェア１０１の終了、ページへの画像追加の指定、ヘルプの表示等の機能の、ユーザによる選択を受け付けるための領域である。ユーザがメニュー操作部２０１に表示されたコマンドを選択することにより、アプリケーションソフトウェア１０１によって各機能が実行される。ページ表示領域２０２は、ページ上に配置された画像２０３や文字２０４を表示するとともに、画像や文字の編集操作を受け付ける領域である。編集ボタン領域２０５は、画像の追加、文字の追加、ページの追加、ページの削除など、ページ表示領域２０２に対する編集操作を受け付けるためのボタンが表示される領域である。印刷ボタン２０６は、ユーザによって押下されたことに応じて、ページ表示領域２０２に表示されているページを印刷するためのボタンである。表示ページ変更ボタン２０７は、ユーザによって押下されたことに応じて、ページ表示領域２０２に表示するページを変更するためのボタンである。

なお、後述する処理により、図２に示した画面においてユーザは、ページへの配置対象の画像を、ページに配置済みの画像から当該画像の特性を有する他の画像に変更することができる。ただし、図２に示した画面においては、当該画像の特性を有する画像に関わらず、後述する変更後の配置対象の候補である複数の画像のうち、ユーザが任意に選択した画像に配置対象を変更することができる。例えば図２に示す画面においてページに配置されている画像２０３のうち、ユーザが変更対象の画像を選択する。そして、編集ボタン領域２０５に対する操作により、変更後の配置対象の候補である複数の画像のサムネイルが一覧表示され、その中からユーザが変更後の配置対象の画像を選択することで、変更が行われてもよい。

（処理の流れ）
以下では、上述のようなホストコンピュータ１００が実行する画像処理方法のいくつかの例について説明する。以下の処理例では、ホストコンピュータ１００は、ページ上に配置された変更対象画像が、類似した画像群における１つの画像であるか、動画の任意のフレーム情報から生成された画像であるか、またはそのいずれでもない画像であるかを判定する。なお、ここでの類似した画像群とは、画像群内の１枚の画像が画像群内の少なくとも１枚の他の画像と所定のレベル（例えば９０％等）で一致している画像群である。そして、ホストコンピュータ１００は、変更対象画像が類似した画像群における１つの画像である場合は、類似した１つ以上の画像が存在することを示す表示を行い、さらに、その類似した画像への変更操作を受け付けるための制御を行う。また、ホストコンピュータ１００は、変更対象画像が動画から生成された画像であり、その動画が存在する場合には、動画の別のフレームから切り出した画像によって変更外相画像を置き換え可能であることを示す表示を行う。さらに、ホストコンピュータ１００は、その別のフレームから切り出した画像への変更操作を受け付けるための制御を行う。そして、ホストコンピュータ１００は、変更操作を受け付けるための制御が行われている状態において操作を受け付けることにより、変更対象画像を類似画像又は動画の別フレームから生成された画像へ変更する制御を行う。以下、いくつかの処理例について説明する。

＜処理例１＞
まず、図３を用いて第１の処理例について説明する。図３は、図２におけるページ表示領域２０２上の画像２０３を変更する処理の流れを示している。ホストコンピュータ１００は、変更対象画像が選択されたことに応じて本処理を開始する。なお、本処理の少なくとも一部は、例えばページ上に画像が配置される時点等の変更対象画像が選択される前に実行されてもよい。すなわち、変更対象画像は、ユーザ操作によって変更対象として指定された画像のみならず、変更対象となりうる画像、すなわちページ上に配置された１枚以上の画像の全部または一部であってもよい。なお、複数の画像が変更対象画像である場合には、処理は変更対象画像ごとに実行される。

まず、ホストコンピュータ１００は、ページ上に配置された、変更対象画像の撮影日時情報を取得する（Ｓ３０１）。ホストコンピュータ１００は、さらに、変更対象画像が保存されているフォルダを検索し、また、その変更対象画像と同階層に存在する画像ファイルを変更後の配置対象として検索して、検索したファイルの撮影日時情報を取得する（Ｓ３０２）。なお、撮影日時情報は、検索結果の全部または一部について取得される。例えば、変更対象画像について本処理を実行したことがある場合には、過去に取得した撮影日時情報がそのまま使用されてもよい。この場合、その過去の時点で変更対象画像が保存されているフォルダと同階層に存在せず、現時点においてその階層に存在している画像についてのみ、撮影日時情報を取得するようにしてもよい。

次に、ホストコンピュータ１００は、Ｓ３０１において取得した変更対象画像の撮影日時情報と、Ｓ３０２で検索によって得られた画像（変更後の配置対象の候補）の撮影日時情報との差が所定値Ｔの範囲内であるか否かを判定する（Ｓ３０３）。ホストコンピュータ１００は、撮影日時情報の差が所定値Ｔの範囲内の画像が存在しないと判定した場合（Ｓ３０３でＮＯ）は、処理を終了する。なお、図３の処理が終了したとしても、上述したように、図２に示す画面において、ユーザはページ上の任意の画像を、Ｓ３０２において検索された複数の画像のうちの任意の画像に変更することができる。

一方、ホストコンピュータ１００は、撮影日時情報の差が所定値Ｔの範囲内の画像が存在すると判定した場合（Ｓ３０３でＹＥＳ）、所定値Ｔの範囲内にある画像がページ上に配置した画像と類似していると判断する。そして、ホストコンピュータ１００は、類似画像が存在することを示すとともに、類似画像に変更するためのボタンを例えばページ表示領域に表示する（Ｓ３０４）。Ｓ３０４では、例えば、図４のように、撮影日時が変更対象画像２０３より前の画像と後の画像のそれぞれについて、変更対象画像２０３と撮影日時が最も近い画像に変更するためのボタン４０１およびボタン４０２が表示される。すなわち、ボタン４０１は、変更対象画像２０３より撮影日時が前の類似画像が存在することを示すと共に、その類似画像への変更を受け付けるボタンである。同様に、ボタン４０２は、変更対象画像２０３より撮影日時が後の類似画像が存在することを示すと共に、その類似画像への変更を受け付けるボタンである。なお、ボタンは、変更対象画像２０３上に表示されてもよいし、変更対象画像２０３の欄外に表示されてもよい。例えば、ボタン４０１及び４０２は、図４のように変更対象画像２０３に重ねられて表示されてもよいし、変更対象画像２０３の例えば欄外下部等に表示されてもよい。また、これに伴い、画像の変更操作は、変更対象画像２０３上で行われるようにしてもよいし、変更対象画像２０３外で行われるようにしてもよい。

その後、ホストコンピュータ１００は、Ｓ３０４で表示されたボタンが、ユーザ操作によって押下されたか否かを判定する（Ｓ３０５）。ホストコンピュータ１００は、Ｓ３０５においてボタン４０１が押下されたと判定した場合、ページ上に表示する画像を、撮影日時が変更対象画像２０３の直前の画像に変更する（Ｓ３０６）。一方、ホストコンピュータ１００は、Ｓ３０５においてボタン４０２が押下されたと判定した場合、ページ上に表示する画像を、撮影日時が変更対象画像２０３の直後の画像に変更する（Ｓ３０７）。

その後、ホストコンピュータ１００は、画像選択状態が解除される又は表示対象のページが切り替えられるなどによって、画像変更操作が終了したか否かを判定する（Ｓ３０８）。ホストコンピュータ１００は、画像変更操作が終了したと判定した場合（Ｓ３０８でＹＥＳ）は、図３の処理を終了する。一方、ホストコンピュータ１００は、画像変更操作が終了していないと判定した場合（Ｓ３０８でＮＯ）は処理をＳ３０５へ戻す。

図３に示す処理によれば、変更後の配置対象の候補として、ページに配置済みの画像と撮影日時情報の差が所定値Ｔの範囲内の画像が存在する場合（Ｓ３０３でＹＥＳ）、類似の画像に配置対象を変更可能として、Ｓ３０４による表示が行われる。一方、そのような画像が存在しない場合（Ｓ３０３でＮＯ）、Ｓ３０４における表示処理は行われない。ただし、そのような画像が存在しない場合（Ｓ３０３でＮＯ）でも、配置対象の変更は可能である。

すなわち、ユーザは、Ｓ３０４における表示の有無を確認することで、ページに配置済みの画像の特性を有する他の画像に変更可能であるか、またはその特性を有さない他の画像への変更のみ可能であるかを認識することができる。

なお、配置済みの画像を類似の画像に変更可能でない場合（Ｓ３０３でＮＯ）、その配置済みの画像については、変更が行われないように制御されてもよい。

なお、上述の説明では、変更対象画像の撮影日時から所定値の範囲内の撮影日時を有する画像が存在する場合に、類似画像が存在すると判定する場合について説明したが、これに限られない。例えば、変更対象画像に付随する付随情報が、その変更対象画像が連続撮影によって得られたものであることを示す場合に、類似画像が存在すると判定してもよい。なお、このような付随情報と、撮影日時とを組み合わせて、例えば連続撮影によって得られた画像であり、かつ、撮影日時の差が所定値の範囲内の他の画像が存在する場合に、類似画像が存在すると判定されてもよい。

また、上述の説明では、Ｓ３０２において、変更対象画像が保存されているフォルダと同階層に存在する画像ファイルを検索対象としたが、これに限られない。例えば、ホストコンピュータ１００におけるハードディスク（ＨＤ１０７）全体や、ネットワーク接続されたサーバ上の記憶領域に記憶されている画像ファイルが検索対象とされてもよい。

また、Ｓ３０４では、類似画像が存在することを示すためにボタン表示すると説明したが、類似画像が存在すること示す他の識別子が表示されてもよい。また、Ｓ３０５では、ボタン押下の判断ではなく、例えばタッチスクリーン機能を有するディスプレイ上に表示された画像上で、スワイプやフリックなど指を動かす等のタッチ操作による画像変更指示を受け付けるようにしてもよい。すなわち、ホストコンピュータ１００は、類似画像が存在することを識別可能な識別情報の表示を行うと共に画像変更指示の受付を可能な状態とすればよく、その形態については限定されない。

本処理によれば、ページ上に配置された画像と類似した画像が多数存在する場合に、類似した多数の画像からユーザの好みにあった画像に変更する際の操作の負荷を軽減することができる。

＜処理例２＞
上述の処理例１では、ページ上に複数の画像が配置されている場合であっても画像ごとに画像を変更する場合の例について説明した。しかしながら、野球やゴルフなどのスイング動作など、連写された複数の画像が１つのページに配置される場合もある。すなわち、１つの画像があるページに配置されるときに、撮影日時がその画像の直前または直後の画像が同一ページに配置されている場合がある。このような場合に、その１つの画像を直前または直後に撮影された画像へと変更すると、同じ画像が同一ページに配置されることになってしまう。例えば、図５のような画像群の一部である画像５〜画像７を、図６のように、連続写真としてページに配置する場合について検討する。この時、ページに配置されている画像７を、直前に撮影された画像６へと変更すると、図７のように、２枚の画像６が同一ページに配置されてしまう。このとき、図６における画像５および画像６についても、同様の操作を行えば、同一の画像が同一ページに配置されることを防ぐことはできるが、操作は煩雑となってしまう。

そこで、本処理例では、１つのページに複数の画像を配置した場合に、同じ画像が重複してページ上に配置されないようにページ上の画像を変更する例を、図８を用いて説明する。図８は、連写画像等の、複数の類似画像がページ上に配置されている場合に、その配置されている画像のうちの１つを変更する際の、図３のＳ３０６で実行される処理の流れの例を示すフローチャートである。すなわち、図８では、変更対象画像を、撮影日時が変更対象画像の直前の類似画像に変更する場合の例を示している。なお、本処理例では、１つのページに着目して説明するが、例えば、複数のページを含むファイル全体に関して、同様の処理を行って、同じ画像が１つのファイルに含まれないように構成することもできる。

本処理では、ホストコンピュータ１００は、まず、ページ上に配置された他の画像が、変更対象画像の類似画像であるか否かを判定する（Ｓ８０１）。ホストコンピュータ１００は、ページ上に配置された他の画像が変更対象画像の類似画像でないと判定した場合（Ｓ８０１でＮＯ）は、変更対象画像を直前の画像に変更して、変更処理を終了する（Ｓ８０６）。一方、ホストコンピュータ１００は、ページ上に配置された他の画像が変更対象画像の類似画像であると判定した場合（Ｓ８０１でＹＥＳ）は、ページ上に配置されている類似画像のリストを作成する（Ｓ８０２）。そして、ホストコンピュータ１００は、撮影日時が変更対象画像の直前の画像が現にページ上に配置されているか否かを判定する（Ｓ８０３）。ホストコンピュータ１００は、撮影日時が変更対象画像の直前の第１の画像が現にページ上に配置されていないと判定した場合（Ｓ８０３でＮＯ）は、Ｓ８０６において変更対象画像を撮影日時が直前の類似画像に変更して、本処理を終了する。一方、ホストコンピュータ１００は、第１の画像がページ上に配置されていると判定した場合（Ｓ８０３でＹＥＳ）は、その第１の画像を第１の画像の直前の撮影日時を有する第２の画像に変更可能かを判定する（Ｓ８０４）。ホストコンピュータ１００は、第１の画像を第２の画像に変更できないと判定した場合（Ｓ８０４でＮＯ）は、変更対象画像を直前の画像に変更することなく、変更処理を終了する。なお、第１の画像を第２の画像に変更できない場合の例として、図５における画像１が第１の画像である場合などのように、類似画像群において第１の画像の直前の画像の候補が存在しない場合が挙げられる。ホストコンピュータ１００は、第１の画像を第２の画像に変更できると判定した場合（Ｓ８０４でＹＥＳ）は、第１の画像を第２の画像に変更し（Ｓ８０５）、さらに、変更対象画像を直前の画像（第１の画像）に変更して（Ｓ８０６）、本処理を終了する。

なお、ページ上に複数の画像が配置される場合に同じ画像が重複してページ上に配置されないように画像を変更するのみならず、画像の重複があるか否かによらずに、ページ上の他の画像を変更するようにしてもよい。例えば、Ｓ８０３の判定を省略し、ページ上の１つの画像について直前の画像に変更する際には、そのページ上の画像のうち、直前の画像が存在する画像については一斉にその画像の直前の画像に変更されてもよい。これにより、ページ上に配置された複数の類似画像間の時間間隔を維持したままページ上の他の画像を変更することができる。なお、このような画像の一斉変更を行う場合には、変更によって同じ画像が表示されることとなる場合には、そのような変更を許さないものとして、例えば、図４におけるボタン４０１が表示されないようにしてもよい。

また、上述の処理は、変更対象画像を、撮影日時が変更対象画像の直前の類似画像に変更する場合の例について説明したが、撮影日時が変更対象画像の直後の類似画像に変更する場合についても同様の処理を行うことができる。すなわち、図３のＳ３０７の処理にも、本処理を適用することができる。ただし、この場合、Ｓ８０３の処理は、撮影日時が変更対象画像の直後の画像がページ上に配置されているかを判定する処理となる。そして、Ｓ８０４も、撮影日時が変更対象画像の直後の第３の画像を、その第３の画像の直後の撮影日時を有する第４の画像に変更可能かを判定する処理となる。同様に、Ｓ８０５およびＳ８０６の処理も、「直前」を「直後」と読み替えることで、Ｓ３０７の処理に対応することができる。

このように、本処理例では、ページ上に類似した複数の画像が配置されている場合、配置中の画像の１つを類似した画像に変更すると、連動してページ上の他の画像も同時に変更することができる。これにより、類似した多数の画像からユーザの好みにあった画像を選択する際に、ページ上に同じ画像が配置されることを自動で回避することができ、ユーザの操作性を向上させることができる。

＜処理例３＞
上述の処理例では、連写等によって取得された類似する複数の静止画像がページ上に配置される例について説明したが、ページ上には、動画の任意のフレーム位置から生成された画像が配置される場合がある。そこで、本処理例では、ページ上に配置されている画像の抽出元の動画を用いて、ページ上の画像を変更する場合の処理について説明する。

本処理例について説明する前に、動画ファイルから、任意のフレーム位置の画像を生成する処理について、図１１を用いて説明する。ホストコンピュータ１００は、まず、動画ファイルを読み込む（Ｓ１１０１）。ここで、読み込まれる動画ファイルは、例えばホストコンピュータ１００のＨＤ１０７に格納されているファイルであってもよいし、インターネットを経由して接続可能なサーバに格納されているファイルであってもよい。その後、ホストコンピュータ１００は、例えば画像生成位置を示すユーザ操作を受け付けて、画像生成位置を決定する（Ｓ１１０２）。画像生成位置を示すユーザ操作は、例えば、Ｓ１１０１で読み込まれた動画ファイルに対して、ユーザが、再生／一時停止／コマ送り／コマ戻し等の操作を行って保存対象の１つのフレームを表示させることである。

その後、ホストコンピュータ１００は、現在の画像生成位置において画像を生成するための保存操作が行われたか否かを判断する（Ｓ１１０３）。例えば、上述のような操作によって１つのフレームが表示された状態において、画像生成を指示するための所定のボタンが押下される等の所定の操作が行われたか否かが判定される。ホストコンピュータ１００は、保存操作が行われていない場合（Ｓ１１０３でＮＯ）は、Ｓ１１０２に処理を戻して、画像生成位置を指定するユーザ操作の受け付けを継続する。ホストコンピュータ１００は、保存操作が行われた場合（Ｓ１１０３でＹＥＳ）は、現在の画像生成位置において、画像を生成する（Ｓ１１０４）。また、ホストコンピュータ１００は、動画ファイルのアドレス情報であるパス情報又はＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報と、現在の画像生成位置を示す動画の時刻情報を用いて、生成画像のヘッダ情報を作成する（Ｓ１１０５）。Ｓ１１０５のヘッダ情報の生成は、例えばＳ１１０４の画像生成処理と並行して行われてもよいし、Ｓ１１０４の画像生成処理の前又は後に行われてもよい。その後、ホストコンピュータ１００は、Ｓ１１０４で生成した画像と、Ｓ１１０５において作成したヘッダ情報とを用いて画像ファイルを保存する（Ｓ１１０６）。

続いて、図９を用いて、図２におけるページ表示領域２０２上の画像２０３を変更する処理について説明する。ホストコンピュータ１００は、図３の処理に関して説明したのと同様に、変更対象画像が選択されたことに応じて本処理を開始する。なお、本処理の少なくとも一部も、図３の処理に関して説明したように、例えばページ上に画像が配置される時点等の変更対象画像が選択される前に実行されてもよい。

まず、ホストコンピュータ１００は、ページ上に配置されている画像が動画から生成された画像であるか否かを判定する（Ｓ９０１）。Ｓ９０１の判定は、例えば画像ファイル内のヘッダ情報に画像の生成元となる動画ファイルのアドレス情報およびその画像が動画内のどのフレームに対応するかを示す時刻情報が含まれているか否かを判別することにより行われる。ホストコンピュータ１００は、ページ上に配置された画像が動画から生成された画像ではないと判定した場合（Ｓ９０１でＮＯ）は、図９の処理を終了する。なお、ホストコンピュータ１００は、ページ上に配置された画像が動画から生成された画像ではないと判定したことに応じて、図３の処理を開始するようにしてもよい。すなわち、ホストコンピュータ１００は、まず、変更対象画像が動画ファイルから生成されたか否かを判定して、その判定結果に応じて、図３の処理と図９の処理とのいずれかを実行するようにしてもよい。

一方、ホストコンピュータ１００は、ページ上に配置された画像が動画から生成された画像であると判定した場合（Ｓ９０１でＹＥＳ）、画像の生成元の動画ファイルのアドレス情報から、その画像の生成元の動画ファイルが存在するかを判定する（Ｓ９０２）。そして、ホストコンピュータ１００は、画像の生成元の動画ファイルが存在すると判定した場合（Ｓ９０２でＹＥＳ）、変更対象画像を、その画像の生成元の動画の異なるフレーム位置から生成される画像に変更するためのボタンを表示する（Ｓ９０３）。Ｓ９０３で表示されるボタンは、例えば、図４のように、ページ上に配置された画像２０３より1フレーム前の位置の画像に変更するボタン４０１と、ページ上に配置された画像２０３より1フレーム後の画像の位置に変更するボタン４０２とを含む。

ホストコンピュータ１００は、Ｓ９０３で表示されたボタンが、ユーザ操作によって押下されたか否かを判定する（Ｓ９０４）。ホストコンピュータ１００は、Ｓ９０４においてボタン４０１が押下されたと判定した場合、ページ上に配置されている画像２０３を、生成元の動画においてその画像より1フレーム前の画像に変更する（Ｓ９０５）。同様に、ホストコンピュータ１００は、Ｓ９０４においてボタン４０２が押下されたと判定した場合、ページ上に配置されている画像２０３を、生成元の動画においてその画像より1フレーム後の画像に変更する（Ｓ９０６）。

その後、ホストコンピュータ１００は、画像選択状態が解除される又は表示対象のページが切り替えられるなどによって、画像変更操作が終了したか否かを判定する（Ｓ９０７）。ホストコンピュータ１００は、画像変更操作が終了したと判定した場合（Ｓ９０７でＹＥＳ）は、図９の処理を終了する。一方、ホストコンピュータ１００は、画像変更操作が終了していないと判定した場合（Ｓ９０７でＮＯ）は、処理をＳ９０４へ戻す。

なお、Ｓ９０３では、動画の異なるフレーム位置に対応する画像に変更するためのボタンではなく、画像の生成元となる動画ファイルが存在すること示す識別子が表示されてもよい。また、ボタン４０１および４０２は、表示中の画像をその画像の生成元の動画の１フレーム前又は後に変更するように構成されなくてもよく、指定された数値分のフレームだけ前又は後のフレームに対応する画像に変更するように構成されてもよい。

また、Ｓ９０４では、例えばタッチスクリーン機能を有するディスプレイ上に表示された画像上で、スワイプやフリックなど指を動かすことによる画像変更指示を受け付けるようにしてもよい。すなわち、ホストコンピュータ１００は、表示中の画像が動画から生成されたことを識別可能な識別情報の表示を行うと共に画像変更指示の受付を可能な状態とすればよく、その形態については限定されない。

本処理によれば、ページ上に配置された画像が動画から生成された画像である場合、画像の生成元となる動画ファイルからユーザの好みにあった画像に変更する際の操作の負荷を軽減することができる。

＜処理例４＞
上述の処理例３では、ページ上に複数の画像が配置されている場合であっても画像ごとに画像を変更する場合の例について説明した。しかしながら、処理例２で説明したように、動画から生成された連続画像、すなわち、互いに隣接する複数のフレームに対応する画像が、１つのページに配置される場合もある。このような場合に、その１つの画像を前または後のフレームに対応する画像へと変更すると、同じ画像が同一ページに配置されることになってしまう。このとき、同一ページ上の変更対象画像以外の画像についても同様の操作を行えば、同一の画像が同一ページに配置されることを防ぐことはできるが、操作は煩雑となってしまう。

そこで、本処理例では、１つのページに複数の画像を配置した場合に、同じ画像が重複してページ上に配置されないようにページ上の画像を変更する例を、図１０を用いて説明する。図１０は、同一の動画から生成された複数の画像がページ上に配置されている場合に、その配置されている画像のうちの１つを変更する際の、図９のＳ９０５で実行される処理の流れの例を示すフローチャートである。すなわち、図１０では、変更対象画像を、撮影日時が変更対象画像の直前の類似画像に変更する場合の例を示している。なお、本処理例では、１つのページに着目して説明するが、例えば、複数のページを含むファイル全体に関して、同様の処理を行って、同じ画像が１つのファイルに含まれないように構成することもできる。

本処理では、ホストコンピュータ１００は、まず、ページ上に配置された他の画像が、変更対象画像と同じ動画ファイルから生成された画像であるか否かを判定する（Ｓ１００１）。ホストコンピュータ１００は、ページ上に配置された他の画像が変更対象画像と同じ動画ファイルから生成された画像でないと判定した場合（Ｓ１００１でＮＯ）は、変更対象画像を１フレーム前に対応する画像に変更して、変更処理を終了する（Ｓ１００６）。一方、ホストコンピュータ１００は、他の画像が変更対象画像と同じ動画ファイルから生成されたと判定した場合（Ｓ１００１でＹＥＳ）は、ページ上に配置されている、同一の動画ファイルから生成された画像のリストを作成する（Ｓ１００２）。そして、ホストコンピュータ１００は、変更対象画像の１フレーム前の画像が現にページ上に配置されているか否かを判定する（Ｓ１００３）。ホストコンピュータ１００は、撮影日時が変更対象画像の１フレーム前の第１の画像がページ上に配置されていないと判定した場合（Ｓ１００３でＮＯ）は、Ｓ１００６において変更対象画像を１フレーム前の画像に変更して、本処理を終了する。一方、ホストコンピュータ１００は、第１の画像がページ上に配置されていると判定した場合（Ｓ１００３でＹＥＳ）は、その第１の画像を第１の画像の１フレーム前の第２の画像に変更可能かを判定する（Ｓ１００４）。ホストコンピュータ１００は、第１の画像を第２の画像に変更できないと判定した場合（Ｓ１００４でＮＯ）は、変更対象画像を直前の画像に変更することなく、変更処理を終了する。ここでは、例えば、第１の画像が、動画の先頭フレームに対応する画像である場合は、第１の画像をその１フレーム前の画像に変更することができないと判定される。ホストコンピュータ１００は、第１の画像を第２の画像に変更できると判定した場合（Ｓ１００４でＹＥＳ）は、第１の画像を第２の画像に変更し（Ｓ１００５）、さらに、変更対象画像を直前の画像（第１の画像）に変更して（Ｓ１００６）、本処理を終了する。

なお、処理例２で説明したように、ページ上に複数の画像が配置される場合に同じ画像が重複してページ上に配置されないように画像を変更するのみならず、画像の重複があるか否かによらずに、ページ上の他の画像を変更するようにしてもよい。

また、上述の処理は、変更対象画像を、変更対象画像の１フレーム前の画像に変更する場合の例について説明したが、変更対象画像の１フレーム後の類似画像に変更する場合についても同様の処理を行うことができる。すなわち、図９のＳ９０６の処理にも、本処理を適用することができる。ただし、この場合、Ｓ１００３の処理は、変更対象画像の１フレーム後の画像がページ上に配置されているかを判定する処理となる。そして、Ｓ１００４も、変更対象画像の１フレーム後の第３の画像を、その第３の画像の１フレーム後の第４の画像に変更可能かを判定する処理となる。同様に、Ｓ１００５およびＳ１００６の処理も、「１フレーム前」を「１フレーム後」と読み替えることで、Ｓ９０６の処理に対応することができる。

なお、上述の説明では、変更対象画像を１フレーム前の画像へ変更する場合の処理について説明したが、別途指定された数値分のフレーム分だけ前又は後の画像に変更するようにしてもよい。

このように、本処理例では、ページ上に同じ動画から生成された画像が複数配置されている場合、配置中の画像の１つを異なるフレームに対応する画像へと変更すると、連動してページ上の他の画像も同時に変更することができる。これにより、同一の動画からユーザの好みにあった画像を選択する際に、ページ上に同じ画像が配置されることを自動で回避することができ、ユーザの操作性を向上させることができる。

上述の実施形態では、ページ上に配置された変更対象画像に類似する画像が存在するか、又は、その変更対象画像が生成された動画が存在するかが判定されたがこれに限られない。すなわち、より一般化して、ページ上に配置されている変更対象画像に関する所定の特性を有した（変更対象画像と少なくとも何らかの関係のある）他の画像によって、その変更対象画像を置き換えることができるか否かが判定されてもよい。すなわち、上述の実施形態は、所定の特性が、変更対象画像と類似すること、又は、変更対象画像の生成元の動画から生成されること、の場合に対応する。所定の特性は、例えば、変更対象画像と略同一の位置で撮影されたこと等の他の特性であってもよい。そして、そのような所定の特性を有し、変更先の候補となる他の画像が存在する又は生成可能である場合に、ホストコンピュータ１００は、変更対象画像が変更可能であることの識別子を表示する。さらに、ホストコンピュータ１００は、変更先の画像へ変更する操作を受け付ける状態となるように変更対象画像を制御する。このように、本発明は、上述の実施形態から理解されるが、実施形態そのものには限定されない範囲を包含するものである。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：ホストコンピュータ、１０１：アプリケーションソフトウェア、１０２：オペレーティングシステム、１０３：プリンタドライバ、１０４：モニタドライバ、１０７：ハードディスク、１０８：ＣＰＵ、１０９：ＲＡＭ、１１０：ＲＯＭ、２０１：メニュー操作部、２０２：ページ表示領域、２０５：編集ボタン、２０６：印刷ボタン、２０７：表示ページ変更ボタン、４０１、４０２：類似画像の存在を示し画像変更を受け付けるボタン

Claims (16)

1. ページに画像を配置して表示する画像処理装置であって、
   前記ページの所定領域に配置されている第１の画像から、前記第１の画像に関する所定の特性を有し且つ前記第１の画像と異なる第２の画像へと前記ページの前記所定領域に配置されている配置対象を変更することが可能である場合と、当該第２の画像への変更が可能でなく、且つ、前記所定領域に配置されている前記第１の画像から、前記所定の特性を有さない他の画像へと前記所定領域に配置されている配置対象を変更することが可能である場合と、で異なる表示を表示装置に表示させる制御手段と、
   前記第２の画像への変更が可能であり且つ前記第２の画像へ変更する操作を受け付けた場合、前記ページへの配置対象を前記第１の画像から前記第２の画像へと変更する変更手段と、
   を有し、
   前記変更手段は、前記ページの前記所定領域に配置されている前記第１の画像を変更する前の状態において、前記ページの前記所定領域とは別領域に前記第２の画像が表示されている場合、前記所定領域に配置されている前記第１の画像を前記第２の画像へと変更したら、当該変更に基づき、前記別領域に配置されている前記第２の画像を、前記所定の特性を有し且つ前記第１の画像および前記第２の画像のいずれとも異なる第３の画像へと変更することを特徴とする画像処理装置。
2. 前記ページに配置される配置対象の候補として、前記第１の画像に関する前記所定の特性を有する前記第２の画像が存在するかを判定する判定手段を有し、
   前記制御手段は、前記判定手段により前記候補として前記第２の画像が存在すると判定された場合に、前記第２の画像に変更することが可能である場合の表示を行う
   ことを特徴とする請求項１に記載の画像処理装置。
   
3. 前記判定手段は、前記第１の画像の撮影日時との撮影日時の差が所定値の範囲内の画像を前記第２の画像と判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記第１の画像に付随する付随情報が、当該第１の画像が連続撮影によって得られたものであることを示す場合、前記第２の画像が存在すると判定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記所定の特性は、前記第１の画像が動画から生成された場合に当該動画から生成されることであり、
   前記判定手段は、前記第１の画像が動画から生成された場合であってその動画が存在する場合に、前記第２の画像が存在すると判定する、
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記制御手段は、さらに、前記ページに配置される配置対象を前記第１の画像から前記第２の画像に変更することが可能である場合、前記第１の画像を前記第２の画像へ変更するための操作を受け付ける状態とするための制御を行い、当該第２の画像への変更が可能でなく且つ前記所定の特性を有さない他の画像への変更が可能である場合、前記制御を行わない
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記第１の画像が前記第２の画像に変更可能であることを示すための表示において前記操作を受け付けるように前記制御を行う、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段は、前記第１の画像が前記第２の画像に変更可能であることが表示されている間に前記第１の画像上において前記操作を受け付けるように前記制御を行う、
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記表示装置はタッチスクリーン機能を有し、
   前記制御手段は、前記第１の画像が前記第２の画像に変更可能であることが表示されている間にタッチ操作を受け付けることにより、前記操作を受け付ける、
   ことを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記第２の画像が前記第１の画像より撮影日時が前の画像である場合、前記第３の画像は前記第２の画像より撮影日時が前の画像であり、前記第２の画像が前記第１の画像より撮影日時が後の画像である場合、前記第３の画像は前記第２の画像より撮影日時が後の画像である、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記変更手段は、前記ページの前記所定領域に配置されている前記第１の画像を変更する前の状態において、前記所定の特性を有し且つ前記第１の画像および前記第２の画像と異なる第４の画像が前記ページの前記所定領域とは別領域に表示されている場合、前記所定領域に配置されている前記第１の画像を前記第２の画像へと変更したら、当該変更に基づき、前記別領域に配置されている前記第４の画像を変更する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記変更手段は、前記ページの前記所定領域に配置されている前記第１の画像を変更する前の状態において前記第４の画像が表示されている場合に前記第１の画像を前記第２の画像へと変更する場合、前記第２の画像が前記第１の画像より撮影日時が前の画像である場合、前記第４の画像を当該第４の画像より撮影日時が前の画像に変更し、前記第２の画像が前記第１の画像より撮影日時が後の画像である場合、前記第４の画像を当該第４の画像より撮影日時が後の画像に変更する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記第１の画像が選択された際に、前記表示を前記表示装置に表示させる、
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記ページに配置された画像を含む電子アルバムを作成する作成手段をさらに有する、
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. ページに画像を配置して表示するための制御方法であって、
    前記ページの所定領域に配置されている第１の画像から、前記第１の画像に関する所定の特性を有し且つ前記第１の画像と異なる第２の画像へと前記ページの前記所定領域に配置されている配置対象を変更することが可能である場合と、当該第２の画像への変更が可能でなく、且つ、前記所定領域に配置されている前記第１の画像から、前記所定の特性を有さない他の画像へと前記所定領域に配置されている配置対象を変更することが可能である場合と、で異なる表示を表示装置に表示させる制御工程と、
    前記第２の画像への変更が可能であり且つ前記第２の画像へ変更する操作を受け付けた場合、前記ページへの配置対象を前記第１の画像から前記第２の画像へと変更する変更工程と、
    を有し、
    前記変更工程では、前記ページの前記所定領域に配置されている前記第１の画像を変更する前の状態において、前記ページの前記所定領域とは別領域に前記第２の画像が表示されている場合、前記所定領域に配置されている前記第１の画像を前記第２の画像へと変更したら、当該変更に基づき、前記別領域に配置されている前記第２の画像を、前記所定の特性を有し且つ前記第１の画像および前記第２の画像のいずれとも異なる第３の画像へと変更することを特徴とする制御方法。
16. コンピュータを請求項１から１４のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。

Images