JP6448500B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、ユーザインターフェースの表示制御技術に関するものである。

従来の画像処理装置では、ユーザインターフェースを構成するＬＣＤ（Liquid Cristal Display）の表示画面に画像データに関する画像を表示し、該表示画面に表示された画像を指定して編集、補正などの処理を施していた。編集や補正など画像に対する処理が複数ある場合は、画像を指定したときに複数の処理の選択候補を表示画面上に表示し、そこでユーザが所望の処理を選択する。特許文献１では、ユーザが画像の中から画像補正などの処理を施したい領域を指定し、その指定した領域の近傍にユーザが選択できる複数の画像処理を表示している。

特許第０４７５６８７６号公報

特許文献１は、ユーザが画像の中から指定した領域の近傍に画像処理などの複数の選択肢を表示してユーザに選択させるものである。しかし、指定領域の近傍に複数の選択肢を表示する場合、指定領域によっては、選択肢を表示するユーザインターフェースが対象画像に重なってしまう。そのため、処理対象の画像全体の視認性は低下してしまうという問題がある。

本発明はこのような問題に鑑みてなされたものであり、画面に表示されている処理対象の視認性を考慮して、該画面にユーザインターフェースを表示するための技術を提供する。

本発明の一様態は、表示画面の第１表示領域に複数のページのサムネイルの一覧を表示し、該第１表示領域に表示されている複数のページのサムネイルの一覧のうち選択されたサムネイルに対応するページを前記表示画面の前記第１表示領域とは異なる第２表示領域に表示する表示制御手段と、
前記第２表示領域に表示されているページ内でユーザにより指示された対象画像に対する処理を指示するための表示アイテムを配置する領域の候補として複数の候補領域を取得する取得手段と、
前記複数の候補領域のうち１つの候補領域を選択する選択手段と
を備え、
前記複数の候補領域のそれぞれは、該候補領域に配置した前記表示アイテムが前記対象画像に重ならないような領域であり、
前記選択手段は、前記複数の候補領域のそれぞれについて、前記第２表示領域からはみ出すはみ出し領域を特定し、前記複数の候補領域のうち該はみ出し領域が最も小さい候補領域を選択し、
前記表示制御手段は、前記選択手段によって選択された候補領域に前記表示アイテムを配置して前記表示画面に表示する
ことを特徴とする。

本発明の構成によれば、画面に表示されている処理対象の視認性を考慮して、該画面にユーザインターフェースを表示することができる。

システムの構成例を示すブロック図。 ＰＣ１のハードウェア構成例を示すブロック図。 ＨＤＤ２０２に保存されているソフトウェアモジュール群の構成例を示す図。 ウィンドウ４０１の表示例を示す図。 ウィンドウ４０１の表示例を示す図。 ＰＣ１が行う処理のフローチャート。 ステップＳ１０２及びＳ１０３における処理の詳細を示すフローチャート。 候補領域７０１〜７０８を示す図。 候補領域７０４が最終候補領域として選択されるような状況を示す図。 候補領域７０７が最終候補領域として選択されるような状況を示す図。 候補領域７０９が最終候補領域として選択されるような状況を示す図。 ステップＳ２０１における処理の一例を示す図。 変形例１を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、画像処理装置の一例について説明する。すなわち、表示画面に表示されている対象オブジェクトに対して該対象オブジェクトと重ならないように配置するユーザインターフェースを該表示画面上に配置するための複数の候補を取得する。そして、規定の選択基準に従って、複数の候補のうち１つの候補を選択し、該選択された候補に基づいて、ユーザインターフェースを配置して表示画面に表示する（表示制御）。

先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、フォトアルバムを作成するユーザが操作するＰＣ（パーソナルコンピュータ）１と、フォトアルバムの注文サイトを提供するＡＢＣ社のサーバであるＰＣ２と、を有している。そして、ＰＣ１とＰＣ２とはインターネットを介して互いにデータ通信が可能なように接続されている。

先ず、ＰＣ１について説明する。ＰＣ１には、アプリケーション８０と、Ｗｅｂブラウザ１４３と、がインストールされている。

アプリケーション８０は、フォトアルバムを作成してＰＣ２にアップロードするための様々な機能を提供するためのアプリケーションである。

Ｗｅｂブラウザ１４３は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）を利用する際に用いられるブラウザである。Ｗｅｂブラウザ１４３は、ＰＣ２にアクセスして、ＰＣ１側で作成したフォトアルバムをＰＣ２にアップロードしたり、ＰＣ２が提供する注文サイトを介してフォトアルバムの注文を可能にせしめるための様々な機能を提供するアプリケーションである。

ＰＣ１は、Ｅｔｈｅｒｎｅｔ（登録商標）等のローカルエリアネットワーク（例えば、ユーザの自宅に構築された一般家庭用のホームネットワーク）４に接続されており、このローカルエリアネットワーク４は、上記のインターネットに接続されている。

次に、ＰＣ２について説明する。ＰＣ２には、サーバ機能のアプリケーションであるＷｅｂサーバ９がインストールされており、更にＷｅｂサーバ９には、フォトアルバムの注文サイトであるショッピングサイト１１のアプリケーションが含まれている。

ＰＣ２は、Ｅｔｈｅｒｎｅｔ（登録商標）等のローカルエリアネットワーク（例えば、ＡＢＣ社の社内に構築されたオフィスネットワーク）８に接続されており、このローカルエリアネットワーク８は、上記のインターネットに接続されている。

なお、ＰＣ１、ＰＣ２の何れにもＯＳ（オペレーティングシステム）がインストールされており、ＰＣ１、ＰＣ２の何れにおいても、アプリケーションはこのＯＳ上で動作する。

次に、ＰＣ１のハードウェア構成例について、図２のブロック図を用いて説明する。なお、ＰＣ２のハードウェア構成も図２に示したハードウェア構成と同じであっても良いし、図２に示したハードウェア構成とは異なるハードウェア構成を採用しても構わない。

ＲＡＭ２０１は、ＨＤＤ（ハードディスクドライブ）２０２からロードされたコンピュータプログラムやデータ、通信制御部２０７を介して外部（例えばＰＣ２）から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。更にＲＡＭ２０１は、ＣＰＵ２０４が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０１は、各種のエリアを適宜提供することができる。

ＨＤＤ２０２は、大容量情報記憶装置の一例であり、ＨＤＤ２０２には、ＯＳや、ＰＣ１が行うものとして後述する各処理をＣＰＵ２０４に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、上記のアプリケーション８０やＷｅｂブラウザ１４３も含まれている。また、このデータには、後述する処理において既知の情報として説明するものも含まれている。ＨＤＤ２０２に保存されているコンピュータプログラムやデータは、ＣＰＵ２０４による制御に従って適宜ＲＡＭ２０１にロードされ、ＣＰＵ２０４による処理対象となる。

操作部２０３は、キーボードやマウスなどのインターフェースにより構成されており、ユーザが操作することで、各種の操作入力をＣＰＵ２０４に対して入力することができる。

ＣＰＵ２０４は、ＲＡＭ２０１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、ＰＣ１全体の動作制御を行うと共に、ＰＣ１が行うものとして後述する各処理を実行若しくは制御する。

通信制御部２０７は、ローカルエリアネットワーク４及びインターネットを介してＰＣ２とデータ通信を行うためのものである。

表示部２０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０４による処理結果を画像や文字なでもって表示することができる。なお、表示部２０５と操作部２０３とを一体化させてタッチパネル画面を構成しても構わない。

ＲＡＭ２０１、ＨＤＤ２０２、操作部２０３、ＣＰＵ２０４、通信制御部２０７、表示部２０５、は何れも、バス２０６に接続されている。

次に、ＰＣ１のＨＤＤ２０２に保存されているソフトウェアモジュール群の構成例について、図３を用いて説明する。なお、図３に示したソフトウェアモジュールはＨＤＤ２０２に保存されているソフトウェアモジュール群の一部を示したものであって、全てではない。また、ＨＤＤ２０２に保存されるソフトウェアモジュール群は、ＰＣ１に搭載されるＯＳや、ＰＣ１の使用環境などに応じて適宜変更される。

モジュール９２は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８（登録商標）に標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。

モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｉｎｇＩｎｔｅｒｆａｃｅ（ＡＰＩ）、ＤｅｖｉｃｅＤｒｉｖｅｒＩｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。アプリケーション群８２は、上記のアプリケーション８０及びＷｅｂブラウザ１４３を含むアプリケーション群である。

次に、ＰＣ１においてアプリケーション８０を起動し、フォトアルバムの各ページにおいて規定の領域に所望の画像を配置して所望のフォトアルバムを作成する処理について説明する。アプリケーション８０を起動すると、表示部２０５の表示画面には、図４に例示するウィンドウ４０１が表示される。以降、ウィンドウ４０１の表示制御や、ユーザが操作部２０３を操作して該ウィンドウ４０１を用いて行った操作入力に応じた処理等、特に断らない限りは、以降の処理の主体は何れもＣＰＵ２０４であるものとする。

表示領域４０２には、フォトアルバムにおいて見開きのページのサムネイル画像が表示される。表示領域４０２には左から、１ページ目及び２ページ目による見開きのページのサムネイル画像、３ページ目及び４ページ目による見開きのページのサムネイル画像、…、９ページ目及び１０ページ目による見開きのページのサムネイル画像、が表示されている。また、図４では、ユーザが操作部２０３を操作して、３ページ目及び４ページ目による見開きのページのサムネイル画像を指定している。この場合、該サムネイル画像が選択状態となっており（該サムネイル画像に枠４０４が重ねられて表示されている）、表示領域４０３には、該サムネイル画像に対応する「３ページ目及び４ページ目による見開きのページの画像」が表示される。「３ページ目及び４ページ目による見開きのページの画像」には所望の画像を配置可能な領域（写真スロット）４０５ａ〜４０５ｄが設けられており、ユーザは操作部２０３を操作することで領域４０５ａ〜４０５ｄのそれぞれに所望の画像を配置可能である。例えば、ユーザが操作部２０３を操作して領域４０５ａ〜４０５ｄのうち何れかを指定すると、ＣＰＵ２０４はＨＤＤ２０２若しくは外部の装置から画像群（画像データ群）を取得して表示部２０５の表示画面上に一覧表示する。そしてユーザが操作部２０３を操作して該一覧表示された画像群（画像データ群）のうち何れか１つを選択すると、ＣＰＵ２０４は、該選択した画像データ群から配置可能な領域と同じ数の画像（画像データ）を自動的に選択し、領域４０５ａ〜４０５ｄのうちユーザが指定した領域にリサイズして配置する。

この様に、表示領域４０２に表示されているサムネイル画像のうち所望のサムネイル画像を指定し、該サムネイル画像に対応する見開きのページの画像において領域４０５ａ〜４０５ｄ等の画像配置領域に所望の画像を配置することでフォトアルバムを作成する。

そしてユーザが操作部２０３を操作してボタン４０６を指定すると、ＣＰＵ２０４は通信制御部２０７を制御し、作成したフォトアルバムのデータをＰＣ２にアップロードする。

本実施形態では、領域４０５ａ〜４０５ｄ（若しくはそのうちの１以上）に画像を配置した後、該配置した画像に対して様々な処理を施すことができる。例えば、ユーザが操作部２０３を操作して領域４０５ｄを指定すると、図５に示す如く、領域４０５ｄに適用可能なそれぞれの処理の名称が、アイコン（インターフェース）５０１〜５０４として、領域４０５ｄと重ならないように表示される。アイコン５０１〜５０４は、オブジェクト（本実施形態では、各領域に配置された画像）に対する処理を指示するためのインターフェースである。そしてユーザが操作部２０３を操作してアイコン５０１〜５０４のうち何れか１つを指定すると、該指定したアイコンに対応する処理が、領域４０５ｄ内の画像（若しくは領域４０５ｄ内の画像に加えて他の画像）に対して施される。例えば、ユーザが操作部２０３を操作してアイコン５０１を指定すると、領域４０５ｄ内の画像に対して「Ｉｍａｇｅ Ｃｏｒｒｅｃｔｉｏｎ Ａ」なる画像処理が施される。また、ユーザが操作部２０３を操作してアイコン５０２を指定すると、領域４０５ｄ内の画像に対して「Ｉｍａｇｅ Ｃｏｒｒｅｃｔｉｏｎ Ｂ」なる画像処理が施される。また、ユーザが操作部２０３を操作してアイコン５０３を指定すると、領域４０５ｄ内の画像に対して「Ｉｍａｇｅ Ｃｏｒｒｅｃｔｉｏｎ Ｃ」なる画像処理が施される。また、ユーザが操作部２０３を操作してアイコン５０４を指定すると、領域４０５ｄ内の画像に対して「Ｉｍａｇｅ Ｃｏｒｒｅｃｔｉｏｎ Ｄ」なる画像処理が施される。

なお、図５では、画像に対する処理の数を４としているが、この数に限るものではない。また、画像に対する処理の種類としては、画像の輝度や階調などの補正、指定した領域間での画像の入れ替え、画像のトリミング等があるが、これらに限るものではない。

次に、ＰＣ１が行う処理について、同処理のフローチャートを示す図６を用いて説明する。以下では具体的な説明を行うために、ウィンドウ４０１における表示領域４０２内（表示領域内）の「３ページ目及び４ページ目による見開きのページのサムネイル画像」が指定され、且つ領域４０５ａ〜４０５ｄのうち領域４０５ｄが指定されたケースを例にとる。しかし、他のサムネイル画像が指定された場合であっても、領域４０５ｄ以外の領域が指定された場合であっても、行うべき処理は同様である。

＜ステップＳ１０１＞
ユーザが操作部２０３を操作してアプリケーション８０の起動指示を入力すると、ＣＰＵ２０４は、表示部２０５の表示画面上に、図４に例示するウィンドウ４０１を表示する。

＜ステップＳ１０２＞
ユーザが操作部２０３を操作して表示領域４０２内の「３ページ目及び４ページ目による見開きのページのサムネイル画像」を指定したとする。ＣＰＵ２０４は、サムネイル画像の指定を検知すると、上記の通り、該サムネイル画像を選択状態にし、且つ該サムネイル画像に対応する「３ページ目及び４ページ目による見開きのページの画像」を表示領域４０３に表示させる。そしてここでユーザが操作部２０３を操作して、領域４０５ａ〜４０５ｄのうち領域４０５ｄ（オブジェクト）を指定したとする。ＣＰＵ２０４は、オブジェクトの指定を検知すると、アイコン５０１〜５０４の配置位置を決定する。具体的には、オブジェクトの近傍であって領域４０５ｄと重ならないようにアイコン５０１〜５０４のそれぞれの配置位置を決定する。

＜ステップＳ１０３＞
ＣＰＵ２０４は、ステップＳ１０２で決定した位置に、アイコン５０１〜５０４を配置して表示する。次に、ステップＳ１０２及びＳ１０３における処理の詳細について、図７のフローチャートに従って説明する。

＜ステップＳ２０１＞
先ずＣＰＵ２０４は、領域４０５ｄの周囲における複数箇所にアイコン５０１〜５０４を配置可能な領域の候補を求める（特定する）。複数箇所における領域の候補を求める方法の一例を、図１２を用いて説明する。

図１２（ａ）に示す如く、領域４０５ｄの上辺の中点１２０１から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２１１，１２１２，１２１３，１２１４）を求め、該４つの指示領域を含む領域を上候補領域として求める。

図１２（ｃ）に示す如く、領域４０５ｄの下辺の中点１２０３から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２３１，１２３２，１２３３，１２３４）を求め、該４つの指示領域を含む領域を下候補領域として求める。

図１２（ｂ）に示す如く、領域４０５ｄの左辺の中点１２０２から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２２１，１２２２，１２２３，１２２４）を求め、該４つの指示領域を含む領域を左候補領域として求める。

図１２（ｄ）に示す如く、領域４０５ｄの右辺の中点１２０４から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２４１，１２４２，１２４３，１２４４）を求め、該４つの指示領域を含む領域を右候補領域として求める。

図１２（ｅ）に示す如く、領域４０５ｄの左上の頂点付近（領域４０５ｄ内）の点１２９１の位置から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２５１，１２５２，１２５３，１２５４）を求め、該４つの指示領域を含む領域を左上候補領域として求める。

図１２（ｈ）に示す如く、領域４０５ｄの右上の頂点付近（領域４０５ｄ内）の点１２９４の位置から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２８１，１２８２，１２８３，１２８４）を求め、該４つの指示領域を含む領域を右上候補領域として求める。

図１２（ｆ）に示す如く、領域４０５ｄの左下の頂点付近（領域４０５ｄ内）の点１２９２の位置から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２６１，１２６２，１２６３，１２６４）を求め、該４つの指示領域を含む領域を左下候補領域として求める。

図１２（ｇ）に示す如く、領域４０５ｄの右下の頂点付近（領域４０５ｄ内）の点１２９３の位置から距離ｄだけ離間した領域４０５ｄ外の４つの指示領域（１２７１，１２７２，１２７３，１２７４）を求め、該４つの指示領域を含む領域を右下候補領域として求める。

指示領域は、処理指示のためのインターフェースが表示される領域である。各指示領域の中心点と、所定の点（１２０１〜１２０４，１２９１〜１２９４）と、の間は距離ｄだけ離間している。

候補領域として、上候補領域、左候補領域、下候補領域、右候補領域、左上候補領域、左下候補領域、右下候補領域、右上候補領域、のそれぞれを図８（ａ）、（ｂ）に７０１〜７０８として示す。候補領域７０５〜７０８は領域４０５ｄと一部が重なるように配置されている。候補領域７０５〜７０８を、候補領域７０１〜７０４のように領域４０５ｄと重ならないように配置すると、表示領域４０３からはみ出す部分が多くなり、後述する処理においてこれらの候補領域７０５〜７０８が最終候補領域として選ばれ難くなってしまうためである。

以上では、図１２に示す如く上候補領域、左候補領域、下候補領域、右候補領域、左上候補領域、左下候補領域、右下候補領域、右上候補領域を求めた。しかし、上候補領域、左候補領域、下候補領域、右候補領域、左上候補領域、左下候補領域、右下候補領域、右上候補領域を求める方法はこれに限るものではないし、候補領域の数も８に限るものではない。

また、例えば、４つの指示領域の配置は上記のように、ある位置から等距離にあるように求めるのではなく、他の方法でもって４つの指示領域の配置を決定しても良い。例えば、領域４０５ｄの上辺、下辺、左辺、右辺に関しては、中点を通る領域４０５ｄの辺に垂直且つ該中点を通る線分に対して対称となるように、一方側に２つの指示領域他方側に２つの指示領域を設けるようにしても構わない。また、領域４０５ｄの４隅に関しては、頂点付近の点（１２９１〜１２９４）の位置と該頂点と対向する頂点の位置とを通る線分に対して対称となるように、一方側に２つの指示領域他方側に２つの指示領域を設けるようにしても構わない。

＜ステップＳ２０２＞
ＣＰＵ２０４は、ステップＳ２０１で求めた候補領域７０１〜７０８のうち、部分領域若しくは全領域がウィンドウ４０１の表示領域からはみ出しているものを除外し、残りの候補領域（非除外候補領域）を以降の処理の対象とする。

＜ステップＳ２０３＞
ＣＰＵ２０４は、ステップＳ２０２で除外されなかった候補領域の数が０であるか否かを判定する。この判定の結果、ステップＳ２０２で除外されなかった候補領域の数が０である場合には、処理はステップＳ２１２に進む。一方、ステップＳ２０２で除外されなかった候補領域の数が１以上であれば、処理はステップＳ２０４に進む。

＜ステップＳ２０４＞
ＣＰＵ２０４は、それぞれの非除外候補領域について、表示領域４０３からはみ出している領域（はみ出し領域）の面積Ｓ（画素数）を求める。

＜ステップＳ２０５＞
ＣＰＵ２０４は、それぞれの非除外候補領域に対し、該非除外候補領域についてステップＳ２０４で求めた面積Ｓが、該非除外候補領域の全面積に対してα（０＜α＜１００）％以上であるか否かを判定する。その結果、ＣＰＵ２０４は、それぞれの非除外候補領域のうち、該非除外候補領域についてステップＳ２０４で求めた面積Ｓが、該非除外候補領域の全面積に対してα％以上であるものを除外し、その残りの非除外候補領域（対象領域）を以降の処理の対象とする。ここで、αの値は予め定められたものであっても良いし、ユーザが操作部２０３を操作して適宜変更しても構わない。すなわち、はみ出し領域の面積が候補領域のうちの所定の割合を超える場合は、その候補領域を対象領域から除外する。

＜ステップＳ２０６＞
ＣＰＵ２０４は、対象領域の数が０であるか否かを判定する。この判定の結果、対象領域の数が０であれば、処理はステップＳ２１２に進み、対象領域の数が１以上であれば、処理はステップＳ２０７に進む。

＜ステップＳ２０７＞
ＣＰＵ２０４は、対象領域のうち、はみ出し領域の面積が最も小さいものを、以降の処理で対象とする対象領域として選択する。

＜ステップＳ２０８＞
ＣＰＵ２０４は、ステップＳ２０７で選択した対象領域の数が複数であるのかを判定する。この判定の結果、対象領域の数が複数である場合には（Ｓ２０８でＹｅｓ）、処理はステップＳ２０９に進み、単数である場合には（Ｓ２０８でＮｏ）、処理はステップＳ２１０に進む。

＜ステップＳ２０９＞
ＣＰＵ２０４は、対象領域のそれぞれについて表示スペース領域を設定し、該設定した表示スペース領域が最も大きい対象領域を最終候補領域として選択する。表示スペース領域とは、例えば、上候補領域の場合、該上候補領域の左辺を上方向に延長した線分と、該上候補領域の右辺を上方向に延長した線分と、上候補領域の上辺と、表示領域４０３の上辺と、で囲まれた領域である。また、下候補領域の場合、図１０（ａ）に示す如く、該下候補領域の左辺を下方向に延長した線分と、該下候補領域の右辺を下方向に延長した線分と、下候補領域の下辺と、表示領域４０３の下辺と、で囲まれた領域（表示スペース領域９０１）である。また、左候補領域の場合、該左候補領域の上辺を左方向に延長した線分と、該左候補領域の下辺を左方向に延長した線分と、左候補領域の左辺と、表示領域４０３の左辺と、で囲まれた領域である。また、右候補領域の場合、該右候補領域の上辺を右方向に延長した線分と、該右候補領域の下辺を右方向に延長した線分と、右候補領域の右辺と、表示領域４０３の右辺と、で囲まれた領域である。また、左上候補領域の場合、該左上候補領域の右辺を上方向に延長した線分と、該左上候補領域の下辺を左方向に延長した線分と、表示領域４０３の上辺及び左辺と、で囲まれた領域（左上候補領域を除く）である。また、右上候補領域の場合、該右上候補領域の左辺を上方向に延長した線分と、該右上候補領域の下辺を右方向に延長した線分と、表示領域４０３の上辺及び右辺と、で囲まれた領域（右上候補領域を除く）である。また、左下候補領域の場合、該左下候補領域の右辺を下方向に延長した線分と、該左下候補領域の上辺を左方向に延長した線分と、表示領域４０３の下辺及び左辺と、で囲まれた領域（左下候補領域を除く）である。また、右下候補領域の場合、図１０（ｂ）に示す如く、該右下候補領域の左辺を下方向に延長した線分と、該右下候補領域の上辺を右方向に延長した線分と、表示領域４０３の下辺及び右辺と、で囲まれた領域（右下候補領域を除く）である。

なお、表示スペース領域の面積が最も大きい対象領域が複数あった場合には、適当な基準でもって１つを最終候補領域として選択する。この基準には様々なものがあり、特定の基準に限るものではない。

また、複数の対象領域のうち１つを選択する方法には様々な方法がある。例えば、上候補領域、左候補領域、下候補領域、右候補領域、左上候補領域、左下候補領域、右下候補領域、右上候補領域のそれぞれに対して優先度を予め設定しておき、優先度の最も高いものを最終候補領域として選択するようにしても良い。なお、表示スペース領域のサイズに基づいて最終候補領域を選択する方法の場合は、表示スペース領域のサイズがそのまま優先度となっている。然るに、上候補領域、左候補領域、下候補領域、右候補領域、左上候補領域、左下候補領域、右下候補領域、右上候補領域のそれぞれに対する優先度が所望の優先度となるように、表示スペース領域の規定方法を他の規定方法でもって規定しても良い。

＜ステップＳ２１０＞
ＣＰＵ２０４は、単数である対象領域を最終候補領域（選択候補領域）として選択する。

＜ステップＳ２１１＞
ＣＰＵ２０４は、最終候補領域として選択した領域についてステップＳ２０１で求めた４つの指示領域に、アイコン５０１〜５０４を配置する。なお、アイコン５０１〜５０４のそれぞれを４つの指示領域の何れに配置するのかについては、例えば、次のようにして決めておけばよい。例えば、指示領域１２１１にアイコン５０１、指示領域１２１２にアイコン５０２、指示領域１２１３にアイコン５０３、指示領域１２１４にアイコン５０４、というように左から順にアイコン５０１〜５０４を配置する。図１２（ｃ）の場合も同様に、指示領域１２３１にアイコン５０１、指示領域１２３２にアイコン５０２、指示領域１２３３にアイコン５０３、指示領域１２３４にアイコン５０４、というように左から順にアイコン５０１〜５０４を配置する。図１２（ｂ）の場合と図１２（ｄ）の場合は、上から順にアイコン５０１〜５０４を配置するようにする。

＜ステップＳ２１２＞
ＣＰＵ２０４は、図８（ｃ）に示す如く、予め定められた配置の４つの指示領域を含む候補領域７０９を最終候補領域として選択する。

次に、候補領域７０１〜７０８のうち候補領域７０４が最終候補領域として選択されるような状況（図９）である場合に、該候補領域７０４が最終候補領域として選択されるまでの処理の流れについて、図７のフローチャートに沿って説明する。

図９において候補領域７０１〜７０８がステップＳ２０１において求められる。そして、ステップＳ２０２では、候補領域７０１〜７０８のうちウィンドウ４０１の表示領域からはみ出ている候補領域７０１（領域８０１がはみ出している領域）を除外し、候補領域７０２〜７０８が以降の対象となる。次に、ステップＳ２０４では、候補領域７０２〜７０８のそれぞれについて表示領域４０３からはみ出している領域８０２を求め、α＝５０％とした場合に、ステップＳ２０５では、候補領域７０２〜７０８のうち半分以上が領域８０２となっている候補領域７０２を除外する。そしてステップＳ２０７では、候補領域７０３〜７０８のうち領域８０２の面積が最も小さい候補領域７０４を対象領域として選択し、対象領域の数は単数であるため、ステップＳ２１０において、候補領域７０４が最終候補領域として選択される。そしてステップＳ２１１では、候補領域７０４内の４つの指示領域（１２４１，１２４２，１２４３，１２４４）にアイコン５０１〜５０４を配置する。

次に、候補領域７０１〜７０８のうち候補領域７０７が最終候補領域として選択されるような状況（図１０）である場合に、該候補領域７０７が最終候補領域として選択されるまでの処理の流れについて、図７のフローチャートに沿って説明する。

図１０において候補領域７０１〜７０８がステップＳ２０１において求められる。そして、ステップＳ２０２では、候補領域７０１〜７０８のうちウィンドウ４０１の表示領域からはみ出ている候補領域７０１（領域８０１がはみ出している領域）を除外し、候補領域７０２〜７０８が以降の対象となる。次に、ステップＳ２０４では、候補領域７０２〜７０８のそれぞれについて表示領域４０３からはみ出している領域８０２を求め、α＝５０％とした場合に、ステップＳ２０５では、候補領域７０２〜７０８のうち半分以上が領域８０２となっている候補領域７０２を除外する。そしてステップＳ２０７では、候補領域７０３〜７０８のうち、候補領域７０３，７０７については表示領域４０３からはみ出していないため、候補領域７０３，７０７を対象領域として選択する。対象領域の数は複数であるため、ステップＳ２０９において候補領域７０３，７０７のそれぞれに上記のような表示スペース領域９０１，９０２を設定する。表示スペース領域９０２の方が表示スペース領域９０１よりも面積が大きいため、候補領域７０７が最終候補領域として選択される。そしてステップＳ２１１では、候補領域７０７内の４つの指示領域（１２７１，１２７２，１２７３，１２７４）にアイコン５０１〜５０４を配置する。

次に、候補領域７０１〜７０８の何れも最終候補領域として選択されず、候補領域７０９が最終候補領域として選択されるような状況（図１１）において、該候補領域７０９が最終候補領域として選択されるまでの処理の流れについて図７のフローチャートに沿って説明する。

図１１において候補領域７０１〜７０８がステップＳ２０１において求められる。そして、ステップＳ２０２では、候補領域７０１〜７０８のうちウィンドウ４０１の表示領域からはみ出ている候補領域７０１、７０３，７０５，７０６，７０７，７０８（領域８０１がはみ出している領域）を除外し、候補領域７０２、７０４が以降の対象となる。次に、ステップＳ２０４では、候補領域７０２、７０４のそれぞれについて表示領域４０３からはみ出している領域８０２を求める。ここで、α＝５０％とした場合に、ステップＳ２０５では、候補領域７０２、７０４のうち半分以上が領域８０２となっている候補領域７０２、７０４を除外する。この時点で、対象領域の数が０となってしまったので、ステップＳ２１２では、候補領域７０９が最終候補領域として選択される。そしてステップＳ２１１では、候補領域７０９内の４つの指示領域にアイコン５０１〜５０４を配置する。

このように、表示領域４０３に対して領域４０５ｄが占める面積が比較的大きいと、候補領域７０１〜７０８の何れも、領域４０５ｄと重ならないように配置しようとした場合には表示領域４０３から大きくはみ出してしまうことになる。そこでこの様な場合には、候補領域７０９のように、領域４０５ｄに最小限に重なったものを選択する。もちろん、この様なケースの場合には、候補領域７０９のようなものではなく、任意の位置にアイコン５０１〜５０４を配置するための領域を設定しても良い。

本実施形態によれば、処理対象のオブジェクト（選択された画像）に重ならないように処理指示のためのインターフェース（処理選択ダイアログ）を表示することができる。したがって、ユーザが処理対象の画像を見ながら処理指示のためのインターフェースを選択することができる。

＜変形例１＞
領域４０５ｄに対する左上候補領域、左下候補領域、右上候補領域、右下候補領域のそれぞれを求めるための４つの指示領域の位置や、該４つの指示領域に配置するアイコンのサイズを、領域４０５ｄのサイズに応じて変化させても良い。

図１３（ａ）には、第１の実施形態で説明した処理でもって右上候補領域を求めるための４つの指示領域と該４つの指示領域に配置するアイコン５０１〜５０４とを示している。図１３（ｂ）、（ｃ）に示した領域４０５ｄは、図１３（ａ）に示した領域４０５ｄよりも大きい。この場合、図１３（ｂ）に示す如く、４つの指示領域の間隔を図１３（ａ）における４つの指示領域の間隔よりも広くし、且つ４つの指示領域が描くカーブの曲率を図１３（ａ）よりも小さくするようにしてもよい。つまり、４つの指示領域のレイアウトを、図１３（ａ）における４つの指示領域のレイアウトから適宜変更してもよい。また、図１３（ｃ）に示す如く、４つの指示領域のサイズ、すなわち、各指示領域に配置するアイコン５０１〜５０４のサイズを、図１３（ａ）におけるアイコン５０１〜５０４のサイズよりも大きくしても良い。

＜変形例２＞
ＰＣ１，ＰＣ２の代わりに同等の処理を実現可能な装置であれば、如何なる装置を用いても構わない。例えば、ＰＣ１の代わりに、タブレット端末装置やスマートフォンなどの機器を用いても構わない。

＜変形例３＞
第１の実施形態では、１つの画像に対するアイコンの数（処理の数）を４としているが、この数に限るものではない。また、この数は、領域４０５ａ〜４０５ｄのそれぞれで同じであることに限るものではなく、領域によっては他と異なっていても良い。

また、アイコンの形状は、第１の実施形態では円形としているが、円形に限るものではなく、任意の形状を有していても良い。また、アイコンの表現方法は、単に２次元のグラフィックスしても良いし、文字列であっても良いし、３次元仮想物体であっても構わない。また、第１の実施形態では、候補領域の形状は、４つの指示領域を含む四角形としたがこれに限定されず、４つの指示領域を含むものであればよい。ただし、４つの指示領域以外の領域が少なくなるように設定するのが好ましい。また、第１の実施形態では、複数の候補領域から１つの候補領域を選択するものとしたが、４つの指示領域を含む候補領域を選択するのではなく、４つの指示領域の配置パターンを選択するようにしてもよい。この場合は、ステップＳ２０２では、４つの指示領域のいずれもウィンドウからはみ出さないか判定し、ステップＳ２０４やステップＳ２０７のはみ出し領域の面積は、４つの指示領域の合計はみ出し量とすればよい。

［第２の実施形態］
図６、７のフローチャートに従った処理は、何もフォトアルバムを作成してＰＣ２にアップロードするための目的で行うことに限ったものではなく、様々な状況、様々な目的で使用されうるものである。例えば、ディジタルカメラなどを用いて撮像した画像やＣＧ等のグラフィックス画像をＰＣ１上で表示し、ユーザがＰＣ１を操作して該表示された画像に対して画像編集する状況においても、画像編集用の処理をアイコンとして表示するケースが考え得る。この様なケースにおいても、図６，７のフローチャートに従った処理を適用することができる。また、領域４０５ａ〜４０５ｄのそれぞれは画像だけを配置するものに限らず、テキストを配置するものであっても良い。

画像や文字などを配置するための領域（領域４０５ａ〜４０５ｄ）をオブジェクトとしても良いし、単に画像上に表示された人などの被写体をオブジェクトとしても良く、画面上に表示されうるものであれば、如何なるものをオブジェクトとしても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０４：ＣＰＵ ２０５：表示部

Claims (23)

1. 表示画面の第１表示領域に複数のページのサムネイルの一覧を表示し、該第１表示領域に表示されている複数のページのサムネイルの一覧のうち選択されたサムネイルに対応するページを前記表示画面の前記第１表示領域とは異なる第２表示領域に表示する表示制御手段と、
   前記第２表示領域に表示されているページ内でユーザにより指示された対象画像に対する処理を指示するための表示アイテムを配置する領域の候補として複数の候補領域を取得する取得手段と、
   前記複数の候補領域のうち１つの候補領域を選択する選択手段と
   を備え、
   前記複数の候補領域のそれぞれは、該候補領域に配置した前記表示アイテムが前記対象画像に重ならないような領域であり、
   前記選択手段は、前記複数の候補領域のそれぞれについて、前記第２表示領域からはみ出すはみ出し領域を特定し、前記複数の候補領域のうち該はみ出し領域が最も小さい候補領域を選択し、
   前記表示制御手段は、前記選択手段によって選択された候補領域に前記表示アイテムを配置して前記表示画面に表示する
   ことを特徴とする画像処理装置。
2. 表示画面の第１表示領域に複数のページのサムネイルの一覧を表示し、該第１表示領域に表示されている複数のページのサムネイルの一覧のうち選択されたサムネイルに対応するページを前記表示画面の前記第１表示領域とは異なる第２表示領域に表示する表示制御手段と、
   前記第２表示領域に表示されているページ内でユーザにより指示された対象画像に対する処理を指示するための表示アイテムを配置する領域の候補として複数の候補領域を取得する取得手段と、
   前記複数の候補領域のうち１つの候補領域を選択する選択手段と
   を備え、
   前記複数の候補領域のそれぞれは、該候補領域に配置した前記表示アイテムが前記対象画像に重ならないような領域であり、
   前記選択手段は、前記複数の候補領域のそれぞれについて、前記第２表示領域からはみ出すはみ出し領域を特定し、前記複数の候補領域のうち該はみ出し領域が規定サイズ未満となる候補領域を選択し、
   前記表示制御手段は、前記選択手段によって選択された候補領域に前記表示アイテムを配置して前記表示画面に表示する
   ことを特徴とする画像処理装置。
3. 前記選択手段は、前記複数の候補領域のうち前記はみ出し領域が規定サイズ未満となる候補領域が複数存在する場合、前記はみ出し領域が最も小さい候補領域を選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段が取得する前記複数の候補領域は、前記対象画像から所定の距離離れた領域であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記選択手段は、
   前記複数の候補領域のそれぞれが、前記第１表示領域と前記第２表示領域とを含む領域からはみ出すかを判定し、
   前記複数の候補領域のうち前記第１表示領域と前記第２表示領域とを含む領域からはみ出さない候補領域について前記はみ出し領域を特定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、前記複数の候補領域のうち前記第１表示領域と前記第２表示領域とを含む領域からはみ出さない候補領域が存在しない場合、あらかじめ決められた候補領域を選択することを特徴とする請求項５に記載の画像処理装置。
7. 前記表示制御手段は、
   前記対象画像のサイズに応じて、前記表示アイテムのサイズ若しくはレイアウトを変更することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記表示アイテムは、前記対象画像に対して実行される画像処理を示すアイコンであることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記表示アイテムは、前記対象画像に対して実行される、それぞれ異なる画像処理を示す複数のアイコンであることを特徴とする請求項８に記載の画像処理装置。
10. 前記複数のアイコンは前記対象画像を囲むように円弧上に並ぶことを特徴とする請求項９に記載の画像処理装置。
11. 前記第２表示領域に表示されるページ内の前記対象画像は、画像群から選択された画像がリサイズして配置されたものであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 表示画面の第１表示領域に複数のページのサムネイルの一覧を表示し、該第１表示領域に表示されている複数のページのサムネイルの一覧のうち選択されたサムネイルに対応するページを前記表示画面の前記第１表示領域とは異なる第２表示領域に表示する表示制御工程と、
    前記第２表示領域に表示されているページ内でユーザにより指示された対象画像に対する処理を指示するための表示アイテムを配置する領域の候補として複数の候補領域を取得する取得工程と、
    前記複数の候補領域のうち１つの候補領域を選択する選択工程と
    を備え、
    前記複数の候補領域のそれぞれは、該候補領域に配置した前記表示アイテムが前記対象画像に重ならないような領域であり、
    前記選択工程では、前記複数の候補領域のそれぞれについて、前記第２表示領域からはみ出すはみ出し領域を特定し、前記複数の候補領域のうち該はみ出し領域が最も小さい候補領域を選択し、
    前記表示制御工程では、前記選択工程で選択された候補領域に前記表示アイテムを配置して前記表示画面に表示する
    ことを特徴とする画像処理方法。
13. 表示画面の第１表示領域に複数のページのサムネイルの一覧を表示し、該第１表示領域に表示されている複数のページのサムネイルの一覧のうち選択されたサムネイルに対応するページを前記表示画面の前記第１表示領域とは異なる第２表示領域に表示する表示制御工程と、
    前記第２表示領域に表示されているページ内でユーザにより指示された対象画像に対する処理を指示するための表示アイテムを配置する領域の候補として複数の候補領域を取得する取得工程と、
    前記複数の候補領域のうち１つの候補領域を選択する選択工程と
    を備え、
    前記複数の候補領域のそれぞれは、該候補領域に配置した前記表示アイテムが前記対象画像に重ならないような領域であり、
    前記選択工程では、前記複数の候補領域のそれぞれについて、前記第２表示領域からはみ出すはみ出し領域を特定し、前記複数の候補領域のうち該はみ出し領域が規定サイズ未満となる候補領域を選択し、
    前記表示制御工程では、前記選択工程で選択された候補領域に前記表示アイテムを配置して前記表示画面に表示する
    ことを特徴とする画像処理方法。
14. 前記選択工程では、前記複数の候補領域のうち前記はみ出し領域が規定サイズ未満となる候補領域が複数存在する場合、前記はみ出し領域が最も小さい候補領域を選択することを特徴とする請求項１３に記載の画像処理方法。
15. 前記取得工程で取得する前記複数の候補領域は、前記対象画像から所定の距離離れた領域であることを特徴とする請求項１２乃至１４の何れか１項に記載の画像処理方法。
16. 前記選択工程では、
    前記複数の候補領域のそれぞれが、前記第１表示領域と前記第２表示領域とを含む領域からはみ出すかを判定し、
    前記複数の候補領域のうち前記第１表示領域と前記第２表示領域とを含む領域からはみ出さない候補領域について前記はみ出し領域を特定することを特徴とする請求項１２乃至１５の何れか１項に記載の画像処理方法。
17. 前記選択工程では、前記複数の候補領域のうち前記第１表示領域と前記第２表示領域とを含む領域からはみ出さない候補領域が存在しない場合、あらかじめ決められた候補領域を選択することを特徴とする請求項１６に記載の画像処理方法。
18. 前記表示制御工程では、
    前記対象画像のサイズに応じて、前記表示アイテムのサイズ若しくはレイアウトを変更することを特徴とする請求項１２乃至１７の何れか１項に記載の画像処理方法。
19. 前記表示アイテムは、前記対象画像に対して実行される画像処理を示すアイコンであることを特徴とする請求項１２乃至１８の何れか１項に記載の画像処理方法。
20. 前記表示アイテムは、前記対象画像に対して実行される、それぞれ異なる画像処理を示す複数のアイコンであることを特徴とする請求項１９に記載の画像処理方法。
21. 前記複数のアイコンは前記対象画像を囲むように円弧上に並ぶことを特徴とする請求項２０に記載の画像処理方法。
22. 前記第２表示領域に表示されるページ内の前記対象画像は、画像群から選択された画像がリサイズして配置されたものであることを特徴とする請求項１２乃至２０のいずれか１項に記載の画像処理方法。
23. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images