JP5385059B2 - 画像表示方法、プログラム、画像表示装置、及び、撮像装置 - Google Patents

Description

本発明は、画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置に関する。

近年のデジタルカメラの普及により、従来のデジタルカメラで撮像したデジタル画像を、単に紙媒体等に印刷出力して鑑賞して楽しむ方法だけでなく、デジタル画像ならではの新しい画像鑑賞の仕方に関する様々な技術開発が行われている。例えば、デジタルカメラで撮影した画像を背景に使用して、複数枚の画像を貼り付けたアルバムを作成するなどの方法が提案されている（例えば、特許文献１参照）。また、各画像には、被写体や構図などに応じて、各画像の注目すべき主要領域（以下、「注目領域」と呼ぶ）が存在する。この注目領域を枠で囲ったり、トリミングして画像を再編集して、得られた画像を表示することも行われていた。

特開２００２−１１１９９５号公報

しかしながら、この従来技術では、背景にした画像や背景の上に重ねる画像をユーザーが指定しなければならず、アルバムの場面が多数存在する場合に設定に時間を要する。また、自動で画像を配置するようにすると、注目領域の上に他の画像が重なって表示されることがあると言う課題があり、アルバムの見栄えなどが損なわれることがあった。

本発明はこのような課題に鑑みてなされたものであり、デジタル画像の中から人間が注目する領域を抽出して複数枚のデジタル画像を表示する際に、この注目領域に他の画像が重ならないように画像を配置して表示することが可能な画像表示方法、プログラム、画像表示装置、及び、撮像装置を提供することを目的とする。

前記課題を解決するために、第１の本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から画像データを読み出すステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データの各々から注目領域を検出するステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データを表示部に表示し、画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの注目領域の中心が、画像枠の中心と一致するように配置するステップと、画像データを配置するステップによりテンプレート上に配置された何れかの画像データの注目領域が、他の画像と重なっている場合に、当該画像データを、画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、画像枠内の注目領域が重ならない位置に配置するステップと、画像データの移動によっても、当該画像データの注目領域が他の画像データと重なる場合に、注目領域が他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、画像ユニット毎に、位置移動またはリサイズされた画像データを、テンプレート上に配置して、表示部に表示するステップと、を有し、画像枠内の注目領域が重ならない位置に配置するステップでの画像データの移動方向は、水平方向及び垂直方向の何れか移動量の少ない方向とする。

また、第２の本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から画像データを読み出すステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データの各々から注目領域を検出するステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データを表示部に表示し、画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの注目領域の中心が、画像枠の中心と一致するように配置するステップと、画像データを配置するステップによりテンプレート上に配置された何れかの画像データの注目領域が、他の画像と重なっている場合に、当該画像データを、画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、画像枠内の注目領域が重ならない位置に配置するステップと、画像データの移動によっても、当該画像データの注目領域が他の画像データと重なる場合に、注目領域が他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、画像ユニット毎に、位置移動またはリサイズされた画像データを、テンプレート上に配置して、表示部に表示するステップと、を有し、画像データをリサイズするステップは、画像データを、当該画像データの移動方向と平行方向に、注目領域が他の画像データと重ならないような割合でリサイズし、当該リサイズにおけるリサイズ割合で移動方向の垂直方向にも画像データをリサイズするステップを含む。
また、第３の本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から画像データを読み出すステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データの各々から注目領域を検出するステップと、画像ユニット毎に、当該画像ユニットに含まれる画像データを表示部に表示し、画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの注目領域の中心が、画像枠の中心と一致するように配置するステップと、画像データを配置するステップによりテンプレート上に配置された何れかの画像データの注目領域が、他の画像と重なっている場合に、当該画像データを、画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、画像枠内の注目領域が重ならない位置に配置するステップと、画像データの移動によっても、当該画像データの注目領域が他の画像データと重なる場合に、注目領域が他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、画像ユニット毎に、位置移動またはリサイズされた画像データを、テンプレート上に配置して、表示部に表示するステップと、を有し、注目領域を検出するステップは、画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、画像データの画素毎に、画像データのエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、画像データの対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、画像データにおいて、注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を前記注目領域として抽出するステップと、を有する。

また第１の本発明に係る画像表示方法において、画像データをリサイズするステップは、画像データを、当該画像データの移動方向と平行方向に、注目領域が他の画像データと重ならないような割合でリサイズし、当該リサイズにおけるリサイズ割合で移動方向の垂直方向にも画像データをリサイズするステップを含むことが好ましい。

また、第１又は第２の本発明に係る画像表示方法において、注目領域を検出するステップは、画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、この画像データの画素毎に、画像データのエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、画像データの対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、画像データにおいて、注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を注目領域として抽出するステップと、を有することが好ましい。

このとき、注目領域を検出するステップは、エッジ量を算出するステップの前に実行されるステップであって、画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、エッジ量を算出するステップは、画像データ及びリサイズ画像毎に、エッジ量を算出するように構成され、注目度を算出するステップは、さらに、リサイズ画像から算出されたエッジ量を、画像データの画素数と同一次元に復元するステップと、画像データから算出されたエッジ量及びリサイズ画像から算出されてリサイズされたエッジ量の各々に、注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、を有することが好ましい。

また、本発明に係るプログラムは、画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、上述の画像表示方法のいずれかを実行させるためのプログラムである。

また、本発明に係る画像評価装置は、画像データが記憶された記憶部と、表示部と、記憶部から画像データを読み出して、上述の画像表示方法のいずれかにより表示部に表示する制御部と、を有する。

さらに、本発明に係る撮像装置は、上述の画像表示装置と、光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を記憶部に記憶させる撮像部と、を有する。

本発明に係る画像表示方法、プログラム、画像表示装置、及び、撮像装置を以上のように構成すると、デジタル画像の中から人間が注目する領域を抽出して複数枚のデジタル画像を表示する際に、この注目領域に他の画像が重ならないように各画像を配置して表示することが可能となる。

画像表示装置を備えたデジタルカメラの構成を表すブロック図である。 記憶部のデータ構造を示す説明図であり、（ａ）は画像ユニットリストのデータ構造を示し、（ｂ）は画像データのデータ構造を示す。 画像表示装置による画像表示処理の概要を示すフローチャートである。 注目領域抽出部と画像位置決定部によるスライドショー生成処理の概要を示すフローチャートである。 画像配置実行部によるスライドショー再生処理の概要を示すフローチャートである。 ５枚の画像を配置可能なテンプレートの一例を示す図である。 注目領域が検出された画像と、この画像を配置するテンプレート上の画像枠との位置関係を説明するための説明図である。 テンプレート上に画像ユニットの全ての画像を、注目領域が重ならないよう配置した一例を示す図である。 注目領域が他の画像が重なった場合の各種パターンを例示した図である。 画像位置決定部により、他の画像に注目領域が重なった場合の画像の移動方法及びリサイズ方法を説明するための説明図であり、（ａ）は移動またはリサイズ前の画像を示し、（ｂ）は移動またはリサイズ後の画像を示す。 ９枚の画像を配置可能なテンプレートの一例を示す図である。 注目領域に他の３枚の画像が重なった場合の画像の移動方法及びリサイズ方法を説明するための説明図である。 ラプラシアン処理に用いるフィルタを示す説明図であり、（ａ）は８近傍ラプラシアンフィルタを示し、（ｂ）は４近傍ラプラシアンフィルタを示す。 注目領域重み付けマップの一例を説明するための説明図である。 第１の注目領域検出処理の概要を示すフローチャートである。 第２の注目領域検出処理の概要を示すフローチャートである。 第３の注目領域検出処理の概要を示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像表示方法が実行される画像表示装置２の構成について説明する。なお、本実施形態においては、この画像表示装置２を、撮像部１０を有する撮像装置であるデジタルカメラ１に適用した場合について説明する。図１に示すように、デジタルカメラ１は、撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、制御部１６、イメージ生成部１７、及び、外部装置出力部１８を有して構成される。そして、これらの撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、イメージ生成部１７、及び、外部装置出力部１８は、制御部１６に情報を伝達可能に接続されている。さらに、このデジタルカメラ１は、外部装置出力部１８を介してこの外部装置出力部１８に接続された外部モニタ１００に、画像を表示可能に構成されている。そして、本実施形態の画像表示装置２は、上記デジタルカメラ１の構成部のうち、記憶部１５、制御部１６、及び、イメージ生成部１７などから構成され、これらは、例えば、コンピュータで実行されるプログラムとして構成することができる。

撮像部１０は、図示しない撮影レンズ、撮像素子、Ａ／Ｄ変換部等を備えており、ユーザーによる操作部１３からの指示に基づいて、制御部１６が制御することにより、被写体像を撮像する。

メモリ１１は、撮像部１０により撮像された被写体像の画像データを記憶し、また、画像ユニットリストや各処理で算出された数値などを一時的に記憶する。メモリ１１には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

画像処理部１２は、撮像された画像データに対して、補間処理、輪郭強調処理またはホワイトバランス補正等の画像処理を行う。この画像処理部１２は、更に、撮影モード、シャッター速度、絞り値やＩＳＯ値等の撮影条件、および撮像日時等の撮像された画像に関する属性を示す情報を画像に付加して、Ｅｘｉｆ（Exchangeable image file format）形式等の画像のファイルを生成するデジタルフロントエンド処理部としての機能も有する。

操作部１３は、ユーザーによる操作指示信号を制御部１６に出力する。操作部１３は、例えば、電源ボタン、撮影モード等のモード設定ボタン、レリーズボタン等の各種操作ボタンを備え、この操作部１３の操作状態は、制御部１６により検知される。本実施形態では、スライドショーを行うモードが、モード設定ボタンによって選択できるようになっている。

表示部１４は、ライブビュー用のスルー画像、モード設定画面およびスライドショーにおける画像等を表示する。表示部１４には、一般的な液晶モニタ等を適宜選択して用いることができる。また、この表示部１４は、タッチパネル機能を有してもよく、上述の操作部１３の操作ボタンを、タッチパネル上に画像として表示して各種操作を選択できるようにしても良い。このようなタッチパネルを有している場合の操作は、操作部１３に含まれるものとする。

制御部１６は、記憶部１５に記憶されている制御プログラムを読み込み、操作部１３を介してユーザーからの様々な指示を受け付け、それらに基づいてデジタルカメラ１の動作を制御する。例えば、制御部１６は、撮像部１０に被写体像の撮像指令を出したり、画像処理部１２に撮像した画像データの画像処理をさせたり、処理された画像を記憶部１５へ記録したり、表示部１４へ表示したりする等の制御を行う。さらに、本実施形態では、制御部１６は、後述するように、撮像した複数の画像をスライドショーとして表示部１４や外部表示装置１００へ表示するにあたり、ユーザーから操作部１３を介して受け取る指示に基づいて、イメージ生成部１７にスライドショーで表示するイメージを生成させる。なお、この制御部１６には、一般的なコンピュータのＣＰＵが使用される。

イメージ生成部１７は、画像の輝度および色のコントラストを基に当該画像の注目領域を抽出する注目領域検出部１９、この注目領域検出部１９により検出された注目領域を基に、表示部１４等にどのように画像を配置して表示するのかを決定する画像位置決定部２０、及び、この画像位置決定部２０により決定された位置に従って、画像を配置する画像配置実行部２１を備えて構成される。

外部装置出力部１８は、外部表示装置１００である外部モニタと有線または無線で接続され、ユーザーによる操作部１３の操作に応じて、デジタルカメラ１によって撮像された画像の信号を外部表示装置１００へ出力する。外部装置出力部１８には、ＨＤＭＩ（High-Definition Multimedia Interface）等のチップが搭載されたインターフェースを用いることができる。また、外部表示装置１００には、一般的な高精細度テレビジョン放送受信可能なテレビを適宜選択して用いることもできる。

記憶部１５は、制御部１６がデジタルカメラ１を制御するための制御プログラムや撮像した画像データ（図２（ｂ）参照）等が記憶される。記憶部１５に記憶されるプログラムやデータは、制御部１６から適宜参照することができる。記憶部１５には、一般的なハードディスク装置、光磁気ディスク装置、半導体メモリである任意の不揮発性メモリ、または着脱可能なカードメモリ等を適宜選択して用いることができる。

また、本実施形態において、記憶部１５には、デジタルカメラ１によるスライドショー再生を行うのに必要となる画像ユニットリスト５０（図２（ａ）参照）が記憶されている。この画像ユニットリスト５０には、表示部１４や外部表示装置１００に表示するスライドショーに含まれる画像データの格納先や画像の表示方向、注目領域検出部１９で検出された注目領域を基に決定された画像の位置等が画像ユニット毎に記憶されている。この画像ユニットは、スライドショーにおける１スライドに相当し、１画像のユニットは、複数枚の画像データを含むことが可能である。なお、画像ユニットリスト５０は、記憶部１５に１つのみ設けてもよいし、使用するテンプレート毎に複数設けてもよい。

また、記憶部１５には、画像ユニットリスト５０を作成するにあたり、スライドショーで表示される各画像の配置位置等を決定するのに必要となるレイアウト用のテンプレート７０（図６参照）も記憶されている。なお、図６に示すテンプレート７０は５枚表示用であるが、それ以外にも、１枚表示用や２枚表示用のテンプレート等、表示枚数や表示デザイン毎に複数種類のテンプレートが用意されている。また、図６のテンプレート７０は、５枚表示のレイアウトの一例を示したにすぎず、５枚の画像全てを異なるサイズに表示したり、全て正方形に表示してもよい。本実施形態では、このような表示のための複数種類のテンプレートが用意され、画像ユニット毎に記憶部１５に記憶されている。

ここで、画像ユニットリスト５０は、図２（ａ）に示すようなデータ構造を有しており、画像ユニットの管理番号が記憶されるユニット番号領域５１、画像データの管理番号が記憶される画像番号領域５２、画像データのファイル名が記憶される画像データファイル名領域５３、画像の縦横方向が記憶される画像方向領域５４、画像のオリジナルのサイズ（Ｗ×Ｈ）が画素数で記憶される元画像サイズ領域５５、注目領域検出部１９で検出された注目領域の位置（ｘ座標及びｙ座標）が記憶される注目領域位置領域５６、この注目領域の横と高さ（Ｗ×Ｈ）が画素数で記憶される注目領域サイズ領域５７、スライドショー表示する一画面、すなわちテンプレート７０上において画像をどの位置（ｘ座標及びｙ座標）に配置するかが記憶される画像位置座標領域５８、及び、配置する画像の幅と高さ（Ｗ×Ｈ）が画素数で記憶される画像配置サイズ領域５９などから構成される。

なお、注目領域の位置座標は、ここでは元画像の左上隅を原点（０，０）とし、画像の幅方向をｘ軸、高さ方向をｙ軸とした際に、注目領域の左上隅の位置座標を、原点からの相対位置（画素）で表したものである。また、テンプレート７０上での画像の位置座標は、このテンプレート７０左上隅を原点（０，０）とした際に、当該画像の左上隅の座標を、原点からの相対的位置（画素）で表したものである。また、画像位置座標領域５８及び画像配置サイズ領域５９には、後述する画像位置決定部２０により画像の配置位置が決定されたときにその値（画像の左上隅の座標）が設定されるが、初期値として、テンプレート７０上の各画像を配置する画像枠（図６等の（１）〜（５））の左上隅の座標と、この画像枠のサイズが設定されている。なお、また、画像ユニットリスト５０には、使用するテンプレート７０の番号などを記憶する領域を画像ユニットリスト５０に設け、記憶部１５に記憶してもよい。

また、画像データ記憶領域６０は、図２（ｂ）に示すようなデータ構造を有しており、デジタル画像そのものが記憶される画像領域６１と、ヘッダ領域、撮影日時情報、色情報、印象情報などの属性情報が記憶される属性情報領域６２とを有して構成され、１つの画像データに対する情報が１レコードとして管理された、Ｅｘｉｆ形式のデータである。ここで、ユニットリスト５０の各画像ユニットに属する画像データを取得する場合、画像ユニットリスト５０の画像データファイル名領域５３から画像データファイルのパスを取得し、このパスを基に読み出そうとする画像データを特定し、画像領域６１及び属性情報領域６２から、該当する画像データそのもの及びその属性情報を取得することができる。なお、この画像領域６１と属性情報領域６２とを一つのファイルとして構成するようにしてもよい。

このように記憶部１５に記憶された画像データは、撮影日時情報、色情報、印象情報などの属性情報を基に複数の画像ユニットにグループ分けされ、この画像ユニットの情報が前述のように画像ユニットリスト５０に記憶されている。このグループ分けの具体例を以下に説明する。例えば、撮影日時情報を用いる場合は、日付毎にグループ分けを行ったり、日付で分類後、１〜２４時間（１時間刻み等）毎に画像のグループ分けを行う。また、色情報に関しては、赤、青、黄、緑等があり、まず画像を各色グループに分け、次に色毎で画像枚数の偏りを見てグループ分けを行う。例えば、画像枚数が多い色グループは一度に表示される枚数の多い画像ユニットを形成し、画像枚数が少ない色グループは一度に表示される枚数の少ない画像ユニットを形成し、画像ユニットの個数のバランスが色毎で取れるようにする。なお、印象情報に関しては、ＨＯＴ／ＣＯＯＬ／ＮＡＴＵＲＡＬ等があり、まず、画像を印象グループに分け、次に印象毎で画像枚数の偏りを見てグループ分けを行う。例えば、画像枚数が多い印象グループは一度に表示される枚数の多い画像ユニットを形成し、画像枚数が少ない印象グループは一度に表示される枚数の少ない画像ユニットを形成し、画像ユニットの個数のバランスが印象毎で取れるようにする。このようにグループ分けされた画像ユニットに管理番号が付され、画像ユニット毎に、管理番号、並びに、所属する画像データについて、テンプレートへの表示順に、管理番号やファイル名、画像方向、及び、元画像サイズが、画像ユニットリスト５０の各領域５１〜５５に設定され、記憶部１５に記憶されている。

なお、画像ユニットリスト５０を生成するモジュールの仕様によって、画像ユニットの管理番号が違っても（例えば、管理番号が１、２、及び、Ｎ）、各画像ユニットに含まれる画像が同じのものが幾つも存在する場合がある。また、各画像は、画像番号領域５２の順番にテンプレート７０上の画像枠（１）〜（５）に配置されるが、当該画像枠（１）〜（５）のどの位置にどのサイズで画像を表示するかは、イメージ生成部１７の画像位置決定部２０が各画像の注目領域の重なりなどを解析することによって決められる。

以上のような構成のデジタルカメラ１に対して、ユーザーが操作部１３を介して撮影を指示すると、制御部１６は撮像部１０の作動を制御して被写体像を撮影して、画像を生成し、メモリ１１に記録する。そして、制御部１６は、画像処理部１２を制御して、メモリ１１に記録した画像を表示部１４に表示するとともに、この画像及びその属性情報を対応付けて記憶部１５に記憶する。

これらの画像データは、前述したように、ユーザーによる指示やデジタルカメラ１の機能により自動的に、人物、風景、色などの種別毎や撮影日時毎に応じて、例えば１〜Ｎ（Ｎ＝１、２、３等の整数）個のグループ（以下、画像ユニットという）毎にグループ分けされて、そのグループ情報（画像ユニットリスト５０）とともに記憶部１５に記憶される。

次に、このような構成のデジタルカメラ１において、画像表示装置２が画像表示方法を用いて、撮像した画像をスライドショーで表示する際の画像表示処理について、図３〜図５のフローチャートを合わせて用いて説明する。この画像表示処理は、制御部１６の制御により、図３に示すように、イメージ生成部１７の注目領域検出部１９、画像位置決定部２０などによって行われるスライドショー生成処理（ステップＳ１００）と、画像配置実行部２１によって行われるスライドショー再生処理（ステップＳ２００）とから構成される。以下、スライドショー生成処理（ステップＳ１００）及びスライドショー再生処理（ステップＳ２００）の各処理について、それぞれ図４及び図５のフローチャートを用いて説明する。

まず、図４のフローチャートを用いて、スライドショー生成処理（ステップＳ１００）について説明する。この処理はユーザーがデジタルカメラ１の操作部１３において、モード選択ボタンでスライドショーのモードを選択することによって実行される。この操作部１３を介した指示を受け取った制御部１６は、まず、記憶部１５に記憶された画像ユニットリスト５０を読み出し、メモリ１１へ展開する（ステップＳ１０１）。この画像ユニットリスト５０には、前述のように、所定のテンプレート７０に対応して、画像ユニットを構成する画像の集合についての情報が記憶されている。テンプレート７０は、例えば、画像表示枚数が５枚、４枚、６枚、２枚のように決まっており、画像ユニットリスト５０の一つの画像ユニットには、このテンプレート７０の表示枚数に対応した数の画像についての情報が、表示順（画像番号順、図２（ａ）では１→５の順）に記憶されている。次に、制御部１６は、表示対象画像ユニット番号カウンタの初期化処理を行う（ステップＳ１０２）。また、制御部１６は、当該表示対象の画像ユニットについて、画像データ毎に各処理を行うため、表示対象画像データ番号カウンタを初期化する（ステップＳ１０３）。

次に、制御部１６からの指示により、注目領域検出部１９は、表示対象の画像ユニットに所属する画像データの中から、表示対象画像データ番号カウンタに基づいて、画像ユニットリスト５０の画像データファイル名領域５３から画像データのパスを取得し、このパスを基に１件の表示対象画像データを記憶部１５から読み出し、メモリ１１へ展開する（ステップＳ１０４）。

次に、注目領域検出部１９により、メモリ１１に展開された表示対象画像データの画像に対して、画像の輝度及び色のコントラストを基に、注目領域の検出のための注目領域検出処理（ステップＳ１０５）が行われるが、その詳細については後述する。この注目領域検出処理では、例えば、図７に示す入力画像ImageＡがあった場合、図７に示す実線で囲まれたａ部分が注目領域として検出される。このように検出された注目領域ａの左上隅の座標、及び、注目領域のサイズ（Ｗ×Ｈ）が、画像ユニットリスト５０の注目領域座標領域５６、及び、注目領域サイズ領域５７に格納される。

上記のように１つの画像データについて注目領域検出処理が終わると、制御部１６は、表示対象画像データ番号カウンタをインクリメントする（ステップＳ１０６）。次に、制御部１６は、図２（ａ）に示す画像ユニットリスト５０を参照して現在処理している画像ユニット内で、次の表示対象画像データがあるか否かを判定し（ステップＳ１０７）、次の表示対象画像データがある場合には、注目領域検出部１９に指令を与え、当該表示対象画像データについてステップＳ１０４以降の処理を繰り返す。一方、次の表示対象画像データがない場合は、画像位置決定処理（ステップＳ１０８）へ進む。

次に、画像位置決定部２０によって行われる画像位置決定処理（ステップＳ１０８）について説明する。ここでは、上記処理で検出された画像群の注目領域の情報及び図６に示すテンプレート７０を基に、当該テンプレート７０への画像の配置座標とサイズとが決定される。画像位置決定部２０は、現在処理中の画像ユニットについて、テンプレート７０上の所定位置に各画像を配置した際、図８に示す配置イメージのように、実線で囲った部分を注目領域とする場合に、当該注目領域が他の画像と重ならないように配置し、表示部１４等にスライドショーとして表示するためのイメージを生成する。

以下画像位置決定処理（ステップＳ１０８）の一例について、図６及び図７を用いて説明する。この図６に示すテンプレート７０において、各画像を配置する予め決められた画像の画像枠（１）〜（５）の中心座標を、図７に示すようにそれぞれ（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）、及び、（ｘ５，ｙ５）とする。また、例えば、画像枠（１）に配置する画像ImageＡの注目領域ａの中心Ｐの座標を（ｘ１′，ｙ１′）とする。ここで、各画像枠（１）〜（５）のサイズと、各々に配置する画像のサイズ（元画像サイズ領域５５より取得）とは、必ずしも同一とは限らず、画像が大きくて画像枠からはみ出したり、画像全体が画像枠よりも小さく表示される場合がある。同様に、画像枠のアスペクト比と画像のアスペクト比とが、必ずしも同一とは限らず、画像の縦横何れかが画像枠からはみ出したり、小さく表示される場合がある。このような場合は、各画像枠（１）〜（５）に各画像が最適なサイズで収まるよう、アスペクト比を維持しながら画像のリサイズ（拡大または縮小）を行っておく。

このような状態で、図７に示すように、画像ImageＡの注目領域の中心Ｐと、テンプレート７０の画像枠（１）の中心座標（ｘ１，ｙ１）とが合致するように画像枠（１）上での画像ImageＡの位置を決定する。ここで、画像ImageＡの中心と注目領域の中心Ｐとが必ずしも同一とは限らない。そのため、画像枠（１）の中心と注目領域の中心Ｐとが合致するように配置すると、画像ImageＡが画像枠（１）からはみ出す場合がある。この場合には、（ｘ１′，ｙ１′）を中心に、画像枠（１）内に収まるように画像ImageＡを、アスペクト比を維持しながらリサイズ（縮小）して配置する。このリサイズの際は、最もはみ出す部分の辺が画像枠（１）と合致するまで行う。この場合、残りの辺は必ずしも画像枠（１）と合致せず、画像ImageＡの上下左右の何れかに余白を生じることがあるが、この余白部分を所定の色（例えば黒色）、模様、背景色等で塗潰し、レターボックスにしてもよい。また、このとき、注目領域ａが他の画像枠（２）〜（５）の画像と重なる場合は、以下に詳述するように、注目領域ａが他の画像枠（２）〜（５）の画像と重ならないように、画像ImageＡの位置を移動したり、更にリサイズするなどの調整を行って画像ImageＡの配置位置を決定する。

そして、上記と同様の手順で、テンプレート７０上の他の画像枠（２）〜（５）へ画像の配置位置を決定する。なお、本実施形態ではテンプレート７０上の画像枠（１）〜（５）に注目領域が重ならないようにリサイズしながら各画像を配置しているが、これに限定されることはなく、画像枠（１）〜（５）に全ての画像を配置して、注目領域が重なった画像のみ位置移動やリサイズを行ってもよい。

以下、注目領域が他の画像と重ならないように配置するための、画像の位置移動、リサイズなどの調整処理の一例について説明する。注目領域と他の画像が重なるパターンとして、図９に示すような８つのパターンが考えられる。この図９において、パターン１〜４は注目領域に他の画像の四隅の何れかが重なる場合を示し、パターン５〜８は注目領域に上下左右の何れかの辺が重なる場合を示す。このように画像が重なる場合には、画像の位置移動やリサイズを行うとともに注目領域がより大きい画像が上に重なるように配置する。また、重なった画像を移動させて位置を変更する際には、下になる画像を移動させる。

まず、パターン１〜４のように、上に配置する画像（注目領域のより大きい方の画像）の四隅の頂点の何れかが、下に配置する画像の注目領内に重なっている場合について説明する。例えば、パターン１の場合で、図１０（ａ）に示すように、上に配置される画像Image１が、下の画像Image２の注目領域内に重なっている場合には、画像Image２を画像枠外に移動しない範囲でｘ方向（左または右方向）またはｙ方向（上または下方向）に移動させる。それぞれの移動方向は、画像Image１の４隅の頂点の何れの位置が画像Image２の注目領域に存在するかで決定される。各パターンにおける画像の重なり部位と、移動方向を以下の表１に示す。図１０（ａ）のパターン１の場合は、画像Image２の注目領域に画像Image１の左上隅の頂点がかかっているため、この表１に示すように、画像Image２を左方向（ｘ方向）または上方向（ｙ方向）に移動する。

（表１）
パターン番号 （重なり部位） Image２の移動方向
パターン１ （Image１ 左上） 左方向または上方向
パターン２ （Image１ 左下） 左方向または下方向
パターン３ （Image１ 右下） 右方向または下方向
パターン４ （Image１ 右上） 右方向または上方向

パターン１の場合に画像Image２の移動方向を左方向、上方向の何れにするか決定する方法としては、図１０（ａ）に示すように、画像Image２を左方向に移動した場合の、上に配置される画像の左上隅の垂直軸ｖに対する移動距離distＸと、画像Image２を上方向に移動した場合の、上に配置される画像の左上隅の水平軸ｈに対する移動距離distＹとを比較して、移動距離が短い方を選択する。図１０（ａ）の場合、Ｙ方向の移動距離distＹのほうが短いとすると、画像Image２の移動方向を上方向に決定し、画像位置を移動する（図１０（ｂ））。

次に、リサイズが必要な場合について説明する。すなわち、上述のように画像（ここではImage２）の移動によっても、当該画像の注目領域が他の画像（ここではImage１）と重なる場合に、この注目領域が他の画像と重ならなくなるまで、当該画像データをリサイズする。図１０（ａ）において、画像Image２の左上隅の座標を（Ｘ１，Ｙ１）、右下隅の座標を（Ｘ２，Ｙ２）とし、画像Image２を上方向に移動距離distＹだけ移動させた場合に、当該画像Image２の左上隅のｙ座標（Ｙ１）が画像枠（１）の領域からはみ出る場合（すなわち、Ｙ１＜distＹの場合）には、画像左上のＹ１が、画像枠（１）の左隅のｙ座標と同等となるように画像をリサイズする。この場合、図１０（ｂ）に示すように移動後の画像Image２の左上隅の座標を（ＸＸ１，ＹＹ１）、右下の座標を（ＸＸ２，ＹＹ２）としたとき、ＹＹ１の値を以下に示す式（１）のように設定する。すなわち、画像Image２の左上隅を画像枠（１）の左隅と一致させる。なお、この場合、各座標ＸＸ１，ＹＹ１，ＸＸ２，ＹＹ２の値は、テンプレート７０の左上隅、すなわち、当該画像枠（１）の左上隅を原点（０，０）としたときの、この原点からの相対的位置（画素）で表している。

ＹＹ１＝Ｙ１ （１）

次に、画像Image２の右下隅のｙ座標ＹＹ２を決定する。ここでは、画像Image２の左上隅のｙ座標ＹＹ１を上記式（１）で設定した値に固定した状態で、画像Image２の注目領域が画像Image１と重ならないように縮小率を求め、座標ＹＹ２の値を決定する。この決定方法としては、移動するべき残りの移動距離と、画像Image２に対する注目領域の割合とから、当該注目領域が画像Image１と重ならないような配置となるよう、座標ＹＹ２の値を算出する。その算出方法は、残り移動距離をdistＹ′とし、画像Image２に対する注目領域の割合をRatioＹとし、注目領域の左上隅の座標を（ｘ１，ｙ１）とし、注目領域の右下隅の座標を（ｘ２，ｙ２）としたとき、画像Image２の移動後の右下隅のｙ座標ＹＹ２は、以下に示す式（２）〜（４）を用いて算出できる。なお、注目領域の座標（ｘ１，ｙ１）及び（ｘ２，ｙ２）は、画像ユニットリスト５０の注目領域位置領域５６及び注目領域サイズ領域５７から取得した、注目領域の座標値及びサイズを基に、画像Image２における座標値を、画像枠（１）における座標値に換算したものである。

distＹ′＝distＹ−Ｙ１ （２）
RatioＹ ＝（ｙ２−ｙ１）／（Ｙ２−Ｙ１） （３）
ＹＹ２ ＝distＹ′／RatioＹ （４）

次に、移動後の画像Image２の左上隅及び右下隅のｘ座標ＸＸ１及びＸＸ２を決定する。まず、画像Image２は上方向に移動させることから、左上隅のｘ座標は変更せず、移動後のｘ座標ＸＸ１は、以下に示す式（５）のように設定する。

ＸＸ１＝Ｘ１ （５）

一方、画像Image２の右下隅のｘ座標ＸＸ２は、アスペクト比を保つために、元のｘ座標Ｘ２の値を、Ｙ方向のリサイズの割合と同等の割合でリサイズすることで求める。具体的には、以下に示す式（６）を用いて算出する。

ＸＸ２＝Ｘ２×（ＹＹ２−ＹＹ１）／（Ｙ２−Ｙ１） （６）

以上のようにして、パターン１の画像Image２について移動後の画像の左上隅及び右下隅の座標（ＸＸ１，ＹＹ１）、（ＸＸ２，ＹＹ２）を決定する。なお、上記では、画像Image２を上方向に移動し、かつリサイズが必要な場合を説明したが、左方向に移動し、かつリサイズが必要な場合は、前出の式（１）〜式（６）に代えて、以下に示す式（７）〜（１２）を用いて移動後の左上隅及び右下隅の座標（ＸＸ１，ＹＹ１）、（ＸＸ２，ＹＹ２）の各値を算出する。なお、下記式（７）〜（１２）中、distＸ′はＸ方向への残り移動距離を、RatioＸは画像Image２に対する注目領域の割合を、（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）とは画像Image２の移動前の左上隅の座標と右下隅の座標とを、（ｘ１，ｙ１）と（ｘ２，ｙ２）とは注目領域の左上隅の座標と右下隅の座標とを示す。

ＸＸ１＝Ｘ１ （７）
distＸ′＝distＸ−Ｘ１ （８）
RatioＸ ＝（ｘ２−ｘ１）／（Ｘ２−Ｘ１） （９）
ＸＸ２ ＝distＸ′／RatioＸ （１０）
ＹＹ１＝Ｙ１ （１１）
ＹＹ２＝Ｙ２×（ＸＸ２−ＸＸ１）／（Ｘ２−Ｘ１） （１２）

また、パターン２〜４の場合も、パターン１の場合と同様にして、各画像を移動させ、移動後の画像の左上隅及び右下隅の座標を求めることができる。なお、リサイズが必要な場合、パターン２では画像Image２の左下隅の座標を画像枠の左下隅または左端の座標に固定し、画像Image２の注目領域が画像Image１と重ならないように上記各式で示したような手順と同様にして縮小率を求め、画像Image２の右上隅の座標位置を決定する。同様に、パターン３では、画像の右下隅の位置を画像枠の右下隅または右端の座標に固定し、縮小率を求めた上で左上隅の座標を決定する。パターン４では、画像の右上隅の位置を画像枠の右上隅または右端の座標に固定し、縮小率を求めた上で左下隅の座標を決定する。

次に、図９に示すパターン５〜８のように、上に配置する画像の上下左右の辺の何れかが、下に配置する画像の注目領域内に重なっている場合の画像の移動方法及びリサイズ方法について説明する。この場合、上下左右の辺の何れが下に配置する画像と重なっているかによって、下に配置する画像の移動方向を決定する。そして、このパターン５〜８においても、上述したパターン１〜４の場合と同様の方法で、移動距離を算出して画像を移動し、移動によっても他の画像が注目領域に重なる場合は、移動方向に応じてリサイズ割合を算出し画像のリサイズを行う。各パターンにおける画像の重なり部位と、移動方向を以下の表２に示す。

（表２）
パターン番号 （重なり部位） Image２の移動方向
パターン５ （Image１ 左辺） 左方向
パターン６ （Image１ 下辺） 下方向
パターン７ （Image１ 右辺） 右方向
パターン８ （Image１ 上辺） 上方向

また、以上では、２枚の画像が重なる場合の移動方法及びリサイズ方法について説明したが、３枚以上の画像が重なる場合の移動方法及びリサイズ方法について、図１１に示す９枚の画像を配置可能なテンプレート７１の場合を例に以下に説明する。この図１１のテンプレート７１において、画像枠（６）の画像の注目領域内に、画像枠（１），（２）及び（３）の３枚の画像が重なるものとし、当該画像枠（６）の画像を移動する場合について、図１２を用いて説明する。

この場合、画像枠（６）の画像（Image６）の注目領域の上に重なって配置される画像枠（１），（２）の画像（Image１，Image２）を基に、水平軸ｈを決定する。また、画像枠（１），（３）の画像（Image１，Image３）を基に、垂直軸ｖを決定する。何れの場合も、画像Image６の注目領域を、より狭めている画像（図１２の例では、何れも画像Image１）の水平方向の辺または垂直方向の辺をそれぞれ水平軸ｈ、垂直軸ｖとする。この水平軸ｈ及び垂直軸ｖを基準として、上述した２枚の画像の重なりの場合の移動方法と同様の方法で、画像Image６のＸ方向及びＹ方向への移動量distＸ及びdistＹを決定する。このように、画像Image６では、水平方向及び垂直方向の双方で他の画像と重なっているため、Ｘ方向及びＹ方向のどちらにも移動させる必要がある。また、リサイズが必要な場合も、上述の方法と同様の方法でリサイズするが、水平方向及び垂直方向のどちらの方向でも注目領域が他の画像と重ならないような割合で、画像Image６をリサイズする必要がある。

以上のように、１つの画像ユニットについて、全ての画像の配置位置が決定したら、この情報を画像ユニットリスト５０の当該画像ユニット内における画像配置座標領域５８及び画像配置サイズ領域５９に設定する。この画像配置座標領域５８には、上記で算出されたテンプレート７０上での画像の左上隅の座標を設定する。画像配置サイズ領域５９には、上記で算出された縮小率を基に、元画像サイズ領域５５に設定されたサイズをリサイズした値、または、上記で算出された左上隅の座標及び右下隅の座標などを基に算出したサイズの値を設定する。なお、画像ユニットリスト５０の内容は、後述のステップＳ１１１で全ての画像ユニットについての処理が終わった後で一括で記憶部１５に書き込んでいるが、１つの画像ユニットについての処理が終わった時点で記憶部１５に書き込んでもよい。

上記のように、１つの画像ユニットについての一連の処理が終わると、制御部１６は、表示対象画像ユニット番号カウンタをインクリメントする（ステップＳ１０９）。そして、制御部１６は、図２（ａ）に示す画像ユニットリスト５０を参照して、次の表示対象画像ユニットがあるか否かを判定し（ステップＳ１１０）、次の表示対象画像ユニットがある場合はステップＳ１０３以降の処理を繰返す。一方、次の表示対象画像ユニットがない場合は、画像ユニット毎に各画像の画像配置座標領域５８と画像配置サイズ領域５９とが更新された画像ユニットリスト５０の情報を書き込むことにより記憶部１５を更新する（ステップＳ１１１）。以上により、スライドショー生成処理（ステップＳ１００）が終了し、制御部１６は、次のスライドショー再生処理（ステップＳ２００）へ進むように各部を制御する。

次に、図５のフローチャートを用いて、画像配置実行部２１によるスライドショー再生処理（ステップＳ２００）について説明する。まず、制御部１６の制御により、画像配置実行部２１は、記憶部１５に記憶された画像ユニットリスト５０をメモリ１１へ読み出す（ステップＳ２０１）。次に、表示部１４等への表示対象の画像ユニットごとに処理を行うため、制御部１６は、表示対象画像ユニット番号カウンタの初期化を行う（ステップＳ２０２）。

次に、制御部１６は、メモリ１１に読み出された画像ユニットリスト５０を参照して、画像番号領域５２に格納された画像番号順に、画像データファイル名領域５３から画像データファイルのパスを取得し、取得した画像データファイルのパスを基に記憶部１５に格納された画像データを順次読み出し、メモリ１１へ展開する（ステップＳ２０３）。その後、制御部１６は、表示対象画像データ番号カウンタの初期化を行う（ステップＳ２０４）。

次に、制御部１６からの指示により、画像配置実行部２１は、表示対象画像データ番号カウンタに対応する当該表示対象画像データについて、画像ユニットリスト５０の画像方向領域５４の情報を基に必要があれば画像の回転を行い、更に、画像配置サイズ領域５９に設定されたサイズを基に画像のリサイズを行い、画像配置座標領域５８に設定された座標を基に、テンプレート７０上に画像を配置する（ステップＳ２０５）。また、この画像の配置位置及びリサイズ割合、並びに、注目領域座標領域５６に設定された注目領域の座標及び注目領域サイズ領域５７に設定された注目領域のサイズを基に、図８に示すように、注目領域を実線で囲い、当該注目領域が一目でわかるようにする。また、注目領域に他の画像が重なるために当該画像の位置移動やリサイズを行うことにより、画像の上下左右に余白ができた場合には、余白部分を所定の色（例えば黒色）、模様、背景色等で塗潰し、レターボックスにしてもよい。

以上のように１つの表示対象画像データの処理が完了すると、制御部１６は、表示対象画像データ番号カウンタをインクリメントする（ステップＳ２０６）。そして、制御部１６は、図２に示す画像ユニットリスト５０を参照して現在処理している画像ユニット内に、次の表示対象の画像がデータあるか否かを判定し（ステップＳ２０７）、次の表示対象画像データがある場合には、画像配置実行部２１へ、メモリ１１に読み込まれた画像データから、表示対象画像データ番号カウンタに設定された画像番号に該当する表示対象画像データのリサイズ及びテンプレート７０上への配置を行うように指示し、ステップＳ２０５以降の処理を繰り返す。一方、次の表示対象画像データがない場合は、表示対象画像ユニット内の表示画像群の表示処理（ステップＳ２０８）へ進む。

この表示対象画像ユニット内の表示画像群の表示処理（ステップＳ２０８）では、制御部１６は、画像配置実行部２１により生成された当該画像ユニットの全ての表示画像を表示部１４や外部表示装置１００へ表示する。図８に、１つの画像ユニットについて、テンプレート７０上に５つの画像を配置して表示した例を示す。

上記のように１つの表示対象画像ユニット内の画像群が表示されると、制御部１６は、所定の時間を空けた後（現在表示されている画像ユニットを、所定の時間表示させた後）、表示対象画像ユニット番号カウンタをインクリメントする（ステップＳ２０９）。そして、制御部１６は、メモリ１１に展開された画像ユニットリスト５０を参照して、次の表示対象画像ユニットがあるか否かを判定し（ステップＳ２１０）、次の表示対象画像ユニットがある場合には、Ｓ２０３以降の処理を繰り返す。一方、次の表示対象画像ユニットがない場合は、スライドショー再生処理（ステップＳ２００）を終了する。以上により、画像表示装置２による画像表示処理（ステップＳ１００〜Ｓ２００）が全て終了する。

なお、以上の説明では、スライドショーの生成を記憶部１５に記憶された画像ユニットリスト５０を更新して行った場合について説明したが、画像ユニットリスト５０の内容を、メモリ１１に一時的にコピーし、このメモリ１１上に生成された画像ユニットリスト５０を更新し、さらに、このメモリ１１上の画像ユニットリスト５０を用いてスライドショーを再生するように構成しても良い。この場合、上記処理は、スライドショーの表示の都度行われることになる。

また、上記では画像データが複数の画像ユニットにグループ分けされ、画像ユニットリスト５０が既に生成されて記憶部１５に記憶されている場合について記載しているが、画像表示処理にグループ分け処理を組み込んでもよい。この場合、スライドショーで表示したい画像の条件（例えば、撮影日時情報、色情報、印象情報等）をユーザが指定できるようにしてもよいし、自動で条件を決定してもよい。この条件を基に、記憶部１５に記憶された画像データを複数の画像ユニットにグループ分けして、その情報を設定して画像ユニットリスト５０を生成する。そして、この画像ユニットリスト５０を用いて、上述の一連の画像表示処理（ステップＳ１００〜Ｓ２００）を行うよう構成してもよい。

（注目領域検出処理）
それでは、図１５〜図１７のフローチャートを用いて、注目領域検出部１９で実行される注目領域検出処理（ステップＳ１０５）として、３種類の処理手順について以下に説明する。なお、以降においては、ステップＳ１０４で読み出された１つの表示対象画像データに対する注目領域の検出処理について説明する。また、画像データとして格納されているデジタル画像は、輝度（Ｙ）及び２つの色度（Ｃｂ，Ｃｒ）で表現されたデジタル画像、すなわち、ＹＣｂＣｒ表色系で表現されたデジタル画像であるとする。

（第１の注目領域検出処理）
図１５に示すように、注目領域検出部１９では、最初に、注目度マップ作成処理が行われる（ステップＳ１０５１）。この注目度マップ作成処理では、まず、メモリ１１に読み出された画像のリサイズ（縮小）処理が行われる。すなわち、記憶部１５から画像データがメモリ上１１に読み出され、表示対象（処理対象）として指定された１つの被検出画像（以下、「入力画像ｉｍｇ１」と呼ぶ）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした画像を生成する。以下、１／２にリサイズされた画像を「入力画像ｉｍｇ２」と呼び、１／４にリサイズされた画像を「入力画像ｉｍｇ３」と呼ぶ。

そして、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、ラプラシアン（Ｌａｐｌａｃｉａｎ）処理が行われる。ここで、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンを、以下の式（ａ１）〜（ａ３）のように定義する。なお、（ｘ，ｙ）は画素の座標を示し、ｘ軸、ｙ軸の定義は上述した通りである。

次に、下記式（ｂ１）〜（ｂ９）を用いて、上記で定義した入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図１３（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３，ΔＣｂ１〜３，ΔＣｒ１〜３）を求める。

上記式（ｂ１）〜（ｂ９）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以上のようにして求めた各プレーンのラプラシアン画像に対して、以下に示す式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各プレーンのエッジ成分（隣接画素とのコントラスト）に、予め決められた係数を乗じた上で、３つのプレーンの対応する各画素の値を加算する。これにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。

上記式（ｃ１）〜（ｃ３）中、演算子「×」は各画像の画素値に共通の係数（ｗＹ，ｗＣｂ，ｗＣｒ）を乗算することを意味する。なお、この係数（ｗＹ，ｗＣｂ，ｗＣｒ）は、それぞれΔＹ，ΔＣｂ，ΔＣｒ各々に対する重み付け係数（スカラ値）であり、Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３の計算時においては、共通の値が用いられる。また、係数ｗＭを乗じている３つの項目は、各プレーンの画素数から、各プレーンの平均値（ｍｅａｎ（＊）で表す）を減算した値の絶対値（ａｂｓ（＊）で表す）に、各々ｗＭ＿Ｙ等の係数を乗算し、さらに、その総和に係数ｗＭを乗算しているが、これは次段の処理で得られる注目度マップ算出の際に、背景画像からの影響を除去する効果を期待して付け加えられている。

さらに、以下に示す式（ｄ１）〜（ｄ３）を用いて、上述の処理で求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め定義されてこの画像表示装置２に設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、注目度マップＳａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして、対応する画素毎に加算することにより、画素毎の注目度から構成される当該入力画像の注目度マップＳａｌを得る。

なお、上記式（ｄ１）〜（ｄ３）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズ（元の画像サイズに復元）する関数を意味する。すなわち、式（ｄ２），（ｄ３）では、入力画像ｉｍｇ１の次元に対して、それぞれ１／２及び１／４にリサイズされているため、これらのラプラシアン画像Δｉｍｇ２，Δｉｍｇ３を元の画像の次元にリサイズしている。また、ｗＭａｐは注目領域重み付けマップであり、Δｉｍｇ１と次元数を等しくした行列である。例えば、Δｉｍｇ１の次元（すなわち、入力画像ｉｍｇ１の次元）が８０×１２０（画素）の場合には、ｗＭａｐは同様に８０×１２０（画素）の次元を有する。なお、ｗＭａｐは以下に示す式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである。また、Ｓａｌ１〜Ｓａｌ３の定義式（ｄ１）〜（ｄ３）に現れる行列に対する演算子「×」は当該演算子の両側にある行列の各要素を各々乗算することを意味する。そのため、必然的に、２つの行列の次元は一致している必要がある。また、式（ｄ４）中、ｗｄ１〜ｗｄ３はＳａｌ１〜Ｓａｌ３に対する重み付け因子（スカラ値）である。

上記式（ｄ５）及び（ｄ６）中、μ_n及びｇｗ_nは、ｗＭａｐを形成する各ガウシアン（ｎでインデクス付けしている）の平均ベクトル、及び、共分散行列Σの重み付け係数をそれぞれ示す。ここで、この注目領域重み付けマップｗＭａｐの例を図１４に示す。この図１４に示す注目領域重み付けマップｗＭａｐは、５つのガウシアン分布を組み合わせた場合を示している。なお、この注目領域重み付けマップｗＭａｐは、例えば、サンプル画像を収集して解析することにより生成される。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５２）が行われる。具体的には、以下に示す式（ｅ１）を用いて、作成された注目度マップから、所定の閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを注目点（ＰＯＩ）として定義する。

注目点（ＰＯＩ）の抽出が完了すると、次に、注目領域（ＲＯＩ）決定処理（ステップＳ１０５３）が行われる。まず、上記注目点（ＰＯＩ）抽出処理で求められたＰＯＩを全て内包する領域、すなわち、画像中の全注目点（ＰＯＩ）を含む最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求め、この領域を最終的な注目領域（ＲＯＩ）とする。具体的には、以下の式（ｆ１）〜（ｆ５）で定義された手順を順次実行する。下記式中、ｘ，ｙは、注目点のｘ座標、ｙ座標を表し、添え字ｎは抽出された注目点のＩＤを表す。

上記式（ｆ２）〜（ｆ５）で求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５６に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５７に設定され、記憶部１５が更新される（ステップＳ１０５４）。

以上のように、一つの被検出画像をリサイズ（縮小）した２つのリサイズ画像を生成して次元の異なる３つの画像とし、それぞれの画像を構成する３つのプレーンに対してエッジ抽出処理をして重み付けをした上で合成し、また、次元の異なる３つの画像の各々に対して注目領域重み付けマップｗＭａｐで重み付けをして、さらにこれらの３つの画像を重み付けして合成して注目マップＳａｌを生成することにより、注目領域の検出の精度を向上させることができる。

（第２の注目領域検出処理）
次に、第２の注目領域検出処理について説明する。この方法は、上述の第１の注目領域検出処理と同様の手順で注目領域を大まかに抽出し（以下、「ラフ抽出処理」と呼ぶ）、その後、抽出された注目領域を基に、再度注目領域の抽出処理を行って（以下「ファイン抽出」と呼ぶ）、注目領域の検出処理の高精度化を図っている。

この第２の注目領域検出処理の詳細を、図１６のフローチャートを用いて説明する。この図１６に示すように、まず、注目領域検出部１９によって、ラフ抽出処理（ステップＳ１０５１′〜Ｓ１０５３′）が行われる。この処理では、最初に注目度マップ作成処理が行われる（ステップＳ１０５１′）。この処理の詳細は、第１の注目領域検出処理と同様であり、記憶部１５からメモリ１１上に画像データが読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が作成される。そして、これらの入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、前出の式（ａ１）〜（ａ３）を用いて、ラプラシアン処理が行われる。

さらに、第１の注目領域検出処理と同様に、前出の式（ｂ１）〜（ｂ９）を用いて、上記で定義された入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図１３（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３、ΔＣｂ１〜３、ΔＣｒ１〜３）が求められる。

そして、このようにして求めた各プレーンのラプラシアン画像に対して、前出の式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各画素に対して予め決められた係数を乗じた上で、各値を加算することにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。その後、前出の式（ｄ１）〜（ｄ６）を用いて、入力画像の第１の注目度マップＳａｌが求められる。

上述のようにして第１の注目度マップＳａｌが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５２′）が行われる。この処理も、第１の注目領域検出処理と同様に、前出の式（ｅ１）を用いて、閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを第１の注目点（ＰＯＩ）と定義する。そして、次の注目領域（ＲＯＩ）決定処理（ステップＳ１０５３′）では、この抽出された第１の注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、第１の注目領域が求められる。なお、このラフ抽出処理にて求められた第１の注目領域を、以下、「ＲＯＩ_rough」と呼ぶ。

次に、ファイン抽出処理（ステップＳ１０５４′〜Ｓ１０５６′）について説明する。上記のラフ抽出処理で抽出された第１の注目領域ＲＯＩ_roughを基に、ファイン抽出処理が行われる。この処理では、まず、注目度マップの再生成処理が行われる（ステップＳ１０５４′）。この場合、入力画像ｉｍｇ１から第１の注目領域ＲＯＩ_roughに対応する領域を切り出して、この領域をファイン抽出処理用の入力画像ｉｍｇ１_fineとする。この際、ＲＯＩ_roughで既定される領域の幅及び高さが４の倍数ではない場合は、下端行及び右端列をそれぞれコピーたしたものをｉｍｇ１_fineに付与することとする。なお、右下隅についてはコピー元の右下隅の情報を用いることができる。この入力画像ｉｍｇ１_fineを基に、ラフ抽出処理と同様に、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズ（復元）した入力画像ｉｍｇ２_fine及び入力画像ｉｍｇ３_fineが生成される。これらを基に、前出の式（ｄ１）〜（ｄ４）を用いて、入力画像の第２の注目度マップＳａｌが求められる。この一連の処理は、基本的にはラフ抽出処理と同様の処理となるが、各式中のパラメータはラフ抽出処理とは異なる値となる。また、前出の注目度マップＳａｌ１〜Ｓａｌ３を求める式（ｄ１）〜（ｄ３）の注目領域重み付けマップｗＭａｐ（ｘ，ｙ）は、ｘ，ｙの値によらず全て１とする（すなわち、このファイン抽出処理では、注目領域重み付けマップｗＭａｐによる重み付けは行わない）。

第２の注目度マップの再生成が終了すると、次に、この第２の注目度マップの２値化処理が行われる（ステップＳ１０５５′）。すなわち、上記注目度マップの再生成処理を行った結果得られた第２の注目度マップＳａｌ（以下、「Ｓａｌ_fine」と呼ぶ）に対して、所定の閾値ｔｈ_fineを基に、以下に示す式（ｇ１）〜（ｇ２）を用いて、２値化処理を行うことにより（注目度マップの各画素の値が、閾値ｔｈ_fine以上のときは「１」とし、それより小さいときは「０」とする）、２値化注目度マップ（以下、「Ｓａｌ_bin」と呼ぶ）を生成する。

注目度マップの２値化処理では、次に、上記式（ｇ１）又は（ｇ２）で生成されたＳａｌ_binに対して、図１３（ｂ）に示すような４近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、２値化注目度マップＳａｌ_binのエッジ成分（輪郭成分にほぼ等しい）の抽出が行われる。そして、この畳み込み演算の結果が０ではない優位な値を持つ画素に対して、以下に示す手順（１）〜（３）によりラベリング処理が行われる。

（１）ラベル値をλと定義し、このλ＝０を初期値として、Ｓａｌ_bin上の左上から順方向ラスタ走査を行う。
（２）走査の過程で、ラベル値が付与されておらず、画素値が０でない画素を発見した時、当該画素にラベル付けを行う。この際、既走査の８近傍画素に付与されているラベル値に応じて、以下の通り、付与するラベル値λを変化させる。
（ｉ）既走査の８近傍画素の全ての画素値が０であった場合、ラベル値λを１カウントアップ（λ＝λ＋１）して、当該画素にラベル値λを付与する。
（ii）ラベル値が１種類の場合は、λの更新を行わず、当該画素にラベル値λを付与する。
（iii）ラベル値が２種類（λ，λ′，λ＜λ′）の場合は、当該画素にラベル値λを付与し、さらに、既走査画素においてλ′のラベル値が付与されている画素を全てラベル値λに変更する。
（３）上記（２）の処理を、Ｓａｌ_bin上の全ての画素に対して行う。

次に、注目度マップの２値化処理において、ラベリング結果の評価が行われる。まず、上記のようにＳａｌ_bin上の０でない全画素を対象にラベリング処理を行った後、ラベル値ごとに、付与されている画素の個数ｎ_λをカウントする。このｎ_λを所定の閾値ｔｈ_λにより評価し、ｎ_λがｔｈ_λよりも大きいラベルを抽出する。その後、当該ラベルが付与されている画素（の集合）を、注目領域部分領域ＰＯＩ_fineと定義する。

注目度マップの２値化処理が終了すると、次に、注目領域（ＲＯＩ）の決定処理（ステップＳ１０５６′）が行われる。この処理では、上述の通り求めた注目領域部分領域ＰＯＩ_fineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められ、この領域が第２の注目領域検出処理における最終的な注目領域（ＲＯＩ）となる。具体的には、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行される。このようにして求められた左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５６に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５７に設定され、記憶部１５が更新される（ステップＳ１０５７′）。このように、第２の注目領域検出処理によると、注目領域検出処理をラフ抽出処理とファイン抽出処理の２段階で行うことで、注目領域の検出をより高精度に行うことが可能となる。

（第３の注目領域検出処理）
次に、第３の注目領域検出処理について説明する。第１の注目領域検出処理では、注目度マップを作成する際に、ＹＣｂＣｒの３つのプレーン全てを評価していたが、第３の注目領域検出処理では、ＹＣｂＣｒの何れか１つのプレーンのみを処理対象として、注目度マップを作成した上で、注目領域の検出を行っている。これにより、第３の注目領域検出処理では、注目領域の検出処理の高速化を図っている。

以下、注目領域検出部１９における第３の注目領域検出処理について、図１７のフローチャートを用いて説明する。この図１７に示すように、まず、注目領域検出部１９によって、変動係数の計算及び処理対象プレーンの選択処理（ステップＳ１０５１″）が行われる。この処理では、まず、記憶部１５からメモリ１１上に読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、各プレーンの変動係数が算出される。ここで、Ｙプレーンの変動係数をＶ_Y、Ｃｂプレーンの変動係数をＶ_Cb、Ｃｒプレーンの変動係数をＶ_Crと定義したとき、これらの変動係数は、以下に示す式（ｈ１）〜（ｈ３）を用いて求められる。

上記式（ｈ１）〜（ｈ３）中、ｓｄ（＊）は当該プレーンにおける画素のエッジ成分の標準偏差を求める演算を意味し、ｍｅａｎ（＊）は当該プレーンにおける画素のエッジ成分の平均値を求める演算を意味する。

このように変動係数が求まったら、以下に示す式（ｉ１）を用いて、処理対象プレーンＳＰの選択を行う。

上記式（ｉ１）中、ｍａｘ（＊）は引数で最大の要素を返す関数であり、ａｒｇはｍａｘ（＊）の返り値がＶ_Y，Ｖ_Cb，Ｖ_Crいずれのプレーンであるかを判定する演算子である。すなわち、変動係数が最も大きなプレーンが処理対象プレーンとして選択される。例えば、Ｖ_Y，Ｖ_Cb，Ｖ_Crのうち、Ｙプレーンの変動係数Ｖ_Yが最も大きな値であった場合、処理対象プレーンはＹプレーンとなる。以下、この処理対象プレーンを、「ＳＰ」と呼ぶが、例えば、入力画像ｉｍｇ１に対して選択された処理対象プレーンを、「ＳＰ１」と呼ぶ。

処理対象プレーンＳＰの選択が終了すると、次に、この処理対象プレーンＳＰに対して注目度マップ作成処理が行われる（ステップＳ１０５２″）。まず、入力画像のリサイズが行われるが、処理対象として指定された入力画像ｉｍｇ１に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が生成される。なお、入力画像ｉｍｇ２及び入力画像ｉｍｇ３の処理対象プレーンは、それぞれ「ＳＰ２」、「ＳＰ３」と呼ぶ。

次に、以下に示す式（ｂ１′）〜（ｂ３′）を用いて、入力画像ｉｍｇ１〜ｉｍｇ３の処理対象プレーンＳＰ１〜ＳＰ３に対して、図１３（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＳＰ１〜ΔＳＰ３）を求める。

上記式（ｂ１′）〜（ｂ３′）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以下に示す式（ｄ１′）〜（ｄ３′）を用いて、上述のようにして求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、Ｓａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして画素毎に加算することにより、入力画像全体の注目度マップＳａｌを得る。

上記式（ｄ１′）〜（ｄ３′）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズする関数を意味する。すなわち、第１の注目領域検出処理では、被検出画像である入力画像ｉｍｇ１の次元にリサイズしていたが、この第３の注目領域検出処理では、次元の最も小さい入力画像ｉｍｇ３を基準画像とし、残りの入力画像ｉｍｇ１，ｉｍｇ２をこの基準画像の次元にリサイズしている。そのため、注目領域重み付けマップｗＭａｐは、基準画像（Δｉｍｇ３）と次元数を等しくした行列となる。例えば、Δｉｍｇ３の次元（すなわち、入力画像ｉｍｇ３の次元）が２０×３０（画素）の場合には、ｗＭａｐは同様に２０×３０（画素）の次元を有する。各式の演算子の意味については、前出の式（ｄ１）〜（ｄ４）の説明で述べた通りである。なお、ｗＭａｐは前出の式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである（図１４参照）。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５３″）が行われる。下記式（ｅ１′）を用いて、生成した注目度マップＳａｌから、予め決定しておいた閾値ｔｈ_SP以上の注目度を持つ点を抽出し、それらを注目点（ＰＯＩ）と定義する。

なお、閾値ｔｈ_SPは、選択された処理対象プレーンがＹ，Ｃｂ，Ｃｒ何れかによって、それぞれ異なる値が用いられる。この閾値ｔｈ_SPは、プレーンごとに予め決められた固定値であってもよいし、以下に示す式（ｊ１）及び（ｊ２）を用いて動的に求めてもよい。なお、上記式（ｊ１）中、Ｖ_SPはＳに対応した変動係数であり、ｐａｒａｍ_SPは以下の式（ｊ２）で表され、ＳＰに応じて固定値を持つ、予め決められたパラメータを意味する。

上記注目点（ＰＯＩ）の抽出処理が完了すると、次の注目領域（ＲＯＩ）決定処理（ステップＳ１０５４″）では、この抽出された注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、注目領域ＲＯＩの左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められる。なお、上述のように、基準画像（次元の最も小さい画像であって、上述の場合は入力画像ｉｍｇ３）の次元にリサイズされているため、基準画像と被検出画像（入力画像ｉｍｇ１）の次元が異なる場合には、注目領域ＲＯＩの座標を被検出画像の次元に変換する必要がある。

このようにして求められた左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５６に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５７に設定され、記憶部１５が更新される（ステップＳ１０５５″）。この第３の注目領域検出処理によると、ＹＣｂＣｒの１つのプレーンのみを処理対象とすることで、注目領域の検出をより高速に行うことが可能となる。

なお、本実施形態では、１つの画像ユニットに複数枚の画像が含まれる例を示したが、本願はこれに限定されることはなく、１つの画像ユニットに１枚の画像のみが含まれる場合にも、本願を適用することができる。

なお、本実施形態の画像表示装置２は、中央演算装置（ＣＰＵ）やメモリ等を有し、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法は、このＣＰＵで実行されるプログラムとして実装することができる。ここで、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、特別のＣＰＵやメモリ等を設けずに、以上の処理をＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。また、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法はスライドショーにおける自動ズームセンターを決定する場合や画像編集ソフトで自動トリミングをする場合、カメラのオートフォーカス（ＡＦ）領域や自動露光（ＡＥ）決定領域を決定する場合に適用することができるが、これに限定されることはない。

また、本願は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、これに限定されることはない。

１ デジタルカメラ（撮像装置） ２ 画像表示装置 １４ 表示部
１５ 記憶部 １６ 制御部

Claims (9)

1. コンピュータを用いて、画像データを表示する画像表示方法であって、
   複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から前記画像データを読み出すステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データの各々から注目領域を検出するステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データを前記表示部に表示し、前記画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの前記注目領域の中心が、前記画像枠の中心と一致するように配置するステップと、
   前記画像データを配置するステップにより前記テンプレート上に配置された何れかの画像データの前記注目領域が、他の画像と重なっている場合に、当該画像データを、前記画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、前記画像枠内の前記注目領域が重ならない位置に配置するステップと、
   前記画像データの移動によっても、当該画像データの前記注目領域が他の画像データと重なる場合に、前記注目領域が前記他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、
   前記画像ユニット毎に、位置移動またはリサイズされた前記画像データを、前記テンプレート上に配置して、前記表示部に表示するステップと、を有し、
   前記画像枠内の前記注目領域が重ならない位置に配置するステップでの前記画像データの移動方向は、水平方向及び垂直方向の何れか移動量の少ない方向とする画像表示方法。
2. コンピュータを用いて、画像データを表示する画像表示方法であって、
   複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から前記画像データを読み出すステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データの各々から注目領域を検出するステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データを前記表示部に表示し、前記画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの前記注目領域の中心が、前記画像枠の中心と一致するように配置するステップと、
   前記画像データを配置するステップにより前記テンプレート上に配置された何れかの画像データの前記注目領域が、他の画像と重なっている場合に、当該画像データを、前記画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、前記画像枠内の前記注目領域が重ならない位置に配置するステップと、
   前記画像データの移動によっても、当該画像データの前記注目領域が他の画像データと重なる場合に、前記注目領域が前記他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、
   前記画像ユニット毎に、位置移動またはリサイズされた前記画像データを、前記テンプレート上に配置して、前記表示部に表示するステップと、を有し、
   前記画像データをリサイズするステップは、
   前記画像データを、当該画像データの移動方向と平行方向に、前記注目領域が前記他の画像データと重ならないような割合でリサイズし、当該リサイズにおけるリサイズ割合で前記移動方向の垂直方向にも前記画像データをリサイズするステップを含む画像表示方法。
3. コンピュータを用いて、画像データを表示する画像表示方法であって、
   複数の画像ユニットにグループ分けされた画像データが記憶された記憶部から前記画像データを読み出すステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データの各々から注目領域を検出するステップと、
   前記画像ユニット毎に、当該画像ユニットに含まれる前記画像データを前記表示部に表示し、前記画像データ毎の表示領域が定義されたテンプレート上の当該画像データを配置する画像枠に、各画像データを、当該画像データの前記注目領域の中心が、前記画像枠の中心と一致するように配置するステップと、
   前記画像データを配置するステップにより前記テンプレート上に配置された何れかの画像データの前記注目領域が、他の画像と重なっている場合に、当該画像データを、前記画像枠外に移動しない範囲で、少なくとも水平方向または垂直方向に移動させ、前記画像枠内の前記注目領域が重ならない位置に配置するステップと、
   前記画像データの移動によっても、当該画像データの前記注目領域が他の画像データと重なる場合に、前記注目領域が前記他の画像データと重ならなくなるまで、当該画像データをリサイズするステップと、
   前記画像ユニット毎に、位置移動またはリサイズされた前記画像データを、前記テンプレート上に配置して、前記表示部に表示するステップと、を有し、
   前記注目領域を検出するステップは、
   前記画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、前記画像データの画素毎に、前記画像データのエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
   前記画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記画像データの対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
   前記画像データにおいて、前記注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を前記注目領域として抽出するステップと、を有する画像表示方法。
4. 前記画像データをリサイズするステップは、
   前記画像データを、当該画像データの移動方向と平行方向に、前記注目領域が前記他の画像データと重ならないような割合でリサイズし、当該リサイズにおけるリサイズ割合で前記移動方向の垂直方向にも前記画像データをリサイズするステップを含む請求項１に記載の画像表示方法。
5. 前記注目領域を検出するステップは、
   前記画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、前記画像データの画素毎に、前記画像データのエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
   前記画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記画像データの対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
   前記画像データにおいて、前記注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を前記注目領域として抽出するステップと、を有する請求項１、２、４のいずれか一項に記載の画像表示方法。
6. 前記注目領域を検出するステップは、
   前記エッジ量を算出するステップの前に実行されるステップであって、前記画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、
   前記エッジ量を算出するステップは、前記画像データ及び前記リサイズ画像毎に、前記エッジ量を算出するように構成され、
   前記注目度を算出するステップは、さらに、
   前記リサイズ画像から算出された前記エッジ量を、前記画像データの画素数と同一次元に復元するステップと、
   前記画像データから算出された前記エッジ量及び前記リサイズ画像から算出されてリサイズされた前記エッジ量の各々に、前記注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、を有する請求項３または５に記載の画像表示方法。
7. 画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、請求項１〜６のいずれか一項に記載の画像表示方法を実行させるためのプログラム。
8. 画像データが記憶された記憶部と、
   表示部と、
   前記記憶部から前記画像データを読み出して、請求項１〜６のいずれか一項に記載の画像表示方法により前記表示部に表示する制御部と、を有する画像表示装置。
9. 請求項８に記載の画像表示装置と、
   光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を記憶部に記憶させる撮像部と、を有する撮像装置。

Images