JP5232107B2 - 画像表示方法、プログラム、画像表示装置、及び、撮像装置 - Google Patents

Description

本発明は、画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置に関する。

近年のデジタルカメラの普及により、従来のデジタルカメラで撮像したデジタル画像を、単に紙媒体等に印刷出力して鑑賞して楽しむ方法だけでなく、デジタル画像ならではの新しい画像鑑賞の仕方に関する様々な技術開発が行われている。例えば、デジタルカメラを外部モニタ等に接続して、デジタルカメラ側または外部モニタ側での操作に応じて、ユーザーが撮像した複数の画像をこの外部モニタ等に順次表示するスライドショーと呼ばれる鑑賞方法が提案されている（例えば、特許文献１〜３参照）。これらの従来技術では、被写体や構図などに応じて、各画像の注目すべき主要領域（以下、「注目領域」と呼ぶ）をトリミングして画像を再編集し、得られた画像を用いてスライドショーを生成している。

特開２００６−１６６１６５号公報 特開２００６−２２９４６７号公報 特開２００７−２４３７３３号公報

しかしながら、これらの従来技術では、複数の被写体を包含する領域をトリミングする場合に、必ずしもユーザの感覚に合致した領域が選択されるとは限らないという問題があった。例えば、特許文献１に記載の手法では、画像表示部とデジタル画像のアスペクト比が異なる場合において、画像サイズが最大の部分画像をトリミングおよびリサイズすることにより、スライドショー制作者が意図する画像サイズやアスペクト比の画像が得られるようにしていたが、この画像はユーザーの感覚とかけ離れた領域をトリミングしており、好ましいものではなかった。また、特許文献２に記載の手法では、注目被写体を、人物の顔の画像内の位置や比率から決定し、画像内のトリミング枠の移動経路、移動速度、移動経路上における大きさから特殊エフェクトが付与されたムービーを作成していたが、エフェクトがなければトリミング位置が特定被写体に偏り、ユーザーにとって好ましい領域を表示するものではなかった。更に、特許文献３に記載の手法では、主要被写体を人物やフォーカス位置から決定するが、トリミング領域が狭くなる傾向にあり、ユーザーが画像全体から受ける印象と異なり、好ましいものではなかった。

本発明はこのような課題に鑑みてなされたものであり、デジタル画像などから注目領域を検出して得られた画像からスライドショーを生成する際に、ユーザーの感覚により近い領域の部分画像を検出し、かつ、デザイン性にも優れるライドショーを生成することが可能な画像表示方法、プログラム、画像表示装置、及び、撮像装置を提供することを目的とする。

前記課題を解決するために、本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、画像データから当該画像データの属性を求め、当該属性に基づいて画像データをグループ分けするステップと、グループ毎に、当該グループに含まれる画像データを表示するためのテンプレートを決定するステップと、グループ毎に、当該グループに含まれる画像データの各々から注目領域を検出するステップと、グループ毎に、当該グループに含まれる画像データの各々の注目領域に基づいて画像データの優先順位を決め、この優先順位に従ってテンプレートの表示領域に画像データを割り当てるステップと、グループ毎に、当該グループに含まれる画像データの注目領域のアスペクト比及びこの画像データが割り当てられる表示領域のアスペクト比から、この画像データの表示部分を決定するステップと、画像データをテンプレートに合わせて配置し表示するステップと、を有する。

このような画像表示方法において、テンプレートの表示領域に画像データを割り当てるステップは、画像データ毎に、当該画像データの面積に対する注目領域の面積の割合を算出し、当該割合が大きい画像データを面積の大きい表示領域に割り当てるように構成することが好ましい。

また、このような画像表示方法において、注目領域を検出するステップは、画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、この画像データの画素毎に、画像データのエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、画像データの対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、画像データにおいて、注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を注目領域として抽出するステップと、を有することが好ましい。

このとき、注目領域を検出するステップは、エッジ量を算出するステップの前に実行されるステップであって、画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、エッジ量を算出するステップは、画像データ及びリサイズ画像毎に、エッジ量を算出するように構成され、注目度を算出するステップは、さらに、リサイズ画像から算出されたエッジ量を、画像データの画素数と同一次元に復元するステップと、画像データから算出されたエッジ量及びリサイズ画像から算出されてリサイズされたエッジ量の各々に、注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、を有することが好ましい。

また、このような画像表示方法において、テンプレートの表示領域に画像データを割り当てるステップは、割合が等しい画像データがあるときは、注目点の総数が多い方の画像データを、面積の大きい表示領域に割り当てるように構成されることが好ましい。

また、本発明に係るプログラムは、画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、上述の画像表示方法のいずれかを実行させるためのプログラムである。

また、本発明に係る画像表示装置は、画像データが記憶された記憶部と、表示部と、記憶部から画像データを読み出して、上述の画像表示方法のいずれかにより表示部に表示する制御部と、を有する。

さらに、本発明に係る撮像装置は、上述の画像表示装置と、光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を記憶部に記憶させる撮像部と、を有する。

本発明に係る画像表示方法、プログラム、画像表示装置、及び、撮像装置を以上のように構成すると、デジタル画像などから注目領域を検出してスライドショーなどの創作的な映像を編集する際に、ユーザーの感覚により近い領域の部分画像を検出し、かつ、デザイン性にも優れる映像を再生することが可能となる。

画像表示装置を有するデジタルカメラの構成を表すブロック図である。 記憶部のデータ構造を示す説明図であり、（ａ）は画像ユニットリストのデータ構造を示し、（ｂ）は画像データのデータ構造を示す。 画像表示装置による画像表示処理の概要を示すフローチャートである。 スライドショー生成部によるスライドショー生成処理の概要を示すフローチャートである。 表示画像生成部によるスライドショー再生処理の概要を示すフローチャートである。 テンプレートの一例を示す図である。 入力画像の一例を示す図である。 注目領域検出部により検出された注目領域の一例を示す図である。 トリミング領域決定部により決定されたトリミング領域の一例を示す図である。 トリミング処理部によるトリミング処理、及びリサイズ処理部によるリサイズ処理によって得られた表示画像の一例を示す図である。 １つの画像ユニットについての表示画像を全て表示した一例を示す図である。 ラプラシアン処理に用いるフィルタを示す説明図であり、（ａ）は８近傍ラプラシアンフィルタを示し、（ｂ）は４近傍ラプラシアンフィルタを示す。 注目領域重み付けマップの一例を説明するための説明図である。 第１の注目領域検出処理の概要を示すフローチャートである。 第２の注目領域検出処理の概要を示すフローチャートである。 第３の注目領域検出処理の概要を示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像表示方法が実行される画像表示装置２の構成について説明する。なお、本実施形態においては、この画像表示装置２を、撮像部１０を有するデジタルカメラ（撮像装置）１に適用した場合について説明する。図１に示すように、デジタルカメラ１は、撮像部１０、メモリ１１、画像処理部１２、記憶部１３、操作部１４、表示部１５、制御部１６、スライドショー生成部１７、表示画像生成部１８、及び、外部装置出力部１９から構成される。そして、これらの撮像部１０、メモリ１１、画像処理部１２、記憶部１３、操作部１４、表示部１５、スライドショー生成部１７、表示画像生成部１８、及び、外部装置出力部１９は、制御部１６に情報を伝達可能に接続されている。さらに、このデジタルカメラ１は、外部装置出力部１９を介して画像を表示可能に外部モニタ１００に接続可能となっている。そして、本実施形態の画像表示装置２は、上記デジタルカメラ１の構成部のうち、記憶部１３、制御部１６、スライドショー生成部１７、及び、表示画像生成部１８などから構成されている。なお、制御部１０、スライドショー生成部１７、及び、表示画像生成部１８などは、コンピュータ１で実行されるプログラムとして構成することができる。

撮像部１０は、図示しない撮影レンズ、撮像素子、Ａ／Ｄ変換部等を備えており、ユーザーによる操作部１４からの指示に基づいて、制御部１６が制御することにより、被写体像を撮像する。

メモリ１１は、撮像部１０により撮像された被写体像の画像データを記憶し、また、画像ユニットリストや各処理で算出された数値などを一時的に記憶する。メモリ１１には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

画像処理部１２は、撮像された画像データに対して、補間処理、輪郭強調処理またはホワイトバランス補正等の画像処理を行う。この画像処理部１２は、更に、撮影モード、シャッター速度、絞り値やＩＳＯ値等の撮影条件、および撮像日時等の撮像された画像に関する属性を示す情報を画像に付加して、Ｅｘｉｆ（Exchangeable image file format）形式等の画像のファイルを生成するデジタルフロントエンド処理部としての機能も有する。

操作部１４は、ユーザーによる操作指示信号を制御部１６に出力する。操作部１４には、例えば、電源ボタン、撮影モード等のモード設定ボタン、レリーズボタン等の操作ボタンやタッチパネルを有する。本実施形態では、スライドショーを行うモードが、モード設定ボタンによって選択できるようになっている。また、操作ボタンは、タッチパネル上に画像として表示され各種操作を選択できるようにしてもよい。

表示部１５は、ライブビュー用のスルー画像、モード設定画面およびスライドショーにおける画像等を表示する。表示部１５には、一般的な液晶モニタ等を適宜選択して用いることができる。

制御部１６は、記憶部１３に記憶されている制御プログラムを読み込み、操作部１４を介してユーザーからの様々な指示を受け付け、それらに基づいてデジタルカメラ１の動作を制御する。例えば、制御部１６は、撮像部１０に被写体像の撮像指令を出したり、画像処理部１２に撮像した画像データの画像処理をさせたり、処理された画像を記憶部１３へ記録したり、表示部１５へ表示したりする等の制御を行う。さらに、本実施形態では、制御部１６は、後述するように、撮像した複数の画像をスライドショーで表示部１５や外部表示装置１００へ表示するにあたり、ユーザーから操作部１４を介して受け取る指示に基づいて、スライドショー生成部１７にてスライドショーを生成させ、更に、このスライドショーを、表示画像生成部１８にて再生させる。なお、この制御部１６には、一般的なコンピュータのＣＰＵが使用される。

スライドショー生成部１７は、注目領域検出部２０、トリミング領域決定部２１、及び、レイアウト決定部２２から構成される。注目領域検出部２０は、後述するように、画像内の注目領域を輝度および色のコントラストを基に抽出し、また、注目領域決定処理の途中結果である注目点の数をメモリ１１に出力する。トリミング領域決定部２１は、注目領域検出部２０により検出された注目領域などを基に、トリミング領域の決定を行う。レイアウト決定部２２は、トリミング領域決定部２１で決定されたトリミング領域を基に、注目領域をテンプレート７０に割り当ててレイアウトを決定する処理を行う。

表示画像生成部１８は、トリミング実行部２３、及び、リサイズ実行部２４から構成される。トリミング実行部２３は、スライドショー生成部１７のトリミング領域決定部２１により決定されたトリミング領域を基に、画像から注目領域のトリミングを行う。リサイズ実行部２４は、トリミング実行部２３でトリミングされた領域を、最適な表示領域にリサイズして、スライドショー用の画像を生成する。制御部１６は、この表示画像生成部１８から画像生成完了通知を受け取った後、表示部１５や外部モニタ１００へ画像を表示してスライドショーを再生する。

外部装置出力部１９は、外部表示装置１００である外部モニタと有線または無線で接続され、ユーザーによる操作部１４の操作に応じて、デジタルカメラ１によって撮像された画像を外部表示装置１００へ出力する。外部装置出力部１９には、ＨＤＭＩ（High-Definition Multimedia Interface）等のチップが搭載されたインターフェースを用いることができる。また、外部表示装置１００には、一般的な高精細度テレビジョン放送受信可能なテレビを適宜選択して用いることもできる。

記憶部１３は、制御部１６がデジタルカメラ１を制御するための制御プログラムや撮像した画像データ（図２（ｂ）参照）等が記憶される。記憶部１３に記憶されるプログラムやデータは、制御部１６から適宜参照することができる。記憶部１３には、一般的なハードディスク装置、光磁気ディスク装置、半導体メモリである任意の不揮発性メモリ、または着脱可能なカードメモリ等を適宜選択して用いることができる。

また、本実施形態において、記憶部１３には、デジタルカメラ１によるスライドショー再生を行うのに必要となる画像ユニットリスト５０（図２（ａ）参照）が記憶されている。この画像ユニットリスト５０には、スライドショー生成部１７が作成するスライドショーにおいて、表示部１５や外部表示装置１００に表示する画像の選択およびそれらの配置位置等の構成を示す一覧等が含まれる。さらに、記憶部１３には、画像ユニットリスト５０を作成するにあたり、スライドショー生成部１７が各画像の配置位置等を決定するのに必要となるレイアウト用のテンプレート７０（図６参照）も記憶されている。なお、図６に示すテンプレート７０は４枚表示用であるが、それ以外にも、１枚表示用や２枚表示用のテンプレート等、表示枚数や表示デザイン毎に複数種類のテンプレートが用意されている。また、図６のテンプレートは、４枚表示のテンプレートの一例を示したにすぎず、特定の画像のみ大きく表示したり、全て正方形に表示してもよい。本実施形態では、このような表示のための複数種類のテンプレートが用意され、記憶部１３に記憶されている。

画像ユニットリスト５０は、図２（ａ）に示すようなデータ構造を有しており、画像ユニットの管理番号が記憶されるユニット番号領域５１、画像データの管理番号が記憶される画像番号領域５２、画像データのファイル名が記憶される画像データファイル名領域５３、各画像のサイズ（横幅Ｗ×縦幅Ｈ）が画素数で記憶される画像サイズ領域５４、画像における注目領域の位置（ｘ，ｙ）が記憶される注目領域位置領域５５、注目領域のサイズ（横幅Ｗ×縦幅Ｈ）が画素数で記憶される注目領域サイズ領域５６、当該注目領域内にある注目点の総数が記憶される注目点総数領域５７、表示画像の表示位置（ｘ，ｙ）が記憶される表示位置領域５８、及び、表示画像の表示位置サイズ（横Ｗ×縦Ｈ）が画素数で記憶される表示サイズ領域５９から構成される。なお、注目領域の位置座標は、元画像の左上隅を原点（０，０）とし、横幅方向をｘ軸、縦幅方向をｙ軸とした際に、注目領域の左上隅の位置座標を、原点からの相対位置（画素）で表したものである。また、表示画像の表示位置は、表示部１５などの画面の左上隅を原点（０，０）とした際に、画像の表示位置の左上隅の位置座標を、原点からの相対的位置（画素）で表したものである。また、表示位置領域５８及び表示サイズ領域５９には、後述するレイアウト決定部２２によりレイアウト用のテンプレート７０に割り当てるときにその値が設定される。

また、画像データ６０は、図２（ｂ）に示すようなデータ構造を有しており、デジタル画像そのものが記憶される画像領域６１と、ヘッダ領域、撮影日時情報、色情報、印象情報などの属性情報が記憶される属性情報領域６２とを有して構成され、１つの画像データに対する情報が１レコードとして管理された、Ｅｘｉｆ形式のデータである。ここで、ユニットリスト５０の各画像ユニットに属する画像データを取得する場合、ユニットリスト５０の画像データファイル名領域５３から画像データファイルのパスを取得し、このパスを基に読み出そうとする画像データを特定し、画像領域６１及び属性情報領域６２から、該当する画像データそのもの及びその属性情報を取得することができる。なお、この画像領域６１と属性情報領域６２とを一つのファイルとして構成するようにしてもよい。

次に、このような構成のデジタルカメラ１において、画像表示装置２が画像表示方法を用いて、撮像した画像をスライドショーで表示する際の画像表示処理について、図３〜図５のフローチャートを合わせて用いて説明する。この画像表示処理は、図３に示すように、スライドショー生成部１７によって行われるスライドショー生成処理（ステップＳ１０）と、その後に画像表示生成部１８によって行われるスライドショー再生処理（ステップＳ２０）とから構成される。以下、スライドショー生成処理（ステップＳ１０）及びスライドショー再生処理（ステップＳ２０）の各処理について、それぞれ図４及び図５のフローチャートを用いて説明する。

まず、図４のフローチャートを用いて、スライドショー生成部１７によるスライドショー生成処理（ステップＳ１０）について説明する。この処理は、ユーザーがデジタルカメラ１の操作部１４において、モード選択ボタンでスライドショーのモードを選択することによって実行される。このとき、ユーザーは、このスライドショーのモードを選択するととともに、スライドショーで表示したい画像の条件（例えば、撮影日時情報、色情報、印象情報等）を指定する。これらの指示を受け取った制御部１６は、スライドショー生成部１７に対してスライドショー生成指令を出力する。

スライドショー生成部１７は、記憶部１３に記憶された画像データをメモリ１１へ読み出し、指定された画像の条件（例えば、撮影日時情報、色情報、印象情報等）により、読み出した画像データについて画像ユニットにグループ分けを行う。このグループ分けは、メモリ１１に読み出した画像データの画像を解析することにより、各画像の撮影日時情報、色情報、印象情報等に応じて、各画像を、例えば、１〜Ｎ（Ｎ＝１、２、３等の整数）個のグループ（以下、画像ユニットという）ごとにグループ分けする。このグループ分けの結果に基づいて、記憶部１３を更新する（以上、ステップＳ１００）。以下、このステップＳ１００の詳細について説明する。

まず、グループ分けの具体例を説明する。撮影日時情報に関しては、日付ごとにグループ分けを行ったり、日付で分類後、１〜２４時間（１時間刻み等）ごとに画像のグループ分けを行う。また、色情報に関しては、赤、青、黄、緑等があり、まず画像を各色グループに分け、次に色ごとで画像枚数の偏りを見てグループ分けを行う。例えば、画像枚数が多い色グループは一度に表示される枚数の多い画像ユニットを形成し、画像枚数が少ない色グループは一度に表示される枚数の少ない画像ユニットを形成し、画像ユニットの個数のバランスが色ごとで取れるようにする。なお、印象情報に関しては、ＨＯＴ／ＣＯＯＬ／ＮＡＴＵＲＡＬ等があり、まず、画像を印象グループに分け、次に印象ごとで画像枚数の偏りを見てグループ分けを行う。例えば、画像枚数が多い印象グループは一度に表示される枚数の多い画像ユニットを形成し、画像枚数が少ない印象グループは一度に表示される枚数の少ない画像ユニットを形成し、画像ユニットの個数のバランスが印象ごとで取れるようにする。

なお、本実施形態において、スライドショー生成処理のモジュールの仕様によって、画像ユニットの管理番号が違っても（例えば、管理番号が１、２、及び、Ｎ）、各画像ユニットに含まれる画像が同じのものが幾つも存在する場合がある。また、どの画像をどの位置にどのサイズで表示するかは、スライドショー生成部１７のレイアウト決定部２２が各画像の注目領域の面積および注目点を解析することによって決まる印象度等によって決められる。

また、スライドショー生成部１７は、各画像ユニットにグループ分けされた画像の枚数に応じて、図６に示すようなテンプレート７０を決定し、このテンプレート７０に応じて、各画像の表示する際の大きさ、配置位置、表示する順番等を決定する（ステップＳ１０１）。なお、テンプレート７０への画像の割り当てによる最終的なレイアウトは、後述するようにステップＳ１０８で決定されるため、ここでは、例えば、画像データの順でテンプレート７０上の位置が決定される。そして、図２（ａ）に示すような画像ユニットリスト５０において、グループ分けにより付与された画像ユニット番号をユニット番号領域５１に、画像番号を画像番号領域５２に、当該画像ユニットに所属する画像データのファイル名を画像データファイル名領域５３に、各画像を表示する際のサイズを画像サイズ領域５４に設定して、画像ユニットリスト５０の一覧表をメモリ１１に作成し、記憶部１３に記憶する。なお、画像ユニットごとに、使用するテンプレート７０の番号などを記憶する領域を画像ユニットリスト５０に設け、記憶部１３に記憶してもよい。

以上のようにグループ分け及び画像ユニットリスト５０の作成が行われると、画像ユニットごとに各処理を行うため、制御部１６は、処理対象画像ユニット番号カウンタを初期化する（ステップＳ１０２）。次に、処理対象の画像ユニットについて、画像データごとに各処理を行うため、制御部１６は、処理対象画像データ番号カウンタを初期化する（ステップＳ１０３）。

次に、制御部１６からの指示により、注目領域検出部２０は、処理対象の画像ユニットに所属する画像データの中から、処理対象画像データ番号カウンタに基づいて、１件の処理対象画像データを記憶部１３から読み出し、メモリ１１へ展開する（ステップＳ１０４）。

次に、注目領域検出部２０により、メモリ１１に展開された処理対象画像データの画像に対して、注目領域の検出及び注目点の総数の出力のための注目領域検出処理（ステップＳ１０５）が行われる。この注目領域検出処理（ステップＳ１０５）の詳細については、後述する。なお、この注目領域検出処理により検出された注目領域に関する情報は、画像ユニットリスト５０の注目領域位置領域５５、注目領域サイズ領域５６，及び、注目点総数領域５７に格納される。例えば、図７に示す入力画像（ａ）〜（ｄ）があった場合、画像の輝度および色コントラストを基に図８に示す画像（ａ）〜（ｄ）の破線で囲まれた部分が注目領域として検出され、また、この注目領域検出処理から、注目点（ＰＯＩ）の総数も検出されて、画像ユニットリスト５０の各格納領域に格納される。なお、本実施形態では、画像（ａ）〜（ｄ）の注目点の総数は、（ｂ）＞（ｃ）＞（ａ）＞（ｄ）の関係があるものとして説明する。

上記のように１つの画像データについて処理が終わると、制御部１６は、処理対象画像データ番号カウンタをインクリメントする（ステップＳ１０６）。次に、制御部１６の制御により、スライドショー生成部１７は、図２に示す画像ユニットリスト５０を参照して現在処理している画像ユニット内で、次の処理対象画像データがあるか否かを判定し（ステップＳ１０７）、次の処理対象画像データがある場合には、ステップＳ１０４以降の処理を繰り返す。一方、次の処理対象画像データがない場合は、レイアウト決定処理（ステップＳ１０８）へ進む。

次に、レイアウト決定部２２によるレイアウト決定処理（ステップＳ１０８）が行われる。レイアウト決定部２２は、現在処理中の画像ユニット内において、画像ユニットリスト５０の画像サイズ領域５４に設定された画像サイズ、並びに、注目領域サイズ領域５６に設定された注目領域のサイズ、及び、注目点総数領域５７に設定された注目点の総数から、表示部１５や外部表示装置１００への表示画像のレイアウトを決定する。具体的には、注目領域サイズ領域５６の注目領域サイズと画像サイズ領域５４の画像サイズとから、画像サイズの面積に対する注目領域の面積比を算出し、面積比の大きい順にソートし、その順になるように、画像ユニットリスト５０を更新する。なお、同じ面積比の画像については、注目点の総数の順にソートして画像ユニットリスト５０を更新する。

そして、図６に示したレイアウト７０において、上記ソートした結果順に、テンプレートにおける大きいサイズのレイアウトから、このサイズの順（レイアウトサイズ順：２＞３＞１＞４）に割り当て、割り当てられたレイアウトの表示位置、及び、表示サイズを、画像ユニットリスト５０の対応する表示位置領域５８、及び、表示サイズ領域５９に格納する。図８を基に更に説明をすると、注目領域のサイズは（ｂ）＞（ｃ）＞（ａ）＝（ｄ）の関係があり、注目点の総数は（ｂ）＞（ｃ）＞（ａ）＞（ｄ）の関係がある場合、（ｂ）が図６に示すレイアウトの２へ、（ｃ）がレイアウトの３へ、（ａ）がレイアウト１へ、（ｄ）がレイアウト４へ配置されることになり、各画像の表示位置の座標、表示サイズを取得することができる。このように、各画像の表示位置の座標、表示サイズは、記憶部１３に記憶されたテンプレート７０により決定される。

次に、トリミング領域決定部２１は、上述のように注目領域検出部２０により検出された注目領域（画像ユニットリスト５０の注目領域位置領域５５、注目領域サイズ領域５６に設定された注目領域座標、サイズなど）と、図２に示す画像ユニットリスト５０の当該画像の画像サイズ領域５４に設定された画像サイズとを基に、トリミング領域を決定する（ステップＳ１０９）。具体的には、まず、注目領域のアスペクト比と表示サイズのアスペクト比を算出し比較する。比較した結果、差異がなければ注目領域がトリミング領域となる。一方、差異がある場合、以下の処理によりトリミング領域を決定する。すなわち、図９に示すように、表示領域Ｄに対し注目領域Ｒの横幅が狭い場合、表示領域Ｄのアスペクト比と同じになるように注目領域Ｒを横に広げてトリミング領域Ｔを決定し、画像ユニットリスト５０の該当する画像データの注目領域位置領域５５及び注目領域サイズ領域５６を更新する（図９（ａ）及び図９（ｂ）参照）。すなわち、本実施の形態では、画像ユニットリスト５０の注目領域をトリミング領域に置き換えている。例えば、図９（ａ）の画像データが、図２（ａ）に示すユニット番号１に属する画像番号１の画像データであったとすると、表示領域Ｄのアスペクト比は、表示サイズ領域５９に設定されている通り１：１（４５０×４５０）であるが、この画像データの注目領域Ｒのアスペクト比は、注目領域サイズ領域５６に設定されている通り、０．９：１（１５０×１６０）である。そのため、横幅が狭いため、このサイズを広げトリミング領域Ｔを１６０×１６０として、画像ユニットリスト５０の注目領域位置領域５５及び注目領域サイズ領域５６を更新する。同様に、表示領域Ｄに対し注目領域Ｒの縦幅が狭い場合、表示領域Ｄのアスペクト比と同じになるように注目領域Ｒを縦に広げてトリミング領域Ｔを決定し、画像ユニットリスト５０を更新する（図９(ｄ)参照）。ここで、横あるいは縦に広げた際、図９（ｃ）に示すようにトリミング領域Ｄが画像領域からはみ出す場合がある。この場合、トリミング領域Ｄが画像内に収まるように広げた横幅あるいは縦幅を、その画像の幅に縮めてトリミング領域Ｔとする。

上記のように、１つの処理対象画像ユニットについての処理が終わると、制御部１６は、処理対象画像ユニット番号カウンタをインクリメントする（ステップＳ１１０）。そして、制御部１６は、図２に示す画像ユニットリスト５０を参照して、次の処理対象画像ユニットがあるか否かを判定し（ステップＳ１１１）、次の処理対象画像ユニットがある場合はステップＳ１０３以降の処理を繰返す。一方、次の処理対象画像ユニットがない場合は、スライドショー生成処理（ステップＳ１０）を終了し、制御部１６は、次のスライドショー再生処理（ステップＳ２０）へ進むように指示する。

次に、図５のフローチャートを用いて、表示画像生成部１８によるスライドショー再生処理（ステップＳ２０）について説明する。まず、制御部１６の制御により、表示画像生成部１８は、記憶部１３に記憶された画像ユニットリスト５０をメモリ１１へ読み出す。次に、表示部１５等への表示対象の画像ユニットごとに処理を行うため、制御部１６は、表示対象画像ユニット番号カウンタの初期化を行う（ステップＳ２０１）。

次に、制御部１６は、メモリ１１に読み出された画像ユニットリスト５０を参照して、画像番号領域５２に格納された画像番号順に、画像データファイル名領域５３から画像データファイルのパスを取得し、取得した画像データファイルのパスを基に記憶部１３に格納された画像データを順次読み出し、メモリ１１へ展開する。その後、制御部１６は、表示対象画像データ番号カウンタの初期化を行う（ステップＳ２０３）。

次に、制御部１６からの指示により、トリミング実行部２３は、画像ユニットリスト５０の注目領域位置領域５５に設定された注目領域の位置座標と、注目領域サイズ領域５６に設定された注目領域のサイズ、及び、表示サイズ領域５９に設定されたテンプレート上の表示位置のサイズに基づいて、画像をトリミングする（ステップＳ２０４）。この時、図９（ｃ）に示すように、トリミング領域が画像からはみ出すために画像内に収まるように補正された画像については、補正された領域を所定の色（例えば黒色）や模様等で塗潰し、レターボックスにする。

次に、制御部１６からの指示により、リサイズ実行部２４は、トリミング実行部２３によってトリミングされた画像を、図１０（ａ）〜図１０（ｄ）に示すように、図２に示す画像ユニットリスト５０の当該画像の表示サイズ領域５９に設定されたサイズになるようにリサイズする（ステップＳ２０５）。このリサイズ後、表示画像生成部１８は、制御部１６へ表示画像の生成が完了したことを通知する。

以上のように１つの表示画像の処理が完了すると、制御部１６は、表示対象画像データ番号カウンタをインクリメントする（ステップＳ２０６）。そして、制御部１６は、図２に示す画像ユニットリスト５０を参照して現在処理している画像ユニット内に、次の表示対象の画像がデータあるか否かを判定し（ステップＳ２０７）、次の表示対象画像データがある場合には、表示画像生成部１８へ、メモリ１１に読み込まれた画像データから、表示対象画像データ番号カウンタに設定された画像番号に該当する表示対象画像データの表示画像を生成するように指示し、ステップＳ２０４以降の処理を繰り返す。一方、次の表示対象画像データがない場合は、表示対象画像ユニット内の表示画像群の表示処理（ステップＳ２０８）へ進む。

この表示対象画像ユニット内の表示画像群の表示処理（ステップＳ２０８）では、制御部１６は、表示画像生成部１８により生成された当該画像ユニットの全ての表示画像を表示部１５や外部表示装置１００へ表示する。この時、各画像ユニットにおける表示画像群の表示順は、画像番号の昇順又は降順、表示サイズの大きい順又は小さい順など、スライドショーのデザインコンセプトに基づき決められるものとする。図６に示すテンプレート７０に、全ての表示画像を表示した例を図１１に示す。

上記のように１つの表示対象画像ユニット内の画像群が表示されると、制御部１６は、所定の時間を空けた後（現在表示されている画像ユニットを、所定の時間表示させた後）、表示対象画像ユニット番号カウンタをインクリメントする（ステップＳ２０９）。そして、制御部１６は、メモリ１１に展開された画像ユニットリスト５０を参照して、次の表示対象画像ユニットがあるか否かを判定し（ステップＳ２１０）、次の表示対象画像ユニットがある場合には、Ｓ２０２以降の処理を繰り返す。一方、次の表示対象画像ユニットがない場合は、スライドショー再生処理（ステップＳ２０）を終了する。以上により、画像表示装置２による画像表示処理が全て終了する。

なお、以上の説明では、スライドショーの生成を記憶部１３に記憶された画像ユニットリスト５０を更新して行った場合について説明したが、画像ユニットリスト５０の内容を、メモリ１１に一次的にコピーし、このメモリ１１上に生成された画像ユニットリスト５０を更新し、さらに、スライドショーとして表示するように構成しても良い。この場合、上記処理は、スライドショーの表示の都度行われることになる。

（注目領域検出処理）
それでは、図１４〜図１６のフローチャートを用いて、注目領域検出部２０で実行される注目領域検出処理（ステップＳ１０５）として、３種類の処理手順について以下に説明する。なお、以降においては、ステップＳ１０４で読み出された１つの処理対象画像データに対する注目領域の検出処理について説明する。また、画像データとして格納されているデジタル画像は、輝度（Ｙ）及び２つの色度（Ｃｂ，Ｃｒ）で表現されたデジタル画像、すなわち、ＹＣｂＣｒ表色系で表現されたデジタル画像であるとする。

（第１の注目領域検出処理）
図１４に示すように、注目領域検出部２０では、最初に、注目度マップ作成処理が行われる（ステップＳ１０５１）。この注目度マップ作成処理では、まず、メモリ１１に読み出された画像のリサイズ（縮小）処理が行われる。すなわち、記憶部１３から画像データがメモリ上１１に読み出され、処理対象として指定された１つの被検出画像（以下、「入力画像ｉｍｇ１」と呼ぶ）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした画像を生成する。以下、１／２にリサイズされた画像を「入力画像ｉｍｇ２」と呼び、１／４にリサイズされた画像を「入力画像ｉｍｇ３」と呼ぶ。

そして、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、ラプラシアン（Ｌａｐｌａｃｉａｎ）処理が行われる。ここで、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンを、以下の式（ａ１）〜（ａ３）のように定義する。なお、（ｘ，ｙ）は画素の座標を示し、ｘ軸、ｙ軸の定義は上述した通りである。

次に、下記式（ｂ１）〜（ｂ９）を用いて、上記で定義した入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図１２（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３，ΔＣｂ１〜３，ΔＣｒ１〜３）を求める。

上記式（ｂ１）〜（ｂ９）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以上のようにして求めた各プレーンのラプラシアン画像に対して、以下に示す式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各プレーンのエッジ成分（隣接画素とのコントラスト）に、予め決められた係数を乗じた上で、３つのプレーンの対応する各画素の値を加算する。これにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。

上記式（ｃ１）〜（ｃ３）中、演算子「×」は各画像の画素値に共通の係数（ｗＹ，ｗＣｂ，ｗＣｒ）を乗算することを意味する。なお、この係数（ｗＹ，ｗＣｂ，ｗＣｒ）は、それぞれΔＹ，ΔＣｂ，ΔＣｒ各々に対する重み付け係数（スカラ値）であり、Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３の計算時においては、共通の値が用いられる。また、係数ｗＭを乗じている３つの項目は、各プレーンの画素数から、各プレーンの平均値（ｍｅａｎ（＊）で表す）を減算した値の絶対値（ａｂｓ（＊）で表す）に、各々ｗＭ＿Ｙ等の係数を乗算し、さらに、その総和に係数ｗＭを乗算しているが、これは次段の処理で得られる注目度マップ算出の際に、背景画像からの影響を除去する効果を期待して付け加えられている。

さらに、以下に示す式（ｄ１）〜（ｄ３）を用いて、上述の処理で求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め定義されてこの画像表示装置２に設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、注目度マップＳａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして、対応する画素毎に加算することにより、画素毎の注目度から構成される当該入力画像の注目度マップＳａｌを得る。

なお、上記式（ｄ１）〜（ｄ３）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズ（元の画像サイズに復元）する関数を意味する。すなわち、式（ｄ２），（ｄ３）では、入力画像ｉｍｇ１の次元に対して、それぞれ１／２、１／４されているため、これらのラプラシアン画像Δｉｍｇ２，Δｉｍｇ３を元の画像の次元にリサイズしている。また、ｗＭａｐは注目領域重み付けマップであり、Δｉｍｇ１と次元数を等しくした行列である。例えば、Δｉｍｇ１の次元（すなわち、入力画像ｉｍｇ１の次元）が８０×１２０（画素）の場合には、ｗＭａｐは同様に８０×１２０（画素）の次元を有する。なお、ｗＭａｐは以下に示す式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである。また、Ｓａｌ１〜Ｓａｌ３の定義式（ｄ１）〜（ｄ３）に現れる行列に対する演算子「×」は当該演算子の両側にある行列の各要素を各々乗算することを意味する。そのため、必然的に、２つの行列の次元は一致している必要がある。また、式（ｄ４）中、ｗｄ１〜ｗｄ３はＳａｌ１〜Ｓａｌ３に対する重み付け因子（スカラ値）である。

上記式（ｄ５）及び（ｄ６）中、μ_n及びｇｗ_nは、ｗＭａｐを形成する各ガウシアン（ｎでインデクス付けしている）の平均ベクトル、及び、共分散行列Σの重み付け係数をそれぞれ示す。ここで、この注目領域重み付けマップｗＭａｐの例を図１４に示す。この図１４に示す注目領域重み付けマップｗＭａｐは、５つのガウシアン分布を組み合わせた場合を示している。なお、この注目領域重み付けマップｗＭａｐは、例えば、サンプル画像を収集して解析することにより生成される。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５２）が行われる。具体的には、以下に示す式（ｅ１）を用いて、作成された注目度マップから、所定の閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを注目点（ＰＯＩ）として定義する。

注目点（ＰＯＩ）の抽出が完了すると、次に、注目領域（ＲＯＩ）決定処理（ステップＳ１０５３）が行われる。まず、上記注目点（ＰＯＩ）抽出処理で求められたＰＯＩを全て内包する領域、すなわち、画像中の全注目点（ＰＯＩ）を含む最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求め、この領域を最終的な注目領域（ＲＯＩ）とする。具体的には、以下の式（ｆ１）〜（ｆ５）で定義された手順を順次実行する。下記式中、ｘ，ｙは、注目点のｘ座標、ｙ座標を表し、添え字ｎは抽出された注目点のＩＤを表す。

上記式（ｆ２）〜（ｆ５）で求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５５に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５６に設定され、記憶部１３が更新される（ステップＳ１０５４）。

以上のように、一つの被検出画像をリサイズ（縮小）した２つのリサイズ画像を生成して次元の異なる３つの画像とし、それぞれの画像を構成する３つのプレーンに対してエッジ抽出処理をして重み付けをした上で合成し、また、次元の異なる３つの画像の各々に対して注目領域重み付けマップｗＭａｐで重み付けをして、さらにこれらの３つの画像を重み付けして合成して注目マップＳａｌを生成することにより、注目領域の検出の精度を向上させることができる。

（第２の注目領域検出処理）
次に、第２の注目領域検出処理について説明する。この方法は、上述の第１の注目領域検出処理と同様の手順で注目領域を大まかに抽出し（以下、「ラフ抽出処理」と呼ぶ）、その後、抽出された注目領域を基に、再度注目領域の抽出処理を行って（以下「ファイン抽出」と呼ぶ）、注目領域の検出処理の高精度化を図っている。

この第２の注目領域検出処理の詳細を、図１５のフローチャートを用いて説明する。この図１５に示すように、まず、注目領域検出部２０によって、ラフ抽出処理（ステップＳ１０５１′〜Ｓ１０５３′）が行われる。この処理では、最初に注目度マップ作成処理が行われる（ステップＳ１０５１′）。この処理の詳細は、第１の注目領域検出処理と同様であり、記憶部１３からメモリ１１上に画像データが読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が作成される。そして、これらの入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、前出の式（ａ１）〜（ａ３）を用いて、ラプラシアン処理が行われる。

さらに、第１の注目領域検出処理と同様に、前出の式（ｂ１）〜（ｂ９）を用いて、上記で定義された入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図１２（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３、ΔＣｂ１〜３、ΔＣｒ１〜３）が求められる。

そして、このようにして求めた各プレーンのラプラシアン画像に対して、前出の式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各画素に対して予め決められた係数を乗じた上で、各値を加算することにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。その後、前出の式（ｄ１）〜（ｄ６）を用いて、入力画像の第１の注目度マップＳａｌが求められる。

上述のようにして第１の注目度マップＳａｌが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５２′）が行われる。この処理も、第１の注目領域検出処理と同様に、前出の式（ｅ１）を用いて、閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを第１の注目点（ＰＯＩ）と定義する。そして、次の注目領域（ＲＯＩ）決定処理（ステップＳ１０５３′）では、この抽出された第１の注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、第１の注目領域が求められる。なお、このラフ抽出処理にて求められた第１の注目領域を、以下、「ＲＯＩ_rough」と呼ぶ。

次に、ファイン抽出処理（ステップＳ１０５４′〜Ｓ１０５６′）について説明する。上記のラフ抽出処理で抽出された第１の注目領域ＲＯＩ_roughを基に、ファイン抽出処理が行われる。この処理では、まず、注目度マップの再生成処理が行われる（ステップＳ１０５４′）。この場合、入力画像ｉｍｇ１から第１の注目領域ＲＯＩ_roughに対応する領域を切り出して、この領域をファイン抽出処理用の入力画像ｉｍｇ１_fineとする。この際、ＲＯＩ_roughで既定される領域の幅及び高さが４の倍数ではない場合は、下端行及び右端列をそれぞれコピーたしたものをｉｍｇ１_fineに付与することとする。なお、右下隅についてはコピー元の右下隅の情報を用いることができる。この入力画像ｉｍｇ１_fineを基に、ラフ抽出処理と同様に、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズ（復元）した入力画像ｉｍｇ２_fine及び入力画像ｉｍｇ３_fineが生成される。これらを基に、前出の式（ｄ１）〜（ｄ４）を用いて、入力画像の第２の注目度マップＳａｌが求められる。この一連の処理は、基本的にはラフ抽出処理と同様の処理となるが、各式中のパラメータはラフ抽出処理とは異なる値となる。また、前出の注目度マップＳａｌ１〜Ｓａｌ３を求める式（ｄ１）〜（ｄ３）の注目領域重み付けマップｗＭａｐ（ｘ，ｙ）は、ｘ，ｙの値によらず全て１とする（すなわち、このファイン抽出処理では、注目領域重み付けマップｗＭａｐによる重み付けは行わない）。

第２の注目度マップの再生成が終了すると、次に、この第２の注目度マップの２値化処理が行われる（ステップＳ１０５５′）。すなわち、上記注目度マップの再生成処理を行った結果得られた第２の注目度マップＳａｌ（以下、「Ｓａｌ_fine」と呼ぶ）に対して、所定の閾値ｔｈ_fineを基に、以下に示す式（ｇ１）〜（ｇ２）を用いて、２値化処理を行うことにより（注目度マップの各画素の値が、閾値ｔｈ_fine以上のときは「１」とし、それより小さいときは「０」とする）、２値化注目度マップ（以下、「Ｓａｌ_bin」と呼ぶ）を生成する。

注目度マップの２値化処理では、次に、上記式（ｇ１）又は（ｇ２）で生成されたＳａｌ_binに対して、図１２（ｂ）に示すような４近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、２値化注目度マップＳａｌ_binのエッジ成分（輪郭成分にほぼ等しい）の抽出が行われる。そして、この畳み込み演算の結果が０ではない優位な値を持つ画素に対して、以下に示す手順（１）〜（３）によりラベリング処理が行われる。

（１）ラベル値をλと定義し、このλ＝０を初期値として、Ｓａｌ_bin上の左上から順方向ラスタ走査を行う。
（２）走査の過程で、ラベル値が付与されておらず、画素値が０でない画素を発見した時、当該画素にラベル付けを行う。この際、既走査の８近傍画素に付与されているラベル値に応じて、以下の通り、付与するラベル値λを変化させる。
（ｉ）既走査の８近傍画素の全ての画素値が０であった場合、ラベル値λを１カウントアップ（λ＝λ＋１）して、当該画素にラベル値λを付与する。
（ii）ラベル値が１種類の場合は、λの更新を行わず、当該画素にラベル値λを付与する。
（iii）ラベル値が２種類（λ，λ′，λ＜λ′）の場合は、当該画素にラベル値λを付与し、さらに、既走査画素においてλ′のラベル値が付与されている画素を全てラベル値λに変更する。
（３）上記（２）の処理を、Ｓａｌ_bin上の全ての画素に対して行う。

次に、注目度マップの２値化処理において、ラベリング結果の評価が行われる。まず、上記のようにＳａｌ_bin上の０でない全画素を対象にラベリング処理を行った後、ラベル値ごとに、付与されている画素の個数ｎ_λをカウントする。このｎ_λを所定の閾値ｔｈ_λにより評価し、ｎ_λがｔｈ_λよりも大きいラベルを抽出する。その後、当該ラベルが付与されている画素（の集合）を、注目領域部分領域ＰＯＩ_fineと定義する。

注目度マップの２値化処理が終了すると、次に、注目領域（ＲＯＩ）の決定処理（ステップＳ１０５６′）が行われる。この処理では、上述の通り求めた注目領域部分領域ＰＯＩ_fineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められ、この領域が第２の注目領域検出処理における最終的な注目領域（ＲＯＩ）となる。具体的には、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行される。このようにして求められた左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５５に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５６に設定され、記憶部１３が更新される（ステップＳ１０５７′）。このように、第２の注目領域検出処理によると、注目領域検出処理をラフ抽出処理とファイン抽出処理の２段階で行うことで、注目領域の検出をより高精度に行うことが可能となる。

（第３の注目領域検出処理）
次に、第３の注目領域検出処理について説明する。第１の注目領域検出処理では、注目度マップを作成する際に、ＹＣｂＣｒの３つのプレーン全てを評価していたが、第３の注目領域検出処理では、ＹＣｂＣｒの何れか１つのプレーンのみを処理対象として、注目度マップを作成した上で、注目領域の検出を行っている。これにより、第３の注目領域検出処理では、注目領域の検出処理の高速化を図っている。

以下、注目領域検出部２０における注目領域検出処理について、図１６のフローチャートを用いて説明する。この図１６に示すように、まず、注目領域検出部２０によって、変動係数の計算及び処理対象プレーンの選択処理（ステップＳ１０５１″）が行われる。この処理では、まず、記憶部１３からメモリ１１上に読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、各プレーンの変動係数が算出される。ここで、Ｙプレーンの変動係数をＶ_Y、Ｃｂプレーンの変動係数をＶ_Cb、Ｃｒプレーンの変動係数をＶ_Crと定義したとき、これらの変動係数は、以下に示す式（ｈ１）〜（ｈ３）を用いて求められる。

上記式（ｈ１）〜（ｈ３）中、ｓｄ（＊）は当該プレーンにおける画素のエッジ成分の標準偏差を求める演算を意味し、ｍｅａｎ（＊）は当該プレーンにおける画素のエッジ成分の平均値を求める演算を意味する。

このように変動係数が求まったら、以下に示す式（ｉ１）を用いて、処理対象プレーンＳＰの選択を行う。

上記式（ｉ１）中、ｍａｘ（＊）は引数で最大の要素を返す関数であり、ａｒｇはｍａｘ（＊）の返り値がＶ_Y，Ｖ_Cb，Ｖ_Crいずれのプレーンであるかを判定する演算子である。すなわち、変動係数が最も大きなプレーンが処理対象プレーンとして選択される。例えば、Ｖ_Y，Ｖ_Cb，Ｖ_Crのうち、Ｙプレーンの変動係数Ｖ_Yが最も大きな値であった場合、処理対象プレーンはＹプレーンとなる。以下、この処理対象プレーンを、「ＳＰ」と呼ぶが、例えば、入力画像ｉｍｇ１に対して選択された処理対象プレーンを、「ＳＰ１」と呼ぶ。

処理対象プレーンＳＰの選択が終了すると、次に、この処理対象プレーンＳＰに対して注目度マップ作成処理が行われる（ステップＳ１０５２″）。まず、入力画像のリサイズが行われるが、処理対象として指定された入力画像ｉｍｇ１に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が生成される。なお、入力画像ｉｍｇ２及び入力画像ｉｍｇ３の処理対象プレーンは、それぞれ「ＳＰ２」、「ＳＰ３」と呼ぶ。

次に、以下に示す式（ｂ１′）〜（ｂ３′）を用いて、入力画像ｉｍｇ１〜ｉｍｇ３の処理対象プレーンＳＰ１〜ＳＰ３に対して、図１２（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＳＰ１〜ΔＳＰ３）を求める。

上記式（ｂ１′）〜（ｂ３′）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。

そして、以下に示す式（ｄ１′）〜（ｄ３′）を用いて、上述のようにして求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、Ｓａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして画素毎に加算することにより、入力画像全体の注目度マップＳａｌを得る。

上記式（ｄ１′）〜（ｄ３′）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズする関数を意味する。すなわち、第１の注目領域検出処理では、被検出画像である入力画像ｉｍｇ１の次元にリサイズしていたが、この第３の注目領域検出処理では、次元の最も小さい入力画像ｉｍｇ３を基準画像とし、残りの入力画像ｉｍｇ１，ｉｍｇ２をこの基準画像の次元にリサイズしている。そのため、注目領域重み付けマップｗＭａｐは、基準画像（Δｉｍｇ３）と次元数を等しくした行列となる。例えば、Δｉｍｇ３の次元（すなわち、入力画像ｉｍｇ３の次元）が２０×３０（画素）の場合には、ｗＭａｐは同様に２０×３０（画素）の次元を有する。各式の演算子の意味については、前出の式（ｄ１）〜（ｄ４）の説明で述べた通りである。なお、ｗＭａｐは前出の式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである（図１３参照）。

上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１０５３″）が行われる。下記式（ｅ１′）を用いて、生成した注目度マップＳａｌから、予め決定しておいた閾値ｔｈ_SP以上の注目度を持つ点を抽出し、それらを注目点（ＰＯＩ）と定義する。

なお、閾値ｔｈ_SPは、選択された処理対象プレーンがＹ，Ｃｂ，Ｃｒ何れかによって、それぞれ異なる値が用いられる。この閾値ｔｈ_SPは、プレーンごとに予め決められた固定値であってもよいし、以下に示す式（ｊ１）及び（ｊ２）を用いて動的に求めてもよい。なお、上記式（ｊ１）中、Ｖ_SPはＳに対応した変動係数であり、ｐａｒａｍ_SPは以下の式（ｊ２）で表され、ＳＰに応じて固定値を持つ、予め決められたパラメータを意味する。

上記注目点（ＰＯＩ）の抽出処理が完了すると、次の注目領域（ＲＯＩ）決定処理（ステップＳ１０５４″）では、この抽出された注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、注目領域ＲＯＩの左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められる。なお、上述のように、基準画像（次元の最も小さい画像であって、上述の場合は入力画像ｉｍｇ３）の次元にリサイズされているため、基準画像と被検出画像（入力画像ｉｍｇ１）の次元が異なる場合には、注目領域ＲＯＩの座標を被検出画像の次元に変換する必要がある。

このようにして求められた左上座標（ｌｅｆｔ，ｔｏｐ）の値が、画像ユニットリスト５０の注目領域位置領域５５に設定され、この左上座標と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を基に算出される注目領域のサイズの値が、注目領域サイズ領域５６に設定され、記憶部１３が更新される（ステップＳ１０５５″）。この第３の注目領域検出処理によると、ＹＣｂＣｒの１つのプレーンのみを処理対象とすることで、注目領域の検出をより高速に行うことが可能となる。

なお、本実施形態では、１つの画像ユニットに複数枚の画像が含まれる例を示したが、本願はこれに限定されることはなく、１つの画像ユニットに１枚の画像のみが含まれる場合にも、本願を適用することができる。

なお、本実施形態の画像表示装置２は、中央演算装置（ＣＰＵ）やメモリ等を有し、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法は、このＣＰＵで実行されるプログラムとして実装することができる。ここで、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、特別のＣＰＵやメモリ等を設けずに、以上の処理をＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。また、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法はスライドショーにおける自動ズームセンターを決定する場合や画像編集ソフトで自動トリミングをする場合、カメラのオートフォーカス（ＡＦ）領域や自動露光（ＡＥ）決定領域を決定する場合に適用することができるが、これに限定されることはない。

また、本願は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、これに限定されることはない。

１ デジタルカメラ（撮像装置） ２ 画像表示装置 １３ 記憶部
１５ 表示部 １６ 制御部

Claims (8)

1. コンピュータを用いて、画像データを表示する画像表示方法であって、
   前記画像データから当該画像データの属性を求め、当該属性に基づいて前記画像データをグループ分けするステップと、
   前記グループ毎に、当該グループに含まれる前記画像データを表示するためのテンプレートを決定するステップと、
   前記グループ毎に、当該グループに含まれる前記画像データの各々から注目領域を検出するステップと、
   前記グループ毎に、当該グループに含まれる前記画像データの各々の前記注目領域に基づいて前記画像データの優先順位を決め、前記優先順位に従って前記テンプレートの表示領域に前記画像データを割り当てるステップと、
   前記グループ毎に、当該グループに含まれる前記画像データの前記注目領域のアスペクト比及び当該画像データが割り当てられる前記表示領域のアスペクト比から、当該画像データの表示部分を決定するステップと、
   前記画像データを前記テンプレートに合わせて配置し表示するステップと、を有する画像表示方法。
2. 前記テンプレートの表示領域に前記画像データを割り当てるステップは、前記画像データ毎に、当該画像データの面積に対する前記注目領域の面積の割合を算出し、当該割合が大きい前記画像データを面積の大きい前記表示領域に割り当てるように構成された請求項１に記載の画像表示方法。
3. 前記注目領域を検出するステップは、
   前記画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、前記画像データの画素毎に、前記画像データのエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
   前記画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記画像データの対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
   前記画像データにおいて、前記注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を前記注目領域として抽出するステップと、を有する請求項１または２に記載の画像表示方法。
4. 前記注目領域を検出するステップは、
   前記エッジ量を算出するステップの前に実行されるステップであって、前記画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、
   前記エッジ量を算出するステップは、前記画像データ及び前記リサイズ画像毎に、前記エッジ量を算出するように構成され、
   前記注目度を算出するステップは、さらに、
   前記リサイズ画像から算出された前記エッジ量を、前記画像データの画素数と同一次元に復元するステップと、
   前記画像データから算出された前記エッジ量及び前記リサイズ画像から算出されてリサイズされた前記エッジ量の各々に、前記注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、を有する請求項３に記載の画像表示方法。
5. 前記テンプレートの表示領域に前記画像データを割り当てるステップは、前記割合が等しい前記画像データがあるときは、前記注目点の総数が多い方の前記画像データを、面積の大きい前記表示領域に割り当てるように構成された請求項３または４に記載の画像表示方法。
6. 画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、請求項１〜５いずれか一項に記載の画像表示方法を実行させるためのプログラム。
7. 画像データが記憶された記憶部と、
   表示部と、
   前記記憶部から前記画像データを読み出して、請求項１〜５いずれか一項に記載の画像表示方法により前記表示部に表示する制御部と、を有する画像表示装置。
8. 請求項７に記載の画像表示装置と、
   光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を前記記憶部に記憶させる撮像部と、を有する撮像装置。

Images