以下、本発明に係る画像表示装置、画像表示方法、画像表示プログラムの実施の形態1〜2について説明する。なお、以下に説明する実施の形態1〜2では、本発明に係る画像表示装置、画像表示方法、画像表示プログラムにより表示する画像として、静止画や動画の代表画像のサイズを縮小したサムネイル画像を一例に説明するが、本発明では、画像がサムネイル画像に限定されるものではない。
(実施の形態1)
まずは、一画面に予め指定された枚数を上限に全てのサムネイル画像を表示しつつ、複数のサムネイル画像の特徴領域が重ならないよう特徴領域以外を重ねながら表示する実施の形態1の画像表示装置、画像表示方法、画像表示プログラムから説明する。なお、以下の説明では、実施の形態1によるサムネイル画像表示方法を、例えば、「コルクボード風サムネイル画像表示方法」と呼び、この「コルクボード風サムネイル画像表示方法」によってサムネイル画像が一覧表示された表示画面を、「コルクボード風サムネイル画像表示インデックス」と呼ぶことにする。
図1は、実施の形態1の画像表示装置の構成の一例を示すブロック図である。
図1において、実施の形態1の画像表示装置は、プロセッサ1と、入出力制御部2と、静止画や動画等の撮影データやそのサムネイル画像を記憶するメモリやHDD等の記憶部3と、ユーザが操作して各種操作指示を入力するボタンやスイッチ等の入力部4と、表示制御部5と、液晶ディスプレイ(モニタ)等の表示部6と、メインメモリ7等とを、メモリバスやI/Oバス等の内部バス8を介して接続して構成されている。
実施の形態1のプロセッサ1は、それぞれ、本発明の特徴領域検出手段、位置関係検出手段、画像表示制御手段として機能する、サムネイル画像特徴領域検出部11、サムネイル画像位置関係検出部12、サムネイル画像表示制御部13を有する。なお、サムネイル画像特徴領域検出部11、サムネイル画像位置関係検出部12、サムネイル画像表示制御部13は、ハード的な回路でも良いし、あるいはプロセッサ1がプロセッサ1内のプログラムメモリ(図示せず)等に格納された実施の形態1の画像表示プログラムを実行することにより果たす機能であっても良い。
サムネイル画像特徴領域検出部11は、記憶部3に格納された静止画や動画それぞれの撮影データのサムネイル画像からそれぞれの特徴領域を検出するものである。
ここで、実施の形態1によるサムネイル画像表示方法で表示された表示画面である「コルクボード風サムネイル画像インデックス」には、静止画の場合1枚の写真等の画像の中で重要な領域や、注目すべき領域等の特徴領域を検出する特徴領域検出機能が必須となるが、実施の形態1では、例えば、公知の顔検出機能を特徴領域検出機能とする。なお、特徴領域検出機能として顔検出以外の特徴領域検出方法を使用しても勿論よい。また、サムネイル画像特徴領域検出部11が各サムネイル画像の特徴領域を検出するのではなく、ユーザが各サムネイル画像に対し予め特徴領域を設定してサムネイル情報に登録するようにしても良い。この場合、サムネイル画像特徴領域検出部11は、サムネイル情報にユーザが設定した特徴領域がない場合のみ、所定の特徴領域検出方法、ないしは優先度の高い特徴領域検出方法を使用して特徴領域を検出することもできる。
サムネイル画像位置関係検出部12は、サムネイル画像特徴領域検出部11によって検出されたサムネイル画像における特徴領域のサムネイル画像全体に対する位置関係を検出するものである。ここでは、例えば、表示限界を有する表示部6の表示画面を複数の表示領域に分割し、複数のサムネイル画像を、各サムネイル画像における特徴領域の位置に基づいて、表示部6の表示画面において対応する位置の表示領域のグループに分類するように位置関係を検出しており、詳細な動作は後述する。なお、表示部6の表示画面を複数の表示領域に分割する分割方法は、後述する図12に示す。
サムネイル画像表示制御部13は、サムネイル画像の数が所定の否重複表示可能枚数を超えた場合、所定の最大表示可能枚数を超えない範囲で、サムネイル画像位置関係検出部12によって検出されたサムネイル画像における特徴領域のサムネイル画像全体に対する位置と特徴領域以外の領域との関係と、複数のサムネイル画像における各特徴領域のサムネイル画像全体に対する位置とに基づいて、表示画面における複数のサムネイル画像の表示位置を、複数のサムネイル画像それぞれの特徴領域が重ならないように表示するものである。ここでは、サムネイル画像の数が所定の否重複表示可能枚数を超えた場合、所定の最大表示可能枚数を超えない範囲で、サムネイル位置関係検出部12によって表示領域のグループに分類された複数のサムネイル画像を、表示部6の表示画面において対応する位置の表示領域に配置し、かつ、複数のサムネイル画像それぞれの特徴領域が重ならないように表示を制御するものである。そのため、実施の形態1では、サムネイル画像表示制御部13には、予め、サムネイル画像の否重複表示可能枚数と、最大表示可能枚数の2つの閾値とを設定しておく。ただし、最大表示可能枚数は、必須要件ではなく、省略して最大表示可能枚数を無制限としても勿論良い。また、ここでは、最大表示可能枚数は、初期値として設定されているものとし、ユーザにより変更可能としても勿論良い。
ここで、サムネイル画像の否重複表示可能枚数の閾値とは、従来通り、サムネイル画像が、表示部6の一画面の表示面積と1つのサムネイル画像の面積との関係で複数のサムネイル画像同士を重ねずに表示できる枚数で、通常、4枚、9枚、16枚、・・・等の複数の閾値を選択して設定できるように構成されている。そのため、サムネイル画像表示制御部13は、表示部6の表示領域の大きさが、例えば、N[cm]×M[cm]で、1つの基準となるサムネイル画像の大きさが、A[cm]×B[cm]の場合に、サムネイル画像が互いに重ならずに何枚表示できるかを予め求めておく。
また、サムネイル画像の最大表示可能枚数の閾値とは、表示部6の一画面に複数のサムネイル画像同士を重ねて表示する場合の最大表示可能枚数である。ここでは、例えば、否重複表示可能枚数の閾値を9枚、最大表示可能枚数を36枚として説明する。
そして、静止画や動画ファイルの数が増大し、サムネイル画像も増大して、一画面に重ねないで表示ができなくなった、つまりサムネイル画像数が否重複表示可能枚数の閾値を超えた場合、サムネイル画像表示制御部13は、実施の形態1の画像表示方法である、「コルクボード風サムネイル画像表示方法」に、自動的に切替える。勿論、手動で切り替えるように構成しても良いが、ここでは、自動的に切り替わるものとして説明する。
次に、実施の形態1の画像表示装置の動作である画像表示方法を、フローチャートを参照して説明する。
図2は、実施の形態1の画像表示装置の動作である画像表示方法の処理手順の一例を示すフローチャートである。
まず、プロセッサ1のサムネイル画像表示制御部13は、全サムネイル画像数と、前述した否重複表示可能枚数の閾値とを比較し、全サムネイル画像数がその否重複表示可能枚数以下であるか否かを判断する(ステップS200)。なお、ここでは、静止画や動画等の撮影データ毎に、サムネイル画像が1つあるものとして説明するが、本発明では、これに限るものではない。
ここで、全サムネイル画像数が否重複表示可能枚数以下であると判断した場合(ステップS200“YES”)、サムネイル画像表示制御部13は、従来通りのサムネイル画像表示を行なうように表示制御部5に対し指示をする(ステップS210)。これにより、全サムネイル画像数が否重複表示可能枚数以下、すなわち一画面に重ならずに表示できる枚数以内である場合には、サムネイル画像表示制御部13の制御により、画像表示制御部5は、例えば、図5に示すように、従来通り、表示部6にサムネイル画像30同士を重ねずに表示する。なお、図5では、表示部6に、否重複表示可能枚数である9枚のサムネイル画像30を表示した状態を示している。
これに対し、全サムネイル画像数が否重複表示可能枚数を超えたと判断した場合(ステップS200“NO”)、表示部6にはサムネイル画像を重ねないと表示できないので、サムネイル画像表示制御部13は、サムネイル画像特徴領域検出部11に対し、特徴領域を検出するよう指示を送る。
すると、サムネイル画像特徴領域検出部11は、記憶部3に記憶されている全サムネイル画像から、例えば、図3に示すように特徴領域を検出し(ステップS220)、検出した特徴領域をサムネイル画像位置関係検出部12に送る。
図3は、実施の形態1におけるサムネイル画像特徴領域検出部11により検出する特徴領域の一例を示している。
実施の形態1におけるサムネイル画像特徴領域検出部11は、図3に示すように、サムネイル画像30から顔等の特徴領域30a,30bを検出する。その際、実施の形態1では、特徴領域である顔部分がサムネイル画像30においてどの位置にあり、かつ、その特徴領域がどの範囲、すなわちどれくらいの大きさであるかをサムネイル情報として、サムネイル画像毎に記憶部3等に記憶する。なお、図3に示すサムネイル画像30の場合、子供の顔が2つ写っているので、サムネイル画像特徴領域検出部11は、2つの特徴領域30a,30bを検出することになる。
図4は、実施の形態1におけるサムネイル情報40の一例を示す図である。
図4に示すように、実施の形態1におけるサムネイル画像特徴領域検出部11が検出し記憶するサムネイル情報40は、サムネイル情報40の識別情報である“ID”と、サムネイル情報40の名称である“org name”と、サムネイル情報40の大きさである“org size”と、特徴領域の位置に基づいて表示部6の表示画面において対応する位置の“左上”、“右下”、“右上”、“左下”の4つの表示領域、さらにはこれら複数の表示領域に跨った表示領域のどのグループに分類されたかを示す“position”と、特徴領域検出方法として顔検出を使用したことを示す“face detection”と、特徴領域の位置(例えば、中心座標)および横方向および縦方向の大きさを示す位置大きさ情報“position & size”等を有する。ここで、図3に示すサムネイル画像30の場合、サムネイル画像特徴領域検出部11は、2つの特徴領域30a,30bを検出しているので、例えば、1つ目の特徴領域30aの位置大きさ情報として、中心座標(192,112)、横方向および縦方向の大きさ(134、92)、もう一つの特徴領域30bの位置大きさ情報として、中心座標(580,112)、横方向および縦方向の大きさ(134、92)を検出して設定したことを示している。なお、特徴領域の位置および大きさが特定できれば良いので、特徴領域の中心座標でなく、4点の座標を設定するようにしても勿論よい。
サムネイル画像位置関係検出部12は、サムネイル画像特徴領域検出部11からサムネイル画像の特徴領域の情報を受け取ると、サムネイル画像全体に対する特徴領域の位置関係を検出し、表示すべき複数のサムネイル画像を各サムネイル画像における特徴領域の位置関係に基づいて、表示部6の表示画面において対応する位置の表示領域のグループに分類し、分類結果を各サムネイル画像に設定する(ステップS230)。ここで、実施の形態1では、サムネイル画像位置関係検出部11は、分類結果を、例えば、図4に示す各サムネイル画像のサムネイル情報40において表示領域を示す“position”等に設定する。
図6は、図2に示すステップS230の特徴領域分類処理の一例を示すフローチャートである。なお、ここでは、説明の便宜上、特徴領域を、例えば、後述する図12(a)に示すような4つの表示領域に分類するものとして説明する。
まず、サムネイル画像位置関係検出部11は、各サムネイル画像における特徴領域、すなわち実施の形態1では顔検出により検出した顔の位置が各サムネイル画像においてどの4つの分類領域、すなわち各サムネイル画像において“左上”の領域であるか、“右下”の領域、“右上”の領域、“左下”の領域のいずれかにあるかを判断して(ステップS231)、その判断結果に基づいて、各サムネイル画像を、左上領域のグループに分類(ステップS232)、右下領域のグループに分類し(ステップS233)、右上領域のグループに分類(ステップS234)、左下領域のグループに分類する(ステップS235)。なお、サムネイル情報40の記憶先は、記憶部13に限らず、プロセッサ1内でも、メインメモリ8等であっても良い。
その際、サムネイル画像中に特徴領域が複数あったり(例えば、顔が多数映っている家族写真や友人達との写真等。)、あるいは、サムネイル画の中の特徴領域が大きい場合(例えば、子供等の顔のアップの写真等。)、特徴領域が複数の分割領域に跨る場合もある。このような特徴領域が複数の分割領域に跨る場合は、サムネイル画像位置関係検出部12は、例えば、サムネイル画像が表示部6の表示画面における対応する複数の表示領域に跨って表示されるように、その複数の分割領域に分類する(ステップS236)。なお、このような場合に、中央付近に表示されるように分類してもよい。また、サムネイル画像中に特徴領域が複数あっても、それらの重心を取る等して、一の特徴領域に決定する場合は、このステップS236の処理は省略することができる。
サムネイル画像位置関係検出部12は、このような処理を、記憶部3に記憶されている静止画または動画像の全てのサムネイル画像について完了するまで(ステップS237“NO”)、実行し、全てのサムネイル画像について終了すると(ステップS237“YES”)、分類処理を終了する。
分類処理が終了すると、サムネイル画像表示制御部13は、まず、記憶部3等から表示部6に表示するサムネイル画像のサムネイル情報40を取得し、サムネイル情報40の“position”等から各サムネイル画像の分類結果である表示領域を読み出し(ステップS240)、表示部6の表示画面において前回表示した表示領域から今回表示する表示領域を決定する、図7にて詳述する表示領域決定処理を実行する(ステップS250)。その際、図6のステップS236により、複数の表示領域が設定されているサムネイル情報40がある場合には、実施の形態1では、例えば、一の表示領域が設定されているサムネイル情報40から表示領域を読み出し、その後、数の少ない複数の表示領域が設定されているサムネイル情報40の表示領域から読み出すようにする。
図7は、図2に示すステップS250の表示領域決定処理の一例を示すフローチャートである。
まず、サムネイル画像表示制御部13は、まず、サムネイル情報40の“position”等に設定された分類結果が、表示領域が1つか否か、すなわち複数の表示領域に跨って表示されものか否かを判断し(ステップS251)、表示領域が一つの場合(ステップS251“YES”)、前回表示したサムネイル画像のサムネイル情報40を参照して、表示部6に前回表示したサムネイル画像の表示領域を判断する(ステップS252)。ここで、実施の形態1では、例えば、特徴領域が左上にあるサムネイル画像の表示領域を左上に設定する等、表示部6におけるサムネイル画像の表示領域を、サムネイル画像における特徴領域の位置関係に対応させており、後述の図12(a)に示すように4つの表示領域に分割しており、前回の表示領域を基に次の表示領域を決定するようにしているので、サムネイル画像表示制御部13は、表示部6の表示画面におけるサムネイル画像の前回表示領域が、表示部6の表示画面において“左上”の領域であるか、“右下”の領域であるか、“右上”の領域であるか、“左下”の領域のいずれかにあるかを判断する。
そして、実施の形態1の場合、サムネイル画像表示制御部13は、サムネイル画像の前回表示領域が表示部6の表示画面において“左上”の表示領域の場合、今回表示するサムネイル画像の表示領域を“右下”の表示領域に設定し(ステップS253)、特徴領域が右下にあるサムネイル画像を表示する。また、前回表示領域が表示部6の表示画面において“右下”の表示領域の場合、今回表示するサムネイル画像の表示領域を“右上”の表示領域に設定し(ステップS254)、特徴領域が右上にあるサムネイル画像を表示する。また、前回表示領域が表示部6の表示画面において“右上”の表示領域の場合、今回表示するサムネイル画像の表示領域を“左下”の表示領域に設定し(ステップS255)、特徴領域が左下にあるサムネイル画像を表示する。また、前回表示領域が表示部6の表示画面において“左下”の表示領域の場合、今回表示するサムネイル画像の表示領域を“左上”の表示領域に設定し(ステップS256)、特徴領域が左上にあるサムネイル画像を表示する。
これに対し、サムネイル画像表示制御部13は、サムネイル情報40の“position”等に設定された表示領域が複数、すなわち複数の表示領域に跨って表示されものと判断した場合(ステップS251“NO”)、その複数の表示領域に跨った位置に設定する(ステップS257)。なお、前述したように、図6のステップS236により、複数の表示領域が設定されているサムネイル情報40がある場合には、実施の形態1では、例えば、一の表示領域が設定されているサムネイル情報40から表示領域を読み出し、その後、数の少ない複数の表示領域が設定されているサムネイル情報40の表示領域から読み出すようにしているので、ステップS253〜256による4つの表示領域へのサムネイル画像表示の後に、ステップS257による複数の表示領域に跨ったサムネイル画像表示が行われることになる。なお、サムネイル画像中に特徴領域が複数あっても、それらの重心を取る等して、一の特徴領域に決定する場合、このステップS251およびS257の処理は省略することができる。
そして、サムネイル画像表示制御部13は、図7に詳細に示すステップS250の表示領域決定処理にて決定した表示部6における表示領域に、今回のサムネイル画像を表示する(ステップS260)。その際、ステップS240の処理により取得したサムネイル情報40に基づいて、ステップS250の表示領域決定処理にて決定した表示領域に対応するサムネイル画像30がないと判断した場合には、サムネイル画像を表示せず、次の表示領域へのサムネイル画像の表示を行う。
そして、サムネイル画像表示制御部13は、表示部6に表示すべきサムネイル画像全てについて表示処理が完了したか否かを判断し(ステップS270)、完了していれば(ステップS270“YES”)、サムネイル画像表示処理を終了する。
これに対し、表示部6に表示すべきサムネイル画像全てについて表示処理が完了していなければ(ステップS270“NO”)、サムネイル画像表示制御部13は、これ以上実施の形態1の画像表示方法である、コルクボード風サムネイル画像表示が続行できるか否かを判断する(ステップS280)。
ここで、サムネイル画像表示制御部13は、これ以上、実施の形態1のコルクボード風サムネイル画像表示ができないと判断した場合には(ステップS280“NO”)、その旨のメッセージを表示して(ステップS290)、以上のサムネイル画像表示処理を終了する。ここで、サムネイル画像表示制御部13は、これ以上実施の形態1のコルクボード風サムネイル画像表示ができるか否かの判断は、表示部6への表示済のサムネイル画像数が前述の最大表示可能枚数以上になったか、あるいはサムネイル画像表示処理において何らかのエラーステータスを感知した場合とか、さらには、表示部6の4つの表示領域のうちいずれか一の表示領域にて各サムネイル画像の特徴領域が重なるようになった場合にコルクボード風サムネイル画像表示ができないと判断しても良い。
これに対し、サムネイル画像表示制御部13は、まだ、実施の形態1の画像表示方法である、コルクボード風サムネイル画像表示が続行できると判断した場合には(ステップS280“YES”)、前述のステップS240の処理に戻り、それ以降の処理を繰り替えし実行する。
これにより、図8に示す例のように、まず、サムネイル画像表示制御部13は、表示部6の“左上”の表示領域にまずサムネイル画像31を表示し、続いて、“右下”の表示領域にサムネイル画像32→“右上”の表示領域にサムネイル画像33→“左下”の表示領域にサムネイル画像34→“左上”の表示領域にサムネイル画像35→・・・というように、各サムネイル画像を表示部6の4つの表示領域、すなわち“左上”、“右下”、“右上”、“左下”の表示領域に表示していく。なお、この表示の順序は、あくまで一例であり、左上→左下→右下→右上→左上→・・・等の時計と逆方向に回転する方向でも勿論よく、ユーザが適宜変更可能である。
その際、サムネイル画像表示制御部13は、図8に示すように、表示部6の各表示領域において、各サムネイル画像31〜35の特徴領域が重ならないように、しかも表示部6の各表示領域のなるべく角に近い外(端)側から内側、すなわち表示部6の中心に向かってずらして表示するように制御する。
その結果、サムネイル画像表示制御部13は、サムネイル画像の左上に特徴領域のあるサムネイル画像は表示部6の表示領域の左上の方に、サムネイル画像右下に特徴領域のあるサムネイル画像は表示部6の表示領域の右下の方に、サムネイル画像の右上に特徴領域のあるサムネイル画像は表示部6の表示領域の右上の方に、サムネイル画像左下に特徴領域のあるサムネイル画像は表示部6の表示領域の左下の方に配置するので、表示部6の表示領域が有効に活用されることになる。
また、サムネイル画像の中に特徴領域が複数あったり(例えば、顔が多数映っている家族写真や友人達との写真等。)、あるいは、サムネイル画像の中の特徴領域が大きい場合(例えば、子供等の顔のアップの写真等。)に、サムネイル画像における複数の表示領域に跨る場合もあるが、このような場合、サムネイル画像表示制御部13は、例えば、図9に示すように、表示部6の表示画面における対応する複数の表示領域に跨る、すなわちその複数の表示領域を共有するように配置して表示する。つまり、家族写真や集合写真等のように特徴領域が複数あるサムネイル画像36a〜36cや、子供等の人物の顔のアップの写真等の特徴領域が大きいサムネイル画像37a〜37cは、その特徴領域が複数の表示領域に跨っているので、図9に示すように、表示部6の表示画面における対応する複数の表示領域に跨って中心に近い領域に表示されることになる。つまり、例えば、特徴部分が中心付近で左右は空きの場合、左右の空きの比率に応じて、その比に対応した左右方向の中心付近に配置位置を設定したり、特徴部分が中心付近で上下は空きの場合、上下の空きの比率に応じて、その比に対応した上下方向の中心付近に配置位置を設定する等、空き領域の比率に応じて、配置位置を設定する。なお、全領域に特徴部分がある場合には、結果として中心付近に配置されることになる。
そして、図9に示すように、表示部6に表示された本実施の形態のコルクボード風サムネイル画像表示インデックスにおいて、図10に示すように、あるサムネイル画像38をカーソル等により指定または選択すると、サムネイル画像表示制御部13は、図11に示すように、カーソル等により指定ないしは選択されたサムネイル画像38の全体を最前列に表示するように制御する。
従って、実施の形態1の画像表示装置、画像表示方法によれば、各サムネイル画像における重要な特徴領域の位置関係に基づいて、サムネイル画像を表示画面において対応する位置の表示領域に配置し、かつ、各サムネイル画像それぞれの特徴領域が重ならないように表示するようにしたため、特徴領域以外を重ねて複数のサムネイル画像を一画面に一覧表示する場合、サムネイル画像における特徴領域の位置に対応した表示領域にそのサムネイル画像が配置されて表示されるので、一画面に一覧表示するサムネイル画像が多数あっても、画面全体を効率良く使用して、サムネイル画像の特徴領域が重ならないように表示することができる。
特に、実施の形態1では、サムネイル画像表示制御部13は、図8に示すように、表示部6の表示画面に、各サムネイル画像の特徴領域が重ならないように、しかも、表示部6の各表示領域のなるべく角に近い外(端)側から内側、すなわち表示部6の中心に向かってずらすように表示していくようにしたため、画面全体を効率良く使用して、サムネイル画像の特徴領域が重ならないように表示することができる。そのため、実施の形態1のサムネイル画像表示方法を、例えば、前述の特許文献3に記載された中心位置から特徴領域以外を重ねて配置する従来技術と比較すると、実施の形態1のサムネイル画像表示方法の方が、画面全体を効率良く使用したサムネイル画像の表示が実行できることがわかる。
その結果、実施の形態1の画像表示装置によれば、ディジタルスチルカメラや、カムコーダ、フォトフレーム、携帯電話等の画像表示装置により画像ファイルを再生する場合、画面全体を効率良く使用して一画面に多くのサムネイル画像を表示しつつ、複数のサムネイル画像の特徴も認識できるため、迅速かつ容易に所望のファイルを再生することができる。
また、実施の形態1の画像表示方法によれば、例えば、自分の部屋のコルクボードにお気に入りの写真を貼っているような感覚になり、ユニークなコルクボード風のサムネイル画像インデックス画面を実現できる。
また、実施の形態1の画像表示装置によれば、サムネイル画像の中に特徴領域が複数あったり(例えば、顔が多数映っている家族写真や友人達との写真等。)、あるいは、サムネイル画像の中の特徴領域が大きい場合(例えば、子供等の顔のアップの写真等。)に、サムネイル画像における複数の表示領域に跨る場合もあるが、このような場合、サムネイル画像表示制御部13は、表示部6の表示画面における対応する複数の表示領域に跨る、すなわちその複数の表示領域を共有するように配置するので、特徴領域が複数あったり、特徴領域が大きいサムネイル画像ほど、図9に示す表示例のように、画像表示部6の中央に近い位置に表示されることになり、この点でも、特徴領域の数や大きさに応じたメリハリを利かせた効率の良い複数のサムネイル画像を配置することができる。
なお、上記実施の形態1の説明では、表示部6における表示領域の分割、すなわちサムネイル画像における特徴領域の分割の仕方を、図12(a)に示すように、表示部6の表示領域の中心に縦横の線を引いて、左上、右上、左下、右下の4つの表示領域に分割して各領域の端(外)側から中心に向かって表示していくように説明したが、本発明では、これに限らず、表示部6における表示領域の分割、すなわちサムネイル画像における特徴領域の分割の仕方を、例えば、図12(b)に示すように、表示部6の表示領域の対角線同士を線で結んで、左、右、上、下の4つの表示領域の端(外)側から中心に向かって表示していくようにしても良いし、さらには、図12(c)に示すように、図12(a)の分割と図12(b)の分割とを組み合わせて、左横上、左上、右上、右横上、左横下、左下、右下、右横下の8つの表示領域に分割し、各領域の端(外)側から中心に向かって表示していくようにしても勿論良い。
また、実施の形態1の説明では、サムネイル画像表示制御部13に、サムネイル画像の否重複表示可能枚数と、最大表示可能枚数という2つの閾値を予め設定して、図2に示すように、表示部6に一覧表示するサムネイル画像数が否重複表示可能枚数を超えた場合、最大表示可能枚数に達するまで、実施の形態1の画像表示方法であるコルクボード風サムネイル画像表示方法を実行するように説明したが、本発明では、これに限らず、否重複表示可能枚数の閾値を設定せずに、1枚目から実施の形態1の画像表示方法であるコルクボード風サムネイル画像表示方法を実行したり、最大表示可能枚数の閾値を設定せずに、特徴領域を重複させずに表示する表示領域がなくなった時点で、サムネイル画像の表示処理を終了するようにしても勿論よい。
また、実施の形態1では、特徴領域の検出手法として、近年ディジタルスチルカメラで採用されている公知の顔検出を採用したが、本発明では、これに限らず、顔以外の特徴領域を検出するようにしても良い。例えば、風景画しか撮影しないユーザにとっては、顔認識による特徴領域の位置により表示領域を分けて表示することはできないので、かかる場合は、画像データの周波数の高い成分を検出した結果に基づいたり、輝度の変化の大きさに基づいたり、他の公知の特徴領域の検出手法を利用しても勿論よいし、さらには優先度を設けて、第1の特徴領域検出は顔検出、第1の特徴領域検出が付加であった場合は第2の特徴領域は顔検出以外等と設定しておき、第1の特徴領域検出である顔検出によって特徴領域を検出できなかった場合には、第2以降の特徴領域検出による特徴領域による特徴領域を検出して設定するようにしても勿論よい。
(実施の形態2)
前記実施の形態1では、一画面に一覧表示すべきサムネイル画像の枚数が、サムネイル画像を重複させずに表示可能な否重複表示可能枚数を超えた場合、各サムネイル画像の特徴領域が重ならないように表示する前述のコルクボード風サムネイル画像表示方法に自動または手動で切り替えるように説明したが、本実施の形態2では、その否重複表示可能枚数を超えた場合、実施の形態1のように、直ぐにコルクボード風サムネイル画像表示方法に自動または手動で切り替えるのではなく、その前に、表示対象のサムネイル画像の性質情報に基づいてサムネイル画像毎にサムネイル画像の標準サイズに対する縮小の可否および縮小率を決めて標準サイズに対し縮小可能なサムネイル画像は縮小して重ならないように表示することを第1の特徴とするものである。そして、それでも重複させないと表示できなくなった、つまり性質情報に基づいて標準サイズに対し縮小可能なサムネイル画像を縮小させて表示しても、重複させずに表示可能な別の否重複表示可能枚数を超えた場合、実施の形態1と同様のコルクボード風サムネイル画像表示方法を自動または手動で切り替える。なお、本実施の形態2では、否重複表示可能枚数という閾値が2つ設定されるので、それらを区別するため、実施の形態1でも使用されるサムネイル画像を標準サイズに対し縮小させずに重複しないで表示可能な否重複表示可能枚数を第1否重複表示可能枚数と呼び、実施の形態2特有の標準サイズに対し縮小可能なサムネイル画像を標準サイズに対し縮小させた上で重複させずに表示可能な否重複表示可能枚数を第2否重複表示可能枚数と呼ぶことにする。
図13は、実施の形態2の画像表示装置の構成例を示すブロック図である。
図13に示す実施の形態2の画像表示装置は、図1に示す実施の形態1の画像表示装置と比較すると、プロセッサ9に、新たにサムネイル画像表示判断部91と、サムネイル画像性質情報取得部92とを設け、サムネイル画像表示制御部93の機能が異なる点が異なるだけであり、それ以外のサムネイル画像特徴領域検出部11や、サムネイル画像位置関係検出部12、さらにはプロセッサ9以外の構成要素については、図1に示す実施の形態1の画像表示装置と同じである。従って、図1に示す実施の形態1のものと同一符号を付して説明を省略し、実施の形態2特有の構成について説明する。
サムネイル画像表示判断部91は、表示画面の表示サイズ情報と、複数のサムネイル画像それぞれの表示サイズ情報とに基づいて、表示画面に表示対象とするサムネイル画像を重ねずに表示可能であるか否かを判断するものである。つまり、サムネイル画像表示判断部91は、表示画面に表示対象とするサムネイル画像の表示枚数が、第1否重複表示可能枚数を超えるか否かを判断するものである。なお、このサムネイル画像表示判断部91の機能は、実施の形態1では、サムネイル画像表示制御部13に持たせていたので、本実施の形態2でも、サムネイル画像表示制御部93に持たせても良い。
サムネイル画像性質情報取得部92は、表示対象とするサムネイル画像の性質情報を取得するものである。なお、この性質情報については、後述する。
サムネイル画像表示制御部93は、サムネイル画像表示判断部91によって一画面に一覧表示すべきサムネイル画像の枚数が、重複させずに表示可能な第1否重複表示可能枚数を超えたと判断された場合、サムネイル画像位置関係検出部12が取得した表示対象のサムネイル画像の性質情報に基づいてサムネイル画像毎に標準サイズに対する縮小の可否および縮小率を決めて、縮小可能なサムネイル画像を標準サイズに対し縮小して、重ならないように表示するものである。ここで、サムネイル画像の縮小は、サムネイル画像を直接縮小しても良いし、サムネイル画像自身、記憶しているメインの画像を縮小したものであるので、サムネイル画像の縮小サイズを変更することによって、メインの画像をサムネイル画像の標準サイズよりさらに縮小して、縮小表示すべきサムネイル画像のみ標準サイズより小さく縮小するようにしても勿論よい。そして、それでも重複させないと表示できなくなった、つまり重複させずに表示可能な第2否重複表示可能枚数を超えた場合、サムネイル画像表示制御部93は、前述の実施の形態1と同様のコルクボード風サムネイル画像表示に自動的に切り替えたり、ユーザの操作に基づき手動で切り替える。
なお、実施の形態1と同様、プロセッサ9を構成するサムネイル画像表示判断部91等はハード的な回路構成でも良いし、あるいはプロセッサ9がプロセッサ9内のプログラムメモリ(図示せず)等に格納された本実施の形態2の画像表示プログラムを実行することにより果たす機能であっても良い。
次に、本実施の形態2の画像表示装置の動作について、フローチャートを参照して説明する。
図14は、本実施の形態2の画像表示装置の動作、すなわち本実施の形態2の画像表示方法を示すフローチャートである。なお、図2に示す実施の形態1の画像表示装置の動作と同じステップには、同じステップ番号を付して説明を省略する。
実施の形態2では、まず、サムネイル画像表示判断部91が、表示画面の表示サイズ情報と、複数のサムネイル画像それぞれの表示サイズ情報とに基づいて、表示画面に表示対象とするサムネイル画像を重ねずに表示可能であるか否かを判断する(ステップS1400)。そのため、サムネイル画像表示判断部91には、リファレンスとして表示画面の大きさN[cm]×M[cm]の全体サイズに対して、標準サイズのサムネイル画像が何枚まで重ねずに表示できるかの閾値である第1否重複表示可能枚数が予め設定されている。ここで、第1否重複表示可能枚数は、実施の形態1と同様に、例えば、9枚とする。また、第2否重複表示可能枚数は、最大表示可能枚数以下の例えば、16枚とする。
ここで、表示部6に表示されているサムネイル画像数が第1否重複表示可能枚数以下であれば(ステップS1400“YES”)、サムネイル画像表示制御部93は、前記実施の形態1と同様に、従来通りのサムネイル画像表示を行う(ステップS210)。
これに対し、例えば、図15に示すように、表示部6に既に第1否重複表示可能枚数である9枚のサムネイル画像30が表示されており、さらに、4枚のサムネイル画像30を追加して表示しようとしている場合、サムネイル画像表示判断部91は、一画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数を超えたと判断する(ステップS1400“NO”)。
すると、サムネイル画像性質情報取得部92は、表示対象とするサムネイル画像の性質情報を取得し(ステップS1410)、取得した性質情報をサムネイル画像表示制御部93に渡す。尚、サムネイル画像性質情報取得部92が表示対象とするサムネイル画像の性質情報を取得するのは、サムネイル画像表示判断部91が一画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数を超えたと判断する前でも勿論良い。
サムネイル画像表示制御部93は、サムネイル画像性質情報取得部92から性質情報を受け取ると、その性質情報に基づいて、表示対象とするサムネイル画像のうち、標準サイズに対し縮小可能なサムネイル画像と、縮小不可なサムネイル画像とを判断し、縮小可能なサムネイル画像のみ縮小して、表示対象画像を表示画面に重ならないように表示する(ステップS1420)。
ここで、サムネイル画像表示制御部93は、サムネイル画像性質情報取得部92から受け取った性質情報に基づいて、サムネイル画像の性質や、サムネイル画像の種類、表示されるべきサムネイル画像の枚数、ユーザの指示等により、表示すべき各サムネイル画像のサイズA[cm]×B[cm]の大きさを複数段階にサイズを変更することができる。
そのため、サムネイル画像表示制御部93は、一画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数の9枚を超える場合、サムネイル画像の性質情報に基づいて、例えば、サムネイル画像の中の特徴部分である例えば顔の大きさが、そのサムネイル画像全体の中で占める割合を判断し、その割合に基づいて、図16に示すように、サムネイル画像を標準サイズに対し縮小不可なグループ39aと、縮小可能なグループ39bとに分ける。これは、サムネイル画像の中の特徴部分である顔の大きさの占める割合がサムネイル画像全体の中で大きい場合には、サムネイル画像のサイズA[cm]×B[cm]の大きさを標準サイズより縮小しても、その特徴部分をユーザが判読できるからである。
そして、サムネイル画像表示制御部93は、サムネイル画像を標準サイズに対し縮小可能なグループ39bのサムネイル画像についてのみ、図16に示すように、表示画面の大きさに対するサムネイル画像の中の特徴部分の大きさの比率が大きいほど、サムネイル画像のサイズA[cm]×B[cm]の縮小率を大きくして、多くの枚数を表示するようにする。
例えば、サムネイル画像に中に1つの顔が存在していて、画像の縦方向のサイズに対して、顔の縦方向の長さが80%のときには1/2に縮小可能、60%のときには2/3に縮小可能、50%のときには4/5に縮小可能と判断する。
複数の顔が存在する時には、最も小さい顔のサイズに対して、縮小率を決定してもよいし、サムネイル画像の端に存在する顔のサイズは対象としないで、サムネイル画像の中心部に存在する顔のサイズに対して縮小率を決定してもよい。
またサムネイル画像の中に文字情報が存在する場合、文字情報の大きさが小さくなり過ぎないように縮小率を決定してもよい。
この縮小率の決定にあたっては、ユーザーが視認できることが目的であるから、ユーザーの視力や、視聴する場合の外光等の環境条件によって、ユーザーが縮小率を変更できるようにしてもよい。
また、サムネイル画像の実際の表示サイズや表示される画像の分解能は、表示装置によって異なるため、適宜縮小率を変更できるようにしてもよいし、カムコーダ等に内蔵の表示装置に表示する場合と、カムコーダ等から外部出力端子に接続された表示装置に表示する場合とで、縮小率を変更できるようにしてもよい。
図17は、実施の形態2のサムネイル画像表示制御部93が縮小可能なグループ39bのサムネイル画像のみ標準サイズに対し縮小して、縮小不可なグループ39aのサムネイル画像については標準サイズで表示部6に表示した一例を示す図である。
つまり、図17に示すように、標準サイズに対し縮小可能なグループ39bの9つのサムネイル画像は、標準サイズに対し縮小され、縮小不可なグループ39aのサムネイル画像より小さく表示されることになる。なお、図17では、標準サイズに対し縮小可能なグループ39bの9つのサムネイル画像は、同一縮尺で縮小表示しているが、サムネイル画像の中の特徴部分である顔の大きさの占める割合に基づいて、大きいものほど縮尺率が大きくなるように、縮尺可能なサムネイル画像毎に縮尺率を変更するようにしても良い。その結果、図17に示すように、一画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数の9枚を超え、13枚表示する場合でも、サムネイル画像同士を重ねずに表示することが可能となる。
なお、ここでは、サムネイル画像表示制御部93は、一画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数を超えた場合、サムネイル画像の性質情報に基づいて、例えばサムネイル画像全体の中で顔の大きさ等の特徴部分の占める割合に基づいてサムネイル画像を縮小表示するように説明したが、それ以外に、サムネイル画像の種類に基づいてサムネイル画像の縮小を行うようにしても良い。例えば、サムネイル画像の周波数成分を測定して、高周波成分が大きい場合は、細かい画像が多く、縮小した場合に、ユーザが判断できなくなる可能性が高いので、縮小せずに表示する。それとは逆に高周波成分が小さい場合、すなわち周波数の低い画像の場合には、細かい画像が少なく、縮小した場合にもユーザが判断しやすい可能性が高いので、縮小可能とする。さらに、同様に、サムネイル画像の輝度の分布を測定して、輝度成分の分布が暗い領域と明るい領域に集中している場合には、逆光の画像の傾向があり,輝度の差からユーザが判断しやすい可能性が高いので標準サイズに対し縮小可能とする一方、それとは逆に輝度成分の分布が平坦である場合には特徴が明確ではなく、ユーザが判断しにくい可能性が高いので標準サイズに対し縮小しないものとするようにしても良い。
そして、実施の形態2のサムネイル画像表示制御部93は、画面に表示すべきサムネイル画像の数が第1否重複表示可能枚数を超え(ステップS1400“NO”)、前述のようにサムネイル画像の性質情報に基づいて縮小可能なサムネイル画像を縮小表示しても(ステップS1420)、重ねないと表示できなくなった場合、すなわち第2否重複表示可能枚数を超えた場合には(ステップS1430“NO”)、ステップS220に移行して、前述の実施の形態1のコルクボード風サムネイル画像表示に自動または手動で切替えることになる。なお、ステップS220〜S290のコルクボード風サムネイル画像表示処理は、図2に示す実施の形態1と同様である。ただし、実施の形態2のサムネイル画像表示制御部93は、実施の形態1のコルクボード風サムネイル画像表示を実行する際、図16および図17に示すように、標準サイズに対し縮小可能なグループ39bのサムネイル画像のみ標準サイズに対し縮小したまま実施の形態1のコルクボード風サムネイル画像表示を実行するようにしても良いし、また、実施の形態1のように、標準サイズに対し縮小可能なグループ39bのサムネイル画像を標準サイズに対し縮小せずに、実施の形態1のコルクボード風サムネイル画像表示を実行するようにしても良い。さらに、実施の形態2では、ステップS220〜S290の実施の形態1のコルクボード風サムネイル画像表示処理を実行しないようにしても良い。
従って、実施の形態2の画像表示装置、画像表示方法によれば、一画面に一覧表示すべきサムネイル画像の枚数が、サムネイル画像を重複させずに表示可能な第1否重複表示可能枚数を超えた場合、直ぐに実施の形態1のコルクボード風サムネイル画像表示方法に自動または手動で切り替えるのではなく、その前に、表示対象のサムネイル画像の性質情報に基づいてサムネイル画像毎に標準サイズに対する縮小の可否および縮小率を決めて、標準サイズに対し縮小可能なサムネイル画像のみ標準サイズに対し縮小して標準サイズに対し縮小不可なサムネイル画像と共に重ならないように表示し、それでも重複させないと表示できなくなった、つまり第2否重複表示可能枚数を超えた場合、実施の形態1のコルクボード風サムネイル画像表示方法に自動または手動で切り替えるようにしたので、一画面に一覧表示するサムネイル画像が多数あっても、コルクボード風サムネイル画像表示に移行する前に、サムネイル画像の性質を利用し縮小可能なサムネイル画像のみ縮小してサムネイル画像同士を重ねないように表示することができる。