JP4565187B2 - 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 - Google Patents

画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP4565187B2
JP4565187B2 JP2005171324A JP2005171324A JP4565187B2 JP 4565187 B2 JP4565187 B2 JP 4565187B2 JP 2005171324 A JP2005171324 A JP 2005171324A JP 2005171324 A JP2005171324 A JP 2005171324A JP 4565187 B2 JP4565187 B2 JP 4565187B2
Authority
JP
Japan
Prior art keywords
image
images
display position
original
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005171324A
Other languages
English (en)
Other versions
JP2006344155A (ja
Inventor
美紀 長谷山
貴弘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Original Assignee
Hokkaido University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC filed Critical Hokkaido University NUC
Priority to JP2005171324A priority Critical patent/JP4565187B2/ja
Publication of JP2006344155A publication Critical patent/JP2006344155A/ja
Application granted granted Critical
Publication of JP4565187B2 publication Critical patent/JP4565187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定する装置及びその装置において用いられる方法、並びにその装置を実現するためのプログラム及びにこれを記録した記録媒体に関するものである。
近年のブロードバンドの発展や様々なディジタルメディアの普及により、個人が所有する画像の数は飛躍的に増加している。これに伴って、所望の画像を膨大な量の画像の中から検索する必要性が生じているが、人手で行うには大きな負担となる。このため、与えられる画像の中から所望の画像、あるいはそれと類似する画像を自動で選択し、ユーザに呈示する手法のニーズが高まっている。
ところで、類似画像を自動で検索する技術については従来より活発に研究が行われており、非常に多くの手法が提案されている。一般にこれらの手法では、検索を行うためにユーザがあらかじめ質問画像を与える必要がある。
しかしながら、ユーザが検索対象とする画像に類似した画像を保持していない可能性があり、そのような場合、これらの手法では類似画像の検索を行うことができない。また、検索の初期の段階において、所望の画像がどのようなものであるかという検索意図が、ユーザにとって明確でない場合も少なくない。このような場合、ユーザは試行錯誤的に多くの画像の閲覧を希望すると考えらえる。したがって、多数の類似した画像同士をまとめ、その結果をユーザに理解しやすい形で呈示すること、すなわち可視化することが必要とされている。
このような観点から、類似の画像を近接して表示する手法について研究が行われており、そのような手法が非特許文献１〜３に記載されている。これら非特許文献１〜３に記載された手法では、画像の特徴を数値として抽出し、この数値（以下「特性値」という）を要素として有する特徴ベクトルによって、画像の特徴を表現する。そして、この特徴ベクトルを用いて自己組織化マップの学習を行い、学習後の自己組織化マップの何れの素子に画像が帰属するかによって、画像の配置を決定している。
ここで、特許文献１の手法では、上記の特性値としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−７で規格化されているエッジヒストグラムを用いている。一方、特許文献２の手法では、上記の特性値として画像に含まれる各画素のＲＧＢ成分の平均値を用いている。また、特許文献３の手法では、上記の特性値としてガボールフィルターから得られる値を用いている。
Laaksonen, J., Koskela, M., Oja, E., "PicSOM-self-organizing image retrieval with MPEG-7 content descriptors," IEEE Transactions on Neural Networks, v 13, n 4, July 2002, p 841-853. Bin Zhu, Ramsey, M., Hsinchun Chen, "Creating a large-scale content-based airphoto image digital library," IEEE Transactions on Image Processing, v 9, n 1, Jan. 2000, p 163-167. Laaksonen, J., Koskela, M., Laakso, S., Oja, E., "Self-organising maps as a relevance feedback technique in content-based image retrieval," Pattern Analysis and Applications, v 4, n 2-3, 2001, p 140-152.
しかしながら、上記の非特許文献１〜３に示した手法は研究段階にあり、類似性の判定において未だ非実用的であるという問題を有している。具体的には、非特許文献１〜３に記載された手法は、互いに類似する複数の画像（すなわち単一の類似画像群に含まれる複数の画像）をその類似度に基づいて分類することはできるものの、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類（クラスタリング）するのには向いていない。例えば、類似の模様などが描写された複数の画像をその類似度に基づいて分類（クラスタリング）することはできるが、複数の被写体を被写体ごとに様々な角度から撮像した多くの画像について、同一の被写体のみを含む画像群に精確に分類（クラスタリング）することはできない。このようなことから、類似した画像同士を近接して表示する手法において、改善されたさらなる手法が求められている。
本発明は上記問題点に鑑みてなされたものであり、その目的は、画像を一覧表示するために各画像の表示位置を決定する際に、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいようにサムネイル画像を配置できる画像表示位置決定装置及び画像表示位置決定方法を提供することにある。
本発明者は、上記課題に鑑みて研究を重ねた結果、フラクタル画像符号化法において用いられるＩＦＳパラメタ値が、画像の特性を表す特性値として好適に利用できることを見出し、本発明を完成させるに至った。
すなわち、本発明に係る画像表示位置決定装置は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、上記複数の画像である元画像を取得する画像取得部と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出手段と、上記座標算出手段によって各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、を備えていることを特徴とする。
自己組織化マップの学習では、複数の特徴ベクトルの中から任意に１つを選択し、これを入力ベクトルとして与えることによって、配列された各素子が有する重みベクトルを更新する。ここで、更新される素子は、入力ベクトルと最も類似度の高い（距離の近い）重みベクトルを有する素子（勝利素子）、及びその近傍の素子（近傍素子）である。そして、近傍素子の更新量は、通常、勝利素子の更新量よりも小さく設定される。このような学習を繰り返すことによって、自己組織化マップにおける隣接した素子同士は、類似の重みベクトルを有するようになる。
上述した自己組織化マップの学習に、画像の特性を示す特性値を要素として含む特徴ベクトルを用い、学習後の自己組織化マップの素子に画像を特徴ベクトルに基づいて帰属させることによって、画像のクラスタリングを行うことができる。その結果、隣接する素子に帰属する画像同士は、類似の特徴ベクトルを有した画像、すなわち類似の画像となる。よって、画像配置手段によって、類似した画像が近接して配置されることになる。以上のように、本発明に係る画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目している。なお、上記の「レンジブロックと最も似ているドメインブロック」とは、このドメインブロックをレンジブロックと同じサイズになるように調整し、さらに必要に応じて回転させた画像と、レンジブロックとの間において、各画素の輝度の差に基づいた非類似度が、他のドメインブロックに比べて最も小さいものをいう。
一般に類似の（例えば、含まれる被写体が同じものである）画像同士の場合、あるレンジブロックに最も似ているドメインブロックの位置も類似する傾向にある。よって、レンジブロックと似ているドメインブロックが画像内のどの位置に存在するかに基づいて、画像の類似性を判定することができる。これにより、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類（クラスタリング）する際に、精確に分類することができる。
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
また、上記画像表示位置決定装置は、各元画像において、上記レンジブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第２の特性値として算出するレンジブロック輝度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記レンジブロック輝度算出手段によって各元画像について算出された第２の特性値を、要素としてさらに含めることが好ましい。
上記構成によれば、上述した画像内における自己相似性に加えて、画像中の特定領域の輝度にも基づいて画像の類似性を判定することができる。よって、画像の類似性の判定を一層精確にすることができる。
また、上記画像表示位置決定装置は、各元画像において、上記レンジブロックと最も似ているドメインブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第３の特性値として算出するドメインブロック輝度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記ドメインブロック輝度算出手段によって各元画像について算出された第３の特性値を、要素としてさらに含めることが好ましい。
上記構成によれば、レンジブロックに最も似ているドメインブロックの位置情報に加えて、このドメインブロックの輝度にも基づいて画像の類似性を判定することができる。よって、画像の類似性の判定を一層精確にすることができる。
また、上記画像表示位置決定装置は、各元画像において、（ａ）上記レンジブロックと、（ｂ）そのレンジブロックと最も似ているドメインブロックに基づき、かつ上記レンジブロックとサイズが同じであるサイズ調整ドメインブロックと、の非類似度を、元画像の特性を表す第４の特性値として算出する非類似度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記非類似度算出手段によって各元画像について算出された第４の特性値を、要素としてさらに含めることが好ましい。
上記構成によれば、レンジブロックに最も似ているドメインブロックの位置情報に加えて、レンジブロックと、これと相似なドメインブロックとが、どの程度異なっているかを指標として画像の特性を表現することができるようになる。よって、この非類似度にも基づいて画像を判定することにより、判定結果が一層正確になる。
また、上記ドメインブロック作成手段が、上記レンジブロックと同じサイズのドメインブロックを作成してもよい。
上記構成によれば、レンジブロックとドメインブロックとの大きさが同じであるため、レンジブロックと最も似ているドメインブロックを求める際に、レンジブロックと合同なドメインブロックを求めればよいことになる。そのようなドメインブロックを求める際には、ブロックの拡大又は縮小の変換処理をする必要がないため、計算量を削減することができるようになる。よって、サムネイル画像の表示位置を迅速に決定することができるようになる。
また、上記レンジブロック作成手段が、各元画像のサイズと実質的に比例したサイズを有するレンジブロックを作成し、上記ドメインブロック作成手段が、各元画像のサイズと実質的に比例した画素数でずらしながら、各元画像のサイズと実質的に比例したサイズを有する部分画像を切り出すことによって、ドメインブロックを作成することが好ましい。
レンジブロックのサイズを元画像のサイズに比例させることによって、元画像におけるレンジブロックの占める割合は常に一定となる。よって、異なるサイズの元画像から作成されるレンジブロックの個数は常に一定となる。
また、切り出しの際のずらし量を元画像のサイズに比例させることによって、得られるドメインブロックの個数も一定となる。さらに、ドメインブロックのサイズを画像のサイズに比例させることによって、元画像におけるドメインブロックの占める割合も一定となる。
以上のことから、入力に用いられる画像のサイズが一定していなくても、得られるレンジブロック及びドメインブロックの条件は一定となり、画像のサイズに依存しない類似性の判定を行うことができるようになる。
また、各元画像について生成される上記特徴ベクトルが、異なる複数のレンジブロックについて算出された上記特性値を要素として含み、上記自己組織化マッピング手段が、自己組織化マップの学習において勝利素子の探索を行う際に、上記特徴ベクトルに含まれる各レンジブロックについて算出された上記特性値に対して、そのレンジブロックの元画像内における位置に基づいて重み付けを行うことが好ましい。
上記構成によれば、特徴ベクトルが、異なるレンジブロックについての複数の特性値を含むことになる。ここで、自己組織化マップにおいて勝利素子の判定を行うために、特性値を含む入力ベクトルと重みベクトルとの非類似度の算出を行う際に、レンジブロックに基づいた重みを特性値に与えることによって、特定のレンジブロックについての非類似度を重点的に評価できるようになる。よって、重要であると考えられる領域について非類似度を重点的に評価することによって、類似性の判定を一層精確に行うことができる。
また、上記重み付けが、レンジブロックの位置と画像の中心との間の距離に応じたものであることが好ましい。
通常、画像において、被写体は画像の中心付近に配置される傾向にある。従って、上記構成によれば、類似性の判定において重要なレンジブロックについての非類似度の評価を重点的に行うことができるため、類似性の判定を一層精確に行うことができる。
また、上記画像取得部が、画像内における被写体の位置を示す被写体位置データをさらに取得し、上記重み付けが、レンジブロックの位置と、上記被写体位置データによって示される画像内における被写体の位置との間の距離に応じたものであってもよい。
上記構成によれば、類似性の判定において重要視するべき被写体の周辺のレンジブロックについての非類似度の評価を重点的に行うことができるため、類似性の判定が一層精確になる。
また、上記元画像が、撮像によって作成されたものであり、上記元画像を撮像した際の環境を示す撮像環境データを取得する撮像環境データ取得部と、上記撮像環境データに基づいて、元画像を非階層的な複数のグループに分類する非階層的分類手段と、をさらに備え、上記自己組織化マッピング手段が、上記の自己組織化マップの学習及び元画像の帰属する素子の位置の決定を、上記グループごとに行い、上記画像配置手段が、一覧画像を上記グループに対応する部分領域に分割し、部分領域におけるサムネイル画像の表示位置を、上記自己組織化マップにおける元画像の帰属する素子の位置に基づいてグループごとに決定することによって、一覧画像における各サムネイル画像の表示位置を決定することが好ましい。
通常、画像を撮像する場合、画像を撮像した環境と撮像した画像に含まれる被写体とは、関係を有していることが多い。すなわち、同一の環境において撮像された画像には、互いに同一の被写体が含まれている可能性が高い。よって、撮像された画像を予め撮像環境に応じて分類しておくことによって、撮像した画像がその内容に応じて大雑把に分類されることになる。したがって、上記の特徴ベクトルを用いた自己組織化マップの学習だけでは効果的に分類できない画像が含まれていても、そのような画像を撮像環境に基づいて分類しておくことによって、類似しない画像が近接して配置されるのを回避することができる。
また、本発明に係る別の画像表示位置決定装置は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、上記課題を解決するために、上記複数の画像である元画像を取得する画像取得部と、各元画像について、フラクタル画像符号化法によってＩＦＳパラメタ値を算出する特性値算出手段と、複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択手段と、上記画像選択手段によって組み合わせが選択された２つの元画像について、上記ＩＦＳパラメタ値に基づいて当該２つの元画像間の非類似度を算出する誤差値算出手段と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、を備えていることを特徴とする。
上記構成によれば、各サムネイル画像が配置された一覧画像において、画像間の非類似度がサムネイル画像間の距離に反映されることになる。よって、類似の元画像同士が、そのサムネイル画像によって近接した位置に配置される。以上のように、本発明の画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目し、フラクタル画像符号化法によって算出されるＩＦＳパラメタ値を用いている。このように、ＩＦＳパラメタ値を用いることによって、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類（クラスタリング）する際に、精確に分類することができる。
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
また、上記画像表示位置決定装置は、上記画像選択手段によって選択された２つの元画像における一方の元画像のＩＦＳパラメタ値を用いて他方の元画像を再構成して再構成画像を作成する再構成手段をさらに備え、上記誤差値算出手段が、上記他方の元画像と上記再構成画像との輝度の誤差値に基づいて、当該２つの元画像間における非類似度を算出することが好ましい。
上記構成によれば、再構成前後の画像における輝度の誤差値に基づいて、各画像間の非類似度を算出することができる。
ところで、上記画像表示位置決定装置の各手段は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、コンピュータを上記各手段として動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像表示位置決定装置の各手段として動作する。したがって、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
また、本発明に係る画像表示位置決定方法は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出工程と、上記座標算出工程において各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、を含んでいることを特徴とする。
自己組織化マップの学習に、画像の特性を示す特性値を要素として含む特徴ベクトルを用い、学習後の自己組織化マップの素子に画像を特徴ベクトルに基づいて帰属させることによって、画像のクラスタリングを行うことができる。その結果、隣接する素子に帰属する画像同士は、類似の特徴ベクトルを有した画像、すなわち類似の画像となる。よって、画像は位置工程において、類似した画像が近接して配置されることになる。以上のように、本発明に係る画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
ここで、本発明では、画像の特性を示す特性値として、画像内の自己相似性を利用している。一般に類似の（例えば、含まれる被写体が同じものである）画像同士の場合、あるレンジブロックと相似な関係にあるドメインブロックの位置も類似する傾向にある。従って、レンジブロックと最も似ているドメインブロックの位置に基づいて、画像の類似性を判定することができる。このような相似関係は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
また、本発明に係る別の画像表示位置決定方法は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、上記課題を解決するために、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、フラクタル画像符号化法によってＩＦＳパラメタを算出する特性値算出工程と、複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択工程と、上記画像選択工程において組み合わせが選択された２つの元画像について、上記ＩＦＳパラメタに基づいて当該２つの元画像間の非類似度を算出する誤差値算出工程と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、を含んでいることを特徴とする。
上記構成によれば、各サムネイル画像が配置された一覧画像において、画像間の非類似度がサムネイル画像間の距離に反映されることになる。よって、類似の元画像同士が、そのサムネイル画像によって近接した位置に配置される。以上のように、本発明の画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目し、フラクタル画像符号化法によって算出されるＩＦＳパラメタ値を用いている。このように、ＩＦＳパラメタ値を用いることによって、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類（クラスタリング）する際に、精確に分類することができる。
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
本発明に係る画像表示位置決定装置は、以上のように、元画像を取得する画像取得部と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出手段と、上記座標算出手段によって各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、を備えた構成となっている。
また、本発明に係る別の画像表示位置決定装置は、以上のように、各元画像について、フラクタル画像符号化法によってＩＦＳパラメタ値を算出する特性値算出手段と、複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択手段と、上記画像選択手段によって組み合わせが選択された２つの元画像について、上記ＩＦＳパラメタ値に基づいて当該２つの元画像間の非類似度を算出する誤差値算出手段と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、を備えた構成となっている。
また、本発明に係る画像表示位置決定方法は、以上のように、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出工程と、上記座標算出工程において各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、を含んだ構成となっている。
また、本発明に係る別の画像表示位置決定方法は、以上のように、各元画像について、フラクタル画像符号化法によってＩＦＳパラメタを算出する特性値算出工程と、複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択工程と、画像選択工程において組み合わせが選択された２つの元画像について、ＩＦＳパラメタに基づいて当該２つの元画像間の非類似度を算出する誤差値算出工程と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、を含んだ構成となっている。
従って、上述したように、画像を一覧表示するために各画像の表示位置を決定する際に、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいようにサムネイル画像を配置することができるという効果を奏する。
［実施形態１］
本発明に係る画像表示位置決定装置の一実施形態について図１から図９に基づいて説明すると以下の通りである。まず、本実施形態の概要について説明する。
〔概要〕
本実施形態の画像一覧表示装置１は、撮像した複数の画像のサムネイル画像を一覧表示するための装置である。ここで、撮像した画像を一覧表示する際に、画像一覧表示装置１は、撮像日時ごとに作成された自己組織化マップに基づいてサムネイル画像の表示位置を決定する。なお、自己組織化マップを作成する際の入力データ（特徴ベクトル）としては、フラクタル画像符号化法において各画像について算出されるＩＦＳパラメタ値等を用いる。これにより、撮像した複数の画像は、同一日時グループに属する画像同士がひとまとまりになるように、かつ、グループ内では類似の画像同士が近接するように配置されることになる。このような画像一覧表示装置１の全体像を説明すると以下の通りである。
〔全体像〕
図１は、画像一覧表示装置１の機能ブロック図である。画像一覧表示装置１は、概略的には、画像表示位置決定部（画像表示位置決定装置）１０、サムネイル画像生成部２１、一覧画像生成部２２、及び表示部２０を備えている。
画像表示位置決定部１０は、撮像した複数の画像のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定するためのものである。また、サムネイル画像生成部２１は、撮像した画像に対応するサムネイル画像を生成するためのものである。通常、サムネイル画像は、撮像した画像（元画像）を縮小したものとなっているが、必ずしもこれに限定されず、元画像そのままであってもよい。一覧画像生成部２２は、サムネイル画像群を一覧表示した一覧画像データを生成するためのものである。
表示部２０は、一覧画像生成部２０によって生成された一覧画像データに基づいて、一覧画像を表示するためのものである。なお、表示部２０は、画像を表示できるものであれば特に限定されるものではなく、ＣＲＴディスプレイや液晶ディスプレイなどの表示装置、プロジェクタなどの投影装置、又はプリンタなどの印刷装置などの何れであってもよい。
画像表示位置決定部１０は、詳細には、撮像日時データ付き画像データ取得部（画像取得部、撮像環境データ取得部）１１、特性値算出部１２、特徴ベクトル生成部（特徴ベクトル生成手段）１３、自己組織化マッピング部（自己組織化マッピング手段）１４、画像配置部（画像配置手段）１５、非階層的分類部（非階層的分類手段）１６を備えている。
撮像日時データ付き画像データ取得部１１は、ディジタルカメラなどによって撮像した複数の画像の画像データを、撮像日時データとともに取得するためのものである。
近年、ディジタルカメラ用の画像ファイル規格として、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式が用いられている。この形式によれば、撮像した画像の画像データを含む画像ファイルには、撮像したときの環境や条件に関する様々なタグ情報も同時に記録される。このタグ情報としては、例えば、画像のサイズ、圧縮モード、撮像日時、色空間情報、スペクトル感度、輝度、露出補正、被写体距離、被写体位置などが挙げられる。
本実施形態の画像一覧表示装置１は、画像ファイルにタグ情報として含まれる撮像日時データを利用している。それゆえ、本実施形態では、画像データの取得及び撮像環境データの取得を単一の撮像日時データ付き画像データ取得部１１で実現しているが、本発明はこれに限定されず、画像データの取得及び撮像環境データの取得を別の部材によって実現してもよい。また、撮像環境データについても、撮像日時に限定されるものではなく、例えば、上記のタグ情報のうちの好適なものを利用してもよい。
撮像日時データ付き画像データ取得部（画像取得部）１１のハードウェア構成としては、画像データを取得できるものであれば特に限定されるものではなく、固定ディスク又はリムーバブルディスクからデータを読み込むことのできる入出力インターフェースや、他の通信端末装置からＬＡＮを介してデータを読み込むことのできる入出力インターフェース、或いはディジタルカメラなどから画像データ及び撮像日時データを取り込むことのできる入力インターフェースなどを備えていればよい。
特性値算出部１２は、撮像日時データ付き画像データ取得部１１によって画像データが取得された各画像について、画像の様々な特性を表す特性値を算出するためのものである。ここで、画像の特性を表す特性値としては特に限定されるものではなく、一般的な輝度値やパターン認識の分野で利用される慣用の各種パラメタ値などを用いることができるが、本実施形態の画像一覧表示装置１は、フラクタル画像符号化法において算出されるＩＦＳパラメタ値などを用いている。なお、特性値の詳細については、後述する。
特徴ベクトル生成部１３は、特性値算出部１２によって、各画像について求められた様々な特性値を要素として含む特徴ベクトルを生成し、これを、各画像の特徴を総合的に表す指標とする。この特徴ベクトルは、入力される各画像について１つずつ生成される。
非階層的分類手段（非階層的分類部）１６は、画像データに付随する撮像環境データ（撮像日時データ）に基づいて、画像を非階層的なグループに分類するためのものである。
自己組織化マッピング手段（自己組織化マッピング部）１４は、非階層的分類手段（非階層的分類部）１６によって分類が行われたグループごとに、自己組織化マップの学習を行う。ここで、学習の際の入力データには、画像の特徴ベクトルが用いられる。そして、学習後の自己組織化マップにおける何れの素子に上記画像が帰属するかを決定する。
画像配置手段（画像配置部）１５は、自己組織化マップにおける画像の帰属する素子の位置と、上記グループとに基づいて、サムネイル画像の表示位置を決定するためのものである。
なお、特性値算出部１２、非階層的分類部（非階層的分類手段）１６、自己組織化マッピング部（自己組織化マッピング手段）１４、画像配置部（画像配置手段）１５は、ＣＰＵ等の演算装置がＲＯＭやＲＡＭ等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
次に、画像一覧表示装置１の概略的な動作について説明する。図２は、画像一覧表示装置１の動作を示す工程図である。また、図３は、画像一覧表示装置の表示方法のスキームを示す図である。
まず、撮像日時データ付き画像データ取得部１１が、固定ディスクやリムーバブルディスク、或いはＬＡＮなどを利用して、撮像した画像の画像データを撮像日時データとともに取得する（Ｓ１）。取得した画像データは、特性値算出部１２及びサムネイル画像生成部２１に送られる。また、取得した撮像日時データは、非階層分類部１６に送られる。
次に、非階層的分類部１６が、撮像日時データに基づいて、撮像した画像を複数のグループに分類する（Ｓ２）。グループと画像との対応関係（どのグループにどの画像が所属するか）は、自己組織化マッピング部１４に送られる。またその一方で、特性値算出部１２が、各画像について、フラクタル符号化法に基づいて各種特性値を算出する（Ｓ３）。算出された特性値は、特徴ベクトル生成部１３に送られる。なお、ステップＳ２及びＳ３の実行順序は逆であってもよい。
次に、特徴ベクトル生成部１３が、各画像について算出された各種特性値を要素として含む特徴ベクトルを画像ごとに生成する（Ｓ４）。
続いて、自己組織化マッピング部１４が、ステップＳ２において作成されたグループごとに、自己組織化マップの学習を行う（Ｓ５）。このとき、自己組織化マップの入力データ（入力ベクトル）には、ステップＳ４において画像ごとに生成した特徴ベクトルを用いる。
そして、各画像の特徴ベクトルが、作成した自己組織化マップに含まれる素子のうち、どの素子の有する重みベクトルと最も近いかを求め、各画像がどの素子に帰属するかを決定する（Ｓ６）。この処理は、全グループに対して行われる。そして、グループごとの自己組織化マップにおける画像の帰属する素子の位置関係情報は、画像配置部１５に送られる。
続いて、画像配置部１５が、画像の帰属する素子の位置情報とグループとに基づいて、画像の表示位置を決定する（Ｓ７）。決定された画像の表示位置の情報は、一覧画像生成部２２に送られる。
また、サムネイル画像生成部２１は、撮像日時データ付き画像取得部１１が取得した画像データに基づいて、各画像のサムネイル画像を生成する。生成したサムネイル画像のデータは、一覧画像生成部２２に送られる。そして、一覧画像生成部２２は、各画像のサムネイル画像を、画像配置部１５によって決定された表示位置に配置した一覧画像を生成する。一覧画像のデータは表示部２０に送られ、表示部２０が一覧画像を表示する（Ｓ８）。
以上の処理により、撮像した画像が日時ごとにまとめられ、かつ、同一日時グループ内では類似する画像同士が近接して配置された一覧画像の表示を行うことができる。以下、非階層的分類部１６、特性値算出部１２、自己組織化マッピング部１４、画像配置部１５について詳述する。
〔非階層的分類部、非階層的分類工程〕
非階層的分類部１６は、撮像環境データに基づいて画像をグループに分類するためのものである。
通常、旅行などに行き写真を撮影する場合、複数の地点を順次移動しながら写真を撮影することが多い。この場合、同一の被写体を、略同一の時刻（又は日）に撮影することになる。逆に言えば、略同一の時刻に撮影された写真には、同一の被写体が含まれている傾向にある。従って、撮影した日時ごとに画像を複数のグループに分類すれば、同一のグループに含まれる画像同士には、同一の被写体が含まれている可能性が高くなると考えられる。
上記の理由から、非階層的分類部１６は、撮像した画像を日時に基づいて画像を分類する。グループへの具体的な分類方法としては、例えば、一日ごとに別個のグループに分類してもよいし、あるいは、さらに午前・午後でも別個のグループに分類してもよいし、さらには、一時間ごとに別個のグループに分類してもよい。また、上記の基準を、取得した画像の枚数に応じて調整してもよい。
なお、通常、画像を撮像する日時は、均一に分布するものではなく、特定の時間や日に偏在する傾向にある。例えば、週末が多かったり、深夜が少なかったりすることが考えられる。よって、グループに分類する際に用いられる閾値を上記のように一定の間隔で設定するかわりに、撮像された日時の分布に応じて閾値を動的に設定してもよい。これを実現するためには、撮像日時を説明変数として、周知慣用の手法でクラスタリングを行えばよい。なお、非階層的分類部１６による分類の結果、画像は、非階層的なグループに分類される。そして、グループと画像との対応関係のデータは、自己組織化マッピング部１４に送られる。
〔特性値算出部、特性値算出工程／特徴ベクトル生成部、特徴ベクトル生成工程〕
特性値算出部１２は、撮像した全画像について、フラクタル画像符号化の際に用いられるＩＦＳパラメタ値などの各種パラメタ値を画像の特性値として算出する。本発明者は、通常、画像の符号化に用いられるＩＦＳパラメタやその類似のパラメタが、画像の特徴を表現するのに好適に利用できることを見出した。
フラクタル画像符号化法は、Ｊａｃｑｕｉｎによって提唱された手法である。その詳細は、（A. E. Jacquin, "Image coding based on fractal theory of iterated contractive iamge transformation," IEEE Trans. on Image Process., vol. 1, pp.18-30, Jan 1992.）に記載されており、本明細書ではこれを援用する。また、これに対して公知の改良を加えたものであってもよい。以下、フラクタル画像符号化法を用いた画像の特性値の算出方法を説明する。
図４は、特性値算出部１２の詳細な構成を示す機能ブロック図である。特性値算出部１２は、レンジブロック作成部（レンジブロック作成手段）３１、ドメインブロック作成部（ドメインブロック作成手段）３２、ＩＦＳパラメタ算出部（座標算出手段）３３、レンジブロック輝度算出部（レンジブロック輝度算出手段）３４、ドメインブロック輝度算出部（ドメインブロック輝度算出手段）３５、非類似度算出部（非類似度算出手段）３６を含んでいる。
図５は、フラクタル画像符号化法のスキームを示す図である。ここでは、ＩＦＳパラメタ値の算出対象となる画像ｆが、Ｎ×Ｍ画素からなるものとする。そして、画像ｆにおいて、座標（ｘ，ｙ）（ｘ＝１，２，…，Ｎ；ｙ＝１，２，…，Ｍ）における輝度を、ｆ（ｘ，ｙ）とする。
（手順１）
まず、画像ｆを、互いに重なり合わないＢ×Ｂ画素の分割画像Ｒｉ（ｉ＝１，２，…，ｎ；ｎ＝［Ｎ／Ｂ］×［Ｍ／Ｂ］）に分割する。なお、除算の結果、整数とならない場合は、小数点以下を切り捨てる。この分割画像Ｒｉをレンジブロックと呼ぶ。また、レンジブロックＲｉに含まれる画素（ｘ’，ｙ’）（ｘ’＝１，２，…，Ｂ；ｙ’＝１，２，…，Ｂ）の輝度値を、ｆＲｉ（ｘ’，ｙ’）とする。
（手順２）
次に、画像ｆから、重なりを許し水平方向にδｈ、垂直方向にδｖずつずらしながら、２Ｂ×２Ｂ画素の部分画像Ｄｊ（ｊ＝１，２，…，ｍ；ｍ＝［（Ｎ−２Ｂ＋１）／δｈ］×［（Ｍ−２Ｂ＋１）／δｖ］）を切り出す。この部分画像Ｄｊをドメインブロックと呼ぶ。また、ドメインブロックＤｊに含まれる画素（ｘ’，ｙ’）（ｘ’＝１，２，…，Ｂ；ｙ’＝１，２，…，Ｂ）の輝度値を、ｆＤｊ（ｘ’，ｙ’）とする。
（手順３）
そして、各レンジブロックＲｉに対して最良の近似を与える（換言すれば、各レンジブロックＲｉの相似形に最も近い）ドメインブロックＤｋ（１≦ｋ≦ｍ）をそれぞれ求めるために、以下の手順３−１及び３−２を各レンジブロックについて行う。
（手順３−１）
まず、各ドメインブロックＤｊを、Ｂ×Ｂ画素に縮小した縮小ドメインブロック（サイズ調整ドメインブロック）Ｄ’ｊを求める。ここで、縮小ドメインブロックＤ’ｊに含まれる画素（ｘ’，ｙ’）（ｘ’＝１，２，…，Ｂ；ｙ’＝１，２，…，Ｂ）の輝度値を、ｆＤ’ｊ（ｘ’，ｙ’）とする。このとき、ｆＤ’ｊ（ｘ’，ｙ’）は、次式に示す変換式によって求められる。
ただし、
ここで、θ（θ＝｛０，π／２，π，３π／２［ｒａｄ］｝）は回転角を表す。また、λ（λ＝｛１，−１}）は反転係数を表す。ｅ，ｆは、回転や反転によって生じる座標のずれを補正するための値を表す。ｓ，ｏは、それぞれ輝度変換値のスケーリング係数、オフセット係数を表す。なお、θ，λ，ｓ，ｏの具体値は、次式で定義される誤差Ｅを最小にするときの値となる。
上記の式（４）によって定義される誤差Ｅは、レンジブロックＲｉに含まれる各画素の輝度値と縮小ドメインブロックＤ’ｊに含まれる各画素の輝度値との差に基づいたものであり、レンジブロックＲｉと縮小ドメインブロックＤｊとの非類似度を示している。
（手順３−２）
手順３−１において求められた縮小ドメインブロックＤ’ｊの中から、レンジブロックＲｉに対して式（４）の誤差Ｅを最小にする縮小ドメインブロックＤ’ｏｐｔ（Ｄ’ｏｐｔ∈｛Ｄ’１，Ｄ’２，…，Ｄ’ｍ｝）を探索する。そして、発見された縮小ドメインブロックＤ’ｏｐｔを与えるドメインブロックＤｏｐｔの横方法及び縦方向の座標を表すパラメタｘＤ，ｙＤ（以下、位置パラメタという）、このときの回転・反転を表すパラメタθ，λ、及び輝度変換値のスケーリングパラメタｓ，ｏがレンジブロックＲｉに対するＩＦＳパラメタとなる。以上により、ある画像における各レンジブロックについてのＩＦＳパラメタ値の算出が完了する。
ここで、各レンジブロックについて求められる上記のＩＦＳパラメタ値の全てを画像の特性値として用いてもよいが、本実施形態では、計算量を削減する観点から、上記のＩＦＳパラメタのうち、ドメインブロックの画像内における座標を示す位置パラメタｘＤ，ｙＤの値を特性値として用いることとする。この位置パラメタｘＤ，ｙＤの値は、請求項における第１の特性値に相当する。
なお、位置パラメタｘＤ，ｙＤの値は、レンジブロック１つにつき１組求められることになる。ここで、本実施形態では、位置パラメタｘＤ，ｙＤを、各画像に含まれるｎ個の全レンジブロックについて求めることとするが、本発明はこれに限定されるものではなく、ｎ個のレンジブロックのうち、所定の位置にある所定の数のレンジブロックについてのみ位置パラメタｘＤ，ｙＤを求めてもよい。この場合、「所定の位置」とは、例えば、画像の中央や、画像の周縁部などを含む画像内の任意の好適な位置とすることができる。また、「所定の数」についても同様に、１からｎ個までの好適な数とすることができる。ただし、位置パラメタｘＤ，ｙＤを一部のレンジブロックについてのみ求める場合、上記の「所定の位置」及び「所定の数」は、全画像間で統一されている必要がある。
また、撮像した画像がカラー画像である場合には、画像に含まれる各画素の輝度を３つの色成分Ｙ，Ｃｂ，Ｃｒに分解し、それぞれの色成分について上記の手順を実行することによって、色成分ごとに位置パラメタｘＤ，ｙＤの値を得ることが好ましい。この場合、レンジブロック１つにつき、各色成分についての３組の位置パラメタｘＤ，ｙＤの値が得られることになる。
なお、上記の各手順のうち、手順１はレンジブロック作成部３１によって行われ、手順２はドメインブロック作成部３２によって行われ、手順３はＩＦＳパラメタ算出部３３によって行われる。
また、本実施形態では、好ましい実施形態として、位置パラメタｘＤ，ｙＤの値以外に以下の特性値をさらに算出する。
まず、上記のレンジブロックＲｉに含まれる各画素の輝度の平均値ｆａｖｅ Ｒｉを、各レンジブロックについて算出する。なお、レンジブロックＲｉに含まれる各画素の輝度の平均値ｆａｖｅ Ｒｉの値は、次式によって算出することができる。
また、各レンジブロックＲｉについて求めた各ドメインブロックＤｏｐｔに含まれる各画素の輝度の平均値ｆａｖｅ Ｄｏｐｔを算出する。なお、ドメインブロックＤｏｐｔに含まれる各画素の輝度の平均値ｆａｖｅ Ｄｏｐｔの値は、次式によって算出することができる。
さらに、上記の式（４）において求めた誤差Ｅを用いて、次式で定義されるＥＲＭＳの値を各レンジブロックについて算出する。
ここで、ｆａｖｅ Ｒｉの値は、請求項における第２の特性値に相当し、レンジブロック輝度算出部３４によって算出される。また、ｆａｖｅ Ｄｏｐｔの値は、請求項における第３の特性値に相当し、ドメインブロック輝度算出部３５によって算出される。また、ＥＲＭＳの値は、請求項における第４の特性値に相当し、非類似度算出部３６によって算出される。
なお、撮像した画像がカラー画像である場合には、画像に含まれる各画素の輝度を３つの色成分Ｙ，Ｃｂ，Ｃｒに分解し、それぞれの色成分を有するレンジブロック及びドメインブロックについて上記の特性値を算出する。この場合、あるレンジブロックについて、上記の３つの特性値が３組得られることになる。
また、本実施形態では、全てのレンジブロックについて、ｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔ、ＥＲＭＳの値を求めることとするが、上述したように、一部のレンジブロックについてのみ求めてもよい。
このようにして求めた（モノクロ画像の場合は１組、カラー画像の場合は３組の）ｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔ、ＥＲＭＳを特性値として用いると以下の利点がある。すなわち、ドメインブロックの位置パラメタの値のみを画像の特性値として採用する場合、レンジブロックとドメインブロックとの位置関係が類似している画像同士は、後述する自己組織化マッピング工程において類似の画像であると認識される。しかしながら、ある２つの画像間でレンジブロックとドメインブロックとの位置関係が類似していても、そのような画像間で、レンジブロックの輝度やドメインブロックの輝度が異なっている場合がある。このような画像同士は実際には類似しているとはいえないが、位置パラメタの値のみを採用する場合は類似しているとみなされてしまう。
これに対して、画像の特性値として、各レンジブロックや各ドメインブロックの輝度ｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔを採用することによって、上記の問題を解消することができる。
また同様に、ＥＲＭＳは、各レンジブロックに含まれる各画素の輝度値と、これに対応する縮小ドメインブロックの画素の輝度値との非類似度を表す指標である。よって、このＥＲＭＳを採用することにより、それぞれのレンジブロックがドメインブロックと、どの程度相似していないか（すなわち非相似度）を、画像の特性として表現することができるようになる。
このように、ｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔ、ＥＲＭＳをさらに画像の特性値として用いることにより、画像の類似性を一層精確に推定できるようになる。
ところで、上記の５つの特性値を算出する工程において、計算量を削減する観点から、レンジブロックのサイズとドメインブロックのサイズとを同一にしてもよい。これにより、ドメインブロックのサイズを変更することなく上述した縮小ドメインブロックを生成することができる。具体的には、上記の式（２）は、次式のように変更される。
また、上記の式（６）は、次式のように変更される。
また、撮像した画像の解像度（縦及び横の画素数）が画像によって異なっている場合には、位置パラメタｘＤ，ｙＤが画像の解像度に依存しないようにするために、画像ごとにレンジブロック及びドメインブロックのサイズを変更してもよい。具体的には、画像ｆｉのサイズが縦Ｘｉ，横Ｙｉである場合、レンジブロックのサイズを、縦：Ｘｉ／Ｈ、横：Ｙｉ／Ｖ（単位はそれぞれ画素）とする。ただし、Ｈ及びＶは定数とする。このようにすることによって、撮像した画像の解像度が異なっていても、得られるレンジブロックの数は常にＨ×Ｖ個になる。また、ドメインブロックのサイズについても同様に、レンジブロックの２倍とする場合は縦：２Ｘｉ／Ｈ、横：２Ｙｉ／Ｖ（単位はそれぞれ画素）とし、レンジブロックと同じ場合は縦：Ｘｉ／Ｈ、横：Ｙｉ／Ｖ（単位はそれぞれ画素）とする。さらに、ドメインブロックを切り出す際のずらし量、δｈ、δｖも画像のサイズに比例させる。これにより、得られるドメインブロックの数も一定になり、かつ、画像全体に対するドメインブロックの関係は、画像サイズが大きい場合であっても小さい場合であっても、常に一定となる。このように、レンジブロック及びドメインブロックを画像のサイズに応じて調整することにより、画像のサイズ（解像度）に依存しない類似度の判定を行うことができる。なお、除算の結果が整数でない場合は、切り捨て、切り上げなどの好適な方法を用いればよい。
また、後続の自己組織化マッピング工程において適切に類似度を判定できるように、算出された各値に対して、平均値や標準偏差に基づいて標準化を行ったものを特性値としてもよい。
以上のようにして画像ごとに各レンジブロックについて算出された特性値は、特徴ベクトル生成部１３に送信される。特徴ベクトル生成部１３は、各画像について算出された特性値のセットに含まれる各特性値を要素とする特徴ベクトルを生成する。一例を示すと、例えば、撮像した画像がモノクロ画像であり、分割して得られるレンジブロックが４×４＝１６個の場合、得られる特性値は、５×１６＝８０個となる。よって、各画像の有する特徴ベクトルは８０次元となる。また、撮像した画像がカラー画像で、レンジブロックの条件が上記と同じ場合、得られる特性値は、５×１６×３＝２４０個となる。よって、各画像の有する特徴ベクトルは、２４０次元となる。
〔自己組織化マッピング手段、自己組織化マッピング工程〕
自己組織化マッピング部１４は、非階層的分類部１６によって作成されたグループごとに、そのグループに所属する画像を自己組織化マップによってクラスタリングする。
自己組織化マップは、コホネンの提唱した教師無し競合学習型ニューラルネットワークモデルである。その詳細は、（T. Kohonen, "Self-organization and associative memory," Springer-Verlag, New York, 1989.）に記載されており、本明細書ではこれを援用する。また、これに対して公知の改良を加えたものであってもよい。
図６は、自己組織化マップのスキームを示す図である。自己組織化マップには、通常、２次元に配列された素子群を用いるが、その構成は図６に示すように素子群の層（map layer）とデータを入力する層（input layer）とからなっている。ここでデータを入力する層は、素子群の層に存在する全ての素子と結合しており、入力データを全ての素子に与えることが可能となっている。また、入力データには、上記特性値算出部１２によって算出された特性値を要素とした特徴ベクトルを用いる。以下、入力に用いられる特徴ベクトルのことを入力ベクトルといい、ｘで表す。
素子群の層における素子ｋ（ｋはマップ上の素子を特定する番号であり、全素子数をＫ個とする）は、重みベクトルｍｋを有している。ここで、重みベクトルｍｋは、入力ベクトルと同次元、すなわち同じ個数の要素を持つベクトルである。
以下、自己組織化マップの学習について具体的に説明する。特に記載のない限り、各処理は自己組織化マッピング部１４が行っているものとする。
まず、全素子に対して、重みベクトルの各要素に任意のランダムな値を与える。そして、グループに所属する画像の中からランダムに１つを選択し、その画像の有する特徴ベクトルを入力ベクトルとして与え、自己組織化マップの学習を行う。
自己組織化マップの学習アルゴリズムは、（ａ）入力ベクトルｘと最も類似する重みベクトルを有する素子（勝利素子）を求める類似性マッチングと、（ｂ）その重みベクトルｍｋとその近傍の素子の重みベクトルを、入力ベクトルｘに近づける更新手続きと、からなる。
類似性マッチングでは、通常、入力ベクトルｘと各素子の重みベクトルｍｋとのユークリッド距離を算出し、その距離が最も小さい重みベクトルｍｃを有する素子を勝利素子とする。これを数学的に表現すると、次式のようになる。
ただし、２重縦棒で括ったｘ−ｍｃは、入力ベクトルｘと勝利素子の重みベクトルｍｃとのユークリッド距離を表し、同様に、２重縦棒で括ったｘ−ｍｋは、入力ベクトルｘと重みベクトルｍｋとのユークリッド距離を表す。
そして、更新手続きでは、この勝利素子の重みベクトルｍｃと、素子群の層において勝利素子の近傍にある素子（近傍素子）の重みベクトルｍｋとを、入力ベクトルｘに近づけるように更新する。これを数式で表現すると、次式のようになる。
ただし、Ｎｃは、素子群の層における勝利素子及び近傍素子を要素とする部分集合を表し、αは正の学習パラメタを表す。なお、Ｎｃは、更新回数に依存して変化するものであり、通常、更新回数の増加に応じて小さくなるように設定されている。また、αは、更新回数及び勝利素子からの距離に依存して変化するものであり、通常、更新回数及び距離の増加に応じて小さくなるように設定されている。
この学習を繰り返すことによって、入力ベクトルｘ（すなわち、画像の特徴ベクトル）の分布を反映する重みベクトル群ｍｋ（ｋ＝１，２,…,Ｋ）が生成される。換言すれば、重みベクトル群ｍｋは特徴ベクトルの分布を量子化したプロトタイプとなる。
また、勝利素子の重みベクトルが更新される際に、近傍素子の重みベクトルも更新されるため、２次元に配列された素子群において、隣接する素子同士は類似の重みベクトルを有することになる。これにより、学習後の自己組織化マップは、入力データ空間（すなわち、画像の特徴ベクトル空間）の位相を反映したプロトタイプの集合を形成したものとなる。
最後に、学習後の自己組織化マップに対して、グループに属する各画像の特徴ベクトルを順次入力ベクトルとして与え、各画像がどの素子に帰属するかを決定する。ここで、帰属素子の決定方法は、上記の勝利素子の決定方法と同じである。なお、同一素子に複数の画像が帰属する場合は、帰属する複数の画像のうち、最も素子の有する重みベクトルと近い特徴ベクトルを有する画像をその素子に配置し、残りの画像はその近傍に配置する。これにより、同一の素子に複数の画像が配置されてしまうことを回避することができる。
以上の処理を各グループについて行い、自己組織化マップにおける画像の帰属素子の位置関係を表すデータは、画像配置部１５に送信される。
なお、本実施形態では、好ましい実施形態として、勝利素子を求める類似性マッチングにおいて、上記複数の特性値に対して重み付けを行うこととする。具体的には、各レンジブロックについて算出された特性値のセットのそれぞれに対して、レンジブロックの位置に基づいた重み付けを行う。これに伴って、上述した類似性マッチングにおける式（８）が以下のように変更される。
ただし、Ｔはベクトルの転置を表し、Ｗは対角成分が重み係数となっている対角行列を表す。上記の式（８’）は、入力ベクトルｘと重みベクトルｍｋとの各成分の差の自乗の総和（すなわち、入力ベクトルｘと重みベクトルｍｋとの距離の自乗）を算出する際に、自乗した各値に対して、レンジブロックの位置に基づいた重み係数を乗算し、得られる総和が最も小さくなる重みベクトルを有する素子を勝利素子とすることを意味している。なお、同一のレンジブロックについて求められた５つ（カラー画像の場合は１５個）の特性値に対しては、同一の重み係数を乗算する。
ここで、対角行列Ｗの対角成分（すなわち重み係数）は、画像の中心からレンジブロックまでの距離に基づいた値とすることができる。例えば、各画像のレンジブロックが４×４＝１６個の場合、各レンジブロックＲｉ（ｉ＝１，２，…，１６）の座標（ｘｉ，ｙｉ）を図７のように定義し、重みｗｉを、次式に示すガウス分布に基づいて設定してもよい。
ただし、σは任意の好適な値である。
上記の場合において、各画像の特徴ベクトル（すなわち入力ベクトルｘ）が、
（ただし、上記のベクトルの各要素において、右肩についている数値はレンジブロックの番号を表す）であるとすると、式（８’）における対角行列Ｗは８０行×８０列となり、図８のようになる。
各レンジブロックについて求められた特性値に対して、レンジブロックの位置に基づいた重み付けを行うことには、以下の利点がある。通常、画像の中心には撮像対象となる被写体が含まれる傾向がある。よって、画像の類似性を判断する際には、被写体の存在する可能性が高い画像の中心付近を重点的に評価することが好ましい。上記の構成によれば、レンジブロックが画像の中心に近いほど重み係数ｗｉの値が大きくなるため、勝利素子の判定において、画像の中心領域に関する特性値がより重視されることになる。これにより、類似性の判断を一層精確に行うことができる。
また、重みを、画像の中心からレンジブロックの位置までの距離ではなく、被写体の位置からレンジブロックの位置までの距離に基づいて与えてもよい。上述したように、Ｅｘｉｆ形式では、被写体位置のデータを画像ファイルに含めることもできる。よって、撮像環境データとして被写体位置データを取得しておけば、この被写体位置データが示す位置からレンジブロックまでの距離に基づいて重み付けを行うこともできる。このようにすることによって、類似性の判断を一層精確に行うことができる。
〔画像配置部、画像配置工程〕
画像配置部１５は、一覧表示する際のサムネイル画像の表示位置を決定する。このとき、画像配置部１５は、非階層的分類部１６によって作成されたグループと、自己組織化マッピング部１４において作成された、グループごとの自己組織化マップとに基づいて、位置を決定する。位置を決定するにあたっては、同一グループに所属する画像がひとまとまりになり、かつ、各グループ内では自己組織化マップに基づいて決定された位置関係になるようにすればよい。具体的には、例えば以下のように行うことができる。
まず、画像を一覧表示する仮想的な表示領域を設定し、その表示領域をグループ数だけ分割する。そして、分割された各表示領域に、自己組織化マップに基づいた位置関係になるように、画像を配置する。
そして、画像配置部１５は、このようにして画像の配置が行われた一覧画像データを作成する。ここで、一覧表示される画像は、撮像した画像そのままであってもよいし、表示領域に収まるようにサイズを縮小した画像であってもよい。すなわち、一覧表示する際に用いるサムネイル画像は、元画像そのままであってもよいし、縮小（又は拡大）したものであってもよい。このようにして作成された一覧画像データは、表示部２０に送られる。
ここまで説明したように、本実施形態の画像一覧表示装置１は、画像を撮像した際の日時を示す撮像日時データが付随した画像データを取得する撮像日時データ付き画像データ取得部１１と、撮像日時に基づいて画像をグループに分類する非階層的分類部１６と、画像の特性を表す特性値を画像ごとに算出する特性値算出部１２と、この特性値を要素として含む特徴ベクトルを画像ごとに生成する特徴ベクトル生成部１３と、分類されたグループごとに、上記の特徴ベクトルに基づいて自己組織化マップを作成するとともに、作成した自己組織化マップにおける何れの素子に画像が帰属するかを決定する自己組織化マッピング部１４と、帰属素子の位置と、グループとに基づいて、仮想的な表示領域における画像の表示位置を決定する画像配置部１５と、を備えている。
自己組織化マップによれば、特徴ベクトルが類似する画像同士は、近接した位置に配置される。従って、類似の画像同士が近い位置に表示された一覧画像を得ることができる。さらに、撮像日時によって画像をグループに分類するため、同一のグループに属する画像は、同一の被写体が含まれる可能性が高くなる。ここで、同一のグループに所属する画像同士は、ひとかたまりとなるように配置されるので、類似の画像がかたまって表示された一覧画像を得ることができる。よって、ユーザは、撮像した数多くの画像を一覧した際に、どこにどのような画像が存在しているかを容易に把握できるようになる。
〔変形例・その他〕
上記の実施形態では、撮像環境データとして撮像日時データを用いた例を説明した。しかしながら、撮像日時データの代わりに、撮像した場所に関する撮像場所データを用いてもよい。図９は、撮像場所の分布を示した図である。
近年では、画像データを格納する画像ファイルに、タグ情報としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による測定情報を格納することも可能になっている。ＧＰＳによれば、撮像した場所の緯度及び経度、並びに撮像者の移動速度、進行方向等を測定することができる。これらのうち、撮像した場所の緯度及び経度を用いて画像を分類することができる。
この場合、各画像を撮像した場所の緯度及び経度を、撮像環境データとして画像データ取得部１１が取得し、取得した緯度及び経度に基づいて非階層的分類部１６が画像を複数のグループに分類する。ここで、複数のグループに分類する方法としては、非階層的なクラスターに分類できる周知慣用の各種手法を用いることができ、例えば、ｋ−ｍｅａｎｓ法などを用いることができる。これにより、画像を撮像した場所を、図９に示すように複数のグループに分類することができる。そして、撮像した場所が帰属するグループを、画像の所属するグループとすればよい。
通常、有名な建築物を撮像する場合や、展望台等から景色を撮像する場合には、略同一の場所において複数の画像を撮像することが多い。従って、撮像ポイントは、あらゆる緯度及び経度に均一に分布するのではなく、特定の領域に偏在する傾向にある。同時に、略同一の場所で撮像した画像には、同一の被写体が含まれている可能性が高い。よって、画像を撮像場所に基づいて複数のグループに分類することにより、類似した画像を近接して配置することを、一層精確に行うことができる。
なお、画像表示位置決定装置において、一覧表示するために取得する画像データは、撮像した画像のデータに限定されず、人工的に生成された画像のデータであってもよい。さらに、上記画像データは、静止画像のデータに限定されるものでもなく、動画データであってもよい。この場合、例えば、動画の先頭の１コマに相当する静止画像データを抽出し、これについて上述した各処理を行うことによって、動画のインデキシングを行うこともできる。
また、上記の実施形態では、画像取得部及び撮像環境データ取得部は、一体化した撮像環境データ付き画像データ取得部１１として構成されていたが、これらは別体になっていてもよい。この場合、撮像環境データは、画像データに付随されているものに限定されることはない。例えば、画像取得部がスキャナなどからデータを取り込む入力インターフェースを備えるとともに、撮像環境データ取得部がキーボードやマウスなどからデータを取り込む入力インターフェースを備えており、画像データをスキャナから取得し、撮像環境データ（日時データ、撮像場所データなど）をユーザによる入力よって別途取得する構成としてもよい。
最後に、画像表示位置決定部１０の各ブロック、特に特性値算出部１２、非階層的分類部１６、自己組織化マッピング部１４、及び画像配置部１５は、ハードウェアロジックによって構成してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。
ＣＰＵを用いてソフトウェアによって実現する場合、画像表示位置決定部１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム、及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、上述した機能を実現するソフトウェアである画像表示位置決定部１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像表示位置決定部１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、本発明の目的を達成することができる。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、画像表示位置決定部１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
［実施形態２］
本発明に係る画像表示位置決定装置の他の実施形態について図１６から図２０に基づいて説明すると以下の通りである。なお、上述した実施形態１と同様の部分については説明を省略する。まず、本実施形態の概要について説明する。
〔概要〕
本実施形態の画像一覧表示装置２は、複数の画像のサムネイル画像を一覧表示するための装置である。本実施形態では、撮像した画像を一覧表示する際に、まず複数の画像の中から２つの画像を取り出し、その画像同士の非類似度を算出する。そして、この非類似度の算出を全ての画像の組み合せについて行う。その後、２次元の表示領域に複数の画像を配置する。このとき、表示領域における各サムネイル画像同士の距離が、算出した非類似度に応じた距離になるように配置する。これにより、類似していない画像同士が離れた位置に配置され、類似する画像同士が近接して配置される。なお、画像間の非類似度の算出には、上述したフラクタル画像符号化法によって算出されるＩＦＳパラメタ値を用いる。
〔全体像〕
図１６は、画像一覧表示装置２の機能ブロック図である。画像一覧表示装置２は、概略的には、画像表示位置決定部（画像表示位置決定装置）１１０、サムネイル画像生成部２１、一覧画像生成部２２、及び表示部２０を備えている。
画像表示位置決定部１１０は、複数の画像のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定するためのものである。また、サムネイル画像生成部２１、一覧画像生成部２２、及び表示部２０は、上述した実施形態１と同様である。
画像表示位置決定部１１０は、詳細には、画像データ取得部（画像取得部）１１１、特性値算出部（特性値算出手段）１１２、非類似度算出部（非類似度算出手段）１１３、マッピング部（マッピング手段）１１４を備えている。
画像データ取得部（画像取得部）１１１は、複数の画像の画像データを、撮像日時データとともに取得するためのものである。取得する画像の種類としては特に限定されず、例えばディジタルカメラなどで撮像した画像であってもよいし、スキャナなどで取り込んだ画像であってもよいし、人工的に生成した画像であってもよい。
なお、画像データ取得部（画像取得部）１１１のハードウェア構成としては、画像データを取得できるものであれば特に限定されるものではなく、固定ディスク又はリムーバブルディスクからデータを読み込むことのできる入出力インターフェースや、他の通信端末装置からＬＡＮを介してデータを読み込むことのできる入出力インターフェース、或いはディジタルカメラやスキャナなどから画像データを取り込むことのできる入力インターフェースなどを備えていればよい。
特性値算出部（特性値算出手段）１１２は、画像データ取得部１１１によって画像データを取得した各画像について、フラクタル符号化法によってＩＦＳパラメタ値を算出するためのものである。ここで算出するＩＦＳパラメタは、上述した実施形態１におけるｘＤ，ｙＤ，θ，λ，ｓ，ｏ，ｅ，ｆである。
非類似度算出部（非類似度算出手段）１１３は、取得した画像について、各画像間の非類似度を算出するためのものである。ここで非類似度の算出は、全ての画像の組み合わせについて行う。例えば、３つの画像Ａ，Ｂ，Ｃがある場合、Ａ−Ｂ間、Ｂ−Ｃ間、Ａ−Ｃ間について非類似度を算出する。
マッピング部（マッピング手段）１１４は、上記の非類似度に基づいて、サムネイル画像の配置を決定するためのものである。より詳細には、一覧画像における各サムネイル画像間の距離が上記の非類似度に応じた距離になるように、各サムネイル画像の表示位置を決定する。例えば、３つの画像Ａ，Ｂ，Ｃ、及びそれぞれのサムネイル画像ａ，ｂ，ｃがある場合を仮定すると、一覧画像におけるサムネイル画像ａ−ｂ間の距離と、ｂ−ｃ間の距離と、ａ−ｃ間の距離との関係が、画像Ａ−Ｂ間の非類似度と、Ｂ−Ｃ間の非類似度と、Ａ−Ｃ間の非類似度との関係となるべく一致するようにする。
なお、上記の特性値算出部１１２、非類似度算出部１１３、及びマッピング部１１４は、ＣＰＵ等の演算装置がＲＯＭやＲＡＭ等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
次に、画像一覧表示装置２の概略的な動作について説明する。図１８は、画像一覧表示装置２の動作を示す工程図である。
まず、画像データ取得部１１１がディスク装置やディジタルカメラから画像データを取得する（Ｓ１１）。取得した画像データは、特性値算出部１１２及びサムネイル画像生成部２１に送られる。
次に、特性値算出部１１２が、画像データを取得した各画像について、フラクタル符号化法に基づいてＩＦＳパラメタ値を算出する（Ｓ１２）。ＩＦＳパラメタ値の算出方法は、上述した実施形態１と同様であり、本実施形態では、各画像について、レンジブロックごとにｘＤ，ｙＤ，θ，λ，ｓ，ｏ，ｅ，ｆの具体値を算出する。各画像について算出されたＩＦＳパラメタ値は、非類似度算出部１１３に送られる。
非類似度算出部１１３は、各画像間の非類似度をＩＦＳパラメタ値に基づいて算出する（Ｓ１３）。この非類似度は、全ての画像の組み合わせについて算出する。なお、非類似度の算出方法の詳細については後述する。算出された非類似度はマッピング部１１４に送られる。
次に、マッピング部１１４は、各サムネイル画像間の距離が上記の非類似度に応じた距離になるようにサムネイル画像の表示位置を決定する（Ｓ１４）。なお、表示位置の決定方法の詳細については後述する。決定された表示位置の情報は、一覧画像生成部２２に送信される。
一方、サムネイル画像生成部２１は、取得した各画像のサムネイル画像を作成する。生成されたサムネイル画像のデータは、一覧画像生成部２２に送られる。そして、一覧画像生成部２２は、各画像のサムネイル画像を、マッピング部１４によって決定された表示位置に配置した一覧画像を生成する（Ｓ１５）。そして、一覧画像のデータは表示部２０に送られ、表示部２０が一覧画像を表示する（Ｓ１６）
以上の処理により、類似した画像のサムネイル画像同士が近接して配置された一覧画像の表示を行うことができる。以下、非類似度算出部１１３及びマッピング部１１４について詳述する。
〔非類似度算出部／非類似度算出工程〕
非類似度算出部１１３は各画像間の非類似度をＩＦＳパラメタ値に基づいて算出する。ここで各画像が有するＩＦＳパラメタ値（特性値）の個数は、８種類（すなわちｘＤ，ｙＤ，θ，λ，ｓ，ｏ，ｅ，及びｆ）×レンジブロックの個数となる。このような画像の特性値を用いて、後続のマッピング工程において各サムネイル画像間の距離に対応させる非類似度を算出するわけであるが、各画像が有する特性値の個数は上述したように複数個ある。よって、非類似度を算出する際には、複数の特性値（すなわち複数次元のベクトル）から単一の成分（すなわちスカラー）からなる非類似度へと次元の縮約を行う必要がある。
その手法としては、例えば上述した実施形態１のように、各特性値を要素として含む特徴ベクトルを生成し、その特徴ベクトル同士のユークリッド距離を算出することによって各画像間の非類似度を算出してもよい。しかしながら、本実施形態では、好ましい実施形態として以下に示すより高度な手法を用いることとする。
図１７は、非類似度算出部１１３の詳細を示す機能ブロック図である。また、図１９は、非類似度算出工程の詳細を示す工程図である。図１７に示すように、非類似度算出部１１３は、図示しない記憶部に設けられた特性値データベース１３０、画像選択部（画像選択手段）１３１、再構成部（再構成手段）１３２、誤差値算出部（誤差値算出手段）１３３、及び誤差値平均部（誤差値平均手段）１３４を備えている。
特性値データベース１３０には、各画像の有するＩＦＳパラメタ値（特性値）が画像ごとに取り出し可能なように格納されている。この特性値データベース１３０は、ＲＡＭなどによって構成されている。
画像選択部１３１は、全画像の中から２つの画像を選択し、それぞれの画像の有するＩＦＳパラメタ値を特性値データベース１３０から取得するためのものである。なお、画像選択部１３１は、２つの画像の組み合わせを、全ての組み合わせが選択されるように順次選択するものとする。
再構成部１３２は、画像選択部１３１によって選択された２つの画像のうち、一方の画像が有するＩＦＳパラメタ値を用いて他方の画像を再構成して、再構成画像を作成するためのものである。具体的には、第１の画像のＩＦＳパラメタ値を用いて第２の画像を再構成し、第２の再構成画像を作成する。また、これとは逆に、第２の画像のＩＦＳパラメタ値を用いて第１の画像を再構成し、第１の再構成画像を作成してもよい。
誤差値算出部１３３は、上記の再構成前の画像と、再構成画像との輝度値を比較することによって、再構成前の画像と再構成画像との間の誤差値を算出する。この誤差値の算出は、第１の画像および第２の画像のそれぞれについて行われる。誤差値平均部１３４は、誤差値算出部１３３によって算出された２種類の誤差値を平均することによって非類似度を算出するためのものである。
なお、上記の画像選択部１３１、再構成部１３２、誤差値算出部１３３、及び誤差値平均部１３４は、ＣＰＵ等の演算装置がＲＯＭやＲＡＭ等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
このような非類似度算出部１１３において、まず、画像選択部１３１が、２つの画像を選択し、それぞれの画像のＩＦＳパラメタ値を特性値データベース１３０から取得する（Ｓ１３１）。以下、２つの画像をそれぞれ画像Ａ、画像Ｂという。そして、取得した画像Ａ及び画像ＢのＩＦＳパラメタ値は、それらの画像データとともに再構成部１３２に送られる。
ＩＦＳパラメタ値を取得した再構成部１３２は、まず、画像ＡのＩＦＳパラメタ値を用いて画像Ｂを再構成する。具体的には、画像Ｂの或るレンジブロックに対応するドメインブロックを、画像ＡのＩＦＳパラメタ値（ｘＤ，ｙＤ）に基づいて決定する。そして、対応するドメインブロックを、画像ＡのＩＦＳパラメタ値（θ，λ，ｓ，ｏ，ｅ，ｆ）を用いてアフィン変換し、変換したドメインブロックをレンジブロックに射影する（Ｓ１３３）。このアフィン変換は、上述した実施形態１の式（１）〜（３）を用いて行われる。
次に、アフィン変換が、全てのレンジブロックについて行われたかどうかを判定し（Ｓ１３３）、全てのレンジブロックについて行われていない場合には、ステップＳ１３２に戻り、次のレンジブロックについて同様の処理を行う。一方、アフィン変換が全てのレンジブロックについて行われた場合には、次のステップＳ１３４に進む。なお、上記のアフィン変換は、各レンジブロックについて一通り行うだけでもよいが、上記のステップＳ１３２及びＳ１３３を８〜１０セット程度繰り返すことが好ましい。ステップＳ１３２及びＳ１３３の処理を再構成という。
このようにして、画像Ｂを画像ＡのＩＦＳパラメタ値に基づいて再構成することによって作成された画像を画像Ｂ’とすると、誤差値算出部１３３は、画像Ｂと画像Ｂ’との輝度の誤差値を算出する（Ｓ１３４）。具体的には、画像に含まれる各画素の輝度値の差の自乗の総和を取り、それを画素数で除算して平方根をとることによって誤差値を算出する。すなわち、画像Ｂ及び画像Ｂ’がＭ×Ｎ画素で、画像Ｂの座標（ｘ，ｙ）における輝度値をｆＢ（ｘ，ｙ）、画像Ｂ’の座標（ｘ，ｙ）における輝度値をｆＢ’（ｘ，ｙ）とすると、誤差値Ｅ（Ａ→Ｂ）は、
と表すことができる。
このように、画像ＡのＩＦＳパラメタ値に基づいて画像Ｂを再構成し、再構成前と後の画像Ｂの輝度の誤差値をＥ（Ａ→Ｂ）とする。ここで、画像ＡのＩＦＳパラメタ値に基づいて画像Ｂを再構成したときの誤差値Ｅ（Ａ→Ｂ）と、画像ＢのＩＦＳパラメタ値に基づいて画像Ａを再構成したときの誤差値Ｅ（Ｂ→Ａ）とは、同一の値を持つとは限らない。よって、両方向について誤差値を算出することが好ましい。
そのために、この誤差値の算出が、両方向について行われたかどうかを判定し（Ｓ１３５）、両方向について行われていない場合には、ステップＳ１３２に戻り、同様の方法で誤差値Ｅ（Ｂ→Ａ）を算出する。そして、誤差値Ｅ（Ａ→Ｂ）、誤差値Ｅ（Ｂ→Ａ）の両方を算出した場合には、次のステップに進む。
次に、誤差値平均部１３４は、上記の誤差値Ｅ（Ａ→Ｂ）及びＥ（Ｂ→Ａ）を平均し、Ｅ（Ａ⇔Ｂ）を算出する。これを数式で表すと、
となる。そして、このＥ（Ａ⇔Ｂ）を画像Ａ−Ｂ間の非類似度とする。
以上のようにして、画像Ａ−Ｂ間の非類似度を算出することができるが、この非類似度を全ての画像間について算出する。すなわち、取得した画像が、画像Ａ，Ｂ，…，Ｚだけある場合、Ｅ（Ａ⇔Ｂ），Ｅ（Ａ⇔Ｃ），Ｅ（Ａ⇔Ｄ），…，Ｅ（Ｙ⇔Ｚ）というように、全ての画像の組み合わせについて、非類似度を算出する。そのために、全ての画像間について非類似度が算出されたかどうかを判定する（Ｓ１３７）。なお、算出された非類似度は、マッピング部１１４に送られる。
以上のように、非類似度算出部１１３は、一方の画像のＩＦＳパラメタ値に基づいて他方の画像を再構成し、再構成前後の画像における輝度の誤差値に基づいて非類似度を算出する。ここで、一方の画像のＩＦＳパラメタ値に基づいて他方の画像を再構成する際に、一方の画像の全てのＩＦＳパラメタ値に基づいて他方の画像を再構成する必要は必ずしもない。例えば、上記の画像Ａ，Ｂの例を用いて説明すると、画像Ｂにおいてアフィン変換する際に、アフィン変換に必要なＩＦＳパラメタのうち、ｘＤ，ｙＤを除くθ，λ，ｓ，ｏ，ｅ，ｆについては画像Ａのものを用い、ｘＤ，ｙＤについては画像Ｂのものを用いるようにしてもよい。換言すれば、画像Ｂを再構成する際に、画像Ａの一部のＩＦＳパラメタに基づいてもよいともいえる。
〔マッピング部／マッピング手段〕
マッピング部１１４は、一覧画像におけるサムネイル画像の位置を決定するが、この際に、一覧画像上での各サムネイル画像間の距離が、上記の非類似度に応じた距離になるようにする。
具体的には、マッピング部１１４は、図２０に示すように、２次元の仮想表示領域を設定し、さらに、各サムネイル画像を配置する座標を設定する。ここで、この仮想表示領域上での画像Ａと画像Ｂとの距離をＥ＊（Ａ⇔Ｂ）とする。なお、Ｅ＊（Ａ⇔Ｂ）は、画像Ａ及び画像Ｂの仮想表示領域における座標に基づいて算出することができる。この場合、取得した画像が、画像Ａ，Ｂ，…，Ｚだけあるとすると、画像Ａの位置は、次の式で表されるＥｒｒＡ
を最小にする位置であることが望まれる。また、画像Ｂ，Ｃ，…，Ｚも同様に、ＥｒｒＢ，Ｅｒｒｃ，…，ＥｒｒＺを最小にする位置であることが望まれる。
このような配置を求めるアルゴリズムとしては、ランダムサーチ、山登り法、焼きなまし法、遺伝的アルゴリズムなどの周知慣用の各種アルゴリズムを用いることができる。例えば、山登り法を用いる場合、まず、初期状態として仮想表示領域上に各画像をランダムに配置する。
次に、画像Ａを上、下、左、右、左上、右上、左下、右下の座標にそれぞれ移動させた場合と、移動させなかった場合とについて、それぞれ上記のＥｒｒＡを算出し、ＥｒｒＡの値が最も小さくなった位置を次段階の画像Ａの位置とする。そしてこれと同様の処理を画像Ｂから画像Ｚに対しても行う。このような処理を複数セット繰り返すことによって、各画像の位置は非類似度を反映した位置に近づいていく。そして、各画像が仮想表示領域上で移動しなくなった時点でこの処理を終了する。これにより、仮想表示領域上での各サムネイル画像の位置を決定することができる。
本発明の一実施例を図１０から図１５に基づいて説明する。本実施例では、本発明の有用性を検証するために以下の実験を行った。なお、以下の実施例１から３では、基本的に上述した実施形態１の構成を用いている。
〔実施例１〕
本実施例では、人工的に作成された画像を用いた例を示す。テスト画像として、図１０に示す、ＣＯＬＵＭＢＩＡ ＵＮＩＶＥＲＳＩＴＹ ＩＭＡＧＥ ＬＩＢＲＡＲＹ（ＣＯＩＬ−２０）から得られる１２８×１２８画素、モノクロ２５６階調の２０種類の画像と、これらの各画像に含まれるオブジェクトを１０°，２０°，…，７０°回転させた画像とを用意した。そして、これら１６０枚の画像を、画像一覧表示装置に入力した。
本実施例では、人工的に作成された画像を用いたため、撮像日時に応じた画像の分類は行わなかった。また、各画像の特性値には、上述したＩＦＳパラメタｘＤ，ｙＤを用いた。また、自己組織化マップの勝利素子の判定において、レンジブロックの位置に基づく重みは与えなかった。
図１１は、上記の条件に基づいて画像を一覧表示した結果を示す図である。図中において、同一のオブジェクトや類似したオブジェクトを含む画像同士はまとまって表示されている。このことから、類似した画像の判定が高精度に行われており、さらに、類似の画像が適切に近接して配置されることが検証された。なお、類似画像の高精度な判定は、本実施例で特徴ベクトルとして用いられているＩＦＳパラメタが、オブジェクトの回転等に伴う画像の変化に頑健であることに起因していると考えられる。
〔実施例２〕
本実施例では、ディジタルカメラによって撮像した自然画像を用いた例を示す。テスト画像には、４日間に渡って撮像され、画像サイズが５１２×３８４画素又は５６７×４２６画素で、２４ビットカラーのカラー画像２６７枚を用いた。
本実施例では、撮像日時に基づいて、画像を１時間ごとに区切られたグループに分類した。また、特性値には、実施例１と同様にＩＦＳパラメタｘＤ，ｙＤの値を用いた。ここで、レンジブロック及びドメインブロックは、撮像した画像サイズに比例した大きさとした。また、本実施形態ではカラー画像を用いているため、ｘＤ，ｙＤの値を色成分Ｙ，Ｃｂ，Ｃｒごとに求めた。そして、自己組織化マップに配置する素子数は、３×１１個とし、勝利素子の判定においてレンジブロックの位置に基づく重みは与えなかった。
図１２は、上記の条件に基づいて画像を一覧表示した結果の一部を示す図である。図中において、各グループには互いに類似する画像が多くまとめられている。また、３つのグループを選択し、拡大表示した結果を図１３に示す。図１３に示すように、同一グループ内においても、類似する画像がかたまって表示されていることが分かる。また、この傾向は、入力する画像のサイズ（解像度）に関係なかったことから、サイズ（解像度）の異なる画像に対しても有効であることが検証された。
〔実施例３〕
本実施例では、実施例２で用いられた画像のうち、ある一日に撮像された１０１枚の画像を用いた。特性値としては、ＩＦＳパラメタｘＤ，ｙＤに加えて、上述したｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔ、ＥＲＭＳも用いた。また、自己組織化マップの学習において勝利素子を求める際に、上述した実施形態にて説明したように、各特性値に対して、画像の中心からレンジブロックまでの距離に基づいた重みを与えた。なお、レンジブロックの数は４×４＝１６個とし、式（１０）におけるσを１とした。
図１４は、一覧表示した画像を示す図である。また、参考として、実施例２の条件で一覧表示した結果を図１５に示す。図１４を図１５と比べると、類似した画像同士が一層近接して配置されていることが分かる。よって、ｆａｖｅ Ｒｉ、ｆａｖｅ Ｄｏｐｔ、ＥＲＭＳを特性値として追加し、勝利素子の判定の際に重み付けを行うことによって、類似画像の判定精度が一層精確になることが検証された。
なお、本発明は上述した実施形態及び実施例に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明によれば、個人がディジタルカメラ等で撮影したディジタル画像を、画像の類似度に基づいてクラスタリングし、類似した画像が近接して配置された一覧画像を得ることができる。よって、個人フォトアルバムのユーティリティ等に好適に利用することができる。
本発明の一実施形態を示すものであり、画像一覧表示装置の要部構成を示す機能ブロック図である。 本発明の一実施形態を示すものであり、画像一覧表示装置の処理工程を示す工程図である。 本発明の一実施形態を示すものであり、画像一覧表示装置の表示方法のスキームを示す図である。 本発明の一実施形態を示すものであり、図１の特性値算出部の詳細構成を示す機能ブロック図である。 本発明の一実施形態を示すものであり、フラクタル画像符号化のスキームを示す図である。 本発明の一実施形態を示すものであり、自己組織化マップのスキームを示す図である。 本発明の一実施形態を示すものであり、レンジブロックの分割例と各レンジブロックの座標を示す図である。 本発明の一実施形態を示すものであり、重み付けに用いられる対角行列Ｗの例を示す図である。 本発明の一実施形態を示すものであり、撮像場所の分布と撮像場所に基づいたグループを示す図である。 実施例１において用いたモノクロ画像群を示す図である。 実施例１において一覧表示を行った結果を示す図である。 実施例２において一覧表示を行った結果の一部を示す図である。 実施例２において一覧表示を行った結果の一部を抽出し、拡大表示した図である。 実施例３において、特性値を増やすとともに重み付けを行った場合の一覧表示の結果を示す図である。 実施例３において、実施例２の条件で一覧表示を行った結果を示す図である。 本発明の一実施形態を示すものであり、画像一覧表示装置の要部構成を示す機能ブロック図である。 本発明の一実施形態を示すものであり、図１６の非類似度算出部の詳細構成を示す機能ブロック図である。 本発明の一実施形態を示すものであり、画像一覧表示装置の処理工程を示す工程図である。 本発明の一実施形態を示すものであり、図１８のステップＳ１３の詳細な処理工程を示す図である。 本発明の一実施形態を示すものであり、仮想表示領域を示す図である。
符号の説明
１ 画像一覧表示装置
２ 画像一覧表示装置
１０ 画像表示位置決定部（画像表示位置決定装置）
１１ 撮像日時データ付き画像データ取得部（画像取得部、撮像環境データ取得部）
１２ 特性値算出部
１３ 特徴ベクトル生成部（特徴ベクトル生成手段）
１４ 自己組織化マッピング部（自己組織化マッピング手段）
１５ 画像配置部（画像配置手段）
１６ 非階層的分類部（非階層的分類手段）
３１ レンジブロック作成部（レンジブロック作成手段）
３２ ドメインブロック作成部（ドメインブロック作成手段）
３３ ＩＦＳパラメタ算出部（座標算出手段）
３４ レンジブロック輝度算出部（レンジブロック輝度算出手段）
３５ ドメインブロック輝度算出部（ドメインブロック輝度算出手段）
３６ 非類似度算出部（非類似度算出手段）
１１０ 画像表示位置決定部（画像表示位置決定装置）
１１１ 画像データ取得部（画像取得部）
１１２ 特性値算出部（特性値算出手段）
１１３ 非類似度算出部
１１４ マッピング部（マッピング手段）
１３１ 画像選択部（画像選択手段）
１３２ 再構成部（再構成手段）
１３３ 誤差値算出部（誤差値算出手段）

Claims (16)

  1. 複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
    上記複数の画像である元画像を取得する画像取得部と、
    各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、
    各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、
    各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出手段と、
    上記座標算出手段によって各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、
    複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、
    上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、
    を備えていることを特徴とする、画像表示位置決定装置。
  2. 各元画像において、上記レンジブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第２の特性値として算出するレンジブロック輝度算出手段をさらに備え、
    上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記レンジブロック輝度算出手段によって各元画像について算出された第２の特性値を、要素としてさらに含めることを特徴とする、請求項１に記載の画像表示位置決定装置。
  3. 各元画像において、上記レンジブロックと最も似ているドメインブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第３の特性値として算出するドメインブロック輝度算出手段をさらに備え、
    上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記ドメインブロック輝度算出手段によって各元画像について算出された第３の特性値を、要素としてさらに含めることを特徴とする、請求項１又は２に記載の画像表示位置決定装置。
  4. 各元画像において、
    （ａ）上記レンジブロックと、
    （ｂ）そのレンジブロックと最も似ているドメインブロックに基づき、かつ上記レンジブロックとサイズが同じであるサイズ調整ドメインブロックと、
    の非類似度を、元画像の特性を表す第４の特性値として算出する非類似度算出手段をさらに備え、
    上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記非類似度算出手段によって各元画像について算出された第４の特性値を、要素としてさらに含めることを特徴とする、請求項１から３の何れか１項に記載の画像表示位置決定装置。
  5. 上記ドメインブロック作成手段が、上記レンジブロックと同じサイズのドメインブロックを作成することを特徴とする請求項１から４の何れか１項に記載の画像表示位置決定装置。
  6. 上記レンジブロック作成手段が、各元画像のサイズと実質的に比例したサイズを有するレンジブロックを作成し、
    上記ドメインブロック作成手段が、各元画像のサイズと実質的に比例した画素数でずらしながら、各元画像のサイズと実質的に比例したサイズを有する部分画像を切り出すことによって、ドメインブロックを作成することを特徴とする、請求項１から５の何れか１項に記載の画像表示位置決定装置。
  7. 各元画像について生成される上記特徴ベクトルが、異なる複数のレンジブロックについて算出された上記特性値を要素として含み、
    上記自己組織化マッピング手段が、自己組織化マップの学習において勝利素子の探索を行う際に、上記特徴ベクトルに含まれる各レンジブロックについて算出された上記特性値に対して、そのレンジブロックの元画像内における位置に基づいて重み付けを行うことを特徴とする、請求項１から６の何れか１項に記載の画像表示位置決定装置。
  8. 上記重み付けが、レンジブロックの位置と画像の中心との間の距離に応じたものであることを特徴とする、請求項７に記載の画像表示位置決定装置。
  9. 上記画像取得部が、画像内における被写体の位置を示す被写体位置データをさらに取得し、
    上記重み付けが、レンジブロックの位置と、上記被写体位置データによって示される画像内における被写体の位置との間の距離に応じたものであることを特徴とする、請求項７に記載の画像表示位置決定装置。
  10. 上記元画像が、撮像によって作成されたものであり、
    上記元画像を撮像した際の環境を示す撮像環境データを取得する撮像環境データ取得部と、
    上記撮像環境データに基づいて、元画像を非階層的な複数のグループに分類する非階層的分類手段と、をさらに備え、
    上記自己組織化マッピング手段が、上記の自己組織化マップの学習及び元画像の帰属する素子の位置の決定を、上記グループごとに行い、
    上記画像配置手段が、一覧画像を上記グループに対応する部分領域に分割し、部分領域におけるサムネイル画像の表示位置を、上記自己組織化マップにおける元画像の帰属する素子の位置に基づいてグループごとに決定することによって、一覧画像における各サムネイル画像の表示位置を決定することを特徴とする、請求項１から９の何れか１項に記載の画像表示位置決定装置。
  11. 複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
    上記複数の画像である元画像を取得する画像取得部と、
    各元画像について、フラクタル画像符号化法によってＩＦＳパラメタ値を算出する特性値算出手段と、
    複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択手段と、
    上記画像選択手段によって組み合わせが選択された２つの元画像について、上記ＩＦＳパラメタ値に基づいて当該２つの元画像間の非類似度を算出する誤差値算出手段と、
    一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、
    を備えていることを特徴とする、画像表示位置決定装置。
  12. 上記画像選択手段によって選択された２つの元画像における一方の元画像のＩＦＳパラメタ値を用いて他方の元画像を再構成して再構成画像を作成する再構成手段をさらに備え、
    上記誤差値算出手段は、上記他方の元画像と上記再構成画像との輝度の誤差値に基づいて、当該２つの元画像間における非類似度を算出することを特徴とする、請求項１１に記載の画像表示位置決定装置。
  13. 請求項１から１２の何れか１項に記載の各手段として、コンピュータを動作させるための画像表示位置決定プログラム。
  14. 請求項１３に記載の画像表示位置決定プログラムが記録されたコンピュータ読み取り可能な記録媒体。
  15. 複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
    上記複数の画像である元画像を取得する画像取得工程と、
    各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、
    各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、
    各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第１の特性値として算出する座標算出工程と、
    上記座標算出工程において各元画像について算出された第１の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、
    複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、
    上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、
    を含んでいることを特徴とする、画像表示位置決定方法。
  16. 複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
    上記複数の画像である元画像を取得する画像取得工程と、
    各元画像について、フラクタル画像符号化法によってＩＦＳパラメタを算出する特性値算出工程と、
    複数の元画像の中から、順次２つの元画像の組み合わせを選択する画像選択工程と、
    上記画像選択工程において組み合わせが選択された２つの元画像について、上記ＩＦＳパラメタに基づいて当該２つの元画像間の非類似度を算出する誤差値算出工程と、
    一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、
    を含んでいることを特徴とする、画像表示位置決定方法。
JP2005171324A 2005-06-10 2005-06-10 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 Active JP4565187B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005171324A JP4565187B2 (ja) 2005-06-10 2005-06-10 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005171324A JP4565187B2 (ja) 2005-06-10 2005-06-10 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2006344155A JP2006344155A (ja) 2006-12-21
JP4565187B2 true JP4565187B2 (ja) 2010-10-20

Family

ID=37641055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005171324A Active JP4565187B2 (ja) 2005-06-10 2005-06-10 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4565187B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5062819B2 (ja) * 2007-03-07 2012-10-31 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5059545B2 (ja) * 2007-10-23 2012-10-24 株式会社リコー 画像処理装置及び画像処理方法
US8180161B2 (en) 2007-12-03 2012-05-15 National University Corporation Hokkaido University Image classification device and image classification program
JP2009193187A (ja) * 2008-02-13 2009-08-27 Casio Comput Co Ltd 画像検索方法、画像検索システム、画像検索端末および検索用サーバー
JP5344715B2 (ja) * 2008-11-07 2013-11-20 国立大学法人北海道大学 コンテンツ検索装置およびコンテンツ検索プログラム
CN105183837B (zh) * 2015-09-02 2020-06-02 Tcl移动通信科技（宁波）有限公司 一种移动终端的缩略图列表视图显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164331A (ja) * 2002-11-13 2004-06-10 Fujitsu Ltd 画像検索方法、画像検索装置、および画像検索プログラム
JP2005063307A (ja) * 2003-08-19 2005-03-10 Fuji Photo Film Co Ltd 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164331A (ja) * 2002-11-13 2004-06-10 Fujitsu Ltd 画像検索方法、画像検索装置、および画像検索プログラム
JP2005063307A (ja) * 2003-08-19 2005-03-10 Fuji Photo Film Co Ltd 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム

Also Published As

Publication number Publication date
JP2006344155A (ja) 2006-12-21

Similar Documents

Publication Publication Date Title
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
Wang et al. Patch based blind image super resolution
US7978918B2 (en) Digital image cropping using a blended map
US20150371115A1 (en) Classification of land based on analysis of remotely-sensed earth images
KR101183391B1 (ko) 메트릭 임베딩에 의한 이미지 비교
JP4565187B2 (ja) 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体
US11636570B2 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
US20080019574A1 (en) Machine-controlled image cropping with default
Tuia et al. Nonconvex regularization in remote sensing
Zhu et al. Learning deep patch representation for probabilistic graphical model-based face sketch synthesis
He et al. Hyperspectral image spectral–spatial-range Gabor filtering
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Dou et al. Medical image super-resolution via minimum error regression model selection using random forest
Khwildi et al. HDR image retrieval by using color-based descriptor and tone mapping operator
WO2015120519A1 (en) Processing hyperspectral or multispectral image data
Hallabia et al. An optimal use of SCE-UA method cooperated with superpixel segmentation for pansharpening
CN111354076A (zh) 一种基于嵌入空间的单幅图像三维零件组合式建模方法
CN116825363B (zh) 基于融合深度学习网络的早期肺腺癌病理类型预测系统
Akram et al. A comparative study on face sketch synthesis
Yu et al. A hybrid indicator for realistic blurred image quality assessment
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
Indu et al. Survey on sketch based image retrieval methods
Nikfar et al. Optimization of multiresolution segmentation by using a genetic algorithm
Ziegelmeier et al. Stratifying high-dimensional data based on proximity to the convex hull boundary

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150