JP5213164B2 - 画像評価装置 - Google Patents

Description

本発明は、画像評価装置に関する。

従来、画像の作成された時刻や、撮影された時刻を基準に画像集合をクラスタリングし、撮影時刻の近い画像を一つのグループとしてまとめ、ユーザーが画像を閲覧する際に、「撮影時刻の近い画像グループ」を「同じイベント」に属するグループと見なして、このグループの画像をまとめて表示する手法が提案されている（例えば、特許文献１〜３参照）。これらのうち、例えば特許文献１に記載の発明では、撮影時間間隔に固定閾値を持たせ、当該閾値以下の画像群に関してグルーピングを行う処理を行っている。また、特許文献２に記載の発明では、撮影間隔の１次差分に関して閾値を設け、時間の粗密に応じて撮影間隔の閾値を変更し、クラスタリング処理を行う事を提案している。さらに、特許文献３に記載の発明では、撮影時刻でクラスタリング実行後、所定枚数よりも少ないクラスタに関しては、隣接するクラスタとマージ処理を行い、撮影間隔が疎な領域に関してサイズの大きなクラスタを生成するように処理を行う事を提案している。
特開２００７−１９３５９２号公報 特開２００７−０９４７６２号公報 特開２００７−１９９９２３号公報

しかしながら、このような特許文献１〜３に記載されている従来技術では、何れの場合でも、撮影間隔（若しくはその１次差分）に関して固定閾値を持つことを前提としており、様々なシチュエーションにより変化する撮影間隔に対応する事が難しいという課題があった。

本発明はこのような課題に鑑みてなされたものであり、撮影時刻の粗密に応じて画像をクラスタリングすることができ、その結果、撮影時間の近い同一イベントを表す画像集合を一度に表示することが可能な画像評価装置を提供することを目的とする。

前記課題を解決するために、本発明に係る画像評価装置は、画像及びこの画像の撮影時刻情報が関連付けられて記憶された記憶部（例えば、実施形態におけるデータベース１０３）と、この記憶部から画像及び撮影時刻情報を読み出し、当該撮影時刻情報に基づいて、撮影時刻が近い画像から構成されるクラスタであって、所属する画像枚数が閾値以下となるクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行部と、を有して構成される。

また、このような画像評価装置は、記憶部からクラスタ毎に画像を読み出して表示する画像表示部を有する。

このとき、クラスタリング実行部は、クラスタの各々に所属する画像枚数の閾値を画像表示部に表示可能な最大表示画像枚数としたときに、画像と関連づけられるクラスタの最小の数を決定し、クラスタ数が最小の数となるようにクラスタリング処理を実行してクラスタを生成する。

さらに、クラスタリング実行部は、生成されたクラスタのうち、所属する画像枚数が画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して、クラスタリング処理を再度実行して、当該クラスタを複数のクラスタに分割し、最終的に生成される全クラスタの所属画像枚数を、最大表示画像枚数以下とする。

さらに、クラスタリング実行部は、処理対象画像の枚数をｍとし、画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、生成するクラスタの数ｃを、次式
ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ）
により決定することが好ましい。

また、クラスタリング実行部は、所属する画像枚数が画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対してクラスタリング処理を再度実行するときに、最大表示画像枚数を超えたクラスタに属する画像枚数をｋとし、画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、当該クラスタを分割して生成するクラスタの数ｃ_kを、次式
ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ）
により決定することが好ましい。

また、クラスタリング実行部は、画像表示部に表示可能な最大表示画像枚数をｎとしたときに、クラスタリング処理の結果、所属する画像枚数がｎ／２以下の複数のクラスタが隣接するときに、所属する画像枚数がｎ以下となるように当該クラスタを結合して、１つのクラスタとすることが好ましい。

本発明に係る画像評価装置を以上のように構成すると、撮影時刻の粗密に応じて画像をクラスタリングすることができ、その結果、撮影時間の近い同一イベントを表す画像集合を一度に表示することが可能となる。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像評価装置１００の構成について説明する。図１に示すように、この画像評価装置１００は、装置全体を制御する制御部１０１と、画像及びこの画像の撮影時刻情報が関連付けられて記憶されたデータベース１０３（記憶部）と、制御部１００の指示により画像評価処理を行うＣＰＵ１０２と、このＣＰＵ１０２上でデータベース１０３の画像について撮影時刻が近い画像から構成されるクラスタを生成する（クラスタリング処理を実行する）クラスタリング実行部１０４と、クラスタリング処理の結果や途中計算などを一時的に保存する作業領域（Ｗｏｒｋ ＲＡＭ）１０５と、制御部１０１にクラスタリング開始指示を与えるクラスタリング開始スイッチ（Ｓ／Ｗ）１０６と、クラスタリング結果に基づいて画像を表示する画像表示部１０７とから構成される。

データベース１０３は、図２のようなデータ構造を有しており、画像が記憶される画像カラム１０３ａと、この画像の撮影時刻情報が記憶される撮影時刻情報カラム１０３ｂと、後述するクラスタリングの結果が記憶されるクラスタ番号カラム１０３ｃとを有し、１つの画像を１レコードとして管理される。なお、画像ファイル毎に、画像データそのものが管理される画像カラム１０３ａと、ヘッダ領域、撮影時刻情報などの属性情報が記憶される属性情報領域が記憶される撮影時刻情報カラム１０３ｂとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等が知られている。

（画像評価処理）
画像評価装置１００による画像評価処理について図３のフローチャートを合わせて用いて説明する。ユーザが、クラスタリング開始スイッチ１０６を押下すると、クラスタリング開始指示が制御部１０１に対して発信される（ステップＳ１００）。このクラスタリング開始指示を受信すると、制御部１０１はＣＰＵ１０２に対し、クラスタリング開始命令を発行する（ステップＳ２００）。ＣＰＵ１０２は、このクラスタリング開始命令を受信すると、データベース１０３に格納された画像に関連付けられて撮影時刻情報カラム１０３ｂに記憶されている撮影時刻情報を画像カラム１０３ａに記憶されている画像のファイルネーム（例えば、0001.jpgなど）と対応づけて、全データ分読み出す（ステップＳ３００）。この画像のファイルネームと対応づけられた撮影時刻情報の全体を「撮影時刻情報データセット」と呼ぶ。なお、この撮影時刻情報データセット、以下で説明するクラスタリングにおける演算結果、及びクラスタリング結果などの各種データは、作業領域１０５に一時的に記憶され、これらを各部が使用することにより、各部間のデータの受け渡しが行われる。

次に、ＣＰＵ１０２は、この撮影時刻情報データセットをクラスタリング実行部１０４に渡し、クラスタリング実行命令をクラスタリング実行部１０４に対して発行する（ステップＳ４００）。クラスタリング実行部１０４は、与えられた撮影時刻情報データセットを基にクラスタリング処理を実行する。すなわち、図７に示すように、撮影時刻情報データセットを基に画像を分類し、撮影時刻が近いもの同士でまとめて複数のクラスタを生成する。生成されたクラスタ数と、各撮影時刻情報に関連づけられた画像が何れのクラスタに属するかを表す計算結果（以下、クラスタリング結果と呼ぶ）とをＣＰＵ１０２に返す（ステップＳ５００）。ＣＰＵ１０２は、クリスタリング結果を取得し（ステップＳ６００）、受け取ったクラスタリング結果を基に、生成された全クラスタにクラスタ番号を昇順に付与するとともに、データベース１０３の各画像に対して画像毎に、属するクラスタのクラスタ番号を対応付けてデータベース１０３のクラスタ番号カラム１０３ｃに記憶する（ステップＳ７００）。例えば、本実施形態では、図７に示すように、画像が５つのクラスタにクラスタリングされ、各クラスタに、各々１〜５のクラスタ番号が付与されている。

ＣＰＵ１０２は、以上のクラスタリング処理（ステップＳ４００〜Ｓ７００）が終了した後、その旨を制御部１０１に通知する。制御部１０１はＣＰＵ１０２からクラスタリング処理終了の通知を受け取った段階で、データベース１０３にアクセスして画像、撮影時刻情報を含む画像データと、クラスタ番号とを全て読み込み、画像表示部１０７に対して各クラスタ毎に、同一クラスタにクラスタリングされた画像集合を順次表示するよう命令及び各画像を送信する（ステップＳ８００）。

画像表示部１０７は、制御部１０１からクラスタリング結果表示の命令及び画像データを受け取ると、予め決められた表示形式（画面レイアウト）に従ってクラスタリング結果であるところの各画像集合を、順次表示する（ステップＳ９００）。この画像の表示は、例えば、最大表示枚数ｎ＝２とした場合、図８（ａ）に示すような画面レイアウトに従って行われる。すなわち、画面１０の左右に２枚の画像２０が並んで表示される。以上が、画像評価装置１００による画像評価処理の動作である。

また、図８（ｂ）に、ｎ＝３の場合の画面レイアウトの例を、図８（ｃ）に、ｎ＝５の場合の画面レイアウトの例を示す。なお、以上では最大画像表示枚数ｎに応じて画面レイアウトを決定しているが、図８（ａ）〜（ｃ）に示す画像レイアウトを、各クラスタのクラスタサイズに応じて使い分けても良い。例えば、最大画像表示枚数ｎ＝５である場合に、クラスタサイズが２のクラスタについては、図８（ａ）に示す画面レイアウトを用いて画像を表示し、クラスタサイズが３のクラスタについては、図８（ｂ）に示す画面レイアウトを用いて画像を表示し、クラスタサイズが４及び５のクラスタについては、図８（ｃ）に示す画面レイアウトを用いて画像を表示する。このようにクラスタサイズに応じて画面レイアウトを変えて画像を表示することにより、画像表示部１０７への効率的な画像表示が可能となる。ここで、画像の表示方法は、選択されたレイアウトに定義されている形式（大きさや位置）に従う。

（クラスタリング処理）
次に、クラスタリング実行部１０４が、撮影時刻情報を基に行うクラスタリング処理（ステップＳ５００）の手順に関して、図４のフローチャートを基に説明する。クラスタリング実行部１０４は、ＣＰＵ１０２から撮影時刻情報データセットを取得し（ステップＳ５１０）、これらに対して、凝集的クラスタリングの一種である階層的クラスタリングを実行する（ステップＳ５２０）。この階層的クラスタリングに関しては、従来公知の手法を用いることができる。階層的クラスタリングを行った結果、特徴量に対応した画像に対して、図５に示すような系統図が作成される。

次に、生成するクラスタ数を決定する。まず、画像表示部１０７での最大表示画像枚数をｎとし、データベース１０３から読み出した画像枚数をｍとしたとき、生成するクラスタ数ｃを下記式（１）により決定する。ここで、ｃｅｉｌｉｎｇ（・）は切り上げ演算を意味する。この処理により、例えば、最大表示画像枚数ｎ＝２、画像枚数ｍ＝８の場合、クラスタ数ｃ＝４が算出される。

ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ） （１）

このクラスタ数ｃを基に、得られるクラスタ数がｃとなるよう系統図を切断して、クラスタリング結果を得る。例えば、上述のように画像枚数ｍ＝８の場合に、ｃ＝４となるよう系統図を切断した時のクラスタリング結果を図６に示す（以上、ステップＳ５３０）。

ここで、図６において、｛0006.jpg，0007.jpg，0008.jpg｝からなるクラスタは、画像枚数すなわちクラスタサイズｋが、画像表示部１０７の最大表示画像枚数ｎ＝２を超えるクラスタサイズとなっている。クラスタリング実行部１０４では、生成したクラスタサイズｋが最大表示画像枚数ｎ以下か判断し（ステップＳ５４０）、当該クラスタサイズｋが最大表示画像枚数ｎを超えるクラスタに関しては、そのクラスタに対し、再度階層的クラスタリング（系統図の切断）を実施する（ステップＳ５５０）。その際の生成するクラスタ数ｃ_kは次式（２）で決定する。

ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ） （２）

この図６に示す例の場合はｋ＝３、ｎ＝２であるため、ｃ_k＝ｃｅｉｌｉｎｇ（３／２）＝２となる。従って、４つのクラスタのうち、１つのクラスタが２つに分割されることになるので、この時点では、生成される全クラスタ数ｃは５となる。最終的に全てのクラスタのクラスタサイズがｎ以下になるまで、ステップＳ５５０の処理を繰り返す。図７に最終的に得られたクラスタリング結果の例を示す。

（クラスタの結合処理）
以上の実施形態では、クラスタリング処理において、クラスタサイズｋが最大表示画像枚数ｎ以下となるようクラスタリングを繰り返してクラスタを更に分割しているが、時間的に隣接するクラスタに属する画像のクラスタサイズが、ｎ／２等一定の閾値以下の場合、これらクラスタサイズが閾値以下の隣接するクラスタ同士をマージ（結合）して、クラスタサイズがｎに近いクラスタを生成するようにしても良い。この結合により、画像表示部１０７に画像数の少ない画面が多く表示されることがなく、画面数を少なくしてレイアウト性に優れたものとすることができ、またユーザが閲覧し易くなる。なお、当該クラスタと、その両隣のクラスタのクラスタサイズが閾値以下の場合のように、クラスタサイズが閾値以下のクラスタが３つ以上続く場合は、時間的に最も近いクラスタ同士を結合する

さらに、本実施形態ではクラスタリング手法として階層的クラスタリングを用いたが、クラスタリング手法としては、生成するクラスタの個数を制御できるものであれば従来公知の何れの手法を用いても良く、例えば階層的クラスタリングの代わりにＫ−ｍｅａｎｓクラスタリングや自己組織化マップ等のアルゴリズムを用いても良い。

以上より、従来は撮影間隔に関して固定閾値を持つことが前提であったため、様々なシチュエーションにより変化する撮影間隔に対応することが難しかったが、本実施形態の画像評価装置によれば、撮影時刻の粗密に応じて画像をクラスタリングすることができる。このとき、クラスタサイズに関しての制限が無い場合では、例えばクラスタリング結果を１画面に表示することを考えた際に、せっかく時間に対応したクラスタリング（すなわち、撮影イベントに応じた画像毎にグルーピングしたクラスタリング）を行ったとしても、その結果を画像表示する際に、画像出力デバイスの同時出力可能な画像枚数により制約されてしまうため、クラスタリング結果を無視した画像表示がなされてしまうことが考えられる。しかし、本実施形態の画像評価装置においては、クラスタサイズが画面の最大表示枚数以下になるよう、クラスタリングを繰り返すことにより、或いは、最大表示画像枚数に近くなるように時間的に隣接するクラスタを結合することにより、撮影時間の近い同一イベントを表す画像集合を一度に表示することが可能となる。

本実施形態の画像評価装置の構成を表すブロック図である。 データベースのデータ構造を示す説明図である。 本実施形態の画像評価装置で行われる画像評価処理手順を表すフローチャートである。 クラスタリング実行部におけるクラスタリング処理手順を表すフローチャートである。 階層的クラスタリングの結果得られる系統図を表す模式図である。 クラスタサイズｃ＝４で系統図を切断した結果を表す模式図である。 最終的に得られたクラスタリング結果の例を表す模式図である。 画像表示用の画面レイアウトに従って画像表示部に表示される画面の例を示す模式図であって、（ａ）は２枚の画像表示用の画面であり、（ｂ）は３枚の画像表示用の画面であり、（ｃ）は５枚の画像表示用の画面である。

符号の説明

１００ 画像評価装置 １０１ 制御部 １０３ データベース（記憶部）
１０４ クラスタリング実行部 １０７ 画像表示部

Claims (4)

1. 画像及びこの画像の撮影時刻情報が関連付けられて記憶された記憶部と、
   前記記憶部から前記画像及び前記撮影時刻情報を読み出し、当該撮影時刻情報に基づいて、撮影時刻が近い画像から構成されるクラスタであって、所属する画像枚数が閾値以下となるクラスタを生成するクラスタリング処理を実行し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行部と、
   前記記憶部から前記クラスタ毎に前記画像を読み出して表示する画像表示部と、を有し、
   前記クラスタリング実行部は、
   前記クラスタの各々に所属する画像枚数の前記閾値を前記画像表示部に表示可能な最大表示画像枚数としたときに、前記画像と関連づけられる前記クラスタの最小の数を決定し、
   前記クラスタ数が前記最小の数となるように前記クラスタリング処理を実行して前記クラスタを生成し、
   さらに、生成された前記クラスタのうち、所属する画像枚数が前記画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して、前記クラスタリング処理を再度実行して、当該クラスタを複数のクラスタに分割し、最終的に生成される全クラスタの所属画像枚数を、最大表示画像枚数以下とすることを特徴とする画像評価装置。
2. 前記クラスタリング実行部は、
   前記処理対象画像の枚数をｍとし、前記画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、生成する前記クラスタの数ｃを、次式
   ｃ＝ｃｅｉｌｉｎｇ（ｍ／ｎ）
   により決定する請求項１に記載の画像評価装置。
3. 前記クラスタリング実行部は、
   所属する画像枚数が前記画像表示部に表示可能な最大表示画像枚数を超えたクラスタに対して前記クラスタリング処理を再度実行するときに、
   前記最大表示画像枚数を超えた前記クラスタに属する前記画像枚数をｋとし、前記画像表示部に表示可能な最大表示画像枚数をｎとして、ｃｅｉｌｉｎｇ（・）を切り上げ演算処理としたとき、当該クラスタを分割して生成するクラスタの数ｃ_kを、次式
   ｃ_k＝ｃｅｉｌｉｎｇ（ｋ／ｎ）
   により決定する請求項１または２に記載の画像評価装置。
4. 前記クラスタリング実行部は、
   前記画像表示部に表示可能な最大表示画像枚数をｎとしたときに、前記クラスタリング処理の結果、所属する画像枚数がｎ／２以下の複数のクラスタが隣接するときに、所属する画像枚数がｎ以下となるように当該クラスタを結合して、１つのクラスタとする請求項１〜３のいずれか一項に記載の画像評価装置。

Images