JPWO2016006090A1 - 電子機器、方法及びプログラム - Google Patents

Abstract

一つの実施の形態に係る電子機器は、プロセッサと、表示制御部と、受け付け部と、を備える。前記プロセッサは、各画像が有する部分の特徴が第１分類基準に対応する複数の第１画像を第１グループに分類し、各画像が有する部分の特徴が前記第１分類基準とは異なる第２分類基準に対応する複数の第２画像を第２グループに分類する。前記表示制御部は、前記第１グループに含まれる複数の第１画像と、前記第２グループに含まれる複数の第２画像とをディスプレイ上に表示する。前記受け付け部は、前記第２グループに含まれる１以上の第２画像を、前記第１グループへ変更するための第１操作を受け付ける。前記プロセッサは、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する。

Description

本発明の実施形態は、電子機器、方法及びプログラムに関する。

画像認識により、例えばデジタルカメラによって撮影された写真（画像ファイル）を、当該写真に写る人物毎に自動分類するソフトウェアが知られる。このような自動分類による写真の分類結果は、間違っている場合がある。自動分類による分類結果をより正確にするために、ユーザが自動分類に係るパラメータを変更可能である場合がある。

特開２０１１−２２１７９１号公報

自動分類に係るパラメータの変更が分類結果にどう影響するかは、再び自動分類を実行するまでユーザには分かりにくい。

一つの実施の形態に係る電子機器は、プロセッサと、表示制御部と、受け付け部と、を備える。前記プロセッサは、各画像が有する部分の特徴が第１分類基準に対応する複数の第１画像を第１グループに分類し、各画像が有する部分の特徴が前記第１分類基準とは異なる第２分類基準に対応する複数の第２画像を第２グループに分類する。前記表示制御部は、前記第１グループに含まれる複数の第１画像と、前記第２グループに含まれる複数の第２画像とをディスプレイ上に表示する。前記受け付け部は、前記第２グループに含まれる１以上の第２画像を、前記第１グループへ変更するための第１操作を受け付ける。前記プロセッサは、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する。

図１は、一つの実施の形態に係る電子機器の外観を示す斜視図である。 図２は、一つの実施形態のタブレットのシステム構成の例を示す図である。 図３は、一つの実施形態のタブレットによって実行される画像管理プログラムの機能構成の例を示す図である。 図４は、一つの実施形態のＬＣＤに表示される画面を示す図である。 図５は、一つの実施形態のタブレットにおける画像クラスタリング処理の手順の一部を例示するフローチャートである。 図６は、一つの実施形態の画像の再分類がされた後の、ＬＣＤに表示される画面を示す図である。 図７は、一つの実施形態の画像の再分類がされた後の、ＬＣＤに表示される画面の他の例を示す図である。

以下に、一つの実施の形態について、図１乃至図７を参照して説明する。なお、実施形態に係る構成要素や、当該要素の説明について、複数の表現を併記することがある。当該構成要素及び説明について、記載されていない他の表現がされることは妨げられない。さらに、複数の表現が記載されない構成要素及び説明について、他の表現がされることは妨げられない。

図１は、一つの実施の形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、又はデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ（以下、タブレットと称する）１０として実現されている場合を想定する。タブレット１０は、スレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のスタイラスペン又は指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）であっても良い。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。

また、本体１１には、本体１１の前面側から画像（写真）を撮影するためのカメラモジュール１８が設けられている。なお、本体１１に、本体１１の背面側から画像を撮影するための他のカメラモジュールが設けられても良い。

図２は、タブレット１０のシステム構成の例を示す図である。タブレット１０は、図２に示されるように、中央演算処理装置（ＣＰＵ）１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カードコントローラ１１０、等を備える。

ＣＰＵ１０１は、タブレット１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、及び各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像管理プログラム２０２が含まれている。この画像管理プログラム２０２は、例えば、カメラモジュール１８を用いて撮影された画像（画像ファイル）、不揮発性メモリ１０６に格納された画像、外部記憶媒体や外部記憶装置から取り込まれた画像（インポートされた画像）等を管理する機能を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレット１０のディスプレイとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上には、本タブレット１０のセンサとして使用されるタッチパネル１７Ｂが配置されている。なお、ディスプレイはＬＣＤ１７Ａに限らず、有機ＥＬディスプレイのような他の装置であっても良い。

無線通信デバイス１０７は、無線ＬＡＮ又は３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレット１０を電源オン又は電源オフする機能を有している。

カメラモジュール１８は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示されたボタン（グラフィカルオブジェクト）をタッチ（タップ）したことに応じて、画像を撮影する。

カードコントローラ１１０は、カードスロット２５に挿入された記録メディア２５Ａとの通信を実行する。カードコントローラ１１０は、例えば、記録メディア２５ＡであるＳＤカードに格納された画像ファイルを読み出して不揮発性メモリ１０６に格納する際の通信等を実行する。

上述したように、タブレット１０によって実行される画像管理プログラム２０２は、複数の画像（画像ファイル）を管理する機能を有する。画像管理プログラム２０２は、例えば、複数の画像を人物又は物に基づいて分類することができる。

図３は、本タブレット１０によって実行される画像管理プログラム２０２の機能構成の例を示す図である。図４は、タブレット１０が画像管理プログラム２０２を実行することにより、ＬＣＤ１７Ａに表示される画面３０を示す図である。以下、図３及び図４を参照して、画像管理プログラム２０２について詳しく説明する。

図３に示すように、画像管理プログラム２０２は、例えば、画像取得部８１と、分類部分検出部８２と、特徴量算出部８３と、クラスタリング部８４と、表示制御部８５と、操作受付部８６と、閾値算出部８７とを備える。操作受付部８６は、受け付け部の一例である。

画像管理プログラム２０２は、タブレット１０に内蔵又は外部接続される記憶装置や記憶メディア、タブレット１０にネットワークを介して接続される別のコンピュータ内の記憶装置、等に格納される複数の画像（写真）を管理対象とすることができる。画像管理プログラム２０２の各部は、複数の画像を人物に基づいて分類し、図４の画面３０に分類結果を表示する。

図３の画像取得部８１は、管理対象の複数の画像を、タブレット１０に内蔵又は外部接続される記憶装置や記憶メディア、タブレット１０にネットワークを介して接続される別のコンピュータ内の記憶装置、等から取得する。なお、画像取得部８１は、画像に限らず、例えば画像の作成日時のような画像に関連付けられた情報（関連情報）を取得しても良い。画像取得部８１は、取得した複数の画像を、分類部分検出部８２に出力する。

分類部分検出部８２は、複数の画像から、例えば複数の顔画像を検出する。顔画像は、各画像が有する部分の一例である。顔画像は、一つの画像に複数含まれることがあり、また一つの画像に一つも含まれないこともある。

分類部分検出部８２は、例えば、画像に含まれる複数の画素の画素値を用いて、当該画像内の、顔画像が含まれると推定される領域（顔画像領域）を検出する。この顔画像領域は、例えば、顔画像に外接する矩形領域である。分類部分検出部８２は、検出された顔画像領域を示すデータを特徴量算出部８３に出力する。

特徴量算出部８３は、検出された顔画像領域に含まれる画素の画素値を用いて、当該顔画像の特徴量（例えば、顔画像領域内の物体の色や形状を表す特徴量）を算出する。分類部分検出部８２によって複数の画像から複数の顔画像が検出されている場合、特徴量算出部８３は、それら複数の顔画像に対応する複数の特徴量を算出する。

なお、画像の特徴量を抽出する手法としては、例えば、領域ベースエッジ画像認識技術に基づく特徴検出や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などの特徴量に基づく特徴検出などが挙げられる。これらの手法を用いることにより、特徴量算出部８３は、例えばＱＲコード（登録商標）のような特殊な情報が付加されていない画像に対しても特徴量の検出を行うことができる。

クラスタリング部８４は、検出された複数の顔画像に基づいて、それら複数の顔画像を含む複数の画像（写真）を複数のグループ（クラスタ）に分類する。より具体的には、クラスタリング部８４は、特徴量算出部８３によって算出された顔画像の特徴量に基づいて、各々が顔画像を含む複数の画像（写真）をクラスタリングする。クラスタリング部８４は、複数の顔画像を類似する顔画像毎に分類することによって、その顔画像を含む画像（写真）をグループ（例えば第１乃至第４のグループ３１〜３４）に分類する。つまり、クラスタリング部８４は、同一の人物の顔であると推定される顔画像含む画像（写真）を同一のグループに分類する。

例えば、クラスタリング部８４は、検出された複数の顔画像に基づいて、第１顔（第１の人物の顔）に対応する一以上の画像を第１のグループに分類し、第２顔（第２の人物の顔）に対応する一以上の画像を第２のグループに分類し、……第ｎ顔（第ｎの人物の顔）に対応する一以上の画像を第ｎのグループに分類する。このように、クラスタリング部８４は、複数の画像に含まれる顔写真の人物の数に応じた個数のグループを生成する。なお、クラスタリング部８４は、分類を間違えたり、同一人物が存在しない顔画像を含む画像を「その他」グループに分類したりするため、複数の画像に含まれる顔写真の人物の数は生成されたグループの数と異なって良い。

複数の顔画像を含む一つの画像は、複数のグループに分類され得る。クラスタリング部８４は、例えば、複数の画像の内の第１画像（写真）から、第１顔に対応する画像と第２顔に対応する画像とが検出された場合、この第１画像（写真）を、第１のグループと、第２のグループとの双方に分類する。また、クラスタリング部８４は、複数の画像の内の第２画像（写真）から、第１顔に対応する画像、又は第２顔に対応する画像の少なくとも一方が検出された場合であっても、第１顔に対応する画像、又は第２顔に対応する画像の撮影状態によっては、第１のグループ、又は第２のグループに分類しなくても良い。この第１顔に対応する画像、又は第２顔に対応する画像の撮影状態とは、第１顔に対応する画像、又は第２顔に対応する画像の位置、又はフォーカス（例えば、顔に焦点が合っていて、鮮明であるかどうか）の少なくとも一方である。

また、画像を分類する手法としては、例えばＫ−ｍｅａｎｓ法や最短距離法などのデータクラスタリング手法が挙げられる。クラスタリング部８４は、例えば、閾値（分類基準）を用いるこれらのデータクラスタリング手法によって画像を分類する。閾値は、第１分類基準及び第２分類基準の一例である。すなわち、クラスタリング部８４は、顔画像の特徴量と閾値とに基づいて、画像を複数のグループに分類する。なお、データクラスタリング手法は、階層的手法であっても非階層的手法であっても良い。クラスタリング部８４は、予め用意された人物毎の顔画像の特徴量を用いて、各グループに対応する人物を認識しても良い。

クラスタリング部８４は、顔画像の特徴量のみでなく、例えば、画像取得部８１が取得した関連情報を用いて画像を分類しても良い。例えば、関連情報として当該画像に写る人物の情報が設定されている場合、クラスタリング部８４は、当該関連情報を用いて画像の分類を行って良い。

図４に示すように、クラスタリング部８４は、例えば、複数の画像を第１のグループ３１と、第２のグループ３２と、第３のグループ３３と、第４のグループ３４とに分類する。第１のグループ３１は、第１グループの一例である。第３のグループ３３は、第２グループの一例である。

例えば、複数の顔画像４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ，４１Ｅ，４１Ｆ，４１Ｇ，４１Ｈを含む画像は、第１のグループ３１に属する。すなわち、クラスタリング部８４は、ある閾値を用いた分類においては、複数の顔画像４１Ａ〜４１Ｈを、同一の人物の顔を示す顔画像であると推定する。

複数の顔画像４２Ａ，４２Ｂ，４２Ｃ，４２Ｄを含む画像は、第２のグループ３２に属する。すなわち、クラスタリング部８４は、ある閾値を用いた分類においては、複数の顔画像４２Ａ〜４２Ｄを、同一の人物の顔を示す顔画像であると推定する。

複数の顔画像４３Ａ，４３Ｂを含む画像は、第３のグループ３３に属する。すなわち、クラスタリング部８４は、ある閾値を用いた分類においては、複数の顔画像４３Ａ，４３Ｂを、同一の人物の顔を示す顔画像であると推定する。

複数の顔画像４４Ａ，４４Ｂ，４４Ｃ，４４Ｄ，４４Ｅ，４４Ｆ，４４Ｇ，４４Ｈ，４４Ｉ，４４Ｊを含む画像は、第４のグループ３４に属する。第４のグループ３４は「その他」のグループである。すなわち、クラスタリング部８４は、ある閾値を用いた分類においては、複数の顔画像４４Ａ〜４４Ｊを、同一の人物の顔を示す顔画像が存在しないと推定する。

表示制御部８５は、クラスタリング部８４による画像の分類結果に基づいて、図４のようにグループ毎に顔画像４１Ａ〜４１Ｈ，４２Ａ〜４２Ｄ，４３Ａ，４３Ｂ，４４Ａ〜４４Ｊを画面３０に表示する。言い換えると、表示制御部８５は、顔画像のリストを画面３０に表示する。なお、表示部８５は、顔画像に限らず、例えば縮小された画像を画面３０に表示しても良い。

表示制御部８５は、第１のグループ３１に属する複数の顔画像４１Ａ〜４１Ｈを集めて画面３０に表示する。表示制御部８５は、顔画像４１Ａ〜４１Ｈとともにサムネイル３１Ａを表示する。サムネイル３１Ａは、第１のグループ３１に属する複数の顔画像４１Ａ〜４１Ｈを含む画像からランダムに選ばれる。

表示制御部８５は、第２のグループ３２に属する複数の顔画像４２Ａ〜４２Ｄを集めて画面３０に表示する。表示制御部８５は、顔画像４２Ａ〜４２Ｄとともにサムネイル３２Ａを表示する。サムネイル３２Ａは、第２のグループ３２に属する複数の顔画像４２Ａ〜４２Ｄを含む画像からランダムに選ばれる。

表示制御部８５は、第３のグループ３３に属する複数の顔画像４３Ａ，４３Ｂを集めて画面３０に表示する。表示制御部８５は、顔画像４３Ａ，４３Ｂとともにサムネイル３３Ａを表示する。サムネイル３３Ａは、第３のグループ３３に属する複数の顔画像４３Ａ，４３Ｂを含む画像からランダムに選ばれる。

表示制御部８５は、第４のグループ３４に属する複数の顔画像４４Ａ〜４４Ｊを集めて画面３０に表示する。表示制御部８５は、顔画像４４Ａ〜４４Ｊとともにサムネイル３４Ａを表示する。サムネイル３４Ａは、第４のグループ３４に属する複数の顔画像４４Ａ〜４４Ｊを含む画像からランダムに選ばれる。

以上のように、表示制御部８５は、画像の一部である複数の顔画像をグループ毎に画面３０に表示する。なお、クラスタリング部８４は、同一の人物の顔を示す顔画像が存在しないと推定される複数の顔画像４４Ａ〜４４Ｊを、上述のように第４のグループ３４に分類しても良いが、個別にグループに分類しても良い。この場合、一つの顔画像（個々の顔画像４４Ａ〜４４Ｊ）のみが属する複数のグループが生成される。すなわち、グループに属する画像は、一つであっても良いし、複数であっても良い。

表示制御部８５は、顔画像を階層表示しても良い。例えば、表示制御部８５は、第１乃至第４のグループ３１〜３４のサムネイル３１Ａ〜３４Ａのみを画面３０に表示し、ユーザがサムネイル３１Ａ〜３４Ａをタッチ操作したときに各グループ３１〜３４の顔画像を個別に表示しても良い。このように、表示制御部８５が画面３０に表示する画像の分類結果は、図４に示すものに限られない。

表示制御部８５は、画面３０の全体の表示についても行う。表示制御部８５は、画面３０に、プレビュー部５１と、選択解除ボタン５２と、グループ結合ボタン５３と、グループ削除ボタン５４と、グループ追加ボタン５５と、再分類ボタン５６とをさらに表示する。

プレビュー部５１は、例えば、複数の顔画像４１Ａ〜４１Ｈ，４２Ａ〜４２Ｄ，４３Ａ，４３Ｂ，４４Ａ〜４４Ｊを含む画像からランダムに選ばれた画像の一部を拡大して表示する。

選択解除ボタン５２、グループ結合ボタン５３、グループ削除ボタン５４、グループ追加ボタン５５、及び再分類ボタン５６は、画面３０に表示されたボタン（グラフィカルオブジェクト）である。ユーザが選択解除ボタン５２、グループ結合ボタン５３、グループ削除ボタン５４、グループ追加ボタン５５、又は再分類ボタン５６を操作したことに応じて、操作受付部８６は、後述の種々の処理を行う。

操作受付部８６は、例えばユーザがタッチパネル１７Ｂに指又はスタイラスペン（以下、指等と称する）で触れたり、指等を移動させたりすることで、タッチパネル１７Ｂが検知した指等の挙動をタッチ操作、長押し操作、及び移動操作のような種々のイベントとして入力する。

操作受付部８６は、ユーザが行うグループや顔画像の上でタッチ操作、長押し操作、及び移動操作に応じて、例えば、顔画像及びグループの選択や、顔画像のグループ間での移動のような種々の処理を行う。

操作受付部８６は、画面３０におけるユーザの操作に応じて、複数の顔画像４１Ａ〜４１Ｈ，４２Ａ〜４２Ｄ，４３Ａ，４３Ｂ，４４Ａ〜４４Ｊを含む画像を、第１乃至第４のグループ３１〜３４の間で移動させる。例えば、画面３０の顔画像４３Ａが表示された位置をユーザが指等で長押し操作し、当該指等を第１のグループ３１が表示される位置へ移動させると、操作受付部８６は、顔画像４３Ａを第１のグループ３１に移動（再分類）させる。言い換えると、操作受付部８６は、一つのグループに含まれる１以上の画像を、他のグループへ変更するための操作を受け付ける。なお、画像を移動するための操作はこれに限られない。

また、操作受付部８６は、例えば、ユーザが画面３０のサムネイル３１Ａが表示された位置に触れると、第１のグループ３１を選択された状態にする。また、操作受付部８６は、例えば、ユーザが画面３０の顔画像４１Ａが表示された位置で長押し操作をすると、顔画像４１Ａが選択された状態にする。他のグループ及び他の顔画像も、同様に選択される。表示制御部８５は、選択された状態のグループ及び顔画像を、例えば選択枠６１で囲んで示す。

ユーザが選択解除ボタン５１を操作すると、操作受付部８６は、ユーザの操作による顔画像及びグループの選択操作を解除する。選択解除ボタン５２は、例えば、ユーザが画面３０の選択解除ボタン５２が表示された位置にタッチ（タップ）操作することにより操作される。選択解除ボタン５２は、例えばマウスによるクリック操作によって操作されても良い。なお、グループ結合ボタン５３、グループ削除ボタン５４、グループ追加ボタン５５、再分類ボタン５６も、同様に操作される。

ユーザがグループ結合ボタン５３を操作すると、操作受付部８６は、選択された状態の複数のグループを結合する。言い換えると、操作受付部８６は、選択された一つのグループに、選択された他の少なくとも一つのグループに属する画像を移動させる。例えば、図４のように第１のグループ３１と第３のグループ３３とが選択されている場合、操作受付部８６は、第３のグループ３３に属する顔画像４３Ａ，４３Ｂを含む画像を、第１のグループ３１に移動させる。

ユーザがグループ削除ボタン５４を操作すると、操作受付部８６は、選択された状態の少なくとも一つのグループを削除する。言い換えると、操作受付部８６は、選択されたグループに属する画像を、「その他」のグループである第４のグループ３４に移動させる。例えば、図４のように第１のグループ３１と第３のグループ３３とが選択されている場合、操作受付部８６は、第１のグループ３１及び第３のグループ３３に属する顔画像４１Ａ〜４１Ｈ，４３Ａ，４３Ｂを、第４のグループ３４に移動させる。

ユーザがグループ追加ボタン５５を操作すると、操作受付部８６は、画像を含まない（ブランクの）新たなグループを追加する。ユーザは、追加されたグループに顔画像を移動させることができる。例えば、クラスタリング部８４が一つのグループに誤って二人の人物の画像を分類した場合、ユーザは、新たなグループを追加し、当該新たなグループに一方の人物の画像を移動させることができる。

再分類ボタン５６が操作されると、操作受付部８６は、クラスタリング部８４に複数の画像を再度分類させる。そして、表示制御部８５は、新たな分類結果を画面３０に表示する。画像の再分類については後述する。

以上のように、操作受付部８６は、画像の移動、複数のグループの結合、グループの削除、グループの追加などを行う。このように、操作受付部８６は、ユーザによる複数のグループ間での画像の移動操作を受け付ける。操作受付部８６は、これに限らず、ユーザによる種々の操作を受け付ける。

閾値算出部８７は、ユーザによる複数のグループ間での画像の移動操作の結果に基づき、クラスタリング部８４が使用する分類のための閾値を算出する。本実施形態において、クラスタリング部８４は、グループ毎に設定された複数の閾値を用いて分類を行う。このため、閾値算出部８７は、複数の閾値を個別に算出する。なお、クラスタリング部８４は、一つの閾値を用いて全ての顔画像を分類しても良い。この場合、閾値算出部８７は、当該閾値を算出する。

以下、具体例を挙げて説明する。例えば、ユーザが第１のグループ３１と第３のグループ３３との結合操作を行うことで、顔画像４３Ａ，４３Ｂが第１のグループ３１に移動する。

このような操作がされると、閾値算出部８７は、クラスタリング部８４が顔画像４３Ａ，４３Ｂを第１のグループ３１に分類するような閾値を算出する。閾値算出部８７は、第１のグループ３１に関する個別の閾値である第１の閾値を算出する。第１の閾値は、第１分類基準の一例である。

また、閾値算出部８７は、クラスタリング部８４が顔画像４３Ａ，４３Ｂを第３のグループ３３から外すような閾値を算出する。閾値算出部８７は、例えば、第３のグループ３３に関する個別の閾値である第３の閾値を算出する。第３の閾値は、第２分類基準の一例であり、第１の閾値とは異なる。

閾値算出部８７は、算出した閾値をクラスタリング部８４に出力する。クラスタリング部８４は、既存の閾値を、閾値算出部８７から取得した新たな閾値に変更する。言い換えると、クラスタリング部８４は、閾値算出部８７から取得した閾値を記憶することで、クラスタリングに使用する閾値を更新する。

別の表現をすれば、閾値算出部８７は、第３のグループ３３から第１のグループ３１に変更になった顔画像４３Ａ，４３Ｂを用いて、新たな第１の閾値及び第３の閾値を算出する。クラスタリング部８４は、第１の閾値と第３の閾値とを、閾値算出部８７が算出した新たな第１の閾値及び第３の閾値に変更する。

クラスタリング部８４は、ユーザが再分類ボタン５６を操作すると、画像の再分類を行う。すなわち、クラスタリング部８４は、顔画像の特徴量と、ユーザの移動操作が反映された変更後の閾値（第１の閾値や第３の閾値）と、に基づいて画像を複数のグループに再分類する。

表示制御部８５は、クラスタリング部８４が画像を複数のグループに再分類すると、クラスタリング部８４による画像の分類結果に基づいて、グループ毎に顔画像を画面３０に表示する。すなわち、表示制御部８５は、変更された閾値に基づいて分類されたグループ毎に、顔画像を画面３０に表示する。

次いで、図５のフローチャートを参照して、タブレット１０によって実行される画像クラスタリング処理の手順の例を説明する。図５は、タブレット１０における画像クラスタリング処理の手順の一部を例示するフローチャートである。

まず、画像取得部８１が、複数の画像（複数の写真）を取得する（ステップＳ１１）。分類部分検出部８２は、複数の画像の各々に含まれている顔画像を検出する（ステップＳ１２）。

次に、特徴量算出部８３は、検出された顔画像に含まれる画素の画素値を用いて、当該顔画像の特徴量を算出する（ステップＳ１３）。特徴量算出部８３は、分類部分検出部８２によって複数の画像から複数の顔画像が検出されている場合、それら複数の顔画像に対応する複数の特徴量を算出する。

次に、クラスタリング部８４は、算出された顔画像の特徴量と、閾値と、に基づいて、複数の顔画像をクラスタリングする（ステップＳ１４）。なお、クラスタリング部８４は、最初のクラスタリングにおいて、例えば予め設定された閾値を用いる。クラスタリング部８４は、複数の顔画像を、類似する顔画像毎のクラスタ（グループ）に分類する、つまり、クラスタリング部８４は、同一の人物の顔であると推定される顔画像を同一のクラスタに分類する。クラスタリング部８４は、例えば主メモリ１０３に分類結果を記憶する。

次に、表示制御部８５は、分類結果に基づき、グループ毎に顔画像を画面３０に表示する（ステップＳ１５）。表示制御部８５が分類結果を画面３０に表示すると、操作受付部８６は、複数のグループ間での画像の移動操作を受け付け可能な状態に移行する。そして、操作受付部８６は、ユーザによる複数のグループ間での画像の移動操作があったか否かを判断する（ステップＳ１６）。

例えば、第１のグループ３１に分類された顔画像４１Ａ〜４１Ｈが示す人物と、第３のグループ３３に分類された顔画像４３Ａ，４３Ｂが示す人物と、が同一人物であった場合、ユーザは、第１のグループ３１と第３のグループ３３とを選択する。ユーザは、グループ結合ボタン５３を操作することで、第１のグループ３１と第３のグループ３３とを結合する。これにより、第３のグループ３３の顔画像４３Ａ，４３Ｂが第１のグループ３１に移動し（変更され）、同一人物を示す顔画像４１Ａ〜４１Ｈ，４１Ａ，４１Ｂが第１のグループ３１に纏まる。

例えば上記のような画像の移動操作がされると（ステップＳ１６：Ｙｅｓ）、閾値算出部８７は、ユーザによる複数のグループ間での画像の移動操作の結果に基づき、新たな閾値（第１の閾値や第３の閾値）を算出する。クラスタリング部８４は、クラスタリングに用いる閾値を、閾値算出部８７が算出した新たな閾値に変更する（ステップＳ１７）。

次に、操作受付部８６は、ユーザが再分類ボタン５６を操作したか否かを判断する（ステップＳ１８）。ユーザが再分類ボタン５６を操作せず（ステップＳ１８：Ｎｏ）、画像管理プログラム２０２を終了しない場合（ステップＳ１９：Ｎｏ）、操作受付部８６は、画像の移動操作の受け付けを続ける（ステップＳ１６）。閾値算出部８７は、ユーザによる複数のグループ間での画像の移動操作がされる度に（ステップＳ１６：Ｙｅｓ）、新たな閾値を算出する（ステップＳ１７）。

画像の移動操作の後に、ユーザが再分類ボタン５６を操作した場合（ステップＳ１８：Ｙｅｓ）、クラスタリング部８４は、顔画像の特徴量と、変更された閾値とに基づいて、複数の顔画像をクラスタリング（再分類）する（ステップＳ１４）。表示制御部８５は、再分類の結果に基づき、グループ毎に顔画像を画面３０に表示する（ステップＳ１５）。

図６は、画像の再分類がされた後の、ＬＣＤ１７Ａに表示される画面３０を示す図である。ユーザによって顔画像４３Ａ，４３Ｂが第１のグループ３１に移動させられると、当該移動操作の結果に基づいて、閾値算出部８７が新たな閾値を算出する。クラスタリング部８４は、当該閾値を用いて画像の分類を行うため、顔画像４３Ａ，４３Ｂを第１のグループ３１に分類し、第３のグループ３３から外す。顔画像４３Ａ，４３Ｂが第３のグループ３３から外れるため、クラスタリング部８４は、第３のグループ３３を削除する（生成しない）。

新たな閾値を用いて画像の分類を行うクラスタリング部８４は、第４のグループ３４に属していた顔画像４４Ａ，４４Ｅを、新たな第５のグループ３５に分類し、第４のグループ３４から外す。このように、クラスタリング部８４は、閾値算出部８７が算出した新たな閾値を用いることで、ユーザによる複数のグループ間での移動操作が行われなかった画像を、複数のグループ間で移動させることがある。すなわち、クラスタリング部８４は、変更された閾値に従って、ユーザによって移動させられた画像以外の画像についても自動的に再分類する。表示制御部８５は、第５のグループ３５の顔画像４４Ａ，４４Ｅとともに、サムネイル３５Ａを表示する。

表示制御部８５は、枠６２を表示することで、閾値が変更される前の画像の分類結果と、閾値が変更された後の画像の分類結果と、が異なる部分（変更部分）を示す。例えば、クラスタリング部８４は、主メモリ１０３に記憶された閾値変更前の画像の分類結果を、閾値変更後の画像の分類結果と比較し、変更部分を得る。クラスタリング部８４は、変更部分を表示制御部８５に通知する。表示制御部８５は、変更部分（図６における第１のグループ３１、第４のグループ３４、及び第５のグループ３５）をそれぞれ囲む枠６２を画面３０に表示し、変更部分を示す。

図７は、画像の再分類がされた後の、ＬＣＤ１７Ａに表示される画面３０の他の例を示す図である。図７を参照して、再分類の他の例について説明する。図７の例において、例えば、ユーザは、第３のグループ３３に属する顔画像４３Ａを、第１のグループ３１に移動させる。言い換えると、顔画像４３Ａが、第１のグループ３１に変更される。顔画像４３Ａは、第２画像の一例である。

ユーザによって顔画像４３Ａが第１のグループ３１に移動させられると、当該移動操作の結果（顔画像４３Ａの第１のグループ３１への変更）に基づいて、閾値算出部８７が新たな閾値（第１の閾値や第３の閾値）を算出する。クラスタリング８４部は、当該閾値を用いて画像の再分類を行う。

クラスタリング部８４は、変更された第１の閾値及び第３の閾値に基づき、顔画像４３Ａを第１のグループ３１に分類し、第３のグループ３３から外す。さらに、クラスタリング部８４は、変更された第１の閾値に基づき、顔画像４３Ｂについても第１のグループ３１に自動的に再分類する。顔画像４３Ｂは、第３画像の一例である。このように、第１のグループ３１に分類するための基準（第１分類基準）が変更されることで、クラスタリング部８４は、特徴が当該基準に対応する顔画像４３Ｂを第１のグループ３１に自動的に再分類する。

クラスタリング部８４は、変更された第３の閾値に基づき、顔画像４１Ａ，４１Ｂを、第３のグループ３３に自動的に再分類する。顔画像４１Ａ，４１Ｂは、第４画像の一例である。このように、第３のグループ３３に分類するための基準（第２分類基準）が変更されることで、クラスタリング部８４は、特徴が当該基準に対応する顔画像４１Ａ，４１Ｂを第３のグループ３３に自動的に再分類する。

図７の例において、表示制御部８５は、第１のグループ３１に変更された顔画像４３Ａ，４３Ｂと、第３のグループ３３に変更された顔画像４１Ａ，４１Ｂと、をそれぞれ囲む枠６２を表示する。言い換えると、表示制御部８５は、過去に第３のグループ３３に分類されているとともに第１のグループ３１に変更された顔画像４３Ａ，４３Ｂを、枠６２によって識別可能に表示する。同じく、表示制御部８５は、過去に第１のグループ３１に分類されているとともに第３のグループ３３に変更された顔画像４１Ａ，４１Ｂを、枠６２によって識別可能に表示する。なお、表示制御部８５は、枠６２に限らず、例えば顔画像やグループをハイライト表示したり、拡大したり、明るくしたり、色を変えたりすることで、変更部分を識別可能に表示しても良い。

以上述べたように、画像管理プログラム２０２は、画像の移動操作の受け付け（ステップＳ１６）、閾値の変更（ステップＳ１７）、再分類ボタン５６の操作の受付（ステップＳ１８）、変更された閾値に基づく画像の再分類（ステップＳ１４）、及び再分類結果の表示（ステップＳ１５）を、画像管理プログラム２０２の終了操作があるまで（ステップＳ１９：Ｙｅｓ）続ける。画像管理プログラム２０２は、例えば、タブレット１０が実行する種々のアプリケーションプログラムと同様に、所定のボタンが操作されることで終了する。

なお、上記処理では、ユーザによるグループ間での画像の移動操作があった場合に（ステップＳ１６：Ｙｅｓ）、閾値算出部８７が新たな閾値を算出する（ステップＳ１７）。しかし、再分類ボタン５６が操作された場合に（ステップＳ１８：Ｙｅｓ）、閾値算出部８７が新たな閾値を算出しても良い。

また、上記処理では、ユーザが再分類ボタン５６を操作した場合に（ステップＳ１８：Ｙｅｓ）、クラスタリング部８４が画像を再分類する（ステップＳ１４）。しかし、閾値が変更された場合に（ステップＳ１７）、ユーザの操作を待たずにクラスタリング部８４が画像を自動的に再分類しても良い。

以上の説明は、画像管理プログラム２０２が顔画像に基づいて画像を分類する場合について述べるものである。しかし、画像管理プログラム２０２は、これに限らず、画像に含まれる物に基づいて画像を複数のグループに分類しても良い。

例えば、画像管理プログラム２０２は、画像（写真）に写る果物や野菜毎に、画像を分類する。この場合、画像の果物又は野菜が写っている部分が、各画像が有する部分の一例である。分類部分検出部８２は、複数の画像から、果物又は野菜が写っている部分を検出する。そして、クラスタリング部８４は、画像の果物又は野菜が写っている部分と、閾値とに基づいて、画像を果物又は野菜毎に設定された複数のグループに分類する。

なお、図５のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

上記実施の形態に係るタブレット１０において、閾値算出部８７は、ユーザによる複数のグループ間での画像の移動操作の結果に基づき、画像を複数のグループに分類するための閾値を算出する。クラスタリング部８４は、クラスタリングに用いる閾値を、算出された新たな閾値に変更する。これにより、ユーザが閾値を手動で変更することなく、ユーザによる画像の移動操作に基づいて自動的に閾値が変更されるため、よりユーザの希望に近い閾値が容易に得られる。

クラスタリング部８４は、変更された閾値に基づいて画像を複数のグループに分類する。すなわち、ユーザによる画像の移動操作が行われた場合に、当該移動操作に基づいて変更された閾値に基づき画像の再分類が行われる。このため、ユーザが閾値の変更による分類結果への影響を理解するため不要な画像の再分類を行う必要が無く、ユーザの希望に近い分類結果がより早く得られる。

表示制御部８５は、閾値が変更される前の画像の分類結果と、閾値が変更された後の画像の分類結果と、が異なる部分を、例えば枠６２によってＬＣＤ１７Ａ上の画面３０に示す。このように、クラスタリング部８４による分類結果がユーザに提示されることで、ユーザが希望に近い分類結果をより容易に得ることができる。

閾値算出部８７は、例えば顔画像４３Ａ，４３Ｂが第１のグループ３１に移動させられると、顔画像４３Ａ，４３Ｂが第１のグループ３１に分類されるように第１の閾値を変更する。これにより、閾値の変更後に画像が再分類された場合に、ユーザによって第１のグループ３１に移動させられたはずの顔画像４３Ａ，４３Ｂが、第１のグループから外れることが抑制される。

閾値算出部８７は、例えば顔画像４３Ａ，４３Ｂが第３のグループ３３から移動させられると、顔画像４３Ａ，４３Ｂが第３のグループ３３から外れるように第３の閾値を変更する。これにより、閾値の変更後に画像が再分類された場合に、ユーザによって第３のグループ３３から移動させられたはずの顔画像４３Ａ，４３Ｂが、再び第３のグループ３３に分類されることが抑制される。

なお、本実施形態のタブレット１０で実行される画像管理プログラム２０２は、ＲＯＭ等に予め組み込まれて提供される。

本実施形態のタブレット１０で実行される画像管理プログラム２０２は、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

さらに、本実施形態のタブレット１０で実行される画像管理プログラム２０２を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のタブレット１０で実行される画像管理プログラム２０２をインターネット等のネットワーク経由で提供又は配布するように構成しても良い。

本実施形態のタブレット１０で実行される画像管理プログラム２０２は、上述した各部（画像取得部８１、分類部分検出部８２、特徴量算出部８３、クラスタリング部８４、表示制御部８５、操作受付部８６、及び閾値算出部８７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像管理プログラム２０２を読み出して実行することにより上記各部が主記憶装置上にロードされ、画像取得部８１、分類部分検出部８２、特徴算出部８３、クラスタリング部８４、表示制御部８５、操作受付部８６、及び閾値算出部８７が主記憶装置上に生成されるようになっている。

以上説明した少なくとも一つの実施形態によれば、プロセッサは、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する。これにより、ユーザが分類基準を手動で変更することなく、ユーザによる画像のグループを変更する操作に基づいて自動的に分類基準が変更されるため、よりユーザの希望に近い分類基準を容易に得られる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (9)

1. 各画像が有する部分の特徴が第１分類基準に対応する複数の第１画像を第１グループに分類し、各画像が有する部分の特徴が前記第１分類基準とは異なる第２分類基準に対応する複数の第２画像を第２グループに分類するプロセッサと、
   前記第１グループに含まれる複数の第１画像と、前記第２グループに含まれる複数の第２画像とをディスプレイ上に表示するための表示制御部と、
   前記第２グループに含まれる１以上の第２画像を、前記第１グループへ変更するための第１操作を受け付ける受け付け部と、を備え、
   前記プロセッサは、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する、
   電子機器。
2. 前記プロセッサは、前記第１操作を受け付けた後、各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類する、請求項１の電子機器。
3. 前記プロセッサは、前記第１操作を受け付けた後、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準と前記第２分類基準との双方を変更し、
   各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類し、
   各画像が有する部分の特徴が変更後の第２分類基準に対応する複数の第４画像を第２グループに自動的に再分類し、
   前記表示制御部は、前記複数の第３画像のうち、過去に前記第２グループに分類されていた画像と、前記複数の第４画像のうち、過去に前記第１グループに分類されていた画像とを識別可能に表示する、請求項１の電子機器。
4. 各画像が有する部分の特徴が第１分類基準に対応する複数の第１画像を第１グループに分類し、
   各画像が有する部分の特徴が前記第１分類基準とは異なる第２分類基準に対応する複数の第２画像を第２グループに分類し、
   前記第１グループに含まれる複数の第１画像と、前記第２グループに含まれる複数の第２画像とをディスプレイ上に表示し、
   前記第２グループに含まれる１以上の第２画像を、前記第１グループへ変更するための第１操作を受け付け、
   前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する、
   ことを含む方法。
5. 前記第１操作を受け付けた後、各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類する、ことをさらに含む請求項４の方法。
6. 前記第１操作を受け付けた後、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準と前記第２分類基準との双方を変更し、
   各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類し、
   各画像が有する部分の特徴が変更後の第２分類基準に対応する複数の第４画像を第２グループに自動的に再分類し、
   前記複数の第３画像のうち、過去に前記第２グループに分類されていた画像と、前記複数の第４画像のうち、過去に前記第１グループに分類されていた画像とを識別可能に表示する、
   ことをさらに含む請求項４の方法。
7. 各画像が有する部分の特徴が第１分類基準に対応する複数の第１画像を第１グループに分類し、
   各画像が有する部分の特徴が前記第１分類基準とは異なる第２分類基準に対応する複数の第２画像を第２グループに分類し、
   前記第１グループに含まれる複数の第１画像と、前記第２グループに含まれる複数の第２画像とをディスプレイ上に表示し、
   前記第２グループに含まれる１以上の第２画像を、前記第１グループへ変更するための第１操作を受け付け、
   前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準を少なくとも変更する、
   ことをコンピュータに実行させるためのプログラム。
8. 前記第１操作を受け付けた後、各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類する、ことをさらに前記コンピュータに実行させるための請求項７のプログラム。
9. 前記第１操作を受け付けた後、前記第２グループから前記第１グループに変更となった１以上の第２画像を用いて、前記第１分類基準と前記第２分類基準との双方を変更し、
   各画像が有する部分の特徴が変更後の第１分類基準に対応する複数の第３画像を第１グループに自動的に再分類し、
   各画像が有する部分の特徴が変更後の第２分類基準に対応する複数の第４画像を第２グループに自動的に再分類し、
   前記複数の第３画像のうち、過去に前記第２グループに分類されていた画像と、前記複数の第４画像のうち、過去に前記第１グループに分類されていた画像とを識別可能に表示する、
   ことをさらに前記コンピュータに実行させるための請求項７のプログラム。

Images