JP6557504B2 - 画像適否判定装置、画像適否判定方法および画像適否判定プログラム - Google Patents

Description

本発明は、画像適否判定装置、画像適否判定方法および画像適否判定プログラムに関する。

インターネット上には画像等の電子コンテンツを掲載する広告サイトや投稿サイト等が多数存在し、盛んに利用されている。広告サイトや投稿サイト等の中には不特定多数のユーザが閲覧可能なサイトも多く、掲載するコンテンツの内容によっては、他人が不快な思いをすることもある。したがって、サイトの管理者は、そのような不適切なコンテンツが掲載されることがないように監視する必要がある。下記特許文献１には、投稿画像が不適切であるか否かを判定する技術が開示されている。

特開２０１４−１５４０６７号公報

特許文献１に記載の技術では、複数の閲覧ユーザによって行われる肯定評価／否定評価の入力数に応じて投稿画像が不適切であるか否かを判定している。したがって、不適切であると判定され、管理者により削除されるまでは、多数のユーザが閲覧可能な状態となり、不適切な画像が多数のユーザに閲覧されるおそれがある。そこで、画像が掲載される前に不適切な画像を判別するしくみを構築する必要がある。

本発明は、上述した課題を解決するためになされたものであり、不適切な画像を的確に判別することができる画像適否判定装置、画像適否判定方法および画像適否判定プログラムを提供することを目的の一つとする。

本発明の一態様である画像適否判定装置は、下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出手段と、画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出手段と、前記第１抽出手段により抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出手段と、前記算出手段により算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定手段と、前記第１決定手段により決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更手段と、前記変更手段により変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定手段と、前記第２決定手段により決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定手段と、を備える。

上記第１決定手段は、前記第１上位カテゴリごとに前記類似度の合計値を算出し、当該算出した合計値が最大となる前記第１上位カテゴリを、前記対象画像が属する可能性が高い前記第１上位カテゴリとして決定することとしてもよい。

上記第１決定手段は、前記第１上位カテゴリごとに前記類似度の平均値を算出し、当該算出した平均値が最大となる前記第１上位カテゴリを、前記対象画像が属する可能性が高い前記第１上位カテゴリとして決定することとしてもよい。

上記第２決定手段は、前記類似度が最大となる前記下位カテゴリが属する前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定することとしてもよい。

上記第２決定手段は、前記第２上位カテゴリごとに前記類似度の合計値を算出し、当該算出した合計値が最大となる前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定することとしてもよい。

上記第２決定手段は、前記第２上位カテゴリごとに前記類似度の平均値を算出し、当該算出した平均値が最大となる前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定することとしてもよい。

上記第１上位カテゴリは、画像の内容を大別して分類するカテゴリであり、上記第２上位カテゴリは、画像の適否を分類するカテゴリであることとしてもよい。

本発明の一態様である画像適否判定方法は、コンピュータが、下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出ステップと、画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出ステップと、前記第１抽出ステップにおいて抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出ステップと、前記算出ステップにおいて算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定ステップと、前記第１決定ステップにおいて決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更ステップと、前記変更ステップにおいて変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定ステップと、前記第２決定ステップにおいて決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定ステップと、を実行する。

本発明の一態様である画像適否判定プログラムは、コンピュータを、下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出手段、画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出手段、前記第１抽出手段により抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出手段、前記算出手段により算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定手段、前記第１決定手段により決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更手段、前記変更手段により変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定手段、前記第２決定手段により決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定手段、として機能させる。

本発明によれば、不適切な画像を的確に判別することができる。

実施形態における画像適否判定装置の構成を例示する図である。 第１上位カテゴリ、第２上位カテゴリおよび下位カテゴリを例示する図である。 第１上位カテゴリを基準にした下位カテゴリごとの類似度を例示する図である。 図３の類似度を変更した後の類似度を例示する図である。 第２上位カテゴリを基準にした下位カテゴリごとの類似度を例示する図である。 図１に示す画像適否判定装置において対象画像の適否を判定する際の処理手順を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る画像適否判定装置１の構成を例示する概略図である。画像適否判定装置１は、例えば、演算処理能力の高いコンピュータによって構成され、そのコンピュータにおいて所定のプログラムが動作することにより、後述する各種機能を実現する。ここで、画像適否判定装置１を構成するコンピュータは、必ずしも１台である必要はなく、ネットワーク上に分散する複数のコンピュータから構成されてもよい。

画像適否判定装置１は、ネットワークに接続可能であり、そのネットワークは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。

図１に示すように、画像適否判定装置１は、例えば、プロセッサ１０と、通信インタフェース１１と、記憶資源１２とを備える。

プロセッサ１０は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニットおよび各種レジスタから構成され、記憶資源１２に格納されているコンピュータプログラム１２０を実行することで、後述する各種機能を実現する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。

通信インタフェース１１は、ネットワークに接続し、ネットワーク上の他の端末と通信をするためのハードウェアモジュールである。通信インタフェース１１は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。

記憶資源１２は、例えば、物理デバイスの記憶領域が提供する論理デバイスである。物理デバイスは、例えば、ディスクドライブまたは半導体メモリ等のコンピュータ読み取り可能な記録媒体である。記憶資源１２は、複数の物理デバイスを１つの論理デバイスにマッピングして構築してもよいし、１つの物理デバイスを複数の論理デバイスにマッピングして構築してもよい。記憶資源１２には、コンピュータプログラム１２０および各種のデータベースが記憶される。

コンピュータプログラム１２０は、所定の処理を行うためのプログラムであり、画像適否判定装置１のメインプログラムの動作中に適宜呼び出されて実行される複数のソフトウェアモジュールを備える。このソフトウェアモジュールは、それぞれ特定の処理を実行するためにモジュール化されたサブプログラムであり、例えば、プロシージャ、サブルーチン、メソッド、関数およびデータ構造等を用いて作成される。

コンピュータプログラム１２０は、例示的に、抽出モジュール１２１と、算出モジュール１２２と、決定モジュール１２３と、変更モジュール１２４と、判定モジュール１２５とを有する。コンピュータプログラム１２０が参照等するデータベースとして、例えば、画像情報データベース１２７がある。

画像情報データベース１２７は、サンプル画像に関する画像情報を格納するデータベースである。画像情報には、例えば、サンプル画像を割り振るカテゴリである第１上位カテゴリ、第２上位カテゴリおよび下位カテゴリと、下位カテゴリごとの画像特徴量とが含まれる。

画像情報に含まれる第１上位カテゴリは、画像の内容を大別して分類するためのカテゴリであり、例えば、“ｍａｎ”、“ｗｏｍａｎ”、“ｔｈｉｎｇ”等が該当する。この場合、“ｍａｎ”には、男性が被写体となるサンプル画像を割り当て、“ｗｏｍａｎ”には、女性が被写体となるサンプル画像を割り当て、“ｔｈｉｎｇ”には、物が被写体となるサンプル画像を割り当てる。

画像情報に含まれる第２上位カテゴリは、画像の適否を分類するためのカテゴリであり、例えば、“ｓａｆｅ”、“ｓｅｘｕａｌ”、“ｇｒｏｔｅｓｑｕｅ”等が該当する。この場合、“ｓａｆｅ”には、適合するサンプル画像を割り当て、“ｓｅｘｕａｌ”、“ｇｒｏｔｅｓｑｕｅ”には、適合しないサンプル画像を割り当てる。

なお、本実施形態では、適合しないサンプル画像を割り当てる第２上位カテゴリとして、二つのカテゴリを設けているが、これに限定されず、一つ以上のカテゴリを設ければよい。同様に、適合するサンプル画像を割り当てるカテゴリについても、一つ以上設けることとすればよい。

画像情報に含まれる下位カテゴリは、第１上位カテゴリと第２上位カテゴリとにそれぞれ属するカテゴリである。言い換えると、一つの下位カテゴリは、いずれか一つの第１上位カテゴリと、いずれか一つの第２上位カテゴリとに、それぞれ属する。

図２を参照して具体的に説明する。第１上位カテゴリである“ｍａｎ”の下位カテゴリとして、例えば、“ｍａｎ＿ｎａｋｅｄ”、“ｍａｎ＿ｕｎｄｅｒｗａｒｅ”、“ｍａｎ＿ｎｏｒｍａｌ”が属し、“ｗｏｍａｎ”の下位カテゴリとして、例えば、“ｗｏｍａｎ＿ｎａｋｅｄ”、“ｓｅｘｕａｌ＿ｍａｋｅｌｏｖｅ”、“ｗｏｍａｎ＿ｕｎｄｅｒｗａｒｅ”、“ｗｏｍａｎ＿ｎｏｒｍａｌ”が属し、“ｔｈｉｎｇ”の下位カテゴリとして、例えば、“ｂｅｄ”、“ｖｉｅｗ＿ｒｏｏｍ”、“ｉｍａｇｅ＿ｂｏｄｙ”が属する。

一方、第２上位カテゴリである“ｓａｆｅ”の下位カテゴリとして、例えば、“ｍａｎ＿ｕｎｄｅｒｗａｒｅ”、“ｍａｎ＿ｎｏｒｍａｌ”、“ｗｏｍａｎ＿ｕｎｄｅｒｗａｒｅ”、“ｗｏｍａｎ＿ｎｏｒｍａｌ”、“ｂｅｄ”、“ｖｉｅｗ＿ｒｏｏｍ”が属し、“ｓｅｘｕａｌ”の下位カテゴリとして、例えば、“ｍａｎ＿ｎａｋｅｄ”、“ｗｏｍａｎ＿ｎａｋｅｄ”、“ｓｅｘｕａｌ＿ｍａｋｅｌｏｖｅ”が属し、“ｇｒｏｔｅｓｑｕｅ”の下位カテゴリとして、例えば、“ｉｍａｇｅ＿ｂｏｄｙ”が属する。

画像情報に含まれる下位カテゴリごとの画像特徴量は、各下位カテゴリに属するサンプル画像から抽出される画像特徴量である。

図１に示す抽出モジュール１２１は、画像の適否を判別する対象画像や、各下位カテゴリに属するサンプル画像から、特徴量を抽出する。上記対象画像は、例えば広告サイト等のようなネットワーク上の外部システムから取得する。特徴量の抽出は、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ用のフレームワークであるＣａｆｆｅを利用して構築可能な畳み込みニューラルネットワーク等、公知の特徴量抽出手法を利用して実行することができる。具体的には、画像を細分化し、畳み込み演算およびサンプリングを繰り返し実行することで特徴量を抽出する。

算出モジュール１２２は、上記抽出モジュール１２１を実行することで得られる対象画像の特徴量と、例えば画像情報データベース１２７に蓄積されている下位カテゴリごとに抽出されたサンプル画像の特徴量との間の類似度をそれぞれ算出する。類似度は、例えば、ユーグリッド距離、コサイン類似度等の公知の類似度算出手法を利用して算出することができる。

図３に、第１上位カテゴリに属する下位カテゴリごとに算出された類似度を例示する。図３には、“ｍａｎ”に属する“ｍａｎ＿ｎａｋｅｄ”の特徴量と対象画像の特徴量との間の類似度が、“０．０４３９４”であり、“ｍａｎ＿ｕｎｄｅｒｗａｒｅ”の特徴量と対象画像の特徴量との間の類似度が、“０．０３８２０”であり、“ｍａｎ＿ｎｏｒｍａｌ”の特徴量と対象画像の特徴量との間の類似度が、“０．０３３１２”であることが例示されている。

本実施形態において例示する類似度は、値が１に近いほど対象画像の特徴量と類似していることを示す。したがって、“ｍａｎ”の下位カテゴリでは、“ｍａｎ＿ｎａｋｅｄ”、“ｍａｎ＿ｕｎｄｅｒｗａｒｅ”、“ｍａｎ＿ｎｏｒｍａｌ”の順に、対象画像と類似していることとなる。

同様に、“Ｗｏｍａｎ”に属する“ｗｏｍａｎ＿ｎａｋｅｄ”の特徴量と対象画像の特徴量との間の類似度は、“０．２３９３２”であり、“ｓｅｘｕａｌ＿ｍａｋｅｌｏｖｅ”の特徴量と対象画像の特徴量との間の類似度は、“０．１８５１２”であり、“ｗｏｍａｎ＿ｕｎｄｅｒｗａｒｅ”の特徴量と対象画像の特徴量との間の類似度は、“０．１１３２２”であり、“ｗｏｍａｎ＿ｎｏｒｍａｌ”の特徴量と対象画像の特徴量との間の類似度は、“０．０９１２８”である。

同様に、“ｔｈｉｎｇ”に属する“ｂｅｄ”の特徴量と対象画像の特徴量との間の類似度は、“０．２３４１２”であり、“ｖｉｅｗ＿ｒｏｏｍ”の特徴量と対象画像の特徴量との間の類似度は、“０．０５４２２”であり、“ｉｍａｇｅ＿ｂｏｄｙ”の特徴量と対象画像の特徴量との間の類似度は、“０．０４４１０”である。

図３では、対象画像の特徴量との間の類似度が最も大きい下位カテゴリが、“ｗｏｍａｎ＿ｎａｋｅｄ”となり、二番目に大きいカテゴリが、“ｂｅｄ”となる。

図１に示す決定モジュール１２３は、上記算出モジュール１２２を実行することで得られる類似度に基づいて、対象画像が属する可能性が高い第１上位カテゴリを決定する。

具体的に、決定モジュール１２３は、第１上位カテゴリごとに類似度の合計値を算出し、この算出した合計値が最大となるカテゴリを、対象画像が属する可能性が高い第１上位カテゴリとして決定する。ここで、第１上位カテゴリに属する下位カテゴリの数が異なる場合には、カテゴリ間の公平性を保つために最も少ないカテゴリ数に合わせて合計値を算出する。図３を参照して具体的に説明する。

図３では、“ｍａｎ”および“ｔｈｉｎｇ”の下位カテゴリ数が三つであり、“Ｗｏｍａｎ”の下位カテゴリ数が四つであるため、少ない方の三つに合わせ、それぞれの第１上位カテゴリ内の上位三つの類似度を合計する。図３に示す“ｍａｎ”の合計値は、“０．０４３９４＋０．０３８２０＋０．０３３１２”＝“０．１１５２６”となり、“Ｗｏｍａｎ”の合計値は、“０．２３９３２＋０．１８５１２＋０．１１３２２”＝“０．５３７６６”となり、“ｔｈｉｎｇ”の合計値は、“０．２３４１２＋０．０５４２２＋０．０４４１０”＝“０．３３２４４”となる。したがって、この場合、算出した合計値が最大となる“Ｗｏｍａｎ”を、対象画像が属する可能性が高い第１上位カテゴリとして決定する。

このように、類似度の合計値を用いて、対象画像が属する可能性が高い第１上位カテゴリを決定することで、各第１上位カテゴリに属する複数の下位カテゴリの類似度を勘案して決定することができるため、決定の確度を高めることができる。以下に具体的に説明する。

例えば、図３では、最大の類似度が“ｗｏｍａｎ＿ｎａｋｅｄ”の“０．２３９３２”となり、二番目に大きい類似度が“ｂｅｄ”の“０．２３４１２”となる。このように、上位の類似度が拮抗している場合には、対象画像が属する可能性が高い第１上位カテゴリが“Ｗｏｍａｎ”であるのか“ｔｈｉｎｇ”であるのかを明確に判別することは難しい状況となる。これに対して、類似度の合計値を用いた場合には、“Ｗｏｍａｎ”の合計値が“０．５３７６６”となり、“ｔｈｉｎｇ”の合計値が“０．３３２４４”となる。この場合には、“Ｗｏｍａｎ”の方が明らかに大きいことが示されることとなるため、対象画像が属する可能性が高い第１上位カテゴリが“Ｗｏｍａｎ”であることを高い確度で特定することが可能となる。

図１に示す変更モジュール１２４は、上記算出モジュール１２２を実行することで得られる類似度を変更する。具体的には、上記決定モジュール１２３を実行することで得られる第１上位カテゴリに対応する類似度に付与する重み付け係数を大きくし、他の第１上位カテゴリに対応する類似度に付与する重み付け係数を小さくする。

例えば、図３に示すように、対象画像が属する可能性が高い“Ｗｏｍａｎ”に対応する各類似度に、“１．５”の重みを付与し、“ｍａｎ”および“ｔｈｉｎｇ”に対応する各類似度に、“０．５”の重みを付与する。図４は、図３に示す“Ｗｏｍａｎ”の各類似度に、“１．５”の重みを付与し、“ｍａｎ”および“ｔｈｉｎｇ”の各類似度に、“０．５”の重みを付与して変更した後の各類似度を示す。

なお、重み付け係数の値は、上記値に限定されず、例えば、適否判定処理を繰り返し行った結果等に応じて、判定精度を高めることが可能な値を求める等して、適宜設定できる。

図１に示す決定モジュール１２３は、上記変更モジュール１２４を実行することで得られる類似度に基づいて、対象画像が属する可能性が高い第２上位カテゴリを決定する。

具体的に、決定モジュール１２３は、最大の類似度を示す下位カテゴリが属する第２上位カテゴリを、対象画像が属する可能性が高い第２上位カテゴリとして決定する。図５を参照して具体的に説明する。

図５は、図４に示す第１上位カテゴリを基準にして振り分けた下位カテゴリを、第２上位カテゴリを基準にして振り分け直した図である。図５では、最大の類似度を示す下位カテゴリが、“ｗｏｍａｎ＿ｎａｋｅｄ”となる。したがって、“ｗｏｍａｎ＿ｎａｋｅｄ”が属する“ｓｅｘｕａｌ”が、対象画像が属する可能性が高い第２上位カテゴリとなる。

図１に示す判定モジュール１２５は、上記決定モジュール１２３を実行することで得られる第２上位カテゴリに基づいて、対象画像の適否を判定する。具体的に、対象画像が属する可能性が高い第２上位カテゴリとして“ｓｅｘｕａｌ”または“ｇｒｏｔｅｓｑｕｅ”が決定された場合には、対象画像が不適切であると判定する。一方、対象画像が属する可能性が高い第２上位カテゴリとして“ｓａｆｅ”が決定された場合には、対象画像が適切であると判定する。

次に、図６を参照して、画像適否判定装置１で対象画像の適否を判定する際の処理手順について説明する。この処理手順は、プロセッサ１０が、コンピュータプログラム１２０を実行することで実現する。

最初に、抽出モジュール１２１は、第１上位カテゴリ、第２上位カテゴリおよび下位カテゴリに割り当てられたサンプル画像に基づいて、下位カテゴリごとの画像特徴量を抽出する（ステップＳ１０１）。なお、このステップＳ１０１は、後述するステップＳ１０２〜ステップＳ１０７の前処理として事前に繰り返し実行することとしてもよい。この場合、抽出した下位カテゴリごとの画像特徴量を画像情報データベース１２７に蓄積しておけばよい。

続いて、抽出モジュール１２１は、外部システムから取得した適否判定の対象画像から画像特徴量を抽出する（ステップＳ１０２）。

続いて、算出モジュール１２２は、上記ステップＳ１０１で抽出された下位カテゴリごとのサンプル画像の画像特徴量と、上記ステップＳ１０２で抽出された対象画像の画像特徴量との間の類似度を、下位カテゴリごとに算出する（ステップＳ１０３）。

続いて、決定モジュール１２３は、上記ステップＳ１０３で算出された各類似度に基づいて、対象画像が属する可能性が高い第１上位カテゴリを決定する（ステップＳ１０４）。

続いて、変更モジュール１２４は、上記ステップＳ１０４で決定された第１上位カテゴリの重みが、他の第１上位カテゴリの重みよりも大きくなるように、第１上位カテゴリごとに重みを付与することで、上記ステップＳ１０３で算出された各類似度を変更する（ステップＳ１０５）。

続いて、決定モジュール１２３は、上記ステップＳ１０５で変更された各類似度に基づいて、対象画像が属する可能性が高い第２上位カテゴリを決定する（ステップＳ１０６）。

続いて、判定モジュール１２５は、上記ステップＳ１０６で決定された第２上位カテゴリに基づいて、対象画像の適否を判定する（ステップＳ１０７）。対象画像が適切であるか否かの判定結果は、上記ステップＳ１０２で取得した対象画像を管理している外部システムに対して適宜送信する。外部システムでは、受信した判定結果に基づいて、対象画像の掲載可否を判断することができる。

上述したように、実施形態における画像適否判定装置１によれば、画像の内容を大別して分類するための第１上位カテゴリおよび画像の適否を分類するための第２上位カテゴリに属するいずれかの下位カテゴリに割り当てたサンプル画像に基づいて、下位カテゴリごとの画像特徴量を抽出し、この抽出した下位カテゴリごとの特徴量と、対象画像から抽出した特徴量との間の類似度を下位カテゴリごとに算出し、この算出した類似度に基づいて、対象画像が属する可能性が高い第１上位カテゴリを決定することができる。これにより、対象画像の内容を大まかに判別することができる。

上記対象画像が属する可能性が高い第１上位カテゴリを決定する際に、第１上位カテゴリごとに類似度の合計値を算出し、この算出した合計値が最大となる第１上位カテゴリを、対象画像が属する可能性が高い第１上位カテゴリとして決定することができる。これにより、各第１上位カテゴリに属する複数の下位カテゴリの類似度を勘案して、対象画像が属する可能性が高い第１上位カテゴリを決定することができるため、決定の確度を高めることができる。

また、実施形態における画像適否判定装置１によれば、決定した第１上位カテゴリの重みが、他の第１上位カテゴリの重みよりも大きくなるように重みを付与して各類似度を変更し、この変更した各類似度に基づいて、対象画像が属する可能性が高い第２上位カテゴリを決定し、この決定した第２上位カテゴリに基づいて、対象画像の適否を判定することができる。

これにより、対象画像が属する可能性が高い第１上位カテゴリに対応する類似度の大きさを、他の第１上位カテゴリに対応する類似度よりも大きくし、第１上位カテゴリの違いによる格差を拡大することができる。さらに、この格差を拡大した状態で、画像の適否を分類するための第２上位カテゴリを決定することができるため、決定した第２上位カテゴリの確度も高めることができる。

それゆえ、実施形態における画像適否判定装置１によれば、不適切な画像を的確に判別することが可能となる。

[変形例]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

また、上述した実施形態では、第１上位カテゴリを決定する際に、第１上位カテゴリごとに類似度の合計値を算出し、この算出した合計値が最大となるカテゴリを、対象画像が属する可能性が高い第１上位カテゴリとして決定しているが、これに限定されない。例えば、類似度の合計値に替えて、類似度の平均値を利用することとしてもよい。この場合、第１上位カテゴリごとに類似度の平均値を算出し、この算出した平均値が最大となる第１上位カテゴリを、対象画像が属する可能性が高い第１上位カテゴリとして決定すればよい。

さらに、上述した実施形態では、第２上位カテゴリを決定する際に、最大の類似度を示す下位カテゴリが属する第２上位カテゴリを、対象画像が属する可能性が高い第２上位カテゴリとして決定しているが、これに限定されない。例えば、上記第１上位カテゴリを決定するときと同様に、第２上位カテゴリごとに類似度の合計値または平均値を算出し、この算出した合計値または平均値が最大となる第２上位カテゴリを、対象画像が属する可能性が高い第２上位カテゴリと決定することとしてもよい。

１…画像適否判定装置
１０…プロセッサ
１１…通信インタフェース
１２…記憶資源
１２０…コンピュータプログラム
１２１…抽出モジュール
１２２…算出モジュール
１２３…決定モジュール
１２４…変更モジュール
１２５…判定モジュール
１２７…画像情報データベース

Claims (9)

1. 下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出手段と、
   画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出手段と、
   前記第１抽出手段により抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出手段と、
   前記算出手段により算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定手段と、
   前記第１決定手段により決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更手段と、
   前記変更手段により変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定手段と、
   前記第２決定手段により決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定手段と、
   を備えることを特徴とする画像適否判定装置。
2. 前記第１決定手段は、前記第１上位カテゴリごとに前記類似度の合計値を算出し、当該算出した合計値が最大となる前記第１上位カテゴリを、前記対象画像が属する可能性が高い前記第１上位カテゴリとして決定する、
   ことを特徴とする請求項１記載の画像適否判定装置。
3. 前記第１決定手段は、前記第１上位カテゴリごとに前記類似度の平均値を算出し、当該算出した平均値が最大となる前記第１上位カテゴリを、前記対象画像が属する可能性が高い前記第１上位カテゴリとして決定する、
   ことを特徴とする請求項１記載の画像適否判定装置。
4. 前記第２決定手段は、前記類似度が最大となる前記下位カテゴリが属する前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像適否判定装置。
5. 前記第２決定手段は、前記第２上位カテゴリごとに前記類似度の合計値を算出し、当該算出した合計値が最大となる前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像適否判定装置。
6. 前記第２決定手段は、前記第２上位カテゴリごとに前記類似度の平均値を算出し、当該算出した平均値が最大となる前記第２上位カテゴリを、前記対象画像が属する可能性が高い前記第２上位カテゴリとして決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像適否判定装置。
7. 前記第１上位カテゴリは、画像の内容を大別して分類するカテゴリであり、
   前記第２上位カテゴリは、画像の適否を分類するカテゴリである、
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像適否判定装置。
8. コンピュータが、
   下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出ステップと、
   画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出ステップと、
   前記第１抽出ステップにおいて抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出ステップと、
   前記算出ステップにおいて算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定ステップと、
   前記第１決定ステップにおいて決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更ステップと、
   前記変更ステップにおいて変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定ステップと、
   前記第２決定ステップにおいて決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定ステップと、
   を実行することを特徴とする画像適否判定方法。
9. コンピュータを、
   下位カテゴリならびに当該下位カテゴリが属する第１上位カテゴリおよび第２上位カテゴリが割り当てられたサンプル画像に基づいて、前記下位カテゴリごとの画像特徴量を抽出する第１抽出手段、
   画像の適否を判別する対象画像から画像特徴量を抽出する第２抽出手段、
   前記第１抽出手段により抽出された前記下位カテゴリごとの画像特徴量と前記第２抽出手段により抽出された前記対象画像の画像特徴量との間の類似度をそれぞれ算出する算出手段、
   前記算出手段により算出された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第１上位カテゴリを決定する第１決定手段、
   前記第１決定手段により決定された前記第１上位カテゴリに属する前記下位カテゴリごとの画像特徴量との間で算出された前記類似度に付与する重みを、他の前記第１上位カテゴリに属する前記下位カテゴリごとの特徴量との間で算出された前記類似度に付与する重みよりも大きくして、前記類似度を変更する変更手段、
   前記変更手段により変更された前記類似度に基づいて、前記対象画像が属する可能性が高い前記第２上位カテゴリを決定する第２決定手段、
   前記第２決定手段により決定された前記第２上位カテゴリに基づいて、前記対象画像の適否を判定する判定手段、
   として機能させることを特徴とする画像適否判定プログラム。

Images