JP7476487B2 - 検出支援装置、検出支援方法、及びプログラム - Google Patents

Description

本発明は、人間がコンテンツ画像の不具合を検出し易くなるように支援する検出支援装置、検出支援方法、及びプログラムに関する。

建装材の分野においては、古くから、意匠性が重要な付加価値とされており、たとえば木目や抽象柄等の意匠が施された化粧シートが、建築の内外装および家具、調度品等に接着して使用されている。このような化粧シートの意匠には、所定の柄を単位として、その柄を繰り返し配置することにより、所定の柄を同調させたものがある。

このような所定の柄を同調させた意匠（以下、コンテンツ画像、或いは視覚コンテンツなどと称する）においては、柄の連続性が想定外のパターンや影を作り出してしまい、意匠性が損なわれてしまう不具合が発生することがある。このような不具合は、単体の柄を設計する段階では検出することができず、単体の柄を繰り返し配置した画像が作成され、その画像を、ある距離だけ離れた位置から観察して初めて検出されることが多い。これは、画像を観察した人物が、柄が繰り返されたコンテンツ画像上に、なんらかの空間的な規則性（パターン）を、視覚的に感知するためと考えられる。

一般に、訓練をした人間（熟練者）と訓練をしていない人間（非熟練者）とでは、同じ意匠のコンテンツ画像に対して検出することができる視覚的な特徴に差異が生じる。これは、人間が検出することができる視覚的な特徴が、コンテンツ画像の物理的な特性だけでなく、観察する人間の視覚の特性が大きく影響するためと考えられる。

つまり、熟練者は、このようなコンテンツ画像の外観上の不具合を検出することが可能であるが、非熟練者は、係る不具合を検出できないことが少なくない。これは、熟練者が、訓練によってコンテンツ画像に対する不具合の検出方法を習得したためと考えられる。つまり、熟練者は、視覚情報処理過程において、コンテンツ画像に対する特有の見方や、特有の処理方法を確立していると考えられる。このような特有の見方を定量化することができれば、非熟練者であっても、負担の大きい訓練を経ずに、このようなコンテンツ画像の不具合を検出できるようになると考えられる。

Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，Ｅ．Ｎｉｅｂｒ："Ａ ｍｏｄｅｌ ｏｆ ｓａｌｉｅｎｃｙ－ｂａｓｅｄ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｆｏｒ ｒａｐｉｄ ｓｃｅｎｅ ａｎａｌｙｓｉｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌｕｍｅ ２０，Ｉｓｓｕｅ：１１：Ｐ．１２５４－１２５９，Ｎｏｖ １９９８． Ｄ．Ｇａｏ，Ｖ．Ｍａｈａｄｅｖａｎ，Ｎ．Ｖａｓｃｏｎｃｅｌｏｓ："Ｏｎ ｔｈｅ ｐｌａｕｓｉｂｉｌｉｔｙ ｏｆ ｔｈｅ ｄｉｓｃｒｉｍｉｎａｎｔ ｃｅｎｔｅｒ－ｓｕｒｒｏｕｎｄ ｈｙｐｏｔｈｅｓｉｓ ｆｏｒ ｖｉｓｕａｌ ｓａｌｉｅｎｃｙ"，Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ，Ｖｏｌ．８，１３，Ｊｕｎｅ ２００８． Ｊ．Ｈａｒｅｌ，Ｃ．Ｋｏｃｈ，Ｐ．Ｐｅｒｏｎａ："Ｇｒａｐｈ－Ｂａｓｅｄ Ｖｉｓｕａｌ Ｓａｌｉｅｎｃｙ"，Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，１９：５４５－５５２，Ｊａｎｕａｒｙ，２００６．

人間の視覚の基本的な処理方法を真似た処理を、プロセッサ上に再現することでコンテンツ画像に対する人間の見方を、装置が行う処理として、ある程度再現することができる。例えば、人間の視覚は、眼から光の情報を入力して網膜に二次元状の明るさを示す情報と、色を示す情報とを抽出する。そして、人間の視覚は、抽出した情報を脳の視覚野に送信する。脳の視覚野においては、視覚から得た明るさ等の情報に基づいて、明るさの強度、空間的な不連続性（エッジ）、連続性（勾配）、色情報の色度表現（赤、緑、青の三原色表現や、赤-緑／黄-青などの反対色表現）などが、個別に処理される。

さらに、脳の視覚野においては、処理したそれらの空間的な対比（中心部と周辺部間）や、方向の連続性／不連続性などが処理され、さらにはそれらの組み合わせが処理されて、…、というように、処理結果を用いて更に処理を繰返すことで、段階的に、より高次で複雑なパターンが処理される。これらの各処理を逐次プロセッサ上に実現できれば、人間の視覚と同じ種類の情報が処理できるとともに、ある回路（処理）は強く、別のある回路は弱く作用するように制御することが可能になる。

一方、例えば、目利きに長けた経験豊かな人物（熟練者）が、ある対象物を見て、その不具合に気付くプロセスに着目して、その観察のプロセスを真似て、プロセッサ上に再現することを考える。すなわち、経験知などと呼はれるような一定の訓練を経て人が獲得していく知識や感覚を、プロセッサ上に再現できれば、非熟練者であっても、プロセッサによる処理結果を用いて熟練者と同様の処理を実現することが可能になる。

本発明は、このような事情に鑑みてなされたもので、その目的は、コンテンツ画像に対する、人間の視覚による処理プロセスを、プロセッサ上の処理として実行することができる検出支援装置、検出支援方法、及びプログラムを提供することである。

上述した課題を解決するために、本発明の一態様である検出支援装置は、所定の柄を繰り返し配置することにより生成されるコンテンツ画像に生じる、前記コンテンツ画像における柄の連続性による想定外のパターンの有無の検出を支援する検出支援装置であって、前記コンテンツ画像に関する情報を取得するコンテンツ画像取得部と、前記コンテンツ画像から画像における明るさ又は色の特徴である視覚特徴としてのコントラストを抽出した視覚特徴画像を用いて、コントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を、前記コンテンツ画像における人間の視知覚による見え方を示すコンテンツ特徴量として算出するコンテンツ特徴量算出部と、前記想定外のパターンが人間によって検出された画像である基準画像と、前記検出された前記想定外のパターンが人間によって解消された画像である検査画像のそれぞれの前記コンテンツ特徴量として、前記基準画像と前記検査画像のそれぞれのコントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を比較可能に表示することによって前記基準画像と前記検査画像における人間の視知覚による見え方の差異を可視化する解析結果出力部と、を備えることを特徴とする。

上述した課題を解決するために、本発明の一態様である検出支援方法は、所定の柄を繰り返し配置することにより生成されるコンテンツ画像に生じる、前記コンテンツ画像における柄の連続性による想定外のパターンの有無の検出を支援する検出支援装置における検出支援方法であって、コンテンツ画像取得部が、前記コンテンツ画像に関する情報を取得し、コンテンツ特徴量算出部が、前記コンテンツ画像から画像における明るさ又は色の特徴である視覚特徴としてのコントラストを抽出した視覚特徴画像を用いて、コントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を、前記コンテンツ画像における人間の視知覚による見え方を示すコンテンツ特徴量として算出し、解析結果出力部が、前記想定外のパターンが人間によって検出された画像である基準画像と、前記検出された前記想定外のパターンが人間によって解消された画像である検査画像のそれぞれの前記コンテンツ特徴量として、前記基準画像と前記検査画像のそれぞれのコントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を比較可能に表示することによって前記基準画像と前記検査画像における人間の視知覚による見え方の差異を可視化する、ことを特徴とする。

また、本発明の一態様であるプログラムは、コンピュータを、上記検出支援装置として機能させるためのプログラムである。

以上説明したように、本発明によれば、コンテンツ画像に対する、人間の視覚による処理プロセスを、プロセッサ上の処理として実行することができる。

本発明の第１の実施形態の検出支援装置１００の構成例を示すブロック図である。 本発明の第１の実施形態の検出支援装置１００が行う処理の流れを示すフローチャートである。 本発明の第１の実施形態において処理の対象とする画像の例を示す図である。 本発明の第１の実施形態の視覚特徴画像の例である。 本発明の第１の実施形態の解析結果を示す図である。 本発明の第１の実施形態の解析結果を示す図である。 本発明の第１の実施形態の解析結果を示す図である。 本発明の第２の実施形態の検出支援装置１００Ａの構成例を示すブロック図である。 本発明の第２の実施形態の検出支援装置１００Ａが行う処理の流れを示すフローチャートである。 実施形態の学習装置２００の構成例を示すブロック図である。 実施形態の学習装置２００が行う処理の流れを示すフローチャートである。 本実施形態による学習装置２００が行なう処理の動作例を示すフローチャートである。 本発明の第３の実施形態の検出支援装置１００Ｂの構成例を示すブロック図である。 本発明の第３の実施形態の検出支援装置１００Ｂが行う処理の流れを示すフローチャートである。

以下、実施形態の検出支援装置を、図面を参照して説明する。

＜第１の実施形態＞
まず、第１の実施形態について説明する。
人間が、視覚的に得た情報からある判断をしたり、違和感を覚えたりする働きは、人間の脳の視覚神経機構の処理に依拠している。現在、脳の処理の比較的初期の段階については、その処理過程が判ってきている。そこで、その処理過程をモデル化した処理を行う装置として、検出支援装置１００を考える。検出支援装置１００が視覚神経機構の処理を実行することにより、人間の脳における視覚の情報処理を、より正確に再現することが可能となる。

本実施形態の検出支援装置１００は、処理の対象として、例えば、基準画像と検査画像とを用いる。基準画像は、熟練者により不具合が検出された画像である。検査画像は、熟練者による加工が施されて当該不具合が解消された画像である。

基準画像と検査画像とを対象とすることにより、検出支援装置１００が、両画像における熟練者と非熟練者の見え方の差異を、人間の視知覚の神経機構の処理過程をモデル化したコンテンツ特徴量の差異として捕捉することができる。すなわち、検出支援装置１００が、両画像における見え方の差異を、いくつかの指標毎に、わかりやすく提示することで、基準画像に比べて検査画像のどのような性質がどの程度異なるのかを示し、非熟練者であっても不具合が検出し易くなるように支援する。

なお、以下では、処理の対象とする画像（コンテンツ画像）が、静止画像である場合を例に説明するが、これに限定されることはない。コンテンツ画像は、動画像や、映像等であってもよい。

図１は、本発明の第１の実施形態の検出支援装置１００の構成例を示すブロック図である。検出支援装置１００は、例えば、コンテンツ画像選択部１０１と、視覚特徴選択部１０２と、視覚特徴画像生成部１０３と、画像特徴選択部１０４と、コンテンツ特徴量算出部１０５と、解析方法選択部１０６と、解析部１０７と、コンテンツ画像ＤＢ（データベース）１０８と、視覚特徴ＤＢ１０９と、視覚特徴画像記憶部１１０と、画像特徴ＤＢ１１１と、コンテンツ特徴量記憶部１１２と、解析方法ＤＢ１１３と、解析結果記憶部１１４と、解析結果出力部１１５とを備える。コンテンツ画像選択部１０１は、「コンテンツ取得部」の一例である。

コンテンツ画像選択部１０１は、コンテンツ画像を取得する。コンテンツ画像は、所定の柄が繰り返し配置されることにより生成された意匠が表現されている画像である。コンテンツ画像は、例えば、建装材として用いられる壁紙などの化粧シートの意匠を示す画像である。

コンテンツ画像選択部１０１は、コンテンツ画像ＤＢ１０８に記憶された複数のコンテンツ画像の中から、ユーザ等により選択された画像を、コンテンツ画像として取得する。ユーザ等による選択の方法は、任意の方法であってよい。例えば、コンテンツ画像選択部１０１は、コンテンツ画像ＤＢ１０８を参照してコンテンツ画像を表示部（不図示）に表示させる。コンテンツ画像選択部１０１は、マウスやキーボード等の外部入力装置がユーザ等により操作されることにより選択された画像を、コンテンツ画像として取得する。

なお、コンテンツ画像は、コンテンツ画像ＤＢ１０８に記憶されたものに限定されることはなく、例えば、可搬型メモリや、スキャナ、或いは通信ネットワークなど任意の入力手段を介して検出支援装置１００により取得されたものであってもよい。

視覚特徴選択部１０２は、視覚特徴を選択する。
視覚特徴は、人間の脳の処理の比較的初期の段階で視覚により認識され得る特徴であり、例えば、輝度、色度、コントラスト、勾配、エッジ、オプティカルフロー等である。
視覚特徴は、輝度、色度、赤緑色度、黄青色度、方向、輝度勾配、色度勾配、赤緑勾配、黄青勾配、方向勾配、輝度コントラスト、色度コントラスト、赤緑コントラスト、黄青コントラスト、方向コントラストなどを含む。
また、視覚特徴は、人の目の惹き易さを表す指標であってもよい。人の目の惹き易さを表す指標としては、視覚的注意モデル、視線予測モデル、顕著性モデル、またはサリエンシーモデルと呼ばれるものがある。例えば、非特許文献１や非特許文献２や非特許文献３等の方法を用いることができる。
視覚特徴選択部１０２は、例えば、視覚特徴ＤＢ１０９に記憶された複数の視覚特徴の中から、ユーザ等により選択された視覚特徴を選択する。

視覚特徴画像生成部１０３は、コンテンツ画像に視覚特徴を適用することにより、視覚特徴画像を生成する。視覚特徴画像は、コンテンツ画像における視覚特徴を示す画像であり、例えば、コンテンツ画像における画素ごとに算出した視覚特徴の度合い（視覚特徴量）を、当該画素の位置座標に対応させた画像である。ここで用いられるコンテンツ画像は、コンテンツ画像選択部１０１により選択された画像である。ここで用いられる視覚特徴は、視覚特徴選択部１０２により選択された視覚特徴である。視覚特徴画像生成部１０３は、生成した視覚特徴画像を、視覚特徴画像記憶部１１０に記憶させる。

画像特徴選択部１０４は、画像特徴を選択する。画像特徴は、既知の画像処理の技法を用いて抽出する画像上の特徴であり、例えば、同じ柄を複数配置して形成された模様における空間的な規則性（パターン）を抽出可能なテクスチャ特徴である。テクスチャ特徴としては、例えば、コントラスト、相関、角度２次モーメント、或は一様性等がある。

画像特徴選択部１０４は、例えば、画像特徴ＤＢ１１１に記憶された複数の画像特徴の中から、ユーザ等による選択操作により選択された画像特徴を選択する。画像特徴選択部１０４は、取得した画像特徴をコンテンツ特徴量算出部１０５に出力する。

コンテンツ特徴量算出部１０５は、コンテンツ特徴量を算出する。コンテンツ特徴量は、コンテンツ画像の見え方に関する特徴の度合いを示す指標であって、例えば、視覚特徴画像に画像特徴を適用することにより算出される、視覚特徴画像における画像上の特徴を統計的に示す統計量である。

コンテンツ特徴量は、例えば、視覚特徴として輝度が選択され、画像特徴としてコントラストが選択された場合、コンテンツ画像において、人間の視覚に認識され得る輝度の状態がいかなるコントラストを形成しているかを示す値となる。ここで用いられる視覚特徴画像は、視覚特徴画像生成部１０３により生成された画像である。ここで用いられる画像特徴は、画像特徴選択部１０４により選択された画像特徴である。

コンテンツ特徴量算出部１０５は、算出したコンテンツ特徴量を、解析部１０７に出力する。また、コンテンツ特徴量算出部１０５は、算出したコンテンツ特徴量を、コンテンツ特徴量記憶部１１２に記憶させる。

なお、コンテンツ特徴量は、視覚特徴の度合い（視覚特徴量）であってもよい。この場合、コンテンツ特徴量算出部１０５は、例えば、（画像特徴を用いることなく）視覚特徴画像を用いて、コンテンツ特徴量を算出する。

解析方法選択部１０６は、解析方法を選択する。解析方法は、コンテンツ特徴量を提示する方法であり、例えば、コンテンツ特徴量を示すグラフの種別を示す情報である。グラフの種別としては、例えば、折れ線グラフ、棒線グラフ、円グラフ、レーダチャート等がある。

解析方法選択部１０６は、例えば、解析方法ＤＢ１１３に記憶された複数の画像特徴の中から、ユーザ等による選択操作により選択された画像特徴を選択する。画像特徴選択部１０４は、取得した画像特徴をコンテンツ特徴量算出部１０５に出力する。

解析部１０７は、コンテンツ特徴量に解析方法を適用することにより、コンテンツ画像におけるコンテンツ特徴量を提示するための情報を生成する。解析部１０７は、生成した情報を解析結果記憶部１１４に記憶させる。また、解析部１０７は、生成した情報を、解析結果出力部１１５に出力する。

コンテンツ画像ＤＢ１０８は、コンテンツ画像を記憶する。コンテンツ画像ＤＢ１０８には、例えば、コンテンツ画像を一意に示す識別情報に対応付けられたコンテンツ画像が記憶される。コンテンツ画像は、例えば、マウスやキーボード等の外部入力装置、或いは、可搬型メモリや、スキャナ、或いは通信ネットワークなど任意の入力手段を介して検出支援装置１００により取得され、コンテンツ画像ＤＢ１０８に記憶される。

コンテンツ画像ＤＢ１０８には、基準画像とその基準画像を加工した検査画像とが対応付けられて記憶されていてもよいし、コンテンツ画像の種別に応じて分類された状態で、コンテンツ画像が記憶されていてもよい。コンテンツ画像の種別とは、例えば、柄の組み合わせ方法や、化粧シートとして作成される場合にシート表面に凹凸が有るか否かなどにより区分される。

視覚特徴ＤＢ１０９は、視覚特徴を記憶する。視覚特徴ＤＢ１０９には、例えば、視覚特徴を一意に示す識別情報に対応付けられた知覚特徴が記憶される。知覚特徴は、例えば、外部入力装置、或いは、入力手段を介して検出支援装置１００により取得され、視覚特徴ＤＢ１０９に記憶される。

視覚特徴画像記憶部１１０は、視覚特徴画像生成部１０３により生成された視覚特徴画像を記憶する。視覚特徴画像記憶部１１０には、例えば、視覚特徴画像を一意に示す識別情報に対応付けられた視覚特徴画像、当該視覚特徴画像の生成に用いられたコンテンツ画像の識別情報、及び当該視覚特徴画像の生成に用いられた視覚特徴の識別情報などが記憶される。

画像特徴ＤＢ１１１は、画像特徴を記憶する。画像特徴ＤＢ１１１には、例えば、画像特徴を一意に示す識別情報に対応付けられた画像特徴が記憶される。画像特徴は、例えば、外部入力装置、或いは、入力手段を介して検出支援装置１００により取得され、画像特徴ＤＢ１１１に記憶される。

コンテンツ特徴量記憶部１１２は、コンテンツ特徴量算出部１０５により算出されたコンテンツ特徴量を記憶する。コンテンツ特徴量記憶部１１２には、例えば、コンテンツ特徴量を一意に識別する識別情報に対応付けられたコンテンツ特徴量、当該コンテンツ特徴量の算出に用いられた視覚特徴画像の識別情報、及び当該コンテンツ特徴量の算出に用いられた画像特徴の識別情報などが記憶される。

解析方法ＤＢ１１３は、解析方法を記憶する。解析方法ＤＢ１１３には、例えば、解析方法を一意に示す識別情報に対応付けられた解析方法が記憶される。解析方法は、例えば、外部入力装置、或いは、入力手段を介して検出支援装置１００により取得され、解析方法ＤＢ１１３に記憶される。

解析結果記憶部１１４は、解析部１０７による解析結果（コンテンツ特徴量を提示するための情報）を記憶する。解析結果記憶部１１４には、例えば、解析結果を一意に示す識別情報に対応付けられた解析結果、その解析に用いられたコンテンツ特徴量の識別情報、及びその解析に用いられた解析方法などが記憶される。

解析結果出力部１１５は、解析部１０７による解析結果（コンテンツ特徴量を提示するための情報）を出力する。解析結果出力部１１５は、例えば、表示部（不図示）に解析結果を出力し、解析結果を表示部に表示させる。

図２は、本発明の第１の実施形態の検出支援装置１００が行う処理の流れを示すフローチャートである。
ステップＳ１０：
検出支援装置１００は、コンテンツ画像選択部１０１によりコンテンツ画像を選択する。コンテンツ画像選択部１０１は、コンテンツ画像ＤＢ１０８を参照することによりコンテンツ画像を選択し、選択したコンテンツ画像を視覚特徴画像生成部１０３に出力する。
ステップＳ１１：
検出支援装置１００は、視覚特徴選択部１０２により視覚特徴を選択する。視覚特徴選択部１０２は、視覚特徴ＤＢ１０９を参照することにより視覚特徴を選択し、選択した視覚特徴を、視覚特徴画像生成部１０３に出力する。
ステップＳ１２：
検出支援装置１００は、視覚特徴画像生成部１０３により視覚特徴画像を生成する。視覚特徴画像生成部１０３は、ステップＳ１０にて選択されたコンテンツ画像における、ステップＳ１１にて選択された知覚特徴を算出することにより視覚特徴画像を生成する。視覚特徴画像生成部１０３は、生成した視覚特徴画像を、コンテンツ特徴量算出部１０５に出力する。

ステップＳ１３：
検出支援装置１００は、画像特徴選択部１０４により画像特徴を選択する。画像特徴選択部１０４は、画像特徴ＤＢ１１１を参照することにより画像特徴を選択し、選択した画像特徴を、コンテンツ特徴量算出部１０５に出力する。
ステップＳ１４：
検出支援装置１００は、コンテンツ特徴量算出部１０５により、コンテンツ画像におけるコンテンツ特徴量を算出する。コンテンツ特徴量算出部１０５は、ステップＳ１２にて生成された視覚特徴画像における、ステップＳ１３にて選択された画像特徴を算出することによりコンテンツ特徴量を算出する。
ステップＳ１５：
検出支援装置１００は、解析方法選択部１０６により解析方法を選択する。解析方法選択部１０６は、解析方法ＤＢ１１３を参照することにより解析方法を選択し、選択した解析方法を、解析部１０７に出力する。
ステップＳ１６：
検出支援装置１００は、解析部１０７により解析（コンテンツ画像の特徴量を提示するための情報の生成）を行う。解析部１０７は、ステップＳ１４にて算出されたコンテンツ画像の特徴量を、ステップＳ１５にて選択された解析方法にて示す情報を生成する。解析部１０７は、生成した情報を、解析結果記憶部１１４、及び解析結果出力部１１５に出力する。

ステップＳ１７：
検出支援装置１００は、解析結果記憶部１１４に、ステップＳ１６にて解析された解析結果（コンテンツ画像の特徴量を提示するための情報）を記憶させる。
ステップＳ１８：
検出支援装置１００は、解析結果出力部１１５により、ステップＳ１６にて解析された解析結果（コンテンツ画像の特徴量を提示するための情報）を、表示部（不図示）などに出力する。

図３は、本発明の第１の実施形態の基準画像及び検査画像の例を示す図である。図３では、左側に基準画像、右側に検査画像が示されている。
図３に示す通り、例えば、基準画像と検査画像とは、同一の意匠と思われるほどによく類似して見える。基準画像と検査画像とは、ほとんど差異がないようにも思われる。しかしながら、熟練者であれば、基準画像に不具合を検出し、検出した内容に基づいて基準画像を検査画像のように加工する。
本実施形態では、検出支援装置１００により基準画像と検査画像との各々を、人間の視知覚による見え方の差異を、コンテンツ特徴量の差異として可視化して提示することが可能である。つまり、検出支援装置１００は、基準画像に比べて検査画像のどのような性質がどの程度異なるのかを、数値で示すことができる。こうすることで、一見ほとんど差異がないようにも思われる両画像の差異を、熟練者でない者が認識できるように支援する。

図４は、本発明の第１の実施形態の視覚特徴画像の例を示す図である。図４では、視覚特徴としてコントラストが選択された場合の例を示している。

図４では、左側に基準画像における視覚特徴画像の例、右側に検査画像における視覚特徴画像の例を示しており、基準画像及び検査画像の各々についてスケール毎に三つの視覚特徴画像を示している。スケールは、視覚特徴（この例では、コントラスト）を算出する空間の大きさ（画像サイズ）を示す指標であって、上方向に細かい（コントラストを算出する画像サイズが小さい）スケール値、下方向に粗い（同画像サイズが大きい）スケール値を示している。三つの視覚特徴画像は、基準画像及び検査画像に対して、１×１は基準画像を縦横に１枚ずつ連結した（１枚分）場合、２×２は縦横に２枚ずつ連結した（４枚分）場合、３×３は縦横に３枚ずつ連結した（９枚分）場合の視覚特徴画像を、それぞれ示している。

つまり、図４の上段には、スケール値を８（「ｓｃｌ８」と記載）として算出した場合における、基準画像及び検査画像の各々の視覚特徴画像を、左から順に（１×１）、（２×２）、（３×３）の画像サイズで示している。同様に、図４の上段には、スケール値を１６（「ｓｃｌ１６」と記載）として算出した場合における、基準画像及び検査画像の各々の視覚特徴画像を、左から順に（１×１）、（２×２）、（３×３）の画像サイズで示している。図４の上段には、スケール値を８（「ｓｃｌ８」と記載）として算出した場合における、基準画像及び検査画像の各々の視覚特徴画像を、左から順に（１×１）、（２×２）、（３×３）の画像サイズで示している。

図４に示すように、基準画像から生成した視覚特徴画像と、検査画像から生成した視覚特徴画像とは、例えば、スケール８における（１×１）に対応する両画像や、スケール１６における（１×１）に対応する視覚特徴画像を見比べれば、図３の基準画像及び検査画像を見比べた場合と比較して、差異があるように思われる。

視覚特徴画像に差異が認められる場合、基準画像及び検査画像の両画像において、視覚特徴（この例では、コントラスト）に、差異があることを示している。つまり、両画像を視覚特徴画像に変換することで、両画像における視覚特徴に起因する見え方の差異を強調することが可能である。

図５Ａは、本発明の第１の実施形態の解析結果を示す図である。図５Ａでは、解析方法として折れ線グラフが選択された場合の例を示している。

図５Ａでは、スケール値ごとに三つの折れ線グラフを示している。それぞれの折れ線グラフは、基準画像及び検査画像における視覚特徴画像の相関差分を４方向について示している。四方向は、画像に設定した所定の基準軸から、それぞれ０［ｄｅｇ］、４５［ｄｅｇ］、９０［ｄｅｇ］、及び１３５［ｄｅｇ］の方向である。三つの折れ線グラフは、左から順に（１×１）、（２×２）、（３×３）の画像サイズにおける相関差分を示している。

図５Ｂは、図５Ａに示す複数の相関差分のうち、スケール８における（２×２）の相関差分を示している。
図５Ｂに示すように、例えば、スケール８における（２×２）における、０［ｄｅｇ］、及び９０［ｄｅｇ］の方向の相関差分が、他の方向の相関差分と比較して大きな値を示す傾向にある。

視覚特徴に比較的大きな差異が示される箇所には、両画像に、比較的大きな差異があることが示されている。つまり、両画像を視覚特徴画像に変換して、その視覚特徴を示すことで、両画像における視覚特徴に起因する差異を定量的に示すことが可能である。

図５Ｃは、本発明の第１の実施形態の解析結果を示す図である。図５Ｃでは、解析方法としてレーダチャートが選択された場合の例を示している。

図５Ｃでは、スケール値ごとに三つのレーダチャートを示している。それぞれのレーダチャートは、基準画像及び検査画像におけるコンテンツ特徴量（この例では、視覚特徴画像のコントラスト）を八方向について示している。八方向は、画像の中心から上下左右、及び、右上、左上、左下、右下のそれぞれの方向である。三つのレーダチャートは、左から順に（１×１）、（２×２）、（３×３）の画像サイズにおける相関差分を示している。

図５Ｃに示すように、例えば、スケール３２における（１×１）における、基準画像の全方向のコントラストが、検査画像のコントラストと比較して大きな値を示す傾向にある。

コンテンツ特徴量に比較的大きな差異が示される箇所には、両画像に、比較的大きな差異があることが示されている。つまり、両画像におけるコンテンツ特徴量を示すことで、両画像における見え方の差異を定量的に示すことが可能である。

以上説明したように、第１の実施形態の検出支援装置１００は、コンテンツ画像選択部１０１（「コンテンツ画像取得部」の一例）と、コンテンツ特徴量算出部１０５とを備える。コンテンツ画像選択部１０１は、コンテンツ画像に関する情報を取得する。コンテンツ特徴量算出部１０５は、コンテンツ画像に、視覚特徴を適用することにより、コンテンツ特徴量を算出する。これにより、第１の実施形態の検出支援装置１００によれば、コンテンツ画像に、人間の視覚により認識され得る特徴である視覚特徴を適用することができるため、人間の視覚による処理プロセスを、プロセッサ上の処理として実行することができる。

また、第１の実施形態の検出支援装置１００は、視覚特徴画像生成部１０３をさらに備えてもよい。視覚特徴画像生成部１０３は、視覚特徴画像を生成する。視覚特徴画像は、コンテンツ画像における画素ごとの視覚特徴の度合いである視覚特徴量を、前記画素に対応づけた画像である。これにより、第１の実施形態の検出支援装置１００によれば、視覚特徴をコンテンツ画像の画素に対応付けて示すことができ、コンテンツ画像におけるどの箇所がどのような視覚特徴量であるのかを、判りやすく示すことができる。

また、第１の実施形態の検出支援装置１００では、視覚特徴画像生成部１０３は、輝度、色度、コントラスト、エッジ、オプティカルフロー、及び歪度の中から選択された少なくとも一つを、視覚特徴として用いて、視覚特徴画像を生成する。これにより、第１の実施形態の検出支援装置１００によれば、既存の画像処理の技法のうち、視覚による見え方に類似する技法を利用してより精度よく、視覚特徴画像を生成することができる。

また、第１の実施形態の検出支援装置１００では、視覚特徴画像生成部１０３は、コンテンツ画像に対する人間の目の認識し易さを表す認識指標を、視覚特徴として用いて、視覚特徴画像を生成する。これにより、第１の実施形態の検出支援装置１００によれば、人間の目の認識に、より近づくように視覚特徴画像を生成することができる。

また、第１の実施形態の検出支援装置１００では、認識指標には、視覚的注意モデル、視線予測モデル、顕著性モデル、及びサリエンシーモデルのうち、少なくとも一つが含まれる。これにより、第１の実施形態の検出支援装置１００によれば、既存のモデルを用いて、より精度よく視覚特徴画像を生成することができる。

また、第１の実施形態の検出支援装置１００では、コンテンツ特徴量算出部１０５は、視覚特徴画像に、画像特徴を適用することにより、コンテンツ特徴量を算出する。これにより、第１の実施形態の検出支援装置１００によれば、視覚特徴画像を画像処理の技法を用いて、視覚特徴により示される特徴の度合いを統計的に処理することができ、より定量的にコンテンツ特徴量を示すことができる。

なお、人の脳機能の解明が進むにしたがって、視覚により認識され得る特徴が数多く発見されつつあり、それらの特徴を視覚特徴に含めてもよい。

＜第２の実施形態＞
以下、第２の実施形態について、図面を参照して説明する。本実施形態の検出支援装置１００Ａは、熟練者がコンテンツ画像の不具合を検出する際の視線を疑似的に提示する点において、上述した実施形態と相違する。検出支援装置１００Ａは、熟練者の視線を提示することにより、不具合の検出を支援し、非熟練者であっても不具合を検出し易くなるようにすることができる。本実施形態においては、第１の実施形態と異なる構成についてのみ説明し、第１の実施形態による図１の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。

図６は、第２の実施形態による検出支援装置１００Ａの構成例を示すブロック図である。検出支援装置１００Ａは、例えば、視線特徴学習モデル選択部１１６と、視線特徴画像生成部１１７と、視線特徴学習モデルＤＢ１１８と、コンテンツ特徴量算出部１０５Ａとを備える。検出支援装置１００Ａは、視覚特徴選択部１０２、及び視覚特徴画像生成部１０３を備えない。

以下、本実施形態においては、コンテンツ画像を静止画像として説明するが、第１の実施形態と同様に、動画像、映像等の他のコンテンツ画像に適用されてもよい。

視線特徴学習モデル選択部１１６は、視線特徴学習モデルを選択する。視線特徴学習モデルは、機械学習の手法により生成された、コンテンツ画像における視線特徴を推定するモデルである。視線特徴は、熟練者がコンテンツ画像の不具合を検出する際の視線に関する特徴を示す情報であって、例えば、後述する視線特徴画像、或いはコンテンツ画像の領域ごとに視認される度合いを統計的に示す情報である。

視線特徴学習モデルは、例えば、互いに異なる複数の学習用のコンテンツ画像（学習用コンテンツ画像）の各々に、それぞれの学習用コンテンツ画像を視認した熟練者の視線特徴の実績を対応付けた学習データを用いて機械学習を実行することにより生成される。

視線特徴を取得する手段としては、市販の専用の視線計測機（例えば、身体装着型計測機であるＴｏｂｉｉ社のＴｏｂｉｉ Ｐｒｏ Ｇｌａｓｓｅ２や、据え置き型計測機である Ｔｏｂｉｉ Ｐｒｏ Ｘ２，Ｘ３等）を用いても良く、もしくは民生カメラと視線推定手法の組み合わせで計算する方法を用いても良い。視線特徴は、一般的に一定のサンプリングタイムで計測した視点の座標が時系列で格納されており、これを画像上の座標に変換して使用する。

ここで用いられる機械学習の手法は、任意の手法であってよいが、例えば、深層ニューラルネットワークなどの推定モデルを用いて行われる。深層ニューラルネットは、例えば、入力層、出力層、及びその中間を多層の畳み込み層とプーリング層により接続された構成を備える。そして、多層ニューラルネットワークの入力層に学習用コンテンツ画像を入力した場合における、当該多層ニューラルネットワークの出力層から出力される情報が、その学習用コンテンツ画像に対応付けられた視線特徴となるように学習が繰返されることにより、各層を結合する結合係数やバイアス値が決定される。推定モデルの結合係数やバイアス値が決定されることにより、視線特徴学習モデルが生成される。

視線特徴学習モデル選択部１１６は、例えば、視線特徴学習モデルＤＢ１１８に記憶された複数の視線特徴学習モデルの中から、ユーザ等による選択操作により選択された視線特徴学習モデルを選択する。視線特徴学習モデル選択部１１６は、取得した視線特徴学習モデルを視線特徴画像生成部１１７に出力する。

視線特徴画像生成部１１７は、コンテンツ画像に、視線特徴学習モデルにより推定された視線特徴を適用することにより、視線特徴画像を生成する。視線特徴画像は、コンテンツ画像における視線特徴の度合いを示す画像である。視線特徴から視線特徴画像を得る方法としては、例えば、計測時間内の画像上の視点の蓄積を確率分布として近似してヒートマップを出力する方法が用いられる。

視線特徴画像は、視線特徴を、１枚の画像に情報を縮約させた画像である。ここで、情報の縮約方法としては、例えば、コンテンツ画像における画素毎の視線分布を計数して２次元ヒストグラムを構成し、ヒストグラムの山を、２次元正規分布を用いて近似表現して、強度［０，１］の範囲の実数値で表現する方法（一般にヒートマップと呼ばれる）等がある。

視線特徴画像生成部１１７により用いられるコンテンツ画像は、コンテンツ画像選択部１０１により選択された画像である。視線特徴画像生成部１１７により用いられる視線特徴は、視線特徴学習モデル選択部１１６により選択された視線特徴学習モデルに、コンテンツ画像選択部１０１により選択されたコンテンツ画像を入力させることにより推定されたものである。視線特徴画像生成部１１７は、生成した視線特徴画像を、コンテンツ特徴量算出部１０５Ａに出力する。

視線特徴学習モデルＤＢ１１８は、視線特徴学習モデルを記憶する。視線特徴学習モデルＤＢ１１８には、例えば、視線特徴学習モデルを一意に示す識別情報に対応付けられた視線特徴学習モデルが記憶される。視線特徴学習モデルは、例えば、外部の学習サーバなどにより生成され、外部入力装置、或いは、入力手段を介して検出支援装置１００により取得され、解析方法ＤＢ１１３に記憶される。視線特徴学習モデルＤＢ１１８には、コンテンツ画像の種別に応じたモデルが記憶されていてもよい。これにより、コンテンツ画像の種別により、熟練者の見方が異なる場合であっても、その種別に応じたモデルを選択することができ、より精度よく視線特徴を推定させることが可能となる。

コンテンツ特徴量算出部１０５Ａは、視線特徴画像に画像特徴を適用することによりコンテンツ特徴量を算出する。本実施形態のコンテンツ特徴量は、例えば、視線特徴画像における画像上の特徴を統計的に示す統計量である。

コンテンツ特徴量は、例えば、画像特徴としてコントラストが選択された場合、コンテンツ画像において、熟練者の視線がいかなるコントラストを形成しているかを示す値となる。ここで用いられる視線特徴画像は、視線特徴画像生成部１１７により生成された画像である。ここで用いられる画像特徴は、画像特徴選択部１０４により選択された画像特徴である。

なお、コンテンツ特徴量は、視線特徴の度合いであってもよく、この場合、コンテンツ特徴量は、視線特徴画像そのものである。

図７は、本実施形態による検出支援装置１００Ａが行なう処理の動作例を示すフローチャートである。図７のステップＳ２３、及びＳ２５～Ｓ２８の各々に示す処理については、図２のステップＳ１３、及びＳ１５～Ｓ１８の各々に示す処理と同様であるため、その説明を省略する。

ステップＳ２０：
検出支援装置１００Ａは、コンテンツ画像選択部１０１により選択したコンテンツ画像を視線特徴画像生成部１１７に出力する。
ステップＳ２１：
検出支援装置１００Ａは、視線特徴学習モデル選択部１１６により視線特徴学習モデルを選択する。視線特徴学習モデル選択部１１６は、視線特徴学習モデルＤＢ１１８を参照することにより視線特徴学習モデルを選択し、選択した視線特徴学習モデルを、視線特徴画像生成部１１７に出力する。
ステップＳ２２：
検出支援装置１００Ａは、視線特徴画像生成部１１７により視線特徴画像を生成する。視線特徴画像生成部１１７は、ステップＳ２０にて選択されたコンテンツ画像における視線特徴を、ステップＳ２１にて選択された視線特徴学習モデルを用いて推定することにより視線特徴画像を生成する。視線特徴画像生成部１１７は、生成した視線特徴画像を、コンテンツ特徴量算出部１０５Ａに出力する。
ステップＳ２４：
検出支援装置１００Ａは、コンテンツ特徴量算出部１０５Ａにより、コンテンツ画像におけるコンテンツ特徴量を算出する。コンテンツ特徴量算出部１０５Ａは、ステップＳ２２にて生成された視線特徴画像における、ステップＳ２３にて選択された画像特徴を算出することによりコンテンツ特徴量を算出する。

以上説明したように、第２の実施形態の検出支援装置１００Ａでは、コンテンツ特徴量算出部１０５Ａが、コンテンツ画像に、前記コンテンツ画像を視認する視線の特徴を示す視線特徴を適用することにより、コンテンツ特徴量を算出する。これにより、第２の実施形態の検出支援装置１００Ａによれば、上述した効果と同様の効果を奏する。

また、第２の実施形態の検出支援装置１００Ａでは、視線特徴画像生成部１１７を更に備える。視線特徴画像生成部１１７は、コンテンツ画像における画素ごとの視線特徴を、前記画素の位置座標に対応させた視線特徴画像を生成する。コンテンツ特徴量算出部１０５Ａは、視線特徴画像を用いてコンテンツ特徴量を算出する。これにより、第２の実施形態の検出支援装置１００Ａによれば、上述した効果と同様の効果を奏する。

また、第２の実施形態の検出支援装置１００Ａでは、視線特徴は、コンテンツ画像と、当該コンテンツ画像における視線特徴の実績とを対応付けた学習データを用いて機械学習を実行することにより生成された視線特徴学習モデルを用いて推定される。これにより、第２の実施形態の検出支援装置１００Ａによれば、コンテンツ画像における熟練者の視線特徴を、過去の実績に基づいてより精度よく推定することが可能である。

図８は、実施形態の学習装置２００の構成例を示すブロック図である。学習装置２００は、視線特徴学習モデルを生成する装置である。
学習装置２００は、例えば、学習用コンテンツ画像取得部２０１と、視線情報取得部２０２と、学習用視線特徴画像生成部２０３と、深層学習部２０４と、学習用コンテンツ画像ＤＢ２０５と、視線情報記憶部２０６と、視線特徴画像記憶部２０７と、視線特徴学習モデルＤＢ２０８とを備える。

学習用コンテンツ画像取得部２０１は、学習用コンテンツ画像を取得する。学習用コンテンツ画像は、推定モデルに機械学習を実行する際に用いられる学習データであって、推定モデルの入力層に入力（設定）する情報である。

学習用コンテンツ画像取得部２０１は、学習用コンテンツ画像ＤＢ２０５に記憶された複数の学習用コンテンツ画像の中から、学習量に応じてユーザ等により選択された画像の集合を、学習用コンテンツ画像の集合として取得する。ユーザ等による選択の方法は、任意の方法であってよい。学習用コンテンツ画像取得部２０１は、取得した学習用コンテンツ画像を、学習用視線特徴画像生成部２０３に出力する。

視線情報取得部２０２は、視線情報（視線特徴）を取得する。視線情報は、学習用コンテンツ画像に対する熟練者の視線に関する情報であって、例えば、学習用コンテンツ画像を視認する熟練者の視線の時系列変化を示す情報である。視線情報取得部２０２は、例えば、視線情報記憶部２０６に記憶された複数の視覚特徴の中から、学習用コンテンツ画像に対応する視線情報を選択する。視線情報取得部２０２は、取得した視線情報を、学習用視線特徴画像生成部２０３に出力する。

学習用視線特徴画像生成部２０３は、学習用コンテンツ画像に、視線情報を適用することにより、学習用視線特徴画像を生成する。学習用視線特徴画像を生成する方法は、視線特徴画像生成部１１７が視線特徴画像を生成する方法と同様であるため、その説明を省略する。学習用視線特徴画像生成部２０３は、生成した学習用視線特徴画像を、深層学習部２０４に出力すると共に、視線特徴画像記憶部２０７に記憶させる。

深層学習部２０４は、学習用視線特徴画像を学習データとした学習（深層学習）を行うことにより、視線特徴学習モデルを生成する。深層学習部２０４は、生成した視線特徴学習モデルを視線特徴学習モデルＤＢ２０８に記憶させる。

図９は、本実施形態による学習装置２００が行なう処理の動作例を示すフローチャートである。図９では、深層学習による視線特徴学習モデルを生成する処理の動作の流れが示される。
ステップＳ５０：
学習装置２００は、学習用コンテンツ画像取得部２０１により、学習用コンテンツ画像を取得する。学習用コンテンツ画像取得部２０１は、学習用コンテンツ画像を多数取得することが好ましい。一般に、学習データ（学習用コンテンツ画像）を数多くバリエーション豊富に揃えることで良い学習効果が得られるためである。
ステップＳ５１：
学習装置２００は、視線情報取得部２０２により、学習用コンテンツ画像に対応する視線情報を取得する。
ステップＳ５２：
学習装置２００は、学習用視線特徴画像生成部２０３により、ステップＳ５０で取得した学習用コンテンツ画像に、ステップＳ５１で取得した視線情報を適用することにより、学習用視線特徴画像を生成する。
ステップＳ５３：
学習装置２００は、ステップＳ５０で取得した学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成したか否かを判定する。学習装置２００は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成した場合には、ステップＳ５４に示す処理を実行する。学習装置２００は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成していない場合には、ステップＳ５１に示す処理に戻る。
ステップＳ５４：
学習装置２００は、学習用視線特徴画像を学習データとして深層学習を実行することにより、視線特徴学習モデルを生成する。

図１０は、本実施形態による学習装置２００が行なう処理の動作例を示すフローチャートである。図１０では、深層学習による視線特徴学習モデル（以下、単に学習モデルともいう）について転移学習を行うことで新たな学習モデルを生成する処理の動作の流れが示される。
ステップＳ６０：
学習装置２００は、深層学習部２０４により、推定モデルの入力層及び出力層を構成する。推定モデルは、中間層（プーリング層及び畳み込み層）が多層構造の深層学習モデルである。入力層には、学習用コンテンツ画像における各画素の情報が入力される。出力層は、正規化する全結合層である。この出力層は、「１」あるいは「０」との間の小数点の数値を出力する構成となっている。
ステップＳ６１：
深層学習部２０４は、深層学習を用いて新たな学習モデルを生成するか、あるいは既存の汎用的な学習モデルを用いた転移学習により新たな学習モデルを生成するか、を判定する。深層学習部２０４は、例えば、検出支援装置１００Ａによる学習モデルの選択が実行される際に、係る判定を行う。

例えば、深層学習部２０４は、学習用コンテンツ画像を多量に用意できる状況において、視線特徴学習モデルを生成する場合を考える。この場合、各学習用コンテンツ画像に対して、熟練者の視線情報を取得し、正解コンテンツ集合（学習データ）を生成する。その後、深層学習部２０４は、学習用コンテンツ画像の集合と、正解コンテンツ集合とを用いて、深層学習モデル（推定モデル）を機械学習により学習させ、つまり、新規の学習により視線特徴学習モデルを生成する。
一方、深層学習部２０４は、学習用コンテンツ画像を多量に用意できない状況において、視線特徴学習モデルを生成する場合、すでに深層学習により生成された、他の学習用コンテンツ画像に対応する視線特徴学習モデルを転移学習させることにより、視線特徴学習モデルを生成する。なお、学習用コンテンツ画像が多量に用意できる状況であるか否かは、例えば、学習用コンテンツ画像ＤＢ２０５に記憶された学習用コンテンツ画像の数に応じて、或いはユーザの選択操作に応じて判定される。
深層学習部２０４は、新規の学習により視線特徴学習モデルを生成する場合、ステップＳ６５に示す処理を実行する。学習装置２００は、転移学習により視線特徴学習モデルを生成する場合、ステップＳ６２に示す処理を実行する。

ステップＳ６２：
深層学習部２０４は、視線特徴学習モデルＤＢ２０８に記憶されている学習モデルの中から、所定の学習モデルを選択する。例えば、深層学習部２０４は、ユーザにより選択された学習用コンテンツ画像の集合に対して、他の学習用コンテンツ画像の集合に対して学習済みの学習モデルを選択する。深層学習部２０４は、選択した学習モデルを転移学習に用いる深層学習モデルとして取得する。
ステップＳ６３：
深層学習部２０４は、ステップＳ６２で転移学習に用いるために読み出した深層学習モデルから、入力層からユーザが指定あるいは予め指定されている中間層（適合層）までを、転移学習モデルとして抽出する。そして、深層学習部２０４は、深層学習モデルから、上記適合層以降の中間層を抽出し、上記転移学習モデルの適合層に接続し、かつ出力層を接続することにより、転移学習用深層学習モデルを構成する。
ステップＳ６４：
深層学習部２０４は、学習対象モデル（上記転移学習用深層学習モデルあるいは上記深層学習モデル）の入力層に、学習用コンテンツ画像における熟練者の視線情報に基づき注目度が高いと判断される画素を入力した場合に、出力層から注目度が高いことを示す「１」に近い数値が出力されるように、各ネットワークの層の重みパラメタの最適化処理を行う。また、深層学習部２０４は、学習対象モデルの入力層に、学習用コンテンツ画像における熟練者の注目度が低いと判断される画素を入力した場合に、出力層から注目度が低いことを示す「０」に近い数値が出力されるよう最適化処理を行う。すなわち、深層学習部２０４は、学習用コンテンツ画像に対し、クラス分類の機械学習を行い、学習結果として、視線特徴画像を生成する。

このとき、深層学習部２０４は、生成した学習モデルに対し、学習用コンテンツとは異なる学習用コンテンツ画像の集合と、それらの画像に対する熟練者の視線情報である正解データ集合との組を入力し、生成した学習モデルに対して学習テストを行うようにしてもよい。
この場合、深層学習部２０４は、学習用コンテンツ画像の集合を、学習モデルに入力した際、出力層の出力する数値が予め設定した第１閾値以上となり、かつ、出力層の出力する数値が予め設定した第２閾値以下となった場合、この学習モデルを視線特徴学習モデルＤＢ２０８に記憶し、視線特徴学習モデルとする。
一方、深層学習部２０４は、上記学習テストにおいて、熟練者の視線が集中する画素に対して学習モデルの出力層の出力する数値が予め設定した第１閾値未満、あるいは検査員の視線が集中しにくい画素に対して、学習対象モデルの出力層の出力する数値が予め設定した第２閾値以上である場合、この学習モデルを視線特徴学習モデルＤＢ２０８に記憶せずに、学習モデルの再学習を行う。

ステップＳ６５：
深層学習部２０４は、ステップＳ６４で生成した学習モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメタ、活性化関数の種類と出力されるパラメタなどの各々を、学習モデルのパラメタとして抽出する。

ステップＳ６６：
深層学習部２０４は、生成した学習モデルと、抽出した学習モデルパラメタとを視線特徴学習モデルＤＢ２０８に記憶させる（登録処理）。

＜第３の実施形態＞
次に第３の実施形態について説明する。本実施形態では、視覚特徴と視線特徴とを用いて、コンテンツ特徴量を算出する点において、上述した実施形態と相違する。これにより、本実施形態の検出支援装置１００Ｂは、人間の視知覚の情報処理に類似した処理を施すこと、及び人間の視線情報を利用することができ、コンテンツ画像の見え方について、より詳細な情報を提示することができる。本実施形態においては、上述した実施形態と異なる構成についてのみ説明し、上述した実施形態の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。

図１１は、第３の実施形態による検出支援装置１００Ｂの構成例を示すブロック図である。検出支援装置１００Ｂは、例えば、視覚特徴視線特徴算出部１１９と、コンテンツ特徴量算出部１０５Ｂとを備える。

以下、本実施形態においては、コンテンツ画像を静止画像として説明するが、第１の実施形態と同様に、動画像、映像等の他のコンテンツ画像に適用されてもよい。

視覚特徴視線特徴算出部１１９は、視覚特徴画像と視線特徴画像とを用いて、視覚特徴視線特徴を算出する。視覚特徴視線特徴は、視覚特徴と視線特徴との双方の度合いを示す情報である。視覚特徴視線特徴算出部１１９は、例えば、視覚特徴と視線特徴との間で演算を行うことにより、視覚特徴視線特徴を算出する。ここでの演算には、例えば、視覚特徴と視線特徴との論理積（ＡＮＤ）、論理和（ＯＲ）、排他的論理和（ＸＯＲ）等の各種論理演算や、Ｗｉｎｎｅｒｓ ｔａｋｅ ａｌｌ演算や、ビット演算、四則演算等が含まれる。

視覚特徴視線特徴算出部１１９は、視覚特徴と視線特徴との間で演算を行う際に、特徴ごと、或いは画素ごとに重みづけを行ってもよい。

視覚特徴視線特徴算出部１１９により用いられる視覚特徴画像は、視覚特徴画像生成部１０３により生成された画像である。視覚特徴視線特徴算出部１１９により用いられる視線特徴画像は、視線特徴画像生成部１１７により生成された画像である。視覚特徴視線特徴算出部１１９は、生成した視覚特徴視線特徴を、コンテンツ特徴量算出部１０５Ａに出力する。

コンテンツ特徴量算出部１０５Ｂは、視覚特徴視線特徴に画像特徴を適用することによりコンテンツ特徴量を算出する。本実施形態のコンテンツ特徴量は、例えば、視覚特徴視線特徴における画像上の特徴を統計的に示す統計量である。

コンテンツ特徴量は、例えば、画像特徴としてコントラストが選択された場合、コンテンツ画像において、視覚特徴視線特徴がいかなるコントラストを形成しているかを示す値となる。ここで用いられる視覚特徴視線特徴は、視覚特徴視線特徴算出部１１９により生成された情報である。ここで用いられる画像特徴は、画像特徴選択部１０４により選択された画像特徴である。
なお、コンテンツ特徴量は、視覚特徴視線特徴そのものであってもよい。

図１２は、本実施形態による検出支援装置１００Ｂが行なう処理の動作例を示すフローチャートである。図１２のステップＳ３１、Ｓ３２、Ｓ３６、及びＳ３８～Ｓ４１の各々に示す処理については、図２のステップＳ１１、Ｓ１２、Ｓ１３、及びＳ１５～Ｓ１８の各々に示す処理と同様であるため、その説明を省略する。また、図１２のステップＳ３３、Ｓ３４に示す処理については、図２のステップＳ２１、Ｓ２２に示す処理と同様であるため、その説明を省略する。

ステップＳ３０：
検出支援装置１００Ｂは、コンテンツ画像選択部１０１により取得したコンテンツ画像を、視覚特徴画像生成部１０３、及び視線特徴画像生成部１１７に出力する。
ステップＳ３５：
検出支援装置１００Ｂは、視覚特徴視線特徴算出部１１９により、Ｓ３２で生成した視覚特徴画像、及びステップＳ３４で生成した視覚特徴画像を用いて、視覚特徴視線特徴を算出し、算出した視覚特徴視線特徴をコンテンツ特徴量算出部１０５Ｂに出力する。
ステップＳ３７：
検出支援装置１００Ｂは、コンテンツ特徴量算出部１０５Ｂにより、ステップＳ３５で算出した視覚特徴視線特徴に、画像特徴を適用することにより、コンテンツ特徴量を算出する。

以上説明したように、第３の実施形態の検出支援装置１００Ｂは、視覚特徴視線特徴算出部１１９を備える。視覚特徴視線特徴算出部１１９は、視覚特徴画像と視線特徴画像とを用いて、視覚特徴視線特徴を算出する。これにより、第３の実施形態の検出支援装置１００Ｂによれば、人間の視知覚の情報処理に類似した処理を施すこと、及び人間の視線情報を利用することができ、コンテンツ画像の見え方について、より詳細な情報を提示することができる。

なお、本発明における検出支援装置１００（１００Ａ、１００Ｂ）の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００、１００Ａ、１００Ｂ…検出支援装置
１０１…コンテンツ画像選択部
１０２…視覚特徴選択部
１０３…視覚特徴画像生成部
１０４…画像特徴選択部
１０５、１０５Ａ、１０５Ｂ…コンテンツ特徴量算出部
１０６…解析方法選択部
１０７…解析部
１０８…コンテンツ画像ＤＢ
１０９…視覚特徴ＤＢ
１１０…視覚特徴画像記憶部
１１１…画像特徴ＤＢ
１１２…コンテンツ特徴量記憶部
１１３…解析方法ＤＢ
１１４…解析結果記憶部
１１５…解析結果出力部
１１６…視線特徴学習モデル選択部
１１７…視線特徴画像生成部
１１８…視線特徴学習モデルＤＢ
１１９…視覚特徴視線特徴算出部

Claims (6)

1. 所定の柄を繰り返し配置することにより生成されるコンテンツ画像に生じる、前記コンテンツ画像における柄の連続性による想定外のパターンの有無の検出を支援する検出支援装置であって、
   前記コンテンツ画像に関する情報を取得するコンテンツ画像取得部と、
   前記コンテンツ画像から画像における明るさ又は色の特徴である視覚特徴としてのコントラストを抽出した視覚特徴画像を用いて、コントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を、前記コンテンツ画像における人間の視知覚による見え方を示すコンテンツ特徴量として算出するコンテンツ特徴量算出部と、
   前記想定外のパターンが人間によって検出された画像である基準画像と、前記検出された前記想定外のパターンが人間によって解消された画像である検査画像のそれぞれの前記コンテンツ特徴量として、前記基準画像と前記検査画像のそれぞれのコントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を比較可能に表示することによって前記基準画像と前記検査画像における人間の視知覚による見え方の差異を可視化する解析結果出力部と、
   を備えることを特徴とする検出支援装置。
2. 前記視覚特徴には、さらに前記コンテンツ画像に対する人間の目の認識し易さを表す認識指標が含まれる、
   ことを特徴とする請求項１に記載の検出支援装置。
3. 前記認識指標には、視覚的注意モデル、視線予測モデル、顕著性モデル、及びサリエンシーモデルのうち、少なくとも一つが含まれる、
   ことを特徴とする請求項２に記載の検出支援装置。
4. 前記コンテンツ特徴量算出部は、前記視覚特徴画像に、画像処理の技法を用いて抽出する画像上の特徴である画像特徴を適用することにより、前記コンテンツ特徴量を算出する、
   ことを特徴とする請求項１から請求項３の何れか一項に記載の検出支援装置。
5. 所定の柄を繰り返し配置することにより生成されるコンテンツ画像に生じる、前記コンテンツ画像における柄の連続性による想定外のパターンの有無の検出を支援する検出支援装置における検出支援方法であって、
   コンテンツ画像取得部が、前記コンテンツ画像に関する情報を取得し、
   コンテンツ特徴量算出部が、前記コンテンツ画像から画像における明るさ又は色の特徴である視覚特徴としてのコントラストを抽出した視覚特徴画像を用いて、コントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を、前記コンテンツ画像における人間の視知覚による見え方を示すコンテンツ特徴量として算出し、
   解析結果出力部が、前記想定外のパターンが人間によって検出された画像である基準画像と、前記検出された前記想定外のパターンが人間によって解消された画像である検査画像のそれぞれの前記コンテンツ特徴量として、前記基準画像と前記検査画像のそれぞれのコントラストを抽出する画像サイズが異なる複数の前記視覚特徴画像を比較可能に表示することによって前記基準画像と前記検査画像における人間の視知覚による見え方の差異を可視化する、
   ことを特徴とする検出支援方法。
6. コンピュータに、請求項１から請求項４の何れか一項に記載の検出支援装置として機能させるためのプログラム。

Images