JP4581084B2 - 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム - Google Patents
画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム Download PDFInfo
- Publication number
- JP4581084B2 JP4581084B2 JP2004323774A JP2004323774A JP4581084B2 JP 4581084 B2 JP4581084 B2 JP 4581084B2 JP 2004323774 A JP2004323774 A JP 2004323774A JP 2004323774 A JP2004323774 A JP 2004323774A JP 4581084 B2 JP4581084 B2 JP 4581084B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity
- neural network
- learning
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、人の感性情報を計算機によって機械的に取り扱う、いわゆる感性情報処理の分野に属し、更に画像処理によって画像から各種の特徴量を抽出し、目的に応じてクラスタリングあるいはパターン認識する画像処理・パターン認識の分野に属し、初めて見る画像に対して人間が感じる“安定・不安定”、“賑やか・静か”などの、特にその画像の構図に関わりが強いと考えられる特徴に対する感性に合った応答出力をすることができる画像処理方法に関する。また、この画像処理方法を用いて画像からの安定な構図による自動トリミングや、画像データベースからの感性に基づく画像検索などを実現する画像処理装置に関する。
これまでにも、画像と人の感性を結びつけようとする試みは多数行われてきている。例えば、画像の検索において、各画像に対して、寒い・暖かい、安定・不安定などの相反する形容詞対における度合いをＳＤ法（Ｓｅｍａｎｔｉｃ Ｄｉｆｆｅｒｅｎｔｉａｌ ｍｅｔｈｏｄ）（例えば、非特許文献１）に基づいてあらかじめ視覚心理実験によって計測し、その結果をインデクスとして手動で付与した画像データベースを作ることで、それらの感性情報をクエリ（検索要求）として入力して候補画像を検索する試みがある（例えば、非特許文献２）。しかしながら人手によるインデクスの付与を、一般に日々更新される画像データベースに適用することは実用上困難であるとともに、インデクスが付与されていない未知の画像データに対しては適用することができない。
このため、それらの感性情報を画像から自動的に取得する必要がある。これに対して、特定の画像セットに対する人の感性応答を求め、その感性応答と、画像セット中の画像の色分布特徴や形状特徴などの特徴量を関連付ける試みもなされている。しかしながら、これらは感性情報に基づく画像データベースからの画像検索を目的としたものがほとんどである。
また、人の感性には一般に個人差があることから、そこで求めた画像特徴は必ずしも一般性をもたないことが多く、産業応用の観点からは実用化に至らないものも多かった。
これに対して、多くの人が共通して感じる感性を、画像から自動取得しようとする試みもあるが、いずれも類似画像検索やデザイン支援などの分野での適用例があるだけで、本発明で特に注目している“画像の構図”と人の感性との関連を調べて工学的に応用しようとするものはほとんどない。一部、絵画の構図を自動分類しようとする試みはあるが、その画像がどの程度安定であるか、といった客観的な評価を数値として具体的に与えるものではなく、画像の構図をラフに表したスケッチ画像を用意し、それをクエリとして画像データベースに与えることで、構図が類似した画像群を検索する方式が提案されているに過ぎない。また、これらの方式では、スケッチ画像（クエリ）と各画像の色分布や形状の特徴を重ね合わせて一致率を求めるテンプレートマッチングあるいは、背景・図形を分離して同様に比較する方式がほとんどであり、“画像の構図”と人の感性の関係まで立ち入って処理をする方法や装置はこれまでにほとんど提案されていない。
中森義輝著「感性データ解析」森北出版，２０００年８月１０日 安居院猛、長尾智晴、中嶋正之，「ＳＤ法を用いた画像検索に関する一検討」，テレビジョン学会誌，テレビジョン学会，１９９０年，Ｖｏｌ．４４，Ｎｏ．６，ｐｐ．７８８−７９０
中森義輝著「感性データ解析」森北出版，２０００年８月１０日 安居院猛、長尾智晴、中嶋正之，「ＳＤ法を用いた画像検索に関する一検討」，テレビジョン学会誌，テレビジョン学会，１９９０年，Ｖｏｌ．４４，Ｎｏ．６，ｐｐ．７８８−７９０
本発明は、あらかじめインデクスなどが付与されていない、未知の画像の構図について、人の感性と照らし合わせることによって、その構図の“安定・不安定”、“賑やか・静か”などの度合いを、数値として客観的に出力することができる画像処理方法、及びその画像方法を用いて、画像中の安定な構図の部分画像の切り出し（トリミング）や、画像検索などを行うことができる画像処理装置を提供することを目的とする。
本発明に係る画像処理装置は、
画像に対する感性に係る判定を行う画像処理装置であって、
（１）学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部
（２）判定対象の画像から特徴量データを抽出する特徴抽出部
（３）学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網。
画像に対する感性に係る判定を行う画像処理装置であって、
（１）学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部
（２）判定対象の画像から特徴量データを抽出する特徴抽出部
（３）学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網。
結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報正解データ（感性情報目標データ）を出力するように、学習させて得られた結合荷重を記憶していることを特徴とする。
結合荷重記憶部は、学習用画像に対する「賑やか又は静か」の感性についての心理実験結果から得られた感性による評価である感性情報正解データ（感性情報目標データ）を出力するように、学習させて得られた結合荷重を記憶していることを特徴とする請求項１記載の画像処理装置。
結合荷重記憶部は、特徴量データとして、画像の対称度、画像の中心に物体あるいは図形が存在する度合いである中心度、面積の大きな重要オブジェクトの重心座標、面積の大きな重要オブジェクトの外接四角形の縦横比
、面積の大きな重要オブジェクトが四角形に近似する度合である四角度、及び面積の大きな重要オブジェクトが円形に近似する度合である円形度を入力して学習させて得られた結合荷重を記憶し、
特徴抽出部は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を算出し、
判定用神経回路網は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を入力することを特徴とする請求項２記載の画像処理装置。
、面積の大きな重要オブジェクトが四角形に近似する度合である四角度、及び面積の大きな重要オブジェクトが円形に近似する度合である円形度を入力して学習させて得られた結合荷重を記憶し、
特徴抽出部は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を算出し、
判定用神経回路網は、特徴量データとして、前記対称度、前記中心度、前記重要オブジェクトの重心座標、前記重要オブジェクトの外接四角形の縦横比、前記重要オブジェクトの四角度、及び前記重要オブジェクトの円形度を入力することを特徴とする請求項２記載の画像処理装置。
結合荷重記憶部は、特徴量データとして、画像を分割したブロック毎の平均色、画像が有する色を減色した後の色数、ラベリング処理後のラベル値及び区画数、及び画像に対する背景の影響度である背景度を入力して学習させて得られた結合荷重を記憶し、
特徴抽出部は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を算出し、
判定用神経回路網は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を入力することを特徴とする請求項３記載の画像処理装置。
特徴抽出部は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を算出し、
判定用神経回路網は、特徴量データとして、前記ブロック毎の平均色、前記減色後の色数、前記ラベル値及び区画数、及び前記背景度を入力することを特徴とする請求項３記載の画像処理装置。
画像処理装置は、更に、全体画像から複数の部分画像を切り出す部分画像切り出し部を有し、
特徴抽出部は、複数の部分画像を判定対象の画像として、それそれに特徴量データを抽出し、
判定用神経回路網は、部分画像毎に、判定結果として感性出力データを出力し、
画像処理装置は、更に、感性出力データに従って、複数の部分画像のうち最適な部分画像を決定する最適部分画像決定部を有することを特徴とする請求項１記載の画像処理装置。
特徴抽出部は、複数の部分画像を判定対象の画像として、それそれに特徴量データを抽出し、
判定用神経回路網は、部分画像毎に、判定結果として感性出力データを出力し、
画像処理装置は、更に、感性出力データに従って、複数の部分画像のうち最適な部分画像を決定する最適部分画像決定部を有することを特徴とする請求項１記載の画像処理装置。
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置による画像処理方法であって、以下の要素を有することを特徴とする画像処理方法
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理工程
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程。
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理工程
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程。
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理。
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理。
学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置
となるコンピュータに、以下の手順を実行させるためのプログラム
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理手順
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順。
となるコンピュータに、以下の手順を実行させるためのプログラム
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理手順
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順。
本発明においては、未知の画像の構図について、人の感性と照らし合わせることによって、その構図の“安定・不安定”、“賑やか・静か”などの度合いを、数値として客観的に判定することができる。
実施の形態１．
まず、本発明について行った実験について説明する。図１中の１に示すように、始めに、図３に例示するデザイナーによって描かれた８８枚の幾何学的な図形を画像セットとして用意した。
まず、本発明について行った実験について説明する。図１中の１に示すように、始めに、図３に例示するデザイナーによって描かれた８８枚の幾何学的な図形を画像セットとして用意した。
これに対して、図１中の３に示す人による心理実験を行った。複数の被験者に対して、学習用画像セットの中からランダムに抽出した各学習用画像に対して、“安定・不安定”・“賑やか・静か”の度合いを次に示すような５段階で評価させる視覚心理実験を行った。
“安定・不安定” １：非常に不安定
２：やや不安定
３：どちらとも言えない
４：やや安定
５：非常に安定
“賑やか・静か” １：非常に静か
２：やや静か
３：どちらとも言えない
４：やや賑やか
５：非常に賑やか
この心理実験結果を、画像セットに対する正解の感性出力データであるとみなす。
“安定・不安定” １：非常に不安定
２：やや不安定
３：どちらとも言えない
４：やや安定
５：非常に安定
“賑やか・静か” １：非常に静か
２：やや静か
３：どちらとも言えない
４：やや賑やか
５：非常に賑やか
この心理実験結果を、画像セットに対する正解の感性出力データであるとみなす。
このように、学習用画像セットに対して視覚心理実験を行うことによって、各学習用画像に対する人の感性応答を求める。ここで、学習用画像セットとして、一般の屋内・屋外の風景画像等を用いることも可能であるが、一般の画像の場合は、視覚心理実験結果から感性応答と画像特徴量を関係づけることが困難であると考え、図３に例示するような８８枚の幾何学的なカラー画像（２５６×２５６画素）を用いた。
一方、図１の特徴抽出部５により、画像セット中の各画像に対して、後述する１３７種の特徴量を求めておく。このうちの６０枚の画像に対する特徴量データを、図１の学習用（階層型）神経回路網６に入力し、それらに対する心理実験結果から得られた感性情報正解データ（感性情報目標データ）を出力するよう、神経回路網を誤差逆伝播法に基づいて学習する。すなわち神経回路網中の神経細胞ユニット間の結合荷重を最適化する。これにより図１の結合荷重データ７を得る。
この結合荷重を学習用神経回路網６と同じ構造をもった検証用神経回路網９の結合荷重にコピーし、検証用神経回路網９を作る。この検証用神経回路網９に対して、前述の特徴抽出部５によって残り２８枚の検証用画像に対して求めた検証用特徴データを入力し、それらに対する正解の感性情報正解データ（感性情報目標データ）が正しく出力されるか否かを図１の検証用神経回路網の有効性検証部１０において調べる。このとき、検証用神経回路網の有効性が充分でないと判定された場合は、学習用画像を増やして学習用神経回路網の追加学習あるいは再学習を行う。つまり、検証用神経回路網の有効性が認められた時点での結合荷重が、本発明の画像処理装置の結合荷重記憶部に記憶される。
次に、ここで得られた検証用神経回路網９（判定用神経回路網と同等）を用いて、画像中の画像中の最適な構図の部分画像の切り出し及び画像データベース中の個人の好みに合った構図の画像の抽出を行うプロセスについて述べる。図２に、任意の画像中の最適な構図の部分画像の決定処理を示す。図２に示す画像データベース１１中の任意の画像の中から、部分画像切り出し部１２により部分画像を切り出し、部分画像を、図１と同様の特徴抽出部５に入力してその特徴量を得る。これらの特徴量を図１と同様の検証用神経回路網９に入力し、その部分画像に対する感性出力値を求める。この感性出力値と部分画像番号を、図２の最適部分画像決定部１６に入力することによって、最終的に切り出す部分画像を出力する。画像から、例えば“最も安定な構図”の部分画像が欲しい場合は、この最適部分画像決定部では、部分画像の中で最大の“安定度”をもった部分画像を決定することによって最終的に出力される部分画像を決定する。
次に、特徴量について説明する。視覚心理実験結果を解析することによって、人間が画像のどのような特徴を考慮しているかを検討し、次に示す特徴量を選定した。
特徴抽出処理部５では、上述の各特徴量を算出する。図４は、特徴抽出処理フローを示す図である。図に示すように、特徴抽出処理部５による特徴抽出処理として、ブロック毎平均色算出処理（Ｓ４０１）、対称度算出処理（Ｓ４０２）、減色後色数算出処理（Ｓ４０３）、ラベリング処理後ラベル値・区画数算出処理（Ｓ４０４）、背景度算出処理（Ｓ４０５）、中心度算出処理（Ｓ４０６）、重要オブジェクト重心座標算出処理（Ｓ４０７）、重要オブジェクト外接四角形縦横比算出処理（Ｓ４０８）、重要オブジェクト四角度算出処理（Ｓ４０９）、重要オブジェクト円形度算出処理（Ｓ４１０）、及び色相Ｈ成分算出処理（Ｓ４１１）を行う。以下に、各特徴量およびその算出処理について説明する。
（１）画像のブロック毎の平均色のＲＧＢ値（４８種）
原画像を、図５に示すように４×４個のブロックに均等に分割した後、各ブロックの平均色をＲＧＢ値で求める。これによって得られる４×４×３（Ｒ，Ｇ，Ｂ）＝４８種のデータを特徴量とする。
原画像を、図５に示すように４×４個のブロックに均等に分割した後、各ブロックの平均色をＲＧＢ値で求める。これによって得られる４×４×３（Ｒ，Ｇ，Ｂ）＝４８種のデータを特徴量とする。
この特徴量を求めるブロック毎平均色算出処理（Ｓ４０１）について説明する。図６は、ブロック毎平均色算出処理フローを示す図である。まず、画像を均等に分割したブロック領域を決定する（Ｓ６０１）。例えば、四角形の対角座標を算出する。そして、各ブロック毎に以下の処理を繰り返す（Ｓ６０２）。ブロック内の画素群のＲＧＢ値の各総計を算出し（Ｓ６０３）、各総計（ＲＧＢ値）を画素数で割り（Ｓ６０４）、得られた各商を、平均色（ＲＧＢ値）としてブロック番号と対応付けて出力する（Ｓ６０５）。すべてのブロックについて処理した時点で終了する（Ｓ６０６）。
（２）画像の左右対称度（１種）・上下対称度（１種）・斜め対称度（２種）
画像を図７に示すように左右・上下・斜め（２方向）にそれぞれ折り返したときの重なる画素の一致率から求めた対称度、計４種を用いる。
画像を図７に示すように左右・上下・斜め（２方向）にそれぞれ折り返したときの重なる画素の一致率から求めた対称度、計４種を用いる。
この特徴量を求める対称度算出処理（Ｓ４０２）について説明する。図８は、対称度算出処理フローを示す図である。左右対称度算出処理（Ｓ８０１）、上下対称度算出処理（Ｓ８０２）、右上対左下斜め対称度算出処理（Ｓ８０３）、及び左上対右下斜め対称度算出処理（Ｓ８０４）を行う。
Ｓ８０１からＳ８０４では、それぞれに個別の対称度算出処理を行う。図９は、個別の対称度算出処理フローを示す図である。左右対称軸、上下対称軸、右上対左下対称軸、あるいは左上対右下対称軸の個別の対称軸で分割した領域を決定する（Ｓ９０１）。そして、一方の領域の各画素について以下の処理を繰り返す（Ｓ９０２）。まず、当該画素に対する対象位置の画素を特定し（Ｓ９０３）。一方の領域側の当該画素の値と、他方の領域側の対称位置の画素の値を比較し、比較結果として、一致または不一致を判定する（Ｓ９０４）。これを一方の領域のすべての画素について処理し（Ｓ９０５）、一致した比較結果の数（一致数）を算出する（Ｓ９０６）。最後に、一致数を、比較した画素数（一方の領域の画素数）で割って（Ｓ９０７）、商を、一致率として出力する（Ｓ９０８）。
（３）画像に含まれる色数（１種）
原画像をＲＧＢ各４階調、計６４色に減色する処理を施した後の画像に含まれる色数を用いる。
原画像をＲＧＢ各４階調、計６４色に減色する処理を施した後の画像に含まれる色数を用いる。
この特徴量を求める減色後色数算出処理（Ｓ４０３）について説明する。図１０は、減色後色数算出処理フローを示す図である。画像に含まれる各画素について以下の処理を繰り返す（Ｓ１００１）。ＲＧＢ値をそれぞれ４階調とする６４色のうち、当該画素のＲＧＢ値に最も近似する値を判定し（Ｓ１００２）、当該近似する値を含有色として記憶する（Ｓ１００３）。そして、すべての画素について処理した時点で（Ｓ１００４）、記憶した値の種類数つまり含有色を、減色後色数としてカウントする（Ｓ１００５）。
（４）ラベリング処理後のラベル値（６４種）・区画数（１種）
原画像を８×８個のブロックでそれぞれ色を平均化し、（３）の減色処理を施した後、図１１に示すように、連結している同色領域に同じ番号を付けるラベリング処理を施した。本発明では、連結領域の通し番号ではなく、連結領域の面積の値（連結ブロック数）をラベル番号にした。これにより、色分布の面積情報を考慮する。また、ラベリング処理によって分割された数を区画数とした。
原画像を８×８個のブロックでそれぞれ色を平均化し、（３）の減色処理を施した後、図１１に示すように、連結している同色領域に同じ番号を付けるラベリング処理を施した。本発明では、連結領域の通し番号ではなく、連結領域の面積の値（連結ブロック数）をラベル番号にした。これにより、色分布の面積情報を考慮する。また、ラベリング処理によって分割された数を区画数とした。
この特徴量を求めるラベリング処理後ラベル値・区画数算出処理（Ｓ４０４）について説明する。図１２と図１３は、ラベリング処理後ラベル値・区画数算出処理フローを示す図である。まず、画像を均等に分割したブロック領域を決定する（Ｓ１２０１）。例えば、８×８個の四角形ブロックの対角座標を算出する。そして、各ブロック毎に以下の処理を繰り返す（Ｓ１２０２）。ブロックに含まれる画素のＲＧＢ値の平均を算出し（Ｓ１２０３）、ＲＧＢ値をそれぞれ４階調とする６４色のうち、当該平均ＲＧＢ値に最も近似する値を判定する（Ｓ１２０４）。当該近似する値を、減色処理後の色としてブロック毎に記憶し（Ｓ１２０５）、すべてのブロックについて処理した時点で次の処理に移行する（Ｓ１２０６）。
前記６４色毎に以下の処理を繰り返す（Ｓ１３０１）。当該色と一致する減色処理後の色を有するブロックを特定し（Ｓ１３０２）、特定したブロックのうち隣接するもの同士に、共通の領域識別子を割り当てる（Ｓ１３０３）。また、特定したブロックのうち単独のものには、固有の領域識別子を割り当てる（Ｓ１３０４）。そして、領域識別子毎に以下の処理を繰り返す（Ｓ１３０５）。同一の領域識別子が割り当てられているブロックの数をカウントし（Ｓ１３０６）、カウントしたブロック数を、ラベル番号として当該同一の領域識別子が割り当てられているブロックに割り当てる（Ｓ１３０７）。すべての領域識別子について処理し（Ｓ１３０８）、更にすべての色について処理した時点で終了する（Ｓ１３０９）。
（５）背景度（１種）
背景があるかないか、及び背景がある場合は背景の大きさはどのくらいかを表す特徴量である。図１４に背景がある場合とない場合の例を示す。それぞれの場合の背景度について次に示す。
背景があるかないか、及び背景がある場合は背景の大きさはどのくらいかを表す特徴量である。図１４に背景がある場合とない場合の例を示す。それぞれの場合の背景度について次に示す。
・背景ありの場合
面積最大のオブジェクトの面積をＳ１、画像全体の面積の半分をＳｈａｌｆとし、Ｓ１≧Ｓｈａｌｆなら、背景度ｂｇを次式から求める。
面積最大のオブジェクトの面積をＳ１、画像全体の面積の半分をＳｈａｌｆとし、Ｓ１≧Ｓｈａｌｆなら、背景度ｂｇを次式から求める。
・背景なしの場合
面積最大のオブジェクトの面積が、Ｓ１＜Ｓｈａｌｆの場合は背景なしとして次式から背景度を定義する。
面積最大のオブジェクトの面積が、Ｓ１＜Ｓｈａｌｆの場合は背景なしとして次式から背景度を定義する。
この特徴量を求める背景度算出処理（Ｓ４０５）について説明する。図１５は、背景度算出処理フローを示す図である。まず、オブジェクトを特定し、オブジェクトの範囲を求める（Ｓ１５０１）。そして、各オブジェクトの面積を算出し（Ｓ１５０２）、各面積を比較し、最大の面積を有するオブジェクトを特定する（Ｓ１５０３）。また、画像全体の面積に所定背景基準割合（例えば１／２）を乗じて、背景基準値（例えば、全体面積の半分Ｓｈａｌｆ）を求め（Ｓ１５０４）、最大オブジェクトの面積Ｓ１と背景基準値を比較する（Ｓ１５０５）。最大オブジェクトの面積Ｓ１≧背景基準値ならば、背景有りと判定し（Ｓ１５０６）、最大オブジェクトの面積Ｓ１から背景基準値を引いて、差を背景基準値で割って、商を背景度ｂｇとする（Ｓ１５０７）。一方、最大オブジェクトの面積Ｓ１＜背景基準値ならば、背景無しと判定し（Ｓ１５０８）、背景度ｂｇを０とする（Ｓ１５０９）。
（６）中心度（３種）
本発明において中心度を、「中心に物体がある場合、もしくは図形の中心が画像の中心付近にあるか」を表す値として定義して算出した。なお、画像の中心部とは、図１６の灰色の部分のことを指す。ここでは中心度として、次に示す第一中心度、第二中心度、及び第三中心度を計算して用いる。
本発明において中心度を、「中心に物体がある場合、もしくは図形の中心が画像の中心付近にあるか」を表す値として定義して算出した。なお、画像の中心部とは、図１６の灰色の部分のことを指す。ここでは中心度として、次に示す第一中心度、第二中心度、及び第三中心度を計算して用いる。
・第一中心度
中心部のＲＧＢ平均階調値と周辺部のＲＧＢ平均階調値の差からの算出するもので、中心部のＲＧＢ平均階調値をＲｉ，Ｇｉ，Ｂｉとおき、周辺部のＲＧＢ平均階調値をＲｏ，Ｇｏ，Ｂｏとおいて、ＲＧＢ空間のユークリッド距離の式
に代入すると、Ｄの値は０≦Ｄ≦３１／２となる。そこで、第一中心度を次のように算出する。
中心部のＲＧＢ平均階調値と周辺部のＲＧＢ平均階調値の差からの算出するもので、中心部のＲＧＢ平均階調値をＲｉ，Ｇｉ，Ｂｉとおき、周辺部のＲＧＢ平均階調値をＲｏ，Ｇｏ，Ｂｏとおいて、ＲＧＢ空間のユークリッド距離の式
・第二中心度
中心部のＲＧＢにおいての平均階調値を算出してＲｉ，Ｇｉ，Ｂｉとおくと、中心部の分散値σＲ，σＧ，σＢは、中心部の各画素のＲＧＢ階調値をＲ，Ｇ，Ｂとすると、
と算出することができる。ただし、Ｎは中心部の画素数である。各分散値の正規化を行った後に、１からの差をとり、次式のようになる。
これらを用いて第二中心度を次式で算出する。
中心部のＲＧＢにおいての平均階調値を算出してＲｉ，Ｇｉ，Ｂｉとおくと、中心部の分散値σＲ，σＧ，σＢは、中心部の各画素のＲＧＢ階調値をＲ，Ｇ，Ｂとすると、
・第三中心度
形に関する中心度として、次のｉ）、ｉｉ）の２つの場合に分けて中心度を定義する。ここで、画像中心の座標はＧ（Ｇｘ，Ｇｙ）と表す。
形に関する中心度として、次のｉ）、ｉｉ）の２つの場合に分けて中心度を定義する。ここで、画像中心の座標はＧ（Ｇｘ，Ｇｙ）と表す。
ｉ）背景ありの場合の第三中心度
前述の処理によって背景がありと認められる画像においては、面積最大のオブジェクトが背景となるので、重要視するオブジェクトから除外し、２、３、４番目の面積のものを重要視するオブジェクトとし、その面積をそれぞれＳ１，Ｓ２，Ｓ３とし、重心座標をそれぞれ（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３）とする。
前述の処理によって背景がありと認められる画像においては、面積最大のオブジェクトが背景となるので、重要視するオブジェクトから除外し、２、３、４番目の面積のものを重要視するオブジェクトとし、その面積をそれぞれＳ１，Ｓ２，Ｓ３とし、重心座標をそれぞれ（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３）とする。
まず、画像中心からの距離 をそれぞれ次式で算出する。
また、中心にそれぞれのオブジェクトが近いほど中心度を高くするために、画像中心から画像の隅までの距離をＭｄとする。そして、３つのオブジェクトの中でも面積が大きいほど重要視する係数を掛けて、第三中心度は次のようになる。
ここで、係数ｋｉは面積ｉ番目の面積の係数であり、次式により算出する。
ｉｉ）背景なしの場合の第三中心度
一方、背景がないと認められる画像の場合は１、２、３番目の面積のものをそのまま重要視するオブジェクトとして、上と同様の処理を行って中心度を算出する。
一方、背景がないと認められる画像の場合は１、２、３番目の面積のものをそのまま重要視するオブジェクトとして、上と同様の処理を行って中心度を算出する。
この特徴量を求める中心度算出処理（Ｓ４０６）について説明する。図１７は、中心度算出処理フローを示す図である。第一中心度算出処理（Ｓ１７０１）、第二中心度算出処理（Ｓ１７０２）、及び第三中心度算出処理（Ｓ１７０３）を行う。
図１８は、第一中心度算出処理フローを示す図である。まず、中心部の範囲と周辺部の範囲を特定する（Ｓ１８０１）。中心部に含まれる画素のＲＧＢ値それぞれの合計値を求め（Ｓ１８０２）、ＲＧＢ値のそれぞれの合計値を、中心部の画素数で割って、それぞれの商として平均値（Ｒｉ，Ｇｉ，Ｂｉ）を算出する（Ｓ１８０３）。また、周辺部に含まれる画素のＲＧＢ値それぞれの合計値を求め（Ｓ１８０４）、ＲＧＢ値のそれぞれの合計値を、周辺部の画素数で割って、それぞれの商として平均値（Ｒｏ，Ｇｏ，Ｂｏ）を算出する（Ｓ１８０５）。そして、ＲＧＢ値のそれぞれについて、中心部の平均値と周辺部の平均値の差分を求め、更に差分の自乗値（（Ｒｉ−Ｒｏ）２，（Ｇｉ−Ｇｏ）２，（Ｂｉ−Ｂｏ）２）を求める（Ｓ１８０６）。これらの各差分自乗値の総和を求め、更に当該総和の平方根を求め（Ｓ１８０７）、当該平方根の解を、３の平方根で割って、商を第一の中心度とする（Ｓ１８０８）。
図１９は、第二中心度算出処理フローを示す図である。前述と同様に、中心部の範囲と周辺部の範囲を特定し（Ｓ１９０１）中心部に含まれる画素のＲＧＢ値それぞれの合計値を求め（Ｓ１９０２）、ＲＧＢ値のそれぞれの合計値を、中心部の画素数で割って、それぞれの商として平均値（Ｒｉ，Ｇｉ，Ｂｉ）を算出する（Ｓ１９０３）。そして、中心部の各画素について以下の処理を繰り返す（Ｓ１９０４）。ＲＧＢ値のそれぞれについて、当該画素の階調値と中心部の平均値の差分を求め、更に差分の自乗値（（Ｒ−Ｒｉ）２，（Ｇ−Ｇｉ）２，（Ｂ−Ｂｉ）２）を求める（Ｓ１９０５）。すべての画素について処理した時点で（Ｓ１９０６）、ＲＧＢ値のそれぞれについて、各画素における差分自乗値の合計値を求め、各合計値を中心部の画素数で割って、それぞれの商として分散値（σＲ，σＧ，σＢ）を算出する（Ｓ１９０７）。次に、ＲＧＢ値のそれぞれについて、１から各分散値を引いて、それぞれの差を求め（Ｓ１９０８）、それぞれの差の総和を求め、当該総和を３で割って、商を第二の中心度とする（Ｓ１９０９）。
図２０と図２１は、第三中心度算出処理フローを示す図である。前述と同様に、背景があるか判定する（Ｓ２００１）。背景がある場合には、各オブジェクトの面積を比較し、２番目、３番目、及び４番目に大きい面積を有するオブジェクトを重要視するオブジェクトとして特定する（Ｓ２００２）。背景が無い場合には、各オブジェクトの面積を比較し、最大、２番目、及び３番目に大きい面積を有するオブジェクトを重要視するオブジェクトとして特定する（Ｓ２００３）。次に、各重要視するオブジェクト（１，２，３）について、オブジェクトの範囲の重心座標（（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３））を算出し（Ｓ２００４）、更に画像の中心座標（Ｇｘ，Ｇｙ）を算出する（Ｓ２００５）。各重要視するオブジェクトについて、画像の中心座標から重心座標までの距離（ｄ１，ｄ２，ｄ３）を算出する（Ｓ２００６）。
また、重要視するオブジェクトの面積の総和を算出し（Ｓ２１０１）、各重要視するオブジェクトについて、当該オブジェクトの面積を、前記面積の総和で割って、商として面積の係数（ｋ１，ｋ２，ｋ３）を算出する（Ｓ２１０２）。更に、画像中心から画像の隅までの距離Ｍｄを算出し（Ｓ２１０３）、各重要視するオブジェクトについて、中心隅間の距離Ｍｄと中心重心間の距離（ｄ１，ｄ２，ｄ３）の差を算出する（Ｓ２１０４）。そして、当該差を中心隅間の距離Ｍｄで割って、更にその商に面積の係数（ｋ１，ｋ２，ｋ３）を乗じて、積としてオブジェクト毎の中心度を算出する（Ｓ２１０５）。これらのオブジェクト毎の中心度を合計し、総和を第三の中心度とする（Ｓ２１０６）。
（７）重要視するオブジェクトの重心座標（６種）
第三中心度の定義のところで述べたオブジェクトの重心座標（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３）もオブジェクトの位置を表す形状の特徴量であると考えられる。よって、画像の中心座標Ｇ（Ｇｘ，Ｇｙ）を原点とする座標系に変換し、その座標を特徴量として追加する。
第三中心度の定義のところで述べたオブジェクトの重心座標（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３）もオブジェクトの位置を表す形状の特徴量であると考えられる。よって、画像の中心座標Ｇ（Ｇｘ，Ｇｙ）を原点とする座標系に変換し、その座標を特徴量として追加する。
この特徴量を求める重要オブジェクト重心座標算出処理（Ｓ４０７）について説明する。図２２は、重要オブジェクト重心座標算出処理フローを示す図である。各重要視するオブジェクト（１，２，３）について、オブジェクトの範囲の重心座標（（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３））を算出し（Ｓ２２０１）、更に画像の中心座標（Ｇｘ，Ｇｙ）を算出する（Ｓ２２０２）。そして、各重要視するオブジェクト（１，２，３）について、オブジェクトの範囲の重心座標（（Ｘｇ１,Ｙｇ１），（Ｘｇ２,Ｙｇ２），（Ｘｇ３,Ｙｇ３））から画像の中心座標（Ｇｘ，Ｇｙ）を差し引いて、中心座標を原点とする座標系におけるオブジェクト重心座標を算出する（Ｓ２２０３）。
（８）重要視するオブジェクトの外接四角形の縦横比（３種）
面積１番目から３番目（背景がある場合は背景を除く）までのオブジェクトに対し図２３のような外接四角形をはてはめる。外接四角形の縦をｗｙ、横をｗｘとし、各オブジェクトに対し、外接四角形の縦横比率ｒａｔｉｏを次式で定義し特徴量とする。
面積１番目から３番目（背景がある場合は背景を除く）までのオブジェクトに対し図２３のような外接四角形をはてはめる。外接四角形の縦をｗｙ、横をｗｘとし、各オブジェクトに対し、外接四角形の縦横比率ｒａｔｉｏを次式で定義し特徴量とする。
この特徴量を求める重要オブジェクト外接四角形縦横比算出処理（Ｓ４０８）について説明する。図２４は、重要オブジェクト外接四角形縦横比算出処理フローを示す図である。各重要視するオブジェクト（１，２，３）について、以下の処理を繰り返す（Ｓ２４０１）。オブジェクトの範囲に含まれる各画素のｘ座標を比較して、最大値と最小値を判定し（Ｓ２４０２）、ｘ座標の最大値からｘ座標の最小値を差し引いて、差として外接四角形の横の長さｗｘを算出する（Ｓ２４０３）。また、オブジェクトの範囲に含まれる各画素のｙ座標を比較して、最大値と最小値を判定し（Ｓ２４０４）、ｙ座標の最大値からｙ座標の最小値を差し引いて、差として外接四角形の縦の長さｗｙを算出する（Ｓ２４０５）。そして、横の長さｗｘを縦の長さｗｙで割って、商として当該重要視するオブジェクトの縦横比率ｒａｔｉｏを算出する（Ｓ２４０６）。これらの処理を、すべての重要視するオブジェクトについて処理した時点で終了する（Ｓ２４０７）。
（９）重要視するオブジェクトの四角度（３種）
重要視するオブジェクト３つが角ばっているか否かの特徴量である。これは、（８）と同様にオブジェクトに対する外接四角形を考え、オブジェクトの面積と外接四角形の面積の比率から算出する。四角度ｓｈａｒｐは次式によって定義できる。
ここで、Ｓはオブジェクトの面積である。３つのオブジェクトに対し同様の処理を行い特徴量とする。
重要視するオブジェクト３つが角ばっているか否かの特徴量である。これは、（８）と同様にオブジェクトに対する外接四角形を考え、オブジェクトの面積と外接四角形の面積の比率から算出する。四角度ｓｈａｒｐは次式によって定義できる。
この特徴量を求める重要オブジェクト四角度算出処理（Ｓ４０９）について説明する。図２５は、重要オブジェクト四角度算出処理フローを示す図である。各重要視するオブジェクト（１，２，３）について、以下の処理を繰り返す（Ｓ２５０１）。前述の処理で求めた横の長さｗｘと縦の長さｗｙを乗じて、積として当該重要視するオブジェクトの外接四角形の面積を算出する（Ｓ２５０２）。また、当該オブジェクトの面積Ｓを算出する（Ｓ２５０３）。そして、オブジェクトの面積を外接四角形の面積で割って、商として重要視するオブジェクトの四角度を算出する（Ｓ２５０４）。これらの処理をすべての重要視するオブジェクトについて処理した時点で終了する（Ｓ２５０５）。
（１０）重要視するオブジェクトの円形度（３種）
重要視するオブジェクトが丸みを帯びているか否かの特徴量であり、外接四角形の縦横から半径を算出しオブジェクトの周りに図２６のような円を作ったときの円の半径ｒを次式により定義した。
これより、円形度ｒｏｕｎｄはオブジェクトの面積Ｓと円の面積の比率から次式で定義した。
３つのオブジェクトに対し同様の処理を行い特徴量とした。
重要視するオブジェクトが丸みを帯びているか否かの特徴量であり、外接四角形の縦横から半径を算出しオブジェクトの周りに図２６のような円を作ったときの円の半径ｒを次式により定義した。
この特徴量を求める重要オブジェクト円形度算出処理（Ｓ４１０）について説明する。図２７は、重量オブジェクト円形度算出処理フローを示す図である。各重要視するオブジェクト（１，２，３）について、以下の処理を繰り返す（Ｓ２７０１）。前述の処理で求めた横の長さｗｘと縦の長さｗｙを足して、得られた和を４で割って、商として基準円の半径ｒを算出する（Ｓ２７０２）。そして、当該半径を自乗し、自乗値に円周率πを乗じて、積として基準円の面積（πｒ２）を算出する（Ｓ２７０３）。次に、前述の処理で求めたオブジェクトの面積Ｓと基準円の面積（πｒ２）の差分を求め、その差分を基準円の面積（πｒ２）で割って、商を得る（Ｓ２７０４）。最後に、当該商を１から差し引いて、差として円形度ｒｏｕｎｄを算出する（Ｓ２７０５）。これらの処理を、すべての重要視するオブジェクトについて処理した時点で終了する（Ｓ２７０６）。
（１１）色相Ｈ成分（２種）
画像中の各画素のＲＧＢ値をＨＳＶ値に変換した後、色相成分であるＨ値を、図２８のような単位円を直交座表系に分解することによって、最頻Ｈ値のｘ成分ｈｘとｙ成分ｈｙを求め、画像中で最も支配的な色の特徴量とした。
画像中の各画素のＲＧＢ値をＨＳＶ値に変換した後、色相成分であるＨ値を、図２８のような単位円を直交座表系に分解することによって、最頻Ｈ値のｘ成分ｈｘとｙ成分ｈｙを求め、画像中で最も支配的な色の特徴量とした。
この特徴量を求める色相Ｈ成分算出処理（Ｓ４１１）について説明する。図２９は、色相Ｈ成分算出処理フローを示す図である。まず、画像に含まれる各画素について（Ｓ２９０１）、ＲＧＢ値をＨＳＶ値（色相成分，彩度成分，明度成分）に変換する（Ｓ２９０２）。すべての画素について処理すると（Ｓ２９０３）、Ｈ値（色相成分）の出現頻度を算出し、最も出現頻度の高いＨ値（色相成分）を判定する（Ｓ２９０４）。そして、当該Ｈ値（色相成分）を単位円の直交座標系に分解し、最頻Ｈ値のｘ成分ｈｘとｙ成分ｈｙを算出する（Ｓ２９０５）。
これらの特徴量は、様々な特徴量を用いた試行錯誤の結果として、画像の構図を表現するのに適した特徴量として最終的に求めたものである。以上の特徴量をそれぞれの画像から抽出し、階層型神経回路網の入力データとする。本実施例で用いた階層型神経回路網は３層構造の一般的なもので、次に示す通りである。
入力ユニット数：１３９（１３９種の画像特徴量）
中間ユニット数：１８
出力ユニット数：２
入力ユニット数：１３９（１３９種の画像特徴量）
中間ユニット数：１８
出力ユニット数：２
」
中間ユニット数は、いくつかの試行実験の結果から、学習の収束の速さ及び獲得される神経回路網の性能を考慮して決めたものである。また、出力ユニットは、“安定・不安定”及び“賑やか・静か”の度合いを示すもので、出力はそれぞれ０．０〜１．０の間に正規化されており、出力値が１．０に近いものほど、非常に安定度、非常に賑やかをそれぞれ示すものとする。
中間ユニット数は、いくつかの試行実験の結果から、学習の収束の速さ及び獲得される神経回路網の性能を考慮して決めたものである。また、出力ユニットは、“安定・不安定”及び“賑やか・静か”の度合いを示すもので、出力はそれぞれ０．０〜１．０の間に正規化されており、出力値が１．０に近いものほど、非常に安定度、非常に賑やかをそれぞれ示すものとする。
６０枚の学習用画像のそれぞれに対して、１３９種の特徴量を求めて入力値として神経回路網に入力し、それらに対する複数の被験者による感性応答出力２種（安定・不安定、賑やか・静か）を０．０から１．０の間に正規化したものを正解の出力値として、誤差逆伝播法に基づいて階層型神経回路網の学習を行った。学習の結果、人の感性応答出力とほぼ同様な出力を行う神経回路網を獲得した。
以上の神経回路網と特徴抽出部を組み合わせたものが、画像から“安定・不安定”及び“賑やか・静か”についての感性応答をそれぞれ０．０〜１．０までの数値として出力する画像処理方法である。
この画像処理方法によって、学習に用いていない未知の画像の安定度・賑やか度を数値で求めることが可能である。例えば図３０に示す安定な構図に対しては、安定度０．９８、賑やか度０．１９、図３１に示すような不安定な構図に対しては、安定度０．４３、賑やか度０．６８という妥当な出力が得られた。本発見では、学習プロセスに特徴が明確になるような幾何学的画像を用いたが、提案する画像処理方法は、一般のカラー画像に対しても有効である。
本画像処理方法を一般のカラー画像に適用し、画像中の“安定な構図”の自動トリミングに適用した結果を風景画像１（図３２〜図３７）、風景画像２（図３８〜図４３）、人物を含む画像（図４４〜図４９）に示す。ここでは、解像度の高い原画像から、それよりも小さいブロック状の部分画像として画像を切り出したとき、それぞれの位置で提案する画像処理方法によって安定度を求めた結果を例示している。これらの図から、本画像処理方法によって、人の感性に合った画像中の安定な構図の自動トリミングが実現できていることがわかる。
このように、画像の取得・編集・検索・出力方法の分野及びそれらを実現する具体的なディジタルカメラ、画像自動現像装置などの各種画像入力・編集・検索・出力装置への適用が考えられる。
本発明では、図１に示した神経回路網の学習における心理実験を特定の個人だけで行うことで、その個人の感性を反映した構図の画像を画像データベースから自動的に抽出することも可能である。この際、検証用神経回路網の出力は、多くの人に共通的に感じられる“安定度／賑やか度”などではなく、その個人が考える“安定度／賑やか度”などになる。これにより、画像データベース中の各画像に対する検証用神経回路網の出力値を調べることで、その個人の感性に合った画像検索や構図決定支援を行うことができる。
本発明に係る画像処理装置は、少なくとも、結合荷重記憶部と、特徴抽出部と、判定用神経回路網を有する。そして、結合荷重記憶部は、前記結合荷重（学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報正解データ（感性情報目標データ）を出力するように、学習用神経回路網を誤差逆伝播方で学習させて得られた結合荷重）を記憶している。特徴抽出部は、判定対象の画像から特徴量データを抽出する。また、判定用神経回路網は、学習用神経回路網及び検証用神経回路網と同様の構成を有し、特徴抽出部で抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って、判定結果として感性情報正解データ（感性情報目標データ）を出力する。
画像処理装置は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
１ 実験用画像の作成、２ 画像セット、３ 人による心理実験、４ 心理実験結果、５ 特徴抽出部、６ 学習用神経回路網、７ 結合荷重データ、８ 結合荷重データ、９ 検証用神経回路網、１０ 検証用神経回路網の有効性検証部、１１ 画像データベース、１２ 部分画像切り出し部、１６ 最適部分画像決定部。
Claims (9)
- 画像に対する感性に係る判定を行う画像処理装置であって、
（１）学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部と、
（２）判定対象の画像から特徴量データを抽出する特徴抽出部と、
（３）学習用神経回路網と同様の構成を有し、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網を有し、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理装置。 - 前記連結している同色領域の面積の値は、連結するブロック数であることを特徴とする請求項１記載の画像処理装置。
- 結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項１又は２に記載の画像処理装置。 - 学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置による、
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理工程と、
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理工程とを有する画像処理方法であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とする画像処理方法。 - 結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理工程は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項４に記載の画像処理方法。 - 学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに、
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理と、
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 学習用画像から抽出した特徴量データを入力し、学習用画像に対する感性についての心理実験結果から得られた感性情報目標データを出力するように、学習用神経回路網を誤差逆伝播法で学習させて得られた感性による評価である結合荷重を記憶した結合荷重記憶部を有し、画像に対する感性に係る判定を行う画像処理装置となるコンピュータに、
（１）判定対象の画像から特徴量データを抽出する特徴抽出処理手順と、
（２）学習用神経回路網と同様の構成の判定用神経回路網に、判定対象の画像から抽出した特徴量データを入力し、結合荷重記憶部に記憶している結合荷重に従って神経回路網演算処理を行い、判定結果として感性出力データを出力する判定用神経回路網処理手順とを実行させるためのプログラムであって、
特徴量データとして、画像を分割した各ブロックに含まれる色の平均を減色処理し、ブロック毎に連結している同色領域の面積の値をラベル番号とするラベリング処理により得られた各ブロックのラベル番号を用いることを特徴とするプログラム。 - 結合荷重記憶部は、学習用画像に対する「安定又は不安定」の感性についての心理実験結果から得られた感性による評価である感性情報目標データを出力するように、学習させて得られた結合荷重を記憶し、
判定用神経回路網処理手順は、判定結果として「安定又は不安定」の感性出力データを出力することを特徴とする請求項８に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004323774A JP4581084B2 (ja) | 2004-11-08 | 2004-11-08 | 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004323774A JP4581084B2 (ja) | 2004-11-08 | 2004-11-08 | 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006134153A JP2006134153A (ja) | 2006-05-25 |
| JP4581084B2 true JP4581084B2 (ja) | 2010-11-17 |
Family
ID=36727637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004323774A Active JP4581084B2 (ja) | 2004-11-08 | 2004-11-08 | 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4581084B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156850A (zh) * | 2015-04-24 | 2016-11-23 | 江苏卓顿信息科技有限公司 | 一种基于云计算的心理顾问机器人系统 |
| CN108090439A (zh) * | 2017-12-14 | 2018-05-29 | 合肥寰景信息技术有限公司 | 基于深度学习的行人特征提取及处理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916797A (ja) * | 1995-06-30 | 1997-01-17 | Fuji Xerox Co Ltd | 画像解析表現付加装置 |
| JPH11328203A (ja) * | 1998-05-18 | 1999-11-30 | Hitachi Zosen Corp | 画像データベースのスキーマーの作成方法とこの画像データベースからの画像データ検索方法 |
| JP2004526179A (ja) * | 2000-12-22 | 2004-08-26 | ヒューレット・パッカード・カンパニー | 画像構図評価方法および装置 |
-
2004
- 2004-11-08 JP JP2004323774A patent/JP4581084B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916797A (ja) * | 1995-06-30 | 1997-01-17 | Fuji Xerox Co Ltd | 画像解析表現付加装置 |
| JPH11328203A (ja) * | 1998-05-18 | 1999-11-30 | Hitachi Zosen Corp | 画像データベースのスキーマーの作成方法とこの画像データベースからの画像データ検索方法 |
| JP2004526179A (ja) * | 2000-12-22 | 2004-08-26 | ヒューレット・パッカード・カンパニー | 画像構図評価方法および装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156850A (zh) * | 2015-04-24 | 2016-11-23 | 江苏卓顿信息科技有限公司 | 一种基于云计算的心理顾问机器人系统 |
| CN108090439A (zh) * | 2017-12-14 | 2018-05-29 | 合肥寰景信息技术有限公司 | 基于深度学习的行人特征提取及处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006134153A (ja) | 2006-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985377B (zh) | 一种基于深层网络的多特征融合的图像高级语义识别方法 | |
| JP3781696B2 (ja) | イメージ検索方法及び検索装置 | |
| Yumer et al. | Co-abstraction of shape collections | |
| CN103699578B (zh) | 一种基于谱图分析的图像检索方法 | |
| DE112011101927T5 (de) | Semantisches Parsen von Objekten in Videos | |
| JP2004527055A (ja) | 人体の輪郭を同定する方法 | |
| Kiyoki et al. | A Globally-Integrated Environmental Analysis and Visualization System with Multi-Spectral & Semantic Computing in “Multi-Dimensional World Map” | |
| JP2004362314A (ja) | 検索情報登録装置、情報検索装置、検索情報登録方法 | |
| Ranjgar et al. | A novel method for emotion extraction from paintings based on Luscher’s psychological color test: case study Iranian-Islamic paintings | |
| CN108170729A (zh) | 利用超图融合多模态信息的图像检索方法 | |
| KR102560276B1 (ko) | 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 | |
| JP4581084B2 (ja) | 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム | |
| Solli et al. | Color emotions for image classification and retrieval | |
| Wang et al. | Contextual dominant color name extraction for web image search | |
| JP2003157439A (ja) | 画像のカテゴリー化による画像特徴量の相関抽出方法とその相関抽出装置 | |
| Havinga et al. | Geo-data for mapping scenic beauty: Exploring the potential of remote sensing and social media | |
| Moreno-Vera et al. | Quantifying urban safety perception on street view images | |
| Sequenzia et al. | A method for similarity assessment between death masks and portraits through linear projection: The case of Vincenzo Bellini | |
| US20110136093A1 (en) | Personalized studying path generating method in serious game | |
| Mei et al. | Integrating Crowd-sourced Annotations of Tree Crowns using Markov Random Field and Multispectral Information | |
| Frank | State of the art: This convolutional neural network can tell you whether a painting is a fake | |
| CN112948910B (zh) | 双主线办公空间改造方法及装置 | |
| Dev et al. | A perceptual aesthetics measure for 3D shapes | |
| Urai et al. | Clothing image retrieval based on a similarity evaluation method for Kansei retrieval system | |
| Kato | Trans-category retrieval based on subjective perception process models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070521 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |