WO2006078015A1

WO2006078015A1 - カテゴリカル色知覚システム

Info

Publication number: WO2006078015A1
Application number: PCT/JP2006/300964
Authority: WO
Inventors: Tomoharu Nagao; Noriko Yata; Keiji Uchikawa
Original assignee: National University Corporation Yokohama National University; Tokyo Institute Of Technology
Priority date: 2005-01-24
Filing date: 2006-01-23
Publication date: 2006-07-27
Also published as: JP4625962B2; JPWO2006078015A1

Abstract

　自動的にカテゴリ色を判定するカテゴリカル色知覚システムに係り、多様な環境光の下で正確にカテゴリ色を判定することを課題とする。学習用神経回路網の入力層テスト色成分対応部分１０１に実験時に計測したテスト色を入力し、入力層照明光成分対応部分１０２に実験時の照明光成分を入力し、被験者が判定したカテゴリ色を出力するように、誤差逆伝播法で学習させて結合荷重を獲得する。入力層テスト色成分対応部分１０１と入力側中間層テスト色成分対応部分１０３の間の構成と、入力層照明光成分対応部分１０２と入力側中間層照明光成分対応部分１０４の間の構成は独立しているが、構造上対応する結合同士の荷重は同じにする。

Description

明細書

カテゴリカル色知覚システム技術分野

[0001] 本発明は、自動的にカテゴリ色を判定するカテゴリカル色知覚システムに係り、多様な環境の下で正確に判定できる技術に関する。

背景技術

[0002] 我々人間は、色の微妙な違いを見分けることができる力その色を他者に伝えようとするときには、赤 ·青などのように色を、くつかのカテゴリにまとめて表現することが多い。これを色のカテゴリカル知覚という。このように、具体的な色から特定の色名を普遍的に導き出せることは、物を識別し、あるいは標識など力も指示を認知するなど社会的にも重要なことである。

[0003] このカテゴリカル知覚に関して、言語や人に因らず等しく用いられる基本カテゴリ色力 Sあることも知られている。 Berlin and Kayは、 100種類以上の言語を調べて白' 赤 '緑'黄 '青'茶 '橙'紫 '祧'灰 '黒の 11色が基本カテゴリ色であることを示した。また

、チンパンジーの行動実験でも同様のことが示されている。このことから、基本カテゴリ色名は、他の色名と違い、視覚系にその色名に対応するメカニズムが存在する可能性があると考えられる。

[0004] 一方、我々人間は、環境光のスペクトルに応じて物体からの反射スペクトルが変化しても、物体固有の色を安定して知覚することができる。これを色恒常性という。

[0005] 従って、多様な環境下で物体の色の見えがどのカテゴリ色となるかは、その物体の反射光スペクトルだけではなぐ周囲の環境にも影響され、色恒常性を伴って決まると言える。

非特許文献 1 :竹部啓輔、外 3名，「色恒常性を有するディジタルカラーイメージング」，電子情報通信学会論文誌 D— Π,電子情報通信学会， 2000年 8月， Vol. J83— D-II No. 8, p. 1753- 1762

非特許文献 2 :鈴木哲明他、外 4名，「ニューラルネットワークによる色のカテゴリカル知覚の学習」，映像情報メディア学会技術報告，映像情報メディア学会， 1999年，第 23卷，第 29号， p. 19- 24

発明の開示

発明が解決しょうとする課題

[0006] そこで、本発明は、多様な環境の下でも、正確にカテゴリ色を判定し得るカテゴリ力ル色知覚システムを提供することを目的とする。

課題を解決するための手段

[0007] 本発明に係るカテゴリカル色知覚システムは、判定環境における環境光の成分と、当該判定環境下での判定対象力の反射色の成分とを入力し、観察者が当該判定環境下で当該判定対象力知覚すると予測される、カテゴリ化された色名であるカテゴリ色を出力するカテゴリカル色知覚システムであって、以下の要素を有することを特徴とする

(1)少なくとも入力層と、入力側中間層と、前記入力側中間層と出力層の間に設けられた出力側中間層と、出力層の 4層を有し、入力層は、実験環境における照明光の成分を入力する入力層照明光成分対応部分と、当該照明光による色サンプル力の反射であるテスト色の成分を入力する入力層テスト色成分対応部分とを有し、入力側中間層は、入力層テスト色成分対応部分と結合せずに入力層照明光成分対応部分と結合する入力側中間層照明光成分対応部分と、入力層照明光成分対応部分と結合せずに入力層テスト色成分対応部分と結合する入力側中間層テスト色成分対応部分とを有し、出力側中間層は、入力側中間層照明光成分対応部分及び入力側中間層テスト色成分対応部分と結合し、出力層は、カテゴリ色に対応する構成の学習用神経回路網に、学習用の照明光色成分と学習用のテスト色成分とを入力し、当該照明光の下で当該色サンプル力被験者が知覚した学習用のカテゴリ色を出力するように、誤差逆伝播法で学習させて得られた結合荷重を記憶した判定用結合荷重データ記憶部

(2)前記学習用神経回路網と同様の構成を有し、判定環境の環境光の成分を照明光色成分として入力し、当該判定環境下での判定対象力の反射色の成分をテスト色成分として入力し、判定用結合荷重データ記憶部に記憶した結合荷重に従つて神経回路網演算処理を行い、処理結果として、観察者が当該判定環境下で当該判定対象力知覚すると予測されるカテゴリ色を出力する判定用神経回路網。

[0008] 更に、学習用神経回路網及び判定用神経回路網は、入力層照明光成分対応部分及び入力層テスト色成分対応部分力同じ方式の色成分を入力する同数のユニットを有し、入力側中間層照明光成分対応部分及び入力側中間層テスト色成分対応部分が、同数のユニットを有し、入力層照明光成分対応部分と入力側中間層照明光成分対応部分の間の結合に係る結合荷重と、入力層テスト色成分対応部分と入力側中間層テスト色成分対応部分の間の結合に係る結合荷重とは、構成上対応する結合同士で共用の結合荷重を用いることを特徴とする。

[0009] 更に、入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は、入力層照明光成分対応部分のユニット数及び入力層テスト色成分対応部分のユニット数以上であることを特徴とする。

[0010] 更に、入力層照明光成分対応部分のユニット数及び入力層テスト色成分対応部分のユニット数は 3であり、入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は 4であることを特徴とする。

[0011] 更に、出力側中間層のユニット数は、入力側中間層照明光成分対応部分のュニット数及び入力側中間層テスト色成分対応部分のユニット数以上であることを特徴とする。

[0012] 更に、出力側中間層のユニット数は、出力層のユニット数以下であることを特徴とする。

[0013] 更に、入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は 4であり、出力側中間層のユニット数は 7であり、出力層のユニット数は 11であることを特徴とする。

[0014] ロボットは、以下の要素を有することを特徴とする

(1)環境光を撮り込み、環境光の受光信号を第一の出力信号として出力する環境光入力用カメラ部

(2)第一の出力信号を入力し、第一の出力信号から環境光の色成分を抽出する環境光色成分センサー部

(3)判定対象物の反射光を撮り込み、判定対象物の反射光の受光信号を第二の出力信号として出力する対象物撮影用カメラ部

(4)第二の出力信号を入力し、第二の出力信号から反射光の色成分を抽出する判断対象反射色成分センサー部

(5)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定するカテゴリカル色知覚システム

(6)カテゴリ色を入力し、カテゴリ色に基づいてロボットを制御する制御信号を生成するロボット制御部

(7)制御信号を入力し、制御信号に従って動作装置を駆動するロボット駆動部。

[0015] 監視カメラシステムは、以下の要素を有することを特徴とする

(6)カテゴリ色を入力し、カテゴリ色に基づ、て監視カメラシステムを制御する制御情報を生成する監視カメラ制御部。

[0016] 色彩コーディネートシュミレーシヨンシステムは、以下の要素を有することを特徴とする

(1)環境光の指定情報を入力する入力部

(2)環境光の指定情報を環境光の色成分に変換する環境光色成分生成部

(3)判定対象物の反射光を撮り込み、判定対象物の反射光の受光信号を出力信号として出力する対象物撮影用カメラ部

(4)出力信号を入力し、出力信号から反射光の色成分を抽出する判断対象反射色成分センサー部

(5)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定するカテゴリカル色知覚システム。

[0017] 色彩コーディネートシュミレーシヨンシステムは、以下の要素を有することを特徴とする

(1)環境光の指定情報と判定対象物の反射光の指定情報を入力する入力部

(3)判定対象物の反射光の指定情報を反射光の色成分に変換する判断対象反射色成分生成部

(4)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定するカテゴリカル色知覚システム。

発明の効果

[0018] ニューラルネットワークの構造として、入力側に照明光成分対応部分とテスト色成分対応部分を独立的に設け、更にこれらの結合荷重を共通化しているので、入力側中間層の照明光成分対応部分による視覚系信号処理と、入力側中間層のテスト色成分対応部分による視覚系信号処理が同等となり、サンプル光に起因する信号群と照明光に起因する信号群の知覚的な意義が統一され、高次知覚における照射光の補正を機能的に実現できる。これにより、多様な環境下でも正確に基本カテゴリ色を判定できる。

発明を実施するための最良の形態

[0019] 実施の形態 1.

まず、ニューラルネットワークの構造について説明する。学習に用いた階層型-ュ一ラルネットワークの構成を図 1に示す。図に示すように 4層（入力層、入力側中間層、出力側中間層、出力層）のフィードフォワード型-ユーラルネットワークである。

[0020] 入力層は、入力層テスト色成分対応部分 101と入力層照明光成分対応部分 102 力なる。両部分ともに、 3種類の錐体 (L, M, S)に相当する 3ユニットを有している。そして、入力層テスト色成分対応部分 101の各ユニットには、色サンプルに照明光を照らして得られる反射光 (テスト色）に対する錐体応答値を入力する。入力層照明光成分対応部分 102の各ユニットには、照明光に対する錐体応答値を入力する。

[0021] また、入力側中間層は、入力側中間層テスト色成分対応部分 103と入力側中間層照明光成分対応部分 104からなる。入力側中間層テスト色成分対応部分 103と入力側中間層照明光成分対応部分 104は、同数の複数ユニットを有している。この例では、それぞれ 4個のユニットを有している。そして、入力側中間層テスト色成分対応部分 103は、入力層テスト色成分対応部分 101と全結合している。つまり、入力層テスト色成分対応部分 101に含まれる各ユニットは、入力側中間層テスト色成分対応部分 103に含まれるすべてのユニットと結合している。また、入力側中間層照明光成分対応部分 104は、入力層照明光成分対応部分 102と全結合している。つまり、入力層照明光成分対応部分 102に含まれる各ユニットは、入力側中間層照明光成分対応部分 104に含まれるすべてのユニットと結合して、る。

[0022] 出力側中間層は、複数のユニットを有している。この例では、 7個のユニットを有している。出力側中間層は、入力側中間層（入力側中間層テスト色成分対応部分 103及び入力側中間層照明光成分対応部分 104)と全結合している。つまり、入力側中間層に含まれる各ユニットは、出力側中間層に含まれるすべてのユニットと結合してヽる。

[0023] 出力層は、複数のユニットを有して、る。この例では、 11個のユニットを有して、る。

11個の各ユニットは、 11色の基本カテゴリ色に対応している。そして、出力層は、出力側中間層と全結合している。つまり、出力側中間層に含まれる各ュ -ットは、出力層に含まれるすべてのユニットと結合して、る。

[0024] このように、入力層と入力側中間層は、テスト色成分対応部分と照明光成分対応部分に分割され、それぞれの間で結合関係を設けていない。互いに独立している。このため、入力側中間層では、テスト色成分にのみ起因する信号群と、照明光成分にのみ起因する信号群とを別々に伝達する。そして、照明光によるテスト色に対する補正は、出力側中間層で行なう。

[0025] また、テスト色成分対応部分と照明光成分対応部分では、結合荷重を共有して!/ヽる。互いに構造上対応する結合同士で、共通の結合荷重を記憶し、テスト色成分に対する処理と照明光成分に対する処理で共用する。入力層テスト色成分対応部分 101 の Lユニットと Mユニットと Sユニットは、それぞれ入力層照明光成分対応部分 102の Lユニットと Mユニットと Sユニットと構造上対応している。また、入力側中間層テスト色成分対応部分 103の aユニットと bユニットと cユニットと dユニットは、それぞれ入力側中間層照明光成分対応部分 104の eユニットと fユニットと gユニットと hユニットと構造上対応している。従って、例えば入力層テスト色成分対応部分 101の Lユニットと入力側中間層テスト色成分対応部分 103の aユニットの結合は、入力層照明光成分対応部分 102の Lユットと入力側中間層照明光成分対応部分 104の eユットの結合と、構造上対応しており、両結合の結合荷重のデータとして 1つの共通の結合荷重記憶領域を用いる。入力層テスト色成分対応部分 101の Lユニットと入力側中間層テスト色成分対応部分 103の aユニットの間の結合に係る結合荷重を読み出す場合にも、入力層照明光成分対応部分 102の Lユニットと入力側中間層照明光成分対応部分 104の eユニットの間の結合に係る結合荷重を読み出す場合にも、共用の結合荷重記憶領域力結合荷重のデータを読み出して用いるように構成されて、る。また、入力層テスト色成分対応部分 101の Lユニットと入力側中間層テスト色成分対応部分 103の aユニットの間の結合に係る結合荷重を修正する場合にも、入力層照明光成分対応部分 102の Lユニットと入力側中間層照明光成分対応部分 104の eユニットの間の結合に係る結合荷重を修正する場合にも、共用の結合荷重記憶領域力結合荷重のデータを読出し、当該データに修正量を加減算して、同じ共用の結合荷重記憶領域に書き戻すように構成されて、る。

[0026] なお、入力側中間層と出力側中間層と出力層の各ユニットの入出力関数には、シグモイド関数を用いる。

[0027] ニューラルネットワークの学習に用いた学習データについて説明する。本実施例で用いた教師データセットは、 3種類の照明光下でのカテゴリ色の知覚を測定した心理物理実験により用意した。この実験は、天井の LCDプロジェクタによる照明下で、 N5 (マンセル表色系）の灰色のボード上に 424枚用意した OSA色票（色サンプルの例）を 1枚ずつ提示して行なった。このとき用いた 3種類の照明光の相関色温度および C IE (1931) xy色度を図 2に示す。また、これらの照明光の分光分布を図 3に示す。

[0028] 提示刺激の色の見えはカテゴリカルカラーネーミング法で測定した。これは、 11個の基本カテゴリ色の中から、照明光下でのその色票の見えをもっとも良く表す色名を

1個答えるという方法である。被験者は 4名で、それぞれ色票 424枚に対してのネーミングを 1セッションとして、同一照明光で 2回のセッションを行い、 3照明光 X 2回 =6 セッションを行った。これにより、教師データセットには、 3照明光 X 424枚 = 1272セットを用意し 7こ。

[0029] 教師データセットの入力データのテスト色成分は、それぞれの照明光下で測定された 03八色票の輝度1^1111とじ正（1931) 色度座標， y)力も変換する。まず、下式に従って XYZ表色系の値 (X, Y, Z)へ変換する。

X= (x/y) X Lum

Y=Lum

Z= ( (l -x-y) /y) X Lum

次に、得られた (X, Y, Z)を Smith— Pokornyの錐体分光感度関数を用いて L、 M、 S錐体応答値へ変換した。教師データセットの入力データの照明光成分は、照明光の測定値 Lumと (X, y)から同様にして (L, M, S)錐体応答値へ変換した。ここで得られた (L, M, S)を [0, 1]の間に正規ィ匕したものを入力データに用いた。

[0030] 出力の教師データには、実験で得られた結果の 4名 X 2セッション =8回の回答中で、ある色票の見えに対してある基本色名が何度用いられたかを表す色名使用比率を、 [0, 1]に正規ィ匕した実数値を用いた。

[0031] 次に、学習方法について説明する。以上のようにして作成した教師データセットを用いて、上述の-ユーラルネットワークの学習を行った。学習には誤差逆伝播法の修正モーメント法を用いた。このような教師データをネットワークに学習させることで、二ユーラルネットワークは人間の脳が行っている LMS錐体応答力基本カテゴリ色名への写像を計算課題として学習する。

[0032] 本発明では、前述のように入力層と入力側中間層の結合について、テスト色成分対応部分と照明光成分対応部分で構造上対応する結合同士で共有する結合荷重を用いて学習する。その結果、入力層と入力側中間層の間では、テスト色成分対応部分と照明光色成分対応部分で結合荷重が同じになるネットワークが形成される。

[0033] 学習結果について説明する。この学習が正しく行われたことを確認するために、学習データセットと同じ入力値を、獲得した-ユーラルネットワークに入力して出力を確認した。このときの出力値と教師データとの誤差、及び出力色名の正解率を図 4に示す。平均二乗誤差とは-ユーラルネットワークの出力値と教師データの誤差の二乗を平均したものである。出力色名の正解率とは、ニューラルネットワークの出力値が最大になったユニットの対応する色名と心理物理実験における回答の全 1272データ中での一致率を表すものである。正解率 1とは-ユーラルネットワークの出力の一番大き力つた色名が心理物理実験の回答 8回のうちもっとも多く答えられた色名と一致した確率であり、正解率 2とは-ユーラルネットワークの出力の一番大き力つた色名が心理物理実験の回答 8回のうちのいずれかで答えられた色名と一致した確率である

[0034] また、実験に用いた 3つの照明光以外の照明光に対する検証を行なった。これは、未知データに対する出力の検証であって、獲得した-ユーラルネットワークの性能の評価に役立つ。未知の照明光として、色温度力 000Κ〜20000Κの 10種類の Day lightデータを用いた。 Daylightデータの分光分布を図 5に示す。このときの出力結果の正解率を求めるために前述の心理物理実験の結果を各色票の色名の正解として用！/、、 5000K：〜 6000Kの出力結果 ίま 3000K力 6500Kの実験結果の!/、ずれ力と一致したものを正解とした。同様に、 7000 ：〜 20000Κの出力結果は 6500Κ力 2 5000Κの場合、 6500Κの出力結果は 6500Κの場合と一致したものを正解とした。図 6より、すべての照明光条件に対して高い正解率の出力ができる-ユーラルネットワークが獲得できたことが分かる。

[0035] 図 7に、獲得した-ユーラルネットワークの結合荷重を示す。ここでは、プラスの値を実線で、マイナスの値を破線で表す。また、結合荷重の大きさを線の太さで表す。

[0036] また、本発明に係る-ユーラルネットワークの有効性を調べるために、別の-ユーラルネットワークについても同様の実験を行なった。照明光の変化に対して十分に適応できてヽな、別の-ユーラルネットワークと対比して、本発明に係る-ユーラルネットワークが照明光の変化に頑健なモデルであることを明らかにする。

[0037] 対比するニューラルネットワークは図 8に示すように 3層のフィードフォワード型ニュ一ラルネットワークで、入力層 6ユニット、中間層 11ユニット、出力層 11ユニットからなる。中間層と出力層のユニットの入出力関数には、シグモイド関数を用いた。

[0038] 入力層は、本発明に係る-ユーラルネットワークと同様である。中間層のユニット数は予備実験として、同じ学習データを用いて中間ユニット数の異なる-ユーラルネットワークの学習を行い決定した。予備実験の結果力平均二乗誤差の小さくなるュ-ット数を選び、中間ユニット数 11ユニットのネットワークを用いることとした。出力層のュニットは、本発明に係る-ユーラルネットワークと同様である。

[0039] 入力層と中間層の間は、全結合であり、中間層と出力層の間も、全結合である。

[0040] 教師データセットは、前述の実験と同様のものを用い、学習方法として、前述の実験と同様に誤差逆伝播法の修正モーメント法を用いた。

[0041] 対比実験の実験結果を示す。図 9は、対比実験における教師データに対する検証結果を示す図である。教師データに対する検証結果は、良好な結果が得られていると言える。尚、獲得した-ユーラルネットワークの結合荷重を図 10に示す。

[0042] 前述の実験と同様に行なった未知照明光の変化に対する検証結果を図 11に示す。教師データとして用いた照明光に色度の近い照明光では高い正解率を保っているが、教師データと教師データの間の色度を持つ照明光を用、たときに正解率が下がつてしまっていることが分かる。特に、 DL5000K〜DL6000Kの正解率力 S良くない。

[0043] 比較実験で獲得した-ユーラルネットワークに対して、照明光（3000K, 6500K, 2 5000K: 3種）と輝度（Lum= 5, 10, 30, 50, 75 [cd/m2]： 5種）毎に、テス卜色の (X, y)色度で 0. 01毎に変化させて入力値を作成し、その出力値より照明光毎のそれぞれの輝度にぉ、ての中間ユニットの応答を求めた。この中間ユニットの応答から、ニューラルネットワークがどのようにしてカテゴリカル知覚を実現して、るかを推定した。その結果、比較実験の照明光の変化に対する検証結果で、教師データで用いた照明光から色度の遠い照明光（DL5000K〜DL6000K等）を未知データとして用 V、た場合に、色名の正解率が低!、理由につ、て推測できた。

[0044] 比較実験の中間層のユニットの出力応答を見てみると、入力される照明光が変化したときに出力値が変わるものは 2つのみであり、しかも、ある照明光の時のみテスト色の入力毎に違う出力値を出す力その他の照明光の時にはテスト色の入力によらず一定の出力となっている。つまり、一見照明光に応答しているように思われる中間ュニットは、いずれも教師データの照明光に特ィ匕したものであって、他の照明光に対して反応してヽな、ものであった。

[0045] このことは、照明光の補正に関して、教師データとして用いた 3種類の照明光に特化した中間ユニットを獲得することが、ニューラルネットワークの誤差逆伝播法による学習として最も効率的であったことを意味し、未知の照明光での正解率が低い評価結果と合致する。

[0046] そこで、本発明の実験についても中間層のユニットの入出力応答を調べた。本発明の実験で得られた-ユーラルネットワークに対して、照明光（3000K, 6500K, 250 001^: 3種）と輝度（1^1111= 5, 10, 30, 50, 75 [cdZm2] : 5種）毎に、テスト色の（x , y)色度で 0. 01毎に変化させて入力値を作成し、その出力値より照明光毎のそれぞれの輝度においての中間ユニットの応答を求めた。この中間ユニットの応答から、それぞれのユニットが人間の色覚のどのような内部表現を表しているの力推測した。その結果、入力側中間層では、入力に対して線形な処理を行う中間ユニットが獲得されていた。また、出力側中間層ではほとんどの中間ユニットが入力される照明光が変化したときに出力値が変わり、さらにすベての照明光の場合においてテスト色の入力毎に違う出力値を出し、色空間を分割するようなはっきりとした境界線を示した。つまり、教師データの照明光に特ィ匕する中間ユニットは出現せず、全体として一般的な照明光に対して頑健な補正が行えるようになつていることがわ力つた。

[0047] このことは、図 6に示す本発明の実験結果において、対比実験で正解率が低かつた未知の照明光（DL5000K〜DL6000K等）での正解率が高いことによつても裏付けられる。

[0048] 本発明では、ニューラルネットワークの構造として、入力側に照明光成分対応部分とテスト色成分対応部分を独立に設け、更にこれらの結合荷重を共通化して、るので、入力側中間層の照明光成分対応部分による視覚系信号処理と、入力側中間層のテスト色成分対応部分による視覚系信号処理が同等となり、サンプル光に起因する信号群と照明光に起因する信号群の知覚的な意義が統一され、高次知覚における照射光の補正を機能的に実現できたことを意味する。

[0049] このように、比較実験との対比により本発明の-ユーラルネットワークが頑健な知覚系メカニズムを獲得したことがわかる。

[0050] 最後に、カテゴリカル色知覚システムの構成について説明する。図 12に、学習に係る構成を示す。学習用神経回路網 1201と学習用結合荷重データ記憶部 1202を有している。学習用神経回路網 1201は、前述の本発明に係る神経回路網を学習用として用いるものである。学習用結合荷重データ記憶部 1202は、前述の本発明に係る神経回路網で獲得した結合荷重を記憶する記憶領域である。

[0051] 学習用神経回路網 1201は、少なくとも入力層と、入力側中間層と、前記入力側中間層と出力層の間に設けられた出力側中間層と、出力層の 4層を有している。入力層は、実験環境における照明光の成分を入力する入力層照明光成分対応部分 102 と、当該照明光による色サンプルからの反射であるテスト色の成分を入力する入力層テスト色成分対応部分 101とを有している。入力側中間層は、入力層テスト色成分対応部分 101と結合せずに入力層照明光成分対応部分 102と結合する入力側中間層照明光成分対応部分 104と、入力層照明光成分対応部分 102と結合せずに入力層テスト色成分対応部分 101と結合する入力側中間層テスト色成分対応部分 103とを有している。出力側中間層は、入力側中間層照明光成分対応部分 104及び入力側中間層テスト色成分対応部分 103と結合している。出力層は、カテゴリ色に対応するユニットを有している。前述の例では、 4層としたが、 5層以上であってもよい。追加される層は、入力層照明光成分対応部分 102と入力側中間層照明光成分対応部分 1 04の間及び入力層テスト色成分対応部分 101と入力側中間層テスト色成分対応部分 103の間に設けることが考えられる。その場合、照明光成分対応部分として追加される層と、テスト色成分対応部分として追加される層は、同じユニット数であり、同等の結合関係を有する。また、入力側中間層と出力側中間層の間、または出力側中間層と出力層の間に追加することも考えられる。

[0052] 学習用結合荷重データ記憶部 1202は、入力層照明光成分対応部分 102と入力側中間層照明光成分対応部分 104の間の結合に係る結合荷重と、入力層テスト色成分対応部分 101と入力側中間層テスト色成分対応部分 103の間の結合に係る結合荷重について、構成上対応する結合同士で共用の結合荷重を記憶するための共用結合荷重記憶領域を有している。他の結合荷重については、専用の結合荷重を記憶するための専用結合荷重記憶領域を有して!/ヽる。

[0053] 図 13に、判定に係る構成を示す。判定用神経回路網 1301と判定用結合荷重データ記憶部 1302を有している。判定用神経回路網 1301は、前述の本発明に係る神経回路網を判定用として用いるものである。判定用結合荷重データ記憶部 1302 は、学習用結合荷重データ記憶部 1202で獲得した結合荷重を複製して記憶する領域である。つまり、判定用結合荷重データ記憶部 1302は、学習用結合荷重データ記憶部 1202と同じ結合荷重データを記憶してヽる。

[0054] 判定用神経回路網 1301は、判定環境の環境光の成分を照明光色成分として入力し、当該判定環境下での判定対象力の反射色の成分をテスト色成分として入力し、判定用結合荷重データ記憶部 1302に記憶した結合荷重に従って神経回路網演算処理を行い、処理結果として、観察者が当該判定環境下で当該判定対象から知覚すると予測されるカテゴリ色を出力するように動作する。このとき、出力層の複数のュニットのうち最も出力値の大きいユニットに対応するカテゴリ色を出力とする。つまり、出力層の複数のユニットの出力値を比較し、最大出力値のユニットに割り当てられて V、るカテゴリ色を特定し、そのカテゴリ色を出力するカテゴリ色判定部を有して、る。

[0055] 本発明に係るカテゴリカル色知覚システムは、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体力もコンピュータに読み取られるようにすることができる。コンピュータは、バスと、バスに接続する演算装置、メモリ、記憶媒体、データを入力する入力装置、及びデータを出力する出力装置を有している。学習用神経回路網、及び判定用神経回路網は、記憶媒体に記憶されているプログラムにより処理を実行することができ、それぞれのプログラムは、記憶媒体力バスを介してメモリにロードされ、演算装置はメモリにロードされたプログラムのコードを読み込み、順次コードの処理を実行する。上述の例では、学習用神経回路網と判定用神経回路網を別個に設けたが、共用する場合は同一の神経回路網を用いてもよい。また、上述の例では、学習用結合荷重データ記憶部と判定用結合荷重データ記憶部を別個に設けたが、共用する場合は同一の結合荷重データ記憶部を用いてもよ、。学習用結合荷重データ記憶部と判定用結合荷重データ記憶部は、通常、上述の記憶媒体あるいはメモリに設けられる。カテゴリカル色知覚システムは、図 12及び図 13に示すように、更に、照明光の成分を入力する照明光成分入力部 1203、テスト色の成分を入力するテスト成分入力部 1204 、カテゴリ色を特定する情報を入力するカテゴリ色入力部 1205、判定環境の環境光の成分を入力する環境光入力部 1303、判定環境下での判定対象からの反射色の成分を入力する反射色成分入力部 1304、カテゴリ色を特定する情報を出力する力テゴリ色出力部 1306を有している。更に、学習用結合荷重データ記憶部 1202から判定用結合荷重データ記憶 1302へ結合荷重データを複製する結合荷重データ複製部 1206も有している。また、図 12に示したカテゴリカル色知覚システムのうち学習に係る構成と、図 13に示したカテゴリカル色知覚システムのうち判定に係る構成を別個のコンピュータとしてもよい。その場合には、学習に係る構成のコンピュータ力も判定に係る構成のコンピュータへ、可搬な記憶媒体あるいは通信媒体を介して結合荷重データを転送する。つまり、学習に係る構成のコンピュータは、学習用結合荷重データ記憶部 1202から結合荷重データを読み出して出力する結合荷重データ出力部 1207を有し、判定に係る構成のコンピュータは、結合荷重データを入力し、判定用結合荷重データ記憶部 1302に記憶させる結合荷重データ入力部 1305を有する。

[0056] 本システムの目的は、多様な環境光の下で、各環境光の影響を排除した判定対象の本来の色をカテゴリとして識別することである。以下、本システムの構成の特徴と、その特徴による作用によってこの目的を達成して、ることを述べる。

[0057] A.入力層照明光成分対応部分と入力側中間層照明光成分対応部分の結合、及び入力層テスト色成分対応部分と入力側中間層テスト色成分対応部分の結合について

これらの結合は、入力層に入力した光の成分を入力側中間層による新たな座標系の空間の成分へ展開する機能を有している。例では、入力光の成分は 3つ (L錐体応答値、 M錐体応答値、 S錐体応答値)であり、その 3次元空間中の入力光の成分を、 4次元の別の座標系の空間の成分に変換している。入力光の成分のうち L錐体応答値と M錐体応答値は、比較的近い波長分布を示すが、 S錐体応答値は、 L錐体応答値及び M錐体応答値と遠い波長分布を有していることが知られている。従って、入力光の成分による空間は、スペクトル領域によって空間密度に斑があると推測される。しかし、本発明の目的に従ってすベてのスペクトル領域で正確に色知覚を行なうためには、密度の一様な空間中で操作を行なうことが望ましい。入力側中間層照明光成分対応部分と入力側中間層テスト色成分対応部分は、照明光とテスト色について全スペクトル領域で空間密度が一様となる座標系を得るために設けた。図 6に示すように、 DL5000Kから DL20000Kまでのいずれのスペクトルの照明光に対しても良好な判定結果が得られるのは、この構成に依るものと推測される。

[0058] 例では、最適な形態として 1次元増やし、 3次元力高次元の 4次元に変換した力更に高次元に変換する場合や同次元に変換する場合にも、全スペクトル領域で空間密度が一様となる座標系を得ることが期待できる。つまり、入力側中間層照明光成分対応部分のユニット数 (入力側中間層テスト色成分対応部分のユニット数も同じ）は、入力層照明光成

分対応部分のユニット数 (入力層テスト色成分対応部分のユニット数も同じ)より 1つ多い例の他、 2つ以上多い形態あるいは同数の形態でも、本発明による効果が得られる。

[0059] B.入力層照明光成分対応部分と入力側中間層照明光成分対応部分の間の結合に係る結合荷重と、入力層テスト色成分対応部分と入力側中間層テスト色成分対応部分の間の結合に係る結合荷重が、構成上対応する結合同士で共用の結合荷重を用いることについて

共用の結合荷重を用いることによって、照明光とテスト色が同一の座標系の空間の成分に変換されることになる。つまり、入力側中間層照明光成分対応部分と入力側中間層テスト色成分対応部分の構成上対応する同種のユニット同士 (例えば、図 1の 103の aと 104の e、あるいは同じく bと f)は、同じ座標軸を示すものである。このように、照明光とテスト色を同じ座標系の空間に展開することにより、照明光の影響を排除するメカニズムが得やすくなる。

[0060] C.入力側中間層と出力側中間層の結合について

この結合では、入力側中間層の変換されたテスト色成分力同じく照明光成分を差し引くことによって、照明光の影響を排除して色サンプル本来の色の成分を得ることを期待している。その為には、テスト色の成分を照明光の同種の成分によって打ち消される操作が行なわれるものと推測される。図 7に示す通り、

•出力側中間層のユニット bは、入力側中間層テスト色成分対応部分のユニットじとのマイナスの結合を、入力側中間層照明光成分対応部分の構成上対応するユニット g とのプラスの結合で相殺して、る。

•出力側中間層のユニット dは、入力側中間層テスト色成分対応部分のユニット aとのプラスの結合を、入力側中間層照明光成分対応部分の構成上対応するユニット eとのマイナスの結合で相殺して、る。

•出力側中間層のユニット eは、入力側中間層テスト色成分対応部分のユニットとのマイナスの結合を、入力側中間層照明光成分対応部分の構成上対応するユニット f とのプラスの結合で相殺して、る。

•出力側中間層のユニット fは、入力側中間層テスト色成分対応部分のユニットじとのマイナスの結合を、入力側中間層照明光成分対応部分の構成上対応するユニット g とのプラスの結合で相殺して、る。

•出力側中間層のユニット gは、入力側中間層テスト色成分対応部分のユニットじとのプラスの結合を、入力側中間層照明光成分対応部分の構成上対応するユニット gとのマイナスの結合で相殺して、る。

[0061] このようにして、出力側中間層では、照明光の影響を排除して本来の色成分がえられているものと推測される。

[0062] D.出力側中間層について

出力側中間層は、前述の通り本来の色成分を得るとともに、入力側中間層及び出力層をそれぞれ連結することにより、その色成分を基本カテゴリ色に対応付ける高次元な判定メカニズムを実現してヽると推測される。上述の通り各成分を相殺する為、つまり入力側中間層テスト色成分対応部分のユニットとの結合を、入力側中間層照明光成分対応部分のユニットとの結合で打ち消す為には、出力側中間層のユニットの数は、少なくとも成分の数、つまり入力側中間層テスト色成分対応部分のユニット数 (入力側中間層照明光成分対応部分のユニット数も同じ)が必要であると考えられる。但し、上述の基本カテゴリ色との対応付けを行なうためには、更に多くのユニットが必要であり、加えて出力層のユニット数以下のユニット数であれば、本発明の効果が得られる。尚、実験によれば、例の通り 7つのユニットを設けることが最適であった。

[0063] 実施の形態 2.

本実施の形態では、本発明のカテゴリカル色知覚システムをロボットに応用する形態について説明する。図 14は、カテゴリカル色知覚システムを適用したロボットの構成を示す図である。

[0064] ロボットは、ロボットの眼として環境光を撮り込む環境光入力用カメラ部 1401と、環境光入力用カメラ部 1401の出力信号力も環境光の成分を抽出する環境光色成分センサー部 1402と、判定対象物の反射光を撮り込む対象物撮影用カメラ部 1403と、対象物撮影用カメラ部 1403の出力信号から色成分を抽出する判断対象反射色成分センサー部 1404と、環境光色成分センサー部 1402の出力信号と断対象反射色成分センサー部 1404の出力信号を入力して判定対象物のカテゴリ色を判定する力テゴリカル色知覚システム 1405と、ロボットを制御するロボット制御部 1406、ロボット制御部 1406から制御情報を入力してモータなどの動作装置を駆動するロボット駆動部 1407を有する。

[0065] 動作は次の通りである。環境光入力用カメラ部 1401は、環境光を撮り込み、環境光の受光信号を出力信号として出力する。環境光色成分センサー部 1402は、環境光入力用カメラ部 1401の出力した出力信号を入力し、その出力信号から環境光の色成分を抽出する。

[0066] また同時に対象物撮影用カメラ部 1403は、判定対象物の反射光を撮り込み、判定対象物の反射光の受光信号を出力信号として出力する。判断対象反射色成分センサ一部 1404は、対象物撮影用カメラ部 1403の出力した出力信号を入力し、その出力信号から反射光の色成分を抽出する。

[0067] カテゴリカル色知覚システム 1405は、環境光色成分センサー部 1402の出力である環境光の色成分と、判断対象反射色成分センサー部 1404の出力である反射光の色成分を入力し、前述の通り判定対象物のカテゴリ色を判定する。

[0068] ロボット制御部 1406は、カテゴリカル色知覚システム 1405の出力であるカテゴリ色を入力し、そのカテゴリ色に従ってロボットを制御する制御信号を生成する。ロボット駆動部 1407は、ロボット制御部 1406の出力である制御信号を入力し、制御信号に従ってモータなどの動作装置を駆動する。

[0069] このロボットは、本発明に係るカテゴリカル色知覚システム 1405を用いるので、多様な環境で人間の眼と同様の色判別ができることになる。例えば、環境光が一様でない場合でも、指示されたカテゴリ色の動体を追跡したり、把握する動作などができるようになる。

[0070] 実施の形態 3.

本実施の形態では、本発明のカテゴリカル色知覚システムを監視カメラシステムに応用する形態について説明する。図 15は、カテゴリカル色知覚システムを適用した監視カメラシステムの構成を示す図である。

[0071] 監視カメラシステムは、前述と同様の環境光入力用カメラ部 1401、環境光色成分センサー部 1402、対象物撮影用カメラ部 1403、判断対象反射色成分センサー部 1 404、及びカテゴリカル色知覚システム 1405に加えて、監視カメラを制御する監視力メラ制御部 1501、対象物撮影用カメラ部 1403で撮影した映像を記録する映像記録部 1502、監視カメラ制御部 1501から出力される制御信号に従ってアラームを発生するアラーム発生部 1503、及び監視カメラ制御部 1501から出力される認識結果を記録する情報記録部 1504を有する。

[0072] 動作は次の通りである。環境光入力用カメラ部 1401は、環境光を撮り込み、環境光の受光信号を出力信号として出力する。環境光色成分センサー部 1402は、環境光入力用カメラ部 1401の出力した出力信号を入力し、その出力信号から環境光の色成分を抽出する。

[0073] また同時に対象物撮影用カメラ部 1403は、判定対象物の反射光を撮り込み、判定対象物の反射光の受光信号を出力信号として出力する。判断対象反射色成分センサ一部 1404は、対象物撮影用カメラ部 1403の出力した出力信号を入力し、その出力信号をから反射光の色成分を抽出する。

[0074] カテゴリカル色知覚システム 1405は、環境光色成分センサー部 1402の出力である環境光の色成分と、判断対象反射色成分センサー部 1404の出力である反射光の色成分を入力し、前述の通り判定対象物のカテゴリ色を判定する。

[0075] 監視カメラ制御部 1501は、カテゴリカル色知覚システム 1405の出力であるカテゴリ色を入力し、そのカテゴリ色に従って監視カメラを制御する制御信号を生成する。例えば、制御信号としてアラーム指示を出力する場合には、アラーム発生部 1503は、アラーム指示に従ってアラームを発生させる。また、制御信号が認識結果を出力する場合には、情報記録部 1504は、この認識結果を記録する。

[0076] この監視カメラシステムは、本発明に係るカテゴリカル色知覚システム 1405を用いるので、多様な環境で人間の眼と同様の色判別ができることになる。例えば、環境光がー様でない場合でも、指示されたカテゴリ色の動体 (例えば、赤い服を着た人)を認識した場合に、アラームを発生させたり、認識結果を記録する動作ができるようになる。

[0077] 実施の形態 4.

本実施の形態では、本発明のカテゴリカル色知覚システムを色彩コーディネートシユミレーシヨンシステムに応用する形態について説明する。図 16は、カテゴリカル色知覚システムを適用した色彩コーディネートシュミレーシヨンシステムの第一例の構成を示す図である。

[0078] 色彩コーディネートシュミレーシヨンシステムは、前述と同様の対象物撮影用カメラ部 1403、判断対象反射色成分センサー部 1404、及びカテゴリカル色知覚システム 1405にカロえて、カラーコーディネーションシミュレーション制御部 1603、カラーコーディネーシヨンシミュレーション制御部 1603から入力される環境光情報力も環境光色成分を生成する環境光色成分生成部 1602、環境光を指定する情報を入力する入力部 1601、シミュレーション結果などを表示する表示部 1604を有する。

[0079] 動作は次の通りである。入力部 1601は、環境光の指定情報を入力する。環境光色成分生成部 1602は、環境光の指定情報を環境光の色成分に変換する。

[0080] また同時に対象物撮影用カメラ部 1403は、判定対象物の反射光を撮り込み、判定対象物の反射光の受光信号を出力信号として出力する。判断対象反射色成分センサ一部 1404は、対象物撮影用カメラ部 1403の出力した出力信号を入力し、その出力信号をから反射光の色成分を抽出する。

[0081] カテゴリカル色知覚システム 1405は、環境光色成分生成部 1602からの出力である環境光相当の環境光の色成分と、判断対象反射色成分センサー部 1404からの出力である反射光の色成分を入力し、前述の通り判定対象物のカテゴリ色を判定する

[0082] これによつて、指定された環境光を想定して、対象物撮影カメラ部 1403で撮影された対象物の色情報が、人間の目視によっていかなるカテゴリ色と判定されるかをシミユレーシヨンできるようになる。

[0083] 実施の形態 5.

本実施の形態では、更に対象物の反射光を指定する形態について説明する。図 1

7は、カテゴリカル色知覚システムを適用した色彩コーディネートシュミレーシヨンシステムの第二例の構成を示す図である。

[0084] 入力部 1601は、環境光を指定する情報と判定対象物の反射光を指定する情報を入力する。環境光色成分生成部 1602は、環境光の指定情報を環境光の色成分に変換する。

[0085] また同時に判断対象反射色成分生成部 1701は、判定対象物の反射光の指定情報を反射光の色成分に変換する。

[0086] カテゴリカル色知覚システム 1405は、環境光色成分生成部 1602からの出力である環境光相当の環境光の色成分と、判断対象反射色成分生成部 1701からの出力である反射光の色成分を入力し、前述の通り判定対象物のカテゴリ色を判定する。

[0087] これによつて、指定された環境光と判定対象物の反射光を想定して、対象物が、人間の目視によっていかなるカテゴリ色と判定されるかをシミュレーションできるようになる。

図面の簡単な説明

[0088] [図 1]本発明に係るニューラルネットワーク構成を示す図である。

[図 2]-ユーラルネットワークの学習に用いた照明光の色度を示す図である。

[図 3]-ユーラルネットワークの学習に用いた照明光の分光分布を示す図である。

[図 4]本発明の実験における教師データに対する検証結果を示す図である。

[図 5]Daylightデータの分光分布を示す図である。

[図 6]本発明の実験における未知の照明光に対する検証結果を示す図である。

[図 7]本発明の実験における-ユーラルネットワーク結合荷重を示す図である。 [図 8]対比実験に係る-ユーラルネットワーク構成を示す図である。

[図 9]対比実験における教師データに対する検証結果を示す図である。

[図 10]対比実験における-ユーラルネットワーク結合荷重を示す図である。

[図 11]対比実験における未知の照明光に対する検証結果を示す図である。

[図 12]カテゴリカル色知覚システムのうち学習に係る構成を示す図である。

[図 13]カテゴリカル色知覚システムのうち判定に係る構成を示す図である。

[図 14]カテゴリカル色知覚システムを適用したロボットの構成を示す図である。

[図 15]カテゴリカル色知覚システムを適用した監視カメラシステムの構成を示す図である。

[図 16]カテゴリカル色知覚システムを適用した色彩コーディネートシュミレーシヨンシステムの第一例の構成を示す図である。

[図 17]カテゴリカル色知覚システムを適用した色彩コーディネートシュミレーシヨンシステムの第二例の構成を示す図である。

符号の説明

101 入力層テスト色成分対応部分、 102 入力層照明光成分対応部分、 103 入力側中間層テスト色成分対応部分、 104 入力側中間層照明光成分対応部分、 12 01 学習用神経回路網、 1202 学習用結合荷重データ記憶部、 1203 照明光成分入力部、 1204 テスト色成分入力部、 1205 カテゴリ色入力部、 1206 結合荷重データ複製部、 1207 結合荷重データ出力部、 1301 判定用神経回路網、 130 2 判定用結合荷重データ記憶部、 1303 環境光成分入力部、 1304 反射色成分入力部、 1305 結合荷重データ入力部、 1306 カテゴリ色出力部、 1401 環境光入力用カメラ部、 1402 環境光色成分センサー部、 1403 対象物撮影用カメラ部、 1404 判断対象反射色成分センサー部、 1405 カテゴリカル色知覚システム、 140 6 ロボット制御部、 1407 ロボット駆動部、 1501 監視カメラ制御部、 1502 映像記録部、 1503 アラーム発生部、 1504 情報記録部、 1601 入力部、 1602 環境光色成分生成部、 1603 カラーコーディネーションシミュレーション制御部、 1604 表示部、 1701 判断対象反射色成分生成部。

Claims

請求の範囲 [1] 判定環境における環境光の成分と、当該判定環境下での判定対象からの反射色の成分とを入力し、観察者が当該判定環境下で当該判定対象から知覚すると予測される、カテゴリ化された色名であるカテゴリ色を出力するカテゴリカル色知覚システムであって、以下の要素を有することを特徴とするカテゴリカル色知覚システム

[2] 学習用神経回路網及び判定用神経回路網は、入力層照明光成分対応部分及び入力層テスト色成分対応部分力同じ方式の色成分を入力する同数のユニットを有し、入力側中間層照明光成分対応部分及び入力側中間層テスト色成分対応部分が、同数のユニットを有し、入力層照明光成分対応部分と入力側中間層照明光成分対応部分の間の結合に係る結合荷重と、入力層テスト色成分対応部分と入力側中間層テスト色成分対応部分の間の結合に係る結合荷重とは、構成上対応する結合同士で共用の結合荷重を用いることを特徴とする請求項 1記載のカテゴリカル色知覚システム。

[3] 入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は、入力層照明光成分対応部分のユニット数及び入力層テスト色成分対応部分のユニット数以上であることを特徴とする請求項 2記載のカテゴリ力ル色知覚システム。

[4] 入力層照明光成分対応部分のユニット数及び入力層テスト色成分対応部分のュニット数は 3であり、入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は 4であることを特徴とする請求項 3記載のカテゴリカル色知覚システム。

[5] 出力側中間層のユニット数は、入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数以上であることを特徴とする請求項 2記載のカテゴリカル色知覚システム。

[6] 出力側中間層のユニット数は、出力層のユニット数以下であることを特徴とする請求項 5記載のカテゴリカル色知覚システム。

[7] 入力側中間層照明光成分対応部分のユニット数及び入力側中間層テスト色成分対応部分のユニット数は 4であり、出力側中間層のユニット数は 7であり、出力層のュニット数は 11であることを特徴とする請求項 6記載のカテゴリカル色知覚システム。

[8] 以下の要素を有することを特徴とするロボット

(4)第二の出力信号を入力し、第二の出力信号から反射光の色成分を抽出する判断対象反射色成分センサー部 (5)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定する請求項 1記載のカテゴリカル色知覚システム

[9] 以下の要素を有することを特徴とする監視カメラシステム

(5)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定する請求項 1記載のカテゴリカル色知覚システム

[10] 以下の要素を有することを特徴とする色彩コーディネートシュミレーシヨンシステム

(1)環境光の指定情報を入力する入力部

(5)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定する請求項 1記載のカテゴリカル色知覚システム。

以下の要素を有することを特徴とする色彩コーディネートシュミレーシヨンシステム

(4)環境光の色成分と反射光の色成分を入力し、環境光の色成分と反射光の色成分に従って判定対象物のカテゴリ色を判定する請求項 1記載のカテゴリカル色知覚システム。