JPWO2014156018A1 - 推定装置、推定方法、集積回路およびプログラム - Google Patents

Abstract

赤外光が物体で反射された反射光を用いる推定装置であって、赤外光の波長領域で第１の分光感度特性を有する第１の画素と、赤外光の波長領域で第１の分光感度特性と異なる第２の分光感度特性を有する第２の画素を含む単一の入力部（２０１）と、反射光の第１の画素の出力値である第１出力値と、反射光の第２の画素の出力値である第２出力値に基づいて物体の色または素材の少なくとも一方を推定する推定部（２０３）を含む。

Description

本発明は、赤外光を利用して物体の色または素材の少なくとも一方を推定する推定装置に関するものである。

従来、入射光をプリズムで３つに分光し、分光したそれぞれの光とイメージセンサーの間に狭帯域のバンドパスフィルタを設置し、３つのイメージセンサーで撮像された情報を利用して、物体の素材などの推定を行うものがある（非特許文献１を参照）。

近赤外領域の分光反射特性を利用した物体識別、２００９年電子情報通信学会総合大会、情報・システム講演論文集２、２００９、ｐｐ．１０１

しかしながら、上記従来の構成では、プリズム、バンドパスフィルタ、３つのイメージセンサーが必要となり、機器の大型化を引き起こすという課題がある。本発明は、このような課題を解決するためになされたものであり、機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる推定装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様にかかる推定装置は赤外光が物体で反射された反射光を用いる推定装置であって、赤外光の波長領域で第１の分光感度特性を有する第１の画素と、赤外光の波長領域で第１の分光感度特性と異なる第２の分光感度特性を有する第２の画素を含む単一のイメージセンサーと、反射光の第１の画素の出力値である第１出力値と、反射光の第２の画素の出力値である第２出力値に基づいて物体の色または素材の少なくとも一方を推定する推定部を含む。

なお、これらの全般的または具体的な態様は、方法、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明の推定装置によれば、機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる。

図１は実施の形態における推定装置のハードウエア構成例を示す図 図２は実施の形態における推定装置の機能構成例を示すブロック図 図３は実施の形態におけるベイヤー配列のカラーイメージセンサーの構成図 図４は実施の形態におけるカラーイメージセンサーの分光感度特性の説明図 図５は実施の形態における赤外線ＬＥＤの照度特性の説明図 図６は実施の形態におけるサンプル物体の分光反射特性などの説明図 図７Ａは実施の形態おける物体の分光感度特性の傾きの推定例の説明図 図７Ｂは実施の形態おける物体の分光感度特性の傾きの推定例の説明図 図７Ｃは実施の形態おける物体の分光感度特性の傾きの推定例の説明図 図７Ｄは実施の形態おける物体の分光感度特性の傾きの推定例の説明図 図８は実施の形態おけるイメージセンサーの配列の一例を示す図 図９は実施の形態における推定処理の一例を示すフローチャート 図１０は実施の形態における画素処理の一例を示すフローチャート 図１１は実施の形態におけるテーブルの一例を示す図

（本発明の基礎となった知見）
本発明者らは、従来の技術において、以下の問題が生じることを見いだした。

近年、画像処理により、撮影された物体を推定する技術が開発されている。

非特許文献１では、入射光をプリズムで３つに分光し、分光したそれぞれの光と撮像素子（イメージセンサ）の間に狭帯域のバンドパスフィルタを設置し、３つの撮像素子で撮像する。バンドパスフィルタは、８７０ｎｍ，９７０ｎｍ，１０５０ｎｍである。８７０ｎｍのバンドパスフィルタを有する撮像素子で撮像された画素（ｘ，ｙ）の画素値をｉ（ｘ，ｙ）、９７０ｎｍのバンドパスフィルタを有する撮像素子で撮像された画素（ｘ，ｙ）の画素値をｊ（ｘ，ｙ）、１０５０ｎｍのバンドパスフィルタを有する撮像素子で撮像された画素（ｘ，ｙ）の画素値をｋ（ｘ，ｙ）とし、
ｆ１（ｘ，ｙ）＝ｉ（ｘ，ｙ）／ｊ（ｘ，ｙ）
ｆ２（ｘ，ｙ）＝ｋ（ｘ，ｙ）／ｊ（ｘ，ｙ）
で定義される相対反射率ｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）を求める。素材により、ｆ１，ｆ２で表される特徴量の分布に偏りが見られるので、これを利用して、アスファルト、植物、空、服などの物体の推定を行う。

このように、非特許文献１では赤外光を利用することで物体の推定を実現している。

しかしながら、非特許文献１に示す装置では、プリズムと、バンドパスフィルタ、そして、３つの撮像素子が必要となる。複数の赤外光光源（波長が異なるもの）が必要なことや、プリズムやバンドパスフィルタ、そして３つの撮像素子が必要なことは、機器の大型化を引き起こす。

このような問題を解決するために、本発明の一態様にかかる推定装置は、赤外光が物体で反射された反射光を用いる推定装置であって、赤外光の波長領域で第１の分光感度特性を有する第１の画素と、赤外光の波長領域で第１の分光感度特性と異なる第２の分光感度特性を有する第２の画素を含む単一のイメージセンサーと、反射光の第１の画素の出力値である第１出力値と、反射光の第２の画素の出力値である第２出力値に基づいて物体の色または素材の少なくとも一方を推定する推定部を含む。

これにより単一のイメージセンサーで物体の色または素材の少なくとも一方を推定することができる。すなわち、機器の大型化などを引き起こさずに物体の色または素材の少なくとも一方を推定することができる。

また、例えば、赤外光を発光する単一赤外光光源を含むようにしてもよい。

これにより機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる。

また、例えば、第１の分光感度特性は波長が長くなると増加し、第２の分光感度特性は波長が長くなると減少するようにしてもよい。

これにより単一のイメージセンサーと単一赤外光光源で物体の色または素材の少なくとも一方を推定することができる。

また、例えば、推定装置は第１出力値と第２出力値の比に対応する物体の色と素材を示すデータと、第１出力値と第２出力値の比を算出する比率計算部とをさらに含み、推定部は算出された比とデータに基づいて物体の色または素材の少なくとも一方を推定するようにしてもよい。

これにより、推定に際して、光源、物体、イメージセンサー間の距離に起因する各画素の出力値の変動を吸収することができる。

また、例えば、イメージセンサーはベイヤー構造を有し、第１の画素は青色を通過する光学カラーフィルターを含み、第２の画素は赤色を通過する光学カラーフィルターを含むようにしてもよい。

これにより機器の大型化を引き起こさずに物体の色または素材の少なくとも一方を推定することができる。

また、例えば、特定の波長領域の赤外光を通過させるバンドパスフィルターを含むようにしてもよい。

これにより外乱光の影響を低減することができる。

また、例えば、第１の赤外光光源と、第２の赤外光光源を含み、赤外光は第１の赤外光であり、第１の赤外光は第１の赤外光光源から発光され、反射光は第１の反射光であり、第２の赤外光は第２の赤外光光源から発光され、第１の赤外光の最大照度を示す波長と第２の赤外光の最大照度を示す波長が異なるようにしてもよい。

また、例えば、推定装置はさらに第１の比と第２の比を算出する比率計算部を含み、推定部は第１の比と第２の比に基づいて物体の色または素材の少なくとも一方を推定し、第１の比は第１出力値と第２出力値の比であり、第１の画素は、第２の赤外光の波長領域で第３の分光感度特性を有し、第２の画素は、第２の赤外光の波長領域で第４の分光感度特性を有し、第３の分光感度特性は第４の分光感度特性とは異なり、第２の比は第２の赤外光が物体で反射された第２の反射光の第１の画素の出力値である第３出力値と、第２の反射光の第２の画素の出力値である第４出力値の比であるようにしてもよい。

これにより物体の色または素材の少なくとも一方の推定精度を向上することができる。

また、例えば、第１の赤外光光源の発光中心波長は８７０ｎｍであり、第２の赤外光光源の発光中心波長は９５０ｎｍであり、推定対象の物体は人間の肌であるようにしてもよい。

これにより人間の肌推定の精度を向上することができる。

なお、これらの全般的または具体的な態様は、方法、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。

（実施の形態）
図１は、本発明の一実施の形態の推定装置のハードウエア構成例を示す図である。推定装置１００は赤外画像を撮像するイメージセンサーなどの撮像デバイス１０１、特定の波長の赤外線を照射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の赤外照明などの光源１０２、カメラやディスプレイなどの外部入出力を接続するＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）１０３、システム全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４、主に画像処理などの信号処理を行うＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０５、メモリ１０６、結果を表示する表示デバイス１０７を含む。なお、撮像デバイス１０１は、可視光の影響を抑制するための可視光カットフィルタを備えていてもよい。可視光カットフィルタを備えている場合は、可視光による外乱影響が小さくなるため、明るい環境であっても推定装置１００を良好に動作させることが可能となる。図１では、物体の色または素材の少なくとも一方の推定は、ＣＰＵ１０４とＤＳＰ１０５が協調して、または、どちらかで実現される。なお、推定処理の処理負荷を軽減するために専用のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や書き換え可能なハードウェアデバイスであるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いて推定処理を実現してもよい。

図２は、本発明の一実施の形態における推定装置の機能構成例を示すブロック図である。図１との対応関係は次のようになる。

入力部２０１は撮像デバイス１０１とＩ／Ｏ１０３を含む。

比率計算部２０２と推定部２０３はＣＰＵ１０４またはＤＳＰ１０５で実行されるプログラムを含む。

特性データベース２０４はメモリ１０６に記録されたデータを含む。

出力部２０５はＩ／Ｏ１０３に接続された表示デバイス１０７を含む。

推定装置１００は、入力された赤外画像から撮影された物体の色または素材の少なくとも一方を推定し、テキストデータや音、マーカー、あるいは赤外画像への着色や、赤外画像の信号レベルの変更などによりユーザに結果を提示してもよい。以下、処理について、詳しく説明を行う。

＜撮像デバイスの分光感度特性＞
撮像デバイス１０１はベイヤー配列のカラーイメージセンサーとしてもよい。図３はベイヤー配列のカラーイメージセンサー３０１の構成図である。ベイヤー配列のカラーイメージセンサー３０１には、赤色、緑色、青色のいずれかに対して強い感度を持つ画素が規則的に配置されている。２×２画素中に赤色の光に強い感度を示す画素であるＲ画素が１画素、青色の光に強い感度を示す画素であるＢ画素が１画素、緑色の光に強い感度を示す画素であるＧ画素が２画素含まれる。またＧ画素は２×２画素の水平方向と垂直方向に１つずつ含まれる。図３において、ＲはＲ画素、ＢはＢ画素、ＧはＧ画素を示す。Ｒ画素の感度、Ｇ画素の感度、Ｂ画素の感度は、各画素に配置されるカラーフィルターにより調整されており、例えば図４のような分光感度特性を持つ。

図４はＢ画素が備えるカラーフィルターの分光感度特性４０１、Ｇ画素が備えるカラーフィルターの分光感度特性４０２、Ｒ画素が備えるカラーフィルターの分光感度特性４０３を示す。波長７５０ｎｍから右側が近赤外となるが、本発明では、この部分の波長を利用する。図４の波長領域４０４は波長が７５０〜８５０ｎｍであるが、この波長領域４０４でＢ画素が備えるカラーフィルターの分光感度特性、Ｇ画素が備えるカラーフィルターの分光感度特性、Ｒ画素が備えるカラーフィルターの分光感度特性が異なる。特に、７５０〜８５０ｎｍ近辺においては、Ｂ画素が備えるカラーフィルターの分光感度特性は、Ｒ画素が備えるカラーフィルターの分光感度特性と大きく異なる。７５０〜８５０ｎｍ近辺においては、Ｂ画素が備えるカラーフィルターの分光感度特性は増加傾向を示し、Ｒ画素が備えるカラーフィルターの分光感度特性は減少傾向を示す。本実施の形態では、各カラーフィルターの７５０〜８５０ｎｍの波長域の分光感度特性の違いを利用する。

なお、本実施の形態では、カラーイメージセンサーは原色（赤、緑、青）光に強い感度を示すものとしたが、重要となるのは赤外部の分光感度特性であるため、補色（シアン、マゼンタ、イエロー）の光に強い感度を示すカラーイメージセンサーや、あるいはそのほかの色の光に強い感度を示すカラーイメージセンサーであっても同様の効果が期待できる。本発明の実施の形態で示された発明の効果と同等の効果を得るには、特定の波長域において、最低限２つの異なる分光感度特性を備える画素が配置されていればよい。

図８は、イメージセンサーの配列の一例を示す図で、赤外の分光感度特性の異なるＰ画素とＱ画素が配置された例である。図８において、ＰはＰ画素、ＱはＱ画素を示す。このような構成でも本実施の形態で示された発明と同様の効果を得ることが期待できる。

また、本実施の形態では、７５０〜８５０ｎｍのカラーフィルターの特性を利用するが、例えば８５０〜９５０ｎｍの領域で異なる分光感度特性を持つようにカラーフィルターを構成すれば、８５０〜９５０ｎｍの波長領域を利用することもできる。この場合は、８５０〜９５０ｎｍの領域で特徴的な分光反射特性を持つ素材を良好に判別することができる。この８５０〜９５０ｎｍでの判定を行う場合、例えば、人間の肌と衣服、髪の毛の判別を良好に行うことができる。

＜赤外線ＬＥＤの分光照度特性＞
図５は、８３０ｎｍを中心とした赤外線ＬＥＤの照度特性５０１を示す。一般的な光源では、特定の波長の光源といっても図５のようにある程度の波長幅を持つ。図５の例では、８３０ｎｍを中心として、緩やかに照度が落ち、±５０ｎｍほどの波長幅を持つ。このように、赤外線ＬＥＤ光源では、光源自身が一定幅の波長領域の赤外線を照射する。

本実施の形態では、このように一定波長の幅を持つ赤外光光源の特徴を利用する。本実施の形態では、光源として赤外線ＬＥＤを示したが、一定幅を持つ光源であれば他の赤外光光源を利用してもよい。また、カラーイメージセンサー側にバンドパスフィルタを設け、特定の波長領域の赤外光、すなわち、一定幅の波長を有する光のみ通過させるようにしてもよい。これによりカラーイメージセンサーの画素からの出力値は、外乱光の影響を小さくすることができる。

＜物体の分光反射特性＞
図６は、サンプル物体の分光反射特性６０１を含む。さらに、図６は図４で示したＢ画素が備えるカラーフィルターの分光感度特性４０１、Ｇ画素が備えるカラーフィルターの分光感度特性４０２、Ｒ画素が備えるカラーフィルターの分光感度特性４０３、図５で示した赤外線ＬＥＤの照度特性５０１を含む。分光反射特性６０１が示すように、この物体は、７５０〜８５０ｎｍの領域で反射率が減少する特性を持つ。この物体に、赤外線ＬＥＤの照度特性５０１を示す赤外光を照射すると、物体は分光反射特性６０１に従ってこの赤外光を反射する。反射光を受光したＢ画素からはＢ画素が備えるカラーフィルターの分光感度特性４０１に従った出力が得られる。反射光を受光したＧ画素からはＧ画素が備えるカラーフィルターの分光感度特性４０２に従った出力が得られる。反射光を受光したＲ画素からはＲ画素が備えるカラーフィルターの分光感度特性４０３に従った出力が得られる。このとき、Ｂ画素が備えるカラーフィルターの７５０〜８５０ｎｍの領域の分光感度特性４０１、Ｇ画素が備えるカラーフィルターの７５０〜８５０ｎｍの領域の分光感度特性４０２、Ｒ画素が備えるカラーフィルターの７５０〜８５０ｎｍの領域の分光感度特性４０３が異なるため、Ｂ画素からの出力値、Ｇ画素からの出力値、Ｒ画素からの出力値は異なる値となる。このＢ画素、Ｇ画素、Ｒ画素の分光感度特性の違いを利用することで、波長領域４０４における物体の分光反射特性の傾きを推定する。

図７Ａ、図７Ｂ、図７Ｃ、図７Ｄは、物体の分光感度特性の傾きの推定例を示すものである。図７Ａ、図７Ｂ、図７Ｃ、図７Ｄでは、簡単のために赤色に強い感度を示す画素であるＲ画素の分光感度特性１０１１、青色に強い感度を示す画素であるＢ画素の分光感度特性１０１２、ある特定の色Ｘに強い感度を示す画素であるＸ画素の分光感度特性１０１３、物体の分光反射特性１６０１、物体の分光反射特性１６０２は線形に表現しているがこれらの特性は線形である必要はない。また、照明光となる赤外線ＬＥＤの照度特性はここでは波長に依存しないとして説明するが、赤外線ＬＥＤの照度特性を加味した場合でも同様の結果が期待できる。

物体の分光反射特性が特定の波長範囲で単調増加する例を示す図７Ａと、物体の分光反射特性が特定の波長範囲で単調減少する例を示す図７Ｂを用いて、物体の分光反射特性の傾き推定の例を説明する。

図７Ａは物体の分光反射特性１６０１、Ｒ画素の分光感度特性１０１１、Ｂ画素の分光感度特性１０１２、Ｒ画素の出力特性７０１、Ｂ画素の出力特性７０２を示す。７５０〜８５０ｎｍの波長域においては、Ｒ画素の分光感度特性１０１１は単調減少、Ｂ画素の分光感度特性１０１２は単調増加の特性をもつとする。また、物体の分光反射特性１６０１は、単調増加であるとする。Ｒ画素の出力特性７０１は物体の分光反射特性１６０１とＲ画素の分光感度特性１０１１を加味したものとなる。Ｂ画素の出力特性７０２は物体の分光反射特性１６０１とＢ画素の分光感度特性１０１２を加味したものとなる。このとき、７５０〜８５０ｎｍの帯域に対するＲ画素の出力値はＲ画素の出力特性７０１を７５０〜８５０ｎｍの区間で積分したものになる。同様に７５０〜８５０ｎｍの帯域に対するＢ画素の出力値はＢ画素の出力特性７０２を７５０〜８５０ｎｍの区間で積分したものになる。図から明らかなように、Ｂ画素の出力特性７０２の７５０〜８５０ｎｍの区間での積分値は、Ｒ画素の出力特性７０１の７５０〜８５０ｎｍの区間での積分値より大きくなる。

図７Ｂは物体の分光反射特性１６０２、Ｒ画素の分光感度特性１０１１、Ｂ画素の分光感度特性１０１２、Ｒ画素の出力特性１０２１、Ｂ画素の出力特性１０２２を示す。７５０〜８５０ｎｍの波長域においては、Ｒ画素の分光感度特性１０１１は単調減少、Ｂ画素の分光感度特性１０１２は単調増加の特性をもつとする。また、物体の分光反射特性１６０２は、単調減少であるとする。Ｒ画素の出力特性１０２１は物体の分光反射特性１６０２とＲ画素の分光感度特性１０１１を加味したものとなる。Ｂ画素の出力特性１０２２は物体の分光反射特性１６０２とＢ画素の分光感度特性１０１２を加味したものとなる。このとき、７５０〜８５０ｎｍの帯域に対するＲ画素の出力値はＲ画素の出力特性１０２１を７５０〜８５０ｎｍの区間で積分したものになる。同様に７５０〜８５０ｎｍの帯域に対するＢ画素の出力値はＢ画素の出力特性１０２２を７５０〜８５０ｎｍの区間で積分したものになる。図から明らかなように、Ｂ画素の出力特性１０２２の７５０〜８５０ｎｍの区間での積分値は、Ｒ画素の出力特性１０２１の７５０〜８５０ｎｍの区間での積分値より小さくなる。

以上のように、イメージセンサーのＲ画素の出力値、Ｂ画素の出力値の大小関係より、物体の分光反射特性が、特定の赤外領域に対して、増加方向なのか、減少方向なのかを推定することができる。

図７Ｃは物体の分光反射特性１６０１、Ｒ画素の分光感度特性１０１１、Ｘ画素の分光感度特性１０１３、Ｒ画素の出力特性７０１、Ｘ画素の出力特性１０３２を示す。

図７Ｄは物体の分光反射特性１６０２、Ｒ画素の分光感度特性１０１１、Ｘ画素の分光感度特性１０１３、Ｒ画素の出力特性１０２１、Ｘ画素の出力特性１０４２を示す。

図７Ｃ、図７Ｄのようにセンサーの分光感度特性がどちらも単調減少（あるいは、単調増加）であっても、各画素の値を用いて比較することにより、物体の分光反射特性を推定することが可能になる。

また、ここでは例をあげて説明しないが、センサーの分光感度特性がどちらも単調増加であっても、各画素の値を比較することにより、物体の分光反射特性を推定することが可能になることは明らかである。

このように、少なくとも、イメージセンサーが備える２種類の画素のカラーフィルターの分光感度特性が異なれば、それにより物体の分光反射特性を推定することができる。そして、あらかじめ分光反射特性と、物体の色と素材の対応テーブルを作成しておけば、推定した分光反射特性とこの対応テーブルを用いて、物体の色または素材の少なくとも一方の推定を行うことが可能になる。なお、使用する２種のイメージセンサーの分光感度特性は、図７Ａ，図７Ｂに示したように、一方のイメージセンサーの分光感度特性は波長に対して増加方向であり、他方のイメージセンサーの分光感度特性は波長に対して減少方向であるように異なることが望ましい。しかし、図７Ｃ，図７Ｄに示すように使用する２種のイメージセンサーの両方の分光感度特性が波長に対して、減少傾向であっても、分光感度特性の傾きが異なれば分光感度特性の推定は可能である。

また、図示しないが、使用する２種のイメージセンサーの両方の分光感度特性が波長に対して、増加傾向であっても、分光感度特性の傾きが異なれば分光感度特性の推定は可能である。

また、例では２種の画素種（Ｒ画素とＢ画素、あるいは、Ｒ画素とＸ画素）の画素値だけを利用したが、３種の画素種（例えば、Ｒ画素、Ｂ画素、Ｇ画素）の画素値を用いることで、より正確な推定が可能となる。また、上記の例では画素の出力値の大小関係を比較するように説明したが、例えば、Ｒ画素出力値／Ｇ画素出力値、Ｒ画素出力値／Ｂ画素出力値、Ｂ画素出力値／Ｇ画素出力値といった比率により物体の色または素材の少なくとも一方の推定をおこなってもよい。各画素における受光強度は光源、物体、イメージセンサー間の距離に起因して変動する。しかし、比率で推定することで、推定に際して、この距離の変動による各画素の出力値の変動を吸収することができる。

なお、本実施の形態では、原色（赤，緑，青）の光に強い感度を示すカラーイメージセンサーを例に説明したが、補色（シアン、マゼンタ、イエロー）の光に強い感度を示すカラーイメージセンサーであっても、２種の画素の分光感度特性が、増加方向と減少方向の差があるなどの上記で説明したような赤外領域で同等の特性を持てば本実施の形態と同様の推定を行うことができる。このように、一般的なイメージセンサーのフィルタ特性を利用、または、赤外線波長領域の特性に手を加えることで赤外単一光源による物体の色または素材の少なくとも一方の推定を実現することができる。

＜処理フロー＞
以下、処理フローについて説明する。図９は、本発明の一実施の形態の推定の処理の一例を示すフローチャートである。

まず、注目画素位置の座標を（０，０）に初期化する（Ｓ９０１）。

次に画素位置に対する画素処理を行い、画素位置の画素に対する結果を出力する（Ｓ９０２）。

すべての画素に対して処理が完了しているかどうかチェックし（Ｓ９０３）、すべての画素に対して処理が完了している場合は処理を終了する。

また、処理する画素が残っている場合には、注目画素の位置を更新しＳ９０２の処理を繰り返す（Ｓ９０４）。

図１０は画素処理Ｓ９０２の一例を示すフローチャートである。

画素処理では、まず注目画素周辺の画素を用いて、Ｒ画素の出力、Ｇ画素の出力、Ｂ画素の出力に個別にローパスフィルタ処理を行う（Ｓ１００１）。このローパスフィルタ処理は、撮像した画像のノイズの影響を抑えるためのもので、十分な照度を得られており、ノイズの影響が少ない場合には省略可能である。

次に、ローパスフィルタ処理の結果の正規化処理を行う（Ｓ１００２）。正規化処理は、Ｒ画素の分光感度、Ｇ画素の分光感度、Ｂの分光感度の差を補正するものである。この正規化は特定の波長領域における物体の分光反射特性が波長に依存しないとした場合にＲ画素の分光感度、Ｇ画素の分光感度、Ｂの分光感度が同じになるようにする。これは例えば、以下に述べる方法により実現できる。

まず、推定装置１００を製造する際に基準光を撮像デバイス１０１に照射して、各画素の出力を得る。そして、その出力値の基準値からのずれを補正するための補正値の一覧を示すルックアップテーブルを作成する。作成されたルックアップテーブルをメモリ１０６に保持させる。そして、物体の色または素材の少なくとも一方を推定する時には、作成されたルックアップテーブルを参照して、各画素の出力値に応じた補正値を得て、その補正値で各画素の出力値を補正する。

なお、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄに示す例では、この正規化処理は行われていなかったが、これは、例えば、図７Ａ、図７Ｂに示す分光感度特性の場合、波長に依存しない分光反射特性を持つ物体に対するＲ画素の出力値とＢ画素の出力値がほぼ同じで、感度差の影響が少なかったからである。このように、感度差の影響が少ない場合は、正規化処理をスキップ可能である。

次に、Ｒ画素の出力値、Ｇ画素の出力値、Ｂ画素の出力値の比率を計算する（Ｓ１００３）。比率計算の結果としては、例えば、（Ｒ画素の出力値）／（Ｇ画素の出力値）だけ、（Ｒ画素の出力値）／（Ｂ画素の出力値）だけ、（Ｂ画素の出力値）／（Ｇ画素の出力値）だけといったものや、これらを２つ以上組み合わせたものが考えられる。

推定処理では、これらの比率を用いて物体の色または素材の少なくとも一方の推定を行う（Ｓ１００４）。物体の色または素材の少なくとも一方の推定は、例えば１倍より比率が大きい、または、小さいといった大小比較により求める方法と、特性データベース２０４にあらかじめ用意されたテーブルを参照して行う方法などがある。このテーブルを使用する方法については後述する。

出力結果処理（Ｓ１００５）では、推定結果に基づき、彩色（着色）や画素値の変更（例えば。特定の物体の素材が存在する画素以外は表示しない）、あるいはテキストデータやマーカー表示などにより結果を出力する。例えば、彩色を行った場合には、推定結果に基づき赤外線画像がカラー表示される。

なお、特性データベース２０４が、図１１に示すようなあらかじめ用意されたテーブル１７０１を保持してもよい。

テーブル１７０１は画素の出力値の比率の組み合わせ〔Ａｉ，Ｂｉ，Ｃｉ〕＝〔（Ｒ画素の出力値）／（Ｇ画素の出力値），（Ｇ画素の出力値）／Ｂ画素の出力値），（Ｂ画素の出力値）／（Ｒ画素の出力値）〕に対応する物体の色と素材を示す。ただし、ｉは自然数でテーブルに含まれる比率の組み合わせの個数である。このデータ数が多ければ多いほど（ｉが大きいほど）推定の精度が向上する。

比率計算部２０２は、入力部２０１から注目画素および注目画素の近辺の画素のＲ画素の出力値、Ｇ画素の出力値、Ｂ画素の出力値を得る。そして、比率計算部２０２は、例えば、３つの比、すなわち（Ｒ画素の出力値）／（Ｇ画素の出力値），（Ｇ画素の出力値）／Ｂ画素の出力値），（Ｂ画素の出力値）／（Ｒ画素の出力値）を算出する。

推定部２０３は比率計算部２０２が算出した比率の組み合わせである〔Ｄ，Ｅ，Ｆ〕＝〔（Ｒ画素の出力値）／（Ｇ画素の出力値），（Ｒ画素の出力値）／（Ｂ画素の出力値），（Ｂ画素の出力値）／（Ｇ画素の出力値）〕をインデックスとして、似た比率の組をテーブル１７０１よりあいまい検索して、もっとも近い比率の組み合わせに対応する物体の色と素材を推定結果として出力する。なお、物体の色のみを推定結果としても出力してもよい。また、物体の素材のみを推定結果として出力してもよい。あいまい検索は、例えば、
（Ａｉ−Ｄ）×（Ａｉ−Ｄ）＋（Ｂｉ−Ｅ）×（Ｂｉ−Ｅ）＋（Ｃｉ−Ｆ）×（Ｃｉ−Ｆ）
をすべてのｉについて算出し、この値がもっとも小さい場合のｉを決定（この場合のｉをｊとする）し、テーブル１７０１を参照して〔Ａｊ，Ｂｊ，Ｃｊ〕に対応する色と素材を推定結果とする。

また、テーブル１７０１は、色と素材に代えて色を保持し、色の推定のみをおこなってもよい。最も近い比率の組み合わせが複数ある場合には、それらに対応する色を補間して推定結果としてもよい。例えば、最も近い比率の組み合わせが２つあり、それらに対応する色が青と赤である場合、推定結果は青と赤の中間の色である紫であるとしてもよい。

また、テーブル１７０１は、色と素材に代えて特定の素材である確率（例えば人間の肌である確率）を保持し、特定の素材である確率を推定するようにしてもよい。最も近い比率の組み合わせが複数ある場合には、それらに対応する確率を補間して推定結果としてもよい。例えば、最も近い比率の組み合わせが２つあり、それらに対応する比率が９０％と７０％である場合、推定結果は８０％としてもよい。

上記推定結果をユーザに提示を行ってもよい。

以上のように本発明の一実施の形態によれば、単一の赤外光光源と単一のイメージセンサーのみを利用して、物体の色または素材の少なくとも一方の推定を行うことが可能となる。

なお、本実施の形態では、１つの赤外光光源と１つのイメージセンサーのみを利用する例を示したが、２つの赤外光光源を利用する場合も考えることができる。この場合は、第１の赤外光光源の波長領域での物体の分光反射特性の傾きと、第２の赤外光光源の波長領域での物体の分光反射特性の傾きを測定することができ、従来例で２つの光源を用いて物体の１つの分光反射特性の傾きを推定する場合と比較して、より多くの情報を得ることが可能である。これにより推定精度を高めることができる。

また、さらに赤外光光源を増やすことも可能であるが、この場合も同様に従来例に比べてより多くの情報を収集することが可能となり、推定精度を向上させることが可能となる。２つの赤外光光源を利用する場合について、以下に説明する。

第１の赤外光光源の発光中心波長（最大照度を示す波長）を８７０ｎｍ、第２の赤外光光源の発光中心波長（最大照度を示す波長）を９５０ｎｍとし、物体が人間の肌かどうかを判定することを考える。

８７０ｎｍ近辺において人の肌の分光反射特性は波長が増加すると減少する。また、９５０ｎｍ近辺において人の肌の分光反射特性は波長が増加すると減少する。

イメージセンサーはＹ画素とＺ画素を備えるとする。Ｙ画素の分光特性は８７０ｎｍ近辺において、波長が増加すると、増加するものとする。Ｙ画素の分光特性は９５０ｎｍ近辺において、波長が増加すると、増加するものとする。

また、Ｚ画素の分光特性は８７０ｎｍ近辺において、波長が増加すると、減少するものとする。Z画素の分光特性は９５０ｎｍ近辺において、波長が増加すると、減少するものとする。また、Ｙ画素の出力と、Ｚ画素の出力は正規化されているとする。

測定においては、まず、第２の赤外光光源を発光させずに、第１の赤外光光源を発光させ、物体からの反射光を受光したＹ画素の出力をＹ１、Ｚ画素の出力をＺ１とする。Ｙ１／Ｚ１が１より小さいと物体の分光反射特性は８７０ｎｍ近辺で波長が増加すると減少しているとわかる。この判定を第１の判定とする。

次に、第１の赤外光光源を発光させずに、第２の赤外光光源を発光させ、物体からの反射光を受光したＹ画素の出力をＹ２、Ｚ画素の出力をＺ２とする。Ｙ２／Ｚ２が１より小さいと物体の分光反射特性は９５０ｎｍ近辺で波長が増加すると減少しているとわかる。この判定を第２の判定とする。

そして、第１の判定で物体の分光反射特性が減少しており、かつ、第２の判定で物体の分光反射特性が減少しているときに物体が人間の肌と判定する。すなわち、物体が人間の肌かどうかの判定を、４つの情報を用いて行う。

この４つの情報を用いる推定は、２つの情報を用いる推定、例えば、第１赤外光光源で撮影したＹ画素の画素値と、第２赤外光光源で撮影したＹ画素の画素値の差分のみを用いて行う推定に比べて、情報量が多いので推定精度が向上する。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明の推定装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の一態様に係る推定装置は、赤外光が物体で反射された反射光を用いて、物体の色または素材の少なくとも一方を推定する装置等として有用である。

１００ 推定装置
１０１ 撮像デバイス
１０２ 光源
１０３ Ｉ／Ｏ
１０４ ＣＰＵ
１０５ ＤＳＰ
１０６ メモリ
１０７ 表示デバイス
２０１ 入力部
２０２ 比率計算部
２０３ 推定部
２０４ 特性データベース
２０５ 出力部
３０１ カラーイメージセンサー
４０１ Ｂ画素が備えるカラーフィルターの分光感度特性
４０２ Ｇ画素が備えるカラーフィルターの分光感度特性
４０３ Ｒ画素が備えるカラーフィルターの分光感度特性
４０４ 波長領域
５０１ 赤外線ＬＥＤの照度特性
６０１ サンプル物体の分光反射特性
７０１ Ｒ画素の出力特性
７０２ Ｂ画素の出力特性
１０１１ Ｒ画素の分光感度特性
１０１２ Ｂ画素の分光感度特性
１０１３ Ｘ画素の分光感度特性
１０２１ Ｒ画素の出力特性
１０２２ Ｂ画素の出力特性
１０３２ Ｘ画素の出力特性
１０４２ Ｘ画素の出力特性
１６０１ 物体の分光反射特性
１６０２ 物体の分光反射特性
１７０１ テーブル

Claims (12)

1. 赤外光が物体で反射された反射光を用いる推定装置であって、
   前記赤外光の波長領域で第１の分光感度特性を有する第１の画素と、前記赤外光の前記波長領域で前記第１の分光感度特性と異なる第２の分光感度特性を有する第２の画素を含む単一のイメージセンサーと、
   前記反射光の前記第１の画素の出力値である第１出力値と、前記反射光の前記第２の画素の出力値である第２出力値に基づいて前記物体の色または素材の少なくとも一方を推定する推定部を含む
   推定装置。
2. 前記赤外光を発光する単一赤外光光源を含む
   請求項１記載の推定装置。
3. 前記第１の分光感度特性は波長が長くなると増加し、前記第２の分光感度特性は波長が長くなると減少する
   請求項２記載の推定装置。
4. 前記推定装置は、
   前記第１出力値と前記第２出力値の比に対応する物体の色と素材を示すデータと、
   前記第１出力値と前記第２出力値の比を算出する比率計算部とをさらに含み、
   前記推定部は前記算出された比と前記データに基づいて前記物体の色または素材の少なくとも一方を推定する
   請求項３記載の推定装置。
5. 前記イメージセンサーはベイヤー構造を有し、
   前記第１の画素は青色を通過する光学カラーフィルターを含み、
   前記第２の画素は赤色を通過する光学カラーフィルターを含む
   請求項４記載の推定装置。
6. 特定の波長領域の赤外光を通過させるバンドパスフィルターを含む
   請求項５記載の推定装置。
7. 第１の赤外光光源と、第２の赤外光光源を含み、
   前記赤外光は第１の赤外光であり、前記第１の赤外光は前記第１の赤外光光源から発光され、前記反射光は第１の反射光であり、
   第２の赤外光は前記第２の赤外光光源から発光され、
   前記第１の赤外光の最大照度を示す波長と前記第２の赤外光の最大照度を示す波長が異なる
   請求項１記載の推定装置。
8. 前記推定装置はさらに第１の比と第２の比を算出する比率計算部を含み、
   前記推定部は前記第１の比と前記第２の比に基づいて前記物体の色または素材の少なくとも一方を推定し、
   前記第１の比は前記第１出力値と前記第２出力値の比であり、
   前記第１の画素は、前記第２の赤外光の波長領域で第３の分光感度特性を有し、
   前記第２の画素は、前記第２の赤外光の波長領域で第４の分光感度特性を有し、
   前記第３の分光感度特性は前記第４の分光感度特性とは異なり、
   前記第２の比は前記第２の赤外光が前記物体で反射された第２の反射光の前記第１の画素の出力値である第３出力値と、前記第２の反射光の前記第２の画素の出力値である第４出力値の比である
   請求項７記載の推定装置。
9. 前記第１の赤外光光源の発光中心波長は８７０ｎｍであり、
   前記第２の赤外光光源の発光中心波長は９５０ｎｍであり、
   前記推定対象の物体は人間の肌である
   請求項８記載の推定装置。
10. 赤外光が物体で反射された反射光を用いる推定方法であって、
    前記赤外光の波長領域で第１の分光感度特性を有する第１の画素が前記反射光を受光し、第１出力値を出力するステップと、
    前記赤外光の前記波長領域で前記第１の分光感度特性と異なる第２の分光感度特性を有する第２の画素が前記反射光を受光し、第２出力値を出力するステップと、
    前記第１出力値と前記第２出力値に基づいて前記物体の色または素材の少なくとも一方を推定するステップを含み、
    単一のイメージセンサーが前記第１の画素と前記第２の画素を含む
    推定方法。
11. 赤外光が物体で反射された反射光を用いる推定装置のための集積回路であって、
    第１出力値と第２出力値に基づいて前記物体の色または素材の少なくとも一方を推定する推定部を含み、
    第１の画素と第２の画素を含む単一のイメージセンサーが前記第１出力値と前記第２出力値を出力し、
    前記第１画素は前記赤外光の波長領域で第１の分光感度特性を有し、
    前記第２画素は前記赤外光の前記波長領域で前記第１の分光感度特性と異なる第２の分光感度特性を有し、
    前記第１出力値は前記反射光の前記第１の画素の出力値であり、
    前記第２出力値は前記反射光の前記第２の画素の出力値である
    集積回路。
12. 請求項１０記載の推定方法をコンピュータに実行させるためのプログラム。

Images