WO2019239831A1

WO2019239831A1 - 画像処理装置、画像処理方法、画像センサ

Info

Publication number: WO2019239831A1
Application number: PCT/JP2019/020287
Authority: WO
Inventors: 加藤　豊
Original assignee: オムロン株式会社
Priority date: 2018-06-12
Filing date: 2019-05-22
Publication date: 2019-12-19
Also published as: EP3809362A1; JP7028075B2; US11368603B2; EP3809362A4; US20210281713A1; JP2019215676A

Abstract

画像処理装置が、Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換する変換手段と、を有する。

Description

画像処理装置、画像処理方法、画像センサ

　本発明は、マルチスペクトル画像を変換する技術に関する。

　一般的なＲＧＢカメラよりも高い波長分解能で被写体のスペクトル情報を記録可能な技術が知られている。この種の技術は「マルチスペクトルイメージング」と呼ばれ、マルチスペクトルイメージングが可能な装置は「マルチスペクトルカメラ」、得られる画像データは「マルチスペクトル画像」などと呼ばれる。また、マルチスペクトルイメージングでは、一般的なＲＧＢカメラよりも広い波長領域（たとえば近赤外領域や紫外領域など）の像を記録することもある。なお、バンド数が十数個程度までのものを「マルチスペクトル」、それよりもバンド数が多いものを「ハイパースペクトル」と呼んで区別する場合もあるが、本明細書では、両者を特に区別せず、「マルチスペクトル」という用語を「バンド数が４つ以上のスペクトル」という意味で用いるものとする。

　マルチスペクトル画像は、被写体の微妙な色の違いや人の眼には判らない特徴などを捉えることができるため、さまざまな分野において、対象物の計測、検査、分析、評価などへの応用が期待されている。特許文献１には、マルチスペクトル画像を塗装表面の粒子特性の定量化に利用する例が開示されている。

特開２０１８－００９９８８号公報

　しかしながら、マルチスペクトル画像は次のようなデメリットをもつ。

　・ＲＧＢ画像に比べてデータサイズがかなり大きいので、画像データの保存のために大容量のメモリやストレージが必要になると共に、データのハンドリング（読み書き、編集、複製、データ伝送など）に時間がかかる。

　・マルチスペクトル画像そのままでは、通常のＲＧＢモニタに表示することができない。また、ＲＧＢ画像用に作られたソフトウエアはマルチスペクトル画像を取り扱えないため、過去のソフトウエア資産を活用できない。

　・ＲＧＢ画像に比べて情報量（たとえばチャネル数、波長領域）が多いため、マルチスペクトル画像を用いた処理（計測、検査、分析、評価など）にかなりの時間がかかる。また、それらの処理に用いるパラメータの設定も難しくなる（たとえば、ＲＧＢ画像であれば３つの数値で色の指定を行うことができるのに対し、１６チャネルのマルチスペクトル画像の場合は１６個の数値を指定しなければならないなど）。

　本発明は、上記実情に鑑みなされたものであって、マルチスペクトル画像の簡便な利用を可能にするための技術を提供することを目的とする。

　本発明の第一側面は、Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換する変換手段と、を有することを特徴とする画像処理装置を提供する。

　この構成によれば、ユーザが設定（意図）した３つの基準ベクトルに従って、マルチスペクトル画像が３チャネル画像に変換される。したがって、ユーザが関心をもつ波長領域の情報が抽出ないし強調された３チャネル画像を得ることができる。なお、ユーザは、３チャネル画像の用途や、３チャネル画像に施す処理の内容にあわせて、３つの基準ベクトルを設定すればよい。

　また、３チャネル画像をマルチスペクトル画像の代わりに利用することで次のようなメリットがある。第一に、３チャネル画像は、元のマルチスペクトル画像に比べてデータサイズが小さいため、画像データの保存やハンドリングが容易である。第二に、３チャネル画像を疑似的なＲＧＢ画像として取り扱えば、ＲＧＢモニタに表示したり、ＲＧＢ画像用に作られたソフトウエアで読み込むことが可能となる（つまり、数多のＲＧＢ画像用の資産を利用できる。）。第三に、元のマルチスペクトル画像に比べて情報量が減るため、高速な画像処理が期待できる。また、チャネル数が減るので、処理に用いるパラメータの設定が簡便となる。

　前記基準ベクトル設定手段は、前記基準ベクトルを、横軸に波長、縦軸に感度をとったグラフにおいて、波長ごとの感度を表す感度曲線で表示し、前記感度曲線の形状を規定するパラメータをユーザに入力させてもよい。このようなユーザインタフェースにより、ユーザは基準ベクトルの特性（波長ごとの感度）を直観的に把握し、また設定することが可能となる。

　前記基準ベクトル設定手段は、前記感度曲線を左右対称な分布曲線で表示するものであり、前記感度曲線の形状を規定するパラメータは、分布の平均、分布の高さ、分布の広がりを含んでもよい。基準ベクトルを左右対称な分布曲線（たとえばガウス分布など）でモデル化することで、ユーザは少ないパラメータで所望の形状の基準ベクトルを設定できるので、ユーザビリティの向上が図られる。なお、分布の広がりは、分散、標準偏差、幅、又は半値幅などで指定するとよい。

　前記基準ベクトル設定手段は、第１の画素のスペクトル分布と第２の画素のスペクトル分布を比較可能な態様で表示した画面上に、３つの基準ベクトルの形状を重畳表示してもよい。このようなユーザインタフェースは、基準ベクトルの設定の良し悪しの確認に有用である。

　前記基準ベクトル設定手段は、前記第１の画素のスペクトル分布と前記第２の画素のスペクトル分布の間の相違が大きい３つの波長を抽出し、抽出された３つの波長に合わせて３つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドしてもよい。これによれば、３チャネル画像に変換したときに第１の画素と第２の画素の差が強調されるような基準ベクトル候補が自動で計算され、ユーザにレコメンドされる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。

　前記基準ベクトル設定手段は、前記第１の画素のスペクトル分布を３つの基準ベクトルにより分解することで得られる変換後の画素の値と、前記第２の画素のスペクトル分布を３つの基準ベクトルにより分解することで得られる変換後の画素の値との差が最大になるように、３つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドしてもよい。これによれば、３チャネル画像に変換したときに第１の画素と第２の画素の差が強調されるような基準ベクトル候補が自動で計算され、レコメンドされる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。

　前記基準ベクトル設定手段は、３つの基準ベクトルのうちのいずれかの基準ベクトルの形状がユーザにより変更されたことに応じて、３つの基準ベクトルが所定の制約を満たすように、変更された基準ベクトル以外の基準ベクトルの形状を自動的に変更してもよい。これによれば、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。

　前記所定の制約は、３つの基準ベクトルが互いに直交するという制約であってもよい。互いに直交するように３つの基準ベクトルを設定することで、妥当な変換結果（３チャネル画像）が得られると期待できるからである。

　本発明の第二側面は、Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、設定する基準ベクトル設定手段と、前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換する変換手段と、を有し、前記基準ベクトル設定手段は、１つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、Ｎ次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記３つの基準ベクトルを求めることを特徴とする画像処理装置を提供する。

　この構成によれば、複数のサンプル画素から自動決定された３つの基準ベクトルに従って、マルチスペクトル画像が３チャネル画像に変換される。この方法により、サンプルで与えられたマルチスペクトル画像が含む特徴的な画像情報を抽出ないし強調するのに適した基準ベクトルを自動で設定することが可能である。なお、サンプルとして与える画像又は画素を適宜変更することにより、特性の異なる複数組の基準ベクトルを設定してもよい。そして、３チャネル画像の用途や３チャネル画像に施す処理の内容に応じて、変換に利用する基準ベクトルを変えてもよい。

　前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、主成分分析によって第１主成分、第２主成分、及び第３主成分を求め、前記第１から第３主成分を前記３つの基準ベクトルとしてもよい。これによれば、複数のサンプル画素の分布を表現するのに適した基準ベクトルが設定されるため、妥当な変換結果（３チャネル画像）が得られると期待できる。

　前記複数のサンプル画素が、２つのカテゴリに分類されるべき画素群である場合に、前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって前記２つのカテゴリの判別境界を求め、前記判別境界に直交するように１つの基準ベクトルを決定し、前記１つの基準ベクトルに直交するように他の２つの基準ベクトルを決定してもよい。このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、２つのカテゴリの画像特徴の差が強調された３チャネル画像を得ることができる。

　前記複数のサンプル画素が、３つのカテゴリに分類されるべき画素群である場合に、前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって第１のカテゴリと第２のカテゴリの判別境界、前記第２のカテゴリと第３のカテゴリの判別境界、及び前記第３のカテゴリと前記第１のカテゴリの判別境界をそれぞれ求め、その３つの判別境界のそれぞれに直交するように３つの基準ベクトルを決定してもよい。このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、３つのカテゴリの画像特徴の差が強調された３チャネル画像を得ることができる。

　前記変換手段により変換された前記３チャネル画像を、ＲＧＢ画像の形式のデータで出力する出力手段を有してもよい。これにより、変換後の３チャネル画像をＲＧＢ画像用に作られた様々なソフトウエアにて取り扱うことが可能となる。

　前記出力手段は、前記３チャネル画像の３つのチャネルのうち、最も長い波長に対応するチャネルをＲチャネル、二番目に長い波長に対応するチャネルをＧチャネル、最も短い波長に対応するチャネルをＢチャネルに、それぞれ割り当てるとよい。これにより、変換後の３チャネル画像をＲＧＢモニタなどに表示した際に、比較的違和感の小さい色調で３チャネル画像を表示することができる。

　前記変換手段は、前記マルチスペクトル画像の各画素のスペクトル分布と各基準ベクトルとの内積を計算することにより、前記３チャネル画像の各画素の値を求めてもよい。これにより、３チャネル画像の計算が簡易となる。

　本発明の第三側面は、Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を出力可能なマルチスペクトルカメラと、前記マルチスペクトルカメラから出力されるマルチスペクトル画像を３チャネル画像に変換する画像処理装置と、を有することを特徴とする画像センサを提供する。

　本発明によれば、マルチスペクトル画像の簡便な利用を可能にすることができる。

図１は本発明の適用例を示す図である。図２は本発明を適用した画像センサの構成例を示す図である。図３は画像処理装置による変換処理の流れを示すフローチャートである。図４は基準ベクトルを用いた変換処理の具体例を模式的に示す図である。図５は基準ベクトルの設定画面の一例を示す図である。図６は基準ベクトルの感度曲線の形状を規定するパラメータの一例を示す図である。図７Ａ～図７Ｅは基準ベクトルの形状の例を示す図である。図８は基準ベクトルの設定画面の一例を示す図である。図９は基準ベクトル候補の生成例を模式的に示す図である。図１０は基準ベクトル候補の他の生成例を模式的に示す図である。図１１は基準ベクトルの連動を説明するための図である。図１２は統計的処理による基準ベクトルの自動設定方法の一例を示すフローチャートである。図１３はサンプル画素群と基準ベクトルの例を模式的に示す図である。図１４は統計的処理による基準ベクトルの自動設定方法の他の例を示すフローチャートである。図１５は２つのカテゴリの判別境界と基準ベクトルの例を模式的に示す図である。図１６は３つのカテゴリの判別境界と基準ベクトルの例を模式的に示す図である。

　＜適用例＞
　図１は、本発明の適用例の一つを模式的に示している。図１に示す画像処理装置１は、Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されているマルチスペクトル画像１０を、３つのチャネルで構成される３チャネル画像１１に変換し出力することが可能である。このような３チャネル画像１１は、元のマルチスペクトル画像１０に比べて利用が簡便である。なぜなら、３チャネル画像１１はマルチスペクトル画像１０に比べてデータサイズが小さいため、画像データの保存やハンドリングが容易であるし、３チャネル画像１１を疑似的なＲＧＢ画像として取り扱えば、ＲＧＢモニタに表示したり、ＲＧＢ画像用に作られたソフトウエアで読み込むことが可能となるからである。また、マルチスペクトル画像１０に比べて情報量が減るため、画像を用いた各種の処理（たとえば、計測、検査、分析、評価など）が高速にできる。また、チャネル数が減るので、処理に用いるパラメータの設定が簡易化されるという利点もある（たとえば、チャネルごとにパラメータを設定する必要がある場合、パラメータの数は３／Ｎになるので、単純計算で設定の手間も３／Ｎになる。）。

　ところで、従来システムにおいても、マルチスペクトル画像をＲＧＢ画像に変換する機能をもつものが知られている。しかしながら、単純なＲＧＢ変換では、上述した各種の処理（計測、検査、分析、評価など）に必要な画像特徴が失われてしまい、処理の精度を低下させる（つまり、マルチスペクトル画像の利点を生かせない）可能性がある。たとえば、検査対象物に異常が発生すると、検査対象物の反射スペクトルのうち近赤外の波長と黄色の波長の強度に変化が出現するようなケースを想定する。このような異常は、マルチスペクトル画像を用いて近赤外や黄色のバンドを監視していれば簡単に検出することができる。しかし、ＲＧＢ変換後の画像では、近赤外や黄色のバンドの情報が失われている（又は、他のバンドの特徴に埋もれてしまう）ため、異常を検出することが困難になるのである。

　これに対し、本適用例の画像処理装置１は、ユーザ１２により設定された、又は、多数のサンプル１３を用いた統計的処理によって自動で設定された、３つの基準ベクトルＶ１、Ｖ２、Ｖ３を用いて、マルチスペクトル画像１０を３チャネル画像１１に変換（次元圧縮）する、という構成を採用する。

　「基準ベクトル」は、３チャネル画像１１の各チャネルの波長特性（波長ごとの感度）を規定するものであり、具体的には、マルチスペクトル画像１０のＮ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルで表現される。ここで、「波長又はバンドに対する感度」とは、「その波長又は波長域の光の強さが３チャネル画像１１のチャネルの画素値に対して与える影響の強さ」ということもできる。概念的には、図１に示すように、基準ベクトルは、横軸に波長、縦軸に感度をとったグラフにおいて曲線で表すことができる（この曲線を「感度曲線」と称す）。この例では、基準ベクトルＶ１は、波長ａ～波長ｂの波長域に感度を有し、波長ｃの感度が最も高い、という特性をもつことがわかる。

　この構成によれば、たとえば、３チャネル画像１１を用いた後段の処理（計測、検査、分析、評価など）で使われる画像特徴が強調されるように、３つの基準ベクトルＶ１、Ｖ２、Ｖ３を設計することで、後段の処理の精度を維持ないし向上させつつ、画像のデータサイズ及び情報量の削減を図ることが可能となる。たとえば前述のケースであれば、近赤外の感度が高い基準ベクトルと黄色の波長の感度が高い基準ベクトルを用いるとよい。これにより、近赤外や黄色の強度変化が画像特徴として現れやすい３チャネル画像１１を生成することができるからである。

　なお、本明細書において、「チャネル」という用語は、色情報を表すカラーチャネルの意味で用い、αチャネルのようないわゆるマスクチャネルは含まない。したがって、３つのカラーチャネルと１つのマスクチャネルの計４つのチャネルで構成されている画像も、本明細書では、３チャネル画像と呼ぶ。

　＜第１実施形態＞
　（装置構成）
　図２は、本発明を適用した画像センサ２の構成例を示している。

　画像センサ２は、マルチスペクトルカメラ２０と画像処理装置１を備える。この画像センサ２は、たとえば工場の製造ラインなどに設置され、画像を利用したさまざまな処理に利用される装置である。画像センサ２は、視覚センサ（vision sensor）や視覚システム（vision system）などとも呼ばれる。本実施形態の画像センサ２は、撮像系（マルチスペクトルカメラ２０）と処理系（画像処理装置１）とが別体で構成されているが、撮像系と処理系とが一体となった構成を採ることもできる。

　マルチスペクトルカメラ２０は、マルチスペクトルイメージングによって被写体のマルチスペクトル画像を生成し出力することが可能な撮像装置である。本実施形態では、１６バンドのマルチスペクトルカメラ２０を用いて、１６チャネルのマルチスペクトル画像が得られる。マルチスペクトルイメージングとしては、たとえば、複数のカラーフィルタを用いる方法、照明の色を切り替える方法、回折格子などの光学素子で分光する方法など、さまざまな方法が提案されているが、いずれの方法を用いてもよい。

　画像処理装置１は、マルチスペクトルカメラ２０から取り込まれたマルチスペクトル画像を３チャネル画像に変換する処理、マルチスペクトル画像及び３チャネル画像を用いた各種処理（特徴抽出、計測、検査、分析、評価など）、ＰＬＣ（programmable logic controller）などの外部装置とのデータ通信、マルチスペクトルカメラ２０の制御などを行うデバイスである。画像処理装置１は、たとえば、プロセッサ（ＣＰＵ）、メモリ、ストレージ、通信モジュール、Ｉ／Ｏを有するコンピュータと、液晶ディスプレイなどの表示装置と、マウスやタッチパネルなどの入力装置とを有している。各種のプログラムがストレージに格納されており、画像センサ２の稼働時には、必要なプログラムがメモリにロードされ、プロセッサによって実行されることにより、画像処理装置１の処理及び機能が提供される。なお、画像処理装置１の処理及び機能のうちの少なくとも一部をＡＳＩＣやＦＰＧＡなどの回路で構成したり、分散コンピューティングやクラウドコンピューティングにより構成したりしても構わない。

　画像処理装置１は、図２に示すように、画像入力部２１、基準ベクトル設定部２２、変換部２３、出力部２４、記憶部２５を有する。画像入力部２１、基準ベクトル設定部２２、変換部２３、及び出力部２４は、プロセッサがプログラムを実行することによって提供される機能であり、記憶部２５は、不揮発性のメモリ又はストレージにより提供される。

　（変換処理）
　図３に、画像処理装置１による変換処理の流れを示す。

　ステップＳ３０において、画像入力部２１がマルチスペクトルカメラ２０からマルチスペクトル画像を入力する。入力された画像データは変換部２３に渡されるか、記憶部２５に格納される。なお、画像の入力ソースはマルチスペクトルカメラ２０に限られず、内部又は外部の記憶装置から画像を読み込んだり、外部のコンピュータからネットワークを介して画像を取り込んだりしてもよい。

　ステップＳ３１において、基準ベクトル設定部２２が３つの基準ベクトルの設定を行う。設定された基準ベクトルの情報は記憶部２５に格納される。基準ベクトルの設定方法は、大きく分けて、ユーザが手動で設定する方法と、機械（基準ベクトル設定部２２）が自動で設定する方法とがある。設定方法の詳細は後述する。

　ステップＳ３２において、変換部２３が、３つの基準ベクトルを用いてマルチスペクトル画像を３チャネル画像に変換する。図４にステップＳ３２の処理の具体例を示す。図４に示すように、マルチスペクトル画像の一画素は１６バンドのスペクトル分布Ｐ（λ）で表される。横軸は波長（バンド）λであり、縦軸は光の強度である。ここで、スペクトル分布Ｐ（λ）は、各バンドでの光の強度を要素にもつ１６次元ベクトルとして扱うことができる。他方、基準ベクトルＶ１（λ）、Ｖ２（λ）、Ｖ３（λ）は、各バンドに対する感度（具体的には０．０～１．０の値域をもつ係数）を要素にもつ１６次元ベクトルである。変換部２３は、各画素のスペクトル分布Ｐ（λ）と各基準ベクトルＶ１（λ）、Ｖ２（λ）、Ｖ３（λ）との内積を計算することにより、３チャネル画像の各画素の値Ｃ＝（Ｃ１，Ｃ２，Ｃ３）を求める。本明細書では、３つの基準ベクトルを用いてスペクトル分布を３つの値に変換する操作を、基準ベクトルによる分解（separation）又は色分解（color separation）と呼ぶ。変換後の３チャネル画像のデータは、出力部２４に渡されるか、記憶部２５に格納される。

　ステップＳ３３において、出力部２４が、ステップＳ３２で得られた３チャネル画像を、ＲＧＢ画像の形式のデータに変換し、外部装置やＲＧＢモニタに出力する。具体的な画像形式は何でもよく、たとえば、ＴＩＦＦ、ＪＰＥＧ（ＪＦＩＦ）、ＢＭＰ、ＰＮＧ、ＧＩＦなどを例示することができる。

　このとき、出力部２４は、３チャネル画像の３つのチャネルのうち、最も長い波長に対応するチャネルをＲチャネル、二番目に長い波長に対応するチャネルをＧチャネル、最も短い波長に対応するチャネルをＢチャネルに、それぞれ割り当てるとよい。チャネルに対応する波長は、たとえば、当該チャネルの値を計算するために用いた基準ベクトルの中心波長又は平均波長などと定義すればよい。図４の例であれば、基準ベクトルＶ３（λ）により計算されたチャネルがＲチャネル、基準ベクトルＶ２（λ）により計算されたチャネルがＧチャネル、基準ベクトルＶ１（λ）により計算されたチャネルがＢチャネルとなる。各基準ベクトルＶ１（λ）～Ｖ３（λ）はＲＧＢの波長とは無関係に設定され得るものであるため、変換後の３チャネル画像は被写体の実際の色を再現するものではない。とはいえ、その３チャネル画像をＲＧＢモニタに表示したり、ＲＧＢ画像用に作成された画像処理ソフト上で表示したときに、実際の被写体と色相や色調が大きくかけ離れた画像が現れると、ユーザが違和感を抱いたり、画像を誤認したりする可能性がある。そこで、出力部２４は、３チャネル画像の各チャネルに対し、上記のようなルールでＲＧＢを割り当てる。これにより、３チャネル画像をＲＧＢモニタなどに表示した際に、比較的違和感の小さい色相や色調の表示画像が得られるようになる。

　（基準ベクトルの設定方法）
　次に、基準ベクトル設定部２２による基準ベクトルの設定方法の具体例を説明する。

　（１）ユーザによる設定
　図５に、基準ベクトルの設定画面の一例を示す。この設定画面は、画像リスト欄５０、参考画像表示欄５１、基準ベクトルパラメータ入力欄５２、基準ベクトル確認欄５３を含んでいる。

　画像リスト欄５０には、記憶部２５に格納されているマルチスペクトル画像の一覧がサムネイル表示されている。すべての画像を一度に表示しきれない場合には、リストの左右にあるスクロールボタンを押すことで、表示するサムネイルを順繰りに変更することができる。ユーザは、画像リスト欄５０のなかから、基準ベクトルを設定する際に参考にする画像（「参考画像」と呼ぶ）を１つ又は２つ選択することができる。図５の例は、太枠で強調表示された２つの画像が参考画像として選択された状態を示す。

　参考画像表示欄５１は、ユーザにより選択された参考画像を表示するエリアである。ユーザは、ポインティングデバイスなどを用いて、参考画像内の任意の点を指定することで、サンプル画素を選択することができる。図５において、参考画像表示欄５１内のカーソル５１０、５１１は各参考画像から選択されたサンプル画素を示している。

　ユーザによりサンプル画素が選択されると、そのサンプル画素のスペクトル分布が基準ベクトル確認欄５３に表示される。基準ベクトル確認欄５３では、参考画像１のサンプル画素のスペクトル分布（白色の棒グラフ）と、参考画像２のサンプル画素のスペクトル分布（ハッチングの棒グラフ）とが、透過的に重ね合せて描画される。このグラフをみることで、ユーザは２つのサンプル画素のスペクトル分布を比較し、その一致点・相違点を容易に把握することができる。

　また、基準ベクトル確認欄５３では、３つの基準ベクトルＶ１～Ｖ３の感度曲線が、サンプル画素のスペクトル分布上に重畳表示されている。ユーザは、ポインティングデバイスなどを用いたドラッグ操作により、基準ベクトル確認欄５３における感度曲線の形状を変形するか、又は、キーボードなどを用いて基準ベクトルパラメータ入力欄５２にパラメータを入力することにより、基準ベクトルＶ１～Ｖ３それぞれの特性を自由に設計することができる。

　図６は、基準ベクトルの感度曲線の形状を規定するパラメータの一例を示す。本実施形態では、感度曲線をガウス分布により表現し、分布の平均ｕ、分布の高さｈ、分布の広がりｗの３つのパラメータにより感度曲線の形状を指定できるようにする。ドラッグ操作の場合は、３つのカーソル６０、６１、６２のいずれかを選択し左右又は上下に移動させることで、感度曲線全体の左右の移動、感度曲線の頂点の上下の移動、分布の広がり（標準偏差）の調整を行うことができる。パラメータ入力の場合は、テキストボックスにｕ、ｈ、ｗの値を入力することで、感度曲線の形状を変更することができる。なお、基準ベクトル確認欄５３と基準ベクトルパラメータ入力欄５２とは連動しており、一方で入力された内容は他方にも反映されるようになっている。

　本実施形態では感度曲線をガウス分布で表現したが、感度曲線の形状はこれに限られない。図７Ａのような三角形状の感度曲線を用いてもよいし、図７Ｂのような台形状の感度曲線を用いてもよいし、図７Ｃのような矩形状の感度曲線を用いてもよいし、図７Ｄのような半円状の感度曲線を用いてもよい。ガウス分布及び図７Ａ～図７Ｄのように、左右対称な形状の分布曲線を用いることにより、ユーザは少ないパラメータ（たとえば、平均ｕ、高さｈ、広がりｗの３つのパラメータ）で所望の形状の基準ベクトルを設定できるため、ユーザビリティの向上が図られる。ただし、左右対称な形状ではない感度曲線により基準ベクトルを設定しても構わない。たとえば図７Ｅのように双峰曲線を用いたり、自由曲線を用いたりしてもよい。

　以上のようなユーザインタフェースによれば、ユーザは所望の形状をもつ３つの基準ベクトルを簡単に設定することができる。また、参考画像のサンプル画素のスペクトル分布を参考にしながら基準ベクトルを設定することができるため、参考画像やそれに類する画像を分解するのに適した基準ベクトルを設定するのが容易になる。

　たとえば、基準ベクトル確認欄５３を見ながら、２つのスペクトル分布の間の相違が大きい波長を包含するように基準ベクトルを設定すれば、参考画像１と参考画像２の間の弁別に適した３チャネル画像への変換が可能となる。具体例を挙げると、良品の参考画像と不良品の参考画像のそれぞれからサンプル画素をピックアップすれば、物品の良否判定に適した３チャネル画像を得ることができる。また、Ａランク品の参考画像とＢランク品の参考画像のそれぞれからサンプル画素をピックアップすれば、物品の等級分けに適した３チャネル画像を得ることができる。

　なお、図５では、異なる２つの参考画像からそれぞれサンプル画素をピックアップする例を示したが、これに限られない。１つの参考画像から複数のサンプル画素をピックアップしてもよい。たとえば、画像中の被写体エリアと背景エリアのそれぞれからサンプル画素をピックアップすれば、被写体（前景）と背景のセグメンテーションが容易な３チャネル画像を得ることができる。また、３つ以上のサンプル画素をピックアップし、基準ベクトル確認欄５３で３つ以上のスペクトル分布を比較できるようにしてもよい。

　図８に示すように、単一の画素ではなく、参考画像内のエリア（複数の画素）をサンプル画素として指定できるようにしてもよい。その場合は、複数の画素のスペクトル分布を平均した平均スペクトル分布を基準ベクトル確認欄５３に表示するとよい。このとき、スペクトル強度のばらつきを示すエラーバーを付した棒グラフで平均スペクトル分布を表示してもよい。

　（２）基準ベクトルのレコメンド（その１）
　基準ベクトル設定部２２は、サンプル画素のスペクトル分布に基づいて基準ベクトルの候補を自動で作成し、その基準ベクトル候補をユーザにレコメンドしてもよい。

　図９は、基準ベクトル候補の生成例の一つを示している。基準ベクトル設定部２２は、参考画像１から得られたサンプル画素１のスペクトル分布と、参考画像２から得られたサンプル画素２のスペクトル分布との間で、波長（バンド）ごとのスペクトル強度の差（絶対値）を計算する。そして、基準ベクトル設定部２２は、差が大きい３つの波長を抽出し（図９の中段の黒色で示した箇所）、その抽出された３つの波長に合わせて３つの基準ベクトル候補を作成する（図９の下段）。たとえば、基準ベクトル設定部２２は、予め決められた形状（デフォルト形状）の感度曲線を、抽出された３つの波長の位置に配置するだけでもよいし、図９の中段に示す差の大きさや差の分布の広がりに応じて感度曲線の高さや幅を調整してもよい。

　このようなレコメンド機能によれば、３チャネル画像に変換したときに２つのサンプル画素の差が強調されるような基準ベクトル候補が自動で計算され、ユーザにレコメンドされる。ユーザは、これらの基準ベクトル候補をそのまま採用してもよいし、これらの基準ベクトル候補の形状を微調整することにより最終的な基準ベクトルを設定することもできる。したがって、妥当な基準ベクトルを簡便に設定することができ、ユーザビリティの向上が図られる。

　（３）基準ベクトルのレコメンド（その２）
　図１０は、基準ベクトル候補の他の生成例を示している。基準ベクトル設定部２２は、まず基準ベクトル候補の初期値を設定する（たとえば、図９に示した方法で得られた基準ベクトル候補を初期値としてもよい）。次に、基準ベクトル設定部２２は、サンプル画素１のスペクトル分布とサンプル画素２のスペクトル分布をそれぞれ基準ベクトル候補により変換し、３チャネル画像の画素Ｐ１、Ｐ２の値を計算する。画素Ｐ１、Ｐ２は、チャネルＣ１、Ｃ２、Ｃ３それぞれの値を要素にもつ３次元ベクトルである。次に、基準ベクトル設定部２２は、画素Ｐ１とＰ２の差の絶対値（つまり３次元空間上での距離）を計算し、評価する。そして、基準ベクトル設定部２２は、基準ベクトル候補を更新しながら、上述した処理を繰り返し、画素Ｐ１とＰ２の間の距離を最大化する基準ベクトル候補を求める。

　なお、基準ベクトル候補の探索アルゴリズムはどのように設計してもよい。また、厳密な最大化を行う必要はなく、予め設定した回数の探索を行った中で距離が最大となった基準ベクトル候補を採用してもよいし、所定の評価関数を満足する基準ベクトル候補が発見されたら探索処理をストップしてもよい。また、図１０では、２つの画素の間の距離を評価しているが、図８のようにサンプル画素１、２がそれぞれ画素群から構成される場合には、２つの画素群の間の距離を評価してもよい。画素群同士の距離は、たとえばマハラノビス距離などで評価することができる。

　（４）基準ベクトルの連動（その１）
　基準ベクトル設定部２２は、３つの基準ベクトルが所定の制約を満たすように、３つの基準ベクトルの形状を連動させてもよい。たとえば、「３つの基準ベクトルが互いに直交する」という制約の下、いずれかの基準ベクトルの形状がユーザにより変更された場合には、基準ベクトル設定部２２は、下記式を満足するように、他の２つの基準ベクトルを変形させる（「・」はベクトルの内積）。

　　Ｖ１・Ｖ２＝０
　　Ｖ２・Ｖ３＝０
　　Ｖ３・Ｖ１＝０

　このように互いに直交するように３つの基準ベクトルを設定することで、スペクトル分布を適切に分解し、妥当な変換結果（３チャネル画像）が得られると期待できる。

　（５）基準ベクトルの連動（その２）
　図１１に、基準ベクトルの連動の別の例を示す。ここでは、基準ベクトルＶ１～Ｖ３が矩形状の感度曲線で表現されている。図１１において、ｕ１、ｕ２、ｕ３は基準ベクトルＶ１、Ｖ２、Ｖ３の中心波長、ｗ１、ｗ２、ｗ３は基準ベクトルＶ１、Ｖ２、Ｖ３の幅、ｈ１、ｈ２、ｈ３は基準ベクトルＶ１、Ｖ２、Ｖ３の高さを示している。また、Ｐ（λ）は参照画像１からピックアップしたサンプル画素のスペクトル分布であり、Ｗはスペクトル分布Ｐ（λ）全体の幅である。

　ここで、いずれかの基準ベクトルの形状がユーザにより変更された場合には、基準ベクトル設定部２２は、下記式で表される制約を満足するように、他の２つの基準ベクトルを変形させる。

　このような制約を設けることにより、サンプル画素のスペクトル分布Ｐ（λ）全体の波形特徴を近似するように３つの基準ベクトルＶ１、Ｖ２、Ｖ３を設定することができる。したがって、スペクトル分布を適切に分解し、妥当な変換結果（３チャネル画像）が得られると期待できる。

　（６）統計的処理による基準ベクトルの自動設定（主成分分析）
　図１２は、統計的処理による基準ベクトルの自動設定方法の一例を示すフローチャートである。本例では統計的処理として主成分分析を利用する。

　ステップＳ１２０において、基準ベクトル設定部２２は統計的処理に用いるマルチスペクトル画像を取得する。本例では、変換対象のマルチスペクトル画像（図３のステップＳ３０で入力された画像）をそのまま統計的処理にも用いる。変換対象の画像から基準ベクトルを求めることにより、変換対象の画像の特徴を抽出するのに適した基準ベクトルが得られると期待できるからである。ただし、変換対象のマルチスペクトル画像以外の画像を統計的処理に用いたり、複数の画像を統計的処理に用いたりしても構わない。

　ステップＳ１２１では、基準ベクトル設定部２２は、ステップＳ１２０で取得したマルチスペクトル画像から複数のサンプル画素を抽出する。サンプル画素の数は任意であるが、統計的処理の精度を確保するため、少なくとも数十から数百の画素を抽出するとよい。あるいは、マルチスペクトル画像の全ての画素をサンプル画素として用いてもよい。図１３の上段は、抽出されたサンプル画素群の分布を模式的に示している（実際にはＮ次元空間（Ｎ＞３）の分布となるが、図示の便宜から３次元空間で表している。）。

　ステップＳ１２２では、基準ベクトル設定部２２が、Ｎ次元空間におけるサンプル画素群の分布に対し主成分分析を行い、第１主成分、第２主成分、第３主成分を求める。そして、ステップＳ１２３において、基準ベクトル設定部２２が、第１主成分、第２主成分、第３主成分をそれぞれ基準ベクトルＶ１、Ｖ２、Ｖ３に設定する。ここでは、基準ベクトルＶ１、Ｖ２、Ｖ３は単位ベクトルとする。図１３の下段に基準ベクトルの例を示す。

　この方法により、サンプル画素群の分布を表現するのに適した基準ベクトルを自動で設定することができる。この基準ベクトルを用いてマルチスペクトル画像の変換を行うことで、マルチスペクトル画像に含まれる特徴的な画像情報が抽出ないし強調された３チャネル画像を得ることができる。

　（７）統計的処理による基準ベクトルの自動設定（２カテゴリ判別）
　図１４は、統計的処理による基準ベクトルの自動設定方法の他の例を示すフローチャートである。本例では統計的処理として判別分析を利用し、良品と不良品の識別に適した３チャネル画像に変換するための基準ベクトルを生成する方法を説明する。

　ステップＳ１４０において、基準ベクトル設定部２２は統計的処理に用いるマルチスペクトル画像を取得する。たとえば、良品と不良品の画像特徴を学習する目的で予め用意された、複数の良品画像と複数の不良品画像を用いるとよい。

　ステップＳ１４１では、基準ベクトル設定部２２は、ステップＳ１４０で取得したマルチスペクトル画像から第１カテゴリに属する複数のサンプル画素を抽出する。ここでは、良品を第１カテゴリ、不良品を第２カテゴリとする。したがって、ステップＳ１４１では、複数の良品画像から第１カテゴリのサンプル画素群が抽出される。

　ステップＳ１４２では、基準ベクトル設定部２２は、ステップＳ１４０で取得したマルチスペクトル画像から第２カテゴリに属する複数のサンプル画素を抽出する。ここでは、複数の不良品画像から第２カテゴリのサンプル画素群が抽出される。図１５の上段は、抽出されたサンプル画素群の分布を模式的に示している（実際にはＮ次元空間（Ｎ＞３）の分布となるが、図示の便宜から２次元空間で表している。）。

　ステップＳ１４３では、基準ベクトル設定部２２が、Ｎ次元空間におけるサンプル画素群の分布に対し判別分析を行い、第１カテゴリと第２カテゴリの間の判別境界ＤＳを求める。判別境界ＤＳは超平面となる。そして、ステップＳ１４４において、基準ベクトル設定部２２が、判別境界ＤＳに直交するように基準ベクトルＶ１を決定し、さらに基準ベクトルＶ１に直交するように他の基準ベクトルＶ２、Ｖ３を決定する。なお、基準ベクトルＶ２とＶ３も互いに直交するように設定するとよい。図１５の下段に基準ベクトルＶ１とＶ２の設定例を模式的に示す。

　このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、２つのカテゴリの画像特徴の差（本例では良品と不良品の差）が強調された３チャネル画像を得ることができる。したがって、そのような３チャネル画像を利用することにより、簡単かつ高精度な物品検査が実現できる。

　なお、本例では、良品と不良品の識別を例に挙げたが、第１カテゴリと第２カテゴリのサンプル画素群の与え方で、様々な応用が可能である。たとえば、マルチスペクトル画像中の被写体エリアから抽出した画素群を第１カテゴリのサンプル画素群、背景エリアから抽出した画素群を第２カテゴリのサンプル画素群とすれば、被写体（前景）と背景のセグメンテーションが容易な３チャネル画像を得ることができる。また、Ａランク品の画像から第１カテゴリのサンプル画素を抽出し、Ｂランク品の画像から第２カテゴリのサンプル画素を抽出すれば、物品の等級分けに適した３チャネル画像を得ることができる。

　（８）統計的処理による基準ベクトルの自動設定（３カテゴリ判別）
　図１６は、統計的処理による基準ベクトルの自動設定方法の他の例を示す。本例では統計的処理として判別分析を利用し、３つのカテゴリの識別に適した３チャネル画像に変換するための基準ベクトルを生成する方法を説明する。

　基準ベクトル設定部２２は、たとえば、Ａランク品の画像とＢランク品の画像とＣランク品の画像から、第１カテゴリ（Ａランク品）のサンプル画素群、第２カテゴリ（Ｂランク品）のサンプル画素群、第３カテゴリ（Ｃランク品）のサンプル画素群を抽出する。図１６は、第１から第３カテゴリのサンプル画素群の分布を模式的に示している（実際にはＮ次元空間（Ｎ＞３）の分布となるが、図示の便宜から２次元空間で表している。）。

　基準ベクトル設定部２２は、Ｎ次元空間におけるサンプル画素群の分布に対し判別分析を行い、第１カテゴリと第２カテゴリの判別境界ＤＳ１、第２カテゴリと第３カテゴリの判別境界ＤＳ２、第３カテゴリと第１カテゴリの判別境界ＤＳ３を求める。判別境界ＤＳ１～ＤＳ３はいずれも超平面となる。そして、基準ベクトル設定部２２は、判別境界ＤＳ１に直交するように基準ベクトルＶ１を決定し、判別境界ＤＳ２に直交するように基準ベクトルＶ２を決定し、判別境界ＤＳ３に直交するように基準ベクトルＶ３を決定する。

　このように決定された基準ベクトルを用いてマルチスペクトル画像の変換を行うことにより、３つのカテゴリの画像特徴の差（本例ではＡ～Ｃの等級の差）が強調された３チャネル画像を得ることができる。したがって、そのような３チャネル画像を利用することにより、簡単かつ高精度な等級分けが実現できる。

　＜その他＞
　上記実施形態は、本発明の構成を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。たとえば、上記実施形態では、１６バンドのマルチスペクトル画像を用いたが、バンド数は４以上であれば何個でも構わない。また、画像処理装置１は、マルチスペクトル画像を３チャネル画像に変換せずに生データのまま保存してもよい。また、図５のユーザインタフェースはあくまで一例であり、基準ベクトルの形状を規定するパラメータを入力可能であればどのようなユーザインタフェースを用いてもよい。

　＜付記＞
　（１）Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像（１０）を入力する画像入力手段（２１）と、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトル（Ｖ１、Ｖ２、Ｖ３）として、ユーザに設定させる基準ベクトル設定手段（２２）と、
　前記マルチスペクトル画像（１０）の各画素のスペクトル分布を前記３つの基準ベクトル（Ｖ１、Ｖ２、Ｖ３）により分解することによって、前記マルチスペクトル画像（１０）を３つのチャネルで構成される３チャネル画像（１１）に変換する変換手段（２３）と、
を有することを特徴とする画像処理装置（１）。

　（２）Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像（１０）を入力する画像入力手段（２１）と、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトル（Ｖ１、Ｖ２、Ｖ３）として、設定する基準ベクトル設定手段（２２）と、
　前記マルチスペクトル画像（１０）の各画素のスペクトル分布を前記３つの基準ベクトル（Ｖ１、Ｖ２、Ｖ３）により分解することによって、前記マルチスペクトル画像（１０）を３つのチャネルで構成される３チャネル画像（１１）に変換する変換手段（２３）と、を有し、
　前記基準ベクトル設定手段（２２）は、１つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、Ｎ次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記３つの基準ベクトル（Ｖ１、Ｖ２、Ｖ３）を求める
ことを特徴とする画像処理装置（１）。

１：画像処理装置
２：画像センサ
２０：マルチスペクトルカメラ
２１：画像入力部
２２：基準ベクトル設定部
２３：変換部
２４：出力部
２５：記憶部

Claims

　Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、ユーザに設定させる基準ベクトル設定手段と、
　前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換する変換手段と、
を有することを特徴とする画像処理装置。
　前記基準ベクトル設定手段は、前記基準ベクトルを、横軸に波長、縦軸に感度をとったグラフにおいて、波長ごとの感度を表す感度曲線で表示し、前記感度曲線の形状を規定するパラメータをユーザに入力させる
ことを特徴とする請求項１に記載の画像処理装置。
　前記基準ベクトル設定手段は、前記感度曲線を左右対称な分布曲線で表示するものであり、
　前記感度曲線の形状を規定するパラメータは、分布の平均、分布の高さ、分布の広がりを含む
ことを特徴とする請求項２に記載の画像処理装置。
　前記基準ベクトル設定手段は、第１の画素のスペクトル分布と第２の画素のスペクトル分布を比較可能な態様で表示した画面上に、３つの基準ベクトルを重畳表示する
ことを特徴とする請求項２又は３に記載の画像処理装置。
　前記基準ベクトル設定手段は、前記第１の画素のスペクトル分布と前記第２の画素のスペクトル分布の間の相違が大きい３つの波長を抽出し、抽出された３つの波長に合わせて３つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドする
ことを特徴とする請求項４に記載の画像処理装置。
　前記基準ベクトル設定手段は、前記第１の画素のスペクトル分布を３つの基準ベクトルにより分解することで得られる変換後の画素の値と、前記第２の画素のスペクトル分布を３つの基準ベクトルにより分解することで得られる変換後の画素の値との差が最大になるように、３つの基準ベクトルの候補を作成し、前記候補をユーザにレコメンドする
ことを特徴とする請求項４に記載の画像処理装置。
　前記基準ベクトル設定手段は、３つの基準ベクトルのうちのいずれかの基準ベクトルがユーザにより変更されたことに応じて、３つの基準ベクトルが所定の制約を満たすように、変更された基準ベクトル以外の基準ベクトルを自動的に変更する
ことを特徴とする請求項１～６のうちいずれか１項に記載の画像処理装置。
　前記所定の制約は、３つの基準ベクトルが互いに直交するという制約である
ことを特徴とする請求項７に記載の画像処理装置。
　Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力する画像入力手段と、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、設定する基準ベクトル設定手段と、
　前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換する変換手段と、を有し、
　前記基準ベクトル設定手段は、１つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、Ｎ次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記３つの基準ベクトルを求める
ことを特徴とする画像処理装置。
　前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、主成分分析によって第１主成分、第２主成分、及び第３主成分を求め、前記第１から第３主成分を前記３つの基準ベクトルとする
ことを特徴とする請求項９に記載の画像処理装置。
　前記複数のサンプル画素が、２つのカテゴリに分類されるべき画素群である場合に、
　前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって前記２つのカテゴリの判別境界を求め、前記判別境界に直交するように１つの基準ベクトルを決定し、前記１つの基準ベクトルに直交するように他の２つの基準ベクトルを決定する
ことを特徴とする請求項９に記載の画像処理装置。
　前記複数のサンプル画素が、３つのカテゴリに分類されるべき画素群である場合に、
　前記基準ベクトル設定手段は、前記Ｎ次元空間における前記複数のサンプル画素の分布に基づき、判別分析によって第１のカテゴリと第２のカテゴリの判別境界、前記第２のカテゴリと第３のカテゴリの判別境界、及び前記第３のカテゴリと前記第１のカテゴリの判別境界をそれぞれ求め、その３つの判別境界のそれぞれに直交するように３つの基準ベクトルを決定する
ことを特徴とする請求項９に記載の画像処理装置。
　前記変換手段により変換された前記３チャネル画像を、ＲＧＢ画像の形式のデータで出力する出力手段を有する
ことを特徴とする請求項１～１２のうちいずれか１項に記載の画像処理装置。
　前記出力手段は、前記３チャネル画像の３つのチャネルのうち、最も長い波長に対応するチャネルをＲチャネル、二番目に長い波長に対応するチャネルをＧチャネル、最も短い波長に対応するチャネルをＢチャネルに、それぞれ割り当てる
ことを特徴とする請求項１３に記載の画像処理装置。
　前記変換手段は、前記マルチスペクトル画像の各画素のスペクトル分布と各基準ベクトルとの内積を計算することにより、前記３チャネル画像の各画素の値を求める
ことを特徴とする請求項１～１４のうちいずれか１項に記載の画像処理装置。
　Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を出力可能なマルチスペクトルカメラと、
　前記マルチスペクトルカメラから出力されるマルチスペクトル画像を３チャネル画像に変換する、請求項１～１５のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする画像センサ。
　Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力するステップと、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、ユーザに設定させるステップと、
　前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換するステップと、
を有することを特徴とする画像処理方法。
　Ｎ個（Ｎは４以上の整数）のバンドに対応するＮ個のチャネルで構成されるマルチスペクトル画像を入力するステップと、
　Ｎ個のバンドのそれぞれに対する感度を要素としてもつＮ次元ベクトルを３種類、３つの基準ベクトルとして、設定するステップと、
　前記マルチスペクトル画像の各画素のスペクトル分布を前記３つの基準ベクトルにより分解することによって、前記マルチスペクトル画像を３つのチャネルで構成される３チャネル画像に変換するステップと、を有し、
　前記基準ベクトルを設定するステップでは、１つ以上のマルチスペクトル画像から複数のサンプル画素を抽出し、Ｎ次元空間における前記複数のサンプル画素の分布に基づき統計的処理によって前記３つの基準ベクトルを求める
ことを特徴とする画像処理方法。
　請求項１７又は１８に記載の画像処理方法の各ステップをプロセッサに実行させるためのプログラム。