JP6884043B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP6884043B2 JP6884043B2 JP2017114104A JP2017114104A JP6884043B2 JP 6884043 B2 JP6884043 B2 JP 6884043B2 JP 2017114104 A JP2017114104 A JP 2017114104A JP 2017114104 A JP2017114104 A JP 2017114104A JP 6884043 B2 JP6884043 B2 JP 6884043B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength range
- wavelength
- information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 42
- 238000012545 processing Methods 0.000 description 35
- 241000220223 Fragaria Species 0.000 description 18
- 235000016623 Fragaria vesca Nutrition 0.000 description 11
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 11
- 239000003086 colorant Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000004075 alteration Effects 0.000 description 7
- 238000003306 harvesting Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 235000021012 strawberries Nutrition 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
例えば、特許文献1は、画像処理技術を利用して、高設栽培設備における目標の果実、例えばイチゴを傷つけることなく収穫できる果実収穫ロボットを提案する。
また、特許文献2は、イチゴの品質のばらつきや評価ミス・評価漏れを回避して、自動でかつ高精度にイチゴの品質を測定する装置を提案する。
また、特許文献3は、果実を精度よく認識するのに好適な情報処理装置を提案する。
さらに、特許文献4は、農産物の変質または変質の予兆の有無を高い確率で評価する画像解析装置を提案する。
例えば、特許文献1は、イチゴの赤色と白色の画像から着色率を判別して収穫の是非の判断をする。また、特許文献2は、イチゴの赤色(着色)部分とピンク色(中間着色)部分のそれぞれがイチゴ全体に占める割合や位置を高精度に特定する。これらは、農産物の成長が本来有する可視光域の色を判断要素とする。
一方で、特許文献4は、紫外光が照射された農産物を撮影した蛍光画像の各画素における色相値および彩度値を算出し、算出された蛍光画像の各画素における色相値および彩度値に基づいて、農産物の変質または変質の予兆の有無を評価する。つまり、特許文献4は、可視光域外(非可視光)の電磁波に基づいて農産物の品質を判断する。
本発明における所定のフォーマットは、ヘッダ領域とデータ領域を備え、ヘッダ領域は、波長の下限値と上限値からなる波長域情報と、波長域情報の登録数情報と、を含み、データ領域は、波長域情報及び登録数情報に従ったデータを含む、ことを特徴とする。
具体的には、複数の波長域情報のそれぞれは、可視光域から選択される波長の下限値と上限値とすることができるし、非可視光域から選択される波長の下限値と上限値とすることができる。
また、非可視光域においては、赤外線の波長域を複数、例えば2つに区分して、区分されたそれぞれの波長域を画像データとして含むことができる。非可視光域としては、赤外線に限るものでなく、紫外線を対象とすることができる。
また、本発明は、可視光域と非可視光域を組み合わせて複数の波長域情報とすることもできる。例えば、XYZ表色系に対応するX,Y,Zのそれぞれの波長域と赤外線の波長域の情報を画像データとして含むことができる。
この画像表示部は、波長域情報から選択される特定の波長に対応する画像を表示する、ことができる。
また、この画像表示部は、複数の波長域情報のそれぞれに対応する複数の画像を並べて表示させるか、または、重ねて表示させる、こともできる。
本発明において、可視光域の画像を表示させる場合、XYZ表色系に基づくことが好ましい。
本実施形態に係る情報処理装置1は、複数の異なる波長域の光に基づいて画像データを生成する。生成される画像データは可視光域のデータと非可視光域のデータを含む。また、可視光域の画像データは、XYZ表色系に基づいており、可視光については人の色域に等しい色域をもつ画像を表示させることができる。
以下、情報処理装置1の構成を説明した後に、情報処理装置1で扱われる画像データのフォーマットを説明する。
記憶部13は、画像データを蓄積することにより、後に利用できるようにする。評価部14は閾値となる画像データと新たに生成された画像データとを比較することにより、新たに生成された画像データの適否を評価するのに用いることができる。また、入力部15は、情報処理装置1に対する処理を指示したり、波長域情報を入力したりする部位であり、キーボードを用いることができる。
ヘッダ領域Hは、図2に示すように、画像サイズH1、画像幅H2、波長域情報の登録数情報H3、波長の下限値(波長min.)H4、波長の上限値(波長max.)H5及びビット長H6を含む。
画像サイズH1は、横の画素(ピクセル)の数と縦の画素(ピクセル)の数の積として表される。
図3(a)は、波長域情報の登録数が「2」の例を示しており、登録されている2つの波長域情報は、♯1と♯2である。なお、波長の単位はnmであるが、図3(a),(b)は単位の記載が省略されている。
具体的な説明は省くが、♯1と♯2はそれぞれ可視光の緑、赤の中の特定の波長域を示しており、♯3は紫外線の中の特定の波長域を示している。
生成部12は、取得部11を介して画像データを取得すると、記憶部13に記憶されている波長域情報の登録数と波長域情報を参照して、画像データを生成する。
このビット長H6と画像サイズH1及び波長域情報の登録数の積により、当該画像データの量が特定される。
次に、データ領域Dについて図2を参照して説明する。
データ領域Dは、撮影された画像の画素の単位で構成される。図2の例は、画素が1番目からn番目まであり、1番目の画素における画像データが「データ♯1」として示され、2番目の画素における画像データが「データ♯2」として示され、最後のn番目の画素における画像データが「データ♯n」として示されている。
ここで、情報処理装置1は、一例として可視光と近赤外線を処理の対象にしており、かつ、可視光はXYZ表色系に基づいて表現される。図2における「Xn」、「Yn」及び「Zn」は、XYZ表色系におけるX軸、Y軸及びZ軸における強度を特定する。また、「IRn」は、近赤外線の強度を示している。
図7に、xy色度図αの外形とR(赤),G(緑),B(青)の三原色を頂点にしたカラートライアングルβの外形を重ねて示す。馬蹄形のxy色度図αの方が三原色を頂点にしたカラートライアングルβよりも表現できる色の範囲が広い。したがって、XYZカメラを用いて画像を生成することにより、RGB表色系では表現しきれない色を含む画像を得ることができる。なお、図7は色を除いて示してある。
XYZカメラ3Aは、可視光域について国際照明委員会(CIE)によるXYZ表色系で規定された等色関数に対応する。
XYZカメラ3Aは、図4に示すように、物体からの分光情報を取得する画像取得部20と、画像取得部20により取得された分光情報に基づいて、前述したファイルフォーマットに従った画像データを出力する情報処理部30と、を備える。
プリズム23Rと撮像素子25R、プリズム23Gと撮像素子25G、プリズム23Bと撮像素子25Bの3つの光学系のそれぞれの分光感度がX,Y,Z等色関数に対応する。
撮像素子には、例えばCCD(Charge-Coupled Device:電荷結合素子)、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)を用いることができる。
プリズム23Gは、図4に示すように、レンズ22を通過した光線の中からG(緑)の光を抽出し、他の光線から分光する。
プリズム23Bは、図4に示すように、レンズ22を通過した光線の中からB(青)の光を抽出し、他の光線から分光する。
プリズム23IRは、図4に示すように、レンズ22を通過した光線の中から近赤外線(IR)を抽出し、他の光線から分離する。
プリズム23Gで分けられたG(緑)の光線は撮像素子25Gに照射され、G(緑)の光線に対応する強度の電気信号となって、第一信号処理部31に出力される。
プリズム23Bで分けられたB(青)の光線は撮像素子25Bに照射され、B(青)の光線に対応する強度の電気信号となって、第一信号処理部31に出力される。
プリズム23Bで分けられた近赤外線(IR)の光線は撮像素子25IRに照射され、近赤外線(IR)の光線に対応する強度の電気信号となって、第二信号処理部33に出力される。
第一信号処理部31は、以上の処理を行って生成したXYZ信号S1を画像フォーマット生成部35に向けて出力する。なお、第一信号処理部31が行う処理のそれぞれは公知であるので、ここでの説明を省略する。また、以上の一連の処理は一例にすぎず、他の処理を加えたり、一部の処理を省いたりすることができる。
第二信号処理部33は、以上の処理を行って生成した近赤外線信号S2を画像フォーマット生成部35に向けて出力する。なお、また、以上の一連の処理は一例にすぎず、他の処理を加えたり、一部の処理を省いたりすることができる。
画像フォーマット生成部35には、予め波長域情報と波長域情報の登録数からなる波長データが設定される。波長データは、固定値とすることもできるし、用途に応じて設定を変更することもできる。
生成された画像データは画像表示部4に向けて出力され、画像表示部4に所定の画像が表示される。画像表示部4としては、例えばLCD(Liquid Crystal Display:液晶ディスプレイ)を用いることができる。
XYZカメラ3Aを用いて被写体であるイチゴを検査することを想定する。
イチゴは果肉が弱く損傷し易いことが知られているが、この損傷が生じた初期の軽微な段階には肉眼では損傷を確認することは難しい。ところが、非特許文献1に記載されるように、近赤外線を使用することで、人間の目で確認できない、イチゴの軽微な損傷を検出することができる。図8(a)は、近赤外線カメラを用いて取得したイチゴの画像を示すが、損傷している部位を円で囲っている。なお、図8(b)は損傷が生じていないイチゴを近赤外線カメラで撮影した画像である。
ところが、XYZカメラ3Aは人の目と等価な感度を有するので、本来の色の差も人の目と同じように見分けることができる。
以上で説明したXYZカメラ3Aは、カメラの筐体内に画像フォーマット生成部35を備えているが、本発明はこれに限らず、画像フォーマット生成部35をカメラの外部に設けることもできる。
つまり、図5に示すXYZカメラ3Bのように、画像フォーマット生成部35を外部に設けるとともに、XYZカメラ3Bは1系統の信号処理部34を備える。信号処理部34は、撮像素子25RからのR(赤)に対応する電気信号、撮像素子25GからのG(緑)に対応する電気信号、撮像素子25BからのB(青)に対応する強度の電気信号、及び、撮像素子25Aからの近赤外線(IR)に対応する電気信号を受ける。そして、信号処理部34は、第一信号処理部31と第二信号処理部33と同様の処理を施して、画像フォーマット生成部35に処理された画像信号を送る。
画像フォーマット生成部35は、図2に示すフォーマットに従った画像データを生成するとともに画像表示部4に向けて出力する。
形態1:任意の一つの波長のデータを選択して、このデータに基づく画像を画像表示部4に全画面表示させることができる。例えば近赤外線に該当する一つの波長のデータを選択して、図8(a)に示すイチゴの画像を全画面表示させる。
例えば近赤外線に該当する一つの波長のデータを選択するとともに、赤に該当する一つの波長のデータを選択して、図8(a)と図8(b)に示す二つのイチゴの画像を並べて表示させる。
例えば近赤外線に該当する一つの波長のデータを選択するとともに、赤に該当する一つの波長のデータを選択して、図8(a)と図8(b)に示す二つのイチゴの画像を重ねて表示させる。
以上説明したように、本実施形態の情報処理装置1は、画像データのフォーマットに波長域情報を含むので、評価したい波長域が予め特定された画像データを煩雑な処理を行うことなく生成できる。したがって、情報処理装置1によれば農産物を検査、収穫する作業を迅速に行うことができる。
また、情報処理装置1は、波長域の設定を変更できるので、用途に応じた適切な波長域情報を画像フォーマット生成部35に設定することにより、必要な波長域の画像だけを表示させることができるしたがって、情報処理装置1によれば、農産物の検査、収穫の作業を適切にかつ迅速に行うことができる。
例えば、以上説明したヘッダ領域Hにおける波長の下限値(波長min.)H4と波長の上限値(波長max.)H5は、異なる値であることが一般的ではあるが、下限値(波長min.)H4と上限値(波長max.)H5が一致してもよい。
また、本発明は、可視光域と非可視光域のそれぞれから波長域情報を含むことができるが、可視光域については、XYZ表色系に基づく3つの波長域情報を特定し、非可視光域については赤外線を全域(800〜1400nm)として特定してもよいし、上記のように区分して特定してもよい。非可視光域については、赤外線に限らず、紫外線の領域の波長域情報を含むことができる。
2 撮影部
3A,3B,3C カメラ
4 表示部
11 取得部
12 生成部
13 記憶部
14 評価部
15 入力部
20 画像取得部
21 鏡筒
22 レンズ
23R,23G,23B,23IR プリズム
25R,25G,25B,25IR 撮像素子
30 情報処理部
31 第一信号処理部
33 第二信号処理部
34 信号処理部
35 画像フォーマット生成部
F フレーム
H ヘッダ領域
D データ領域
H1 画像サイズ
H2 画像幅
H3 登録数情報
S1 XYZ信号
S2 近赤外線信号
Claims (8)
- 撮影された画像を取得する取得部と、
前記取得部で取得した前記画像から所定のフォーマットの画像データを生成する画像フォーマット生成部と、を備え、
所定の前記フォーマットは、
ヘッダ領域とデータ領域を備え、
前記ヘッダ領域は、
波長の下限値と上限値からなる波長域情報と、前記波長域情報の登録数情報と、を含み、
前記データ領域は、
前記波長域情報及び前記登録数情報に従ったデータを含む、
ことを特徴とする情報処理装置。 - 前記波長域情報及び前記登録数情報は、前記画像フォーマット生成部に設定される、
請求項1に記載の情報処理装置。 - 前記フォーマットによる前記画像データは、
可視光域及び非可視光域の一方又は双方から選択される複数の前記波長域情報を含む、
請求項2に記載の情報処理装置。 - 複数の前記波長域情報のそれぞれは、前記可視光域から選択される波長の下限値と上限値からなる、
請求項3に記載の情報処理装置。 - 複数の前記波長域情報のそれぞれは、前記非可視光域から選択される波長の下限値と上限値からなる、
請求項3又は請求項4に記載の情報処理装置。 - 前記フォーマットによる前記画像データに基づいて画像を表示する画像表示部を備え、
前記画像表示部は、
前記波長域情報から選択される特定の波長に対応する画像を表示する、
請求項1又は請求項2に記載の情報処理装置。 - 前記フォーマットによる前記画像データに基づいて画像を表示する画像表示部を備え、
前記画像表示部は、
複数の前記波長域情報のそれぞれに対応する複数の前記画像を並べて表示させるか、または、重ねて表示させる、
請求項4又は請求項5に記載の情報処理装置。 - 前記可視光域の前記画像は、XYZ表色系に基づいて表示される、
請求項3又は請求項4に記載の情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114104A JP6884043B2 (ja) | 2017-06-09 | 2017-06-09 | 情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114104A JP6884043B2 (ja) | 2017-06-09 | 2017-06-09 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205265A JP2018205265A (ja) | 2018-12-27 |
JP6884043B2 true JP6884043B2 (ja) | 2021-06-09 |
Family
ID=64957006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017114104A Active JP6884043B2 (ja) | 2017-06-09 | 2017-06-09 | 情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6884043B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115553A (ja) * | 1998-09-30 | 2000-04-21 | Mitsubishi Electric Corp | 画像処理装置および画像データ構成方法 |
US20040064299A1 (en) * | 2001-08-10 | 2004-04-01 | Howard Mark | Automated system and method for spectroscopic analysis |
JP2009204408A (ja) * | 2008-02-27 | 2009-09-10 | Nikon Corp | 分光検出装置及びレーザ走査顕微鏡システム |
JP5137893B2 (ja) * | 2009-04-14 | 2013-02-06 | 三菱電機株式会社 | 画像処理装置 |
JP5346907B2 (ja) * | 2010-11-15 | 2013-11-20 | 富士フイルム株式会社 | 医療用画像記録再生装置、及びプログラム |
-
2017
- 2017-06-09 JP JP2017114104A patent/JP6884043B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018205265A (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107137053B (zh) | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 | |
EP3136339B1 (en) | Edge enhancement for thermal-visible combined images and cameras | |
JP6974397B2 (ja) | 測定装置 | |
EP3404401B1 (en) | Optical gas imaging systems and methods | |
US20080308712A1 (en) | Image capturing apparatus | |
CN107750345A (zh) | 多光谱成像仪 | |
US8976239B2 (en) | System and apparatus for color correction in transmission-microscope slides | |
JP4807412B2 (ja) | 変換マトリックス決定方法、画像処理装置、画像処理プログラム、撮像装置 | |
Soria et al. | Multispectral single-sensor RGB-NIR imaging: New challenges and opportunities | |
CN105359024B (zh) | 摄像装置和摄像方法 | |
US20200296301A1 (en) | Image processing arrangement | |
JP5375168B2 (ja) | 調整装置及び調整方法、並びに撮像装置 | |
JP2010139324A (ja) | 色ムラ測定方法、および色ムラ測定装置 | |
US8169475B2 (en) | Image processing system, imaging system, and microscope imaging system | |
US7777786B2 (en) | Method for calculating color correction | |
JP6884043B2 (ja) | 情報処理装置 | |
US11994469B2 (en) | Spectroscopic imaging apparatus and fluorescence observation apparatus | |
JP4692872B2 (ja) | 画像処理装置、及び、プログラム | |
EP3993382B1 (en) | Colour calibration of an imaging device | |
US10778948B2 (en) | Imaging apparatus and endoscope apparatus | |
Zhbanova | Design and investigation of a digital photocolorimeter | |
CN105359517B (zh) | 图像处理装置和图像处理方法 | |
Tanriverdi et al. | Hyperspectral imaging: Color reconstruction based on medical data | |
JP2005189119A (ja) | 色計測方法及び色計測装置 | |
JP2003230154A (ja) | 顕微鏡用デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |