JP7291389B2 - 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 - Google Patents
対象識別方法、情報処理装置、情報処理プログラム、および照明装置 Download PDFInfo
- Publication number
- JP7291389B2 JP7291389B2 JP2019135696A JP2019135696A JP7291389B2 JP 7291389 B2 JP7291389 B2 JP 7291389B2 JP 2019135696 A JP2019135696 A JP 2019135696A JP 2019135696 A JP2019135696 A JP 2019135696A JP 7291389 B2 JP7291389 B2 JP 7291389B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- neural network
- input
- layer
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Non-Portable Lighting Devices Or Systems Thereof (AREA)
- Image Analysis (AREA)
Description
図1は、実施形態にかかる対象識別システムの構成を示した例示的かつ模式的な図である。
上述した実施形態では、機械学習の結果を光学フィルタ300に反映する構成が例示されている。しかしながら、光学フィルタ300を利用しなくても、たとえば照明装置400による光の照射特性を適切に設定すれば、上述した実施形態と同等の結果を得ることができる。
110 学習部
111、800 ニューラルネットワーク
111a、801 第1のニューラルネットワーク
111b、802 第2のニューラルネットワーク
120 特性決定部(決定部)
200 携帯端末(情報処理装置)
201 撮像装置(第2の撮像装置)
210 画像データ取得部(取得部)
220 識別部
300 光学フィルタ(波長フィルタ)
400 照明装置
500 撮像装置(第1の撮像装置)
Claims (12)
- 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習を実行する学習ステップと、
光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付ける光学フィルタの光学特性、または、前記第2の撮像装置の撮像時に照明装置によって前記対象に照射する光の照射特性を、前記学習ステップの前記機械学習による調整を経た前記第1の重みに応じて決定する決定ステップと、
前記決定ステップにおいて決定された前記光学特性を有するように設計された前記光学フィルタが前記第2の撮像装置に取り付けられているという環境下、または、前記決定ステップにおいて決定された前記照射特性を有するように調整された光が前記照明装置によって前記対象に照射されているという環境下で前記第2の撮像装置により取得される前記第2の画像データを取得する取得ステップと、
前記取得ステップにおいて取得された前記第2の画像データを前記第2のニューラルネットワークに入力し、前記対象の識別結果の出力を取得する識別ステップと、
を備える、対象識別方法。 - 前記第1のニューラルネットワークは、前記入力層が、単一の画素についての前記第1の色チャネルの第1の画素値の入力を前記第1の画像データの入力として受け付ける前記第1の色チャネルと同数の入力ノードを有し、前記出力層が、単一の画素についての前記第2の色チャネルの第2の画素値を前記第2の画像データとして出力する前記第2の色チャネルと同数の出力ノードを有し、前記中間層が、前記第1の重みにより前記入力ノードと関連付けられるとともに前記第2の重みにより前記出力ノードと関連付けられる前記入力ノードと同数の中間ノードを有する、ように設定されている、
請求項1に記載の対象識別方法。 - 前記第1の画像データは、前記第1の撮像装置としての多波長分光カメラにより取得されるデータキューブに基づく画像データに対応し、
前記第2の画像データは、前記第2の撮像装置としてのRGBカメラにより取得される、RGB空間の三原色である赤(R)、緑(G)、および青(B)の3つの波長に対応した3つの色チャネルの画像データに対応する、
請求項1または2に記載の対象識別方法。 - 前記光学フィルタは、前記第1の重みに応じた透過率が波長ごとに設定されているという前記光学特性を有する波長フィルタである、
請求項1~3のうちいずれか1項に記載の対象識別方法。 - 前記対象は、果実と当該果実以外の他の部位とを有する植物体であり、
前記第2のニューラルネットワークにより出力される前記識別結果は、前記果実と前記他の部位との判別結果を含む、
請求項1~4のうちいずれか1項に記載の対象識別方法。 - 前記決定ステップにおいて決定された前記光学特性を有するように設計された前記光学フィルタの実際の光学特性、または、前記決定ステップにおいて決定された前記照射特性を有するように調整された光の実際の照射特性を示す値に応じた固定の重みが前記第1の重みとして設定された前記ニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第2のニューラルネットワークの構成をさらに調整するための再度の機械学習を実行する再学習ステップをさらに備え、
前記識別ステップは、前記取得ステップにおいて取得された前記第2の画像データを、前記再学習ステップによる前記再度の機械学習による調整を経た前記第2のニューラルネットワークに入力し、前記対象の識別結果の出力を取得する、
請求項1~5のうちいずれか1項に記載の対象識別方法。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習を実行する学習部と、
光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付ける光学フィルタの光学特性、または、前記第2の撮像装置の撮像時に照明装置によって前記対象に照射する光の照射特性を、前記学習部の前記機械学習による調整を経た前記第1の重みに応じて決定する決定部と、
を備える、情報処理装置。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習による調整を経た前記第1の重みに応じて決定された光学特性を有するように設計された光学フィルタが光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付けられているという環境下、または、前記機械学習による調整を経た前記第1の重みに応じて決定された照射特性を有するように調整された光が照明装置によって前記対象に照射されているという環境下で前記第2の撮像装置により取得される前記第2の画像データを取得する取得部と、
前記取得部により取得された前記第2の画像データを前記第2のニューラルネットワークに入力し、前記対象の識別結果の出力を取得する識別部と、
を備える、情報処理装置。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習を実行する学習ステップと、
光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付ける光学フィルタの光学特性、または、前記第2の撮像装置の撮像時に照明装置によって前記対象に照射する光の照射特性を、前記学習ステップの前記機械学習による調整を経た前記第1の重みに応じて決定する決定ステップと、
をコンピュータに実行させるための、情報処理プログラム。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習による調整を経た前記第1の重みに応じて決定された光学特性を有するように設計された光学フィルタが光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付けられているという環境下、または、前記機械学習による調整を経た前記第1の重みに応じて決定された照射特性を有するように調整された光が照明装置によって前記対象に照射されているという環境下で前記第2の撮像装置により取得される前記第2の画像データを取得する取得ステップと、
前記取得ステップにより取得された前記第2の画像データを前記第2のニューラルネットワークに入力し、前記対象の識別結果の出力を取得する識別ステップと、
をコンピュータに実行させるための、情報処理プログラム。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データの入力に応じて、1以上の第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて、当該第2の画像データにおいて撮像された対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、色チャネルごとに設定される第1の重みにより前記入力層と関連付けられるとともに前記第1の波長と前記第2の波長との関係性に基づいて予め決められた第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第1の重みおよび前記第2のニューラルネットワークの構成を調整するための機械学習による調整を経た前記第1の重みに応じて決定された照射特性を有するように調整された光を照射する、
照明装置。 - 光を複数の第1の波長に分光して撮像する第1の撮像装置により取得される前記第1の波長に対応した複数の第1の色チャネルの第1の画像データと、第1の重みと、前記第1の波長と当該第1の波長よりも少ない1以上の第2の波長との関係性に基づいて予め決められた第2の重みと、を乗算することで前記第1の画像データを前記第2の波長に対応し前記第1の色チャネルの数よりも少ない1以上の第2の色チャネルの第2の画像データに縮退する数式モデルに基づいて、対象に関する前記第1の画像データに応じた前記第2の画像データと、前記対象とは異なる非対象に関する前記第1の画像データに応じた前記第2の画像データと、の差異を所定レベル以上とするような前記第1の重みを算出し、当該第1の重みに応じて、光を前記第2の波長に分光して撮像することで前記第2の画像データを取得する第2の撮像装置に取り付ける光学フィルタの光学特性、または、前記第2の撮像装置の撮像時に照明装置によって前記対象に照射する光の照射特性を決定する決定ステップと、
前記第1の画像データの入力に応じて前記第2の画像データを出力する第1のニューラルネットワークと、前記第2の画像データの入力に応じて当該第2の画像データにおいて撮像された前記対象の識別結果を出力する第2のニューラルネットワークと、を備えたニューラルネットワークであって、前記第1のニューラルネットワークが、前記第1の画像データの入力を受け付ける入力層と、前記第2の画像データを出力する前記入力層よりも低次元の出力層と、前記第1の重みにより前記入力層と関連付けられるとともに前記第2の重みにより前記出力層と関連付けられる前記入力層と同次元の中間層と、を有するニューラルネットワークに基づいて、前記第1の画像データの入力に応じて当該第1の画像データにおいて撮像された前記対象の識別結果が得られるように、前記第2のニューラルネットワークの構成を調整するための機械学習を実行する学習ステップと、
前記決定ステップにおいて決定された前記光学特性を有するように設計された前記光学フィルタが前記第2の撮像装置に取り付けられているという環境下、または、前記決定ステップにおいて決定された前記照射特性を有するように調整された光が前記照明装置によって前記対象に照射されているという環境下で前記第2の撮像装置により取得される前記第2の画像データを取得する取得ステップと、
前記取得ステップにおいて取得された前記第2の画像データを前記第2のニューラルネットワークに入力し、前記対象の識別結果の出力を取得する識別ステップと、
を備える、対象識別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019135696A JP7291389B2 (ja) | 2019-07-23 | 2019-07-23 | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019135696A JP7291389B2 (ja) | 2019-07-23 | 2019-07-23 | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021018754A JP2021018754A (ja) | 2021-02-15 |
JP7291389B2 true JP7291389B2 (ja) | 2023-06-15 |
Family
ID=74563174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019135696A Active JP7291389B2 (ja) | 2019-07-23 | 2019-07-23 | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7291389B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7418855B2 (ja) * | 2022-04-13 | 2024-01-22 | 株式会社Ridge-i | 情報処理装置、情報処理方法及び情報処理プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047171A1 (en) | 2016-09-06 | 2018-03-15 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Recovery of hyperspectral data from image |
JP2018136767A (ja) | 2017-02-22 | 2018-08-30 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
-
2019
- 2019-07-23 JP JP2019135696A patent/JP7291389B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047171A1 (en) | 2016-09-06 | 2018-03-15 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Recovery of hyperspectral data from image |
JP2018136767A (ja) | 2017-02-22 | 2018-08-30 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
Non-Patent Citations (3)
Title |
---|
Boaz ARAD et al.,"Filter Selection forHyperspectral Estimation",2017 IEEE InternationalConference on Computer Vision (ICCV),IEEE,2017年10月,pp.3153-3161,DOI: 10.1109/ICCV.2017.342 |
Ying FU et al.,"Joint Camera SpectralSensitivity Selection and Hyperspectral Image Recovery",Computer Vision - ECCV 2018,2018年,pp.1-17,DOI:10.1007/978-3-030-01219-9_48 |
三島駿祐他,植物のスペクトル反射特性を用いたRGB画像からの近赤外画像の推定,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM) 2019-CVIM-217 [online] ,日本,情報処理学会,2019年05月23日,pp.1-8 |
Also Published As
Publication number | Publication date |
---|---|
JP2021018754A (ja) | 2021-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6539901B2 (ja) | 植物病診断システム、植物病診断方法、及びプログラム | |
CA3122315A1 (en) | Eye tracking method and system | |
CN102685511B (zh) | 图像处理设备和图像处理方法 | |
JP7187557B2 (ja) | 医療画像学習装置、方法及びプログラム | |
JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
US20210358081A1 (en) | Information processing apparatus, control method thereof, imaging device, and storage medium | |
US10620417B2 (en) | Method for generating a reflection-reduced contrast image and corresponding device | |
JP7444179B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP7291389B2 (ja) | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 | |
Amani et al. | Color calibration on human skin images | |
JP2023003763A (ja) | 学習装置、画像処理装置、学習処理方法、及びプログラム | |
Hamel et al. | Contribution of color in saliency model for videos | |
Hung et al. | Moran’s I for impulse noise detection and removal in color images | |
JP6884584B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP7351358B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
WO2016208142A1 (ja) | 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体 | |
JP7286268B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
KR20170069635A (ko) | 레티넥스 모델 기반 영상 신호 분리 장치 및 그 방법 | |
Nyberg | Transforming Thermal Images to Visible Spectrum Images using Deep Learning | |
Bruni et al. | Perceptual-based color quantization | |
KR101665409B1 (ko) | 레티넥스 모델 기반 영상 신호 분리 장치 및 그 방법 | |
US20240135587A1 (en) | Method of learning parameter of sensor filter and apparatus for performing the same | |
JP2019079283A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
US20220092357A1 (en) | Information processing apparatus, information processing method, and storage medium | |
Agarwal et al. | Comparison of the theoretical and statistical effects of the PCA and CNN image fusion approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7291389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |