JP7196640B2 - 情報システムおよび特定方法 - Google Patents

情報システムおよび特定方法 Download PDF

Info

Publication number
JP7196640B2
JP7196640B2 JP2019013572A JP2019013572A JP7196640B2 JP 7196640 B2 JP7196640 B2 JP 7196640B2 JP 2019013572 A JP2019013572 A JP 2019013572A JP 2019013572 A JP2019013572 A JP 2019013572A JP 7196640 B2 JP7196640 B2 JP 7196640B2
Authority
JP
Japan
Prior art keywords
information
spectroscopic
unit
smartphone
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019013572A
Other languages
English (en)
Other versions
JP2020122681A (ja
Inventor
亮基 渡邊
光 倉沢
直樹 鍬田
政史 金井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019013572A priority Critical patent/JP7196640B2/ja
Priority to CN202010072586.8A priority patent/CN111487204B/zh
Priority to US16/774,101 priority patent/US11232597B2/en
Publication of JP2020122681A publication Critical patent/JP2020122681A/ja
Application granted granted Critical
Publication of JP7196640B2 publication Critical patent/JP7196640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • G06Q30/0185Product, service or business identity fraud
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0272Handheld
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12Visible light, infrared or ultraviolet radiation
    • G07D7/1205Testing spectral properties
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/205Matching spectral properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Description

本発明は、情報システムおよび特定方法に関するものである。
近年、スマートフォン等の情報端末が備えるアプリケーション等において、カメラで撮像した、魚貝類、昆虫、哺乳類のような動物、花、木のような植物等の測定対象の画像に基づいて、これら測定対象の種類を特定する電子図鑑が知られている。
例えば、特許文献1では、測定対象としての花の種類を特定する電子図鑑の発明が開示されている。この特許文献1では、取得した花の画像から、花の特徴量としての「花弁の色、枚数、形状、花の集合の仕方」や、葉の特徴量としての「葉の形状、葉の縁の形、茎の毛やとげ」等を抽出し、これらの特徴量に基づいて、花の種類を特定すること、すなわち、花が有している形状、および、この形状の大きさ等の特徴量に基づいて、花の種類の特定が行われている。
しかしながら、このような電子図鑑では、撮像した画像において測定対象が、「背景の模様と似ている」、「花を特定するための形状を示す方向とは異なる方向を向いている」、「撮像領域からはみ出している」等の場合には、認識が困難となり、測定対象の種類を特定することができないと言う問題があった。
このような問題は、花のような測定対象の種類の特定に、前述の通り、測定対象の形状、および、この形状の大きさ等の特徴量が用いられており、「背景の模様と似ている」場合、「形状」を切り出すことができないこと、また、「正面や後方を向いている」場合、および、「撮像領域からはみ出している」場合、電子図鑑が備えるデータベースに保存されている「形状」と異なることに起因する。すなわち、測定対象の種類の特定に必要な、測定対象の形状に基づく特徴量を抽出することが困難であることに起因する。
ところで、このような電子図鑑の他に、検査対象物としての測定対象が正常品であるか異常品であるかを判定する検出方法(例えば、特許文献2参照)において、測定対象を撮像して得られた分光情報(スペクトルデータ)に基づいて、正常品であるか否かの測定対象の判定を、実施することが提案されている。
したがって、電子図鑑において、測定対象を撮像して得られる分光情報を、測定対象の種類を特定するための特徴量を抽出するための情報として用いること、すなわち、測定対象が有する固有の色調を、特徴量として用いることで、前述のように、測定対象の形状に基づく特徴量を抽出することが困難である場合であっても、測定対象の種類を特定することが可能であると考えられる。
特開2008-152713号公報 特開2017-203658号公報
しかしながら、測定対象を撮像して得られる分光情報を、測定対象の種類を特定する電子図鑑に適用した際に、分光情報を取得する波長領域を、例えば、可視光の全領域(400~760nm程度)とした場合、この全領域に対して、分光情報を取得するには時間を要すると言う課題が生じると考えられる。
また、このような課題は、測定対象としての動物および植物の種類を特定する電子図鑑に限らず、撮像した画像における存在を特定したい対象としての動物および植物の存在の有無や、存在する位置を検出する検出方法や、撮像した画像における測定対象としてのカバン、財布、時計および宝石等の物品の真偽や経年劣化の程度を鑑定する鑑定方法についても同様に生じると推察される。
本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。
本発明の適用例に係る情報システムは、測定すべき対象が有する固有の分光情報を取得するための条件を入力する入力部と、
前記対象が有する固有の分光情報を取得する分光計測部と、
前記分光計測部の作動を制御する制御部と、
前記対象が有する固有の分光情報を含む複数の分光情報を含むデータベースが記憶された記憶部と、を備え、
前記分光計測部は、前記制御部の制御により、前記対象が有する固有の分光情報を、前記対象を特定することができる特定の波長領域において、優先的に取得することを特徴とする。
本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図である。 本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の裏側を示す平面図である。 図2に示すスマートフォンのA-A線断面図である。 図2に示すスマートフォンのB-B線断面図である。 図1、図2に示すスマートフォンの概略構成を示すブロック図である。 図1、図2に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図である。 図1、図2に示すスマートフォンにより測定対象の種類の特定を行う特定方法を示すフローチャートである。 図1、図2に示すスマートフォンにより、測定対象を撮像して得られる測定対象が有する固有の分光情報を説明するための概略図である。 図1、図2に示すスマートフォンにより測定対象の検出を行う検出方法を示すフローチャートである。 図1、図2に示すスマートフォンにより測定対象の鑑定を行う鑑定方法を示すフローチャートである。 本発明の情報システムの第2実施形態が適用されたスマートフォンと分光計測部との概略構成を示すブロック図である。 本発明の情報システムの第3実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。 本発明の情報システムの第4実施形態が適用されたスマートフォンと分光計測部と外部表示部との概略構成を示すブロック図である。 本発明の情報システムの第5実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。 本発明の情報システムの第6実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
以下、本発明の情報システムおよび特定方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。
<情報システム>
<<第1実施形態>>
図1は、本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図、図2は、本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の裏側を示す平面図、図3は、図2に示すスマートフォンのA-A線断面図、図4は、図2に示すスマートフォンのB-B線断面図、図5は、図1、図2に示すスマートフォンの概略構成を示すブロック図、図6は、図1、図2に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図、図7は、図1、図2に示すスマートフォンにより測定対象の種類の特定を行う特定方法を示すフローチャート、図8は、図1、図2に示すスマートフォンにより、測定対象を撮像して得られる測定対象が有する固有の分光情報を説明するための概略図、図9は、図1、図2に示すスマートフォンにより測定対象の検出を行う検出方法を示すフローチャート、図10は、図1、図2に示すスマートフォンにより測定対象の鑑定を行う鑑定方法を示すフローチャートである。
以下、本実施形態では、本発明の情報システムを、情報端末の1種であるスマートフォン1(SP)に適用した場合、すなわち、情報端末であるスマートフォン1単独で、本発明の情報システムが完結している場合について説明する。
スマートフォン1は、撮像機能を備えた携帯型の情報端末の1つであり、図1~5に示すように、測定すべき測定対象X(対象)の分光情報を取得するための条件を入力する入力部16と、測定対象Xが有する固有の分光情報を取得する分光計測部10と、分光計測部10の作動を制御する分光計測部制御部としての制御部60と、測定対象Xが有する固有の分光情報を含む複数の分光情報を含むデータベースが記憶された記憶部17とを備えている。
このスマートフォン1では、分光計測部10は、制御部60の制御に基づいて、測定対象Xが有する固有の分光情報を、測定対象Xを特定することができる特定の波長領域において、優先的に取得する。
このように、スマートフォン1では、測定対象Xが有する固有の分光情報を、測定対象Xを特定することができる特定の波長領域において、優先的に取得する。そのため、前述の通り、分光情報を、例えば、可視光の全領域(400~760nm程度)において取得する場合と比較して、分光情報の取得を短時間で実施することができるとともに、測定対象Xの特定を、優れた特定精度をもって実施することができる。
なお、スマートフォン1により、測定対象Xを特定するために、測定対象Xが有する固有の分光情報のうち、優先的に取得する特定の波長領域は、可視光領域から選択されたものに限らず、赤外線領域や、紫外線領域等から選択されたものであってもよい。
したがって、スマートフォン1が備えるアプリケーションとして、測定対象Xとしての動物および植物等の種類を特定する電子図鑑を起動させたときには、表示部15に、特定された動物および植物等の種類の他、その詳細な情報等が表示されるが、スマートフォン1によれば、この種類の特定を、短時間で、かつ、優れた精度で実施することができる。
また、前記アプリケーションとして、撮像した画像すなわち撮像領域における測定対象Xとしての動物および植物等の存在の有無や、存在する位置を検出する検出方法を起動させたときには、表示部15に、検出された動物および植物等の種類、ならびに、その動物および植物等の存在する位置の他、そのものが存在している確率等が表示されるが、スマートフォン1によれば、動物および植物等の検出を、短時間で、かつ、優れた検出精度で実施することができる。なお、図1では、表示部15に、測定対象Xとしての、カブトムシ、クワガタムシ等の昆虫が、木に止まっている位置を特定して表示している。
さらに、前記アプリケーションとして、撮像した画像における測定対象Xとしてのカバン、財布、時計および宝石等の物品の真偽(真贋)や、経年劣化の程度を鑑定する鑑定方法を起動させたときには、表示部15に、特定すなわち鑑定された物品の真偽および経年劣化の程度、ならびに、真贋率および経年劣化が生じている位置等が表示されるが、スマートフォン1によれば、物品の鑑定を、短時間で、かつ、優れた鑑定精度で実施することができる。
以下、本実施形態のスマートフォン1が備える各部の構成について説明する。
[表示部15、入力部16]
スマートフォン1では、ディスプレイ70が表示部15と入力部16との双方の機能を兼ね備えており、表示部15は、例えば、液晶ディスプレイや有機ELディスプレイ等の各種表示装置で構成される。この表示部15は、図1に示すように、スマートフォン1の表側に設けられ、特定された測定対象Xの情報を含む各種の可視化画像を表示する。なお、本発明では、表示部15と入力部16とは、それぞれ、別個に設けられていてもよい。
表示部15で表示する可視化画像すなわち特定された測定対象Xの情報としては、例えば、特定された測定対象Xの画像の他、測定対象Xの特徴、分類、成分、性質等の情報、さらには、撮像領域における測定対象Xの存在の有無および位置、測定対象Xの認識精度(%)や存在確率(%)、ならびに、測定対象Xの真偽の確率(%)や劣化の程度(%)等が挙げられる。
また、入力部16は、例えば、表示部15の表面に設けられ、タッチ感知面と、このタッチ感知面との接触の強度を検出するためのセンサーとを備えるタッチパネルで構成される、ユーザー(操作者)による操作指示、すなわち、測定対象Xが有する固有の分光情報を取得するための条件等が入力されることにより受け付ける。
[記憶部17]
記憶部17は、ROMやRAM等の各種記憶装置(メモリー)により構成され、スマートフォン1の制御、特に分光計測部10の制御に必要な各種データやプログラム等を記憶する。
当該データは、例えば、制御部60の各機能を実現させるためのアプリケーション、プログラム等の他、分光部41のファブリーペローエタロンフィルターが備える静電アクチュエーター45に印加する駆動電圧に対する透過光の波長を示す相関データV-λデータ、測定対象Xが有する固有の分光情報に基づいて測定対象Xの種類等を特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、特定すべき測定対象Xを含む、魚貝類、昆虫、哺乳類のような動物、花、木のような植物、カバン、財布、時計、宝石のような物品等のそれぞれについての分光情報のことを示し、測定対象Xを特定することができる特定の波長領域に関する情報についても含んでいる。
[分光計測部10]
分光計測部10は、測定対象Xで反射した反射光を受光し、分光することで、選択された特定波長または特定波長領域(以下では、「特定波長」で代表して説明する。)の光を得た後、この特定波長を有する光を撮像することにより、分光画像すなわち分光情報を取得するいわゆる分光カメラである。
この分光計測部10は、本実施形態では、測定対象Xすなわち撮像対象に光を照射する光源31と、測定対象Xを反射した反射光に基づいた、画像を撮像する撮像素子21と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長もしくは波長領域を変更可能な分光部41と、を備えている。
このような分光計測部10において、図2に示すように、光源31、撮像素子21が、スマートフォン1の裏面側において同一方向を向くように配置された状態で、分光部41は、撮像素子21と測定対象Xとの間に配置されている。光源31と、分光部41と、撮像素子21とをこのような位置関係で配置することで、これらにより、分光計測部10を、後分光方式の分光カメラで構成することができる。このような後分光方式の分光カメラでは、ある測定範囲(所定領域)の波長をスキャンすることで、特定波長やスペクトル形状を取得して、測定対象Xの特性を把握することが可能である。そのため、特定波長が不明な測定対象Xを測定すなわち撮像する場合に有効な方式である。
なお、分光計測部10は、分光部41が光源31と測定対象Xとの間に配置された、前分光方式の分光カメラを構成していてもよい。かかる構成をなす前分光方式の分光カメラでは、特定波長の光を照射することで、測定対象Xの特性を把握することが可能な方式である。したがって、特定波長が明らかになっている測定対象Xを測定する場合に有効な方式であり、後分光方式よりも情報量を減らせることから、計測時間の短縮が図られると言う利点を有する方式である。
以下、分光計測部10が備える各部の構成について説明する。
[光源31]
光源31は、測定対象Xに向かって照明光を照射する光素子である。
光源31は、図2、4に示すように、スマートフォン1の筐体内に配置された回路基板51上に、測定対象Xに向かって照明光を照射し得るように、スマートフォン1の裏面側に配置されている。
この光源31と測定対象Xとの間には分光部が配置されておらず、これにより、光源31から出射された光が、測定対象Xに対して、直接、照射される。
このような光源31は、例えば、LED光源、OLED光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部41により分光測定を行う波長領域の全体に光強度を持つ光源、すなわち、可視光領域の全体にわたって光強度を有する白色光を照射可能な光源が好ましく用いられる。また、光源31は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
[撮像素子21]
撮像素子21は、測定対象Xを反射した反射光に基づいた、画像を撮像することで、測定対象Xを反射した反射光を検出する検出部として機能するものである。
撮像素子21は、図2、3に示すように、スマートフォン1の筐体内に配置された回路基板51上に、測定対象Xを反射した反射光を受光し得るように、スマートフォン1の裏面側に配置されている。
そして、この撮像素子21と測定対象Xとの間には分光部41が配置されている。これにより、測定対象Xから分光部41に入射された入射光のうち、特定波長を有する出射光が選択的に出射され、この出射光が撮像素子21により、分光画像すなわち分光情報として撮像される。
このような撮像素子21は、例えば、CCDやCMOS等で構成される。
[分光部41]
分光部41は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。すなわち、入射光から特定波長の光を出射光として撮像素子21へ向けて出射させるものである。
分光部41は、図3に示すように、スマートフォン1の筐体内に配置された回路基板52上に配置されている。
この分光部41は、撮像素子21と測定対象Xとの間、すなわち、これらの間の光軸上に配置されている。これにより、測定対象Xから分光部41に入射された入射光のうち、特定波長を有する出射光を、撮像素子21に向けて選択的に出射する。
このような分光部41は、出射させる出射光の波長領域を変更可能なように、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより2つのフィルター(ミラー)間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター(AOTF)、リニアバリアブルフィルター(LVF)、液晶チューナブルフィルター(LCTF)等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
ファブリーペローエタロンフィルターは、2つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、2.0mm以下に設定することが可能となる。そのため、分光部41ひいては分光計測部10を備えるスマートフォン1をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光計測部10のさらなる小型化を実現することができる。
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンフィルターが適用された分光部41について、図6を参照しつつ説明する。
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板410と、可動基板420と、固定反射膜411と、可動反射膜421と、固定電極412と可動電極422と、接合膜414とを備えている。そして、固定基板410と可動基板420とが積層した状態で、接合膜414を介して一体的に接合されている。
固定基板410は、その中央部に反射膜設置部415が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝413が形成されている。かかる構成の固定基板410において、反射膜設置部415の可動基板420側に固定反射膜411で構成される固定光学ミラーが設けられ、溝413の可動基板420側に固定電極412が設けられている。
また、可動基板420は、その中央部に反射膜設置部425である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝423である保持部が形成されている。かかる構成の可動基板420において、反射膜設置部425の固定基板410側すなわち下面側に可動反射膜421で構成される可動光学ミラーが設けられ、固定基板410側に可動電極422が設けられている。
この可動基板420は、反射膜設置部425と比較して、溝423の厚み寸法が小さく形成されており、これにより、溝423は、固定電極412および可動電極422間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
これら固定基板410と可動基板420とは、0.1mm以上1.0mm以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、2.0mm以下に設定し得るため、分光計測部10の小型化を実現することができる。
このような固定基板410と可動基板420との間において、固定反射膜411と可動反射膜421とは、固定基板410および可動基板420のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極412と可動電極422とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極412と可動電極422とにより、固定反射膜411と可動反射膜421との間のギャップの大きさを調整する静電アクチュエーター45が構成される。
静電アクチュエーター45を構成する、固定電極412および可動電極422間に電圧を印加することで生じる静電引力により、溝423である保持部に撓みが生じる。その結果、固定反射膜411と可動反射膜421との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長(波長領域)の光を選択的に出射させることができる。また、固定反射膜411および可動反射膜421の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
なお、固定基板410および可動基板420は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜414は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜411および可動反射膜421は、例えば、Ag等の金属膜や、Ag合金等の合金膜で構成される他、高屈折層としてTiO、低屈折層としてSiOを備える誘電体多層膜で構成され、さらに、固定電極412および可動電極422は、各種導電性材料で構成される。
[光学系81、83]
また、分光計測部10は、本実施形態では、図5に示すように、各種光学部品で構成される光学系81、83を有する構成のものである。
第1分光部側光学系81は、測定対象Xと分光部41との間に配置され、入射光学系としての入射レンズ811と、投射レンズ812とを備え、測定対象Xを反射した反射光を分光部41に導く。
また、第1撮像素子側光学系83は、分光部41と撮像素子21との間に配置され、入出射レンズ831を備え、分光部41により出射された出射光を撮像素子21に導く。
このような光学系81、83のうちの少なくとも1つを分光計測部10が備えることで、測定対象Xを反射する反射光の撮像素子21による集光率の向上を図ることができる。
なお、光学系81、83は、これらのうちの少なくとも1つが、撮像素子21による前記集光率を考慮して、省略されたものであってもよい。
また、第1分光部側光学系81は、上記のような配置とする場合(図5参照)の他、分光部41と第1撮像素子側光学系83との間に配置されている構成をなすものであってもよい。
[制御部60]
制御部60は、スマートフォン1が備える筐体内に設けられ、例えば、CPUやメモリー等が組み合わせられたプロセッサーにより構成され、光源31、撮像素子21、分光部41等の各部の作動、すなわち、分光計測部10の全体または各部の作動を制御するとともに、表示部15の作動および記憶部17へのデータの入出力を制御する。分光計測部10の作動を制御すると言う点においては、制御部60は、「分光計測部制御部」に相当するか、または内包するものと言える。
より具体的には、制御部60は、入力部16に入力されたユーザーの操作指示、すなわち、測定対象Xが有する固有の分光情報を取得するための条件に基づいて、記憶部17に記憶されたプログラム等のソフトウェアを読み込むことで、光源31、分光部41および撮像素子21の作動を制御する。そして、これにより得られた分光画像すなわち分光情報に基づいて、例えば、撮像された測定対象Xの特定を行い、そのものの種類や特徴、撮像領域における存在の有無等の情報を、表示部15において表示する。
この制御部60は、本実施形態では、図5に示すように、光源制御部601と、分光制御部602と、分光画像取得部603と、分析処理部604と、表示制御部605とを備える。
光源制御部601は、入力部16に入力されたユーザーの操作指示、具体的には、測定対象Xが有する固有の分光情報を取得するための条件に基づいて、光源31の点灯、消灯を制御するものである。
分光制御部602は、記憶部17に記憶されているV-λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する。すなわち、分光制御部602は、分光部41の作動を制御して、分光部41から出射される光の特定波長の大きさを特定する。また、分光制御部602は、記憶部17に記憶されている各種データに基づいて、測定波長の変更タイミングの検出、測定波長の変更、測定波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
分光画像取得部603は、測定対象Xを反射した反射光に基づいた、光量測定データ(受光量)を分光画像すなわち分光情報として、撮像素子21において取得(撮像)し、その後、取得された分光画像を記憶部17に記憶させる。なお、分光画像取得部603は、分光画像を記憶部17に記憶させる際に、分光画像とともにかかる分光画像が取得された測定波長も併せて記憶部17に記憶させる。
分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および測定波長すなわち分光スペクトルを分光情報として取得し、これらの分析処理を行う。すなわち、分光情報としての分光スペクトルと、記憶部17に記憶されたデータベースとを比較する分光処理を実施することで、撮像された測定対象Xの特定を行う。
なお、分析処理部604による、分光画像および測定波長の取得は、記憶部17を介することなく、分光画像取得部603から、直接、実施することもできる。
表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として表示部15に表示させる。
なお、かかる構成の制御部60において、光源制御部601、分光制御部602および分光画像取得部603により、光源31、分光部41および撮像素子21の作動、すなわち分光計測部10の作動を制御する分光計測部制御部が構成される。
以上のようなスマートフォン1において、起動させるアプリケーションの種類を選択すること、すなわち、スマートフォン1の利用方法を選択することで、スマートフォン1を、1)測定対象Xとしての動物および植物等の種類を特定する電子図鑑として用いたり、2)撮像した画像における測定対象Xとしての動物および植物等の存在の有無や、存在する位置を検出する検出装置として用いたり、さらには、3)撮像した画像における測定対象Xとしての物品の真偽(真贋)や、経年劣化の程度を鑑定する鑑定装置として用いることができる。以下、スマートフォン1を、1)~3)を実施する装置として用いた際の利用方法について、説明する。
[1)電子図鑑としての利用方法]
以下、前述したスマートフォン1を電子図鑑として用いた、測定対象Xとしての動物および植物等の種類を特定する特定方法を、図7等を用いて、以下に詳述する。
このスマートフォン1を電子図鑑として用いた特定方法では、測定対象Xを、分光計測部10を用いて撮像し、撮像された分光画像に基づいて、測定対象Xの特定を行う。その後、特定された測定対象Xの画像、種類、その詳細な説明等をディスプレイ70に表示する。
<1A> まず、ユーザーは、入力部16の操作により、スマートフォン1を電子図鑑として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて条件等の選択を行う(S1A)。
なお、アプリケーションの指示に従って入力する条件としては、例えば、測定対象Xの、花、魚類、哺乳類等の分類すなわち群が挙げられる。このように、予め測定対象Xの分類を入力することで、スマートフォン1による測定対象Xの検出を迅速に行うことができるが、その詳細については、後に説明する。
<2A> 次いで、ユーザーは、入力部16の操作により、測定対象Xをスマートフォン1すなわち分光計測部10により撮像する入力指示を行い、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、特定波長における測定対象Xの撮像を行う。
<2A-1> まず、入力部16における、ユーザーによる測定対象Xの撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2A)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xに対して、照射される。そして、照射された光が測定対象Xにより反射され、この反射された光が入射光として分光部41に入射する。
<2A-2> 次いで、分光制御部602は、記憶部17に記憶されているV-λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3A)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2A-3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、かかる分光画像に対応する測定波長すなわち特定波長とともに記憶部17に記憶させる(S4A)。
このような分光画像の取得方法では、分光部41は、測定対象Xと撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41で測定対象Xにより反射された光が有する特定波長の光のみが透過され、この特定波長における光の強度が分光画像として撮像素子21により分光測定される。
<2A-4> 次いで、1回目の特定波長を有する光における分光画像の取得の後に、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像の取得が必要か否かを、前記工程<1A>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5A)。
この判定(S5A)において、2回目の特定波長を有する光における分光画像の取得の必要がある場合には、1回目の特定波長を有する光に代わり、2回目の特定波長を有する光について、前記工程<2A-2>~本工程<2A-4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加させる電圧値を変化させて2回目の特定波長に設定した後、前記工程<2A-2>~本工程<2A-4>を繰り返して実施する。これにより、2回目の特定波長を有する光における分光画像を取得する。このような2回目の特定波長、すなわち、異なる特定波長を有する光における分光画像の取得を、1、2~n回目まで、繰り返して実施する。上記の通り、前記工程<2A-2>~本工程<2A-4>を繰り返して実施することで、分光情報を、分光画像に含まれる各画素に対応した、各特定波長と光強度との関係を示すスペクトル情報ssamとして得ることができる。
すなわち、スペクトル情報ssamは、図8では、可視光の波長領域である400nm以上760nm以下の波長領域における、n分割された各特定波長と光強度との関係を表すグラフとして表され、このグラフすなわちスペクトル情報がM行×N列の画素毎に有している合計の分光情報として得られることとなる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3A>に移行する。
ここで、上記の通り、スペクトル情報ssamを得るには、異なる特定波長または特定波長領域を有する光における分光画像の取得を、前記工程<2A-2>~本工程<2A-4>を繰り返して、n回目まで実施する必要がある。そのため、スペクトル情報ssamを得るには、長時間を要すると言う問題を有する。このような問題は、特に、測定対象Xが動物であり、静止している時間が短いために、スペクトル情報ssamを短時間で取得する必要があるとき、可視光の全領域(400~760nm程度)まで、分光画像を取得するとき、さらには、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得るためにn回目の回数を多くする必要があるときに生じる。
ところで、本実施形態のスマートフォン1を、測定対象Xの種類を特定する電子図鑑として用いる場合、前記工程<1A>において、特定すべき測定対象Xの分類すなわち群がユーザーによる入力部16の操作により、予め入力されている。そして、特定すべき測定対象Xが属する分類により、測定対象Xを特定することができる波長領域が分かっている。すなわち、例えば、測定対象Xが属する分類が魚である場合には、魚の種類を特定することができる波長領域は、図8に示す可視光の波長領域のうちB領域に存在し、測定対象Xが属する分類が花である場合には、花の種類を特定することができる波長領域は、図8に示す可視光の波長領域のうちC領域に存在することが経験的に分かっている。
そのため、特定すべき測定対象Xが属する分類に応じて、測定対象Xを特定することができる波長領域を優先的に取得すること、すなわち、本実施形態では、測定対象Xを特定することができる波長領域を選択的に取得し、他の波長領域については、その取得を省略すること、より具体的には、測定対象Xが属する分類が魚である場合、図8に示す可視光の波長領域のうちB領域を優先的すなわち選択的に取得し、測定対象Xが属する分類が花である場合、図8に示す可視光の波長領域のうちC領域を優先的すなわち選択的に取得することにより、本工程<2A>において、スペクトル情報ssamを短時間で取得することができるとともに、次工程<3A>において、測定対象Xの特定を、優れた特定精度をもって実施することができる。また、本工程<2A>において、取得するスペクトル情報ssamの情報量が小さくなることから、記憶部17への圧迫を低減することができる。
したがって、測定対象Xが動物であり、静止している時間が短いために、スペクトル情報ssamを短時間で取得する必要があるとき、さらには、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得る必要があったとしても、かかるスペクトル情報ssamを、短時間で確実に取得することができる。
また、上記の通り、特定すべき測定対象Xが属する分類に応じて、測定対象Xを特定することができる波長領域を優先的に取得する際に、優先的に取得する波長領域に重みをつけてもよい。すなわち、測定対象Xが属する分類に応じて、例えば、図8に示す可視光の波長領域において、重みがC領域>B領域>A領域となる優先度を有し、この優先度にしたがって、分光情報を順次取得してもよい。これにより、測定対象Xが動物であり、スペクトル情報ssamの取得の途中で、測定対象Xの動作により、その取得が切り上げられたとしても、測定対象Xを特定することができる波長領域が優先的に取得されている確率が高くなることから、測定対象Xを特定することができる、特定精度の向上を図ることができる。
なお、測定対象Xが動物である場合、分光計測部10は、測定対象Xの動きに基づき、測定対象Xが有する固有の分光情報の取得が困難であると判断したときに、測定対象Xが有する固有の分光情報の取得を中止するが、この測定対象Xの動作に基づく、スペクトル情報ssamの取得における途中での切り上げは、例えば、スマートフォン1が備える加速度センサーが閾値以上の加速度を感知したとき、および、撮像素子21による分光画像の取得の際に、撮像素子21で検知される光強度に閾値以上の変化が認められたときのうちの少なくとも一方を満足した際に実施される。
また、このようなスペクトル情報ssamの取得における途中での切り上げは、測定対象Xの動きに基づき、分光情報の取得が困難であると判断した場合の他、ユーザーすなわちスマートフォン1自体が移動しており、スマートフォン1の動きに基づき、分光情報の取得が困難であると判断した場合についても適用し得る。したがって、分光計測部10は、測定対象Xと分光計測部10との相対的な動きに基づき、測定対象Xが有する固有の分光情報の取得が困難であると判断したときに、測定対象Xが有する固有の分光情報の取得を中止する
<3A> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および特定波長に基づいて、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6A)。
換言すれば、分析処理部604は、前記工程<2A>において記憶部17に記憶された、スペクトル情報ssamを取得する。その後、分光情報としてのスペクトル情報ssamを、特徴量として用い、データベースと比較する分析処理を実施することで、撮像された測定対象Xの特定を行う。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xの反射率r=ssam/srefを算出する。
そして、分析処理部604は、記憶部17に予め記憶された群i=1,…,Mに対応したものに含まれるデータriを取得し、riを用いて測定対象Xの反射率rが、群iに含まれるいずれに属するか否かを判別することで、測定対象Xを特定する。なお、ここで、「群」とは、測定対象Xが属する、花、魚類、哺乳類等の分類や小分類のことを言い、前記工程<1A>において、予め入力された測定対象Xの分類に対応する群のデータが取得される。
より詳しくは、まず、どの群に属するかを判別するのに適した判別空間へ、特徴量としてのスペクトル情報ssamを射影する、すなわち、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、群i=1,…,Mのデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、群i=1,…,Mとの判別空間での距離mi(i=1,…,M)を計算する。
mi(i=1,…,M)=g(y,y(ri))
ここで、y(ri)は群iに属するデータの判別空間上での位置の集合、すなわち、y(ri)={y(ri 1),…,y(ri N)}(式中、Nは、群iに属するデータの数を表す。)であり、また、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。mi(i=1,…,M)のうち、最も距離が小さいものを特定し、小さいものに対応する群iに含まれる種類を、測定対象Xの種類Hとして特定する。
H=argimin mi
以上の通り、本工程<3A>では、測定対象Xを特定するための特徴量として、スペクトル情報ssamすなわち分光情報を用い、このスペクトル情報ssamの形状に基づいて測定対象Xの特定を行っていることから、「測定対象Xが背景の模様と似ている」場合、例えば、枯れた松葉の中にある「マツタケ」、葉っぱ上にいる「青虫」、砂浜上にいる「カレイやヒラメ」、木の枝にいる「クワガタ」や「カブトムシ」を測定対象Xとして特定する場合のように測定対象と背景とが同系色であったとしても、正確に特定することができる。さらに、「撮像領域において測定対象Xが正面や後方を向いている」場合、および、「測定対象Xが撮像領域からはみ出している」場合であっても、特徴量として形状情報を用いていないことから、正確に特定することができる。
<4A> 次いで、表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として作成し、その後、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7A)。
この可視化画像として、ディスプレイ70に表示させる測定対象Xの情報としては、測定対象Xが魚貝類、昆虫、哺乳類のような動物、または、花、木のような植物である場合、特定された測定対象Xの種類すなわち測定対象Xが属する群Hの他、この測定対象Xの分類や、分布、形態、生態等の詳細な情報が挙げられる。
なお、ディスプレイ70には、記憶部17に記憶された情報が表示されるが、スマートフォン1の通信機能を用いて、インターネット上に開示されている情報をディスプレイ70に表示させるようにすることもできる。
以上のような、スマートフォン1を電子図鑑として用いた、工程<1A>~工程<4A>を経ることで、測定対象Xの特定が実施される。
なお、分光情報としての分光スペクトルと、記憶部17に記憶されたデータベースとを比較する分光処理を、上記では、判別空間での距離mi(i=1,…,M)を用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
また、スマートフォン1を電子図鑑として用いた測定対象Xの特定は、上記のような動物または植物の特定に適用できる他、例えば、宝石のような鉱物、電車、車のような乗り物、雲、および、星座等の特定にも適用することができる。
[2)検出装置としての利用方法]
以下、前述したスマートフォン1を検出装置として用いた、存在を特定したい測定対象X(対象)としての動物および植物等の存在の有無や、存在する位置を検出する検出方法を、図9等を用いて、以下に詳述する。
このスマートフォン1を検出装置として用いた検出方法では、測定対象Xすなわち検出対象が存在すると推察される領域を、分光計測部10を用いて撮像し、撮像した分光画像に基づいて、撮像された撮像領域における、測定対象Xの存在の有無や、存在する位置および存在確率(%)等を特定する。その後、この特定された内容をディスプレイ70に表示する。
<1B> まず、ユーザーは、入力部16の操作により、スマートフォン1を検出装置として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、条件等の選択を行う(S1B)。
なお、アプリケーションの指示に従って入力する条件としては、撮像した画像において検出したい測定対象Xの種類等が挙げられる。このような、検出すべき測定対象Xの種類の入力により、撮像した撮像領域における測定対象Xの存在の有無を特定することができる波長領域を優先的に取得することができるため、スマートフォン1により撮像した撮像領域における測定対象Xの検出を迅速に行うことができるが、その詳細については、後に説明する。
<2B> 次いで、ユーザーは、入力部16の操作により、測定対象Xを検出したい領域を、スマートフォン1すなわち分光計測部10により撮像する入力指示を行う。そして、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、特定波長において、測定対象Xを検出したい撮像領域の撮像を行う。
<2B-1> まず、入力部16における、ユーザーによる撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2B)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xを検出したい撮像領域に対して、照射される。そして、照射された光が撮像領域において反射され、この反射された光が入射光として分光部41に入射する。
<2B-2> 次いで、分光制御部602は、記憶部17に記憶されているV-λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3B)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2B-3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、かかる分光画像に対応する測定波長すなわち特定波長とともに記憶部17に記憶させる(S4B)。
このような分光画像の取得方法では、分光部41は、測定対象Xを検出したい撮像領域と撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41により前記撮像領域で反射された光が有する特定波長の光のみが透過され、この特定波長における光の強度が分光画像として撮像素子21により分光測定される。
<2B-4> 次いで、1回目の特定波長を有する光における分光画像の取得の後に、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像の取得が必要か否かを、前記工程<1B>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5B)。
この判定(S5B)において、2回目の特定波長を有する光における分光画像の取得の必要がある場合には、1回目の特定波長を有する光に代わり、2回目の特定波長を有する光について、前記工程<2B-2>~本工程<2B-4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加する電圧の大きさを変化させて2回目の特定波長に設定した後、前記工程<2B-2>~本工程<2B-4>を繰り返して実施する。これにより、2回目の特定波長を有する光における分光画像を取得する。このような2回目の特定波長、すなわち、異なる特定波長を有する光における分光画像の取得を、1、2~n回目まで、繰り返して実施する。上記の通り、前記工程<2B-2>~本工程<2B-4>を繰り返して実施することで、分光情報を、測定対象Xを検出したい撮像領域における各画素に対応した、各特定波長と光強度との関係を示すスペクトル情報ssamとして得ることができる。
すなわち、スペクトル情報ssamは、図8では、可視光の波長領域である400nm以上760nm以下の波長領域における、n分割された各特定波長と光強度との関係を表すグラフとして表され、このグラフすなわちスペクトル情報がM行×N列の画素毎に有している撮像領域における合計の分光情報として得られることとなる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3B>に移行する。
ここで、上記の通り、スペクトル情報ssamを得るには、異なる特定波長または特定波長領域を有する光における分光画像の取得を、前記工程<2B-2>~本工程<2B-4>を繰り返して、n回目まで実施する必要がある。そのため、スペクトル情報ssamを得るには、長時間を要すると言う問題を有する。このような問題は、特に、撮像領域において検出すべき測定対象Xが動物であり、静止している時間が短いために、スペクトル情報ssamを短時間で取得する必要があるとき、可視光の全領域(400~760nm程度)まで、分光画像を取得するとき、さらには、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得るためにn回目の回数を多くする必要があるときに生じる。
ところで、本実施形態のスマートフォン1を、撮像した撮像領域から測定対象Xを検出する検出装置として用いる場合、前記工程<1B>において、検出すべき測定対象Xの種類がユーザーによる入力部16の操作により、予め入力されている。そして、検出すべき測定対象Xの種類により、測定対象Xを特定することができる波長領域が分かっている。すなわち、例えば、検出すべき測定対象Xの種類がカブトムシである場合には、カブトムシが存在していることを特定することができる波長領域は、図8に示す可視光の波長領域のうちB領域に存在し、測定対象Xの種類がマツタケである場合には、マツタケが存在していることを特定することができる波長領域は、図8に示す可視光の波長領域のうちC領域に存在することが経験的に分かっている。
そのため、検出すべき測定対象Xの種類に応じて、測定対象Xが存在していることを特定することができる波長領域を優先的に取得すること、すなわち、本実施形態では、測定対象Xを特定することができる波長領域を選択的に取得し、他の波長領域については、その取得を省略すること、より具体的には、検出すべき測定対象Xがカブトムシである場合、図8に示す可視光の波長領域のうちB領域を優先的すなわち選択的に取得し、検出すべき測定対象Xがマツタケである場合、図8に示す可視光の波長領域のうちC領域を優先的すなわち選択的に取得することにより、本工程<2B>において、スペクトル情報ssamを短時間で取得することができるとともに、次工程<3B>において、測定対象Xの特定を、優れた特定精度をもって実施することができる。また、本工程<2B>において、取得するスペクトル情報ssamの情報量が小さくなることから、記憶部17への圧迫を低減することができる。
したがって、検出すべき測定対象Xが動物であり、静止している時間が短いために、スペクトル情報ssamを短時間で取得する必要があるとき、さらには、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得る必要があったとしても、かかるスペクトル情報ssamを、短時間で確実に取得することができる。
また、上記の通り、検出すべき測定対象Xの種類に応じて、測定対象Xが存在していることを特定することができる波長領域を優先的に取得する際に、優先的に取得する波長領域に重みをつけてもよい。すなわち、測定対象Xの種類に応じて、例えば、図8に示す可視光の波長領域において、重みがC領域>B領域>A領域となる優先度を有し、この優先度にしたがって、分光情報を順次取得してもよい。これにより、測定対象Xが動物であり、スペクトル情報ssamの取得の途中で、測定対象Xの動作により、その取得が切り上げられたとしても、測定対象Xが存在していることを特定することができる波長領域が優先的に取得されている確率が高くなることから、撮像領域における測定対象Xの存在の有無を検出することができる、検出精度の向上を図ることができる。
なお、測定対象Xが動物である場合、分光計測部10は、測定対象Xの動きに基づき、測定対象Xが有する固有の分光情報の取得が困難であると判断したときに、測定対象Xが有する固有の分光情報の取得を中止するが、この測定対象Xの動作に基づく、スペクトル情報ssamの取得における途中での切り上げは、例えば、撮像素子21による分光画像の取得の際に、撮像素子21で検知される光強度に閾値以上の変化が認められたときに実施される。
<3B> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および特定波長、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6B)。
換言すれば、分析処理部604は、前記工程<2B>において記憶部17に記憶された、スペクトル情報ssamを取得する。そして、このスペクトル情報ssamを、分光情報を有する特徴量として用いて分析処理を行うことで、分光計測部10により撮像された撮像領域から目的物である測定対象Xを検出する。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xを検出したい撮像領域における反射率r=ssam/srefを算出する。そして、この撮像領域をM行N列の画素毎に分割することで、M×N個に分割された各領域(i=1,…,M),(j=1,…,N)に対応したデータri jを算出する。
そして、分析処理部604は、記憶部17に予め用意されたデータベースのうち測定対象Xに対応した反射率rbaseを取得し、M個に分割された各領域に対応する反射率ri jが、測定対象Xに対応した反射率rbaseに属するか否かを判別することで、撮像領域において測定対象Xが存在する位置を特定する。
より詳しくは、まず、各群を判別するのに適した判別空間への射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、データベースに保存された測定対象Xの反射率rbaseを判別空間に射影し、yとする。
y=f(rbase)
同様に、M行N列に分割された各領域(i=1,…,M),(j=1,…,N)に対応したデータri jについても、判別空間に投影し、y(ri j)とする。そして、測定対象Xと、各領域(i=1,…,M),(j=1,…,N)との判別空間での距離mi j(i=1,…,M),(j=1,…,N)を計算する。
mi j(i=1,…,M),(j=1,…,N)=g(y,y(ri j))
ここで、g( )は判別空間での距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi j(i=1,…,M),(j=1,…,N)のうち、距離mi jが設定したある閾値よりも小さかった場合に測定対象Xがその領域に存在している確率を有していると判定し、すなわち、測定対象Xがその領域において検出されたと判定し、さらにこの閾値を細分化することで、かかる領域における存在確率(%)を特定することができる。
以上の通り、本工程<3B>では、測定対象Xを検出するための特徴量として、スペクトル情報ssamすなわち分光情報を用い、このスペクトル情報ssamの形状に基づいて、撮像領域における測定対象Xの検出を行っていることから、「測定対象Xが背景の模様と似ている」場合、例えば、枯れた松葉の中にある「マツタケ」、葉っぱ上にいる「青虫」、砂浜上にいる「カレイやヒラメ」、木の枝にいる「クワガタ」や「カブトムシ」を測定対象Xとして検出する場合のように測定対象と背景とが同系色であったとしても、撮像領域から正確に検出することができる。さらに、「撮像領域において測定対象Xが正面や後方を向いている」場合、および、「測定対象Xが撮像領域からはみ出している」場合であっても、特徴量として形状情報を用いていないことから、測定対象Xを正確に検出することができる。
<4B> 次いで、表示制御部605は、分析処理部604で、分光計測部10により撮像された撮像領域のうち、測定対象Xが存在していると判定された領域に対して、例えば、赤色等のマーキングを施すことで強調表示がなされた、可視化画像を作成する。その後、図1に示すように、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7B)。ただし、図1では、表示部15に、測定対象Xとしての、カブトムシ、クワガタムシ等の昆虫が木に止まっている位置を、マーキングして強調することで特定している。
なお、この可視化画像では、測定対象Xが存在していると判定された領域に対する、マーキングの他、例えば、マーキングの近位に測定対象Xが存在する存在確率(%)を表示することとしてもよいし、さらに、測定対象Xが存在する存在確率(%)に応じて、マーキングの色を変化させるようにしてもよい。
以上のような、スマートフォン1を検出装置として用いた、工程<1B>~工程<4B>を経ることで、測定対象Xが存在すると推察される撮像領域における、測定対象Xの存在の有無、および、測定対象Xが存在している位置を検出することができる。
なお、スマートフォン1を検出装置として用いた撮像領域における測定対象Xの検出は、上記のような動物または植物の検出に適用できる他、例えば、宝石のような鉱物、雲および星座等の検出にも適用することができる。
[3)鑑定装置としての利用方法]
以下、前述したスマートフォン1を鑑定装置として用いた、測定対象Xとしてのカバン、財布、時計および宝石等の物品の真偽(真贋)や、経年劣化の程度を鑑定する鑑定方法を、図10等を用いて、以下に詳述する。
このスマートフォン1を鑑定装置として用いた鑑定方法では、鑑定すべき測定対象Xを、分光計測部10を用いて撮像し、撮像された分光画像に基づいて、測定対象Xの真偽または、経年劣化の程度の鑑定を行う。その後、この鑑定された内容をディスプレイ70に表示する。
<1C> まず、ユーザーは、入力部16の操作により、スマートフォン1を鑑定装置として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて条件等の選択を行う(S1C)。
なお、アプリケーションの指示に従って入力する条件としては、鑑定する測定対象Xすなわち物品の種類、換言すれば測定対象Xの製品番号、ならびに、真偽または経年劣化の程度の鑑定の種類が挙げられる。このように鑑定する測定対象Xの製品番号を予め入力することで、スマートフォン1により撮像した撮像領域における測定対象Xの真偽または経年劣化の程度の判定を迅速に行うことができるが、その詳細については、後に説明する。
<2C> 次いで、ユーザーは、入力部16の操作により、測定対象Xをスマートフォン1すなわち分光計測部10により撮像する入力指示を行い、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、特定波長における測定対象Xの撮像を行う。
<2C-1> まず、入力部16における、ユーザーによる測定対象Xの撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2C)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xに対して、照射される。そして、照射された光が測定対象Xにより反射され、この反射された光が入射光として分光部41に入射する。
<2C-2> 次いで、分光制御部602は、記憶部17に記憶されているV-λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3C)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2C-3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、かかる分光画像に対応する測定波長すなわち特定波長とともに記憶部17に記憶させる(S4C)。
このような分光画像の取得方法では、分光部41は、測定対象Xと撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41で測定対象Xにより反射された光が有する特定波長の光のみが透過され、この特定波長における光の強度が分光画像として撮像素子21により分光測定される。
<2C-4> 次いで、1回目の特定波長を有する光における分光画像の取得の後に、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像の取得が必要か否かを、前記工程<1C>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の特定波長とは異なる2回目の特定波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5C)。
この判定(S5C)において、2回目の特定波長を有する光における分光画像の取得の必要がある場合には、1回目の特定波長を有する光に代わり、2回目の特定波長を有する光について、前記工程<2C-2>~本工程<2C-4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加させる電圧値を変化させて2回目の特定波長に設定した後、前記工程<2C-2>~本工程<2C-4>を繰り返して実施する。これにより、2回目の特定波長を有する光における分光画像を取得する。このような2回目の特定波長、すなわち、異なる特定波長を有する光における分光画像の取得を、1、2~n回目まで、繰り返して実施する。上記の通り、前記工程<2C-2>~本工程<2C-4>を繰り返して実施することで、分光情報を、分光画像に含まれる各画素に対応した、各特定波長と光強度との関係を示すスペクトル情報ssamとして得ることができる。
すなわち、スペクトル情報ssamは、図8では、可視光の波長領域である400nm以上760nm以下の波長領域における、n分割された各特定波長と光強度との関係を表すグラフとして表され、このグラフすなわちスペクトル情報がM行×N列の画素毎に有している合計の分光情報として得られることとなる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3C>に移行する。
ここで、上記の通り、スペクトル情報ssamを得るには、異なる特定波長または特定波長領域を有する光における分光画像の取得を、前記工程<2C-2>~本工程<2C-4>を繰り返して、n回目まで実施する必要がある。そのため、スペクトル情報ssamを得るには、長時間を要すると言う問題を有する。このような問題は、特に、可視光の全領域(400~760nm程度)まで、分光画像を取得するとき、さらには、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得るためにn回目の回数を多くする必要があるときに生じる。
ところで、本実施形態のスマートフォン1を、測定対象Xとしての物品を鑑定する鑑定装置として用いる場合、前記工程<1C>において、鑑定すべき測定対象Xの種類すなわち製品番号がユーザーによる入力部16の操作により、予め入力されている。そして、鑑定すべき測定対象Xの種類により、測定対象Xの真偽や劣化の程度を判定すなわち特定することができる波長領域が分かっている。すなわち、例えば、検出すべき測定対象Xの種類がブランドAのショルダーバッグである場合には、ブランドAのショルダーバッグであることを特定することができる波長領域は、図8に示す可視光の波長領域のうちB領域に存在し、測定対象Xの種類がダイヤモンドである場合には、ダイヤモンドが存在していることを特定することができる波長領域は、図8に示す可視光の波長領域のうちC領域に存在することが経験的に分かっている。
そのため、鑑定すべき測定対象Xの種類に応じて、測定対象Xの真偽または経年劣化の程度を判定すなわち特定することができる波長領域を優先的に取得すること、すなわち、本実施形態では、測定対象Xを特定することができる波長領域を選択的に取得し、他の波長領域については、その取得を省略すること、より具体的には、鑑定すべき測定対象XがブランドAのショルダーバッグである場合、図8に示す可視光の波長領域のうちB領域を優先的すなわち選択的に取得し、鑑定すべき測定対象Xがダイヤモンドである場合、図8に示す可視光の波長領域のうちC領域を優先的すなわち選択的に取得することにより、本工程<2C>において、スペクトル情報ssamを短時間で取得することができるとともに、次工程<3C>において、測定対象Xの特定を、優れた特定精度をもって実施することができる。また、本工程<2C>において、取得するスペクトル情報ssamの情報量が小さくなることから、記憶部17への圧迫を低減することができる。
したがって、1回の分光画像を取得する際の特定波長領域を狭くして高精度にスペクトル情報ssamを得る必要があったとしても、かかるスペクトル情報ssamを、短時間で確実に取得することができる。
また、上記の通り、鑑定すべき測定対象Xの種類に応じて、測定対象Xが存在していることを特定することができる波長領域を優先的に取得する際に、優先的に取得する波長領域に重みをつけてもよい。すなわち、測定対象Xの種類に応じて、例えば、図8に示す可視光の波長領域において、重みがC領域>B領域>A領域となる優先度を有し、この順で分光画像を取得する優先度をつけてもよい。
<3C> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および特定波長、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6C)。
換言すれば、分析処理部604は、前記工程<2C>において記憶部17に記憶された、スペクトル情報ssamを取得する。そして、このスペクトル情報ssamを、分光情報を有する特徴量として用いて分析処理を行うことで、撮像された測定対象Xの鑑定を実施する。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xの反射率r=ssam/srefを算出する。
そして、分析処理部604は、記憶部17に予め記憶された群i=1,…,Mに対応したデータriのうちから、測定対象Xの真正品(i=x)に相当する反射率riを取得し、riを用いて測定対象Xの反射率rが真正品の反射率riに対して同等であるか否かを判別することで、測定対象Xを鑑定する。
より詳しくは、まず、各群を判別するのに適した判別空間への射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。
そして、鑑定の種類が、物品の真偽である場合、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、新品の真正品(i=x)のデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、真正品(i=x)との判別空間での距離mi(i=x)を計算する。
mi(i=x)=g(y,y(ri))
ここで、g( )は判別空間での距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi(i=x)の大きさが、設定した閾値よりも小さかった場合に測定対象が真正品であると判定し、さらにこの閾値を細分化することで、測定対象Xが真正品であることの確率(%)を特定することができる。
また、鑑定の種類が、物品の経年劣化の程度である場合、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、劣化の程度ごとに取得した真正品(i=1,…,M)のデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、劣化の程度に応じた真正品(i=1,…,M)との判別空間での距離mi(i=1,…,M)を計算する。
mi(i=1,…,M)=g(y,y(ri))
ここで、y(ri)は真正品に属するデータの判別空間上での位置の集合、すなわち、y(ri)={y(ri 1),…,y(ri N)}(式中、Nは、群iに属するデータの数を表す。)であり、また、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi(i=1,…,M)の大きさが、設定した閾値よりも小さかった場合に測定対象が属する群iで指定した経年劣化の程度であると鑑定することができる。
<4C> 次いで、表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として作成し、その後、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7C)。
この可視化画像には、鑑定がなされた測定対象Xの画像の他、鑑定の区分が測定対象Xの真偽である場合には、測定対象Xが真正品であるか否かの判定結果、さらには、真正品である確率(%)等の情報が表示され、また、鑑定の区分が測定対象Xの経年劣化の程度である場合には、測定対象Xの劣化の程度(%)、さらには、それに基づく査定価格等の情報が表示される。なお、鑑定の区分が測定対象Xの真偽である場合に、この鑑定により測定対象Xが真正品であるとの鑑定結果が得られたときには、自動的に、測定対象Xの経年劣化の程度の鑑定に移行するようにしてもよい。
以上のような、スマートフォン1を鑑定装置として用いた、工程<1C>~工程<4C>を経ることで、測定対象Xの鑑定が実施される。
なお、スマートフォン1を鑑定装置として用いた測定対象Xの鑑定は、上記のようなカバン、財布、時計および宝石等の物品に適用できる他、測定対象Xの真偽に鑑定装置を用いた場合、動物、植物、雲および星座等の特定にも適用することができる。
さらに、本実施形態では、分光情報として、測定対象Xの反射率を用いて、測定対象Xの特定を行う場合について説明したが、これに限定されず、例えば、測定対象Xの透過率、吸光度や、クベルカ・ムンク変換データ等を分光情報として用いた場合においても、測定対象Xの特定を行うことが可能である。
また、本実施形態では、分光計測部10は、分光カメラとして、光源31と、分光部41と、撮像素子21とを備える場合について説明したが、分光計測部10は、これらのうち、光源31が省略されたものであってもよい。この場合、分光計測部10は、分光計測部10により分光画像を撮像する前記工程<2A>、<2B>、<2C>では、測定対象Xに対する光の照射は、太陽や室内照明等の外光により実施される。
さらに、本実施形態では、本発明の情報システムが、情報端末単独で完結しているものとして、スマートフォン1を一例にして説明したが、このような情報端末としては、スマートフォン1に限定されず、例えば、タブレット端末、ノート型パソコン、デジタルカメラ、デジタルビデオカメラ、車載用のモニター、ドライブレコーダー等であってもよい。なお、本実施形態のように、本発明の情報システムを、情報端末単独で完結している構成のものとすることで、オフラインでの使用を実現することが可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、本実施形態では、入力部16がタッチパネルで構成される場合について説明したが、これに限定されず、入力部16は、スマートフォン1の筐体に設けられた操作用ボタンであってもよいし、スマートフォン1が備えるマイクを介して音声により入力がなされるものであってもよいし、これらが組み合わされたものであってもよい。
<<第2実施形態>>
次に、本発明の情報システムの第2実施形態について説明する。
図11は、本発明の情報システムの第2実施形態が適用されたスマートフォンと分光計測部との概略構成を示すブロック図である。
以下、第2実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図11に示す第2実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに分光計測部10を独立して備え、この分光計測部10が分光カメラとしての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第2実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10とを有している。
第2実施形態の情報システムでは、図11に示すように、スマートフォン1は、内部における分光計測部10の配置が省略されており、これに代えて、分光計測部10は、分光カメラとしてスマートフォン1の外部に独立して設けられており、その作動がスマートフォン1により制御可能なように構成されている。なお、スマートフォン1と分光計測部10との電気的な接続による、スマートフォン1による分光計測部10の制御は、有線および無線のいずれであってもよい。
かかる構成の第2実施形態の情報システムでは、分光計測部10による測定対象Xを含む画像の取得と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができる。そのため、情報システムの操作性の向上を図ることができる。
また、スマートフォン1に、アプリケーションをインストールするとともに、分光計測部10を接続することで、本発明の情報システムを利用することができ、分光計測部10を備えないスマートフォン1を用い得るため汎用性に優れる。
さらに、本発明の情報システムを、スマートフォン1と分光計測部10とで完結している構成のものとすることで、スマートフォン1と分光計測部10との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
このような第2実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がサーバー等で構成されるものであってもよい。
<<第3実施形態>>
次に、本発明の情報システムの第3実施形態について説明する。
図12は、本発明の情報システムの第3実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。
以下、第3実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図12に示す第3実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに外部表示部18を独立して備え、この外部表示部18がスマートフォン1の外部の表示部としての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第3実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、外部表示部18とを有している。
第3実施形態の情報システムは、図12に示すように、スマートフォン1が備える表示部15の他に、さらに、スマートフォン1の外部に独立して設けられた外部表示部18を備えており、外部表示部18の作動がスマートフォン1により制御可能なように構成されている。なお、スマートフォン1と外部表示部18との電気的な接続による、スマートフォン1による外部表示部18の制御は、有線および無線のいずれであってもよい。
かかる構成の第3実施形態の情報システムでは、外部表示部18における画像の操作者による確認と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。
また、本発明の情報システムを、スマートフォン1と外部表示部18とで完結している構成のものとすることで、スマートフォン1と外部表示部18との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、外部表示部18としては、モバイルノートPC、タブレット端末およびヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実(AR)において、例えば、測定対象Xの特定された結果や、測定対象Xが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。
このような第3実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
<<第4実施形態>>
次に、本発明の情報システムの第4実施形態について説明する。
図13は、本発明の情報システムの第4実施形態が適用されたスマートフォンと分光計測部と外部表示部との概略構成を示すブロック図である。
以下、第4実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図13に示す第4実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに分光計測部10と外部表示部18とを独立して備え、分光計測部10が分光カメラとしての機能を発揮し、外部表示部18がスマートフォン1の外部の表示部としての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第3実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、分光計測部10と、外部表示部18とを有している。
第4実施形態の情報システムでは、図13に示すように、スマートフォン1は、内部における分光計測部10の配置が省略されており、これに代えて、分光計測部10は、分光カメラとしてスマートフォン1の外部に独立して設けられており、その作動がスマートフォン1により制御可能なように構成されている。さらに、スマートフォン1が備える表示部15の他に、さらに、スマートフォン1の外部に独立して設けられた外部表示部18を備えており、外部表示部18の作動がスマートフォン1により制御可能なように構成されている。
なお、スマートフォン1と分光計測部10との電気的な接続による、スマートフォン1による分光計測部10の制御、ならびに、スマートフォン1と外部表示部18との電気的な接続による、スマートフォン1による外部表示部18の制御は、それぞれ、有線および無線のいずれであってもよい。
かかる構成の第4実施形態の情報システムでは、分光計測部10による測定対象Xを含む画像の取得と、外部表示部18における画像の操作者による確認と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。
また、スマートフォン1に、アプリケーションをインストールするとともに、分光計測部10と外部表示部18とを接続することで、本発明の情報システムを利用することができ、分光計測部10を備えないスマートフォン1を用い得るため汎用性に優れる。
さらに、本発明の情報システムを、スマートフォン1と分光計測部10と外部表示部18とで完結している構成のものとすることで、スマートフォン1と分光計測部10と外部表示部18との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、外部表示部18としては、モバイルノートPC、タブレット端末およびヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実(AR)において、例えば、測定対象Xの特定された結果や、測定対象Xが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。
このような第4実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10と、ヘッドマウントディスプレイのような外部表示部18とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末としてタブレット端末等を備えるものであってもよいし、スマートフォン1すなわち情報端末に代えて、サーバー等を備えるものであってもよい。
また、本実施形態では、本発明の情報システムは、図13に示すように、分光計測部10と外部表示部18とを別体として独立して備える場合について示したが、これに限定されず、分光計測部10と外部表示部18とは、一体的に形成されたものであってもよい。
<<第5実施形態>>
次に、本発明の情報システムの第5実施形態について説明する。
図14は、本発明の情報システムの第5実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
以下、第5実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図14に示す第5実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらにサーバー100を独立して備えること以外は、前記第1実施形態の情報システムと同様である。すなわち、第5実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、サーバー100とを有している。
第5実施形態の情報システムでは、図14に示すように、スマートフォン1は、さらに、送受信部19を有しており、また、制御部60において、この送受信部19の作動を制御する送受信制御部606を有している。
また、サーバー100は、記憶部117と、送受信部119と、制御部160とを有し、制御部160は、記憶部117および送受信部119の作動を、それぞれ、制御するデータ取得部161および送受信制御部162を有している。
このような本実施形態の情報システムにおいて、スマートフォン1が備える記憶部17では、測定対象Xを特定するためのデータベースの記憶が省略されており、これに代えて、サーバー100が備える記憶部117に、このデータベースが記憶されている。
そして、スマートフォン1が備える送受信部19と、サーバー100が備える送受信部119とは、データベースの受け渡しを実施する。すなわち、送受信部19は、送受信部119に記憶部117からのデータベースの取得要請を送信し、サーバー100から送受信部119を介してデータベースを受信する。また、送受信部119は、送受信部19による記憶部117からのデータベースの取得要請を受信し、スマートフォン1に送受信部19を介してデータベースを送信する。なお、送受信部19と送受信部119との間におけるデータベースの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
また、スマートフォン1が制御部60において備える送受信制御部606は、送受信部19の作動を制御して、送受信部119を介して、サーバー100からデータベースを受け取り、分析処理部604は、送受信制御部606から、このデータベースを受け取り、これに基づいて測定対象Xの特定を実施する。
さらに、サーバー100が制御部160において備えるデータ取得部161は、取得要請に応じて記憶部117に記憶されたデータベースを取得した後に、送受信制御部162に受け渡す。そして、送受信制御部162は、送受信部119の作動を制御して、送受信部19を介して、サーバー100からスマートフォン1に、このデータベースを受け渡す。
かかる構成の第5実施形態の情報システムでは、情報システムが情報端末であるスマートフォン1単独で完結することなく、さらに、サーバー100を備え、このサーバー100が有する記憶部117において、データベースが保存され、このデータベースが測定対象Xを特定する際に、送受信部19、119を介してスマートフォン1に、送信されるようになっている。これにより、スマートフォン1が備える記憶部17に大量のデータを記憶させる必要がなくなると言う利点が得られる。また、情報システムが、複数のスマートフォン1を備える場合、データベースの共有化を図ることができる。さらに、サーバー100の記憶部117が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン1で利用するデータベースを最新のものとし得る。
さらに、本発明の情報システムにおいて、スマートフォン1による測定対象Xの特定をオフライン時に実施する場合には、オフライン時に、必要となるデータベースをサーバー100が備える記憶部117からスマートフォン1が備える記憶部17に記憶させておくようにすればよい。これにより、オフライン時であっても、スマートフォン1による測定対象Xの特定を実施することができる。
このような第5実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、サーバー100とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等で構成されるものであってもよい。
さらに、本実施形態では、スマートフォン1が備える制御部60は、前記第1実施形態と同様に、光源制御部601と、分光制御部602と、分光画像取得部603と、分析処理部604と、表示制御部605とを備えることとしたが、これらのうちの少なくとも1つは、サーバー100が有する制御部160が備えるものであってもよい。
<<第6実施形態>>
次に、本発明の情報システムの第6実施形態について説明する。
図15は、本発明の情報システムの第6実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
以下、第6実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図15に示す第6実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらにサーバー100を独立して備えること以外は、前記第1実施形態の情報システムと同様である。すなわち、第6実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、サーバー100とを有している。
第6実施形態の情報システムでは、図15に示すように、スマートフォン1は、記憶部および制御部60における分析処理部を有しておらず、これに対して、スマートフォン1は、さらに、送受信部19を有しており、また、制御部60において、この送受信部19の作動を制御する送受信制御部606を有している。
また、サーバー100は、記憶部117と、送受信部119と、制御部160とを有し、制御部160は、記憶部117および送受信部119の作動を、それぞれ、制御するデータ取得部161および送受信制御部162と、測定対象Xの特定を行う分析処理部163とを有している。
このような本実施形態の情報システムにおいて、スマートフォン1における記憶部の配置が省略され、これに代えて、サーバー100が記憶部117を備えている。この記憶部117は、前記第1実施形態のスマートフォン1が備える記憶部17と同様に、各種データが記憶されている。
また、スマートフォン1が備える制御部60における分析処理部の配置が省略され、これに代えて、サーバー100が備える制御部160が分析処理部163を備えている。この分析処理部163は、前記第1実施形態のスマートフォン1が備える分析処理部604と同様に、測定対象Xの分光スペクトルすなわち分光情報と、データベースとを比較することで、測定対象Xの特定を実施する。
そして、スマートフォン1が備える送受信部19と、サーバー100が備える送受信部119とは、各種データの受け渡しを実施する。具体的には、例えば、送受信部19は、スマートフォン1で取得した測定対象Xが有する固有の分光情報すなわち分光スペクトルを送受信部119に送信し、サーバー100から送受信部119を介して測定対象Xの特定された結果を受信する。また、送受信部119は、スマートフォン1で取得した測定対象Xが有する固有の分光情報すなわち分光スペクトルを、スマートフォン1から送受信部19を介して受信し、スマートフォン1に、送受信部19を介して、測定対象Xの特定された結果を送信する。なお、送受信部19と送受信部119との間における各種データの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
また、スマートフォン1が制御部60において備える送受信制御部606は、送受信部19の作動を制御して、分光画像取得部603で取得した、測定対象Xの分光スペクトルすなわち分光情報を、送受信部119を介して、サーバー100が備える分析処理部163に送信する。そして、分析処理部163は、データ取得部161の作動を制御することにより記憶部117に記憶されたデータベースを取得し、その後、分光情報とデータベースとを比較することで、測定対象Xの特定を行う。
さらに、サーバー100が制御部160において備える送受信制御部162は、送受信部119の作動を制御して、送受信部19を介して、サーバー100からスマートフォン1に、分析処理部163による測定対象Xの特定された結果を受け渡す。
かかる構成の第6実施形態の情報システムでは、情報システムが情報端末であるスマートフォン1単独で完結することなく、さらに、サーバー100を備え、このサーバー100が有する記憶部117において、データベースが保存される。そして、サーバー100が有する分析処理部163において、このデータベースに基づいて測定対象Xの特定が行われ、その後、送受信部19、119を介してスマートフォン1に、測定対象Xの特定された結果が送信されるようになっている。これにより、スマートフォン1が備える記憶部に大量のデータを記憶させる必要がなくなり、さらに、スマートフォン1に、大きな計算負荷を掛ける必要がなくなると言う利点が得られる。また、分析処理部163を処理能力に優れたものとし、さらに、記憶部117に記憶されるデータベースの情報量をより詳細なものとすることで、より高精度に測定対象Xを特定することが可能となる。
また、情報システムが、複数のスマートフォン1を備える場合、データベースの共有化を図ることができる。さらに、サーバー100の記憶部117が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン1で利用するデータベースを最新のものとし得る。
このような第6実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、サーバー100とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等で構成されるものであってもよい。
さらに、本実施形態では、スマートフォン1が備える制御部60は、前記第1実施形態と同様に、光源制御部601と、分光制御部602と、分光画像取得部603と、表示制御部605とを備えることとしたが、これらのうちの少なくとも1つは、サーバー100が有する制御部160が備えるものであってもよい。
以上、本発明の情報システムおよび特定方法を、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
例えば、本発明の情報システムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
また、本発明の情報システムでは、前記第1~第6実施形態で示した任意の2以上の構成を組み合わせるようにしてもよい。
また、本発明の特定方法において、任意の工程が追加されたものであってもよい。
1…スマートフォン、10…分光計測部、15…表示部、16…入力部、17…記憶部、18…外部表示部、19…送受信部、21…撮像素子、31…光源、41…分光部、45…静電アクチュエーター、51…回路基板、52…回路基板、60…制御部、70…ディスプレイ、81…第1分光部側光学系、83…第1撮像素子側光学系、100…サーバー、117…記憶部、119…送受信部、160…制御部、161…データ取得部、162…送受信制御部、163…分析処理部、410…固定基板、411…固定反射膜、412…固定電極、413…溝、414…接合膜、415…反射膜設置部、420…可動基板、421…可動反射膜、422…可動電極、423…溝、425…反射膜設置部、601…光源制御部、602…分光制御部、603…分光画像取得部、604…分析処理部、605…表示制御部、606…送受信制御部、811…入射レンズ、812…投射レンズ、831…入出射レンズ、X…測定対象

Claims (11)

  1. 測定すべき対象が有する固有の分光情報を取得するための条件を入力する入力部と、
    撮像素子を備え、前記対象が有する固有の分光情報を取得する分光計測部と、
    前記分光計測部の作動を制御する制御部と、
    前記対象が有する固有の分光情報を含む複数の分光情報を含むデータベースが記憶された記憶部と、
    前記対象と前記分光計測部との一方に対する他方の加速度を検出する加速度センサーと、を備え、
    前記分光計測部は、前記制御部の制御により、前記対象が有する固有の分光情報を、前記対象を特定することができる特定の波長領域において、優先的に取得し、
    前記分光計測部は、前記加速度センサーにより第1閾値以上の加速度が検出された場合と、前記撮像素子で検知される光強度に第2閾値以上の変化が認められた場合との少なくとも一方を満たす場合に、前記対象が有する固有の分光情報の取得を中止することを特徴とする情報システム。
  2. 前記分光計測部は、前記対象が有する固有の分光情報を、前記対象を特定することができる特定の波長領域において、選択的に取得する請求項1に記載の情報システム。
  3. 前記対象が有する固有の分光情報は、前記対象を特定することができる特定の波長領域に応じた優先度を有し、
    前記分光計測部は、前記制御部の制御により、前記優先度にしたがって、前記対象が有する固有の分光情報を順次取得する請求項1に記載の情報システム。
  4. 前記対象が有する固有の分光情報と、予め記憶された前記データベースとを比較することで、前記対象の特定を行う分析処理部を備える請求項1ないし3のいずれか1項に記載の情報システム。
  5. 特定された前記対象の情報を表示する表示部を備える請求項に記載の情報システム。
  6. 当該情報システムは、前記対象の種類を特定し、特定した前記対象の画像、前記種類および詳細な説明のうちの少なくとも1つを前記表示部に表示する請求項に記載の情報システム。
  7. 当該情報システムは、情報端末で構成されており、
    前記情報端末は、前記入力部と、前記分光計測部と、前記制御部と、前記記憶部と、前記加速度センサーと、を備える請求項1ないしのいずれか1項に記載の情報システム。
  8. 当該情報システムは、前記入力部と、前記分光計測部と、前記制御部と、前記記憶部と、前記加速度センサーと、を備える情報端末と、前記情報端末と独立して設けられた外部表示部とを有する請求項1ないしのいずれか1項に記載の情報システム。
  9. 当該情報システムは、情報端末とサーバーとを有し、
    前記情報端末は、前記入力部と、前記分光計測部と、前記制御部と、前記加速度センサーと、を備え、
    前記サーバーは、前記記憶部を備える請求項1ないしのいずれか1項に記載の情報システム。
  10. 当該情報システムは、情報端末とサーバーとを有し、
    前記情報端末は、前記入力部と、前記分光計測部と、前記制御部と、前記加速度センサーと、を備え、
    前記サーバーは、前記記憶部と、前記分析処理部と、を備える請求項に記載の情報システム。
  11. 測定すべき対象が有する固有の分光情報を取得するための条件に基づいて、撮像素子を備え、前記対象が有する固有の分光情報を取得する分光計測部により、前記対象が有する固有の分光情報を取得し、取得した前記対象が有する固有の分光情報と、予め用意したデータベースとを比較することで、前記対象の特定を行う特定方法であって、
    前記対象が有する固有の分光情報を、前記対象を特定することができる特定の波長領域において、優先的に取得し、
    前記対象と前記分光計測部との一方に対する他方の加速度として第1閾値以上の加速度が検出された場合と、前記撮像素子で検知される光強度に第2閾値以上の変化が認められた場合との少なくとも一方を満たす場合に、前記対象が有する固有の分光情報の取得を中止することを特徴とする特定方法。
JP2019013572A 2019-01-29 2019-01-29 情報システムおよび特定方法 Active JP7196640B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019013572A JP7196640B2 (ja) 2019-01-29 2019-01-29 情報システムおよび特定方法
CN202010072586.8A CN111487204B (zh) 2019-01-29 2020-01-21 信息系统及确定方法
US16/774,101 US11232597B2 (en) 2019-01-29 2020-01-28 Information system and identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019013572A JP7196640B2 (ja) 2019-01-29 2019-01-29 情報システムおよび特定方法

Publications (2)

Publication Number Publication Date
JP2020122681A JP2020122681A (ja) 2020-08-13
JP7196640B2 true JP7196640B2 (ja) 2022-12-27

Family

ID=71732746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019013572A Active JP7196640B2 (ja) 2019-01-29 2019-01-29 情報システムおよび特定方法

Country Status (3)

Country Link
US (1) US11232597B2 (ja)
JP (1) JP7196640B2 (ja)
CN (1) CN111487204B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020201111A1 (de) 2020-01-30 2021-08-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln eines Spektrums und zum Erkennen einer Abstandsveränderung zwischen einer Spektrometereinrichtung und einem Messobjekt beim Erzeugen des Spektrums und Spektrometereinrichtung zum Ermitteln eines Spektrums und zum Erkennen einer Abstandsveränderung zwischen der Spektrometereinrichtung und einem Messobjekt beim Erzeugen des Spektrums
JP7189585B1 (ja) 2022-02-07 2022-12-14 国立大学法人北海道大学 情報処理システムおよび分光計測器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002303549A (ja) 2001-04-03 2002-10-18 Nec Soft Ltd 分光反射率測定用シート及び分光反射率測定方法並びに分光反射率測定制御用プログラム
JP2005267609A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム
JP2007148864A (ja) 2005-11-29 2007-06-14 Nikon Corp 情報検索システムおよび照明装置
WO2013132734A1 (ja) 2012-03-07 2013-09-12 ソニー株式会社 観測装置、観測プログラム及び観測方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363366B1 (en) * 1998-08-31 2002-03-26 David L. Henty Produce identification and pricing system for checkouts
JP4144389B2 (ja) * 2003-03-14 2008-09-03 オムロン株式会社 光学式膜計測装置
JP2008152713A (ja) 2006-12-20 2008-07-03 Nikon Corp 電子図鑑
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
GB201216818D0 (en) * 2012-09-20 2012-11-07 Bae Systems Plc Detection of a target in a scene
US20170026588A1 (en) * 2014-05-01 2017-01-26 Rebellion Photonics, Inc. Dual-band divided-aperture infra-red spectral imaging system
CA3177264A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP6467801B2 (ja) * 2014-07-31 2019-02-13 セイコーエプソン株式会社 分光画像取得装置、及び受光波長取得方法
US9921105B2 (en) * 2015-02-05 2018-03-20 International Business Machines Corporation Mobile cellular spectroscopy
EP3184976A1 (en) * 2015-12-23 2017-06-28 IMEC vzw User device comprising a camera and a spectrometer module
JP2017203658A (ja) 2016-05-10 2017-11-16 住友電気工業株式会社 検査方法及び光学測定装置
CN106290238A (zh) * 2016-08-09 2017-01-04 西北农林科技大学 一种基于高光谱成像的苹果品种快速鉴别方法
EP3361235A1 (en) * 2017-02-10 2018-08-15 VoxelGrid GmbH Device and method for analysing objects
US9756324B1 (en) * 2017-04-10 2017-09-05 GELT Inc. System and method for color calibrating an image
CN107860473A (zh) * 2017-10-25 2018-03-30 暨南大学 一种基于云数据的智能手持光谱仪
US10713621B2 (en) * 2018-10-05 2020-07-14 Simbe Robotics, Inc. Method for tracking and characterizing perishable goods in a store

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002303549A (ja) 2001-04-03 2002-10-18 Nec Soft Ltd 分光反射率測定用シート及び分光反射率測定方法並びに分光反射率測定制御用プログラム
JP2005267609A (ja) 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd デジタル図鑑システム、図鑑検索方法、及び図鑑検索プログラム
JP2007148864A (ja) 2005-11-29 2007-06-14 Nikon Corp 情報検索システムおよび照明装置
WO2013132734A1 (ja) 2012-03-07 2013-09-12 ソニー株式会社 観測装置、観測プログラム及び観測方法

Also Published As

Publication number Publication date
CN111487204A (zh) 2020-08-04
US20200242808A1 (en) 2020-07-30
CN111487204B (zh) 2023-08-29
US11232597B2 (en) 2022-01-25
JP2020122681A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
CN105009568B (zh) 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质
US20180314877A1 (en) Synchronization of image data from multiple three-dimensional cameras for image recognition
CA3026545C (en) Information search system and information search program
US20130229646A1 (en) Component analyzer
JP7196640B2 (ja) 情報システムおよび特定方法
US10863105B1 (en) High dynamic range imaging for event detection and inventory management
US11354885B1 (en) Image data and simulated illumination maps
EP2255247A1 (en) Calibration camera with spectral depth
EP3931548A1 (en) Multi-spectral fluorescent imaging
TW202113674A (zh) 用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法
JP6981618B2 (ja) 色柄判別プローブ、色柄判別装置
JP7238390B2 (ja) 情報システムおよび特定方法
JP7287138B2 (ja) 画像処理方法、画像処理装置および情報システム
US20220319149A1 (en) System and method for object recognition under natural and/or artificial light
KR20190010576A (ko) 정보 탐색 시스템 및 방법, 정보 탐색 프로그램
CA3140449A1 (en) System and method for object recognition using 3d mapping and modeling of light
CA3140195A1 (en) System and method for object recognition using fluorescent and antireflective surface constructs
US20200382688A1 (en) Display method, display device, and information system
JP2020085842A (ja) 分光カメラおよび電子機器
CN106164988B (zh) Pos终端、信息处理设备、白平衡调节方法以及记录介质
JP2021036644A (ja) 画像処理方法、画像処理装置および情報システム
JP2020194051A (ja) 表示装置および再生方法
US10664962B1 (en) Determining direction of illumination
US11079274B2 (en) Spectroscopic system
TWI739185B (zh) 光譜照相裝置與方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7196640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150