WO2019187277A1 - 情報探索システム及びプログラム - Google Patents

情報探索システム及びプログラム Download PDF

Info

Publication number
WO2019187277A1
WO2019187277A1 PCT/JP2018/039469 JP2018039469W WO2019187277A1 WO 2019187277 A1 WO2019187277 A1 WO 2019187277A1 JP 2018039469 W JP2018039469 W JP 2018039469W WO 2019187277 A1 WO2019187277 A1 WO 2019187277A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
subject
target event
association
detection algorithm
Prior art date
Application number
PCT/JP2018/039469
Other languages
English (en)
French (fr)
Inventor
直樹 野呂
洋平 高良
史識 安藤
Original Assignee
エバ・ジャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エバ・ジャパン株式会社 filed Critical エバ・ジャパン株式会社
Priority to KR1020187034501A priority Critical patent/KR102222913B1/ko
Priority to AU2018415972A priority patent/AU2018415972A1/en
Priority to US16/309,921 priority patent/US10846325B2/en
Priority to CN201880002236.5A priority patent/CN110637224A/zh
Priority to SG11202008391VA priority patent/SG11202008391VA/en
Priority to CA3026545A priority patent/CA3026545C/en
Priority to EP18811128.0A priority patent/EP3572793A4/en
Priority to RU2018143650A priority patent/RU2734870C2/ru
Priority to IL277615A priority patent/IL277615B1/en
Publication of WO2019187277A1 publication Critical patent/WO2019187277A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • G01J2003/2873Storing reference spectrum

Definitions

  • the present invention provides an information search system suitable for automatically searching for detection algorithm information for acquiring spectrum data necessary for discriminating a target event from a subject and various shooting conditions of a shooting apparatus for shooting the spectrum data. And programs.
  • a spectral imaging apparatus that discriminates a desired event with respect to a subject by spectrally analyzing a captured image of the subject for each wavelength.
  • a spectral imaging device is a high-wavelength-resolved spectroscopic information (hereinafter referred to as hyperspectral data) that can be spectrally separated over several tens of bands with a wavelength resolution of 0.1 nm to 100 nm in the wavelength range from ultraviolet to visible and further to infrared. ) Can be obtained.
  • hyperspectral data high-wavelength-resolved spectroscopic information
  • it is possible to analyze, for example, food freshness, building structure defects, plant photosynthesis, chemical elements contained in minerals, moisture and stains on the skin with high accuracy. It becomes. That is, according to the spectrum imaging apparatus, it is possible to detect not only the subject but also the target event in the subject, instead of simply capturing only the subject.
  • Patent Documents 1 and 2 Examples of spectral imaging devices that can acquire such hyperspectral data are disclosed in Patent Documents 1 and 2, for example.
  • Patent Document 1 discloses a spectrum imaging apparatus that uses a tumor site in a human body as a target event. According to the technology disclosed in Patent Document 1, a tumor site and a non-tumor site are identified by performing detection while focusing on the fluorescence wavelength corresponding to the component accumulated in the cancer cell.
  • Patent Document 2 discloses an information processing apparatus for determining whether or not a subject is a fruit.
  • a reference feature amount of the fruit is acquired in advance, and it is determined whether or not the subject is a fruit based on a comparison with the feature amount of the spectral image of the actually captured subject. These reference feature amounts are all based on spectrum data.
  • the detection algorithm for obtaining the spectrum data of the tumor site in the human body mentioned above pays attention to the fact that protoporphyrin IX accumulated in cancer cells emits fluorescence of 635 nm, and photoprotoporphyrin emits fluorescence of 675 nm. Therefore, a detection algorithm capable of detecting these fluorescences is assembled. In constructing such a detection algorithm, it is necessary to have technical knowledge such as what is the component accumulated in these cancer cells and what wavelength of fluorescence is emitted, and furthermore, only these fluorescence is accurately detected. A lot of time and effort are required for various studies to extract well and identify accurately.
  • Patent Documents 1 to 3 do not specifically disclose a technique for acquiring an optimal detection algorithm according to a target event of a subject.
  • Patent Documents 1 to 3 do not particularly disclose a technique for updating the detection algorithm based on the latest acquired external environment.
  • the detection accuracy can be improved by referring to the spectrum data of the subject imaged under the conventional detection algorithm.
  • no technique has been proposed for referring to the spectral data of the subject imaged under such a conventional detection algorithm, including the techniques disclosed in Patent Documents 1 to 3 described above.
  • the present invention has been devised in view of the above-described problems, and the object of the present invention is to automatically detect detection algorithm information for obtaining spectrum data necessary for discriminating a target event from a subject. It is an object of the present invention to provide an information search system and program that can be updated based on the latest external environment from which the detection algorithm has been acquired.
  • An information search system to which the present invention is applied is an information search system that searches for detection algorithm information of spectrum data necessary for discriminating a target event from a photographed subject.
  • a first association database in which three or more levels of first associations are stored in advance, target event input means for inputting information relating to a target event of a subject to be newly determined, and stored in the first association database.
  • a search means for searching for one or more detection algorithm information based on information about the target event input through the target event input means with reference to the first association degree, and a photographing terminal that has photographed the subject
  • Receiving means for receiving information relating to the target event of the photographed subject, wherein the first association database comprises: And updates the first association degree based on the information received by the serial receiver.
  • An information search system to which the present invention is applied is an information search system that searches for detection algorithm information of spectrum data necessary for discriminating a target event from a photographed subject.
  • a first association database in which three or more levels of first associations are stored in advance, target event input means for inputting information relating to a target event of a subject to be newly determined, and stored in the first association database.
  • a search means for searching for one or more detection algorithm information based on the information related to the target event input through the target event input means with reference to the first association degree, and the detection searched by the search means From the imaging terminal that captured the subject based on the algorithm information, information on the target event of the captured subject
  • Receiving means for receiving all the multispectral data, and data restoring means for restoring the hyperspectral data based on the multispectral data received by the receiving means, wherein the first association database is obtained by the data restoring means.
  • the first association degree is updated based on the restored spectrum data.
  • An information search system to which the present invention is applied is an information search system for searching for shooting conditions of a shooting device for discriminating a target event from a shot subject, and includes three or more stages of each target event of a subject and each shooting condition.
  • a search unit that searches for one or more shooting conditions, and a shooting terminal that has shot the subject
  • Receiving means for receiving information related to the target event, and the second linkage database is configured to receive the second linkage database based on the information received by the receiving means. And updates the degree.
  • An information search system to which the present invention is applied is an information search system for searching for shooting conditions of a shooting device for discriminating a target event from a shot subject, and includes three or more stages of each target event of a subject and each shooting condition.
  • a search means for searching for one or more shooting conditions based on information relating to the target event input through the target event input means with reference to the association degree, and a subject based on the shooting conditions searched by the search means
  • Receiving means for receiving multispectral data as information relating to a target event of the photographed subject from the photographing terminal that photographed the image, and the receiving means
  • Data restoration means for restoring hyperspectral data based on the received multispectral data
  • the second association database updates the second association degree based on the spectrum data restored by the data restoration means. It is characterized by doing.
  • An information search program to which the present invention is applied is an information search program for searching detection algorithm information of spectrum data necessary for discriminating a target event from a photographed subject.
  • An association degree acquisition step for acquiring three or more stages of first association degrees in advance, an objective event input step for inputting information on a target event of a subject to be newly determined, and the first association degree acquired in the association degree acquisition step
  • a search step for searching for one or more detection algorithm information based on the information related to the target event input in the target event input step with reference to the association degree, and from the imaging terminal that captured the subject,
  • a receiving step for receiving information on the target event, and The flop, characterized in that to perform the updating of the first linkage degree based on the information received in the receiving step to the computer.
  • An information search program to which the present invention is applied is an information search program for searching detection algorithm information of spectrum data necessary for discriminating a target event from a photographed subject.
  • An association degree acquisition step for acquiring three or more stages of first association degrees in advance, an objective event input step for inputting information on a target event of a subject to be newly determined, and the first association degree acquired in the association degree acquisition step
  • a search step for searching for one or more detection algorithm information based on information related to the target event input in the target event input step with reference to the association degree, and a subject based on the detection algorithm information searched in the search step From the shooting terminal that took the picture, Receiving a multi-spectral data as information to be received, and a data restoring step for restoring hyperspectral data based on the multi-spectral data received in the receiving step.
  • the data restoring The computer is caused to update the first association degree based on the spectrum data restored in the step.
  • An information search program to which the present invention is applied is an information search program for searching for shooting conditions of a shooting device for discriminating a target event from a shot subject, and includes three or more stages of each target event of a subject and each shooting condition.
  • the association degree acquisition step for acquiring the second association degree in advance
  • the objective event input step for inputting information related to the objective event of the subject to be newly determined
  • the second association degree acquired in the association degree acquisition step .
  • a reception step for receiving, and in the step of acquiring the association degree, the information is received based on the information received in the reception step. There is characterized by causing the computer to execute updating the second linkage degree.
  • An information search program to which the present invention is applied is an information search program for searching for shooting conditions of a shooting device for discriminating a target event from a shot subject, and includes three or more stages of each target event of a subject and each shooting condition.
  • the association degree acquisition step for acquiring the second association degree in advance
  • the objective event input step for inputting information related to the objective event of the subject to be newly determined, and the second association degree acquired in the association degree acquisition step.
  • a search step for searching for one or more shooting conditions based on the information about the target event input in the target event input step, and a shooting terminal that has shot the subject based on the shooting conditions searched in the search step
  • a receiving step for receiving multispectral data as information relating to a target event of the photographed subject
  • a data restoration step for restoring hyperspectral data based on the multispectral data received in the reception step
  • the association degree obtaining step includes the second association degree based on the spectrum data restored in the data restoration step. It is characterized by having a computer perform updating.
  • the present invention having the above-described configuration, it is possible to easily acquire optimal detection algorithm information of spectrum data corresponding to a target event of a subject to be determined. For this reason, each time new target events of a subject are born one after another, it is possible to reduce the burden of labor for studying an optimal detection algorithm, and to shorten the time.
  • the detection algorithm in the process of updating the detection algorithm, can be optimized by referring to the spectral data of the subject imaged under the conventional detection algorithm. As a result, the detection accuracy can be improved.
  • FIG. 6 is a data flow diagram from input of a target event of a subject to acquisition of imaging conditions of the imaging apparatus. It is a figure which shows the example of the information search system which provided the feedback loop.
  • FIG. 1 is a block diagram showing the overall configuration of an information search system 1 to which the present invention is applied.
  • the information search system 1 searches for detection algorithm information to be provided to the spectrum imaging device 4.
  • the information search system 1 is connected to the algorithm database 3, the search device 2 connected to the algorithm database, and the search device 2.
  • a spectral imaging device 4 and an imaging device 5 are provided.
  • the algorithm database 3 is a database related to detection algorithm information to be provided to the spectral imaging device 4.
  • the algorithm database 3 is a database related to shooting conditions of the shooting device 5.
  • the algorithm database 3 stores information sent via a public communication network or information input by a user of this system.
  • the algorithm database 3 transmits the accumulated information to the search device 2 based on a request from the search device 2.
  • the search device 2 is composed of electronic devices such as a personal computer (PC), for example.
  • the search device 2 is embodied in any other electronic device such as a mobile phone, a smartphone, a tablet terminal, and a wearable terminal. It may be made.
  • FIG. 2 shows a specific configuration example of the search device 2.
  • the search device 2 performs wired communication or wireless communication with a control unit 24 for controlling the entire search device 2 and an operation unit 25 for inputting various control commands via operation buttons, a keyboard, and the like.
  • the internal bus 21 is connected to a display unit 23 as a monitor for actually displaying information.
  • the control unit 24 is a so-called central control unit for controlling each component mounted in the search device 2 by transmitting a control signal via the internal bus 21. Further, the control unit 24 transmits various control commands via the internal bus 21 in accordance with an operation via the operation unit 25.
  • the operation unit 25 is embodied by a keyboard or a touch panel, and an execution command for executing a program is input from the user.
  • the operation unit 25 notifies the control unit 24 of this.
  • the control unit 24 executes a desired processing operation in cooperation with each component including the search unit 27.
  • the search unit 27 searches for detection algorithm information of spectrum data necessary for discriminating a target event from a subject imaged by the spectrum imaging device 4.
  • the search unit 27 reads various information stored in the storage unit 28 as necessary information and various information stored in the algorithm database when executing the search operation.
  • the search unit 27 may be controlled by artificial intelligence. This artificial intelligence may be based on any known artificial intelligence technology.
  • the display unit 23 includes a graphic controller that creates a display image based on control by the control unit 24.
  • the display unit 23 is realized by, for example, a liquid crystal display (LCD).
  • the storage unit 28 When the storage unit 28 is composed of a hard disk, based on the control by the control unit 24, predetermined information is written to each address and is read out as necessary.
  • the storage unit 28 stores a program for executing the present invention. This program is read by the control unit 24 and executed.
  • FIG. 3 shows a configuration example of the spectrum imaging device 4.
  • the spectrum imaging device 4 is configured by a so-called multispectral camera, a camera with a color filter exchange method, or a camera with a prism.
  • the spectrum imaging device 4 captures a subject and further acquires a spectral image therefrom.
  • the spectral imaging device 4 generates a spectral image based on three-dimensional spectral data having two-dimensional spatial information and one-dimensional wavelength information from the two-dimensional spectral data at each photographing position.
  • the spectral image generated by the spectral imaging device 4 is composed of a plurality of two-dimensional images indicating the reflectance or transmittance of the subject for each wavelength.
  • a wavelength resolution of 0.1 nm to 100 nm may be set in a wavelength range of a predetermined wavelength range of 200 nm to 13 ⁇ m, and a spectral image for each band.
  • the wavelength range in the spectral image captured by the spectral imaging device 4 includes not only the visible light region but also light in the infrared region, near infrared region, and ultraviolet region.
  • the spectral imaging apparatus 4 includes an objective lens 41 that takes in light emitted by the imaging target itself, light reflected or transmitted by the subject 10, that is, an imaging lens L from the subject 10, and a Y-axis direction in a three-axis orthogonal coordinate system including XYZ.
  • a precision linear motion stage 42 that moves in the direction of Z, a slit plate 43 for disposing a slit opening 43a provided in the Z-axis direction on the image plane of the objective lens 41, and a light beam that has passed through the slit opening 43a as parallel light.
  • the image sensor 47, the precision linear motion stage 42 and the image sensor 47 are controlled, and image data received via the image sensor 47 And a control unit 48 for performing a seed treatment.
  • the spectrum imaging device 4 may use the technology disclosed in JP-A-2015-166682.
  • the precision linear motion stage 42 moves the slit plate 43, the collimating lens 44, the dispersion optical element 45, the imaging lens 46, and the imaging element 47 integrally in the Y-axis direction under the control of the control unit 48.
  • the dispersion optical element 45 is embodied by, for example, a diffraction grating, a prism, or the like.
  • the dispersion optical element has a function of dispersing the light beam passing through the collimating lens 44 into components for each wavelength.
  • the image sensor 47 is constituted by, for example, a CCD image sensor, a CMOS image sensor, or the like.
  • the imaging element 47 converts light imaged on the imaging surface into an electric signal by photoelectric conversion. Then, the electrical signal converted by the image sensor 47 is transmitted to the control unit 48. If light in the infrared region, near-infrared region, and ultraviolet region is received, an image sensor 47 suitable for the light is provided.
  • FIG. 4 shows a further detailed configuration of the control unit 48.
  • the control unit 48 includes an imaging control unit 481 that controls the timing at which an electric signal is acquired by the image sensor 47, and a movement control unit 482 that controls the movement direction, movement amount, and movement timing of the precision linear motion stage 42 in the Y-axis direction.
  • a spectral data creation unit 483 that creates spectral data based on the electrical signal from the image sensor 47, and an image processing unit 484 that performs various image processing, calibration, and the like based on the spectral data created by the spectral data creation unit 483.
  • some or all of the components of the control unit 48 may be mounted in an independent personal computer (PC).
  • PC personal computer
  • the spectral data creation unit 483 creates two-dimensional spectral data having one-dimensional spatial information and one-dimensional wavelength information based on the electrical signal transmitted from the image sensor 47, and stores this.
  • the spectral data generation unit 483 repeatedly executes these processes, and when imaging at all imaging positions is completed, obtains a hyperspectral image made up of three-dimensional spectral data having two-dimensional spatial information and one-dimensional wavelength information. It becomes possible.
  • the image processing unit 484 converts the spectral image for each wavelength created by the spectral data creation unit 483 into a predetermined color system, performs color calculation processing, and generates a color analysis image. Further, the image processing unit 484 performs processing for displaying the generated color analysis image by a predetermined display method.
  • the image processing unit 484 includes a calibration processing unit 484-1, a calculation unit 484-2, and a color analysis image acquisition unit 484-3.
  • This calibration processing unit 484-1 performs noise removal due to dark current, sensitivity deviation correction processing between pixels, luminance calibration processing, correction of illumination unevenness of light source light in the space, and the like.
  • the calculating unit 484-2 calculates each spectral radiance, each spectral luminance, and the like in the spectral image for each wavelength processed by the calibration processing unit 484-1.
  • the color analysis image acquisition unit 484-3 is a standard set using various parameters calibrated by the calibration processing unit 484-1, each spectral radiance, each spectral luminance, etc. calculated by the calculation unit 484-2. A color space conversion process is performed for conversion to the color system.
  • the color analysis image subjected to the color space conversion processing in the color analysis image acquisition unit 484-3 is sent to a PC or the like (not shown) and drawn on a display or the like.
  • FIG. 5 shows a block configuration example of the photographing apparatus 5.
  • the imaging device 5 includes a general digital camera, a multispectral camera, and any digital camera mounted on a mobile phone, a smartphone, a tablet terminal, or a wearable terminal.
  • the spectral imaging device 4 can detect spectral data in all bands, while the imaging device 5 is limited to a predetermined wavelength region in addition to normal visible light imaging. It is intended to detect.
  • the photographing device 5 includes an imaging optical system 51, a filter 52, an image sensor 53, and a signal processing unit 54.
  • the imaging optical system 51 has at least one imaging lens 56 and collects light from the subject 10 to form an image on the imaging surface of the imaging element 53.
  • the filter 52 is disposed between the subject 10 and the imaging lens 56.
  • the filter 52 is disposed on the path of light that reaches the image sensor 53.
  • the filter 52 is an element having a predetermined spectral transmittance. That is, the filter 52 functions to transmit only light in a preset wavelength region and reflect light in other wavelength regions.
  • the type of the filter 52 is selected according to the wavelength and wavelength width of light that is actually desired to be transmitted.
  • the filter 52 will be described as an example in which the filter 52 is fixedly arranged in advance in the photographing apparatus 5, but is not limited thereto. That is, the filter 52 may be configured to be able to sequentially switch a plurality of filters 52 having different wavelength regions that transmit each other.
  • the image sensor 53 is configured by a CCD image sensor, a CMOS image sensor, or the like.
  • the imaging element 53 converts light imaged on the imaging surface into an electrical signal by photoelectric conversion. Then, the electrical signal converted by the image sensor 53 is transmitted to the signal processing unit 54.
  • the signal processing unit 54 is a circuit that processes an electrical signal sent from the image sensor 53.
  • the signal processing unit 54 generates a spectrally separated image separated for each wavelength range of light from the subject 10 based on the image acquired by the image sensor 53.
  • the signal processing unit 54 may perform various focus controls based on the acquired electrical signal.
  • the search device 2 searches for detection algorithm information to be provided to the spectral imaging device 4 and the imaging device 5 or detection algorithm information to be provided to the imaging device 5.
  • This search process starts when the user himself / herself inputs a target event of a subject to be newly photographed by the spectral imaging device 4 or the photographing device 5.
  • the subject here is a generic term for objects actually photographed by the spectrum imaging device 4 or the imaging device 5, and the target event is an object to be discriminated through the spectrum imaging device 4 or the imaging device 5. Or mean things. For example, when it is desired to distinguish only salt from a mixture of salt and sugar, the subject is a mixture and the target event is salt.
  • the subject when it is desired to discriminate only oil from a mixture of water and oil, the subject is a mixture and the target event is oil.
  • the target event is oil.
  • the subject when it is desired to determine the freshness of sushi, the subject is sushi and the target event is freshness.
  • the subject when it is desired to discriminate a spot on the face, the subject is a face and the target event is a spot.
  • stomach cancer when it is desired to discriminate stomach cancer from the stomach, the subject is the stomach and the target event is stomach cancer.
  • the user manually inputs the target event of the subject through the operation unit 25.
  • text data of a target event of a subject created in an electronic device such as another portable terminal or a PC may be input via the Internet.
  • the target event of the subject transmitted or input in this way is stored in the storage unit 28.
  • the information search program performs wording analysis on the target event of the subject input in step S11 and stored in the storage unit 28. (Step S12).
  • wording analysis any existing text mining technology, data mining technology, language analysis processing technology, or the like may be used.
  • this information search program extracts the character string of the target event of the subject to be analyzed from any grammatical structural unit such as word, morpheme, phrase, clause, etc., in any one or more units.
  • any grammatical structural unit such as word, morpheme, phrase, clause, etc.
  • text data “foot blood vessels” is input as the target event of the subject
  • character strings such as “foot” and “blood vessels” are extracted
  • text data “face moisture” is input.
  • a character string such as “face” or “moisture” is extracted.
  • the information search program specifies the subject and the target event from the extracted character string.
  • the subject is “foot” and “face”
  • the target events are “blood vessel” and “water”. Normally, since the character string constituting the subject is often before the character string constituting the target event, the subject and the target event are specified from the beginning of the extracted character string.
  • the user classifies and inputs “foot” as the subject and “blood vessel” as the target event.
  • the input subject and the character string of the target event are accepted as they are.
  • the information search program moves to step S13 and searches for detection algorithm information having a high degree of association with the character string extracted in step S12.
  • the algorithm database 3 stores a reference target event (hereinafter referred to as a reference target event) and three or more levels of relevance (hereinafter referred to as a first target event) classified into two or more types of detection algorithm information.
  • the degree of association is acquired in advance.
  • the detection algorithm information is an algorithm for detecting spectrum data necessary for judging a target event even if the subject is actually imaged by the spectrum imaging device 4 or the imaging device 5.
  • the spectrum intensity (reflectance) changes greatly when the spectrum intensity is in the wavelength range of 500 nm to 700 nm.
  • it is possible to determine the freshness of the fruit by creating a spectral image in the wavelength range of 500 nm to 700 nm.
  • Specified as a characteristic wavelength is any wavelength range in which such a target event can be identified.
  • any one of the wavelength ranges from 500 nm to 700 nm is specified as the characteristic wavelength.
  • the characteristic wavelength may be specified by one point or a plurality of characteristic wavelengths.
  • 600 nm which is the central wavelength in the above wavelength range (500 nm to 700 nm) may be used, or a wavelength at which the difference value of the spectrum intensity between the spectra is the largest.
  • a convex peak is formed in each spectrum data at a wavelength of about 650 nm.
  • such a singular point may be specified as a characteristic wavelength. This characteristic wavelength may be different for each target event of the subject.
  • a characteristic wavelength range centered on this characteristic wavelength is set.
  • the characteristic wavelength range is configured with a predetermined wavelength range set in advance, such as ⁇ 10 nm. Therefore, if the characteristic wavelength is 500 nm and the characteristic wavelength range is ⁇ 10 nm, the actual spectrum data detection range is 495 to 505 nm. This characteristic wavelength range may be different for each target event of the subject.
  • the detection algorithm information may include various calculation methods.
  • the characteristic wavelength and characteristic wavelength range as the individual explanatory variables x1, x2,.
  • the algorithm database 3 stores such characteristic wavelengths, characteristic wavelength ranges, calculation methods, and calculation formulas that define the calculation wavelengths in association with each other for each target event for reference.
  • the algorithm database 3 may be defined based on three or more levels of first associations between the target event for reference of the subject and the detection algorithm information.
  • FIG. 8 shows a network in which the target event for reference of the subject and the detection algorithm information are related to each other by three or more levels of first association.
  • the freshness of the fruit is the first relation when the characteristic wavelength and the characteristic wavelength range as the detection algorithm information are 970 ⁇ 10 nm, and the first relation is 80%, 1170 ⁇ 10 nm, and 880 ⁇ 15 nm.
  • the first association degree is 40%, and when the calculation method is 455 ⁇ 12 nm, the first association degree is 20%. It is shown that there is.
  • the calculation method is linear at three wavelengths of 630 ⁇ 5 nm, 750 ⁇ 10 nm, and 1250 ⁇ 5 nm as the characteristic wavelength and characteristic wavelength range as detection algorithm information, the moisture content of the hair is 80% first relevance, 970 ⁇ It is shown that the first relevance is 20% when the thickness is 10 nm.
  • the characteristic wavelength and characteristic wavelength range as detection algorithm information is 970 ⁇ 10 nm
  • the first association is 20%, 230 ⁇ 12 nm, 400 ⁇ 5 nm
  • the calculation method is K-means.
  • the first association degree is 40%
  • the first association degree is 80% when the calculation method is cluster analysis at three wavelengths of 547 ⁇ 4 nm, 588 ⁇ 10 nm, and 939 ⁇ 5 nm.
  • This first association degree may be configured by a so-called neural network.
  • the first relevance is selected for determining the target event of the subject, in other words, the compatibility of the detection algorithm information selected for determining the target event of the subject via the spectrum imaging device 4 or the imaging device 5. It shows the accuracy of the detection algorithm information.
  • the detection algorithm for detecting the freshness of the fruit is most compatible when the detection algorithm is 970 ⁇ 10 nm, and that the discrimination can be performed most effectively and with high accuracy. ing.
  • the compatibility is 2 wavelengths of 1170 ⁇ 10 nm and 880 ⁇ 15 nm
  • the calculation method is cluster analysis with 3 wavelengths of 547 ⁇ 4 nm, 588 ⁇ 10 nm and 939 ⁇ 5 nm. In some cases, this is shown to follow in the order of 455 ⁇ 12 nm.
  • the notation method of the target event of the subject is not limited to the above.
  • an object is a composite in which a plastic material is sandwiched between glass plates as an object, and a scratch in the plastic material is used as a reference event.
  • This composite may be composed of, for example, a laminate in which a metal and a resin are laminated in a plurality of layers, or may be composed of a mixture mixed with each other such as sugar and salt. Good.
  • it may be a complex body such as a ceramic matrix composite material in which ceramics is used as a base material and whiskers are added as a second layer.
  • a foreign object in a composite composed of a metal and a foreign object may be used as a reference event.
  • one of the complexes is the reference event for reference.
  • the subject may be composed of a composite made of three or more of glass, plastic material, and ceramics, for example. Reference purpose events will be defined for each of these complexes.
  • the detection algorithm information is linked to this via three or more levels of association. If the subject is composed of a composite of metal and foreign matter, in addition to the characteristic wavelength of the metal, the feature wavelength of the foreign matter and the characteristic wavelength that constitutes the detection algorithm information are taken into account, and the target event for reference is extracted from them. In this case, a suitable condition is examined in advance, and this is linked as the degree of association.
  • the metal may be a mixed crystal state before and after the martensitic transformation, for example, and each phase may be a target event for reference.
  • the subject itself is composed of a single-phase material instead of a composite, but the phase after the change when the single-phase material changes in time series is regarded as a reference event. You may do it.
  • the information search program After shifting to step S13, the information search program performs an operation of selecting one or more detection algorithm information from the character string constituting the target event of the subject extracted in step S12.
  • the detection algorithm information from the character string constituting the target event of the subject extracted in step S12 refer to the first association degree between the target reference event of the subject and the detection algorithm information shown in FIG. To do.
  • the target event of the subject extracted in step S12 is “leaf photosynthesis”, 1357 ⁇ 10 nm having a high first association degree with the “leaf photosynthesis” when the first association degree is referred to.
  • detection algorithm information that is not connected with an arrow may be selected.
  • the calculation method is linear at 1357 ⁇ 10 nm, which is the first association with “photosynthesis of leaves” as a reference event for the subject, and at 630 ⁇ 5 nm, 750 ⁇ 10 nm, and 1250 ⁇ 5 nm.
  • the detection algorithm information that is most suitable for the case where there is a case where the calculation method is linear at 630 ⁇ 5 nm, 750 ⁇ 10 nm, 1250 ⁇ 5 nm, and 970 ⁇ 10 nm, which have the first degree of association with “moisture of hair” May be estimated.
  • 630 ⁇ 5 nm which is the first degree of association common to each other, may be estimated as detection algorithm information of “moisture of leaf”, or “photosynthesis of leaf”, “moisture of hair” Among them, all those having a first association degree of 40% or more may be estimated as detection algorithm information. In addition, for all detection algorithms having “photosynthesis of leaves”, “moisture of hair” and the first association degree exceeding 0%, the wavelengths weighted and averaged by the respective first association degrees are estimated as detection algorithm information. It may be.
  • the target event of the subject extracted in step S12 is “tongue cancer”, such an item does not exist in the reference target event of the subject.
  • “cancer” “stomach cancer” exists as a target event of the past subject, but “tongue” does not exist as a reference event for the subject.
  • estimation may be made based on the past detection algorithm information of “stomach cancer”, or if there is past detection algorithm information about the “lips” or the like of the part close to the “tongue” May be estimated with reference to it.
  • the detection algorithm information when the first association shown in FIG. The case where the wavelength is 230 ⁇ 12 nm and 400 ⁇ 5 nm and the calculation method is K-mens is preferentially selected.
  • the subject extracted in step S12 is, for example, “paper” and the extracted target event is “foreign matter”, the subject that matches this even in the light of the first association shown in FIGS.
  • the “foreign matter” as the reference event is present when the subject is a mixture of “metal” and “foreign matter”.
  • the subject may be a mixture of “metal” and “foreign matter”, and detection algorithm information having a low first association degree when the reference target event is “foreign matter” may be selected. .
  • the selection of the detection algorithm information is not limited to the case where the first association degree is selected in descending order, but is selected in the order of the first association degree from the lowest according to the case. Alternatively, any other priority order may be selected.
  • the selection method of the detection algorithm information for the target event of the subject extracted in step S12 is not limited to the above-described method, and may be executed based on any method that refers to the first association degree. It may be. Further, the search operation in step S13 may be performed using artificial intelligence. In such a case, the first association degree may be regarded as a neural network.
  • step S14 the process proceeds to step S14, and the selected detection algorithm information is displayed via the display unit 23.
  • the user can immediately grasp the detection algorithm information corresponding to the target event of the subject to be determined by visually recognizing the display unit 23.
  • the user sets the detection algorithm of the image processing unit 484 in the spectrum imaging device 4 or sets the detection algorithm of the imaging device 5 based on the output detection algorithm information.
  • the detection algorithm is set by performing color calculation processing (hereinafter, characteristic wavelength calculation) based on the characteristic wavelength in addition to the characteristic wavelength and characteristic wavelength range. For example, when the target event of the subject is “leaf photosynthesis” and 1357 ⁇ 10 nm is selected as the detection algorithm, the characteristic wavelength calculation for displaying red is performed for pixels included in the wavelength range, For the pixels not included in the wavelength, the spectral imaging device 4 and the imaging device 5 are set so as to perform a characteristic wavelength calculation for displaying white.
  • the spectral image capturing device 4 or the image capturing device 5 captures the “leaf” as the subject, thereby detecting the spectral data necessary for determining “photosynthesis” as the target event, and using this as the color analysis image. Can be displayed.
  • the present invention it is possible to easily obtain optimal detection algorithm information of spectrum data according to the target event of the subject to be determined by the spectrum imaging device 4 or the imaging device 5.
  • the burden of labor for studying the optimal detection algorithm can be reduced, and the time can be shortened.
  • the information search system 1 to which the present invention is applied is characterized in that the optimum detection algorithm information is searched through the first association degree set in three or more stages.
  • the first degree of association can be described by a numerical value of, for example, 0 to 100%, but is not limited to this, and it can be described by any level as long as it can be described by a numerical value of three or more levels. Good.
  • the present invention it is possible to make a determination without overlooking detection algorithm information that is extremely low such as 1% of the first association degree. Even if the detection algorithm information has a very low degree of first association, it is connected as a small sign, and it may be useful as detection algorithm information tens or hundreds of times. You can call attention.
  • a search policy can be determined in a manner of setting a threshold by performing a search based on the first degree of association of three or more stages. If the threshold value is lowered, even if the first relevance is 1%, it can be picked up without omission, but a lot of detection algorithm information that has a low possibility of detecting the target event of the subject is picked up. In some cases. On the other hand, if the threshold value is increased, only detection algorithm information that is highly likely to be able to suitably detect the target event of the subject can be narrowed down, but detection algorithm information that displays a suitable solution once every tens or hundreds of times. May be overlooked. It is possible to decide which to place importance on the basis of the idea on the user side and the system side, but it is possible to increase the degree of freedom in selecting points to place such emphasis.
  • the first association degree described above may be updated. That is, the target event for reference of the subject as shown in FIG. 8 and the detection algorithm information are updated as needed.
  • This update may reflect information provided via a public communication network such as the Internet.
  • the first degree of association is determined according to the knowledge. Is raised or lowered. For example, when a detection algorithm having a certain degree of first association with a target event for a certain subject can be detected with high accuracy through many sites on the public communication network, it is set between them. The first degree of association is further increased.
  • the update of the first degree of association is performed by the system side or the user side based on the contents of research data, papers, conference presentations, newspaper articles, books, etc. by experts other than based on information obtainable from the public communication network. It may be updated artificially or automatically. Artificial intelligence may be used in these update processes.
  • the search device 2 may search for shooting conditions to be provided to the shooting device 5.
  • the information search program searches for an imaging condition having a high degree of association with the acquired target event.
  • the algorithm database 3 obtains in advance the second association degree between the reference purpose event and the imaging condition as shown in FIG.
  • the imaging conditions referred to here are information on illumination light including the wavelength, illumination angle, brightness, conditions of a polarization filter provided in the illumination light, and spectrum imaging at the time of imaging by the spectrum imaging device 4 or the imaging device 5.
  • Various imaging system parameters such as black balance and gain, and hardware parameters are also included.
  • the detection algorithm information in addition to the above-described characteristic wavelength, characteristic wavelength range, and calculation method, the above-described parameters may be added. Each parameter described above may be defined as one condition for obtaining the above-described characteristic wavelength or characteristic wavelength range.
  • the ranking is classified into several types such as 96-120 dpi, 120-144 dpi, 144-192 dpi.
  • the first association degree may be associated with each rank.
  • such a photographing condition includes “white balance OO”, a combination of “lens arrangement P” and “filter W”, “filter Q”, “filter R” and “illumination light”.
  • a combination of “angle OO °”, a combination of “filter S” and “spatial resolution 133-140 dpi”, “exposure time XX ns or more”, “exposure time XX ns”, or the like is set.
  • This imaging condition may be composed of a combination of a plurality of factors, or may be composed of a single factor. Also, the same shooting condition of “exposure time” is classified into “exposure time of OOns or more” and “exposure time of less than OOns”, and the second association degree is associated with each. Good.
  • the “filter Q” has, for example, a transmission wavelength of the filter of 600 to 650 nm
  • the “filter R” has, for example, a transmission wavelength of the filter of 340 to 400 nm
  • the “filter S” has, for example, the transmission wavelength of the filter.
  • Detailed conditions such as 1000 to 1100 nm are assigned.
  • the object reference event of the subject and the shooting conditions are associated with each other through the first degree of association.
  • filter Q is associated with “fruit freshness” at a second association degree of 80%
  • white balance OO is associated with a second association degree of 20%.
  • the “hair moisture” is associated with the combination of “filter S” and “spatial resolution 133-140 dpi” at the second association degree of 100%, and for the combination of “lens arrangement P” and “filter W”.
  • the second association is 40%.
  • “Leaf photosynthesis” is associated with “white balance OO” with a second association degree of 60%, and “less than exposure time OOns” with a second association degree of 20%.
  • “Stomach cancer” is associated with the combination of “lens arrangement P” and “filter W” with a second association degree of 80%, and the second association with “filter S” and “spatial resolution 133-140 dpi”. Associated with a degree of 40%.
  • “Glass defect” is associated with “filter R, illumination light angle OO °” with a second association degree of 100%, and with “exposure time of OOns or more” with a second association degree of 20%. Associated.
  • This second relevance is the compatibility of the photographing conditions in the photographing apparatus 5 in making a determination based on each reference purpose event.
  • the reference purpose event and thus the object purpose to be determined by this
  • the combination of “lens arrangement P” and “filter W” is the most compatible as the imaging condition for “stomach cancer”, so that the most effective and highly accurate discrimination is possible. It has been shown to be. It is shown that the imaging condition for “stomach cancer” is followed by “filter S” and “spatial resolution 133-140 dpi”.
  • the above-described reference event is stored in association with each other through the second association degree for each of these imaging conditions.
  • the information search program may refer to the second relevance shown in FIG. 10 when searching for a shooting condition highly compatible with the newly input target event. For example, when the newly input target event is “hair moisture”, when the second association degree described above is referred to, the reference detection algorithm information corresponding to the second association degree and the “filter” having the second association degree are high. “S” and “Spatial resolution 133-140 dpi” are selected as shooting conditions. A combination of the “lens arrangement P” and the “filter W”, which has a low second association degree but is slightly recognized, may be selected as an imaging condition. Similarly, when the newly input target event is “stomach cancer”, a combination of “lens arrangement P” and “filter W” is selected.
  • the selection of the shooting condition is not limited to the case where the second association degree is selected in order from the highest second association degree, and the second association degree is low depending on the case.
  • the items may be selected in order, or may be selected in any other priority order.
  • FIG. 11 shows an example in which shooting conditions for a combination of a reference event and a shooting condition for reference are associated with each other by three or more second relevance levels.
  • the reference shooting conditions are configured by the same items as the above-described shooting conditions.
  • the second degree of association shown in FIG. 11 is an example in the case where a part of the imaging condition is input as known information in addition to the target event via the operation unit 25. In other words, the target event and part of the shooting conditions have already been determined, but the remaining shooting conditions cannot be determined.
  • reference event and reference shooting conditions are arranged on the left side through the second association degree, and shooting conditions to be actually searched are arranged on the right side through the second association degree. Yes.
  • the node of these combinations has “white balance OO” having a first association degree of 70% and “exposure” “Time xx ns or more” is assumed to be the second association 40%.
  • the reference shooting condition is “filter S”, “shutter speed XX seconds”, and the reference target event is “leaf photosynthesis”, the node of these combinations is “white balance XX”. Is the second association degree 60%, and “less than the exposure time OOns” is the second association degree 40%.
  • the information search program displays the selected shooting conditions via the display unit 23 of the search device 2.
  • the user can immediately grasp the imaging conditions corresponding to the detection algorithm information by visually recognizing the display unit 23.
  • Artificial intelligence may also be used for the shooting condition search operation. That is, the second association degree may be configured by a neural network.
  • the user designs the imaging optical system 51, the filter 52, the imaging element 53, the signal processing unit 54, and the like in the imaging device 5 based on the output imaging conditions, or sets the illumination light conditions. Alternatively, various conditions regarding photographing are determined. In addition, the user designs each component of the spectrum imaging device 4 or determines each condition based on the output photographing condition.
  • the known photographing conditions may be automatically extracted.
  • the means for extracting the photographing conditions is, for example, a device that reads and analyzes electronic data of manuals related to the spectrum imaging device 4 and the photographing device 5 to be used and information posted on the Internet via a text mining technique. It may be implemented by a PC or the like. Information relating to the shooting conditions may be extracted from the analyzed information and input as the above-described known shooting conditions.
  • a device for measuring the actual exposure time by the spectral imaging device 4 or the imaging device 5 may be used, or the spectral imaging device 4 or The photographing apparatus 5 may be directly connected to the PC and the set exposure time may be read.
  • FIG. 12 shows a data flow from input of a target event of a subject to acquisition of shooting conditions of the shooting device 5.
  • the input information includes the target event of the subject, the wavelength of the illumination light that is the illumination system parameter, the illumination angle of the illumination light that illuminates the subject, the brightness of the illumination light, and the spectrum that is the imaging system parameter. These are the wavelength range, wavelength resolution, spatial resolution, spectral wavelength sensitivity, polarization filter, and the like of the imaging device 4 and the imaging device 5.
  • hardware parameters may also be input.
  • the detection algorithm information including the characteristic wavelength and the characteristic wavelength range and the photographing condition are searched by referring to the first association degree described above.
  • the detection algorithm information obtained in this way refers to past data stored in the algorithm database 3 based on illumination system parameters and imaging system parameters in addition to the input object event of interest. Then, algorithm information and photographing conditions that are most suitable for photographing the subject by the spectral imaging device 4 and the photographing device 5 are selected.
  • step S11 instead of receiving an input of a target event of a subject, an input of detection algorithm information may be received.
  • step S13 by referring to the first association degree based on the detection algorithm information that has received this input, the object event of the subject is searched reversely. That is, the relationship between the input and the output in FIGS. 8 and 9 is replaced with the above-described mode, the input is the detection algorithm information, and the output is the target event of the subject.
  • the salt in the mixture is the target event of the subject. It is possible to determine that there is a high possibility.
  • the information search system 1 to which the present invention is applied may be provided with a feedback loop as shown in FIG.
  • the algorithm database 3 receives information from the spectral imaging device 4 and the imaging device 5 that photographed the subject 9.
  • the spectrum imaging device 4 and the imaging device 5 acquire detection algorithm information searched by the search device 2 based on the method described above.
  • the spectrum imaging device 4 and the imaging device 5 actually capture the subject 9 based on the detection algorithm information.
  • the subject 9 as the shooting target corresponds to the subject 9 input in S11, and the shooting purpose corresponds to detecting the target event input in step S11. That is, it is assumed that the detection of the photosynthesis of the leaf is input as the target event of the subject in step S11 described above, and the detection algorithm searched in step S13 is suitable for detecting the photosynthesis of the leaf. In such a case, the detected detection algorithm is input to the spectral imaging device 4 and the imaging device 5. Then, the leaves as the subject 9 are photographed through the spectrum imaging device 4 and the photographing device 5 by the input detection algorithm, and an attempt is made to detect photosynthesis.
  • the spectrum imaging device 4 and the imaging device 5 transmit the spectrum data obtained by imaging the subject 9 to the algorithm database 3.
  • the algorithm database 3 updates the first association degree based on such spectrum data.
  • a detection algorithm having a characteristic wavelength of 1357 ⁇ 10 nm is searched for the photosynthesis of the object 9 as a target event, and based on this, a leaf as the object 9 is actually photographed. If the spectral data is suitable for expressing leaf photosynthesis, the detection algorithm is appropriate, and it is determined that the accuracy of the first relevance for searching for this is high, and updating is particularly important. do not do. On the other hand, if the obtained spectrum data does not properly represent the photosynthesis of the leaves, the detection algorithm is inappropriate, and it is determined that there is room for improvement in the accuracy of the first association for searching for this. And this will be updated.
  • the formation of the first relevance shown in FIG. 8 is not limited to so-called supervised learning in which learning is performed by inputting a known object reference event and a detection algorithm. You may make it form this based on nothing learning. In such a case, the obtained data may be classified by clustering, and the first association degree may be formed based on the classification.
  • It may be determined, for example, based on spectrum data whether or not the photosynthesis of leaves as the target event can be suitably expressed. In such a case, the determination may be made based on the intensity of the spectrum in each wavelength region.
  • FIG. 14 (a) a case where the presence or absence of photosynthesis is determined based on the intensity of the spectrum in the wavelength range of 1347 to 1367 nm as an example of the detection algorithm will be described.
  • FIG. 14B a result of imaging the leaves as the subject through the imaging device 5
  • FIG. 14C a relatively large amount of photosynthesis is detected, and the peak of the spectrum is high in the wavelength range of 1347 to 1367 nm.
  • FIG. 14C photosynthesis is not detected so much and the peak of the spectrum is not high in the wavelength range of 1347 to 1367 nm.
  • the association degree described above may be updated. As a rule for updating the association degree, it may be performed based on the detected spectrum intensity. The higher the intensity of the spectrum in the wavelength range set as the detection algorithm, the higher the first relevance leading to that detection algorithm if it is interpreted that photosynthesis as the target event can be detected more suitably. Update as follows.
  • the detection algorithm for detecting leaf photosynthesis in the first association shown in FIG. 8 has the highest association in the first association in the wavelength range of 1347 to 1367 nm (1357 ⁇ 10 nm).
  • this detection algorithm 1347 to 1367 nm
  • a specific threshold value is exceeded within the wavelength range of the detection algorithm as shown in FIG. It is determined that the event has been accurately detected, and the first relevance (80%) that leads to the detection algorithm is updated to be higher.
  • the detection algorithm is below a specific threshold within the wavelength range of the detection algorithm, the detection algorithm Therefore, it is determined that the target event cannot be accurately detected, and the first relevance (80%) leading to the detection algorithm is updated to be lower.
  • the intensity of the detected spectrum largely depends on whether or not the target event of the subject has occurred. In the above example, whether or not the leaf as the subject has developed photosynthesis as the target event. Certainly it relies heavily on crab. However, the intensity of this spectrum is not dependent solely on this, and is affected by the suitability of the detection algorithm in detecting the target event of the subject.
  • the detection algorithm for detecting the target event of the subject is not suitable, and if the fitness is low, it is quite possible that the intensity of the spectrum will be lower than when the fitness is high. . If the leaves as a subject express the same degree of photosynthesis but have different spectral intensities, it is clear that they are affected by the suitability of the detection algorithm.
  • the intensity of the spectrum within the wavelength range of such a detection algorithm decreases, the intensity of the spectrum outside the wavelength range may also increase.
  • the intensity of this spectrum is suitable for a detection algorithm for detecting the target event of the subject, and when the suitability is high, the intensity of the spectrum within the wavelength range of the detection algorithm may be low. If the compatibility is low, the intensity of the spectrum within the wavelength range may be high.
  • the spectral intensity within the wavelength region of the detection algorithm and the spectral intensity outside that wavelength region are affected.
  • the first association degree is updated in accordance with the spectrum intensity expressed by receiving the influence. Accordingly, the compatibility between the target event of the subject and the detection algorithm is gradually improved through the first relevance that is sequentially updated.
  • this spectral data also includes the characteristics of the image of the photographed subject itself (that is, the shape, texture, contrast, position, etc. of the subject drawn on the image). It is reflected in the same way.
  • each pixel P ⁇ b> 1 and P ⁇ b> 2 in an image obtained by photographing the subject 11 via the spectral imaging device 4 or the photographing device 5 is configured by spectral data.
  • Each of these spectrum data reflects the object event of the subject, the compatibility with the detection algorithm, and the image feature amount of the photographed subject itself.
  • P1 is an edge portion of the image
  • the influence of the image feature amount is greatly reflected in the spectrum data, while the effect of the photosynthesis of the leaf as a target event of the subject does not occur. It will not be reflected much in the data.
  • P2 is not an edge portion of the image, the influence of the image feature amount is not reflected in the spectrum data so much.
  • the photosynthesis of the leaf as the target event of the subject occurs, the influence is the spectrum. It will be greatly reflected in the data.
  • both spectrum data in P1 and P2 are affected by compatibility with the detection algorithm.
  • the spectrum data is affected by such image features, and by spatial information such as the shape, texture, contrast, and position of the subject drawn on the image. For this reason, in executing the above-described processing operation based on the spectrum data, the spectrum data is governed by the object event of the subject, the compatibility with the detection algorithm, and the spatial information.
  • the compatibility between the target event of the subject and the detection algorithm may be determined. You may make it update 2 association degree.
  • the hyperspectrum In FIG. 14, what is indicated by the dotted line is the hyperspectrum.
  • the first association degree may be updated based on the spectrum intensity.
  • a hyper spectrum imaged by the spectrum imaging device 4 may be acquired.
  • the multispectrum acquired by the imaging device 5 may be restored to a hyperspectrum, and the suitability may be determined based on this hyperspectrum.
  • the restoration of the multispectrum to the hyperspectrum may be executed via the search device 2 or the like, for example, based on a preset restoration algorithm.
  • This restoration algorithm may be configured by a template having a correspondence relationship between the hyperspectrum and the multispectrum, and may be read out and referenced as necessary for restoration.
  • Such an update process may be performed based on, for example, an update association as shown in FIG.
  • the relevancy for update is set on the left side by the detection algorithm set this time and spectrum data obtained by imaging the subject, and the above-described suitability is drawn on the right side across the node 70.
  • This node 70 is composed of a combination of the detection algorithm set this time and the obtained spectrum data (spectrum intensity). Each node 70 leads to suitability as an output solution. Similarly, the relevance for updating is composed of three or more levels of relevance.
  • the node 70b when the spectral intensity obtained by imaging the subject based on the detection algorithm 1375 ⁇ 10 nm set this time is 10, the node 70b applies, and this node 70b has the highest relevance for updating. Compatibility is “low”. In such a case, the detection algorithm 1375 ⁇ 10 nm is determined to be less compatible from the viewpoint of the acquired spectrum intensity. Then, the first association shown in FIG. 8 is reset to be lower.
  • the compatibility with the highest relevance for renewal is “high”.
  • the detection algorithm 1375 ⁇ 10 nm is determined to be highly compatible from the viewpoint of the acquired spectrum intensity. Then, the first association shown in FIG. 8 is reset to be higher. Incidentally, it is not always necessary to select a higher one as long as it is based on the relevance for update, and a lower one may be selected.
  • the example of searching for a search solution based on the detected spectrum intensity has been described.
  • the search may be performed based on any factor as long as it is based on spectrum data. Good.
  • a detection algorithm other than the detection algorithm set this time shown in FIG. 16 may be input. Then, another detection algorithm and spectrum data picked up based on the detection algorithm may be input to obtain a search solution.
  • the feedback loop described above may be applied to the second association degree.
  • the spectrum imaging device 4 and the imaging device 5 acquire the imaging conditions searched by the search device 2 based on the method described above.
  • the spectrum imaging device 4 and the imaging device 5 actually shoot the subject 9 based on the imaging conditions.
  • the subject 9 as the shooting target corresponds to the subject 9 input in S11, and the shooting purpose corresponds to detecting the target event input in step S11. That is, it is assumed that the detection of the photosynthesis of the leaf is input as the target event of the subject in step S11 described above, and the detection algorithm searched in step S13 is suitable for detecting the photosynthesis of the leaf.
  • the searched imaging condition is input to the spectrum imaging device 4 or the imaging device 5.
  • the leaves as the subject 9 are photographed through the spectral imaging device 4 and the photographing device 5 according to the inputted photographing conditions, and detection of photosynthesis is attempted.
  • the spectrum imaging device 4 and the imaging device 5 transmit the spectrum data obtained by imaging the subject 9 to the algorithm database 3.
  • the algorithm database 3 updates the second association degree based on such spectrum data.
  • the subject 9 was also obtained by actually photographing the leaves of the subject 9 as a subject 9 based on the search conditions for the white balance OO for the photosynthesis of the leaf as the target event. If the spectral data can properly express the photosynthesis of leaves, the shooting conditions are appropriate, and it is judged that the accuracy of the second relevance for searching for this is high, and it is not particularly updated. . On the other hand, if the obtained spectral data cannot express the photosynthesis of the leaves in a suitable manner, it is determined that the shooting conditions are inappropriate, and there is room for improvement in the accuracy of the second relevance for searching for this. And this will be updated.
  • the determination may be made, for example, based on spectrum data whether or not the photosynthesis of leaves as the target event can be suitably expressed. In such a case, the determination may be made on the basis of the intensity of the spectrum in each wavelength region as in the first association.
  • the second association degree may be updated, and the update rule may be performed based on the detected spectrum intensity. If it is interpreted that the photosynthesis as the target event can be detected more appropriately as the intensity of the spectrum is higher, the second relevance that leads to the imaging condition is updated. For example, in the second association degree shown in FIG. 10, the imaging condition for detecting the photosynthesis of the leaf has the highest second association degree when the white balance OO is the highest. If the spectral intensity exceeds a specific threshold as a result of detecting the subject based on this shooting condition (white balance XX), it is determined that the target event has been accurately detected based on the shooting condition. The second relevance (80%) leading to is updated so as to be higher.
  • the intensity of the detected spectrum largely depends on whether or not the target event of the subject has occurred. In the above example, whether or not the leaf as the subject has developed photosynthesis as the target event. Certainly it relies heavily on crab. However, the intensity of this spectrum is not dependent solely on this, and is affected by the suitability of the imaging conditions in detecting the target event of the subject. If the shooting conditions for detecting the target event of the subject are not appropriate and the suitability is low, it is quite possible that the intensity of the spectrum will be lower than when the suitability is high. .
  • the intensity of this spectrum is appropriate for the shooting conditions for detecting the target event of the subject, and when the compatibility is high, the spectrum intensity may be low, and when the compatibility is low It is possible that the intensity of the spectrum is high.
  • the spectral intensity is affected according to the compatibility between the target event of the subject and the shooting conditions.
  • the second association degree is updated according to the spectrum intensity expressed by receiving the influence.
  • the hyperspectrum In FIG. 14, what is indicated by the dotted line is the hyperspectrum.
  • the second association degree may be updated based on the spectrum intensity.
  • a hyper spectrum imaged by the spectrum imaging device 4 may be acquired.
  • the multispectrum acquired by the imaging device 5 may be restored to a hyperspectrum, and the suitability may be determined based on this hyperspectrum.
  • the restoration of the multispectrum to the hyperspectrum may be executed via the search device 2 or the like, for example, based on a preset restoration algorithm.
  • This restoration algorithm may be configured by a template having a correspondence relationship between the hyperspectrum and the multispectrum, and may be read out and referenced as necessary for restoration.
  • Such an update process may be performed based on the update association as shown in FIG.
  • the imaging condition set this time and the spectrum data obtained by imaging the subject are set on the left side, and the adaptability described above is drawn on the right side with the node 70 in between.
  • This node 70 is configured by a combination of the imaging conditions set this time and the obtained spectrum data (spectrum intensity). Each node 70 leads to suitability as an output solution. Similarly, the relevance for updating is composed of three or more levels of relevance.
  • Such an association for update is acquired in advance. Then, the relevance for update is referred to, and the suitability as an output solution is searched based on the imaging condition set this time and the actually obtained spectrum intensity.
  • This specific search method is the same as the above-described second association degree.
  • the node 70b is applicable, and this node 70b is the most updated association. High degree of compatibility is “low”. In such a case, it is determined that the imaging condition (white balance OO) has low compatibility from the viewpoint of the acquired spectrum intensity. Then, the second association shown in FIG. 10 is reset so as to be lower.
  • the formation of the second association is not limited to so-called supervised learning in which learning is performed by inputting a reference object event for a known subject and a detection algorithm, and this is based on unsupervised learning. You may make it form. In such a case, the obtained data may be classified by clustering, and the second association degree may be formed based on the classification.
  • the example of searching for a search solution based on the detected spectrum intensity has been described.
  • the search may be performed based on any factor as long as it is based on spectrum data. Good.
  • other shooting conditions other than the currently set shooting conditions shown in FIG. 17 may be input. Then, other image capturing conditions and spectrum data captured based on the image capturing conditions may be input to obtain a search solution.
  • the information search system 1 to which the present invention is applied may be provided with a feedback loop as shown in FIG.
  • a position detection unit 81 connected to the spectrum imaging device 4 and a map information acquisition unit 82 connected to the position detection unit 81 are newly provided.
  • the position detection unit 81 acquires the current position information of the spectrum imaging device 4 in real time based on the satellite positioning signal sent from the artificial satellite. If the spectrum imaging device 4 is mounted on a traveling vehicle, the position detecting unit 81 receives a satellite positioning signal as needed during the traveling of the vehicle on the road, so that the traveling road Position information at each of the above points can be acquired. The position information detected by the position detector 81 is sent to the algorithm database 3.
  • the map information acquisition unit 82 stores map information including maps in Japan and maps of countries around the world.
  • the map information here is embodied as a two-dimensional map describing the map in a plane, a three-dimensional map describing the map three-dimensionally, and a street view image consisting of a panoramic image taken around the road. Configured as electronic data. Based on such map information, a map can be displayed on the screen via a PC, a smartphone, a tablet terminal, etc., and various operations can be performed on the displayed map through an application. It becomes.
  • the map information holding unit 82 may acquire electronic data of a map posted on the Internet as the initial map information, or electronic data of a map that is distributed free of charge or that is commercially available. May be obtained.
  • the map information detected by the map information holding unit 82 is sent to the algorithm database 3.
  • the update process may be performed based on the update association as shown in FIG. 19, for example.
  • the relevance for update is detected by the position information detected by the position detection unit 81 and the map information holding unit 82 in addition to the detection algorithm set this time on the left side and the spectrum data obtained by imaging the subject. Map information is set, and the compatibility described above is drawn on the right side of the node 70.
  • This node 70 is composed of a combination of position information and map information in addition to the detection algorithm set this time and the obtained spectrum data (spectrum intensity). Each node 70 leads to suitability as an output solution. Similarly, the relevance for updating is composed of three or more levels of relevance.
  • the detection algorithm 1375 ⁇ 10 nm set this time and the spectrum intensity obtained by imaging the subject based on this is 15, and the position information XX and the map information XX, the node 70b is applied,
  • the compatibility of the node 70b having the highest update association is “low”.
  • the detection algorithm 1375 ⁇ 10 nm is determined to be less compatible from the viewpoint of the acquired spectrum intensity.
  • the first association shown in FIG. 8 is reset to be lower.
  • the information search system 1 to which the present invention is applied may be provided with a feedback loop as shown in FIG. In this feedback loop, a form detection unit 83 connected to the spectrum imaging device 4 is newly provided.
  • the same components as those in the feedback loop shown in FIGS. 13 and 18 are denoted by the same reference numerals, and the following description is omitted.
  • the form detection unit 83 includes a camera that captures an image of the subject 9.
  • the form (shape, pattern, color, texture, etc.) of the subject 9 can be identified from the image of the subject 9 captured by the form detection unit 83.
  • the form information of the subject 9 detected by the form detection unit 83 is sent to the algorithm database 3.
  • the form information of the subject 9 is not limited to an image acquired by capturing an image from only a certain direction, but may be an image captured by varying the shooting range and shooting direction.
  • the update process may be performed based on the update association as shown in FIG.
  • the relevancy for update is set on the left side by the detection algorithm set this time and the spectrum data obtained by imaging the subject, as well as the configuration information of the subject 9 detected by the configuration detection unit 83, On the right side, the compatibility described above is drawn.
  • This node 70 is composed of a combination of the detection algorithm set this time and the form information in addition to the obtained spectrum data (spectrum intensity). Each node 70 leads to suitability as an output solution. Similarly, the relevance for updating is composed of three or more levels of relevance.
  • the node 70b when the detection algorithm 1375 ⁇ 10 nm set this time and the spectrum intensity obtained by imaging the subject based on this is 15, and the combination of the form information XX and the form information XX, the node 70b is applicable.
  • This node 70b has “low” adaptability with the highest degree of association for update.
  • the detection algorithm 1375 ⁇ 10 nm is determined to be less compatible from the viewpoint of the acquired spectrum intensity. Then, the first association shown in FIG. 8 is reset to be lower.
  • the node 70d in the case of configuration information OO with the detection algorithm 970 ⁇ 10 nm, the node 70d is not suitable, and the compatibility of the node 70d having the highest relevance for relevance is “normal”. In such a case, the detection algorithm 970 ⁇ 10 nm is determined to have low adaptability from the viewpoint of the acquired spectrum intensity.
  • the determination accuracy can be improved.
  • the form information may include so-called spatial feature information.
  • the spatial feature information here includes spatial position (arrangement) and form (shape, size, pattern, texture, color, texture, etc.).
  • This spatial feature information is a concept including a feature amount on an image used in so-called deep learning technology, and is information for identifying a spatial position (arrangement) and form by extracting the feature amount.
  • This spatial feature information may include a spectral feature amount extracted for each spectrum in addition to a general spatial feature amount.
  • the spatial feature information may be configured by a fusion of the spatial feature amount and the spectral feature amount. Since this spectral feature value is used to extract a feature value based on a spectral image, only a desired subject can be easily separated from the background movement, etc., and the feature value can be extracted. It can be easily performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】撮像された被写体のスペクトルデータを参照することで、検出アルゴリズムをより最適化する。 【解決手段】撮影した被写体9から目的事象を判別する上で必要な検出アルゴリズム情報を探索する上で、被写体9の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を予め取得し、新たに判別すべき被写体9の目的事象に関する情報が入力され、取得した第1連関度を参照し、入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索し、被写体9を撮影した撮影端末から、当該撮影した被写体9の目的事象に関する情報を受信し、受信した情報に基づいて第1連関度を更新する。

Description

情報探索システム及びプログラム
 本発明は、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報や、これを撮影する撮影装置の各種撮影条件を自動的に探索する上で好適な情報探索システム及びプログラムに関するものである。
 従来より、被写体の撮影画像を波長毎に分光して分析することにより、被写体について所望の事象を判別するスペクトル撮像装置が提案されている。スペクトル撮像装置は、紫外から可視、更には赤外に至るまでの波長領域について、0.1nm~100nmの波長分解能で数十バンド以上に亘り分光可能な高波長分解分光情報(以下、ハイパースペクトルデータ)を取得することができる。このようなハイパースペクトルデータを活用することで、例えば食品の鮮度、建築構造物の欠陥、植物の光合成、鉱物中に含まれる化学元素、肌の水分やシミ等を高精度に分析することが可能となる。即ち、このスペクトル撮像装置によれば、単に被写体のみを撮像することに終始するのではなく、その被写体における目的事象までを検知することが可能となる。
 このようなハイパースペクトルデータを取得することができるスペクトル撮像装置の例が、例えば特許文献1、2に開示されている。
 特許文献1には、人体内の腫瘍部位を目的事象としたスペクトル撮像装置が開示されている。この特許文献1の開示技術によれば、癌細胞内に蓄積される成分に応じた蛍光波長に焦点を当てて検出を行うことにより、腫瘍部位と非腫瘍部位を識別するものである。
 また、特許文献2には、被写体が果実であるか否かを判別するための情報処理装置が開示されている。果実の基準特徴量を予め取得しておき、実際に撮像した被写体の分光画像の特徴量との比較に基づいて、被写体が果実であるか否かを判別する。この基準特徴量は何れもスペクトルデータに基づいている。
 他には、ハイパースペクトルデータを画像解析に着目した技術も開示されている(例えば、特許文献3参照。)。
国際公開13/002350号公報 特開2017-3495号公報 特開2015-166682号公報
 しかしながら、この被写体における目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズムを研究するのは多くの時間と労力を要し、しかも技術的な知見も必要となる。
 例えば上述した人体内の腫瘍部位のスペクトルデータを得るための検出アルゴリズムは、癌細胞内に蓄積されるプロトポルフィリンIXが635nmの蛍光を発し、フォトープロトポルフィリンが675nmの蛍光を発光する点に着目し、これらの蛍光を検知可能な検出アルゴリズムを組むことになる。このような検出アルゴリズムを組む上では、これら癌細胞内に蓄積される成分が何であるのか、またいかなる波長の蛍光を発光するのか等の技術的知見が必要とされ、更にこれらの蛍光のみを精度よく抽出して的確な識別を行うための各種検討に多くの時間と労力が必要となる。
 このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを容易に取得することができる技術が従来より望まれていた。しかしながら、特許文献1~3には、被写体の目的事象に応じて最適な検出アルゴリズムを取得するための技術は特段開示されていない。
 また、最適な検出アルゴリズムは、時の経過に応じて進化するものであり、現状使用している検出アルゴリズムが常に最適なものだとは限らない。このため、検出アルゴリズムは最新の外部環境を取得し、これに基づいて随時更新する必要がある。これに対して、特許文献1~3には、取得した最新の外部環境に基づいて検出アルゴリズムを更新する技術については特段開示されていない。
 更にこの検出アルゴリズムを更新する過程では、従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照することで、検出精度の向上を図ることができる。しかしながら、上述した特許文献1~3の開示技術も含めて、このような従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照する技術は特段提案されていないのが現状であった。
 そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報を自動的に探索する上で、その検出アルゴリズムを取得した最新の外部環境に基づいて更新することが可能な情報探索システム及びプログラムを提供することにある。
 本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段と、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、上記第1連関データベースは、上記受信手段により受信した情報に基づいて上記第1連関度を更新することを特徴とする。
 本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段と、上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、上記第1連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第1連関度を更新することを特徴とする。
 本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、被写体の各目的事象と、各撮影条件との3段階以上の第2連関度が予め記憶されている第2連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第2連関データベースに記憶されている上記第2連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段と、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、上記第2連関データベースは、上記受信手段により受信した情報に基づいて上記第2連関度を更新することを特徴とする。
 本発明を適用した情報探索システムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、被写体の各目的事象と、各撮影条件との3段階以上の第2連関度が予め記憶されている第2連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第2連関データベースに記憶されている上記第2連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段と、上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、上記第2連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第2連関度を更新することを特徴とする。
 本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第1連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップと、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第1連関度を更新することをコンピュータに実行させることを特徴とする。
 本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第1連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップと、上記探索ステップにおいて探索した検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第1連関度を更新することをコンピュータに実行させることを特徴とする。
 本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、被写体の各目的事象と、各撮影条件との3段階以上の第2連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第2連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップと、上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第2連関度を更新することをコンピュータに実行させることを特徴とする。
 本発明を適用した情報探索プログラムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、被写体の各目的事象と、各撮影条件との3段階以上の第2連関度を予め取得する連関度取得ステップと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、上記連関度取得ステップにおいて取得した上記第2連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップと、上記探索ステップにおいて探索した撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第2連関度を更新することをコンピュータに実行させることを特徴とする。
 上述した構成からなる本発明によれば、これから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。
 これに加えて、本発明によれば、検出アルゴリズムを更新する過程で、従来の検出アルゴリズムの下で撮像された被写体のスペクトルデータを参照することで、検出アルゴリズムをより最適なものにすることができ、ひいては検出精度の向上を図ることができる。
本発明を適用した情報探索システムの全体構成を示すブロック図である。 情報探索システムを構成する探索装置のブロック図である。 情報探索システムを構成するスペクトル撮像装置のブロック図である。 スペクトル撮像装置における制御部の詳細な構成を説明するための図である。 撮影装置のブロック構成例を示す図である。 情報探索プログラムの処理動作手順を示すフローチャートである。 ある果実の鮮度をスペクトルデータを介して判別する例について説明するための図である。 被写体の参照用目的事象と、検出アルゴリズム情報とを第1連関度により互いを関係付けたネットワークを示す図である。 被写体の目的事象に加え、これら照明系、撮像系の各種パラメータを第1連関度により関連付けた例を示す図である。 被写体の参照用目的事象と、撮影条件とを第2連関度により互いを関係付けたネットワークを示す図である。 被写体の参照用目的事象及び参照用撮影条件と、撮影条件とを第2連関度により互いを関係付けたネットワークを示す図である。 被写体の目的事象の入力から撮影装置の撮影条件を取得するまでのデータフロー図である。 フィードバックループを設けた情報探索システムの例を示す図である。 目的事象をスペクトルデータに基づいて判断する例を示す図である。 空間情報を含む場合の例について説明するための図である。 更新用連関度に基づいて第1連関度の更新処理を行う例を示す図である。 更新用連関度に基づいて第2連関度の更新処理を行う例を示す図である。 位置情報と地図情報を含めたフィードバックループを設けた情報探索システムの例を示す図である。 位置情報と地図情報を含めて更新処理を行う例を示す図である。 形態情報を含めたフィードバックループを設けた情報探索システムの例を示す図である。 形態情報を含めて更新処理を行う例を示す図である。
 以下、本発明を適用した情報探索システムについて、図面を参照しながら詳細に説明をする。
図1は、本発明を適用した情報探索システム1の全体構成を示すブロック図である。情報探索システム1は、スペクトル撮像装置4に対して提供すべき検出アルゴリズム情報を探索するものであり、アルゴリズムデータベース3と、このアルゴリズムデータベースに接続された探索装置2と、探索装置2に接続されるスペクトル撮像装置4及び撮影装置5とを備えている。
 アルゴリズムデータベース3は、スペクトル撮像装置4に対して提供すべき検出アルゴリズム情報に関するデータベースが構築されている。また、アルゴリズムデータベース3は、撮影装置5の撮影条件に関するデータベースが構築されている。このアルゴリズムデータベース3には、公衆通信網を介して送られてきた情報、或いは本システムのユーザによって入力された情報が蓄積される。またアルゴリズムデータベース3は、探索装置2からの要求に基づいて、この蓄積した情報を探索装置2へと送信する。
 探索装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。
 図2は、探索装置2の具体的な構成例を示している。この探索装置2は、探索装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、最適な検出アルゴリズム情報を探索する探索部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。
制御部24は、内部バス21を介して制御信号を送信することにより、探索装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。
 操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、探索部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。
 探索部27は、スペクトル撮像装置4により撮像した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する。この探索部27は、探索動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、アルゴリズムデータベースに記憶されている各種情報を読み出す。この探索部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。
表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。
記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。
 図3は、スペクトル撮像装置4の構成例を示している。スペクトル撮像装置4は、いわゆるマルチスペクトルカメラや、カラーフィルタを交換する方式のカメラや、プリズムを用いた方式のカメラで構成されている。スペクトル撮像装置4は、被写体を撮影し、更にそこから分光画像を取得する。スペクトル撮像装置4は、各撮影位置における2次元分光データから2次元の空間情報と1次元の波長情報とを有する3次元分光データに基づいて分光画像を生成する。スペクトル撮像装置4が生成する分光画像は、波長ごとの被写体の反射率又は透過率を示す複数の二次元画像からなる。この分光画像の例としては、200nm~13μmの所定の波長範囲の波長域において、0.1nm~100nmの波長分解能とされていてもよく、バンド毎の分光画像とされている。
 ちなみに、このスペクトル撮像装置4により撮像される分光画像における波長範囲は、可視光の領域のみならず、赤外領域、近赤外領域、紫外領域の光も含まれる。
 スペクトル撮像装置4は、撮像対象が自ら発する光や被写体10が反射又は透過する光、すなわち被写体10からの撮影光Lを取り込む対物レンズ41と、XYZからなる3軸の直交座標系におけるY軸方向に移動する精密直動ステージ42と、対物レンズ41の像面においてZ軸方向に設けられたスリット開口部43aを配設するためのスリット板43と、スリット開口部43aを通過した光束を平行光とするコリメートレンズ44と、コリメートレンズ44からの平行光を分散させる分散光学素子45と、分散光学素子45から出射された光束を取り込む結像レンズ46と、結像レンズ46の像面上に設けられた撮像素子47と、精密直動ステージ42および撮像素子47を制御し、更に撮像素子47を介して受光された画像データの各種処理を行う制御部48とを備えている。なお、このスペクトル撮像装置4は、特開2015-166682号公報の開示技術を用いるようにしてもよい。
 精密直動ステージ42は、制御部48による制御の下でスリット板43、コリメートレンズ44、分散光学素子45、結像レンズ46、撮像素子47を一体的にY軸方向に向けて移動させる。
 分散光学素子45は、例えば、回折格子、プリズム等により具現化される。分散光学素子は、コリメートレンズ44を通過してくる光束を波長毎の成分に分散させる機能を有している。
 撮像素子47は、例えばCCDイメージセンサやCMOSイメージセンサ等により構成される。この撮像素子47は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子47により変換された電気信号は、制御部48に送信される。仮に赤外領域、近赤外領域、紫外領域の光を受光するのであれば、それに適した撮像素子47を配設することになる。
 図4は、制御部48の更なる詳細な構成を示している。制御部48は、撮像素子47により電気信号を取得するタイミングを制御する撮影制御部481と、精密直動ステージ42のY軸方向における移動方向、移動量、移動タイミングを制御する移動制御部482と、撮像素子47からの電気信号に基づいて分光データを作成する分光データ作成部483と、分光データ作成部483において作成された分光データに基づいて、各種画像処理や校正等を行う画像処理部484とを備えている。なお、この制御部48の一部の構成要素又は全て要素については、独立したパーソナルコンピュータ(PC)内に実装されるものであってもよい。
 分光データ作成部483は、撮像素子47から送信されてきた電気信号に基づいて、1次元の空間情報と1次元の波長情報とを有する2次元分光データを作成し、これを記憶する。分光データ作成部483は、これらの処理を繰り返し実行し、全ての撮影位置の撮影が終了すると、2次元の空間情報と1次元の波長情報とを有する3次元分光データからなるハイパースペクトル画像を得ることが可能となる。
 画像処理部484は、分光データ作成部483において作成された波長毎の分光画像を所定の表色系に変換し、色演算処理を行って色解析画像を生成する。また画像処理部484は、生成した色解析画像を所定の表示方法により表示するための処理を行う。この画像処理部484は、校正処理部484-1と、算出部484-2と、色解析画像取得部484-3とを備えている。
 この校正処理部484-1は、暗電流に起因するノイズ除去、画素間感度偏差補正処理、輝度校正処理、空間内の光源光の照明ムラの補正等を行う。
 算出部484-2は、校正処理部484-1において処理された各波長ごとの分光画像における各分光放射輝度、各分光輝度等を算出する。
 色解析画像取得部484-3は、校正処理部484-1において校正処理された各種パラメータ、並びに算出部484-2において算出された各分光放射輝度、各分光輝度等を用いて設定された規格の表色系へ変換するための色空間変換処理を行う。
 色解析画像取得部484-3において色空間変換処理された色解析画像は、図示しないPC等に送られ、ディスプレイ上等に描画される。
 図5は、撮影装置5のブロック構成例を示している。撮影装置5は、一般的なデジタルカメラや、マルチスペクトルカメラ、更には携帯電話やスマートフォン、タブレット型端末、ウェラブル端末にそれぞれ実装されるあらゆるデジタルカメラを含むものである。スペクトル撮像装置4は、あらゆる帯域におけるスペクトルデータを検知することができるのに対して、撮影装置5は、通常の可視光の画像撮影に加えて、予め特定した波長領域に限定してスペクトルデータを検知することを意図するものである。この撮影装置5は、結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54とを備えている。
 結像光学系51は、少なくとも1つの撮像レンズ56を有し、被写体10からの光を集光し撮像素子53の撮像面上に像を形成する。
 フィルタ52は、被写体10と撮像レンズ56との間に配置される。フィルタ52は、撮像素子53に到達する光の経路上に配置される。フィルタ52は、所定の分光透過率からなる素子である。即ち、このフィルタ52は、予め設定されている波長領域の光のみを透過させ、それ以外の波長領域の光を反射するように作用する。フィルタ52は、実際に透過させたい光の波長及び波長幅に応じてその種類が選択される。フィルタ52は、撮影装置5内に予め固定配置される場合を例にとり説明をするが、これに限定されるものではない。即ち、このフィルタ52は、互いに透過する波長領域が異なる複数のフィルタ52を順次切換可能に構成されていてもよい。
 撮像素子53は、CCDイメージセンサやCMOSイメージセンサ等により構成される。この撮像素子53は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子53により変換された電気信号は、信号処理部54に送信される。
 信号処理部54は、撮像素子53から送られてくる電気信号を処理する回路である。この信号処理部54は、撮像素子53によって取得された画像に基づいて、被写体10からの光の波長域ごとに分離された分光分離画像を生成する。また信号処理部54は、取得した電気信号に基づいて、各種焦点制御を行うようにしてもよい。
 上述した構成からなる情報探索システム1の動作について説明をする。
 先ず探索装置2は、スペクトル撮像装置4や撮影装置5に対して提供すべき検出アルゴリズム情報、或いは撮影装置5に対して提供すべき検出アルゴリズム情報を探索する。この探索プロセスにおいては、新たにスペクトル撮像装置4や撮影装置5により撮影しようとする被写体の目的事象をユーザ自身が入力するところから開始する。ここでいう被写体とは、実際にスペクトル撮像装置4や撮影装置5により撮影される対象物を総称するものであり、目的事象とは、スペクトル撮像装置4や撮影装置5を介して判別したい物、又は事を意味する。例えば塩、砂糖の混合物から塩のみを判別したい場合には、被写体は混合物であり、目的事象は塩となる。例えば水と油の混合物から油のみを判別したい場合には、被写体は混合物であり、目的事象は油となる。例えば寿司の鮮度を判別したい場合には、被写体は寿司であり、目的事象は鮮度となる。例えば顔のシミを判別したい場合には、被写体は顔であり、目的事象は、シミである。例えば胃から胃癌を判別したい場合には、被写体は胃であり、目的事象は胃癌である。
ユーザは、この被写体の目的事象の入力を操作部25を介して手動で行う。この入力において、他の携帯端末やPC等の電子機器において作成した被写体の目的事象のテキストデータをインターネット経由で入力するようにしてもよい。
このようにして送信又は入力された被写体の目的事象は、記憶部28に記憶されることとなる。
このようにして被写体の目的事象が入力された後に、実際に情報探索プログラムによる処理動作が実行されていくこととなる。この情報探索プログラムの処理動作フローを図6に示す。
 情報探索プログラムは、ステップS11において入力され、記憶部28に記憶された被写体の目的事象について文言解析を行う。(ステップS12)。この文言解析については、既存のあらゆるテキストマイニング技術、データマイニング技術、言語解析処理技術等を用いるようにしてもよい。
次に、この情報探索プログラムは、解析対象の被写体の目的事象を単語、形態素、句、節等、あらゆる文法上の構造単位の中から何れか1以上の単位に亘り、文字列の抽出を行う。例えば被写体の目的事象として、「足の血管」というテキストデータが入力された場合には、「足」、「血管」等といった文字列を抽出することとなり、「顔の水分」というテキストデータが入力された場合には、「顔」、「水分」等といった文字列を抽出することとなる。情報探索プログラムは、この抽出した文字列から、被写体と目的事象をそれぞれ特定する。上述した例の場合、被写体は、「足」、「顔」であり、目的事象は「血管」、「水分」である。通常であれば被写体を構成する文字列が目的事象を構成する文字列よりも前である場合が多いので、抽出した文字列の先頭から被写体、目的事象をそれぞれ特定することとなる。
或いは、被写体として「足」、目的事象として「血管」等と予め入力するユーザ側において分類して入力する場合もある。かかる場合には、その入力された被写体、目的事象の文字列をそのまま受け入れることとなる。
次に情報探索プログラムは、ステップS13へ移行し、ステップS12において抽出した文字列と連関度の高い検出アルゴリズム情報を探索する。この探索を行う前において、アルゴリズムデータベース3は、参照用の目的事象(以下、参照用目的事象という。)と2種以上に分類された検出アルゴリズム情報の3段階以上の連関度(以下、第1連関度という。)を予め取得しておく。
 ここでいう検出アルゴリズム情報は、実際にスペクトル撮像装置4や撮影装置5により被写体を撮像しても目的事象を判断する上で必要なスペクトルデータを検出するためのアルゴリズムである。例えば、図7に示すように、ある果実の鮮度が波長500nm~700nmの帯域においてスペクトル強度(反射率)に差が出てくることが既知であるものとする。即ち、ある果実を1日常温で放置した場合、3日常温で放置した場合、5日常温で放置した場合で、スペクトル強度が波長500nm~700nmの範囲においてスペクトル強度(反射率)が大きく変化することが既知であるものとする。かかる場合には、この波長500nm~700nmの範囲において分光画像を作成することにより、果実の鮮度を判別することが可能となる。
 このような目的事象を判別することができる波長範囲の何れかを特徴波長として特定する。図7の例では、波長500nm~700nmの波長範囲の何れかを特徴波長として特定する。特徴波長は1点で特定してもよいし、複数特定してもよい。特徴波長の決め方としては、例えば上記波長範囲(500nm~700nm)の中心波長である600nmとしてもよいし、各スペクトル間のスペクトル強度の差分値が最も大きくなる波長としてもよい。また図7において波長が約650nmにおいて、各スペクトルデータにおいて上に凸のピークが形成されているのが分かるが、このような特異点を特徴波長として特定するようにしてもよい。この特徴波長は、被写体の目的事象毎に異なるものであってもよい。
 これに加えて、この特徴波長を中心とした特徴波長範囲を設定する。特徴波長範囲は、例えば±10nm等のように、予め設定した所定の波長範囲で構成されている。このため、仮に特徴波長が500nmであり、特徴波長範囲が±10nmであれば、実際にスペクトルデータを検出する範囲は、495~505nmとなる。この特徴波長範囲は、被写体の目的事象毎に異なるものであってもよい。
 検出アルゴリズム情報は、更にこれらに加えて、各種演算方法が盛り込まれるものであってもよい。かかる場合には、この特徴波長や特徴波長範囲を説明変数x1、x2、・・・xkとし、これらを演算式に代入することにより得られる目的変数yを介して判別することとなる。即ち、y=f(x1、x2、・・・xk)により得られる目的変数yが検出アル
ゴリズム情報となりえる。また、これを構成する個々の説明変数x1、x2、・・・xkとしての特徴波長や特徴波長範囲についても同様に検出アルゴリズム情報となりえる。
 アルゴリズムデータベース3には、このような特徴波長と、特徴波長範囲、場合によっては演算方法やそれを規定する演算式そのものが、被写体の参照用目的事象毎に互いに紐付けられて記憶されている。
 このとき、アルゴリズムデータベース3には、被写体の参照用目的事象と、検出アルゴリズム情報との間の3段階以上の第1連関度に基づいて規定されていてもよい。図8は、被写体の参照用目的事象と、検出アルゴリズム情報との間で3段階以上の第1連関度により互いを関係付けたネットワークを示している。例えば、果実の鮮度は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が970±10nmである場合に第1連関度80%、1170±10nm、880±15nmの2波長である場合に第1連関度60%、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合に第1連関度40%、455±12nmである場合に第1連関度20%であることが示されている。毛髪の水分は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が630±5nm、750±10nm、1250±5nmの3波長でその演算方法が線形である場合に第1連関度80%、970±10nmである場合に第1連関度20%であることが示されている。胃の癌は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が970±10nmである場合に第1連関度20%、230±12nm、400±5nmの2波長でその演算方法がK-meansである場合には第1連関度40%、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合に第1連関度80%であることが示されている。この第1連関度は、いわゆるニューラルネットワークにより構成されていてもよい。
 この第1連関度は、スペクトル撮像装置4や撮影装置5を介して被写体の目的事象を判別する上で選択する検出アルゴリズム情報の相性、換言すれば、被写体の目的事象を判別する上で選択する検出アルゴリズム情報の的確性を示すものである。上述の例であれば、果実の鮮度を検出するための検出アルゴリズムとして970±10nmである場合に最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。果実の鮮度検出においては、その相性の高さが、1170±10nm、880±15nmの2波長である場合、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合、455±12nmである場合の順でこれに続くことが示されている。
 また被写体の目的事象の表記方法は、上述に限定されるものではない。例えば図9に示すように被写体が2以上に亘る複合体で構成される場合も同様に第1連関度を介して関連付けられる。図9の例では、被写体としてガラス板の間にプラスチック材料を挟みこんだ複合体を被写体とし、プラスチック材料中のキズを参照用目的事象とした例である。この複合体は、例えば金属と樹脂が互いに複数層に亘って積層された積層体で構成されていてもよいし、砂糖と塩のように互いに混じりあった混合物として構成されるものであってもよい。またセラミックスを母材とし、第2層としてウィスカーを添加したセラミックス基複合材料のような渾然一体となっている複合体であってもよい。
 更に金属と異物とからなる複合体中の異物を参照用目的事象としたものであってもよい。かかる例は、複合体の一方が参照用目的事象としたものである。更に被写体が、例えばガラス、プラスチック材料、セラミックスの3以上からなる複合体で構成されるものであってもよい。これらの複合体それぞれに対して参照用目的事象が定義されることとなる。
 このように被写体が複合体で構成される場合においても検出アルゴリズム情報がこれに対して3段階以上の連関度を介して紐付けられることとなる。仮に被写体が金属と異物の複合体で構成される場合、その金属の特徴波長に加え、異物の特徴波長も検出アルゴリズム情報を構成する特徴波長も考慮に入れ、その中から参照用目的事象を抽出する上で好適な条件が予め検討されてこれが連関度として紐付くこととなる。
 また被写体が複合体である例としては、金属が例えばマルテンサイト変態の前後の混晶状態を被写体とし、個々の相を参照用目的事象としてもよい。またこれ以外には、被写体自体は、複合体ではなく単相の材料で構成されているが、その単相の材料が時系列的に変化する際の変化後の相を参照用目的事象として捉えるようにしてもよい。
ステップS13に移行後、情報探索プログラムは、ステップS12において抽出した被写体の目的事象を構成する文字列から、検出アルゴリズム情報を1又は2以上に亘り選択する作業を行う。
このステップS12において抽出した被写体の目的事象を構成する文字列から検出アルゴリズム情報を選択する上で、予め取得した図8に示す被写体の参照用目的事象と検出アルゴリズム情報との第1連関度を参照する。例えば、ステップS12において抽出した被写体の目的事象が「葉の光合成」である場合には、上述した第1連関度を参照した場合、その「葉の光合成」と第1連関度の高い1357±10nmを検出アルゴリズム情報として選択する。第1連関度は低いものの連関性そのものは認められる630±5nm、750±10nm、1250±5nmで演算方法が線形である場合も検出アルゴリズム情報として選択するようにしてもよい。また、これ以外に矢印が繋がっていない検出アルゴリズム情報を選択してもよいことは勿論である。
 また、ステップS12において抽出した被写体の目的事象が「葉の水分」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。かかる場合には、被写体の参照用目的事象としての「葉の光合成」と第1連関度の高い1357±10nmである場合と、630±5nm、750±10nm、1250±5nmで演算方法が線形である場合と、「毛髪の水分」と第1連関度の高い630±5nm、750±10nm、1250±5nmで演算方法が線形である場合と、970±10nmある場合とから、最適な検出アルゴリズム情報を推定するようにしてもよい。その場合には、例えば互いに共通する第1連関度である630±5nmを「葉の水分」の検出アルゴリズム情報として推定するようにしてもよいし、「葉の光合成」、「毛髪の水分」の中で第1連関度が40%以上のものを全て検出アルゴリズム情報として推定するようにしてもよい。また、この「葉の光合成」、「毛髪の水分」と第1連関度が0%を超える全ての検出アルゴリズムについて、それぞれの第1連関度で重み付け平均化した波長を検出アルゴリズム情報として推定するようにしてもよい。
 またステップS12において抽出した被写体の目的事象が「舌の癌」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。「癌」については「胃の癌」が過去の被写体の目的事象として存在するが、「舌」については何ら被写体の参照用目的事象として存在しない。かかる場合には、「胃の癌」の過去の検出アルゴリズム情報に基づいて推定するようにしてもよいし、仮に「舌」に近い部位の「唇」等について過去の検出アルゴリズム情報が存在する場合には、それを参照して推定するようにしてもよい。
 更にステップS12において抽出した被写体が砂糖と塩の混合体である場合で、同じく抽出した目的事象が塩であれば、図9に示す第1連関度を参照した場合に、検出アルゴリズム情報としては、波長が230±12nm、400±5nmであって、演算方法がK-mensである場合が優先的に選ばれる。
 またステップS12において抽出した被写体が例えば「紙」で、同じく抽出した目的事象が「異物」である場合には、図8、9に示される第1連関度に照らし合わせてもこれに合致する被写体は存在ないが、参照用目的事象としての「異物」は、被写体が「金属」と「異物」の混合体とする場合において存在する。かかる場合には、この被写体が「金属」と「異物」の混合体とし、参照用目的事象が「異物」である場合の第1連関度があえて低い検出アルゴリズム情報を選択するようにしてもよい。
 即ち、この検出アルゴリズム情報の選択は、第1連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第1連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。
 なお、ステップS12において抽出した被写体の目的事象に対する検出アルゴリズム情報の選択方法は、上述した方法に限定されるものではなく、第1連関度を参照するものであればいかなる方法に基づいて実行するようにしてもよい。また、このステップS13の探索動作では、人工知能を利用して行うようにしてもよい。かかる場合には、第1連関度をニューラルネットワークとみなすようにしてもよい。
 次にステップS14へ移行し、選択した検出アルゴリズム情報を表示部23を介して表示する。これによりユーザは、表示部23を視認することにより、これから判別しようとする被写体の目的事象に応じた検出アルゴリズム情報を即座に把握することが可能となる。
 ユーザは、出力された検出アルゴリズム情報に基づいて、スペクトル撮像装置4における画像処理部484の検出アルゴリズムを設定し、或いは撮影装置5の検出アルゴリズムを設定する。この検出アルゴリズムの設定は、特徴波長、特徴波長範囲に加えて、これら特徴波長に基づく色演算処理(以下、特徴波長演算)を施す。例えば被写体の目的事象が、「葉の光合成」であり、検出アルゴリズムとして1357±10nmが選択された場合には、当該波長範囲に含まれる画素については、赤を表示する特徴波長演算を行わせ、当該波長に含まれない画素については白を表示する特徴波長演算を行うようスペクトル撮像装置4や撮影装置5に対して設定する。
 これにより、スペクトル撮像装置4や撮影装置5により被写体としての「葉」を撮像することでその目的事象としての「光合成」を判別する上で必要なスペクトルデータを検出し、これを色解析画像を介して表示することが可能となる。
 特に本発明によれば、このようなスペクトル撮像装置4や撮影装置5によりこれから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。
 また、本発明を適用した情報探索システム1では、3段階以上に設定されている第1連関度を介して最適な検出アルゴリズム情報の探索を行う点に特徴がある。第1連関度は、例えば0~100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。
 このような3段階以上の数値で表される第1連関度に基づいて探索することで、複数の検出アルゴリズム情報が選ばれる状況下において、当該第1連関度の高い順に探索して表示することも可能となる。このように第1連関度の高い順にユーザに表示できれば、より可能性の高い検出アルゴリズム情報を優先的に選択することを促すこともできる。一方、第1連関度の低い検出アルゴリズム情報であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く分析ができない場合において有用性を発揮することができる。
 これに加えて、本発明によれば、第1連関度が1%のような極めて低い検出アルゴリズム情報も見逃すことなく判断することができる。第1連関度が極めて低い検出アルゴリズム情報であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、検出アルゴリズム情報として役に立つ場合もあることをユーザに対して注意喚起することができる。
 更に本発明によれば、このような3段階以上の第1連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した第1連関度が1%のものであっても漏れなく拾うことができる反面、被写体の目的事象を好適に検出できる可能性が低い検出アルゴリズム情報を沢山拾ってしまう場合もある。一方、閾値を高くすれば、被写体の目的事象を好適に検出できる可能性が高い検出アルゴリズム情報のみ絞り込むことができる反面、何十回、何百回に一度は好適な解を表示する検出アルゴリズム情報を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。
 更に本発明では、上述した第1連関度を更新させるようにしてもよい。つまり、図8に示すような被写体の参照用目的事象と、検出アルゴリズム情報を随時更新していく。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。公衆通信網から取得可能なサイト情報や書き込み等を通じて、被写体の参照用目的事象と、検出アルゴリズム情報との関係性について新たな知見が発見された場合には、当該知見に応じて第1連関度を上昇させ、或いは下降させる。例えば、ある被写体の参照用目的事象に対してある程度の第1連関度を有する検出アルゴリズムが、高精度に検出ができることが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第1連関度を更に上昇させる。また、ある被写体の参照用目的事象に対してある程度の第1連関度を有する検出アルゴリズムが、あまり精度よく検出できないことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第1連関度を下降させる。また、ある被写体の参照用目的事象に対して、今までに無い検出アルゴリズムで高精度に検出ができることが公衆通信網上のサイトを通じて挙がっていた場合、これらの間に新たに第1連関度を設定することで更新するようにしてもよい。
 この第1連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。
 なお、本発明は、上述した実施の形態に限定されるものではない。入力すべき情報として、被写体の目的事象以外に、上述した照明光の情報や、各種撮像系のパラメータや、ハードウェア上のパラメータステップS11において入力した上で、この検出アルゴリズム情報を探索するようにしてもよい。
 なお探索装置2は、撮影装置5に対して提供すべき撮影条件を探索するようにしてもよい。情報探索プログラムは、取得した目的事象と連関度の高い撮影条件を探索する。この探索を行う前において、アルゴリズムデータベース3は、図10に示すように参照用目的事象と、撮影条件との第2連関度を予め取得しておく。
 ここでいう撮影条件とは、スペクトル撮像装置4や撮影装置5による撮像時の照明光の波長、照射角度、輝度、照明光に設けられる偏光フィルタの条件等からなる照明光の情報や、スペクトル撮像装置4や撮影装置5自体のF値、レンズのNA、焦点距離、使用機種、波長分解能、空間解像度、各分光波長に対する感度、露光時間、オートフォーカスの時間、シャッタースピード、シャッター方式、ホワイトバランス、ブラックバランス、ゲイン等の各種撮像系のパラメータやハードウェア上のパラメータも含まれる。検出アルゴリズム情報としては、上述した特徴波長や特徴波長範囲、演算方法に加えて、上述した各パラメータが追加されていてもよい。また上述した各パラメータは、上述した特徴波長や特徴波長範囲を出す上での一つの条件として規定されるものであってもよい。
 このような各種撮影条件について、第2連関度を介して関連付けを行う場合には、仮に波長分解能であれば、96-120dpi、120-144dpi、144-192dpiのように何種類かにランク付けを行い、それぞれのランクについて第1連関度が関連付けられるようにしてもよい。
 このような撮影条件を、例えば図10に示すように、「ホワイトバランス○○」、「レンズの配置P」と「フィルタW」の組み合わせ、「フィルタQ」、「フィルタR」と「照明光の角度○○°」の組み合わせ、「フィルタS」と「空間解像度133-140dpi」の組み合わせ、「露光時間○○ns以上」、「露光時間○○ns未満」等のように設定されている。
 この撮影条件は、複数の要因の組み合わせで構成されていてもよいし、単独のファクターにより構成されるものであってもよい。また同じ「露光時間」という撮影条件についても、「露光時間○○ns以上」、「露光時間○○ns未満」のように分類された上で、それぞれについて第2連関度が関連付けられていてもよい。また「フィルタQ」は、例えば、フィルタの透過波長が600~650nm等、「フィルタR」は、例えば、フィルタの透過波長が340~400nm等、「フィルタS」は、例えば、フィルタの透過波長が1000~1100nm等のように、それぞれの詳細な条件が割り当てられている。
 被写体の参照用目的事象と、撮影条件が第1連関度を通じて互いに関連付けられている。例えば、「果実の鮮度」に対して「フィルタQ」が第2連関度80%で関連付けられ、「ホワイトバランス○○」に対して第2連関度20%で関連付けられる。「毛髪の水分」は、「フィルタS」と「空間解像度133-140dpi」の組み合わせに対して第2連関度100%で関連付けられ、「レンズの配置P」と「フィルタW」の組み合わせに対して第2連関度40%で関連付けられる。「葉の光合成」は、「ホワイトバランス○○」に対して第2連関度60%で関連付けられ、「露光時間○○ns未満」に対して第2連関度20%で関連付けられる。「胃の癌」は、「レンズ配置P」と「フィルタW」の組み合わせに対して第2連関度80%で関連付けられ、「フィルタS」、「空間解像度133-140dpi」に対して第2連関度40%で関連付けられる。「ガラスの欠陥」は、「フィルタR、照明光の角度○○°」に対して第2連関度100%で関連付けられ、「露光時間○○ns以上」に対して第2連関度20%で関連付けられる。
 この第2連関度は、各参照用目的事象に基づいて判別を行う上での、撮影装置5における撮影条件の相性であり、換言すれば、参照用目的事象、ひいてはこれにより判別する被写体の目的事象に対する撮影装置5における設計や撮影方法の的確性を示すものである。上述の例であれば、「胃の癌」に対する撮影条件として「レンズの配置P」と「フィルタW」の組み合わせが最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。「胃の癌」に対する撮影条件は、「フィルタS」と、「空間解像度133-140dpi」がこれに続くことが示されている。
 アルゴリズムデータベース3には、このような各撮影条件に対して、上述した参照用目的事象が互いに第2連関度を介して紐付けられて記憶されている。
 情報探索プログラムは、新たに入力された目的事象と相性の高い撮影条件を探索する上で、図10に示す第2連関度を参照するようにしてもよい。例えば、新たに入力された目的事象が「毛髪の水分」である場合には、上述した第2連関度を参照した場合、これに対応する参照用検出アルゴリズム情報と第2連関度の高い「フィルタS」と「空間解像度133-140dpi」を撮影条件として選択する。第2連関度は低いものの連関性そのものは僅かながら認められる「レンズ配置P」と「フィルタW」の組み合わせも撮影条件として選択するようにしてもよい。同様に新たに入力された目的事象が「胃の癌」である場合には、「レンズ配置P」と「フィルタW」の組み合わせが選択されることとなる。
 なお、この図10に示す形態においても同様に、撮影条件の選択は、第2連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第2連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。
 図11は、参照用目的事象と、参照用撮影条件の組み合わせに対する撮影条件が3段階以上の第2連関度により関連付けられた例を示している。この参照用撮影条件は、上述した撮影条件と同様の項目で構成される。この図11に示す第2連関度は、操作部25を介して、目的事象に加え、撮影条件の一部が既知の情報として入力される場合の例である。即ち、目的事象と撮影条件の一部は既に決定しているが、残りの撮影条件が決定できないため、この第2連関度を介して探索する例である。
 図11に示すように、第2連関度を介して左側に参照用目的事象や参照用撮影条件が配列し、第2連関度を介して右側に、実際に探索すべき撮影条件が配列している。
 参照用目的事象が「果実の鮮度」であり、参照用撮影条件が「フィルタS」である場合に、これらの組み合わせのノードは、「ホワイトバランス○○」が第1連関度70%、「露光時間○○ns以上」が第2連関度40%とされている。また参照用撮影条件が「フィルタS」、「シャッタースピード○○秒」であり、参照用目的事象が「葉の光合成」である場合には、これらの組み合わせのノードは、「ホワイトバランス○○」が第2連関度60%、「露光時間○○ns未満」が第2連関度40%とされている。
 このような第2連関度が予め記憶されている場合において、操作部25を介して既知の目的事象と、撮影条件が入力された場合には、第2連関度を参照することにより、撮影条件を探索することができる。例えば、操作部25を介して目的事象として「ガラスの欠陥」が入力され、撮影条件として「照明光の角度○○°」が入力された場合には、それらの組み合わせのノードと連関度が規定されている「レンズの配置」や「フィルタS、空間解像度133-140dpi」等を適宜選択していくこととなる。
 これら選択が完了した後、情報探索プログラムは、選択した撮影条件を探索装置2の表示部23を介して表示する。これによりユーザは、表示部23を視認することにより、検出アルゴリズム情報に応じた撮影条件を即座に把握することが可能となる。この撮影条件の探索動作についても同様に人工知能を利用するようにしてもよい。即ち、第2連関度がニューラルネットワークにより構成されていてもよい。
 ユーザは、出力された撮影条件に基づいて、撮影装置5における結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54等をそれぞれ設計し、或いは照明光の条件を設定し、或いは撮影に関する各種条件を決定していくこととなる。またユーザは、出力された撮影条件に基づいて、スペクトル撮像装置4の各構成を設計し、或いは各条件を決定していくこととなる。
 ちなみに、この既知の撮影条件を入力する過程では、操作部25を介した入力以外に、例えば、既知の撮影条件を自動的に抽出するようにしてもよい。この撮影条件を抽出する手段としては、例えば使用するスペクトル撮像装置4や撮影装置5に関するマニュアル類の電子データやインターネット上に掲載されている情報をテキストマイニング技術を介して読み取り、解析する機器で構成されていてもよく、PC等で具現化するようにしてもよい。この解析した情報の中から撮影条件に関する情報を抽出し、これを上述した既知の撮影条件として入力するようにしてもよい。また既知の撮影条件として露光時間を抽出するものであれば、スペクトル撮像装置4や撮影装置5による実際の露光時間を測定するためのデバイスを利用するようにしてもよいし、スペクトル撮像装置4や撮影装置5を直接PCに接続して、設定されている露光時間を読み込むようにしてもよい。
 図12は、被写体の目的事象の入力から撮影装置5の撮影条件を取得するまでのデータフローを示している。
 入力される情報としては、被写体の目的事象に加え、照明系のパラメータである照明光の波長、被写体に照射する照明光の照射角度、照明光の輝度等、更に撮像系のパラメータである、スペクトル撮像装置4や撮影装置5の波長範囲、波長分解能、空間解像度、分光波長感度、偏光フィルタ等である。更にこれに加えてハードウェア上のパラメータも入力される場合がある。この入力された情報に基づいて、上述した第1連関度を参照することにより、特徴波長、特徴波長範囲からなる検出アルゴリズム情報や撮影条件が探索されることとなる。このようにして得られた検出アルゴリズム情報は、入力された被写体の目的事象に加え、照明系のパラメータ、撮像系のパラメータに基づき、アルゴリズムデータベース3に記憶されている過去のデータを参照した上で、スペクトル撮像装置4や撮影装置5により被写体を撮像する上で最も適したアルゴリズム情報や撮影条件が選択される。
 検出アルゴリズム情報が設定されたスペクトル撮像装置4や撮影装置5により被写体を撮像し、特徴波長演算を行わせることにより、演算後の色解析画像を得ることが可能となる。
 なお、本発明は、上述した態様に限定されるものではない。上述した第1連関度を取得している前提の下で、ステップS11において、被写体の目的事象の入力を受け付ける代わりに、検出アルゴリズム情報の入力を受け付けるようにしてもよい。そしてステップS13においては、この入力を受け付けた検出アルゴリズム情報に基づき、上記第1連関度を参照することで、被写体の目的事象が何であるかを逆に探索する。即ち、図8、9における入力と出力の関係が上述した態様と入れ替わったものであり、入力が検出アルゴリズム情報で、出力が被写体の目的事象となる。
 かかる態様の応用例としては、例えばスペクトル撮像装置4や撮影装置5により、ある未知の被写体について撮像した結果、その特徴波長が310nm、660nmであった場合、混合物中の塩が被写体の目的事象である可能性が高いことを判別することが可能となる。
 本発明を適用した情報探索システム1は、例えば図13に示すようなフィードバックループを設けるようにしてもよい。
 このフィードバックループにおいて、アルゴリズムデータベース3は、被写体9を撮影したスペクトル撮像装置4や撮影装置5から情報を受信する。
 スペクトル撮像装置4や撮影装置5は、探索装置2により上述した方法に基づいて探索された検出アルゴリズム情報を取得する。そして、このスペクトル撮像装置4や撮影装置5は、この検出アルゴリズム情報に基づいて実際に被写体9を撮影する。この撮影対象としての被写体9は、S11において入力された被写体9に対応し、その撮影目的は、そのステップS11において入力された目的事象を検出することに該当する。つまり、上述したステップS11において被写体の目的事象として葉の光合成を検知することを入力し、ステップS13において探索された検出アルゴリズムが、その葉の光合成を検知する上で適したものであるとする。かかる場合には、その探索された検出アルゴリズムがスペクトル撮像装置4や撮影装置5に入力される。そしてこの入力された検出アルゴリズムによりスペクトル撮像装置4や撮影装置5を介して被写体9としての葉を撮影し、光合成の検知を試みる。
 スペクトル撮像装置4や撮影装置5は、被写体9を撮影することにより得られたスペクトルデータをアルゴリズムデータベース3に送信する。アルゴリズムデータベース3は、このようなスペクトルデータに基づいて第1連関度を更新する。
 例えば図8に示すような、被写体9も目的事象としての葉の光合成について、特徴波長1357±10nmである検出アルゴリズムが探索され、これに基づいて実際に被写体9としての葉を撮影して得られたスペクトルデータが、葉の光合成を好適に表現できているものであれば、その検出アルゴリズムは適正であり、これを探索する第1連関度の精度が高いものと判断して特に更新することはしない。一方、得られたスペクトルデータが葉の光合成を好適に表現できていないのであれば、その検出アルゴリズムは不適正であり、これを探索する第1連関度の精度に改善の余地があるものと判断して、これを更新することになる。
 なお、この図8に示す第1連関度を形成する上では、既知の被写体の参照用目的事象と検出アルゴリズムとを入力することで学習させる、いわゆる教師あり学習に限定されるものではなく、教師なし学習に基づいてこれを形成させるようにしてもよい。かかる場合には、得られたデータをクラスタリングすることで分類し、これに基づいて第1連関度を形成するようにしてもよい。
 この目的事象としての葉の光合成を好適に表現できているか否かを、例えばスペクトルデータに基づいて判断するようにしてもよい。かかる場合には、各波長領域におけるスペクトルの強度に基づいて判断するようにしてもよい。
 図14(a)に示すように、検出アルゴリズムとして1347~1367nmの波長範囲においてスペクトルの強度に基づいて光合成の有無を判断する場合を例に挙げる。ここで撮影装置5を通じて被写体としての葉を撮像した結果、例えば図14(b)に示すように、比較的光合成が多く検知されて1347~1367nmの波長範囲においてスペクトルのピークが高くなっている場合もあれば、図14(c)に示すようにあまり光合成が検知されず、1347~1367nmの波長範囲においてスペクトルのピークが高くなっていない場合もある。
 このようにして得られた検出ピークの高低をどのように解釈するかは、システム側において自由に設定することができる。例えば1347~1367nmの波長範囲においてスペクトルのピークがある特定の閾値を超えた場合には、光合成が検知されたものと判断し、ある特定の閾値以下の場合には、光合成が検知されなかったものとして判断するようにしてもよい。このような判断に加えて、上述した連関度を更新するようにしてもよい。この連関度の更新のルールとしては、検出されたスペクトルの強度に基づいて行うようにしてもよい。検出アルゴリズムとして設定された波長範囲のスペクトルの強度が高いほど、目的事象としての光合成をより好適に検知できているものと解釈するのであれば、その検出アルゴリズムにつながる第1連関度がより高くなるように更新する。例えば図8に示す第1連関度において葉の光合成を検知するための検出アルゴリズムは、1347~1367nm(1357±10nm)の波長範囲の第1連関度が最も連関度が高い。この検出アルゴリズム(1347~1367nm)に基づいて被写体を検出した結果、仮に図14(b)に示すように、その検出アルゴリズムの波長範囲内において特定の閾値を超える場合には、その検出アルゴリズムにより目的事象を正確に検知できたものと判断し、その検出アルゴリズムにつながる第1連関度(80%)が更に高くなるように更新する。一方、この検出アルゴリズム(1347~1367nm)に基づいて被写体を検出した結果、仮に図14(c)に示すように、その検出アルゴリズムの波長範囲内において特定の閾値以下の場合には、その検出アルゴリズムにより目的事象を正確に検知できなかったものと判断し、その検出アルゴリズムにつながる第1連関度(80%)がより低くなるように更新する。
 検出されたスペクトルの強度は、その被写体の目的事象が発現しているのか否かに大きく依拠するものであり、上述した例では、被写体としての葉が目的事象としての光合成を発現しているか否かに大きく依拠することは確かである。しかし、このスペクトルの強度は、これだけに依拠するものではなく、その被写体の目的事象を検出する上での検出アルゴリズムの適合性による影響を受ける。被写体の目的事象を検出するための検出アルゴリズムが相応しいものではなく、適合性が低い場合には、その適合性が高い場合と比較してスペクトルの強度は低くなることは十分に考えられることである。仮に被写体としての葉が同程度の光合成を発現しているにも係わらず、スペクトル強度が異なるのであれば、それは検出アルゴリズムの適合性による影響を受けていることは明らかである。
 なお、このような検出アルゴリズムの波長範囲内におけるスペクトルの強度が低くなる一方で、その波長範囲外にあるスペクトルの強度は逆に高くなる可能性もある。またこのスペクトルの強度は、被写体の目的事象を検出するための検出アルゴリズムが相応しいものであり、適合性が高い場合に、検出アルゴリズムの波長範囲内におけるスペクトルの強度が逆に低くなる場合もあり、適合性が低い場合にはその波長範囲内におけるスペクトルの強度が高くなる場合もありえる。
 即ち、被写体の目的事象と検出アルゴリズムとの適合性に応じて、検出アルゴリズムの波長領域内のスペクトル強度やその波長領域外のスペクトル強度は影響を受ける。本発明では、その影響を受けることにより発現されるスペクトル強度に応じて、第1連関度を更新する。これにより、順次更新されてくる第1連関度を通じて、被写体の目的事象と検出アルゴリズムとの適合性が徐々に向上してくることになる。
 更にこのスペクトルデータは、被写体の目的事象と検出アルゴリズムとの適合性に加えて、撮影された被写体そのものの画像の特徴(即ち、画像上に描かれる被写体の形状、テクスチャ、コントラスト、位置等)も同様に反映される。
 例えば図15に示すように、スペクトル撮像装置4や撮影装置5を介して被写体11を撮影することにより得られた画像における各画素P1、P2は、それぞれスペクトルデータで構成されている。これらの各スペクトルデータは、被写体の目的事象と、検出アルゴリズムとの適合性と、撮影された被写体そのものの画像特徴量が反映される。例えば、P1は画像のエッジ部分であることから画像特徴量の影響がスペクトルデータにより大きく反映される一方で、被写体の目的事象としての葉の光合成は生じていない箇所であることからその影響はスペクトルデータにあまり反映されてこないことになる。一方P2は画像のエッジ部分ではないことから画像特徴量の影響がスペクトルデータにあまり反映されてこない一方で、被写体の目的事象としての葉の光合成は生じている箇所であることからその影響はスペクトルデータに大きく反映されてくることになる。また、P1、P2における各スペクトルデータは、共に検出アルゴリズムとの適合性による影響は受けることになる。
 即ち、スペクトルデータは、このような画像特徴量、ひいては画像上に描かれる被写体の形状、テクスチャ、コントラスト、位置等による空間情報による影響を受ける。このため、スペクトルデータに基づいて上述した処理動作を実行する上で、当該スペクトルデータは、被写体の目的事象と、検出アルゴリズムとの適合性と、空間情報が支配因子となっている。
 特に本発明においては、この空間情報ひいては画像特徴量との関係を考慮した上で、被写体の目的事象と検出アルゴリズムとの適合性の判定を行うようにしてもよいし、第1連関度や第2連関度の更新を行うようにしてもよい。
 また、上述した実施の形態においてはマルチスペクトルを例にとり説明をしたが、ハイパースペクトルの場合も同様である、図14中点線で示されているものがハイパースペクトルであるが、これついても縦軸のスペクトル強度に基づいて第1連関度を更新するようにしてもよい。かかる場合には、スペクトル撮像装置4により撮像したハイパースペクトルを取得するようにしてもよい。また撮影装置5により取得したマルチスペクトルをハイパースペクトルに復元し、このハイパースペクトルに基づいて適合性を判断するようにしてもよい。このマルチスペクトルのハイパースペクトルへの復元は、探索装置2等を介して実行し、例えば予め設定した復元アルゴリズムに基づいて行うようにしてもよい。この復元アルゴリズムは、ハイパースペクトルとマルチスペクトルとの間での対応関係からなるテンプレートで構成しておき、必要に応じてこれを読み出し、参照して復元するようにしてもよい。
 このような更新処理を例えば図16に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータを設定し、ノード70を挟んで右側に上述した適合性が描かれている。
 このノード70は、今回設定した検出アルゴリズムと、得られるスペクトルデータ(スペクトル強度)との組み合わせで構成される。そしてこのノード70は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、3段階以上の連関度で構成されることになる。
 このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第1連関度と同様である。
 ここで今回設定した検出アルゴリズム1375±10nmでこれに基づいて被写体を撮像することで得られたスペクトル強度が10であった場合、ノード70bが当てはまり、このノード70bは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム1375±10nmは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図8に示す第1連関度をより低くなるように再設定する。
 またノード70aが仮に当てはまった場合には、最も更新用連関度が高い適合性が「高い」である。かかる場合には、検出アルゴリズム1375±10nmは、取得したスペクトル強度の観点から適合性が高いものと判断する。そして、この図8に示す第1連関度をより高くなるように再設定する。ちなみに、この更新用連関度に基づくものであれば必ずしもその高いものとを選択する必要は無く、低いものを選択するようにしてもよい。
 なお、上述した実施の形態においては、検出したスペクトル強度に基づいて、探索解を探索する例について説明をしたが、スペクトルデータに基づくものであればいかなるファクターに基づいて探索を行うようにしてもよい。
 また、本発明によれば、この図16に示す今回設定した検出アルゴリズム以外の他の検出アルゴリズムを入力するようにしてもよい。そして、他の検出アルゴリズムと、これに基づいて撮像したスペクトルデータをそれぞれ入力し、探索解を出すようにしてもよい。
 また上述したフィードバックループは、第2連関度に対して適用されるものであってもよい。
 スペクトル撮像装置4や撮影装置5は、探索装置2により上述した方法に基づいて探索された撮影条件を取得する。そして、このスペクトル撮像装置4や撮影装置5は、この撮影条件に基づいて実際に被写体9を撮影する。この撮影対象としての被写体9は、S11において入力された被写体9に対応し、その撮影目的は、そのステップS11において入力された目的事象を検出することに該当する。つまり、上述したステップS11において被写体の目的事象として葉の光合成を検知することを入力し、ステップS13において探索された検出アルゴリズムが、その葉の光合成を検知する上で適したものであるとする。かかる場合には、その探索された撮影条件がスペクトル撮像装置4や撮影装置5に入力される。そしてこの入力された撮影条件によりスペクトル撮像装置4や撮影装置5を介して被写体9としての葉を撮影し、光合成の検知を試みる。
 スペクトル撮像装置4や撮影装置5は、被写体9を撮影することにより得られたスペクトルデータをアルゴリズムデータベース3に送信する。アルゴリズムデータベース3は、このようなスペクトルデータに基づいて第2連関度を更新する。
 例えば図10に示すような、被写体9も目的事象としての葉の光合成について、ホワイトバランス○○である撮影条件が探索され、これに基づいて実際に被写体9としての木の葉を撮影して得られたスペクトルデータが、木の葉の光合成を好適に表現できているものであれば、その撮影条件は適正であり、これを探索する第2連関度の精度が高いものと判断して特に更新することはしない。一方、得られたスペクトルデータが木の葉の光合成を好適に表現できていないのであれば、その撮影条件は不適正であり、これを探索する第2連関度の精度に改善の余地があるものと判断して、これを更新することになる。
 この目的事象としての葉の光合成を好適に表現できているか否かを、例えばスペクトルデータに基づいて判断するようにしてもよい。かかる場合には、第1連関度と同様に、各波長領域におけるスペクトルの強度に基づいて判断するようにしてもよい。
 また第2連関度を更新してもよく、この更新のルールとしては、検出されたスペクトルの強度に基づいて行うようにしてもよい。スペクトルの強度が高いほど、目的事象としての光合成をより好適に検知できているものと解釈するのであれば、その撮影条件につながる第2連関度がより高くなるように更新する。例えば図10に示す第2連関度において葉の光合成を検知するための撮影条件は、ホワイトバランス○○が最も第2連関度が高い。この撮影条件(ホワイトバランス○○)に基づいて被写体を検出した結果、スペクトル強度が特定の閾値を超える場合には、その撮影条件により目的事象を正確に検知できたものと判断し、その撮影条件につながる第2連関度(80%)が更に高くなるように更新する。一方、この撮影条件(ホワイトバランス○○)に基づいて被写体を検出した結果、スペクトル強度が特定の閾値以下の場合には、その撮影条件により目的事象を正確に検知できなかったものと判断し、その撮影条件につながる第2連関度(80%)がより低くなるように更新する。
 検出されたスペクトルの強度は、その被写体の目的事象が発現しているのか否かに大きく依拠するものであり、上述した例では、被写体としての葉が目的事象としての光合成を発現しているか否かに大きく依拠することは確かである。しかし、このスペクトルの強度は、これだけに依拠するものではなく、その被写体の目的事象を検出する上での撮影条件の適合性による影響を受ける。被写体の目的事象を検出するための撮影条件が相応しいものではなく、適合性が低い場合には、その適合性が高い場合と比較してスペクトルの強度は低くなることは十分に考えられることである。
 またこのスペクトルの強度は、被写体の目的事象を検出するための撮影条件が相応しいものであり、適合性が高い場合に、スペクトルの強度が逆に低くなる場合もあり、適合性が低い場合にはスペクトルの強度が高くなる場合もありえる。
 即ち、被写体の目的事象と撮影条件との適合性に応じて、スペクトル強度は影響を受ける。本発明では、その影響を受けることにより発現されるスペクトル強度に応じて、第2連関度を更新する。これにより、順次更新されてくる第2連関度を通じて、被写体の目的事象と検出アルゴリズムとの適合性が徐々に向上してくることになる。
 また、上述した実施の形態においてはマルチスペクトルを例にとり説明をしたが、ハイパースペクトルの場合も同様である、図14中点線で示されているものがハイパースペクトルであるが、これついても縦軸のスペクトル強度に基づいて第2連関度を更新するようにしてもよい。かかる場合には、スペクトル撮像装置4により撮像したハイパースペクトルを取得するようにしてもよい。また撮影装置5により取得したマルチスペクトルをハイパースペクトルに復元し、このハイパースペクトルに基づいて適合性を判断するようにしてもよい。このマルチスペクトルのハイパースペクトルへの復元は、探索装置2等を介して実行し、例えば予め設定した復元アルゴリズムに基づいて行うようにしてもよい。この復元アルゴリズムは、ハイパースペクトルとマルチスペクトルとの間での対応関係からなるテンプレートで構成しておき、必要に応じてこれを読み出し、参照して復元するようにしてもよい。
 このような更新処理を例えば図17に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した撮影条件と、被写体を撮像することにより得られるスペクトルデータを設定し、ノード70を挟んで右側に上述した適合性が描かれている。
 このノード70は、今回設定した撮影条件と、得られるスペクトルデータ(スペクトル強度)との組み合わせで構成される。そしてこのノード70は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、3段階以上の連関度で構成されることになる。
 このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した撮影条件と、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第2連関度と同様である。
 ここで今回設定した撮影条件(ホワイトバランス○○)でこれに基づいて被写体を撮像することで得られたスペクトル強度が10であった場合、ノード70bが当てはまり、このノード70bは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、撮影条件(ホワイトバランス○○)は、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図10に示す第2連関度をより低くなるように再設定する。
 第2連関度を形成する上では、既知の被写体の参照用目的事象と検出アルゴリズムとを入力することで学習させる、いわゆる教師あり学習に限定されるものではなく、教師なし学習に基づいてこれを形成させるようにしてもよい。かかる場合には、得られたデータをクラスタリングすることで分類し、これに基づいて第2連関度を形成するようにしてもよい。
 なお、上述した実施の形態においては、検出したスペクトル強度に基づいて、探索解を探索する例について説明をしたが、スペクトルデータに基づくものであればいかなるファクターに基づいて探索を行うようにしてもよい。
 また、本発明によれば、この図17に示す今回設定した撮影条件以外の他の撮影条件を入力するようにしてもよい。そして、他の撮影条件と、これに基づいて撮像したスペクトルデータをそれぞれ入力し、探索解を出すようにしてもよい。
 本発明を適用した情報探索システム1は、例えば図18に示すようなフィードバックループを設けるようにしてもよい。このフィードバックループではスペクトル撮像装置4に接続された位置検出部81と、この位置検出部81に接続された地図情報取得部82とを新たに備えている。この図18に示すフィードバックループにおいて、図13に示すフィードバックループと同一の構成要素については、同一の符号を付すことにより以下での説明を省略する。
 位置検出部81は、人工衛星から送られてくる衛星測位信号に基づいてスペクトル撮像装置4の現時点の位置情報をリアルタイムに取得する。仮にスペクトル撮像装置4が、走行する車両に搭載されているのであれば、その車両が道路上を走行する過程で、この位置検出部81により衛星測位信号を随時受信することにより、その走行する道路上の各地点における位置情報を取得することができる。位置検出部81により検出された位置情報は、アルゴリズムデータベース3に送られる。
 地図情報取得部82は、日本国内の地図、世界各国の地図からなる地図情報を記憶する。ここでいう地図情報は、地図を平面的に記述した二次元マップ、地図を立体的に記述した三次元マップ、道路上の地点で撮影した全周囲パノラマ画像からなるストリートビュー画像で具現化される電子データとして構成される。このような地図情報に基づいてPCやスマートフォン、タブレット型端末等を介して地図を画面上に表示することが可能となり、ひいてはアプリケーションを通じてこの表示された地図に対して各種動作を実行することが可能となる。この地図情報保持部82は、当初の地図情報をインターネット上に掲載されている地図の電子データを取得するようにしてもよいし、他の無料で配布される、或いは市販される地図の電子データを取得するようにしてもよい。地図情報保持部82により検出された地図情報は、アルゴリズムデータベース3に送られる。
 かかる場合には更新処理を、例えば図19に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータに加え、位置検出部81により検出された位置情報と、地図情報保持部82により検出された地図情報を設定し、ノード70を挟んで右側に上述した適合性が描かれている。
 このノード70は、今回設定した検出アルゴリズムと、得られるスペクトルデータ(スペクトル強度)に加えて、位置情報と地図情報との組み合わせで構成される。そしてこのノード70は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、3段階以上の連関度で構成されることになる。
 このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第1連関度と同様である。
 ここで今回設定した検出アルゴリズム1375±10nmでこれに基づいて被写体を撮像することで得られたスペクトル強度が15であり、かつ位置情報○○、地図情報××の場合、ノード70bが当てはまり、このノード70bは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム1375±10nmは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図8に示す第1連関度をより低くなるように再設定する。 本発明を適用した情報探索システム1は、例えば図20に示すようなフィードバックループを設けるようにしてもよい。このフィードバックループではスペクトル撮像装置4に接続された形態検出部83とを新たに備えている。この図20に示すフィードバックループにおいて、図13、18に示すフィードバックループと同一の構成要素については、同一の符号を付すことにより以下での説明を省略する。
 形態検出部83は、被写体9を撮像するカメラで構成されている。この形態検出部83により撮像された被写体9の画像から、この被写体9の形態(形状、模様、色彩、質感等)を識別することが可能となる。形態検出部83により検出された被写体9の形態情報は、アルゴリズムデータベース3に送られる。この被写体9の形態情報はある方向のみから撮像することで取得した画像のみならず、撮影範囲や撮影方向を異ならせて撮像したものであってもよい。
 かかる場合には更新処理を、例えば図21に示すような更新用連関度に基づいて行うようにしてもよい。この更新用連関度は、左側に今回設定した検出アルゴリズムと、被写体を撮像することにより得られるスペクトルデータに加え、形態検出部83により検出された被写体9の形態情報を設定し、ノード70を挟んで右側に上述した適合性が描かれている。
 このノード70は、今回設定した検出アルゴリズムと、得られるスペクトルデータ(スペクトル強度)に加えて、形態情報との組み合わせで構成される。そしてこのノード70は、それぞれ出力解としての適合性につながる。更新用連関度も同様に、3段階以上の連関度で構成されることになる。
 このような更新用連関度を予め取得しておく。そして、この更新用連関度を参照し、今回設定した検出アルゴリズムと、実際に得られたスペクトル強度に基づいて、出力解としての適合性を探索する。この具体的な探索方法については、上述した第1連関度と同様である。
 ここで今回設定した検出アルゴリズム1375±10nmでこれに基づいて被写体を撮像することで得られたスペクトル強度が15であり、かつ形態情報○○、形態情報××の組み合わせの場合、ノード70bが当てはまり、このノード70bは、最も更新用連関度が高い適合性が「低い」である。かかる場合には、検出アルゴリズム1375±10nmは、取得したスペクトル強度の観点から適合性が低いものと判断する。そして、この図8に示す第1連関度をより低くなるように再設定する。同様に検出アルゴリズム970±10nmで形態情報○○の場合には、ノード70dが当てはあまり、このノード70dは最も更新用連関度が高い適合性が「普通」である。かかる場合には、検出アルゴリズム970±10nmは、取得したスペクトル強度の観点から適合性が低いものと判断する。このように被写体9の形態情報と組み合わせて判断することにより、判断精度を向上させることが可能となる。
 なお、形態情報としては、いわゆる空間特徴情報を含むようにしてもよい。ここでいう空間特徴情報としては、空間位置(配置)、形態(形状、大きさ、模様、テクスチャ、色彩、質感等)を含めたものである。この空間特徴情報は、いわゆるディープラーニング技術において使用される画像上の特徴量を含む概念であり、これを抽出することで空間位置(配置)や形態を識別していくための情報である。この空間特徴情報は、一般的な空間特徴量に加えて、スペクトル毎に抽出されたスペクトル特徴量も含まれるものであってもよい。或いは、この空間特徴情報は、空間特徴量と、このスペクトル特徴量を融合させたもので構成されていてもよい。このスペクトル特徴量は、分光画像に基づいて特徴量を抽出するものであるから、背景の動き等から所望の被写体のみを容易に分離して特徴量を抽出することができ、形態情報の把握を容易に行うことが可能となる。
 ちなみに、この形態情報に加え、上述した位置情報や地図情報も組み合わせて判断するようにしてもよいことは勿論である。
1 情報探索システム
2 探索装置
3 アルゴリズムデータベース
4 スペクトル撮像装置
5 撮影装置
9、10、11 被写体
16 画像
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 探索部
28 記憶部
41 対物レンズ
42 精密直動ステージ
43 スリット板
43a スリット開口部
44 コリメートレンズ
45 分散光学素子
46 結像レンズ
47 撮像素子
48 制御部
51 結像光学系
52 フィルタ
53 撮像素子
54 信号処理部
56 撮像レンズ
70 ノード
81 位置検出部
82 地図情報保持部
83 形態検出部
481 撮影制御部
482 移動制御部
483 分光データ作成部
484 画像処理部
484-1 校正処理部
484-2 算出部
484-3 色解析画像取得部

Claims (15)

  1.  撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、
     被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
     上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段と、
     上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、
     上記第1連関データベースは、上記受信手段により受信した情報に基づいて上記第1連関度を更新すること
     を特徴とする情報探索システム。
  2.  上記受信手段は、上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信すること
     を特徴とする請求項1記載の情報探索システム。
  3.  上記受信手段は、当該撮影した被写体の目的事象に関する情報として、その目的事象を撮影することにより得られたスペクトルデータを受信し、
     上記第1連関データベースは、上記受信手段により受信したスペクトルデータに基づいて上記第1連関度を更新すること
     を特徴とする請求項1又は2記載の情報探索システム。
  4.  撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、
     被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
     上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段と、
     上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、
     上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、
     上記第1連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第1連関度を更新すること
     を特徴とする情報探索システム。
  5.  撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、
     被写体の各目的事象と、各撮影条件との3段階以上の第2連関度が予め記憶されている第2連関データベースと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
     上記第2連関データベースに記憶されている上記第2連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段と、
     上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信手段とを備え、
     上記第2連関データベースは、上記受信手段により受信した情報に基づいて上記第2連関度を更新すること
     を特徴とする情報探索システム。
  6.  上記受信手段は、上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信すること
     を特徴とする請求項5記載の情報探索システム。
  7.  上記受信手段は、当該撮影した被写体の目的事象に関する情報として、その目的事象を撮影することにより得られたスペクトルデータを受信し、
     上記第2連関データベースは、上記受信手段により受信したスペクトルデータに基づいて上記第2連関度を更新すること
     を特徴とする請求項5又は6記載の情報探索システム。
  8.  撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、
     被写体の各目的事象と、各撮影条件との3段階以上の第2連関度が予め記憶されている第2連関データベースと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
     上記第2連関データベースに記憶されている上記第2連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段と、
     上記探索手段により探索された撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信手段と、
     上記受信手段により受信されたマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元手段とを備え、
     上記第2連関データベースは、上記データ復元手段により復元されたスペクトルデータに基づいて上記第2連関度を更新すること
     を特徴とする情報探索システム。
  9.  上記データベースは、更に被写体の位置情報及び/又は形態情報に基づいて各連関度を更新すること
     を特徴とする請求項1~7のうち何れか1項記載の情報探索システム。
  10.  上記第1連関データベースは、上記3段階以上の第1連関度をニューラルネットワークで構成し、人工知能を活用することにより、上記第1連関度を更新すること
     を特徴とする請求項1~4のうち何れか1項記載の情報探索システム。
  11.  上記第2連関データベースは、上記3段階以上の第2連関度をニューラルネットワークで構成し、人工知能を活用することにより、上記第2連関度を更新すること
     を特徴とする請求項5~8のうち何れか1項記載の情報探索システム。
  12.  撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、
     被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度を予め取得する連関度取得ステップと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
     上記連関度取得ステップにおいて取得した上記第1連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップと、
     上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、
     上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第1連関度を更新すること
     をコンピュータに実行させることを特徴とする情報探索プログラム。
  13.  撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索プログラムにおいて、
     被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度を予め取得する連関度取得ステップと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
     上記連関度取得ステップにおいて取得した上記第1連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップと、
     上記探索ステップにおいて探索した検出アルゴリズム情報に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、
     上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、
     上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第1連関度を更新すること
      をコンピュータに実行させることを特徴とする情報探索プログラム。
  14.  撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、
     被写体の各目的事象と、各撮影条件との3段階以上の第2連関度を予め取得する連関度取得ステップと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
     上記連関度取得ステップにおいて取得した上記第2連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップと、
     上記被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報を受信する受信ステップとを有し、
     上記連関度取得ステップでは、上記受信ステップにおいて受信した情報に基づいて上記第2連関度を更新すること
     をコンピュータに実行させることを特徴とする情報探索プログラム。
  15.  撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、
     被写体の各目的事象と、各撮影条件との3段階以上の第2連関度を予め取得する連関度取得ステップと、
     新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
     上記連関度取得ステップにおいて取得した上記第2連関度を参照し、上記目的事象入力ステップにおいて入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップと、
     上記探索ステップにおいて探索した撮影条件に基づいて被写体を撮影した撮影端末から、当該撮影した被写体の目的事象に関する情報としてのマルチスペクトルデータを受信する受信ステップと、
     上記受信ステップにおいて受信したマルチスペクトルデータに基づいてハイパースペクトルデータを復元するデータ復元ステップとを有し、
     上記連関度取得ステップでは、上記データ復元ステップにおいて復元したスペクトルデータに基づいて上記第2連関度を更新すること
     をコンピュータに実行させることを特徴とする情報探索プログラム。
PCT/JP2018/039469 2018-03-27 2018-10-24 情報探索システム及びプログラム WO2019187277A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020187034501A KR102222913B1 (ko) 2018-03-27 2018-10-24 정보 탐색 시스템 및 프로그램
AU2018415972A AU2018415972A1 (en) 2018-03-27 2018-10-24 Information retrieval system and program
US16/309,921 US10846325B2 (en) 2018-03-27 2018-10-24 Information search system and information search program
CN201880002236.5A CN110637224A (zh) 2018-03-27 2018-10-24 信息搜索系统及程序
SG11202008391VA SG11202008391VA (en) 2018-03-27 2018-10-24 Information search system and information search program
CA3026545A CA3026545C (en) 2018-03-27 2018-10-24 Information search system and information search program
EP18811128.0A EP3572793A4 (en) 2018-03-27 2018-10-24 INFORMATION SEARCH SYSTEM AND INFORMATION SEARCH PROGRAM
RU2018143650A RU2734870C2 (ru) 2018-03-27 2018-10-24 Система поиска информации и программа поиска информации
IL277615A IL277615B1 (en) 2018-03-27 2018-10-24 Information search system and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-060572 2018-03-27
JP2018060572A JP6951753B2 (ja) 2018-03-27 2018-03-27 情報探索システム及びプログラム

Publications (1)

Publication Number Publication Date
WO2019187277A1 true WO2019187277A1 (ja) 2019-10-03

Family

ID=67436969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039469 WO2019187277A1 (ja) 2018-03-27 2018-10-24 情報探索システム及びプログラム

Country Status (12)

Country Link
US (1) US10846325B2 (ja)
EP (1) EP3572793A4 (ja)
JP (1) JP6951753B2 (ja)
KR (1) KR102222913B1 (ja)
CN (1) CN110637224A (ja)
AU (1) AU2018415972A1 (ja)
CA (1) CA3026545C (ja)
IL (1) IL277615B1 (ja)
RU (1) RU2734870C2 (ja)
SG (1) SG11202008391VA (ja)
TW (1) TWI696924B (ja)
WO (1) WO2019187277A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843439B2 (ja) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
US20220346631A1 (en) 2019-09-25 2022-11-03 Sony Group Corporation Imaging optical system and imaging apparatus
JP2022039717A (ja) * 2020-08-28 2022-03-10 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
CN112905823B (zh) * 2021-02-22 2023-10-31 深圳市国科光谱技术有限公司 一种基于大数据平台的高光谱物质检测识别系统及方法
CN113570574B (zh) * 2021-07-28 2023-12-01 北京精英系统科技有限公司 一种场景特征检测的装置、搜索的装置及搜索的方法
CN114245021B (zh) * 2022-02-14 2023-08-08 北京火山引擎科技有限公司 互动拍摄方法、电子设备、存储介质及计算机程序产品
CN117197269A (zh) * 2023-08-31 2023-12-08 北华航天工业学院 一种基于深度学习模型的高光谱影像模拟方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
JP2010185719A (ja) * 2009-02-10 2010-08-26 National Agriculture & Food Research Organization 穀粉の判別方法及び装置
WO2013002350A1 (ja) 2011-06-29 2013-01-03 京都府公立大学法人 腫瘍部位の識別装置及び識別方法
JP2013535014A (ja) * 2010-06-25 2013-09-09 セルマーク セラノスティクス,リミテッド ライアビリティー カンパニー 生物学的試片をスペクトル画像により分析する方法
WO2013145201A1 (ja) * 2012-03-29 2013-10-03 株式会社日立製作所 画像生成システム及び画像生成方法
JP2015166682A (ja) 2014-03-03 2015-09-24 エバ・ジャパン 株式会社 分光放射輝度計
US20150277438A1 (en) * 2013-05-07 2015-10-01 Halliburton Energy Services Inc. Optical sensor optimization and system implementation with simplified layer structure
JP2017003495A (ja) 2015-06-12 2017-01-05 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
US20180053057A1 (en) * 2016-08-18 2018-02-22 Xerox Corporation System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture
JP2018194541A (ja) * 2017-05-17 2018-12-06 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919959B2 (en) * 1999-06-30 2005-07-19 Masten Opto-Diagnostics Co. Digital spectral identifier-controller and related methods
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7450761B2 (en) * 2004-11-02 2008-11-11 The Boeing Company Spectral geographic information system
JP4539432B2 (ja) * 2005-05-16 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7420678B2 (en) 2005-09-12 2008-09-02 The Boeing Company Multi-spectral imaging
JP4642681B2 (ja) 2005-09-30 2011-03-02 富士フイルム株式会社 光断層画像化装置
JP2009053064A (ja) 2007-08-28 2009-03-12 Sekonic Corp カラーメータ
KR100932843B1 (ko) * 2008-01-29 2009-12-21 엔에이치엔(주) 검색결과간의 연관도에 기초하여 클러스터링된 검색결과를제공하는 방법 및 시스템 그리고 검색결과를클러스터링하는 방법 및 시스템
JP2009206458A (ja) * 2008-02-29 2009-09-10 Canon Inc 検出装置、露光装置およびデバイス製造方法
JP4508257B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
AU2010203357B2 (en) 2009-01-10 2014-07-10 Carne Tender, Llc System and method for analyzing properties of meat using multispectral imaging
JP2011095225A (ja) 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
US20100201800A1 (en) 2009-02-09 2010-08-12 Olympus Corporation Microscopy system
JP5698489B2 (ja) 2010-09-30 2015-04-08 オリンパス株式会社 検査装置
JPWO2012090416A1 (ja) 2010-12-28 2014-06-05 オリンパス株式会社 検査装置
US9019358B2 (en) * 2011-02-08 2015-04-28 Xerox Corporation Method for classifying a pixel of a hyperspectral image in a remote sensing application
US8600227B2 (en) 2011-09-22 2013-12-03 Xerox Corporation Multi-filter array for a multi-resolution, multi-spectral camera
JP6462361B2 (ja) * 2011-11-17 2019-01-30 バイエル・ヘルスケア・エルエルシーBayer HealthCare LLC 医療診断手順についての情報を収集し、報告し、管理する方法及び技法
CN104080400B (zh) 2011-12-21 2018-08-14 凯瑟琳·M·莎查夫 使排列于组织表面的病变成像的系统
NL2009015C2 (en) * 2012-04-10 2013-10-15 Biosparq B V Method for classification of a sample on the basis of spectral data, method for creating a database and method for using this database, and corresponding computer program, data storage medium and system.
EP3221679A4 (en) * 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
KR102251960B1 (ko) * 2015-01-15 2021-05-14 삼성전자주식회사 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
WO2017079938A1 (en) * 2015-11-12 2017-05-18 Coyote Bioscience Co., Ltd. Methods and systems for disease monitoring and assessment
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
JP2010185719A (ja) * 2009-02-10 2010-08-26 National Agriculture & Food Research Organization 穀粉の判別方法及び装置
JP2013535014A (ja) * 2010-06-25 2013-09-09 セルマーク セラノスティクス,リミテッド ライアビリティー カンパニー 生物学的試片をスペクトル画像により分析する方法
WO2013002350A1 (ja) 2011-06-29 2013-01-03 京都府公立大学法人 腫瘍部位の識別装置及び識別方法
WO2013145201A1 (ja) * 2012-03-29 2013-10-03 株式会社日立製作所 画像生成システム及び画像生成方法
US20150277438A1 (en) * 2013-05-07 2015-10-01 Halliburton Energy Services Inc. Optical sensor optimization and system implementation with simplified layer structure
JP2015166682A (ja) 2014-03-03 2015-09-24 エバ・ジャパン 株式会社 分光放射輝度計
JP2017003495A (ja) 2015-06-12 2017-01-05 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
US20180053057A1 (en) * 2016-08-18 2018-02-22 Xerox Corporation System and method for video classification using a hybrid unsupervised and supervised multi-layer architecture
JP2018194541A (ja) * 2017-05-17 2018-12-06 エバ・ジャパン 株式会社 情報探索システム及び方法、情報探索プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3572793A4

Also Published As

Publication number Publication date
IL277615A (en) 2020-11-30
EP3572793A4 (en) 2020-04-08
CA3026545C (en) 2024-02-20
KR102222913B1 (ko) 2021-03-04
IL277615B1 (en) 2024-04-01
US20200065326A1 (en) 2020-02-27
RU2018143650A3 (ja) 2020-06-10
TWI696924B (zh) 2020-06-21
KR20190113523A (ko) 2019-10-08
TW201942765A (zh) 2019-11-01
JP6951753B2 (ja) 2021-10-20
CN110637224A (zh) 2019-12-31
JP2019174200A (ja) 2019-10-10
US10846325B2 (en) 2020-11-24
SG11202008391VA (en) 2020-10-29
AU2018415972A1 (en) 2020-10-22
RU2018143650A (ru) 2020-06-10
RU2734870C2 (ru) 2020-10-23
CA3026545A1 (en) 2019-09-27
EP3572793A1 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
WO2019187277A1 (ja) 情報探索システム及びプログラム
Li et al. AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry
CN105378538B (zh) 用于多频谱成像的自动聚焦方法和系统
JP6843439B2 (ja) 情報探索システム及び方法、情報探索プログラム
Li et al. Tongue fissure extraction and classification using hyperspectral imaging technology
Farooque et al. A dual attention driven multiscale-multilevel feature fusion approach for hyperspectral image classification
Koirala et al. Highlight detection and removal from spectral image
WO2023096971A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
WO2018212078A1 (ja) 情報探索システム及び方法、情報探索プログラム
JP6925046B2 (ja) 撮像装置の設計システム、撮像装置の設計プログラム
Deng et al. Automatic estimation of rice grain number based on a convolutional neural network
JP6730629B2 (ja) バンドパスフィルタの設計システム、バンドパスフィルタの設計プログラム
Chatoux et al. Gradient in spectral and color images: from the di zenzo initial construction to a generic proposition
CN109754003A (zh) 基于深度学习的智能机器人视觉技术应用检测系统和方法
Rivas et al. Copper concentrate dual-band joint classification using reflectance hyperspectral images in the VIS-NIR and SWIR bands
Cho et al. Hyperspectral face databases for facial recognition research
Park et al. An Acquisition Method for Visible and Near Infrared Images from Single CMYG Color Filter Array-Based Sensor
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
Ding et al. Method for GPU-based spectral data cube reconstruction of integral field snapshot imaging spectrometers
Tao et al. Concealed multiscale feature extraction network for automatic four-bar target detection in infrared imaging
Valdiviezo-N et al. Lattice algebra approach to multispectral analysis of ancient documents
Chu et al. A color correction method in uniform color space
Gerken et al. Contrast enhancement of SWIR images based on four filter discrimination and principle components analysis
JP2023043625A (ja) 製品品質検査システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187034501

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3026545

Country of ref document: CA

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018811128

Country of ref document: EP

Effective date: 20181211

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018415972

Country of ref document: AU

Date of ref document: 20181024

Kind code of ref document: A