WO2020158107A1 - 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置 - Google Patents

蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置 Download PDF

Info

Publication number
WO2020158107A1
WO2020158107A1 PCT/JP2019/044487 JP2019044487W WO2020158107A1 WO 2020158107 A1 WO2020158107 A1 WO 2020158107A1 JP 2019044487 W JP2019044487 W JP 2019044487W WO 2020158107 A1 WO2020158107 A1 WO 2020158107A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
fluorescence
sample
quality classification
wavelength
Prior art date
Application number
PCT/JP2019/044487
Other languages
English (en)
French (fr)
Inventor
啓貴 内藤
瑞樹 蔦
Original Assignee
日本たばこ産業株式会社
国立研究開発法人農業・食品産業技術総合研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本たばこ産業株式会社, 国立研究開発法人農業・食品産業技術総合研究機構 filed Critical 日本たばこ産業株式会社
Priority to JP2020569389A priority Critical patent/JP7134421B2/ja
Publication of WO2020158107A1 publication Critical patent/WO2020158107A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence

Definitions

  • the present invention relates to a sample quality determination method, a program, and an apparatus using a fluorescence image, and particularly to a quality determination method, a program, and an apparatus that can be suitably used to determine a component in a sample.
  • the fluorescence fingerprint is also called an excitation fluorescence matrix (Excitation Emission Matrix; EEM), and a test sample containing a fluorescent substance is irradiated with excitation light while changing the excitation wavelength in a stepwise manner to emit a predetermined amount of light emitted from the test sample.
  • EEM excitation Emission Matrix
  • the fluorescent fingerprint can be represented as a three-dimensional graph by displaying the fluorescence intensity of each point in a contour line shape or color distribution (see FIG. 3) or as a two-dimensional graph (see FIG. 4). ). Since the fluorescent fingerprint shows a pattern peculiar to the test sample having enormous three-dimensional information, it can be suitably used for various kinds of discrimination and quantification.
  • the hyperspectral image of the fluorescent fingerprint includes position information in addition to the above-mentioned fluorescent fingerprint information. It is also possible to specify its distribution and the like.
  • the “wavelength condition” in FIG. 5 corresponds to the combination of the excitation wavelength ( ⁇ Ex) and the fluorescence wavelength ( ⁇ Em), and the number of wavelength conditions is the excitation wavelength ( ⁇ Ex) and the fluorescence wavelength ( ⁇ Em). Equal to the number of combinations with.
  • Non-Patent Document 1 discloses that a method such as a quadratic programming method is used to acquire a visualized image of a specific component in a sample from a fluorescent fingerprint image, and such a method is a hyperspectral image. It can be said that this is one approach to the classification problem.
  • Non-Patent Document 3 Various methods are known for deep learning, which is a type of machine learning (see, for example, Non-Patent Document 3), and particularly for deep learning suitable for image recognition, a convolutional neural network (Convolutional Neural Network) is used. It has been found that the use of CNN) is effective (see, for example, Non-Patent Documents 3 and 4).
  • CNN convolutional Neural Network
  • the fluorescent fingerprint imaging technique using the hyperspectral image of the fluorescent fingerprint it is possible to specify not only the components in the sample but also the distribution thereof, but when handling the fluorescent fingerprint, It is necessary to consider the problem of fluorescence photobleaching, which is peculiar to fluorescence.
  • Fluorescence fading means an event in which the structure of the fluorescent dye molecule changes due to the structural instability of the fluorescent dye molecule excited by light, the excited state cannot be maintained, and fluorescence emission stops. When such fluorescent fading occurs, it may be difficult to observe depending on the degree of fading.
  • the present invention has been proposed in order to solve such a problem, in the processing of the fluorescence image, in consideration of the phenomenon of fluorescence fading, by applying an approach method to the classification problem by machine learning, The quality determination is performed with high accuracy and efficiency.
  • An example of the embodiment of the present invention is as follows.
  • (Aspect 1) Irradiate a sample including a known quality classification with excitation light having a predetermined excitation wavelength, and set a predetermined time T (T ⁇ 0) set in consideration of fluorescence fading starting from the irradiation start of the excitation light.
  • Fluorescence that acquires fluorescence images based on the intensity of the reflected light of a predetermined fluorescence wavelength obtained within the period P (P>0) as the fluorescence image data for the number of sheets corresponding to the combination of the excitation wavelength and the fluorescence wavelength.
  • Image data acquisition process Classification that creates input image data having a predetermined number of channels from the fluorescence image data, performs machine learning by a computer using the input image data as training data, and imparts optimum quality classification to components included in the sample Machine learning process to build vessels, Applying the classifier to the input image data obtained from the fluorescence image data of the sample including the unknown quality classification, the quality classification determination step of determining the quality classification included in the sample,
  • a method comprising: (Aspect 2) The method according to aspect 1, wherein the machine learning is performed in consideration of the shape of the object existing in the fluorescence image data, and the result is reflected in the determination of the quality classification included in the sample.
  • Aspect 3 In the method according to Aspect 1 or 2, a plurality of times T (0 ⁇ T 1 ⁇ ... ⁇ T n ) are provided, and fluorescence image data obtained at each time T i (1 ⁇ i ⁇ n) is used.
  • the input image data having a predetermined number of channels created is subjected to machine learning by a computer as training data for each of the plurality of times, and optimal quality is obtained for each of the plurality of times with respect to the components included in the sample.
  • Aspect 4 In the method according to Aspect 1 or 2, a plurality of times T (0 ⁇ T 1 ⁇ ... ⁇ T n ) are provided, and fluorescence image data obtained at each time T i (1 ⁇ i ⁇ n) is obtained. Integrated fluorescence image data is created by time-sequentially integrated, and machine learning by a computer is performed by using input image data having a predetermined number of channels created from the integrated fluorescence image data as training data, and components included in the sample. A method of constructing a classifier which gives an optimum quality classification to. (Aspect 5) The method according to any one of aspects 1 to 4, wherein the time T is a time before the fading of fluorescence begins.
  • (Aspect 6) The method according to any one of aspects 1 to 5, wherein the time T and the period P are set to depend on a quality classification so as to increase the determination accuracy of the quality classification.
  • (Aspect 7) The method according to any one of aspects 1 to 6, further comprising a visible image data acquisition step of acquiring visible image data, and creating input image data having a predetermined number of channels from the fluorescence image data and the visible image data. , A method of performing machine learning by a computer using the input image data as training data.
  • (Aspect 8) A method according to Embodiment 7, wherein the visible image data is composed of R (wavelength: 680 nm vicinity value), G (wavelength: 560 nm vicinity value), B (wavelength: 450 nm vicinity value) ..
  • (Aspect 12) Reflected light of a predetermined fluorescence wavelength obtained within a predetermined period P (P>0) from time T (T ⁇ 0) set in consideration of fluorescence fading starting from the start of irradiation of excitation light Based on the intensity, to obtain the fluorescence image data for the number of sheets corresponding to the combination of the excitation wavelength and the fluorescence wavelength for the sample including the known quality classification, to create the input image data having a predetermined number of channels from the fluorescence image data, Machine learning means for performing machine learning using the input image data as training data, and constructing a classifier that gives optimum quality classification to components included in the sample, Applying the classifier to the input image data obtained from the fluorescence image data of the sample including the unknown quality classification, the quality classification determination means for determining the quality classification included in the sample,
  • An apparatus comprising: (Aspect 13) The apparatus according to Aspect 12, wherein the machine learning is performed in consideration of the shape of the object existing in the fluorescence image data, and the machine learning is
  • machine learning by a computer is performed by using input image data having a predetermined number of channels created from fluorescence image data with different acquisition times T as training data for each acquisition time. , Constructing a classifier that gives an optimum quality classification to the components included in the sample for each acquisition time, and when determining the quality classification, select a classifier that conforms to the quality classification and include it in the sample.
  • the phrase “near value” means a value within a predetermined width above and below the central wavelength.
  • the predetermined width can be set to 5 to 10 nm, for example.
  • program is a data processing method described based on an arbitrary language and description method, and does not matter the format of source code, binary code, etc. Further, the “program” may be configured in a single form, but may be distributedly configured as a plurality of modules or libraries, and may function in cooperation with other existing programs to achieve its function. It may be configured.
  • the “apparatus” may be configured as hardware, but may also be configured as a combination of function realizing means for realizing various functions by software of a computer.
  • the function realizing means may include, for example, a program module.
  • the quality classification of the cigarette of mode 10 will be described later.
  • FIG. 1 is a flow chart for explaining the outline of one embodiment of the method according to the present invention.
  • FIG. 2 is an explanatory diagram showing an outline of a spectrum of fluorescence emitted from the measurement object when the measurement object is irradiated with the excitation light.
  • FIG. 3 is a contour-shaped graph showing an example of a fluorescent fingerprint three-dimensionally.
  • FIG. 4 is a contour graph showing a two-dimensional example of a fluorescent fingerprint.
  • FIG. 5 is an explanatory diagram schematically showing an example of a hyperspectral image and a multispectral image of a fluorescent fingerprint.
  • FIG. 6 is a diagram showing an example of a fluorescence imaging system.
  • FIG. 7 is an explanatory diagram showing a processing example in the convolutional layer.
  • FIG. 1 is a flow chart for explaining the outline of one embodiment of the method according to the present invention.
  • FIG. 2 is an explanatory diagram showing an outline of a spectrum of fluorescence emitted from the measurement object when the
  • FIG. 8 is an explanatory diagram showing the structure of AlexNet.
  • FIG. 9 is an explanatory diagram showing the structure of GoogLeNet.
  • FIG. 10 is an explanatory diagram showing the structure of SegNet.
  • FIG. 11 is a block diagram for explaining the outline of an embodiment of the apparatus according to the present invention.
  • FIG. 12A is a visible image of a tobacco raw material sample acquired under white light.
  • FIG. 12B is a fluorescence image obtained by irradiating a tobacco raw material sample with excitation light without passing through a filter.
  • FIG. 13 is a fluorescence image obtained by combining excitation/fluorescence wavelength combinations I to VI with respect to a tobacco raw material sample.
  • FIG. 12A is a visible image of a tobacco raw material sample acquired under white light.
  • FIG. 12B is a fluorescence image obtained by irradiating a tobacco raw material sample with excitation light without passing through a filter.
  • FIG. 13 is a fluorescence image obtained by combining
  • FIG. 14 is a schematic diagram for demonstrating the outline at the time of applying semantic segmentation with respect to a tobacco raw material sample.
  • FIG. 15 is a table showing an example of selection of input image data in the case of performing machine learning by using fluorescence image data and visible image data together for a tobacco raw material sample.
  • FIG. 16 is a table showing the determination results when the learned convolutional neural network is applied to the test sample of the tobacco raw material whose quality classification is known.
  • Embodiment I-1 Example embodiments of the method of the present invention I-1.
  • FIG. 1 is a flowchart for explaining the outline of one aspect (embodiment I-1) of the method according to the present invention.
  • Embodiment I-1 includes a fluorescence image data acquisition step (S01), a machine learning step (S02), and a quality classification determination step (S03). Each of these steps will be described below.
  • Fluorescence image data acquisition process S01
  • This step is performed by irradiating a sample containing a known quality classification with excitation light having a predetermined excitation wavelength, and setting a time T (T ⁇ 0) set in consideration of fluorescence fading starting from the irradiation start of the excitation light.
  • a fluorescence image based on the intensity of reflected light of a predetermined fluorescence wavelength obtained within a predetermined period P (P>0) is used as fluorescence image data for the number of sheets corresponding to the combination of the excitation wavelength and the fluorescence wavelength. This is the process of acquiring.
  • a fluorescence imaging system 600 as shown in FIG. 6 is used to acquire the fluorescence image data.
  • the fluorescence imaging system 600 includes a spectral illumination device 610 and a spectral imaging device 620.
  • the spectral illuminator 610 has a specific wavelength emitted from a xenon light source 612 (MAX-303 (trade name), Asahi spectroscopy (company name)) through a bandpass filter 614 that can be set in 10 nm increments in the range of 340 to 420 nm, for example.
  • the sample 630 is irradiated with the excitation light of.
  • the spectroscopic imaging device 620 captures only the fluorescence image of a specific wavelength with the imaging device 624 through the bandpass filter 622 that can set the reflected light from the sample 630 in 10 nm increments in the range of 420 to 700 nm.
  • the fluorescence image data of the number corresponding to the combination of the excitation wavelength and the fluorescence wavelength as shown in FIG. 5 is obtained.
  • the size of the sample is set to 4 ⁇ 4 cm, but the size is not particularly limited to this value, and the size can be set appropriately. Further, it is also possible to synthesize a plurality of acquired images to obtain fluorescence image data.
  • the acquisition time of the fluorescence image data is set to a time T (T ⁇ 0) set in consideration of the fluorescence fading starting from the irradiation start of the excitation light, and is configured in consideration of the phenomenon of the fluorescence fading as described above. ..
  • the time T may be the time before the start of fluorescence fading, but since the degree of fluorescence fading has non-linearity with respect to time, classification is performed using such a characteristic of fluorescence fading. It is possible to set the time and the period for acquiring the fluorescence image data appropriate for the time as the time T and the period P that are suitable for each quality classification.
  • the time T and the period P can be set to depend on the quality classification in the sample so as to improve the determination accuracy of the quality classification, and this can be reflected in the learning result described later to further improve the determination accuracy. Can be improved.
  • Machine learning process This step creates input image data having a predetermined number of channels from the fluorescence image data acquired in the fluorescence image data acquisition step described above, performs machine learning by a computer using the input image data as training data, and It is a step of constructing a classifier that gives an optimum quality classification to the included components.
  • the fluorescence image data acquired in the fluorescence image data acquisition step (S01) is subjected to preprocessing, if necessary, to create input image data.
  • the number of channels of the acquired fluorescence image data is K 1 , respectively, the number K of channels of the input image data does not necessarily have to be K 1 and can be a value less than K 1 ( Implementation of contraction).
  • how to organize and integrate the data may be appropriately determined in consideration of a preliminary survey conducted in advance and known results.
  • preprocessing for example, missing data, dealing with abnormal values, changing size, adjusting the amount of data, normalizing the data to convert the data so that it falls within a certain range, averaging the data To standardize data to process 0 and standard deviation to 1, decorrelate data to eliminate relationships between data, whiten data to perform standardization and decorrelation on data, etc. There is a process of, and it may be appropriately selected from these.
  • preprocessing is performed on the training data, it is necessary to perform the same processing on the test data and the unknown data.
  • a method of machine learning suitable for performing classification for example, a decision tree for training a tree structure and classifying data by branching (decision tree), combining a plurality of decision trees, and taking a majority decision of the output of each decision tree Random Forest (RF) that performs classification by training, a Support Vector Machine (SVM) that trains hyperplanes in multiple dimensions and classifies data, and a majority vote using the closest K points.
  • RF decision tree
  • SVM Support Vector Machine
  • KNN method K Nearest Neighbor method
  • ensemble learning that constructs a non-linear classifier by combining multiple simple classifiers, etc.
  • model neural network of the brain A neural network can be used.
  • BoVW Bag of Visual Words
  • BoVW is a method born from the analogy of Bag of Words (sometimes called BoW; Bag of Features), which is a model for calculating sentence features, and is a technique of applying a text classification technique to image classification.
  • PLS-DA partial least squares discriminant analysis
  • LR Logistic Regression
  • a convolutional neural network is a feedforward neural network mainly applied to image recognition, which is composed of three layers of a convolution layer, a pooling layer, and a fully connected layer. It is a feedforward neural network, and optimizes learning by back propagation and Stochastic Gradient Descent (SGD). Further, since the purpose is class classification, a softmax layer for normalizing the output of the fully connected layer or a classification layer for inputting the output of the softmax layer and outputting the probability of classification may be provided.
  • SGD Stochastic Gradient Descent
  • the convolutional layer and the pooling layer are repeated several times until the fully connected layer is repeated, and the fully connected layer is also repeated several times, so that the output of the last fully connected layer becomes the input of the softmax layer. Used.
  • the input image is filtered by multiple filters, and as a result of the filtering process, the input image is converted into multiple images that represent the features of the image.
  • the size of the image is reduced so as not to impair the characteristics of the image, and in the fully connected layer, all neurons between layers are connected.
  • the convolution layer Since a convolution operation can enhance or weaken certain features of an image, the convolution layer has a function of converting an input image into a feature-enhanced one by such a convolution process. There is.
  • the image has the property of locality
  • the convolutional layer also has the function of detecting the feature of the image by utilizing such locality of the image. Therefore, in the convolutional layer, feature detection is performed using a plurality of filters that detect different features.
  • FIG. 7 shows an example of processing in the convolutional layer.
  • an image of the sth layer (input image) whose size (width ⁇ height ⁇ number of channels) is M s ⁇ N s ⁇ K s
  • K s+1 filters 720 whose size is P s+1 ⁇ Q s+1 ⁇ K s .
  • the propagation of information from the input to the output is called forward propagation, and the reverse propagation of information from the output to the input is called back propagation.
  • the weight of the channel k at the width and height (p,q) on the k′-th filter is set to w s+1 p,q,k,k′ , s+1 layer. If the input of the channel k'at the position (m,n) of the image (output image) is a s+1 m,n,k' , then a s+1 m,n,k' is expressed as follows. ..
  • a s+1 m,n,k' ⁇ p,q,k w s+1 p,q,k,k' ⁇ z s m+p,n+q,k + b s+1 k' (1 )
  • z s m+p,n+q,k is the pixel value of the channel k at the position (m+p,n+q) of the s-th layer image (input image) 710
  • b s+1 k' is the bias Is.
  • the weight corresponds to the transmission efficiency at the synapse
  • the bias corresponds to the sensitivity (ease of excitement) of the neuron.
  • the activation function can be said to be a function for exciting the neuron.
  • the error backpropagation is performed in order to minimize the error by updating the weights and biases by tracing back one layer at a time between the error obtained by the forward propagation and the correct answer.
  • the function that defines the error between the output and the correct answer is called the loss function.
  • h'(•) is a differential value of the activation function h(•).
  • Formula (7) shows that the error of the input layer (lower layer) can be calculated by using the value obtained by convoluting the error of the output layer (upper layer) with a weight.
  • the activation function should be added a little. In order for it to function effectively when the network has three or more layers, the activation function must have nonlinearity. Further, as described above, the activation function needs to be differentiable in order to perform learning by the back propagation method.
  • ReLU Leaky ReLU
  • RReLU Random ReLU
  • PReLU Parametric ReLU
  • ELU Extra Linear Unit
  • pooling which is a process of dividing an image into areas and extracting values representing each area and arranging them to form a new image.
  • the pooling is a process of blurring an image, and can reduce the sensitivity of the position of the target. As a result, the output can be made invariable even if the position of the target changes slightly, so that the pooling layer provides robustness against the change in position. Further, since the image size is reduced by pooling, there is an effect that the amount of calculation is reduced. In image processing, maximum pooling in which the maximum value of each area is a value representative of each area is often used.
  • the fully connected layer is a layer used in a normal neural network, and is usually placed after repeating the convolutional layer and the pooling layer several times.
  • ⁇ Learning in a convolutional neural network learning by back propagation is performed as in a normal neural network.
  • the convolutional layer the gradient of each value forming the filter is calculated based on the value propagated from the error between the output and the correct answer, and the filter is updated.
  • the bias is updated in the same manner.
  • the error propagates through the convolutional layer to the layers above it.
  • the pooling layer no learning is done and the error will propagate through the pooling layer to the layers above it.
  • error propagation is performed in the same way as in a normal neural network. Then, by adjusting the weight and the bias as described above, the network is optimized so that the error is minimized. Methods such as the stochastic gradient descent method are known as algorithms for such optimization.
  • the stochastic gradient descent method is an algorithm for randomly selecting a sample for each update, and the update formulas for the weight w and the bias b are as follows. w ⁇ - w- ⁇ J/ ⁇ w (11) b ⁇ - b- ⁇ J/ ⁇ b (12)
  • Quality classification determination process (S03) Finally, the learned classifier is applied to the input image data obtained from the fluorescence image data of the sample including the unknown quality classification, and the quality classification included in the sample is determined (quality classification determination step: S03 ).
  • the preprocessing it is necessary to perform the same processing on the unknown data. Further, it is desirable to match the acquisition time and period of the fluorescence image data of the sample including the unknown quality classification with the acquisition time and period of the fluorescence image data at the time of learning. With such a configuration, it is possible to accurately reflect the temporal change of the fluorescence fading, and it is possible to further improve the classification accuracy.
  • AlexNet is composed of five convolutional layers and three fully connected layers. The first and second convolutional layers are followed by a normalization layer, and each normalization layer is followed by a fifth convolutional layer and a fifth convolutional layer. The maximum pooling layer is used later. AlexNet has 60 million parameters and 650,000 neurons, and since it contains a huge number of parameters, it is devised to learn as much as possible without dropping into local solutions such as dropouts and data expansion.
  • GoogLeNet uses a module that has a network in the layer called inception, and builds a deep network by connecting nine of these.
  • the inception module three convolutional layers of 1 ⁇ 1, 3 ⁇ 3, and 5 ⁇ 5 and the maximum value pooling layer are in parallel, and multiple convolutional layers are arranged in parallel to have multiple spreads. It is possible to capture local image correlation. Further, the 1 ⁇ 1 convolutional layer provided before the 3 ⁇ 3 and 5 ⁇ 5 convolutional layers has a dimension reduction function.
  • GoogLeNet has a deeper structure than AlexNet, the number of parameters is about 1/12 because most of them are convolutional layers.
  • Embodiment I-2 is to perform machine learning in consideration of the shape of an object existing in the fluorescence image data and reflect it in the determination of the quality classification included in the sample.
  • semantic segmentation which is a process of accurately estimating the class of an object in an image and its contour
  • Semantic segmentation recognizes objects at the pixel level and enables class assignment (classification) at the pixel level.
  • An encoder/decoder network has been proposed as a method of semantic segmentation using deep learning.
  • FIG. 10 shows a network for semantic segmentation called SegNet, and its structure and operation are roughly as follows.
  • the SegNet encoder has all the connection layers of the class recognition network called VGG16 removed.
  • the decoder is a network in which the input and output of the encoder are reversed, and a softmax layer is added to the final layer.
  • the image input to the decoder is upsampled by the unpooling layer.
  • the inverse pooling layer is in one-to-one correspondence with the pooling layer of the encoder, stores the unit that outputs the maximum value at the time of encoding, and the decoder performs upsampling based on this storage.
  • the sparse image is converted to a dense image in the transposed convolution layer that follows the inverse pooling layer. ..
  • the final decoder output image is input to the softmax layer, converted into object class probabilities for each pixel, and each pixel is represented by the class with the maximum probability, to obtain the final segmentation result.
  • SegNet uses the sum of cross entropy loss over all pixels in a mini-batch as a loss function, and learns end-to-end by the stochastic gradient descent method.
  • the mini-batch means a part of data (a small number of sample sets) randomly selected from all the data (samples). With such a configuration, even when a plurality of quality classifications share some materials, the accuracy of the quality classification determination can be further improved by considering the shape.
  • Embodiment I-3 Another Embodiment Another embodiment (embodiment I-3) according to the method of the present invention will be outlined below, which relates to portions overlapping Embodiments I-1 and I-2. The description is omitted.
  • a plurality of times T (0 ⁇ T 1 ⁇ ... ⁇ T n ) set with the start of irradiation of excitation light as a starting point in consideration of fluorescence fading are provided, and each time T i (1 ⁇ Input image data having a predetermined number of channels created from fluorescence image data obtained for each i ⁇ n) is subjected to machine learning by a computer as training data for each of the plurality of times, and is applied to the sample.
  • a classifier that gives an optimum quality classification for each of the plurality of times is constructed, and when the quality classification is determined, a classifier suitable for the quality classification is selected and the quality classification included in the sample is determined. ..
  • a classifier suitable for samples containing unknown components in the quality classification for example, a classifier corresponding to the acquisition time of fluorescence image data starting from the irradiation start of excitation light on an unknown sample is selected. You can select it. With such a configuration, it is possible to accurately reflect the temporal change of the fluorescence fading, and it is possible to further improve the classification accuracy.
  • Embodiment I-4 Another Embodiment One embodiment (embodiment I-4) of still another embodiment of the method of the present invention will be outlined below. Embodiments I-1, I-2, I-3 A description of the overlapping parts will be omitted.
  • a plurality of times T (0 ⁇ T 1 ⁇ ... ⁇ T n ) set in consideration of fluorescence fading starting from the start of irradiation of excitation light are provided, and each time T i (1 ⁇
  • the fluorescence image data obtained for each i ⁇ n) is accumulated in time series to create fluorescence image data, and machine learning is performed using the input image data created from the fluorescence image data as training data.
  • the convolutional layer may be a three-dimensional convolutional layer reflecting the time dimension instead of the two-dimensional convolutional layer.
  • the acquisition time of the fluorescence image data for the unknown sample is preferably matched with the acquisition time of the fluorescence image data at the time of performing machine learning, but in Embodiment I-4, the fluorescence image data at the time of machine learning is Since they are accumulated in time series and are considered to have the characteristics at each acquisition time, it is possible to secure the necessary classification accuracy even if the acquisition time of fluorescence image data for an unknown sample is arbitrary. Can be expected.
  • Embodiment I-5 Another Embodiment One embodiment (embodiment I-5) of yet another embodiment of the method of the present invention will be outlined below. Embodiments I-1, I-2, I-3, The description of the part overlapping with I-4 will be omitted.
  • Embodiment I-5 includes a visible image data acquisition step of acquiring visible image data, creates input image data having a predetermined number of channels from the fluorescence image data and the visible image data, and trains the input image data. Machine learning is performed as data.
  • -Visible image data means a hyperspectral image or a multispectral image with wavelengths belonging to the visible wavelength range.
  • the xenon light source is used without using the bandpass filter 614 of the spectral illumination device 610.
  • the sample 530 is irradiated with white light emitted from the sample 530.
  • the spectroscopic imaging device 620 captures only the visible image of the specific wavelength with the imaging device 624 through the bandpass filter 622 corresponding to the specific visible wavelength of the reflected light from the sample 630. Visible image data corresponding to a plurality of visible wavelengths can be obtained by photographing the sample while changing the bandpass filter 622 on the imaging device side.
  • R wavelength: near 680 nm value
  • G wavelength: near 560 nm value
  • B wavelength: near 450 nm value
  • R wavelength: near 680 nm value
  • G wavelength: near 560 nm value
  • B wavelength: near 450 nm value
  • R wavelength: near 680 nm value
  • G wavelength: near 560 nm value
  • B wavelength: near 450 nm value
  • other wavelengths or one or two of RGB can be used.
  • Embodiment I-5 is characterized in that both the acquired fluorescence image data and visible image data are used in combination to create input image data. If the number of channels of the acquired fluorescence image data and the number of channels of visible image data are K 1 and K 2 , respectively, the number of channels K of the input image data does not necessarily have to be K 1 +K 2, and the number of channels K can also be a value less than K 1 +K 2 (conduct reduction). When carrying out such a contraction, how to organize and integrate the data may be appropriately determined in consideration of a preliminary survey conducted in advance and known results. By using both the fluorescence image data and the visible image data in combination, the quality classification determination accuracy can be further improved.
  • FIG. 11 is a block diagram for explaining an outline of one embodiment (Embodiment II) of the device of the present invention.
  • the embodiment II is equipped with a machine learning means 1110 for constructing a classifier and a quality classification judgment means 1120, and substantially corresponds to the above-mentioned embodiments I-1 and I-5.
  • the machine learning means 1110 inputs fluorescence image data of a sample including a known quality classification, or fluorescence image data and visible image data, and creates input image data having a predetermined number of channels from the fluorescence image data, Machine learning is performed using the input image data as training data, and a classifier that gives an optimum quality classification to the sample is constructed.
  • the fluorescence image data is obtained within a predetermined period from time T (T ⁇ 0) set in consideration of fluorescence fading starting from the start of irradiation of excitation light, of reflected light of a predetermined fluorescence wavelength.
  • the quality classification determining unit 1120 applies the learned classifier constructed by the machine learning unit 1110 to the input image data obtained from the fluorescence image data of the sample including the component of which the quality classification is unknown, and the sample The quality classification included in is determined.
  • an example of the quality classification of tobacco raw materials is as follows. ⁇ Quality classification of tobacco raw materials> ⁇ Burley lamina (BLY): Burley tobacco leaf mesophyll ⁇ Yellow lamina (FCV): Yellow tobacco leaf mesophyll ⁇ Orient lamina (ORI): Orient tobacco leaf mesophyll ⁇ Stem: Leaf veins of tobacco leaf ⁇ Tobacco sheet (Sheet): Sheets made by adding fibers, auxiliaries, etc. to the main raw materials such as lamina and midbone (for example, Patent No. 3872341) (See gazette) ⁇ Puff: Wet and swollen medium bones, etc., and then dried (see, for example, Japanese Patent No. 5948316)
  • FIG. 12A a visible image acquired under white light was irradiated with excitation light on a tobacco raw material sample without passing through a filter, and a fluorescence image as shown in FIG. 12B was acquired. From the fluorescence image of FIG. 12B, it was confirmed that a spatial resolution capable of detecting each piece under the condition of no filter can be realized. It was also confirmed that the above-mentioned quality categories can be roughly discriminated.
  • the excitation/fluorescence wavelength (nm) was set to I (340,460), II (360,440), III (380,680), IV (400,660), V (400,680), VI (420). , 660) and a fluorescence image system as shown in FIG. 6 was used to obtain a fluorescence image as shown in FIG.
  • the operation of the fluorescence image system shown in Fig. 6 has been described in detail in "I-1-1.”
  • the tobacco raw material for example, middle bone (Stem), tobacco sheet (Sheet), puff (Puff), etc. may share some materials, but even in such a case, By considering the shape as well, it can be expected that the accuracy of the quality classification determination will be further improved.
  • FIG. 14 is a schematic diagram for explaining the outline of the case where the semantic segmentation is applied to the tobacco raw material sample.
  • the process shown in FIG. 14 is as follows.
  • the above-described SegNet which is a method of semantic segmentation, is applied to the fluorescence images (A) obtained by the combinations of excitation/fluorescence wavelengths I to VI as described above to acquire the images (B).
  • the image (B) is subjected to contrast enhancement processing and then binarized to obtain the image (C).
  • the useless (trash) object is deleted from the image (C) to obtain the image (D).
  • both the fluorescence image data and the visible image data are used together to create input image data, and machine learning is performed using the input image data as training data to further improve the accuracy of determining the quality category of the tobacco raw material. Predicted that it could be expected.
  • multispectral data of R (wavelength: near 680 nm value), G (wavelength: near 560 nm value), B (wavelength: near 450 nm value), excitation/fluorescence wavelength (nm) as fluorescence image data
  • Image data of a 6-channel tobacco raw material sample consisting of (300,450), (340,450), and (380,650) multispectral data are used for Burley lamina (BLY) and yellow lamina (FCV). About 500 sheets of Orient lamina (ORI), medium bone (Stem), puff (Puff) and tobacco sheet (Sheet) were prepared.
  • FIG. 15 is a table showing an example of three-channel input image data in the case of performing machine learning by using fluorescence image data and visible image data in combination for a tobacco raw material sample.
  • the contribution of the spectrum data of R is 100
  • the contribution of the spectrum data of excitation/fluorescence wavelength (nm) is (340,450) and (380,650) is 50, respectively. Represents the data.
  • the 3-channel input image data thus obtained was used as training data, and the above-mentioned AlexNet was applied to perform deep learning. As a result, the validity of using both such a fluorescent image and a visible image was confirmed.
  • the convolutional neural network used is not limited to AlexNet, and other known networks (for example, GoogLeNet etc.) can be used for deep learning.
  • SegNet a network for semantic segmentation.
  • visible image data multispectral data of R (wavelength: near 680 nm), G (wavelength: near 560 nm), B (wavelength: near 450 nm), as fluorescence image data, excitation/fluorescence wavelength (nm) Is I (340, 460), II (360, 440), III (380, 680), IV (400, 660), V (400, 680), VI (420, 660) multi-spectral data in total 9
  • the image data of the tobacco raw material sample of the channel was used.
  • the visible image data and the fluorescence image data were acquired using a fluorescence imaging system as shown in FIG. 6, but the acquisition time and period (T, P) (unit: seconds) with the excitation light irradiation start as the starting point Were set as follows in consideration of fluorescence fading.
  • epoch number 1 means that all the training data are learned once.
  • FIG. 16 is a table showing the determination results obtained by applying the learned convolutional neural networks thus obtained to test samples of tobacco raw materials of known quality classification.
  • A, B, D, O, R, and S in the table are symbols representing FCV, BLY, Puff, ORI, Sheet, and Stem, respectively.
  • the first row of the table shows that for the actual number 162 of tobacco raw materials A (FCV), the estimated numbers A, B, D, O, R, S are 99, 5, and 11, 33, 4, 10 are shown.
  • “accuracy” in the table represents, for example, a ratio between the number estimated to be “A” and the actual number of “A”.
  • Fluorescence imaging system 610 Spectral illumination device 612: Xenon light sources 614 and 622: Bandpass filter 620: Spectral imaging device 624: Imaging device 630: Sample 710: s layer image 720: Filter 730: s+1 layer image 1110: Machine learning means 1115: Learned classifier 1120: Quality classification determination means

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

蛍光退色を考慮した、高精度且つ効率的な試料の品質判定を行う。　蛍光画像データ取得工程（Ｓ０１）、機械学習工程（Ｓ０２）、及び、品質区分判定工程（Ｓ０３）からなる蛍光画像を利用した試料の品質判定方法であって、工程Ｓ０１において、蛍光画像の取得時点を、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内となるように設定する。

Description

蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置
　本発明は、蛍光画像を利用した試料の品質判定方法、プログラム、及び、装置に関し、特に、試料中の成分の判定に好適に利用し得る品質判定方法、プログラム、及び、装置に関する。
　従来、試料等の品質評価のために、連続スペクトルを利用したハイパースペクトルイメージング技術や、離散スペクトルを利用したマルチスペクトルイメージング技術が使用されている。また、このようなスペクトルイメージングの「スペクトル」として、「蛍光指紋」を用いた「蛍光指紋イメージング技術」(Fluorescence Fingerprint Imaging technique)も提案されている（例えば、特許文献１、非特許文献１参照）。
　因みに、蛍光指紋は、励起蛍光マトリクス（Excitation Emission Matrix；ＥＥＭ）とも呼ばれ、蛍光物質を含む試験試料に、段階的に励起波長を変化させながら励起光を照射し、試験試料から発せられる所定の蛍光波長の光（蛍光）の強度を、励起波長（λＥｘ）、蛍光波長（測定波長）（λＥｍ）、蛍光強度（ＩＥｘ，Ｅｍ）を３直交軸とする３次元空間においてプロットして得られるポイントの集合を可視化したものである（図２参照）。
　蛍光指紋は、各ポイントの蛍光強度を等高線形状や色分布等で表示することにより、３次元グラフとして表すことができ（図３参照）、また、２次元グラフとして表すこともできる（図４参照）。蛍光指紋は、３次元の膨大な情報を有する試験試料固有のパターンを示していることから、各種の鑑別や定量等に好適に使用し得る。
　蛍光指紋のハイパースペクトルイメージには、図５に示すように、上述の蛍光指紋情報に加えて、位置情報も含まれていることから、蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となる。なお、図５中の「波長条件」は、励起波長（λＥｘ）と蛍光波長（λＥｍ）との組み合わせに対応するものであり、波長条件の個数は、励起波長（λＥｘ）と蛍光波長（λＥｍ）との組み合わせの個数に等しい。
　非特許文献１には、蛍光指紋イメージから試料中の特定成分の可視化画像を取得するために二次計画法等の手法を用いること等が開示されており、このような手法は、ハイパースペクトルイメージの分類問題に対する一つのアプローチといえる。
　一般に、ハイパースペクトルイメージの分類問題に関しては、機械学習の一種である深層学習の利用が有効であるとの知見が得られている（例えば、非特許文献２参照）。
　なお、機械学習の一種である深層学習に関しては、各種の手法が知られており（例えば、非特許文献３参照）、特に、画像認識に好適な深層学習に関しては、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)の使用が有効であるとの知見が得られている（例えば、非特許文献３、４参照）。
特開２０１２－９８２４４号公報
粉川美踏他「蛍光指紋イメージング技術の開発」；「日本食品科学工学会誌」VOL.62 NO.10, P477-483 (2015) Li, Y, et al. "Spectral-Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network" Remote Sens. 2017, 9(1), 67; (http://dx.doi.org/10.3390/rs9010067) 岡谷貴之「深層学習」2015-4-7、講談社 原田達也「画像認識」2017-5-24、講談社
　上述のように、蛍光指紋のハイパースペクトルイメージを用いた蛍光指紋イメージング技術により、試料中の成分の特定のみならず、その分布等についての特定も可能となるものの、蛍光指紋を取り扱う場合には、蛍光退色(fluorescence photobleaching)という蛍光特有の問題を考慮する必要がある。
　蛍光退色は、光によって励起された蛍光色素分子の構造不安定性に起因して、蛍光色素分子の構造が変化し、励起状態を維持できなくなって蛍光の放出が止まるという事象を意味する。そして、このような蛍光退色が発生すると、退色の程度によっては観測が困難となる場合が生じる。
　しかしながら、従来の蛍光指紋イメージング技術において、このような蛍光退色への対応は十分に考慮されてはいなかった。
　本発明は、このような課題を解決するために提案されたものであり、蛍光画像の処理に、蛍光退色という事象を考慮した、機械学習による分類問題へのアプローチ手法を適用して、試料の品質判定を高精度且つ効率的に行うようにしたものである。
　本発明の実施の態様を例示すれば、以下のとおりである。
（態様１）
　既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
　前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
　未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
　を含むことを特徴とする方法。
（態様２）
　態様１に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
（態様３）
　態様１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
（態様４）
　態様１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
（態様５）
　態様１～４に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
（態様６）
　態様１～５のいずれか１項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
（態様７）
　態様１～６に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
（態様８）
　態様７に記載の方法において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする方法。
（態様９）
　態様１～８に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
（態様１０）
　態様１～９に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
（態様１１）
　コンピュータに態様１～１０に記載の方法を実行させるためのプログラム。
（態様１２）
　励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
　未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
　を具備することを特徴とする装置。
（態様１３）
　態様１２に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
（態様１４）
　態様１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
（態様１５）
　態様１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
（態様１６）
　態様１２～１５に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
（態様１７）
　態様１６に記載の装置において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする装置。
　上述の態様において、「近傍値」という語句は、中心波長の上下の所定幅内にある値を意味する。当該所定幅は、例えば、５～１０ｎｍに設定することができる。
　また、「プログラム」とは、任意の言語や記述方法に基づき記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問うものではない。また、「プログラム」は単一の形で構成されてもよいが、複数のモジュールやライブラリとして分散構成されてもよく、また、他の既存のプログラムと協働してその機能を達成するように構成されたものであってもよい。
　また、「装置」は、ハードウエアとして構成されてもよいが、コンピュータのソフトウエアによって各種機能を実現する機能実現手段の組合せとして構成されてもよい。機能実現手段には、例えば、プログラムモジュールが含まれ得る。
　なお、態様１０のたばこの品質区分に関しては、後述する。
　本発明によれば、蛍光退色という事象を考慮した、高精度且つ効率的な試料の品質判定が可能になる。
図１は、本発明の方法に係る実施の一態様の概要を説明するためのフローチャートである。 図２は、計測対象物に励起光を照射した場合に該計測対象物から発せられた蛍光のスペクトルの概要を示す説明図である。 図３は、蛍光指紋の一例を３次元的に示す等高線形状のグラフである。 図４は、蛍光指紋の一例を２次元的に示す等高線形状のグラフである。 図５は、蛍光指紋のハイパースペクトルイメージ及びマルチスペクトルイメージの一例を模式的に示す説明図である。 図６は、蛍光イメージングシステムの一例を表す図である。 図７は、畳み込み層における処理例を示す説明図である。 図８は、AlexNetの構造を示す説明図である。 図９は、GoogLeNetの構造を示す説明図である。 図１０は、SegNetの構造を示す説明図である。 図１１は、本発明の装置に係る実施の一態様の概要を説明するためのブロック図である。 図１２Aは、白色光下で取得した、たばこ原料サンプルの可視画像である。 図１２Bは、たばこ原料サンプルにフィルタを介することなく励起光を照射し、取得した蛍光画像である。 図１３は、たばこ原料サンプルに関し、励起・蛍光波長の組合せI～VIにより取得した蛍光画像である。 図１４は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。 図１５は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の入力画像データの選択の一例を示す表である。 図１６は、学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。
　以下、本発明の方法に係る実施態様例を説明する。また、本発明の装置に係る実施態様例を説明する。更に、本発明の方法を、たばこ原料の品質区分の判定に適用した態様例について説明する。
　なお、以下において説明する実施態様例により、本発明が限定されるものではないことに留意されたい。
I．本発明の方法に係る実施態様例
I－１．実施の一態様
　図１は、本発明の方法に係る実施の一態様（実施態様I－１）の概要を説明するためのフローチャートである。図１に示されるように、実施態様I－１は、蛍光画像データ取得工程（Ｓ０１）、機械学習工程（Ｓ０２）、及び、品質区分判定工程（Ｓ０３）を含む。これらの各工程について、以下、説明する。
I－１－１．蛍光画像データ取得工程（Ｓ０１）
　本工程は、既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する工程である。
　蛍光画像データの取得手法について概略を説明する。
　蛍光画像データの取得には、図６に示されるような蛍光イメージングシステム６００を用いる。蛍光イメージングシステム６００は、分光照明装置６１０と分光撮影装置６２０から構成されている。分光照明装置６１０は、例えば、３４０～４２０ｎｍの範囲で１０ｎｍ刻みに設定し得るバンドパスフィルタ６１４を通してキセノン光源６１２（ＭＡＸ－３０３（商品名）、朝日分光（会社名））から放出される特定波長の励起光をサンプル６３０に照射する。分光撮影装置６２０は、サンプル６３０からの反射光を、４２０～７００ｎｍの範囲で１０ｎｍ刻みに設定し得るバンドパスフィルタ６２２を介して、特定波長の蛍光画像のみを撮像装置６２４で撮影する。光源側のバンドパスフィルタ６１４と撮像装置側のバンドパスフィルタ６２２をそれぞれ換えながらサンプルを撮影することにより、図５に示されるような励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し得る。なお、図６においては、サンプルの大きさを４×４ｃｍとしているが、特にこの数値に限定されるというものではなく、大きさは適宜設定し得る。また、取得した複数枚の画像を合成して蛍光画像データとすることもできる。
　また、蛍光画像データの取得時刻を、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）とし、前述のような蛍光退色という事象を考慮した構成としている。時刻Tは、蛍光退色が始まる前の時刻としてもよいが、蛍光退色の程度が時間に対して非線形性を有していることから、このような蛍光退色の特性を利用して、分類を行うのに適切な蛍光画像データを取得するための時刻や期間を、各品質区分に適合した時刻Tや期間Pとして設定することができる。
　このように、時刻Tと期間Pを、試料中の品質区分に依存させて当該品質区分の判定精度を高めるように設定することができ、それが後述する学習結果に反映されて判定精度の一層の向上を図ることができる。
I－１－２．機械学習工程（Ｓ０２）
　本工程は、前述の蛍光画像データ取得工程において取得された蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する工程である。
　まず、蛍光画像データ取得工程（Ｓ０１）において取得された蛍光画像データに対し、必要に応じて、前処理を施し、入力画像データを作成する。なお、取得された蛍光画像データのチャネル数を、それぞれ、K1とした場合、必ずしも、入力画像データのチャネル数KをK1とする必要はなく、K1未満の値とすることもできる（縮約の実施）。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
　前処理としては、例えば、データの抜け、異常値への対応、サイズの変更、データ量の調整の外に、データをある範囲に収まるように変換するデータの正規化(regularization)、データの平均を０、標準偏差を１に加工するデータの標準化(standardization)、データ間の関係性を除去するデータの無相関化、データに対して標準化と無相関化を行うデータの白色化(whitening)等の処理があり、この中から適宜選択すればよい。なお、訓練データに対して前処理を行った場合には、テストデータや未知データに対しても同様の処理を行う必要がある。
　次に、分類を行うのに好適な機械学習の手法について説明する。
　分類を行うのに好適な機械学習の手法としては、例えば、ツリー構造を訓練し、枝分かれでデータを分類する決定木(decision tree)、決定木を複数組み合わせ、各決定木の出力の多数決を取ることにより分類を行うランダムフォレスト(Random Forest; RF)、多次元における超平面を訓練し、データの分類を行うサポートベクトルマシン(Support Vector Machine; SVM）、最も近いK個の点を用いた多数決により分類を行うK近傍法(K Nearest Neighbor method; KNN method)、単純な分類器を複数組み合わせることで非線形な分類器を構築する集団学習(ensemble learning)等の外、脳の神経細胞ネットワークをモデル化したニューラルネットワーク(neural network)が採用可能である。ニューラルネットワークに関しては、多層ニューラルネットワーク、特に、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を利用した深層学習(deep learning)が画像の分類に対して有効性を有することが確認されている。畳み込みニューラルネットワークの手法の概略については後述する。これ以外に、例えば、Bag of Visual Words(BoVW)も使用可能である。BoVWは、文章特徴を計算するモデルであるBag of Words(BoW; Bag of Featuresという場合もある)のアナロジーから生まれた手法であり、テキスト分類のテクニックを画像分類に適用したものである。
　また、上記のような手法の外に、例えば、高次元データの分類に有効な部分最小二乗判別分析(Partial Least Squares-Discriminant Analysis; PLS-DA)や、ベルヌーイ分布に従う変数の統計的回帰モデルの一種であるロジスティック回帰(Logistic Regression; LR)等の統計的手法も採用可能である。
　以下、画像の分類を行うのに好適な畳み込みニューラルネットワークを用いた深層学習について、その概略等を説明する。
＜畳み込みニューラルネットワークの構造の概要＞
　畳み込みニューラルネットワークは、畳み込み層(convolution layer)、プーリング層(pooling layer)、全結合層(fully connected layer)の３種の層から構成された、主に画像認識に応用されるフィードフォワードニューラルネットワーク(feedforward neural network)であり、誤差逆伝播法(back propagation)と確率的勾配降下法(Stochastic Gradient Descent; SGD)により学習の最適化を行うものである。また、目的がクラス分類であるので、全結合層の出力を正規化するためのソフトマックス層や、ソフトマックス層の出力を入力し、分類の確率を出力する分類層が設けられる場合もある。
　畳み込みニューラルネットワークにおいては、畳み込み層とプーリング層は、何度か繰り返されて全結合層につながり、全結合層も何度か繰り返されて、最後の全結合層の出力がソフトマックス層の入力に用いられる。
　畳み込み層では、入力された画像に複数のフィルタによるフィルタ処理を行い、フィルタ処理の結果、入力画像は画像の特徴を表す複数の画像に変換される。そして、プーリング層では画像の特徴を損なわないように画像のサイズが縮小され、全結合層では、層間のすべてのニューロンが接続される。
　以下、畳み込み層、プーリング層、全結合層の有する特徴や動作態様、畳み込みニューラルネットワークにおける学習等について簡単に説明する。
＜畳み込み層＞
　畳み込み(convolution)演算により、画像のある特徴を強めたり弱めたりすることができることから、畳み込み層は、このような畳み込み処理により入力画像をより特徴が強調されたものに変換する機能を有している。
　また、画像には局所性という性質があり、畳み込み層は、このような画像の局所性を利用して画像の特徴を検出する機能も有している。そのため、畳み込み層では、それぞれ異なる特徴を検出する複数のフィルタを用いて特徴の検出が行われる。
　図７は、畳み込み層における処理例を示すものであり、図７には、サイズ（幅×高さ×チャネル数）がMs×Ns×Ksである第ｓ層の画像（入力画像）７１０に対して、サイズがPs+1×Qs+1×KsであるKs+1個のフィルタ７２０を用いて処理した場合の計算結果が示されている。
　一般に、ニューラルネットワークにおいて、入力から出力から情報が伝わっていくことを順伝播(forward propagation)、逆に、出力から入力に向けて情報が遡っていくことを逆伝播(back propagation)という。
　図７に示される例では、順伝播に関して、k'番目のフィルタ上の幅と高さ(p,q)におけるチャネルｋの重みをws+1 p,q,k,k'、ｓ＋１層の画像（出力画像）の位置(m,n)におけるチャネルｋ'の入力をas+1 m,n,k'とすると、as+1 m,n,k'は次のように表される。
as+1 m,n,k'＝Σp,q,kws+1 p,q,k,k'・zs m+p,n+q,k + bs+1 k'　　　　（１）
但し、zs m+p,n+q,k は第ｓ層の画像（入力画像）７１０の位置(m+p,n+q)におけるチャネルｋの画素値、bs+1 k'はバイアスである。
したがって、第ｓ＋１層の画像（出力画像）７３０の位置(m,n)におけるチャネルｋ'の画素値zs+1 m,n,k'は、活性化関数h(・)を用いて、
zs+1 m,n,k'=h(as+1 m,n,k')        （２）
と表されることになる。
　因みに、ニューロンのモデルに則していえば、重みはシナプスにおける伝達効率に相当し、バイアスはニューロンの感度（興奮のしやすさ）に相当するものである。また、活性化関数は、ニューロンを興奮させるための関数といえる。
　次に、図７に示される例における逆伝播について説明する。誤差逆伝播は、順伝播によって得られた出力と正解との誤差を、層を一つずつ遡らせ、重みとバイアスを更新して誤差を最小化するために行うものである。なお、出力と正解の誤差を定義する関数を損失関数（loss function）という。
　畳み込み層における誤差の逆伝播を求めるためには、重みの勾配を得る必要がある。
　そこで、損失関数をJとし、重みの偏微分を求めると、次のように表される。
∂J/∂ws p,q,k,k'=Σm,n(∂J/∂as m,n,k')・(∂as m,n,k'/∂ws p,q,k,k')        （３）
また、式（１）より、
∂as m,n,k'/∂ws p,q,k,k'=zs-1 m+p,n+q,k　　　　（４）
∂J/∂as m,n,k'=δs m,n,k'とおくと、
∂J/∂ws p,q,k,k'=Σm,nδs m,n,k'・zs-1 m+p,n+q,k　　　　（５）
と表される。また、バイアスも、同様の計算により、次のように表される。
∂J/∂bs k'=Σm,nδs m,n,k'         （６）
したがって、δs m,n,kは、次のように表される
δs m,n,k=∂J/∂as m,n,k
　　　=Σp,q,k'(∂J/∂as+1 m‐p,n‐q,k')・(∂as+1 m‐p,n‐q,k'/∂as m,n,k')
　　　=h'(as m,n,k)Σp,q,k'δs+1 m‐p,n‐q,k'・ws+1 p,q,k,k'　　　　（７）
但し、h'(・)は、活性化関数h(・)の微分値である。
　式（７）は、出力層（上位層）の誤差を重みで畳み込んだ値を利用して入力層（下位層）の誤差が計算できることを示すものである。
　なお、活性化関数について若干付言しておく、ネットワークが３層以上の場合に有効に機能するためには、活性化関数が非線形性をもつ必要がある。また、上述のように、逆伝播法で学習させるためには活性化関数が微分可能である必要がある。
　代表的な活性化関数としては、次式に示すロジスティックシグモイド関数(logistic sigmoid function)がある。
h(x)=σ(x)=1/(1+exp(‐x)) 　　　　（８）
　逆伝播の際に誤差と微分係数の積を用いて下位層の誤差を計算するため、下位層に行くほど誤差δsの値が指数関数的に減少していくことから、入力xの値が大きく（又は小さく）なると微分係数h'(x)の値が小さくなり、パラメータの更新がほとんど行われなくなるという問題が生じる。この問題を軽減するため、活性化関数として、次式に示すReLU(Rectified Linear Unit)が提案されている。
h(x)=max(0,x)        （９）
h'(x)=1  if x ≧ 0
　　=0　otherwise        （１０）
　なお、活性化関数として、ReLUの改良版であるLReLU(Leaky ReLU)、RReLU(Random ReLU)、PReLU(Parametric ReLU)等や、データの正規化に貢献するELU(Exponential Linear Unit)等も提案されているが、詳細は省略する。
＜プーリング層＞
　次に、プーリング層を説明する。プーリング層では画像を各領域に区切り、各領域を代表する値を抽出し並べて新たな画像とする処理であるプーリング(pooling)が行われる。プーリングは、画像をぼやかす処理といえ、対象の位置の感度を低下させることができる。これにより、対象の位置が多少変化しても出力を不変にすることができるから、プーリング層は、位置の変化に対するロバスト性を与えることになる。また、プーリングにより画像サイズが小さくなるので、計算量が削減されるという効果もある。
　画像処理においては、各領域の最大値を各領域を代表する値とする最大プーリング(max pooling)が使われることが多い。
＜全結合層＞
　全結合層は、通常のニューラルネットワークで用いられる層であり、通常、畳み込み層とプーリング層を何度か繰り返した後に配置される。
＜畳み込みニューラルネットワークにおける学習＞
　畳み込みニューラルネットワークでは、通常のニューラルネットワークと同様に逆伝播による学習が行われる。
　畳み込み層では、出力と正解の誤差から伝播してきた値をもとにフィルタを構成する各値の勾配を計算し、フィルタが更新される。また、バイアスも同様に更新される。誤差は畳み込み層を通ってさらに上の層に伝播していく。
　プーリング層では、学習は行われず、誤差は、プーリング層を通過してさらに上の層に伝播することになる。
　全結合層では、通常のニューラルネットワークと同じ方法で誤差の伝播が行われる。
　そして、このような重みとバイアスの調節により、誤差が最小となるようにネットワークが最適化される。このような最適化のためのアルゴリズムとして、確率的勾配降下法等の手法が知られている。
　因みに、確率的勾配降下法は、更新ごとにランダムにサンプルを選び出すアルゴリズムであり、重みｗとバイアスｂの更新式は、以下のとおりである。
ｗ <－ w‐η∂J/∂w        （１１）
b <－ b‐η∂J/∂b        （１２）
　これ以外の最適化アルゴリズムとして、確率的勾配降下法に慣性項を付加したMomentum、更新量を自動的に調節するAdaGrad、AdaGradにおける更新量の低下による学習の停滞という弱点を克服するRMSProp、MomentumとAdaGradとを統合したような特徴を有するAdam(Adaptive moment estimation)等の手法が知られているが、詳細は省略する。
I－１－３．品質区分判定工程（Ｓ０３）
　最後に、未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して学習済みの分類器を適用し、該試料に含まれる品質区分を判定する（品質区分判定工程：Ｓ０３）。なお、前述のように、訓練データに対して前処理を行った場合には、未知データに対しても同様の処理を行う必要がある。また、未知の品質区分を含む試料の蛍光画像データの取得時刻や期間を、学習時の蛍光画像データの取得時刻や期間と適合させることが望ましい。
　このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
＜畳み込みニューラルネットワークの実装例＞
　畳み込みニューラルネットワークの実装例として、AlexNetとGoogLeNetとを取り上げ、それらの概略を説明する。
　AlexNetは、図８に示すように、５つの畳み込み層と３つの全結合層から構成され、１、２番目の畳み込み層の後に正規化層、各正規化層の後と５番目の畳み込み層の後には最大値プーリング層が用いられている。AlexNetは6000万のパラメータと65万個のニューロンを持っており、膨大なパラメータを含むため、ドロップアウトやデータ拡張などのなるべく局所解に陥らずに学習する工夫がなされている。
　また、GoogLeNetは、図９に示すように、インセプション(inception)という層の中にさらにネットワークをもつモジュールを用い、これを9つ接続した深いネットワークを構築している。インセプションモジュールの中では、1×1、3×3、5×5の3つの畳み込み層と最大値プーリング層が並列となっており、複数の畳み込み層を並列にすることで、複数の広がりをもつ局所的な画像の相関を捉えることができる。また、3×3、5×5の畳み込み層の前段に設けられた1×1の畳み込み層は、次元削減の機能を有している。GoogLeNetはAlexNetよりも深い構造を有しているものの、そのほとんどが畳み込み層であるためにパラメータ数は１／１２程度である。
I－２．別の実施の一態様
　次に、本発明の方法に係る別の実施の一態様（実施態様I－２）の概要を説明するが、実施態様I－１と重複する部分に関する説明は省略する。
　実施態様I－２は、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させるものである。
　このようなオブジェクトの形状をも考慮した機械学習を行うためには、例えば、画像内のオブジェクトのクラスとその輪郭を正確に推定するプロセスであるセマンティック・セグメンテーションを利用することができる。セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て（分類）を可能とするものである。深層学習を利用したセマンティック・セグメンテーションの手法として、エンコーダ・デコーダネットワークが提案されている。
　図１０は、SegNetと呼ばれるセマンティック・セグメンテーション用のネットワークを示すものであり、その構造及び動作は、概略以下のとおりである。
　SegNetのエンコーダは、VGG16と呼ばれるクラス認識用ネットワークの全結合層をすべて取り除いたものである。デコーダはエンコーダの入出力が逆になったネットワークで、最終層にソフトマックス層が追加されている。デコーダに入力された画像は、逆プーリング層(unpooling layer)でアップサンプリングされる。逆プーリング層は、エンコーダのプーリング層と１対１で対応付けられ、エンコード時に最大値を出力したユニットを記憶しておき、この記憶に基づきデコーダでアップサンプリングを行う。エンコード時の情報を利用することで、空間情報を補うだけでなく、アップサンプルの仕方の学習が不要となる。
　逆プーリングによって拡大された画像は、多くの値が0となる疎な画像となっているため、逆プーリング層に続く転置畳み込み層(transposed convolution layer)で、疎な画像を密な画像に変換する。最終的なデコーダの出力画像はソフトマックス層に入力され、画素ごとに物体クラスの確率に変換され、最大の確率となったクラスで各画素を表現することで、最終的なセグメンテーション結果が得られる。SegNetは、ミニバッチ内のすべての画素にわたるクロスエントロピー損失の合計を損失関数として利用し、確率的勾配降下法などでend-to-endに学習する。なお、ミニバッチとは、全データ（サンプル）からランダムに選択した一部のデータ（少数のサンプル集合）を意味する。
　このような構成により、複数の品質区分が一部の材料を共有する場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることができる。
I－３．別の実施の一態様
　次に、本発明の方法に係る更に別の実施の一態様（実施態様I－３）の概要を説明するが、実施態様I－１、I－２と重複する部分に関する説明は省略する。
　実施態様I－３は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定するものである。
　品質区分が未知の成分を含む試料に対して適合する分類器を選択する点に関しては、例えば、未知の試料に対する励起光の照射開始を始点とした蛍光画像データの取得時刻に相応する分類器を選択するようにすればよい。
　このような構成により、蛍光退色の時間的な変化の精密な反映が可能となり、分類精度の一層の向上を図ることができる。
I－４．別の実施の一態様
　次に、本発明の方法に係る更に別の実施の一態様（実施態様I－４）の概要を説明するが、実施態様I－１、I－２、I－３と重複する部分に関する説明は省略する。
　実施態様I－４は、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して蛍光画像データを作成し、該蛍光画像データから作成された入力画像データを訓練データとして機械学習を行うものである。
　なお、実施態様I－４においては、畳み込み層を、２次元の畳み込み層とする代わりに、時間の次元を反映した３次元畳み込み層とすることもできる。
　このような構成により、時系列的に集積した蛍光画像データを利用して蛍光退色の時間的な変化を一層精密に把捉し、分類精度の一層の向上を図ることができる。
　また、未知の試料に対する蛍光画像データの取得時刻は、機械学習を行う際の蛍光画像データの取得時刻と適合させることが望ましいが、実施態様I－４においては、機械学習時の蛍光画像データが時系列的に集積されており、各取得時点の特徴を保有しているものと考えられることから、未知の試料に対する蛍光画像データの取得時刻を任意のものとしても、必要な分類精度の確保が期待できる。
I－５．別の実施の一態様
　次に、本発明の方法に係る更に別の実施の一態様（実施態様I－５）の概要を説明するが、実施態様I－１、I－２、I－３、I－４と重複する部分に関する説明は省略する。
　実施態様I－５は、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うものである。
　可視画像データは、可視波長範囲に属する波長によるハイパースペクトルイメージ又はマルチスペクトルイメージを意味する。
　可視画像データの取得について概略を説明する。
　可視画像データを取得する場合には、例えば、蛍光画像データの取得に使用した図６に示されるような蛍光イメージングシステム６００において、分光照明装置６１０のバンドパスフィルタ６１４を使用することなく、キセノン光源から放出される白色光をサンプル５３０に照射する。分光撮影装置６２０は、サンプル６３０からの反射光を、特定の可視波長に対応するバンドパスフィルタ６２２を介して、特定波長の可視画像のみを撮像装置６２４で撮影する。撮像装置側のバンドパスフィルタ６２２を換えながらサンプルを撮影することにより、複数の可視波長に対応する可視画像データを取得し得る。特定の可視波長として、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）を採用することができるが、必ずしもこれらの波長に限定されるものではなく、他の波長や、RGBの中の１つ又は２つを用いることもできる。
　実施態様I－５は、取得された蛍光画像データ及び可視画像データの両者を併用して入力画像データを作成する点に特徴を有するものである。なお、取得された蛍光画像データ及び可視画像データのチャネル数を、それぞれ、K1,K2とした場合、必ずしも、入力画像データのチャネル数KをK1＋K2とする必要はなく、チャネル数KをK1＋K2未満の値とすることもできる（縮約の実施）。このような縮約を実施する場合に、どのようにデータを整理・統合するかについては、事前に実施する予備的調査や既知の結果等を勘案して適宜決定すればよい。
　このような蛍光画像データ及び可視画像データの両者の併用により、品質区分の判定精度を一層向上させることができる。
II．本発明の装置に係る実施の一態様
　図１１は、本発明の装置に係る実施の一態様（実施態様II）の概要を説明するためのブロック図である。
　実施態様IIは、分類器を構築する機械学習手段１１１０と品質区分判定手段１１２０を具備しており、前述の実施態様I－１、I－５に略相応するものである。
　機械学習手段１１１０は、既知の品質区分を含む試料の蛍光画像データ、又は、蛍光画像データと可視画像データを入力し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築するものである。なお、蛍光画像データは、励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定期間内に得られた、予め定められた蛍光波長の反射光の強度に基づく試料に関する励起波長と蛍光波長の組合せに対応する枚数（チャネル数）分存在している。
　品質区分判定手段１１２０は、機械学習手段１１１０において構築された学習済みの分類器を、品質区分が未知の成分を含む試料の蛍光画像データから得られた入力画像データに対して適用し、該試料に含まれる品質区分を判定するものである。
　学習の手法等の詳細は、実施態様I－１において説明したとおりである。
　また、実施態様IIの変形例として、前述の実施態様I－２、I－３、I－４に相応する態様が導出されるが、内容が実質的に重複することもあり、説明は省略する。
III．たばこ原料の品質区分の判定に適用した態様例
　前述のような手法を、たばこ原料の品質区分の判定に適用した実施の一態様を以下説明する。
　まず、たばこ原料の品質区分を例示すると、概略以下のとおりである。
＜たばこ原料の品質区分＞
・バーレー種のラミナ(BLY)：バーレー種のたばこ葉の葉肉部
・黄色種のラミナ(FCV)：黄色種のたばこ葉の葉肉部
・オリエント種のラミナ(ORI)：オリエント種のたばこ葉の葉肉部
・中骨（Stem）：たばこ葉の葉脈部
・たばこシート（Sheet）：ラミナ、中骨などの主原料に繊維質、助剤などを加えてシート状にしたもの（例えば、特許第３８７２３４１号公報参照）
・パフ（Puff）：中骨刻等を湿潤・膨潤させた後乾燥させたもの（例えば、特許第５９４８３１６号公報参照）
　次に、たばこ原料の品質区分判定に関する実施の一態様について説明する。なお、本発明は、この一態様に限定されるものではない点に留意されたい。
＜使用サンプルの準備＞
　上述の品質区分に属するたばこ原料を使用サンプルとして用いたが、ラミナは、産地国が異なるものを、それぞれ、幅約２ｍｍの大きさに裁断後混合することにより調製し、中骨は、産地国が異なるものを混合して調製した。
＜予備的な検討及び検証＞
　前述のような手法を、たばこ原料の品質区分の判定に適用することの可否を確認するため、以下のような予備的な検討及び検証を行った。
（１）励起波長と蛍光波長の組合せの検討及び検証
　蛍光画像データを取得するためには、励起波長と蛍光波長の組合せを決定する必要がある。そこで、過去に得られているたばこ原料に関する知見等も勘案して、励起・蛍光波長の候補として、ポリフェノール及びクロロフィルの励起波長を選択し、選択の妥当性を検証した。
　まず、白色光下で取得した可視画像が図１２Aとして示されるような、たばこ原料サンプルに対し、フィルタを介することなく励起光を照射し、図１２Bに示されるような蛍光画像を取得した。図１２Bの蛍光画像から、フィルタなしの状態下で刻の一片ずつを検知可能な空間分解能を実現できることが確認された。また、上述の品質区分が概略判別可能なことも確認された。
　次に、励起・蛍光波長（ｎｍ）を、I（３４０，４６０）、II（３６０，４４０）、III（３８０，６８０）、IV（４００，６６０）、V（４００，６８０）、VI（４２０，６６０）とした組合せについて、図６に示されるような蛍光イメージシステムを使用して、図１３に示されるような蛍光画像を取得した。なお、図６に示される蛍光イメージシステムの動作等については、「I－１－１．」において詳述したところであるから、説明を省略する。
　図１３から、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨（Stem）、たばこシート（Sheet）、パフ（Puff）の各品質区分の区別の妥当性が略保証されるものと判断されることから、これらの品質区分の判定に、上述のような励起・蛍光波長の組合せI～VIの使用が有効であることが確認された。
（２）セマンティック・セグメンテーションの有効性の検証
　前述のように、セマンティック・セグメンテーションは、ピクセルレベルでオブジェクトを認識するものであり、ピクセルレベルでのクラス割り当て（分類）を可能とするものである。
　例えば、たばこ原料に関しては、例えば、中骨（Stem）、たばこシート（Sheet）、パフ（Puff）等は、一部の材料を共有する可能性があるが、このような場合であっても、形状も考慮することにより、品質区分の判定精度を一層向上させることが期待できる。
　そこで、その検証を行うために、以下のように、セマンティック・セグメンテーションの適用の有効性を確認するための実験を行った。
　図１４は、たばこ原料サンプルに対して、セマンティック・セグメンテーションを適用する場合の概要を説明するための模式図である。図１４に示されるプロセスは、概略以下のとおりである。
　上述のような励起・蛍光波長の組合せI～VIにより得られた蛍光画像（A）に対して、セマンティック・セグメンテーションの一手法である上述のSegNetを適用して、画像（B）を取得する。
　次に、画像（B）に対し、コントラスト強調処理を行った後、二値化して画像（C）を取得する。
　次に、画像（C）から、無用（ゴミ）オブジェクトを削除し、画像（D）を取得する。
　最後に、画像（D）の各オブジェクトに対しラベル付けを行う。
　その結果、このようなプロセスを採用して形状を考慮することの妥当性が確認された。
（３）蛍光画像と可視画像の両者の併用の有効性の検証
　３チャネルの可視光データであるR（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ（可視画像データ）のみにより、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)について、畳み込みニューラルネットワーク（AlexNet、GoogLeNet）を適用して深層学習を行った。しかしながら、この場合の識別率は約６８％であった。
　そこで、蛍光画像データと可視画像データの両者を併用して入力画像データを作成し、該入力画像データを訓練データとして機械学習を行うことにより、たばこ原料の品質区分の判定精度を一層向上させることが期待できるものと予測した。
　そこで、その検証を行うため、このような蛍光画像と可視画像の両者の併用の有効性を確認するための実験を行った。
　まず、可視画像データとして、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長（ｎｍ）が（３００，４５０）、（３４０，４５０）、（３８０，６５０）のマルチスペクトルデータからなる６チャネルのたばこ原料サンプルの画像データを、バーレー種のラミナ(BLY)、黄色種のラミナ(FCV)、オリエント種のラミナ(ORI)、中骨（Stem）、パフ（Puff）、たばこシート（Sheet）の刻みについて各５００枚程度用意した。
　次に、このようにして取得された６チャネルの画像を３チャネルに縮約し、学習用の入力画像を作成した。図１５は、たばこ原料サンプルに関し、蛍光画像データ及び可視画像データを併用して機械学習を行う場合の３チャネルの入力画像データの一例を示す表である。この表で、例えば、チャネル１のデータは、Rのスペクトルデータの寄与度を１００、励起・蛍光波長（ｎｍ）が（３４０，４５０）、（３８０，６５０）のスペクトルデータの寄与度をそれぞれ５０としたデータを表している。
　次に、このようにして得られた３チャネルの入力画像データを訓練データとし、前述のAlexNetを適用して深層学習を行った。
　その結果、このような蛍光画像と可視画像の両者の併用の妥当性が確認された。
　なお、使用する畳み込みニューラルネットワークは、AlexNetに限定されるものではなく、他の既知のネットワーク（例えば、GoogLeNet等）を使用して深層学習を行うこともできる。
＜たばこ原料の品質区分の判定に係る態様例＞
　上述のような予備的な検討及び検証を踏まえ、たばこ原料サンプルの深層学習のためのシステムを実装し、以下のように深層学習を実行した。
　実装システムとして、セマンティック・セグメンテーション用のネットワークSegNetを用いた。
　また、可視画像データとして、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）のマルチスペクトルデータ、蛍光画像データとして、励起・蛍光波長（ｎｍ）がI（３４０，４６０）、II（３６０，４４０）、III（３８０，６８０）、IV（４００，６６０）、V（４００，６８０）、VI（４２０，６６０）のマルチスペクトルデータからなる計９チャネルのたばこ原料サンプルの画像データを用いた。
　なお、可視画像データ及び蛍光画像データは、図６に示されるような蛍光イメージングシステムを用いて取得したが、励起光照射開始を始点とした取得時刻及び期間（T，P）（単位：秒）は、蛍光退色を考慮して、それぞれ、次のように設定した。
　可視画像については、R（０，１）、G（１，１）、B（２，１０）、蛍光画像については、可視画像の取得に引き続き、I、II、III、IV、V、VIを順次１０秒ずつ取得するように設定した。
　蛍光画像の取得に係るこのような設定によれば、蛍光退色の特性を利用した深層学習が可能となり、結果として判定精度の一層の向上が期待できる。
　次に、品質区分が既知のたばこ原料サンプルに対して、畳み込みニューラルネットワークによる深層学習を行った（重み：０．５、エポック数：４００）。因みに、エポック数１は、全ての訓練データを１回学習することを意味する。
　図１６は、このようにして得られた学習済みの畳み込みニューラルネットワークを品質区分が既知のたばこ原料のテスト試料に適用した判定結果を示す表である。
　なお、表中のA,B,D,O,R,Sは、それぞれ、FCV、BLY、Puff、ORI、Sheet、Stemを表す符号である。
　表について説明すると、例えば、表の最初の行は、たばこ原料A（FCV）の実際の個数１６２について、A,B,D,O,R,Sと推定した個数が、それぞれ、９９、５、１１、３３、４、１０であることを表している。また、表中の「精度」は、例えば、「A」と推定した個数と実際の「A」の個数との比を表している。
　表（B）から、全体の正答率は、次のように計算される。
　総正答数（９９＋１１５＋１３７＋１１５＋１３９＋１２９）
÷総個数（１６２＋１４０＋１６４＋１５９＋１４２＋１５９）
＝７９％
　このように、原料の種類により正答率に若干のばらつきはあるものの、全体としてみれば、実用上の有効性を確保し得る高い正答率を実現している。
　本発明は、上述した実施の態様以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の態様を採用し得ることに留意されたい。
６００：蛍光イメージングシステム
６１０：分光照明装置
６１２：キセノン光源
６１４、６２２：バンドパスフィルタ
６２０：分光撮影装置
６２４：撮像装置
６３０：サンプル
７１０：第ｓ層の画像
７２０：フィルタ
７３０：第ｓ＋１層の画像
１１１０：機械学習手段
１１１５：学習済分類器
１１２０：品質区分判定手段

Claims (17)

  1. 　既知の品質区分を含む試料に予め定められた励起波長を有する励起光を照射し、該励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく蛍光画像を、励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データとして取得する蛍光画像データ取得工程と、
    　前記蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に含まれる成分に対して最適な品質区分を付与する分類器を構築する機械学習工程と、
    　未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定工程と、
    　を含むことを特徴とする方法。
  2. 　請求項１に記載の方法において、蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする方法。
  3. 　請求項１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記複数の時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記複数の時刻ごとに最適な品質区分を付与する分類器を構築し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする方法。
  4. 　請求項１又は２に記載の方法において、前記時刻Tを複数（0≦T1＜・・・＜Tn）設け、各時刻Ti（1≦i≦ｎ）ごとに得られた蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする方法。
  5. 　請求項１～４のいずれか１項に記載の方法において、前記時刻Tは、蛍光の退色が始まる前の時刻であることを特徴とする方法。
  6. 　請求項１～５のいずれか１項に記載の方法において、前記時刻T及び期間Pを、品質区分に依存させて当該品質区分の判定精度を高めるように設定することを特徴とする方法。
  7. 　請求項１～６の何れか１項に記載の方法であって、更に、可視画像データを取得する可視画像データ取得工程を含み、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする方法。
  8. 　請求項７に記載の方法において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする方法。
  9. 　請求項１～８のいずれか１項に記載の方法において、励起波長及び蛍光波長として、ポリフェノール、クロロフィルの検出に適合する励起・蛍光波長を使用することを特徴とする方法。
  10. 　請求項１～９の何れか１項に記載の方法において、試料がたばこ原料であり、品質区分がバーレー種のラミナ、黄色種のラミナ、オリエント種のラミナ、中骨、たばこシート、パフであることを特徴とする方法。
  11. 　コンピュータに請求項１～１０のいずれか１項に記載の方法を実行させるためのプログラム。
  12. 　励起光の照射開始を始点とし蛍光退色を考慮して設定された時刻T（T≧0）から所定の期間P（P＞０）内に得られた、予め定められた蛍光波長の反射光の強度に基づく、既知の品質区分を含む試料に関する励起波長と蛍光波長の組合せに対応する枚数分の蛍光画像データを取得し、該蛍光画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとして機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築する機械学習手段と、
    　未知の品質区分を含む試料の蛍光画像データから得られた入力画像データに対して前記分類器を適用し、該試料に含まれる品質区分を判定する品質区分判定手段と、
    　を具備することを特徴とする装置。
  13. 　請求項１２に記載の装置において、前記蛍光画像データ中に存在するオブジェクトの形状をも考慮した機械学習を行い、前記試料に含まれる品質区分の判定に反映させることを特徴とする装置。
  14. 　請求項１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データから作成された所定のチャネル数を有する入力画像データを、それぞれ、前記取得時刻ごとの訓練データとしてコンピュータによる機械学習を行い、前記試料に対して前記取得時刻ごとに最適な品質区分を付与する分類器を構築し、未知の品質区分を含む試料に対して適合する分類器を選択し、品質区分の判定時に、該品質区分に適合する分類器を選択し、該試料に含まれる品質区分を判定することを特徴とする装置。
  15. 　請求項１２又は１３に記載の装置において、前記取得時刻Tが異なる蛍光画像データを時系列的に集積して集積蛍光画像データを作成し、前記集積蛍光画像データから作成された所定のチャネル数を有する入力画像データを訓練データとしてコンピュータによる機械学習を行い、前記試料に対して最適な品質区分を付与する分類器を構築することを特徴とする装置。
  16. 　請求項１２～１５のいずれか１項に記載の装置であって、更に、可視画像データを取得し、前記蛍光画像データ及び該可視画像データから所定のチャネル数を有する入力画像データを作成し、該入力画像データを訓練データとしてコンピュータによる機械学習を行うことを特徴とする装置。
  17. 　請求項１６に記載の装置において、前記可視画像データは、R（波長：680nm近傍値），G（波長；560nm近傍値）、B（波長；450nm近傍値）で構成されることを特徴とする装置。
PCT/JP2019/044487 2019-01-28 2019-11-13 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置 WO2020158107A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020569389A JP7134421B2 (ja) 2019-01-28 2019-11-13 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019012244 2019-01-28
JP2019-012244 2019-01-28

Publications (1)

Publication Number Publication Date
WO2020158107A1 true WO2020158107A1 (ja) 2020-08-06

Family

ID=71840405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044487 WO2020158107A1 (ja) 2019-01-28 2019-11-13 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置

Country Status (3)

Country Link
JP (1) JP7134421B2 (ja)
TW (1) TW202028722A (ja)
WO (1) WO2020158107A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114720436A (zh) * 2022-01-24 2022-07-08 四川农业大学 基于荧光高光谱成像的农产品品质参数检测方法及设备
WO2023013134A1 (ja) * 2021-08-02 2023-02-09 コニカミノルタ株式会社 組成物の評価方法
WO2023032296A1 (ja) * 2021-09-02 2023-03-09 コニカミノルタ株式会社 組成物の評価方法、センサー、および評価システム
CN116067931A (zh) * 2023-02-06 2023-05-05 大连工业大学 一种基于荧光响应图像的冻条罗非鱼tvb-n无损检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN106546569A (zh) * 2016-10-31 2017-03-29 浙江大学 一种高通量的植物抗旱性突变体的筛选方法及装置
WO2018173073A1 (en) * 2017-03-22 2018-09-27 Adiuvo Diagnostics Pvt Ltd Device and method for detection and classification of pathogens

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN106546569A (zh) * 2016-10-31 2017-03-29 浙江大学 一种高通量的植物抗旱性突变体的筛选方法及装置
WO2018173073A1 (en) * 2017-03-22 2018-09-27 Adiuvo Diagnostics Pvt Ltd Device and method for detection and classification of pathogens

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAITO ET AL.: "RAPID MEASUREMENT OF PHYTOCHEMICALS IN TOBACCO LEAVES USING FLUORESCENT FINGERPRINT ANALYSIS", 72ND TOBACCO SCIENCE RESEARCH CONFERENCE PRESENTATION SLIDES, 18 September 2018 (2018-09-18), pages 1 - 14 *
SMITH JASON T., YAO RUOYANG, SINSUEBPHON NATTAWUT, RUDKOUSKAYA ALENA, MAZURKIEWICZ JOSEPH, BARROSO MARGARIDA, YAN PINGKUN, INTES X: "Ultra-fast fit-free analysis of complex fluorescence lifetime imaging via deep learning", BIORXIV, 17 January 2019 (2019-01-17), pages 1 - 15, XP055727054, Retrieved from the Internet <URL:https://www.biorxiv.org/10.1101/523928vl.full.pdf> [retrieved on 20191220] *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013134A1 (ja) * 2021-08-02 2023-02-09 コニカミノルタ株式会社 組成物の評価方法
WO2023032296A1 (ja) * 2021-09-02 2023-03-09 コニカミノルタ株式会社 組成物の評価方法、センサー、および評価システム
CN114720436A (zh) * 2022-01-24 2022-07-08 四川农业大学 基于荧光高光谱成像的农产品品质参数检测方法及设备
CN116067931A (zh) * 2023-02-06 2023-05-05 大连工业大学 一种基于荧光响应图像的冻条罗非鱼tvb-n无损检测方法
CN116067931B (zh) * 2023-02-06 2023-09-12 大连工业大学 一种基于荧光响应图像的冻条罗非鱼tvb-n无损检测方法

Also Published As

Publication number Publication date
JP7134421B2 (ja) 2022-09-12
TW202028722A (zh) 2020-08-01
JPWO2020158107A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
WO2020158107A1 (ja) 蛍光画像を用いた試料の品質判定方法、プログラム、及び、装置
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
US20190056297A1 (en) Multi-Spectral Imaging Including At Least One Common Stain
US8639043B2 (en) Classifying image features
Sharma et al. Application of convolutional neural networks for stellar spectral classification
US20220254005A1 (en) Yarn quality control
CN107636693A (zh) 针对人工神经网络的相关性分数指派
López et al. Functional classification of ornamental stone using machine learning techniques
D'Alimonte et al. Comparison between MERIS and regional high-level products in European seas
US20220020115A1 (en) Analyzing Complex Single Molecule Emission Patterns with Deep Learning
CN116994117A (zh) 目标光谱分析模型的训练方法、装置、设备及存储介质
Silva et al. Automatic detection of Flavescense Dorée grapevine disease in hyperspectral images using machine learning
Liu et al. Neural networks for hyperspectral imaging of historical paintings: a practical review
Yao et al. Deep compressive macroscopic fluorescence lifetime imaging
Fu et al. Identification of maize seed varieties based on stacked sparse autoencoder and near‐infrared hyperspectral imaging technology
WO2023096971A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
CN115436343A (zh) 异源激光诱导击穿光谱之间的迁移和标准化方法及系统
Joseph et al. Reliable model compression via label-preservation-aware loss functions
JP2023529843A (ja) 画像およびデータの分析モデルの適合性を調整する方法
Juntunen Deep Learning Assisted Fourier Transform Imaging Spectroscopy
Sander et al. Unveiling the secrets of paintings: deep neural networks trained on high-resolution multispectral images for accurate attribution and authentication
Krishnakumar et al. Analysis of Ring Galaxies Detected Using Deep Learning with Real and Simulated Data
Filipovich et al. Diffractive optical neural networks with arbitrary spatial coherence
Trevino-Sanchez et al. Classification of Objects
Severa et al. Data-driven Feature Sampling for Deep Hyperspectral Classification and Segmentation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19913449

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569389

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19913449

Country of ref document: EP

Kind code of ref document: A1