WO2024116537A1 - 分類装置及び貯蔵庫 - Google Patents

分類装置及び貯蔵庫 Download PDF

Info

Publication number
WO2024116537A1
WO2024116537A1 PCT/JP2023/032987 JP2023032987W WO2024116537A1 WO 2024116537 A1 WO2024116537 A1 WO 2024116537A1 JP 2023032987 W JP2023032987 W JP 2023032987W WO 2024116537 A1 WO2024116537 A1 WO 2024116537A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
unit
item
classification unit
specific item
Prior art date
Application number
PCT/JP2023/032987
Other languages
English (en)
French (fr)
Inventor
晴彦 樋口
大介 林
圭介 稲田
Original Assignee
日立グローバルライフソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立グローバルライフソリューションズ株式会社 filed Critical 日立グローバルライフソリューションズ株式会社
Publication of WO2024116537A1 publication Critical patent/WO2024116537A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features

Definitions

  • the present invention relates to a sorting device and a storage facility.
  • the first trained model and the second trained model belong to different hierarchical levels.
  • the first trained model belongs to a higher hierarchical level, and the second trained model belongs to a lower hierarchical level.
  • the information processing device outputs only the output of the second trained model (an image of the tumor area).
  • Patent Document 1 the arrangement of human organs is regular, so organs do not overlap irregularly in the first place. In addition, unknown organs cannot appear. In other words, the information processing device in Patent Document 1 does not assume that it will re-learn about unknown organs.
  • the classification device of the present invention is characterized in that it comprises a first classification unit that classifies inputted item information into either a first specific item or an unspecified item other than the first specific item, and a second classification unit that classifies the unspecified items into a second specific item, and the first specific item and the second specific item belong to the same hierarchy. Other means will be described in the description of the embodiment of the invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a classification device.
  • FIG. 11 is a diagram showing an example of an image resulting from classification by a first classification unit; 11A and 11B are diagrams illustrating an example of a classification result image classified by a second classification unit. 11A and 11B are diagrams illustrating an example of a classification result image in which details are classified by a second classification unit.
  • 1 is a flowchart showing an image classification process performed by the classification device.
  • 13 is a flowchart illustrating an example of updating the classification process of the classification device.
  • first,” “second,” “third,” and the like in this specification are used to identify components and do not necessarily limit the number, order, or content. Numbers for identifying components are used in different contexts, and a number used in one context does not necessarily indicate the same configuration in another context. There is no prohibition on a component identified by a certain number having the function of a component identified by another number.
  • An example of a classification device described in the embodiment is used to support the learning of an analysis device to which machine learning is applied.
  • An example of machine learning is training a neural network using supervised learning data.
  • the classification device has a function to generate correct/incorrect information on image analysis results, a function to determine the reliability of the analysis in the image analysis process, and a function to present learning conditions based on the correct/incorrect information and reliability.
  • Such a classification device can be configured as a general information processing device, for example, a server. Like a general server, such a classification device has a control device, a storage device, an input device, an output device, and a bus connecting each part. The programs executed by the classification device are pre-installed in the storage device.
  • the control device, storage device, input device, and output device that are naturally provided in a general information processing device are not illustrated, but the explanation focuses on the functions realized by the classification device.
  • each function is realized by a program stored in a storage device and executed by a processing device. That is, in this embodiment, functions such as calculation and control are predetermined in a program stored in the storage device, and the program is executed by the processing device, thereby realizing the function in cooperation with other hardware.
  • the program executed by a computer or the like, its function, or the means for realizing the function may be referred to as a "function", “means”, “part”, “unit”, “module”, etc.
  • the classification device may be configured as a stand-alone device, or any part of the input device, output device, processing device, and storage device may be configured as other computers connected via a network. These differences are equivalent in the concept of the invention and do not change anything. In this embodiment, functions equivalent to those configured by software can also be realized by hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). Such aspects are also included in the scope of the present invention.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • FIG. 1 is a block diagram showing an example of the configuration of a classification device 100 according to this embodiment.
  • the classification device 100 may be placed outside a storage facility (not shown) or may be configured in the same housing as the storage facility.
  • the storage facility stores items.
  • An example of a storage facility is a refrigerator (not shown) that stores food ingredients as items.
  • the classification device 100 includes a first classification unit 101, a classification target selection unit 102, and a second classification unit 103.
  • the first classification unit 101, the classification target selection unit 102, and the second classification unit 103 are connected via a bus 104.
  • the bus 104 holds data, control information, and analysis information handled by each unit and device connected to the bus 104, or mediates transmission.
  • the first classification unit 101, classification target selection unit 102, and second classification unit 103 are implemented in software.
  • the classification device 100 is equipped with various input/output devices and interfaces that are typically equipped in general information processing devices.
  • the classification device 100 is connected to the information acquisition device 110 and the input/output device 120 via a bus 104.
  • the classification device 100 may be connected to the information acquisition device 110 and the input/output device 120 by wired or wireless connection.
  • the information acquisition device 110 and the input/output device 120 are provided outside the classification device 100, but they may be built into the classification device 100.
  • the first classification unit 101, the classification target selection unit 102, the second classification unit 103, the information acquisition device 110, and the input/output device 120 constitute the classification device 100 (storage).
  • the classification device 100 has a function of analyzing a specific object from an image.
  • the image analysis process may classify the image based on whether the image has a specific feature or not, and output one or more classification results.
  • the classification device 100 may detect an area in an image that contains a specific object and calculate the position and size of the object in the image, or may separate an area in an image that contains a specific object into a segment and display the segment as an image with a different color from other objects.
  • the specific target may be a single predefined target, or may be two or more different predefined targets, or may be composed of one or more predefined targets and an unknown target that has not been defined.
  • image classification or classification the process of analyzing a specific target from an image, as typified by image classification, image detection, and image segmentation, will be referred to as image classification or classification.
  • Publicly known technology will be used for image classification processing.
  • a typical example is a deep neural network (DNN) or the like used as a model to perform classification.
  • the internal parameters of the DNN are machine-learned through supervised learning.
  • This configuration may be implemented in software, or may be configured in hardware such as an FPGA.
  • the classification device 100 is generally defined as a function approximator that provides a specified output for a specified input.
  • the information input to a general function approximator corresponds to "item information" including images, sounds, and other types of data as described above.
  • FIG. 2 is a diagram showing an example of a classification result image by the first classification unit 101 of the classification device 100.
  • the captured image 200 shows a mixture of a circular object 201, a triangular object 202, a square object 203, and a pentagonal object 204, as an example of an image captured by an optical camera.
  • the classification device 100 receives the input of the captured image 200, it classifies the circular object 201 and the triangular object 202 as known classes, and classifies the square object 203 and the pentagonal object 204 as unknown classes.
  • the classification device 100 surrounds the circular object 201 with a rectangular frame as class "a,” surrounds the triangular object 202 with a rectangular frame as class "b,” and surrounds the square object 203 and pentagonal object 204 with rectangular frames as class "other.”
  • An example of an image resulting from this image classification is the classification result image 210.
  • the classification device 100 classifies the circular item 201 as the known class "a"
  • a classification result 212 in which the classification device 100 classifies the triangular item 202 as the known class "b”.
  • the classification device 100 outputs a classification result 213 in which the square-shaped item 203 and the pentagonal item 204 are classified as the unknown class "other".
  • A" and “b” here correspond to a "first specified item”.
  • “Other” here corresponds to an "unspecified item”.
  • the first classification unit 101 may first detect all objects contained in the captured image 200, then classify the detected objects into known classes, and classify the objects that do not match into an unknown class.
  • the input/output device 120 outputs to the classification device 100 additional information regarding the results classified as the unknown class "other" from the classification results processed by the first classification unit 101.
  • the input/output device 120 displays the classification results by the classification device 100 as an image in the form of classification result image 210, allows the user to select a new class as additional information, and outputs the selected result to the classification device 100.
  • the input/output device 120 is, for example, a display that displays images, a mouse operated by the user, or a keyboard.
  • the input/output device 120 outputs the classification result image 210 to the user and accepts input of a new class from the user.
  • the input/output device 120 may be, for example, a touch panel display provided on a smartphone or tablet terminal, a printer that prints images, or a microphone that inputs the user's voice.
  • classification results are given to all items contained in the image, but the user may select items that were not detected and classified by the first classification unit 101 as a new class.
  • an area containing the item may be selected or extracted using known technology by selecting an item contained in the image, or the user may set an area containing the item.
  • the additional information that the input/output device 120 processes and outputs to the classification device 100 may be the result of a user selecting from options prepared in advance, or may be an expected classification result created by the user. As another example of outputting additional information, the input/output device 120 may output information generated by a classification means different from that of the classification device 100 to the classification device 100.
  • the input/output device 120 creates additional information based on the shape previously measured by a three-dimensional sensor such as a laser scanner and a TOF (Time Of Flight) camera, and outputs this additional information to the classification device 100.
  • a three-dimensional sensor such as a laser scanner and a TOF (Time Of Flight) camera
  • TOF Time Of Flight
  • the first classification unit 101 and/or the second classification unit 103 update the classification process based on the additional information input from the input/output device 120. Updating the classification process may be a process of machine learning the internal parameters of the DNN using supervised learning data, in which case known techniques are used. In updating the classification process, a classification process may be added to the first classification unit 101 and/or the second classification unit 103, and the classification of the first classification unit 101 and/or the second classification unit 103 may be performed by multiple processes. In addition to the first classification unit 101 and the second classification unit 103, one or more classification units other than them may share the classification process.
  • FIG. 3 is a diagram illustrating an example of a classification result image 300 classified by the second classification unit 103 based on additional information selected by the user.
  • the classification result image 300 is an image obtained by the second classification unit 103 classifying the classification result image 210 classified by the first classification unit 101.
  • "c" and "d" correspond to "second specific items”.
  • the classification target selection unit 102 selects the target to be classified by the second classification unit 103 from among the classification results by the first classification unit 101.
  • the classification target selection unit 102 selects the classification result 213, which has been classified as the unknown class "other", as the target to be classified by the second classification unit 103.
  • the classification target selection unit 102 may extract the area to be classified by the second classification unit 103 (the area of the classification result 213 in the classification result image 210).
  • the classification target selection unit 102 may delete areas that do not need to be classified by the second classification unit 103 (areas of the classification result image 210 other than the classification result 213), or may fill them with a color such as black.
  • the second classification unit 103 may classify the classification result image 210, and then the classification target selection unit 102 may extract only the results of the area corresponding to the classification result 213.
  • the second classification unit 103 does not only perform additional classification for the classification results classified by the first classification unit 101 as the unknown class "other" as described above. For example, when the classification target selection unit 102 selects the classification results 211 and 212 classified by the first classification unit 101 as known classes, the second classification unit 103 may classify the classification results 211 and 212 in more detail. Even in this case, the classification target selection unit 102 may extract the area to be classified by the second classification unit 103 (the area of the classification results 211 and 212 in the classification result image 210). The classification target selection unit 102 may delete the area that does not need to be classified by the second classification unit 103 (the area of the classification result image 210 excluding the classification results 211 and 212), or may fill it with a color such as black.
  • FIG. 4 is a diagram illustrating an example of a classification result image 400 in which the second classification unit 103 has classified the details based on additional information selected by the user.
  • the classification results 211A and 211B classified as class "a” in the classification result image 210 are further classified into different classes as classes "a-L” 401 and “a-S” 402, respectively, in the classification result image 400.
  • the classification results 212A and 212B classified as class "b” in the classification result image 210 are further classified into different classes as classes "b-S” 404 and "b-L” 403, respectively, in the classification result image 400.
  • “L” means large and "S” means small.
  • "a-L”, “a-S", “b-L” and “b-S” correspond to the results of "classifying the first specific item in further detail".
  • the classification target selection unit 102 may select as targets the classification results that the first classification unit 101 has classified as an unknown class as described above, or may select as targets the classification results that the first classification unit 101 has classified as a known class, or may select as targets both.
  • the first specific items “a” and “b”, the second specific items “c” and “d”, and the results of further classifying the first specific items into “a-L”, “a-S”, “b-L” and “b-S” belong to the same hierarchical level. It should be noted that more detailed classification based on differences in size, etc. does not mean classification in a different hierarchical level. It is up to the user to decide what attributes of the items to extract and to which hierarchical level the extracted attributes are assigned. In the examples of Figures 2 to 4, the shapes of the items are treated as multiple classes that belong to the same hierarchical level regardless of their size.
  • the user may also treat the type of item (meat, vegetables, processed foods, etc.), producer (Company A, Company B, etc.), packaging state (bottle, can, vinyl, paper box, etc.) as multiple classes that belong to the same hierarchical level.
  • type of item such as meat, vegetables, processed foods, etc.
  • producer Company A, Company B, etc.
  • packaging state can, vinyl, paper box, etc.
  • FIG. 5 is a flowchart showing the image classification process performed by the classification device 100.
  • the process in FIG. 5 is a process in which the second classification unit 103 determines the classification target based on information related to target selection that is set in advance and the classification result by the first classification unit 101.
  • step S501 the information acquisition device 110 accepts input of image data.
  • step S502 the classification target selection unit 102 accepts input by the user via the input/output device 120 of information relating to the target to be processed by the second classification unit 103 from among the classification results by the first classification unit 101.
  • the user inputs information relating to the target to be processed by the second classification unit to the input/output device 120.
  • the classification target selection unit 102 selects each of the following options based on the input by the user, and also simultaneously selects a new class related to each option.
  • Option 2 Detailed classification of known classes New classes, e.g. "a-L”, “a-S”, “b-L” and “b-S”
  • Option 3 Classification for unknown classes and refinement of known classes New classes, e.g., "c", “d”, "a-L”, “a-S", “b-L” and "b-S”
  • option 1 corresponds to "information related to unspecified items among the results of classification by the first classification unit”
  • option 2 corresponds to "information related to the first specified item among the results of classification by the first classification unit.”
  • the second classification unit 103 performs machine learning of its own model, for example as shown in FIG. 6.
  • the second classification unit 103 uses image data to which the user has attached a "correct label” as supervised learning data.
  • the correct labels here are new classes such as "c”, “d”, "a-L”, “a-S”, “b-L” and "b-S”. If the second classification unit 103's own model has already been sufficiently machine-learned with the new supervised learning data, the second classification unit 103 may omit the machine learning of its own model.
  • step S503 the first classification unit 101 executes the classification process.
  • step S504 the second classification unit 103 determines the target to be processed based on the information selected in step S502. If option 1 is selected, the second classification unit 103 proceeds to step S505. If option 2 is selected, the second classification unit 103 proceeds to step S506. If option 3 is selected, the second classification unit 103 proceeds to step S507.
  • step S505 as shown in Figs. 2 and 3, the second classification unit 103 performs classification processing on the classification results 213A and 213B classified as unknown classes. Then, the second classification unit 103 outputs the classification results, such as classification results 303 and 304 in the classification result image 300.
  • step S506 the second classification unit 103 performs a more detailed classification process on the classification results 211A, 211B, 212A, and 212B that have been classified as known classes.
  • the second classification unit 103 then outputs the more detailed classification results, such as classification results 401, 402, 403, and 404 in the classification result image 400.
  • step S507 the second classification unit 103 executes the processes of both steps S505 and S506.
  • FIG. 6 is a flowchart showing an example of updating the classification process of the classification device 100.
  • the first classification unit 101 and the second classification unit 103 each update themselves based on additional information received by the input/output device 120 so as not to degrade the performance of the classification process.
  • step S601 the information acquisition device 110 accepts input of image data.
  • step S602 the first classification unit 101 executes the classification process.
  • step S603 the classification target selection unit 102 accepts additional information input by the user via the input/output device 120 regarding the processing to be performed on the classification results from step S602.
  • the additional information here is a new class as the "correct label" mentioned above.
  • the classification target selection unit 102 accepts "a-L”, “a-S”, “b-L”, and “b-S” for "a” and "b”. "a-L”, “a-S”, “b-L”, and “b-S” correspond to "additional information on the first specific item among the results classified by the first classification unit”.
  • the classification target selection unit 102 accepts "c” and “d” for "other.””c” and “d” correspond to "additional information on unspecified items in the results classified by the first classification unit.”
  • step S604 the first classification unit 101 and the second classification unit 103 each attempt to update their own classification process based on the additional information input in step S603. Updating the classification process may be a process of updating the internal parameters of the DNN using supervised learning data. In that case, the first classification unit 101 and the second classification unit 103 use the image data input in step S601 and the additional information input in step S603 as supervised learning data.
  • the first classification unit 101 and the second classification unit 103 use evaluation data to compare the classification performance before the update with the classification performance after the update trial.
  • the processing at this stage is merely an update trial, not an actual update.
  • new internal parameters are optimized and the optimized internal parameters are evaluated, but the optimized and evaluated internal parameters do not replace the internal parameters before the trial.
  • step S605 the first classification unit 101 determines whether its own performance (DNN performance) after the update attempt in step S604 is equal to or greater than threshold a. If the performance is equal to or greater than threshold a, the first classification unit 101 proceeds to step S607, and if the performance is less than threshold a, the first classification unit 101 proceeds to step S606.
  • the threshold a may be a fixed value that sets the expected detection performance, or may be a performance value before the trial when detecting a performance decrease based on the first classification unit 101 before the trial. In other words, the first classification unit 101 updates its own classification process if the performance of the classification process after the update attempt is higher than the performance of the classification process before the update attempt. Note that "a" as a threshold is unrelated to "a" as a class of the classification result.
  • step S606 the second classification unit 103 determines whether its own performance (DNN performance) after the update attempt in step S604 is equal to or greater than threshold b. If the performance is equal to or greater than threshold b, the second classification unit 103 proceeds to step S608, and if the performance is less than threshold b, the second classification unit 103 proceeds to step S609.
  • the threshold b may be a fixed value that sets the expected detection performance, or may be a performance value before the trial when detecting a performance decrease based on the second classification unit 103 before the trial. In other words, the second classification unit 103 updates its own classification process if the performance of the classification process after the update attempt is higher than the performance of the classification process before the update attempt. Note that "b" as a threshold is unrelated to "b" as a class of the classification result.
  • the first classification unit 101 and the second classification unit 103 may calculate the true positive rate, false positive rate, true negative rate, and false positive rate as the detection accuracy for the image data input for judgment, or may calculate the uncertainty of the detection result for the image data input for judgment.
  • Publicly known techniques are used to calculate the detection accuracy, uncertainty, and reliability of the detection process.
  • step S607 the first classification unit 101 updates itself based on the determination in step S605, that is, replaces the internal parameters before the trial with the internal parameters after the trial.
  • the first classification unit 101 updates itself based on the determination in step S605, that is, replaces the internal parameters before the trial with the internal parameters after the trial.
  • step S608 the second classification unit 103 updates itself based on the determination in step S606, that is, replaces the internal parameters before the trial with the internal parameters after the trial.
  • the second classification unit 103 By updating the second classification unit 103, a class that was unknown to the first classification unit 101 can be classified as a new class by the second classification unit 103, as in the example using Figures 2 and 3 above.
  • step S609 the first classification unit 101 and the second classification unit 103 stop updating themselves based on the determination in step S606.
  • the first classification unit 101 and the second classification unit 103 may discard the supervised learning data image used in the trial in step S604, or may reuse it as supervised learning data in the next or subsequent learning trial.
  • the first classification unit 101 and the second classification unit 103 may discard or save the internal parameters after the trial.
  • step S608 is a process independent of step S607.
  • the result of the second classification unit 103 updating itself in step S608 so as to correctly classify new products does not affect the result of the first classification unit 101 updating itself in step S607. The same is true vice versa.
  • the first classification unit 101 and the second classification unit 103 may each detect different categories.
  • the first classification unit 101 may classify items of goods
  • the second classification unit 103 may perform different classifications such as shape, material, and size, or may calculate as a regression problem such as size, length, and weight.
  • the effects of the classification device of this embodiment are as follows.
  • the sorting device can sort items (products) belonging to the same hierarchy in different sorting sections.
  • the classification device can further classify items once they have been identified.
  • the classification device can classify items that could not be identified as new items.
  • the classification device can accept input of items that the user wishes to classify in detail or new items.
  • the classification device can limit the information required to further classify an item that has already been identified, or to classify an item that could not be identified as a new item.
  • the classification device allows the user to select on the screen a new item or an item that the user wishes to classify in more detail.
  • the classification device can update the classification model to a more powerful one (re-learning the internal parameters).
  • Sorting device storage
  • First classification unit 102
  • Classification target selection unit 103
  • Second classification unit 104
  • Information acquisition device 120
  • Input/output device 200 Photographed image 201, 202, 203, 204 Article 210, 300, 400 Classification result image 211, 212, 213, 303, 304 Classification result

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明の分類装置（１００）は、入力された物品情報を、第１特定品目、又は、前記第１特定品目以外の不特定品目のいずれかに分類する第１分類部（１０１）と、前記不特定品目から、第２特定品目を分類する第２分類部（１０３）と、を備え、前記第１特定品目及び前記第２特定品目は、同じ階層に属すること、を特徴とする。

Description

分類装置及び貯蔵庫
　本発明は、分類装置及び貯蔵庫に関する。
　近時、内部にどのような食材が保管されているかを自動的に推論する冷蔵庫が普及している。このような推論のために、機械学習済のモデルが使用されることが多い。
　特許文献１の情報処理装置は、医用画像を取扱う。当該情報処理装置は、まず、人間の胴体を輪切りにしたＸ線ＣＴ（Computed Tomography）画像から、特定の臓器（例えば肺）を抽出する。このとき、当該情報処理装置は、第１の学習済みモデルを使用する。次に、当該情報処理装置は、肺の画像から、異常部分（例えば腫瘍部分）を抽出する。このとき、当該情報処理装置は、第２の学習済みモデルを使用する。
　第１の学習済みモデル及び第２の学習済モデルは、異なる階層に属する。第１の学習済モデルは、上位階層に属し、第２の学習済モデルは、下位階層に属する。そして、当該情報処理装置は、第２の学習済みモデルの出力（腫瘍部分の画像）のみを出力する。
特開２０２２－７０４６２号公報
　冷蔵庫に保管された食材をカメラで撮影して食材を分類するとき、各食材が雑多に積み重なっていると、各食材を分類する精度が低下し得る。また、冷蔵庫に保管される食材は、食品メーカの新製品開発等により新たなものが登場することがある。つまり、内部にどのような食材が保管されているかを自動的に推論する冷蔵庫も、利用者が冷蔵庫を購入してからの経年に伴い、冷蔵庫に保管される新製品の食材を冷蔵庫にとって未知の分類クラスに属することが多くなる。そのため、学習モデルの更新が必要に応じて行われる。しかしながら、モデルの更新に起因して、既に学習済であって充分な分類精度を有する部分の分類精度が低下したのでは、モデルを更新する意味が減じてしまう。
　特許文献１においては、人間の臓器の配置は規則的であるので、そもそも臓器同士が不規則に重なることはない。また、未知の臓器が出現することもあり得ない。つまり、特許文献１の情報処理装置は、未知の臓器に対して再度学習することを前提としていない。
　本発明の分類装置は、入力された物品情報を、第１特定品目、又は、前記第１特定品目以外の不特定品目のいずれかに分類する第１分類部と、前記不特定品目から、第２特定品目を分類する第２分類部と、を備え、前記第１特定品目及び前記第２特定品目は、同じ階層に属すること、を特徴とする。
　その他の手段については、発明を実施するための形態の中で説明する。
分類装置の構成例を示すブロック図である。 第１分類部による分類結果画像の例を示す図である。 第２分類部が分類した分類結果画像の例を説明する図である。 第２分類部が詳細を分類した分類結果画像の例を説明する図である。 分類装置による画像分類処理を示すフローチャートである。 分類装置の分類処理の更新の例を示すフローチャートである。
　以下、図に基づき、本発明の実施形態を説明する。以下に説明する実施形態は、特許請求の範囲に係る発明を限定するものではなく、実施形態の中で説明されている諸要素及びその組み合わせのすべてが発明の解決手段に必須であるとは限らない。実施形態の中で説明されている諸要素を適宜組み合わせた形態も、本願が開示する実施形態に含まれる。
　以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明を省略することがある。同一又は同様な機能を有する要素が複数ある場合、同一の符号に異なる添字を付して説明する。但し、複数の要素を区別する必要がない場合、添字を省略して説明する。
　本明細書等における“第１”、“第２”、“第３”等の表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、又は、その内容を限定するものではない。構成要素の識別のための番号は、文脈ごとに用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
　図等において示す各構成の位置、大きさ、形状、範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲等を表していない場合がある。このため、本発明は、必ずしも、図等に開示された位置、大きさ、形状、範囲等に限定されない。本明細書で引用した刊行物、特許及び特許出願は、そのまま本明細書の説明の一部を構成する。
　本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
　実施形態で説明される分類装置の一例は、機械学習が適用される解析装置の学習を支援する用途に用いられるものである。機械学習としては、教師有り学習データを用いてニューラルネットワークを学習するものが挙げられる。分類装置は、画像解析結果の正誤情報を生成する機能、画像解析処理において解析に関わる信頼性を判定する機能、及び、正誤情報及び信頼性に基づき学習条件を提示する機能と、を備える。
　このような分類装置は、一般的な情報処理装置、例えばサーバによって構成され得る。一般的なサーバと同様に、このような分類装置は、制御装置、記憶装置、入力装置、出力装置、及び、各部を接続するバスを備えている。分類装置で実行されるプログラムは、記憶装置に予め組み込まれている。以下の説明では、一般的な情報処理装置が当然備える制御装置、記憶装置、入力装置、及び、出力装置を敢えて図示することはなく、分類装置で実現される機能に着目して説明する。
　具体的には、各機能は、記憶装置に記憶され、処理装置で実行されるプログラムによって実現される。すなわち、本実施形態では、計算、制御等の機能は、記憶装置に格納されたプログラムに予め定められており、プログラムが処理装置によって実行されることで、その機能が他のハードウエアと協働して実現される。計算機等が実行するプログラム、その機能、又はその機能を実現する手段を、“機能”、“手段”、“部”、“ユニット”、“モジュール”等と呼ぶ場合がある。
　分類装置は、単体の装置で構成されてもよいし、入力装置、出力装置、処理装置、及び、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。これらの差異は、発明の思想としては等価であり、変わるところがない。本実施形態中、ソフトウエアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウエアでも実現できる。そのような態様も本発明の範囲に含まれる。
　図１は、本実施形態に係る分類装置１００の構成例を示すブロック図である。分類装置１００は、貯蔵庫（図示せず）の外側に配置される場合もあり、貯蔵庫と同じ筐体内に構成される場合もある。貯蔵庫は、物品を保管する。物品としての食材を保管する冷蔵庫（図示せず）は、貯蔵庫の一例である。分類装置１００は、第１分類部１０１、分類対象選択部１０２及び第２分類部１０３を備える。第１分類部１０１、分類対象選択部１０２及び第２分類部１０３は、バス１０４を介して接続されている。バス１０４は、バス１０４に接続されている各部及び各装置で扱われるデータ、制御情報及び解析情報を保持し、又は、伝送を仲介する。
　前記したように、本実施形態では、第１分類部１０１、分類対象選択部１０２及び第２分類部１０３は、ソフトウエアで実装されるものとする。また、分類装置１００は、一般的な情報処理装置が通常備える、各種の入出力装置及びインタフェースを備える。
　分類装置１００は、バス１０４を介して情報取得装置１１０及び入出力装置１２０に接続されている。分類装置１００は、情報取得装置１１０及び入出力装置１２０と有線接続されてもよいし、無線接続されてもよい。図１では、情報取得装置１１０及び入出力装置１２０は、分類装置１００の外部に設けられているが、分類装置１００に内蔵されていてもよい。第１分類部１０１、分類対象選択部１０２、第２分類部１０３、情報取得装置１１０及び入出力装置１２０は、分類装置１００（貯蔵庫）を構成する。
　分類装置１００は、画像から特定の対象を解析する機能を有する。画像を解析する処理は、画像が特定の特徴を有するか否かで画像を分類して、１つ以上の分類結果を出力するものでもよい。さらに、分類装置１００は、画像において特定の対象が含まれる領域を検出して、画像における対象の位置や大きさを算出してもよいし、画像における特定の対象が含まれる領域をセグメントとして分けて、他の対象と色を分けた画像として表示してもよい。
　また、特定の対象は、事前に定めた１つの対象でもよいし、事前に定めた２つ以上の異なる対象でもよいし、事前に定めた１つ以上の対象と定められていない未知の対象から構成されるものでもよい。以降、画像の分類、画像の検出、及び、画像のセグメント分けに代表されるように、画像から特定の対象を解析する処理を、画像分類、又は、分類と呼ぶ。画像分類処理については、公知の技術を用いる。
　典型的な例としては、モデルとしてのディープニューラルネットワーク（ＤＮＮ）等が、分類を行う。教師有り学習によって、ＤＮＮの内部パラメータが機械学習される。当該構成は、ソフトウエアで実装されてもよいし、ＦＰＧＡのようなハードウエアで構成されてもよい。分類装置１００は、一般的には所定の入力に対して所定の出力を行う関数近似器として定義される。一般的な関数近似器に対して入力される情報は、前記のような画像、音声その他の種類のデータを含む“物品情報”に相当する。
　図２は、分類装置１００の第１分類部１０１による分類結果画像の例を示す図である。撮影画像２００は、光学カメラが撮影する画像の例として円形の物品２０１、三角形の物品２０２、四角形の物品２０３及び五角形の物品２０４が混在している状態を示している。分類装置１００は、例えば撮影画像２００の入力を受け付けると、円形の物品２０１及び三角形の物品２０２を既知のクラスとして分類し、四角形の物品２０３及び五角形の物品２０４を未知のクラスとして分類する。
　例えば、分類装置１００は、この撮影画像２００について、円形の物品２０１をクラス“ａ”として矩形の枠で囲い、三角形の物品２０２をクラス“ｂ”として矩形の枠で囲い、四角形の物品２０３及び五角形の物品２０４をクラス“ｏｔｈｅｒ”として矩形の枠で囲う。このように画像分類した結果の画像例が分類結果画像２１０である。
　分類結果画像２１０においては、分類装置１００が円形の物品２０１を既知のクラス“ａ”として分類した分類結果２１１、及び、三角形の物品２０２を既知のクラス“ｂ”として分類した分類結果２１２がある。一方で、分類装置１００は、四角形の物品２０３及び五角形の物品２０４を、未知のクラス“ｏｔｈｅｒ”として分類した分類結果２１３として出力する。ここでの“ａ”及び“ｂ”は、“第１特定品目”に相当する。ここでの“ｏｔｈｅｒ”は、“不特定品目”に相当する。
　このとき、第１分類部１０１は、まず、撮影画像２００に含まれるすべての物品を検出し、続いて、検出された物品のうち既知のクラスを分類し、該当しなかった物品を未知のクラスとして分類してもよい。
　入出力装置１２０は、第１分類部１０１が処理した分類結果のうち、未知のクラス“ｏｔｈｅｒ”として分類された結果に関する追加情報を、分類装置１００に出力する。追加情報を出力する例として、例えば、入出力装置１２０は、分類装置１００による分類結果を分類結果画像２１０のような形態で画像として表示し、利用者に新規のクラスを追加情報として選択させ、選択された結果を分類装置１００に出力する。
　この場合、入出力装置１２０は、例として画像を表示するディスプレイ、利用者が操作するマウス、又は、キーボードである。入出力装置１２０は、分類結果画像２１０を利用者に出力して、新規のクラスの入力を利用者から受け付ける。入出力装置１２０は、例えばスマートフォン又はタブレット端末が備えるタッチパネルディスプレイでもよいし、画像を印刷するプリンタでもよいし、利用者の音声を入力するマイクでもよい。
　また、分類結果画像２１０においては、画像に含まれる物品すべてに分類結果が与えられているが、第１分類部１０１が検出及び分類しなかった物品を、新規のクラスとして利用者が選択してもよい。このときの選択の方法として、画像に含まれる物品を選択することにより、公知の技術により物品を含む領域を選択又は抽出してもよいし、利用者が物品を含む領域を設定してもよい。
　入出力装置１２０が処理し分類装置１００に出力する追加情報は、予め用意された選択肢を利用者が選択した結果でもよいし、利用者が作成した期待される分類結果でもよい。また、追加情報を出力する別の例として、分類装置１００とは異なる分類手段による情報を、入出力装置１２０が分類装置１００に出力してもよい。
　例えば、単眼カメラで物品を撮影した画像を、分類装置１００が、その画像の形状に応じて分類する場合、予めレーザースキャナ及びＴＯＦ（Time Of Flight）カメラ等の３次元センサが計測した形状に基づき、入出力装置１２０は追加情報を作成し、この追加情報を分類装置１００に出力する。追加情報を得る手段については、公知の技術を用いる。
　第１分類部１０１及び／又は第２分類部１０３は、入出力装置１２０から入力された追加情報に基づき、分類処理を更新する。分類処理の更新とは、教師有り学習データを使用してＤＮＮの内部パラメータを機械学習する処理でもよく、この場合、公知の技術が用いられる。分類処理の更新において、第１分類部１０１及び／又は第２分類部１０３に分類処理を追加し、複数の処理により第１分類部１０１及び／又は第２分類部１０３の分類を実行してもよい。第１分類部１０１及び第２分類部１０３とともに、それらとは別の１又は複数の分類部が分類処理を分担してもよい。
　図３は、利用者が選択した追加情報に基づき、第２分類部１０３が分類した分類結果画像３００の例を説明する図である。分類結果画像３００は、第１分類部１０１が分類した分類結果画像２１０を、第２分類部１０３が分類した分類結果画像である。四角形の物品２０３を新規のクラス“ｃ”として分類した分類結果３０３、及び、五角形の物品２０４を新規のクラス“ｄ”として分類した分類結果３０４がある。ここでの“ｃ”及び“ｄ”は、“第２特定品目”に相当する。
　分類対象選択部１０２は、第１分類部１０１による分類結果のうちから、第２分類部１０３が分類する対象を選択する。図２の例では、分類対象選択部１０２は、未知のクラス“ｏｔｈｅｒ”として分類された分類結果２１３を、第２分類部１０３が分類する対象として選択する。分類対象選択部１０２は、第２分類部１０３が分類するべき領域（分類結果画像２１０のうち分類結果２１３の領域）を抽出してもよい。分類対象選択部１０２は、第２分類部１０３が分類することが不要な領域（分類結果画像２１０のうち分類結果２１３を除く領域）を削除してもよいし、黒などの色で塗り潰してもよい。また、第２分類部１０３が分類結果画像２１０を分類し、その後、分類対象選択部１０２が分類結果２１３に該当する領域の結果のみを抽出してもよい。
　第２分類部１０３は、前記のように第１分類部１０１が未知のクラス“ｏｔｈｅｒ”として分類した分類結果に対して追加的に分類するだけではない。例えば、第１分類部１０１が既知のクラスとして分類した分類結果２１１及び２１２を分類対象選択部１０２が選択した場合、第２分類部１０３は、分類結果２１１及び２１２をさらに詳細に分類してもよい。この場合でも、分類対象選択部１０２は、第２分類部１０３が分類するべき領域（分類結果画像２１０のうち分類結果２１１及び２１２の領域）を抽出してもよい。分類対象選択部１０２は、第２分類部１０３が分類することが不要な領域（分類結果画像２１０のうち分類結果２１１及び２１２を除く領域）を削除してもよいし、黒などの色で塗り潰してもよい。
　図４は、利用者が選択した追加情報に基づき、第２分類部１０３が詳細を分類した分類結果画像４００の例を説明する図である。分類結果画像２１０においてクラス“ａ”として分類された分類結果２１１Ａ及び２１１Ｂは、分類結果画像４００ではそれぞれクラス“ａ－Ｌ”４０１及び“ａ－Ｓ”４０２として異なるクラスにさらに詳細に分類されている。分類結果画像２１０においてクラス“ｂ”として分類された分類結果２１２Ａ及び２１２Ｂは、分類結果画像４００ではそれぞれクラス“ｂ－Ｓ”４０４及び“ｂ－Ｌ”４０３として異なるクラスにさらに詳細に分類されている。なお、“Ｌ”は、大を意味し、“Ｓ”は小を意味する。ここでの“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”は、“第１特定品目をさらに詳細に分類”した結果に相当する。
　分類対象選択部１０２は、前記の通り第１分類部１０１が未知のクラスとして分類した分類結果を対象として選択してもよいし、第１分類部１０１が既知のクラスとして分類した分類結果を対象として選択してもよいし、その両方を対象として選択してもよい。
　前記において、第１特定品目“ａ”及び“ｂ”、並びに、第２特定品目“ｃ”及び“ｄ”、並びに、第１特定品目をさらに詳細に分類した結果“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”は、同じ階層に属している。大きさの違い等に基づきより詳細に分類することが、異なる階層において分類することにならないことに留意するべきである。なお、物品のどのような属性を抽出し、抽出した複数の属性をどの階層に割り当てるかは、利用者次第である。図２～図４の例では、物品の形状を、その大きさに関わらず同じ階層に属する複数のクラスとしている。利用者は、例えば、物品の種類（肉類、野菜類、加工食品、・・・）、生産者（Ａ社、Ｂ社、・・・）、包装状態（瓶、缶、ビニール、紙箱、・・・）等を同じ階層に属する複数のクラスとしてもよい。
　一般に、ＤＮＮ等のモデルを使用した物品の分類においては、教師有り学習データを使用してモデルを機械学習する“学習段階”、及び、学習済みのモデルで実際に物品を分類する“推論段階”が存在する。後記する図５は、主として推論段階のフローチャートであり、図６は、学習段階のフローチャートである。
　図５は、分類装置１００による画像分類処理を示すフローチャートである。図５の処理は、事前に設定される対象選択に係る情報及び第１分類部１０１による分類結果に基づき、第２分類部１０３が分類対象を判定する処理である。
　ステップＳ５０１では、情報取得装置１１０は、画像データの入力を受け付ける。
　ステップＳ５０２では、分類対象選択部１０２は、利用者が入出力装置１２０を介して、第１分類部１０１による分類結果のうち、第２分類部１０３が処理する対象に関する情報を入力するのを受け付ける。利用者は、第２分類部が処理する対象に関する情報を、入出力装置１２０に入力する。
　より具体的には、分類対象選択部１０２は、利用者による入力に基づき、以下の各選択肢を選択し、併せて、各選択肢に係る新たなクラスも同時に選択する。
〈選択肢１：未知のクラスに対する分類〉
・新たなクラスとしての、例えば“ｃ”及び“ｄ”
〈選択肢２：既知のクラスに対する詳細分類〉
・新たなクラスとしての、例えば“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”
〈選択肢３：未知のクラスに対する分類及び既知のクラスに対する詳細分類〉
・新たなクラスとしての、例えば、“ｃ”、“ｄ”、“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ” 
　ここで、選択肢１は、“第１分類部が分類した結果のうち不特定品目に係る情報”に相当し、選択肢２は、“第１分類部が分類した結果のうち第１特定品目に係る情報”に相当する。
　その後、第２分類部１０３は、例えば図６に示すように、自身のモデルを機械学習する。このとき、第２分類部１０３は、利用者が“正解ラベル”を付した画像データを教師有り学習データとして使用する。ここでの正解ラベルとは、“ｃ”、“ｄ”、“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”のような新たなクラスである。自身のモデルが、新たな教師有り学習データで既に充分に機械学習されている場合、第２分類部１０３は、自身のモデルの機械学習を省略してもよい。
　ステップＳ５０３では、第１分類部１０１は、分類処理を実行する。
　ステップＳ５０４では、第２分類部１０３は、ステップＳ５０２で選択された情報に基づき、自身が処理する対象を判定する。第２分類部１０３は、選択肢１が選択されている場合、ステップＳ５０５に進む。第２分類部１０３は、選択肢２が選択されている場合、ステップＳ５０６に進む。第２分類部１０３は、選択肢３が選択されている場合、ステップＳ５０７に進む。
　ステップＳ５０５では、図２及び図３に示したように、第２分類部１０３は、未知のクラスとして分類された分類結果２１３Ａ及び２１３Ｂに対して分類処理を実行する。そして、第２分類部１０３は、分類結果画像３００における分類結果３０３及び３０４のように、分類結果を出力する。
　ステップＳ５０６では、図２および図４に示したように、第２分類部１０３は、既知のクラスとして分類された分類結果２１１Ａ、２１１Ｂ、２１２Ａ及び２１２Ｂに対してさらに詳細に分類処理を実行する。そして、第２分類部１０３は、分類結果画像４００における分類結果４０１、４０２、４０３及び４０４のように、さらに詳細な分類結果を出力する。
　ステップＳ５０７では、第２分類部１０３は、ステップＳ５０５及びステップＳ５０６の両者の処理を実行する。
　図６は、分類装置１００の分類処理の更新の例を示すフローチャートである。図６では、入出力装置１２０が受け付けた追加情報に基づき、分類処理の性能を低下させないように、第１分類部１０１及び第２分類部１０３が、それぞれ自身を更新する。
　ステップＳ６０１では、情報取得装置１１０は、画像データの入力を受け付ける。
　ステップＳ６０２では、第１分類部１０１は、分類処理を実行する。
　ステップＳ６０３では、分類対象選択部１０２は、利用者が入出力装置１２０を介して、ステップＳ６０２での分類結果に対して行う処理についての追加情報を入力するのを受け付ける。ここでの追加情報は、前記した“正解ラベル”としての新たなクラスである。
　分類対象選択部１０２は、“ａ”及び“ｂ”に対して“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”を受け付ける。“ａ－Ｌ”、“ａ－Ｓ”、“ｂ－Ｌ”及び“ｂ－Ｓ”は、“第１分類部が分類した結果のうち第１特定品目についての追加情報”に相当する。
　分類対象選択部１０２は、“ｏｔｈｅｒ”に対して“ｃ”及び“ｄ”を受け付ける。“ｃ”及び“ｄ”は、“第１分類部が分類した結果のうち不特定品目についての追加情報”に相当する。
　ステップＳ６０４では、ステップＳ６０３で入力された追加情報に基づき、第１分類部１０１及び第２分類部１０３は、それぞれ自身の分類処理の更新を試行する。分類処理の更新とは、教師有り学習データを使用してＤＮＮの内部パラメータを更新する処理でもよい。その場合、第１分類部１０１及び第２分類部１０３は、ステップＳ６０１で入力された画像データ及びステップＳ６０３で入力されたた追加情報を教師有り学習データとして使用する。
　第１分類部１０１及び第２分類部１０３は、学習においては、評価用のデータを用いて更新前の分類性能と更新試行後の分類性能とを比較する。この段階の処理は、あくまでも更新の試行であって、実際の更新ではない。つまり、この段階では、新たに内部パラメータが最適化され、最適化された内部パラメータが評価されるが、最適化及び評価された内部パラメータが、試行前の内部パラメータに置き換わるのではない。
　ステップＳ６０５では、第１分類部１０１は、ステップＳ６０４で更新を試行した後の自身の性能（ＤＮＮの性能）が閾値ａ以上であるか否かを判定する。そして、第１分類部１０１は、性能が閾値ａ以上である場合、ステップＳ６０７に進み、性能が閾値ａ未満である場合、ステップＳ６０６に進む。閾値ａは、期待される検出性能を設定した固定値であってもよいし、試行前の第１分類部１０１を基準とする性能低減を検知する場合、試行前の性能値であってもよい。つまり、第１分類部１０１は、更新試行後の分類処理の性能が更新試行前の分類処理の性能よりも高い場合、自身の分類処理を更新する。なお、閾値としての“ａ”は、分類結果のクラスとしての“ａ”とは、無関係である。
　ステップＳ６０６では、第２分類部１０３は、ステップＳ６０４で更新を試行した後の自身の性能（ＤＮＮの性能）が閾値ｂ以上であるか否かを判定する。そして、第２分類部１０３は、性能が閾値ｂ以上である場合、ステップＳ６０８に進み、性能が閾値ｂ未満である場合、ステップＳ６０９に進む。閾値ｂは、期待される検出性能を設定した固定値であってもよいし、試行前の第２分類部１０３を基準とする性能低減を検知する場合、試行前の性能値であってもよい。つまり、第２分類部１０３は、更新試行後の分類処理の性能が更新試行前の分類処理の性能よりも高い場合、自身の分類処理を更新する。なお、閾値としての“ｂ”は、分類結果のクラスとしての“ｂ”とは、無関係である。
　ステップＳ６０５及びステップＳ６０６において性能を判定する際に、第１分類部１０１及び第２分類部１０３は、判定用に入力した画像データに対する検出精度として真陽性率、偽陽性率、真陰性率、偽陽性率を算出してもよいし、判定用に入力した画像データに対する検出結果について不確実性を算出してもよい。検出処理に関する検出精度、不確実性、及び、信頼性の算出には、公知の技術が使用される。
　ステップＳ６０７では、第１分類部１０１は、ステップＳ６０５での判定に基づき、自身を更新する、つまり、試行後の内部パラメータで試行前の内部パラメータを置き換える。第１分類部１０１の更新により、更新前では未知であったクラスを、第１分類部１０１による分類で新規のクラスとして分類することができるようになる。
　ステップＳ６０８では、第２分類部１０３は、ステップＳ６０６での判定に基づき、自身を更新する、つまり、試行後の内部パラメータで試行前の内部パラメータを置き換える。第２分類部１０３の更新により、前記の図２及び図３を用いた例と同様に、第１分類部１０１で未知であったクラスを、第２分類部１０３による分類で新規のクラスとして分類することができるようになる。
　ステップＳ６０９では、第１分類部１０１及び第２分類部１０３は、ステップＳ６０６での判定に基づき、自身の更新を中止する。第１分類部１０１及び第２分類部１０３は、ステップＳ６０４で試行する際に用いた教師有り学習データ画像を、破棄してもよいし、次回以降の学習試行において教師有り学習データとして再度使用してもよい。また、第１分類部１０１及び第２分類部１０３は、試行後の内部パラメータを破棄してもよいし、保存してもよい。
　前記から明らかなように、ステップＳ６０８は、ステップＳ６０７から独立した処理である。例えば、新製品を正しく分類できるように、ステップＳ６０８において第２分類部１０３が自身を更新した結果は、ステップＳ６０７において第１分類部１０１が自身を更新した結果には影響しない。その逆も同様である。
　第１分類部１０１及び第２分類部１０３のそれぞれは、異なるカテゴリを検出してもよい。例えば、第１分類部１０１は、物品の品目を分類し、第２分類部１０３は、形状、材質、大きさのような異なる分類を実行してもよいし、大きさや長さ、重さのような回帰問題として算出するのでもよい。
（本実施形態の効果）
　本実施形態の分類装置の効果は以下の通りである。
（１）分類装置は、同じ階層に属する物品（品目）を異なる分類部で分類することができる。
（２）分類装置は、一旦特定した品目をさらに詳細に分類することができる。
（３）分類装置は、特定できなかった品目を、新たな品目として分類することができる。
（４）分類装置は、利用者が詳細に分類したい品目又は新たな品目を入力するのを受け付けることができる。
（５）分類装置は、一旦特定した品目をさらに詳細に分類するために、又は、特定できなかった品目を新たな品目として分類するために必要な情報を限定することができる。
（６）分類装置は、新たな品目又は詳細に分類したい品目を、利用者が画面上で選択することができる。
（７）分類装置は、分類するためのモデルを、より性能が高いものに更新（内部パラメータの再学習）することができる。
　１００　分類装置（貯蔵庫）
　１０１　第１分類部
　１０２　分類対象選択部
　１０３　第２分類部
　１０４　バス
　１１０　情報取得装置
　１２０　入出力装置
　２００　撮影画像
　２０１、２０２、２０３、２０４　物品
　２１０、３００、４００　分類結果画像
　２１１、２１２、２１３、３０３、３０４　分類結果

Claims (15)

  1. 　入力された物品情報を、第１特定品目、又は、前記第１特定品目以外の不特定品目のいずれかに分類する第１分類部と、
    　前記不特定品目から、第２特定品目を分類する第２分類部と、
    　を備え、
    　前記第１特定品目及び前記第２特定品目は、
    　同じ階層に属すること、
    　を特徴とする分類装置。
  2. 　前記第１分類部が分類した結果のうち前記第１特定品目に係る情報を選択する分類対象選択部を備えること、
    　を特徴とする請求項１に記載の分類装置。
  3. 　前記第１分類部が分類した結果のうち前記不特定品目に係る情報を選択する分類対象選択部を備えること、
    　を特徴とする請求項１に記載の分類装置。
  4. 　前記第２分類部は、
    　前記選択された第１特定品目に係る情報に基づき、前記第１特定品目をさらに詳細に分類すること、
    　を特徴とする請求項２に記載の分類装置。
  5. 　前記第２分類部は、
    　前記選択された不特定品目に係る情報に基づき、前記第２特定品目を分類すること、
    　を特徴とする請求項３に記載の分類装置。
  6. 　前記第１分類部が分類した結果のうち前記第１特定品目についての追加情報を利用者から入出力装置を介して受け付ける分類対象選択部を備えること、
    　を特徴とする請求項１に記載の分類装置。
  7. 　前記第１分類部が分類した結果のうち前記不特定品目についての追加情報を利用者から入出力装置を介して受け付ける分類対象選択部を備えること、
    　を特徴とする請求項１に記載の分類装置。
  8. 　前記分類対象選択部は、
    　前記選択された第１特定品目に係る情報に基づき、前記第２分類部が分類することが不要な画像の情報を削除すること、
    　を特徴とする請求項２に記載の分類装置。
  9. 　前記分類対象選択部は、
    　前記選択された不特定品目に係る情報に基づき、前記第２分類部が分類することが不要な画像の情報を削除すること、
    　を特徴とする請求項３に記載の分類装置。
  10. 　前記分類対象選択部は、
    　前記選択された第１特定品目に係る情報に基づき、前記第２分類部が分類するべき画像の情報を抽出すること、
    　を特徴とする請求項２に記載の分類装置。
  11. 　前記分類対象選択部は、
    　前記選択された不特定品目に係る情報に基づき、前記第２分類部が分類するべき画像の情報を抽出すること、
    　を特徴とする請求項３に記載の分類装置。
  12. 　前記分類対象選択部は、
    　前記入出力装置を介して、前記第1分類部が分類した結果を利用者に提示し、利用者が前記追加情報を入力するのを受け付けること、
    　を特徴とする請求項６又は７に記載の分類装置。
  13. 　前記第１分類部及び／又は前記第２分類部は、
    　前記追加情報に基づき、自身が実行する分類処理を更新すること、
    　を特徴とする請求項６又は７に記載の分類装置。
  14. 　前記第１分類部及び／又は前記第２分類部は、
    　更新試行後の分類処理の性能が更新試行前の分類処理の性能よりも高い場合、自身の前記分類処理を更新すること、
    　を特徴とする請求項６又は７に記載の分類装置。
  15. 　入力された物品情報を、第１特定品目、又は、前記第１特定品目以外の不特定品目のいずれかに分類する第１分類部と、
    　前記不特定品目から、第２特定品目を分類する第２分類部と、
    　を備え、
    　前記第１特定品目及び前記第２特定品目は、
    　同じ階層に属すること、
    　を特徴とする貯蔵庫。
PCT/JP2023/032987 2022-11-29 2023-09-11 分類装置及び貯蔵庫 WO2024116537A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022190055A JP2024077857A (ja) 2022-11-29 2022-11-29 分類装置及び貯蔵庫
JP2022-190055 2022-11-29

Publications (1)

Publication Number Publication Date
WO2024116537A1 true WO2024116537A1 (ja) 2024-06-06

Family

ID=91323564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032987 WO2024116537A1 (ja) 2022-11-29 2023-09-11 分類装置及び貯蔵庫

Country Status (2)

Country Link
JP (1) JP2024077857A (ja)
WO (1) WO2024116537A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020541A1 (ja) * 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
WO2019181441A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2021018470A (ja) * 2019-07-17 2021-02-15 東芝テック株式会社 物品特定装置及びプログラム
JP2022072648A (ja) * 2020-10-30 2022-05-17 セイコーエプソン株式会社 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020541A1 (ja) * 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
WO2019181441A1 (ja) * 2018-03-20 2019-09-26 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2021018470A (ja) * 2019-07-17 2021-02-15 東芝テック株式会社 物品特定装置及びプログラム
JP2022072648A (ja) * 2020-10-30 2022-05-17 セイコーエプソン株式会社 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム

Also Published As

Publication number Publication date
JP2024077857A (ja) 2024-06-10

Similar Documents

Publication Publication Date Title
US10650518B2 (en) Computer aided diagnosis (CAD) apparatus and method
CN102004845B (zh) 用于数字x光影像软拷贝解读的方法
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN104246656B (zh) 建议的视频编辑的自动检测
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN107180226A (zh) 一种基于组合神经网络的动态手势识别方法
CN107155360A (zh) 用于对象检测的多层聚合
CN108009560B (zh) 商品图像相似类别判定方法及装置
JP2023517895A (ja) 自動化された廃棄物管理のための方法および電子装置
CN110033019A (zh) 人体部位的异常检测方法、装置和存储介质
EP3772722A1 (en) X-ray image processing system and method, and program therefor
JPWO2018179360A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2024116537A1 (ja) 分類装置及び貯蔵庫
WO2021065574A1 (ja) 画像処理装置、画像処理方法、プログラム
KR102048948B1 (ko) 영상 분석 장치 및 방법
EP2560108A1 (en) Logical operation system
CN114708264B (zh) 一种光斑质量判别方法、装置、设备和存储介质
JP6987342B2 (ja) 画像処理装置、方法及びプログラム
CN109460485A (zh) 一种图像库建立方法、装置和存储介质
US20230080978A1 (en) Machine learning method and information processing apparatus for machine learning
JP2022061191A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20220292706A1 (en) Object number estimation device, control method, and program
Shovin et al. Deep Learning Model for Real-Time Multi-Class Detection on Food Ingredients Using Yolov4 Algorithm
US20240203566A1 (en) Medical image processing method
EP4273796A1 (en) Processing spectral image data generated by a computed tomography scanner