WO2023199729A1 - 画像認識装置 - Google Patents

画像認識装置 Download PDF

Info

Publication number
WO2023199729A1
WO2023199729A1 PCT/JP2023/011915 JP2023011915W WO2023199729A1 WO 2023199729 A1 WO2023199729 A1 WO 2023199729A1 JP 2023011915 W JP2023011915 W JP 2023011915W WO 2023199729 A1 WO2023199729 A1 WO 2023199729A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
image
recognition target
photographing
unit
Prior art date
Application number
PCT/JP2023/011915
Other languages
English (en)
French (fr)
Inventor
卓也 北出
佳祐 山谷
涼介 水野
択磨 松村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023199729A1 publication Critical patent/WO2023199729A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image recognition device for recognition targets such as crops.
  • Patent Document 1 discloses that a camera box forming a darkroom-like photographing room in which a camera is installed is provided, and the objects to be sorted are photographed on a conveying surface conveyed into the photographing room by the rotation of a conveyor. There is a description of an invention for measuring the contour shape, size, etc. of an object.
  • an object of the present invention is to provide an image recognition device that can accurately recognize a recognition target object.
  • the image recognition device of the present invention includes: a photographing section for photographing one photographing surface of the recognition target; a reflecting section disposed so as to reflect another photographing surface of the recognition target toward the photographing section; A recognition unit that recognizes the recognition target based on a first image on the imaging plane and a second image on the other imaging plane.
  • FIG. 1 is an external view of an image recognition device 10 according to the present disclosure.
  • FIG. 2 is a diagram showing a cross-sectional view of the image recognition device 10 of the present disclosure as seen from the conveyance direction.
  • FIG. 2 is a diagram showing a recognition screen G including a recognition target T, a pair of left and right mirror parts 10a, etc. at the time of photographing.
  • 1 is a diagram showing functional configurations of an image recognition device 10 and a sorting device 20.
  • FIG. It is a figure which shows the specific example of the determination table 103a.
  • 3 is a diagram showing a sorting mechanism using a flipper 22.
  • FIG. It is a flowchart showing the operation of the image recognition device 10 in the present disclosure.
  • FIG. 3 is a diagram showing a recognition screen G including a recognition target T, four mirror parts 10a, etc. at the time of photographing.
  • 3 is a diagram showing another example of the conveyor 21.
  • FIG. FIG. 10 is a diagram showing another example of the mirror section 10a.
  • 2 is a flowchart showing the operation of the image recognition device 10 using the distance measurement sensor 102.
  • 2 is a schematic diagram showing a transition graph of sensor values by the distance measuring sensor 102 and the sensor values.
  • FIG. FIG. 1 is a diagram illustrating an example of a hardware configuration of an imaging device 100 according to an embodiment of the present disclosure.
  • FIG. 1 is an external view of an image recognition device 10 according to the present disclosure.
  • this image recognition device 10 has four legs 11, and is configured such that a belt conveyor that conveys a recognition target passes between the legs 11.
  • the leg portion 11 has a telescopic structure.
  • the legs 11 are in an extended state, but when recognizing a recognition target, the legs 11 of the image recognition device 10 are set at a position according to the size of the recognition target. Ru.
  • crops such as vegetables are assumed as examples of recognition targets, but of course the recognition target is not limited to this, and may include seafood and other natural objects whose size is not constant. It also includes dead or living animals.
  • artificial objects (products) may also be included. For artifacts (products), by recognizing the packaging of the artifacts (products), the count and damage state of the artifacts can be detected.
  • FIG. 2 is a diagram showing a cross-sectional view of the image recognition device 10 of the present disclosure as seen from the transport direction.
  • a photographing device 100 such as a smartphone is placed on the top surface of the image recognition device 10.
  • An illumination section 11a is provided inside the top surface of the image recognition device 10. This illumination unit 11a is for illuminating the recognition target object photographed by the photographing device 100 (camera 101).
  • the mirror parts 10a and 10b are arranged near the recognition target T (conveyor 21), and are tilted so as to be able to photograph the side surface of the recognition target T from above. That is, the mirror parts 10a and 10b are arranged so as to reflect the side surface of the recognition target T upward.
  • two mirror sections 10a and 10b are arranged, but only one mirror section 10a or three or more mirror sections 10a may be arranged.
  • the conveyor 21 is a part that conveys the recognition target object T.
  • the conveyor is a tray type conveyor, and conveys the recognition target object T placed on the tray 20a.
  • the mirror portions 10a are arranged on both sides (or on one side) of the conveyor 21 in the conveyance direction.
  • FIG. 3 is a diagram showing a recognition screen G including the recognition target T and a pair of left and right mirror sections 10a during photographing. As shown in the figure, the right and left side surfaces of the recognition target T are reflected in the pair of left and right mirror sections 10a.
  • the photographing device 100 can obtain the recognition screen G by photographing the right side T1 (side image) and the left side T2 (side image) of the recognition target T, and the top surface (top image) of the recognition target T. can.
  • the photographing device 100 can recognize the type, size, etc. of the recognition target T based on these images.
  • FIG. 4 is a diagram showing the functional configuration of the image recognition device 10 and the sorting device 20.
  • the image recognition device 10 includes a photographing device 100, a mirror section 10a, and an illumination section 10b.
  • the photographing device 100 includes a camera 101 (photographing section), a distance measuring sensor 102, a recognition section 103, and a communication device 104.
  • image recognition processing is implemented with one computer, but the present disclosure is not limited to this. If high-speed communication such as 5G (5th Generation), FTTH (Fiber to the Home), or other high-speed communications is available, images are captured locally on the device and sent to a cloud server on the network. It is also possible to transfer the information and process AI inference and recognition processing on the cloud server.
  • 5G Fifth Generation
  • FTTH Fiber to the Home
  • the camera 101 is a part that obtains a top image and a side image of the top surface of the recognition target T and the side surface reflected in the mirror section 10a. As shown in FIG. 3, the camera 101 acquires the recognition screen G.
  • the distance sensor 102 is a part that measures the distance to the recognition target T.
  • the distance measuring sensor 102 is not an essential component, as will be described later.
  • the recognition unit 103 is a part that recognizes the type and size of the recognition target object based on the top image and side image included in the recognition screen G, and obtains recognition result information including the size. More specifically, first, the recognition unit 103 obtains a top image and a side image of the recognition target T at a predetermined portion on the recognition screen G. Then, the recognition unit 103 recognizes the type of the recognition target T and its score (recognition accuracy) from the top image and side image of the recognition target T. For example, image recognition is performed using a known AI (estimation model) to determine that it is a tomato and calculate its score.
  • AI estimation model
  • the recognition unit 103 selects either the recognition result of the top image or the side image, and it is preferable to select the recognition result with the higher score of the recognition result.
  • the estimation model is constructed by learning the top and side images of the recognition target including the recognition target T in advance.
  • image recognition object detection
  • frame coordinates upper left: x1, y1) - (lower right: x2, y2)
  • a label and its score (recognition accuracy) are generally output.
  • the label indicates the recognition result of the recognition target object T, and in this disclosure indicates the recognition result (type) included in the top image or the side image.
  • the recognition unit 103 determines one determination table 103a based on the type of the recognition target T based on the top image and the side image. That is, the determination table 103a is prepared in advance for each type, and the recognition unit 103 determines the determination table 103a based on the scores of the recognition results of the top image and the side image (for example, the highest score). Note that if the score does not satisfy a predetermined recognition accuracy, such as a predetermined value or less, it may be treated as a recognition error.
  • the recognition unit 103 acquires the length (number of pixels) in the X, Y, and Z directions from the top image and side image on the recognition screen G. Then, the recognition unit 103 refers to the determination table 103a based on the length, recognizes the size, and acquires it as recognition result information.
  • the recognition result information is not limited to size, but may also include volume, shape, and other external conditions (presence or absence of scratches) of the recognition target, as well as scores indicating recognition accuracy, or all of them. It may also include.
  • the determination table 103a is a table that associates each length of the recognition target T in the X, Y, and Z directions with the size of the recognition target T.
  • the determination table 103a is prepared for each type of recognition target object T.
  • the decision table 103a is prepared for each type of crop (tomato, etc.).
  • the determination table 103a includes X*Y range (range where X is multiplied by Y), X*Z range (range where X is multiplied by Z), ) is associated with the size.
  • FIG. 5 is a diagram showing a specific example thereof. In FIG. 5, the numerical value indicates the number of pixels, but is not limited to this, and may be the real world length in mm (millimeters) from the number of pixels.
  • the X*Y range indicates the area viewed from above, and the X*Y*Z range indicates the volume. Further, in the figure, sizes S, M, and L are clearly shown, but the sizes are not limited to these, and may be further subdivided into SS (smaller than S), LL (larger than L), etc.
  • the recognition unit 103 cannot recognize any of the numerical values of X, Y, and Z, the score of either the top image or the side image may be less than a predetermined value. For example, there is a case where the camera 101 fails to capture a side image. This is a case where the timing of transporting and photographing the recognition target T is shifted, or the installation position of the mirror section 10a is inappropriate.
  • the score will be low if there are features that are different from the learning images used when creating the estimation model. For example, if you create an estimation model trained using red tomatoes, but the tomatoes at the fruit sorting plant are greenish, and you use the estimation model to recognize those tomatoes, or if you create an estimation model trained using round tomatoes. In some cases, it was used to recognize a long and slender tomato. In addition, if the features are too far apart, it may not be recognized and the score may be low.
  • the recognition unit 103 creates the determination table 103a using the length (any two of X, Y, or Z) based on the top image or side image that was obtained with a score equal to or higher than a predetermined value. Refer to it to determine the size. That is, the recognition unit 103 uses only X and Y or only X and Z. Note that only Y and Z may be used. However, the X*Y range and the X*Z range are treated as having a low level of accuracy, and the X*Y*Z range is treated as having a high level of accuracy.
  • the sorting device 20 may sort recognition objects with a low level of accuracy in a separate frame based on the accuracy information, and the operator may make a separate judgment.
  • the recognition unit 103 becomes less accurate during image analysis (there are some areas that cannot be photographed), there is a possibility that only that moment (that frame) cannot be photographed or recognized for some reason.
  • the accuracy is improved by searching past or future frames of the video of the camera 101 in the buffer memory (not shown), searching for recognizable frames (frames with a score equal to or higher than a predetermined value), and replacing or supplementing the information.
  • a high level recognition result may be obtained.
  • the camera 101 has a function of photographing several tens of images per second, and has a function of performing analysis in real time.
  • each range indicating the number of pixels in the determination table 103a are just examples and vary depending on the crop type and fruit sorting site, so the range is determined by collecting actually measured data.
  • the decision table 103a may be constructed using a supervised model such as SVM (Support Vector Machine), which collects a large amount of numerical data of X, Y, and Z and performs machine learning using the size as the correct answer label. . Further, the model may be replaced with the decision table 103a.
  • SVM Small Vector Machine
  • the communication device 104 is a part that transmits recognition result information including the type and size of the recognition target object to the sorting device 20.
  • the sorting device 20 also includes a conveyor 21, a flipper 22, a robot arm 23, an air jet 24, and a control device 25.
  • the conveyor 21 is a conveyance means that conveys the recognition target object T in a predetermined conveyance direction.
  • the flipper 22 is a member that changes the conveyance direction of the recognition target T conveyed on the conveyor 21 and discharges it from the conveyor 21.
  • the robot arm 23 is an arm member that lifts the recognition target T being conveyed on the conveyor and discharges it from the conveyor 21.
  • the air jet 24 is a mechanism for discharging the recognition target T from the conveyor 21 by jetting air to the recognition target T being conveyed on the conveyor 21.
  • the control device 25 is a device that controls the flipper 22, the robot arm 23, and the air jet 24 based on the recognition result information of the recognition target transmitted from the photographing device 100.
  • the flipper 22, robot arm 23, and air jet 24 are not all essential members, and any one of them may be used, or a sorting means other than these may be used.
  • the control device 25 may control the recognition target T whose recognition result information has a low level of accuracy to be removed from the conveyance path using the flipper 22 or the like so that it can be re-examined.
  • the image recognition device 10 transmits recognition result information including the type, size, etc. of the recognition target object T to the sorting device 20, and the sorting device 20 performs sorting processing based on the recognition result information.
  • FIG. 6 is a diagram showing a sorting mechanism using the flipper 22.
  • the recognition target object T conveyed by the conveyor 21, which is a tray-type conveyor is discharged from the conveyor 21 by the flipper 22 moving so as to close the conveyance path.
  • the flipper 22 is shown to operate only to discharge or not discharge from the conveyor 21, but by using a plurality of flippers 22, multiple types of sorting may be performed.
  • FIG. 7 is a flowchart showing the operation of the image recognition device 10 in the present disclosure.
  • the camera 101 photographs the recognition target T (S101), and the recognition unit 103 analyzes the top image and side image of the recognition target T, and determines the type, length X, Y, Z of the recognition target T. , and calculate the score (S102, S103).
  • the recognition unit 103 determines whether the photographing position of the recognition target object T is appropriate (S104). For example, if the recognition unit 103 successfully recognizes the recognition target T (score equal to or higher than a predetermined value) (for example, the entire recognition target is included in the video), the recognition unit 103 determines that the shooting position is appropriate. I judge that there is. Note that the present invention is not limited to this, and other methods may be used to determine whether or not the photographing position is appropriate. These other methods will be described later.
  • processes S101 to S103 are repeatedly executed until the recognition target object is at an appropriate position.
  • the recognition unit 103 determines the determination table 103a based on the type and score of the recognition target T based on the image analysis of the top image and the image analysis of the side image (S105).
  • the recognition unit 103 estimates the size of the recognition target object T with reference to the determination table 103a (S106).
  • the communication device 104 transmits the estimated size of the recognition target T to the sorting device 20.
  • the sorting device 20 performs sorting control based on the transmitted size (S107). As described above, the control device 25 controls whether or not the conveyor 21 needs to be discharged from the transport path by operating the flipper 22 and the like. As described above, the object to be controlled is not limited to the flipper 22, and other sorting means may be controlled.
  • the number of mirror parts 10a is two, but the number is not limited to this.
  • the recognition unit 103 may perform image recognition processing using four mirror units 10a. By using more mirror parts 10a, the accuracy of image recognition can be improved.
  • one mirror section 10a is arranged on each diagonal of the tray 20a. Thereby, the mirror portion 10a can be placed without blocking the conveyance path of the tray 20a. Moreover, it is possible to see every corner of the side surface of the recognition target object T, and highly accurate recognition results can be obtained. Note that, naturally, the number of mirror portions 10a is not limited to four, and may be more than four.
  • the plurality of mirror parts 10a are arranged in a belt conveyor format, it is preferable to arrange them on both sides with respect to the transport direction, and to arrange them on the upstream and downstream sides of the transport.
  • FIG. 9 is a diagram showing another example of the conveyor 21.
  • the image recognition device 10 of the present disclosure can naturally be applied to a belt conveyor type instead of a tray type.
  • the recognition target may be an object that can move on its own without using a tray or a belt conveyor.
  • an object such as an animal or a car that can pass through the photographing point without the power of a conveyor may be used as a recognition target.
  • the above-mentioned conveyor etc. becomes unnecessary.
  • the casing part (photographing box) of the image recognition device 10 can be made in a large size and applied to recognition of animals passing through the entrance of a farm, recognition of cars at the entrance of a parking lot, etc.
  • FIG. 10 is a diagram showing another example of the mirror unit 10a
  • FIG. 10(a) is a top view of the image recognition device 10
  • FIG. 10(b) is a side view of the image recognition device 10.
  • the mirror portion 10a may have a curved shape so that the periphery of the recognition target T can be widely captured.
  • the mirror portion 10a is curved inward as a concave mirror.
  • a concave mirror can image the object widely, going around the sides of the object, and as a result, the photographing area of the target object is wide, making it appear larger as if it had been enlarged. Therefore, it has the advantage of making it easier to find scratches and the like.
  • FIG. 11 is a flowchart showing the operation of the image recognition device 10, including determining whether the recognition target T is at an appropriate photographing position using the distance measurement sensor 102.
  • the ranging sensor 102 specifies the position of the recognition target T (S100a).
  • the distance measuring sensor 102 is arranged above the photographing position, and when the recognition target T comes to the photographing position, the distance thereof becomes the shortest.
  • the distance measurement sensor 102 determines that the recognition target T has reached the photographing position based on the distance.
  • the camera 101 photographs the recognition target T based on the determination, and the recognition unit 103 performs image analysis of the photographed image.
  • process S104 The subsequent processes are the same as those in FIG. 7 except for process S104. That is, the camera 101 photographs the recognition target T, and the recognition unit 103 performs image analysis to obtain the type and lengths X, Y, and Z of the recognition target T (S101 to S107).
  • FIG. 12 is a schematic diagram showing a transition graph of sensor values by the ranging sensor 102 and the sensor values.
  • the sensor value L1 is the distance from the ranging sensor 102 to the tray
  • the sensor value L2 is the distance from the ranging sensor 102 to the vertex of the recognition target T
  • the sensor value L3 is: The distance from the distance measurement sensor 102 to the joint of the tray is shown.
  • FIG. 12(b) is a transition graph of sensor values when the tray on which the recognition target object T is placed is transported. The point indicated by L2 on the graph is the apex of the recognition target T, and when the distance measurement sensor 102 detects this, the camera 101 takes a picture and the recognition unit 103 performs image analysis.
  • this distance measurement sensor 102 By using this distance measurement sensor 102, the photographing process by the camera 101 and the image analysis process by the recognition unit 103 only need to be performed once per recognition target. Further, it can be used in devices with low specs such as a CPU for configuring the recognition unit 103 and the like.
  • the image recognition device 10 of the present disclosure includes a photographing device 100 that photographs one photographing surface (for example, the top surface) of the recognition target T, and a photographing device 100 that photographs another photographing surface (for example, the side surface) of the recognition target T toward the photographing device 100.
  • the recognition target T is recognized based on the mirror section 10a, which is a reflecting section arranged as shown in FIG.
  • a recognition unit 103 is provided.
  • the recognition unit 130 in the photographing device 100 can recognize the size of the recognition target object T.
  • the image recognition device 10 of the present disclosure further includes a determination table 103a that defines a size according to at least two lengths of the recognition target T in the vertical direction, horizontal direction, and height direction.
  • the recognition unit 103 determines the vertical direction, horizontal direction, and height of the recognition target T based on a first image (for example, a top image) and a second image (for example, a side image) that are photographed images of the recognition target.
  • the length in the direction is recognized, and the size of the recognition target T is recognized with reference to the determination table 103a.
  • the determination table 103a defines the size of each type of recognition target object T. Then, the recognition unit 103 recognizes the type of the recognition target object T, and recognizes the size of the recognition target object T by referring to the determination table 130a according to the recording type.
  • the recognition unit 103 selects the determination table 103a for tomato. Since the size varies depending on the type, it is preferable to prepare a determination table 103a for each type.
  • the determination table 103a further defines a combination of two of the vertical direction, the horizontal direction, and the height direction as a low-accuracy size; Define all combinations of directions as precision sizes. For example, the accuracy of the combination of the X*Y range (range in the vertical and horizontal directions) and the X*Z range (range in the horizontal and height directions) is set at a low level.
  • the recognition unit 103 selects one or more of the recognized lengths in the vertical direction, horizontal direction, and height direction based on the respective recognition scores in order to refer to the determination table 103a.
  • the recognition score is a score indicating recognition accuracy in image recognition, and is calculated using a known technique.
  • the recognition unit 103 uses the recognition score and does not adopt the length of an image with a recognition score of low recognition accuracy. Thereby, it is possible to obtain a highly reliable size even though the accuracy is low. For example, if the recognition accuracy of the top image is low and the recognition accuracy of the side image is high, the recognition result of the side image is used.
  • the recognition unit 103 recognizes the recognition target based on the recognition score in at least one of the first image (for example, the top image) and the second image (for example, the side image). recognize.
  • the recognition score indicates the recognition accuracy, so it is based on the image with the recognition score (the first image, the second image, or both) with high recognition accuracy. It is better to recognize the object to be recognized.
  • the recognition unit 103 determines that the recognition score of the top image of the recognition target T is low and unreliable, if the recognition score of the side image is high, the recognition unit 103 uses the side image to recognize the recognition target T. It is possible to recognize the size, etc. Therefore, no matter what state the recognition target T is in (such as lying down), its size can be recognized with high accuracy.
  • the image recognition device 10 of the present disclosure at least two mirror portions 10a, which are reflecting portions, are arranged.
  • the mirror section 10a is arranged near the recognition target object T. The vicinity is, for example, next to the conveyance path of the recognition target object T.
  • the pair of mirror sections 10a are arranged so as to reflect a pair of different second images (for example, left and right side images) of the recognition target T toward the photographing device 100.
  • the recognition unit 103 selects one of the second images (left or right side image) based on the recognition score of each second image (left and right side images) of the at least two mirror units 10a. . Then, the recognition unit 103 recognizes the recognition target T based on the selected one second image (either the left or right side image).
  • the recognition target object T is conveyed along a conveyor 21 that has been installed in advance.
  • the photographing device 100 is arranged at a position to photograph one photographing surface (for example, a top image) of the recognition target T conveyed by the conveyor 21.
  • the mirror unit 10a is arranged at a position for photographing another photographing surface (side image) of the recognition target T.
  • the camera 101 captures the top surface of the recognition target T without using a mirror or the like to obtain a top image, and reflects the side surface of the recognition target T with the mirror unit 10a to obtain a side image.
  • the camera 101 may take pictures from the side, directly obtain a side image, and reflect the top image with a mirror or the like.
  • a plurality of mirror parts 10a may be arranged at positions facing each other with the recognition target object T at the center.
  • the present disclosure has been described with a focus on recognizing the size of the recognition target T, it is of course not limited thereto.
  • a recognition result of the recognition target T subtle differences in appearance (color, gloss), shape, scratches, etc. may be obtained.
  • the image recognition device 10 of the present disclosure can detect such products, etc. It can also be applied to the recognition of scratches.
  • the image recognition device 10 has the following configuration.
  • a photographing unit that photographs one photographic surface of the recognition target; a reflecting section arranged to reflect another photographing surface of the recognition target toward the photographing section; a recognition unit that recognizes the recognition target based on a first image on the one imaging surface and a second image on the other imaging surface;
  • An image recognition device comprising:
  • the recognition unit recognizes the size of the recognition target, The image recognition device according to [1].
  • [3] further comprising a determination table that defines a size according to at least two lengths of the recognition target in the vertical direction, horizontal direction, and height direction
  • the recognition unit is The lengths of the recognition target in the vertical, horizontal and height directions are recognized based on the first image and the second image, and the lengths of the recognition target are determined with reference to the determination table. recognize the size,
  • the image recognition device according to [2].
  • the determination table defines a size for each type of the recognition target,
  • the recognition unit is Recognizing the type of the recognition target, recognizing the size of the recognition target by referring to a determination table according to the type;
  • the image recognition device according to [3].
  • the decision table is Further, a combination of two of the vertical direction, horizontal direction, and height direction is defined as a low-accuracy size, and all combinations of the vertical direction, horizontal direction, and height direction are defined as a high-accuracy size,
  • the recognition unit is referring to the determination table based on the length in the recognized direction;
  • the image recognition device according to [3].
  • the recognition unit is recognizing the recognition target based on a recognition score in at least one of the first image and the second image;
  • the image recognition device according to any one of [1] to [5].
  • the reflective section is at least two, is placed near the recognition target, arranged so as to reflect a different second image of the recognition target toward the photographing unit;
  • the image recognition device according to any one of [1] to [6].
  • the recognition unit is Selecting any one second image based on the recognition score of each second image of the at least two reflective parts, recognizing the recognition target based on the selected one second image;
  • the image recognition device according to [7].
  • the reflective section is arranged at positions facing the recognition target as the center;
  • the recognition target object is transported along a transport path that is set in advance,
  • the photographing unit is arranged at a position to photograph one photographing surface of the recognition target object transported on the transport path,
  • the reflecting unit is arranged at a position for photographing another photographing surface of the recognition target.
  • each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, exploration, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, consideration, These include, but are not limited to, broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, and assigning. I can't do it.
  • a functional block (configuration unit) that performs transmission is called a transmitting unit or a transmitter. In either case, as described above, the implementation method is not particularly limited.
  • the photographing device 100 in the image recognition device 10 may function as a computer that performs processing of the image recognition method of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of the hardware configuration of the imaging device 100 according to an embodiment of the present disclosure.
  • the photographing apparatus 100 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the word “apparatus” can be read as a circuit, a device, a unit, etc.
  • the hardware configuration of the photographing device 100 may be configured to include one or more of the devices shown in the figure, or may be configured without including some of the devices.
  • Each function in the imaging device 100 is performed by loading predetermined software (programs) onto hardware such as the processor 1001 and memory 1002, so that the processor 1001 performs calculations, controls communication by the communication device 1004, and controls communication by the communication device 1004. This is realized by controlling at least one of reading and writing data in the storage 1003.
  • the processor 1001 for example, operates an operating system to control the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic unit, registers, and the like.
  • CPU central processing unit
  • the recognition unit 103 and the like described above may be realized by the processor 1001.
  • the processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes in accordance with these.
  • programs program codes
  • the recognition unit 103 may be realized by a control program stored in the memory 1002 and operated in the processor 1001, and other functional blocks may be similarly realized.
  • Processor 1001 may be implemented by one or more chips. Note that the program may be transmitted from a network via a telecommunications line.
  • the memory 1002 is a computer-readable recording medium, and includes at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. may be done.
  • Memory 1002 may be called a register, cache, main memory, or the like.
  • the memory 1002 can store executable programs (program codes), software modules, and the like to implement the image recognition method according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, such as an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, or a magneto-optical disk (for example, a compact disk, a digital versatile disk, or a Blu-ray disk). (registered trademark disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, etc.
  • Storage 1003 may also be called an auxiliary storage device.
  • the storage medium mentioned above may be, for example, a database including at least one of memory 1002 and storage 1003, a server, or other suitable medium.
  • the communication device 1004 is hardware (transmission/reception device) for communicating between computers via at least one of a wired network and a wireless network, and is also referred to as a network device, network controller, network card, communication module, etc., for example.
  • the communication device 1004 includes, for example, a high frequency switch, a duplexer, a filter, a frequency synthesizer, etc. in order to realize at least one of frequency division duplex (FDD) and time division duplex (TDD). It may be composed of.
  • FDD frequency division duplex
  • TDD time division duplex
  • the communication device 104 may have a transmitter and a receiver that are physically or logically separated.
  • the input device 1005 is an input device (eg, keyboard, mouse, microphone, switch, button, sensor, etc.) that accepts input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside. Note that the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses for each device.
  • the imaging device 100 also includes hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), and a field programmable gate array (FPGA).
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • PLD programmable logic device
  • FPGA field programmable gate array
  • the notification of information may include physical layer signaling (e.g., DCI (Downlink Control Information), UCI (Uplink Control Information)), upper layer signaling (e.g., RRC (Radio Resource Control) signaling, MAC (Medium Access Control) signaling, It may be implemented using broadcast information (MIB (Master Information Block), SIB (System Information Block)), other signals, or a combination thereof.
  • RRC signaling may be called an RRC message, and may be, for example, an RRC Connection Setup message, an RRC Connection Reconfiguration message, or the like.
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • Judgment may be made using a value expressed by 1 bit (0 or 1), a truth value (Boolean: true or false), or a comparison of numerical values (for example, a predetermined value). (comparison with a value).
  • notification of prescribed information is not limited to being done explicitly, but may also be done implicitly (for example, not notifying the prescribed information). Good too.
  • Software includes instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules, whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name. , should be broadly construed to mean an application, software application, software package, routine, subroutine, object, executable, thread of execution, procedure, function, etc.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • a transmission medium For example, if the software uses wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and/or wireless technology (infrared, microwave, etc.) to create a website, When transmitted from a server or other remote source, these wired and/or wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of the foregoing. It may also be represented by a combination of
  • At least one of the channel and the symbol may be a signal.
  • the signal may be a message.
  • a component carrier may also be called a carrier frequency, a cell, a frequency carrier, or the like.
  • radio resources may be indicated by an index.
  • MS Mobile Station
  • UE User Equipment
  • a mobile station is defined by a person skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology.
  • determining may encompass a wide variety of operations.
  • “Judgment” and “decision” include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, and inquiry. (e.g., a search in a table, database, or other data structure), and may include ascertaining something as a “judgment” or “decision.”
  • judgment and “decision” refer to receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, and access.
  • (accessing) may include considering something as a “judgment” or “decision.”
  • judgment and “decision” refer to resolving, selecting, choosing, establishing, comparing, etc. as “judgment” and “decision”. may be included.
  • judgment and “decision” may include regarding some action as having been “judged” or “determined.”
  • judgment (decision) may be read as “assuming", “expecting", “considering”, etc.
  • connection means any connection or coupling, direct or indirect, between two or more elements and each other. It can include the presence of one or more intermediate elements between two elements that are “connected” or “coupled.”
  • the bonds or connections between elements may be physical, logical, or a combination thereof. For example, "connection” may be replaced with "access.”
  • two elements may include one or more wires, cables, and/or printed electrical connections, as well as in the radio frequency domain, as some non-limiting and non-inclusive examples. , electromagnetic energy having wavelengths in the microwave and optical (both visible and non-visible) ranges, and the like.
  • the phrase “based on” does not mean “based solely on” unless explicitly stated otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • any reference to elements using the designations "first,” “second,” etc. does not generally limit the amount or order of those elements. These designations may be used in this disclosure as a convenient way to distinguish between two or more elements. Thus, reference to a first and second element does not imply that only two elements may be employed or that the first element must precede the second element in any way.
  • a and B are different may mean “A and B are different from each other.” Note that the term may also mean that "A and B are each different from C”. Terms such as “separate” and “coupled” may also be interpreted similarly to “different.”

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

認識対象物を正確に認識することができる画像認識装置を提供する。　本開示の画像認識装置１０は、認識対象物Ｔの一撮影面（例えば上面）を撮影する撮影装置１００と、認識対象物Ｔの他の撮影面（例えば側面）を撮影装置１００に向けて映すように配置される反射部であるミラー部１０ａと、一撮影面（上面）における第一の画像、および他の撮影面（側面）における第二の画像に基づいて、認識対象物Ｔを認識する認識部１０３とを備える。この構成により、認識対象物の側面など、複数箇所の面を一回の撮影で得ることができ、認識対象物に対する認識精度を向上させることができる。また、認識対象物が転がっておかれていたとしても、少なくとも２方向からの撮影することができることから、認識精度を向上させることができる。

Description

画像認識装置
　本発明は、作物などの認識対象物に対する画像認識装置に関する。
　特許文献１には、カメラを設置する暗室状形態の撮影室を形成するカメラボックスを設け、コンベアの回転により、撮影室内に搬送される搬送面上の被選別物を撮影して、この被選別物の輪郭形状および大きさ等を測定する発明についての記載がある。
特開２０１４－１３６２１４号公報
　認識対象物の選別、特に野菜や果物の選果において、作物のサイズ別(重さあるいは大きさ)による選果が一般的である。特許文献１に記載されているように一方向からのカメラ撮影画像を用いて、面積から作物を選別する手法では、作物の一面しか見えないため選別精度が低くなってしまう問題がある。
　そこで、上述の課題を解決するために、本発明は、認識対象物を正確に認識することができる画像認識装置を提供することを目的とする。
　本発明の画像認識装置は、認識対象物の一撮影面を撮影する撮影部と、前記認識対象物の他の撮影面を前記撮影部に向けて映すように配置される反射部と、前記一撮影面における第一の画像、および前記他の撮影面における第二の画像に基づいて、前記認識対象物を認識する認識部と、を備える。
　本発明によると、認識対象物を正確に認識することができる。
本開示における画像認識装置１０の外観図である。 本開示の画像認識装置１０における搬送方向から見た断面図を示す図である。 撮影時における認識対象物Ｔ、および左右一対のミラー部１０ａ等を含んだ認識画面Ｇを示す図である。 画像認識装置１０および選別装置２０の機能構成を示す図である。 決定テーブル１０３ａの具体例を示す図である。 フリッパ２２を利用した選別機構を示す図である。 本開示における画像認識装置１０の動作を示すフローチャートである。 撮影時における認識対象物Ｔ、および４つのミラー部１０ａ等を含んだ認識画面Ｇを示す図である。 コンベア２１の他の例を示す図である。 図１０は、ミラー部１０ａの他の例を示す図である。 測距センサ１０２を用いた画像認識装置１０の動作を示すフローチャートである。 測距センサ１０２によるセンサ値の遷移グラフと、そのセンサ値を示した概略図である。 本開示の一実施の形態に係る撮影装置１００のハードウェア構成の一例を示す図である。
　添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、本開示における画像認識装置１０の外観図である。図に示されるとおり、この画像認識装置１０は、４つの脚部１１を有しており、その脚部１１の間を、認識対象物を搬送するベルトコンベアが通るような構成になっている。脚部１１は、伸縮自在の構成である。図では、脚部１１は、伸びた状態となっているが、認識対象物の認識時においては、その認識対象物の大きさに応じた位置に、画像認識装置１０の脚部１１は設定される。本開示において、認識対象物の例として野菜などの作物を想定しているが、当然にこれに限るものではなく、魚介類、そのほかサイズが一定でない自然物があり得る。また、死んでいるまたは生きている動物も含む。さらに、人工物（商品）でも含めてもよい。人工物（商品）については、その人工物（商品）のパッケージを認識することで、人工物のカウントおよび破損状態を検知する。
　図２は、本開示の画像認識装置１０における搬送方向から見た断面図を示す図である。図に示されるとおり、画像認識装置１０の上面には、スマーフォンなどの撮影装置１００が載置される。画像認識装置１０の上面の内側には、照明部１１ａが備えられている。この照明部１１ａは、撮影装置１００（カメラ１０１）により撮影される認識対象物を照らすためのものである。
　本開示において、ミラー部１０ａおよび１０ｂが、認識対象物Ｔ（コンベア２１）の近傍に配置され、認識対象物Ｔの側面を上方から撮影可能に傾斜して配置されている。すなわち、ミラー部１０ａおよび１０ｂは、認識対象物Ｔの側面を上方に反射するよう配置されている。本開示においては、ミラー部１０ａおよび１０ｂの２つが配置されているが、１つのミラー部１０ａのみでもよいし、３つ以上が配置されてもよい。
　コンベア２１は、認識対象物Ｔを搬送する部分である。本開示においては、トレイ型のコンベアであって、トレイ２０ａに載せられた認識対象物Ｔを搬送する。ミラー部１０ａは、このコンベア２１の搬送方向のその両隣（または一方でもよい）に配置される。
　図３は、撮影時における認識対象物Ｔ、および左右一対のミラー部１０ａ等を含んだ認識画面Ｇを示す図である。図に示されるとおり、左右一対のミラー部１０ａには、認識対象物Ｔの右側面および左側面が映っている。撮影装置１００は、認識対象物Ｔにおける右側面Ｔ１（側面画像）および左側面Ｔ２（側面画像）、ならびに認識対象物Ｔの上面（上面画像）を撮影することで、認識画面Ｇを得ることができる。撮影装置１００は、これら画像に基づいて、認識対象物Ｔの種別、サイズ等を認識することができる。
　図４は、画像認識装置１０および選別装置２０の機能構成を示す図である。図に示されるとおり、画像認識装置１０は、撮影装置１００、ミラー部１０ａ、および照明部１０ｂを備える。撮影装置１００は、カメラ１０１（撮影部）、測距センサ１０２、認識部１０３、および通信装置１０４を含む。
　なお、本開示においては、１台のコンピュータで画像認識処理を実現することを例示したが、それに限るものではない。５Ｇ（5th Generation）などで称される第５世代移動通信システム、ＦＴＴＨ（Fiber to the Home）等の高速な通信を利用できる場合、画像撮影を端末（ローカル）で行い、ネットワーク上のクラウドサーバへ転送し、ＡＩの推論・認識処理を当該クラウドサーバで処理することもできる。
　カメラ１０１は、認識対象物Ｔの上面およびミラー部１０ａに映った側面を撮影した上面画像および側面画像を取得する部分である。図３に示した通り、カメラ１０１は、認識画面Ｇを取得する。
　測距センサ１０２は、認識対象物Ｔまでの距離を計測する部分である。測距センサ１０２は、後述する通り必須の構成ではない。
　認識部１０３は、認識画面Ｇに含まれている上面画像および側面画像に基づいて、認識対象物の種別およびそのサイズを認識して、サイズを含む認識結果情報を取得する部分である。より詳細には、まず、認識部１０３は、認識画面Ｇにおいて、予め定めた部分における認識対象物Ｔの上面画像およびその側面画像を得る。そして、認識部１０３は、その認識対象物Ｔの上面画像および側面画像から、認識対象物Ｔの種別およびそのスコア（認識精度）を認識する。例えば、公知のＡＩ（推定モデル）を用いて画像認識を行い、トマトであること、およびそのスコアを算出する。
　なお、認識部１０３は、上面画像および側面画像のうち、いずれか認識結果を選択するが、認識結果のスコアの高い方の認識結果を選択するのがよい。
　なお、認識対象物Ｔを含む認識対象物の上面画像および側面画像が予め学習されて推定モデルが構築されている。画像認識(物体検出)技術では、一般的に枠座標(左上：ｘ１，ｙ１)－(右下：ｘ２，ｙ２)、ラベル、およびそのスコア（認識精度）が出力される。ラベルは、認識対象物Ｔの認識結果を示し、本開示では上面画像または側面画像に含まれる認識結果（種別）を示す。
　そして認識部１０３は、上面画像および側面画像に基づいた認識対象物Ｔの種別に基づいて、一の決定テーブル１０３ａを決定する。すなわち、決定テーブル１０３ａは、種別ごとに予め用意されており、認識部１０３は、上面画像および側面画像の認識結果のスコアに基づいて（例えば最も高いスコア）、決定テーブル１０３ａを決定する。なお、スコアが所定値以下など、所定の認識精度を満たしていない場合には、認識エラーとしてもよい。
　また、認識部１０３は、認識画面Ｇにおける上面画像および側面画像からＸ、Ｙ、Ｚ方向における長さ（画素数）を取得する。そして、認識部１０３は、長さに基づいて、決定テーブル１０３ａを参照してサイズを認識して、認識結果情報として取得する。
　なお、認識結果情報は、サイズに限るものではなく、そのほか、体積、形状、そのほか認識対象物の外観上の状態（傷の有無）と、それらの認識精度を示すスコアとしてもよいし、それら全部を含めたものとしてもよい。
　決定テーブル１０３ａは、認識対象物ＴのＸ、Ｙ、Ｚ方向における各長さと、認識対象物Ｔのサイズとを対応付けたテーブルである。本開示では、決定テーブル１０３ａは、認識対象物Ｔの種別ごとに用意されている。例えば、作物（トマトなど）の種類ごとに、決定テーブル１０３ａは、用意されている。
　決定テーブル１０３ａは、Ｘ*Ｙ範囲（ＸとＹとを乗算した範囲）、Ｘ＊Ｚ範囲（ＸとＺとを乗算した範囲）Ｘ*Ｙ*Ｚ範囲（Ｘ、Ｙ、Ｚを乗算した範囲）に、サイズを対応付けている。図５は、その具体例を示す図である。図５において、その数値は、画素数を示すが、これに限るものではなく、画素数からｍｍ（ミリメートル）単位の実世界の長さとしてもよい。
　Ｘ*Ｙ範囲は、上から見た面積を示し、Ｘ*Ｙ*Ｚ範囲は体積を示す。また図では、サイズＳ、Ｍ、Ｌを明示しているが、これに限るものではなく、ＳＳ（Ｓより小さい）、ＬＬ（Ｌより大きい）など、さらに細分化してもよい。
　なお、図におけるＸ、Ｙ、Ｚの計算式で示される範囲の値は、一例であり、作物種類および選果場によっても変わる。そのため、決定テーブル１０３ａを作成する際においては、実測したデータを集めて、その範囲が決定される。
　認識部１０３は、Ｘ、Ｙ、Ｚのいずれかの数値を認識できない場合、上面画像または側面画像のいずれかのスコアが所定値に満たない場合がある。例えば、カメラ１０１が側面画像を取り損ねてしまう場合などである。これは、認識対象物Ｔの搬送と撮影とのタイミングがずれたり、ミラー部１０ａの設置位置が不適切であったりする場合である。
　また、スコアが低くなるのは、推定モデル作成時の学習画像と違った特徴がある場合である。例えば、赤いトマトを使って学習した推定モデルを作成したが、選果場のトマトは緑っぽく、そのトマトを、推定モデルを使って認識させた場合、または丸いトマトを学習させた推定モデルを使って細長いトマトを認識させた場合がある。そのほか、あまりにも特徴がかけ離れている場合、認識できず、スコアが低くなる場合がある。
　そのほか、認識時において、外光が入り込み、色温度が変化したり、認識対象物が光って見えたりすることで、画像のコントラストまたは色味が変化した場合、その画像も同様なことが起こり、スコアが低くなる場合がある。
　これら事情に応じて、認識部１０３は、所定値以上のスコアで取得できた上面画像または側面画像に基づいた長さ（Ｘ、Ｙ、Ｚのいずれか２つ）を用いて、決定テーブル１０３ａを参照して、サイズを導き出す。すなわち、認識部１０３は、Ｘ、ＹのみまたはＸ、Ｚのみを使うことになる。なお、Ｙ、Ｚのみを用いてもよい。ただし、Ｘ＊Ｙ範囲およびＸ＊Ｚ範囲は精度が低レベルとしてあつかい、Ｘ*Ｙ*Ｚ範囲は、精度が高レベルとして扱う。
　なお、精度が低レベルであっても、その一方で、個数カウントの見逃しがなくなる効果がある。また、精度情報を付与することで、選別装置２０で利用可能としても良い。例えば、選別装置２０は、精度情報に基づいて、精度が低レベルの認識対象物を別枠で集めるよう、選別しておき、別途作業者が判断するようにしてもよい。
　また、認識部１０３は、その画像解析時に精度が低くなる(撮影できない面がある)際、その瞬間（そのフレーム）のみ何らかの原因で撮影できていない、または認識できていない可能性があるため、バッファメモリ（図示せず）にあるカメラ１０１の映像の過去または未来フレームを検索し、認識できるフレーム（スコアが所定値以上となるフレーム）を検索して情報を差し替え、または補完して、精度が高レベルの認識結果を得るようにしてもよい。この場合、カメラ１０１は、秒間数十枚の画像を撮影する機能を有して、リアルタイムで分析できる機能を有する。
　決定テーブル１０３ａにおける画素数を示す各範囲の数値は例示であり、作物種類および選果場によっても変わるため、その範囲は、実測したデータを集めて決定される。また、大量のＸ、Ｙ、Ｚの数値データを集め、サイズを正解ラベルとして機械学習した、例えばＳＶＭ(Support Vector Machine)のような教師ありモデルを使って、決定テーブル１０３ａは構築されてもよい。また、そのモデルを決定テーブル１０３ａに代えてもよい。
　通信装置１０４は、選別装置２０に、認識対象物の種別およびサイズを含む認識結果情報を送信する部分である。
　また、選別装置２０は、コンベア２１、フリッパ２２、ロボットアーム２３、エアージェット２４、および制御装置２５を含む。
　コンベア２１は、認識対象物Ｔを所定の搬送方向に向けて搬送する搬送手段である。
　フリッパ２２は、コンベア２１上で搬送される認識対象物Ｔの搬送方向を変えて、コンベア２１から排出するための部材である。
　ロボットアーム２３は、コンベア上で搬送される認識対象物Ｔを持ち上げて、コンベア２１から排出するためのアーム部材である。
　エアージェット２４は、コンベア２１上で搬送される認識対象物Ｔに、エアを噴出することで、認識対象物Ｔをコンベア２１から排出するための機構である。
　制御装置２５は、撮影装置１００から送信された認識対象物の認識結果情報に基づいて、上記フリッパ２２、ロボットアーム２３、およびエアージェット２４を、制御する装置である。なお、上記フリッパ２２、ロボットアーム２３、およびエアージェット２４の全てが必須の部材ではなく、いずれか一つでもよいし、これら以外の選別手段を用いてもよい。なお、上述したとおり、制御装置２５は、精度が低レベルの認識結果情報の認識対象物Ｔを、再検査できるように、フリッパ２２等で搬送路から除外するように制御してもよい。
　上記画像認識装置１０は、認識対象物Ｔの種別、サイズ等を含む認識結果情報を選別装置２０に送信し、選別装置２０は、認識結果情報に基づいて、選別処理を行う。
　図６は、フリッパ２２を利用した選別機構を示す図である。図に示されるとおり、トレイ型コンベアであるコンベア２１により搬送される認識対象物Ｔは、フリッパ２２がその搬送路を塞ぐように動くことにより、コンベア２１から排出される。図では、フリッパ２２はコンベア２１から排出するかしないかのいずれかしか動作しないように記載されているが、複数のフリッパ２２を用いることにより、複数種類の選別をしてもよい。
　図７は、本開示における画像認識装置１０の動作を示すフローチャートである。カメラ１０１は、認識対象物Ｔを撮影し（Ｓ１０１）、認識部１０３は、その認識対象物Ｔの上面画像および側面画像を解析して、認識対象物Ｔの種別、長さＸ、Ｙ、Ｚ、およびスコアを求める（Ｓ１０２、Ｓ１０３）。
　そして、認識部１０３が、認識対象物Ｔの撮影位置は適切であるか判断する（Ｓ１０４）。例えば、認識部１０３は、正常（所定値以上のスコア）に認識対象物Ｔを認識できた場合には（例えば映像中に認識対象物の全てが含まれているなど）、撮影位置が適切であると判断する。なお、これに限らず、他の手法を用いて撮影位置が適切であるか否かの判断をしてもよい。それら他の手法については後述する。
　ここで、適切でない場合には、適切な位置に認識対象物が来るまで処理Ｓ１０１からＳ１０３を繰り返し実行する。
　適切である場合には、認識部１０３は、上面画像の画像解析および側面画像の画像解析に基づいて、認識対象物Ｔの種別およびスコアに基づいて、決定テーブル１０３ａを決定する（Ｓ１０５）。
　そして、認識部１０３は、決定テーブル１０３ａを参照して、認識対象物Ｔのサイズを推定する（Ｓ１０６）。通信装置１０４は、推定した認識対象物Ｔのサイズを選別装置２０に送信する。
　選別装置２０は、送信されたサイズに基づいて、仕分け制御を行う（Ｓ１０７）。上記したとおり、制御装置２５は、フリッパ２２等を操作することにより、コンベア２１の搬送路からの排出の要否を制御する。上記したとおり制御対象物はフリッパ２２に限られず、他の選別手段を制御してもよい。
　上記の開示においては、ミラー部１０ａは二つとしていたが、これに限るものではない。例えば、図８に示すように、４つのミラー部１０ａを用いて、認識部１０３は、画像認識処理を行ってもよい。より多くのミラー部１０ａを用いることで、その画像認識の精度を高めることができる。図８では、ミラー部１０ａは、トレイ２０ａの対角線上にそれぞれ一つずつ配置されている。これにより、トレイ２０ａの搬送経路を塞ぐことなくミラー部１０ａを配置することができる。また、認識対象物Ｔの側面を隅々までみることができ、高精度の認識結果を得ることができる。なお、当然にミラー部１０ａは４つに限定するものではなく、それ以上としてもよい。また、複数のミラー部１０ａは、ベルトコンベア形式で配置する場合には、搬送方向に対して両側に配置するとともに、搬送の上流側および下流側に配置するのがよい。
　図９は、コンベア２１の他の例を示す図である。本開示の画像認識装置１０は、トレイ型に代えてベルトコンベア形式にも当然に適用できる。そのほか、トレイまたはベルトコンベアを用いることなく、自力で動くことができる物体を認識対象物としてもよい。例えば、動物、自動車などコンベアの動力が無くても撮影ポイントを通過できる物体を認識対象物としてもよい。その場合、上記したコンベア等は不要となる。その場合、画像認識装置１０の筐体部分（撮影ボックス）を大きなサイズで作成し、牧場の入り口を通る動物を認識する、駐車場通り口の車を認識する、などに適用することができる。
　図１０は、ミラー部１０ａの他の例を示す図であり、図１０（ａ）は、画像認識装置１０の上面図であり、図１０（ｂ）は、画像認識装置１０の側面図である。図に示されるとおり、ミラー部１０ａを湾曲の形状を持たせて、認識対象物Ｔの周囲を広く写すようにしてもよい。図では、ミラー部１０ａは、凹面鏡として、内側に湾曲させている。
　凹面鏡は、特定の位置(物体の撮影位置)においては、物体の側面をまわりこむように物体を広く映すことができ、その結果、対象物体の撮影面積は広く、拡大されたように大きめに映る。よって、傷などを見つけやすいメリットがある。
　図１１は、測距センサ１０２を用いて、認識対象物Ｔが適切な撮影位置にあるか否かを判断することを含んだ、画像認識装置１０の動作を示すフローチャートである。
　図に示されるとおり、測距センサ１０２は、認識対象物Ｔの位置を特定する（Ｓ１００ａ）。測距センサ１０２は、撮影位置の上方の配置されており、認識対象物Ｔが撮影位置に来たときに、その距離が最短となる。測距センサ１０２は、その距離に基づいて、認識対象物Ｔが、撮影位置に到達したことを判断する。カメラ１０１は、その判断に基づいて認識対象物Ｔを撮影し、認識部１０３は、その撮影した画像の画像解析を行う。
　以降の処理は、処理Ｓ１０４を除いて、図７と同様となる。すなわち、カメラ１０１が認識対象物Ｔを撮影し、認識部１０３が画像解析を行って、認識対象物Ｔの種別および長さＸ、Ｙ、Ｚを取得する（Ｓ１０１～Ｓ１０７）。
　図１２は、測距センサ１０２によるセンサ値の遷移グラフと、そのセンサ値を示した概略図である。図１２（ａ）に示されるとおり、センサ値Ｌ１は、測距センサ１０２からトレイまでの距離、センサ値Ｌ２は、測距センサ１０２から認識対象物Ｔの頂点までの距離、センサ値Ｌ３は、測距センサ１０２からトレイの継ぎ目までの距離を示す。図１２（ｂ）は、認識対象物Ｔが載っているトレイが搬送される際におけるセンサ値の遷移グラフである。グラフ上、Ｌ２で示されるところが、認識対象物Ｔの頂点となり、測距センサ１０２がこれを検知すると、カメラ１０１による撮影および認識部１０３による画像解析が行われる。
　この測距センサ１０２を利用することにより、カメラ１０１による撮影処理および認識部１０３による画像解析処理が、１認識対象物あたり１回で済む。また、認識部１０３等を構成するためのＣＰＵ等のスペック等が低い機器で使用可能となる。
　つぎに、本開示の画像認識装置１０作用効果について説明する。本開示の画像認識装置１０は、認識対象物Ｔの一撮影面（例えば上面）を撮影する撮影装置１００と、認識対象物Ｔの他の撮影面（例えば側面）を撮影装置１００に向けて映すように配置される反射部であるミラー部１０ａと、一撮影面（上面）における第一の画像、および他の撮影面（側面）における第二の画像に基づいて、認識対象物Ｔを認識する認識部１０３とを備える。
　この構成により、認識対象物の側面など、複数箇所の面を一回の撮影で得ることができ、認識対象物に対する認識精度を向上させることができる。また、認識対象物が転がっておかれていたとしても、少なくとも２方向からの撮影することができることから、認識精度を向上させることができる。また、認識対象物Ｔの個数をカウントすることができるという、副次的な効果も奏する。
　本開示においては、撮影装置１００における認識部１３０は、認識対象物Ｔのサイズを認識することができる。
　例えば、また、本開示の画像認識装置１０は、認識対象物Ｔの縦方向、横方向、および高さ方向の少なくとも２つの長さに応じたサイズを規定する決定テーブル１０３ａをさらに備える。認識部１０３は、認識対象物の撮影画像である第一の画像（例えば上面画像）および第二の画像（例えば側面画像）に基づいて、認識対象物Ｔの縦方向、横方向、および高さ方向の長さを認識し、決定テーブル１０３ａを参照して、認識対象物Ｔのサイズを認識する。
　これにより、サイズ選別を高精度で行うことができる。例えば、トマトなどの作物は球体ではなく高さにばらつきがあるため、同じ品種のトマトでも、平べったいもの、細長い物などがある。よって、体積および重量からサイズ・階級を決定したいが、高さ方向など３方向におけるの情報がないと、作物の高さのばらつきにより、誤選別してしまう課題があった。本開示の画像認識装置１０では、そのような誤選別を防止することができる。　また、本開示の画像認識装置１０において、決定テーブル１０３ａは、認識対象物Ｔの種別ごとのサイズを規定している。そして、認識部１０３は、認識対象物Ｔの種別を認識し、記種別に応じた決定テーブル１３０ａを参照して認識対象物Ｔのサイズを認識する。
　例えば、認識部１０３は、トマトを認識したら、トマト用の決定テーブル１０３ａを選択する。種別に応じてサイズ感は異なるため、それぞれの種別に応じた決定テーブル１０３ａを用意しておくことがよい。
　本開示の画像認識装置１０において、決定テーブル１０３ａは、さらに、縦方向、横方向、および高さ方向のうちの２つの組み合わせを低精度のサイズと規定し、縦方向、横方向、および高さ方向の全ての組み合わせを高精度のサイズと規定する。例えば、Ｘ＊Ｙ範囲（縦横方向の範囲）、Ｘ＊Ｚ範囲（横高さ方向の範囲）の組み合わせは、その精度は低レベルとする。
　認識部１０３は、決定テーブル１０３ａを参照するために、認識した縦方向、横方向、および高さ方向の長さのうち、それぞれの認識スコアに基づいて、一または複数の長さを選択する。
　例えば、認識スコアは、画像認識における認識精度を示すスコアであって、公知の技術により算出される。認識部１０３は、その認識スコアを利用して認識精度が低い認識スコアの画像の長さについては、それを採用しない。これにより、低精度でありつつも、信頼性の高いサイズを求めることができる。例えば、上面画像の認識精度が低く、側面画像の認識精度が高い場合には、側面画像の認識結果を用いる。
　また、本開示の画像認識装置１０において、認識部１０３は、第一の画像（例えば上面画像）および前記第二の画像（例えば側面画像）の少なくとも一方における認識スコアに基づいて、認識対象物を認識する。上述したとおり、認識スコアは、その認識精度を示したものであることから、認識精度の高い認識スコアの画像（第一の画像または第二の画像のどちらかまたはその両方でもよい）に基づいて認識対象物を認識するのがよい。
　例えば、認識部１０３は、認識対象物Ｔの上面画像の認識スコアが低く、信頼性がないと判断しても、側面画像の認識スコアが高い場合には側面画像を利用して認識対象物Ｔのサイズ等を認識することができる。よって、認識対象物Ｔがどのような状態（横になっているなど）であっても、そのサイズを精度よく認識することができる。
　本開示の画像認識装置１０において、反射部であるミラー部１０ａは、少なくとも２つ配置される。ミラー部１０ａは、認識対象物Ｔの近傍に配置されている。近傍とは、例えば、認識対象物Ｔの搬送経路の横である。そして、一対のミラー部１０ａは、認識対象物Ｔの一対の異なる第二の画像（例えば左右の側面画像）を撮影装置１００に向けて反射するよう、配置される。
　認識部１０３は、少なくとも２つのミラー部１０ａのそれぞれの第二の画像（左右の側面画像）の認識スコアに基づいて、いずれか一つの第二の画像（左または右の側面画像）を選択する。そして、認識部１０３は、選択された一の第二の画像（左右のいずれかの側面画像）に基づいて認識対象物Ｔを認識する。
　また、本開示において、認識対象物Ｔは、あらかじめ設置されているコンベア２１に従って搬送されている。撮影装置１００はコンベア２１で搬送される認識対象物Ｔの一撮影面（例えば上面画像）を撮影する位置に配置される。また、ミラー部１０ａは、認識対象物Ｔの他の撮影面（側面画像）を撮影する位置に配置される。
　本開示において、カメラ１０１は、認識対象物Ｔの上面を、ミラー等を介さずに撮影して上面画像を得て、認識対象物Ｔの側面を、ミラー部１０ａで反射させて側面画像を得ているが、これに限るものではない。カメラ１０１を横方向から撮影し、側面画像を直接得て、上面画像をミラー等で反射させて得てもよい。
　また、ミラー部１０ａは、認識対象物Ｔを中心にして対向する位置に複数配置されてもよい。
　対向する位置であるため、互いに真反対の方向から撮影でき、異なる観点からの画像を得ることができる。よって、画像認識する場合に、その精度を向上させることができる。
　なお、本開示においては、認識対象物Ｔのサイズを認識することに着目して説明をしたが、当然にそれに限るものではない。認識対象物Ｔの認識結果として、外観上の微妙の違い（色合い、色艶）、形状、傷などを得るようにしてもよい。商品そのもの、または商品パッケージなどの人工物の場合、外観上の違い、サイズに違いはほとんど無いが、製造工程で傷ができる場合もあり、本開示の画像認識装置１０は、そのような商品等の傷の認識にも適用できる。
　本開示における画像認識装置１０は、以下の構成を有する。
［１］
　認識対象物の一撮影面を撮影する撮影部と、
　前記認識対象物の他の撮影面を前記撮影部に向けて映すように配置される反射部と、
　前記一撮影面における第一の画像、および前記他の撮影面における第二の画像に基づいて、前記認識対象物を認識する認識部と、
を備える画像認識装置。
［２］
　前記認識部は、前記認識対象物のサイズを認識する、
［１］に記載の画像認識装置。
［３］
　前記認識対象物の縦方向、横方向、および高さ方向の少なくとも２つの長さに応じたサイズを規定する決定テーブルをさらに備え、
　前記認識部は、
　前記第一の画像および前記第二の画像に基づいて、前記認識対象物の縦方向、横方向、および高さ方向の長さを認識し、前記決定テーブルを参照して、前記認識対象物のサイズを認識する、
［２］に記載の画像認識装置。
［４］
　前記決定テーブルは、前記認識対象物の種別ごとのサイズを規定しており、
　前記認識部は、
　前記認識対象物の種別を認識し、
　前記種別に応じた決定テーブルを参照して前記認識対象物のサイズを認識する、
［３］に記載の画像認識装置。
［４］
　前記決定テーブルは、
　さらに、縦方向、横方向、および高さ方向のうちの２つの組み合わせを低精度のサイズと規定し、縦方向、横方向、および高さ方向の全ての組み合わせを高精度のサイズと規定し、
　前記認識部は、
　前記認識できた方向の長さに基づいて前記決定テーブルを参照する、
［３］に記載の画像認識装置。
［６］
　前記認識部は、
　前記第一の画像および前記第二の画像の少なくとも一方における認識スコアに基づいて、前記認識対象物を認識する、
［１］～［５］のいずれか一つに記載の画像認識装置。
［７］
　前記反射部は、
　少なくとも２つであって、
　前記認識対象物の近傍に配置されており、
　前記認識対象物の異なる第二の画像を前記撮影部に向けて反射するよう、配置される、
［１］～［６］のいずれか一つに記載の画像認識装置。
［８］
　前記認識部は、
　前記少なくとも２つの反射部のそれぞれの第二の画像の認識スコアに基づいて、いずれか一つの第二の画像を選択し、
　当該選択された一の第二の画像に基づいて前記認識対象物を認識する、
［７］に記載の画像認識装置。
［９］
　前記反射部は、
　前記認識対象物を中心にして対向する位置に配置される、
［８］に記載の画像認識装置。
［１０］
　前記認識対象物は、あらかじめ設置されている搬送路に従って搬送されており、
　前記撮影部は、前記搬送路で搬送される前記認識対象物の一撮影面を撮影する位置に配置され、
　前記反射部は、前記認識対象物の他の撮影面を撮影する位置に配置される、
［１］～［９］のいずれか一つに記載の画像認識装置。
　上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態における画像認識装置１０における撮影装置１００は、本開示の画像認識方法の処理を行うコンピュータとして機能してもよい。図１３は、本開示の一実施の形態に係る撮影装置１００のハードウェア構成の一例を示す図である。上述の撮影装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。撮影装置１００のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　撮影装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２およびストレージ１００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述の認識部１０３などは、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３および通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、認識部１０３は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時または逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る画像認識方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２およびストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワークおよび無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency　Division　Duplex）および時分割複信（ＴＤＤ：Time　Division　Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の通信装置１０４は、通信装置１００４によって実現されてもよい。通信装置１０４は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５および出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、撮影装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink　Control　Information）、ＵＣＩ（Uplink　Control　Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio　Resource　Control）シグナリング、ＭＡＣ（Medium　Access　Control）シグナリング、報知情報（ＭＩＢ（Master　Information　Block）、ＳＩＢ（System　Information　Block）））、その他の信号またはこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC　Connection　Setup）メッセージ、ＲＲＣ接続再構成（RRC　Connection　Reconfiguration）メッセージなどであってもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。
　なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネルおよびシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component　Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）および情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネルおよび情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
　本開示においては、「移動局（ＭＳ：Mobile　Station）」、「ユーザ端末（user　terminal）」、「ユーザ装置（ＵＥ：User　Equipment）」、「端末」などの用語は、互換的に使用され得る。
　移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみが採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」およびそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
１０…画像認識装置、１１…脚部、１１ａ…照明部、１０ｂ…照明部、２０…選別装置、２０ａ…トレイ、２１…コンベア、１００…撮影装置、１０１…カメラ、１０２…測距センサ、１０３…認識部、１０４…通信装置、１０３ａ…決定テーブル。

Claims (10)

  1. 　認識対象物の一撮影面を撮影する撮影部と、
    　前記認識対象物の他の撮影面を前記撮影部に向けて映すように配置される反射部と、
    　前記一撮影面における第一の画像、および前記他の撮影面における第二の画像に基づいて、前記認識対象物を認識する認識部と、
    を備える画像認識装置。
  2. 　前記認識部は、前記認識対象物のサイズを認識する、
    請求項１に記載の画像認識装置。
  3. 　前記認識対象物の縦方向、横方向、および高さ方向の少なくとも２つの長さに応じたサイズを規定する決定テーブルをさらに備え、
    　前記認識部は、
    　前記第一の画像および前記第二の画像に基づいて、前記認識対象物の縦方向、横方向、および高さ方向の長さのいずれか２つを認識し、前記決定テーブルを参照して、前記認識対象物のサイズを認識する、
    請求項２に記載の画像認識装置。
  4. 　前記決定テーブルは、前記認識対象物の種別ごとのサイズを規定しており、
    　前記認識部は、
    　前記認識対象物の種別を認識し、
    　前記種別に応じた決定テーブルを参照して前記認識対象物のサイズを認識する、
    請求項３に記載の画像認識装置。
  5. 　前記決定テーブルは、
    　さらに、縦方向、横方向、および高さ方向のうちの２つの組み合わせを低精度のサイズと規定し、縦方向、横方向、および高さ方向の全ての組み合わせを高精度のサイズと規定し、
    　前記認識部は、
    　前記認識できた方向の長さに基づいて前記決定テーブルを参照する、
    請求項３に記載の画像認識装置。
  6. 　前記認識部は、
    　前記第一の画像および前記第二の画像の少なくとも一方における認識スコアに基づいて、前記認識対象物を認識する、
    請求項１に記載の画像認識装置。
  7. 　前記反射部は、
    　少なくとも２つであって、
    　前記認識対象物の近傍に配置されており、
    　前記認識対象物の異なる第二の画像を前記撮影部に向けて反射するよう、配置される、
    請求項１に記載の画像認識装置。
  8. 　前記認識部は、
    　前記少なくとも２つの反射部のそれぞれの第二の画像の認識スコアに基づいて、いずれか一つの第二の画像を選択し、
    　当該選択された一の第二の画像に基づいて前記認識対象物を認識する、
    請求項７に記載の画像認識装置。
  9. 　前記反射部は、
    　前記認識対象物を中心にして対向する位置に配置される、
    請求項８に記載の画像認識装置。
  10. 　前記認識対象物は、あらかじめ設置されている搬送路に従って搬送されており、
    　前記撮影部は、前記搬送路で搬送される前記認識対象物の一撮影面を撮影する位置に配置され、
    　前記反射部は、前記認識対象物の他の撮影面を撮影する位置に配置される、
    請求項１に記載の画像認識装置。
PCT/JP2023/011915 2022-04-14 2023-03-24 画像認識装置 WO2023199729A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-067037 2022-04-14
JP2022067037 2022-04-14

Publications (1)

Publication Number Publication Date
WO2023199729A1 true WO2023199729A1 (ja) 2023-10-19

Family

ID=88329465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011915 WO2023199729A1 (ja) 2022-04-14 2023-03-24 画像認識装置

Country Status (1)

Country Link
WO (1) WO2023199729A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743779U (ja) * 1994-12-21 1995-09-12 株式会社マキ製作所 物体の外観検査装置
JPH10137695A (ja) * 1996-11-14 1998-05-26 Kubota Corp 選果装置
JP2018205900A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 監視システム及び監視方法
JP2019109577A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2021189143A (ja) * 2020-06-04 2021-12-13 株式会社ミツトヨ 三次元測定機およびデータ処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743779U (ja) * 1994-12-21 1995-09-12 株式会社マキ製作所 物体の外観検査装置
JPH10137695A (ja) * 1996-11-14 1998-05-26 Kubota Corp 選果装置
JP2018205900A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 監視システム及び監視方法
JP2019109577A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2021189143A (ja) * 2020-06-04 2021-12-13 株式会社ミツトヨ 三次元測定機およびデータ処理装置

Similar Documents

Publication Publication Date Title
WO2022166400A1 (zh) 一种处理三维点云的方法、装置、设备以及存储介质
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
EP3295424B1 (en) Systems and methods for reducing a plurality of bounding regions
CN112348777B (zh) 人体目标的检测方法、装置及终端设备
CN110502962B (zh) 视频流中目标的检测方法、装置、设备和介质
US10509934B1 (en) Methods and apparatus for improving QR code locator detectability and/or finding the corners of a locator pattern
CN116368375A (zh) 缺陷检查装置、缺陷检查方法以及制造方法
CN109614994A (zh) 一种瓷砖分类识别方法及装置
WO2022237902A1 (zh) 对象检测方法、装置、设备及计算机存储介质
CN110709853A (zh) 具有范围和光级别检测的图像传感器
US20220198168A1 (en) Optical reading device
US10108779B2 (en) Automatic nuclear segmentation
WO2023199729A1 (ja) 画像認識装置
KR20190050874A (ko) 인식정보를 인식하는 인식시스템, 인식 장치 및 인식 방법.
CN111751279A (zh) 光学取像参数调整方法及感测装置
CN109508572A (zh) 一种物体位姿检测方法、装置、电子设备及存储介质
CN110868531B (zh) 一种触发信号发送的方法和装置
JP2008225668A (ja) 画像処理装置
CN114598399A (zh) 射频信号的覆盖仿真方法、装置、设备及可读存储介质
WO2021007733A1 (zh) 识别操作终端设备的手势的方法和终端设备
US20150077397A1 (en) Optical Touch System and Control Method
KR102570963B1 (ko) 이상 탐지 장치 및 방법
JP7455010B2 (ja) 検知装置及び検知プログラム
US20230245433A1 (en) Systems and Methods for Implementing a Hybrid Machine Vision Model to Optimize Performance of a Machine Vision Job
US20230342896A1 (en) Image acquisition apparatus and image acquisition method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788149

Country of ref document: EP

Kind code of ref document: A1