WO2025126325A1 - 学習装置、画像収集装置、及び制御装置 - Google Patents

学習装置、画像収集装置、及び制御装置 Download PDF

Info

Publication number
WO2025126325A1
WO2025126325A1 PCT/JP2023/044460 JP2023044460W WO2025126325A1 WO 2025126325 A1 WO2025126325 A1 WO 2025126325A1 JP 2023044460 W JP2023044460 W JP 2023044460W WO 2025126325 A1 WO2025126325 A1 WO 2025126325A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
unit
teacher
teacher images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/044460
Other languages
English (en)
French (fr)
Inventor
航太 井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to PCT/JP2023/044460 priority Critical patent/WO2025126325A1/ja
Priority to TW113145033A priority patent/TW202524412A/zh
Publication of WO2025126325A1 publication Critical patent/WO2025126325A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This disclosure relates to a learning device, an image collection device, and a control device.
  • a technique for detecting boxes is one important technique that can improve work efficiency.
  • One technique for detecting boxes is to apply threshold processing to an image captured by a camera to detect the box area.
  • this technique may not be able to detect the box area because the background color of the box is similar to the color of the box, the boxes are close to each other, or tape or the like is attached to the surface of the box.
  • a technique that uses learning is known as a technique that can handle such cases (for example, Patent Document 1).
  • a learning model is trained so that a box area can be detected from an image using a teacher image captured in advance. By inputting a captured image to a trained model that has completed learning, the box area contained in the captured image can be detected.
  • the detection accuracy of the trained model varies greatly depending on the number and quality of the teacher images.
  • Camera 4 is connected to the learning device 2 via a cable so that data communication is possible. Camera 4 is fixed in a position overlooking the stacked boxes W, and sets imaging conditions such as focus, aperture value, and focal length in accordance with control signals from the learning device to capture images of the boxes W. The captured image by camera 4 is input to the learning device 2 as a teacher image. Camera 4 may also be attached to the hand of a robot positioned close to the stacked boxes W.
  • FIG. 3 is a functional block diagram of the learning device 2.
  • the learning device 2 When the learning program loaded from the storage device 14 to the RAM 12 is executed by the processor 11, the learning device 2 functions as a transmission unit 21, an operation information input unit 22, a teacher image input unit 23, a storage unit 24, a screen creation unit 25, an imaging condition setting unit 26, a camera control unit 27, a learning condition setting unit 28, and a learning unit 29.
  • the memory unit 24 stores various information related to the processing of the learning program. Specifically, the memory unit 24 stores data of teacher images captured by the camera 4, data of trained models trained by the learning unit 29, a teacher image management table that manages information related to the teacher images, and a trained model management table that manages information related to the trained models. Details of these management tables will be described later.
  • the learning unit 29 learns a learning model for detecting a box area from an image using a plurality of teacher images that satisfy the learning conditions set by the learning condition setting unit 28. For example, the learning unit 29 learns a learning model by machine learning using teacher images and box areas in the teacher images as teacher data. As a result, when an image captured by the camera 4 is input, a learned model that detects a box area contained in the image is created.
  • the learned model created by the learning unit 29 is stored in the memory unit 24, and the learning conditions of the learned model stored in the memory unit 24 are registered in a learned model management table. Note that this does not deny the learning model being trained using all teacher images, and if the learning condition is all teacher images, the learning unit 29 creates a trained model trained using all teacher images.
  • FIG. 4 shows an example of a teacher image management table stored in the memory unit 24.
  • "file name,” "object information,” “layout information,” and “imaging conditions” are associated with an "image number” that uniquely identifies a teacher image.
  • the object information, layout information, and imaging conditions are information used as learning conditions for extracting a teacher image to be used for learning from multiple teacher images.
  • Object information is information about the object being imaged.
  • object information includes information about the type of object, such as a box or pallet, detailed information about the object, such as the object's shape, dimensions, color, and material, and supplementary information such as whether a label, tape, or the like is attached to the object's surface.
  • Layout information indicates the layout in which the image was captured.
  • layout information includes imaging distance, stacking information, and environmental information.
  • Imaging distance indicates the physical distance from camera 4 to the target object.
  • Stacking information indicates how the boxes W were stacked.
  • stacking information includes 3 rows and 3 columns, 4 rows and 4 columns, etc. 3 rows and 3 columns indicates that one row is made up of 3 boxes vertically and 3 boxes horizontally, for a total of 9 boxes W.
  • Environmental information indicates the surrounding environment at the time of capturing the image.
  • the imaging conditions represent the optical setting conditions of the camera 4 when capturing an image.
  • the imaging conditions include the focus (defocus amount), aperture value, and focal length.
  • FIG. 5 shows an example of the trained model management table stored in the memory unit 24.
  • a "model name” and a "learning condition” are associated with a "model number” that uniquely identifies a trained model.
  • the model name indicates the name of the trained model.
  • the learning condition is a condition used to narrow down the teacher images used for training the trained model.
  • the learning condition includes "object condition”, "layout condition”, and "imaging condition range”.
  • the layout conditions are conditions for narrowing down the teacher images to be learned by the layout information.
  • the layout conditions include imaging distance conditions, stacking conditions, and environmental conditions, and the imaging distance conditions indicate the range of imaging distance.
  • the stacking conditions are selected from the stacking information managed in the teacher image management table.
  • the environmental conditions are selected from the environmental information managed in the teacher image management table. For example, the layout conditions narrow down the teacher images to be learned to those associated with the imaging distance condition "200 cm to 300 cm", the stacking conditions "3 rows and 3 columns” and “4 rows and 4 columns”, and the environmental conditions "lighting color 'white', floor color 'green'".
  • the imaging condition range is a number of imaging conditions for narrowing down the teacher images to be learned.
  • the imaging condition range includes a focus range, an aperture range, and a focal length range.
  • the imaging condition range narrows down the teacher images to be learned to teacher images associated with a focus range (defocus amount range) of "0.0 mm to 0.2 mm,” an aperture range of "f1.4 to f2.8,” and a focal length range of "10 mm to 35 mm.”
  • FIG. 6 is a flowchart showing an example of the procedure of the image collection process by the learning device 2.
  • the learning device 2 sets the object information and layout information input from the information processing terminal (S11).
  • the learning device 2 sets the number of teacher images to be captured and the imaging conditions of each teacher image to be captured based on the image collection conditions input from the information processing terminal (S12).
  • the learning device 2 selects one of the imaging conditions (focus, aperture value, focal length) from the set imaging conditions (S13), and transmits a control signal to the camera 4 instructing the start of imaging together with the selected imaging condition (S14).
  • FIG. 7 is a flowchart showing an example of the procedure of the learning process by the learning device 2.
  • the learning device 2 sets learning conditions input from an information processing terminal (S21), and selects a teacher image that satisfies the learning conditions from a plurality of teacher images (S22).
  • the learning device 2 learns a learning model using the selected teacher image (S23), stores the learned model (S24), and registers the learning conditions of the learned model in the learned model management table (S25).
  • the learning device 2 can create a learned model using a plurality of teacher images including a teacher image that is in focus on the box W and a teacher image that is not in focus on the box W.
  • the learning device 2 of the first embodiment described with reference to Figures 1 to 7 it is possible to collect multiple teacher images including teacher images that are in focus on the box W and teacher images that are out of focus on the box W, and it is possible to create a trained model that detects box areas from an image using multiple teacher images including teacher images that are in focus on the box W and teacher images that are out of focus on the box W.
  • the trained model that is trained intentionally using teacher images that are out of focus on the box W provides the following effects.
  • the distance of the camera 4 to the box W to be removed changes, and the camera 4 may not be in focus on the box W to be removed.
  • the focus on the box W may begin to shift as the number of layers decreases, and the camera 4 may not be in focus on the box W stacked in the first layer.
  • a trained model can be created by training using teacher images narrowed down based on the training conditions (object conditions, layout conditions, imaging condition range) from a plurality of teacher images.
  • a trained model trained using teacher images narrowed down under layout conditions close to the actual layout or imaging conditions close to the imaging conditions actually used can reduce the time required for training while maintaining the detection accuracy of the box region, compared to a trained model trained using all teacher images.
  • teacher images captured under a layout significantly different from the actual layout or imaging conditions significantly different from the imaging conditions actually used may become noise, reducing the detection accuracy of the box region.
  • a trained model trained using teacher images narrowed down under layout conditions close to the actual layout or imaging conditions close to the imaging conditions actually used can improve the detection accuracy of the box region, compared to a trained model trained using all teacher images.
  • control device will be described below with reference to Figures 8 to 11. Note that components having the same functions as those in the first embodiment are given the same reference numerals, and detailed descriptions thereof will be omitted.
  • the control device (hereinafter simply referred to as the learning device) according to the second embodiment is an information processing device having a control function that detects a box area from an image captured by a camera using a trained model that has been machine-learned using multiple teacher images as teacher data, and controls a robot based on the detection results.
  • One feature of the control device is that, in the process of causing the robot to perform a box removal operation, it detects a box area from an image using a trained model that has been trained using multiple teacher images that include both teacher images in focus on the box and teacher images that are not in focus on the box.
  • the robot 8 is connected to the control device 7 via a cable so that data communication is possible.
  • the robot 8 is placed in close proximity to the stacked boxes W, and performs the operation of picking up the boxes W according to control signals from the control device 7.
  • the three-dimensional sensor 9 is connected to the control device 7 via a cable so that data can be communicated.
  • the three-dimensional sensor 9 is fixed in a position overlooking the stacked boxes W, and transmits data regarding the distance to the surface of the box W to be removed to the control device 7 in accordance with a control signal from the control device 7.
  • control device 7 is configured by connecting a RAM 12, a ROM 13, a storage device 14, a camera I/F 15, a communication device 16, a robot I/F 17, and a sensor I/F 18 to a processor 11 via a data/control bus 10.
  • a control program for realizing a function of controlling a robot 8 is stored in the storage device 14.
  • Various data such as the control program stored in the storage device 14 may be recorded on a removable medium (non-transient storage medium) such as a USB and distributed to a user, or may be distributed by being downloaded to the control device 7 via the network 3.
  • the robot 8 is connected to the robot I/F 17.
  • the robot 8 operates under the control of the processor 11.
  • the three-dimensional sensor 9 is connected to the sensor I/F 18.
  • the three-dimensional sensor 9 measures the distance from a predetermined reference position of the three-dimensional sensor 9 to a box W (measurement target) under the control of the processor 11.
  • FIG. 10 is a functional block diagram of the control device 7.
  • the control device 7 When the control program loaded from the storage device 14 to the RAM 12 is executed by the processor 11, the control device 7 functions as a transmission unit 71, an operation information input unit 72, a captured image input unit 73, a distance input unit 74, a storage unit 75, a screen creation unit 76, an imaging condition setting unit 77, a camera control unit 78, a trained model setting unit 79, a box detection unit 80, a three-dimensional sensor control unit 81, and a robot control unit 82.
  • the transmission unit 71 transmits data of various screens related to the control program created by the screen creation unit 76 to the information processing terminal 5.
  • the operation information input unit 72 inputs user operations via the information processing terminal 5. Specifically, the operation information input unit 72 inputs the setting conditions of the trained model, the image capture conditions, and an operation start instruction.
  • the captured image input unit 73 inputs the data of the captured image captured by the camera 4.
  • the distance input unit 74 inputs the data related to the distance to the box W to be removed measured by the three-dimensional sensor 9.
  • the memory unit 75 stores various information related to the processing of the control program. Specifically, the memory unit 75 stores data of multiple trained models in which at least some of the teacher images used for training are different, and a trained model management table that manages information related to the trained models.
  • the trained model management table is the same as that in the first embodiment, and therefore will not be described.
  • the screen creation unit 76 creates various screens related to the control program according to a predetermined format.
  • the various screens include an imaging condition setting screen, a learned model setting screen, an instruction screen for instructing the start of the removal work, and the like.
  • the imaging condition setting unit 77 sets the imaging conditions input via the operation information input unit 72.
  • the imaging conditions include focus, aperture value, and focal length.
  • the camera control unit 78 controls the camera 4 to acquire an image under the imaging conditions set by the imaging condition setting unit 77.
  • the trained model setting unit 79 selects one trained model from the multiple trained models based on the trained model setting conditions input via the operation information input unit 72, and sets the selected trained model for the box detection unit 80.
  • the trained model setting unit 79 may also narrow down the multiple trained models based on the trained model setting conditions, and set the trained model selected by the user from the narrowed down at least two trained models for the box detection unit 80.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る学習装置（２）は、撮像部（４）により撮像された対象物（Ｗ）の領域が含まれる複数の教師画像を記憶する記憶部と、複数の教師画像を用いて、画像から対象物の領域を検出するための学習モデルを学習する学習部とを具備する。前記学習モデルの学習に用いられる複数の教師画像には、対象物（Ｗ）に対してピントが合った画像と、対象物（Ｗ）に対してピントが合っていない画像とが含まれる。

Description

学習装置、画像収集装置、及び制御装置
　本開示は、学習装置、画像収集装置、及び制御装置に関する。
　段積された箱をロボットで１つずつ取り出す作業(デパレタイジング)において、箱を検出する技術は作業効率を向上させ得る重要な技術の１つである。箱を検出する技術として、カメラにより撮影された撮像画像に対して閾値処理を施すことにより、箱の領域を検出する技術がある。しかしながら、この技術では、箱の背景色が箱の色に似ている、箱同士が密接している、箱表面にテープなどが貼付されているなどの理由により、箱領域を検出できない場合がある。このような場合にも対応可能な技術として学習を用いる技術が知られている（例えば、特許文献１）。例えば、教師画像有りの機械学習では、事前に撮像した教師画像を用いて、画像から箱領域を検出できるように学習モデルが学習される。学習が完了した学習済モデルに対して撮像画像を入力することで、撮像画像に含まれる箱領域を検出することができる。このような教師画像を用いた機械学習では、教師画像の数、質によって、学習済モデルによる検出精度が大きく変わる。
特開平１１―２７２８４５号公報
　機械学習を利用した、撮像画像から対象物領域を検出する精度を向上する技術の提供が望まれている。
　本開示に係る学習装置は、撮像部により撮像された対象物の領域が含まれる複数の教師画像を記憶する記憶部と、複数の教師画像を用いて、画像から対象物の領域を検出するための学習モデルを学習する学習部とを具備する学習モデルの学習に用いられる複数の教師画像には、対象物に対してピントが合っていない画像が含まれる。
図１は、第１実施形態に係る学習装置を含む学習システムを示す図である。 図２は、図１の学習装置のハードウェア構成図である。 図３は、図１の学習装置の機能構成図である。 図４は、図３の記憶部に記憶されている教師画像管理テーブルの一例を示す図である。 図５は、図３の記憶部に記憶されている学習済モデル管理テーブルの一例を示す図である。 図６は、図１の学習装置による画像収集処理の手順の一例を示すフローチャートである。 図７は、図１の学習装置による学習処理の手順の一例を示すフローチャートである。 図８は、第２実施形態に係る制御装置を含むロボットシステムを示す図である。 図９は、図８の制御装置のハードウェア構成図である。 図１０は、図８の制御装置の機能構成図である。 図１１は、図８の制御装置によるロボット制御手順の一例を示すフローチャートである。
　図面を参照しながら本発明の実施形態を説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
　以下、図１乃至図７を参照して、第１実施形態に係る学習装置を説明する。第１実施形態に係る学習装置（以下、単に学習装置と称する）は、カメラを制御することにより複数の教師画像を収集する画像収集機能と、複数の教師画像を用いて、画像から箱領域を検出するための学習モデルを学習する学習機能を有する情報処理装置である。学習装置の１つの特徴は、箱に対してピントが合っている教師画像だけではなく、箱に対してピントを合っていない教師画像も収集し、学習モデルの学習に用いることにある。
　本実施形態において、用語を以下のように定義する。　
　箱：箱は対象物の一例である。対象物は箱に限定されることはなく、画像検出により検出対象の任意の物とすることができる。　
　カメラ：撮像部の一例である。第１実施形態では、カメラは、ピント、焦点距離、絞り値を外部から入力された制御信号に基づいて変更可能な装置であるものとする。
　ピント：「ピントが合っている」とは、画像において箱が鮮明に表れていることを意味し、「ピントが合っていない」とは、画像において箱が鮮明ではなく、ぼやけていることを意味する。光学的には、「ピントが合っている」とは、箱の結像位置から撮像位置までの距離（デフォーカス量）が０であること又は近いことを意味し、「ピントが合っていない」とは、箱の結像位置から撮像位置までの距離が遠いことを意味する。したがって、ピントの変更は、箱の結像位置から撮像位置までの距離を変更することにより実現できる。例えば、撮像位置を光軸方向に沿って移動させることで、ピントを変更することができる。なお、ピントが合っている範囲は適宜定義すればよい。例えば、デフォーカス量が０、つまり結像位置に撮像位置が一致していることを「ピントが合っている」としてもよいし、デフォーカス量が予め決めた距離未満であることを「ピントが合っている」としてもよい。
　図１は、第１実施形態に係る学習装置を含む学習システムの構成を示す図である。図１に示すように、学習システム１は、システムの中枢として機能する学習装置２に対してカメラ４と、情報処理端末５とが接続されて構成される。
　学習装置２は、カメラ４により撮像された複数の教師画像を用いて、画像から箱領域を検出するための学習モデルを学習する学習機能と、複数の教師画像を収集するためにカメラ４を制御する画像収集機能との両方の機能を有するコンピュータ装置であり、ＰＣ等により実現される。なお、学習機能と画像収集機能との両方の機能を有する情報処理装置とカメラとを含めて学習装置という概念であってもよい。
　カメラ４は、学習装置２に対してケーブルを介してデータ通信可能に接続されている。カメラ４は、段積された箱Ｗを俯瞰する位置に固定され、学習装置からの制御信号に従って、ピント、絞り値、焦点距離などの撮像条件を設定し、箱Ｗを撮像する。カメラ４により撮像された撮像画像は、教師画像として学習装置２に入力される。なお、カメラ４は、段積された箱Ｗに近接した位置に配置されたロボットの手先に装備されてもよい。
　情報処理端末５は、学習装置２に対してインターネット等のネットワーク３を介してデータ通信可能に接続されている。情報処理端末５は、学習装置２にユーザ操作を入力するための入力装置として機能する端末であり、スマートフォン、タブレット等により実現される。
　なお、教師画像を収集する工程と、学習モデルを学習する工程とは、それぞれ独立した工程であることから、必ずしも１つのシステムで実現されなくてもよい。例えば、画像収集機能だけを有する画像収集装置２´と学習機能だけを有する学習装置２とがそれぞれ独立した装置で構成されてもよい。
　また、情報処理端末５が有する学習装置２にユーザ操作を入力するための機能は、学習装置２に実装されてもよい。すなわち、学習装置２は、ユーザ操作を受け付けるために必要な機能として、学習装置２により作成された画面を表示する表示装置と、表示装置に表示された画面に対するユーザ操作を受け付けるための操作装置と、を有してもよい。
　図２は、第１実施形態に係る学習装置２のハードウェア構成図である。図２に示すように、学習装置２は、プロセッサ１１に対してデータ／制御バス１０を介して、ＲＡＭ１２、ＲＯＭ１３、記憶装置１４、カメラＩ／Ｆ１５、及び通信装置１６が接続されて構成される。プロセッサ１１は、ＣＰＵ、ＧＰＵなどにより実現される。ＲＡＭ１２は、プロセッサ１１の主メモリ、ワークエリア等として機能する。ＲＯＭ１３には、ＢＩＯＳ，ＯＳなどが記憶されている。記憶装置１４には、学習プログラムが記憶されている。記憶装置１４に記憶されている学習プログラムなどの各種データは、ＵＳＢなどのリムーバブルメディア（非一時的な記憶媒体）に記録されてユーザに配布されてもよいし、ネットワーク３を介して学習装置２にダウンロードされることにより配布されてもよい。カメラＩ／Ｆ１５にはカメラ４が接続される。カメラ４はプロセッサ１１の制御に従って、撮像条件を設定し、撮像処理を実行する。通信装置１６は、任意の通信規格に準拠した通信モジュールにより実現され、プロセッサ１１の制御に従って、情報処理端末５との間でデータを送受信する。
　図３は、学習装置２の機能構成図である。記憶装置１４からＲＡＭ１２にロードされた学習プログラムがプロセッサ１１により実行されることで、学習装置２は、送信部２１、操作情報入力部２２、教師画像入力部２３、記憶部２４、画面作成部２５、撮像条件設定部２６、カメラ制御部２７、学習条件設定部２８、学習部２９として機能する。
　送信部２１は、画面作成部２５により作成された学習プログラムに係る各種画面のデータを情報処理端末に送信する。操作情報入力部２２は、情報処理端末を介したユーザ操作を入力する。具体的には、操作情報入力部２２の機能により、対象物情報、レイアウト情報、画像収集条件、学習条件、撮像開始指示などが入力される。教師画像入力部２３は、カメラ４により撮像された教師画像のデータを入力する。入力された教師画像のデータは記憶部２４に記憶される。また、記憶部２４に記憶された教師画像に関する対象物情報、レイアウト情報、撮像条件は記憶部２４に記憶されている教師画像管理テーブルに登録される。
　記憶部２４は、学習プログラムの処理に係る各種情報を記憶する。具体的には、記憶部２４は、カメラ４により撮像された教師画像のデータ、学習部２９により学習された学習済モデルのデータ、教師画像に関する情報を管理する教師画像管理テーブル、学習済モデルに関する情報を管理する学習済モデル管理テーブルを記憶する。これら管理テーブルの詳細は後述する。
　画面作成部２５は、予め決められたフォーマットに従って、学習プログラムに係る各種画面を作成する。各種画面は、対象物情報及びレイアウト情報を入力するための入力画面、画像収集条件の設定画面、学習条件の設定画面、撮像開始を指示するための指示画面などを含む。
　撮像条件設定部２６は、操作情報入力部２２を介して入力された画像収集条件に基づいて撮像予定の教師画像の枚数、撮像予定の教師画像各々の撮像条件を設定する。画像収集条件は、ピントの設定範囲及び設定ピッチ、絞り値の設定範囲及び設定ピッチ、焦点距離の設定範囲及び設定ピッチを含む。撮像条件設定部２６は、画像収集条件に基づいて、ピント、絞り値、及び焦点距離のうち少なくとも１つが異なる複数の撮像条件を設定する。例えば、撮像条件設定部２６は、画像収集条件に基づいて、３パターンのピント、２パターンの絞り値、４パターンの焦点距離を設定したとき、これらのパターンの総当たり数である２４が撮像予定の教師画像の枚数に設定され、２４パターンの撮像条件が設定される。
　カメラ制御部２７は、操作情報入力部２２を介して撮像開始指示が入力されたことを契機に、撮像条件設定部２６により設定された撮像条件で教師画像を取得するためにカメラ４を制御する。
　学習条件設定部２８は、操作情報入力部２２を介して入力された学習条件を設定する。学習条件は、記憶部２４に記憶されている複数の教師画像から学習モデルの学習に用いる教師画像を絞り込むための条件である。学習条件は、対象物条件、レイアウト条件、撮像条件範囲（撮像条件セット）を含む。学習条件の詳細は後述する。
　学習部２９は、学習条件設定部２８により設定された学習条件を満たす複数の教師画像を用いて、画像から箱領域を検出するための学習モデルを学習する。例えば、学習部２９は、教師画像と、教師画像内の箱領域とを教師データとして、機械学習により学習モデルを学習する。それにより、カメラ４により撮像された画像が入力されたときに、当該画像に含まれる箱領域を検出する学習済モデルが作成される。学習部２９により作成された学習済モデルは記憶部２４に記憶され、記憶部２４に記憶された学習済モデルの学習条件は、学習済モデル管理テーブルに登録される。なお、全ての教師画像を用いて学習モデルを学習させることを否定するものではなく、学習条件が全ての教師画像であれば、学習部２９は、全ての教師画像を用いて学習させた学習済モデルを作成する。
　以下、図４を参照して、記憶部２４に記憶されている教師画像管理テーブルを説明する。図４は、記憶部２４に記憶されている教師画像管理テーブルの一例を示している。図４に示すように、教師画像管理テーブルでは、教師画像を一意に識別する「画像Ｎｏ」に対して、「ファイル名称」、「対象物情報」、「レイアウト情報」、「撮像条件」が関連付けられている。対象物情報、レイアウト情報、撮像条件は、複数の教師画像から学習に用いる教師画像を抽出するための学習条件に利用される情報である。
　対象物情報は、撮像対象に関する情報である。例えば、対象物情報は、箱、パレットなどの対象物の種類に関する情報と、対象物の形状、寸法、色、素材などの対象物の詳細情報、対象物の表面にラベル、テープなどが貼付されているなどの補足情報を含む。
　レイアウト情報は、どのようなレイアウトで撮像したかを表す。例えば、レイアウト情報は、撮像距離、段積情報、及び環境情報を含む。撮像距離は、カメラ４から対象物までの物理的な距離を表す。段積情報は、箱Ｗがどのように積まれていたかを表す。例えば、段積情報は、３行３列、４行４列などを含む。３行３列は、縦方向に３つ、横方向に３つ、合計９つの箱Ｗで１段が構成されていることを表す。環境情報は、撮像時の周囲環境を表す。例えば、環境情報は、照明の色、カメラ４の画角に含まれる箱Ｗの背景の色（箱Ｗが段積されている床面の色）、カメラ４の画角内への構造物及び構造物の影の映り込みの有無などの教師画像から対象物領域の検出に影響を及ぼす可能性のある情報を含む。
　撮像条件は、撮像時のカメラ４の光学的な設定条件を表す。例えば、撮像条件は、ピント（デフォーカス量）、絞り値、焦点距離を含む。
　以下、図５を参照して、記憶部２４に記憶されている学習済モデル管理テーブルを説明する。図５は、記憶部２４に記憶されている学習済モデル管理テーブルの一例を示している。図５に示すように、学習済モデル管理テーブルでは、学習済モデルを一意に識別する「モデルＮｏ」に対して、「モデル名称」と「学習条件」とが関連付けられている。モデル名称は、学習済モデルの名称を表す。学習条件は、学習済モデルの学習に用いる教師画像の絞り込みに用いた条件である。学習条件は、「対象物条件」、「レイアウト条件」、「撮像条件範囲」を含む。
　対象物条件は、学習対象の教師画像を対象物情報で絞り込むための条件である。対象物条件は、教師画像管理テーブルで管理されている対象物情報の中から決められる。例えば、対象物条件により、学習対象の教師画像が、対象物の種類「箱」、形状「四角」が関連付けられた教師画像に絞り込まれる。
　レイアウト条件は、学習対象の教師画像をレイアウト情報で絞り込むための条件である。レイアウト条件は、撮像距離条件、段積条件、及び環境条件を含み、撮像距離条件は、撮像距離の範囲を表す。段積条件は、教師画像管理テーブルで管理されている段積情報の中から選択される。環境条件は、教師画像管理テーブルで管理されている環境情報の中から選択される。例えば、レイアウト条件により、学習対象の教師画像が、撮像距離条件「２００ｃｍ～３００ｃｍ」、段積条件「３行３列」、「４行４列」、環境条件「照明の色「白色」、床面の色「緑」」が関連付けられた教師画像に絞り込まれる。
　撮像条件範囲は、学習対象の教師画像を絞り込むための複数の撮像条件である。撮像条件範囲は、ピント範囲、絞り値範囲、焦点距離範囲を含む。例えば、撮像条件範囲により、学習対象の教師画像が、ピント範囲（デフォーカス量の範囲）「０．０ｍｍ～０．２ｍｍ」、絞り値範囲「ｆ１．４～ｆ２．８」、焦点距離範囲「１０ｍｍ～３５ｍｍ」が関連付けられた教師画像に絞り込まれる。
　以下、図６を参照して、学習装置２による画像収集処理の手順を説明する。図６は、学習装置２による画像収集処理の手順の一例を示すフローチャートである。図６に示すように、まず、学習装置２は、情報処理端末から入力された対象物情報、レイアウト情報を設定する（Ｓ１１）。次に、学習装置２は、情報処理端末から入力された画像収集条件に基づいて、撮像予定の教師画像の枚数、撮像予定の教師画像各々の撮像条件を設定する（Ｓ１２）。情報処理端末から撮像開始指示が入力されたことを契機に、学習装置２は、設定した撮像条件のうち一の撮像条件（ピント、絞り値、焦点距離）を選択し（Ｓ１３）、選択した撮像条件とともに撮像開始を指示する制御信号をカメラ４に送信する（Ｓ１４）。工程Ｓ１４の処理により、カメラ４は、工程Ｓ１３で選択された撮像条件を設定し、撮像処理を実行する。学習装置２は、工程Ｓ１３で設定された撮像条件下で撮像された教師画像のデータをカメラ４から受信し（Ｓ１５）、記憶するとともに（Ｓ１６）、記憶した教師画像に対して画像Ｎｏを割り当て、対象物情報、レイアウト情報、及び撮像条件を教師画像管理テーブルに登録する（Ｓ１７）。工程Ｓ１３乃至工程Ｓ１７の処理は、撮像予定の全ての教師画像の撮像が完了されるまで、繰り返し実行され（Ｓ１８；Ｎｏ）、撮像予定の全ての教師画像の撮像が完了したことを契機に、画像収集処理が終了される（Ｓ１８；Ｙｅｓ）。工程Ｓ１１乃至工程Ｓ１８に係る画像収集処理によれば、学習装置２は、入力された画像収集条件に基づいてカメラ４を制御することによって、箱Ｗに対してピントが合った教師画像と、箱Ｗに対してピントが合っていない教師画像と、を含む複数の教師画像を取得することができる。
　以下、図７を参照して、学習装置２による学習処理の手順を説明する。図７は、学習装置２による学習処理の手順の一例を示すフローチャートである。図７に示すように、まず、学習装置２は、情報処理端末から入力された学習条件を設定し（Ｓ２１）、複数の教師画像から学習条件を満たす教師画像を選択する（Ｓ２２）。次に、学習装置２は、選択した教師画像を用いて学習モデルを学習し（Ｓ２３），学習済モデルを記憶するとともに（Ｓ２４）、学習済モデルの学習条件を学習済モデル管理テーブルに登録する（Ｓ２５）。工程Ｓ２１乃至工程Ｓ２５に係る学習処理によれば、学習装置２は、箱Ｗに対してピントが合った教師画像と、箱Ｗに対してピントが合っていない教師画像とを含む複数の教師画像を用いた学習済モデルを作成することができる。
　図１乃至図７を参照して説明した第１実施形態に係る学習装置２によれば、箱Ｗに対してピントが合っている教師画像と箱Ｗに対してピントが合っていない教師画像とを含む複数の教師画像を収集することができ、また、箱Ｗに対してピントが合っている教師画像と箱Ｗに対してピントが合っていない教師画像とを含む複数の教師画像を用いて、画像から箱領域を検出する学習済モデルを作成することができる。箱Ｗに対してピントが合っていない教師画像を意図的に用いて学習させた学習済モデルによれば、以下のような効果を奏する。
　すなわち、段積された箱Ｗをロボットで取り出すシステムでは、箱Ｗの取り出し作業が進み、段積された箱Ｗが少なくなると、取り出し対象の箱Ｗに対するカメラ４の距離が変化してしまい、取り出し対象の箱Ｗに対してカメラ４のピントが合わない可能性がある。具体的には、例えば、９段に段積された箱Ｗの取り出し作業において、９段目に積まれた箱Ｗに対してピントを合わせていた場合、段数が少なくなるにつれて箱Ｗに対するピントがずれ始め、１段目に積まれた箱Ｗに対してピントが合わない可能性がある。このような場合、意図的にピントが合っていない教師画像も用いて学習させた学習済モデルを使用することで、ピントが合っている教師画像だけを用いて学習させた学習済モデルを使用した場合に比べて、箱Ｗに対してピントが合っていない撮像画像からも箱領域を検出できる可能性を向上させることができる。換言すると、箱Ｗに対してピントが合っていない撮像画像から箱領域を検出する精度を向上させることができる。
　また、第１実施形態に係る学習装置２によれば、複数の教師画像から学習条件（対象物条件、レイアウト条件、撮像条件範囲）に基づいて絞り込んだ教師画像を用いて学習させた学習済モデルを作成することができる。例えば、実際のレイアウトに近いレイアウト条件や実際に使用する撮像条件に近い撮像条件で絞り込んだ教師画像を用いて学習させた学習済モデルによれば、全ての教師画像を用いて学習させた学習済モデルに比べて、箱領域の検出精度を維持しながら、学習に係る時間を短縮することができる。また、実際のレイアウトとは大きく異なるレイアウトで撮像された教師画像や実際に使用する撮像条件とは大きく異なる撮像条件で撮像された教師画像はノイズとなってしまい、箱領域の検出精度を低下させてしまう場合がある。このような場合においては、実際のレイアウトに近いレイアウト条件や実際に使用する撮像条件に近い撮像条件で絞り込んだ教師画像を用いて学習させた学習済モデルによれば、全ての教師画像を用いて学習させた学習済モデルに比べて、箱領域の検出精度を向上させ得る。
　以下、図８乃至図１１を参照して、第２実施形態に係る制御装置を説明する。なお、第１実施形態と同様の機能を有する構成については、同一の符号を付し、その詳細説明は省略する。
　第２実施形態に係る制御装置（以下、単に学習装置と称する）は、複数の教師画像を教師データとして機械学習された学習済モデルを用いて、カメラにより撮像された画像から箱領域を検出して、検出結果に基づいて、ロボットを制御する制御機能を有する情報処理装置である。制御装置の１つの特徴は、箱の取り出し動作をロボットに実行させる過程において、箱に対してピントが合っている教師画像と箱に対してピントが合っていない教師画像との両方を含む複数の教師画像を用いて学習した学習済モデルを用いて、画像から箱領域を検出することにある。
　図８は、第２実施形態に係る制御装置を含むロボットシステムの構成を示す図である。図８に示すように、ロボットシステム６は、システムの中枢として機能する制御装置７に対して、カメラ４と、情報処理端末５と、ロボット８と、３次元センサ９とが接続されて構成される。
　ロボット８は、制御装置７に対してケーブルを介してデータ通信可能に接続されている。ロボット８は、段積された箱Ｗに対して近接した位置に配置され、制御装置７からの制御信号に従って、箱Ｗの取り出し動作を実行する。
　３次元センサ９は、制御装置７に対してケーブルを介してデータ通信可能に接続されている。３次元センサ９は、段積された箱Ｗを俯瞰する位置に固定され、制御装置７からの制御信号に従って、取り出し対象の箱Ｗの表面までの距離に関するデータを制御装置７に送信する。
　図９は、第２実施形態に係る制御装置７のハードウェア構成図である。図９に示すように、制御装置７は、プロセッサ１１に対してデータ／制御バス１０を介して、ＲＡＭ１２、ＲＯＭ１３、記憶装置１４、カメラＩ／Ｆ１５、通信装置１６、ロボットＩ／Ｆ１７及びセンサＩ／Ｆ１８が接続されて構成される。記憶装置１４には、ロボット８を制御する機能を実現するための制御プログラムが記憶されている。記憶装置１４に記憶されている制御プログラムなどの各種データは、ＵＳＢなどのリムーバブルメディア（非一時的な記憶媒体）に記録されてユーザに配布されてもよいし、ネットワーク３を介して制御装置７にダウンロードされることにより配布されてもよい。ロボットＩ／Ｆ１７にはロボット８が接続される。ロボット８はプロセッサ１１の制御に従って動作する。センサＩ／Ｆ１８には３次元センサ９が接続される。３次元センサ９はプロセッサ１１の制御に従って、３次元センサ９の所定の基準位置から箱Ｗ（計測対象）までの距離を計測する。
　図１０は、制御装置７の機能構成図である。記憶装置１４からＲＡＭ１２にロードされた制御プログラムがプロセッサ１１により実行されることで、制御装置７は、送信部７１、操作情報入力部７２、撮像画像入力部７３、距離入力部７４、記憶部７５、画面作成部７６、撮像条件設定部７７、カメラ制御部７８、学習済モデル設定部７９、箱検出部８０、３次元センサ制御部８１、ロボット制御部８２として機能する。
　送信部７１は、画面作成部７６により作成された制御プログラムに係る各種画面のデータを情報処理端末５に送信する。操作情報入力部７２は、情報処理端末５を介したユーザ操作を入力する。具体的には、操作情報入力部７２の機能により、学習済モデルの設定条件、撮像条件、動作開始指示などが入力される。撮像画像入力部７３は、カメラ４により撮像された撮像画像のデータを入力する。距離入力部７４は、３次元センサ９により計測された取り出し対象の箱Ｗまでの距離に関するデータを入力する。記憶部７５は、制御プログラムの処理に係る各種情報を記憶する。具体的には、記憶部７５は、学習に用いた教師画像の少なくとも一部が異なる複数の学習済モデルのデータ、学習済モデルに関する情報を管理する学習済モデル管理テーブルを記憶する。学習済モデル管理テーブルは、第１実施形態のものと同様のものであるため、説明は省略する。
　画面作成部７６は、予め決められたフォーマットに従って、制御プログラムに係る各種画面を作成する。各種画面は、撮像条件の設定画面、学習済モデルの設定画面、取り出し作業の開始を指示するための指示画面などを含む。撮像条件設定部７７は、操作情報入力部７２を介して入力された撮像条件を設定する。撮像条件は、ピント、絞り値、及び焦点距離を含む。カメラ制御部７８は、操作情報入力部７２を介して作業開始指示が入力されたことを契機に、撮像条件設定部７７により設定された撮像条件で画像を取得するためにカメラ４を制御する。
　学習済モデル設定部７９は、操作情報入力部７２を介して入力された学習済モデルの設定条件に基づいて、複数の学習済モデルから一の学習済モデルを選択し、選択した学習済モデルを箱検出部８０に対して設定する。なお、学習済モデル設定部７９は、学習済モデル設定条件に基づいて、複数の学習済モデルを絞り込み、絞り込んだ少なくとも二の学習済モデルからユーザにより選択された学習済モデルを箱検出部８０に対して設定してもよい。
　箱検出部８０は、学習済モデル設定部７９により設定された学習済モデルを用いて、カメラ４により撮像された画像から箱領域を認識し、認識した箱領域の位置を検出する。箱検出部８０は、検出した箱Ｗを取り出し対象に設定する。３次元センサ制御部８１は、３次元センサ９から取り出し対象の箱Ｗまでの距離を取得させるために、３次元センサ９を制御する。ロボット制御部８２は、箱検出部８０により検出された箱領域の位置と、３次元センサ９により検出された距離とに基づいて、取り出し対象の箱Ｗを取り出させるためにロボット８を制御する。
　以下、図１１を参照して、ロボット８に対して箱Ｗの取り出し動作を実行させるための制御装置７によるロボット制御処理の手順を説明する。図１１は、制御装置７によるロボット制御手順の一例を示すフローチャートである。
　図１１に示すように、まず、制御装置７は、情報処理端末５から入力された学習済モデルの設定条件（対象物情報、レイアウト情報、撮像条件）を受け付け（Ｓ３１）、受け付けた設定条件に基づいて、複数の学習済モデルから一の学習済モデルを設定する（Ｓ３２）。次に、制御装置７は、情報処理端末５から作業開始指示が入力されたことを契機に、情報処理端末５から入力された撮像条件とともに撮像指示をカメラ４に送信する（Ｓ３３）。工程Ｓ３３の処理により、ユーザにより設定された撮像条件がカメラ４に設定され、撮像処理が実行される。制御装置７は、カメラ４から撮像画像のデータを受信し（Ｓ３４）、学習済モデルを用いて撮像画像から箱領域の検出処理を実行する（Ｓ３５）。箱領域を検出できなかったが（Ｓ３６；Ｎｏ）、段積された箱Ｗが残されているとき（Ｓ４１；Ｙｅｓ）、制御装置７は、学習済モデルを変更した上で（Ｓ４２）、工程Ｓ３３の処理を戻し、変更した学習済モデルを用いて再び箱Ｗの検出処理を実行する。段積された箱Ｗが残されているか否かは、カメラ４により撮像された撮像画像、３次元センサ９による３次元計測結果などに基づいて判定することができる。一方、箱領域を検出できたとき（Ｓ３６；Ｙｅｓ）、３次元センサ９から取り出し対象の箱Ｗまでの距離の計測指示を３次元センサ９に送信する（Ｓ３７）。工程３７の処理により、制御装置７には、３次元センサ９から取り出し対象の箱Ｗまでの距離が入力される。制御装置７は、工程Ｓ３５で検出した箱領域の位置と、工程Ｓ３７の処理により取得した３次元センサ９から取り出し対象の箱Ｗまでの距離とに基づいて、取り出し対象の箱Ｗを取り出すために動作指示をロボット８に送信する（Ｓ３８）。工程Ｓ３８の処理により、ロボット８により取り出し対象の箱Ｗが取り出される。制御装置７は、工程Ｓ３７と工程Ｓ３８との処理を、工程Ｓ３５で検出した全ての箱Ｗを取り出すまで繰り返し実行する（Ｓ３９；Ｎｏ）。制御装置７は、段積された全ての箱Ｗの取り出しが完了するまで（Ｓ４０；Ｙｅｓ）、工程Ｓ３３乃至工程Ｓ３９の処理を繰り返し実行し、段積された全ての箱Ｗの取り出しが完了したことを契機に、ロボット８の制御を終了する（Ｓ４０；Ｎｏ）。
　以上説明した第２実施形態に係る制御装置７によれば、ユーザ指示に従って学習済モデルを初期設定し、初期設定した学習済モデルを用いて箱Ｗの検出処理を実行し、検出した箱Ｗを取り出すためにロボット８を制御することができる。学習済モデルは、箱Ｗに対してピントが合っている教師画像と箱Ｗに対してピントが合っていない教師画像とを含む複数の教師画像を用いて学習させたものである。第１実施形態でも説明したように、ピントが合っていない教師画像も用いて学習させた学習済モデルによれば、ピントが合っていない撮像画像からも箱領域を検出することができることから、実際の作業において検出対象の箱Ｗに対してピントが合っていない状態の画像が撮像されてしまった場合であっても、ピントが合っている教師画像だけを用いて学習させた学習済モデルに比べて、箱Ｗにピントが合っていない撮像画像から箱Ｗを検出する精度を向上させることができる。それにより、ロボット８による箱Ｗの取り出し作業において、箱Ｗが検出できないことからロボット８を停止させてしまう事態の発生を抑制することができる。
　また、第２実施形態に係る制御装置７によれば、学習済モデルを用いて箱Ｗを検出できなかった場合に、予め保存されている複数の学習済モデルを切り替えながら、箱Ｗの検出処理を繰り返し実行することができる。予め保存されている複数の学習済モデルも、箱Ｗにピントが合っていない教師画像も用いて学習させたものであり、学習条件が互いに相違することから、学習済モデルを切り替えることで箱Ｗを検出することができる可能性を向上させることができる。
　なお、本実施形態では、カメラ４は、ピント、焦点距離、絞り値などの撮像条件を外部から入力された制御信号に基づいて、カメラ４の内部の処理によって自動的に変更可能な装置であるものとして説明したが、カメラ４のピント、焦点距離、絞り値などの撮像条件は、作業者がカメラ４を手動で操作して設定してもよい。この場合、図６を参照して説明した画像収集処理の手順において、工程Ｓ１４に替わって、学習装置２は、次に収集する教師画像の撮像条件（ピント、絞り値、焦点距離）を表示すればよい。
　また、本実施形態では、カメラ４のピント、焦点距離、絞り値をそれぞれ変化させるものとして説明したが、少なくともピントを変更可能であればよく、カメラ４も少なくともピントを調整できるものであればよい。
　本実施形態および変形例に関し、更に以下の付記を開示する。　
　（付記１）　
　学習装置２は、撮像部４により撮像された対象物の領域が含まれる複数の教師画像を記憶する記憶部２４と、複数の教師画像を用いて、画像から対象物の領域を検出するための学習モデルを学習する学習部２９とを具備する。複数の教師画像には、対象物に対してピントが合っていない画像が含まれる。　
　（付記２）　
　付記１に記載の学習装置２において、複数の教師画像は、撮像部４の焦点距離が異なる少なくとも２つの教師画像を含む。　
　（付記３）　
　付記１又は付記２に記載の学習装置２において、複数の教師画像は、撮像部４の絞り値が異なる少なくとも２つの教師画像を含む。　
　（付記４）　
　付記１乃至３のいずれかに記載の学習装置２において、複数の教師画像は、撮像部４から対象物までの物理的な距離が異なる少なくとも２つの教師画像を含む。　
　（付記５）　
　付記１乃至４のいずれかに記載の学習装置２は、撮像部４から対象物までの物理的な距離、撮像部４のピント、撮像部４の絞り値、撮像部４の焦点距離のうち少なくとも一つを含む学習条件を入力する入力部２２をさらに具備する。学習部２９は、複数の教師画像のうち、学習条件を満たす教師画像を用いて学習モデルを学習する。　
　（付記６）　
　画像収集装置２´は、対象物を撮像して、画像から対象物の領域を検出するための学習モデルの学習に用いる複数の教師画像を取得する撮像部４と、複数の教師画像を収集するために、撮像部を制御する制御部２７とを具備する。制御部２７は、対象物に対してピントが合っている教師画像を取得させるとともに、対象物に対してピントが合っていない教師画像を取得させるために、撮像部４を制御する。　
　（付記７）　
　付記６に記載の画像収集装置２´において、制御部２７は、撮像部４の焦点距離が異なる少なくとも２つの教師画像を取得させるために、撮像部４を制御する。　
　（付記８）　
　付記７記載の画像収集装置２´において、制御部２７は、撮像部４の絞り値が異なる少なくとも２つの教師画像を取得させるために、撮像部４を制御する。　
　（付記９）　
　制御装置７は、対象物を撮像する撮像部４と、対象物に対してピントが合っている画像と対象物に対してピントが合っていない画像とを含む複数の教師画像を教師データとして機械学習された学習済モデルを用いて、撮像部４により撮像された画像から対象物の領域を検出する検出部８０と、検出部８０により検出された対象物の領域の位置に基づいて、ロボット８を制御する制御部８２と、を具備する。
　本開示の実施形態について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、発明の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本発明の思想および趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。
　１…学習システム、２…学習装置、２´…画像収集装置、３…ネットワーク、４…カメラ、５…情報処理端末、６…ロボットシステム、７…制御装置、８…ロボット、９…３次元センサ、１０…データ／制御バス、１１…プロセッサ、１２…ＲＡＭ、１３…ＲＯＭ、１４…記憶装置、１５…カメラＩ／Ｆ、１６…通信装置、１７…ロボットＩ／Ｆ、１８…センサＩ／Ｆ、２１…送信部、２２…操作情報入力部、２３…教師画像入力部、２４…記憶部、２５…画面作成部、２６…撮像条件設定部、２７…カメラ制御部、２８…学習条件設定部、２９…学習部、７１…送信部、７２…操作情報入力部、７３…撮像画像入力部、７４…距離入力部、７５…記憶部、７６…画面作成部、７７…撮像条件設定部、７８…カメラ制御部、７９…学習済モデル設定部、８０…箱検出部、８１…３次元センサ制御部、８２…ロボット制御部。

Claims (9)

  1. 　撮像部により撮像された対象物の領域が含まれる複数の教師画像を記憶する記憶部と、
    　前記複数の教師画像を用いて、画像から前記対象物の領域を検出するための学習モデルを学習する学習部とを具備し、
    　前記複数の教師画像には、前記対象物に対してピントが合っていない画像が含まれる、
    　学習装置。
  2. 　前記複数の教師画像は、前記撮像部の焦点距離が異なる少なくとも２つの教師画像を含む、
    　請求項１記載の学習装置。
  3. 　前記複数の教師画像は、前記撮像部の絞り値が異なる少なくとも２つの教師画像を含む、
    　請求項１又は請求項２記載の学習装置。
  4. 　前記複数の教師画像は、前記撮像部から前記対象物までの物理的な距離が異なる少なくとも２つの教師画像を含む、
    　請求項１乃至３のいずれか一項記載の学習装置。
  5. 　前記撮像部から前記対象物までの物理的な距離、前記撮像部のピント、前記撮像部の絞り値、前記撮像部の焦点距離のうち少なくとも一つを含む学習条件を入力する入力部をさらに具備し、
    　前記学習部は、前記複数の教師画像のうち、前記学習条件を満たす教師画像を用いて前記学習モデルを学習する、
    　請求項１乃至４のいずれか一項記載の学習装置。
  6. 　対象物を撮像して、画像から前記対象物の領域を検出するための学習モデルの学習に用いる複数の教師画像を取得する撮像部と、
    　前記複数の教師画像を収集するために、前記撮像部を制御する制御部とを具備し、
    　前記制御部は、前記対象物に対してピントが合っている教師画像を取得させるとともに、前記対象物に対してピントが合っていない教師画像を取得させるために、前記撮像部を制御する、画像収集装置。
  7. 　前記制御部は、前記撮像部の焦点距離が異なる少なくとも２つの教師画像を取得させるために、前記撮像部を制御する、
    　請求項６記載の画像収集装置。
  8. 　前記制御部は、前記撮像部の絞り値が異なる少なくとも２つの教師画像を取得させるために、前記撮像部を制御する、
    　請求項６又は請求項７記載の画像収集装置。
  9. 　対象物を撮像する撮像部と、
    　前記対象物に対してピントが合っている画像と前記対象物に対してピントが合っていない画像とを含む複数の教師画像を教師データとして機械学習された学習済モデルを用いて、前記撮像部により撮像された画像から前記対象物の領域を検出する検出部と、
    　前記検出部により検出された前記対象物の領域の位置に基づいて、ロボットを制御する制御部と、
    　を具備する制御装置。
PCT/JP2023/044460 2023-12-12 2023-12-12 学習装置、画像収集装置、及び制御装置 Pending WO2025126325A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/044460 WO2025126325A1 (ja) 2023-12-12 2023-12-12 学習装置、画像収集装置、及び制御装置
TW113145033A TW202524412A (zh) 2023-12-12 2024-11-22 學習裝置、畫像收集裝置及控制裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/044460 WO2025126325A1 (ja) 2023-12-12 2023-12-12 学習装置、画像収集装置、及び制御装置

Publications (1)

Publication Number Publication Date
WO2025126325A1 true WO2025126325A1 (ja) 2025-06-19

Family

ID=96056759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/044460 Pending WO2025126325A1 (ja) 2023-12-12 2023-12-12 学習装置、画像収集装置、及び制御装置

Country Status (2)

Country Link
TW (1) TW202524412A (ja)
WO (1) WO2025126325A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272845A (ja) * 1998-03-23 1999-10-08 Denso Corp 画像認識装置
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法
JP2020027982A (ja) * 2018-08-09 2020-02-20 オリンパス株式会社 教師データ作成装置、教師データ作成方法、教師データ作成プログラム、学習装置及び撮像装置
JP2022126423A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 撮像装置、画像処理装置、画像処理装置の制御方法、撮像装置の制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272845A (ja) * 1998-03-23 1999-10-08 Denso Corp 画像認識装置
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法
JP2020027982A (ja) * 2018-08-09 2020-02-20 オリンパス株式会社 教師データ作成装置、教師データ作成方法、教師データ作成プログラム、学習装置及び撮像装置
JP2022126423A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 撮像装置、画像処理装置、画像処理装置の制御方法、撮像装置の制御方法及びプログラム

Also Published As

Publication number Publication date
TW202524412A (zh) 2025-06-16

Similar Documents

Publication Publication Date Title
CN114026596B (zh) 用于评估激光切割边缘的方法、移动终端设备和系统
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP2025108771A (ja) 遊戯用代用貨幣の枚数計測システム
TWI821330B (zh) 半導體檢測中之多模式缺陷分類
CN108106603A (zh) 具有多级扩展景深图像处理的可变焦距透镜系统
CN112714886B (zh) 显微镜系统、投影单元以及图像投影方法
JP6765791B2 (ja) パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
KR20070106428A (ko) 기록 매체의 검증 장치 및 검증 방법
JP6943412B2 (ja) 基板検査装置
CN103685837B (zh) 图像处理装置及图像处理方法
JP2020067308A (ja) 画像処理方法および画像処理装置
WO2025126325A1 (ja) 学習装置、画像収集装置、及び制御装置
CN111815720B (zh) 图像处理方法、装置、可读存储介质及电子设备
JP5251841B2 (ja) 画像処理装置および画像処理プログラム
KR102284095B1 (ko) 외관 검사 관리 시스템, 외관 검사 관리 장치, 외관 검사 관리 방법 및 프로그램
TWI893356B (zh) 複檢影像處理方法與複檢系統
US12487440B2 (en) Microscope system, superimposing unit, and operation method
JP3488762B2 (ja) 画像処理装置及び画像処理方法
US8704890B2 (en) Inspection apparatus and measuring method
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019204185A (ja) 画像処理装置、ロボット、及び、ロボットシステム
KR100556013B1 (ko) 미소 치수 측정 장치
CN105717789A (zh) 用于显微镜的控制系统和用于控制显微镜的方法
CN104427248A (zh) 摄像装置及其控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23961392

Country of ref document: EP

Kind code of ref document: A1