WO2021172256A1 - ３次元撮影装置および撮影条件調整方法 - Google Patents

３次元撮影装置および撮影条件調整方法 Download PDF

Info

Publication number
WO2021172256A1
WO2021172256A1 PCT/JP2021/006580 JP2021006580W WO2021172256A1 WO 2021172256 A1 WO2021172256 A1 WO 2021172256A1 JP 2021006580 W JP2021006580 W JP 2021006580W WO 2021172256 A1 WO2021172256 A1 WO 2021172256A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance information
dimensional
region
acquired
camera
Prior art date
Application number
PCT/JP2021/006580
Other languages
English (en)
French (fr)
Inventor
順一郎 吉田
象太 滝澤
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to JP2022503595A priority Critical patent/JP7368590B2/ja
Priority to US17/790,970 priority patent/US11943422B2/en
Priority to CN202180016344.XA priority patent/CN115136196A/zh
Priority to DE112021000412.3T priority patent/DE112021000412T5/de
Publication of WO2021172256A1 publication Critical patent/WO2021172256A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This disclosure relates to a three-dimensional imaging device and an imaging condition adjustment method.
  • Patent Document 1 There is known an object extraction device that measures the distance to an object using a three-dimensional imaging device and extracts the object by a robot (see, for example, Patent Document 1).
  • One aspect of the present disclosure is one or more processors including at least one camera that acquires a two-dimensional image of an object and distance information, a monitor that displays the two-dimensional image acquired by the cameras, and hardware.
  • the processor acquires a first region in which the distance information is unnecessary in the two-dimensional image displayed on the monitor, and the amount of the distance information acquired by the camera in the acquired first region. Is equal to or less than a predetermined first threshold value, and the amount of the distance information acquired by the camera in at least a part of the second region other than the first region is larger than the predetermined second threshold value.
  • This is a three-dimensional imaging device that is set to increase the number of imaging conditions.
  • the three-dimensional photographing apparatus 1 is an apparatus for acquiring distance information of an object O taken out by the robot 100, for example.
  • the three-dimensional photographing device 1 includes a three-dimensional camera (camera) 2 that photographs an object O and acquires a two-dimensional image and distance information, and a control device 3 into which the acquired two-dimensional image and distance information are input. I have.
  • reference numeral T is a hand attached to the tip of the wrist 110 of the robot 100 and capable of grasping the object O.
  • the three-dimensional camera 2 has two two-dimensional cameras 4 and 5 arranged at intervals in a direction orthogonal to the optical axis A, and a predetermined pattern with respect to the object O.
  • a projector (illumination device) 6 for irradiating the illumination light of the above and a control unit (processor) 7 are provided.
  • the three-dimensional camera 2 is installed downward above the object O by, for example, a mount (not shown). Alternatively, the three-dimensional camera 2 may be mounted on the wrist 110 of the robot 100.
  • the three-dimensional camera 2 acquires two two-dimensional images obtained by shooting an object O irradiated with a predetermined pattern of illumination light by the projector 6 from different directions by the two two-dimensional cameras 4 and 5.
  • the control unit 7 is composed of a processor, operates the two-dimensional cameras 4 and 5 and the projector 6 in response to a command from the control device 3 side, and from two two-dimensional images acquired by the two-dimensional cameras 4 and 5. Calculate the distance information of the object O.
  • the distance information is calculated by, for example, searching for a small area in which the patterns match in the two two-dimensional images, and obtaining the parallax from the difference in the positions of the searched small areas on the image.
  • the distance information of the object O is calculated by converting the parallax at each position on the image into a distance.
  • the matching score is calculated by the SAD (Sum of Absolute Difference) method, and the matching score is the highest (absolute value of the difference in brightness value in each pixel). Search for a small area (with the smallest sum).
  • the control device 3 includes one or more processors 8 including hardware, a memory 9, a monitor 10, and an input device 11 such as a keyboard or a mouse for allowing a user to input. It is a computer. Any one of the two-dimensional images and the distance information acquired by the three-dimensional camera 2 are input to the control device 3.
  • the processor 8 displays the input two-dimensional image on the monitor 10, and in the displayed two-dimensional image, the first area X that does not need to acquire the distance information and the second area Y that wants to acquire the distance information. Is specified by the input device 11.
  • the first area X and the second area Y are designated, for example, by surrounding the area with a mouse or moving a cursor on the screen with a keyboard.
  • the memory 9 stores one or more adjustable parameters and threshold values as shooting conditions when acquiring distance information.
  • Parameters include the exposure time of the two-dimensional cameras 4 and 5, the amount of light of the projector 6, the matching score calculated in pattern matching, the size of a small area used in pattern matching, and the like.
  • the thresholds are the first threshold Th1 indicating the upper limit of the amount L1 of the distance information acquired in the first region X and the second threshold Th2 indicating the lower limit of the amount L2 of the distance information acquired in the second region Y.
  • the second threshold Th2 is larger than the first threshold Th1.
  • the processor 8 switches the parameters of the shooting conditions stored in the memory 9 and sends a command to the three-dimensional camera 2 to acquire the distance information. Then, in the processor 8, the amount L1 of the distance information acquired in the first region X is equal to or less than the first threshold value Th1, and the amount L2 of the distance information acquired in the second region Y is larger than the second threshold value Th2. Search for shooting conditions.
  • the imaging condition adjusting method using the three-dimensional imaging apparatus 1 according to the present embodiment configured as described above will be described below.
  • the shooting condition adjustment method according to the present embodiment will be described by taking, for example, a case where only the exposure time is adjusted as a parameter of the shooting condition.
  • the object O is placed in the field of view of the two two-dimensional images (step S1), and two-dimensionally by one of the two-dimensional cameras 4 and 5 without operating the projector 6. Acquire an image (step S2).
  • the acquired two-dimensional image of the object O is displayed on the monitor 10 by the processor 8 (step S3), and the user sets the first region X that does not require the distance information and the second region Y that the user wants to acquire the distance information. It becomes a specifiable state. In this state, the user specifies the first region X and the second region Y on the displayed two-dimensional image (step S4).
  • the first region X is the boundary between the two corrugated cardboard boxes which are the objects O.
  • the inside of the rectangle is specified by surrounding the line with a rectangle (indicated by hatching in the figure).
  • the designation of the second region Y specifies the inside of the rectangle by, for example, surrounding the entire region of the upper surface of the two corrugated cardboard boxes which are the objects O arranged adjacent to each other by the rectangle.
  • reference numeral P is a gum tape for packing a cardboard box.
  • the processor 8 When the first region X and the second region Y are specified, the processor 8 initializes the counter n (step S5) and sets the parameter P (n) of the shooting conditions for acquiring the distance information (step S6). ..
  • the two 2D images acquired by the two 2D cameras 4 and 5 are processed by an image processing unit (not shown) of the 3D camera 2. Pattern matching is performed using a small area of the set size, the parallax of the two 2D images is calculated only at the corresponding points that satisfy the set matching score, and the distance information is obtained based on the parallax. (Step S8).
  • the distance information obtained in the first region X and the second region Y is sent to the control device 3, and whether or not the amount L1 of the distance information obtained in the first region X is equal to or less than the first threshold Th1. Is determined (step S9). When the amount L1 of the distance information is larger than the first threshold value Th1, it is determined whether or not the counter n has the maximum value n max (step S10).
  • step S9 when it is determined that the amount L1 of the distance information obtained in the first region X is equal to or less than the first threshold value Th1, the amount L2 of the distance information obtained in the second region Y is the first. It is determined whether or not the threshold value is Th2 or less (step S12). If the amount of distance information L2 is equal to or less than the second threshold value Th2, the process proceeds to step S10.
  • step S12 When the amount L2 of the distance information is larger than the second threshold value Th2 in step S12, it is determined whether or not the amount L2 of the distance information is equal to or less than the maximum value L2 max (step S13), and when the amount L2 is equal to or less than the second threshold value Th2. To step S10.
  • the counter n is saved as the counter max of the parameter P (n) that maximizes the amount L2 of the distance information (step S14).
  • the maximum value L2 max is updated to the value of the amount L2 of the distance information (step S15), and the process proceeds to step S10.
  • step S10 when the counter n has the maximum value n max , P (max) is set as a shooting condition (step S16), and the process ends.
  • the amount L1 of the distance information acquired in the first region X is equal to or less than the first threshold Th1 and the distance information acquired in the second region Y
  • the parameter P (max) at which the amount L2 is maximized can be set as a shooting condition. That is, in the present embodiment, by setting the boundary portion of the two corrugated cardboard boxes that are the objects O as the first region X, the amount L1 of the distance information acquired in the first region X is set to the first threshold Th1 or less. It is possible to set the shooting conditions to be suppressed to. As a result, it can be determined that the object O does not exist at the boundary between the two cardboard boxes, and the robot 100 can individually recognize each cardboard box as a separated object O.
  • the same distance information can be obtained as long as the same type of cardboard box is handled, and the two cardboard boxes arranged in close contact with each other are clearly separated as an object O. It has the advantage of being able to distinguish between.
  • the exposure time is adopted as the shooting condition, but the shooting condition is not limited to this, and other shooting conditions such as the amount of illumination light of the projector and the size of the score used for pattern recognition are used. At least one such as the size of the small area may be adopted.
  • the first region X which does not require distance information
  • the first region X is darker than the other regions, it is possible to make it difficult to obtain the distance information from the first region X by setting the amount of light of the projector 6 to be smaller.
  • halation can be caused by setting the amount of light of the projector 6 to be larger, and it is possible to make it difficult to obtain the distance information from the first region X.
  • the three-dimensional camera 2 includes the control unit (processor) 7 for calculating the distance information
  • the three-dimensional camera 2 outputs two two-dimensional images, and the distance information is obtained by the processor 8 in the control device 3. May be calculated.
  • the second region Y may be set for the entire remaining two-dimensional image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

対象物（Ｏ）の２次元画像および距離情報を取得する少なくとも１つのカメラ（２）と、カメラ（２）により取得された２次元画像を表示するモニタと、ハードウェアを含む１つ以上のプロセッサとを備え、プロセッサが、モニタに表示された２次元画像において距離情報が不要な第１領域を取得し、取得した第１領域においてカメラ（２）により取得される距離情報の量が所定の第１閾値以下となり、かつ、第１領域以外の少なくとも一部の第２領域においてカメラ（２）により取得される距離情報の量が第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する３次元撮影装置（１）である。

Description

３次元撮影装置および撮影条件調整方法
　本開示は、３次元撮影装置および撮影条件調整方法に関するものである。
　３次元撮影装置を用いて対象物までの距離を計測し、ロボットによって対象物を取り出す対象物取出装置が知られている（例えば、特許文献１参照。）。
特開２００８－２４６６３１号公報
　対象物の３次元的な形状を詳細に取得するために、一般には、露光時間あるいは光量等の撮影条件を切り替えて、より多くの距離情報を得ることができる撮影条件に調整することが行われている。この場合には、例えば、密接して配置された同一形状の２以上の段ボール箱のような対象物の場合に、高解像度の３次元カメラを使用しなければ、取得された３次元画像上において対象物の境界を識別することが困難な場合がある。したがって、比較的低解像度のカメラを用いても、簡易な調整によって、対象物の境界などの識別困難な領域をより明確に識別することが望まれている。
　本開示の一態様は、対象物の２次元画像および距離情報を取得する少なくとも１つのカメラと、該カメラにより取得された前記２次元画像を表示するモニタと、ハードウェアを含む１つ以上のプロセッサとを備え、該プロセッサが、前記モニタに表示された前記２次元画像において前記距離情報が不要な第１領域を取得し、取得した前記第１領域において前記カメラにより取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において前記カメラにより取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する３次元撮影装置である。
本開示の一実施形態に係る３次元撮影装置を適用したロボットシステムの一例を示す斜視図である。 図１の３次元撮影装置の３次元カメラを示すブロック図である。 図１の３次元撮影装置の制御装置を説明するブロック図である。 図１の３次元撮影装置を用いた撮影条件調整方法を示すフローチャートである。 図１の３次元撮影装置において、モニタに表示された画像上における第１領域および第２領域の指定の一例を示す図である。
　本開示の一実施形態に係る３次元撮影装置１および撮影条件調整方法について、図面を参照して以下に説明する。
　本実施形態に係る３次元撮影装置１は、図１に示されるように、例えば、ロボット１００により取り出される対象物Ｏの距離情報を取得する装置である。３次元撮影装置１は、対象物Ｏを撮影して２次元画像および距離情報を取得する３次元カメラ（カメラ）２と、取得された２次元画像および距離情報が入力される制御装置３とを備えている。図１において、符号Ｔはロボット１００の手首１１０先端に装着され、対象物Ｏを把持可能なハンドである。
　３次元カメラ２は、例えば、図２に示されるように、光軸Ａに直交する方向に間隔をあけて配置された２つの２次元カメラ４，５と、対象物Ｏに対して所定のパターンの照明光を照射するプロジェクタ（照明装置）６と、制御部（プロセッサ）７とを備えている。３次元カメラ２は、例えば、図示しない架台によって対象物Ｏの上方に下向きに設置されている。これに代えて、３次元カメラ２をロボット１００の手首１１０に搭載してもよい。
　３次元カメラ２は、プロジェクタ６により所定のパターンの照明光が照射させた対象物Ｏを、２つの２次元カメラ４，５によって、異なる方向からそれぞれ撮影した２つの２次元画像を取得する。制御部７はプロセッサにより構成され、制御装置３側からの指令を受けて２次元カメラ４，５およびプロジェクタ６を作動させるとともに、２次元カメラ４，５により取得された２枚の２次元画像から対象物Ｏの距離情報を算出する。
　距離情報の算出方法は、例えば、２つの２次元画像内においてパターンが一致する小領域を探索し、探索された小領域どうしの画像上の位置の差から視差を求めることにより行われる。３次元カメラ２から対象物までの距離が離れるほど視差は小さくなり、近づくほど視差が大きくなる。これを利用して、画像上の各位置における視差を距離に変換することにより、対象物Ｏの距離情報を算出している。
　２つの２次元画像内においてパターンが一致する小領域の探索は、例えば、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）法によりマッチングスコアを算出し、マッチングスコアの最も高い（各画素における輝度値の差の絶対値の総和が最も小さい）小領域を探索する。
　制御装置３は、図３に示されるように、ハードウェアを含む１つ以上のプロセッサ８と、メモリ９と、モニタ１０と、ユーザに入力させるためのキーボードあるいはマウス等の入力装置１１とを備えたコンピュータである。
　制御装置３には３次元カメラ２により取得されたいずれか１つの２次元画像および距離情報が入力される。
　プロセッサ８は、入力されてきた２次元画像をモニタ１０に表示させ、表示された２次元画像において、距離情報を取得する必要がない第１領域Ｘと、距離情報を取得したい第２領域Ｙとを入力装置１１によって指定させる。第１領域Ｘおよび第２領域Ｙの指定は、例えば、マウスによって領域を取り囲んだり、キーボードによって画面上のカーソルを移動させたりして行われる。
　メモリ９には、距離情報を取得する際の撮影条件として、調整可能な１以上のパラメータおよび閾値が記憶されている。パラメータとしては、２次元カメラ４，５の露光時間、プロジェクタ６の光量、パターンマッチングにおいて算出されるマッチングスコア、パターンマッチングにおいて使用される小領域の大きさ等を挙げることができる。
　閾値は、第１領域Ｘにおいて取得される距離情報の量Ｌ１の上限を示す第１閾値Ｔｈ１と、第２領域Ｙにおいて取得される距離情報の量Ｌ２の下限を示す第２閾値Ｔｈ２である。第２閾値Ｔｈ２は、第１閾値Ｔｈ１よりも大きい。
　プロセッサ８は、メモリ９に記憶されている撮影条件のパラメータを切り替えて３次元カメラ２に指令を送り、距離情報を取得させる。そして、プロセッサ８は、第１領域Ｘにおいて取得される距離情報の量Ｌ１が第１閾値Ｔｈ１以下となり、かつ、第２領域Ｙにおいて取得される距離情報の量Ｌ２が第２閾値Ｔｈ２よりも多くなる撮影条件を探索する。
　このように構成された本実施形態に係る３次元撮影装置１を用いた撮影条件調整方法について以下に説明する。
　本実施形態に係る撮影条件調整方法は、撮影条件のパラメータとして、例えば、露光時間のみを調整する場合を例に挙げて説明する。
　まず、図４に示されるように、２つの２次元画像の視野内に対象物Ｏを配置し（ステップＳ１）、プロジェクタ６を作動させることなく、いずれかの２次元カメラ４，５によって２次元画像を取得する（ステップＳ２）。
　取得された対象物Ｏの２次元画像は、プロセッサ８によって、モニタ１０に表示され（ステップＳ３）、ユーザが、距離情報を必要としない第１領域Ｘおよび距離情報を取得したい第２領域Ｙを指定可能な状態となる。
　この状態で、ユーザが表示された２次元画像上において、第１領域Ｘおよび第２領域Ｙを指定する（ステップＳ４）。
　図５に示されるように、対象物Ｏが、隣接して配置されている２つの同一形状の段ボール箱である場合には、第１領域Ｘは、対象物Ｏである２つの段ボール箱の境界線を矩形（図中ハッチングによって示す。）によって取り囲むことにより、矩形の内側を指定する。また、第２領域Ｙの指定は、例えば、隣接して配置されている対象物Ｏである２つの段ボール箱の上面の全体領域を矩形によって取り囲むことにより、矩形の内側を指定する。図中、符号Ｐは段ボール箱を梱包するガムテープである。
　第１領域Ｘおよび第２領域Ｙが指定されると、プロセッサ８はカウンタｎを初期化し（ステップＳ５）、距離情報を取得するための撮影条件のパラメータＰ（ｎ）を設定する（ステップＳ６）。ここで、パラメータＰ（ｎ）は、ｎ＝１から順にｎが１つ増加するに従って所定間隔Δｔずつ増大する露光時間である。
　そして、プロセッサ８は、設定された撮影条件に３次元カメラ２を調整した状態で、視差を有する２枚の２次元画像を取得させる（ステップＳ７）。
　２つの２次元カメラ４，５により取得された２枚の２次元画像は３次元カメラ２の図示しない画像処理部において処理される。設定された大きさの小領域を用いてパターンマッチングが行われ、設定されたマッチングスコアを満たす対応点においてのみ、２枚の２次元画像の視差が算出され、視差に基づいて距離情報が得られる（ステップＳ８）。
　そして、第１領域Ｘおよび第２領域Ｙ内で得られた距離情報が制御装置３に送られ、第１領域Ｘにおいて得られた距離情報の量Ｌ１が第１閾値Ｔｈ１以下であるか否かが判定される（ステップＳ９）。距離情報の量Ｌ１が第１閾値Ｔｈ１よりも多い場合には、カウンタｎが最大値ｎｍａｘであるか否かが判定される（ステップＳ１０）。
　カウンタｎが最大値ｎｍａｘではない場合には、カウンタｎがインクリメントされ（ステップＳ１１）、ステップＳ６からの工程が繰り返される。ステップＳ９において、第１領域Ｘ内で得られた距離情報の量Ｌ１が第１閾値Ｔｈ１以下であると判定された場合には、第２領域Ｙ内で得られた距離情報の量Ｌ２が第２閾値Ｔｈ２以下であるか否かが判定される（ステップＳ１２）。距離情報の量Ｌ２が第２閾値Ｔｈ２以下である場合には、ステップＳ１０に進行する。
　ステップＳ１２において距離情報の量Ｌ２が第２閾値Ｔｈ２よりも多い場合には、距離情報の量Ｌ２が最大値Ｌ２ｍａｘ以下か否かが判定され（ステップＳ１３）、第２閾値Ｔｈ２以下である場合にはステップＳ１０に進行する。距離情報の量Ｌ２が最大値Ｌ２ｍａｘよりも大きい場合には、カウンタｎが距離情報の量Ｌ２を最大にするパラメータＰ（ｎ）のカウンタｍａｘとして保存される（ステップＳ１４）。そして、最大値Ｌ２ｍａｘが距離情報の量Ｌ２の値に更新され（ステップＳ１５）、ステップＳ１０に進行する。
　ステップＳ１０において、カウンタｎが最大値ｎｍａｘである場合には、Ｐ（ｍａｘ）を撮影条件として設定し（ステップＳ１６）、処理を終了する。
　このように、本実施形態に係る撮影条件調整方法によれば、第１領域Ｘにおいて取得される距離情報の量Ｌ１が第１閾値Ｔｈ１以下となり、かつ第２領域Ｙにおいて取得される距離情報の量Ｌ２が最大となるパラメータＰ（ｍａｘ）を撮影条件として設定できる。すなわち、本実施形態においては、対象物Ｏである２つの段ボール箱の境界部分を第１領域Ｘとして設定することにより、第１領域Ｘにおいて取得される距離情報の量Ｌ１を第１閾値Ｔｈ１以下に抑える撮影条件を設定することができる。その結果、２つの段ボール箱の境界には対象物Ｏが存在しない領域であると認定することができ、ロボット１００に、各段ボール箱を個別に、分離した対象物Ｏとして認識させることができる。
　そして、撮影条件が一旦設定された後には、同一種類の段ボール箱を扱う限り、同様の距離情報を取得することができ、密着して配置された２つの段ボール箱を分離した対象物Ｏとして明確に区別することができるという利点がある。
　なお、本実施形態においては、撮影条件として、露光時間を採用したが、これに限定されるものではなく、他の撮影条件、例えば、プロジェクタの照明光量、パターン認識に使用するスコアの大きさ、小領域のサイズなどの少なくとも１つを採用してもよい。
　距離情報が不要な第１領域Ｘが他の領域よりも暗い場合に、プロジェクタ６の光量をより小さく設定することにより、第１領域Ｘからの距離情報を得にくくすることができる。第１領域Ｘが他の領域よりも明るい場合には、プロジェクタ６の光量をさらに大きく設定することによりハレーションを起こさせて第１領域Ｘからの距離情報を得にくくすることができる。
　パターン認識に使用するスコア（評価基準）を厳しく（より小さな値に）設定することにより、２つの２次元画像の第１領域Ｘ間における対応位置の発見を困難にして、第１領域Ｘからの距離情報を得にくくすることができる。
　また、小領域のサイズを小さくすると形状変化が大きい箇所や細かな形状でも対応位置の発見を容易にし、小領域のサイズを大きくすると形状変化が大きい箇所や細かな形状では対応位置の発見が困難になる一方で、平面部分での誤対応を少なくすることができる。
　また、３次元カメラ２が距離情報を算出する制御部（プロセッサ）７を備える場合を例示したが、３次元カメラ２は２つの２次元画像を出力し、制御装置３内のプロセッサ８によって距離情報を算出してもよい。
　また、モニタ１０に表示された２次元画像において、距離情報が不要な第１領域Ｘと距離情報を必要とする第２領域Ｙとを指定することとしたが、第１領域Ｘのみを指定し、第２領域Ｙについては残りの２次元画像全体に設定してもよい。
　１　３次元撮影装置
　４，５　２次元カメラ（カメラ）
　６　プロジェクタ（照明装置）
　７　制御部（プロセッサ）
　８　プロセッサ
　１０　モニタ
　Ａ　光軸
　Ｏ　対象物
　Ｘ　第１領域
　Ｙ　第２領域
　Ｔｈ１　第１閾値
　Ｔｈ２　第２閾値

Claims (14)

  1. 　対象物の２次元画像および距離情報を取得する少なくとも１つのカメラと、
    　該カメラにより取得された前記２次元画像を表示するモニタと、
    　ハードウェアを含む１つ以上のプロセッサとを備え、
    　該プロセッサが、
    　前記モニタに表示された前記２次元画像において前記距離情報が不要な第１領域を取得し、
    　取得した前記第１領域において前記カメラにより取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において前記カメラにより取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する３次元撮影装置。
  2. 　前記プロセッサが、前記モニタに表示された前記２次元画像において前記距離情報を必要とする前記第２領域を取得する請求項１に記載の３次元撮影装置。
  3. 　前記撮影条件が、前記カメラの露光時間を含む請求項１または請求項２に記載の３次元撮影装置。
  4. 　前記対象物を照明する照明装置を備え、
    　前記撮影条件が、前記照明装置による照明光量を含む請求項１から請求項３のいずれかに記載の３次元撮影装置。
  5. 　前記カメラが光軸に交差する方向に間隔をあけて２つ備えられ、
    　前記プロセッサが、２つの前記カメラにより取得された２つの前記２次元画像内の小領域のマッチングにより２つの前記２次元画像の各部における視差を算出して、算出された該視差に基づいて前記距離情報を算出する請求項１から請求項４のいずれかに記載の３次元撮影装置。
  6. 　前記撮影条件が、前記マッチングの評価基準を含む請求項５に記載の３次元撮影装置。
  7. 　前記撮影条件が、前記小領域の大きさを含む請求項５または請求項６に記載の３次元撮影装置。
  8. 　対象物の２次元画像および距離情報を取得する少なくとも１つのカメラにより取得された前記２次元画像において、前記距離情報が不要な第１領域を指定し、
    　指定された前記第１領域において取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する撮影条件調整方法。
  9. 　モニタに表示された前記２次元画像において前記距離情報を必要とする前記第２領域を指定する請求項８に記載の撮影条件調整方法。
  10. 　前記撮影条件が、前記カメラの露光時間を含む請求項８または請求項９に記載の撮影条件調整方法。
  11. 　前記撮影条件が、前記対象物を照明する照明光量を含む請求項８から請求項１０のいずれかに記載の撮影条件調整方法。
  12. 　光軸に交差する方向に間隔をあけて備えられた２つの前記カメラにより取得された前記対象物の２つの前記２次元画像において、該２次元画像内の小領域のマッチングにより２つの前記２次元画像の各部における視差を算出し、算出された該視差に基づいて前記距離情報を算出する請求項８から請求項１１のいずれかに記載の撮影条件調整方法。
  13. 　前記撮影条件が、前記マッチングの評価基準を含む請求項１２に記載の撮影条件調整方法。
  14. 　前記撮影条件が、前記小領域の大きさを含む請求項１２または請求項１３に記載の撮影条件調整方法。
PCT/JP2021/006580 2020-02-27 2021-02-22 ３次元撮影装置および撮影条件調整方法 WO2021172256A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022503595A JP7368590B2 (ja) 2020-02-27 2021-02-22 ３次元撮影装置および撮影条件調整方法
US17/790,970 US11943422B2 (en) 2020-02-27 2021-02-22 Three-dimensional image-capturing device and image-capturing condition adjusting method
CN202180016344.XA CN115136196A (zh) 2020-02-27 2021-02-22 三维拍摄装置以及拍摄条件调整方法
DE112021000412.3T DE112021000412T5 (de) 2020-02-27 2021-02-22 3d-bildaufnahmevorrichtung und bildaufnahmebedingungseinstellungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020031614 2020-02-27
JP2020-031614 2020-02-27

Publications (1)

Publication Number Publication Date
WO2021172256A1 true WO2021172256A1 (ja) 2021-09-02

Family

ID=77490997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006580 WO2021172256A1 (ja) 2020-02-27 2021-02-22 ３次元撮影装置および撮影条件調整方法

Country Status (5)

Country Link
US (1) US11943422B2 (ja)
JP (1) JP7368590B2 (ja)
CN (1) CN115136196A (ja)
DE (1) DE112021000412T5 (ja)
WO (1) WO2021172256A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009210520A (ja) * 2008-03-06 2009-09-17 Sharp Corp 距離測定装置および距離測定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309439B2 (ja) 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
JP5538179B2 (ja) 2010-10-25 2014-07-02 アズビル株式会社 画像処理装置及び画像処理方法
US10789773B2 (en) * 2016-03-04 2020-09-29 TIREAUDIT.COM, Inc. Mesh registration system and method for diagnosing tread wear
WO2018200923A1 (en) * 2017-04-27 2018-11-01 Curadel, LLC Range-finding in optical imaging
JP6919987B2 (ja) 2017-07-31 2021-08-18 株式会社キーエンス 画像処理装置
JP7343328B2 (ja) * 2019-08-02 2023-09-12 ファナック株式会社 ワイヤ放電加工機および制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004245701A (ja) * 2003-02-14 2004-09-02 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2009210520A (ja) * 2008-03-06 2009-09-17 Sharp Corp 距離測定装置および距離測定方法

Also Published As

Publication number Publication date
JP7368590B2 (ja) 2023-10-24
US11943422B2 (en) 2024-03-26
US20230040615A1 (en) 2023-02-09
CN115136196A (zh) 2022-09-30
JPWO2021172256A1 (ja) 2021-09-02
DE112021000412T5 (de) 2022-11-03

Similar Documents

Publication Publication Date Title
JP3064928B2 (ja) 被写体抽出方式
WO2017023210A1 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
KR102219624B1 (ko) 가상 광선 추적 방법 및 라이트 필드 동적 리포커싱 디스플레이 시스템
KR20150050450A (ko) 장면의 깊이 맵을 생성하기 위한 방법 및 장치
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
US20160125585A1 (en) Camera system and image registration method thereof
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2016170610A (ja) 三次元モデル処理装置およびカメラ校正システム
KR100726933B1 (ko) 고정된 양안 카메라의 자동 주시각 제어를 위한 영상신호처리 방법
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
JP4193342B2 (ja) ３次元データ生成装置
WO2021172256A1 (ja) ３次元撮影装置および撮影条件調整方法
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
Audet et al. Shadow removal in front projection environments using object tracking
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
WO2018229812A1 (ja) 三次元計測装置、および方法
JP2019185178A (ja) 情報処理装置、情報処理方法及びプログラム
JP2010238134A (ja) 画像処理装置及びプログラム
JP7028814B2 (ja) 外形認識装置、外形認識システム及び外形認識方法
JPH09231370A (ja) 画像情報入力装置
JP2019207464A (ja) 位相差検出器及び画像処理装置、並びにプログラム
JP2007094536A (ja) 対象物追跡装置及び対象物追跡方法
JP2013148467A (ja) 計測装置、方法及びプログラム
JP2580516B2 (ja) 実時間３次元運動測定装置およびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503595

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21761132

Country of ref document: EP

Kind code of ref document: A1