JP6548076B2 - Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program - Google Patents

Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program Download PDF

Info

Publication number
JP6548076B2
JP6548076B2 JP2015140571A JP2015140571A JP6548076B2 JP 6548076 B2 JP6548076 B2 JP 6548076B2 JP 2015140571 A JP2015140571 A JP 2015140571A JP 2015140571 A JP2015140571 A JP 2015140571A JP 6548076 B2 JP6548076 B2 JP 6548076B2
Authority
JP
Japan
Prior art keywords
pattern image
image
imaging
pattern
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015140571A
Other languages
Japanese (ja)
Other versions
JP2017020971A (en
Inventor
健司 永島
健司 永島
大内田 茂
茂 大内田
洋義 関口
洋義 関口
栄太 渡邊
栄太 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015140571A priority Critical patent/JP6548076B2/en
Publication of JP2017020971A publication Critical patent/JP2017020971A/en
Application granted granted Critical
Publication of JP6548076B2 publication Critical patent/JP6548076B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、パターン画像投射装置、視差情報生成装置、パターン画像生成プログラムに関するものである。   The present invention relates to a pattern image projection device, a parallax information generation device, and a pattern image generation program.

従来、撮像領域内の対象物を異なる視点から複数の撮像手段により撮像して当該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射するパターン画像投射装置が知られている。   Conventionally, there is known a pattern image projection apparatus that projects a pattern image toward an imaging area when imaging an object in an imaging area from different viewpoints by a plurality of imaging units to generate parallax information of the object. There is.

特許文献1には、パターン画像投射装置から投光パターン(パターン画像)が照射された被写体(対象物)を異なる視点から撮像して得た基準画像と参照画像との対応点付け(マッチング処理)を行い、マッチングされた対応画素間の視差値に基づいて距離画像(視差情報)を生成する3次元形状計測装置が開示されている。この3次元形状計測装置では、周期的な模様をもつ投光パターンを被写体に照射する場合に生じていた対応点付け時のミスマッチングの発生を減少させる目的で、乱数を用い、ドットのサイズ、線の長さや太さ、位置、濃度等が不規則である模様からなる非周期的な投光パターンを生成する。   In Patent Document 1, the reference image obtained by imaging the subject (target object) irradiated with the light projection pattern (pattern image) from the pattern image projection apparatus from different viewpoints is matched (matching process) A three-dimensional shape measuring apparatus is disclosed that generates a distance image (disparity information) based on the disparity value between corresponding matched pixels. In this three-dimensional shape measuring apparatus, in order to reduce the occurrence of mismatching at the time of corresponding spotting, which has occurred when irradiating a subject with a light projection pattern having a periodic pattern, the size of a dot, Generate a non-periodic floodlight pattern consisting of a pattern whose line length, thickness, position, density, etc. are irregular.

一般に、パターン画像投射装置は、レンズ等の光学系を介してパターン画像を撮像領域に向けて投射するが、その光学系の光学的特性は撮像領域内の地点に応じて異なる。例えば、光学系の光軸中心付近の地点とその光軸中心から離れた地点との間では、パターン画像の明るさ(輝度)、歪み、コントラストなどの光学的特性が異なる。このような光学的特性は、複数の撮像画像間における撮像領域内の同一地点を映し出す画素を対応づけるマッチング処理のマッチング精度に影響を及ぼす。そのため、光学的特性が撮像領域内の地点に応じて異なると、撮像領域内においてマッチング精度の相対的に低い地点が局所的に生じてしまう。そのため、そのような地点における対象物については適切な視差情報が得られないおそれがあり得る。   Generally, a pattern image projection apparatus projects a pattern image toward an imaging area via an optical system such as a lens, but the optical characteristics of the optical system differ depending on the point in the imaging area. For example, optical characteristics such as brightness (brightness), distortion, and contrast of the pattern image are different between a point near the optical axis center of the optical system and a point distant from the optical axis center. Such optical characteristics affect the matching accuracy of the matching processing that associates the pixels that project the same point in the imaging region among the plurality of captured images. Therefore, if the optical characteristics differ depending on the point in the imaging area, a point with relatively low matching accuracy locally occurs in the imaging area. Therefore, there may be a possibility that appropriate disparity information can not be obtained for an object at such a point.

同様に、パターン画像が投射された撮像領域内の対象物を複数の撮像手段により異なる地点から撮像する場合の撮像手段の光学系も、その光学的特性は撮像領域内の地点に応じて異なる。そのため、仮に一様なパターン画像が投射されている場合であっても、撮像画像の明るさ(輝度)、歪み、コントラストなどの光学的特性が、撮像領域内の地点に応じて異なる。このような光学的特性もマッチング処理のマッチング精度に影響を及ぼすので、撮像手段の光学的特性が撮像領域内の地点に応じて異なる場合も、マッチング精度が相対的に低い地点が局所的に生じてしまう。そのため、そのような地点における対象物については適切な視差情報が得られないおそれがある。   Similarly, also in the optical system of the imaging means in the case where an object in the imaging area on which the pattern image is projected is imaged from different points by a plurality of imaging means, the optical characteristics thereof differ depending on the point in the imaging area. Therefore, even if a uniform pattern image is projected, optical characteristics such as brightness (brightness), distortion, and contrast of the captured image differ depending on the point in the imaging region. Since such optical characteristics also affect the matching accuracy of the matching process, even when the optical characteristics of the imaging means differ depending on the point in the imaging region, a point with relatively low matching accuracy locally occurs. It will Therefore, there is a possibility that appropriate disparity information can not be obtained for an object at such a point.

なお、相対的にマッチング精度の低い地点は、光学系の光軸中心から離れた地点である場合に限らず、その光学系の構成等によって様々である。したがって、マッチング精度が相対的に低い地点、すなわち、適切な視差情報が得られない部分は、光学系の構成等に応じて異なり得る。   In addition, the point where the matching accuracy is relatively low is not limited to the point away from the center of the optical axis of the optical system, but may vary depending on the configuration of the optical system. Therefore, the point where the matching accuracy is relatively low, that is, the portion where appropriate parallax information can not be obtained may differ depending on the configuration of the optical system and the like.

また、上述した課題は、非周期的な投光パターン(パターン画像)を投射する特許文献1に開示のパターン画像投射装置を用いたとしても、解決することはできない。この投光パターンは、画像投射手段や撮像手段についての光学的特性が異なる各撮像領域箇所に投射されるパターン画像部分が、それぞれの撮像領域箇所に最適化されたパターン画像部分であるわけではない。したがって、画像投射手段や撮像手段についての光学的特性が撮像領域箇所に応じて異なる場合には、やはり、マッチング精度が相対的に低い地点が局所的に生じ、そのような地点に存在する対象物については適切な視差情報が得られないことがある。   Moreover, even if it uses the pattern image projection apparatus of an indication disclosed to patent document 1 which projects a non-periodic light projection pattern (pattern image), the subject mentioned above can not be solved. In this light projection pattern, the pattern image portion projected on each imaging area portion having different optical characteristics with respect to the image projection means and the imaging means is not necessarily the pattern image portion optimized for each imaging area portion . Therefore, if the optical characteristics of the image projection means and the imaging means differ depending on the imaging region location, a point having a relatively low matching accuracy locally occurs, and an object present at such a point In some cases, appropriate disparity information can not be obtained.

上述した課題を解決するために、本発明は、撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射する画像投射手段を有するパターン画像投射装置において、前記視差情報生成手段が生成した視差情報に含まれる視差値の数に基づいて前記パターン画像を生成するパターン画像生成手段を有し、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とする。 In order to solve the problems described above, according to the present invention, when parallax information of the object is generated by the parallax information generation unit on the basis of captured images obtained by imaging an object in an imaging region from different viewpoints by a plurality of imaging units. And a pattern image projection device having an image projection unit that projects a pattern image toward an imaging region, wherein the pattern image is generated based on the number of parallax values included in the parallax information generated by the parallax information generation unit. An image generation unit is provided, and the pattern image has different pattern image portions projected onto the respective imaging region portions in accordance with the imaging region portions having different optical characteristics with respect to at least one of the image projection unit and the imaging portion. It is characterized by

本発明によれば、画像投射手段や撮像手段の光学的特性が撮像領域箇所に応じて異なるなどの理由で、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在しても、その撮像領域箇所に存在する対象物について適切な視差情報を得ることができるという優れた効果が奏される。   According to the present invention, even if an imaging area location with a relatively low matching accuracy exists in the imaging area, because the optical characteristics of the image projection means and the imaging means differ depending on the imaging area location, etc. The excellent effect is obtained that appropriate parallax information can be obtained for an object present in the imaging region.

実施形態におけるロボットピッキングシステムを示すブロック図である。It is a block diagram showing a robot picking system in an embodiment. 同ロボットピッキングシステムの主要部の配置を示す説明図である。It is explanatory drawing which shows arrangement | positioning of the principal part of the robot picking system. 同ロボットピッキングシステムを構成するカメラやプロジェクタの画角に対する光量変化の一例を示す説明図である。It is explanatory drawing which shows an example of the light quantity change with respect to the view | field angle of the camera which comprises the robot picking system, and a projector. 実施形態におけるパターン画像において、異なるパターン条件で作成されるパターン画像部分の区分例を示す説明図である。FIG. 7 is an explanatory view showing an example of division of pattern image portions created under different pattern conditions in the pattern image in the embodiment. 実施形態における初期画像パターン生成処理の流れを示すフローチャートである。It is a flow chart which shows a flow of initial image pattern generation processing in an embodiment. 同ロボットピッキングシステムを構成するカメラやプロジェクタの配置を示す説明図である。It is explanatory drawing which shows arrangement | positioning of the camera which comprises the robot picking system, and a projector. 投射されるパターン画像上において、カメラの光学的特性とプロジェクタの光学的特性の重なり状態を示す説明図である。It is an explanatory view showing an overlap state of an optical characteristic of a camera, and an optical characteristic of a projector on a pattern image projected. 粒度及びコントラストが異なるパターン画像部分をもったパターン画像の一例を示す説明図である。It is explanatory drawing which shows an example of the pattern image which has a pattern image part in which particle size and contrast differ. 実施形態における画像パターン変更処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the image pattern change process in embodiment. 変形例におけるロボットピッキングシステムを構成するカメラやプロジェクタの配置を示す説明図である。It is explanatory drawing which shows arrangement | positioning of the camera which comprises the robot picking system in a modification, and a projector. プロジェクタから作業台面までの距離によって作業台面上に投射されるパターン画像の粒度が変化することを説明するための説明図である。It is explanatory drawing for demonstrating that the granularity of the pattern image projected on a workbench surface changes with the distances from a projector to a workbench surface. 変形例における初期画像パターン生成処理の流れを示すフローチャートである。It is a flow chart which shows a flow of initial image pattern generation processing in a modification.

以下、本発明に係るパターン画像投射装置を備える視差情報生成装置を、ロボットピッキングシステムに適用した一実施形態について説明する。
本実施形態におけるロボットピッキングシステムは、例えば、多数のワーク(対象物)がバラ積みされている箱から1つのワーク(例えばT型パイプ)をロボットアームにより取り出して、当該ワークを後段の処理装置へ受け渡すものである。このシステムでは、箱内を上方から撮像し、その撮像画像に基づいて箱内における個々のワークを区別して認識する。そして、その認識結果に基づいて、ロボットアームのハンド部で1つのワークを上方からピッキングして箱から取り出すように、ロボットアームの動作を制御する。
なお、本発明に係るパターン画像投射装置を備える視差情報生成装置は、ロボットピッキングシステムに限らず、例えば、撮像画像に基づいて撮像領域内に存在する対象物の認識処理を行う画像解析装置を搭載したその他のシステムにも適用できる。
Hereinafter, an embodiment in which a parallax information generating device provided with a pattern image projecting device according to the present invention is applied to a robot picking system will be described.
In the robot picking system in the present embodiment, for example, one work (for example, a T-shaped pipe) is taken out by a robot arm from a box in which a large number of works (objects) are stacked in bulk, It is something to deliver. In this system, the inside of the box is imaged from above, and individual workpieces in the box are distinguished and recognized based on the imaged image. Then, based on the recognition result, the operation of the robot arm is controlled such that one hand is picked up from above by the hand portion of the robot arm and taken out of the box.
Note that the parallax information generation device provided with the pattern image projection device according to the present invention is not limited to the robot picking system, and for example, is equipped with an image analysis device that performs recognition processing of an object present in an imaging region based on a captured image Can be applied to other systems.

図1は、本実施形態におけるロボットピッキングシステムを示すブロック図である。
図2は、本実施形態のロボットピッキングシステムの主要部の配置を示す説明図である。
本実施形態のロボットピッキングシステムは、主に、カメラ部100及び画像処理部200を備えたステレオカメラからなる撮像装置と、認識処理部300及びロボットアーム制御部400を備えたロボットアーム制御装置と、画像投射手段としてのプロジェクタ600及びこのプロジェクタ600を制御するパーソナルコンピュータ(以下「パソコン」という。)500を備えたパターン画像投射装置とから構成される。プロジェクタ600からワークが載置される作業台面601までの距離と、作業台面601からカメラ部100までの距離は、ほぼ等しくなるように配置されている。
FIG. 1 is a block diagram showing a robot picking system in the present embodiment.
FIG. 2 is an explanatory view showing the arrangement of the main part of the robot picking system of the present embodiment.
The robot picking system of the present embodiment mainly includes an imaging device including a stereo camera including a camera unit 100 and an image processing unit 200, a robot arm control device including a recognition processing unit 300 and a robot arm control unit 400, It comprises a projector 600 as an image projection means and a pattern image projection apparatus provided with a personal computer (hereinafter referred to as a "personal computer") 500 for controlling the projector 600. The distance from the projector 600 to the work bench surface 601 on which the work is placed and the distance from the work bench surface 601 to the camera unit 100 are substantially equal.

カメラ部100は、2つの撮像手段であるカメラ101A,101Bで構成されており、2つのカメラ101A,101Bの構成は同一のものである。カメラ101A,101Bは、主に、撮像レンズ等の光学系と、受光素子が2次元配置された画素アレイで構成された画像センサと、画像センサから出力されるアナログ電気信号(画像センサ上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。   The camera unit 100 is composed of cameras 101A and 101B as two imaging means, and the configurations of the two cameras 101A and 101B are the same. The cameras 101A and 101B mainly include an optical system such as an imaging lens, an image sensor including a pixel array in which light receiving elements are two-dimensionally arranged, and analog electric signals output from the image sensor (each on the image sensor A signal processing unit generates and outputs captured image data obtained by converting the amount of light received by the light receiving element into a digital electric signal.

画像処理部200は、カメラ部100から出力される撮像画像データを受け取って各種画像処理を実施する。カメラ部100の各カメラ101A,101Bから出力される撮像画像データは、理想ピンホールモデルで得られる画像に変換するために補正処理を行う画像補正部201A,201Bに入力される。画像補正部201A,201Bは、カメラ101A,101Bごとに設けられ、FPGA(Field-Programmable Gate Array)やメモリ等によって構成される。画像補正部201A,201Bは、FPGAにより、入力されるカメラ101A,101Bからの撮像画像データに対し、倍率補正、画像中心補正、歪補正などの補正処理を実行する。メモリには、その補正処理に用いる補正パラメータ等が格納されている。なお、FPGAに代えて、例えば、ASIC(Application Specific Integrated Circuit)などを採用してもよい。   The image processing unit 200 receives captured image data output from the camera unit 100 and performs various image processing. Captured image data output from each of the cameras 101A and 101B of the camera unit 100 is input to image correction units 201A and 201B that perform correction processing to convert the image into an image obtained by the ideal pinhole model. The image correction units 201A and 201B are provided for each of the cameras 101A and 101B, and are configured by an FPGA (Field-Programmable Gate Array), a memory, and the like. The image correction units 201A and 201B execute correction processing such as magnification correction, image center correction, distortion correction, and the like on the captured image data input from the cameras 101A and 101B using the FPGA. The memory stores correction parameters and the like used for the correction process. Note that, in place of the FPGA, for example, an application specific integrated circuit (ASIC) may be employed.

画像補正部201A,201Bから出力される補正処理後の撮像画像データ(補正画像データ)は、視差情報生成手段としての視差情報算出部202に送られる。視差情報算出部202は、各カメラ101A,101Bで撮像して得られた補正画像データから得られる視差画像データを生成する処理を行う。具体的には、画像補正部201A,201Bから出力される補正画像データから視差画像データを得るために、当該2つの補正画像間の対応画像部分の視差値を演算する。   The captured image data (corrected image data) after correction processing output from the image correction units 201A and 201B is sent to the parallax information calculation unit 202 as parallax information generation means. The parallax information calculation unit 202 performs processing of generating parallax image data obtained from the corrected image data obtained by imaging with each of the cameras 101A and 101B. Specifically, in order to obtain parallax image data from the corrected image data output from the image correction units 201A and 201B, the parallax value of the corresponding image portion between the two corrected images is calculated.

ここでいう視差値とは、各カメラ101A,101Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。視差画像データは、基準画像データ(例えばカメラ101Aが撮像した撮像画像データa)上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。視差情報算出部202が出力する視差画像データは、後段の認識処理部300に送られるとともに、外部I/F203からパソコン500にも送られる。   The parallax value referred to here means that one of the images taken by each of the cameras 101A and 101B is a reference image and the other is a comparison image, and the comparison value on the image portion on the reference image corresponding to the same point in the imaging area The positional displacement amount of the image portion is calculated as the parallax value of the image portion. By using the principle of triangulation, it is possible to calculate the distance from the parallax value to the same point in the imaging region corresponding to the image portion. The parallax image data is a parallax image in which pixel values corresponding to parallax values calculated for each image portion on the reference image data (for example, captured image data a captured by the camera 101A) are represented as pixel values of the respective image portions It is shown. The parallax image data output from the parallax information calculation unit 202 is sent to the recognition processing unit 300 in the subsequent stage, and is also sent from the external I / F 203 to the personal computer 500.

認識処理部300は、視差情報算出部202から出力される視差画像データを用いて、撮像領域内に存在する箱の中に収容されている多数のワークを個別に認識する処理を行う。具体的には、例えば、視差画像上において画素値(視差値)が大きく変化するエッジ部を検出し、その検出結果から個々のワークを映し出す画像部分を識別する。そして、例えば、識別した画像部分の中で視差値平均が最も大きい画像部分を特定し、特定した画像部分に対応するワークの水平方向位置と、その画像部分の視差値平均から算出される当該ワークまでの距離とを、ワーク認識結果として、ロボットアームの動作を制御するロボットアーム制御部400へ出力する。このようにして特定されるワークは、箱内で最も上に積まれているワークである。   The recognition processing unit 300 uses the parallax image data output from the parallax information calculation unit 202 to perform processing for individually recognizing a large number of works contained in a box present in the imaging region. Specifically, for example, an edge portion where a pixel value (disparity value) changes largely on a parallax image is detected, and an image portion showing an individual work is identified from the detection result. Then, for example, the image part having the largest parallax value average among the identified image parts is identified, and the work calculated from the horizontal position of the workpiece corresponding to the identified image part and the parallax value average of the image part The distance to the point is output to the robot arm control unit 400 that controls the operation of the robot arm as a result of workpiece recognition. The work identified in this manner is the work stacked on top of the box.

ロボットアーム制御部400は、認識処理部300から出力されるワーク認識結果に基づき、ピッキング対象となる1つのワークの位置(水平方向位置と距離)を把握することができる。ロボットアーム制御部400は、把握した位置に存在するワークをロボットアームのハンド部で上方からピッキングして箱から取り出し、後段の処理装置へ受け渡すように、ロボットアーム動作を制御する。   The robot arm control unit 400 can grasp the position (horizontal direction position and distance) of one workpiece to be picked based on the workpiece recognition result output from the recognition processing unit 300. The robot arm control unit 400 controls the robot arm operation so as to pick the workpiece present at the grasped position from above with the hand unit of the robot arm, take it out of the box, and deliver it to the processing device in the subsequent stage.

パソコン500は、対象物であるワークにプロジェクタ600からパターン画像を投射させるためにプロジェクタ600を制御する。本実施形態のパソコン500は、主に、CPU(Central Processing Unit)等からなる演算部と、ROM(Read Only Memory)やRAM(Random Access Memory)あるいはHDD(Hard Disk Drive)等の記憶装置からなる記憶部、通信インターフェース等からなる通信部、キーボードやポインティングデバイスなどの入力部など、汎用のパソコンが備える一般的な機能を備えている。   The personal computer 500 controls the projector 600 in order to cause the projector 600 to project a pattern image onto a workpiece that is an object. The personal computer 500 according to the present embodiment mainly includes an operation unit including a central processing unit (CPU) and a storage device such as a read only memory (ROM), a random access memory (RAM), or a hard disk drive (HDD). It has a general function of a general-purpose personal computer such as a storage unit, a communication unit including a communication interface, and an input unit such as a keyboard and a pointing device.

本実施形態において、パソコン500は、CPUが記憶部に記憶されている各種コンピュータプログラムを実行することにより、プロジェクタ600とともにパターン画像投射装置としての動作に必要な各種機能を実現する。特に、本実施形態1では、パターン画像生成プログラムをCPUで実行することにより、プロジェクタ600がワークに向けて投射するパターン画像を生成するパターン画像生成処理を実行する。パソコン500は、このパターン画像生成処理を実行するための構成として、視差点数算出部501と、パターン画像生成部502と、外部I/F503とを備え、対象物であるワークを高い認識精度で認識できるパターン画像を生成する。   In the present embodiment, the personal computer 500 executes various computer programs stored in the storage unit by the CPU to realize various functions necessary for the operation as a pattern image projection apparatus together with the projector 600. In particular, in the first embodiment, the pattern image generation program is executed by the CPU to execute pattern image generation processing for generating a pattern image projected by the projector 600 toward the work. The personal computer 500 is provided with a parallax score calculation unit 501, a pattern image generation unit 502, and an external I / F 503 as a configuration for executing this pattern image generation process, and recognizes a workpiece as an object with high recognition accuracy. Generate a pattern image that can be

このパターン画像生成処理は、パソコン500における視差点数算出部501及びパターン画像生成部502によって構成される。視差点数算出部501は、画像処理部200における視差情報算出部202から出力される視差画像データを外部I/F203,503を介して取得し、その視差画像データから、予め指定された指定画像部分内の有効視差値の数をカウントする。パターン画像生成部502は、視差点数算出部501がカウントした有効視差値の数が規定条件を満たすようなパターン画像を生成する。   The pattern image generation processing is configured by the parallax score calculation unit 501 and the pattern image generation unit 502 in the personal computer 500. The parallax score calculation unit 501 acquires parallax image data output from the parallax information calculation unit 202 in the image processing unit 200 via the external I / Fs 203 and 503, and a designated image portion designated in advance from the parallax image data. Count the number of effective disparity values in The pattern image generation unit 502 generates a pattern image in which the number of effective parallax values counted by the parallax score calculation unit 501 satisfies a predetermined condition.

本実施形態において、対象物であるワークの認識精度を高めるためのパターン画像を生成する理由は、次のとおりである。
認識処理部300での認識処理は、上述したように、2つのカメラ101A,101Bで撮像した撮像画像間の視差情報に基づいてワークを映し出す画像部分を認識する。このような処理における認識精度は、ワークを映し出す画像部分について正確に算出された視差値の数(立体物領域を構成する視差画像上の画素数)の多さに依存する。視差値の算出は、両撮像画像間の対応画像部分(撮像領域内の同一地点に対応した各画像上の画像部分)を正確に特定(マッチング)することが前提となる。
In the present embodiment, the reason for generating a pattern image for enhancing the recognition accuracy of the workpiece as the object is as follows.
In the recognition processing by the recognition processing unit 300, as described above, an image portion that shows a work is recognized based on parallax information between captured images captured by the two cameras 101A and 101B. The recognition accuracy in such processing depends on the number of parallax values (the number of pixels on the parallax image forming the three-dimensional object area) accurately calculated for the image portion that shows the work. The calculation of the parallax value is premised on accurately specifying (matching) a corresponding image portion between both captured images (an image portion on each image corresponding to the same point in the imaging region).

マッチング処理は、例えば、マッチング対象とする対応画像部分を含む基準画像内の対象画像領域と同じ縦方向位置(画像垂直方向位置)である比較画像内の各画像領域(横方向位置(画像水平方向位置)が異なる画像領域)について、それぞれ、基準画像内の対象画像領域を構成する複数の画素値(輝度値)の配列との関係について相関演算を行う。そして、一定以上の相関が認められた比較画像内の画像領域の中で最も相関が高い画像領域を、基準画像内の対象画像領域に対応する対応画像領域であると特定する。これにより、両撮像画像間の対応画像部分が特定される。   The matching process is performed, for example, for each image area in the comparison image (horizontal direction position (image horizontal direction) which is the same vertical position (image vertical direction position) as the target image area in the reference image including the corresponding image portion to be matched. The correlation calculation is performed for each of the image areas having different positions) in relation to the arrangement of a plurality of pixel values (brightness values) constituting the target image area in the reference image. Then, the image area having the highest correlation among the image areas in the comparison image in which the correlation of a predetermined level or more is recognized is specified as the corresponding image area corresponding to the target image area in the reference image. Thereby, the corresponding image portion between both captured images is specified.

ここで、プロジェクタ600は、光学系を介してパターン画像を投射するが、その光学系の光学的特性は、投射されるパターン画像全体にわたって一様ではない。本実施形態のプロジェクタ600は、光学系の光軸中心(以下「パターン画像の中心」ともいうが、ここでいうパターン画像の中心は、パターン画像の位置的な中央地点を示すものではない。)において最も輝度が高く、その光軸中心(パターン画像の中心)から離れるほど輝度が低下するという光学的特性を有する。すなわち、プロジェクタ600の光学系の光軸中心付近(パターン画像の中心部O)と、その光軸中心から離れた地点(パターン画像の周辺部)との間では、パターン画像の明るさ(輝度)が異なる。   Here, the projector 600 projects the pattern image through the optical system, but the optical characteristics of the optical system are not uniform throughout the projected pattern image. The projector 600 of the present embodiment is the center of the optical axis of the optical system (hereinafter, also referred to as “the center of the pattern image”, the center of the pattern image does not indicate the central position of the pattern image). The brightness is highest at the point where the brightness decreases as the distance from the optical axis center (the center of the pattern image) decreases. That is, the brightness (brightness) of the pattern image between the vicinity of the optical axis center of the optical system of the projector 600 (the central portion O of the pattern image) and the point distant from the optical axis center (the peripheral portion of the pattern image) Is different.

その結果、例えば、パターン画像の中心部Oにおいて最適な明るさ(輝度)すなわち当該中心部Oについて適切な視差値が算出できる明るさ(輝度)が得られるように、パターン画像を投射すると、図3に示すように、パターン画像の周辺部では最適な明るさ(輝度)よりも明るさが低いものとなる。明るさが低いと、撮像画像のコントラストが落ちるので、相関演算の精度が低下し、正確なマッチング処理を行うことが困難となる。これにより、パターン画像の周辺部が投射されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数(当該ワークを映し出す画像部分に対応する視差画像上の画像部分の画素数)が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。   As a result, for example, when the pattern image is projected so as to obtain an optimal brightness (brightness) at the central portion O of the pattern image, that is, a brightness (brightness) for which an appropriate parallax value can be calculated for the central portion O. As shown in FIG. 3, in the peripheral portion of the pattern image, the brightness is lower than the optimal brightness (brightness). When the brightness is low, the contrast of the captured image is lowered, so that the accuracy of the correlation operation is lowered, and it becomes difficult to perform the accurate matching process. As a result, with respect to a workpiece on which the peripheral portion of the pattern image is projected, accurate matching processing can not be performed, and there is a high possibility that the parallax value can not be calculated or an incorrect parallax value is calculated. As a result, the number of correctly calculated parallax values (the number of pixels of the image portion on the parallax image corresponding to the image portion projecting the work) on the image portion projecting the work decreases, and the recognition processing unit 300 The accuracy of recognition processing in

逆に、例えば、パターン画像の周辺部において最適な明るさ(輝度)が得られるようにパターン画像を投射すると、パターン画像の中心部Oでは最適な明るさ(輝度)よりも明るさが高いものとなる。明るさが高すぎると、当該中心部Oからの光を受光する受光素子の中に受光量が当該受光素子の光量検出範囲の上限値である飽和値を超えてしまう受光素子が存在して、正確なマッチング処理を行うことが困難となり得る。この場合、パターン画像の中心部が投射されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。   On the contrary, for example, when the pattern image is projected so as to obtain the optimum brightness (brightness) in the peripheral part of the pattern image, the central part O of the pattern image is brighter than the optimum brightness (brightness) It becomes. If the brightness is too high, among the light receiving elements that receive light from the central portion O, there is a light receiving element whose light reception amount exceeds a saturation value which is the upper limit value of the light quantity detection range of the light receiving element. It can be difficult to perform an accurate matching process. In this case, with respect to a workpiece on which the central portion of the pattern image is projected, accurate matching processing can not be performed, and there is a high possibility that the parallax value can not be calculated or an incorrect parallax value is calculated. As a result, the number of parallax values accurately calculated for the image portion showing the work decreases, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.

また、パターン画像が投射されたワークを異なる地点から撮像するカメラ部100の2つのカメラ101A,101Bの光学系も、その光学的特性は撮像領域全体にわたって一様ではない。本実施形態のカメラ101A,101Bは、図3に示すように、光学系の光軸中心(各カメラの画像センサ中心)において最も受光量が多く、その光軸中心(画像センサ中心)から離れるほど受光量が少なくなるという光学的特性を有する。すなわち、カメラ101A,101Bの光学系の光軸中心付近(画像センサの中心部)と、その光軸中心から離れた地点(画像センサの周辺部)との間では、撮像画像の明るさ(輝度)が異なる。   In addition, the optical characteristics of the two cameras 101A and 101B of the camera unit 100 that capture the workpiece on which the pattern image is projected from different points are not uniform in optical characteristics over the entire imaging region. As shown in FIG. 3, in the cameras 101A and 101B of the present embodiment, the amount of light received is the largest at the optical axis center of the optical system (the center of the image sensor of each camera), and the further away from the optical axis center (the center of the image sensor) It has an optical characteristic that the amount of received light decreases. That is, the brightness (brightness) of the captured image between the vicinity of the optical axis center of the optical system of the cameras 101A and 101B (central part of the image sensor) and the point distant from the optical axis center (peripheral part of the image sensor) ) Is different.

その結果、例えば、明るさ(輝度)が一様なパターン画像が投射されたワークを撮像しても、その撮像画像の中心部について適切な視差値が算出できる明るさ(輝度)となっているときには、その撮像画像の周辺部では最適な明るさ(輝度)よりも明るさが低いものとなる。撮像画像の明るさが低いと、撮像画像のコントラストが落ちるので、相関演算の精度が低下し、正確なマッチング処理を行うことが困難となる。これにより、撮像画像の周辺部に映し出されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。   As a result, for example, even if an image of a workpiece on which a pattern image with uniform brightness (brightness) is projected is imaged, the brightness (brightness) is such that an appropriate parallax value can be calculated for the central portion of the captured image. Sometimes, in the peripheral area of the captured image, the brightness is lower than the optimal brightness (brightness). When the brightness of the captured image is low, the contrast of the captured image is lowered, so that the accuracy of the correlation calculation is lowered, which makes it difficult to perform accurate matching processing. As a result, accurate matching processing can not be performed for a work displayed on the peripheral portion of the captured image, and there is a high possibility that the parallax value can not be calculated or an incorrect parallax value is calculated. As a result, the number of parallax values accurately calculated for the image portion showing the work decreases, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.

逆に、例えば、撮像画像の周辺部について適切な視差値が算出できる明るさ(輝度)となっているときには、その撮像画像の中心部では最適な明るさ(輝度)よりも明るさが高いものとなる。撮像画像の明るさが高すぎると、当該撮像画像の中心部に対応する受光素子の中に受光量が当該受光素子の光量検出範囲の上限値である飽和値を超えてしまう受光素子が存在して、正確なマッチング処理を行うことが困難となり得る。この場合、撮像画像の中心部に映し出されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。   Conversely, for example, when the brightness (brightness) is such that an appropriate parallax value can be calculated for the peripheral part of the captured image, the brightness at the central part of the captured image is higher than the optimal brightness (brightness) It becomes. If the brightness of the captured image is too high, a light receiving element whose light reception amount exceeds the saturation value, which is the upper limit value of the light amount detection range of the light receiving element, is present in the light receiving element corresponding to the center of the captured image. It may be difficult to perform accurate matching processing. In this case, accurate matching processing can not be performed for the work shown in the center of the captured image, and there is a high possibility that the parallax value can not be calculated or an incorrect parallax value is calculated. As a result, the number of parallax values accurately calculated for the image portion showing the work decreases, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.

特に、カメラ部100の2つのカメラ101A,101Bによって撮像される撮像画像の周辺部に写し出される撮像領域箇所と、プロジェクタ600によってパターン画像の周辺部が投射される撮像領域箇所とが一致する場合がある。この場合、例えば、パターン画像の中心部Oで最適な条件によりパターン画像を投射し、かつ、撮像画像の中心部で最適な条件で撮像を行った場合、プロジェクタ600の光学的特性(パターン画像の周辺部における光量が少ない)と、各カメラ101A,101Bの光学的特性(撮像画像の周辺部における受光量が少ない)とが重畳して、当該撮像領域箇所に対応する撮像画像部分(撮像画像の周辺部)のマッチング処理における相関演算の精度を大きく低下させ、正確なマッチング処理を行うことが特に困難であり、認識処理部300での認識処理精度が特に低いものとなる。   In particular, there may be a case where an imaging area location projected on the periphery of a captured image imaged by the two cameras 101A and 101B of the camera unit 100 and an imaging area location on which the periphery of the pattern image is projected by the projector 600 match. is there. In this case, for example, when the pattern image is projected under the optimum condition at the central portion O of the pattern image and imaging is performed under the optimum condition at the central portion of the captured image, the optical characteristics of the projector 600 (the pattern image The light amount in the peripheral portion is small) and the optical characteristic of each camera 101A and 101B (the light receiving amount in the peripheral portion of the pickup image is small) is superimposed, and the pickup image portion (the pickup image It is particularly difficult to perform accurate matching processing by greatly reducing the accuracy of the correlation operation in the matching processing in the peripheral portion, and the recognition processing accuracy in the recognition processing unit 300 is particularly low.

そこで、本実施形態では、撮像領域内において局所的に認識処理部300での認識処理精度が低下するのを抑制するため、プロジェクタ600やカメラ101A,101Bについての光学的特性が互いに異なる撮像領域箇所に投射される各パターン画像部分を異なるパターン条件で作成したパターン画像を用いて、視差画像データの生成を行う。具体的には、図4に示すように、パターン画像を、横方向にw個、縦方向にh個の合計w×h個のパターン画像部分に区分し、各パターン画像部分を異なるパターン条件で作成してパターン画像を生成する。   Therefore, in the present embodiment, in order to suppress the decrease in the recognition processing accuracy in the recognition processing unit 300 locally in the imaging region, the imaging region location where the optical characteristics of the projector 600 and the cameras 101A and 101B are different from each other The parallax image data is generated using pattern images in which each pattern image portion to be projected is created under different pattern conditions. Specifically, as shown in FIG. 4, the pattern image is divided into w total in the horizontal direction and h total in the vertical direction w × h pattern image portions, and each pattern image portion is subjected to different pattern conditions Create and generate a pattern image.

本実施形態では、ロボットピッキングシステムを稼働させる前の初期設定において、初期パターン画像の生成処理を実行する。本実施形態では、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とを考慮して、それぞれの撮像領域箇所に投射されるパターン画像部分のパターン条件を調整したパターン画像を初期パターン画像として生成する。このパターン条件は、パターンの粒度やコントラストなどが挙げられるが、認識処理部300での認識処理精度が改善されるパターン条件であれば、特に制限はない。本実施形態のパターン画像生成部502では、空間周波数をパラメータとして粒度が異なるパターンを生成することができる。よって、本実施形態では、初期パターン画像を生成するときに、それぞれの撮像領域箇所に投射されるパターン画像部分についての空間周波数を調整して、それぞれの光学的特性に適した粒度のパターン画像部分(w,h)をもった初期パターン画像を生成する。なお、空間周波数が高いほど、パターンの粒度は細かくなる。   In the present embodiment, in the initial setting before operating the robot picking system, generation processing of an initial pattern image is executed. In the present embodiment, each imaging is performed in consideration of the optical characteristics of the projector 600 (decrease in the amount of light in the peripheral portion of the pattern image) and the optical characteristics of the cameras 101A and 101B (decrease in the amount of light in the peripheral portion of the captured image). A pattern image in which the pattern conditions of the pattern image portion to be projected onto the area portion are adjusted is generated as an initial pattern image. The pattern conditions include the particle size and the contrast of the pattern, but the pattern conditions are not particularly limited as long as the recognition processing accuracy in the recognition processing unit 300 is improved. The pattern image generation unit 502 according to the present embodiment can generate patterns with different particle sizes using the spatial frequency as a parameter. Therefore, in the present embodiment, when generating the initial pattern image, the spatial frequency of the pattern image portion projected onto each imaging area is adjusted, and the pattern image portion of the granularity suitable for each optical characteristic Generate an initial pattern image with (w, h). The higher the spatial frequency, the finer the granularity of the pattern.

図5は、本実施形態における初期画像パターン生成処理の流れを示すフローチャートである。
初期パターン画像生成処理では、まず、パソコン500のパターン画像生成部502は、パターン条件が均一な基準パターン画像を生成し、パソコン500はプロジェクタ600を制御してこの基準パターン画像を作業台面601に向けて投射する(S1)。このときのパターン画像は、いずれのパターン画像部分(w,h)も、同じ空間周波数f0(w,h)で作成されたもの(粒度が同じもの)である。なお、プロジェクタ600から投射されるパターン画像は、プロジェクタ600の光学系等による歪みを持たないものとする。
FIG. 5 is a flowchart showing a flow of initial image pattern generation processing in the present embodiment.
In the initial pattern image generation process, first, the pattern image generation unit 502 of the personal computer 500 generates a reference pattern image with uniform pattern conditions, and the personal computer 500 controls the projector 600 to direct this reference pattern image to the work bench surface 601 Project (S1). The pattern image at this time is one in which all pattern image portions (w, h) are created at the same spatial frequency f0 (w, h) (with the same granularity). The pattern image projected from the projector 600 is not distorted by the optical system of the projector 600 or the like.

パターン条件(空間周波数)が均一な基準パターン画像を投射したら、カメラ部100の各カメラ101A,101Bに撮像動作を実行させ(S2)、1フレーム分の撮像画像データ(基準画像データと比較画像データ)を得る。この撮像画像データは、画像補正部201A,201Bで補正され、その補正画像データから視差情報算出部202により視差画像データ(視差情報)が生成される(S3)。このようにして生成された視差画像データは、外部I/F203,503を介してパターン画像生成部502に送られ、パターン画像生成部502では、受け取った視差画像データから、一般的な三角測量の原理を利用して、作業台面601からカメラ部100までの距離を算出する(S4)。   When a reference pattern image having a uniform pattern condition (spatial frequency) is projected, each camera 101A, 101B of the camera unit 100 performs an imaging operation (S2), and one frame of captured image data (reference image data and comparison image data) Get). The captured image data is corrected by the image correction units 201A and 201B, and the parallax information calculation unit 202 generates parallax image data (disparity information) from the corrected image data (S3). The parallax image data generated in this manner is sent to the pattern image generation unit 502 via the external I / F 203 and 503, and the pattern image generation unit 502 performs general triangulation from the received parallax image data. The distance from the work bench surface 601 to the camera unit 100 is calculated using the principle (S4).

続いて、パソコン500のパターン画像生成部502は、受け取った視差画像データあるいは当該視差画像データに対応する基準画像データから、カメラ部100の設置位置を基準としたプロジェクタ600の相対位置情報(XYZの相対位置座標とZ軸回りの回転角度)を算出する(S5)。具体的には、図2に示すように、作業台面に平行にX軸とY軸をとり、作業台面の法線方向にZ軸をとり、カメラ部100の設置位置(基準位置)を、(X座標,Y座標,Z座標,Z軸回転角)=(x0,y0,z0,rz0)とし、プロジェクタ600の設置位置を(X座標,Y座標,Z座標,Z軸回転角)=(x,y,z,rz)とすると、プロジェクタ600の相対位置情報は、(x−x0,y−y0,z−z0,rz−rz0)となる。   Subsequently, the pattern image generation unit 502 of the personal computer 500 determines relative position information of the projector 600 based on the installation position of the camera unit 100 from the received parallax image data or reference image data corresponding to the parallax image data (XYZ The relative position coordinates and the rotation angle about the Z axis are calculated (S5). Specifically, as shown in FIG. 2, the X axis and the Y axis are parallel to the work surface, the Z axis is normal to the work surface, and the installation position (reference position) of the camera unit 100 is X-coordinate, Y-coordinate, Z-coordinate, Z-axis rotation angle) = (x0, y0, z0, rz0), and the installation position of the projector 600 is (X-coordinate, Y-coordinate, Z-coordinate, Z-axis rotation angle) = (x , Y, z, rz), the relative position information of the projector 600 is (x-x0, y-y0, z-z0, rz-rz0).

ここで、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)を周辺光量係数Qp(w,h)で表す。この周辺光量係数Qp(w,h)は、図4に示すように、パターン画像を、横方向にw個、縦方向にh個の合計w×h個のパターン画像部分に区分したときに、例えば、パターン画像の中心部Oに位置するパターン画像部分の光量に対する各パターン画像部分の相対的な光量の比率を示すものである。この場合、パターン画像の中心部Oに位置するパターン画像部分の周辺光量係数Qpは1であり、他のパターン画像部分の周辺光量係数Qpは、通常、1未満の値であって、パターン画像の中心から遠いパターン画像部分ほど周辺光量係数Qpが小さい値を取る。   Here, the optical characteristic of the projector 600 (the decrease in the amount of light at the peripheral portion of the pattern image) is represented by the peripheral light amount coefficient Qp (w, h). The peripheral light amount coefficient Qp (w, h) is, as shown in FIG. 4, when the pattern image is divided into w total in the horizontal direction and h total in the vertical direction w × h pattern image portions, For example, the ratio of the relative amount of light of each pattern image portion to the amount of light of the pattern image portion located at the central portion O of the pattern image is shown. In this case, the peripheral light amount coefficient Qp of the pattern image portion located at the central portion O of the pattern image is 1, and the peripheral light amount coefficient Qp of the other pattern image portions is usually less than 1 and The peripheral light amount coefficient Qp takes a smaller value as the pattern image portion is farther from the center.

プロジェクタ600の光学的特性を示す周辺光量係数Qp(w,h)は、パターン画像の中心(プロジェクタの光軸)から遠いパターン画像部分ほど周辺光量係数Qpが小さい値を取るので、図6に示すように、作業台面601上に投射されるパターン画像の各パターン画像(w,h)に対応する周辺光量係数Qp(w,h)は、作業台面601上の各パターン画像(w,h)とプロジェクタ600とを結ぶ仮想線とプロジェクタ600の光軸とのなす角度θp(w,h)を使って、下記の式(1)のとおりに表すことができる。
Qp(w,h) = Ip/cosθp(w,h) ・・・(1)
The peripheral light amount coefficient Qp (w, h) indicating the optical characteristics of the projector 600 has a smaller peripheral light amount coefficient Qp as the pattern image portion is farther from the center of the pattern image (optical axis of the projector). Thus, the peripheral light amount coefficient Qp (w, h) corresponding to each pattern image (w, h) of the pattern image projected on the work bench surface 601 is the pattern image (w, h) on the work bench surface 601 Using an angle θp (w, h) between an imaginary line connecting the projector 600 and the optical axis of the projector 600, the following equation (1) can be expressed.
Qp (w, h) = Ip / cos 4 θ p (w, h) (1)

本実施形態では、比例定数Ipは、プロジェクタ600ごとに特定される定数であり、予め記憶部に記憶されている。cosθp(w,h)は、上述した処理ステップS4で求めた距離から算出される。よって、プロジェクタ600の周辺光量係数Qp(w,h)は、記憶部に記憶されている比例定数Ipと処理ステップS4で求めた距離とから算出される(S6)。 In the present embodiment, the proportional constant Ip is a constant specified for each projector 600, and is stored in advance in the storage unit. cos 4 θ p (w, h) is calculated from the distance obtained in the processing step S4 described above. Therefore, the peripheral light amount coefficient Qp (w, h) of the projector 600 is calculated from the proportional constant Ip stored in the storage unit and the distance obtained in the processing step S4 (S6).

一方、各カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)については、周辺光量係数Qc(w,h)で表す。この周辺光量係数Qc(w,h)は、例えば、撮像画像の中心部に映し出されるパターン画像部分の受光量に対する各カメラ101A,101Bによって撮像される各パターン画像部分の相対的な受光量の比率を示すものである。   On the other hand, the optical characteristics of the cameras 101A and 101B (the decrease in the amount of light in the peripheral portion of the captured image) are represented by the peripheral light amount coefficient Qc (w, h). The peripheral light amount coefficient Qc (w, h) is, for example, the ratio of the relative light reception amount of each pattern image portion imaged by each camera 101A, 101B to the light reception amount of the pattern image portion projected at the center of the imaged image. Is an indicator of

カメラ101A,101Bの光学的特性を示す周辺光量係数Qc(w,h)は、撮像画像の中心(カメラの光軸)から遠いパターン画像部分ほど小さい値を取るので、図6に示すように、作業台面601上に投射されるパターン画像の各パターン画像(w,h)に対応する周辺光量係数Qc(w,h)は、作業台面601上の各パターン画像(w,h)とカメラ101A,101Bとを結ぶ仮想線とカメラ101A,101Bの光軸とのなす角度θc(w,h)を使って、下記の式(2)のとおりに表すことができる。
Qc(w,h) = Ic/cosθc(w,h) ・・・(2)
The peripheral light amount coefficient Qc (w, h) indicating the optical characteristics of the cameras 101A and 101B takes smaller values as the pattern image portion is farther from the center of the captured image (optical axis of the camera), as shown in FIG. The peripheral light amount coefficient Qc (w, h) corresponding to each pattern image (w, h) of the pattern image projected on the work surface 601 is the pattern image (w, h) on the work surface 601 and the camera 101A, Using an angle θc (w, h) between a virtual line connecting with 101B and the optical axes of the cameras 101A and 101B, the following equation (2) can be expressed.
Qc (w, h) = Ic / cos 4 θ c (w, h) (2)

本実施形態では、比例定数Icは、カメラ101A,101Bごとに特定される定数であり、予め記憶部に記憶されている。cosθc(w,h)は、上述した処理ステップS4で求めた距離から算出される。よって、カメラ101A,101Bの周辺光量係数Qc(w,h)は、記憶部に記憶されている比例定数Icと処理ステップS4で求めた距離とから算出される(S7)。 In the present embodiment, the proportional constant Ic is a constant specified for each of the cameras 101A and 101B, and is stored in advance in the storage unit. cos 4 θc (w, h) is calculated from the distance obtained in the above-described processing step S4. Therefore, the peripheral light amount coefficient Qc (w, h) of the cameras 101A and 101B is calculated from the proportionality constant Ic stored in the storage unit and the distance obtained in the processing step S4 (S7).

ここで、本実施形態では、各カメラ101A,101Bの光学的特性(撮像画像の周辺部における受光量が少ない)を、プロジェクタ600によって投射するパターン画像における各パターン画像部分(w,h)のパターン条件に反映させる。このとき、本実施形態では、図6に示すように、各カメラ101A,101Bによって撮像される撮像領域の中心部(撮像画像の中心部O’)と、プロジェクタ600によって投射されるパターン画像の中心部Oとが一致しておらず、オフセットしている。そのため、パターン画像上では、図7中右側の三重同心円で示すようなプロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、図7中左側の三重同心円で示すようなカメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とが、図7に示すように重畳する。このオフセット量は、カメラ部100の設置位置(基準位置)とプロジェクタ600の設置位置とのオフセット量(x−x0,y−y0)に相当する。よって、各カメラ101A,101Bの光学的特性を示す周辺光量係数Qc(w,h)は、各パターン画像部分(w,h)のパターン条件に反映させるにあたり、このオフセット量を考慮して、Qc(w+(x−x0),h+(y−y0))と表す。   Here, in the present embodiment, the pattern of each pattern image portion (w, h) in the pattern image projected by the projector 600 is the optical characteristic of each of the cameras 101A and 101B (the amount of light received in the peripheral portion of the captured image is small). Reflect on the conditions. At this time, in the present embodiment, as shown in FIG. 6, the central portion (the central portion O ′ of the imaged image) of the imaging region imaged by each of the cameras 101A and 101B and the center of the pattern image projected by the projector 600 Part O does not match and is offset. Therefore, on the pattern image, the optical characteristics of the projector 600 as indicated by the triple concentric circles on the right side in FIG. 7 (the decrease in the amount of light at the periphery of the pattern image) and the camera 101A as indicated by the triple concentric circles on the left side in FIG. As shown in FIG. 7, the optical characteristics 101 </ b> B (the decrease in the amount of light in the peripheral portion of the captured image) are superimposed. The offset amount corresponds to the offset amount (x−x0, y−y0) between the installation position (reference position) of the camera unit 100 and the installation position of the projector 600. Therefore, the peripheral light amount coefficient Qc (w, h) indicating the optical characteristic of each camera 101A, 101B is Qc in consideration of the offset amount when reflecting it on the pattern condition of each pattern image portion (w, h). It represents as (w + (x-x0), h + (y-y0)).

以上より、本実施形態の初期パターン画像における各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)は、下記の式(3)より求めることができる(S8)。
f1(w,h) = f0(w,h)/Qp(w,h)/Qc(w+(x−x0),h+(y−y0)) ・・・(3)
From the above, the spatial frequency f1 (w, h) for determining the granularity of each pattern image portion (w, h) in the initial pattern image of the present embodiment can be obtained from the following equation (3) (S8).
f1 (w, h) = f0 (w, h) / Qp (w, h) / Qc (w + (x-x 0), h + (y-y 0)) (3)

このようにして、プロジェクタ600の光学的特性である周辺光量係数Qp(w,h)と、カメラ101A,101Bの光学的特性であり周辺光量係数Qc(w,h)とを考慮して、各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)を算出したら、パターン画像生成部502は、各空間周波数f1(w,h)に従って各パターン画像部分(w,h)を作成し、粒度が異なるパターン画像部分をもった初期パターン画像を生成する(S9)。   Thus, in consideration of the peripheral light amount coefficient Qp (w, h) which is an optical characteristic of the projector 600, and the peripheral light amount coefficient Qc (w, h) which is an optical characteristic of the cameras 101A and 101B, After calculating the spatial frequency f1 (w, h) that determines the granularity of the pattern image portion (w, h), the pattern image generation unit 502 determines each pattern image portion (w, h) according to the spatial frequency f1 (w, h). ), And generates an initial pattern image having pattern image portions different in granularity (S9).

なお、本実施形態では、パターン条件として粒度(空間周波数)を採用しているが、粒度に代えて又は粒度とともに、認識処理部300での認識処理精度が改善される別のパターン条件を採用してもよい。例えば、パターン条件としてコントラストを採用する場合、パターン画像生成部502は、上述したように算出した各空間周波数f1(w,h)に従って各パターン画像部分(w,h)のコントラストも決定し、図8に示すような粒度及びコントラストが異なるパターン画像部分をもった初期パターン画像を生成してもよい。   In the present embodiment, the particle size (spatial frequency) is adopted as the pattern condition, but another pattern condition which improves the recognition processing accuracy in the recognition processing unit 300 instead of or together with the particle size is adopted. May be For example, when contrast is adopted as the pattern condition, the pattern image generation unit 502 also determines the contrast of each pattern image portion (w, h) according to each spatial frequency f1 (w, h) calculated as described above. An initial pattern image having pattern image portions different in granularity and contrast as shown in 8 may be generated.

なお、このようにして生成される初期パターン画像は、予め試験等を行って生成しておき、これをパソコン500の記憶部に記憶させておいてもよい。この場合、ロボットピッキングシステムを稼働させる前の初期設定では、記憶部から初期パターン画像を読み出せばよい。   The initial pattern image generated in this manner may be generated by performing a test or the like in advance and stored in the storage unit of the personal computer 500. In this case, in the initial setting before operating the robot picking system, an initial pattern image may be read from the storage unit.

ここで、上述した初期パターン画像は、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とを考慮して、相対的にマッチング精度の低い撮像領域箇所(パターン画像周辺部付近など)に投射されるパターン画像部分の粒度を調整して、当該撮像領域箇所についてのマッチング精度を改善し、適切な視差値が得られない部分の発生を低減している。したがって、上述した初期設定後、この初期パターン画像を固定的に使用するようにしてもよい。   Here, the above-described initial pattern image takes into consideration the optical characteristics of the projector 600 (the decrease in the amount of light at the periphery of the pattern image) and the optical characteristics of the cameras 101A and 101B (the decrease in the amount of light at the periphery of the captured image). And adjust the granularity of the pattern image portion projected on the imaging region location (such as the vicinity of the pattern image) having a relatively low matching accuracy, and improve the matching accuracy for the imaging region location, and the appropriate parallax value To reduce the occurrence of parts that can not be obtained. Therefore, after the above-described initial setting, this initial pattern image may be used in a fixed manner.

しかしながら、プロジェクタ600や各カメラ101A,101Bの光学的特性は、経時的に変化したり、温度や湿度などの環境条件によって変化したりする場合があるので、このような変化によって適切な視差値が得られない部分の発生低減効果が低下してしまうことが起こり得る。また、プロジェクタ600や各カメラ101A,101Bの光学的特性の変化だけでなく、その他の変化(周囲の照明条件の変化など)があった場合も、適切な視差値が得られない部分の発生低減効果が低下してしまうことが起こり得る。そこで、本実施形態では、ロボットピッキングシステムの稼働後、所定の実行タイミングでパターン画像変更処理を実行して、何らかの変化によってマッチング精度が落ちた撮像領域箇所について、その撮像領域箇所のパターン画像部分のパターン条件(粒度等)を調整してマッチング精度を改善する。   However, since the optical characteristics of the projector 600 and the cameras 101A and 101B may change with time or may change depending on environmental conditions such as temperature and humidity, such a change causes an appropriate parallax value to be obtained. It may happen that the effect of reducing the occurrence of the portion that can not be obtained is reduced. Further, not only changes in the optical characteristics of the projector 600 and the cameras 101A and 101B, but also other changes (such as changes in ambient illumination conditions) reduce the occurrence of portions where appropriate parallax values can not be obtained. It may happen that the effect is reduced. Therefore, in the present embodiment, after the robot picking system is operated, pattern image change processing is executed at a predetermined execution timing, and with regard to an imaging area location where the matching accuracy has fallen due to any change, Adjust pattern conditions (grain size etc.) to improve matching accuracy.

以下、本実施形態で実施するパターン画像変更処理について説明する。
図9は、本実施形態における画像パターン変更処理の流れを示すフローチャートである。
本ロボットピッキングシステムの稼働中の所定の実行タイミングが到来したら、まず、パソコン500は、プロジェクタ600を制御して、記憶部に記憶されているパターン画像を作業台面601に向けて投射し(S11)、作業台面601上のワークへパターン画像を表示させる。このときのパターン画像は、過去の画像パターン変更処理で初期パターン画像からの変更がなければ、初期パターン画像が用いられる。その後、カメラ部100の各カメラ101A,101Bに撮像動作を実行させ(S12)、1フレーム分の撮像画像データ(基準画像データと比較画像データ)を得る。この撮像画像データは、画像補正部201A,201Bで補正され、その補正画像データから視差情報算出部202により視差画像データ(視差情報)が生成される(S13)。このようにして生成された視差画像データは、外部I/F203,503を介してパソコン500の視差点数算出部501に送られる。
Hereinafter, pattern image change processing implemented in the present embodiment will be described.
FIG. 9 is a flowchart showing a flow of image pattern change processing in the present embodiment.
When a predetermined execution timing of the robot picking system in operation comes, first, the personal computer 500 controls the projector 600 to project the pattern image stored in the storage unit toward the work bench surface 601 (S11) The pattern image is displayed on the work on the work surface 601. As the pattern image at this time, if there is no change from the initial pattern image in the past image pattern change processing, the initial pattern image is used. Thereafter, each camera 101A, 101B of the camera unit 100 executes an imaging operation (S12) to obtain one frame of captured image data (reference image data and comparison image data). The captured image data is corrected by the image correction units 201A and 201B, and the parallax information calculation unit 202 generates parallax image data (disparity information) from the corrected image data (S13). The parallax image data generated in this manner is sent to the parallax score calculation unit 501 of the personal computer 500 via the external I / Fs 203 and 503.

一方、パソコン500では、その視差画像データに基づく視差画像が表示部に表示され、操作者は、入力部を操作して、視差画像中において有効視差値の数をカウントする指定画像部分を設定する(S14)。このようにして設定される指定画像部分の設定情報は、視差点数算出部501に受け渡される。指定画像部分は、例えば、対象物であるワークを収容する箱の内縁に沿うように設定された矩形状の画像部分とする。有効視差値の数をカウントする指定画像部分は、対象物が映し出される画像部分を含むように設定され、対象物が映し出されていない画像部分をできるだけ排除したものであるのが好ましい。これは、認識処理部300によって認識する対象物(ワーク)以外の画像部分が含まれていると、本来必要としない視差値の数がカウントされてしまい、各パターン画像部分のパターン条件の最適化の妨げになるからである。   On the other hand, in the personal computer 500, a parallax image based on the parallax image data is displayed on the display unit, and the operator operates the input unit to set a designated image portion for counting the number of effective parallax values in the parallax image. (S14). The setting information of the designated image portion set in this manner is delivered to the parallax score calculation unit 501. The designated image portion is, for example, a rectangular image portion set along the inner edge of a box that accommodates a workpiece that is an object. The designated image portion for counting the number of effective parallax values is preferably set so as to include the image portion in which the object is projected, and preferably exclude as much as possible the image portion in which the object is not imaged. This is because, if an image portion other than the target (workpiece) recognized by the recognition processing unit 300 is included, the number of parallax values which is not originally required is counted, and the pattern condition of each pattern image portion is optimized. Because it is an obstacle to

なお、この指定画像部分の形状は、矩形に限らず、円形などの他の形状であってもよい。また、ここでは、パソコン500の操作者が手動で指定画像部分を設定する場合について説明するが、取得した視差画像データに基づいて対象物が映し出されている画像部分を特定して自動的に指定画像部分を設定するようにしてもよい。また、指定画像部分の設定は必須ではなく、視差画像全体について有効視差値の数をカウントするようにしてもよい。   The shape of the designated image portion is not limited to a rectangle, and may be another shape such as a circle. Further, although the case where the operator of the personal computer 500 manually sets the designated image portion is described here, the image portion in which the object is projected is specified and automatically designated based on the acquired parallax image data. An image portion may be set. Further, the setting of the designated image portion is not essential, and the number of effective parallax values may be counted for the entire parallax image.

パソコン500の視差点数算出部501は、外部I/F203,503を介して受け取った視差画像データと、処理ステップS14で設定された指定画像部分の設定情報とに基づき、視差画像上の当該指定画像部分内における有効な視差値の画素数(視差点数)を計測する(S15)。計測した視差点数は、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)に対応づけた状態で、記憶部に保持しておく(S16)。   Based on the parallax image data received through the external I / Fs 203 and 503 and the setting information of the designated image portion set in the processing step S14, the parallax score calculation unit 501 of the personal computer 500 determines the designated image on the parallax image The number of pixels of the effective parallax value (parallax score) in the part is measured (S15). The measured parallax score is stored in the storage unit in a state of being associated with the pattern image (the pattern image projected in the processing step S11) used for measuring the parallax score (S16).

次に、パソコン500の視差点数算出部501は、計測した視差点数が所定の条件を満たすか否かを判断する。具体的には、本実施形態では、指定画像部分の総画素数が作業者の指定で変動するため、指定画像部分の総画素数に対する視差点数の比率(以下「視差点数の占有率」という。)が閾値以上であるか否かを判断する(S17)。この視差点数の占有率が閾値以上であれば(S17のYes)、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)を、以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定する(S20)。   Next, the parallax score calculation unit 501 of the personal computer 500 determines whether the measured parallax score satisfies a predetermined condition. Specifically, in the present embodiment, since the total number of pixels of the specified image portion changes due to the operator's specification, the ratio of the number of parallax points to the total number of pixels of the specified image portion (hereinafter referred to as “occupancy percentage of parallax points”). Is determined whether or not the threshold value or more (S17). If the occupancy rate of the parallax score is equal to or more than the threshold (Yes in S17), the pattern image (pattern image projected in processing step S11) used for measuring the parallax score is used when the robot picking system is operated thereafter It determines as a pattern image (S20).

一方、この視差点数の占有率が閾値未満である場合(S17のNo)、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)とは別のパターン条件で各パターン画像部分を作成した別のパターン画像を生成し(S19)、再び、処理ステップS11〜S17を実行する。   On the other hand, when the occupancy rate of the parallax score is less than the threshold (No in S17), each pattern is generated under the pattern condition different from the pattern image (pattern image projected in processing step S11) used for measuring the parallax score. Another pattern image in which the image portion is created is generated (S19), and the processing steps S11 to S17 are executed again.

本実施形態において、処理ステップS19で生成される別のパターン画像は以下のように生成する。
まず、本パターン画像変更処理で最初に投射したパターン画像の各パターン画像部分における粒度を決定している空間周波数f1(w,h)を基準にして、例えば、その空間周波数f1(w,h)を中央値とする9段階の空間周波数f2(w,h),f3(w,h),f4(w,h),f5(w,h),f1(w,h),f6(w,h),f7(w,h),f8(w,h),f9(w,h)を設定する。具体的には、下記の式(4)により、比例定数Kの値を0.5≦K1≦2の範囲で変更して、空間周波数f2(w,h)〜f9(w,h)を設定する。
f2(w、h)〜f9(w、h) = f1(w,h)×K ・・・(4)
In the present embodiment, another pattern image generated in the processing step S19 is generated as follows.
First, with reference to the spatial frequency f1 (w, h) that determines the granularity of each pattern image portion of the pattern image projected first in the present pattern image changing process, for example, the spatial frequency f1 (w, h) Nine spatial frequencies f 2 (w, h), f 3 (w, h), f 4 (w, h), f 5 (w, h), f 1 (w, h), f 6 (w, h) , F7 (w, h), f8 (w, h), f9 (w, h) are set. Specifically, the spatial frequency f2 (w, h) to f9 (w, h) is set by changing the value of the proportional constant K within the range of 0.5 ≦ K1 ≦ 2 according to the following equation (4) Do.
f2 (w, h)-f9 (w, h) = f1 (w, h) x K (4)

これらの空間周波数f2(w,h)〜f9(w,h)を用いることで、パソコン500のパターン画像生成部502は、各パターン画像部分の粒度が最初に投射したパターン画像のものよりも粗い4種類のパターン画像と、各パターン画像部分の粒度が最初に投射したパターン画像のものよりも細かい4種類のパターン画像とを生成することが可能となる。   By using these spatial frequencies f2 (w, h) to f9 (w, h), the pattern image generation unit 502 of the personal computer 500 makes the granularity of each pattern image portion coarser than that of the first projected pattern image. It becomes possible to generate four types of pattern images and four types of pattern images in which the granularity of each pattern image portion is finer than that of the first projected pattern image.

処理ステップS19では、このようにして設定される空間周波数f2(w,h)〜f9(w,h)のうち、所定の順序(例えば最初に投射したパターン画像の空間周波数に近い順)に従って、パソコン500のパターン画像生成部502が別のパターン画像を生成する。そして、処理ステップS11〜S17を実行し、処理ステップS17において、視差点数の占有率が閾値以上になれば(S17のYes)、当該視差点数の計測に用いられたパターン画像が、以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定される(S20)。   In processing step S19, among the spatial frequencies f2 (w, h) to f9 (w, h) set in this manner, according to a predetermined order (for example, an order closer to the spatial frequency of the first projected pattern image) The pattern image generation unit 502 of the personal computer 500 generates another pattern image. Then, processing steps S11 to S17 are executed, and in the processing step S17, if the occupancy rate of the parallax score becomes equal to or more than the threshold (Yes in S17), the pattern image used for measuring the parallax score is the robot picking thereafter It is determined as a pattern image used at the time of operation of the system (S20).

一方、このようにして生成される別のパターン画像(ここでは8種類)のいずれのパターン画像でも、視差点数の占有率が閾値以上にならない場合(S17のNo)、パターン生成回数が規定値(ここでは8回)に達する(S18のYes)。この場合、合計9種類のパターン画像についての視差点数が、処理ステップS16において、それぞれのパターン画像に対応づけた状態で記憶部に保存されている。よって、当該9種類のパターン画像のうち、視差点数が最も高いパターン画像を特定し、そのパターン画像を以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定する(S20)。   On the other hand, in any pattern image of another pattern image (eight types in this case) generated in this manner, when the occupancy rate of the parallax score does not become equal to or more than the threshold (No in S17), the number of times of pattern generation is a prescribed value ( Here, it reaches 8 times) (Yes in S18). In this case, parallax scores for a total of nine types of pattern images are stored in the storage unit in a state in which they are associated with the respective pattern images in processing step S16. Therefore, among the nine types of pattern images, the pattern image having the highest parallax score is specified, and the pattern image is determined as a pattern image to be used when the robot picking system is operated subsequently (S20).

〔変形例〕
次に、本実施形態における初期パターン画像生成処理の一変形例について説明する。
上述した実施形態では、プロジェクタ600から作業台面601までの距離と、作業台面601からカメラ部100までの距離は、ほぼ等しくなるように配置されていたが、本変形例では、プロジェクタ600から作業台面601までの距離が変動して、図10に示すように、これらの距離が異なっている例である。
[Modification]
Next, a modified example of the initial pattern image generation process in the present embodiment will be described.
In the embodiment described above, the distance from the projector 600 to the work bench surface 601 and the distance from the work bench surface 601 to the camera unit 100 are arranged to be substantially equal, but in this modification, the projector 600 to the work bench surface This is an example in which the distances up to 601 are changed, and as shown in FIG. 10, these distances are different.

図11に示すように、プロジェクタ600から作業台面601までの距離が近いほど、作業台面601上に投射されるパターン画像の大きさが小さく(倍率が小さく)、当該距離が遠いほど、作業台面601上に投射されるパターン画像の大きさが大きく(倍率が大きく)なる。そのため、作業台面601上に投射されるパターン画像において、プロジェクタ600から作業台面601までの距離が近いほど単位面積当たりのパターンは密になり、当該距離が遠いほど単位面積当たりのパターンが粗になる。そして、作業台面601からカメラ部100までの距離に対して、プロジェクタ600から作業台面601までの距離が相対的に変動すると、パターン画像に対する撮像領域の面積比率が変化する。このとき、単位面積あたりのパターン(白黒)の割合(密度)はほとんど変わらないが、パターンの粒度は変わることになる。   As shown in FIG. 11, as the distance from the projector 600 to the work bench surface 601 is shorter, the size of the pattern image projected onto the work bench surface 601 is smaller (the magnification is smaller), and as the distance is longer, the work bench surface 601 The size of the pattern image projected on the top becomes large (the magnification is large). Therefore, in the pattern image projected on the work surface 601, the closer the distance from the projector 600 to the work surface 601 is, the denser the pattern per unit area becomes, and the longer the distance becomes, the rougher the pattern per unit area becomes . When the distance from the projector 600 to the workbench surface 601 is relatively changed with respect to the distance from the workbench surface 601 to the camera unit 100, the area ratio of the imaging region to the pattern image is changed. At this time, although the ratio (density) of the pattern (black and white) per unit area hardly changes, the grain size of the pattern changes.

パターンの粒度は、視差値算出の際のマッチング精度に影響する。具体的には、作業台面601からカメラ部100までの距離が一定である場合、プロジェクタ600から作業台面601までの距離が近いほど粒度を全体的に高く、遠いほど粒度を全体的に低くした方が、マッチング精度が高まり、有効な視差値の数(視差点数)を増える結果、認識処理部300での認識処理精度が高まる。よって、作業台面601からカメラ部100までの距離に対して、プロジェクタ600から作業台面601までの距離が相対的に変動する場合には、その距離に応じて新たなパターン画像を生成することが望ましい。   The granularity of the pattern affects the matching accuracy at the time of parallax value calculation. Specifically, in the case where the distance from the work bench surface 601 to the camera unit 100 is constant, the closer the distance from the projector 600 to the work bench surface 601, the higher the grain size overall, and the farther the grain size is, the farther the distance. However, as the matching accuracy is improved and the number of effective parallax values (parallax points) is increased, the recognition processing accuracy in the recognition processing unit 300 is improved. Therefore, when the distance from the projector 600 to the workbench surface 601 changes relative to the distance from the workbench surface 601 to the camera unit 100, it is desirable to generate a new pattern image according to the distance .

そこで、本変形例における初期画像パターン生成処理では、パターン画像生成部502が最初に処理ステップS1で生成するパターン条件の均一な基準パターン画像の当該パターン条件である空間周波数f0(w,h)を、作業台面601からカメラ部100までの距離に対するプロジェクタ600から作業台面601までの相対的な距離に応じて補正する。   Therefore, in the initial image pattern generation process in the present modification, the spatial frequency f0 (w, h) that is the pattern condition of the uniform reference pattern image of the pattern conditions generated by the pattern image generation unit 502 in the processing step S1 first. The correction is made according to the relative distance from the projector 600 to the workbench surface 601 with respect to the distance from the workbench surface 601 to the camera unit 100.

図12は、本変形例における初期画像パターン生成処理の流れを示すフローチャートである。
本変形例でも、まずは、パターン条件が均一な基準パターン画像を生成して、作業台面601からカメラ部100までの距離や、カメラ部100の設置位置を基準としたプロジェクタ600の相対位置情報を算出する(S1〜S5)。その後、本変形例では、プロジェクタ600の投射最長距離Zmaxと、処理ステップS5で算出されたプロジェクタ600の相対位置情報に基づくプロジェクタ600から作業台面601までの距離Zと、予め決められたパターン生成係数(定数)であるH0とから、下記の式(5)より、補正係数Hを算出する(S21)。
H = (Zmax−Z)/H0 ・・・(5)
FIG. 12 is a flowchart showing the flow of initial image pattern generation processing in the present modification.
Also in the present modification, first, a reference pattern image with uniform pattern conditions is generated, and the relative position information of the projector 600 based on the distance from the work bench surface 601 to the camera unit 100 and the installation position of the camera unit 100 is calculated. (S1 to S5). Thereafter, in the present modification, the distance Z from the projector 600 to the work surface 601 based on the maximum projection distance Zmax of the projector 600 and the relative position information of the projector 600 calculated in the processing step S5, and a predetermined pattern generation coefficient The correction coefficient H is calculated from the following equation (5) from H0 which is a (constant) (S21).
H = (Zmax-Z) / H0 (5)

そして、このようにして求められた補正係数Hを用いて、下記の式(6)より、処理ステップS1で投射した基準パターン画像の空間周波数f0(w,h)を補正して、補正後の空間周波数f’0(w,h)を算出する(S22)。これにより、作業台面601からカメラ部100までの距離に対するプロジェクタ600から作業台面601までの相対的な距離の変動を考慮して補正された基準パターン画像の空間周波数f’0(w,h)を得ることができる。
f’0(w,h) = f0(w,h)×H ・・・(6)
Then, using the correction coefficient H thus determined, the spatial frequency f0 (w, h) of the reference pattern image projected in the processing step S1 is corrected according to the following equation (6), and the corrected frequency H is corrected. The spatial frequency f'0 (w, h) is calculated (S22). Thus, the spatial frequency f'0 (w, h) of the reference pattern image corrected in consideration of the relative distance fluctuation from the projector 600 to the workbench surface 601 with respect to the distance from the workbench surface 601 to the camera unit 100 You can get it.
f'0 (w, h) = f0 (w, h) x H (6)

その後、上述した実施形態と同様、プロジェクタ600の周辺光量係数Qp(w,h)やカメラ101A,101Bの周辺光量係数Qc(w,h)を算出した後(S6,S7)、本実施形態の初期パターン画像における各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)を、下記の式(3’)より求める(S8’)。
f1(w,h) = f’0(w,h)/Qp(w,h)/Qc(w+(x−x0),h+(y−y0)) ・・・(3’)
After that, as in the above-described embodiment, the peripheral light amount coefficient Qp (w, h) of the projector 600 and the peripheral light amount coefficient Qc (w, h) of the cameras 101A and 101B are calculated (S6, S7). A spatial frequency f1 (w, h) for determining the particle size of each pattern image portion (w, h) in the initial pattern image is obtained from the following equation (3 ') (S8').
f1 (w, h) = f'0 (w, h) / Qp (w, h) / Qc (w + (x-x0), h + (y-y0)) (3 ')

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域内のワーク等の対象物を異なる視点からカメラ101A,101B等の複数の撮像手段により撮像した撮像画像に基づいて視差情報算出部202等の視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射するプロジェクタ600等の画像投射手段を有するパターン画像投射装置において、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分(w,h)が異なることを特徴とする。
視差情報を生成するときのマッチング精度を高められる最適なパターン画像は、画像投射手段や撮像手段の光学的特性に応じて異なる。そのため、画像投射手段や撮像手段の光学的特性が撮像領域内の撮像領域箇所に応じて異なる場合、その撮像領域箇所の違いを考慮せずに、撮像領域に投射されるパターン画像の全体を不規則あるいは非周期的な模様からなるパターン画像で構成しても、マッチング精度が相対的に低い地点が局所的に存在してしまう。
本態様においては、画像投射手段及び撮像手段の少なくとも一方についての光学的特性が異なる各撮像領域箇所に応じて異なるパターン画像部分で構成されるパターン画像を、撮像領域に向けて投射することができる。よって、撮像領域内の各撮像領域箇所に対し、それぞれの撮像領域箇所ごとに異なる画像投射手段や撮像手段の光学的特性に適したパターン画像部分を投射することができる。例えば、一部の撮像領域箇所については当該一部の撮像領域箇所に適したパターン画像部分を投射するとともに、他の撮像領域箇所については、当該一部の撮像領域箇所に適したパターン画像部分よりも当該他の撮像領域箇所に適したパターン画像部分を投射することができる。よって、撮像領域内においてマッチング精度の相対的に低い撮像領域箇所を減らす又は無くすことができ、撮像領域内のどの箇所に存在する対象物でも適切な視差情報を得ることが可能となる。
The above-described one is an example, and each mode has the unique effect.
(Aspect A)
Parallax information generation means such as the parallax information calculation unit 202 is based on captured images captured by a plurality of imaging means such as cameras 101A and 101B from different viewpoints of the object such as a work in the imaging area In a pattern image projection apparatus having an image projection means such as a projector 600 for projecting a pattern image toward an imaging region when generating the pattern image, the pattern image is an optical image of at least one of the image projection means and the imaging means. It is characterized in that pattern image portions (w, h) projected onto the respective imaging region portions are different according to the imaging region portions having different characteristics.
The optimal pattern image that can improve the matching accuracy when generating parallax information differs depending on the optical characteristics of the image projection means and the imaging means. Therefore, when the optical characteristics of the image projection means and the imaging means differ depending on the imaging area location in the imaging area, the entire pattern image projected onto the imaging area is not considered without considering the difference in the imaging area location. Even if it comprises the pattern image which consists of a regular or non-periodic pattern, the point with comparatively low matching accuracy will exist locally.
In this aspect, it is possible to project a pattern image composed of different pattern image portions in accordance with each imaging area location where optical characteristics of at least one of the image projection means and the imaging means are different, toward the imaging area. . Therefore, it is possible to project a pattern image portion suitable for the optical characteristics of the image projection unit and the imaging unit which are different for each imaging region location on each imaging region location in the imaging region. For example, for a part of the imaging area part, a pattern image part suitable for the part of the imaging area part is projected, and for the other imaging area parts, a pattern image part suitable for the part of the imaging area part Also, it is possible to project a pattern image portion suitable for the other imaging area portion. Therefore, it is possible to reduce or eliminate the imaging area location with relatively low matching accuracy in the imaging area, and it is possible to obtain appropriate parallax information for any object present in any location in the imaging area.

(態様B)
前記態様Aにおいて、前記パターン画像を生成するパターン画像生成部502等のパターン画像生成手段を有することを特徴とする。
これによれば、当該パターン画像投射装置の使用環境や使用条件などに応じて各パターン画像部分を設定することが可能となり、使用環境や使用条件などに適したパターン画像を生成することができる。
(Aspect B)
The aspect A is characterized by including pattern image generation means such as a pattern image generation unit 502 which generates the pattern image.
According to this, it becomes possible to set each pattern image part according to the use environment, use condition, etc. of the pattern image projection apparatus, and a pattern image suitable for use environment, use condition, etc. can be generated.

(態様C)
前記態様Bにおいて、前記パターン画像生成手段は、前記視差情報生成手段が生成した視差情報に含まれる視差値の数(視差点数)に基づいて前記パターン画像を生成することを特徴とする。
これによれば、視差情報を直接的に評価した結果から各パターン画像部分を設定することが可能となり、対象物において適切な視差情報が得られない部分の発生を有効に低減できるパターン画像を生成することができる。
(Aspect C)
The aspect B is characterized in that the pattern image generation unit generates the pattern image based on the number of parallax values (parallax score) included in the parallax information generated by the parallax information generation unit.
According to this, it becomes possible to set each pattern image portion from the result of directly evaluating the parallax information, and a pattern image can be generated which can effectively reduce the occurrence of a portion where appropriate parallax information can not be obtained in the object. can do.

(態様D)
前記態様B又はCにおいて、前記パターン画像生成手段は、前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離Zに応じて、各パターン画像部分を変更したパターン画像を生成することを特徴とする。
上述した変形例で説明したとおり、撮像手段と対象物との距離に対する画像投射手段と前記対象物との相対距離Zが変動する場合でも、適切なパターン画像を生成することができる。
(Aspect D)
In the aspect B or C, the pattern image generation unit changes the pattern image portion according to the relative distance Z between the image projection unit and the object with respect to the distance between the imaging unit and the object. Generating an image.
As described in the above-described modification, even when the relative distance Z between the image projection unit and the object with respect to the distance between the imaging unit and the object changes, an appropriate pattern image can be generated.

(態様E)
前記態様A〜Dのいずれかの態様において、前記各撮像領域箇所に投射されるパターン画像部分は、パターンの粒度及びコントラストの少なくとも一方が異なることを特徴とする。
これによれば、マッチング精度に対する影響が大きい粒度やコントラストが各パターン画像部分で異なっているパターン画像を撮像領域に向けて投射することができる。
(Aspect E)
In any one of the above aspects A to D, the pattern image portion projected onto each of the imaging region locations is characterized in that at least one of the particle size and the contrast of the pattern is different.
According to this, it is possible to project, toward the imaging region, a pattern image in which the granularity and contrast having a large influence on the matching accuracy are different in each pattern image portion.

(態様F)
前記態様A〜Eのいずれかの態様において、前記画像投射手段についての光学的特性は、該画像投射手段が投射するパターン画像の輝度を含むことを特徴とする。
これによれば、画像投射手段が投射するパターン画像の輝度が撮像領域箇所に応じて異なることにより、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在する場合に、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect F)
In any one of the above aspects A to E, the optical characteristic of the image projection means includes the brightness of a pattern image projected by the image projection means.
According to this, the luminance of the pattern image projected by the image projection means is different depending on the imaging area portion, so that an imaging area portion having a relatively low matching accuracy is present in the imaging region, so that the object is appropriate It is possible to reduce the occurrence of a portion where no proper parallax information can be obtained.

(態様G)
前記態様A〜Fのいずれかの態様において、前記撮像手段についての光学的特性は、該撮像手段が撮像領域から受光する受光量を含むことを特徴とする。
これによれば、撮像手段が撮像領域から受光する受光量が撮像領域箇所に応じて異なることにより、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在する場合に、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect G)
In any one of the above-mentioned aspects A to F, the optical characteristic of the imaging means is characterized in that the imaging means includes an amount of light received from the imaging region.
According to this, when the amount of light received by the imaging unit from the imaging region varies according to the imaging region location, the imaging object region is suitable in the case where the imaging region location with relatively low matching accuracy exists in the imaging region It is possible to reduce the occurrence of a portion where no proper parallax information can be obtained.

(態様H)
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて該対象物の視差情報を生成する視差情報算出部202等の視差情報生成手段と、撮像領域に向けてパターン画像を投射するパソコン500やプロジェクタ600等のパターン画像投射手段とを有する視差情報生成装置において、前記パターン画像投射手段として、前記態様A〜Gのいずれかの態様に係るパターン画像投射装置を用いることを特徴とする。
これによれば、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect H)
Parallax information generation means such as the parallax information calculation unit 202 that generates parallax information of the target object based on captured images captured by a plurality of imaging units from different viewpoints of the target object in the imaging region, and a pattern toward the imaging region In a parallax information generation device having pattern image projection means such as a personal computer 500 or a projector 600 for projecting an image, the pattern image projection device according to any one of the aspects A to G is used as the pattern image projection means. It is characterized by
According to this, it is possible to reduce the occurrence of a portion where appropriate disparity information can not be obtained in the object.

(態様I)
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに画像投射手段が撮像領域に向けて投射するパターン画像を生成するパターン画像生成手段として、コンピュータを機能させるパターン画像生成プログラムであって、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とする。
本態様においては、画像投射手段及び撮像手段の少なくとも一方についての光学的特性が異なる各撮像領域箇所に応じて異なるパターン画像部分で構成されるパターン画像を、撮像領域に向けて投射することができる。よって、撮像領域内の各撮像領域箇所に対し、それぞれの撮像領域箇所ごとに異なる画像投射手段や撮像手段の光学的特性に適したパターン画像部分を投射することができる。例えば、一部の撮像領域箇所については当該一部の撮像領域箇所に適したパターン画像部分を投射するとともに、他の撮像領域箇所については、当該一部の撮像領域箇所に適したパターン画像部分よりも当該他の撮像領域箇所に適したパターン画像部分を投射することができる。よって、撮像領域内においてマッチング精度の相対的に低い撮像領域箇所を減らす又は無くすことができ、撮像領域内のどの箇所に存在する対象物でも適切な視差情報を得ることが可能となる。
(Aspect I)
A pattern projected by the image projection unit toward the imaging region when the parallax information of the object is generated by the parallax information generation unit based on captured images obtained by imaging the object in the imaging region from different viewpoints by a plurality of imaging units It is a pattern image generation program that causes a computer to function as pattern image generation means for generating an image, wherein the pattern image corresponds to an imaging area location where optical characteristics of at least one of the image projection means and the imaging means are different. It is characterized in that the pattern image portions projected onto the respective imaging area portions are different.
In this aspect, it is possible to project a pattern image composed of different pattern image portions in accordance with each imaging area location where optical characteristics of at least one of the image projection means and the imaging means are different, toward the imaging area. . Therefore, it is possible to project a pattern image portion suitable for the optical characteristics of the image projection unit and the imaging unit which are different for each imaging region location on each imaging region location in the imaging region. For example, for a part of the imaging area part, a pattern image part suitable for the part of the imaging area part is projected, and for the other imaging area parts, a pattern image part suitable for the part of the imaging area part Also, it is possible to project a pattern image portion suitable for the other imaging area portion. Therefore, it is possible to reduce or eliminate the imaging area location with relatively low matching accuracy in the imaging area, and it is possible to obtain appropriate parallax information for any object present in any location in the imaging area.

なお、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。   The program can be distributed or obtained in the state of being recorded on a recording medium such as a CD-ROM. This program can also be distributed and obtained by distributing or receiving a signal transmitted by a predetermined transmission device via a transmission medium such as a public telephone line, a dedicated line, or another communication network. Is possible. At the time of this distribution, at least a part of the computer program may be transmitted in the transmission medium. That is, all the data making up the computer program need not be present on the transmission medium at one time. The signal carrying the program is a computer data signal embodied on a predetermined carrier including a computer program. In addition, the transmission method of transmitting a computer program from a predetermined transmission apparatus includes the case of continuously transmitting data constituting the program and the case of intermittently transmitting data.

100 カメラ部
101A,101B カメラ
200 画像処理部
201A,201B 画像補正部
202 視差情報算出部
300 認識処理部
400 ロボットアーム制御部
500 パソコン
501 視差点数算出部
502 パターン画像生成部
600 プロジェクタ
601 作業台面
100 camera unit 101A, 101B camera 200 image processing unit 201A, 201B image correction unit 202 parallax information calculation unit 300 recognition processing unit 400 robot arm control unit 500 personal computer 501 parallax score calculation unit 502 pattern image generation unit 600 projector 601 work surface

特開2001−91232号公報JP, 2001-91232, A

Claims (9)

撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射する画像投射手段を有するパターン画像投射装置において、
前記視差情報生成手段が生成した視差情報に含まれる視差値の数に基づいて前記パターン画像を生成するパターン画像生成手段を有し、
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像投射装置。
An image for projecting a pattern image toward the imaging area when the parallax information of the object is generated by the parallax information generation unit based on captured images obtained by imaging an object in the imaging area from different viewpoints by a plurality of imaging units In a pattern image projection apparatus having projection means,
The pattern image generation unit generates the pattern image based on the number of parallax values included in the parallax information generated by the parallax information generation unit,
The pattern image is characterized in that the pattern image portion projected on each imaging region portion differs according to the imaging region portion where optical characteristics of at least one of the image projection means and the imaging means are different. Projection device.
請求項1に記載のパターン画像投射装置において、
前記パターン画像生成手段は、前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離に応じて、各パターン画像部分を変更したパターン画像を生成することを特徴とするパターン画像投射装置。
In the pattern image projection apparatus according to claim 1 ,
The pattern image generation means generates a pattern image in which each pattern image portion is changed according to a relative distance between the image projection means and the object with respect to the distance between the imaging means and the object. Pattern image projection device.
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射する画像投射手段を有するパターン画像投射装置において、  An image for projecting a pattern image toward the imaging area when the parallax information of the object is generated by the parallax information generation unit based on captured images obtained by imaging an object in the imaging area from different viewpoints by a plurality of imaging units In a pattern image projection apparatus having projection means,
前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離に応じて、各パターン画像部分を変更したパターン画像を生成するパターン画像生成手段を有し、  It has pattern image generation means for generating a pattern image in which each pattern image portion is changed according to the relative distance between the image projection means and the object relative to the distance between the imaging means and the object.
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像投射装置。  The pattern image is characterized in that the pattern image portion projected on each imaging region portion differs according to the imaging region portion where optical characteristics of at least one of the image projection means and the imaging means are different. Projection device.
請求項1乃至3のいずれか1項に記載のパターン画像投射装置において、
前記各撮像領域箇所に投射されるパターン画像部分は、パターンの粒度及びコントラストの少なくとも一方が異なることを特徴とするパターン画像投射装置。
In the pattern image projection apparatus according to any one of claims 1乃Itaru 3,
The pattern image projection device according to claim 1, wherein at least one of the particle size and the contrast of the pattern is different in the pattern image portion projected on each of the imaging region locations.
請求項1乃至4のいずれか1項に記載のパターン画像投射装置において、
前記画像投射手段についての光学的特性は、該画像投射手段が投射するパターン画像の輝度を含むことを特徴とするパターン画像投射装置。
In the pattern image projection apparatus according to any one of claims 1乃Itaru 4,
The optical characteristic of the image projection means includes the brightness of the pattern image projected by the image projection means.
請求項1乃至5のいずれか1項に記載のパターン画像投射装置において、
前記撮像手段についての光学的特性は、該撮像手段が撮像領域から受光する受光量を含むことを特徴とするパターン画像投射装置。
In the pattern image projection apparatus according to any one of claims 1乃Itaru 5,
The optical characteristic of the image pickup means includes an amount of light received by the image pickup means from an image pickup area.
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて該対象物の視差情報を生成する視差情報生成手段と、
撮像領域に向けてパターン画像を投射するパターン画像投射手段とを有する視差情報生成装置において、
前記パターン画像投射手段として、請求項1乃至6のいずれか1項に記載のパターン画像投射装置を用いることを特徴とする視差情報生成装置。
Parallax information generating means for generating parallax information of the object based on captured images obtained by imaging the object in the imaging area from different viewpoints by a plurality of imaging devices;
In a parallax information generating device including: pattern image projection means for projecting a pattern image toward an imaging region;
The pattern as the image projection unit, the disparity information generating apparatus characterized by using a pattern image projection apparatus according to any one of claims 1乃optimum 6.
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに画像投射手段が撮像領域に向けて投射するパターン画像を生成するパターン画像生成手段として、コンピュータを機能させるパターン画像生成プログラムであって、
前記パターン画像生成手段は、前記視差情報生成手段が生成した視差情報に含まれる視差値の数に基づいて前記パターン画像を生成し、
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像生成プログラム。
A pattern projected by the image projection unit toward the imaging region when the parallax information of the object is generated by the parallax information generation unit based on captured images obtained by imaging the object in the imaging region from different viewpoints by a plurality of imaging units It is a pattern image generation program that causes a computer to function as pattern image generation means for generating an image.
The pattern image generation unit generates the pattern image based on the number of parallax values included in the parallax information generated by the parallax information generation unit,
The pattern image is characterized in that the pattern image portion projected on each imaging region portion differs according to the imaging region portion where optical characteristics of at least one of the image projection means and the imaging means are different. Generator.
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに画像投射手段が撮像領域に向けて投射するパターン画像を生成するパターン画像生成手段として、コンピュータを機能させるパターン画像生成プログラムであって、  A pattern projected by the image projection unit toward the imaging region when the parallax information of the object is generated by the parallax information generation unit based on captured images obtained by imaging the object in the imaging region from different viewpoints by a plurality of imaging units It is a pattern image generation program that causes a computer to function as pattern image generation means for generating an image.
前記パターン画像生成手段は、前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離に応じて、各パターン画像部分を変更したパターン画像を生成し、  The pattern image generation unit generates a pattern image in which each pattern image portion is changed according to a relative distance between the image projection unit and the object with respect to the distance between the imaging unit and the object.
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像生成プログラム。  The pattern image is characterized in that the pattern image portion projected on each imaging region portion differs according to the imaging region portion where optical characteristics of at least one of the image projection means and the imaging means are different. Generator.
JP2015140571A 2015-07-14 2015-07-14 Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program Expired - Fee Related JP6548076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015140571A JP6548076B2 (en) 2015-07-14 2015-07-14 Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015140571A JP6548076B2 (en) 2015-07-14 2015-07-14 Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program

Publications (2)

Publication Number Publication Date
JP2017020971A JP2017020971A (en) 2017-01-26
JP6548076B2 true JP6548076B2 (en) 2019-07-24

Family

ID=57888572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015140571A Expired - Fee Related JP6548076B2 (en) 2015-07-14 2015-07-14 Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program

Country Status (1)

Country Link
JP (1) JP6548076B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838225B2 (en) 2017-09-20 2021-03-03 日立Astemo株式会社 Stereo camera
WO2020262389A1 (en) * 2019-06-28 2020-12-30 キヤノン株式会社 Measurement apparatus, imaging apparatus, measurement system, control method, and program
JP7083014B2 (en) * 2020-12-08 2022-06-09 日立Astemo株式会社 Stereo camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091232A (en) * 1999-09-24 2001-04-06 Sony Corp Three-dimensional shape measuring device and method, and recording medium
JP2011137697A (en) * 2009-12-28 2011-07-14 Canon Inc Illumination apparatus, and measuring system using the illumination system
WO2012144339A1 (en) * 2011-04-19 2012-10-26 三洋電機株式会社 Information acquisition device and object detection device

Also Published As

Publication number Publication date
JP2017020971A (en) 2017-01-26

Similar Documents

Publication Publication Date Title
US10867407B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US10132613B2 (en) Information processing apparatus, method for controlling information processing apparatus, gripping system, and storage medium
US11388375B2 (en) Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target
US10728525B2 (en) Image capturing apparatus, image processing method, and recording medium
US9604363B2 (en) Object pickup device and method for picking up object
US10378877B2 (en) Image processing device, image processing method, and program
CN105551020B (en) A kind of method and device detecting object size
JP2012215394A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
EP3299937B1 (en) Information processing device and information processing method
JP2016109669A (en) Information processing device, information processing method, program
US9990739B1 (en) Method and device for fisheye camera automatic calibration
JP2019215811A (en) Projection system, image processing apparatus, and projection method
WO2022050279A1 (en) Three-dimensional measurement device
JP6548076B2 (en) Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
CN105306922A (en) Method and device for obtaining depth camera reference diagram
US9560250B2 (en) Information processing apparatus, measurement system, control system, light amount determination method and storage medium
WO2020255766A1 (en) Information processing device, information processing method, program, projection device, and information processing system
TW201329426A (en) Camera testing device and test method thereof
JP2001148025A (en) Device and method for detecting position, and device and method for detecting plane posture
JP5633719B2 (en) 3D information measuring apparatus and 3D information measuring method
JP5487946B2 (en) Camera image correction method, camera apparatus, and coordinate transformation parameter determination apparatus
WO2020012707A1 (en) Three-dimensional measurement device and method
US20230162442A1 (en) Image processing apparatus, image processing method, and storage medium
JP4024124B2 (en) POSITIONING DEVICE, METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R151 Written notification of patent or utility model registration

Ref document number: 6548076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees