JP4458210B2 - Object detection method - Google Patents

Object detection method Download PDF

Info

Publication number
JP4458210B2
JP4458210B2 JP32221099A JP32221099A JP4458210B2 JP 4458210 B2 JP4458210 B2 JP 4458210B2 JP 32221099 A JP32221099 A JP 32221099A JP 32221099 A JP32221099 A JP 32221099A JP 4458210 B2 JP4458210 B2 JP 4458210B2
Authority
JP
Japan
Prior art keywords
image
pixel
distance
value
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32221099A
Other languages
Japanese (ja)
Other versions
JP2001143078A (en
Inventor
俊充 入江
仁 脇迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP32221099A priority Critical patent/JP4458210B2/en
Publication of JP2001143078A publication Critical patent/JP2001143078A/en
Application granted granted Critical
Publication of JP4458210B2 publication Critical patent/JP4458210B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、少なくとも１つの物体を含む距離画像から物体を検出する物体検出方法に関する。
【０００２】
【従来の技術】
従来、少なくとも１つの物体を含む画像から物体の存在（領域）を検出する方法として、撮像装置から入力された画像である濃淡画像を２値化した２値画像に対し、収縮処理、膨張処理または収縮処理及び膨張処理の併用といった手段を適用する方法が知られている。
例えば、このような収縮処理あるいは膨張処理には、入力画像上の全ての画素に対し、データの存在するところを起点として、画素とオペレータとの論理積（Erosion）を取ることによる画像を収縮させる機能と、論理和（Dilation）を取ることによる画像を膨張させる機能とを有するMathematical Morphologyといった手法が提案されている（例えば、“Image Analysis Using Mathematical Morphology”、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.PAMI-9, No.4, 1987）。
次に、上記のMathematical Morphologyを用いた物体の画像処理の一例を、図６の従来の物体検出方法を示すフローチャートを基に説明する。なお、フローチャートは以下のステップＳＴ２１〜２４で示される。また、図７は物体検出における画像取得手段と対象物との位置関係を表した図である。
まず、ステップＳＴ２１で、撮像装置により被検出対象の物体の濃淡画像を取得する。これは例えば、図７に示すように、画像取得手段６０２としてＣＣＤカメラなどの撮像装置を用いると共に、テーブル６０３上に撮像装置６０２から異なる距離に置かれた第１の対象物６０４、第２の対象物６０５、第３の対象物６０６を、撮像装置６０２によって撮像すると、撮像装置６０２上で各々の対象物６０４、６０５、６０６に対する濃淡画像６０７、６０８、６０９並びにテーブル６０３に対する濃淡画像６１０が取得される。
この場合、第１の対象物６０４と第３の対象物６０６は実際の大きさおよび形状が同じであるものの、撮像装置６０２からの距離が異なるため、撮像装置の濃淡画像上６０１で比較すると、第１の対象物６０４の濃淡画像６０７の方が大きく表される。また、第１の対象物６０４と第２の対象物６０５とで比較すると、実際の大きさおよび形状は第１の対象物６０４の方が大きいが、逆に撮像装置６０２からの距離は第２の対象物６０５の方が近いため、撮像装置の濃淡画像６０１上では二つの対象物６０４、６０５の濃淡画像６０７、６０８とも同じ大きさで表されている。
次にステップＳＴ２２で、濃淡画像６０１を２値化手段（図示せず）で２値化し、２値画像を作成する。この濃淡画像６０１に関する２値化結果を図８に示す。
図８は従来の方法による濃淡画像に関する２値化結果である。７０１は濃淡画像６０１に関する２値画像、７０２は第１の対象物６０４に対する２値画像、７０３は第２の対象物６０５に対する２値画像、７０４が第３の対象物６０６に対する２値画像である。ここで、テーブル６０３に対する濃淡画像６１０は、濃淡画像に関する２値化手段（図示せず）により適当な閾値を設定することで、濃淡画像に関する２値画像７０１上で消去される。
ステップＳＴ２３では、濃淡画像に関する２値画像７０１に対して、濃淡画像に関する収縮処理を行う。ここでは、濃淡画像に関する収縮処理にMathematical Morphologyの論理積（Erosion）を用いる。この論理積には濃淡画像に関するオペレータを用いて行う。濃淡画像に関するオペレータを１画素×ｅ画素とし、ｅを濃淡画像に関する第１の対象物６０４に対する２値画像７０２あるいは濃淡画像に関する第２の対象物６０５に対する２値画像７０３の横幅の画素＋１とする。濃淡画像に関する収縮処理結果を図９に示す。
図９は従来の方法による濃淡画像に関する収縮処理結果である。８０１が濃淡画像に関する収縮処理画像、８０２が濃淡画像に関する第１の対象物６０４に対する収縮処理画像、８０３が濃淡画像に関する第２の対象物６０５に対する収縮処理画像である。このように濃淡画像に関する収縮処理を行うと、濃淡画像に関する２値画像７０１から、第３の対象物６０６に対する２値画像７０４が消去される。
さらにステップＳＴ２４で、濃淡画像に関する収縮処理画像８０１に対して濃淡画像に関する膨張処理を行う。ここでは、濃淡画像に関する膨張処理手段にMathematical Morphologyの論理和（Dilation）を用いる。論理和には濃淡画像に関するオペレータを用いて行う。濃淡画像に関する膨張処理結果を図１０に示す。
図１０は従来の方法による濃淡画像に関する膨張処理結果である。６１１は濃淡画像に関する物体検出画像、９０１は濃淡画像に関する第１の対象物に対する膨張処理画像、９０２は濃淡画像に関する第２の対象物に対する膨張処理画像である。
これより、第１の対象物６０４と第２の対象物６０５を、濃淡画像６０１あるいは濃淡画像に関する２値画像７０１上で検出することができる。
【０００３】
【発明が解決しようとする課題】
ところが、上記の従来技術では、撮像装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であって、互いに大きさおよび形状が異なる物体同士の存在については物体を検出することができるが、互いに大きさおよび形状が同じである物体同士の存在については物体を検出することができないという問題があった。その結果、異なる大きさの物体を同じ大きさの物体と検出してしまう問題が生じた。
そこで、本発明は、画像取得手段からの距離が互いに異なる位置に複数の物体の存在した場合であっても、画像上から互いに大きさおよび形状が同じである物体同士の存在を正しく検出することのできる物体検出方法を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明は、大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得するものである。
【０００５】
【発明の実施の形態】
以下、本発明の実施例を図に基づいて説明する。
図１は、本発明の実施例を示す物体検出方法のフローチャートである。なお、本発明が従来と同じ構成要素についてはその説明を省略し異なる点のみ説明する。
まず、ステップＳＴ１１において、距離計測装置により被検出対象となる物体の距離画像を求める。距離画像は対象物までの距離情報を分布させた画像であり、該距離画像を求めるには例えば、図７に示すように、画像取得手段６０２（撮像装置）に替えてレーザレンジファインダやステレオカメラ等の距離計測装置（６０２）を使用する。この距離計測装置でテーブル６０３上に置かれた第１の対象物６０４、第２の対象物６０５および第３の対象物６０６を計測すると、距離計測装置（６０２）上で各々の対象物６０４、６０５、６０６に対する距離画像を取得できる。
図２は距離計測装置を用いて取得したテーブルおよび各々の対象物のシーンの距離画像である。２０１が距離画像、２０２が第１の対象物６０４に対する距離画像、２０３が第２の対象物６０５に対する距離画像、２０４が第３の対象物６０６に対する距離画像である。距離画像２０１は距離計測装置（６０２）に近い部分ほど白く表現されている。なお、テーブル６０３に対する距離画像は、距離計測装置の計測範囲外のため、距離画像には現れない。
次にステップＳＴ１２で、距離画像２０１を２値化手段（図示せず）で２値化し、２値画像を作成する。
図３はこの距離画像に関する２値化結果を示す。３０１は距離画像に関する２値画像、３０２は距離画像に関する第１の対象物に対する２値画像、３０３は距離画像に関する第２の対象物に対する２値画像、３０４は距離画像に関する第３の対象物に対する２値画像である。
続いてステップＳＴ１３で、距離画像に関する２値画像３０１に対して距離画像に関する収縮処理を行う。
すなわち、距離画像に関する収縮処理で行うMathematical MorphologyのErosionを、オペレータのサイズを距離情報に応じて変更しながら実行するようにしたものである。距離情報は、焦点距離と距離画像の各画素の距離とで構成する。従って、距離画像に関する収縮処理は距離画像に関するオペレータ、焦点距離、各画素の距離データを入力として、オペレータのサイズを各画素の距離に応じて変更しながらErosionを行う。距離画像に関するオペレータを１画素×ｄ画素とし、ｄを距離画像に関する第３の対象物に対する２値画像３０４の横幅の画素＋１とする。ここで、焦点距離は距離画像２０１を取得する際の距離計測装置の焦点距離でｆとする。また、各画素の距離データは距離画像２０１の各画素の距離値でｈ（ｉ，ｊ）とする。ｈ（ｉ，ｊ）は、画素（ｉ，ｊ）に対する距離値である。距離画像に関する収縮処理手段では、以下の式のようにオペレータのサイズを決定する。
【０００６】
【数１】

Figure 0004458210
【０００７】
ここで、ｒは調整率で、ｄの大きさを調整する定数である。ｄ'（ｉ，ｊ）は距離画像２０１の各画素で演算されるオペレータサイズである。図４にこのオペレータを用いて行ったErosionによる収縮処理結果を示す。
４０１が距離画像に関する収縮処理画像、４０２が距離画像に関する第１の対象物に対する収縮処理画像、４０３が距離画像に関する第３の対象物に対する収縮処理画像である。第２の対象物６０５は距離計測装置に近いため、すなわち、ｈ（ｉ，ｊ）が小さいため、ｄ'（ｉ，ｊ）が大きくなり、Erosionの結果、距離画像に関する２値画像３０１から消えてしまう。第３の対象物６０６は距離計測装置から遠いため、すなわち、ｈ（ｉ，ｊ）が大きいため、ｄ'（ｉ，ｊ）が小さくなり、Erosionの結果、距離画像に関する２値画像３０１から残る。
さらにステップＳＴ１４で、距離画像に関する収縮処理画像４０１に対して膨張処理を行うが、ここではオペレータサイズは式（１）による演算によって決定する。図５にこのオペレータを用いて行ったDilationによる膨張処理結果を示す。
１０７は距離画像に関する物体検出画像、５０１は距離画像に関する第１の対象物に対する膨張処理画像、５０２が距離画像に関する第３の対象物に対する膨張処理画像である。
このように第１の対象物６０４と第３の対象物６０６とが距離画像あるいは距離画像に関する２値画像上で検出できる。
したがって、本発明の実施例は、上記のような方法にしたので、距離測定装置から互いに距離が異なる位置に置かれた複数の物体が存在する場合であっても、大きさおよび形状が同じである物体同士の存在を正しく検出することができる。これにより、異なる大きさの物体を同じ大きさの物体と誤って検出してしまう問題は全く生じない。
なお、本実施例では、大きさおよび形状の異なる物体の存在を検出することを目的として、距離画像に関する２値画像に対し、収縮処理、さらに膨張処理を施した方法について説明したが、膨張処理を行わずに収縮処理だけを用いた方法でも構わない。
【０００８】
【発明の効果】
以上説明したように、本発明によれば、距離画像あるいは距離画像の２値画像に対し、距離画像の焦点距離および各画素の距離データに応じてサイズを決定できるオペレータを用いたMathematical Morphologyによる収縮処理あるいは膨張処理あるいは収縮処理及び膨張処理を行うようにしたので、距離の異なる位置に、大きさ及び形状が同じ物体が置かれていても、画像上から正しく物体の存在を検出することができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の実施例を示す物体検出方法のフローチャートである。
【図２】 本発明の実施例により取得された距離画像である。
【図３】 本発明の実施例により取得された距離画像の２値化結果である。
【図４】 本発明の実施例により取得された距離画像に関する収縮処理結果である。
【図５】 本発明の実施例により取得された距離画像に関する膨張処理結果である。
【図６】 従来の物体検出方法を示すフローチャート図である。
【図７】 従来の物体検出方法による撮像装置と対象物の位置関係を表した図である。
【図８】 従来の方法による濃淡画像に関する２値化結果である。
【図９】 従来の方法による濃淡画像に関する収縮処理結果である。
【図１０】 従来の方法による濃淡画像に関する膨張処理結果である。
【符号の説明】
２０１ 距離画像
２０２ 第１の対象物に対する距離画像
２０３ 第２の対象物に対する距離画像
２０４ 第３の対象物に対する距離画像
２０５ 距離画像に関する物体検出画像
３０１ 距離画像に関する２値画像
３０２ 距離画像に関する第１の対象物に対する２値画像
３０３ 距離画像に関する第２の対象物に対する２値画像
３０４ 距離画像に関する第３の対象物に対する２値画像
４０１ 距離画像に関する収縮処理画像
４０２ 距離画像に関する第１の対象物に対する収縮処理画像
４０３ 距離画像に関する第３の対象物に対する収縮処理画像
５０１ 距離画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
５０２ 距離画像に関する第３の対象物に対する膨張処理画像(物体検出画像)
６０１ 濃淡画像
６０２ 画像取得手段
６０３ テーブル
６０４ 第１の対象物
６０５ 第２の対象物
６０６ 第３の対象物
６０７ 第１の対象物に対する濃淡画像
６０８ 第２の対象物に対する濃淡画像
６０９ 第３の対象物に対する濃淡画像
６１０ テーブルに対する濃淡画像
６１１ 濃淡画像に関する物体検出画像
７０１ 濃淡画像に関する２値画像
７０２ 濃淡画像に関する第１の対象物に対する２値画像
７０３ 濃淡画像に関する第２の対象物に対する２値画像
７０４ 濃淡画像に関する第３の対象物に対する２値画像
８０１ 濃淡画像に関する収縮処理画像
８０２ 濃淡画像に関する第１の対象物に対する収縮処理画像
８０３ 濃淡画像に関する第２の対象物に対する収縮処理画像
９０１ 濃淡画像に関する第１の対象物に対する膨張処理画像(物体検出画像)
９０２ 濃淡画像に関する第２の対象物に対する膨張処理画像(物体検出画像)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object detection method for detecting an object from a distance image including at least one object.
[0002]
[Prior art]
Conventionally, as a method for detecting the presence (region) of an object from an image including at least one object, a shrinkage process, an expansion process, or a binary image obtained by binarizing a grayscale image that is an image input from an imaging device is used. A method of applying means such as a combination of shrinkage treatment and expansion treatment is known.
For example, in such contraction processing or expansion processing, the image is contracted by taking the logical product (Erosion) of the pixel and the operator from the place where the data exists for all the pixels on the input image. Methods such as Mathematical Morphology that have functions and functions to expand images by taking a dilation have been proposed (eg “Image Analysis Using Mathematical Morphology”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. .PAMI-9, No.4, 1987).
Next, an example of image processing of an object using the above Mathematical Morphology will be described based on a flowchart showing a conventional object detection method in FIG. In addition, a flowchart is shown by the following steps ST21-24. FIG. 7 is a diagram showing the positional relationship between the image acquisition means and the object in object detection.
First, in step ST21, a grayscale image of an object to be detected is acquired by the imaging device. For example, as shown in FIG. 7, an imaging device such as a CCD camera is used as the image acquisition unit 602, and the first object 604 and the second object 604 placed at different distances from the imaging device 602 on the table 603. When the object 605 and the third object 606 are imaged by the imaging device 602, gray images 607, 608, 609 for the respective objects 604, 605, 606 and a gray image 610 for the table 603 are acquired on the imaging device 602. Is done.
In this case, although the first object 604 and the third object 606 have the same actual size and shape, but the distance from the imaging device 602 is different, when compared on the grayscale image 601 of the imaging device, The grayscale image 607 of the first object 604 is shown larger. Further, when the first object 604 and the second object 605 are compared, the actual size and shape of the first object 604 are larger, but conversely, the distance from the imaging device 602 is the second. Since the target object 605 is closer, the gray images 607 and 608 of the two objects 604 and 605 are represented by the same size on the gray image 601 of the imaging apparatus.
Next, in step ST22, the grayscale image 601 is binarized by a binarizing means (not shown) to create a binary image. The binarization result regarding the grayscale image 601 is shown in FIG.
FIG. 8 shows a binarization result relating to a grayscale image by a conventional method. Reference numeral 701 denotes a binary image related to the grayscale image 601, reference numeral 702 denotes a binary image corresponding to the first object 604, reference numeral 703 denotes a binary image corresponding to the second object 605, and reference numeral 704 denotes a binary image corresponding to the third object 606. . Here, the grayscale image 610 corresponding to the table 603 is erased on the binary image 701 relating to the grayscale image by setting an appropriate threshold value by a binarizing means (not shown) relating to the grayscale image.
In step ST23, the shrinkage process related to the grayscale image is performed on the binary image 701 related to the grayscale image. Here, Mathematical Morphology Erosion is used for the shrinkage processing of grayscale images. This logical product is performed using an operator relating to a grayscale image. The operator relating to the grayscale image is 1 pixel × e pixel, and e is the pixel +1 of the horizontal width of the binary image 702 for the first object 604 relating to the grayscale image or the binary image 703 for the second object 605 relating to the grayscale image. . FIG. 9 shows the result of contraction processing regarding a grayscale image.
FIG. 9 shows the result of contraction processing relating to a grayscale image by a conventional method. Reference numeral 801 denotes a contraction processed image related to a grayscale image, 802 denotes a contraction processed image of the first object 604 related to the grayscale image, and 803 denotes a contraction processed image of the second target object 605 related to the grayscale image. When the contraction process related to the grayscale image is performed in this way, the binary image 704 corresponding to the third object 606 is deleted from the binary image 701 related to the grayscale image.
Further, in step ST24, expansion processing relating to the grayscale image is performed on the contraction processed image 801 relating to the grayscale image. Here, Mathematical Morphology's Dilation is used as a dilation processing method for grayscale images. The logical sum is performed using an operator relating to a grayscale image. FIG. 10 shows the result of the expansion process related to the grayscale image.
FIG. 10 shows the result of expansion processing relating to a grayscale image by a conventional method. Reference numeral 611 denotes an object detection image related to a grayscale image, 901 denotes an expansion processing image for the first object related to the grayscale image, and 902 denotes an expansion processing image for the second target related to the grayscale image.
Thus, the first object 604 and the second object 605 can be detected on the gray image 601 or the binary image 701 related to the gray image.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional technology, there are a plurality of objects placed at positions different from each other from the imaging device, and the object can be detected for the presence of objects having different sizes and shapes. However, there is a problem that the objects cannot be detected for the existence of objects having the same size and shape. As a result, there arises a problem that objects of different sizes are detected as objects of the same size.
Therefore, the present invention correctly detects the presence of objects having the same size and shape from the image even when there are a plurality of objects at different distances from the image acquisition means. It is an object to provide an object detection method capable of performing
[0004]
[Means for Solving the Problems]
To solve the above problems, the present invention is, in the object detecting apparatus for detecting an object size and shape is to be detected from the same or different objects, including the object of the object to be detected by the distance measuring device means for obtaining a distance image obtained by the distribution of the distance information to a plurality of objects of the means for creating a binary image by binarizing the binarizing means the output distance image, the created For each pixel that is a calculation target of the binary image related to the distance image, an initial value of a calculation pixel range that is logically calculated is set to one of the objects to be detected in the binary image. The value d obtained by adding 1 to the number of pixels in the width direction of the region to be shown is set to a range of 1 pixel × d pixels, and as the distance information of each pixel to be calculated is larger, the value d is set to a smaller value. The smaller the distance information, The value d is set to a large value, the calculation pixel range is changed for each pixel to be calculated, and the calculation pixel range is applied to each pixel to be calculated and the pixels in the calculation pixel range small means for performing a preparative Ru contraction processing a logical product, to the shrinkage treatment by acquired contraction-processed image, the value d as the distance information is larger for each pixel to be the operation target and The value d is set to a larger value as the distance information is smaller, and the calculation pixel range is changed for each pixel to be calculated, and the calculation pixel range is applied to each pixel to be calculated. run the Rise Zhang process that collected the logical sum of the pixels in the arithmetic pixel range Te, and acquires the object detection image.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a flowchart of an object detection method showing an embodiment of the present invention. It should be noted that the description of the same components as those of the prior art will be omitted, and only different points will be described.
First, in step ST11, a distance image of an object to be detected is obtained by a distance measuring device. The distance image is an image in which distance information to the object is distributed. To obtain the distance image, for example, as shown in FIG. 7, a laser range finder or a stereo camera is used instead of the image acquisition unit 602 (imaging device). A distance measuring device (602) is used. When the first object 604, the second object 605, and the third object 606 placed on the table 603 are measured by the distance measuring device, each object 604 is displayed on the distance measuring device (602). Distance images for 605 and 606 can be acquired.
FIG. 2 shows a table acquired using a distance measuring device and a distance image of each object scene. 201 is a distance image, 202 is a distance image with respect to the first object 604, 203 is a distance image with respect to the second object 605, and 204 is a distance image with respect to the third object 606. In the distance image 201, the portion closer to the distance measuring device (602) is expressed in white. The distance image for the table 603 does not appear in the distance image because it is outside the measurement range of the distance measuring device.
Next, in step ST12, the distance image 201 is binarized by a binarizing means (not shown) to create a binary image.
FIG. 3 shows the binarization result regarding this distance image. 301 is a binary image related to the distance image, 302 is a binary image related to the first object related to the distance image, 303 is a binary image related to the second object related to the distance image, and 304 is related to the third object related to the distance image. It is a binary image.
Subsequently, in step ST <b> 13, contraction processing related to the distance image is performed on the binary image 301 related to the distance image.
In other words, Mathematical Morphology Erosion, which is performed by shrinking the distance image, is executed while changing the size of the operator according to the distance information. The distance information is composed of the focal length and the distance of each pixel of the distance image. Accordingly, in the contraction process related to the distance image, the operator, the focal length, and the distance data of each pixel regarding the distance image are input, and the erosion is performed while changing the size of the operator according to the distance of each pixel. The operator related to the distance image is set to 1 pixel × d pixels, and d is set to the horizontal width pixel +1 of the binary image 304 for the third object related to the distance image. Here, the focal length is f which is the focal length of the distance measuring device when the distance image 201 is acquired. Further, the distance data of each pixel is h (i, j) as the distance value of each pixel of the distance image 201. h (i, j) is a distance value for the pixel (i, j). In the contraction processing means for the distance image, the size of the operator is determined as in the following equation.
[0006]
[Expression 1]
Figure 0004458210
[0007]
Here, r is an adjustment rate and is a constant for adjusting the magnitude of d. d ′ (i, j) is an operator size calculated for each pixel of the distance image 201. FIG. 4 shows the result of contraction processing by Erosion performed using this operator.
Reference numeral 401 denotes a contraction-processed image related to the distance image, reference numeral 402 denotes a contraction-processed image related to the first object related to the distance image, and reference numeral 403 denotes a contraction-processed image related to the third object related to the distance image. Since the second object 605 is close to the distance measuring device, i.e., h (i, j) is small, d ′ (i, j) increases, and as a result of Erosion, it disappears from the binary image 301 related to the distance image. End up. Since the third object 606 is far from the distance measuring device, that is, h (i, j) is large, d ′ (i, j) is small, and as a result of Erosion, it remains from the binary image 301 related to the distance image. .
Further, in step ST14, expansion processing is performed on the contraction processing image 401 related to the distance image. Here, the operator size is determined by calculation according to equation (1). FIG. 5 shows the result of expansion processing by Dilation performed using this operator.
107 is an object detection image related to the distance image, 501 is an expansion processing image for the first object related to the distance image, and 502 is an expansion processing image for the third object related to the distance image.
In this way, the first object 604 and the third object 606 can be detected on the distance image or the binary image related to the distance image.
Therefore, since the embodiment of the present invention is based on the above-described method, even when there are a plurality of objects placed at different distances from the distance measuring device, the size and shape are the same. Presence of certain objects can be detected correctly. As a result, there is no problem of erroneously detecting objects of different sizes as objects of the same size.
In the present embodiment, the method of performing the contraction process and the expansion process on the binary image related to the distance image for the purpose of detecting the presence of objects having different sizes and shapes has been described. It is also possible to use a method using only the shrinkage process without performing the above.
[0008]
【The invention's effect】
As described above, according to the present invention, the shrinkage by Mathematical Morphology using the operator that can determine the size of the distance image or the binary image of the distance image according to the focal length of the distance image and the distance data of each pixel. Since processing, expansion processing, contraction processing, and expansion processing are performed, even if objects of the same size and shape are placed at different distances, the presence of the object can be detected correctly on the image. There is an effect.
[Brief description of the drawings]
FIG. 1 is a flowchart of an object detection method showing an embodiment of the present invention.
FIG. 2 is a distance image obtained according to an embodiment of the present invention.
FIG. 3 is a binarization result of a distance image obtained by an embodiment of the present invention.
FIG. 4 is a contraction processing result related to a distance image acquired by an embodiment of the present invention.
FIG. 5 is a result of expansion processing relating to a distance image acquired according to an embodiment of the present invention.
FIG. 6 is a flowchart showing a conventional object detection method.
FIG. 7 is a diagram illustrating a positional relationship between an imaging apparatus and a target according to a conventional object detection method.
FIG. 8 is a binarization result related to a grayscale image by a conventional method.
FIG. 9 is a contraction processing result related to a grayscale image by a conventional method.
FIG. 10 is a result of expansion processing relating to a grayscale image according to a conventional method.
[Explanation of symbols]
201 Distance image 202 Distance image for first object 203 Distance image 204 for second object Distance image 204 for third object 205 Object detection image 301 for distance image Binary image 302 for distance image First image for distance image Binary image 303 for the target object Binary image 304 for the second target object for the distance image Binary image 401 for the third target object for the distance image 402 Shrinkage processed image 402 for the distance image for the first target object for the distance image Shrinkage processing image 403 Shrinkage processing image 501 for the third object regarding the distance image Expansion processing image (object detection image) for the first object regarding the distance image
502 Expansion processing image (object detection image) for the third object related to the distance image
601 Gray image 602 Image acquisition means 603 Table 604 First object 605 Second object 606 Third object 607 Gray image 608 for the first object Gray image 609 for the second object Third object Gray image for object 610 Gray image for table 611 Object detection image 701 for gray image Binary image 702 for gray image Binary image 703 for first object for gray image Binary image 704 for second object for gray image Binary image 801 for the third object related to the grayscale image 801 Shrinkage processed image 802 for the grayscale image Shrinkage processed image 803 for the first object related to the grayscale image 901 Shrinkage processed image 901 for the second object related to the grayscale image Expansion image for object 1 (object detection image) )
902 Expansion processing image (object detection image) for second object with respect to grayscale image

Claims (1)

大きさおよび形状が同一若しくは異なる複数の物体から被検出対象となる物体を検出する物体検出装置において、
距離計測装置により前記被検出対象となる物体を含む前記の複数の物体までの距離情報を分布させた距離画像を取得する手段と、
前記出力された距離画像を２値化手段により２値化して２値画像を作成する手段と、
前記作成された距離画像に関する２値画像の演算対象となる各画素に対して、論理演算される演算用画素範囲の初期値を、前記２値画像の中の前記被検出対象となる物体の内の１つを示す領域の幅方向の画素数に１を加算した値ｄを用いて１画素×ｄ画素の範囲とし、
前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理積をとる収縮処理を実行する手段と、
前記収縮処理により取得された収縮処理画像に対して、前記演算対象となる各画素の前記距離情報が大きいほど前記値ｄを小さい値とし、前記距離情報が小さいほど前記値ｄを大きい値として、前記演算対象となる各画素毎に前記演算用画素範囲を変更させ、前記演算対象となる各画素に前記演算用画素範囲をあてはめて前記演算用画素範囲内の画素との論理和を取る膨張処理を実行し、物体検出画像を取得する手段と、を有している
ことを特徴とする物体検出装置。In an object detection apparatus for detecting an object to be detected from a plurality of objects having the same or different sizes and shapes,
Distance means for obtaining a distance image obtained by the distribution of the distance information to a plurality of objects of the containing object to be the object to be detected by the measuring device,
Means for creating a binary image by binarizing the binarizing means the output distance image,
For each pixel that is a calculation target of the binary image related to the created distance image, an initial value of a calculation pixel range that is logically calculated is determined from among the objects that are the detection target in the binary image . A value d obtained by adding 1 to the number of pixels in the width direction of the region indicating one of the above, to obtain a range of 1 pixel × d pixels,
The larger the distance information of each pixel to be calculated, the smaller the value d, and the smaller the distance information, the larger the value d, the calculation pixel range for each pixel to be calculated. was changed, and means for performing a preparative Ru shrinkage process the logical product of the pixels in the arithmetic pixel range by applying the calculation pixel range to each pixel to be the operation target,
Relative to the contraction-processed image obtained by the shrinking treatment, the distance information for each pixel to be the operation target is a small value of the value d larger, as a large value the value d as the distance information is smaller the by changing the basis pixel range for each pixel to be the operation target, that collected the logical sum of the pixels in the arithmetic pixel range by applying the calculation pixel range to each pixel to be the operation target run the Rise Zhang processing, object detection apparatus according to claim <br/> that has a means for acquiring object detection image.
JP32221099A 1999-11-12 1999-11-12 Object detection method Expired - Fee Related JP4458210B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32221099A JP4458210B2 (en) 1999-11-12 1999-11-12 Object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32221099A JP4458210B2 (en) 1999-11-12 1999-11-12 Object detection method

Publications (2)

Publication Number Publication Date
JP2001143078A JP2001143078A (en) 2001-05-25
JP4458210B2 true JP4458210B2 (en) 2010-04-28

Family

ID=18141196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32221099A Expired - Fee Related JP4458210B2 (en) 1999-11-12 1999-11-12 Object detection method

Country Status (1)

Country Link
JP (1) JP4458210B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5802917B2 (en) * 2011-04-06 2015-11-04 オプテックス株式会社 Distance image camera and distance measuring method using the same

Also Published As

Publication number Publication date
JP2001143078A (en) 2001-05-25

Similar Documents

Publication Publication Date Title
CN107316047B (en) Image processing apparatus, image processing method, and storage medium
JP6125188B2 (en) Video processing method and apparatus
JP5975598B2 (en) Image processing apparatus, image processing method, and program
JP6639523B2 (en) Automatic learning image sorting device, automatic learning image sorting method, and automatic learning image sorting program
JP5791475B2 (en) Image processing apparatus, image processing method, and image processing program
JP6570370B2 (en) Image processing method, image processing apparatus, program, and recording medium
JP2009134587A (en) Image processing device
JP2009069866A (en) Three-dimensional shape detecting apparatus
CN113066088A (en) Detection method, detection device and storage medium in industrial detection
JP2008267943A (en) Crack detecting method
JP2009294027A (en) Pattern inspection device and method of inspecting pattern
US10997743B2 (en) Attachable matter detection apparatus
JP4458210B2 (en) Object detection method
JP5157575B2 (en) Defect detection method
JP2004062519A (en) Lane mark detector
JP5264956B2 (en) Two-dimensional code reading apparatus and method
JP2019100937A (en) Defect inspection device and defect inspection method
JPWO2002045021A1 (en) Entropy filter and region extraction method using the filter
JP4863050B2 (en) Color unevenness defect inspection method and apparatus
JP2018092507A (en) Image processing apparatus, image processing method, and program
JP2004145592A (en) Motion vector extraction device, method and program, and its recording medium
JP2010009437A (en) Matching system corresponding to disappearance of pattern and inspection device using the same
JP3175509B2 (en) Road white line detector
JP2005228062A (en) Inspection method and inspection device
JP4274038B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150219

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees