JP5760220B2 - Distance image camera and method for recognizing surface shape of object using the same - Google Patents
Distance image camera and method for recognizing surface shape of object using the same Download PDFInfo
- Publication number
- JP5760220B2 JP5760220B2 JP2011087325A JP2011087325A JP5760220B2 JP 5760220 B2 JP5760220 B2 JP 5760220B2 JP 2011087325 A JP2011087325 A JP 2011087325A JP 2011087325 A JP2011087325 A JP 2011087325A JP 5760220 B2 JP5760220 B2 JP 5760220B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image camera
- section
- distance image
- surface shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、距離画像カメラおよびこれを用いた対象物の面形状認識方法に関し、特に、様々な形状の箱などが混載されている場合にそれらを分離して認識可能な距離画像カメラおよびこれを用いた対象物の面形状認識方法に関する。 The present invention relates to a distance image camera and a method for recognizing a surface shape of an object using the same, and more particularly to a distance image camera that can separately recognize and recognize a box having various shapes. The present invention relates to a method for recognizing the surface shape of an object used.
従来、距離画像に基づいて面を検出する技術の一例として、正確に床検出を行うことが可能な障害物検出システム及び移動ロボットが提案されている（例えば、特許文献１参照）。 Conventionally, as an example of a technique for detecting a surface based on a distance image, an obstacle detection system and a mobile robot capable of accurately detecting a floor have been proposed (for example, see Patent Document 1).
この特許文献１に記載されているものは、障害物を検出する障害物検出システムであって、距離画像データを生成する距離画像センサと、前記距離画像データに基づいて障害物を検出するデータ処理部とを備え、前記データ処理部は、前記距離画像センサにより生成された距離画像データより得られる反射光強度と、前記距離画像センサによって生成された距離画像データによる距離に基づいて障害物を検出することを特徴とするものである。 What is described in Patent Document 1 is an obstacle detection system for detecting an obstacle, a distance image sensor that generates distance image data, and a data process that detects an obstacle based on the distance image data The data processing unit detects an obstacle based on a reflected light intensity obtained from the distance image data generated by the distance image sensor and a distance based on the distance image data generated by the distance image sensor. It is characterized by doing.
しかしながら、様々な形状の複数の箱（例えば、上側が開口しているコンテナ）などが積み上げられたり並べられたりするなど混載されている場合には、それぞれの箱などの上面形状だけを通常の画像処理における輪郭抽出などで検出することは困難であるため、それぞれの箱を分離して認識することもやはり困難であった。 However, when a plurality of boxes of various shapes (for example, containers with open tops) are stacked or arranged side by side, only the top surface shape of each box or the like is a normal image. Since it is difficult to detect by extracting contours in processing, it is also difficult to recognize each box separately.
従来技術のこのような課題に鑑み、本発明の目的は、様々な形状の箱などが混載されている場合であっても、それらを正確に分離して認識可能な距離画像カメラおよびこれを用いた対象物の面形状認識方法を提供することである。 In view of such problems of the prior art, an object of the present invention is to use a range image camera capable of accurately separating and recognizing a box having various shapes and the like and using the same. The object is to provide a method for recognizing the surface shape of an object.
上記目的を達成するため、本発明の距離画像カメラは、対象物へ向けて光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する撮像部と、前記撮像部によって取得した前記距離画像の各画素の前記距離情報が前記距離画像カメラからの距離を複数に分割した距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計した集計結果が最大であった前記距離区間のいずれかを選択するとともに、そうして選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて前記対象物が前記距離画像カメラに対向している面の形状を認識する画像処理を行う演算制御部とを備えることを特徴とする。 In order to achieve the above object, the range image camera of the present invention includes a light emitting unit that irradiates light toward an object and a measured value of time taken until reflected light of the light emitted from the light emitting unit returns. An imaging unit that acquires a distance image having the calculated distance information for each pixel arranged two-dimensionally, and the distance information of each pixel of the distance image acquired by the imaging unit includes a plurality of distances from the distance image camera. It is determined which one of the distance sections divided into, and selecting any one of the distance sections where the total result obtained by totaling the number of pixels corresponding to the distance information for each distance section is the maximum, Image processing for recognizing the shape of the surface of the object facing the distance image camera is performed based on the two-dimensional arrangement position of the pixels corresponding to the distance information only in the selected distance section. Characterized in that it comprises a calculation control unit.
ここで、前記距離区間の区間幅は一定であってもよい。または、前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させてもよい。 Here, the section width of the distance section may be constant. Alternatively, the section width of the distance section may be changed according to the distance from the distance image camera.
このような構成の距離画像カメラによれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。 According to the range image camera having such a configuration, even when boxes of various shapes are mixedly mounted, only the shape of the surface facing the range image camera can be accurately recognized. Can be accurately separated and individually recognized.
また、本発明の距離画像カメラにおいて、前記演算制御部における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うようにしてもよい。 In the distance image camera of the present invention, the selection of any one of the distance sections in the calculation control unit is performed in two or more stages while changing the way of dividing the distance from the distance image camera into a plurality of distance sections. You may do it.
このような構成の距離画像カメラによれば、距離区間の高精度な絞り込みを迅速に行うことができる。 According to the distance image camera having such a configuration, it is possible to quickly narrow down the distance section with high accuracy.
あるいは、上記目的を達成するため、本発明の距離画像カメラを用いた対象物の面形状認識方法は、前記対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する距離画像取得工程と、前記距離画像カメラからの距離を複数の距離区間に分割するとともに、前記距離画像取得工程で取得した前記距離画像の各画素の前記距離情報が前記距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計する画素数集計工程と、前記複数の距離区間のうちから、前記画素数集計工程で集計した画素数が最大であった前記距離区間を選択する距離区間選択工程と、この距離区間選択工程で選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて、前記対象物が前記距離画像カメラに対向している面の形状を認識する形状認識工程とを含むことを特徴とする。 Alternatively, in order to achieve the above object, the method for recognizing the surface shape of the object using the range image camera of the present invention is based on the measurement value of the time until the reflected light of the light irradiated toward the object returns. A distance image acquisition step of acquiring a distance image having the calculated distance information for each pixel arranged two-dimensionally, and dividing the distance from the distance image camera into a plurality of distance sections, and acquiring in the distance image acquisition step A pixel number counting step for determining which of the distance sections the distance information of each pixel of the distance image corresponds to, and counting the number of pixels corresponding to the distance information for each distance section; A distance section selecting step for selecting the distance section in which the number of pixels counted in the pixel count counting step is the largest, and the distance section selected in the distance section selecting step. Said distance information based on the two-dimensional positions of the corresponding pixels, the object is characterized in that it comprises a said distance image camera recognizes the shape recognizing shape of the surface facing the process.
ここで、前記距離区間の区間幅は一定であってもよい。または、前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させてもよい。 Here, the section width of the distance section may be constant. Alternatively, the section width of the distance section may be changed according to the distance from the distance image camera.
このような構成の距離画像カメラを用いた対象物の面形状認識方法によれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。 According to the method of recognizing the surface shape of the object using the range image camera having such a configuration, even when various shapes of boxes are mixedly mounted, the surface of the surface facing the range image camera is used. Since only the shapes can be accurately recognized, they can be accurately separated and individually recognized.
また、本発明の距離画像カメラを用いた対象物の面形状認識方法において、前記画素数集計工程における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うようにしてもよい。 Further, in the method for recognizing the surface shape of the object using the distance image camera of the present invention, any one of the distance intervals in the pixel count counting step is selected as a distance from the distance image camera to a plurality of distance intervals. You may make it carry out in two steps or more, changing the division | segmentation method.
このような構成の距離画像カメラを用いた対象物の面形状認識方法によれば、距離区間の高精度な絞り込みを迅速に行うことができる。 According to the object surface shape recognition method using the distance image camera having such a configuration, it is possible to quickly narrow down the distance section with high accuracy.
本発明の距離画像カメラおよびこれを用いた対象物の面形状認識方法によれば、様々な形状の箱などが混載されている場合であっても、前記距離画像カメラに対向している面の形状だけを的確に認識できるので、それらを正確に分離して個別に認識することが可能となる。 According to the distance image camera of the present invention and the method for recognizing the surface shape of an object using the same, the surface of the surface facing the distance image camera can be obtained even when various shapes of boxes are mounted together. Since only the shapes can be accurately recognized, they can be accurately separated and individually recognized.
以下、本発明の実施形態を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。図２は、距離画像カメラ１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。
<Schematic configuration of range image camera 10>
FIG. 1 is a block diagram showing a schematic configuration of a range image camera 10 according to an embodiment of the present invention. FIG. 2 is an explanatory diagram showing a case where two slightly elongated rectangular parallelepiped containers 20 that are open on the upper side are placed adjacent to each other as an example of the imaging object of the distance image camera 10.
図１に示すように、距離画像カメラ１０は、コンテナ２０などの撮像対象物へ向けて赤外光を照射する赤外発光ユニット１１と、この赤外発光ユニット１１から照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データを格子状に２次元配置された画素毎に有する距離画像を取得することが可能なイメージセンサ１２と、赤外発光ユニット１１による赤外光の照射（照射強度、照射時間やタイミングなど）、イメージセンサ１２による距離画像の取得などの制御を行うとともに、イメージセンサ１２によって取得された距離画像を読み出して演算処理（詳細は後述）などを行う演算制御ユニット１３（例えば、ＣＰＵ）とを備えている。 As shown in FIG. 1, the range image camera 10 includes an infrared light emitting unit 11 that emits infrared light toward an imaging target such as a container 20, and infrared light emitted from the infrared light emitting unit 11. An image sensor 12 capable of acquiring a distance image calculated for each pixel two-dimensionally arranged in a grid pattern, and infrared light emission; The unit 11 controls the irradiation of infrared light (irradiation intensity, irradiation time, timing, etc.), the acquisition of the distance image by the image sensor 12, and the like, and reads out the distance image acquired by the image sensor 12 to perform the calculation process (details). Is provided with an arithmetic control unit 13 (for example, a CPU) for performing the following.
赤外発光ユニット１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。 Examples of the infrared light emitting unit 11 include, but are not limited to, a light emitting diode and a semiconductor laser that emit infrared light.
イメージセンサ１２としては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。 Examples of the image sensor 12 include a so-called TOF (Time of Flight) sensor, but are not limited thereto.
図３は、距離画像カメラ１０による演算処理の概略を示すフローチャートである。図４は、コンテナ２０などの撮像対象物に対する距離画像カメラ１０の配置例およびこの距離画像カメラ１０からの撮像方向に沿った距離Ｚを分割した距離区間Ｚ0、Ｚ1、・・・、Ｚi-1、Ｚi、・・・の例などを示す概略説明図である。図５は、距離区間毎の画素数の集計例を示すグラフである。図６は、図３のフローチャートのステップＳ８で得られる２値化画像の一例である。 FIG. 3 is a flowchart showing an outline of calculation processing by the distance image camera 10. FIG. 4 shows an example of the arrangement of the distance image camera 10 with respect to the imaging object such as the container 20 and distance sections Z 0 , Z 1 ,..., Z obtained by dividing the distance Z along the imaging direction from the distance image camera 10. i-1, Z i, is a schematic diagram illustrating a like example of .... FIG. 5 is a graph showing an example of counting the number of pixels for each distance section. FIG. 6 is an example of a binarized image obtained in step S8 of the flowchart of FIG.
なお、図３に示す演算処理の前に予めイメージセンサ１２によって距離画像が取得されており、その距離画像の画素は格子状に２次元配置されていて、各画素がＸＹ平面上の位置データｘ、ｙおよび距離Ｚ方向の距離データｚを有するものとしておく（図４参照）。換言すると、各画素はＸ，Ｙ、Ｚの３次元座標系のデータを有している。 Note that a distance image is acquired in advance by the image sensor 12 before the arithmetic processing shown in FIG. 3, and the pixels of the distance image are two-dimensionally arranged in a grid pattern, and each pixel has position data x on the XY plane. , Y and distance data z in the distance Z direction (see FIG. 4). In other words, each pixel has data in a three-dimensional coordinate system of X, Y, and Z.
図３に示すように、まず、演算対象の距離区間Ｚiの近距離側境界を定める近距離側境界値Ｚｍｉｎに０を代入して初期化する（ステップＳ１）。つまり、最初の距離区間Ｚ0の近距離側境界は距離画像カメラ１０に接しているということになる。 As shown in FIG. 3, first, initialization is performed by substituting 0 into the short distance side boundary value Zmin that defines the short distance side boundary of the distance section Z i to be calculated (step S1). That is, the short distance side boundary of the first distance section Z 0 is in contact with the distance image camera 10.
演算対象の距離区間Ｚiの遠距離側境界値Ｚｍａｘの値は、近距離側境界値Ｚｍｉｎと区間幅Ｒ（図４参照）の和として求める（ステップＳ２）。ここでは、区間幅Ｒを一定値としているがこれに限らない。例えば、距離画像カメラ１０からの距離Ｚに応じて区間幅Ｒも変化させてもよい。さらに、複数の距離区間への分割のしかたを変えながら、ステップＳ１〜ステップＳ７による距離区間の選択を２段階またはそれ以上の多段階で行うようにしてもよい。例えば、最初の段階では区間幅Ｒを大きめ（距離区間の分割数としては少なくなる）に設定しておいて複数の距離区間の中からいずれかを選択し、次にその距離区間内だけで距離Ｚをさらに細かく分割すれば（そのときの区間幅Ｒは小さくなる）、結果として距離区間の高精度な絞り込みを迅速に行うことができる。 The value of the long distance side boundary value Zmax of the distance section Z i to be calculated is obtained as the sum of the short distance side boundary value Zmin and the section width R (see FIG. 4) (step S2). Here, the section width R is a constant value, but the present invention is not limited to this. For example, the section width R may be changed according to the distance Z from the distance image camera 10. Further, the selection of the distance section in steps S1 to S7 may be performed in two or more stages while changing the method of division into a plurality of distance sections. For example, in the first stage, the section width R is set to be large (the number of divisions of the distance section is reduced), and one of a plurality of distance sections is selected, and then the distance within that distance section is selected. If Z is further finely divided (the section width R at that time becomes smaller), as a result, it is possible to quickly narrow down the distance section with high accuracy.
そして、予め取得された距離画像の各画素の距離データｚを順に調べ、距離画像遠距離側境界値Ｚｍａｘおよび近距離側境界値Ｚｍｉｎで両側境界が定まる距離区間Ｚi内に該当する距離データｚを有する画素を抽出し、そうして抽出した画素数を集計する（ステップＳ３）。 Then, the distance data z of each pixel of the distance image acquired in advance is examined in order, and the distance data z corresponding to the distance section Z i in which the both-side boundary is determined by the distance image far-side boundary value Zmax and the short-range side boundary value Zmin. Are extracted, and the number of pixels thus extracted is tabulated (step S3).
ここで、抽出した画素数が所定の閾値α（図５を参照して後述）以上であるか否かを判定し（ステップＳ４）、閾値α以上であれば（Ｙｅｓ）次のステップＳ５へ進み、そうでなければ（Ｎｏ）ステップＳ６へ進む。このようにするのは、次のステップＳ５での条件分岐によるピーク検出が単純な大小比較のみで行われるため、該当する画素数自体は極めて少ないものの隣接する距離区間Ｚi-1との間で抽出した画素数に僅かな減少があるだけでそこが誤ってピークと判定されることを防止するためである。 Here, it is determined whether or not the number of extracted pixels is equal to or greater than a predetermined threshold value α (described later with reference to FIG. 5) (step S4). If it is equal to or greater than the threshold value α (Yes), the process proceeds to the next step S5. If not (No), the process proceeds to step S6. This is because the peak detection by conditional branching in the next step S5 is performed only by a simple magnitude comparison, so that the number of corresponding pixels itself is very small but between adjacent distance sections Z i-1. This is to prevent the extracted pixel number from being erroneously determined to be a peak only by a slight decrease.
ステップＳ４で抽出した画素数が閾値α以上だったときは、その画素数が直前の距離区間Ｚi-1（ステップＳ２〜ステップＳ６からなるループ処理で１回前に対象としていた距離区間であって、より近距離側に位置するもの）で抽出されていた画素数より増加しているか否かを判定し（ステップＳ５）、増加していれば（Ｙｅｓ）抽出画素数がまだピークを越えていないと考えられるので次のステップＳ６へ進み、そうでなければ（Ｎｏ）ステップＳ７へ進む。 When the number of pixels extracted in step S4 is greater than or equal to the threshold value α, the number of pixels is the previous distance section Z i-1 (the distance section that was targeted once before in the loop processing consisting of steps S2 to S6). Then, it is determined whether or not the number of extracted pixels is larger than the number of extracted pixels (step S5). If the number of pixels is increased (Yes), the number of extracted pixels still exceeds the peak. Since it is thought that there is not, it progresses to the following step S6, and if not (No), it progresses to step S7.
ステップＳ４の判定でＮｏだったか、または、ステップＳ５の判定でＹｅｓだったときは、次のループで演算対象とする距離区間Ｚiを遠距離側に移動させるため、近距離側境界値Ｚｍｉｎの値に一定値Ｓを加える（ステップＳ６）。なお、この一定値ＳはステップＳ２で用いる区間幅Ｒと同一値としてもよい。 If the determination in step S4 is No, or if the determination in step S5 is Yes, the distance section Z i to be calculated in the next loop is moved to the far distance side. A constant value S is added to the value (step S6). The constant value S may be the same value as the section width R used in step S2.
ステップＳ４の判定でＹｅｓであり、かつ、ステップＳ５の判定でＮｏだったときは、抽出画素数がちょうどピークを越えたばかりと考えられるので、抽出画素数がピークであった直前の距離区間Ｚi-1を選択する（ステップＳ７）。 If the determination in step S4 is Yes and the determination in step S5 is No, it is considered that the number of extracted pixels has just exceeded the peak, so the distance interval Z i immediately before the number of extracted pixels was the peak. -1 is selected (step S7).
以上のようなステップＳ１〜ステップＳ７によって選択される距離区間を「距離区間Ｚｓ」と呼ぶことにすると、この距離区間Ｚｓでは抽出画素数がピークであったのであり、つまり、通常は全距離区間の中で抽出画素数が最大値となっているはずである。例えば、距離区間毎の抽出画素数が図５に示すような場合であれば、距離区間Ｚ14（距離区間番号：１４）で抽出画素数が最大となっている。次の距離区間Ｚ15での抽出画素数はそれより少ないからステップＳ５における判定がＮｏとなって、ステップＳ７において直前の距離区間Ｚ14が選択されることになる。ここで、図５における水平線αがステップＳ４で用いられる閾値αに対応している。 If the distance section selected in steps S1 to S7 as described above is referred to as “distance section Zs”, the number of extracted pixels is the peak in this distance section Zs. The number of extracted pixels should be the maximum value. For example, if the number of extracted pixels for each distance section is as shown in FIG. 5, the number of extracted pixels is the largest in the distance section Z 14 (distance section number: 14). Extracting number of pixels in the next distance segment Z 15 is made is determined from less than that in the step S5 and No, so that the distance interval Z 14 immediately before is selected in step S7. Here, the horizontal line α in FIG. 5 corresponds to the threshold value α used in step S4.
そして、選択された距離区間Ｚｓ内に該当する距離データｚを有する画素を抽出し、それらの画素が有するＸＹ平面上の位置データｘ、ｙに応じてそれぞれ平面上にプロットすることで、各画素の距離データｚが距離区間Ｚｓ内か否かを示す２値化画像を得ることができる（ステップＳ８）。例えば、抽出された画素の２次元配置位置（画像データの座標）に対応する画像データをすべて０（黒色）にするとともに、それ以外の画像データをすべて１（白色）としてもよい。ただし、２値化画像を得る手法はこれに限るわけではない。 Then, a pixel having distance data z corresponding to the selected distance section Zs is extracted, and each pixel is plotted on a plane according to position data x and y on the XY plane that the pixel has. A binarized image indicating whether or not the distance data z is within the distance section Zs can be obtained (step S8). For example, all the image data corresponding to the two-dimensional arrangement position (the coordinates of the image data) of the extracted pixels may be set to 0 (black), and all other image data may be set to 1 (white). However, the method for obtaining the binarized image is not limited to this.
こうして得られた２値化画像では、例えば、図６に示すように、コンテナ２０などにおける距離画像カメラ１０に対向している上面の形状Ｆ１がほぼ的確に抽出されているものの、それ以外の無関係な部分が誤抽出されて孤立点Ｆ２などとして含まれていることもあり得る。そこで、一般的な画像処理手法、例えば、ラベリング処理やメディアンフィルタなどによって孤立点などを除去する（ステップＳ９）。 In the binarized image obtained in this way, for example, as shown in FIG. 6, the shape F1 of the upper surface of the container 20 or the like facing the distance image camera 10 is almost accurately extracted. It is also possible that a wrong part is erroneously extracted and included as an isolated point F2. Therefore, isolated points and the like are removed by a general image processing method such as a labeling process or a median filter (step S9).
フィルタ処理や孤立点などの除去が行われた後の２値化画像を改めて平面上にプロットすれば、これに基づいてコンテナ２０などの上面形状を的確に認識することができる（ステップＳ１０）。 If the binarized image after the filtering process and the removal of the isolated points are plotted again on the plane, the upper surface shape of the container 20 and the like can be accurately recognized based on this (step S10).
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-mentioned embodiment is only a mere illustration in all points, and should not be interpreted limitedly. The scope of the present invention is indicated by the claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
１０ 距離画像カメラ
１１ 赤外発光ユニット
１２ イメージセンサ
１３ 演算制御ユニット
２０ コンテナ
DESCRIPTION OF SYMBOLS 10 Distance image camera 11 Infrared light emission unit 12 Image sensor 13 Arithmetic control unit 20 Container
Claims (8)
対象物へ向けて光を照射する発光部と、
この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する撮像部と、
前記撮像部によって取得した前記距離画像の各画素の前記距離情報が前記距離画像カメラからの距離を複数に分割した距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計した集計結果が最大であった前記距離区間のいずれかを選択するとともに、そうして選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて前記対象物が前記距離画像カメラに対向している面の形状を認識する画像処理を行う演算制御部と
を備えることを特徴とする距離画像カメラ。 A range image camera,
A light emitting unit that emits light toward the object;
An imaging unit that acquires a distance image for each pixel that is two-dimensionally arranged with distance information calculated from a measurement value of the time until the reflected light of the light emitted from the light emitting unit returns;
The distance information of each pixel of the distance image acquired by the imaging unit corresponds to a distance section obtained by dividing the distance from the distance image camera into a plurality of distances, and the distance information is determined for each distance section. Select one of the distance sections where the total result of totaling the corresponding number of pixels is the maximum, and the distance information corresponds to the two-dimensional arrangement position of the pixels corresponding to only the selected distance section A distance image camera comprising: an arithmetic control unit that performs image processing for recognizing a shape of a surface of the object facing the distance image camera based on the object.
前記距離区間の区間幅は一定であることを特徴とする距離画像カメラ。 The range image camera according to claim 1,
A distance image camera characterized in that a section width of the distance section is constant.
前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させることを特徴とする距離画像カメラ。 The range image camera according to claim 1,
A distance image camera characterized in that a section width of the distance section is changed according to a distance from the distance image camera.
前記演算制御部における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うことを特徴とする距離画像カメラ。 The range image camera according to any one of claims 1 to 3,
A distance image camera characterized in that selection of any one of the distance sections in the arithmetic control unit is performed in two or more stages while changing a method of dividing a distance from the distance image camera into a plurality of distance sections.
前記対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された画素毎に有する距離画像を取得する距離画像取得工程と、
前記距離画像カメラからの距離を複数の距離区間に分割するとともに、前記距離画像取得工程で取得した前記距離画像の各画素の前記距離情報が前記距離区間のいずれに対応するかを判定し、前記距離区間毎に前記距離情報が対応する画素数をそれぞれ集計する画素数集計工程と、
前記複数の距離区間のうちから、前記画素数集計工程で集計した画素数が最大であった前記距離区間を選択する距離区間選択工程と、
この距離区間選択工程で選択された前記距離区間のみに前記距離情報が対応する画素の２次元配置位置に基づいて、前記対象物が前記距離画像カメラに対向している面の形状を認識する形状認識工程と
を含むことを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。 A method for recognizing a surface shape of an object using a range image camera,
A distance image acquisition step of acquiring a distance image having distance information calculated for each pixel two-dimensionally arranged from a measurement value of a time until reflected light of light irradiated toward the object returns;
Dividing the distance from the distance image camera into a plurality of distance sections, determining which of the distance sections corresponds to the distance information of each pixel of the distance image acquired in the distance image acquisition step, A pixel count counting step of counting the number of pixels corresponding to the distance information for each distance section;
A distance section selection step of selecting the distance section in which the number of pixels counted in the pixel count counting step is the maximum from the plurality of distance sections;
A shape in which the object recognizes the shape of the surface facing the distance image camera based on the two-dimensional arrangement position of the pixels corresponding to the distance information only in the distance section selected in the distance section selection step. A method for recognizing a surface shape of an object using a range image camera.
前記距離区間の区間幅は一定であることを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。 In the surface shape recognition method of the object using the range image camera according to claim 5,
A method for recognizing a surface shape of an object using a distance image camera, wherein the distance width of the distance section is constant.
前記距離区間の区間幅を前記距離画像カメラからの距離に応じて変化させることを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。 In the surface shape recognition method of the object using the range image camera according to claim 5,
A method of recognizing a surface shape of an object using a distance image camera, wherein the width of the distance interval is changed according to a distance from the distance image camera.
前記画素数集計工程における前記距離区間のいずれかの選択を、前記距離画像カメラからの距離の複数の距離区間への分割のしかたを変えながら２段階以上で行うことを特徴とする、距離画像カメラを用いた対象物の面形状認識方法。 In the surface shape recognition method of the target object using the range image camera according to any one of claims 5 to 7,
The distance image camera, wherein the selection of any one of the distance sections in the pixel count counting step is performed in two or more stages while changing a method of dividing the distance from the distance image camera into a plurality of distance sections. A method for recognizing the surface shape of an object using the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011087325A JP5760220B2 (en) | 2011-04-11 | 2011-04-11 | Distance image camera and method for recognizing surface shape of object using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011087325A JP5760220B2 (en) | 2011-04-11 | 2011-04-11 | Distance image camera and method for recognizing surface shape of object using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012220366A JP2012220366A (en) | 2012-11-12 |
| JP5760220B2 true JP5760220B2 (en) | 2015-08-05 |
Family
ID=47272028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011087325A Active JP5760220B2 (en) | 2011-04-11 | 2011-04-11 | Distance image camera and method for recognizing surface shape of object using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5760220B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6675061B2 (en) * | 2014-11-11 | 2020-04-01 | パナソニックＩｐマネジメント株式会社 | Distance detecting device and distance detecting method |
| EP3396414A4 (en) | 2015-12-21 | 2019-08-21 | Koito Manufacturing Co., Ltd. | Image acquisition device to be used by vehicle, control device, vehicle equipped with control device or image acquisition device to be used by vehicle, and image acquisition method to be used by vehicle |
| WO2017110414A1 (en) | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | Image acquisition device for vehicles, and vehicle provided with same |
| EP3396413A4 (en) | 2015-12-21 | 2019-08-21 | Koito Manufacturing Co., Ltd. | Image acquisition device for vehicles, control device, vehicle provided with image acquisition device for vehicles and control device, and image acquisition method for vehicles |
| CN108431631A (en) * | 2015-12-21 | 2018-08-21 | 株式会社小糸制作所 | Vehicle image acquiring device, control device, include vehicle image acquiring device or control device vehicle and vehicle image acquiring method |
| WO2020196378A1 (en) * | 2019-03-26 | 2020-10-01 | パナソニックＩｐマネジメント株式会社 | Distance image acquisition method and distance detection device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04169805A (en) * | 1990-11-01 | 1992-06-17 | Matsushita Electric Ind Co Ltd | Measuring apparatus of three-dimensional image |
| JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
| US7224831B2 (en) * | 2004-02-17 | 2007-05-29 | Honda Motor Co. | Method, apparatus and program for detecting an object |
| JP4692159B2 (en) * | 2004-08-31 | 2011-06-01 | パナソニック電工株式会社 | Gesture switch |
| JP4440239B2 (en) * | 2006-08-18 | 2010-03-24 | 富士フイルム株式会社 | Distance image creation method, distance image sensor, and photographing apparatus |
| EP2378310B1 (en) * | 2010-04-15 | 2016-08-10 | Rockwell Automation Safety AG | Time of flight camera unit and optical surveillance system |
-
2011
- 2011-04-11 JP JP2011087325A patent/JP5760220B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012220366A (en) | 2012-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5760220B2 (en) | Distance image camera and method for recognizing surface shape of object using the same | |
| US10692229B2 (en) | Recess detection device, transport device, and recess detecting method | |
| JP5145986B2 (en) | Object detection apparatus and distance measuring method | |
| JP5822255B2 (en) | Object identification device and program | |
| JP6649796B2 (en) | Object state specifying method, object state specifying apparatus, and carrier | |
| US9099005B2 (en) | Environment recognition device and environment recognition method | |
| JP2017151652A (en) | Object state specification method, object state specification apparatus, and conveyance vehicle | |
| US20120207348A1 (en) | Vehicle detection apparatus | |
| JP6369131B2 (en) | Object recognition apparatus and object recognition method | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| CN112070759A (en) | Forklift pallet detection and positioning method and system | |
| KR20140135827A (en) | Shape measuring method and shape measuring device | |
| JP6069938B2 (en) | Pop-up detection device | |
| US20180144498A1 (en) | Position detection device, processing apparatus, and computer program product | |
| US20170358089A1 (en) | Object identifying apparatus | |
| JP2012220479A (en) | Device and method for detecting boundary of imaging-object | |
| JP6431299B2 (en) | Vehicle periphery monitoring device | |
| JP5793055B2 (en) | Platform door safety device | |
| JP5802917B2 (en) | Distance image camera and distance measuring method using the same | |
| WO2019095092A1 (en) | Methods and apparatus for detecting and recognizing graphical character representations in image data using symmetrically-located blank areas | |
| JP2015219166A (en) | Estimation method of existence location of object | |
| Bhowmick et al. | A novel floor segmentation algorithm for mobile robot navigation | |
| US20220297292A1 (en) | Information processing device and information processing method | |
| JP2014025804A (en) | Information acquisition device and object detection device | |
| JP6114572B2 (en) | Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5760220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |