JP5330120B2 - Three-dimensional shape measuring apparatus and semiconductor integrated circuit - Google Patents
Three-dimensional shape measuring apparatus and semiconductor integrated circuit Download PDFInfo
- Publication number
- JP5330120B2 JP5330120B2 JP2009153273A JP2009153273A JP5330120B2 JP 5330120 B2 JP5330120 B2 JP 5330120B2 JP 2009153273 A JP2009153273 A JP 2009153273A JP 2009153273 A JP2009153273 A JP 2009153273A JP 5330120 B2 JP5330120 B2 JP 5330120B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- dimensional shape
- light source
- camera
- measuring apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、光切断法を利用した非接触での三次元形状計測技術に関し、特に、車載環境における周辺監視手段等での利用に適した三次元形状計測装置および当該装置における処理を行う半導体集積回路に適用して有効な技術に関するものである。 The present invention relates to a non-contact three-dimensional shape measurement technique using a light cutting method, and more particularly to a three-dimensional shape measurement device suitable for use in a peripheral monitoring means in a vehicle-mounted environment and a semiconductor integrated for performing processing in the device. The present invention relates to a technology effective when applied to a circuit.
近年、自動車等の車両においては、運転の補助や事故の削減に資するため、車両の周辺物体の存在を認識・検知できるようにする手段が開発・提供されてきている。例えば、車両の後方に設置したカメラで撮像した画像を運転席に設置したモニタに表示することで、車両後退時に運転者によって周辺の障害物等を識別できるようにする後方認識手段などが提供されている。 In recent years, vehicles such as automobiles have been developed and provided with means for recognizing and detecting the presence of objects around the vehicle in order to assist driving and reduce accidents. For example, a rear recognition means is provided that allows an image captured by a camera installed behind the vehicle to be displayed on a monitor installed in the driver's seat so that the driver can identify obstacles in the vicinity when the vehicle is moving backward. ing.
また、車両の周辺物体の情報に基づいて車両が自身の挙動を制御することも可能となるように、車両自身が周辺物体を認識可能とする技術も開発されている。これには、例えば、レーダやセンサ等を用いるものがある。また、カメラを用いた画像処理によって周辺物体の三次元形状を非接触で計測し、車両だけでなく運転者にも周辺物体の形状を認識可能とする手法として、いわゆるステレオカメラ法を用いるものが提案されている。 In addition, a technique has been developed that enables the vehicle itself to recognize the surrounding object so that the vehicle can control its own behavior based on information on the surrounding object of the vehicle. For example, there are those using a radar or a sensor. In addition, there is a method using a so-called stereo camera method as a method for measuring the three-dimensional shape of a peripheral object in a non-contact manner by image processing using a camera and enabling the driver to recognize the shape of the peripheral object as well as the vehicle. Proposed.
ステレオカメラ法では、２つのカメラから撮像された画像に対し、２つのカメラのそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、および２つの画像における点の対応の情報に基づいて、その対応する点の空間での位置を特定することができる。 In the stereo camera method, the imaging characteristics (lens focal length, image center, pixel size, etc.) of each of the two cameras with respect to images taken from the two cameras, the position and orientation of the two cameras, and 2 Based on the information on the correspondence between points in one image, the position of the corresponding point in the space can be specified.
これに関連する技術として、例えば、特開２００４−１９８２１２号公報（特許文献１）には以下のような技術が開示されている。すなわち、移動体が移動中に、光パターン投影手段によって特定平面上に対し所定の光パターンを投影し、撮像手段が撮像した画像の中から、光パターン内の少なくとも四つの特徴点を特徴点抽出手段によって抽出する。移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段によって追跡する。この追跡結果に基づき、移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段ひいては移動体の相対的な位置及び姿勢を特定する。これにより、単一の撮像手段によって２点から撮像した画像に基づいて、ステレオカメラ法により精度の高い画像表示を行うことを可能とする。 As a technique related to this, for example, Japanese Patent Application Laid-Open No. 2004-198212 (Patent Document 1) discloses the following technique. That is, while the moving body is moving, a predetermined light pattern is projected onto a specific plane by the light pattern projecting unit, and at least four feature points in the light pattern are extracted from the image captured by the image capturing unit. Extract by means. The feature points extracted when the moving body moves from the first state to the second state are tracked by the feature point tracking means. Based on the tracking result, the moving state specifying unit specifies the relative position and orientation of the imaging unit and the moving body according to the plane coordinates of the feature points of the images captured in the first and second states. . Thereby, based on the image imaged from 2 points | pieces with the single imaging means, it becomes possible to perform a highly accurate image display by the stereo camera method.
一方、物体の三次元形状を非接触で計測する技術としては、上記のステレオカメラ法の他にスリット光を用いた光切断法も広く用いられている。この方法では、スリット光を対象物に照射し、スリット光の照射方向に対して光軸を所定の角度ずらして配置した単眼カメラで撮像する。撮像されたスリット光の画像データから画像処理によりスリット光の位置を特定し、対象物が存在しない場合のスリット光の位置との差分に基づいて、三角測量の原理により対象物の切断面形状に対応する位置データを求めて三次元形状を計測する。 On the other hand, as a technique for measuring the three-dimensional shape of an object in a non-contact manner, an optical cutting method using slit light is widely used in addition to the stereo camera method described above. In this method, an object is irradiated with slit light, and an image is picked up by a monocular camera arranged with a predetermined angle shifted with respect to the irradiation direction of the slit light. The position of the slit light is specified by image processing from the imaged image data of the slit light, and based on the difference from the position of the slit light when the target is not present, the shape of the cut surface of the target is determined by the principle of triangulation. The corresponding position data is obtained and the three-dimensional shape is measured.
光切断法による三次元形状の計測方法に関連した技術としては種々のものがあり、例えば、特開平１１−１６００５０号公報（特許文献２）には以下のような三次元形状の計測装置が開示されている。すなわち、算出手段のピーク検出部により、各水平走査線上において最大輝度レベルとなる一つの画素位置のみをスリット光の通過位置として処理する。また、算出手段が比較部と更新部とを備えており、一画面分の記憶容量の輝度メモリに対して、既に取り込まれた一つのスリット光画像の上から新たに他のスリット光画像を取り込む。これらにより、測定対象物の表面の反射率の違いや背景光等の輝度の低いノイズを拾うことがなく計測の精度の向上を図ることが可能となり、また、従来のように撮像回数と等しい画面数のメモリを必要とせず、省メモリ化を図ることが可能となる。 There are various techniques related to a method for measuring a three-dimensional shape by the light cutting method. For example, Japanese Patent Application Laid-Open No. 11-160050 (Patent Document 2) discloses the following three-dimensional shape measuring apparatus. Has been. That is, only one pixel position having the maximum luminance level on each horizontal scanning line is processed as a slit light passing position by the peak detecting unit of the calculating means. In addition, the calculation means includes a comparison unit and an update unit, and a new slit light image is newly captured from the already captured one slit light image into the luminance memory having a storage capacity for one screen. . As a result, it is possible to improve the measurement accuracy without picking up low-brightness noise such as differences in the reflectance of the surface of the measurement object and background light, and a screen that is equal to the number of times of imaging as in the past. It is possible to save memory without requiring a number of memories.
自動車等の車両において周辺物体を認識する際に、例えば、車両に設置したカメラで撮像した画像を運転席に設置したモニタに表示するような後方認識手段では、日中であれば運転者が周辺物体をモニタにより視認することが可能である。しかし、夜間の場合は周囲が暗くなり画像も暗くなるため、運転者が周辺物体を視認することが難しい場合がある。これに対して、例えば、カメラを暗視カメラ等にすることはコストが高くなるため車載用途としては適当ではない。同様に、レーダやセンサ等を利用する場合でも、運転者が周辺物体を視認することはできず、またこれらを設置するためのコストも高くなる。 When recognizing a peripheral object in a vehicle such as an automobile, for example, in a rear recognition means that displays an image captured by a camera installed in the vehicle on a monitor installed in the driver's seat, the driver can An object can be visually recognized by a monitor. However, at night, the surroundings become dark and the image becomes dark, so it may be difficult for the driver to visually recognize the surrounding objects. On the other hand, for example, using a night vision camera or the like as a camera is not suitable for in-vehicle use because of high cost. Similarly, even when a radar, a sensor, or the like is used, the driver cannot visually recognize surrounding objects, and the cost for installing them increases.
また、特許文献１において利用されているステレオカメラ法を用いる場合も同様に、夜間の場合は周辺物体を識別することは難しい。また、一般的には周辺物体に対する距離情報を得るために２台のカメラを必要とするため、これを増設することはコストが高くなり、やはり車載用途としては適当ではない。また、特許文献１に記載されているように１台のカメラで行う場合であっても、車両の移動により２点から撮像することが必要であり、車両の停止状態における周辺監視ができない場合がある。 Similarly, when the stereo camera method used in Patent Document 1 is used, it is difficult to identify surrounding objects at night. In general, two cameras are required to obtain distance information with respect to surrounding objects. Therefore, the addition of these cameras increases the cost and is not suitable for in-vehicle use. Moreover, even if it is a case where it carries out with one camera as it describes in patent document 1, it is necessary to image from two points by movement of a vehicle, and the periphery monitoring in the stop state of a vehicle may be impossible. is there.
一方で、上述したような光切断法では、スリット光を照射してその照射位置を特定するため、むしろ夜間など周囲が暗いほうがノイズとなる光が少なく精度良く周辺物体の三次元形状を計測することができる。従って、夜間であっても車両の周辺物体を検知・認識するためには、光切断法を利用することが考えられる。さらに、光切断法では単一のカメラによって計測するため、後方認識用カメラなどの既存の車載カメラを利用することもできる。 On the other hand, in the light cutting method as described above, since the irradiation position is specified by irradiating the slit light, rather, the darker surroundings such as nighttime have less light that causes noise, and the three-dimensional shape of the surrounding object is accurately measured. be able to. Therefore, it is conceivable to use the light cutting method in order to detect and recognize objects around the vehicle even at night. Furthermore, since the light cutting method uses a single camera for measurement, an existing in-vehicle camera such as a rear recognition camera can be used.
ここで、特許文献２などにもあるように、光切断法による三次元形状計測方法では、一般的にスリット光の光源には拡散が少ないレーザ光源が用いられる。従って、この方法を自動車等の車両における周辺監視手段に適用しようとした場合、レーザ光源を車両に搭載して車両周囲を照射する必要がある。しかし、レーザ光源によって車両周囲を照射することには危険性が伴う。また、レーザ光源を新たに搭載することはコスト増となるため、可能な限り新たな装置を車両に設置することなく実装できることが望ましい。 Here, as described in Patent Document 2 and the like, in the three-dimensional shape measuring method by the light cutting method, a laser light source with little diffusion is generally used as the light source of the slit light. Therefore, when this method is to be applied to the periphery monitoring means in a vehicle such as an automobile, it is necessary to mount the laser light source on the vehicle and irradiate the vehicle periphery. However, there is a danger in irradiating the vehicle periphery with a laser light source. Further, since it is costly to newly install a laser light source, it is desirable that a new device can be mounted without being installed in the vehicle as much as possible.
そこで本発明の目的は、低コストで車載環境における周辺監視手段での利用に適した光切断法による三次元形状計測装置および当該装置における処理を行う半導体集積回路を提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 Accordingly, an object of the present invention is to provide a low-cost three-dimensional shape measuring apparatus using an optical cutting method suitable for use in a periphery monitoring means in an in-vehicle environment, and a semiconductor integrated circuit performing processing in the apparatus. The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
本発明の代表的な実施の形態は、三次元形状計測装置および当該装置における処理を行う半導体集積回路などに適用される。前記三次元形状計測装置は、複数の光源の配列からなり、監視領域に対して光を照射する光源列と、前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測するものであって、以下のような特徴を有するものである。 A typical embodiment of the present invention is applied to a three-dimensional shape measuring apparatus and a semiconductor integrated circuit that performs processing in the apparatus. The three-dimensional shape measuring apparatus is composed of an array of a plurality of light sources, images a light source array that irradiates light to a monitoring area, and the monitoring area that is irradiated by the light source array. An image recognition unit having an output camera, an input / output interface for the camera and the light source array, and a CPU, and measures a three-dimensional shape of a three-dimensional object existing in the monitoring area by a light cutting method It has the following characteristics.
すなわち、前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする。 That is, the image recognition unit irradiates the light irradiated from the light source array with an irradiation pattern including a line segment connecting the light source centers of the light emitted from the light sources in the light source array on the irradiation surface. From the image data captured by the camera with respect to the monitoring area irradiated with the pseudo slit light regarded as the slit light, for each pixel line of the image data by the light cutting method, The camera at the irradiation position of the pseudo slit light based on the difference between the irradiation position information of the pseudo slit light estimated based on luminance data and the irradiation pattern when the three-dimensional object does not exist in the monitoring area The cut surface by the pseudo slit light of the three-dimensional object existing in the monitoring area based on the calculated distance information Characterized by measuring the Jo.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
本発明の代表的な実施の形態によれば、光切断法による三次元形状計測において、自動車等の車両での後方認識用等に用いられるカメラを利用し、また、ブレーキランプやバックランプ等に用いられる光源を擬似スリット光として利用することができるため、車両の周辺物体の三次元形状の計測を行う周辺監視手段を低コストで実現することができる。 According to a typical embodiment of the present invention, in a three-dimensional shape measurement by a light cutting method, a camera used for rear recognition in a vehicle such as an automobile is used, and a brake lamp, a back lamp, etc. Since the light source used can be used as pseudo-slit light, it is possible to realize a peripheral monitoring means for measuring the three-dimensional shape of the peripheral object of the vehicle at a low cost.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.
［光切断法による三次元形状計測］
図２は、一般的な光切断法による三次元形状の計測方法の概要について説明する図である。図２において、光源３００から照射された光は、スリット４００によってスリット光４１０とされ、立体物５００に照射されている。精度の高いスリット光４００を得るため、光源３００には拡散の少ないレーザ光源などが用いられる。
[Three-dimensional shape measurement by optical cutting method]
FIG. 2 is a diagram illustrating an outline of a three-dimensional shape measurement method using a general light cutting method. In FIG. 2, the light irradiated from the light source 300 is converted into slit light 410 by the slit 400 and is irradiated to the three-dimensional object 500. In order to obtain the slit light 400 with high accuracy, a laser light source with little diffusion is used as the light source 300.
立体物５００に照射したスリット光を、当該スリット光の照射方向に対して光軸を所定の角度ずらして配置したカメラ２００で撮像する。カメラ画像２１０は、撮像された立体物５００およびスリット光４１０の状態を示している。このカメラ画像２１０の各画素ライン（カメラ画像２１０における点線）を走査し、各画素ラインでのスリット光４１０の照射位置を画像処理により特定する（例えば、特許文献２のように輝度がピークの画素とする）。 The slit light irradiated on the three-dimensional object 500 is imaged by the camera 200 arranged with the optical axis shifted by a predetermined angle with respect to the irradiation direction of the slit light. The camera image 210 shows the state of the captured three-dimensional object 500 and slit light 410. Each pixel line of the camera image 210 (dotted line in the camera image 210) is scanned, and the irradiation position of the slit light 410 in each pixel line is specified by image processing (for example, a pixel having a peak luminance as in Patent Document 2). And).
特定したスリット光４１０の照射位置と、予め保持している立体物５００が存在しない場合のスリット光４１０の照射位置（照射パターン）との差分に基づいて、三角測量の原理により、特定したスリット光４１０の照射位置の光源３００もしくはカメラ２００からの距離、すなわち、立体物５００のスリット光４１０による切断面形状に対応する距離データを算出する。スリット光４１０の照射位置を立体物５００に対して少しずつ変えて走査し、立体物５００の各切断面形状の距離データを同様に算出して集計することで、立体物５００の三次元形状を計測することができる。 Based on the difference between the irradiation position of the specified slit light 410 and the irradiation position (irradiation pattern) of the slit light 410 when the three-dimensional object 500 held in advance does not exist, the slit light specified by the principle of triangulation The distance data corresponding to the distance from the light source 300 or the camera 200 at the irradiation position 410, that is, the cut surface shape of the three-dimensional object 500 by the slit light 410 is calculated. By changing the irradiation position of the slit light 410 little by little with respect to the three-dimensional object 500 and scanning, and calculating the distance data of each cut surface shape of the three-dimensional object 500 in the same manner, the three-dimensional shape of the three-dimensional object 500 is calculated. It can be measured.
なお、スリット光４１０の照射パターンは直線状である必要はない。例えば、曲線状のスリット光４１０であっても、各画素ラインにおいて立体物５００が存在する場合としない場合とのスリット光４１０の位置の差分に基づいて同様に切断面形状を計測することができる。 Note that the irradiation pattern of the slit light 410 need not be linear. For example, even in the case of the curved slit light 410, the cut surface shape can be similarly measured based on the difference in the position of the slit light 410 between the case where the three-dimensional object 500 is present in each pixel line and the case where the solid object 500 is not present. .
ここで、上述した光切断法を自動車等の車両に適用する場合、危険性やコストの観点からレーザ光源を光源として用いることは適当ではない。そこで、車両に一般的に設置されているブレーキランプやバックランプなどの車両外部を照射するランプを光源として用いることを考える。近年、ブレーキランプ等の車載のランプには、消費電力や寿命、輝度、反応速度などの観点から光源としてＬＥＤ（Light Emitting Diode：発光ダイオード）の使用が拡大している。 Here, when the above-described light cutting method is applied to a vehicle such as an automobile, it is not appropriate to use a laser light source as a light source from the viewpoint of danger and cost. Therefore, it is considered to use, as a light source, a lamp that irradiates the outside of the vehicle, such as a brake lamp and a back lamp, which is generally installed in the vehicle. In recent years, in-vehicle lamps such as brake lamps, the use of LEDs (Light Emitting Diodes) as light sources has been expanded from the viewpoint of power consumption, life, brightness, reaction speed, and the like.
図３は、ＬＥＤを光源として単純に対象物に照射した場合の例を示した図である。図３に示すように、光源３２０をＬＥＤとした場合、ＬＥＤの光は拡散するためそのままでは照射光はスリット光とはならない。また、実際にスリットを配置することは、車載のランプとしての用途をなさなくなるため適当ではない。 FIG. 3 is a diagram illustrating an example in which an object is simply irradiated using an LED as a light source. As shown in FIG. 3, when the light source 320 is an LED, the light from the LED diffuses, so that the irradiation light does not become slit light as it is. In addition, it is not appropriate to actually arrange the slit because it will not be used as an in-vehicle lamp.
そこで、本実施の形態では、１つのＬＥＤにつき１つの光源中心があるとし、それを並べたものをスリット光と見立てる。図４は、擬似スリット光の例の概要を説明する図である。図４に示すように、本実施の形態では、光源（ＬＥＤ）を複数並べた配列（光源列）によって対象物を照射することにより、照射面に対して各光源中心を結んだ線分を含む照射パターンで照射するスリット光（擬似スリット光）であるものとして取り扱う。 Therefore, in the present embodiment, it is assumed that there is one light source center for each LED, and the arrangement of the light source centers is regarded as slit light. FIG. 4 is a diagram illustrating an outline of an example of pseudo slit light. As shown in FIG. 4, in the present embodiment, by irradiating the object with an array (light source array) in which a plurality of light sources (LEDs) are arranged, a line segment that connects each light source center to the irradiation surface is included. It is treated as a slit light (pseudo slit light) irradiated with an irradiation pattern.
なお、擬似スリット光についても照射パターンは直線状である必要はない。すなわち、図４における擬似スリット光の各光源中心（および実際の光源の配列）は直線状に並んでいなくてもよく、折れ線や曲線で結ばれる配列であってもよい。また、本実施の形態では、図４や以降の例において光源を縦方向に並べることにより擬似スリット光を縦方向の直線状としているが、横方向や斜め方向等に並べたものであってもよい。 Note that the irradiation pattern of the pseudo slit light does not need to be linear. In other words, the light source centers (and the actual light source array) of the pseudo slit light in FIG. 4 do not have to be arranged in a straight line, but may be an array connected by broken lines or curves. In the present embodiment, the pseudo slit light is formed in a vertical linear shape by arranging the light sources in the vertical direction in FIG. 4 and the following examples, but may be arranged in the horizontal direction, the diagonal direction, or the like. Good.
図１は、上述した擬似スリット光を用いた、本発明の一実施の形態である三次元形状計測装置の構成例の概要を示した図である。三次元形状計測装置１は、画像認識部１００、カメラ２００、複数の光源３２０の配列からなる光源列３１０、光源制御装置３３０とを有する構成となっている。光源列３１０から上述したような擬似スリット光４２０を出力して立体物５００を照射し、照射光をカメラ２００で撮像する。カメラ２００での撮像データ、およびカメラ２００と光源列３１０の相対位置の情報に基づいて、画像認識部１００での演算処理により光切断法によって立体物５００の切断面形状を計測する。 FIG. 1 is a diagram showing an outline of a configuration example of a three-dimensional shape measuring apparatus according to an embodiment of the present invention using the above-described pseudo slit light. The three-dimensional shape measuring apparatus 1 includes an image recognition unit 100, a camera 200, a light source array 310 including an array of a plurality of light sources 320, and a light source control device 330. The pseudo slit light 420 as described above is output from the light source array 310 to irradiate the three-dimensional object 500, and the irradiation light is imaged by the camera 200. Based on the imaging data of the camera 200 and the information on the relative positions of the camera 200 and the light source array 310, the cut surface shape of the three-dimensional object 500 is measured by the light cutting method by the arithmetic processing in the image recognition unit 100.
画像認識部１００は、ＣＰＵ（Central Processing Unit）１１０、カメラインタフェース（Ｉ／Ｆ）１２０、光源インタフェース（Ｉ／Ｆ）１３０を有し、例えば、ＬＳＩ（Large Scale Integration）等の半導体集積回路により実現される。カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０は、それぞれ、カメラ２００および光源制御装置３３０を介した光源列３１０に対する入出力のインタフェースを提供する。ＣＰＵ１１０は、ソフトウェアプログラムの実行により、カメラ２００での撮像データに基づいて光切断法によって立体物５００の切断面形状を計測し、処理結果を出力する。また、カメラＩ／Ｆ１２０および光源Ｉ／Ｆ１３０を介してカメラ２００および光源３２０の動作を制御する。 The image recognition unit 100 includes a CPU (Central Processing Unit) 110, a camera interface (I / F) 120, and a light source interface (I / F) 130, and is realized by a semiconductor integrated circuit such as an LSI (Large Scale Integration), for example. Is done. The camera I / F 120 and the light source I / F 130 provide input / output interfaces to the light source array 310 via the camera 200 and the light source control device 330, respectively. The CPU 110 measures the cut surface shape of the three-dimensional object 500 by the light cutting method based on the image data captured by the camera 200 by executing the software program, and outputs the processing result. In addition, operations of the camera 200 and the light source 320 are controlled via the camera I / F 120 and the light source I / F 130.
カメラ２００は、立体物５００に照射された擬似スリット光４２０を撮像し、撮像データを画像認識部１００に出力する。カメラ２００は、例えば、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラである。光源３２０は、ＬＥＤなどのレーザではない光源であり、複数の光源３２０の配列である光源列３１０が点灯することで擬似スリット光４２０を照射する。光源列３１０を複数列有していてもよい。光源制御装置３３０は、ＣＰＵ１１０からの指示に基づいて光源列３１０の点灯／消灯などを制御する。 The camera 200 images the pseudo slit light 420 irradiated on the three-dimensional object 500 and outputs the image data to the image recognition unit 100. The camera 200 is a digital camera such as a digital still camera or a digital video camera. The light source 320 is a light source that is not a laser such as an LED, and emits the pseudo slit light 420 when the light source array 310 that is an array of the plurality of light sources 320 is turned on. A plurality of light source columns 310 may be provided. The light source control device 330 controls turning on / off of the light source array 310 based on an instruction from the CPU 110.
図５は、本実施の形態の三次元形状計測装置１を車両に適用した場合の例を示した図である。例えば、図１におけるカメラ２００に相当するものとして、後方認識用の車載カメラ２０１が車両２の後方に配置されている。また、図１における光源列３１０および光源制御装置３３０に相当するものとして、複数のＬＥＤを利用したバックランプ３４０を用いている。バックランプ３４０は車両２の左右両側に存在するため、擬似スリット光４２０を左右両側から照射することができる。また、車両２の内部の特定の位置には、図１における画像認識部１００が配置される。 FIG. 5 is a diagram showing an example when the three-dimensional shape measuring apparatus 1 of the present embodiment is applied to a vehicle. For example, as an equivalent to the camera 200 in FIG. 1, an in-vehicle camera 201 for rear recognition is arranged behind the vehicle 2. Further, a back lamp 340 using a plurality of LEDs is used as the light source array 310 and the light source control device 330 in FIG. Since the back lamp 340 exists on both the left and right sides of the vehicle 2, the pseudo slit light 420 can be emitted from both the left and right sides. Further, the image recognition unit 100 in FIG. 1 is arranged at a specific position inside the vehicle 2.
この構成により、車両２の後方の監視領域に存在する立体物５０１について、画像認識部１００がその距離と三次元形状を計測して出力することができ、夜間等であっても車両２の運転席に設置されたモニタ等により運転者が視認することが可能となる。また、事故回避のため立体物５０１の認識によって車両２の挙動を自動的に制御してもよい。 With this configuration, the image recognition unit 100 can measure and output the distance and the three-dimensional shape of the three-dimensional object 501 existing in the monitoring area behind the vehicle 2. It becomes possible for the driver to visually recognize a monitor or the like installed in the seat. Further, the behavior of the vehicle 2 may be automatically controlled by recognizing the three-dimensional object 501 in order to avoid an accident.
図６は、本実施の形態の三次元形状計測装置１における光源の構成例を示した図である。図６の構成は、図５におけるバックランプ３４０等の内部の構成と同等のものであり、その光源としてＬＥＤ３２１を使用している。本実施の形態では、例えば赤色ＬＥＤを使用するものとする。このＬＥＤ３２１を複数（図６の例では１０個）列状に並べたＬＥＤ３２１を複数列（図６の例では８列）有する。 FIG. 6 is a diagram showing a configuration example of a light source in the three-dimensional shape measuring apparatus 1 of the present embodiment. The configuration in FIG. 6 is equivalent to the internal configuration of the back lamp 340 and the like in FIG. 5, and an LED 321 is used as the light source. In the present embodiment, for example, a red LED is used. The LED 321 is arranged in a plurality of rows (10 in the example of FIG. 6) in a row, and the plurality of rows of LEDs 321 (8 in the example of FIG. 6) is provided.
このＬＥＤ列３１１を１列毎に点灯させて（例えば図６の例では、右から２列目のＬＥＤ列３１１が点灯している）、図４に示したような擬似スリット光を生成する。点灯するＬＥＤ列３１１を順次変更することによって擬似スリット光の照射位置を立体物５００上で変更して走査することができる。 The LED rows 311 are turned on for each row (for example, in the example of FIG. 6, the second LED row 311 from the right is turned on), and pseudo slit light as shown in FIG. 4 is generated. By sequentially changing the LED rows 311 to be lit, the irradiation position of the pseudo slit light can be changed and scanned on the three-dimensional object 500.
図７は、擬似スリット光４２０を用いた光切断法による三次元形状の計測方法の概要について説明する図である。図７において、ＬＥＤ列３１１から立体物５００に照射された光は擬似スリット光４２０として取り扱われる。カメラ２００によって撮像したカメラ画像２１０に対して、後述する手法により各画素ラインでの擬似スリット光４２０の照射位置、すなわち光源中心の位置を特定する。擬似スリット光４２０の光源中心の位置が特定された後は、図２で説明したものと同様の手法によって三角測量の原理により立体物５００の切断面形状を計測することができる。 FIG. 7 is a diagram for explaining an outline of a three-dimensional shape measurement method by a light cutting method using the pseudo slit light 420. In FIG. 7, the light emitted from the LED array 311 to the three-dimensional object 500 is handled as pseudo slit light 420. For the camera image 210 captured by the camera 200, the irradiation position of the pseudo slit light 420 in each pixel line, that is, the position of the light source center is specified by a method described later. After the position of the light source center of the pseudo slit light 420 is specified, the cut surface shape of the three-dimensional object 500 can be measured by the principle of triangulation by the same method as that described with reference to FIG.
また、点灯するＬＥＤ列３１１を変更して擬似スリット光４２０の照射位置を変更し、各擬似スリット光４２０について上述した手法により立体物５００の切断面形状を計測して集計することで、立体物５００の三次元形状を計測することができる。 In addition, the LED array 311 to be lit is changed to change the irradiation position of the pseudo slit light 420, and the cut surface shape of the three-dimensional object 500 is measured and totalized for each pseudo slit light 420 by the above-described method. 500 three-dimensional shapes can be measured.
図８は、擬似スリット光４２０を立体物５００に照射したときのカメラ画像２１０における画素ラインの輝度値の例を示した図である。左側のカメラ画像２１０は、ＬＥＤ列３１１から擬似スリット光４２０を立体物５００に照射したものをカメラ２００にて撮像した場合の撮像画像の例を示している。カメラ画像２１０中の点線は撮像データにおける各画素ラインを示している。そのうちの太点線で示される画素ラインを例として、各画素の水平方向の位置とその赤成分の輝度値を示したものが右側の図である。 FIG. 8 is a diagram illustrating an example of the luminance value of the pixel line in the camera image 210 when the three-dimensional object 500 is irradiated with the pseudo slit light 420. The left camera image 210 shows an example of a captured image when the camera 200 captures an image of the three-dimensional object 500 irradiated with the pseudo slit light 420 from the LED array 311. A dotted line in the camera image 210 indicates each pixel line in the imaging data. Taking the pixel line indicated by the bold dotted line as an example, the diagram on the right side shows the horizontal position of each pixel and the luminance value of its red component.
この輝度の分布データに基づいて当該画素ラインにおける擬似スリット光４２０の照射位置（光源中心の位置）を推定する。このとき、特許文献２に記載されているように輝度値がピーク値となる位置を光源中心と推定することも可能である。しかしながら、擬似スリット光４２０ではスリット光４１０と異なり照射光が拡散しているため、輝度のピーク値による推定では誤差が大きくなる。そこで本実施の形態では、図８の右側の図の輝度値の分布が正規分布に従っていると仮定し、輝度の分布を表す正規分布曲線を推定してその中心位置を光源中心と推定する。 Based on the luminance distribution data, the irradiation position (position of the light source center) of the pseudo slit light 420 in the pixel line is estimated. At this time, as described in Patent Document 2, it is possible to estimate the position where the luminance value becomes the peak value as the light source center. However, since the irradiation light is diffused in the pseudo slit light 420 unlike the slit light 410, the error is large in the estimation based on the luminance peak value. Therefore, in the present embodiment, it is assumed that the luminance value distribution in the right side of FIG. 8 follows a normal distribution, a normal distribution curve representing the luminance distribution is estimated, and the center position is estimated as the light source center.
図９は、画素ラインにおける輝度値の分布から正規分布曲線を推定する例を示した図である。本実施の形態では、得られた輝度値のデータから数値解析的に正規分布曲線を推定する手法として、例えば、ＥＭ（Expectation-maximization）アルゴリズムを用いる。 FIG. 9 is a diagram illustrating an example in which a normal distribution curve is estimated from a luminance value distribution in a pixel line. In the present embodiment, for example, an EM (Expectation-maximization) algorithm is used as a technique for estimating a normal distribution curve numerically from the obtained luminance value data.
ＥＭアルゴリズムの詳細については一般に知られているため本明細書では説明を省略するが、確率モデル（本実施の形態では正規分布曲線）のパラメータを反復法により数値解析的に最尤推定するアルゴリズムであり、特に確率モデルが観測できない隠れたパラメータに依存する場合に用いられる。ＥＭアルゴリズムは他の推定手法と比べて良い解に収束し易く、また実装が簡単になることが多く処理速度も基本的に高速であるため有効である。 The details of the EM algorithm are generally known, and will not be described in this specification. However, the algorithm is an algorithm that estimates the maximum likelihood numerically by the iterative method for the parameters of the probability model (normal distribution curve in this embodiment). Yes, especially when the stochastic model depends on hidden parameters that cannot be observed. The EM algorithm is effective because it easily converges to a good solution compared to other estimation methods, is often simple to implement, and the processing speed is basically high.
図９の下図では、上図の輝度値の分布に対してＥＭアルゴリズムを適用して正規分布曲線を推定した場合の例を示している。この正規分布曲線の中心の位置を当該画素ラインでの擬似スリット光４２０の光源中心の位置と推定する。この処理を全画素ラインについて行うことで、擬似スリット光４２０の光源中心の位置を推定することができる。なお、本実施の形態では正規分布曲線を推定する際にＥＭアルゴリズムを用いているが、他のアルゴリズムを用いることも当然可能である。 The lower diagram in FIG. 9 shows an example in which a normal distribution curve is estimated by applying the EM algorithm to the luminance value distribution in the upper diagram. The position of the center of the normal distribution curve is estimated as the position of the light source center of the pseudo slit light 420 in the pixel line. By performing this process for all the pixel lines, the position of the light source center of the pseudo slit light 420 can be estimated. In this embodiment, the EM algorithm is used when estimating the normal distribution curve, but other algorithms can naturally be used.
［実験結果］
以下では、上述した擬似スリット光４２０を用いた光切断法による三次元形状計測手法により、種々の立体物５００の三次元形状を計測する実験を行った結果について説明する。
[Experimental result]
Below, the result of having conducted the experiment which measures the three-dimensional shape of the various three-dimensional object 500 with the three-dimensional shape measurement method by the optical cutting method using the pseudo slit light 420 mentioned above is demonstrated.
図１０は、実験に使用した三次元形状計測装置１の概要を模式的に示した図である。画像認識部１００に対してカメラ２００と光源３２０であるＬＥＤ３２１が接続されている。ＬＥＤ３２１は縦に１０個並べたＬＥＤ列３１１として５列配置されている。ＬＥＤ列３１１は画像認識部１００によって制御されて１列ずつ点灯して擬似スリット光４２０を生成する。また、カメラ２００から出力された撮像データに基づいて画像認識部１００によって三次元形状計測が行われた結果は、図示しないＰＣ等に出力され、ＰＣ等によってグラフ等のデータとして加工されて出力される。 FIG. 10 is a diagram schematically showing an outline of the three-dimensional shape measuring apparatus 1 used in the experiment. An LED 321 that is a camera 200 and a light source 320 is connected to the image recognition unit 100. Five LEDs 321 are arranged as 10 LED rows 311 arranged vertically. The LED rows 311 are controlled by the image recognition unit 100 and are turned on one by one to generate the pseudo slit light 420. Further, the result of the three-dimensional shape measurement performed by the image recognition unit 100 based on the imaging data output from the camera 200 is output to a PC or the like (not shown), processed and output as data such as a graph by the PC or the like. The
実験では、まず、三次元形状計測装置１のＬＥＤ列３１１を１列点灯して対象物を照射する、すなわち、１本の擬似スリット光４２０により対象物を照射する。その照射光をカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法により擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測することで、擬似スリット光４２０による切断面の形状を計測する。 In the experiment, first, one LED row 311 of the three-dimensional shape measuring apparatus 1 is turned on to irradiate the object, that is, the object is irradiated by one pseudo slit light 420. The irradiation light is imaged by the camera 200, and the distance from the camera 200 at the position of the center of the light source of the pseudo slit light 420 is measured by the image recognition unit 100 by the light cutting method based on the imaging data. Measure the shape of the cut surface.
図１１は、板状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して板状の立体物５０２（例えばノート）を傾けて配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０２との間の距離の実測値は約７５ｃｍ（立体物５０２の下部）〜８０ｃｍ（立体物５０２の上部）である。 FIG. 11 is a diagram schematically showing an outline of an experimental environment when the cut surface shape of a plate-shaped three-dimensional object is measured. A plate-like three-dimensional object 502 (for example, a notebook) is inclined with respect to the LED array 311 of the three-dimensional shape measuring apparatus 1 and irradiated with the pseudo slit light 420. At this time, the measured value of the distance between the camera 200 and the three-dimensional object 502 is about 75 cm (lower part of the three-dimensional object 502) to 80 cm (upper part of the three-dimensional object 502).
図１２は、図１１の実験環境により板状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、板状の立体物５０２に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２４０行目の画素ラインおよび２６０行目の画素ラインの輝度値を取得し、それぞれの輝度値の分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。 FIG. 12 is a diagram showing an outline of the measurement result when the cut surface shape of the plate-shaped three-dimensional object is measured in the experimental environment of FIG. The upper left figure shows an outline of the camera image 210 captured by the camera 200, and shows a state in which the pseudo-slit light 420 is irradiated onto the plate-shaped three-dimensional object 502. For this camera image 210 data, for example, the luminance values of the 240th pixel line and the 260th pixel line from the top are acquired, and a normal distribution curve is estimated by applying an EM algorithm to each luminance value distribution. This is shown in the right figure.
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０２までの距離の実測値とは若干の誤差があるが、立体物５０２の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。 A diagram in which a normal distribution curve of luminance values is estimated for each pixel line and the position of the center of the light source (distance from the camera 200) is plotted is shown in the following diagram. In the lower diagram, the pixel line is on the horizontal axis, so the left side of the diagram corresponds to the upper portion of the camera image 210. In addition, the information of the estimated position of the light source center shown in the lower figure is added with a thick line in the upper left camera image 210. As shown in the figure below, although there is a slight error from the measured value of the distance from the camera 200 to the three-dimensional object 502 indicated by the thick line in the figure below, the cut surface shape and distance of the three-dimensional object 502 by the pseudo slit light 420 It can be seen that it is almost possible to identify.
同様に、図１３は、より複雑な形状の立体物の切断面形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対してより複雑な形状の立体物５０３（例えば市販の赤外線ヒーター）を配置し、擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０３との間の距離の実測値は約８５ｃｍである。 Similarly, FIG. 13 is a diagram schematically showing an outline of an experimental environment when the cut surface shape of a three-dimensional object having a more complicated shape is measured. A three-dimensional object 503 having a more complicated shape (for example, a commercially available infrared heater) is arranged on the LED array 311 of the three-dimensional shape measuring apparatus 1 and irradiated with the pseudo slit light 420. At this time, the measured value of the distance between the camera 200 and the three-dimensional object 503 is about 85 cm.
図１４は、図１３の実験環境により複雑な形状の立体物の切断面形状を計測したときの測定結果の概要を示した図である。左上の図は、カメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、複雑な形状の立体物５０３に擬似スリット光４２０が照射された状態を示している。このカメラ画像２１０のデータについて、例えば、上から２００行目の画素ラインおよび２４０行目の画素ラインの輝度値を取得し、それぞれの輝度分布についてＥＭアルゴリズムを適用して正規分布曲線を推定したものが右図に示されている。ここでは図１２の場合と比較して立体物５０３の形状が複雑であることから輝度値のばらつきが大きくなっているが、ＥＭアルゴリズムを適用することにより適切な正規分布曲線が推定できていることが分かる。 FIG. 14 is a diagram showing an outline of measurement results when the cut surface shape of a three-dimensional object having a complicated shape is measured in the experimental environment of FIG. The upper left figure shows an outline of the camera image 210 picked up by the camera 200, and shows a state in which the pseudo slit light 420 is irradiated onto the three-dimensional object 503 having a complicated shape. For this camera image 210 data, for example, the luminance values of the 200th pixel line and the 240th pixel line from the top are acquired, and a normal distribution curve is estimated by applying an EM algorithm to each luminance distribution. Is shown in the right figure. Here, since the shape of the three-dimensional object 503 is more complicated than in the case of FIG. 12, the variation in luminance value is large, but an appropriate normal distribution curve can be estimated by applying the EM algorithm. I understand.
このように各画素ラインについて輝度値の正規分布曲線を推定し、光源中心の位置（カメラ２００からの距離）を推定したものをプロットした図が下図に示されている。下図では画素ラインを横軸としているため、図の左方がカメラ画像２１０での上方に相当する。なお、下図で示された光源中心の推定位置の情報が左上のカメラ画像２１０の図中に太線で追記されている。下図に示されるように、下図中の太線で示されたカメラ２００から立体物５０３までの距離の実測値とは若干の誤差があるが、複雑な形状の立体物５０３の擬似スリット光４２０による切断面形状および距離をほぼ特定できていることが分かる。 A diagram in which a normal distribution curve of luminance values is estimated for each pixel line and the position of the center of the light source (distance from the camera 200) is plotted is shown in the following diagram. In the lower diagram, the pixel line is on the horizontal axis, so the left side of the diagram corresponds to the upper portion of the camera image 210. In addition, the information of the estimated position of the light source center shown in the lower figure is added with a thick line in the upper left camera image 210. As shown in the figure below, although there is a slight error from the measured value of the distance from the camera 200 to the three-dimensional object 503 indicated by the thick line in the figure below, the complicated three-dimensional object 503 is cut by the pseudo slit light 420. It can be seen that the surface shape and distance are almost specified.
次の実験では、三次元形状計測装置１のＬＥＤ列３１１を１列ずつ順次点灯して対象物を照射する、すなわち、異なる擬似スリット光４２０により対象物を照射して走査する。その照射光をそれぞれカメラ２００により撮像し、撮像データに基づいて画像認識部１００によって光切断法によりそれぞれの擬似スリット光４２０の光源中心の位置のカメラ２００からの距離を計測する。本実験では２本の擬似スリット光４２０により走査しているが、実際は走査する擬似スリット光４２０の数をさらに増やすことで対象物の三次元形状をモデリングする。 In the next experiment, the LED rows 311 of the three-dimensional shape measuring apparatus 1 are sequentially turned on one by one to irradiate the target, that is, the target is irradiated with different pseudo slit light 420 and scanned. The irradiated light is respectively imaged by the camera 200, and the distance from the camera 200 at the position of the center of the light source of each pseudo slit light 420 is measured by the image recognition unit 100 by the light cutting method based on the imaging data. In this experiment, scanning is performed by two pseudo slit lights 420, but in reality, the three-dimensional shape of the object is modeled by further increasing the number of pseudo slit lights 420 to be scanned.
図１５は、箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して箱状の立体物５０４を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０４との間の距離の実測値は約６０ｃｍである。 FIG. 15 is a diagram schematically illustrating an outline of an experimental environment when the three-dimensional shape of a box-shaped three-dimensional object is measured. A box-shaped three-dimensional object 504 is arranged on the LED array 311 of the three-dimensional shape measuring apparatus 1, and two pseudo slit lights 420 are individually irradiated from different LED arrays 311. At this time, the measured value of the distance between the camera 200 and the three-dimensional object 504 is about 60 cm.
図１６は、図１５の実験環境により箱状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１６の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、箱状の立体物５０４に擬似スリット光４２０が照射された状態を示している。 FIG. 16 is a diagram showing an outline of measurement results when the three-dimensional shape of the box-shaped three-dimensional object is measured in the experimental environment of FIG. The left diagram in FIG. 16 shows an outline of the camera image 210 captured by the camera 200 for each of the two pseudo slit lights 420, and the box-shaped three-dimensional object 504 is irradiated with the pseudo slit light 420. Shows the state.
図１６の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１６では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。 The right diagram of FIG. 16 plots the result of estimating the position of the light source center by the above-described method for the two pseudo slit lights 420. In FIG. 16, since the pixel line is the vertical axis, the upper side of the figure corresponds to the upper side of the camera image 210. In addition, the information of the estimated position of the light source center shown in the right figure is added to the left camera image 210 by a bold line.
図１６の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、対象物の三次元形状をモデリングすることが可能であることが分かる。 As shown in the diagram on the right side of FIG. 16, the LED array 311 to be irradiated is sequentially switched to irradiate and scan the object with different pseudo slit light 420, and the cut surface shape of the object is set for each pseudo slit light 420. It can be seen that the three-dimensional shape of the object can be modeled by measuring and counting.
同様に、図１７は、階段状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、階段状の立体物５０５（例えば、ずらして積み重ねた本）を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０５との間の距離の実測値は約６０ｃｍである。 Similarly, FIG. 17 is a diagram schematically showing an outline of the experimental environment when the three-dimensional shape of the stepped three-dimensional object is measured. A stepped three-dimensional object 505 (for example, a book stacked in a shifted manner) is arranged on the LED array 311 of the three-dimensional shape measuring apparatus 1, and two pseudo slit lights 420 are individually irradiated from different LED arrays 311. doing. At this time, the measured value of the distance between the camera 200 and the three-dimensional object 505 is about 60 cm.
図１８は、図１７の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図１８の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、階段状の立体物５０５に擬似スリット光４２０が照射された状態を示している。 FIG. 18 is a diagram showing an outline of the measurement result when the three-dimensional shape of the stepped three-dimensional object is measured in the experimental environment of FIG. The diagram on the left in FIG. 18 shows an outline of the camera image 210 captured by the camera 200 for each of the two pseudo slit lights 420, and the pseudo three-dimensional object 505 is irradiated with the pseudo slit light 420. Shows the state.
図１８の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図１８では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。 The right diagram of FIG. 18 plots the result of estimating the position of the light source center by the above-described method for the two pseudo slit lights 420. In FIG. 18, since the pixel line is the vertical axis, the upper part of the figure corresponds to the upper part of the camera image 210. In addition, the information of the estimated position of the light source center shown in the right figure is added to the left camera image 210 by a bold line.
図１８の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、表面形状が複雑な対象物の三次元形状についてもモデリングすることが可能であることが分かる。 As shown in the diagram on the right side of FIG. 18, the LED array 311 to be irradiated is sequentially switched to irradiate and scan the object with different pseudo slit light 420, and the cut surface shape of the object is set for each pseudo slit light 420. By measuring and counting, it can be seen that it is also possible to model a three-dimensional shape of an object having a complicated surface shape.
同様に、図１９は、傾いた箱状の立体物の三次元形状を計測したときの実験環境の概要を模式的に示した図である。三次元形状計測装置１のＬＥＤ列３１１に対して、傾いた箱状の立体物５０６を配置し、異なるＬＥＤ列３１１からそれぞれ個別に２本の擬似スリット光４２０を照射している。このとき、カメラ２００と立体物５０６との間の距離の実測値は約５５ｃｍ（立体物５０６の下部）〜６０ｃｍ（立体物５０６の上部）である。 Similarly, FIG. 19 is a diagram schematically showing the outline of the experimental environment when measuring the three-dimensional shape of a tilted box-shaped three-dimensional object. A tilted box-shaped three-dimensional object 506 is arranged on the LED array 311 of the three-dimensional shape measuring apparatus 1, and two pseudo slit lights 420 are individually irradiated from different LED arrays 311. At this time, the actual measurement value of the distance between the camera 200 and the three-dimensional object 506 is approximately 55 cm (lower part of the three-dimensional object 506) to 60 cm (upper part of the three-dimensional object 506).
図２０は、図１９の実験環境により階段状の立体物の三次元形状を計測したときの測定結果の概要を示した図である。図２０の左の図は、２本の擬似スリット光４２０について、それぞれカメラ２００によって撮像されたカメラ画像２１０の概要を示したものであり、傾いた箱状の立体物５０６に擬似スリット光４２０が照射された状態を示している。 FIG. 20 is a diagram showing an outline of measurement results when the three-dimensional shape of the stepped three-dimensional object is measured in the experimental environment of FIG. The left figure of FIG. 20 shows the outline of the camera image 210 captured by the camera 200 for each of the two pseudo slit lights 420. The pseudo slit light 420 is applied to the inclined box-shaped three-dimensional object 506. The irradiated state is shown.
図２０の右の図は、２本の擬似スリット光４２０に対して、それぞれ上述した手法により光源中心の位置を推定した結果をプロットしている。図２０では画素ラインを縦軸としているため、図の上方がカメラ画像２１０での上方に相当する。なお、右の図で示された光源中心の推定位置の情報が左のカメラ画像２１０の図中にそれぞれ太線で追記されている。 The right figure of FIG. 20 plots the result of estimating the position of the light source center for each of the two pseudo slit lights 420 by the method described above. In FIG. 20, since the pixel line is the vertical axis, the upper part of the figure corresponds to the upper part of the camera image 210. In addition, the information of the estimated position of the light source center shown in the right figure is added to the left camera image 210 by a bold line.
図２０の右の図に示されるように、照射するＬＥＤ列３１１を順次切り換えて異なる擬似スリット光４２０によって対象物を照射して走査し、各擬似スリット光４２０についてそれぞれ対象物の切断面形状を計測して集計することにより、奥行きのある対象物の三次元形状についてもモデリングすることが可能であることが分かる。 As shown in the diagram on the right side of FIG. 20, the LED array 311 to be irradiated is sequentially switched to irradiate and scan the object with different pseudo slit light 420, and the cut surface shape of the object for each pseudo slit light 420 is changed. It can be seen that it is possible to model a three-dimensional shape of a deep object by measuring and counting.
なお、以上に示した各実験の結果のカメラ画像２１０においては、擬似スリット光４２０が直接照射されていない領域や、照射されていても対象物がない領域では輝度が低くなっている。これらの領域における画素ラインで推定された擬似スリット光４２０の光源中心の位置は、輝度が低いことにより誤推定が生じ、画素ライン毎にばらつきが大きくなっている。従って、例えば、ばらつきが所定のレベル以上である領域のデータを除外するなどにより、対象物が存在する領域に絞り込んで三次元形状の計測を行うことができる。 Note that, in the camera image 210 as a result of each experiment described above, the luminance is low in a region where the pseudo slit light 420 is not directly irradiated, or a region where there is no object even though it is irradiated. The position of the light source center of the pseudo slit light 420 estimated in the pixel lines in these regions is erroneously estimated due to low brightness, and the variation is large for each pixel line. Therefore, for example, by excluding data in a region where the variation is equal to or higher than a predetermined level, the three-dimensional shape can be measured by narrowing down to a region where the object exists.
以上に説明したように、本実施の形態の三次元計測装置によれば、光切断法を利用して、自動車等の車両の周辺物体についての三次元形状を計測する際に、カメラとして車両に設置されている後方認識用のカメラを用いる。また、スリット光の光源としてブレーキランプやバックランプなどＬＥＤが列状に配置された光源を用い、照射光を擬似スリット光として取り扱う。これらにより、車両に設置された既存の設備を用いて低コストで光切断法による三次元形状の計測を行うことが可能となる。 As described above, according to the three-dimensional measurement apparatus of the present embodiment, when measuring a three-dimensional shape of a peripheral object of a vehicle such as an automobile using a light cutting method, the camera is used as a camera. Use the installed camera for rear recognition. Further, a light source in which LEDs are arranged in a row such as a brake lamp and a back lamp is used as a light source of slit light, and the irradiation light is handled as pseudo slit light. As a result, it is possible to measure the three-dimensional shape by the light cutting method at low cost using the existing equipment installed in the vehicle.
また、光切断法においてカメラ画像の各画素ラインでの光源中心の位置を推定する際に、各画素ラインにおける擬似スリット光の輝度分布を正規分布と仮定し、ＥＭアルゴリズムを適用して正規分布曲線を最尤推定して、その正規部分布曲線の中心を光源中心の位置と推定する。これにより、擬似スリット光を用いた場合であっても高精度で光切断法による三次元形状の計測を行うことが可能となる。 Also, when estimating the position of the light source center in each pixel line of the camera image in the light cutting method, the luminance distribution of the pseudo slit light in each pixel line is assumed to be a normal distribution, and the normal distribution curve is applied by applying the EM algorithm. Is estimated with the maximum likelihood, and the center of the normal part distribution curve is estimated as the position of the light source center. As a result, even when pseudo slit light is used, it is possible to measure a three-dimensional shape by a light cutting method with high accuracy.
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
例えば、本実施の形態では図５に示すように三次元形状計測装置を車両における後方認識用として用いる場合を例としているが、これに限るものではなく、車両における後方以外の周辺の立体物の検知・認識に用いることもできる。また、車両以外の他の製造装置や検査装置等における立体物の三次元形状の計測手段に用いることもできる。 For example, in the present embodiment, as shown in FIG. 5, the three-dimensional shape measuring apparatus is used as an example for rear recognition in a vehicle. However, the present invention is not limited to this, and the surrounding three-dimensional object other than the rear in the vehicle is used. It can also be used for detection and recognition. Further, it can also be used as a three-dimensional shape measuring means for a three-dimensional object in a manufacturing apparatus or inspection apparatus other than a vehicle.
本発明の三次元形状計測装置および当該装置における処理を行う半導体集積回路は、車載環境における周辺監視手段等に利用可能である。 The three-dimensional shape measuring apparatus of the present invention and the semiconductor integrated circuit that performs processing in the apparatus can be used as a peripheral monitoring means in an in-vehicle environment.
１…三次元形状計測装置、２…車両、
１００…画像認識部、１１０…ＣＰＵ、１２０…カメラＩ／Ｆ、１３０…光源Ｉ／Ｆ、
２００…カメラ、２０１…車載カメラ、２１０…カメラ画像、
３００…光源、３１０…光源列、３１１…ＬＥＤ列、３２０…光源、３２１…ＬＥＤ、３３０…光源制御装置、３４０…バックランプ、
４００…スリット、４１０…スリット光、４２０…擬似スリット光、
５００〜５０６…立体物。
DESCRIPTION OF SYMBOLS 1 ... Three-dimensional shape measuring apparatus, 2 ... Vehicle,
DESCRIPTION OF SYMBOLS 100 ... Image recognition part, 110 ... CPU, 120 ... Camera I / F, 130 ... Light source I / F,
200 ... Camera, 201 ... In-vehicle camera, 210 ... Camera image,
DESCRIPTION OF SYMBOLS 300 ... Light source, 310 ... Light source row, 311 ... LED row, 320 ... Light source, 321 ... LED, 330 ... Light source control apparatus, 340 ... Back lamp,
400 ... slit, 410 ... slit light, 420 ... pseudo slit light,
500-506 ... Three-dimensional object.
Claims (8)
前記光源列により照射された前記監視領域を撮像し、撮像した画像をデジタルデータにより出力するカメラと、
前記カメラおよび前記光源列に対する入出力を行うインタフェースと、ＣＰＵとを有する画像認識部とを有し、光切断法により前記監視領域に存在する立体物の三次元形状を計測する三次元形状計測装置であって、
前記画像認識部は、前記光源列から照射された光を、照射面において前記光源列内の前記各光源から照射された光の光源中心を結ぶ線分を含む照射パターンで照射するスリット光とみなし、前記スリット光とみなされた擬似スリット光が照射された前記監視領域について前記カメラによって撮像された画像データから、光切断法により、前記画像データの画素ライン毎に、前記各画素ラインの輝度データに基づいて推定した前記擬似スリット光の照射位置の情報と、前記監視領域に前記立体物が存在しない場合の前記照射パターンとの差分に基づいて前記擬似スリット光の前記照射位置における前記カメラからの距離を算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の前記擬似スリット光による切断面形状を計測することを特徴とする三次元形状計測装置。 Consisting of an array of a plurality of light sources, and a light source array for irradiating light to the monitoring area;
A camera that images the monitoring region irradiated by the light source array and outputs the captured image as digital data;
A three-dimensional shape measuring apparatus having an interface for performing input / output with respect to the camera and the light source array, and an image recognition unit having a CPU, and measuring a three-dimensional shape of a three-dimensional object existing in the monitoring region by a light cutting method Because
The image recognition unit regards light irradiated from the light source array as slit light irradiated with an irradiation pattern including a line segment connecting light source centers of light emitted from the light sources in the light source array on an irradiation surface. The brightness data of each pixel line is obtained for each pixel line of the image data from the image data captured by the camera with respect to the monitoring area irradiated with the pseudo slit light regarded as the slit light. Based on the difference between the irradiation position of the pseudo slit light estimated based on the irradiation pattern and the irradiation pattern when the three-dimensional object does not exist in the monitoring area, the pseudo slit light from the camera at the irradiation position The distance is calculated, and the cut surface shape of the three-dimensional object existing in the monitoring area by the pseudo slit light is measured based on the calculated distance information. Three-dimensional shape measuring apparatus according to claim Rukoto.
前記光源列を構成する前記各光源はＬＥＤであることを特徴とする三次元形状計測装置。 The three-dimensional shape measuring apparatus according to claim 1,
The three-dimensional shape measuring apparatus, wherein each of the light sources constituting the light source array is an LED.
前記光源列を構成する前記各光源は車両に設置されているバックランプもしくはブレーキランプもしくは前記車両の外部を照射するその他のランプを構成するＬＥＤであり、
前記カメラは、前記車両に設置されている後方認識用カメラであることを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to claim 2,
Each light source constituting the light source array is a back lamp or a brake lamp installed in a vehicle or an LED constituting another lamp that illuminates the outside of the vehicle,
The three-dimensional shape measuring apparatus, wherein the camera is a rear recognition camera installed in the vehicle.
前記画像認識部は、前記カメラによって撮像された前記画像データから、前記各画素ラインにおける前記擬似スリット光の前記照射位置を推定する際に、前記各画素ラインの輝度の分布を表す正規分布曲線を推定し、前記正規分布曲線の中心を前記照射位置として推定することを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to any one of claims 1 to 3,
When the image recognition unit estimates the irradiation position of the pseudo slit light in each pixel line from the image data captured by the camera, a normal distribution curve representing a luminance distribution of each pixel line is calculated. A three-dimensional shape measuring apparatus that estimates and estimates the center of the normal distribution curve as the irradiation position.
前記画像認識部は、前記各画素ラインの輝度の分布を表す前記正規分布曲線を推定する際に、ＥＭアルゴリズムを用いることを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to claim 4,
The image recognition unit uses an EM algorithm when estimating the normal distribution curve representing the luminance distribution of each pixel line.
前記光源列を構成する前記各光源の配列、および、前記光源列によって照射される前記擬似スリット光の前記照射パターンはともに直線状であることを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to any one of claims 1 to 5,
3. The three-dimensional shape measuring apparatus according to claim 1, wherein the arrangement of the light sources constituting the light source array and the irradiation pattern of the pseudo slit light irradiated by the light source array are both linear.
前記監視領域の異なる場所をそれぞれ照射する複数の前記光源列を有し、
前記画像認識部は、複数の前記光源列を順次点灯することによって前記監視領域の異なる場所を前記擬似スリット光によりそれぞれ照射し、前記各擬似スリット光の前記照射位置における前記カメラからの距離をそれぞれ算出し、算出した距離の情報に基づいて前記監視領域に存在する前記立体物の三次元形状を計測することを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus of any one of Claims 1-6,
A plurality of the light source columns respectively illuminating different locations of the monitoring area;
The image recognizing unit sequentially illuminates a plurality of the light source rows to irradiate different places in the monitoring area with the pseudo slit light, and sets the distance from the camera at the irradiation position of the pseudo slit light, respectively. A three-dimensional shape measuring apparatus that calculates the three-dimensional shape of the three-dimensional object existing in the monitoring area based on the calculated distance information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009153273A JP5330120B2 (en) | 2009-06-29 | 2009-06-29 | Three-dimensional shape measuring apparatus and semiconductor integrated circuit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009153273A JP5330120B2 (en) | 2009-06-29 | 2009-06-29 | Three-dimensional shape measuring apparatus and semiconductor integrated circuit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011007711A JP2011007711A (en) | 2011-01-13 |
| JP5330120B2 true JP5330120B2 (en) | 2013-10-30 |
Family
ID=43564544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009153273A Expired - Fee Related JP5330120B2 (en) | 2009-06-29 | 2009-06-29 | Three-dimensional shape measuring apparatus and semiconductor integrated circuit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5330120B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5989443B2 (en) | 2012-07-31 | 2016-09-07 | 公立大学法人公立はこだて未来大学 | Semiconductor integrated circuit and object distance measuring device |
| US9909862B2 (en) | 2016-06-13 | 2018-03-06 | Google Llc | Curved array of light-emitting elements for sweeping out an angular range |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02302608A (en) * | 1989-05-17 | 1990-12-14 | Matsushita Electric Ind Co Ltd | Method and apparatus for recognizing three-dimensional profile |
| JP3690157B2 (en) * | 1998-12-28 | 2005-08-31 | スズキ株式会社 | Surface defect inspection equipment |
| JP3918392B2 (en) * | 2000-02-03 | 2007-05-23 | シーシーエス株式会社 | Line lighting device for product inspection using LED |
| JP3846572B2 (en) * | 2001-09-20 | 2006-11-15 | ソニー株式会社 | Solid-state imaging device |
| JP4369308B2 (en) * | 2004-06-10 | 2009-11-18 | 日本電信電話株式会社 | Representative image selection device, representative image selection method, and representative image selection program |
| JP2009074814A (en) * | 2007-09-19 | 2009-04-09 | Kyonan Seiki Kk | Three-dimensional shape measuring device by light-plane-intersecting method |
-
2009
- 2009-06-29 JP JP2009153273A patent/JP5330120B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011007711A (en) | 2011-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3652703B1 (en) | Visual, depth and micro-vibration data extraction using a unified imaging device | |
| JP5592441B2 (en) | Light distribution control device | |
| US20130235202A1 (en) | Vehicle periphery monitoring apparatus and method of determining type of object for use in vehicle periphery monitoring apparatus | |
| US11961306B2 (en) | Object detection device | |
| JP2014525067A (en) | Method and apparatus for recognizing an object in a surrounding area of a vehicle | |
| JP7259835B2 (en) | Image processor and control program for forklift | |
| WO2015125297A1 (en) | Local location computation device and local location computation method | |
| JP2007293627A (en) | Periphery monitoring device for vehicle, vehicle, periphery monitoring method for vehicle and periphery monitoring program for vehicle | |
| US20140133705A1 (en) | Red-eye determination device | |
| JP2009265883A (en) | Vehicle periphery monitoring device | |
| EP3173811A1 (en) | High speed, high precision six degree-of-freedom optical tracker system and method | |
| US11170517B2 (en) | Method for distance measurement using trajectory-based triangulation | |
| CN114424022A (en) | Distance measuring apparatus, distance measuring method, program, electronic device, learning model generating method, manufacturing method, and depth map generating method | |
| JP5760635B2 (en) | Driving support device | |
| JP6635621B2 (en) | Automotive vision system and method of controlling the vision system | |
| JP5330120B2 (en) | Three-dimensional shape measuring apparatus and semiconductor integrated circuit | |
| JP6458577B2 (en) | Image ranging device | |
| JP5989443B2 (en) | Semiconductor integrated circuit and object distance measuring device | |
| US20220214434A1 (en) | Gating camera | |
| JP5170058B2 (en) | Object detection device | |
| JP2013073312A (en) | Driving support device | |
| US20240248196A1 (en) | Object Detection Method and Object Detecting Device | |
| CN115720633A (en) | Device and method for detecting the surroundings of a vehicle | |
| JP5310162B2 (en) | Vehicle lighting judgment device | |
| JPWO2020110802A1 (en) | In-vehicle object identification system, automobile, vehicle lighting equipment, classifier learning method, arithmetic processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130725 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |