JP3282331B2 - 3D shape measuring device - Google Patents
3D shape measuring deviceInfo
- Publication number
- JP3282331B2 JP3282331B2 JP32024593A JP32024593A JP3282331B2 JP 3282331 B2 JP3282331 B2 JP 3282331B2 JP 32024593 A JP32024593 A JP 32024593A JP 32024593 A JP32024593 A JP 32024593A JP 3282331 B2 JP3282331 B2 JP 3282331B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- distance
- measurement
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、対象物体の3次元形状
を測定し測定結果を画面表示する3次元形状測定装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional shape measuring apparatus for measuring a three-dimensional shape of a target object and displaying a measurement result on a screen.
【0002】[0002]
【従来の技術】自然物や生体の計測、ロボットの視覚認
識など様々な産業分野において3次元情報が利用されて
いる。静止物体の形状を測定するのであれば計測に数秒
要しても特に問題とはならない。しかし、移動ロボット
の視覚認識のように動体の3次元計測を行う装置におい
ては、高速で精度よく3次元形状をを計測する装置が必
要となってくる。従来、物体の3次元形状の認識を行う
手段のうち、最も実用的な手段として光切断法がよく利
用されている。光切断法は図1に示すように対象物体に
スリット状のレーザ光Sを照射し、スリット光Sに対応
する対象物体1のスリット像をカメラの撮像面上に捕え
る。すると、スリット上のある1点p'に対応する対象
物体上の点pの空間座標は、スリット光のなす平面S
と、点p'と撮像装置のレンズの中心点Oとを結ぶ直線
Lとの交点の座標として求められる。このように、1枚
の画像からスリット像上の各点に対応した物体表面の点
群の空間座標が求められ、スリット光の水平方向の移動
と画像入力を繰り返すことで対象物体全体の3次元情報
を獲得することができる。2. Description of the Related Art Three-dimensional information is used in various industrial fields such as measurement of natural objects and living bodies, and visual recognition of robots. If the shape of a stationary object is measured, it does not matter even if it takes several seconds for the measurement. However, in an apparatus that performs three-dimensional measurement of a moving object, such as visual recognition of a mobile robot, an apparatus that measures a three-dimensional shape at high speed and with high accuracy is required. Conventionally, among the means for recognizing the three-dimensional shape of an object, a light cutting method is often used as the most practical means. In the light cutting method, as shown in FIG. 1, a target object is irradiated with a slit-shaped laser beam S, and a slit image of the target object 1 corresponding to the slit light S is captured on an imaging surface of a camera. Then, the spatial coordinates of the point p on the target object corresponding to a certain point p ′ on the slit are represented by a plane S defined by the slit light.
, And the coordinates of the intersection of a point p ′ and a straight line L connecting the center point O of the lens of the imaging device. As described above, the spatial coordinates of the point group on the object surface corresponding to each point on the slit image are obtained from one image, and the horizontal movement of the slit light and the image input are repeated to obtain a three-dimensional image of the entire target object. Information can be obtained.
【0003】撮像素子としてはCCDエリアセンサがよ
く利用されており、この構成で画像を読み出すには1ラ
インのスリット光の走査に対してCCD全画素を読み出
しており、対象物体の全面を走査するには1ラインの走
査に要する時間のライン数倍の時間がかかる。しかし、
動体の3次元計測などを行うには高速の入力装置が必要
となるため、入力を高速化した装置が種々提案されてい
る。A CCD area sensor is often used as an image sensor. To read an image in this configuration, all pixels of the CCD are read in response to scanning of one line of slit light, and the entire surface of a target object is scanned. Takes several times the time required for scanning one line. But,
Since a high-speed input device is required to perform three-dimensional measurement of a moving object, various devices with high-speed input have been proposed.
【0004】特公昭56−501704号に提案されて
いる装置は、光電変換素子をブロックに分割しブロック
内は並列に、各ブロックは順次直列に読み出すことによ
って全範囲読み出しに要する時間を短縮し処理の高速化
を図っている。また、特開昭64−46605号には、
撮像素子としてPSD(Position Sensitive Device)
アレーを用いた装置が提案されている。この装置ではP
SDセンサーからのスリット像の入射位置情報を表す出
力信号はリアルタイムで出力されるため、1フレーム分
の待ち時間を必要とせず高速計測が可能となる。他に提
案されているものでは、15個の光源を用いて異なるパ
ターンで4回点灯し、得られた4回分のデータを合成す
ることで全体の画像を得る装置がある。この装置では回
転鏡の制御角を小さくすることができるので高速に全体
像を得ることができる。The device proposed in Japanese Patent Publication No. 56-501704 is a device which divides a photoelectric conversion element into blocks, reads out the blocks in parallel, and sequentially reads out each block in series, thereby shortening the time required for reading the entire range and reducing the processing time. Speeding up. Also, JP-A-64-46605 discloses that
PSD (Position Sensitive Device) as image sensor
Devices using arrays have been proposed. In this device, P
Since the output signal representing the incident position information of the slit image from the SD sensor is output in real time, high-speed measurement is possible without requiring a waiting time for one frame. In other proposals, there is a device that lights up four times in different patterns using 15 light sources and combines the obtained four times of data to obtain an entire image. In this apparatus, since the control angle of the rotating mirror can be reduced, the whole image can be obtained at high speed.
【0005】[0005]
【発明が解決しようとする課題】しかし、上記の第一の
従来例は、ブロック内は並列読み出しであるが各ブロッ
クは順次直列に読み出していて、スリット光の入射して
いない領域まで読み出しているのでブロックの数だけ時
間を要する。第二に示した従来例はPSDアレーを用い
ているために入射するスリット光の位置を検出できるの
であるが、これは、外光の影響がない投射スリット光の
みの状況では問題にはならない。しかし、外光の影響が
入ると外光による光電流はノイズ成分となるため検出さ
れる位置はスリット光のみの場合と異なった位置とな
る。また、PSDは位置を検出しているために外光のみ
の場合との差分を用いることもできず、正確な測定がで
きないといった問題がある。第三に示した従来例は15
個の光源を用いているためこれらの光源の制御や処理な
どが必要となり、構成が複雑となり装置が大きくなって
しまう問題があった。However, in the above-mentioned first conventional example, the blocks are read out in parallel, but each block is read out in series in order, and the data is read out to the area where the slit light is not incident. Therefore, it takes time for the number of blocks. In the second conventional example, the position of the incident slit light can be detected because the PSD array is used. However, this is not a problem when only the projected slit light is not affected by external light. However, when the influence of the external light enters, the photocurrent due to the external light becomes a noise component, so that the detected position is different from the position where only the slit light is used. In addition, since the PSD detects the position, the difference from the case of only external light cannot be used, and there is a problem that accurate measurement cannot be performed. The third conventional example is 15
Since a plurality of light sources are used, control and processing of these light sources are required, resulting in a problem that the configuration becomes complicated and the device becomes large.
【0006】本発明はこれらの問題を解決し、対象物体
の3次元形状の計測を高速に処理し、また、動体に対し
ても有効な3次元形状測定装置を提供することを目的と
している。SUMMARY OF THE INVENTION It is an object of the present invention to solve these problems and to provide a three-dimensional shape measuring apparatus which processes a three-dimensional shape of a target object at high speed and is effective for a moving object.
【0007】[0007]
【課題を解決するための手段】上記問題を解決するため
に本発明は、スリット光を対象物体に投射して2次元撮
像素子で撮像して対象物体の形状を測定する3次元形状
測定装置において、上記2次元撮像素子はスリット光が
入射すると推測される領域の帯状画像を選択的に読み出
すことを特徴とする。SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention relates to a three-dimensional shape measuring apparatus for projecting slit light onto a target object, taking an image with a two-dimensional image sensor, and measuring the shape of the target object. The two-dimensional image sensor selectively reads a band image in a region where slit light is assumed to be incident.
【0008】[0008]
【作用】上記構成において、対象物体に対してスリット
光の照射を行い、画像読み出し時において2次元撮像素
子の全領域を読み出すのではなく、2次元撮像素子へス
リット光が入射すると推定される領域の帯状画像のみを
選択して読み出す。In the above arrangement, the target object is irradiated with slit light, and the whole area of the two-dimensional image pickup element is not read out at the time of image reading. And selects and reads only the band-shaped image.
【0009】[0009]
【実施例】以下に本発明に係る実施例を図面を参照しな
がら説明する。まず、図2に示すのは本発明に係る装置
全体の概略ブロック図である。本装置を大きく分ける
と、半導体レーザ5から出力されたレーザ光をスリット
状の光線として対象物体1に照射する投光光学系2、照
射されたレーザ光を画像用センサ24、12へ導く受光
光学系3があり、これら投光光学系、受光光学系は同じ
回転架台4上に配置されている。光学系以外にはセンサ
から出力される信号を処理してピッチズレ画像とカラー
画像を生成する信号処理系と、生成された画像を記録す
る記録装置から構成されている。図2に示す実線矢印は
画像信号、制御信号の電気的信号の流れを示し、破線矢
印は投光される光の流れを示している。なお、これら光
学系についての詳細な説明は後述する。Embodiments of the present invention will be described below with reference to the drawings. First, FIG. 2 is a schematic block diagram of the entire apparatus according to the present invention. This apparatus can be roughly divided into a light projecting optical system 2 for irradiating a laser beam output from a semiconductor laser 5 as a slit-shaped light beam to a target object 1, and a light receiving optical system for guiding the irradiated laser beam to image sensors 24 and 12. There is a system 3, and the light projecting optical system and the light receiving optical system are arranged on the same rotating base 4. In addition to the optical system, the optical system includes a signal processing system that processes a signal output from the sensor to generate a pitch shift image and a color image, and a recording device that records the generated image. The solid arrows shown in FIG. 2 indicate the flow of electrical signals of the image signal and the control signal, and the broken arrows indicate the flow of projected light. A detailed description of these optical systems will be described later.
【0010】信号処理系の概略について説明すると、距
離画像用センサ12により得られた画像はスリット光投
光時画像18aとスリット光非投光時画像18bとの減
算を行い、その画像に対して入射光重心位置算出処理1
9、ピッチズレ情報算出処理20、ピッチズレ画像生成
処理21が行われる。得られたピッチズレ画像はNTS
C変換処理27により出力端子50へ出力したり、或い
は、ディジタルのままSCSI端子49や内蔵の記録装
置22へ転送したりして利用される。また、カラー画像
用センサ24により得られた画像は、アナログ処理25
を介してカラー画像生成処理26が行われる。得られた
カラー画像はNTSC変換処理28されて出力端子51
へ出力したり、或いは、ディジタルのままSCSI端子
49や記録装置22へ転送したりして利用される。To explain the outline of the signal processing system, an image obtained by the distance image sensor 12 is obtained by subtracting an image 18a when the slit light is projected and an image 18b when the slit light is not projected. Incident light centroid position calculation processing 1
9. Pitch shift information calculation processing 20 and pitch shift image generation processing 21 are performed. The pitch shift image obtained is NTS
The data is output to the output terminal 50 by the C conversion process 27 or transferred to the SCSI terminal 49 or the built-in recording device 22 as digital data for use. The image obtained by the color image sensor 24 is converted into an analog
, A color image generation process 26 is performed. The obtained color image is subjected to NTSC conversion processing 28 and output terminal 51
To the SCSI terminal 49 or the recording device 22 as digital.
【0011】次に、装置全体の概略構成を示す斜視図を
図3に示す。本実施例では、スリット光の長さ方向に2
56点、スリットの走査方向に324点の距離情報を持
つ256×324の距離画像生成システムを一例として
説明する。LCDモニタ41はカラー画像センサ24に
より撮像されたカラー画像、或は本装置内外の記録装置
に記録されている3次元データ、或は各種の情報や選択
メニュー等の表示を行う。カーソルキー42、セレクト
キー43、キャンセルキー44は画像の選択やメニュー
から各種モードの設定等を行うための操作部材である。
45は投光・受光光学系の焦点距離を変化させるズーム
ボタンで、46はマニュアルで焦点合わせを行うMFボ
タンである。47は後述のシャッタモードでONするこ
とにより距離画像を取り込むシャッタボタンである。撮
像した画像の記録装置としては本装置内蔵の光磁気ディ
スク(以下、MOと称す)やミニディスク(以下、MD
と称す)等のドライブ装置48を装備している。端子4
9は画像等の信号をディジタルで入出力する端子でSC
SI等である。ピッチズレ画像出力端子50、カラー画
像出力端子51は画像をアナログ信号として出力する端
子で、例えばNTSC等のビデオ信号で出力する。FIG. 3 is a perspective view showing a schematic configuration of the entire apparatus. In this embodiment, the length of the slit light is 2 in the length direction.
A 256 × 324 distance image generation system having distance information of 56 points and 324 points in the slit scanning direction will be described as an example. The LCD monitor 41 displays a color image picked up by the color image sensor 24, three-dimensional data recorded in a recording device inside or outside the apparatus, various kinds of information, a selection menu, and the like. The cursor key 42, the select key 43, and the cancel key 44 are operation members for selecting an image, setting various modes from a menu, and the like.
A zoom button 45 changes the focal length of the light projecting / receiving optical system, and an MF button 46 performs manual focusing. A shutter button 47 captures a distance image when turned on in a shutter mode described later. As a recording device of the captured image, a magneto-optical disk (hereinafter, referred to as MO) or a mini disk (hereinafter, referred to as MD) built in the device.
). Terminal 4
9 is a terminal for digitally inputting / outputting a signal such as an image.
SI or the like. A pitch shift image output terminal 50 and a color image output terminal 51 are terminals for outputting an image as an analog signal, and output a video signal such as NTSC.
【0012】投光光学系は、水平方向に長いスリット光
を上下方向に走査するもので、半導体レーザ5からの光
は回転するポリゴンミラー7、コンデンサレンズ10、
投光用ズームレンズ11等を経て対象物体へ投影され
る。受光光学系は受光用ズームレンズ14、ビームスプ
リッタ15等を経て受光撮像面に配置された距離画像用
センサ12、カラー画像用センサ24で撮像を行う。な
お、これら光学系、撮像系の詳細な説明は後述する。The light projecting optical system scans slit light long in the horizontal direction in the vertical direction. Light from the semiconductor laser 5 is rotated by a polygon mirror 7, a condenser lens 10,
The light is projected onto the target object via the light projecting zoom lens 11 and the like. The light receiving optical system picks up an image with a distance image sensor 12 and a color image sensor 24 arranged on a light receiving and imaging surface via a light receiving zoom lens 14, a beam splitter 15, and the like. The optical system and the imaging system will be described later in detail.
【0013】投光系からのスリット光は、距離画像用セ
ンサ12が1枚の画像蓄積を行う間に、定常回転してい
るポリゴンミラー7により距離画像用センサ12の1画
素ピッチ分ずつ下方に走査される。距離画像用センサは
この蓄積された画像情報を走査、出力を行うと共に次の
画像蓄積を行う。この1度の出力による画像からスリッ
ト光の長さ方向の256点の距離情報が算出可能とな
る。更にミラー走査、画像取り込みを324回繰り返し
行うことで256×324点の距離画像生成が行われ
る。While the distance image sensor 12 accumulates one image, the slit light from the light projecting system is moved downward by one pixel pitch of the distance image sensor 12 by the polygon mirror 7 which is constantly rotating. Scanned. The range image sensor scans and outputs the stored image information and stores the next image. The distance information of 256 points in the length direction of the slit light can be calculated from the image output by this one output. Further, by repeating mirror scanning and image capturing 324 times, a distance image of 256 × 324 points is generated.
【0014】一本のスリット光に対して測定される対象
物体までの距離範囲は、測定最近距離、測定最遠距離に
制限があるため、そのスリット光が物体で反射して撮像
素子に入射する範囲はある範囲内に制限される。これ
は、投光系と受光系が基線長(長さl)だけ離れて設置
されているためである。これを図に示したものが図17
であり、距離画像用の撮像素子面に垂直な方向をZ軸と
している。dで示す破線の位置は測定基準面であり、素
子面からの距離がdである。The range of the distance to the target object measured with respect to one slit light is limited to the closest distance to be measured and the longest distance to be measured. Therefore, the slit light is reflected by the object and enters the image pickup device. The range is limited to a certain range. This is because the light projecting system and the light receiving system are set apart from each other by the base line length (length 1). This is shown in FIG.
And the direction perpendicular to the image sensor surface for the distance image is defined as the Z axis. The position of the broken line indicated by d is the measurement reference plane, and the distance from the element surface is d.
【0015】このため、まず測定装置においてはこの入
力された画像から256ラインでの受光されたレーザ光
の重心位置をオートフォーカスユニットからの物体距離
出力と投光するスリット光の方位、すなわち走査開始か
らの時間とに基づき決定される測定基準面からのズレ量
として演算を行う。このピッチズレ量の算出について図
4を参照して説明すると、まず、図4は対象物体面へ投
光されるスリット光により生成される光量分布を示して
いる。図の下方に示されている升目は距離画像用センサ
のそれぞれの素子が睨む領域を示していて、升目に手前
から1,2,3,4,・・・と番号を付す。極めて細い
スリット幅を持つスリット光がポリゴンミラー7の回転
により1画像蓄積間に距離画像用センサの1ピッチ分だ
け走査されるので、1画像入力時の光量分布は距離画像
用センサの1ピッチ分の幅を持つ矩形状の光量分布とな
る。For this reason, first, in the measuring device, the position of the center of gravity of the laser beam received in 256 lines from the input image is determined by the object distance output from the autofocus unit and the azimuth of the slit light to be projected, ie, the scanning start. The calculation is performed as a shift amount from the measurement reference plane determined based on the time from the measurement reference plane. The calculation of the pitch shift amount will be described with reference to FIG. 4. First, FIG. 4 shows a light amount distribution generated by slit light projected on the target object surface. The squares shown in the lower part of the figure indicate the area that each element of the range image sensor looks at, and the squares are numbered from 1, 2, 3, 4,... Since the slit light having an extremely narrow slit width is scanned by the rotation of the polygon mirror 7 by one pitch of the distance image sensor during one image accumulation, the light quantity distribution upon input of one image is equivalent to one pitch of the distance image sensor. Is a rectangular light quantity distribution having a width of
【0016】距離画像用センサの各画素について、それ
ぞれZ軸方向の距離情報を算出するためには、このよう
な1ピッチ幅の矩形光量分布であることが望ましい。光
量分布の幅が1ピッチ以上となった場合には計測される
距離情報は隣接する領域にまたがっている受光強度の荷
重平均として求められてしまい正確な距離情報は得られ
ない。In order to calculate the distance information in the Z-axis direction for each pixel of the range image sensor, it is desirable that such a rectangular light quantity distribution having one pitch width is used. When the width of the light quantity distribution is equal to or more than one pitch, the measured distance information is obtained as a load average of the received light intensity over the adjacent area, and accurate distance information cannot be obtained.
【0017】このような光量分布の下、図4で網点で示
している階段状の物体面が存在したとして、物体面に垂
直な方向からスリット光を投光したとする。細長い直方
体で示されているのはスリット光量分布で、斜線で示し
た領域は投光スリット像を表している。そして、投光系
光軸Oxaより左側に傾いた方向に受光系光軸Oxpを設け
た位置関係とすると、受光面での受光スリット光量分布
は後述のフィルタにより図5に示されるような分布とな
る。この受光光量には定常光成分が含まれないように、
レーザ光成分以外の定常光成分を除去するのが望まし
く、そのために、レーザ光が照射されていない状態と照
射状態の画像を入力し両者の差を用いる。下方に示され
た升目は距離画像用センサのそれぞれの素子領域を示し
ている。It is assumed that a stepped object surface indicated by a halftone dot in FIG. 4 exists under such light amount distribution, and slit light is projected from a direction perpendicular to the object surface. An elongated rectangular parallelepiped indicates a slit light amount distribution, and a hatched area indicates a light projection slit image. Then, assuming that the light receiving system optical axis Oxp is provided in a direction inclined to the left from the light projecting system optical axis Oxa, the light receiving slit light amount distribution on the light receiving surface is as shown in FIG. Become. This received light quantity does not include the steady light component,
It is desirable to remove the stationary light component other than the laser light component. For that purpose, images in a state where the laser light is not irradiated and an image in the irradiated state are input, and the difference between the two is used. The cells shown below indicate the respective element regions of the range image sensor.
【0018】距離画像用センサの前面には、受光される
スリット光の長さ方向には分解能を低下させることな
く、スリット光の幅方向には分解能を低下させる異方性
を持つ光学フィルタが配置されており、このフィルタに
より図5に示すようなガウス分布の光量分布が生じる。
この光量分布に対して、各列1,2,3,4,・・・内
の各センサからの光量分布の重心を求めることで画素ピ
ッチより細かな分解能で受光位置の算出を行うことがで
きる。このように、スリット光入射位置を検出するのに
センサに入射するスリット光の幅を細くせずにフィルタ
を用いて5〜6画素程度の幅のある分布としているの
は、入射するスリット光の幅が1画素の幅より細くなっ
てしまうと画素ピッチと同じ程度の位置検出分解能しか
得られないためである。An optical filter having an anisotropy is provided on the front surface of the range image sensor so as to reduce the resolution in the width direction of the slit light without lowering the resolution in the length direction of the received slit light. This filter produces a Gaussian light quantity distribution as shown in FIG.
The light receiving position can be calculated at a resolution finer than the pixel pitch by obtaining the center of the light amount distribution from each sensor in each of the columns 1, 2, 3, 4,. . As described above, when detecting the slit light incident position, the width of the slit light incident on the sensor is not narrowed but a distribution having a width of about 5 to 6 pixels is obtained by using a filter. This is because if the width is smaller than the width of one pixel, only a position detection resolution equivalent to the pixel pitch can be obtained.
【0019】第1列に入射した光量分布D1から第1列
重心位置G1が求められ、同様に第2,3,4,・・・
の各列の重心位置G2,G3,G4,・・・を求めること
で各列毎に重心が算出される。図に示すように、投光系
光軸は物体面に垂直な方向であるが、受光系光軸は左に
傾いた方向であるので、図4の様な段差を有する対象物
体の場合、低い部分(第1、2列)の重心に対して高い
部分(第3、4列)は右側にずれた位置に重心が位置す
ることになる。なお、図5には、第1列の分布D1と第
4列の分布D4の2種類の分布しか示していないが、第
2列の分布D2は第1列の分布D1と同じで、第3列の分
布D3は第4列の分布D4と同じ分布となる。これらの光
量分布と重心位置の関係を平面的に示すと図6のように
なる。第1列と第2列の分布は同じであるため求まる重
心G1、G2は同じ位置として、第3列と第4列は同じ分
布であるため重心G3、G4は同じ位置として検出され
る。The first column barycentric position G1 is obtained from the light quantity distribution D1 incident on the first column, and similarly the second, third, fourth,...
, The center of gravity is calculated for each column by calculating the center of gravity position G2, G3, G4,. As shown in the figure, the optical axis of the light projecting system is a direction perpendicular to the object plane, but the optical axis of the light receiving system is a direction inclined to the left. Therefore, in the case of a target object having a step as shown in FIG. In the portion (third and fourth rows) higher than the center of gravity of the portion (first and second rows), the center of gravity is located at a position shifted to the right. Note that FIG. 5 shows only two types of distributions, a first column distribution D1 and a fourth column distribution D4, but the second column distribution D2 is the same as the first column distribution D1, The distribution D3 in the column is the same as the distribution D4 in the fourth column. FIG. 6 shows the relationship between the light amount distribution and the position of the center of gravity in a plan view. Since the distributions of the first and second columns are the same, the centroids G1 and G2 obtained are detected as the same position, and the third and fourth columns have the same distribution, so that the centroids G3 and G4 are detected as the same position.
【0020】このように1つのスリットに対する帯状画
像から256点の入射光位置が求められ、更に、324
の方位に投光されるスリットに対して同様の計算を行う
ことで324枚の画像が得られ、256×324点から
なるピッチズレ画像が得られる。得られたピッチズレ画
像はスリット光の位置情報のみの画像であり、これから
正確な距離画像を得るにはレンズ収差の補正等の詳細な
データのテーブルからのキャリブレーション(補正)が
必要となる。これは撮影レンズの焦点距離f、ピント位
置dから推測されるレンズ収差を算出し補正を行い、カ
メラに対する縦、横方向の歪みの補正を行う。これはカ
ラー画像についても同様の処理が行われる。このときに
必要なデータは各種測定レンズの情報、すなわち、焦点
距離f、ピント位置dである。本実施例のシステムで
は、キャリブレーションはコンピュータシステム上で行
い、本計測装置(図3に図示)とはSCSI等の端子を
介して接続する、或はMO等の記録メディアでデータを
共有できるようにする。As described above, 256 incident light positions are obtained from the strip image for one slit, and 324 positions are further obtained.
324 images are obtained by performing the same calculation for the slit projected in the azimuth direction, and a pitch shift image composed of 256 × 324 points is obtained. The obtained pitch shift image is an image of only the position information of the slit light, and calibration (correction) from a table of detailed data such as correction of lens aberration is required to obtain an accurate distance image from the image. In this method, the lens aberration estimated from the focal length f and the focus position d of the photographing lens is calculated and corrected, and the vertical and horizontal distortions of the camera are corrected. The same processing is performed for a color image. The data required at this time is information on various measurement lenses, that is, the focal length f and the focus position d. In the system of the present embodiment, calibration is performed on a computer system, and the measurement apparatus (shown in FIG. 3) can be connected via a terminal such as SCSI or shared with a recording medium such as MO. To
【0021】このように計測装置本体からはカラー画
像、ピッチズレ画像をSCSI等の端子からディジタル
信号として、或はNTSC等の出力端子からアナログビ
デオ信号として出力し、キャリブレーションに必要なデ
ータはSCSI等からディジタル信号としてコンピュー
タへ出力する。また、本体に内蔵しているMOやMD等
のドライブ装置48を使って記録媒体に記録する場合も
画像と各種のデータを記録する。As described above, a color image and a pitch shift image are output as digital signals from a terminal such as SCSI or an analog video signal from an output terminal such as NTSC from the measuring apparatus main body. Output to the computer as a digital signal. Also, when recording on a recording medium using a drive device 48 such as an MO or MD built in the main body, an image and various data are recorded.
【0022】取り込まれたピッチズレ画像とカラー画像
は各種の撮影レンズ情報と共に計測装置と接続されたコ
ンピュータへ転送され、コンピュータでは転送されたピ
ッチズレ画像と撮影レンズ情報とから対象物体までの距
離の情報を持った距離画像にキャリブレーション、変換
を行う。キャリブレーションを行った後、ピッチズレ画
像については、焦点距離fとピント位置d、画面内の各
縦横位置、XY位置毎に記憶されたズレ量と計測距離と
の変換曲線を導きだし、その変換曲線に基づいてピッチ
ズレ画像を距離画像に変換する。The captured pitch shift image and color image are transferred to a computer connected to a measuring device together with various types of photographing lens information, and the computer calculates information on the distance to the target object from the transferred pitch shift image and photographing lens information. Calibration and conversion are performed on the held distance image. After the calibration, for the pitch shift image, a conversion curve between the shift distance and the measurement distance stored for each of the focal length f and the focus position d, the vertical and horizontal positions in the screen, and the XY positions is derived, and the conversion curve is obtained. The pitch shift image is converted into a distance image on the basis of.
【0023】距離画像への変換については周知であり、
詳細には、電子情報通信学会研究会資料PRU91-113
[カメラの位置決めのいらない画像の幾何学的補正]小
野寺・金谷や、電子情報通信学会論文誌D-II vol. J74
-D-II No.9 pp.1227-1235,'91/9 [光学系の3次元モデ
ルに基づくレンジファインダの高精度キャリブレーショ
ン法]植芝・吉見・大島、などに開示されている。Conversion to a distance image is well known,
For details, see the IEICE Technical Meeting, PRU91-113.
[Geometric correction of images that do not require camera positioning] Onodera and Kanaya, IEICE Transactions D-II vol. J74
-D-II No.9 pp.1227-1235, '91 / 9 [High-precision calibration method of range finder based on three-dimensional model of optical system] is disclosed in Ueshiba, Yoshimi, Oshima and others.
【0024】次に、本発明に係る計測装置について詳細
に説明をする。まずは、光学系について説明する。図
1、図2に示しているように、距離画像撮像時において
は、対象物体1に対しスリット光照射装置(投光光学
系)2からスリット光Sが照射される。このスリット光
照射装置2は、発光源、例えば半導体レーザ5と集光レ
ンズ6およびポリゴンミラー7、シリンドリカルレンズ
8、コンデンサレンズ10、投光用ズームレンズ11の
光学系により構成される。ポリゴンミラー7は、これに
限らず、例えば共振ミラー、ガルバノミラー等の回転ミ
ラーでもよい。Next, the measuring device according to the present invention will be described in detail. First, the optical system will be described. As shown in FIGS. 1 and 2, the slit light S is emitted from the slit light irradiating device (light projection optical system) 2 to the target object 1 at the time of distance image capturing. The slit light irradiating device 2 includes a light source, for example, a semiconductor laser 5, a condenser lens 6, an optical system of a polygon mirror 7, a cylindrical lens 8, a condenser lens 10, and a projection zoom lens 11. The polygon mirror 7 is not limited to this, and may be a rotating mirror such as a resonance mirror or a galvanometer mirror.
【0025】シリンドリカルレンズ8は、凸面側が球形
ではなく円柱形であるため、焦点を結ばず、円柱軸に平
行な焦線を結ぶレンズである。ポリゴンミラー7は回転
軸の回りに多数のミラーで形成したもので、回転するこ
とによって入射する光を各ミラー面ごとに一方向に次々
と走査するものである。The cylindrical lens 8 is a lens that does not focus and forms a focal line parallel to the cylinder axis because the convex side is not spherical but cylindrical. The polygon mirror 7 is formed by a number of mirrors around a rotation axis, and scans light incident upon rotation in one direction for each mirror surface.
【0026】投光光学系の構成を図7に示し説明する。
図7(a)は投光系の側面図であり、図7(b)は上面
図である。なお、図7(b)では図示すると重なる構成
は一部省略している。図7(a)では、スリット光は紙
面に垂直な方向に長さを有していて、半導体レーザ5か
らコンデンサレンズ10までの実線で描かれたものは光
路を示しており、コンデンサレンズ10以降はスリット
光が再結像される位置を示すための作図線を破線で示し
ている。図7(b)では、スリット光は図面の上下方向
に長さを有していて、半導体レーザ5からシリンドリカ
ルレンズ8までの実線で描いたものは光路を示し、コン
デンサレンズ10以降は再結像される位置を示すための
作図線を破線で示している。シリンドリカルレンズ8と
コンデンサレンズ10の間の1点鎖線で示したものは、
ほぼ点状で進んできたレーザ光がシリンドリカルレンズ
8によって幅のあるスリット光に変換される様子を模式
的に示したものである。そして図7(a)、図7(b)
で左端に縦方向の直線(2点鎖線)で示されている位置
にスリット光が再結像する。The structure of the light projecting optical system will be described with reference to FIG.
FIG. 7A is a side view of the light projecting system, and FIG. 7B is a top view. Note that, in FIG. 7B, some of the components that overlap when illustrated are omitted. In FIG. 7A, the slit light has a length in a direction perpendicular to the paper surface, and the solid line drawn from the semiconductor laser 5 to the condenser lens 10 indicates the optical path, and Indicates a drawing line for indicating a position where the slit light is re-imaged by a broken line. In FIG. 7B, the slit light has a length in the vertical direction of the drawing, and the solid light from the semiconductor laser 5 to the cylindrical lens 8 indicates the optical path, and the image after the condenser lens 10 is re-imaged. The drawing line for indicating the position to be displayed is indicated by a broken line. The one shown by the one-dot chain line between the cylindrical lens 8 and the condenser lens 10 is as follows.
FIG. 3 schematically shows a state in which a laser beam that has proceeded in a substantially point-like manner is converted into a slit light having a wide width by a cylindrical lens 8. 7 (a) and 7 (b)
Then, the slit light is re-imaged at a position indicated by a vertical straight line (two-dot chain line) at the left end.
【0027】コリメータレンズ6(図2の集光レンズ6
に対応)は、半導体レーザ5の出力光(例えば発光波長
670nm)をコンデンサレンズ上に集光させるレンズパ
ワーを有している。このコリメータレンズ6を通過した
レーザ光はポリゴンミラー7によりスリット光の長さ方
向と垂直な向きに偏向を行う。この偏向により物体面上
でスリット光の走査が可能となる。ポリゴンミラー7に
より偏向されたレーザ光は、まず、fθレンズ29に入
射する。このfθレンズ29は、ポリゴンミラー7の一
定の回転速度に対して物体面上でのスリット光移動速度
が非線形となるので非線形成分を補正するために配置さ
れているレンズである。次に配置されているコリメータ
レンズ30はコンデンサレンズ10に入射する光束をポ
リゴンミラー7によって走査された方向からコンデンサ
レンズに垂直な方向に向け、投影効率の向上をはかるた
めのものである。レーザ光はシリンドリカルレンズ8に
よって水平方向(図7(a)では紙面に垂直な方向)に
長さのあるスリット光に変換され、コンデンサレンズ1
0の瞳面上に集光されて結像し極めて幅の狭いスリット
光として物体に投光される。The collimator lens 6 (condenser lens 6 in FIG. 2)
Has a lens power for condensing output light (e.g., emission wavelength of 670 nm) of the semiconductor laser 5 on the condenser lens. The laser light passing through the collimator lens 6 is deflected by the polygon mirror 7 in a direction perpendicular to the length direction of the slit light. This deflection makes it possible to scan the slit light on the object plane. The laser light deflected by the polygon mirror 7 first enters the fθ lens 29. The fθ lens 29 is a lens arranged to correct a non-linear component since the moving speed of the slit light on the object plane becomes non-linear with respect to a constant rotation speed of the polygon mirror 7. The collimator lens 30 disposed next is for directing the light beam incident on the condenser lens 10 from the direction scanned by the polygon mirror 7 to the direction perpendicular to the condenser lens, thereby improving the projection efficiency. The laser light is converted by the cylindrical lens 8 into slit light having a length in the horizontal direction (in the direction perpendicular to the paper surface in FIG. 7A), and the condenser lens 1
The light is condensed on the pupil plane 0, forms an image, and is projected on the object as slit light having a very narrow width.
【0028】投光用ズームレンズ11のイメージプレイ
ン(結像面)10p上に配置されたコンデンサレンズ1
0で一度結像したスリット光は、投光用ズームレンズ1
1を通過して、対象物体に対して投光される。結像面の
大きさは、例えば1/2インチ、1/3インチ等撮像素
子のサイズに合わせてあり本実施例では1/2インチと
している。このスリット光はシリンドリカルレンズ8で
生成された水平方向に長さを持ち、投光されたスリット
光の長さ方向と垂直方向にポリゴンミラーの回転に従い
高速で走査される。この時、投光用ズームレンズの焦点
位置は撮像系に設けられたオートフォーカスセンサ31
からの信号に基づいてAF駆動系17により、対象物体
面までの距離に応じて撮像系と同値、同時に制御され
る。オートフォーカスセンサ31は、スチルカメラで一
般に用いられているものと同様のものである。また、焦
点距離についても撮像系と同値、同時に、ユーザあるい
はシステムからの操作に基づき制御される。Condenser lens 1 arranged on image plane (imaging plane) 10p of projection zoom lens 11
The slit light once imaged at 0 is transmitted to the projection zoom lens 1
1 and is projected on the target object. The size of the image forming surface is set to 1/2 inch, 1/3 inch or the like according to the size of the image sensor, and is set to 1/2 inch in this embodiment. The slit light has a length in the horizontal direction generated by the cylindrical lens 8, and is scanned at high speed in a direction perpendicular to the length direction of the projected slit light as the polygon mirror rotates. At this time, the focus position of the light projecting zoom lens is determined by the auto focus sensor 31 provided in the imaging system.
Are controlled by the AF driving system 17 at the same value and simultaneously with the imaging system according to the distance to the target object plane based on the signal from The auto focus sensor 31 is the same as that generally used in a still camera. Also, the focal length is controlled by the same value as that of the imaging system and at the same time based on an operation from the user or the system.
【0029】ポリゴンミラー7は、ポリゴンミラー駆動
モータ、ポリゴンミラー駆動ドライバーからなる投光走
査駆動系9に接続されており、これらによって回転制御
されている。また、33は、コンデンサレンズ10横に
配置されたフォトダイオードを用いた走査開始センサ
で、レーザ走査が安定に達したか否か、走査開始タイミ
ングをモニタするものである。The polygon mirror 7 is connected to a light projection / scanning drive system 9 composed of a polygon mirror driving motor and a polygon mirror driving driver, and the rotation thereof is controlled by these components. Reference numeral 33 denotes a scanning start sensor using a photodiode arranged on the side of the condenser lens 10, which monitors the scanning start timing to determine whether laser scanning has reached a stable state.
【0030】この投光系はズーム機能を備えており、対
象物体1に対し、必要な倍率に調整することが可能にな
る。ズーム機能には、ユーザが任意に画角を選べるパワ
ーズーム(PZ)と、予め設定された画角に自動で合わ
すオートズーム(AZ)の2つの機能を備えている。受
光光学系3のズーミングに対し、投光光学系2は常に画
角が一致するようにAZ駆動系16により制御され、常
に光学的倍率が等しくなるようにズーミングを行う。ズ
ーミングによるスリット光投光の関係は図8の模式図を
参照すると式(1)〜(3)のようになる。 θ=α1×1/f (1) φ=α2×1/f (2) ψ=α3×1/f (3) 投光系のある1点を基準として、θは一列の256点の
ピッチズレ画像を得るため1枚の画像を積分する間に極
めて細いスリット光が移動する角度、φは対象物体上の
スリット光の長さを表す角度、ψは対象物体上でのスリ
ット光の324回の総走査角度で、スリット光は実線で
示す位置から矢印の方向へ走査され破線で示す位置まで
移動する。fは投光レンズの焦点距離を表す。スリット
光の幅自体は可能な限り細く設定される。α1,α2,α
3は比例係数であり、これらの角度θ、φ、ψは焦点距
離fの逆数に比例する。This light projecting system has a zoom function, so that the magnification of the target object 1 can be adjusted to a required value. The zoom function includes two functions: a power zoom (PZ) in which the user can arbitrarily select an angle of view, and an auto zoom (AZ) that automatically adjusts to a preset angle of view. In response to zooming of the light receiving optical system 3, the light projecting optical system 2 is controlled by the AZ drive system 16 so that the angle of view always coincides, and performs zooming so that the optical magnifications are always equal. Referring to the schematic diagram of FIG. 8, the relationship of the slit light projection by zooming is as shown in equations (1) to (3). θ = α1 × 1 / f (1) φ = α2 × 1 / f (2) ψ = α3 × 1 / f (3) Based on one point of the light projecting system, θ is a pitch shift image of 256 points in a row The angle at which the extremely thin slit light moves during the integration of one image to obtain the angle, φ is the angle representing the length of the slit light on the target object, and ψ is the total of 324 slit light beams on the target object. At the scanning angle, the slit light scans from the position shown by the solid line in the direction of the arrow and moves to the position shown by the broken line. f represents the focal length of the light projecting lens. The width of the slit light itself is set as narrow as possible. α1, α2, α
3 is a proportionality coefficient, and these angles θ, φ, and ψ are proportional to the reciprocal of the focal length f.
【0031】スリット光照射装置(投光光学系)2の垂
直方向に、スリット光照射装置2と基線長lだけ離れた
位置にカラー画像撮像系、距離画像撮像系を含む撮像装
置(受光光学系)3が一つの回転架台4上に配置されて
おり、この受光光学系の構成を図9に示す。受光光学系
3は撮像用ズームレンズ14、オートフォーカス用ユニ
ット31、ビームスプリッタ15、各種フィルタ61、
62、カラーCCD撮像素子24、距離画像用センサ1
2で構成されている。An image pickup device (light receiving optical system) including a color image pickup system and a distance image pickup system at a position perpendicular to the slit light irradiation device (projection optical system) 2 and separated from the slit light irradiation device 2 by a base line length l. ) 3 is arranged on one rotating base 4, and the configuration of this light receiving optical system is shown in FIG. 9. The light receiving optical system 3 includes an imaging zoom lens 14, an autofocus unit 31, a beam splitter 15, various filters 61,
62, color CCD image sensor 24, range image sensor 1
2 is comprised.
【0032】受光した光は撮像系ズームレンズ14内に
配置されたビームスプリッタ14sで分割され、一部の
光はオートフォーカスユニット31に導かれる。このA
Fユニット31は物体面までの概略距離を測定し、投光
系、受光系レンズの焦点調節を行うため機能するもの
で、本実施例ではビデオカメラ、一眼レフカメラ等で用
いられているものを用いる。The received light is split by a beam splitter 14 s disposed in the imaging system zoom lens 14, and a part of the light is guided to an autofocus unit 31. This A
The F unit 31 functions to measure the approximate distance to the object surface and adjust the focus of the light projecting system and the light receiving system lens. Used.
【0033】撮像系ズームレンズ14内に配置されたビ
ームスプリッタ14sで分割されたもう一方の光束はさ
らに撮像系ズームレンズの後に配置されたビームスプリ
ッタ15で透過と反射の2光束に分割され、それぞれ距
離画像用センサ12とカラー画像用センサ24に導かれ
る。このビームスプリッタ15は距離画像用センサ12
に入射する光束として長波長成分、ここではレーザ波長
成分(670nm)を含む長波長成分としておよそ650
nmより長い波長成分を透過し、他の波長成分を反射する
光学特性を持つ。The other light beam split by the beam splitter 14s disposed in the imaging system zoom lens 14 is further split by the beam splitter 15 disposed after the imaging system zoom lens into two light beams of transmission and reflection. It is guided to the range image sensor 12 and the color image sensor 24. This beam splitter 15 is used for the distance image sensor 12.
A long wavelength component as a light beam incident on the laser beam, here a long wavelength component including a laser wavelength component (670 nm) of about 650
It has an optical property of transmitting wavelength components longer than nm and reflecting other wavelength components.
【0034】反射された短波長成分は、可視光のほとん
どの波長成分を有するため、カラー情報に支障をきたす
ことは通常の場合はありえない。この反射された光束は
偽解像を防止するための水晶フィルタなどのローパスフ
ィルタ61を通過し、単板のカラー画像用センサ24上
に結像する。単板のカラー画像用センサ24はビデオカ
メラ等で用いられるCCD撮像素子で、素子上にRG
B、あるいは補色系のイエローYe、シアンCy、マゼ
ンタMg、グリーンGの色素フィルタがモザイク上に配
置され、色情報を抽出する撮像素子である。なお、グリ
ーンは輝度信号の代わりとして用いることができる。図
10に補色系カラー画像用センサで受光する光の波長帯
域を示す。カラー画像用撮像素子は、反射率hで示す特
性を持つビームスプリッタにより反射された波長領域の
光を受光する。曲線で示すのはイエローYe、シアンC
y、マゼンタMg、グリーンGの各色素フィルタ付き画
素の分光感度である。Since the reflected short-wavelength component has almost all wavelength components of visible light, it is impossible that the color information is disturbed in a normal case. The reflected light flux passes through a low-pass filter 61 such as a quartz filter for preventing false resolution, and forms an image on the single-plate color image sensor 24. The single-plate color image sensor 24 is a CCD image sensor used in a video camera or the like, and has an RG
This is an image sensor in which dye filters of B, or complementary color yellow Ye, cyan Cy, magenta Mg, and green G are arranged on a mosaic to extract color information. Note that green can be used instead of a luminance signal. FIG. 10 shows a wavelength band of light received by the complementary color image sensor. The color image pickup device receives light in a wavelength region reflected by a beam splitter having a characteristic represented by a reflectance h. The curves show yellow Ye, cyan C
This is the spectral sensitivity of each pixel with a dye filter of y, magenta Mg, and green G.
【0035】一方、ビームスプリッタ15で透過された
長波長成分の光束は、レーザ光成分(波長670nm)の
みを抽出するために赤外光(Infrared Ray、以下IRと
称す)カットのフィルタを通過し、さらに水晶フィルタ
などのローパスフィルタを通過し距離画像用センサ12
上に結像する。図9に示す受光光学系構成図では、これ
らIRカット、ローパス両特性を一つのフィルタ62で
示している。図11に距離画像用センサ12で受光する
光の波長帯域(斜線部分)を示す。レーザ光の波長より
短波長領域はビームスプリッタ15(実線で示す透過
率)によって、長波長領域はIRカットフィルタ62
(破線で示す透過率)によってカットされている。On the other hand, the luminous flux of the long wavelength component transmitted by the beam splitter 15 passes through a filter of an infrared ray (Infrared Ray, hereinafter referred to as IR) cut to extract only a laser beam component (wavelength 670 nm). And a distance image sensor 12 which passes through a low-pass filter such as a quartz filter.
Image on top. In the configuration diagram of the light receiving optical system shown in FIG. 9, both the IR cut and low pass characteristics are indicated by one filter 62. FIG. 11 shows a wavelength band (shaded area) of light received by the range image sensor 12. The wavelength region shorter than the wavelength of the laser light is controlled by the beam splitter 15 (the transmittance indicated by the solid line), and the longer wavelength region is controlled by the IR cut filter
(The transmittance indicated by the broken line).
【0036】ここで用いられるローパスフィルタ62は
前述したカラー画像用の偽解像を防止する目的と異な
り、距離データ算出の際の受光レーザビーム位置の撮像
素子ピッチより細かな分解能で検出するための補完機能
を持たすためのものである。そのため、カラー画像時の
ローパスフィルタ61の持つ等方性の光学特性とは異な
り、受光されるスリット光の長さ方向には分解能を低下
させることがなく、スリット光の幅方向には分解能を低
下させる異方性を持つ光学特性を持つことが望ましい。
こうした光学特性を実現する手段として単層の水晶フィ
ルタやグレーティングなど回折を用いたローパスフィル
タを用いることができるが、このローパスフィルタはシ
ステム構成上必須のものではなく、後のセンサ出力に対
するアナログフィルタ、あるいはセンサ出力のディジタ
ル変換後のディジタルフィルタによってもその機能は代
行しうる。The low-pass filter 62 used here is different from the above-described purpose of preventing false resolution for a color image, and is used to detect the position of the received laser beam at a resolution finer than the imaging element pitch when calculating the distance data. It is intended to have a complementary function. Therefore, unlike the isotropic optical characteristics of the low-pass filter 61 at the time of a color image, the resolution does not decrease in the length direction of the received slit light, and decreases in the width direction of the slit light. It is desirable to have an optical property having anisotropy that causes the anisotropy.
As a means for realizing such optical characteristics, a low-pass filter using diffraction such as a single-layer quartz crystal filter or a grating can be used. However, this low-pass filter is not indispensable in the system configuration, and an analog filter for the sensor output later, Alternatively, the function can be substituted by a digital filter after digital conversion of the sensor output.
【0037】次に、撮像素子12、24の走査について
説明する。図9の撮像素子12、24の横に並べて図示
している12p、24pは説明のために12、24を平
面図で示した撮像素子である。CCD撮像素子は、一般
に、水平レジスタ12h、24hの長さ方向(水平方
向)の走査速度に対して、垂直方向の走査は低速であ
る。そのため、撮像素子24(24p)で得られるカラ
ー画像は通常、高速走査を行うCCDの水平転送ライン
の出力に応じてアナログ信号処理を行い、逐次NTSC
の信号に変換し、モニターへ画像出力可能である。この
同一のモニターにピッチズレ画像を出力しようとした場
合、カラー画像の水平走査方向と同じ方向、同じ位置順
に距離画像用データが生成されることが、位置の情報を
記憶しなくても済み必要となるメモリ容量の削減と共
に、メモリに要求する機能の単純化から望ましい。Next, scanning of the image pickup devices 12 and 24 will be described. 12p and 24p shown side by side with the image pickup devices 12 and 24 in FIG. 9 are image pickup devices in which 12 and 24 are shown in a plan view for explanation. In the CCD image pickup device, scanning in the vertical direction is generally slower than scanning speed in the length direction (horizontal direction) of the horizontal registers 12h and 24h. Therefore, a color image obtained by the image sensor 24 (24p) is usually subjected to analog signal processing in accordance with the output of a horizontal transfer line of a CCD that performs high-speed scanning, and the NTSC is sequentially performed.
And output the image to a monitor. When attempting to output a pitch-shifted image to the same monitor, it is necessary that the distance image data be generated in the same direction as the horizontal scanning direction of the color image and in the same position order, without having to store position information. It is desirable from the viewpoint of simplification of functions required for the memory as well as reduction of the memory capacity.
【0038】そこで距離データ測定のために投光するス
リットの長さの方向はカラー画像用のイメージセンサの
高速走査方向、すなわち一般的には水平走査方向である
ことが望ましい。また、スリットの投光される走査方向
はカラー画像の垂直走査方向であることが望ましい。す
なわち、投光されるスリット光は上から下への走査とな
るのが望ましい。Accordingly, it is desirable that the length direction of the slit for projecting the distance data is in the high-speed scanning direction of the color image image sensor, that is, generally in the horizontal scanning direction. Further, it is desirable that the scanning direction in which the slit is projected is the vertical scanning direction of the color image. That is, it is desirable that the projected slit light be scanned from top to bottom.
【0039】そこで、本実施例のような測定対象をカラ
ー画像用センサ、距離画像用センサの2種の画像入力セ
ンサで捕える光切断法を用いた3次元形状測定装置、3
次元入力カメラにおいては、カラー画像用撮像素子の水
平走査方向にスリット長を持つスリット光を投光し、カ
ラー画像用撮像素子の垂直走査方向と同じ方向にスリッ
トを走査することによりメモリの削減と、メモリへの要
求事項の削減につながる。また、このようなスリット光
に対して距離画像用センサから帯状画像を高速に読み出
すには方向が制限され、距離画像用センサの高速走査の
できる水平方向はカラー画像用センサの水平走査方向と
平行な方向にする必要がある。つまり、これらのイメー
ジセンサと入射するスリット光の位置関係、走査方向関
係は図9に示すような関係となる。Therefore, a three-dimensional shape measuring apparatus using a light-section method, in which the object to be measured as in this embodiment is captured by two types of image input sensors, a color image sensor and a distance image sensor, is used.
In a two-dimensional input camera, the slit light having a slit length in the horizontal scanning direction of the color image pickup device is projected, and the slit is scanned in the same direction as the vertical scanning direction of the color image pickup device, thereby reducing memory. , Leading to a reduction in memory requirements. In addition, the direction in which the band image is read from the range image sensor at high speed with respect to such slit light is limited. The horizontal direction in which the range image sensor can perform high-speed scanning is parallel to the horizontal scanning direction of the color image sensor. It needs to be in the right direction. In other words, the positional relationship and the scanning direction relationship between these image sensors and the incident slit light are as shown in FIG.
【0040】上述のような撮像部の構成とした場合の光
学系において、以下に説明する2つの構成が新たに必要
となる。In the optical system having the above-described configuration of the image pickup section, the following two configurations are newly required.
【0041】まず、カラー画像、距離画像生成用画像を
同一レンズより入力するが、カラー画像用の波長から得
ることのできる光量と距離画像用の波長から得られる光
量に関係はないため露光光量制御をそれぞれ独立に行う
ことが必要となる。暗いところで、近い測定対象を計測
する場合は距離用の明度は高いものの、カラー画像用の
明度は低い。逆に明るいところで、遠い測定対象を計測
する場合は距離用の明度は低いものの、カラー画像用の
明度は高い。そこで、この受光ズームレンズにおいては
一般のレンズでの露出調整手段である絞りによる制御は
行わず、常に開放の状態に固定している。First, a color image and an image for generating a distance image are input from the same lens. Must be performed independently of each other. When measuring a close measurement target in a dark place, the brightness for a distance is high, but the brightness for a color image is low. Conversely, when measuring a distant measurement target in a bright place, the brightness for a distance is low, but the brightness for a color image is high. Therefore, in this light-receiving zoom lens, the control by the aperture, which is an exposure adjusting means in a general lens, is not performed, and is always kept in an open state.
【0042】カラー画像の露出制御はカラー画像用セン
サとして一般に用いられるFIT−CCD等が有する電
子シャッタ機能で蓄積時間による調整を行う。通常、カ
ラー画像用センサとして用いられるFIT−CCD等の
電子シャッタ機能は1/60〜1/10000秒の蓄積時間制御を
可能にしている。さらに広いダイナミックレンジを確保
するために、明るい屋外での使用条件下では、カラー画
像センサ直前には入射光の成分を変えずに透過光量を減
少させる機能を有するNDフィルタを挿入することによ
りセンサ入射光量を低下させ、距離画像用センサに入射
する光量の低下なしに、より高輝度状態での使用も可能
となる。The exposure control of a color image is adjusted by an accumulation time by an electronic shutter function of an FIT-CCD or the like generally used as a color image sensor. Normally, an electronic shutter function of a FIT-CCD or the like used as a color image sensor enables control of an accumulation time of 1/60 to 1/10000 second. In order to secure a wider dynamic range, under the conditions of bright outdoor use, an ND filter that has a function of reducing the amount of transmitted light without changing the component of the incident light immediately before the color image sensor is inserted. By reducing the amount of light, it is possible to use the device in a higher brightness state without reducing the amount of light incident on the range image sensor.
【0043】一方、距離画像用の露出制御は投光するレ
ーザの使用個数の制御、レーザへの供給電流の制御、レ
ーザから出力レンズまでの任意の光学位置でのNDフィ
ルタの挿入制御などによるレーザ強度の調整、あるいは
出力信号に供給するアンプゲインで出力レベルの調整を
行う。この制御はAF制御部より得られる測定対象まで
の距離情報Dafと測定条件下でのレンズの焦点距離fか
らレーザ強度制御値が決定される。図12にその制御マ
ップ例を示す。On the other hand, the exposure control for the distance image is performed by controlling the number of lasers to be projected, controlling the current supplied to the laser, and controlling the insertion of an ND filter at an arbitrary optical position from the laser to the output lens. The output level is adjusted by adjusting the intensity or the amplifier gain supplied to the output signal. In this control, the laser intensity control value is determined from the distance information Daf to the measurement object obtained from the AF control unit and the focal length f of the lens under the measurement conditions. FIG. 12 shows an example of the control map.
【0044】通常、距離画像用センサの出力は測定対象
までの距離情報Dafの2乗に反比例する。また、焦点距
離fが短くなると照明を要する面積が拡大することから
距離画像用センサの出力信号は小さくなる。そこで本実
施例の装置においては、距離画像算出用データの出力レ
ベルは焦点距離に応じてレーザ個数が制御され、図12
に示す例では、焦点距離fが36.7mmまでは3個、そ
れ以上では1個のレーザを用いる。さらに、焦点距離f
とAFセンサの出力で決定される測定対象までの距離情
報Dafから算出される像倍率β(=Daf/f)に応じ
て、距離画像センサ出力に対してアナログ前処理回路内
で与えるアンプゲインを変化させることでも制御されて
いる。図示した例では、β=35〜50では1/2、β
=50〜75では1、β=75〜100では2、β=1
00〜200では4、のようにアンプのゲインを設定し
てる。この他には、近距離で焦点距離の長い望遠系での
測定においてJISに定める安全規格を越えるレーザ光
量を用いる場合には、レーザから出力レンズまでの任意
の光学位置でのNDフィルタの挿入による光量制御も有
効な手段である。Normally, the output of the distance image sensor is inversely proportional to the square of the distance information Daf to the object to be measured. Further, when the focal length f becomes shorter, the area required for illumination increases, so that the output signal of the range image sensor becomes smaller. Therefore, in the apparatus of this embodiment, the output level of the distance image calculation data is controlled by the number of lasers according to the focal length.
In the example shown in FIG. 3, three lasers are used up to a focal length f of 36.7 mm, and one laser is used above the focal length f. Further, the focal length f
And an image gain β (= Daf / f) calculated from distance information Daf to the measurement target determined by the output of the AF sensor and an amplifier gain given in the analog preprocessing circuit to the distance image sensor output. It is also controlled by changing it. In the illustrated example, when β = 35 to 50, 、, β
= 1 for 50 to 75, 2 for β = 75 to 100, β = 1
In the case of 00 to 200, the gain of the amplifier is set as 4, for example. In addition, in the case of using a laser light amount exceeding the safety standard defined in JIS in measurement in a telephoto system having a short focal length at a short distance, an ND filter is inserted at an arbitrary optical position from the laser to the output lens. Light amount control is also an effective means.
【0045】しかし、上記の制御による制御値で測定を
行っても良好な測定結果が得られない場合には、レーザ
光強度調整キーを設けキー操作によりレーザ強度の調整
をする、あるいはセンサ蓄積時間の変更を行う等の手段
を用いることも可能である。また、その他の手段として
は、距離情報とカラー画像から得られる測定対象の推定
される反射率とから、得られる推定レーザ強度制御値を
もとにレーザプリ走査を行う方法がある。プリ走査時の
距離画像用センサの出力最大値を算出し、この値がA/
D変換のダイナミックレンジ内で収まり、かつ、後段で
の距離情報算出に充分な信号となるレーザ強度、イメー
ジセンサ蓄積時間の算出を行い、この算出された制御値
を基に距離画像の取り込みを行う。他には、AF用の補
助照明装置がある場合には、測定対象が存在すると考え
られる画面中央部に対してこの補助照明の照射によって
反射する光量をAF用センサで検出し、検出された反射
光量をもとにレーザ強度、イメージセンサ蓄積時間の算
出を行い距離画像の取り込みを行うことも可能である。However, if a good measurement result cannot be obtained even when the measurement is performed with the control value obtained by the above control, a laser light intensity adjustment key is provided to adjust the laser intensity by operating the key, or the sensor accumulation time is adjusted. It is also possible to use a means such as changing the number. As another means, there is a method of performing laser pre-scanning based on the estimated laser intensity control value obtained from the distance information and the estimated reflectance of the measurement target obtained from the color image. The maximum output value of the distance image sensor at the time of pre-scanning is calculated, and this value is A / A
The laser intensity and the image sensor accumulation time which fall within the dynamic range of the D conversion and are sufficient for the distance information calculation in the subsequent stage are calculated, and the distance image is captured based on the calculated control values. . In addition, if there is an auxiliary lighting device for AF, the amount of light reflected by the irradiation of the auxiliary lighting is detected by the AF sensor at the center of the screen where the measurement target is considered to be present, and the detected reflection is detected. It is also possible to calculate the laser intensity and the image sensor accumulation time on the basis of the light amount and to capture the distance image.
【0046】もうひとつは、異なる視点(位置)から投
光、受光を行うことで視差が生じてしまうため(図13
参照)これを解決するための手段が必要になる。イメー
ジプレインサイズ、焦点距離の同値である同一レンズ系
で投受光を行うと、特定の距離でしか視野の一致は起こ
らない(大きい矢印OBJ1で示す)。一致する距離に物体
が無い場合は投光されていない領域の3次元形状測定を
行うことになり、測定不能の領域が生じてしまう。例え
ば図13の小さい矢印OBJ2で表したような視野の一致し
ない位置にある物体を測定しようとすると、投光範囲と
受光範囲にずれが生じるため、矢印上端部が投光されて
いない範囲であるのに受光系は走査するという不具合が
生じる。The other is that parallax is generated by projecting and receiving light from different viewpoints (positions) (FIG. 13).
(See reference.) A means to solve this is needed. When light is projected and received by the same lens system having the same value of the image plane size and the focal length, the field of view coincides only at a specific distance (indicated by a large arrow OBJ1). If there is no object at the coincident distance, the three-dimensional shape measurement of the unprojected area is performed, and an unmeasurable area occurs. For example, when trying to measure an object at a position where the fields of view do not match as represented by a small arrow OBJ2 in FIG. 13, a deviation occurs between the light projecting range and the light receiving range. However, a problem occurs in that the light receiving system performs scanning.
【0047】上記不具合への対応としては、以下の様な
構成により解決する。 (1)投光系の光軸の仰角を対象までの距離によって無
段階に変化させる(図14参照)。投受光系の焦点距離
は同値に設定し、オートフォーカス測定による対象物体
までの距離に応じて投光系の光軸(破線で示す)の仰角
を変化させることで固定された受光系の走査範囲に対応
させている。つまり、近距離であるほどパララックスの
影響が大きくなるため仰角を大きくし走査範囲をS1と
し、遠距離ほど仰角を小さくし走査範囲をS2とてい
る。なお、投光系光軸の変化は機械的な手段により変化
させる。The above problem can be solved by the following configuration. (1) The elevation angle of the optical axis of the light projecting system is steplessly changed according to the distance to the target (see FIG. 14). The focal length of the light emitting and receiving system is set to the same value, and the elevation range of the optical axis (indicated by a broken line) of the light emitting system is changed according to the distance to the target object by the autofocus measurement. It corresponds to. That is, since the influence of parallax increases as the distance becomes shorter, the elevation angle is increased and the scanning range is set to S1, and the elevation angle is decreased and the scanning range is set to S2 as the distance increases. The change of the optical axis of the light projecting system is changed by mechanical means.
【0048】(2)投光レンズ系の投光直後に屈折率可
変のプリズムを設ける光学的手段により、投光系光軸の
仰角を対象までの距離に応じて連続的に変化させる。た
だし、投・受光系の焦点距離fは等しくとる。オートフ
ォーカス測定距離に応じて曲率を持ったプリズムを出し
入れすることで屈折率が変化し投光系光軸の仰角が変化
する。(2) The elevation angle of the optical axis of the light projecting system is continuously changed in accordance with the distance to the object by an optical means for providing a variable refractive index prism immediately after the light projecting lens system projects light. However, the focal lengths f of the light projecting / receiving systems are set equal. By moving a prism having a curvature in and out according to the autofocus measurement distance, the refractive index changes, and the elevation angle of the optical axis of the light projecting system changes.
【0049】(3)同一のイメージプレインサイズを持
つ光学系を用いて投光系の焦点距離faを受光系焦点距
離fpより小さくなるように制御する。あるいは、大き
なイメージプレインサイズを持つ光学系を投光系に用
い、投受光系焦点距離fa、fpが同値になるように制御
する。このような手段で受光系走査範囲に対して投光系
の走査範囲に余裕(受光系に対して1.5倍程度)をも
たせると同時に、対象物体までの距離を複数のゾーンに
ゾーン分けを行い、それぞれのゾーンに応じて投光系光
軸の仰角を段階的に変更する。例えば図15に示す例で
は、対象までの距離を2つのゾーンに分け、遠い側をゾ
ーンZ1、近い側をゾーンZ2としている。そして、ゾ
ーンZ1に該当する場合は投光系の光軸の仰角を所定の
角度だけ変更し、近距離側のゾーンZ2に該当する場合
はゾーンZ1のときよりも大きい角度の仰角変更を行
う。(3) Using an optical system having the same image plane size, the focal length fa of the light projecting system is controlled to be smaller than the focal length fp of the light receiving system. Alternatively, an optical system having a large image plane size is used for the light projecting system, and control is performed so that the focal lengths fa and fp of the light projecting / receiving system become the same value. With such means, the scanning range of the light projecting system is given a margin (about 1.5 times that of the light receiving system) with respect to the scanning range of the light receiving system, and the distance to the target object is divided into a plurality of zones. Then, the elevation angle of the optical axis of the light projecting system is changed stepwise according to each zone. For example, in the example shown in FIG. 15, the distance to the target is divided into two zones, the far side is defined as zone Z1, and the near side is defined as zone Z2. Then, in the case of the zone Z1, the elevation angle of the optical axis of the light projecting system is changed by a predetermined angle.
【0050】(4)前記(3)と同様に投光系の走査範
囲に余裕(受光系の1.5倍程度)をもたせ、投光系光
軸の仰角は固定し、焦点距離fに応じて最近接測定距離
に制限を設定する。図16に示す例では、小さい矢印OB
J2が位置している距離より近い距離では受光範囲が投光
範囲外になる領域が生じるため、このときの距離を最近
接距離とする。(4) As in (3) above, the scanning range of the light projecting system has a margin (about 1.5 times the light receiving system), the elevation angle of the optical axis of the light projecting system is fixed, and the focal length f varies. To set a limit on the closest measurement distance. In the example shown in FIG.
At a distance shorter than the distance at which J2 is located, there is an area where the light receiving range is outside the light projecting range.
【0051】(1)、(2)の場合(図14)は視野は
完全に一致していると想定しているため、レーザの走査
開始と共に距離画像用センサの駆動を行い、画像の取り
込みを開始することができる。一方、(3)、(4)の
場合は図15、図16に示すように視野は一致しておら
ず投光系によるレーザの走査領域が広いため無駄な領域
が生じる。そこで、この無駄な領域を走査するのに要す
る時間をオートフォーカス算出基準距離から算出する。
走査は上から下へと進むので始めに無駄な領域があり、
走査開始から上記算出時間経過後に、マイコンは距離画
像用センサからのデータ取り込みを開始するようにす
る。この場合には、走査範囲が広いため(1)、(2)
の場合に比べて1.5倍程度のレーザ走査時間が必要と
なり、3次元形状入力時間がその分延びることになる。In the cases of (1) and (2) (FIG. 14), it is assumed that the fields of view are completely coincident. You can start. On the other hand, in the cases of (3) and (4), as shown in FIGS. 15 and 16, the fields of view do not coincide with each other, and the laser scanning area of the light projecting system is large, so that a useless area is generated. Therefore, the time required to scan this useless area is calculated from the autofocus calculation reference distance.
Since the scan proceeds from top to bottom, there is a waste area at the beginning,
After the calculation time elapses from the start of scanning, the microcomputer starts to take in data from the range image sensor. In this case, since the scanning range is wide, (1) and (2)
In this case, the laser scanning time is required to be about 1.5 times as long as that of the case (1), and the input time of the three-dimensional shape is prolonged accordingly.
【0052】また、このように投光系、受光系で異なる
仰角を持つため受光系光軸に垂直な物体面上では厳密な
等速でのレーザの移動は行われず、物体の下側に密、上
側に粗な移動となるが、この仰角自体が小さい角度であ
るためあまり問題とならず、センサの走査している垂直
方向の位置情報とピッチズレ量から距離情報への変換テ
ーブルを持つことでほぼ等方性を有する3次元計測は可
能である。Further, since the light projecting system and the light receiving system have different elevation angles, the laser does not move at a strict uniform speed on the object plane perpendicular to the optical axis of the light receiving system. However, since the elevation angle itself is a small angle, it does not cause much problem, and by having a conversion table for converting the vertical position information scanned by the sensor and the pitch shift amount into the distance information. Three-dimensional measurement having almost isotropic properties is possible.
【0053】次に撮像系についての詳細な説明をする。
1本のスリットの投光された方向に対して、測定される
物体までの距離範囲に制限があれば、そのスリットの物
体での反射光を受光するセンサ上の位置はある範囲内で
制限される。この様子を図17に示す。Next, the imaging system will be described in detail.
If the distance range to the object to be measured is limited with respect to the direction in which one slit is projected, the position of the slit on the sensor that receives the reflected light from the object is limited within a certain range. You. This is shown in FIG.
【0054】測定最遠距離をDf、測定最短距離をDnと
する。今、投光系から照射されるスリット光による切断
平面が、スリットAの場合、物体面で反射したスリット
光を受光する撮像素子面の範囲は、測定最近距離Dnと
スリットAとの交点PAnの3次元的位置が撮像素子上に
投影される点を図中最下点とし、測定最遠距離Dfとス
リットAとの交点PAfの3次元的位置が撮像系レンズ主
点位置を中心として撮像素子上に投影される点を図中最
上点とする撮像素子上の閉区間Arに限定される。投光
系、受光系の位置関係をそのままとして、同様にスリッ
ト光Bの場合も、測定最近距離DnとスリットBとの交
点PBnの投影される点を図中最下点とし、測定最遠距離
DfとスリットBとの交点PBfの投影される点を図中最
上点とする撮像素子上の閉区間Brに限定される。The longest distance measured is Df, and the shortest distance measured is Dn. Now, when the cutting plane by the slit light emitted from the light projecting system is the slit A, the range of the imaging device surface that receives the slit light reflected on the object surface is the distance between the intersection PAn of the measured latest distance Dn and the slit A. The point at which the three-dimensional position is projected on the image sensor is the lowermost point in the figure, and the three-dimensional position of the intersection PAf between the farthest distance Df and the slit A is the image sensor centering on the principal point of the image pickup lens. The point projected upward is limited to the closed section Ar on the image sensor having the uppermost point in the drawing. Similarly, in the case of the slit light B while keeping the positional relationship between the light projecting system and the light receiving system as it is, the projected point of the intersection PBn of the measured latest distance Dn and the slit B is defined as the lowest point in the figure, and the measured farthest distance The point where the intersection point PBf of Df and the slit B is projected is limited to a closed section Br on the image sensor having the uppermost point in the drawing.
【0055】このように、1本のスリット光投光による
256点の1列の距離データを生成するために、撮像素
子全範囲を走査するのではなくスリット光に対応した必
要な範囲だけを走査することができ、処理の高速化が可
能となる。As described above, in order to generate the distance data of 256 points in one column by projecting one slit light, the whole area of the image pickup device is not scanned but only the necessary range corresponding to the slit light is scanned. And the processing speed can be increased.
【0056】更に3次元形状データを生成する装置の高
速化をはかるために、この領域のみの帯状画像、例えば
256×16画素の素子画像のみを高速に出力する機能
が要求される。このような帯状領域の選択的読み出しを
可能とする高速駆動固体撮像素子として以下に述べる3
種の固体撮像素子を用いることができる。第1は、MO
S、CMD等のX−Yアドレス走査方式を持つ撮像素子
の読み出し開始アドレス設定機能を付加する構成である
(図18)。第2はCCD撮像素子等のアナログ転送
方式における読み出し転送路(一般には水平レジスタ)
への電荷転送時に並列に電荷排出機能を付加する構成で
ある(図19、図20)。第3は走査方式にかかわらず
帯状に分割したブロックをあらかじめ設定し、ブロック
毎に出力機能を持たせ、その並列出力を用いる構成であ
る(図21)。Further, in order to increase the speed of an apparatus for generating three-dimensional shape data, a function of outputting a strip image of only this area, for example, only an element image of 256 × 16 pixels, is required. A high-speed driving solid-state imaging device capable of selectively reading such a band-like region will be described below.
Various types of solid-state imaging devices can be used. The first is MO
This is a configuration in which a read start address setting function of an image sensor having an XY address scanning method such as S or CMD is added (FIG. 18). Second is a read transfer path (generally a horizontal register) in an analog transfer system such as a CCD image sensor.
This is a configuration in which a charge discharging function is added in parallel at the time of charge transfer to the device (FIGS. 19 and 20). The third configuration is that a block divided into strips is set in advance regardless of the scanning method, an output function is provided for each block, and the parallel output is used (FIG. 21).
【0057】第1の構成としてX−Yアドレス走査方式
センサの構成を図18に示す。通常、各画素の走査は垂
直走査回路61と水平走査回路62のマトリクス配置さ
れたスイッチで行われる。この垂直走査回路61、水平
走査回路62はディジタルシフトレジスタで構成され、
垂直走査の1シフト信号入力に対して水平シフト信号の
256シフト信号を入力することにより1行(256画
素)を走査することができる。本実施例においてはこの
垂直走査回路61に対してレジスタ初期値である走査開
始セット信号を供給する走査開始セットレジスタ63を
設置することで帯状のランダムアクセス読み出しを実現
する。走査開始セットレジスタ63へは走査開始位置を
表す信号sgn1、sgn2を入力することでどの位置の帯状画
像を読み出すかを指示する。FIG. 18 shows a configuration of an XY address scanning type sensor as a first configuration. Normally, each pixel is scanned by switches arranged in a matrix of a vertical scanning circuit 61 and a horizontal scanning circuit 62. The vertical scanning circuit 61 and the horizontal scanning circuit 62 are constituted by digital shift registers.
One row (256 pixels) can be scanned by inputting a 256 shift signal of a horizontal shift signal to one shift signal input of a vertical scan. In this embodiment, a strip-shaped random access read is realized by providing a scan start set register 63 for supplying a scan start set signal, which is a register initial value, to the vertical scanning circuit 61. By inputting the signals sgn1 and sgn2 representing the scan start position to the scan start set register 63, the position of the band image to be read is instructed.
【0058】また、画素数が増加するとこの走査開始セ
ット信号のビット数が増えてしまい、入力ピンの増加が
起こるため、走査開始セット信号のデコーダ64を配置
するのが望ましい。そして、読み出し開始時に走査開始
セットレジスタ63の内容を垂直走査回路61に並列転
送することで走査開始位置(行)がセットされたことに
なる。この後、水平走査を256回行うことで所望の行
からの信号が得られる。続いて、垂直走査の1シフト信
号入力、水平方向の256シフト信号入力を行い、次の
行の信号を読み出し、これを繰り返すことで所望の帯状
領域の画像の読み出しを行う。以上の動作を行うことで
所望の帯状領域のみの走査が実現され、全領域の走査を
行う時間よりはるかに短い時間(読み出し行数/全領域
行数)で必要な走査が完了する。When the number of pixels increases, the number of bits of the scan start set signal increases, and the number of input pins increases. Therefore, it is desirable to arrange the scan start set signal decoder 64. Then, the content of the scan start set register 63 is transferred in parallel to the vertical scanning circuit 61 at the start of reading, so that the scan start position (row) is set. Thereafter, signals from a desired row are obtained by performing horizontal scanning 256 times. Subsequently, one shift signal input in the vertical scanning and 256 shift signals in the horizontal direction are input, the signal of the next row is read, and by repeating this, an image of a desired band area is read. By performing the above operation, scanning of only the desired band-shaped area is realized, and the required scanning is completed in a time (the number of readout rows / the number of all-area rows) much shorter than the time required to scan the entire area.
【0059】一度読み出された領域はリセットされ次の
蓄積を開始しているが、読み出されなかった領域は電荷
の蓄積が継続して行れている。そのとき、次回の読み出
しが同じ領域なら問題ないが、異なる領域を読み出す場
合、蓄積時間の異なる画像情報が混在することになる。
光切断を用いた3次元計測装置の場合、レーザスリット
の走査とともに読み出しが必要な帯状領域をシフトしな
がら読み出す必要が有る。そして重複して読み出される
領域の画像は前回読み出しから今回読み出しまでの積分
時間の画像が読み出されるが、読み出し領域のシフトに
ともない新規に読み出される領域の画像の積分は以前か
ら継続された画像となってしまう。そこで本実施例にお
いてはこの読み出し帯状領域を今回必要な領域と次回必
要な領域、両方を包含する領域に設定する。そうするこ
とで、次回入力に必要な領域については必ず前回に積分
がクリアされることになり、積分時間の異なる画素から
なる画像を取り込んでしまうという支障を回避すること
ができる。The area that has been read once is reset and the next accumulation is started, but the accumulation of electric charge continues in the area that has not been read. At that time, there is no problem if the next reading is the same area, but when reading different areas, image information having different accumulation times will be mixed.
In the case of a three-dimensional measuring device using light cutting, it is necessary to read while shifting the band-like region that needs to be read together with scanning of the laser slit. The image of the area that is read redundantly is the image of the integration time from the previous reading to the current reading, but the integration of the image of the area that is newly read due to the shift of the reading area is an image that has been continued for a long time. Would. Therefore, in the present embodiment, this read-out band area is set as an area including both the area required this time and the area required next time. By doing so, the integration required for the area required for the next input is always cleared at the previous time, so that it is possible to avoid the problem of taking in an image composed of pixels having different integration times.
【0060】次に、第2の構成としてCCD撮像素子の
インターライン転送の場合の構成を図19に、フレーム
転送の場合の構成を図20に示す。本実施例のCCD撮
像素子においては、この水平レジスタ66への並列電荷
転送を行う転送ゲートTGと並列に、電荷をオーバーフ
ロードレインODへ排出するための積分クリアゲートI
CGを設置することで、帯状のランダムアクセス読み出
しを実現している。Next, FIG. 19 shows a configuration in the case of interline transfer of the CCD image pickup device as a second configuration, and FIG. 20 shows a configuration in the case of frame transfer. In the CCD image pickup device of this embodiment, an integration clear gate I for discharging charges to an overflow drain OD is provided in parallel with a transfer gate TG for transferring charges in parallel to the horizontal register 66.
By installing the CG, strip-shaped random access reading is realized.
【0061】インターライン転送の場合、通常は、全領
域の画像蓄積が完了した時点ですべての画素の蓄積電荷
は受光部から転送領域に並列に移送される。この各画素
で発生した電荷の走査は垂直レジスタと、転送ゲートT
Gへの1シフト信号入力を行い、垂直レジスタの各電荷
を一段づつ並列に下方にシフトすると共に、最下の垂直
レジスタ内の電荷を水平レジスタ66へ読み出す。この
後、水平シフト信号の256シフト信号入力を供給する
ことにより一行の電荷を走査することができる。この動
作を行数(340行)だけ繰り返すことで全領域の読み
出しを行う。In the case of the interline transfer, normally, when the image storage of the entire area is completed, the accumulated charges of all the pixels are transferred from the light receiving section to the transfer area in parallel. The scanning of the charge generated in each pixel is performed by a vertical register and a transfer gate T.
One shift signal is input to G, and the electric charges in the vertical registers are shifted downward one by one in parallel, and the electric charges in the lowermost vertical register are read out to the horizontal register 66. Thereafter, by supplying a 256 shift signal input of a horizontal shift signal, one row of charges can be scanned. This operation is repeated by the number of rows (340 rows) to read the entire area.
【0062】本実施例においては、各画素で発生した電
荷を走査する段階で不要な行に発生した電荷は、垂直レ
ジスタ、積分クリアゲートICGへの1シフト信号入力
を供給することで、並列にオーバーフロードレインOD
へ排出する。読み出しの必要な行については通常の場合
と同様に垂直レジスタ、転送ゲートTGへの1シフト信
号入力を行い、垂直レジスタの各電荷を一段づつ並列に
下方にシフトすると共に、最下の垂直レジスタ内の電荷
を水平レジスタ66へ読み出し、この後、水平シフト信
号の256シフト信号入力を供給することにより一行の
電荷を走査する。以上のようにすることで、行単位のラ
ンダムアクセス機能が実現され、撮像素子の全領域の走
査を行う時間よりはるかに短い時間(読み出し行数/全
領域行数)で必要な走査が完了する。In this embodiment, the charges generated in unnecessary rows in the stage of scanning the charges generated in each pixel are supplied in parallel by supplying one shift signal input to the vertical register and the integration clear gate ICG. Overflow drain OD
Discharge to For a row that needs to be read, one shift signal is input to the vertical register and the transfer gate TG in the same manner as in the normal case, and each electric charge in the vertical register is shifted downward by one stage in parallel, while the lower vertical register Is read into the horizontal register 66, and thereafter, a row of charges is scanned by supplying a 256 shift signal input of a horizontal shift signal. In this manner, a random access function for each row is realized, and the necessary scanning is completed in a time (the number of readout rows / the number of all rows in the area) which is much shorter than the time for scanning the entire area of the image sensor. .
【0063】図20に示すフレーム転送の場合、インタ
ーライン転送の場合の素子に比べて大きな構成になって
おり、上側は光電変換領域で下側は蓄積領域になってい
る。一般に蓄積領域は光電変換部と同数の画素を有して
いる。通常の動作は、全領域の画像蓄積が完了した時点
ですべての画素の蓄積電荷は光電変換領域から蓄積領域
に行数分の垂直転送パルスにより並列に転送される。転
送後、インターライン転送時と同様に各画素で発生した
電荷の走査は垂直レジスタ、転送ゲートTGのコントロ
ールで水平レジスタ66へ読み出し、この後、水平シフ
ト信号の256シフト信号を入力することにより一行の
電荷を走査することができる。In the case of the frame transfer shown in FIG. 20, the structure is larger than that of the element in the case of the interline transfer. The upper side is a photoelectric conversion area and the lower side is a storage area. Generally, the accumulation area has the same number of pixels as the photoelectric conversion unit. In a normal operation, when image storage in all areas is completed, stored charges of all pixels are transferred in parallel from the photoelectric conversion area to the storage area by vertical transfer pulses for the number of rows. After the transfer, the scanning of the electric charge generated in each pixel is read out to the horizontal register 66 under the control of the vertical register and the transfer gate TG, as in the case of the interline transfer. Can be scanned.
【0064】本実施例においては、全領域の画素の蓄積
電荷は光電変換領域から蓄積領域に行数分の垂直転送パ
ルスにより並列に転送後、水平レジスタ66への転送の
際、各画素で発生した電荷の走査の段階で不要な行の電
荷は垂直レジスタ、積分クリアゲートICGへの1シフ
ト信号を入力するのみで並列にオーバーフロードレイン
ODへ排出する。また、蓄積領域は毎回読み出し必要行
数(例えば16行)のみ用意しておき、最初の読み出し
不要画素行の信号については、光電変換領域から蓄積領
域に垂直転送する際の垂直転送パルスに同期し積分クリ
アゲートICGを開放して電荷を排出し、読み出し必要
な画素行の電荷のみを蓄積領域に転送した段階で水平レ
ジスタ66からの読み出しを行うようにしてもよい。以
上のようにすることにより、行単位のランダムアクセス
機能が実現され、全領域の走査を行う時間よりはるかに
短い時間(読み出し行数/全領域行数)で必要な走査が
完了する。In this embodiment, the charges accumulated in the pixels in the whole area are transferred in parallel from the photoelectric conversion area to the accumulation area by the number of vertical transfer pulses corresponding to the number of rows, and are generated in each pixel when the charges are transferred to the horizontal register 66. Unnecessary row charges are discharged in parallel to the overflow drain OD only by inputting one shift signal to the vertical register and the integration clear gate ICG at the stage of scanning of the charge thus performed. Further, only the number of rows required to be read each time (for example, 16 rows) is prepared, and the signal of the first pixel row that does not need to be read is synchronized with the vertical transfer pulse when vertically transferring from the photoelectric conversion area to the storage area. The charge may be discharged by opening the integration clear gate ICG, and reading from the horizontal register 66 may be performed when only the charges of the pixel rows that need to be read are transferred to the accumulation region. In this manner, a random access function is realized for each row, and the required scanning is completed in a time (the number of readout rows / the total number of rows in the entire area) much shorter than the time required to scan the entire area.
【0065】次に、第3として、複数のブロックに分割
しブロック毎に出力するセンサの構成を図21に示す。
ここではX−Yアドレス走査式センサの場合を例に説明
を行うが、CCD撮像素子などのアナログ転送方式にお
いても同様の構成をとることは容易である。本実施例に
おいては予め設定された読み出しに必要な行数毎に分割
されたブロック構成をとり、各ブロックの信号を並列走
査し出力している。この並列読み出し出力に対して、読
み出したい領域に応じてマルチプレクサ65の操作によ
り出力を選択し、最終出力するものである。このような
読み出しを行うことにより出力順番は異なるものの行単
位のランダムアクセスが実現され、読み出し時間もブロ
ック分割数だけ圧縮される。このブロック分割した構成
によりランダムに読み出される帯状画像の出力形態とマ
ルチプレクサのブロック切り替え信号との関係を図22
に示す。図中の数字1〜6は図21のライン番号に対応
している。Next, FIG. 21 shows, as a third example, the configuration of a sensor that divides a plurality of blocks and outputs each block.
Here, the case of an XY address scanning type sensor will be described as an example, but it is easy to adopt the same configuration in an analog transfer system such as a CCD image sensor. In the present embodiment, a block configuration divided into a predetermined number of rows required for reading is adopted, and signals of each block are scanned in parallel and output. With respect to this parallel read output, an output is selected by operating the multiplexer 65 according to the area to be read, and is finally output. By performing such reading, random access is realized for each row although the output order is different, and the reading time is also reduced by the number of block divisions. FIG. 22 shows the relationship between the output form of a band-like image which is randomly read by this block-divided configuration and the block switching signal of the multiplexer.
Shown in Numerals 1 to 6 in the figure correspond to the line numbers in FIG.
【0066】図21に示すのは、極めて簡単な2ブロッ
ク(B1、B2)に分割し、任意の3行の読み出しを行
う場合の例で、この図と図22の出力信号の関係図を基
に説明をする。センサは内部で2系列出力、ライン1〜
3を出力するブロックB1出力(図22・a)、ライン
4〜6を出力するブロックB2出力(図22・b)を持
ち、これらはアナログ信号としてマルチプレクサへ送ら
れ選択信号Sel により選択されて出力される。マルチプ
レクサ65の操作で、センサ出力Out としてブロックB
1出力を選択した場合、ブロックB1の出力がそのまま
センサ出力となり、ライン1、2、3の帯状画像の出力
が順次出力される(図22・c)。また、センサの出力
としてブロックB2出力を選択した場合はライン4、
5、6の帯状画像が読み出される(図22・f)。FIG. 21 shows an example in which the data is divided into two very simple blocks (B1 and B2) and three arbitrary rows are read out. Will be described. The sensor outputs two lines internally, lines 1 to
3 and a block B2 output (FIG. 22B) for outputting lines 4 to 6, which are sent to the multiplexer as analog signals and selected and output by the selection signal Sel. Is done. By the operation of the multiplexer 65, the block B is output as the sensor output Out.
When one output is selected, the output of the block B1 becomes the sensor output as it is, and the output of the band-shaped images of lines 1, 2, and 3 is sequentially output (FIG. 22C). In addition, when block B2 output is selected as the sensor output, line 4,
5 and 6 are read out (FIG. 22F).
【0067】一方、ブロック出力として第1、4ライン
出力中はブロックB2を選択しライン4を出力し、その
後、マルチプレクサ65をブロックB1選択に切り替え
を行うことにより、センサ出力はライン4、2、3の出
力が順次出力され、ライン2、3、4の帯状画像の読み
出しが行われる(図22・d)。また、センサ出力は始
めの2ラインまではブロックB2を選択してライン4、
5を出力し、その後、ブロックB1を選択しライン3を
出力すると、ライン3、4、5の帯状画像の読み出しが
行われる(図22・e)。図中、黒▽印は出力をブロッ
クB2からブロックB1に切り替えたところを示してい
る。このように走査途中にブロック選択信号を切り替え
ることにより、出力順序は異なるものの分割されたブロ
ックと同じ大きさを持つ任意の位置の帯状画像が選択的
に読み出し可能である。On the other hand, while the first and fourth lines are being output as the block outputs, the block B2 is selected and the line 4 is output, and then the multiplexer 65 is switched to the block B1 selection, whereby the sensor output is changed to the lines 4, 2, and 3. 3 are sequentially output, and the band-shaped images on lines 2, 3, and 4 are read out (FIG. 22D). For the sensor output, block B2 is selected up to the first two lines and line 4,
Then, when the block B1 is selected and the line 3 is output, the band-shaped images on the lines 3, 4, and 5 are read (FIG. 22E). In the figure, black triangles indicate that the output has been switched from block B2 to block B1. By switching the block selection signal during scanning in this way, it is possible to selectively read a strip image at an arbitrary position having the same size as the divided block, although the output order is different.
【0068】以上、3種類の行単位のランダムアクセス
可能な距離画像用センサが、本実施例において3次元形
状測定装置への入力時間の高速化のために適用すること
ができる。As described above, the three types of distance image sensors that can be randomly accessed in units of rows can be applied in this embodiment to shorten the input time to the three-dimensional shape measuring apparatus.
【0069】次に電子回路について説明を行う。電子回
路全体の構成を示すブロック図を図23に示す。本実施
例の計測装置本体は、投受光系レンズ駆動回路71、7
2、AF回路73、電動雲台駆動回路76、入出力7
5、74等の制御を行うマイコンCPU1と、画像セン
サ駆動回路13、23、レーザ・ポリゴン駆動回路7
7、78、タイマー79、SCSIコントローラ80、
メモリコントローラMC、ピッチズレ画像処理回路83
等の制御を行うマイコンCPU2の、2つのマイコンで
制御される。レンズ、入出力等の制御を行うマイコンC
PU1の制御で電源操作、撮影モードのキー操作等の信
号をコントロールパネル75から受け取り、マイコンC
PU2、受光系レンズ駆動部71、投光系レンズ駆動部
72、AF駆動部73、表示画像生成部74等へ制御信
号を送信し、ズーム、フォーカス、撮像等の制御を行
う。Next, the electronic circuit will be described. FIG. 23 is a block diagram showing the configuration of the entire electronic circuit. The main body of the measuring apparatus according to the present embodiment includes the lens driving circuits 71 and 7 for the light emitting and receiving system.
2. AF circuit 73, electric pan head drive circuit 76, input / output 7
A microcomputer CPU1 for controlling the image sensors 5, 74, etc .; image sensor drive circuits 13, 23;
7, 78, timer 79, SCSI controller 80,
Memory controller MC, pitch shift image processing circuit 83
And the like. Microcomputer C for controlling lens, input / output, etc.
The microcomputer receives signals from the control panel 75, such as a power supply operation and a key operation of a shooting mode, under the control of the PU1.
A control signal is transmitted to the PU 2, the light receiving system lens driving unit 71, the light projecting system lens driving unit 72, the AF driving unit 73, the display image generation unit 74, and the like, and controls zoom, focus, imaging, and the like.
【0070】カラー画像用にはカラー画像用センサ24
とセンサ駆動回路23、アナログ前処理回路81、画像
メモリ84のブロックがある。距離画像用には、距離画
像用センサ12とセンサ駆動回路13、アナログ前処理
回路82、ピッチズレ画像処理回路83、ピッチズレ画
像メモリ85のブロックがある。For a color image, a color image sensor 24 is used.
And a block of the sensor drive circuit 23, the analog preprocessing circuit 81, and the image memory 84. For the distance image, there are a block of a distance image sensor 12, a sensor drive circuit 13, an analog pre-processing circuit 82, a pitch shift image processing circuit 83, and a pitch shift image memory 85.
【0071】電源投入により、カラー画像センサ24、
カラー画像センサ駆動回路23、カラー画像アナログ前
処理回路81のカラー画像撮像系が駆動され、モニター
として機能させるために撮像されたカラー画像が表示画
像生成部74に供給されディスプレイ41に表示され
る。これらのカラー画像撮像系回路は従来のビデオカメ
ラ等で周知の回路と同様の回路系となる。一方、距離画
像撮像のためのセンサ、レーザ等は電源投入により初期
化されるだけで駆動されず、ポリゴンミラー駆動回路7
8だけはミラーの定速回転までの所要時間が長くかかる
ため駆動が開始される。この状態で、ユーザはモニター
画面41のカラー画像を参考にしながら、パワーズーム
操作により視野設定を行い画像入力のためのレリーズ準
備を行う。レリーズ操作が行われレリーズ信号の発生・
送信により距離画像用センサ12、距離画像用センサ駆
動回路13、距離画像用アナログ前処理回路82の距離
画像撮像系と、レーザ駆動回路77が駆動され、ピッチ
ズレ画像メモリ85、カラー画像メモリ84にそれぞれ
の画像情報が取り込まれる。When the power is turned on, the color image sensor 24,
The color image pickup system of the color image sensor drive circuit 23 and the color image analog pre-processing circuit 81 is driven, and the color image picked up to function as a monitor is supplied to the display image generation unit 74 and displayed on the display 41. These color image pickup system circuits are the same circuit systems as those known in a conventional video camera or the like. On the other hand, a sensor, a laser, and the like for capturing a distance image are initialized only when the power is turned on, and are not driven.
Since only 8 takes a long time until the mirror rotates at a constant speed, driving is started. In this state, the user sets the field of view by the power zoom operation while referring to the color image on the monitor screen 41, and performs release preparation for image input. Release operation is performed and release signal is generated.
The distance image sensor 12, the distance image sensor drive circuit 13, the distance image imaging system of the distance image analog pre-processing circuit 82, and the laser drive circuit 77 are driven by the transmission, and the pitch shift image memory 85 and the color image memory 84 respectively. Image information is captured.
【0072】カラー画像については、モニター装置へは
アナログ信号として供給していたのを、カラー画像用フ
レームメモリ85にはA/D変換器AD1でA/D変換
を行ってディジタルの情報として画像入力を行う。これ
らの処理については、ディジタルビデオ、ディジタルス
チルビデオ等で周知の技術と同様である。The color image is supplied to the monitor device as an analog signal, but the color image frame memory 85 is subjected to A / D conversion by the A / D converter AD1 to input image information as digital information. I do. These processes are the same as those known in digital video, digital still video, and the like.
【0073】距離画像については図7に記載された走査
開始センサ33から送信されるレーザスリット光の走査
開始信号をマイコンCPU2は待っている。その後、前
述した焦点距離f、基線長l、測定基準面までの距離d
に起因する無駄走査に要する無駄時間Tdだけ待つ。こ
の走査開始信号から上記の無駄時間Tdを計時した後、
距離画像用センサ12及びその駆動回路13の駆動を開
始しデータの取り込みを開始する。これらの計時動作は
タイマー79により行われている。For the distance image, the microcomputer CPU 2 waits for a scanning start signal of the laser slit light transmitted from the scanning start sensor 33 shown in FIG. Thereafter, the focal length f, the base line length l, and the distance d to the measurement reference plane described above are obtained.
Wait for the useless time Td required for useless scanning due to the above. After measuring the above dead time Td from this scanning start signal,
Driving of the range image sensor 12 and its driving circuit 13 is started, and data acquisition is started. These timing operations are performed by a timer 79.
【0074】センサが駆動開始されると、水平方向に長
さを持つスリット状レーザが受光系走査範囲の最上部か
ら下方に向けて走査を開始する。それと同時に距離画像
用センサの画像積分が開始され、ポリゴンミラー7の走
査によりスリット光が距離画像用センサの1画素に対応
した角変動量での走査が行われたときに画像積分部から
蓄積部への高速垂直転送が行われる。次に、この最上部
の行の画像を帯状領域の中心に捕えるように距離画像用
センサ駆動部13を制御して、画像の読み出しを行う。
画像の積分部から蓄積部への垂直転送が完了すると同時
に、距離画像用センサの出力として画像を蓄積部から順
次読み出し処理と、次の画像読み出しのため積分部で入
力光量に応じた電荷の積分処理を行うことになる。When the driving of the sensor is started, the slit laser having a length in the horizontal direction starts scanning from the top of the light receiving system scanning range downward. At the same time, the image integration of the range image sensor is started, and when the slit light is scanned by the polygon mirror 7 with the angular variation corresponding to one pixel of the range image sensor, the image integration unit changes to the accumulation unit. High-speed vertical transfer to is performed. Next, the range image sensor drive unit 13 is controlled so as to capture the image in the uppermost row at the center of the band-shaped region, and the image is read.
At the same time as the vertical transfer of the image from the integration unit to the storage unit is completed, the image is sequentially read from the storage unit as the output of the distance image sensor, and the integration of the charge according to the input light amount is performed by the integration unit for the next image read. Processing will be performed.
【0075】こうして1つの帯状画像の読み出しが完了
すると、レーザスリット光はまた距離画像用センサ1画
素に対応した角変動量での走査が行われ、画像積分部か
ら蓄積部への高速垂直転送が行われる。距離画像用セン
サの帯状領域を、前回読み出しに対して1ピッチ下方に
ずらした位置に、今回読み出し距離画像用センサの帯状
領域を設定し、画像の読み出しを行う。When the reading of one band-shaped image is completed in this way, the laser slit light is again scanned at an angular variation corresponding to one pixel of the distance image sensor, and high-speed vertical transfer from the image integration unit to the storage unit is performed. Done. The band-shaped area of the sensor for the current reading distance image is set at a position shifted by one pitch below the band-shaped area of the distance image sensor from the previous reading, and the image is read.
【0076】一連のこの動作を継続して行い、順次、帯
状画像入力を繰り返し324枚の画像を得る。この間、
ポリゴンミラーは定速で回転しているので、次々に異な
る光切断面を持つスリット光に対する帯状画像が入力さ
れることになる。この距離画像用センサの出力を相関2
重サンプリング、オフセット、暗時出力の処理などを距
離画像用アナログ前処理回路82で行った後、A/D変
換器AD2でディジタルに変換し、ピッチズレ画像処理
回路83にディジタルデータとして送信する。A series of this operation is continuously performed, and the input of the band-shaped image is sequentially repeated to obtain 324 images. During this time,
Since the polygon mirror rotates at a constant speed, a strip-shaped image for slit light having different light-cut surfaces is sequentially input. The output of this range image sensor is correlated 2
After processing such as double sampling, offset, and dark output is performed by the analog pre-processing circuit 82 for the distance image, it is converted to digital by the A / D converter AD2 and transmitted to the pitch-shift image processing circuit 83 as digital data.
【0077】ピッチズレ画像処理回路83では、1枚の
帯状画像データ(256×16画素)から256点の受
光レーザ光重心位置に変換する重心演算を図24に示す
受光重心位置算出回路(後述)を用いて算出し、算出さ
れたピッチズレ量をピッチズレ画像メモリ85に格納す
る。これを324回繰り返すことにより、256×32
4のピッチズレ画像を得る。The pitch shift image processing circuit 83 performs a center-of-gravity calculation for converting one band-shaped image data (256 × 16 pixels) into 256 points of the center of the received laser beam by a light-receiving center-of-gravity position calculating circuit (described later) shown in FIG. The calculated pitch shift amount is stored in the pitch shift image memory 85. By repeating this 324 times, 256 × 32
4 are obtained.
【0078】以上の処理でピッチズレ画像メモリ85と
カラー画像メモリ84にそれぞれの画像が記憶されたこ
とになる。これらの2つの画像はメモリ制御を担うマイ
コンCPU2の制御でメモリコントローラMCを介し
て、SCSIコントローラ80によるSCSI端子4
9、内蔵のMO装置22等へのディジタルデータでの出
力、または、D/A変換器DA1でアナログに変換しN
TSC信号として、LCDモニタ41、NTSC出力端
子50、51へ出力することができる。With the above processing, the respective images are stored in the pitch shift image memory 85 and the color image memory 84. These two images are transferred to the SCSI terminal 4 by the SCSI controller 80 via the memory controller MC under the control of the microcomputer CPU2 which controls the memory.
9. Output as digital data to the built-in MO device 22 or the like, or convert to analog by D / A converter DA1 and
It can be output to the LCD monitor 41 and the NTSC output terminals 50 and 51 as a TSC signal.
【0079】SCSI端子49から出力するとき、SC
SI規格による出力ではカラー/ピッチズレ画像の1セ
ットの出力画像の送信完了に数秒要することになる。そ
こで、カラー画像は通常ビデオ機器で用いられるカラー
NTSC信号としてビデオ機器で録画し、ピッチズレ画
像をNTSC信号の輝度信号として扱い、モノクロ画像
をピッチズレ画像NTSC信号として出力することによ
り動画でのカラー/ピッチズレ画像の出力が可能とな
る。高速な画像処理装置を用いればこうしたリアルタイ
ムのビデオ画像のコンピュータへの入力も可能であり、
また他の手段としてはこのNTSC信号を通常のビデオ
機器に接続して録画し、その後、再生時にコマ送りしな
がら、この濃淡画像(ピッチズレ画像)を処理すること
でコンピュータへの入力も可能である。こうしてコンピ
ュータへ入力された動体のカラー、ピッチズレ画像を用
いることにより動体の運動解析などの分野への活用が可
能である。When outputting from the SCSI terminal 49,
In the output according to the SI standard, it takes several seconds to complete transmission of an output image of one set of color / pitch shift images. Therefore, a color image is recorded by a video device as a color NTSC signal usually used in a video device, a pitch-shifted image is treated as a luminance signal of an NTSC signal, and a monochrome image is output as a pitch-shifted image NTSC signal, whereby color / pitch shift in a moving image is performed. Image output becomes possible. With a high-speed image processing device, such real-time video images can be input to a computer,
As another means, the NTSC signal can be input to a computer by recording the NTSC signal by connecting it to a normal video device and then processing the grayscale image (pitch shift image) while advancing the frame during reproduction. . By using the color and pitch shift images of the moving object input to the computer in this way, it is possible to utilize the moving object in fields such as motion analysis.
【0080】また、システムの外部機器として、本計測
装置を設置する電動雲台4のパン、チルトなどの動作を
制御する回転架台制御部76を備えることで制御するこ
とも可能である。この制御動作については後に説明を加
える。It is also possible to perform control by providing, as an external device of the system, a rotary gantry controller 76 for controlling operations such as panning and tilting of the electric pan head 4 in which the present measuring apparatus is installed. This control operation will be described later.
【0081】次に、ピッチズレ画像処理回路83の受光
重心位置算出回路の詳細な構成を図24に示す。この回
路は1枚の帯状画像データ16点の内の5点の情報から
重心を算出するハード構成になっている。距離画像用セ
ンサ12からの信号は有効画素のみアナログ前処理回路
82で抽出され、A/D変換器AD1でA/D変換され
て、図24左端の入力端子inputから本回路に入力され
る。この入力された信号は4つのレジスタ101a〜1
01dにより256×8bitのFIFO (FirstIn First
Out) で256×4ライン分記憶され、直接入力される
1ラインと、計5本のラインが演算に用いられる。レジ
スタ103、104は、レジスタ101と同じ256×
8bitのレジスタである。レジスタ109は256×5b
itのFIFOレジスタである。これらのレジスタ10
3、104、109が同じ用途に2つずつ用意されてい
るのは、選択回路106、108、比較回路107等で
の処理にクロックパルスで数パルスの時間を要するため
メモリ容量を増やして2つを奇数用(O)、偶数用
(E)として交互に利用するようにしてあり、いずれを
用いるかはクロックパルスRCLK_O、RCLK_Eにより制御さ
れている。FIG. 24 shows a detailed configuration of the light-receiving center-of-gravity position calculating circuit of the pitch shift image processing circuit 83. This circuit has a hardware configuration for calculating the center of gravity from information of five points out of 16 points of one band of image data. The signal from the range image sensor 12 is extracted only by the analog pre-processing circuit 82 for the effective pixels, A / D converted by the A / D converter AD1, and input to the circuit from the input terminal input on the left end of FIG. This input signal is transmitted to four registers 101a to 101a.
01d, 256 × 8-bit FIFO (FirstIn First
Out), 256 × 4 lines are stored and one line that is directly input, and a total of five lines are used for the calculation. The registers 103 and 104 have the same 256 ×
This is an 8-bit register. The register 109 is 256 × 5b
It is a FIFO register. These registers 10
The reason why two of 3, 104 and 109 are prepared for the same application is that the processing by the selection circuits 106 and 108, the comparison circuit 107, and the like requires several clock pulses, so the memory capacity is increased to two. Are alternately used for odd numbers (O) and even numbers (E), and which is used is controlled by clock pulses RCLK_O and RCLK_E.
【0082】受光レーザの重心演算は5ラインの5点の
データを基に以下の式で計算される。まず、重心位置近
傍での受光光量が最大となることから、I行目(I=1〜2
56)の重心点は、 Σ(I,n) = D(I,n+2)+D(I,n+1)+D(I,n)+D(I,n-1)+D(I,n-2) (4) が各Iに対して最大となる n = N(I) を求める。この
N(I)列目近傍に重心を持つと考え、それから荷重平均
点Δ(I,N(I))だけの補完量を次式で求める。 Δ(I,N(I))={2*D(I,N(I)+2)+D(I,N(I)+1)-D(I,N(I)-1)-2*D(I,N(I)-2)} /Σ(I,N(I)) (5) 最終的には、 W(I) = N(I) + Δ(I,N(I)) (6) を求める重心位置とする。The calculation of the center of gravity of the light-receiving laser is performed by the following equation based on the data of five points on five lines. First, since the amount of received light near the position of the center of gravity becomes maximum, the first row (I = 1 to 2)
The center of gravity of 56) is 、 (I, n) = D (I, n + 2) + D (I, n + 1) + D (I, n) + D (I, n-1) + D ( I, n-2) Find n = N (I) where (4) is maximum for each I. It is considered that the center of gravity is present in the vicinity of the N (I) th column, and then the complement of only the load average point Δ (I, N (I)) is obtained by the following equation. Δ (I, N (I)) = {2 * D (I, N (I) +2) + D (I, N (I) +1) -D (I, N (I) -1) -2 * D (I, N (I) -2)} / Σ (I, N (I)) (5) Finally, W (I) = N (I) + Δ (I, N (I)) (6) Set the center of gravity to be obtained.
【0083】ここで D(I,n) は I行n列目のデータを
指す。1列は256個のデータを持っており、レジスタ
101aには D(I,n-1)、レジスタ101bには D(I,
n)、レジスタ101cには D(I,n+1)、101dには D
(I,n+2)のデータが保存され演算に用いられる。Σ(I,n)
の演算((4)式)は、加算回路Σで演算され、レジスタ
104に記憶される。そして次に演算された結果を各行
の前回算出されレジスタ104に記憶された MAX(Σ(I,
n)) と比較し(比較回路107)、大きければこのレジ
スタ104の内容を更新すると共に、同時に算出される
{2*D(I,n+2)+D(I,n+1)-D(I,n-1)-2*D(I,n-2)} の値
(=(5)式の分子=R1とする)をレジスタ103に、
その列番号nをレジスタ109に更新記憶する。R1の
算出は、D(I,n+2),D(I,n-2)のデータはシフト回路10
2で左に1ビットシフトさせることで(×2)の処理を
している。その後、加算回路(+)、減算回路(-)で演算を
行いA点でR1が算出されており、レジスタ103に記
憶される。Here, D (I, n) indicates data on the I-th row and the n-th column. One column has 256 pieces of data. D (I, n-1) is stored in the register 101a, and D (I, n-1) is stored in the register 101b.
n), D (I, n + 1) in the register 101c, D
The data of (I, n + 2) is stored and used for the calculation. Σ (I, n)
(Equation (4)) is calculated by the adder circuit 、 and stored in the register 104. Then, the result of the next operation is calculated as MAX (Σ (I,
n)) (comparison circuit 107), and if larger, the contents of this register 104 are updated and calculated at the same time.
{2 * D (I, n + 2) + D (I, n + 1) -D (I, n-1) -2 * D (I, n-2)} (= (5) Numerator = R1) in the register 103,
The column number n is updated and stored in the register 109. The data of D (I, n + 2) and D (I, n-2) is calculated by the shift circuit 10
The processing of (× 2) is performed by shifting one bit to the left by 2. After that, the addition circuit (+) and the subtraction circuit (-) perform the operation to calculate R1 at the point A, which is stored in the register 103.
【0084】なお、列番号nは、5ビットバイナリカウ
ンタ110でクロックパルスPCLKをカウントしてお
り、比較回路107での比較の結果、最大値が更新され
るとそのときのカウンタ値をレジスタ109に取り込み
記憶する。本実施例では数nは1〜16であるのでレジ
スタ109、バイナリカウンタ110は5ビットあれば
十分である。For the column number n, the clock pulse PCLK is counted by the 5-bit binary counter 110. As a result of the comparison by the comparison circuit 107, when the maximum value is updated, the counter value at that time is stored in the register 109. Capture and store. In this embodiment, since the number n is 1 to 16, 5 bits are sufficient for the register 109 and the binary counter 110.
【0085】この操作を1帯状画像に対して繰り返すこ
とで、上記の式の計算に必要な MAX(Σ(I,n)) となるN
(I)、Σ(I,N(I))、R1の値がそれぞれレジスタ10
9、104、103に格納される。Σ(I,N(I))=R2と
すると、除算回路(÷)でR1/R2の演算を行い、次に
加算回路(+)でR1/R2+N(I)=Δ(I,N(I))+N(I)
=W(I)が演算され、最終的に右端の出力端子outputか
ら256列に対するW(I)の値が出力される。By repeating this operation for one band image, N (な る (I, n)) required to calculate the above equation is obtained.
(I), Σ (I, N (I)) and R1 are stored in register 10 respectively.
9, 104, and 103. Assuming that Σ (I, N (I)) = R2, the division circuit (÷) performs the operation of R1 / R2, and then the addition circuit (+) performs R1 / R2 + N (I) = Δ (I, N (I )) + N (I)
= W (I) is calculated, and the value of W (I) for 256 columns is finally output from the output terminal output at the right end.
【0086】この256個のW(I)をピッチズレ画像メ
モリ85に格納し、324枚の帯状画像に対してこの処
理を繰り返すことで、ピッチズレ画像メモリ85上には
256×324の点のピッチズレ情報W(I)からなるピ
ッチズレ画像が形成される。The 256 W (I) s are stored in the pitch shift image memory 85, and this process is repeated for 324 strip images, so that the pitch shift information of 256 × 324 points is stored in the pitch shift image memory 85. A pitch shift image composed of W (I) is formed.
【0087】次に、装置の動作についてフローチャート
を用いて詳細に説明する。図25に示すのは、メインス
イッチon時に実行されるメインのルーチンのフローチ
ャートである。まず、ステップ#1でCPU、メモリ、
SCSI、MO、ディスプレイ、コントロールパネル等
のデバイスの初期化を行う。次に、ステップ#3では、
動作モードの判別を行う。動作モードとしては、3次元
計測を行うカメラモードと、3次元データをMO等のメ
モリデバイス22から読み出し内蔵ディスプレイに表示
を行うリプレイモードとがあり、スイッチ操作により選
択できる。または、いずれかのモードをデフォルトで設
定してもよい。リプレイモードであればステップ#5へ
進み後述のリプレイモードの処理を行う。カメラモード
であればステップ#6へ進み後述のカメラモードの処理
を行う。カメラモードを終了すると、ステップ#7でポ
リゴンミラーを停止しステップ#8でAF/PZのリセ
ットを行いレンズを初期位置に復帰させる。ステップ#
9ではイメージセンサ及びセンサ駆動回路を停止させ、
ステップ#3へ戻り動作モードの判別を行う。Next, the operation of the apparatus will be described in detail with reference to a flowchart. FIG. 25 is a flowchart of a main routine executed when the main switch is turned on. First, in step # 1, the CPU, the memory,
Initializes devices such as SCSI, MO, display, and control panel. Next, in step # 3,
The operation mode is determined. The operation modes include a camera mode for performing three-dimensional measurement and a replay mode for reading three-dimensional data from the memory device 22 such as an MO and displaying the data on a built-in display, and can be selected by operating a switch. Alternatively, one of the modes may be set by default. If the mode is the replay mode, the process proceeds to step # 5, and the process in the replay mode described later is performed. If the mode is the camera mode, the process proceeds to step # 6, and the processing in the camera mode described later is performed. When the camera mode ends, the polygon mirror is stopped in step # 7, and the AF / PZ is reset in step # 8 to return the lens to the initial position. Step #
At 9, the image sensor and the sensor drive circuit are stopped,
Returning to step # 3, the operation mode is determined.
【0088】次に、カメラモードの動作についてフロー
チャートを図26(a)に示し、説明をする。カメラモ
ードが選択されると、ステップ#11で各デバイスの初
期化を行い、ステップ#13でカラー画像用センサを起
動し、カラー画像をモニターディスプレイ41に供給す
る。この画像は、受光ズームレンズ内に配置されたオー
トフォーカスセンサ31を駆動して、常に最適な焦点状
態で受光して最適なカラー画像を得るようになってい
る。次に、ステップ#15で、距離画像撮像の準備を行
うため、安定するまでに時間が長く必要なポリゴンミラ
ーの駆動を先に開始し、ステップ#17でAF/PZサ
ブルーチンの処理を行う。次に、ステップ#19でポリ
ゴンミラーが安定するまで待機し、安定した時点でステ
ップ#21のシャッタモードに入り、シャッタモードの
サブルーチンを実行する。ステップ#23ではデータ転
送モードに入り、データ転送モードのサブルーチンを実
行する。ステップ#25では、カメラモードの終了かど
うかを判別し、終了であればステップ#27へ進みリタ
ーンする。終了でなければステップ#21へ戻る。Next, the operation in the camera mode will be described with reference to a flowchart shown in FIG. When the camera mode is selected, each device is initialized in step # 11, and a color image sensor is activated in step # 13 to supply a color image to the monitor display 41. The image is driven by driving an auto-focus sensor 31 arranged in the light-receiving zoom lens to receive light in an optimum focus state at all times to obtain an optimum color image. Next, in step # 15, the drive of the polygon mirror, which requires a long time to stabilize, is started first in order to prepare for the distance image pickup, and the process of the AF / PZ subroutine is performed in step # 17. Next, in step # 19, the process waits until the polygon mirror is stabilized. At the time when the polygon mirror is stabilized, the shutter mode is entered in step # 21, and the shutter mode subroutine is executed. In step # 23, the data transfer mode is entered, and the data transfer mode subroutine is executed. In step # 25, it is determined whether or not the camera mode has ended. If the camera mode has ended, the process proceeds to step # 27 and returns. If not, the process returns to step # 21.
【0089】AF/PZサブルーチンについて図26
(b)に示し説明すると、ステップ#31では投受光系
のレンズ位置のリセットを行い、ステップ#33でレー
ザ走査範囲のリセットを行い、ステップ#35でリター
ンする。AF / PZ Subroutine FIG. 26
(B) will be described. In step # 31, the lens position of the light emitting / receiving system is reset, the laser scanning range is reset in step # 33, and the process returns in step # 35.
【0090】次に、シャッタモードの動作について、フ
ローチャートを図27に示し説明をする。この状態でユ
ーザは計測装置位置、姿勢、ズーミングの変更して構図
の設定を行い、一方、装置はシャッタレリーズボタン4
7が押されレリーズ信号が出力されるのを待つ。まず、
ステップ#41でAF/AEサブルーチンを実行し、焦
点合わせ、測光を行う。このサブルーチンについては後
述する。次に、ステップ#43でセレクトキー43とA
F/AEの状態チェックを行う。ここでは、まず、セレ
クトキーが押されたかどうかの判別を行う。押されてい
れば([Select])ステップ#79でリターンしシャッタ
モードを抜け出す。これは、一般の一眼レフカメラでの
シャッタレリーズボタンの第1段までの押し下げ解除に
相当する。セレクトキーが押されていなければAF/A
E処理の状態チェックを行い、AF/AE処理が動作中
であればステップ#41へ戻りAF/AE処理を繰り返
し行う。AF/AE処理が完了していれば次のステップ
#45へ進む。つまり、上記の処理期間では連続的に受
光、投光系ズームレンズのフォーカシングと測光を繰り
返して行い、常時合焦状態を保つよう制御されている。Next, the operation in the shutter mode will be described with reference to a flowchart shown in FIG. In this state, the user changes the position, posture, and zooming of the measuring device to set the composition, while the device sets the shutter release button 4
7 is pressed and a release signal is output. First,
In step # 41, the AF / AE subroutine is executed to perform focusing and photometry. This subroutine will be described later. Next, in step # 43, select key 43 and A
Check the status of F / AE. Here, first, it is determined whether or not the select key has been pressed. If it is pressed ([Select]), the flow returns to step # 79 to exit the shutter mode. This corresponds to releasing the shutter release button down to the first stage in a general single-lens reflex camera. AF / A unless select key is pressed
The state of the E processing is checked, and if the AF / AE processing is in operation, the process returns to step # 41 and the AF / AE processing is repeatedly performed. If the AF / AE processing has been completed, the process proceeds to the next step # 45. That is, during the above-described processing period, the light receiving, the focusing of the projection system zoom lens, and the photometry are repeatedly performed, and control is performed so that the in-focus state is always maintained.
【0091】AF/AEが完了すると、それ以後はステ
ップ#45で撮影準備としてシャッタボタン47のロッ
クを解除し、フォーカシング、ズーミングの駆動を禁止
(AF/PZロック)する。そして、ステップ#47で
シャッタボタン47が押されたかどうかを判別する。シ
ャッタボタンが押されていればステップ#55へ進む。
押されていなければステップ#51へ進み所定時間経過
したかを判別し、経過していなければステップ#47へ
戻りシャッタボタンが押されたかどうかの判定を行う。
所定時間経過していればステップ#53でシャッタボタ
ンの操作をロックし、ステップ#41へ戻る。When the AF / AE is completed, the shutter button 47 is unlocked and the driving of focusing and zooming is inhibited (AF / PZ lock) in step # 45 in preparation for photographing. Then, in a step # 47, it is determined whether or not the shutter button 47 is pressed. If the shutter button has been pressed, the process proceeds to step # 55.
If it has not been pressed, the flow proceeds to step # 51 to determine whether a predetermined time has elapsed, and if not, the flow returns to step # 47 to determine whether or not the shutter button has been pressed.
If the predetermined time has elapsed, the operation of the shutter button is locked in step # 53, and the process returns to step # 41.
【0092】ステップ#55では、レーザ光の発光を行
い、ステップ#57でレーザ光の正常発振になるまでの
立ち上がりと、ポリゴンミラーの準備が完了するまでの
時間を待機する。準備が完了するとステップ#59でセ
ンサ駆動を開始する。まず、ステップ#61で、コンデ
ンサレンズの横に付けられた走査開始センサからの出力
を受けるまで待ち、走査開始信号を受けるとステップ#
63では無駄時間Tdを待ってから距離画像用センサの
駆動を開始する。無駄時間Tdは、焦点距離fと基線長
lと測定基準面までの距離dから算出される。ステップ
#65で距離画像用センサの入力帯状画像位置を初期位
置にセットし、ピッチズレ画像、カラー画像の取り込み
操作を開始する。同時に入力光の重心位置算出を行う。
ステップ#67で走査完了かどうかを判別する。完了で
なければステップ#65へ戻って画像取り込みを繰り返
す。入力帯状画像位置を初期位置から1ピッチずつレー
ザスリット光の走査に応じてずらしながら、324枚の
帯状画像の取り込みを行う。In step # 55, the laser beam is emitted, and in step # 57, the time until the laser beam starts to oscillate normally and the time until the preparation of the polygon mirror is completed are waited. When the preparation is completed, sensor driving is started in step # 59. First, in step # 61, the process waits until receiving an output from the scanning start sensor attached to the side of the condenser lens.
At 63, the drive of the distance image sensor is started after waiting for the dead time Td. The dead time Td is calculated from the focal length f, the base length l, and the distance d to the measurement reference plane. In step # 65, the input band image position of the distance image sensor is set to the initial position, and the operation of capturing the pitch shift image and the color image is started. At the same time, the center of gravity of the input light is calculated.
In step # 67, it is determined whether the scanning is completed. If not completed, the flow returns to step # 65 to repeat image capture. While shifting the input strip image position from the initial position by one pitch in accordance with the scanning of the laser slit light, 324 strip images are captured.
【0093】また、センサ駆動が開始されると、距離画
像用センサの駆動開始に引き続き、ステップ#69でカ
ラー画像用センサが再駆動され、ステップ#71で読み
こんだカラー画像をカラー画像メモリに取り込む。両画
像用センサの駆動、メモリへの取り込みはハードウェア
の構成により自動的に同時に処理されるようになされて
いる。その後はステップ#73へ進む。When the sensor driving is started, the color image sensor is driven again in step # 69 following the start of driving of the distance image sensor, and the color image read in step # 71 is stored in the color image memory. take in. The driving of the two image sensors and the taking into the memory are automatically and simultaneously processed by the hardware configuration. Thereafter, the process proceeds to step # 73.
【0094】ピッチズレ画像、カラー画像の取り込みが
完了すると、ステップ#73でレーザ光の発光を停止
し、ステップ#75でズーム駆動、フォーカス駆動の禁
止を解除し、ステップ#77で取り込んだ画像を選択さ
れたモードに従って表示し、ステップ#79でリターン
する。When the capture of the pitch shift image and the color image is completed, the emission of the laser beam is stopped in step # 73, the prohibition of the zoom drive and the focus drive is released in step # 75, and the captured image is selected in step # 77. Is displayed according to the set mode, and the process returns in step # 79.
【0095】次に、ステップ#41のAF/AEサブル
ーチンのフローチャートについて図28に示し説明する
と、まず、ステップ#91でAFセンサ31の情報によ
りレンズ駆動量を算出し、算出結果に基づいてフォーカ
スレンズの駆動を行う(ステップ#93)。ステップ#
95で、走査開始レーザ位置セットを行い、ステップ#
97でレーザパワー制御を行う。ステップ#99では測
光(AE)を行い、ステップ#101でリターンする。Next, the flowchart of the AF / AE subroutine in step # 41 will be described with reference to FIG. 28. First, in step # 91, the lens drive amount is calculated based on the information of the AF sensor 31, and the focus lens is calculated based on the calculation result. Is driven (step # 93). Step #
At step 95, a scanning start laser position is set, and step #
At 97, the laser power is controlled. In step # 99, photometry (AE) is performed, and the process returns in step # 101.
【0096】次に、データ転送モードについて、フロー
チャートを図29に示し、動作の説明をする。まず、ス
テップ#111で表示モードの判別を行う。表示すべき
画像が濃淡で表示されるピッチズレ画像か、カラー画像
か、何れを選択状態にあるかのフラグチェックを行う。
この表示モードは、例えばデフォルトではカラー画像表
示が設定されていて、キー操作により選択が可能になっ
ている。キー操作がないとき、または、キー操作されて
カラー画像が選択されると、ステップ#113でカラー
画像の表示を行う。ピッチズレ画像表示が選択されれ
ば、ステップ#115でピッチズレ画像の表示を行う。
画像表示を行った後は、ステップ#117で表示モード
が変更されたかの判別を行う。変更されていればステッ
プ#111へ戻り選択されたモードに従って画像表示を
行う。表示モードが変更されていなければ、ステップ#
119へ進む。Next, the operation of the data transfer mode will be described with reference to a flowchart shown in FIG. First, the display mode is determined in step # 111. A flag check is performed to determine whether the image to be displayed is a pitch-shifted image or a color image displayed in shades, whichever is in a selected state.
In this display mode, for example, a color image display is set by default, and can be selected by key operation. When there is no key operation, or when a color image is selected by key operation, a color image is displayed in step # 113. If the pitch shift image display is selected, a pitch shift image is displayed in step # 115.
After displaying the image, it is determined in step # 117 whether the display mode has been changed. If it has been changed, the flow returns to step # 111 to display an image according to the selected mode. If the display mode has not been changed, step #
Go to 119.
【0097】ステップ#119では、データの転送が必
要かどうかの判別を行う。データ転送が必要でなければ
ステップ#133へ進み、カラー画像表示を行う。デー
タ転送が必要であれば、ステップ#121でデータヘッ
ダを作成する。ステップ#123でSCSI出力モード
かどうかの判別を行う。SCSI出力モードが選択され
ていれば、ステップ#125で外部出力用データの作成
を行いステップ#131でデータ転送を行う。SCSI
出力モードでなければ内蔵の記録装置での記録になり、
ステップ#127で内蔵MOドライブ用データの作成を
行い、ステップ#129でMOへのデータ転送命令がC
PU2からSCSIコントローラへ送られ、ステップ#
131でデータ転送を行う。その後、ステップ#133
でカラー画像表示を行い、ステップ#135でリターン
する。これらのデータ転送先の選択は、キー操作により
選択可能である。In step # 119, it is determined whether data transfer is necessary. If the data transfer is not necessary, the process proceeds to step # 133, where a color image is displayed. If data transfer is necessary, a data header is created in step # 121. In step # 123, it is determined whether the mode is the SCSI output mode. If the SCSI output mode has been selected, external output data is created in step # 125, and data transfer is performed in step # 131. SCSI
If it is not the output mode, it will be recorded with the built-in recording device,
In step # 127, data for the internal MO drive is created, and in step # 129, the data transfer instruction to the MO is C
Sent from PU2 to the SCSI controller, step #
At 131, data transfer is performed. Then, step # 133
To display a color image, and the flow returns to step # 135. These data transfer destinations can be selected by key operation.
【0098】次に、リプレイモードについて説明する。
ステップ#3でリプレイモードへの切り換えスイッチを
チェックし、切り換えが行われていなければ次の画像入
力を行うための待機状態(カメラモード)となり、切り
換えが行われていれば、リプレイモードに移行する。Next, the replay mode will be described.
In step # 3, the switch for switching to the replay mode is checked. If the switch has not been made, the apparatus enters a standby state (camera mode) for performing the next image input. If the switch has been made, the apparatus shifts to the replay mode. .
【0099】このリプレイモードは前述のカメラモード
とは異なり、すでにMO等の内蔵記録装置に記録済み画
像データをリプレイして再確認したり、改めてSCSI
端子を介して外部の装置に出力するモードであり、この
リプレイモードの動作のフローチャートを図30に示し
て動作の説明を行う。This replay mode is different from the above-described camera mode, in that the image data already recorded in the built-in recording device such as the MO is replayed to check again, or the SCSI data is renewed.
This is a mode for outputting to an external device via a terminal. The operation of this replay mode will be described with reference to a flowchart of FIG.
【0100】まず、ステップ#151でMOに記録され
ている画像のリストを表示する。ステップ#153で、
ユーザはこのリスト表示画面から再確認表示または外部
へ転送する画像データの選択を行う。次のステップ#1
55で、選択された画像データは内蔵のMOからカラー
/ピッチズレ画像をそれぞれカラー画像用/ピッチズレ
画像用メモリ84、85にロードし、ステップ#157
で、表示すべき画像がカラー画像かピッチズレ画像かい
ずれの表示モードになっているのかフラグチェックを行
う。選択されている表示モードに応じて、ステップ#1
59でカラー画像の表示を、またはステップ#161で
ピッチズレ画像の表示を行う。画像表示後、ステップ#
163で表示モードが変更されているかを判別し、変更
されていればステップ#157へ戻り再度表示を行う。First, in step # 151, a list of images recorded in the MO is displayed. In step # 153,
The user performs reconfirmation display or selection of image data to be transferred to the outside from the list display screen. Next step # 1
At 55, the selected image data is loaded from the built-in MO into the color image / pitch shift image memories 84 and 85, respectively, for the color / pitch shift image, and step # 157.
Then, a flag check is performed to determine whether the image to be displayed is a color image or a pitch shift image. Step # 1 according to the selected display mode
At 59, a color image is displayed, or at step # 161, a pitch shift image is displayed. After displaying the image, step #
At 163, it is determined whether or not the display mode has been changed. If the display mode has been changed, the process returns to step # 157 and the display is performed again.
【0101】変更がなければステップ#165で次の画
像データを表示するかどうかの判別を行い、表示する場
合は本サブルーチンの始めのステップ#151へ戻り画
像の選択、表示を繰りかえす。次の画像表示を行わない
場合はステップ#167でMOからメモリに読み込んだ
画像データを外部へ転送するかどうかの判別を行う。転
送しなければステップ#173へジャンプする。転送す
る場合はステップ#169で外部出力用データ作成を行
い、ステップ#171でデータ転送を行う。そして、ス
テップ#173で、次の画像データ表示を行うかの判別
をして、表示するのであればステップ#151で戻り、
表示しなければステップ#175でリターンする。If there is no change, it is determined at step # 165 whether or not the next image data is to be displayed. If the next image display is not performed, it is determined in step # 167 whether or not the image data read from the MO to the memory is to be transferred to the outside. If not, the process jumps to step # 173. In the case of transfer, data for external output is created in step # 169, and data transfer is performed in step # 171. Then, in step # 173, it is determined whether to display the next image data, and if it is to be displayed, the process returns to step # 151.
If not, the process returns at step # 175.
【0102】次に、これら一連の動作の各キー操作によ
る状態遷移図を図31に示す。この図で、操作を示す上
下左右向きの△印は図3のカーソルキー42の操作を示
しており、[Shutter]、[Select]、[Cancel]はそれぞれ
シャッタボタン47、セレクトキー43、キャンセルキ
ー44の操作を示してる。また、本実施例では時計機能
を有しているが、記録される画像ファイルのファイル名
に時刻を自動的に割り付けることもできる。Next, FIG. 31 shows a state transition diagram by each key operation of these series of operations. In this figure, up, down, left and right triangles indicating operations indicate operations of the cursor keys 42 in FIG. 3, and [Shutter], [Select], and [Cancel] indicate a shutter button 47, a select key 43, and a cancel key, respectively. 44 is shown. Although the present embodiment has a clock function, the time can be automatically assigned to the file name of the image file to be recorded.
【0103】メニュー画面では、再生表示、リスト表
示、時計機能の選択可能状態から左右カーソルキー操作
とセレクトキー43操作で選択・実行ができ、選択・実
行後はキャンセルキー44で選択可能状態に戻る。時計
機能では時刻設定ができ、リスト表示機能ではファイル
名変更、消去、表示ファイル選択等のファイル操作がで
きる。再生表示機能ではデフォルトでカラー画像表示に
設定されており、左右カーソルキーでピッチズレ画像表
示、文字画面表示に切り替えることができる。それぞれ
の表示モードでは上下カーソルキーの操作で前画像、次
画像の表示も可能である。文字画面表示ではセレクトキ
ーでファイル名変更、消去等のファイル操作ができる。On the menu screen, selection and execution can be performed by operating the left / right cursor keys and the select key 43 from the selectable state of the reproduction display, the list display, and the clock function. . The clock function allows time setting, and the list display function allows file operations such as file name change, deletion, and selection of display files. In the reproduction display function, a color image display is set by default, and the display can be switched between a pitch shift image display and a character screen display with the left and right cursor keys. In each display mode, the previous image and the next image can be displayed by operating the up and down cursor keys. In the character screen display, file operations such as file name change and deletion can be performed with the select key.
【0104】メニュー画面から、キャンセルキーを操作
すると撮影待ち状態(カメラモード)になり、セレクト
キーでメニューに戻ることができる。撮影待ち状態でシ
ャッタボタンを押すと撮影が可能でありメモリへの画像
取り込みを行い、撮影後にキャンセルキーで撮影待ち状
態に戻ることができる。撮影直後の状態からセレクトキ
ーを操作すると画像の録画が行えメモリに取り込んだ画
像を記憶装置へ転送を行い、録画後は撮影待ち状態に戻
る。このときの画像は、デフォルトではカラー画像が設
定されており、左右のカーソルキーでピッチズレ画像/
カラー画像の選択が可能である。When the user operates the cancel key on the menu screen, the apparatus enters a shooting standby state (camera mode), and the user can return to the menu by pressing the select key. When the shutter button is pressed in the state of waiting for photographing, photographing is possible, the image is taken into the memory, and after photographing, the state can be returned to the state of waiting for photographing with the cancel key. When the select key is operated from the state immediately after shooting, the image can be recorded and the image captured in the memory is transferred to the storage device. At this time, the color image is set by default, and the pitch shift image /
A color image can be selected.
【0105】次に、この3次元形状測定装置の分割取り
込みによる高精度入力について説明を行う。投光系、受
光系間の距離、すなわち基線長lと焦点距離f、計測対
象までの距離dが決ると、3次元的分解能、精度は決定
される。そこで、高精度で計測するためには、焦点距離
fを大きく設定し、測定することで達成される。つま
り、望遠にするほど測定精度は高くなる。しかし、測定
精度の高い3次元画像を得ることは出来るが、視野領域
は焦点距離fが延びるに従い狭められる。Next, a description will be given of a high-accuracy input by the three-dimensional shape measuring apparatus by divisional capture. When the distance between the light projecting system and the light receiving system, that is, the base line length l and the focal length f, and the distance d to the measurement object are determined, the three-dimensional resolution and accuracy are determined. Therefore, high-precision measurement is achieved by setting the focal length f large and measuring. In other words, the measurement accuracy increases as the distance increases. However, although it is possible to obtain a three-dimensional image with high measurement accuracy, the visual field is narrowed as the focal length f increases.
【0106】そこで、焦点距離fを測定したい分解能、
精度に応じた値に設定し、電動雲台等の回転架台4を操
作し視野領域を複数の領域に分割して、分割した領域毎
に測定し、その結果得られた画像を貼り合わせ、1枚の
画像に再構築するものである。このような機能を持つこ
とで分解能を可変とする3次元形状測定装置が実現でき
る。また、この機能を生かすことにより、全周囲的空間
について3次元測定を行うことで、環境の測定も可能と
なる。以下に具体的例を示し、その動作の説明を行う。
なお、図32に示す例は簡略化した説明図であって、投
光系2と受光系3は水平方向の位置関係に配置されてお
り、図3に示した例とは異なっている。この配置ではス
リット光は縦方向に長さを有し左右方向に走査する必要
がある。Therefore, the resolution at which the focal length f is to be measured,
The value is set to a value corresponding to the accuracy, and the rotary gantry 4 such as an electric camera platform is operated to divide the field of view into a plurality of regions, and each of the divided regions is measured. This is to reconstruct a single image. With such a function, it is possible to realize a three-dimensional shape measuring apparatus with variable resolution. By making use of this function, the environment can be measured by performing three-dimensional measurement on the entire surrounding space. A specific example will be described below, and the operation will be described.
The example shown in FIG. 32 is a simplified explanatory diagram, and the light projecting system 2 and the light receiving system 3 are arranged in a horizontal positional relationship, which is different from the example shown in FIG. In this arrangement, the slit light has a length in the vertical direction and needs to scan in the left-right direction.
【0107】画像貼り合わせ機能利用時の様子を図32
に示し、図33に画像貼り合わせ機能における動作を表
わすフローチャートを示す。図34には本機能使用時の
表示状態を示しており、画像表示部の下部に測定精度を
表す表示部がある。FIG. 32 shows a state when the image pasting function is used.
FIG. 33 is a flowchart showing the operation of the image pasting function. FIG. 34 shows a display state when this function is used, and there is a display section indicating measurement accuracy below the image display section.
【0108】まず、図32(a)に示すようにユーザに
よる操作で対象物体1を視野範囲内に撮像可能な広角、
ワイド状態(焦点距離f0)になるようにズーム駆動系
16を駆動し視野範囲を設定する(ステップ#20
1)。このときに想定されるZ軸方向(図17参照、物
体の凹凸方向)分解能は図34(a)で示すように画像
の下のバー表示で表現される。このZ軸方向分解能ΔZ
は本システムのように基線長が固定の場合、簡単には測
定対象までの距離dと測定時の焦点距離fで以下のよう
な関係がある。 ΔZ = K×d×(d−f)/f (7) ここでKはZ軸方向分解能見積りのための係数であり、
センサピッチ等により決まるものである。また、上記の
ズーミング操作は、システムコンピュータからSCSI
端子を介してコマンドを送信し、遠隔操作によるズーム
操作、レリーズ操作等の動作設定も可能である。First, as shown in FIG. 32 (a), a wide angle which allows the user to take an image of the target object 1 within the visual field range by an operation by the user.
The zoom drive system 16 is driven so as to be in the wide state (focal length f0) and the visual field range is set (step # 20).
1). At this time, the resolution in the Z-axis direction (refer to FIG. 17, the uneven direction of the object) is represented by a bar display below the image as shown in FIG. This Z-axis direction resolution ΔZ
In the case where the base line length is fixed as in this system, the distance d to the object to be measured and the focal length f at the time of measurement simply have the following relationship. ΔZ = K × d × (df) / f (7) where K is a coefficient for estimating the resolution in the Z-axis direction,
It is determined by the sensor pitch and the like. In addition, the above zooming operation is performed by the system computer from the SCSI.
A command can be transmitted via a terminal, and operation settings such as a zoom operation and a release operation by remote control can be performed.
【0109】ユーザは、以上の設定操作で満足する精
度、分解能で測定が行われると判断した場合(ステップ
#203の判定でNO)には、ユーザのレリーズ操作に
より測定が開始され(ステップ#205)、その結果が
ディスプレイに表示される(ステップ#207)。この
表示は図34(a)に示すように、入力されたピッチズ
レ画像、あるいはカラー画像と、その取り込みで得られ
たZ軸方向測定分解能が画像の下のバーで表示される。
その結果、更に測定精度の高い計測を必要としない場合
(ステップ#209の判定でNO)は、この計測で完了
し記憶メディアへの書き込みを行うか否かの判定をユー
ザに求め、それに応じた処理を行い動作を完了する。If the user determines that the measurement is performed with the accuracy and resolution that satisfy the above setting operation (NO in step # 203), the measurement is started by the user's release operation (step # 205). ), And the result is displayed on the display (step # 207). In this display, as shown in FIG. 34A, the inputted pitch shift image or color image and the Z-axis direction measurement resolution obtained by taking in the image are displayed as bars below the image.
As a result, when measurement with higher measurement accuracy is not required (NO in the determination in step # 209), the user is asked to determine whether or not to complete the measurement and to write the data to the storage medium. Processing is performed to complete the operation.
【0110】ユーザは、満足する精度で測定が行われな
いと判断した場合(ステップ#203の判定でYE
S)、あるいは一度目のレリーズ操作により取り込まれ
たピッチズレ画像、あるいはZ軸方向測定分解能表示に
より、ユーザは所望のZ軸方向分解能、精度の設定をキ
ー操作により精度を変更して再測定の指示を行うことが
できる(ステップ#209の判定でYES)。When the user determines that the measurement is not performed with satisfactory accuracy (YE in the determination in step # 203).
S) Or, by displaying the pitch shift image captured by the first release operation or displaying the Z-axis direction measurement resolution, the user can change the accuracy by key operation to set the desired Z-axis direction resolution and accuracy, and instruct re-measurement. Can be performed (YES in step # 209).
【0111】この精度設定キー入力が行われると、シス
テムはそのときの状態、すなわち測定対象の全景が捕え
られた状態の焦点距離f0と、AFセンサから得られる
測定対象までの概略距離dとをメモリし視野範囲の記憶
を行う(ステップ#210)。さらに入力された所望の
Z軸方向測定分解能と概略距離dから上式(7)を用いて
設定すべき焦点距離f1の算出を行う(ステップ#21
1)。When the precision setting key is input, the system determines the current state, that is, the focal length f0 in a state where the entire view of the measurement target is captured, and the approximate distance d to the measurement target obtained from the AF sensor. The memory is stored to store the visual field range (step # 210). Further, the focal length f1 to be set is calculated from the input desired measurement resolution in the Z-axis direction and the approximate distance d using the above equation (7) (step # 21).
1).
【0112】焦点距離f1が算出されると、その焦点距
離f1に自動的にズーミングを行い(ステップ#21
3)、記憶された測定すべき視野範囲、概略距離d、焦
点距離f1より分割入力すべきフレーム数、それに応じ
たパン、チルト角度の算出、パン、チルト回転架台のパ
ン、チルトにより視野位置の設定を行い(ステップ#2
15)、各分割入力フレームでの計測を行う(ステップ
#217)。画像貼り合わせ機能時の分割入力する画像
は、後で貼り合わせて1枚の画像に再構築するために、
のりしろとなるべき重複部分を含むよう設定される。When the focal length f1 is calculated, zooming is automatically performed on the focal length f1 (step # 21).
3) The number of frames to be divided and input based on the stored visual field range to be measured, the approximate distance d, and the focal length f1, the calculation of the pan and tilt angles corresponding thereto, and the pan and tilt of the pan / tilt rotation base to determine the visual field position. Make settings (Step # 2
15), measurement is performed in each divided input frame (step # 217). The image to be divided and input at the time of the image stitching function is to be stitched later and reconstructed into one image.
It is set to include the overlap that should be the margin.
【0113】得られたピッチズレ画像、カラー画像、取
り込まれたX、Y方向の視野方向を示す情報(例えば、
パン、チルトのデコード角度値、あるいは、X、Y方向
の取り込み順番など)、レンズ焦点距離、測定距離情報
は内部のMO記憶装置に記憶される(ステップ#21
9)。この際、メモリへファイル名、ファイルサイズ等
のディレクトリ情報の書き込みは行わず、最後にユーザ
の確認の後にディレクトリ情報の書き込みを行うことで
一時的な格納にすることも可能である。Information indicating the obtained pitch shift image, color image, and captured view directions in the X and Y directions (for example,
The pan / tilt decode angle values or the order of capture in the X and Y directions, the lens focal length, and the measured distance information are stored in an internal MO storage device (step # 21).
9). At this time, the directory information such as the file name and the file size is not written into the memory, and the directory information can be written after the user's confirmation at the end to temporarily store the information.
【0114】次に、上記の視野位置とわずかに重複され
た視野位置に、算出されたパン、チルト角度に従いパ
ン、チルト操作で視野を制御し隣接する領域の画像の入
力を行い、この動作を繰り返すことで全領域の入力を行
う(ステップ#221の判定でNO、図32(b)参
照)。Next, in the field of view slightly overlapped with the above field of view, the field of view is controlled by panning and tilting operations according to the calculated pan and tilt angles, and an image of an adjacent area is input. The whole area is input by repeating (NO in step # 221, see FIG. 32B).
【0115】全領域の入力が終了した時点(ステップ#
221の判定でYES)で、測定精度を高くする前の初
期のカメラ姿勢、焦点距離に戻して(ステップ#22
3)動作を完了し、ユーザの書き込みの判断を待ち、書
き込み指示の場合にはディレクトリ情報の書き込みを行
い、書き込まないという指示の時は、ディレクトリ情報
の書き込みを行わずに終了することで、それまでの連続
してメモリに格納しておいた情報を消去する。When all areas have been input (step #
If the determination in step 221 is YES), the camera posture and the focal length are returned to the initial values before increasing the measurement accuracy (step # 22).
3) Complete the operation, wait for the user to judge the writing, write the directory information in the case of the write instruction, and terminate without writing the directory information in the case of the instruction not to write. The information stored in the memory up to the next is erased.
【0116】また、上記の操作のように、事前に測定を
行い再度測定を行う場合には、1度目の測定により対象
物体までの距離測定、また測定画角内での距離分布の測
定が完了している。そこで、この対象物体との距離に大
きな差を持つ領域、すなわち測定対象とは違う周辺領域
(背景)のみとなる分割入力フレームについては貼り合
わせのため再測定は行わず、対象物体を含む分割入力フ
レームのみの再測定を行うことも可能である。図34
(b)に示す例では、対象物体が含まれる網点領域が再
測定を行う領域で、他の領域は対象物体が無い領域で再
測定は行われない領域であることを示している。When the measurement is performed in advance and the measurement is performed again as in the above operation, the distance measurement to the target object and the measurement of the distance distribution within the measurement angle of view are completed by the first measurement. are doing. Therefore, re-measurement is not performed for a region having a large difference in the distance from the target object, that is, a divided input frame including only a peripheral region (background) different from the measurement target because of the bonding. It is also possible to perform re-measurement of only the frame. FIG.
In the example shown in (b), the halftone dot region including the target object is a region where the re-measurement is performed, and the other region is a region where the target object is not included and the re-measurement is not performed.
【0117】以上説明したように、高速な3次元計測が
可能となり、この3次元計測をもとに部分的入力を繰り
返し、貼り合わせ作業を行うことで分解能を自由に設定
可能な3次元形状計測が可能となる。As described above, high-speed three-dimensional measurement can be performed, and three-dimensional shape measurement in which the resolution can be freely set by repeating partial input based on the three-dimensional measurement and performing bonding work. Becomes possible.
【0118】このような貼り合わせ計測においては、全
画面の分解能が均一の分解能で測定が行われるが、人間
の顔のように目、口、鼻の部分であれば形状、色彩情報
が複雑で分解能の高いデータが必要となるが、頬、額な
ど低い分解能で十分測定の要を足す測定対象も考えられ
る。このような測定対象については、部分的なズーミン
グ動作によりデータ貼り合わせを行うことで効率の良い
データ入力が実現しうる。この部分ズーミング貼り合わ
せ機能は以下の動作で実現する。In such a bonding measurement, the measurement is performed with a uniform resolution over the entire screen, but the shape, color information is complicated for the eyes, mouth, and nose like a human face. Although high-resolution data is required, a measurement target such as a cheek or a forehead that needs sufficient measurement at a low resolution may be considered. For such a measurement target, efficient data input can be realized by performing data bonding by a partial zooming operation. This partial zooming bonding function is realized by the following operation.
【0119】図35にこの部分ズーミング貼り合わせ機
能の動作を示すフローチャートを示す。まず、ステップ
#251で均一分解能貼り合わせの場合と同様に、測定
対象の全体域を捕える視野設定を行い、ステップ#25
3で部分ズーミング入力モードの選択を行う。選択が行
われると、現在設定されている焦点距離f0、パン・チ
ルトのデコード角度値をメモリし(ステップ#25
5)、焦点距離f0の状態で測定を開始し概略画像デー
タとして画像入力を行う(ステップ#257)。その結
果得られたピッチズレ画像、カラー画像、その画像の取
り込まれたX、Y方向の視野方向を示す情報(例えば、
パン、チルトのデコード角度値)、レンズ焦点距離、測
定距離情報は内部の記憶装置に記憶される(ステップ#
259)。続いてステップ#261で最大焦点距離fma
xになるようにズーミングを行った後、上記の概略画像
データの解析を行い、ズーミング後入力される分割入力
フレーム毎に再計測を実施するか否かを決定する。FIG. 35 is a flowchart showing the operation of the partial zooming and bonding function. First, similarly to the case of the uniform resolution bonding in step # 251, the visual field setting for capturing the entire area of the measurement target is performed, and step # 25
In step 3, a partial zoom input mode is selected. When the selection is made, the currently set focal length f0 and pan / tilt decode angle values are stored in memory (step # 25).
5) The measurement is started in the state of the focal length f0, and image input is performed as general image data (step # 257). The resulting pitch shift image, color image, and information indicating the view direction of the captured X and Y directions of the image (for example,
Pan and tilt decode angle values), lens focal length, and measured distance information are stored in an internal storage device (step #).
259). Subsequently, at step # 261, the maximum focal length fma
After zooming to x, the above-described schematic image data is analyzed, and it is determined whether or not to perform re-measurement for each divided input frame input after zooming.
【0120】ズーミングを行い最大焦点距離fmaxで測
定を行った場合、入力しうるフレームサイズにこの概略
データを分割する。ステップ#263でパン・チルト位
置X,Yをスタート初期位置Xs、Ysにセットする。ス
テップ#265でセットされたX,Y位置にパン・チル
トを制御する。次に、ステップ#267で、X±ΔX、
Y±ΔYの領域の初期入力カラー画像のカラー情報R、
G、B値について統計処理を行い各領域についての標準
偏差σR、σG、σB の算出を行う。ステップ#269で
これらの算出されたすべての標準偏差σR、σG、σB の
値ががそれぞれ設定された所定値未満であるかを判別
し、所定値未満であれば、その小領域は明暗色情報は一
様な領域であるとしてズーミング測定は実施せずにステ
ップ#271へ進む。逆に所定値以上となる標準偏差σ
R、σG、σB がある場合には複雑な色彩情報を有する領
域であると判断してズーミング測定を行う(ステップ#
275)。When the zooming is performed and the measurement is performed at the maximum focal length fmax, the rough data is divided into frame sizes that can be input. In step # 263, the pan / tilt positions X and Y are set to the initial start positions Xs and Ys. The pan / tilt is controlled to the X and Y positions set in step # 265. Next, in step # 267, X ± ΔX,
The color information R of the initial input color image in the area of Y ± ΔY,
Statistical processing is performed on the G and B values to calculate standard deviations σR, σG, and σB for each area. In step # 269, it is determined whether all the calculated standard deviations σR, σG, and σB are less than the set predetermined values. Indicates that the area is a uniform area, and the process proceeds to step # 271 without performing the zooming measurement. Conversely, standard deviation σ that is equal to or greater than a predetermined value
If there is R, σG, σB, it is determined that the area has complex color information, and zooming measurement is performed (step #).
275).
【0121】ステップ#271ではX±ΔX、Y±ΔY
の領域の初期入力距離値dの情報から標準偏差σdを算
出し、ステップ#273では算出された標準偏差σdの
値が設定された所定値未満であるかを判別し、所定値未
満であればその小領域は形状変化の少ない平坦な領域で
あるとしてズーミング測定は行わず、ステップ#279
へ進む。逆に所定値以上であれば複雑な形状(距離情
報)を有する領域であるとしてズーミング測定を行う
(ステップ#275)。At step # 271, X ± ΔX, Y ± ΔY
The standard deviation σd is calculated from the information of the initial input distance value d in the area of, and in step # 273, it is determined whether the calculated value of the standard deviation σd is smaller than a set predetermined value. Since the small area is a flat area with little change in shape, zooming measurement is not performed, and step # 279 is performed.
Proceed to. Conversely, if the value is equal to or more than the predetermined value, it is determined that the region has a complicated shape (distance information) and zooming measurement is performed (step # 275).
【0122】ステップ#275でのズーミング測定の
後、得られたピッチズレ画像、カラー画像、その画像が
取り込まれたX、Y方向の視野方向を示す情報(例え
ば、パン、チルトのデコード角度値)、レンズ焦点距
離、測定距離情報等の情報が内部のMO等の記憶装置に
記憶される(ステップ#277)。その後は、ステップ
#279へ進む。After the zooming measurement in step # 275, the obtained pitch-shifted image, color image, information indicating the viewing direction in the X and Y directions (for example, pan and tilt decode angle values) from which the image was captured, Information such as lens focal length and measured distance information is stored in a storage device such as an internal MO (step # 277). Thereafter, the process proceeds to step # 279.
【0123】次にステップ#279では、パン・チルト
位置Xを2ΔXだけ変化させる。ステップ#281でX
方向走査が完了しているかを判別し、完了していなけれ
ばステップ#265へ戻る。完了していればステップ#
283でパン・チルト位置Yを2ΔYだけ変化させる。
ステップ#285で全走査が完了しているかを判別し、
完了していなければステップ#265へ戻り、完了して
いればステップ#287へ進み本ルーチンを終了する。Next, in step # 279, the pan / tilt position X is changed by 2ΔX. X in step # 281
It is determined whether or not the directional scanning has been completed, and if not, the process returns to step # 265. Step # if completed
At 283, the pan / tilt position Y is changed by 2ΔY.
At step # 285, it is determined whether or not all the scans have been completed.
If it has not been completed, the process returns to step # 265. If completed, the process proceeds to step # 287, and this routine ends.
【0124】このように、概略画像データと、位置の判
別が可能な部分詳細画像情報の入力ができ、概略画像デ
ータにその位置にあった部分詳細画像データを貼り合わ
せることで形状や色彩情報の複雑さに応じた効率の良い
3次元入力が実現できる。As described above, the rough image data and the partial detailed image information whose position can be determined can be input, and the partial detailed image data at the position can be attached to the rough image data to obtain the shape and color information. Efficient three-dimensional input according to complexity can be realized.
【0125】[0125]
【発明の効果】以上説明したように、2次元撮像素子で
撮像した画像を読み出すときに、全領域を読み出すので
はなく、投光したスリット光が入射すると推定される領
域の帯状画像を読み出しているので、全領域を読み出す
場合に比べて非常に短い時間で画像の読み出しができ
る。その結果、対象が動体であっても高速に対象物体の
形状測定が可能であり、また逆に、本測定装置自体が移
動体に設置されている場合でも対象物体の形状を高速に
測定することができる。As described above, when reading out an image picked up by the two-dimensional image pickup device, the whole area is not read out, but the strip image of the area where the projected slit light is assumed to be incident is read out. Therefore, the image can be read in a very short time as compared with the case of reading the entire area. As a result, the shape of the target object can be measured at high speed even if the target is a moving object, and conversely, the shape of the target object can be measured at high speed even when the measurement device itself is installed on a moving object. Can be.
【図1】光切断法の原理を示す説明図。FIG. 1 is an explanatory view showing the principle of a light cutting method.
【図2】本発明に係る装置全体の概略ブロック図。FIG. 2 is a schematic block diagram of the entire apparatus according to the present invention.
【図3】本発明に係る装置全体の概略構成を示す斜視
図。FIG. 3 is a perspective view showing a schematic configuration of the entire apparatus according to the present invention.
【図4】対象物体面に生成する光量分布についての説明
図。FIG. 4 is an explanatory diagram of a light amount distribution generated on a target object plane.
【図5】撮像素子受光面に生成する光量分布についての
説明図。FIG. 5 is an explanatory diagram of a light amount distribution generated on a light receiving surface of an image sensor.
【図6】撮像素子受光面に生成する光量分布についての
説明図。FIG. 6 is an explanatory diagram of a light amount distribution generated on a light receiving surface of an image sensor.
【図7】投光光学系の構成を示す断面図。FIG. 7 is a sectional view showing a configuration of a light projecting optical system.
【図8】投光スリット光の説明図。FIG. 8 is an explanatory view of a projection slit light.
【図9】受光光学系の構成を示す断面図。FIG. 9 is a sectional view showing a configuration of a light receiving optical system.
【図10】カラー画像センサの入射波長の特性を示す説
明図。FIG. 10 is an explanatory diagram showing characteristics of an incident wavelength of the color image sensor.
【図11】距離画像用センサの受光波長を示す説明図。FIG. 11 is an explanatory diagram showing a light receiving wavelength of a range image sensor.
【図12】距離用センサの出力制御の例を示す説明図。FIG. 12 is an explanatory diagram illustrating an example of output control of a distance sensor.
【図13】投光系と受光系の視差の説明図。FIG. 13 is an explanatory diagram of parallax between a light projecting system and a light receiving system.
【図14】無段階仰角制御の説明図。FIG. 14 is an explanatory diagram of stepless elevation angle control.
【図15】多段階仰角制御の説明図。FIG. 15 is an explanatory diagram of multi-stage elevation angle control.
【図16】仰角固定最近接距離制御の説明図。FIG. 16 is an explanatory diagram of the elevation angle fixed closest distance control.
【図17】撮像素子に入射する反射光の入射範囲と走査
範囲の説明図。FIG. 17 is an explanatory diagram of an incident range and a scanning range of reflected light incident on an image sensor.
【図18】X−Yアドレス走査方式のセンサの説明図。FIG. 18 is an explanatory diagram of an XY address scanning type sensor.
【図19】アナログ転送方式のセンサ(インターライン
転送時)の説明図。FIG. 19 is an explanatory diagram of an analog transfer type sensor (at the time of interline transfer).
【図20】アナログ転送方式のセンサ(フレーム転送方
式時)の説明図。FIG. 20 is an explanatory diagram of an analog transfer type sensor (at the time of a frame transfer method).
【図21】ブロック分割のセンサの説明図。FIG. 21 is an explanatory diagram of a block-divided sensor.
【図22】ブロック分割センサの行ランダムアクセスの
説明図。FIG. 22 is an explanatory diagram of row random access of the block division sensor.
【図23】装置全体の回路構成のブロック図。FIG. 23 is a block diagram of a circuit configuration of the entire apparatus.
【図24】受光重心位置算出回路図。FIG. 24 is a circuit diagram for calculating a light receiving center of gravity position.
【図25】メインルーチンの動作を示すフローチャートFIG. 25 is a flowchart showing the operation of a main routine.
【図26】カメラモードの動作を示すフローチャートFIG. 26 is a flowchart showing an operation in a camera mode.
【図27】シャッタモードの動作を示すフローチャートFIG. 27 is a flowchart showing an operation in a shutter mode.
【図28】AF/AEサブルーチンのフローチャートFIG. 28 is a flowchart of an AF / AE subroutine.
【図29】データ転送モードの動作を示すフローチャー
トFIG. 29 is a flowchart showing an operation in a data transfer mode;
【図30】リプレイモードの動作を示すフローチャートFIG. 30 is a flowchart showing an operation in a replay mode.
【図31】本計測装置の動作状態遷移図。FIG. 31 is an operation state transition diagram of the measurement device.
【図32】画像貼り合わせ機能の説明図。FIG. 32 is an explanatory diagram of an image pasting function.
【図33】画像貼り合わせ機能の動作を示すフローチャ
ートFIG. 33 is a flowchart showing the operation of the image pasting function;
【図34】画像貼り合わせ機能表示状態の説明図。FIG. 34 is an explanatory diagram of a display state of the image pasting function.
【図35】部分ズーミング貼り合わせ機能の動作を示す
フローチャートFIG. 35 is a flowchart showing the operation of the partial zooming and bonding function;
1 対象物体 2 投光光学系 3 受光光学系 12 2次元撮像素子 REFERENCE SIGNS LIST 1 target object 2 light projecting optical system 3 light receiving optical system 12 two-dimensional image sensor
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 H04N 5/335 G06T 1/00 ──────────────────────────────────────────────────続 き Continued on the front page (58) Fields investigated (Int. Cl. 7 , DB name) G01B 11/00-11/30 H04N 5/335 G06T 1/00
Claims (4)
撮像素子で撮像して対象物体の形状を測定する3次元形
状測定装置において、 上記2次元撮像素子はスリット光が入射すると推測され
る領域の帯状画像を選択的に読み出すことを特徴とする
3次元形状測定装置。1. A three-dimensional shape measuring apparatus for projecting slit light onto a target object, capturing an image with a two-dimensional image sensor, and measuring the shape of the target object. A three-dimensional shape measuring apparatus characterized by selectively reading a band image of a region.
分割してブロック毎に並列に読み出しを行い、並列に読
み出された信号を選択して出力することを特徴とする請
求項1記載の3次元形状測定装置。2. The method according to claim 1, wherein the two-dimensional image pickup device is divided into a plurality of blocks, the blocks are read in parallel for each block, and the signals read in parallel are selected and output. 3D shape measuring device.
を有し帯状画像を選択して出力することを特徴とする請
求項1記載の3次元形状測定装置。3. The three-dimensional shape measuring apparatus according to claim 1, wherein said two-dimensional image pickup device has a one-row parallel discharging means and selects and outputs a band-shaped image.
査型2次元撮像素子であり読み出し開始行設定手段を有
し、帯状画像を選択して出力することを特徴とする請求
項1記載の3次元形状測定装置。4. The apparatus according to claim 1, wherein said two-dimensional image pickup device is an XY address scanning type two-dimensional image pickup device, has a read start line setting means, and selects and outputs a band image. 3D shape measuring device.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32024593A JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
US08/358,306 US5668631A (en) | 1993-12-20 | 1994-12-19 | Measuring system with improved method of reading image data of an object |
US08/841,560 US6243165B1 (en) | 1993-12-20 | 1997-04-30 | Measuring system with improved method of reading image data of an object |
US09/387,498 US6407817B1 (en) | 1993-12-20 | 1999-09-01 | Measuring system with improved method of reading image data of an object |
US09/879,896 US6522412B2 (en) | 1993-12-20 | 2001-06-14 | Measuring system with improved method of reading image data of an object |
US10/075,230 US6775010B2 (en) | 1993-12-20 | 2002-02-15 | Measuring system with improved method of reading image data of an object |
US10/118,054 US6480288B1 (en) | 1993-12-20 | 2002-04-09 | Measuring system with improved method of reading image data of an object |
US10/330,111 US6674534B2 (en) | 1993-12-20 | 2002-12-30 | Measuring system with improved method of reading image data of an object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32024593A JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000386335A Division JP2001201329A (en) | 2000-12-20 | 2000-12-20 | Three-dimensional shape measuring apparatus |
JP2000386336A Division JP2001221621A (en) | 2000-12-20 | 2000-12-20 | Three-dimensional shape-measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07174536A JPH07174536A (en) | 1995-07-14 |
JP3282331B2 true JP3282331B2 (en) | 2002-05-13 |
Family
ID=18119349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32024593A Expired - Lifetime JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3282331B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7365301B2 (en) | 2003-11-11 | 2008-04-29 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program |
US7372580B2 (en) | 2003-09-25 | 2008-05-13 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, three-dimensional shape detecting system, and three-dimensional shape detecting program |
US7391522B2 (en) | 2003-09-29 | 2008-06-24 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141105A (en) * | 1995-11-17 | 2000-10-31 | Minolta Co., Ltd. | Three-dimensional measuring device and three-dimensional measuring method |
US6049385A (en) | 1996-06-05 | 2000-04-11 | Minolta Co., Ltd. | Three dimensional measurement system and pickup apparatus |
JPH09325009A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
JPH09325010A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
US6204916B1 (en) | 1998-02-03 | 2001-03-20 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
US6788807B1 (en) | 1998-02-13 | 2004-09-07 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
US6233049B1 (en) | 1998-03-25 | 2001-05-15 | Minolta Co., Ltd. | Three-dimensional measurement apparatus |
US6252659B1 (en) | 1998-03-26 | 2001-06-26 | Minolta Co., Ltd. | Three dimensional measurement apparatus |
JP2000076460A (en) | 1998-06-18 | 2000-03-14 | Minolta Co Ltd | Monitor display device |
US7492398B1 (en) | 1998-09-29 | 2009-02-17 | Minolta Co., Ltd | Three-dimensional input apparatus and image sensing control method |
US6549647B1 (en) * | 2000-01-07 | 2003-04-15 | Cyberoptics Corporation | Inspection system with vibration resistant video capture |
JP2004504586A (en) * | 2000-07-13 | 2004-02-12 | ベルス・メステヒニーク・ゲーエムベーハー | A method for contactless measurement of object geometry. |
JP4803568B2 (en) * | 2001-03-30 | 2011-10-26 | ルネサスエレクトロニクス株式会社 | Inspection apparatus and inspection method for semiconductor integrated circuit |
JP2003269935A (en) * | 2002-03-18 | 2003-09-25 | Hamano Engineering:Kk | Measurement method of three-dimensional surface shape, measurement device for three-dimensional surface shape, computer program and computer program recording medium |
DE10232878B4 (en) * | 2002-07-19 | 2012-02-23 | Robert Bosch Gmbh | Apparatus and method for distance measurement |
DE102005051318B4 (en) * | 2005-10-26 | 2011-11-17 | Mathias Reiter | Optical shape determination method |
JP5082314B2 (en) * | 2006-07-14 | 2012-11-28 | オムロン株式会社 | Displacement sensor |
JP5082923B2 (en) * | 2008-02-27 | 2012-11-28 | 日産自動車株式会社 | Vehicle obstacle detection device |
JP5557131B2 (en) * | 2009-06-19 | 2014-07-23 | 国立大学法人 和歌山大学 | Memory board for measuring device to which total space table method is applied, photographing device for measuring device, and measuring device |
JP2013024713A (en) * | 2011-07-20 | 2013-02-04 | Toray Eng Co Ltd | Device and method for observing and evaluating sheet material end |
JP2020148475A (en) * | 2019-03-11 | 2020-09-17 | 国立大学法人東京工業大学 | Ranging sensor |
WO2024134967A1 (en) * | 2022-12-23 | 2024-06-27 | パナソニックIpマネジメント株式会社 | Measuring device |
-
1993
- 1993-12-20 JP JP32024593A patent/JP3282331B2/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7372580B2 (en) | 2003-09-25 | 2008-05-13 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, three-dimensional shape detecting system, and three-dimensional shape detecting program |
US7391522B2 (en) | 2003-09-29 | 2008-06-24 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program |
US7365301B2 (en) | 2003-11-11 | 2008-04-29 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program |
Also Published As
Publication number | Publication date |
---|---|
JPH07174536A (en) | 1995-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3282331B2 (en) | 3D shape measuring device | |
US5668631A (en) | Measuring system with improved method of reading image data of an object | |
US6407817B1 (en) | Measuring system with improved method of reading image data of an object | |
US5196929A (en) | Display system of camera having tracking apparatus | |
US7053350B2 (en) | Autofocus control apparatus and method | |
CN109155842A (en) | The control method of stereoscopic camera and stereoscopic camera | |
US5121152A (en) | Autofocus system for cameras | |
US20050012833A1 (en) | Image capturing apparatus | |
EP2709352B1 (en) | Image pickup apparatus, image pickup system and method of controlling image pickup apparatus | |
US6233049B1 (en) | Three-dimensional measurement apparatus | |
EP3009871B1 (en) | Image acquisition device and image acquisition device focusing method | |
US5838370A (en) | Image pickup apparatus | |
JP2008176114A (en) | Focus detecting device and imaging apparatus | |
JPH07318814A (en) | Microphotographic device | |
JP2001221621A (en) | Three-dimensional shape-measuring device | |
JPH11122517A (en) | Image pickup device and storage medium read by computer | |
US20020015103A1 (en) | System and method of capturing and processing digital images with depth channel | |
JP3282332B2 (en) | Image input system | |
JP2001201329A (en) | Three-dimensional shape measuring apparatus | |
JPH11271030A (en) | Three-dimensional measuring apparatus | |
JP3360505B2 (en) | Three-dimensional measuring method and device | |
JP3733625B2 (en) | Imaging device for 3D measurement | |
JP3861475B2 (en) | 3D input device | |
JP4212138B2 (en) | 3D measuring device | |
JPH10164413A (en) | Image-pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080301 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100301 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110301 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130301 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140301 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |