JPH07174536A - Three dimensional shape-measuring apparatus - Google Patents
Three dimensional shape-measuring apparatusInfo
- Publication number
- JPH07174536A JPH07174536A JP5320245A JP32024593A JPH07174536A JP H07174536 A JPH07174536 A JP H07174536A JP 5320245 A JP5320245 A JP 5320245A JP 32024593 A JP32024593 A JP 32024593A JP H07174536 A JPH07174536 A JP H07174536A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- scanning
- distance
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、対象物体の3次元形状
を測定し測定結果を画面表示する3次元形状測定装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional shape measuring apparatus for measuring a three-dimensional shape of a target object and displaying the measurement result on a screen.
【0002】[0002]
【従来の技術】自然物や生体の計測、ロボットの視覚認
識など様々な産業分野において3次元情報が利用されて
いる。静止物体の形状を測定するのであれば計測に数秒
要しても特に問題とはならない。しかし、移動ロボット
の視覚認識のように動体の3次元計測を行う装置におい
ては、高速で精度よく3次元形状をを計測する装置が必
要となってくる。従来、物体の3次元形状の認識を行う
手段のうち、最も実用的な手段として光切断法がよく利
用されている。光切断法は図1に示すように対象物体に
スリット状のレーザ光Sを照射し、スリット光Sに対応
する対象物体1のスリット像をカメラの撮像面上に捕え
る。すると、スリット上のある1点p'に対応する対象
物体上の点pの空間座標は、スリット光のなす平面S
と、点p'と撮像装置のレンズの中心点Oとを結ぶ直線
Lとの交点の座標として求められる。このように、1枚
の画像からスリット像上の各点に対応した物体表面の点
群の空間座標が求められ、スリット光の水平方向の移動
と画像入力を繰り返すことで対象物体全体の3次元情報
を獲得することができる。2. Description of the Related Art Three-dimensional information is used in various industrial fields such as measurement of natural objects and living bodies, and visual recognition of robots. If the shape of a stationary object is measured, it does not matter if the measurement takes several seconds. However, in a device that performs three-dimensional measurement of a moving body such as visual recognition of a mobile robot, a device that measures a three-dimensional shape with high speed and accuracy is required. Conventionally, among the means for recognizing the three-dimensional shape of an object, the light cutting method is often used as the most practical means. In the light cutting method, a target object is irradiated with slit-shaped laser light S as shown in FIG. 1, and a slit image of the target object 1 corresponding to the slit light S is captured on the imaging surface of the camera. Then, the spatial coordinate of the point p on the target object corresponding to a certain point p ′ on the slit is the plane S formed by the slit light.
Is obtained as coordinates of an intersection of a straight line L connecting the point p ′ and the center point O of the lens of the image pickup apparatus. Thus, the spatial coordinates of the point cloud on the object surface corresponding to each point on the slit image are obtained from one image, and the horizontal movement of the slit light and the image input are repeated to obtain the three-dimensional image of the entire target object. Information can be acquired.
【0003】撮像素子としてはCCDエリアセンサがよ
く利用されており、この構成で画像を読み出すには1ラ
インのスリット光の走査に対してCCD全画素を読み出
しており、対象物体の全面を走査するには1ラインの走
査に要する時間のライン数倍の時間がかかる。しかし、
動体の3次元計測などを行うには高速の入力装置が必要
となるため、入力を高速化した装置が種々提案されてい
る。A CCD area sensor is often used as an image pickup device. With this configuration, all pixels of the CCD are read for scanning the slit light of one line to read an image, and the entire surface of the target object is scanned. Takes a time several times as long as the time required for scanning one line. But,
Since a high-speed input device is required to perform three-dimensional measurement of a moving body, various devices with high-speed input have been proposed.
【0004】特公昭56−501704号に提案されて
いる装置は、光電変換素子をブロックに分割しブロック
内は並列に、各ブロックは順次直列に読み出すことによ
って全範囲読み出しに要する時間を短縮し処理の高速化
を図っている。また、特開昭64−46605号には、
撮像素子としてPSD(Position Sensitive Device)
アレーを用いた装置が提案されている。この装置ではP
SDセンサーからのスリット像の入射位置情報を表す出
力信号はリアルタイムで出力されるため、1フレーム分
の待ち時間を必要とせず高速計測が可能となる。他に提
案されているものでは、15個の光源を用いて異なるパ
ターンで4回点灯し、得られた4回分のデータを合成す
ることで全体の画像を得る装置がある。この装置では回
転鏡の制御角を小さくすることができるので高速に全体
像を得ることができる。The device proposed in Japanese Examined Patent Publication No. 56-501704 divides a photoelectric conversion element into blocks, reads the blocks in parallel, and sequentially reads each block in series, thereby shortening the time required for reading the entire range and performing processing. We are trying to speed up. Further, in Japanese Patent Laid-Open No. 64-46605,
PSD (Position Sensitive Device) as an image sensor
A device using an array has been proposed. In this device, P
Since the output signal representing the incident position information of the slit image from the SD sensor is output in real time, high-speed measurement is possible without requiring a waiting time for one frame. Another proposed device is a device that obtains an entire image by illuminating four times with different patterns using 15 light sources and synthesizing the obtained data for four times. With this device, the control angle of the rotating mirror can be made small, so that the entire image can be obtained at high speed.
【0005】[0005]
【発明が解決しようとする課題】しかし、上記の第一の
従来例は、ブロック内は並列読み出しであるが各ブロッ
クは順次直列に読み出していて、スリット光の入射して
いない領域まで読み出しているのでブロックの数だけ時
間を要する。第二に示した従来例はPSDアレーを用い
ているために入射するスリット光の位置を検出できるの
であるが、これは、外光の影響がない投射スリット光の
みの状況では問題にはならない。しかし、外光の影響が
入ると外光による光電流はノイズ成分となるため検出さ
れる位置はスリット光のみの場合と異なった位置とな
る。また、PSDは位置を検出しているために外光のみ
の場合との差分を用いることもできず、正確な測定がで
きないといった問題がある。第三に示した従来例は15
個の光源を用いているためこれらの光源の制御や処理な
どが必要となり、構成が複雑となり装置が大きくなって
しまう問題があった。However, in the above-mentioned first conventional example, although the blocks are read in parallel, the blocks are sequentially read in series, and the areas to which slit light is not incident are read. So it takes time for the number of blocks. The second prior art example can detect the position of the incident slit light because it uses a PSD array, but this does not pose a problem in the situation of only the projection slit light that is not affected by external light. However, when the influence of external light enters, the photocurrent due to external light becomes a noise component, so the detected position is a position different from the case of only slit light. Further, since the PSD detects the position, it cannot use the difference from the case where only the external light is used, and there is a problem that the accurate measurement cannot be performed. The third conventional example is 15
Since individual light sources are used, control and processing of these light sources are required, and there is a problem that the configuration becomes complicated and the device becomes large.
【0006】本発明はこれらの問題を解決し、対象物体
の3次元形状の計測を高速に処理し、また、動体に対し
ても有効な3次元形状測定装置を提供することを目的と
している。An object of the present invention is to solve these problems, to process a three-dimensional shape of a target object at high speed, and to provide a three-dimensional shape measuring apparatus which is effective for a moving body.
【0007】[0007]
【課題を解決するための手段】上記問題を解決するため
に本発明は、スリット光を対象物体に投射して2次元撮
像素子で撮像して対象物体の形状を測定する3次元形状
測定装置において、上記2次元撮像素子はスリット光が
入射すると推測される領域の帯状画像を選択的に読み出
すことを特徴とする。In order to solve the above problems, the present invention relates to a three-dimensional shape measuring apparatus for projecting slit light onto a target object and capturing an image with a two-dimensional image sensor to measure the shape of the target object. The two-dimensional image pickup device is characterized in that a band-shaped image of a region where slit light is supposed to enter is selectively read out.
【0008】[0008]
【作用】上記構成において、対象物体に対してスリット
光の照射を行い、画像読み出し時において2次元撮像素
子の全領域を読み出すのではなく、2次元撮像素子へス
リット光が入射すると推定される領域の帯状画像のみを
選択して読み出す。In the above structure, the slit light is projected onto the target object, and the entire area of the two-dimensional image pickup device is not read at the time of image reading, but the slit light is supposed to enter the two-dimensional image pickup device. Only the strip-shaped image of is selected and read.
【0009】[0009]
【実施例】以下に本発明に係る実施例を図面を参照しな
がら説明する。まず、図2に示すのは本発明に係る装置
全体の概略ブロック図である。本装置を大きく分ける
と、半導体レーザ5から出力されたレーザ光をスリット
状の光線として対象物体1に照射する投光光学系2、照
射されたレーザ光を画像用センサ24、12へ導く受光
光学系3があり、これら投光光学系、受光光学系は同じ
回転架台4上に配置されている。光学系以外にはセンサ
から出力される信号を処理してピッチズレ画像とカラー
画像を生成する信号処理系と、生成された画像を記録す
る記録装置から構成されている。図2に示す実線矢印は
画像信号、制御信号の電気的信号の流れを示し、破線矢
印は投光される光の流れを示している。なお、これら光
学系についての詳細な説明は後述する。Embodiments of the present invention will be described below with reference to the drawings. First, FIG. 2 is a schematic block diagram of the entire apparatus according to the present invention. The present apparatus is roughly divided into a projection optical system 2 for irradiating the target object 1 with a laser beam output from a semiconductor laser 5 as a slit-shaped light beam, and a light-receiving optics for guiding the emitted laser beam to the image sensors 24, 12. There is a system 3, and these light projecting optical system and light receiving optical system are arranged on the same rotary mount 4. Other than the optical system, it is composed of a signal processing system that processes a signal output from a sensor to generate a pitch shift image and a color image, and a recording device that records the generated image. Solid arrows in FIG. 2 indicate the flow of electrical signals such as image signals and control signals, and broken arrows indicate the flow of light to be projected. A detailed description of these optical systems will be given later.
【0010】信号処理系の概略について説明すると、距
離画像用センサ12により得られた画像はスリット光投
光時画像18aとスリット光非投光時画像18bとの減
算を行い、その画像に対して入射光重心位置算出処理1
9、ピッチズレ情報算出処理20、ピッチズレ画像生成
処理21が行われる。得られたピッチズレ画像はNTS
C変換処理27により出力端子50へ出力したり、或い
は、ディジタルのままSCSI端子49や内蔵の記録装
置22へ転送したりして利用される。また、カラー画像
用センサ24により得られた画像は、アナログ処理25
を介してカラー画像生成処理26が行われる。得られた
カラー画像はNTSC変換処理28されて出力端子51
へ出力したり、或いは、ディジタルのままSCSI端子
49や記録装置22へ転送したりして利用される。Explaining the outline of the signal processing system, the image obtained by the distance image sensor 12 is subtracted from the slit light projection image 18a and the slit light non-projection image 18b, and the image is obtained. Incident light center of gravity position calculation process 1
9, pitch deviation information calculation processing 20, and pitch deviation image generation processing 21 are performed. The obtained pitch shift image is NTS
It is used by being output to the output terminal 50 by the C conversion processing 27, or transferred to the SCSI terminal 49 or the built-in recording device 22 as it is in digital form. Further, the image obtained by the color image sensor 24 is processed by the analog processing 25.
The color image generation processing 26 is performed via the. The obtained color image is subjected to NTSC conversion processing 28 and output terminal 51.
It is used by being output to the SCSI terminal 49 or the recording device 22 as it is in digital form.
【0011】次に、装置全体の概略構成を示す斜視図を
図3に示す。本実施例では、スリット光の長さ方向に2
56点、スリットの走査方向に324点の距離情報を持
つ256×324の距離画像生成システムを一例として
説明する。LCDモニタ41はカラー画像センサ24に
より撮像されたカラー画像、或は本装置内外の記録装置
に記録されている3次元データ、或は各種の情報や選択
メニュー等の表示を行う。カーソルキー42、セレクト
キー43、キャンセルキー44は画像の選択やメニュー
から各種モードの設定等を行うための操作部材である。
45は投光・受光光学系の焦点距離を変化させるズーム
ボタンで、46はマニュアルで焦点合わせを行うMFボ
タンである。47は後述のシャッタモードでONするこ
とにより距離画像を取り込むシャッタボタンである。撮
像した画像の記録装置としては本装置内蔵の光磁気ディ
スク(以下、MOと称す)やミニディスク(以下、MD
と称す)等のドライブ装置48を装備している。端子4
9は画像等の信号をディジタルで入出力する端子でSC
SI等である。ピッチズレ画像出力端子50、カラー画
像出力端子51は画像をアナログ信号として出力する端
子で、例えばNTSC等のビデオ信号で出力する。Next, FIG. 3 is a perspective view showing a schematic structure of the entire apparatus. In the present embodiment, 2 in the length direction of the slit light.
A 256 × 324 distance image generation system having 56 points and distance information of 324 points in the scanning direction of the slit will be described as an example. The LCD monitor 41 displays a color image picked up by the color image sensor 24, three-dimensional data recorded in a recording device inside or outside the device, or various information and a selection menu. A cursor key 42, a select key 43, and a cancel key 44 are operation members for selecting an image and setting various modes from a menu.
Reference numeral 45 is a zoom button for changing the focal length of the light projecting / receiving optical system, and 46 is an MF button for manual focusing. Reference numeral 47 is a shutter button that captures a distance image by turning on in a shutter mode described later. As a recording device for the captured image, a magneto-optical disc (hereinafter referred to as MO) or a mini disc (hereinafter referred to as MD) incorporated in the present device.
Drive device 48 such as). Terminal 4
9 is a terminal for digitally inputting / outputting signals such as images, SC
SI etc. The pitch shift image output terminal 50 and the color image output terminal 51 are terminals for outputting an image as an analog signal, for example, a video signal such as NTSC.
【0012】投光光学系は、水平方向に長いスリット光
を上下方向に走査するもので、半導体レーザ5からの光
は回転するポリゴンミラー7、コンデンサレンズ10、
投光用ズームレンズ11等を経て対象物体へ投影され
る。受光光学系は受光用ズームレンズ14、ビームスプ
リッタ15等を経て受光撮像面に配置された距離画像用
センサ12、カラー画像用センサ24で撮像を行う。な
お、これら光学系、撮像系の詳細な説明は後述する。The projection optical system scans a slit light which is long in the horizontal direction in the vertical direction, and the light from the semiconductor laser 5 rotates a polygon mirror 7, a condenser lens 10,
It is projected onto a target object via the projection zoom lens 11 and the like. The light receiving optical system takes an image with the distance image sensor 12 and the color image sensor 24, which are arranged on the light receiving and imaging surface through the light receiving zoom lens 14, the beam splitter 15, and the like. A detailed description of these optical system and imaging system will be given later.
【0013】投光系からのスリット光は、距離画像用セ
ンサ12が1枚の画像蓄積を行う間に、定常回転してい
るポリゴンミラー7により距離画像用センサ12の1画
素ピッチ分ずつ下方に走査される。距離画像用センサは
この蓄積された画像情報を走査、出力を行うと共に次の
画像蓄積を行う。この1度の出力による画像からスリッ
ト光の長さ方向の256点の距離情報が算出可能とな
る。更にミラー走査、画像取り込みを324回繰り返し
行うことで256×324点の距離画像生成が行われ
る。The slit light from the light projecting system is moved downward by one pixel pitch of the distance image sensor 12 by the polygon mirror 7 which is steadily rotating while the distance image sensor 12 accumulates one image. To be scanned. The range image sensor scans and outputs the stored image information and also stores the next image. The distance information of 256 points in the length direction of the slit light can be calculated from the image obtained by this one-time output. Further, by repeating mirror scanning and image capturing 324 times, a distance image of 256 × 324 points is generated.
【0014】一本のスリット光に対して測定される対象
物体までの距離範囲は、測定最近距離、測定最遠距離に
制限があるため、そのスリット光が物体で反射して撮像
素子に入射する範囲はある範囲内に制限される。これ
は、投光系と受光系が基線長(長さl)だけ離れて設置
されているためである。これを図に示したものが図17
であり、距離画像用の撮像素子面に垂直な方向をZ軸と
している。dで示す破線の位置は測定基準面であり、素
子面からの距離がdである。Since the distance range to the target object measured for one slit light is limited to the closest measurement distance and the farthest measurement distance, the slit light is reflected by the object and enters the image pickup device. The range is limited within a range. This is because the light projecting system and the light receiving system are installed apart by the baseline length (length 1). Figure 17 shows this.
In addition, the direction perpendicular to the image pickup device surface for the distance image is the Z axis. The position of the broken line indicated by d is the measurement reference plane, and the distance from the element surface is d.
【0015】このため、まず測定装置においてはこの入
力された画像から256ラインでの受光されたレーザ光
の重心位置をオートフォーカスユニットからの物体距離
出力と投光するスリット光の方位、すなわち走査開始か
らの時間とに基づき決定される測定基準面からのズレ量
として演算を行う。このピッチズレ量の算出について図
4を参照して説明すると、まず、図4は対象物体面へ投
光されるスリット光により生成される光量分布を示して
いる。図の下方に示されている升目は距離画像用センサ
のそれぞれの素子が睨む領域を示していて、升目に手前
から1,2,3,4,・・・と番号を付す。極めて細い
スリット幅を持つスリット光がポリゴンミラー7の回転
により1画像蓄積間に距離画像用センサの1ピッチ分だ
け走査されるので、1画像入力時の光量分布は距離画像
用センサの1ピッチ分の幅を持つ矩形状の光量分布とな
る。Therefore, first, in the measuring device, the barycentric position of the received laser beam in 256 lines from the input image is output as the object distance from the autofocus unit and the azimuth of the slit light projected, that is, the scanning start. Calculation is performed as the amount of deviation from the measurement reference plane, which is determined based on the time from. The calculation of the pitch shift amount will be described with reference to FIG. 4. First, FIG. 4 shows the light amount distribution generated by the slit light projected onto the target object surface. The squares shown in the lower part of the figure show the areas in which the respective elements of the range image sensor gaze, and the cells are numbered 1, 2, 3, 4, ... From the front. Since the slit light having an extremely narrow slit width is scanned by the rotation of the polygon mirror 7 by one pitch of the range image sensor during one image storage, the light amount distribution at the time of inputting one image corresponds to one pitch of the range image sensor. The light intensity distribution is rectangular with a width of.
【0016】距離画像用センサの各画素について、それ
ぞれZ軸方向の距離情報を算出するためには、このよう
な1ピッチ幅の矩形光量分布であることが望ましい。光
量分布の幅が1ピッチ以上となった場合には計測される
距離情報は隣接する領域にまたがっている受光強度の荷
重平均として求められてしまい正確な距離情報は得られ
ない。In order to calculate the distance information in the Z-axis direction for each pixel of the distance image sensor, it is desirable to have such a rectangular light amount distribution of one pitch width. When the width of the light amount distribution is 1 pitch or more, the measured distance information is obtained as the weighted average of the received light intensity over the adjacent region, and accurate distance information cannot be obtained.
【0017】このような光量分布の下、図4で網点で示
している階段状の物体面が存在したとして、物体面に垂
直な方向からスリット光を投光したとする。細長い直方
体で示されているのはスリット光量分布で、斜線で示し
た領域は投光スリット像を表している。そして、投光系
光軸Oxaより左側に傾いた方向に受光系光軸Oxpを設け
た位置関係とすると、受光面での受光スリット光量分布
は後述のフィルタにより図5に示されるような分布とな
る。この受光光量には定常光成分が含まれないように、
レーザ光成分以外の定常光成分を除去するのが望まし
く、そのために、レーザ光が照射されていない状態と照
射状態の画像を入力し両者の差を用いる。下方に示され
た升目は距離画像用センサのそれぞれの素子領域を示し
ている。Under such a light amount distribution, assuming that there is a stepped object surface shown by halftone dots in FIG. 4, slit light is projected from a direction perpendicular to the object surface. The slit light amount distribution is shown by a slender rectangular parallelepiped, and the shaded area represents the projection slit image. Further, assuming that the positional relationship is such that the light receiving system optical axis Oxp is provided in the direction inclined to the left side of the light projecting system optical axis Oxa, the light receiving slit light amount distribution on the light receiving surface becomes a distribution as shown in FIG. Become. This received light quantity does not include the stationary light component,
It is desirable to remove the stationary light component other than the laser light component, and for that purpose, the image of the state where the laser light is not irradiated and the image of the irradiation state are input and the difference between the two is used. The squares shown below indicate the respective element regions of the range image sensor.
【0018】距離画像用センサの前面には、受光される
スリット光の長さ方向には分解能を低下させることな
く、スリット光の幅方向には分解能を低下させる異方性
を持つ光学フィルタが配置されており、このフィルタに
より図5に示すようなガウス分布の光量分布が生じる。
この光量分布に対して、各列1,2,3,4,・・・内
の各センサからの光量分布の重心を求めることで画素ピ
ッチより細かな分解能で受光位置の算出を行うことがで
きる。このように、スリット光入射位置を検出するのに
センサに入射するスリット光の幅を細くせずにフィルタ
を用いて5〜6画素程度の幅のある分布としているの
は、入射するスリット光の幅が1画素の幅より細くなっ
てしまうと画素ピッチと同じ程度の位置検出分解能しか
得られないためである。An optical filter having anisotropy is disposed on the front surface of the distance image sensor so as to reduce the resolution in the width direction of the slit light without decreasing the resolution in the length direction of the received slit light. This filter produces a Gaussian light amount distribution as shown in FIG.
The light receiving position can be calculated with finer resolution than the pixel pitch by obtaining the center of gravity of the light amount distribution from each sensor in each column 1, 2, 3, 4, ... For this light amount distribution. . As described above, in order to detect the slit light incident position, the width of slit light incident on the sensor is not narrowed and a filter is used to have a distribution having a width of about 5 to 6 pixels. This is because if the width is narrower than the width of one pixel, only position detection resolution equivalent to the pixel pitch can be obtained.
【0019】第1列に入射した光量分布D1から第1列
重心位置G1が求められ、同様に第2,3,4,・・・
の各列の重心位置G2,G3,G4,・・・を求めること
で各列毎に重心が算出される。図に示すように、投光系
光軸は物体面に垂直な方向であるが、受光系光軸は左に
傾いた方向であるので、図4の様な段差を有する対象物
体の場合、低い部分(第1、2列)の重心に対して高い
部分(第3、4列)は右側にずれた位置に重心が位置す
ることになる。なお、図5には、第1列の分布D1と第
4列の分布D4の2種類の分布しか示していないが、第
2列の分布D2は第1列の分布D1と同じで、第3列の分
布D3は第4列の分布D4と同じ分布となる。これらの光
量分布と重心位置の関係を平面的に示すと図6のように
なる。第1列と第2列の分布は同じであるため求まる重
心G1、G2は同じ位置として、第3列と第4列は同じ分
布であるため重心G3、G4は同じ位置として検出され
る。The barycentric position G1 of the first column is obtained from the distribution D1 of the amount of light incident on the first column. Similarly, the second, third, fourth, ...
The center of gravity is calculated for each column by obtaining the center of gravity positions G2, G3, G4, ... Of each column. As shown in the figure, the light axis of the light projecting system is perpendicular to the object plane, but the light axis of the light receiving system is tilted to the left. Therefore, in the case of a target object having a step as shown in FIG. The center of gravity of the portion (third and fourth rows) higher than the center of gravity of the portion (first and second rows) is located at a position displaced to the right. Although FIG. 5 shows only two kinds of distributions, that is, the first column distribution D1 and the fourth column distribution D4, the second column distribution D2 is the same as the first column distribution D1, The column distribution D3 is the same as the fourth column distribution D4. FIG. 6 is a plan view showing the relationship between the light amount distribution and the barycentric position. Since the distributions of the first and second columns are the same, the obtained centers of gravity G1 and G2 are detected at the same position, and the distributions of the third and fourth columns are the same, and the centers of gravity G3 and G4 are detected at the same position.
【0020】このように1つのスリットに対する帯状画
像から256点の入射光位置が求められ、更に、324
の方位に投光されるスリットに対して同様の計算を行う
ことで324枚の画像が得られ、256×324点から
なるピッチズレ画像が得られる。得られたピッチズレ画
像はスリット光の位置情報のみの画像であり、これから
正確な距離画像を得るにはレンズ収差の補正等の詳細な
データのテーブルからのキャリブレーション(補正)が
必要となる。これは撮影レンズの焦点距離f、ピント位
置dから推測されるレンズ収差を算出し補正を行い、カ
メラに対する縦、横方向の歪みの補正を行う。これはカ
ラー画像についても同様の処理が行われる。このときに
必要なデータは各種測定レンズの情報、すなわち、焦点
距離f、ピント位置dである。本実施例のシステムで
は、キャリブレーションはコンピュータシステム上で行
い、本計測装置(図3に図示)とはSCSI等の端子を
介して接続する、或はMO等の記録メディアでデータを
共有できるようにする。In this way, the incident light positions of 256 points are obtained from the strip image for one slit, and further, 324 positions are obtained.
By performing the same calculation for the slit projected in the azimuth direction, 324 images are obtained, and a pitch shift image composed of 256 × 324 points is obtained. The obtained pitch shift image is only an image of the position information of the slit light, and in order to obtain an accurate distance image from this, calibration (correction) from a table of detailed data such as correction of lens aberration is necessary. This calculates and corrects lens aberration estimated from the focal length f and the focus position d of the photographing lens, and corrects distortion in the vertical and horizontal directions with respect to the camera. The same process is performed for color images. The data required at this time is information on various measuring lenses, that is, the focal length f and the focus position d. In the system of the present embodiment, the calibration is performed on the computer system so that the measurement device (shown in FIG. 3) can be connected via a terminal such as SCSI or can share data with a recording medium such as MO. To
【0021】このように計測装置本体からはカラー画
像、ピッチズレ画像をSCSI等の端子からディジタル
信号として、或はNTSC等の出力端子からアナログビ
デオ信号として出力し、キャリブレーションに必要なデ
ータはSCSI等からディジタル信号としてコンピュー
タへ出力する。また、本体に内蔵しているMOやMD等
のドライブ装置48を使って記録媒体に記録する場合も
画像と各種のデータを記録する。In this way, the color image and the pitch shift image are output as digital signals from terminals such as SCSI or analog video signals from output terminals such as NTSC from the measuring device main body, and data necessary for calibration is SCSI or the like. To a computer as a digital signal. Also, when recording on a recording medium using the drive device 48 such as MO or MD built in the main body, images and various data are recorded.
【0022】取り込まれたピッチズレ画像とカラー画像
は各種の撮影レンズ情報と共に計測装置と接続されたコ
ンピュータへ転送され、コンピュータでは転送されたピ
ッチズレ画像と撮影レンズ情報とから対象物体までの距
離の情報を持った距離画像にキャリブレーション、変換
を行う。キャリブレーションを行った後、ピッチズレ画
像については、焦点距離fとピント位置d、画面内の各
縦横位置、XY位置毎に記憶されたズレ量と計測距離と
の変換曲線を導きだし、その変換曲線に基づいてピッチ
ズレ画像を距離画像に変換する。The captured pitch shift image and color image are transferred to a computer connected to the measuring device together with various kinds of photographing lens information, and the computer obtains information on the distance to the target object from the transferred pitch shift image and photographing lens information. Calibrate and convert the range image you have. After performing the calibration, for the pitch shift image, a conversion curve of the focal length f and the focus position d, the vertical and horizontal positions in the screen, the shift amount stored for each XY position and the measured distance is derived, and the conversion curve is obtained. The pitch shift image is converted into a distance image based on the.
【0023】距離画像への変換については周知であり、
詳細には、電子情報通信学会研究会資料PRU91-113
[カメラの位置決めのいらない画像の幾何学的補正]小
野寺・金谷や、電子情報通信学会論文誌D-II vol. J74
-D-II No.9 pp.1227-1235,'91/9 [光学系の3次元モデ
ルに基づくレンジファインダの高精度キャリブレーショ
ン法]植芝・吉見・大島、などに開示されている。Conversion to a range image is well known,
For details, please refer to IEICE Technical Committee Material PRU91-113
[Geometric correction of images without camera positioning] Onodera and Kanaya, IEICE Transactions D-II vol. J74
-D-II No.9 pp.1227-1235, '91 / 9 [High-precision calibration method of range finder based on three-dimensional model of optical system] Ushiba, Yoshimi, Oshima, etc. are disclosed.
【0024】次に、本発明に係る計測装置について詳細
に説明をする。まずは、光学系について説明する。図
1、図2に示しているように、距離画像撮像時において
は、対象物体1に対しスリット光照射装置(投光光学
系)2からスリット光Sが照射される。このスリット光
照射装置2は、発光源、例えば半導体レーザ5と集光レ
ンズ6およびポリゴンミラー7、シリンドリカルレンズ
8、コンデンサレンズ10、投光用ズームレンズ11の
光学系により構成される。ポリゴンミラー7は、これに
限らず、例えば共振ミラー、ガルバノミラー等の回転ミ
ラーでもよい。Next, the measuring device according to the present invention will be described in detail. First, the optical system will be described. As shown in FIGS. 1 and 2, during capturing of a range image, the slit light irradiating device (projecting optical system) 2 irradiates the target object 1 with the slit light S. The slit light irradiating device 2 is composed of a light emitting source such as a semiconductor laser 5, a condenser lens 6, a polygon mirror 7, a cylindrical lens 8, a condenser lens 10, and an optical system for projecting a zoom lens 11. The polygon mirror 7 is not limited to this, and may be a rotary mirror such as a resonance mirror or a galvano mirror.
【0025】シリンドリカルレンズ8は、凸面側が球形
ではなく円柱形であるため、焦点を結ばず、円柱軸に平
行な焦線を結ぶレンズである。ポリゴンミラー7は回転
軸の回りに多数のミラーで形成したもので、回転するこ
とによって入射する光を各ミラー面ごとに一方向に次々
と走査するものである。The cylindrical lens 8 is a lens that does not form a focal point but forms a focal line parallel to the cylinder axis because the convex surface side is not a spherical shape but a cylindrical shape. The polygon mirror 7 is formed by a large number of mirrors around a rotation axis, and rotates to scan incident light one by one on each mirror surface one after another.
【0026】投光光学系の構成を図7に示し説明する。
図7(a)は投光系の側面図であり、図7(b)は上面
図である。なお、図7(b)では図示すると重なる構成
は一部省略している。図7(a)では、スリット光は紙
面に垂直な方向に長さを有していて、半導体レーザ5か
らコンデンサレンズ10までの実線で描かれたものは光
路を示しており、コンデンサレンズ10以降はスリット
光が再結像される位置を示すための作図線を破線で示し
ている。図7(b)では、スリット光は図面の上下方向
に長さを有していて、半導体レーザ5からシリンドリカ
ルレンズ8までの実線で描いたものは光路を示し、コン
デンサレンズ10以降は再結像される位置を示すための
作図線を破線で示している。シリンドリカルレンズ8と
コンデンサレンズ10の間の1点鎖線で示したものは、
ほぼ点状で進んできたレーザ光がシリンドリカルレンズ
8によって幅のあるスリット光に変換される様子を模式
的に示したものである。そして図7(a)、図7(b)
で左端に縦方向の直線(2点鎖線)で示されている位置
にスリット光が再結像する。The structure of the projection optical system will be described with reference to FIG.
7A is a side view of the light projecting system, and FIG. 7B is a top view. It should be noted that in FIG. 7B, a part of the overlapping structure is omitted. In FIG. 7A, the slit light has a length in the direction perpendicular to the paper surface, and the solid line from the semiconductor laser 5 to the condenser lens 10 indicates the optical path. Shows a drawing line by a broken line for showing a position where the slit light is re-imaged. In FIG. 7B, the slit light has a length in the vertical direction of the drawing, the solid line from the semiconductor laser 5 to the cylindrical lens 8 indicates the optical path, and the condenser lens 10 and thereafter re-image. The construction line for indicating the position to be set is shown by a broken line. What is shown by a chain line between the cylindrical lens 8 and the condenser lens 10 is
1 schematically shows how the laser light that has traveled in a substantially dot shape is converted by the cylindrical lens 8 into slit light having a width. 7 (a) and 7 (b)
Then, the slit light is re-imaged at the position indicated by the vertical straight line (two-dot chain line) at the left end.
【0027】コリメータレンズ6(図2の集光レンズ6
に対応)は、半導体レーザ5の出力光(例えば発光波長
670nm)をコンデンサレンズ上に集光させるレンズパ
ワーを有している。このコリメータレンズ6を通過した
レーザ光はポリゴンミラー7によりスリット光の長さ方
向と垂直な向きに偏向を行う。この偏向により物体面上
でスリット光の走査が可能となる。ポリゴンミラー7に
より偏向されたレーザ光は、まず、fθレンズ29に入
射する。このfθレンズ29は、ポリゴンミラー7の一
定の回転速度に対して物体面上でのスリット光移動速度
が非線形となるので非線形成分を補正するために配置さ
れているレンズである。次に配置されているコリメータ
レンズ30はコンデンサレンズ10に入射する光束をポ
リゴンミラー7によって走査された方向からコンデンサ
レンズに垂直な方向に向け、投影効率の向上をはかるた
めのものである。レーザ光はシリンドリカルレンズ8に
よって水平方向(図7(a)では紙面に垂直な方向)に
長さのあるスリット光に変換され、コンデンサレンズ1
0の瞳面上に集光されて結像し極めて幅の狭いスリット
光として物体に投光される。Collimator lens 6 (condensing lens 6 in FIG. 2
(Corresponding to 1) has a lens power for condensing the output light of the semiconductor laser 5 (for example, the emission wavelength of 670 nm) on the condenser lens. The laser light passing through the collimator lens 6 is deflected by the polygon mirror 7 in a direction perpendicular to the length direction of the slit light. This deflection enables scanning of the slit light on the object plane. The laser light deflected by the polygon mirror 7 first enters the fθ lens 29. The fθ lens 29 is a lens arranged to correct the non-linear component because the slit light moving speed on the object plane becomes non-linear with respect to the constant rotation speed of the polygon mirror 7. The collimator lens 30 arranged next is for improving the projection efficiency by directing the light beam incident on the condenser lens 10 from the direction scanned by the polygon mirror 7 to the direction perpendicular to the condenser lens. The laser light is converted by the cylindrical lens 8 into slit light having a length in the horizontal direction (direction perpendicular to the paper surface in FIG. 7A), and the condenser lens 1
It is focused on the pupil plane of 0, forms an image, and is projected onto the object as slit light having an extremely narrow width.
【0028】投光用ズームレンズ11のイメージプレイ
ン(結像面)10p上に配置されたコンデンサレンズ1
0で一度結像したスリット光は、投光用ズームレンズ1
1を通過して、対象物体に対して投光される。結像面の
大きさは、例えば1/2インチ、1/3インチ等撮像素
子のサイズに合わせてあり本実施例では1/2インチと
している。このスリット光はシリンドリカルレンズ8で
生成された水平方向に長さを持ち、投光されたスリット
光の長さ方向と垂直方向にポリゴンミラーの回転に従い
高速で走査される。この時、投光用ズームレンズの焦点
位置は撮像系に設けられたオートフォーカスセンサ31
からの信号に基づいてAF駆動系17により、対象物体
面までの距離に応じて撮像系と同値、同時に制御され
る。オートフォーカスセンサ31は、スチルカメラで一
般に用いられているものと同様のものである。また、焦
点距離についても撮像系と同値、同時に、ユーザあるい
はシステムからの操作に基づき制御される。The condenser lens 1 arranged on the image plane (image plane) 10p of the projection zoom lens 11.
The slit light imaged once at 0 is used for the projection zoom lens 1
After passing 1, the light is projected onto the target object. The size of the image plane is, for example, ½ inch, ⅓ inch, etc. according to the size of the image pickup element, and is ½ inch in this embodiment. This slit light has a length in the horizontal direction generated by the cylindrical lens 8, and is scanned at high speed in the direction perpendicular to the length direction of the projected slit light according to the rotation of the polygon mirror. At this time, the focus position of the projection zoom lens is determined by the autofocus sensor 31 provided in the image pickup system.
Based on the signal from, the AF drive system 17 controls the same value as the image pickup system at the same time according to the distance to the target object surface. The autofocus sensor 31 is the same as that generally used in still cameras. Also, the focal length is controlled to be the same value as that of the imaging system, and at the same time, based on an operation from the user or the system.
【0029】ポリゴンミラー7は、ポリゴンミラー駆動
モータ、ポリゴンミラー駆動ドライバーからなる投光走
査駆動系9に接続されており、これらによって回転制御
されている。また、33は、コンデンサレンズ10横に
配置されたフォトダイオードを用いた走査開始センサ
で、レーザ走査が安定に達したか否か、走査開始タイミ
ングをモニタするものである。The polygon mirror 7 is connected to a projection scanning drive system 9 composed of a polygon mirror drive motor and a polygon mirror drive driver, and its rotation is controlled. Reference numeral 33 denotes a scanning start sensor using a photodiode arranged beside the condenser lens 10, which monitors the scanning start timing as to whether or not the laser scanning has reached a stable state.
【0030】この投光系はズーム機能を備えており、対
象物体1に対し、必要な倍率に調整することが可能にな
る。ズーム機能には、ユーザが任意に画角を選べるパワ
ーズーム(PZ)と、予め設定された画角に自動で合わ
すオートズーム(AZ)の2つの機能を備えている。受
光光学系3のズーミングに対し、投光光学系2は常に画
角が一致するようにAZ駆動系16により制御され、常
に光学的倍率が等しくなるようにズーミングを行う。ズ
ーミングによるスリット光投光の関係は図8の模式図を
参照すると式(1)〜(3)のようになる。 θ=α1×1/f (1) φ=α2×1/f (2) ψ=α3×1/f (3) 投光系のある1点を基準として、θは一列の256点の
ピッチズレ画像を得るため1枚の画像を積分する間に極
めて細いスリット光が移動する角度、φは対象物体上の
スリット光の長さを表す角度、ψは対象物体上でのスリ
ット光の324回の総走査角度で、スリット光は実線で
示す位置から矢印の方向へ走査され破線で示す位置まで
移動する。fは投光レンズの焦点距離を表す。スリット
光の幅自体は可能な限り細く設定される。α1,α2,α
3は比例係数であり、これらの角度θ、φ、ψは焦点距
離fの逆数に比例する。This light projecting system has a zoom function, and it becomes possible to adjust the magnification of the target object 1 to the required magnification. The zoom function has two functions, a power zoom (PZ) that allows the user to arbitrarily select the angle of view, and an automatic zoom (AZ) that automatically adjusts the angle of view to a preset angle of view. In contrast to the zooming of the light receiving optical system 3, the projection optical system 2 is controlled by the AZ drive system 16 so that the angles of view always match, and zooming is performed so that the optical magnifications are always the same. Referring to the schematic view of FIG. 8, the relationship of slit light projection by zooming becomes as shown in Expressions (1) to (3). θ = α1 × 1 / f (1) φ = α2 × 1 / f (2) ψ = α3 × 1 / f (3) θ is a row of 256 pitch-shifted images based on one point with the projection system To obtain the angle, the angle at which the extremely thin slit light moves during the integration of one image, φ represents the length of the slit light on the target object, and ψ is the total of 324 slit light beams on the target object. At the scanning angle, the slit light is scanned from the position shown by the solid line to the position shown by the broken line in the direction of the arrow. f represents the focal length of the projection lens. The width of the slit light itself is set as thin as possible. α1, α2, α
3 is a proportional coefficient, and these angles θ, φ, and ψ are proportional to the reciprocal of the focal length f.
【0031】スリット光照射装置(投光光学系)2の垂
直方向に、スリット光照射装置2と基線長lだけ離れた
位置にカラー画像撮像系、距離画像撮像系を含む撮像装
置(受光光学系)3が一つの回転架台4上に配置されて
おり、この受光光学系の構成を図9に示す。受光光学系
3は撮像用ズームレンズ14、オートフォーカス用ユニ
ット31、ビームスプリッタ15、各種フィルタ61、
62、カラーCCD撮像素子24、距離画像用センサ1
2で構成されている。An image pickup device (light receiving optical system) including a color image pickup system and a distance image pickup system at a position separated from the slit light irradiation device 2 by a base line length 1 in the vertical direction of the slit light irradiation device (projection optical system) 2. ) 3 is arranged on one rotary mount 4, and the configuration of this light receiving optical system is shown in FIG. The light receiving optical system 3 includes an imaging zoom lens 14, an autofocus unit 31, a beam splitter 15, various filters 61,
62, color CCD image pickup device 24, range image sensor 1
It is composed of two.
【0032】受光した光は撮像系ズームレンズ14内に
配置されたビームスプリッタ14sで分割され、一部の
光はオートフォーカスユニット31に導かれる。このA
Fユニット31は物体面までの概略距離を測定し、投光
系、受光系レンズの焦点調節を行うため機能するもの
で、本実施例ではビデオカメラ、一眼レフカメラ等で用
いられているものを用いる。The received light is split by the beam splitter 14s arranged in the image pickup system zoom lens 14, and a part of the light is guided to the autofocus unit 31. This A
The F unit 31 functions to measure an approximate distance to the object surface and adjust the focus of the light projecting system lens and the light receiving system lens. To use.
【0033】撮像系ズームレンズ14内に配置されたビ
ームスプリッタ14sで分割されたもう一方の光束はさ
らに撮像系ズームレンズの後に配置されたビームスプリ
ッタ15で透過と反射の2光束に分割され、それぞれ距
離画像用センサ12とカラー画像用センサ24に導かれ
る。このビームスプリッタ15は距離画像用センサ12
に入射する光束として長波長成分、ここではレーザ波長
成分(670nm)を含む長波長成分としておよそ650
nmより長い波長成分を透過し、他の波長成分を反射する
光学特性を持つ。The other light beam split by the beam splitter 14s disposed in the image pickup system zoom lens 14 is further split into two light beams, a transmitted light beam and a reflected light beam, by a beam splitter 15 placed after the image pickup system zoom lens. It is guided to the range image sensor 12 and the color image sensor 24. This beam splitter 15 is used for the range image sensor 12
A long-wavelength component as a light beam incident on the laser beam, here a long-wavelength component including a laser wavelength component (670 nm) is about 650.
It has the optical property of transmitting wavelength components longer than nm and reflecting other wavelength components.
【0034】反射された短波長成分は、可視光のほとん
どの波長成分を有するため、カラー情報に支障をきたす
ことは通常の場合はありえない。この反射された光束は
偽解像を防止するための水晶フィルタなどのローパスフ
ィルタ61を通過し、単板のカラー画像用センサ24上
に結像する。単板のカラー画像用センサ24はビデオカ
メラ等で用いられるCCD撮像素子で、素子上にRG
B、あるいは補色系のイエローYe、シアンCy、マゼ
ンタMg、グリーンGの色素フィルタがモザイク上に配
置され、色情報を抽出する撮像素子である。なお、グリ
ーンは輝度信号の代わりとして用いることができる。図
10に補色系カラー画像用センサで受光する光の波長帯
域を示す。カラー画像用撮像素子は、反射率hで示す特
性を持つビームスプリッタにより反射された波長領域の
光を受光する。曲線で示すのはイエローYe、シアンC
y、マゼンタMg、グリーンGの各色素フィルタ付き画
素の分光感度である。Since the reflected short-wavelength component has almost all wavelength components of visible light, it is impossible in normal cases to impair color information. The reflected light flux passes through a low-pass filter 61 such as a crystal filter for preventing false resolution and forms an image on the single-color sensor 24 for color image. The single-plate color image sensor 24 is a CCD image pickup device used in a video camera or the like, and an RG is provided on the device.
This is an image pickup device in which dye filters of B, or yellow of complementary colors, cyan Cy, magenta Mg, and green G are arranged on the mosaic to extract color information. Green can be used as a substitute for the luminance signal. FIG. 10 shows a wavelength band of light received by the complementary color image sensor. The color image pickup device receives the light in the wavelength region reflected by the beam splitter having the characteristic indicated by the reflectance h. Curves show yellow Ye and cyan C
The spectral sensitivities of pixels with dye filters of y, magenta Mg, and green G.
【0035】一方、ビームスプリッタ15で透過された
長波長成分の光束は、レーザ光成分(波長670nm)の
みを抽出するために赤外光(Infrared Ray、以下IRと
称す)カットのフィルタを通過し、さらに水晶フィルタ
などのローパスフィルタを通過し距離画像用センサ12
上に結像する。図9に示す受光光学系構成図では、これ
らIRカット、ローパス両特性を一つのフィルタ62で
示している。図11に距離画像用センサ12で受光する
光の波長帯域(斜線部分)を示す。レーザ光の波長より
短波長領域はビームスプリッタ15(実線で示す透過
率)によって、長波長領域はIRカットフィルタ62
(破線で示す透過率)によってカットされている。On the other hand, the light flux of the long wavelength component transmitted by the beam splitter 15 passes through an infrared ray (Infrared Ray, hereinafter referred to as IR) cut filter in order to extract only the laser light component (wavelength 670 nm). Further, a distance image sensor 12 that passes through a low-pass filter such as a crystal filter
Image on top. In the configuration of the light receiving optical system shown in FIG. 9, both IR cut and low pass characteristics are shown by one filter 62. FIG. 11 shows the wavelength band (hatched portion) of the light received by the distance image sensor 12. The beam splitter 15 (transmittance shown by a solid line) is used for a wavelength region shorter than the wavelength of the laser light, and the IR cut filter 62 is used for a wavelength region longer than the wavelength.
It is cut by (the transmittance shown by the broken line).
【0036】ここで用いられるローパスフィルタ62は
前述したカラー画像用の偽解像を防止する目的と異な
り、距離データ算出の際の受光レーザビーム位置の撮像
素子ピッチより細かな分解能で検出するための補完機能
を持たすためのものである。そのため、カラー画像時の
ローパスフィルタ61の持つ等方性の光学特性とは異な
り、受光されるスリット光の長さ方向には分解能を低下
させることがなく、スリット光の幅方向には分解能を低
下させる異方性を持つ光学特性を持つことが望ましい。
こうした光学特性を実現する手段として単層の水晶フィ
ルタやグレーティングなど回折を用いたローパスフィル
タを用いることができるが、このローパスフィルタはシ
ステム構成上必須のものではなく、後のセンサ出力に対
するアナログフィルタ、あるいはセンサ出力のディジタ
ル変換後のディジタルフィルタによってもその機能は代
行しうる。The low-pass filter 62 used here is for detecting with a finer resolution than the image pickup element pitch of the light-receiving laser beam position when calculating the distance data, unlike the purpose of preventing the false resolution for the color image described above. It has a complementary function. Therefore, unlike the isotropic optical characteristic of the low-pass filter 61 at the time of a color image, the resolution is not reduced in the length direction of the received slit light, and the resolution is reduced in the width direction of the slit light. It is desirable to have an optical characteristic having anisotropy.
A low-pass filter using diffraction such as a single-layer crystal filter or a grating can be used as a means for realizing such optical characteristics, but this low-pass filter is not essential in the system configuration, and an analog filter for the sensor output later, Alternatively, the function can be substituted by a digital filter after digital conversion of the sensor output.
【0037】次に、撮像素子12、24の走査について
説明する。図9の撮像素子12、24の横に並べて図示
している12p、24pは説明のために12、24を平
面図で示した撮像素子である。CCD撮像素子は、一般
に、水平レジスタ12h、24hの長さ方向(水平方
向)の走査速度に対して、垂直方向の走査は低速であ
る。そのため、撮像素子24(24p)で得られるカラ
ー画像は通常、高速走査を行うCCDの水平転送ライン
の出力に応じてアナログ信号処理を行い、逐次NTSC
の信号に変換し、モニターへ画像出力可能である。この
同一のモニターにピッチズレ画像を出力しようとした場
合、カラー画像の水平走査方向と同じ方向、同じ位置順
に距離画像用データが生成されることが、位置の情報を
記憶しなくても済み必要となるメモリ容量の削減と共
に、メモリに要求する機能の単純化から望ましい。Next, scanning of the image pickup devices 12 and 24 will be described. Reference numerals 12p and 24p, which are shown side by side with the image pickup devices 12 and 24 in FIG. 9, are image pickup devices 12 and 24 shown in a plan view for the sake of explanation. In the CCD image pickup device, the scanning speed in the vertical direction is generally lower than the scanning speed in the length direction (horizontal direction) of the horizontal registers 12h and 24h. Therefore, the color image obtained by the image pickup device 24 (24p) is normally subjected to analog signal processing in accordance with the output of the horizontal transfer line of the CCD which performs high-speed scanning, and the sequential NTSC is performed.
It is possible to output the image to the monitor after converting it to the signal of. When it is attempted to output a pitch-shifted image to this same monitor, it is necessary that the distance image data be generated in the same direction as the horizontal scanning direction of the color image and in the same position order, without having to store the position information. It is desirable to reduce the memory capacity and simplify the functions required for the memory.
【0038】そこで距離データ測定のために投光するス
リットの長さの方向はカラー画像用のイメージセンサの
高速走査方向、すなわち一般的には水平走査方向である
ことが望ましい。また、スリットの投光される走査方向
はカラー画像の垂直走査方向であることが望ましい。す
なわち、投光されるスリット光は上から下への走査とな
るのが望ましい。Therefore, it is desirable that the direction of the length of the slit projected for distance data measurement is the high-speed scanning direction of the image sensor for color images, that is, generally the horizontal scanning direction. Further, it is desirable that the scanning direction in which the slit is projected is the vertical scanning direction of the color image. That is, it is desirable that the projected slit light be scanned from top to bottom.
【0039】そこで、本実施例のような測定対象をカラ
ー画像用センサ、距離画像用センサの2種の画像入力セ
ンサで捕える光切断法を用いた3次元形状測定装置、3
次元入力カメラにおいては、カラー画像用撮像素子の水
平走査方向にスリット長を持つスリット光を投光し、カ
ラー画像用撮像素子の垂直走査方向と同じ方向にスリッ
トを走査することによりメモリの削減と、メモリへの要
求事項の削減につながる。また、このようなスリット光
に対して距離画像用センサから帯状画像を高速に読み出
すには方向が制限され、距離画像用センサの高速走査の
できる水平方向はカラー画像用センサの水平走査方向と
平行な方向にする必要がある。つまり、これらのイメー
ジセンサと入射するスリット光の位置関係、走査方向関
係は図9に示すような関係となる。Therefore, a three-dimensional shape measuring apparatus using a light-section method in which a measurement object as in this embodiment is captured by two types of image input sensors, a color image sensor and a range image sensor,
In the two-dimensional input camera, the slit light having a slit length in the horizontal scanning direction of the color image pickup device is projected and the slit is scanned in the same direction as the vertical scanning direction of the color image pickup device, thereby reducing the memory. , Leading to reduced memory requirements. In addition, the direction is limited to read the band-shaped image from the range image sensor at high speed with respect to such slit light, and the horizontal direction in which the range image sensor can perform high-speed scanning is parallel to the horizontal scanning direction of the color image sensor. Need to be in the right direction. That is, the positional relationship and the scanning direction relationship between these image sensors and the incident slit light are as shown in FIG.
【0040】上述のような撮像部の構成とした場合の光
学系において、以下に説明する2つの構成が新たに必要
となる。In the optical system having the above-mentioned structure of the image pickup section, two structures described below are newly required.
【0041】まず、カラー画像、距離画像生成用画像を
同一レンズより入力するが、カラー画像用の波長から得
ることのできる光量と距離画像用の波長から得られる光
量に関係はないため露光光量制御をそれぞれ独立に行う
ことが必要となる。暗いところで、近い測定対象を計測
する場合は距離用の明度は高いものの、カラー画像用の
明度は低い。逆に明るいところで、遠い測定対象を計測
する場合は距離用の明度は低いものの、カラー画像用の
明度は高い。そこで、この受光ズームレンズにおいては
一般のレンズでの露出調整手段である絞りによる制御は
行わず、常に開放の状態に固定している。First, a color image and an image for generating a distance image are input from the same lens, but the exposure light amount control is performed because there is no relation between the light amount obtainable from the wavelength for the color image and the light amount obtained from the wavelength for the distance image. It is necessary to do each independently. When measuring a close measuring object in a dark place, the lightness for distance is high, but the lightness for color image is low. Conversely, when measuring a distant measurement target in a bright place, the lightness for distance is low, but the lightness for color image is high. Therefore, in this light-receiving zoom lens, control is not performed by a diaphragm that is an exposure adjusting unit in a general lens, and the lens is always fixed in an open state.
【0042】カラー画像の露出制御はカラー画像用セン
サとして一般に用いられるFIT−CCD等が有する電
子シャッタ機能で蓄積時間による調整を行う。通常、カ
ラー画像用センサとして用いられるFIT−CCD等の
電子シャッタ機能は1/60〜1/10000秒の蓄積時間制御を
可能にしている。さらに広いダイナミックレンジを確保
するために、明るい屋外での使用条件下では、カラー画
像センサ直前には入射光の成分を変えずに透過光量を減
少させる機能を有するNDフィルタを挿入することによ
りセンサ入射光量を低下させ、距離画像用センサに入射
する光量の低下なしに、より高輝度状態での使用も可能
となる。To control the exposure of a color image, an electronic shutter function of a FIT-CCD or the like generally used as a color image sensor is used to make adjustment according to the accumulation time. Normally, an electronic shutter function such as a FIT-CCD used as a color image sensor enables storage time control of 1/60 to 1/10000 seconds. To ensure a wider dynamic range, under bright outdoor use conditions, an ND filter having the function of reducing the amount of transmitted light without changing the component of the incident light is inserted immediately before the color image sensor to make the sensor incident. It is possible to use in a higher luminance state without reducing the light amount and reducing the light amount incident on the distance image sensor.
【0043】一方、距離画像用の露出制御は投光するレ
ーザの使用個数の制御、レーザへの供給電流の制御、レ
ーザから出力レンズまでの任意の光学位置でのNDフィ
ルタの挿入制御などによるレーザ強度の調整、あるいは
出力信号に供給するアンプゲインで出力レベルの調整を
行う。この制御はAF制御部より得られる測定対象まで
の距離情報Dafと測定条件下でのレンズの焦点距離fか
らレーザ強度制御値が決定される。図12にその制御マ
ップ例を示す。On the other hand, the exposure control for the range image is performed by controlling the number of lasers used for projecting light, controlling the current supplied to the laser, and controlling the insertion of an ND filter at any optical position from the laser to the output lens. The output level is adjusted by adjusting the strength or the amplifier gain supplied to the output signal. In this control, the laser intensity control value is determined from the distance information Daf to the measurement target obtained from the AF control unit and the focal length f of the lens under the measurement conditions. FIG. 12 shows an example of the control map.
【0044】通常、距離画像用センサの出力は測定対象
までの距離情報Dafの2乗に反比例する。また、焦点距
離fが短くなると照明を要する面積が拡大することから
距離画像用センサの出力信号は小さくなる。そこで本実
施例の装置においては、距離画像算出用データの出力レ
ベルは焦点距離に応じてレーザ個数が制御され、図12
に示す例では、焦点距離fが36.7mmまでは3個、そ
れ以上では1個のレーザを用いる。さらに、焦点距離f
とAFセンサの出力で決定される測定対象までの距離情
報Dafから算出される像倍率β(=Daf/f)に応じ
て、距離画像センサ出力に対してアナログ前処理回路内
で与えるアンプゲインを変化させることでも制御されて
いる。図示した例では、β=35〜50では1/2、β
=50〜75では1、β=75〜100では2、β=1
00〜200では4、のようにアンプのゲインを設定し
てる。この他には、近距離で焦点距離の長い望遠系での
測定においてJISに定める安全規格を越えるレーザ光
量を用いる場合には、レーザから出力レンズまでの任意
の光学位置でのNDフィルタの挿入による光量制御も有
効な手段である。Normally, the output of the distance image sensor is inversely proportional to the square of the distance information Daf to the object to be measured. Further, as the focal length f becomes shorter, the area that requires illumination increases, so the output signal of the range image sensor becomes smaller. Therefore, in the apparatus of the present embodiment, the number of lasers is controlled in accordance with the focal length as the output level of the distance image calculation data.
In the example shown in (3), three lasers are used when the focal length f is up to 36.7 mm, and one laser is used when the focal length is longer than 36.7 mm. Furthermore, the focal length f
And the amplifier gain given to the output of the distance image sensor in the analog preprocessing circuit according to the image magnification β (= Daf / f) calculated from the distance information Daf to the measurement object determined by the output of the AF sensor. It is also controlled by changing. In the illustrated example, when β = 35 to 50, 1/2, β
= 50-75 is 1, β = 75-100 is 2, β = 1
The gain of the amplifier is set as 4 in 00 to 200. In addition to this, when using a laser light amount exceeding the safety standard stipulated by JIS in the measurement in a telephoto system with a short focal length and a long focal length, an ND filter is inserted at an arbitrary optical position from the laser to the output lens. Light intensity control is also an effective means.
【0045】しかし、上記の制御による制御値で測定を
行っても良好な測定結果が得られない場合には、レーザ
光強度調整キーを設けキー操作によりレーザ強度の調整
をする、あるいはセンサ蓄積時間の変更を行う等の手段
を用いることも可能である。また、その他の手段として
は、距離情報とカラー画像から得られる測定対象の推定
される反射率とから、得られる推定レーザ強度制御値を
もとにレーザプリ走査を行う方法がある。プリ走査時の
距離画像用センサの出力最大値を算出し、この値がA/
D変換のダイナミックレンジ内で収まり、かつ、後段で
の距離情報算出に充分な信号となるレーザ強度、イメー
ジセンサ蓄積時間の算出を行い、この算出された制御値
を基に距離画像の取り込みを行う。他には、AF用の補
助照明装置がある場合には、測定対象が存在すると考え
られる画面中央部に対してこの補助照明の照射によって
反射する光量をAF用センサで検出し、検出された反射
光量をもとにレーザ強度、イメージセンサ蓄積時間の算
出を行い距離画像の取り込みを行うことも可能である。However, when a good measurement result cannot be obtained even if the measurement is performed with the control value by the above control, the laser light intensity adjustment key is provided to adjust the laser intensity by the key operation or the sensor accumulation time. It is also possible to use means such as making changes. Further, as another means, there is a method of performing laser pre-scanning based on the estimated laser intensity control value obtained from the distance information and the estimated reflectance of the measuring object obtained from the color image. The maximum output value of the range image sensor during pre-scan is calculated, and this value is A /
The laser intensity and the image sensor storage time, which are signals within the dynamic range of D conversion and sufficient for distance information calculation in the subsequent stage, are calculated, and the distance image is captured based on the calculated control value. . In addition, if there is an auxiliary lighting device for AF, the AF sensor detects the amount of light reflected by the irradiation of this auxiliary lighting with respect to the central portion of the screen where the object to be measured is present, and the detected reflection is detected. It is also possible to capture the range image by calculating the laser intensity and the image sensor storage time based on the light amount.
【0046】もうひとつは、異なる視点(位置)から投
光、受光を行うことで視差が生じてしまうため(図13
参照)これを解決するための手段が必要になる。イメー
ジプレインサイズ、焦点距離の同値である同一レンズ系
で投受光を行うと、特定の距離でしか視野の一致は起こ
らない(大きい矢印OBJ1で示す)。一致する距離に物体
が無い場合は投光されていない領域の3次元形状測定を
行うことになり、測定不能の領域が生じてしまう。例え
ば図13の小さい矢印OBJ2で表したような視野の一致し
ない位置にある物体を測定しようとすると、投光範囲と
受光範囲にずれが生じるため、矢印上端部が投光されて
いない範囲であるのに受光系は走査するという不具合が
生じる。The other is that parallax occurs when light is projected and received from different viewpoints (positions) (see FIG. 13).
(Refer) The means for solving this is needed. When light is projected and received by the same lens system having the same image plane size and focal length, the fields of view only match at a specific distance (indicated by a large arrow OBJ1). If there is no object at the matching distance, the three-dimensional shape measurement of the non-illuminated area is performed, and an unmeasurable area occurs. For example, when attempting to measure an object in a position where the fields of view do not match, as indicated by the small arrow OBJ2 in FIG. 13, there is a gap between the light projection range and the light reception range, so the upper end of the arrow is the non-light projection range. However, there is a problem that the light receiving system scans.
【0047】上記不具合への対応としては、以下の様な
構成により解決する。 (1)投光系の光軸の仰角を対象までの距離によって無
段階に変化させる(図14参照)。投受光系の焦点距離
は同値に設定し、オートフォーカス測定による対象物体
までの距離に応じて投光系の光軸(破線で示す)の仰角
を変化させることで固定された受光系の走査範囲に対応
させている。つまり、近距離であるほどパララックスの
影響が大きくなるため仰角を大きくし走査範囲をS1と
し、遠距離ほど仰角を小さくし走査範囲をS2とてい
る。なお、投光系光軸の変化は機械的な手段により変化
させる。The above-mentioned problems can be solved by the following structure. (1) The elevation angle of the optical axis of the projection system is changed steplessly according to the distance to the target (see FIG. 14). The focal length of the light emitting and receiving system is set to the same value, and the scanning range of the light receiving system is fixed by changing the elevation angle of the optical axis (shown by the broken line) of the light emitting system according to the distance to the target object by autofocus measurement. It corresponds to. That is, the closer the distance is, the greater the influence of parallax becomes, so the elevation angle is increased and the scanning range is set to S1, and the far angle is decreased and the scanning range is set to S2. The change of the optical axis of the projection system is changed by mechanical means.
【0048】(2)投光レンズ系の投光直後に屈折率可
変のプリズムを設ける光学的手段により、投光系光軸の
仰角を対象までの距離に応じて連続的に変化させる。た
だし、投・受光系の焦点距離fは等しくとる。オートフ
ォーカス測定距離に応じて曲率を持ったプリズムを出し
入れすることで屈折率が変化し投光系光軸の仰角が変化
する。(2) The elevation angle of the optical axis of the projection system is continuously changed according to the distance to the object by the optical means provided with the prism whose refractive index is variable immediately after the projection of the projection lens system. However, the focal lengths f of the light emitting / receiving system are set equal. The refractive index changes and the elevation angle of the optical axis of the projection system changes when the prism with a curvature is moved in and out according to the autofocus measurement distance.
【0049】(3)同一のイメージプレインサイズを持
つ光学系を用いて投光系の焦点距離faを受光系焦点距
離fpより小さくなるように制御する。あるいは、大き
なイメージプレインサイズを持つ光学系を投光系に用
い、投受光系焦点距離fa、fpが同値になるように制御
する。このような手段で受光系走査範囲に対して投光系
の走査範囲に余裕(受光系に対して1.5倍程度)をも
たせると同時に、対象物体までの距離を複数のゾーンに
ゾーン分けを行い、それぞれのゾーンに応じて投光系光
軸の仰角を段階的に変更する。例えば図15に示す例で
は、対象までの距離を2つのゾーンに分け、遠い側をゾ
ーンZ1、近い側をゾーンZ2としている。そして、ゾ
ーンZ1に該当する場合は投光系の光軸の仰角を所定の
角度だけ変更し、近距離側のゾーンZ2に該当する場合
はゾーンZ1のときよりも大きい角度の仰角変更を行
う。(3) Using the optical system having the same image plane size, the focal length fa of the light projecting system is controlled to be smaller than the focal length fp of the light receiving system. Alternatively, an optical system having a large image plane size is used as the light projecting system, and the light projecting and receiving system focal lengths fa and fp are controlled so as to have the same value. With such means, the scanning range of the light projecting system has a margin (about 1.5 times that of the light receiving system) with respect to the scanning range of the light receiving system, and at the same time, the distance to the target object is divided into a plurality of zones. Then, the elevation angle of the optical axis of the projection system is changed step by step according to each zone. For example, in the example shown in FIG. 15, the distance to the target is divided into two zones, the far side is zone Z1 and the near side is zone Z2. If it corresponds to the zone Z1, the elevation angle of the optical axis of the light projecting system is changed by a predetermined angle, and if it corresponds to the zone Z2 on the short distance side, the elevation angle is changed to a larger angle than that of the zone Z1.
【0050】(4)前記(3)と同様に投光系の走査範
囲に余裕(受光系の1.5倍程度)をもたせ、投光系光
軸の仰角は固定し、焦点距離fに応じて最近接測定距離
に制限を設定する。図16に示す例では、小さい矢印OB
J2が位置している距離より近い距離では受光範囲が投光
範囲外になる領域が生じるため、このときの距離を最近
接距離とする。(4) As in the above (3), the scanning range of the light projecting system is provided with a margin (about 1.5 times that of the light receiving system), the elevation angle of the light axis of the light projecting system is fixed, and the focal length f is adjusted. Set a limit on the closest measurement distance. In the example shown in FIG. 16, a small arrow OB
Since there is a region where the light receiving range is outside the light emitting range at a distance shorter than the distance where J2 is located, the distance at this time is set as the closest distance.
【0051】(1)、(2)の場合(図14)は視野は
完全に一致していると想定しているため、レーザの走査
開始と共に距離画像用センサの駆動を行い、画像の取り
込みを開始することができる。一方、(3)、(4)の
場合は図15、図16に示すように視野は一致しておら
ず投光系によるレーザの走査領域が広いため無駄な領域
が生じる。そこで、この無駄な領域を走査するのに要す
る時間をオートフォーカス算出基準距離から算出する。
走査は上から下へと進むので始めに無駄な領域があり、
走査開始から上記算出時間経過後に、マイコンは距離画
像用センサからのデータ取り込みを開始するようにす
る。この場合には、走査範囲が広いため(1)、(2)
の場合に比べて1.5倍程度のレーザ走査時間が必要と
なり、3次元形状入力時間がその分延びることになる。In the cases of (1) and (2) (FIG. 14), it is assumed that the fields of view are completely coincident with each other. Therefore, the distance image sensor is driven at the same time as the laser scanning is started to capture the image. You can start. On the other hand, in the cases of (3) and (4), as shown in FIGS. 15 and 16, the fields of view are not coincident with each other, and the scan area of the laser by the light projecting system is wide, resulting in a wasteful area. Therefore, the time required to scan this useless area is calculated from the autofocus calculation reference distance.
Since the scanning progresses from top to bottom, there is a wasteful area at the beginning,
After the lapse of the above calculation time from the start of scanning, the microcomputer starts data acquisition from the range image sensor. In this case, the scanning range is wide (1), (2)
The laser scanning time is required to be about 1.5 times longer than that in the above case, and the three-dimensional shape input time is extended accordingly.
【0052】また、このように投光系、受光系で異なる
仰角を持つため受光系光軸に垂直な物体面上では厳密な
等速でのレーザの移動は行われず、物体の下側に密、上
側に粗な移動となるが、この仰角自体が小さい角度であ
るためあまり問題とならず、センサの走査している垂直
方向の位置情報とピッチズレ量から距離情報への変換テ
ーブルを持つことでほぼ等方性を有する3次元計測は可
能である。Further, since the light projecting system and the light receiving system have different elevation angles, the laser does not move at a strict constant velocity on the object plane perpendicular to the optical axis of the light receiving system, and the laser beam is densely moved to the lower side of the object. Although it moves to the upper side roughly, this elevation angle itself is a small angle, so it does not matter much, and by having a conversion table from the position information in the vertical direction where the sensor is scanning and the pitch deviation amount to the distance information. Three-dimensional measurement having almost isotropic property is possible.
【0053】次に撮像系についての詳細な説明をする。
1本のスリットの投光された方向に対して、測定される
物体までの距離範囲に制限があれば、そのスリットの物
体での反射光を受光するセンサ上の位置はある範囲内で
制限される。この様子を図17に示す。Next, a detailed description will be given of the image pickup system.
If the distance range to the object to be measured is limited with respect to the projected direction of one slit, the position on the sensor that receives the reflected light from the object of that slit is limited within a certain range. It This state is shown in FIG.
【0054】測定最遠距離をDf、測定最短距離をDnと
する。今、投光系から照射されるスリット光による切断
平面が、スリットAの場合、物体面で反射したスリット
光を受光する撮像素子面の範囲は、測定最近距離Dnと
スリットAとの交点PAnの3次元的位置が撮像素子上に
投影される点を図中最下点とし、測定最遠距離Dfとス
リットAとの交点PAfの3次元的位置が撮像系レンズ主
点位置を中心として撮像素子上に投影される点を図中最
上点とする撮像素子上の閉区間Arに限定される。投光
系、受光系の位置関係をそのままとして、同様にスリッ
ト光Bの場合も、測定最近距離DnとスリットBとの交
点PBnの投影される点を図中最下点とし、測定最遠距離
DfとスリットBとの交点PBfの投影される点を図中最
上点とする撮像素子上の閉区間Brに限定される。The farthest measurement distance is Df, and the shortest measurement distance is Dn. If the cutting plane by the slit light emitted from the light projecting system is the slit A, the range of the image pickup element surface that receives the slit light reflected by the object surface is the intersection PAn of the measurement closest distance Dn and the slit A. The point at which the three-dimensional position is projected on the image sensor is the lowest point in the figure, and the three-dimensional position of the intersection PAf of the measurement farthest distance Df and the slit A is centered on the lens principal point position of the image sensor. It is limited to the closed section Ar on the image sensor whose uppermost point is the point projected on the drawing. Similarly, in the case of the slit light B, the projected point of the intersection point PBn between the closest measurement distance Dn and the slit B is set as the lowest point in the figure, and the farthest measurement distance is maintained, while keeping the positional relationship between the light projecting system and the light receiving system. The point where the intersection PBf of Df and the slit B is projected is limited to the closed section Br on the image sensor whose uppermost point in the figure.
【0055】このように、1本のスリット光投光による
256点の1列の距離データを生成するために、撮像素
子全範囲を走査するのではなくスリット光に対応した必
要な範囲だけを走査することができ、処理の高速化が可
能となる。As described above, in order to generate the distance data for one row of 256 points by projecting one slit light, the entire range of the image pickup device is not scanned, but only the necessary range corresponding to the slit light is scanned. Therefore, the processing speed can be increased.
【0056】更に3次元形状データを生成する装置の高
速化をはかるために、この領域のみの帯状画像、例えば
256×16画素の素子画像のみを高速に出力する機能
が要求される。このような帯状領域の選択的読み出しを
可能とする高速駆動固体撮像素子として以下に述べる3
種の固体撮像素子を用いることができる。第1は、MO
S、CMD等のX−Yアドレス走査方式を持つ撮像素子
の読み出し開始アドレス設定機能を付加する構成である
(図18)。第2はCCD撮像素子等のアナログ転送
方式における読み出し転送路(一般には水平レジスタ)
への電荷転送時に並列に電荷排出機能を付加する構成で
ある(図19、図20)。第3は走査方式にかかわらず
帯状に分割したブロックをあらかじめ設定し、ブロック
毎に出力機能を持たせ、その並列出力を用いる構成であ
る(図21)。Further, in order to increase the speed of the apparatus for generating three-dimensional shape data, a function of outputting only a band-shaped image only in this area, for example, a device image of 256 × 16 pixels at a high speed is required. As a high-speed drive solid-state image sensor capable of selectively reading such a band-shaped region, the following 3 will be described.
Any type of solid-state image sensor can be used. The first is MO
This is a configuration in which a read start address setting function of an image sensor having an XY address scanning method such as S and CMD is added (FIG. 18). The second is a readout transfer path (generally a horizontal register) in an analog transfer system such as a CCD image sensor.
In this configuration, a charge discharging function is added in parallel when charges are transferred to (FIGS. 19 and 20). The third is a configuration in which blocks divided into strips are set in advance regardless of the scanning method, each block has an output function, and the parallel output thereof is used (FIG. 21).
【0057】第1の構成としてX−Yアドレス走査方式
センサの構成を図18に示す。通常、各画素の走査は垂
直走査回路61と水平走査回路62のマトリクス配置さ
れたスイッチで行われる。この垂直走査回路61、水平
走査回路62はディジタルシフトレジスタで構成され、
垂直走査の1シフト信号入力に対して水平シフト信号の
256シフト信号を入力することにより1行(256画
素)を走査することができる。本実施例においてはこの
垂直走査回路61に対してレジスタ初期値である走査開
始セット信号を供給する走査開始セットレジスタ63を
設置することで帯状のランダムアクセス読み出しを実現
する。走査開始セットレジスタ63へは走査開始位置を
表す信号sgn1、sgn2を入力することでどの位置の帯状画
像を読み出すかを指示する。FIG. 18 shows the configuration of the XY address scanning type sensor as the first configuration. Usually, scanning of each pixel is performed by a matrix-arranged switch of a vertical scanning circuit 61 and a horizontal scanning circuit 62. The vertical scanning circuit 61 and the horizontal scanning circuit 62 are composed of digital shift registers,
One row (256 pixels) can be scanned by inputting a horizontal shift signal of 256 shift signals to a vertical scan 1 shift signal input. In this embodiment, a band-shaped random access read is realized by installing a scan start set register 63 for supplying a scan start set signal, which is a register initial value, to the vertical scanning circuit 61. By inputting signals sgn1 and sgn2 indicating the scanning start position to the scanning start set register 63, it is instructed which position the band-shaped image is to be read out.
【0058】また、画素数が増加するとこの走査開始セ
ット信号のビット数が増えてしまい、入力ピンの増加が
起こるため、走査開始セット信号のデコーダ64を配置
するのが望ましい。そして、読み出し開始時に走査開始
セットレジスタ63の内容を垂直走査回路61に並列転
送することで走査開始位置(行)がセットされたことに
なる。この後、水平走査を256回行うことで所望の行
からの信号が得られる。続いて、垂直走査の1シフト信
号入力、水平方向の256シフト信号入力を行い、次の
行の信号を読み出し、これを繰り返すことで所望の帯状
領域の画像の読み出しを行う。以上の動作を行うことで
所望の帯状領域のみの走査が実現され、全領域の走査を
行う時間よりはるかに短い時間(読み出し行数/全領域
行数)で必要な走査が完了する。Further, when the number of pixels increases, the number of bits of this scanning start set signal also increases, and the number of input pins increases. Therefore, it is desirable to dispose the decoder 64 for the scanning start set signal. Then, the scanning start position (row) is set by transferring the contents of the scanning start set register 63 in parallel to the vertical scanning circuit 61 at the start of reading. After that, horizontal scanning is performed 256 times to obtain a signal from a desired row. Then, one shift signal for vertical scanning and 256 shift signals in the horizontal direction are input, the signal of the next row is read, and this is repeated to read the image of a desired strip area. By performing the above operation, the scanning of only the desired strip area is realized, and the required scanning is completed in a time (the number of read rows / the number of all area rows) much shorter than the time of scanning the entire area.
【0059】一度読み出された領域はリセットされ次の
蓄積を開始しているが、読み出されなかった領域は電荷
の蓄積が継続して行れている。そのとき、次回の読み出
しが同じ領域なら問題ないが、異なる領域を読み出す場
合、蓄積時間の異なる画像情報が混在することになる。
光切断を用いた3次元計測装置の場合、レーザスリット
の走査とともに読み出しが必要な帯状領域をシフトしな
がら読み出す必要が有る。そして重複して読み出される
領域の画像は前回読み出しから今回読み出しまでの積分
時間の画像が読み出されるが、読み出し領域のシフトに
ともない新規に読み出される領域の画像の積分は以前か
ら継続された画像となってしまう。そこで本実施例にお
いてはこの読み出し帯状領域を今回必要な領域と次回必
要な領域、両方を包含する領域に設定する。そうするこ
とで、次回入力に必要な領域については必ず前回に積分
がクリアされることになり、積分時間の異なる画素から
なる画像を取り込んでしまうという支障を回避すること
ができる。The area once read out is reset and the next accumulation is started, but the area not read out continues to accumulate charges. At that time, there is no problem if the next read is the same area, but when reading different areas, image information having different accumulation times are mixed.
In the case of a three-dimensional measuring device using optical cutting, it is necessary to read out while shifting a strip-shaped region that needs to be read out, along with scanning of a laser slit. Then, the image of the region that is read redundantly is the image of the integration time from the previous read to the present read, but the integration of the image of the newly read region becomes the image that was continued from before with the shift of the read region. Will end up. Therefore, in the present embodiment, this read-out strip area is set to an area including both the area required this time and the area required next time. By doing so, the integration is surely cleared in the area required for the next input the previous time, and it is possible to avoid the trouble of capturing an image composed of pixels having different integration times.
【0060】次に、第2の構成としてCCD撮像素子の
インターライン転送の場合の構成を図19に、フレーム
転送の場合の構成を図20に示す。本実施例のCCD撮
像素子においては、この水平レジスタ66への並列電荷
転送を行う転送ゲートTGと並列に、電荷をオーバーフ
ロードレインODへ排出するための積分クリアゲートI
CGを設置することで、帯状のランダムアクセス読み出
しを実現している。Next, as a second configuration, FIG. 19 shows a configuration for interline transfer of a CCD image pickup device, and FIG. 20 shows a configuration for frame transfer. In the CCD image pickup device of the present embodiment, the integration clear gate I for discharging charges to the overflow drain OD is provided in parallel with the transfer gate TG that performs parallel charge transfer to the horizontal register 66.
By installing the CG, band-shaped random access reading is realized.
【0061】インターライン転送の場合、通常は、全領
域の画像蓄積が完了した時点ですべての画素の蓄積電荷
は受光部から転送領域に並列に移送される。この各画素
で発生した電荷の走査は垂直レジスタと、転送ゲートT
Gへの1シフト信号入力を行い、垂直レジスタの各電荷
を一段づつ並列に下方にシフトすると共に、最下の垂直
レジスタ内の電荷を水平レジスタ66へ読み出す。この
後、水平シフト信号の256シフト信号入力を供給する
ことにより一行の電荷を走査することができる。この動
作を行数(340行)だけ繰り返すことで全領域の読み
出しを行う。In the case of interline transfer, normally, the accumulated charges of all pixels are transferred in parallel from the light receiving section to the transfer area at the time when the image storage of the entire area is completed. Scanning of charges generated in each pixel is performed by a vertical register and a transfer gate T.
One shift signal is input to G, each charge in the vertical register is shifted downward by one stage in parallel, and the charge in the bottom vertical register is read to the horizontal register 66. Thereafter, one row of charges can be scanned by supplying the 256 shift signal input of the horizontal shift signal. The entire area is read by repeating this operation for the number of rows (340 rows).
【0062】本実施例においては、各画素で発生した電
荷を走査する段階で不要な行に発生した電荷は、垂直レ
ジスタ、積分クリアゲートICGへの1シフト信号入力
を供給することで、並列にオーバーフロードレインOD
へ排出する。読み出しの必要な行については通常の場合
と同様に垂直レジスタ、転送ゲートTGへの1シフト信
号入力を行い、垂直レジスタの各電荷を一段づつ並列に
下方にシフトすると共に、最下の垂直レジスタ内の電荷
を水平レジスタ66へ読み出し、この後、水平シフト信
号の256シフト信号入力を供給することにより一行の
電荷を走査する。以上のようにすることで、行単位のラ
ンダムアクセス機能が実現され、撮像素子の全領域の走
査を行う時間よりはるかに短い時間(読み出し行数/全
領域行数)で必要な走査が完了する。In the present embodiment, the charges generated in unnecessary rows at the stage of scanning the charges generated in each pixel are supplied in parallel by supplying one shift signal input to the vertical register and the integration clear gate ICG. Overflow drain OD
To discharge. As for the row that needs to be read, one shift signal is input to the vertical register and the transfer gate TG in the same manner as in the normal case, each charge of the vertical register is shifted downward by one stage in parallel, and at the same time in the bottom vertical register. Is read out to the horizontal register 66, and then a 256-shift signal input of the horizontal shift signal is supplied to scan one row of charges. By doing so, the random access function for each row is realized, and the required scanning is completed in a time (reading row number / total area row number) much shorter than the time for scanning the entire area of the image sensor. .
【0063】図20に示すフレーム転送の場合、インタ
ーライン転送の場合の素子に比べて大きな構成になって
おり、上側は光電変換領域で下側は蓄積領域になってい
る。一般に蓄積領域は光電変換部と同数の画素を有して
いる。通常の動作は、全領域の画像蓄積が完了した時点
ですべての画素の蓄積電荷は光電変換領域から蓄積領域
に行数分の垂直転送パルスにより並列に転送される。転
送後、インターライン転送時と同様に各画素で発生した
電荷の走査は垂直レジスタ、転送ゲートTGのコントロ
ールで水平レジスタ66へ読み出し、この後、水平シフ
ト信号の256シフト信号を入力することにより一行の
電荷を走査することができる。In the case of the frame transfer shown in FIG. 20, the structure is larger than the element in the case of the interline transfer, and the upper side is the photoelectric conversion area and the lower side is the storage area. Generally, the storage region has the same number of pixels as the photoelectric conversion unit. In a normal operation, the accumulated charges of all pixels are transferred in parallel from the photoelectric conversion regions to the accumulation regions by vertical transfer pulses for the number of rows when the image accumulation in all regions is completed. After the transfer, as in the case of the interline transfer, the scanning of the charges generated in each pixel is read out to the horizontal register 66 by the control of the vertical register and the transfer gate TG, and then the horizontal shift signal of 256 shift signal is input to make one row. Can be scanned.
【0064】本実施例においては、全領域の画素の蓄積
電荷は光電変換領域から蓄積領域に行数分の垂直転送パ
ルスにより並列に転送後、水平レジスタ66への転送の
際、各画素で発生した電荷の走査の段階で不要な行の電
荷は垂直レジスタ、積分クリアゲートICGへの1シフ
ト信号を入力するのみで並列にオーバーフロードレイン
ODへ排出する。また、蓄積領域は毎回読み出し必要行
数(例えば16行)のみ用意しておき、最初の読み出し
不要画素行の信号については、光電変換領域から蓄積領
域に垂直転送する際の垂直転送パルスに同期し積分クリ
アゲートICGを開放して電荷を排出し、読み出し必要
な画素行の電荷のみを蓄積領域に転送した段階で水平レ
ジスタ66からの読み出しを行うようにしてもよい。以
上のようにすることにより、行単位のランダムアクセス
機能が実現され、全領域の走査を行う時間よりはるかに
短い時間(読み出し行数/全領域行数)で必要な走査が
完了する。In this embodiment, the charges accumulated in the pixels in all the regions are transferred from the photoelectric conversion region to the accumulation regions in parallel by vertical transfer pulses corresponding to the number of rows, and then generated in each pixel when transferred to the horizontal register 66. The charges in unnecessary rows at the stage of scanning the charges are discharged in parallel to the overflow drain OD only by inputting a 1-shift signal to the vertical register and the integration clear gate ICG. In addition, the storage area is prepared only for the required number of rows to be read (for example, 16 rows) every time, and the signal of the first read unnecessary pixel row is synchronized with the vertical transfer pulse when vertically transferring from the photoelectric conversion area to the storage area. The integration clear gate ICG may be opened to discharge the charges, and the charges may be read from the horizontal register 66 at the stage when only the charges of the pixel rows that need to be read are transferred to the accumulation region. By the above, the random access function in units of rows is realized, and the necessary scanning is completed in a time (the number of read rows / the number of all area rows) much shorter than the time for scanning the entire area.
【0065】次に、第3として、複数のブロックに分割
しブロック毎に出力するセンサの構成を図21に示す。
ここではX−Yアドレス走査式センサの場合を例に説明
を行うが、CCD撮像素子などのアナログ転送方式にお
いても同様の構成をとることは容易である。本実施例に
おいては予め設定された読み出しに必要な行数毎に分割
されたブロック構成をとり、各ブロックの信号を並列走
査し出力している。この並列読み出し出力に対して、読
み出したい領域に応じてマルチプレクサ65の操作によ
り出力を選択し、最終出力するものである。このような
読み出しを行うことにより出力順番は異なるものの行単
位のランダムアクセスが実現され、読み出し時間もブロ
ック分割数だけ圧縮される。このブロック分割した構成
によりランダムに読み出される帯状画像の出力形態とマ
ルチプレクサのブロック切り替え信号との関係を図22
に示す。図中の数字1〜6は図21のライン番号に対応
している。Next, as a third example, FIG. 21 shows the structure of a sensor which is divided into a plurality of blocks and outputs for each block.
Here, the case of the XY address scanning type sensor will be described as an example, but it is easy to take the same configuration in an analog transfer system such as a CCD image pickup device. In the present embodiment, a block configuration is set in which the number of rows required for reading is set in advance, and the signals of each block are scanned in parallel and output. With respect to this parallel read output, the output is selected by the operation of the multiplexer 65 according to the area to be read, and the final output is performed. By performing such reading, random access is realized in row units although the output order is different, and the reading time is also compressed by the number of block divisions. FIG. 22 shows the relationship between the output form of the band-shaped image randomly read by this block-divided configuration and the block switching signal of the multiplexer.
Shown in. The numbers 1 to 6 in the figure correspond to the line numbers in FIG.
【0066】図21に示すのは、極めて簡単な2ブロッ
ク(B1、B2)に分割し、任意の3行の読み出しを行
う場合の例で、この図と図22の出力信号の関係図を基
に説明をする。センサは内部で2系列出力、ライン1〜
3を出力するブロックB1出力(図22・a)、ライン
4〜6を出力するブロックB2出力(図22・b)を持
ち、これらはアナログ信号としてマルチプレクサへ送ら
れ選択信号Sel により選択されて出力される。マルチプ
レクサ65の操作で、センサ出力Out としてブロックB
1出力を選択した場合、ブロックB1の出力がそのまま
センサ出力となり、ライン1、2、3の帯状画像の出力
が順次出力される(図22・c)。また、センサの出力
としてブロックB2出力を選択した場合はライン4、
5、6の帯状画像が読み出される(図22・f)。FIG. 21 shows an example of division into extremely simple two blocks (B1 and B2) and reading of arbitrary three rows. Based on the relationship diagram between this figure and the output signal of FIG. To explain. The sensor internally outputs 2 lines, lines 1 to 1.
It has a block B1 output that outputs 3 (Fig. 22a) and a block B2 output that outputs lines 4 to 6 (Fig. 22b), and these are sent to the multiplexer as analog signals and selected by the selection signal Sel and output. To be done. By operating the multiplexer 65, the block B is output as the sensor output Out.
When 1 output is selected, the output of the block B1 becomes the sensor output as it is, and the band-shaped images of lines 1, 2, 3 are sequentially output (FIG. 22C). When the block B2 output is selected as the sensor output, line 4,
Band images 5 and 6 are read (FIG. 22F).
【0067】一方、ブロック出力として第1、4ライン
出力中はブロックB2を選択しライン4を出力し、その
後、マルチプレクサ65をブロックB1選択に切り替え
を行うことにより、センサ出力はライン4、2、3の出
力が順次出力され、ライン2、3、4の帯状画像の読み
出しが行われる(図22・d)。また、センサ出力は始
めの2ラインまではブロックB2を選択してライン4、
5を出力し、その後、ブロックB1を選択しライン3を
出力すると、ライン3、4、5の帯状画像の読み出しが
行われる(図22・e)。図中、黒▽印は出力をブロッ
クB2からブロックB1に切り替えたところを示してい
る。このように走査途中にブロック選択信号を切り替え
ることにより、出力順序は異なるものの分割されたブロ
ックと同じ大きさを持つ任意の位置の帯状画像が選択的
に読み出し可能である。On the other hand, during the first and fourth line outputs as the block output, the block B2 is selected and the line 4 is output, and then the multiplexer 65 is switched to the block B1 selection, whereby the sensor output is changed to the lines 4, 2 ,. The output of 3 is sequentially output, and the strip images of lines 2, 3, and 4 are read (FIG. 22D). For the sensor output, select block B2 until the first two lines,
5 is output, and then the block B1 is selected and the line 3 is output, the band-shaped images of the lines 3, 4, and 5 are read (FIG. 22E). In the figure, a black ∇ mark indicates that the output is switched from the block B2 to the block B1. By switching the block selection signal during scanning in this way, it is possible to selectively read out a band-shaped image at an arbitrary position having a different output sequence but the same size as a divided block.
【0068】以上、3種類の行単位のランダムアクセス
可能な距離画像用センサが、本実施例において3次元形
状測定装置への入力時間の高速化のために適用すること
ができる。As described above, the three types of range image sensors which can be randomly accessed in units of rows can be applied in this embodiment for speeding up the input time to the three-dimensional shape measuring apparatus.
【0069】次に電子回路について説明を行う。電子回
路全体の構成を示すブロック図を図23に示す。本実施
例の計測装置本体は、投受光系レンズ駆動回路71、7
2、AF回路73、電動雲台駆動回路76、入出力7
5、74等の制御を行うマイコンCPU1と、画像セン
サ駆動回路13、23、レーザ・ポリゴン駆動回路7
7、78、タイマー79、SCSIコントローラ80、
メモリコントローラMC、ピッチズレ画像処理回路83
等の制御を行うマイコンCPU2の、2つのマイコンで
制御される。レンズ、入出力等の制御を行うマイコンC
PU1の制御で電源操作、撮影モードのキー操作等の信
号をコントロールパネル75から受け取り、マイコンC
PU2、受光系レンズ駆動部71、投光系レンズ駆動部
72、AF駆動部73、表示画像生成部74等へ制御信
号を送信し、ズーム、フォーカス、撮像等の制御を行
う。Next, the electronic circuit will be described. FIG. 23 is a block diagram showing the configuration of the entire electronic circuit. The measuring apparatus main body of the present embodiment is provided with the light emitting / receiving system lens drive circuits 71, 7
2, AF circuit 73, electric pan head driving circuit 76, input / output 7
Microcomputer CPU 1 for controlling 5, 74, etc., image sensor drive circuits 13, 23, laser / polygon drive circuit 7
7, 78, timer 79, SCSI controller 80,
Memory controller MC, pitch shift image processing circuit 83
It is controlled by two microcomputers, that is, a microcomputer CPU2 that controls the above. Microcomputer C that controls the lens, input / output, etc.
Under the control of PU1, signals such as power supply operation and key operation in shooting mode are received from the control panel 75, and the microcomputer C
Control signals are transmitted to the PU 2, the light receiving system lens driving unit 71, the light projecting system lens driving unit 72, the AF driving unit 73, the display image generating unit 74, and the like, and control such as zooming, focusing, and imaging is performed.
【0070】カラー画像用にはカラー画像用センサ24
とセンサ駆動回路23、アナログ前処理回路81、画像
メモリ84のブロックがある。距離画像用には、距離画
像用センサ12とセンサ駆動回路13、アナログ前処理
回路82、ピッチズレ画像処理回路83、ピッチズレ画
像メモリ85のブロックがある。For a color image, a color image sensor 24
There are blocks of the sensor drive circuit 23, the analog pre-processing circuit 81, and the image memory 84. For the range image, there are blocks of the range image sensor 12, the sensor drive circuit 13, the analog preprocessing circuit 82, the pitch shift image processing circuit 83, and the pitch shift image memory 85.
【0071】電源投入により、カラー画像センサ24、
カラー画像センサ駆動回路23、カラー画像アナログ前
処理回路81のカラー画像撮像系が駆動され、モニター
として機能させるために撮像されたカラー画像が表示画
像生成部74に供給されディスプレイ41に表示され
る。これらのカラー画像撮像系回路は従来のビデオカメ
ラ等で周知の回路と同様の回路系となる。一方、距離画
像撮像のためのセンサ、レーザ等は電源投入により初期
化されるだけで駆動されず、ポリゴンミラー駆動回路7
8だけはミラーの定速回転までの所要時間が長くかかる
ため駆動が開始される。この状態で、ユーザはモニター
画面41のカラー画像を参考にしながら、パワーズーム
操作により視野設定を行い画像入力のためのレリーズ準
備を行う。レリーズ操作が行われレリーズ信号の発生・
送信により距離画像用センサ12、距離画像用センサ駆
動回路13、距離画像用アナログ前処理回路82の距離
画像撮像系と、レーザ駆動回路77が駆動され、ピッチ
ズレ画像メモリ85、カラー画像メモリ84にそれぞれ
の画像情報が取り込まれる。When the power is turned on, the color image sensor 24,
The color image capturing system of the color image sensor drive circuit 23 and the color image analog preprocessing circuit 81 is driven, and the captured color image is supplied to the display image generation unit 74 and displayed on the display 41. These color image pickup system circuits have the same circuit system as the circuits well known in conventional video cameras and the like. On the other hand, a sensor for capturing a distance image, a laser, etc. are initialized only when the power is turned on and are not driven.
For No. 8 only, it takes a long time to rotate the mirror at a constant speed, so that driving is started. In this state, while referring to the color image on the monitor screen 41, the user sets the field of view by the power zoom operation and prepares for release for image input. Release operation is performed and release signal is generated.
The distance image sensor 12, the distance image sensor driving circuit 13, the distance image capturing system of the distance image analog preprocessing circuit 82, and the laser driving circuit 77 are driven by the transmission, and the pitch image memory 85 and the color image memory 84 are respectively driven. The image information of is captured.
【0072】カラー画像については、モニター装置へは
アナログ信号として供給していたのを、カラー画像用フ
レームメモリ85にはA/D変換器AD1でA/D変換
を行ってディジタルの情報として画像入力を行う。これ
らの処理については、ディジタルビデオ、ディジタルス
チルビデオ等で周知の技術と同様である。The color image is supplied as an analog signal to the monitor device, but the color image frame memory 85 is subjected to A / D conversion by the A / D converter AD1 and image input as digital information. I do. These processes are the same as well-known techniques for digital video, digital still video, and the like.
【0073】距離画像については図7に記載された走査
開始センサ33から送信されるレーザスリット光の走査
開始信号をマイコンCPU2は待っている。その後、前
述した焦点距離f、基線長l、測定基準面までの距離d
に起因する無駄走査に要する無駄時間Tdだけ待つ。こ
の走査開始信号から上記の無駄時間Tdを計時した後、
距離画像用センサ12及びその駆動回路13の駆動を開
始しデータの取り込みを開始する。これらの計時動作は
タイマー79により行われている。For the range image, the microcomputer CPU2 waits for a scanning start signal of the laser slit light transmitted from the scanning start sensor 33 shown in FIG. Then, the focal length f, the base line length l, and the distance d to the measurement reference plane described above are used.
Wait for the dead time Td required for the waste scanning due to After measuring the dead time Td from this scanning start signal,
The driving of the range image sensor 12 and its drive circuit 13 is started to start capturing data. These timing operations are performed by the timer 79.
【0074】センサが駆動開始されると、水平方向に長
さを持つスリット状レーザが受光系走査範囲の最上部か
ら下方に向けて走査を開始する。それと同時に距離画像
用センサの画像積分が開始され、ポリゴンミラー7の走
査によりスリット光が距離画像用センサの1画素に対応
した角変動量での走査が行われたときに画像積分部から
蓄積部への高速垂直転送が行われる。次に、この最上部
の行の画像を帯状領域の中心に捕えるように距離画像用
センサ駆動部13を制御して、画像の読み出しを行う。
画像の積分部から蓄積部への垂直転送が完了すると同時
に、距離画像用センサの出力として画像を蓄積部から順
次読み出し処理と、次の画像読み出しのため積分部で入
力光量に応じた電荷の積分処理を行うことになる。When the sensor starts to be driven, the slit-shaped laser having a horizontal length starts scanning downward from the top of the scanning range of the light receiving system. At the same time, the image integration of the distance image sensor is started, and when the slit light is scanned by the scanning of the polygon mirror 7 with the amount of angular variation corresponding to one pixel of the distance image sensor, the image integration unit changes to the accumulation unit. High speed vertical transfer to. Next, the distance image sensor driving unit 13 is controlled so that the image of the uppermost row is captured at the center of the strip-shaped area, and the image is read.
At the same time when the vertical transfer from the image integration unit to the storage unit is completed, the image is sequentially read out from the storage unit as the output of the range image sensor, and the integration unit integrates the charge according to the input light amount for the next image read. Will be processed.
【0075】こうして1つの帯状画像の読み出しが完了
すると、レーザスリット光はまた距離画像用センサ1画
素に対応した角変動量での走査が行われ、画像積分部か
ら蓄積部への高速垂直転送が行われる。距離画像用セン
サの帯状領域を、前回読み出しに対して1ピッチ下方に
ずらした位置に、今回読み出し距離画像用センサの帯状
領域を設定し、画像の読み出しを行う。When the reading of one strip-shaped image is completed in this way, the laser slit light is also scanned at an angular variation corresponding to one pixel of the distance image sensor, and high-speed vertical transfer from the image integration unit to the storage unit is performed. Done. The band-shaped area of the distance image sensor is set to a position shifted by one pitch downward from the previous reading, and the band-shaped area of the distance image sensor is set to read the image.
【0076】一連のこの動作を継続して行い、順次、帯
状画像入力を繰り返し324枚の画像を得る。この間、
ポリゴンミラーは定速で回転しているので、次々に異な
る光切断面を持つスリット光に対する帯状画像が入力さ
れることになる。この距離画像用センサの出力を相関2
重サンプリング、オフセット、暗時出力の処理などを距
離画像用アナログ前処理回路82で行った後、A/D変
換器AD2でディジタルに変換し、ピッチズレ画像処理
回路83にディジタルデータとして送信する。A series of this operation is continuously performed, and the band-shaped image input is repeated successively to obtain 324 images. During this time,
Since the polygon mirror rotates at a constant speed, band-shaped images for slit light having different light cutting planes are input one after another. The output of this range image sensor is correlated 2
The analog image pre-processing circuit 82 for range image performs processing such as double sampling, offset, and output at dark, and then the digital image is converted by the A / D converter AD2 and transmitted to the pitch shift image processing circuit 83 as digital data.
【0077】ピッチズレ画像処理回路83では、1枚の
帯状画像データ(256×16画素)から256点の受
光レーザ光重心位置に変換する重心演算を図24に示す
受光重心位置算出回路(後述)を用いて算出し、算出さ
れたピッチズレ量をピッチズレ画像メモリ85に格納す
る。これを324回繰り返すことにより、256×32
4のピッチズレ画像を得る。In the pitch shift image processing circuit 83, a light receiving center of gravity position calculating circuit (described later) shown in FIG. 24 performs a center of gravity calculation for converting one band of image data (256 × 16 pixels) into 256 positions of the received laser beam center of gravity. The calculated pitch shift amount is stored in the pitch shift image memory 85. By repeating this 324 times, 256 × 32
A pitch shift image of 4 is obtained.
【0078】以上の処理でピッチズレ画像メモリ85と
カラー画像メモリ84にそれぞれの画像が記憶されたこ
とになる。これらの2つの画像はメモリ制御を担うマイ
コンCPU2の制御でメモリコントローラMCを介し
て、SCSIコントローラ80によるSCSI端子4
9、内蔵のMO装置22等へのディジタルデータでの出
力、または、D/A変換器DA1でアナログに変換しN
TSC信号として、LCDモニタ41、NTSC出力端
子50、51へ出力することができる。By the above processing, the respective images are stored in the pitch shift image memory 85 and the color image memory 84. These two images are transferred to the SCSI terminal 4 by the SCSI controller 80 via the memory controller MC under the control of the microcomputer CPU 2 which controls the memory.
9. Output as digital data to the built-in MO device 22 or the like, or convert to analog by the D / A converter DA1 and N
The TSC signal can be output to the LCD monitor 41 and the NTSC output terminals 50 and 51.
【0079】SCSI端子49から出力するとき、SC
SI規格による出力ではカラー/ピッチズレ画像の1セ
ットの出力画像の送信完了に数秒要することになる。そ
こで、カラー画像は通常ビデオ機器で用いられるカラー
NTSC信号としてビデオ機器で録画し、ピッチズレ画
像をNTSC信号の輝度信号として扱い、モノクロ画像
をピッチズレ画像NTSC信号として出力することによ
り動画でのカラー/ピッチズレ画像の出力が可能とな
る。高速な画像処理装置を用いればこうしたリアルタイ
ムのビデオ画像のコンピュータへの入力も可能であり、
また他の手段としてはこのNTSC信号を通常のビデオ
機器に接続して録画し、その後、再生時にコマ送りしな
がら、この濃淡画像(ピッチズレ画像)を処理すること
でコンピュータへの入力も可能である。こうしてコンピ
ュータへ入力された動体のカラー、ピッチズレ画像を用
いることにより動体の運動解析などの分野への活用が可
能である。When outputting from the SCSI terminal 49, SC
When outputting according to the SI standard, it takes several seconds to complete the transmission of one set of output images of color / pitch-shifted images. Therefore, a color image is recorded in a video device as a color NTSC signal that is normally used in a video device, a pitch-shifted image is treated as a luminance signal of the NTSC signal, and a monochrome image is output as a pitch-shifted image NTSC signal. The image can be output. It is also possible to input these real-time video images to a computer using a high-speed image processing device.
As another means, it is possible to input this NTSC signal to a computer by connecting it to an ordinary video device for recording and then processing this grayscale image (pitch shift image) while advancing frame by frame during playback. . By using the color and pitch shift image of the moving body input to the computer in this way, it can be utilized in fields such as motion analysis of the moving body.
【0080】また、システムの外部機器として、本計測
装置を設置する電動雲台4のパン、チルトなどの動作を
制御する回転架台制御部76を備えることで制御するこ
とも可能である。この制御動作については後に説明を加
える。It is also possible to control by providing a rotary mount control unit 76 for controlling panning, tilting and other operations of the electric platform 4 in which the measurement device is installed, as an external device of the system. This control operation will be described later.
【0081】次に、ピッチズレ画像処理回路83の受光
重心位置算出回路の詳細な構成を図24に示す。この回
路は1枚の帯状画像データ16点の内の5点の情報から
重心を算出するハード構成になっている。距離画像用セ
ンサ12からの信号は有効画素のみアナログ前処理回路
82で抽出され、A/D変換器AD1でA/D変換され
て、図24左端の入力端子inputから本回路に入力され
る。この入力された信号は4つのレジスタ101a〜1
01dにより256×8bitのFIFO (FirstIn First
Out) で256×4ライン分記憶され、直接入力される
1ラインと、計5本のラインが演算に用いられる。レジ
スタ103、104は、レジスタ101と同じ256×
8bitのレジスタである。レジスタ109は256×5b
itのFIFOレジスタである。これらのレジスタ10
3、104、109が同じ用途に2つずつ用意されてい
るのは、選択回路106、108、比較回路107等で
の処理にクロックパルスで数パルスの時間を要するため
メモリ容量を増やして2つを奇数用(O)、偶数用
(E)として交互に利用するようにしてあり、いずれを
用いるかはクロックパルスRCLK_O、RCLK_Eにより制御さ
れている。Next, FIG. 24 shows a detailed structure of the light receiving center of gravity position calculating circuit of the pitch shift image processing circuit 83. This circuit has a hardware configuration that calculates the center of gravity from the information of 5 points out of 16 points of one band of image data. The signal from the range image sensor 12 is extracted by the analog preprocessing circuit 82 only for effective pixels, A / D converted by the A / D converter AD1, and input to this circuit from the input terminal input at the left end of FIG. This input signal is stored in four registers 101a-1
With 01d, 256 × 8bit FIFO (FirstInFirstFirst)
Out) stores 256 × 4 lines and one line directly input and a total of five lines are used for the calculation. The registers 103 and 104 are the same as the register 101 256 ×
It is an 8-bit register. Register 109 is 256 × 5b
It is a FIFO register for it. These registers 10
Two of the three, 104, and 109 are prepared for the same purpose because the processing in the selection circuits 106, 108, the comparison circuit 107, and the like requires several pulses of clock pulses to increase the memory capacity to two. Are alternately used for odd number (O) and even number (E), and which is used is controlled by clock pulses RCLK_O and RCLK_E.
【0082】受光レーザの重心演算は5ラインの5点の
データを基に以下の式で計算される。まず、重心位置近
傍での受光光量が最大となることから、I行目(I=1〜2
56)の重心点は、 Σ(I,n) = D(I,n+2)+D(I,n+1)+D(I,n)+D(I,n-1)+D(I,n-2) (4) が各Iに対して最大となる n = N(I) を求める。この
N(I)列目近傍に重心を持つと考え、それから荷重平均
点Δ(I,N(I))だけの補完量を次式で求める。 Δ(I,N(I))={2*D(I,N(I)+2)+D(I,N(I)+1)-D(I,N(I)-1)-2*D(I,N(I)-2)} /Σ(I,N(I)) (5) 最終的には、 W(I) = N(I) + Δ(I,N(I)) (6) を求める重心位置とする。The calculation of the center of gravity of the received laser is calculated by the following formula based on the data of 5 points on 5 lines. First, since the amount of received light in the vicinity of the position of the center of gravity is maximum, the I-th row (I = 1 to 2
The center of gravity of 56) is Σ (I, n) = D (I, n + 2) + D (I, n + 1) + D (I, n) + D (I, n-1) + D ( I, n-2) (4) finds the maximum n = N (I) for each I. It is considered that the center of gravity is located near the N (I) th column, and then the complement amount of only the weighted average point Δ (I, N (I)) is calculated by the following formula. Δ (I, N (I)) = (2 * D (I, N (I) +2) + D (I, N (I) +1) -D (I, N (I) -1) -2 * D (I, N (I) -2)} / Σ (I, N (I)) (5) Finally, W (I) = N (I) + Δ (I, N (I)) The position of the center of gravity is calculated as (6).
【0083】ここで D(I,n) は I行n列目のデータを
指す。1列は256個のデータを持っており、レジスタ
101aには D(I,n-1)、レジスタ101bには D(I,
n)、レジスタ101cには D(I,n+1)、101dには D
(I,n+2)のデータが保存され演算に用いられる。Σ(I,n)
の演算((4)式)は、加算回路Σで演算され、レジスタ
104に記憶される。そして次に演算された結果を各行
の前回算出されレジスタ104に記憶された MAX(Σ(I,
n)) と比較し(比較回路107)、大きければこのレジ
スタ104の内容を更新すると共に、同時に算出される
{2*D(I,n+2)+D(I,n+1)-D(I,n-1)-2*D(I,n-2)} の値
(=(5)式の分子=R1とする)をレジスタ103に、
その列番号nをレジスタ109に更新記憶する。R1の
算出は、D(I,n+2),D(I,n-2)のデータはシフト回路10
2で左に1ビットシフトさせることで(×2)の処理を
している。その後、加算回路(+)、減算回路(-)で演算を
行いA点でR1が算出されており、レジスタ103に記
憶される。Here, D (I, n) indicates the data in the I-th row and the n-th column. One column has 256 data, and register 101a has D (I, n-1) and register 101b has D (I, n-1).
n), D (I, n + 1) for register 101c, D for 101d
The data of (I, n + 2) is saved and used for calculation. Σ (I, n)
The arithmetic operation (equation (4)) is calculated by the adder circuit Σ and stored in the register 104. Then, the result of the next operation is calculated as MAX (Σ (I,
n)) (comparison circuit 107), and if larger, the contents of this register 104 are updated and simultaneously calculated.
The value of {2 * D (I, n + 2) + D (I, n + 1) -D (I, n-1) -2 * D (I, n-2)} (= (5) Numerator = R1) in register 103,
The column number n is updated and stored in the register 109. R1 is calculated by using the shift circuit 10 for the data of D (I, n + 2) and D (I, n-2).
The process of (× 2) is performed by shifting 1 bit to the left by 2. After that, the addition circuit (+) and the subtraction circuit (-) perform an operation to calculate R1 at point A, which is stored in the register 103.
【0084】なお、列番号nは、5ビットバイナリカウ
ンタ110でクロックパルスPCLKをカウントしてお
り、比較回路107での比較の結果、最大値が更新され
るとそのときのカウンタ値をレジスタ109に取り込み
記憶する。本実施例では数nは1〜16であるのでレジ
スタ109、バイナリカウンタ110は5ビットあれば
十分である。In the column number n, the clock pulse PCLK is counted by the 5-bit binary counter 110, and when the maximum value is updated as a result of the comparison in the comparison circuit 107, the counter value at that time is stored in the register 109. Capture and store. In this embodiment, since the number n is 1 to 16, it is sufficient that the register 109 and the binary counter 110 have 5 bits.
【0085】この操作を1帯状画像に対して繰り返すこ
とで、上記の式の計算に必要な MAX(Σ(I,n)) となるN
(I)、Σ(I,N(I))、R1の値がそれぞれレジスタ10
9、104、103に格納される。Σ(I,N(I))=R2と
すると、除算回路(÷)でR1/R2の演算を行い、次に
加算回路(+)でR1/R2+N(I)=Δ(I,N(I))+N(I)
=W(I)が演算され、最終的に右端の出力端子outputか
ら256列に対するW(I)の値が出力される。By repeating this operation for one strip image, N (MAX (Σ (I, n)) necessary for the calculation of the above equation is obtained.
The values of (I), Σ (I, N (I)), and R1 are stored in the register 10 respectively.
9, 104, and 103 are stored. If Σ (I, N (I)) = R2, the dividing circuit (÷) calculates R1 / R2, and then the adding circuit (+) calculates R1 / R2 + N (I) = Δ (I, N (I )) + N (I)
= W (I) is calculated, and finally the value of W (I) for the 256th column is output from the output terminal output at the right end.
【0086】この256個のW(I)をピッチズレ画像メ
モリ85に格納し、324枚の帯状画像に対してこの処
理を繰り返すことで、ピッチズレ画像メモリ85上には
256×324の点のピッチズレ情報W(I)からなるピ
ッチズレ画像が形成される。The 256 W (I) s are stored in the pitch shift image memory 85, and this process is repeated for 324 strip images, so that the pitch shift information of 256 × 324 points is stored in the pitch shift image memory 85. A pitch shift image composed of W (I) is formed.
【0087】次に、装置の動作についてフローチャート
を用いて詳細に説明する。図25に示すのは、メインス
イッチon時に実行されるメインのルーチンのフローチ
ャートである。まず、ステップ#1でCPU、メモリ、
SCSI、MO、ディスプレイ、コントロールパネル等
のデバイスの初期化を行う。次に、ステップ#3では、
動作モードの判別を行う。動作モードとしては、3次元
計測を行うカメラモードと、3次元データをMO等のメ
モリデバイス22から読み出し内蔵ディスプレイに表示
を行うリプレイモードとがあり、スイッチ操作により選
択できる。または、いずれかのモードをデフォルトで設
定してもよい。リプレイモードであればステップ#5へ
進み後述のリプレイモードの処理を行う。カメラモード
であればステップ#6へ進み後述のカメラモードの処理
を行う。カメラモードを終了すると、ステップ#7でポ
リゴンミラーを停止しステップ#8でAF/PZのリセ
ットを行いレンズを初期位置に復帰させる。ステップ#
9ではイメージセンサ及びセンサ駆動回路を停止させ、
ステップ#3へ戻り動作モードの判別を行う。Next, the operation of the apparatus will be described in detail with reference to the flow chart. FIG. 25 is a flowchart of the main routine executed when the main switch is on. First, in step # 1, the CPU, memory,
Initializes devices such as SCSI, MO, displays, and control panels. Next, in step # 3,
Determine the operation mode. The operation modes include a camera mode for performing three-dimensional measurement and a replay mode for reading out three-dimensional data from the memory device 22 such as an MO and displaying it on a built-in display, which can be selected by a switch operation. Alternatively, either mode may be set by default. If it is the replay mode, the process proceeds to step # 5 to perform the replay mode process described later. If it is the camera mode, the process proceeds to step # 6 to perform the later-described camera mode processing. When the camera mode is completed, the polygon mirror is stopped in step # 7, and AF / PZ is reset in step # 8 to return the lens to the initial position. Step #
In 9, the image sensor and the sensor drive circuit are stopped,
Returning to step # 3, the operation mode is determined.
【0088】次に、カメラモードの動作についてフロー
チャートを図26(a)に示し、説明をする。カメラモ
ードが選択されると、ステップ#11で各デバイスの初
期化を行い、ステップ#13でカラー画像用センサを起
動し、カラー画像をモニターディスプレイ41に供給す
る。この画像は、受光ズームレンズ内に配置されたオー
トフォーカスセンサ31を駆動して、常に最適な焦点状
態で受光して最適なカラー画像を得るようになってい
る。次に、ステップ#15で、距離画像撮像の準備を行
うため、安定するまでに時間が長く必要なポリゴンミラ
ーの駆動を先に開始し、ステップ#17でAF/PZサ
ブルーチンの処理を行う。次に、ステップ#19でポリ
ゴンミラーが安定するまで待機し、安定した時点でステ
ップ#21のシャッタモードに入り、シャッタモードの
サブルーチンを実行する。ステップ#23ではデータ転
送モードに入り、データ転送モードのサブルーチンを実
行する。ステップ#25では、カメラモードの終了かど
うかを判別し、終了であればステップ#27へ進みリタ
ーンする。終了でなければステップ#21へ戻る。Next, the operation of the camera mode will be described with reference to the flow chart shown in FIG. When the camera mode is selected, each device is initialized in step # 11, the color image sensor is activated in step # 13, and the color image is supplied to the monitor display 41. This image is designed such that the autofocus sensor 31 arranged in the light-receiving zoom lens is driven so that the image is always received in the optimum focus state and the optimum color image is obtained. Next, in step # 15, in order to prepare for distance image pickup, driving of the polygon mirror, which requires a long time to stabilize, is started first, and in step # 17, the AF / PZ subroutine processing is performed. Next, in step # 19, the process waits until the polygon mirror stabilizes, and when the polygon mirror stabilizes, the shutter mode in step # 21 is entered, and the shutter mode subroutine is executed. In step # 23, the data transfer mode is entered and the data transfer mode subroutine is executed. In step # 25, it is determined whether or not the camera mode is ended. If it is ended, the process proceeds to step # 27 and returns. If not completed, the process returns to step # 21.
【0089】AF/PZサブルーチンについて図26
(b)に示し説明すると、ステップ#31では投受光系
のレンズ位置のリセットを行い、ステップ#33でレー
ザ走査範囲のリセットを行い、ステップ#35でリター
ンする。AF / PZ Subroutine FIG.
As shown in (b), the lens position of the light projecting / receiving system is reset in step # 31, the laser scanning range is reset in step # 33, and the process returns in step # 35.
【0090】次に、シャッタモードの動作について、フ
ローチャートを図27に示し説明をする。この状態でユ
ーザは計測装置位置、姿勢、ズーミングの変更して構図
の設定を行い、一方、装置はシャッタレリーズボタン4
7が押されレリーズ信号が出力されるのを待つ。まず、
ステップ#41でAF/AEサブルーチンを実行し、焦
点合わせ、測光を行う。このサブルーチンについては後
述する。次に、ステップ#43でセレクトキー43とA
F/AEの状態チェックを行う。ここでは、まず、セレ
クトキーが押されたかどうかの判別を行う。押されてい
れば([Select])ステップ#79でリターンしシャッタ
モードを抜け出す。これは、一般の一眼レフカメラでの
シャッタレリーズボタンの第1段までの押し下げ解除に
相当する。セレクトキーが押されていなければAF/A
E処理の状態チェックを行い、AF/AE処理が動作中
であればステップ#41へ戻りAF/AE処理を繰り返
し行う。AF/AE処理が完了していれば次のステップ
#45へ進む。つまり、上記の処理期間では連続的に受
光、投光系ズームレンズのフォーカシングと測光を繰り
返して行い、常時合焦状態を保つよう制御されている。Next, the operation of the shutter mode will be described with reference to the flowchart of FIG. In this state, the user changes the measuring device position, posture, and zooming to set the composition, while the device changes the shutter release button 4
Wait until 7 is pressed and a release signal is output. First,
In step # 41, the AF / AE subroutine is executed to focus and perform photometry. This subroutine will be described later. Next, in step # 43, the select key 43 and A
Check the F / AE status. Here, first, it is determined whether or not the select key has been pressed. If it is pressed ([Select]), the process returns in step # 79 to exit the shutter mode. This corresponds to the release of the shutter release button down to the first step in a general single-lens reflex camera. AF / A if the select key is not pressed
The state of the E process is checked, and if the AF / AE process is in operation, the process returns to step # 41 to repeat the AF / AE process. If the AF / AE processing is completed, the process proceeds to the next step # 45. That is, during the above processing period, light reception, focusing and light measurement of the zoom lens of the light projecting system are repeatedly performed, and control is always performed so as to maintain the in-focus state.
【0091】AF/AEが完了すると、それ以後はステ
ップ#45で撮影準備としてシャッタボタン47のロッ
クを解除し、フォーカシング、ズーミングの駆動を禁止
(AF/PZロック)する。そして、ステップ#47で
シャッタボタン47が押されたかどうかを判別する。シ
ャッタボタンが押されていればステップ#55へ進む。
押されていなければステップ#51へ進み所定時間経過
したかを判別し、経過していなければステップ#47へ
戻りシャッタボタンが押されたかどうかの判定を行う。
所定時間経過していればステップ#53でシャッタボタ
ンの操作をロックし、ステップ#41へ戻る。Upon completion of AF / AE, the shutter button 47 is unlocked in preparation for photography in step # 45, and focusing / zooming driving is prohibited (AF / PZ lock). Then, in step # 47, it is determined whether or not the shutter button 47 has been pressed. If the shutter button is pressed, the process proceeds to step # 55.
If it has not been pressed, the routine proceeds to step # 51, where it is determined whether or not a predetermined time has elapsed.
If the predetermined time has elapsed, the shutter button operation is locked in step # 53, and the process returns to step # 41.
【0092】ステップ#55では、レーザ光の発光を行
い、ステップ#57でレーザ光の正常発振になるまでの
立ち上がりと、ポリゴンミラーの準備が完了するまでの
時間を待機する。準備が完了するとステップ#59でセ
ンサ駆動を開始する。まず、ステップ#61で、コンデ
ンサレンズの横に付けられた走査開始センサからの出力
を受けるまで待ち、走査開始信号を受けるとステップ#
63では無駄時間Tdを待ってから距離画像用センサの
駆動を開始する。無駄時間Tdは、焦点距離fと基線長
lと測定基準面までの距離dから算出される。ステップ
#65で距離画像用センサの入力帯状画像位置を初期位
置にセットし、ピッチズレ画像、カラー画像の取り込み
操作を開始する。同時に入力光の重心位置算出を行う。
ステップ#67で走査完了かどうかを判別する。完了で
なければステップ#65へ戻って画像取り込みを繰り返
す。入力帯状画像位置を初期位置から1ピッチずつレー
ザスリット光の走査に応じてずらしながら、324枚の
帯状画像の取り込みを行う。In step # 55, the laser beam is emitted, and in step # 57, the laser beam is oscillated until the laser beam normally oscillates and waits until the preparation of the polygon mirror is completed. When the preparation is completed, the driving of the sensor is started in step # 59. First, in step # 61, the process waits until the output from the scanning start sensor attached to the side of the condenser lens is received, and when the scanning start signal is received, step # 61.
At 63, the drive of the distance image sensor is started after waiting the dead time Td. The dead time Td is calculated from the focal length f, the base line length l, and the distance d to the measurement reference plane. In step # 65, the input band-shaped image position of the distance image sensor is set to the initial position, and the operation of capturing the pitch shift image and the color image is started. At the same time, the barycentric position of the input light is calculated.
In step # 67, it is determined whether scanning is completed. If not completed, the process returns to step # 65 to repeat the image capturing. While shifting the input band image position from the initial position by one pitch in response to the scanning of the laser slit light, 324 band images are captured.
【0093】また、センサ駆動が開始されると、距離画
像用センサの駆動開始に引き続き、ステップ#69でカ
ラー画像用センサが再駆動され、ステップ#71で読み
こんだカラー画像をカラー画像メモリに取り込む。両画
像用センサの駆動、メモリへの取り込みはハードウェア
の構成により自動的に同時に処理されるようになされて
いる。その後はステップ#73へ進む。When the sensor driving is started, the color image sensor is re-driven at step # 69 following the driving start of the distance image sensor, and the color image read at step # 71 is stored in the color image memory. take in. The driving of both image sensors and the incorporation into the memory are automatically processed simultaneously by the hardware configuration. After that, the process proceeds to step # 73.
【0094】ピッチズレ画像、カラー画像の取り込みが
完了すると、ステップ#73でレーザ光の発光を停止
し、ステップ#75でズーム駆動、フォーカス駆動の禁
止を解除し、ステップ#77で取り込んだ画像を選択さ
れたモードに従って表示し、ステップ#79でリターン
する。When the capture of the pitch-shifted image and the color image is completed, the emission of the laser beam is stopped in step # 73, the prohibition of the zoom drive and the focus drive is released in step # 75, and the captured image is selected in step # 77. The display is performed according to the selected mode, and the process returns at step # 79.
【0095】次に、ステップ#41のAF/AEサブル
ーチンのフローチャートについて図28に示し説明する
と、まず、ステップ#91でAFセンサ31の情報によ
りレンズ駆動量を算出し、算出結果に基づいてフォーカ
スレンズの駆動を行う(ステップ#93)。ステップ#
95で、走査開始レーザ位置セットを行い、ステップ#
97でレーザパワー制御を行う。ステップ#99では測
光(AE)を行い、ステップ#101でリターンする。Next, a flowchart of the AF / AE subroutine of step # 41 will be described with reference to FIG. 28. First, in step # 91, the lens drive amount is calculated from the information of the AF sensor 31, and the focus lens is calculated based on the calculation result. Is driven (step # 93). Step #
At 95, set the scan start laser position and step #
Laser power control is performed at 97. In step # 99, photometry (AE) is performed, and the process returns in step # 101.
【0096】次に、データ転送モードについて、フロー
チャートを図29に示し、動作の説明をする。まず、ス
テップ#111で表示モードの判別を行う。表示すべき
画像が濃淡で表示されるピッチズレ画像か、カラー画像
か、何れを選択状態にあるかのフラグチェックを行う。
この表示モードは、例えばデフォルトではカラー画像表
示が設定されていて、キー操作により選択が可能になっ
ている。キー操作がないとき、または、キー操作されて
カラー画像が選択されると、ステップ#113でカラー
画像の表示を行う。ピッチズレ画像表示が選択されれ
ば、ステップ#115でピッチズレ画像の表示を行う。
画像表示を行った後は、ステップ#117で表示モード
が変更されたかの判別を行う。変更されていればステッ
プ#111へ戻り選択されたモードに従って画像表示を
行う。表示モードが変更されていなければ、ステップ#
119へ進む。Next, the operation of the data transfer mode will be described with reference to the flow chart shown in FIG. First, in step # 111, the display mode is determined. A flag check is performed as to whether the image to be displayed is a pitch-shifted image that is displayed in shades or a color image, which is in the selected state.
In this display mode, for example, color image display is set by default, and selection is possible by key operation. When there is no key operation or when a color image is selected by key operation, a color image is displayed in step # 113. If the pitch shift image display is selected, the pitch shift image is displayed in step # 115.
After the image is displayed, it is determined in step # 117 whether the display mode has been changed. If it has been changed, the process returns to step # 111 to display an image according to the selected mode. Step # if display mode has not changed
Proceed to 119.
【0097】ステップ#119では、データの転送が必
要かどうかの判別を行う。データ転送が必要でなければ
ステップ#133へ進み、カラー画像表示を行う。デー
タ転送が必要であれば、ステップ#121でデータヘッ
ダを作成する。ステップ#123でSCSI出力モード
かどうかの判別を行う。SCSI出力モードが選択され
ていれば、ステップ#125で外部出力用データの作成
を行いステップ#131でデータ転送を行う。SCSI
出力モードでなければ内蔵の記録装置での記録になり、
ステップ#127で内蔵MOドライブ用データの作成を
行い、ステップ#129でMOへのデータ転送命令がC
PU2からSCSIコントローラへ送られ、ステップ#
131でデータ転送を行う。その後、ステップ#133
でカラー画像表示を行い、ステップ#135でリターン
する。これらのデータ転送先の選択は、キー操作により
選択可能である。At step # 119, it is determined whether data transfer is necessary. If data transfer is not necessary, the process proceeds to step # 133 to display a color image. If data transfer is necessary, a data header is created in step # 121. In step # 123, it is determined whether or not the SCSI output mode. If the SCSI output mode is selected, external output data is created in step # 125 and data transfer is performed in step # 131. SCSI
If it is not in output mode, it will be recorded with the built-in recording device,
In step # 127, the data for the built-in MO drive is created, and in step # 129, the data transfer command to MO is C
Sent from PU2 to SCSI controller, step #
Data transfer is performed at 131. Then, step # 133
The color image is displayed with and the process returns with step # 135. The selection of these data transfer destinations can be made by key operation.
【0098】次に、リプレイモードについて説明する。
ステップ#3でリプレイモードへの切り換えスイッチを
チェックし、切り換えが行われていなければ次の画像入
力を行うための待機状態(カメラモード)となり、切り
換えが行われていれば、リプレイモードに移行する。Next, the replay mode will be described.
In step # 3, the switch for switching to the replay mode is checked. If the switch has not been performed, the standby state (camera mode) for inputting the next image is entered, and if the switch has been performed, the replay mode is entered. .
【0099】このリプレイモードは前述のカメラモード
とは異なり、すでにMO等の内蔵記録装置に記録済み画
像データをリプレイして再確認したり、改めてSCSI
端子を介して外部の装置に出力するモードであり、この
リプレイモードの動作のフローチャートを図30に示し
て動作の説明を行う。This replay mode is different from the above-mentioned camera mode, and replays the image data already recorded in the built-in recording device such as MO to reconfirm or re-enable the SCSI.
This is a mode for outputting to an external device via a terminal, and the operation will be described with reference to the flowchart of the operation in this replay mode shown in FIG.
【0100】まず、ステップ#151でMOに記録され
ている画像のリストを表示する。ステップ#153で、
ユーザはこのリスト表示画面から再確認表示または外部
へ転送する画像データの選択を行う。次のステップ#1
55で、選択された画像データは内蔵のMOからカラー
/ピッチズレ画像をそれぞれカラー画像用/ピッチズレ
画像用メモリ84、85にロードし、ステップ#157
で、表示すべき画像がカラー画像かピッチズレ画像かい
ずれの表示モードになっているのかフラグチェックを行
う。選択されている表示モードに応じて、ステップ#1
59でカラー画像の表示を、またはステップ#161で
ピッチズレ画像の表示を行う。画像表示後、ステップ#
163で表示モードが変更されているかを判別し、変更
されていればステップ#157へ戻り再度表示を行う。First, in step # 151, a list of images recorded in the MO is displayed. In step # 153,
The user performs reconfirmation display from this list display screen or selects image data to be transferred to the outside. Next step # 1
At 55, the selected image data is loaded into the color image / pitch shift image memories 84 and 85 from the built-in MO in the color image / pitch shift image memories respectively, and step # 157.
Then, a flag check is performed as to whether the display mode of the image to be displayed is a color image or a pitch-shifted image. Step # 1 depending on the selected display mode
A color image is displayed at 59, or a pitch shift image is displayed at step # 161. After displaying the image, step #
At 163, it is determined whether the display mode has been changed. If the display mode has been changed, the process returns to step # 157 to display again.
【0101】変更がなければステップ#165で次の画
像データを表示するかどうかの判別を行い、表示する場
合は本サブルーチンの始めのステップ#151へ戻り画
像の選択、表示を繰りかえす。次の画像表示を行わない
場合はステップ#167でMOからメモリに読み込んだ
画像データを外部へ転送するかどうかの判別を行う。転
送しなければステップ#173へジャンプする。転送す
る場合はステップ#169で外部出力用データ作成を行
い、ステップ#171でデータ転送を行う。そして、ス
テップ#173で、次の画像データ表示を行うかの判別
をして、表示するのであればステップ#151で戻り、
表示しなければステップ#175でリターンする。If there is no change, it is determined in step # 165 whether or not the next image data is to be displayed. If it is to be displayed, the process returns to step # 151 at the beginning of this subroutine to repeatedly select and display the image. If the next image is not displayed, it is determined in step # 167 whether the image data read from the MO into the memory is transferred to the outside. If not transferred, the process jumps to step # 173. When transferring, external output data is created in step # 169, and data is transferred in step # 171. Then, in step # 173, it is determined whether to display the next image data, and if it is displayed, the process returns in step # 151,
If not displayed, the process returns at step # 175.
【0102】次に、これら一連の動作の各キー操作によ
る状態遷移図を図31に示す。この図で、操作を示す上
下左右向きの△印は図3のカーソルキー42の操作を示
しており、[Shutter]、[Select]、[Cancel]はそれぞれ
シャッタボタン47、セレクトキー43、キャンセルキ
ー44の操作を示してる。また、本実施例では時計機能
を有しているが、記録される画像ファイルのファイル名
に時刻を自動的に割り付けることもできる。Next, FIG. 31 shows a state transition diagram of each key operation in the series of operations. In this figure, the up, down, left, and right triangles indicating the operation indicate the operation of the cursor key 42 in FIG. The operation of 44 is shown. Further, although the present embodiment has a clock function, it is also possible to automatically assign the time to the file name of the image file to be recorded.
【0103】メニュー画面では、再生表示、リスト表
示、時計機能の選択可能状態から左右カーソルキー操作
とセレクトキー43操作で選択・実行ができ、選択・実
行後はキャンセルキー44で選択可能状態に戻る。時計
機能では時刻設定ができ、リスト表示機能ではファイル
名変更、消去、表示ファイル選択等のファイル操作がで
きる。再生表示機能ではデフォルトでカラー画像表示に
設定されており、左右カーソルキーでピッチズレ画像表
示、文字画面表示に切り替えることができる。それぞれ
の表示モードでは上下カーソルキーの操作で前画像、次
画像の表示も可能である。文字画面表示ではセレクトキ
ーでファイル名変更、消去等のファイル操作ができる。On the menu screen, the reproduction display, the list display, and the clock function can be selected / executed by operating the left / right cursor keys and the select key 43. After the selection / execution, the cancel key 44 returns to the selectable state. . The clock function allows you to set the time, and the list display function allows you to change file names, delete files, and select files to display. With the playback display function, color image display is set by default, and you can switch between pitch-shifted image display and character screen display with the left and right cursor keys. In each display mode, the previous image and the next image can be displayed by operating the up and down cursor keys. In the character screen display, you can use the select key to change file names and delete files.
【0104】メニュー画面から、キャンセルキーを操作
すると撮影待ち状態(カメラモード)になり、セレクト
キーでメニューに戻ることができる。撮影待ち状態でシ
ャッタボタンを押すと撮影が可能でありメモリへの画像
取り込みを行い、撮影後にキャンセルキーで撮影待ち状
態に戻ることができる。撮影直後の状態からセレクトキ
ーを操作すると画像の録画が行えメモリに取り込んだ画
像を記憶装置へ転送を行い、録画後は撮影待ち状態に戻
る。このときの画像は、デフォルトではカラー画像が設
定されており、左右のカーソルキーでピッチズレ画像/
カラー画像の選択が可能である。When the cancel key is operated from the menu screen, the photographing waiting state (camera mode) is entered and the select key can be used to return to the menu. When the shutter button is pressed in the shooting waiting state, shooting is possible, an image is captured in the memory, and after shooting, the cancel key can be used to return to the shooting waiting state. If the select key is operated from the state immediately after shooting, the image can be recorded, the image captured in the memory is transferred to the storage device, and after the recording, the state returns to the shooting standby state. The image at this time is set to a color image by default, and use the cursor left / right keys
A color image can be selected.
【0105】次に、この3次元形状測定装置の分割取り
込みによる高精度入力について説明を行う。投光系、受
光系間の距離、すなわち基線長lと焦点距離f、計測対
象までの距離dが決ると、3次元的分解能、精度は決定
される。そこで、高精度で計測するためには、焦点距離
fを大きく設定し、測定することで達成される。つま
り、望遠にするほど測定精度は高くなる。しかし、測定
精度の高い3次元画像を得ることは出来るが、視野領域
は焦点距離fが延びるに従い狭められる。Next, the high-precision input by dividing and taking in the three-dimensional shape measuring apparatus will be described. When the distance between the light projecting system and the light receiving system, that is, the base line length 1 and the focal length f and the distance d to the measurement target are determined, the three-dimensional resolution and accuracy are determined. Therefore, in order to measure with high accuracy, it is achieved by setting the focal length f large and measuring. That is, the higher the telephoto, the higher the measurement accuracy. However, although it is possible to obtain a three-dimensional image with high measurement accuracy, the visual field area is narrowed as the focal length f increases.
【0106】そこで、焦点距離fを測定したい分解能、
精度に応じた値に設定し、電動雲台等の回転架台4を操
作し視野領域を複数の領域に分割して、分割した領域毎
に測定し、その結果得られた画像を貼り合わせ、1枚の
画像に再構築するものである。このような機能を持つこ
とで分解能を可変とする3次元形状測定装置が実現でき
る。また、この機能を生かすことにより、全周囲的空間
について3次元測定を行うことで、環境の測定も可能と
なる。以下に具体的例を示し、その動作の説明を行う。
なお、図32に示す例は簡略化した説明図であって、投
光系2と受光系3は水平方向の位置関係に配置されてお
り、図3に示した例とは異なっている。この配置ではス
リット光は縦方向に長さを有し左右方向に走査する必要
がある。Therefore, the resolution for which the focal length f is desired to be measured,
The value is set according to the accuracy, the rotary platform 4 such as an electric platform is operated to divide the field of view into a plurality of regions, the divided regions are measured, and the resulting images are pasted together. It is reconstructed into a single image. By having such a function, a three-dimensional shape measuring apparatus with variable resolution can be realized. Further, by making the best use of this function, the environment can be measured by performing the three-dimensional measurement on the omnidirectional space. The operation will be described below by showing a specific example.
Note that the example shown in FIG. 32 is a simplified explanatory diagram, and the light projecting system 2 and the light receiving system 3 are arranged in a horizontal positional relationship, which is different from the example shown in FIG. In this arrangement, the slit light has a length in the vertical direction and needs to scan in the horizontal direction.
【0107】画像貼り合わせ機能利用時の様子を図32
に示し、図33に画像貼り合わせ機能における動作を表
わすフローチャートを示す。図34には本機能使用時の
表示状態を示しており、画像表示部の下部に測定精度を
表す表示部がある。FIG. 32 shows how the image stitching function is used.
FIG. 33 is a flow chart showing the operation of the image pasting function. FIG. 34 shows a display state when this function is used, and a display section showing the measurement accuracy is provided below the image display section.
【0108】まず、図32(a)に示すようにユーザに
よる操作で対象物体1を視野範囲内に撮像可能な広角、
ワイド状態(焦点距離f0)になるようにズーム駆動系
16を駆動し視野範囲を設定する(ステップ#20
1)。このときに想定されるZ軸方向(図17参照、物
体の凹凸方向)分解能は図34(a)で示すように画像
の下のバー表示で表現される。このZ軸方向分解能ΔZ
は本システムのように基線長が固定の場合、簡単には測
定対象までの距離dと測定時の焦点距離fで以下のよう
な関係がある。 ΔZ = K×d×(d−f)/f (7) ここでKはZ軸方向分解能見積りのための係数であり、
センサピッチ等により決まるものである。また、上記の
ズーミング操作は、システムコンピュータからSCSI
端子を介してコマンドを送信し、遠隔操作によるズーム
操作、レリーズ操作等の動作設定も可能である。First, as shown in FIG. 32 (a), a wide angle at which the target object 1 can be imaged within the visual field range by an operation by the user,
The zoom drive system 16 is driven so as to be in the wide state (focal length f0) and the visual field range is set (step # 20).
1). The resolution in the Z-axis direction (see FIG. 17, uneven direction of the object) assumed at this time is represented by a bar display below the image as shown in FIG. This Z-axis direction resolution ΔZ
When the base line length is fixed as in this system, the relationship between the distance d to the object to be measured and the focal length f at the time of measurement has the following relationship. ΔZ = K × d × (df) / f (7) Here, K is a coefficient for estimating the resolution in the Z-axis direction,
It is determined by the sensor pitch and the like. In addition, the above zooming operation is performed from the system computer via SCSI.
It is also possible to send commands via the terminal and set operations such as zoom operation and release operation by remote control.
【0109】ユーザは、以上の設定操作で満足する精
度、分解能で測定が行われると判断した場合(ステップ
#203の判定でNO)には、ユーザのレリーズ操作に
より測定が開始され(ステップ#205)、その結果が
ディスプレイに表示される(ステップ#207)。この
表示は図34(a)に示すように、入力されたピッチズ
レ画像、あるいはカラー画像と、その取り込みで得られ
たZ軸方向測定分解能が画像の下のバーで表示される。
その結果、更に測定精度の高い計測を必要としない場合
(ステップ#209の判定でNO)は、この計測で完了
し記憶メディアへの書き込みを行うか否かの判定をユー
ザに求め、それに応じた処理を行い動作を完了する。When the user determines that the measurement is performed with the accuracy and resolution that satisfy the above setting operation (NO in the determination in step # 203), the measurement is started by the release operation by the user (step # 205). ), The result is displayed on the display (step # 207). In this display, as shown in FIG. 34 (a), the input pitch shift image or color image and the Z-axis direction measurement resolution obtained by the capture are displayed in the bar below the image.
As a result, when the measurement with higher measurement accuracy is not required (NO in the determination in step # 209), the user is requested to determine whether or not the measurement is completed and writing to the storage medium is performed, and the determination is made accordingly. The process is performed to complete the operation.
【0110】ユーザは、満足する精度で測定が行われな
いと判断した場合(ステップ#203の判定でYE
S)、あるいは一度目のレリーズ操作により取り込まれ
たピッチズレ画像、あるいはZ軸方向測定分解能表示に
より、ユーザは所望のZ軸方向分解能、精度の設定をキ
ー操作により精度を変更して再測定の指示を行うことが
できる(ステップ#209の判定でYES)。If the user determines that the measurement is not performed with satisfactory accuracy (YES in step # 203).
S), or the pitch shift image captured by the first release operation, or the Z-axis direction measurement resolution display, the user changes the precision with the key operation to set the desired Z-axis direction resolution and precision, and gives an instruction for re-measurement. Can be performed (YES in the determination in step # 209).
【0111】この精度設定キー入力が行われると、シス
テムはそのときの状態、すなわち測定対象の全景が捕え
られた状態の焦点距離f0と、AFセンサから得られる
測定対象までの概略距離dとをメモリし視野範囲の記憶
を行う(ステップ#210)。さらに入力された所望の
Z軸方向測定分解能と概略距離dから上式(7)を用いて
設定すべき焦点距離f1の算出を行う(ステップ#21
1)。When this precision setting key input is performed, the system determines the state at that time, that is, the focal length f0 in the state in which the entire view of the measurement target is captured, and the approximate distance d to the measurement target obtained from the AF sensor. The memory is stored and the visual field range is stored (step # 210). Further, the focal length f1 to be set is calculated using the above equation (7) from the input desired Z-axis direction measurement resolution and the approximate distance d (step # 21).
1).
【0112】焦点距離f1が算出されると、その焦点距
離f1に自動的にズーミングを行い(ステップ#21
3)、記憶された測定すべき視野範囲、概略距離d、焦
点距離f1より分割入力すべきフレーム数、それに応じ
たパン、チルト角度の算出、パン、チルト回転架台のパ
ン、チルトにより視野位置の設定を行い(ステップ#2
15)、各分割入力フレームでの計測を行う(ステップ
#217)。画像貼り合わせ機能時の分割入力する画像
は、後で貼り合わせて1枚の画像に再構築するために、
のりしろとなるべき重複部分を含むよう設定される。When the focal length f1 is calculated, the focal length f1 is automatically zoomed (step # 21).
3), the visual field range to be measured, the approximate distance d, the number of frames to be divided and input from the focal length f1, the corresponding pan and tilt angle calculation, and the pan and tilt pans and tilts of the visual field position Set up (Step # 2
15), measurement is performed on each divided input frame (step # 217). The images to be input separately when using the image stitching function can be stitched together and reconstructed into a single image.
It is set to include the overlap that should be the margin.
【0113】得られたピッチズレ画像、カラー画像、取
り込まれたX、Y方向の視野方向を示す情報(例えば、
パン、チルトのデコード角度値、あるいは、X、Y方向
の取り込み順番など)、レンズ焦点距離、測定距離情報
は内部のMO記憶装置に記憶される(ステップ#21
9)。この際、メモリへファイル名、ファイルサイズ等
のディレクトリ情報の書き込みは行わず、最後にユーザ
の確認の後にディレクトリ情報の書き込みを行うことで
一時的な格納にすることも可能である。The obtained pitch shift image, color image, captured information indicating the viewing directions in the X and Y directions (for example,
The decode angle values of pan and tilt, or the order of capturing in the X and Y directions, the lens focal length, and the measured distance information are stored in the internal MO storage device (step # 21).
9). At this time, the directory information such as the file name and the file size is not written in the memory, but the directory information can be written after the user's confirmation at the end to temporarily store the information.
【0114】次に、上記の視野位置とわずかに重複され
た視野位置に、算出されたパン、チルト角度に従いパ
ン、チルト操作で視野を制御し隣接する領域の画像の入
力を行い、この動作を繰り返すことで全領域の入力を行
う(ステップ#221の判定でNO、図32(b)参
照)。Next, at the visual field position slightly overlapped with the above visual field position, the visual field is controlled by the pan and tilt operations according to the calculated pan and tilt angles, the image of the adjacent area is input, and this operation is performed. The entire area is input by repeating (NO in step # 221, see FIG. 32B).
【0115】全領域の入力が終了した時点(ステップ#
221の判定でYES)で、測定精度を高くする前の初
期のカメラ姿勢、焦点距離に戻して(ステップ#22
3)動作を完了し、ユーザの書き込みの判断を待ち、書
き込み指示の場合にはディレクトリ情報の書き込みを行
い、書き込まないという指示の時は、ディレクトリ情報
の書き込みを行わずに終了することで、それまでの連続
してメモリに格納しておいた情報を消去する。When the input of all areas is completed (step #
If the determination in step 221 is YES, the camera is returned to the initial camera posture and focal length before increasing the measurement accuracy (step # 22).
3) When the operation is completed, the writing judgment of the user is waited, the directory information is written in the case of the writing instruction, and when the writing is not instructed, the processing is terminated without writing the directory information. The information stored in the memory up to is deleted.
【0116】また、上記の操作のように、事前に測定を
行い再度測定を行う場合には、1度目の測定により対象
物体までの距離測定、また測定画角内での距離分布の測
定が完了している。そこで、この対象物体との距離に大
きな差を持つ領域、すなわち測定対象とは違う周辺領域
(背景)のみとなる分割入力フレームについては貼り合
わせのため再測定は行わず、対象物体を含む分割入力フ
レームのみの再測定を行うことも可能である。図34
(b)に示す例では、対象物体が含まれる網点領域が再
測定を行う領域で、他の領域は対象物体が無い領域で再
測定は行われない領域であることを示している。When the measurement is performed in advance and the measurement is performed again as in the above operation, the distance measurement to the target object and the distance distribution within the measurement angle of view are completed by the first measurement. is doing. Therefore, for areas that have a large difference in distance from the target object, that is, for divided input frames that are only the peripheral area (background) that is different from the measurement object, re-measurement is not performed due to pasting, and divided input that includes the object It is also possible to remeasure only the frame. FIG. 34
In the example shown in (b), the halftone dot area including the target object is an area where re-measurement is performed, and the other areas are areas where the target object is absent and re-measurement is not performed.
【0117】以上説明したように、高速な3次元計測が
可能となり、この3次元計測をもとに部分的入力を繰り
返し、貼り合わせ作業を行うことで分解能を自由に設定
可能な3次元形状計測が可能となる。As described above, high-speed three-dimensional measurement becomes possible, and the three-dimensional shape measurement in which the resolution can be freely set by repeating partial input based on this three-dimensional measurement and performing the bonding work. Is possible.
【0118】このような貼り合わせ計測においては、全
画面の分解能が均一の分解能で測定が行われるが、人間
の顔のように目、口、鼻の部分であれば形状、色彩情報
が複雑で分解能の高いデータが必要となるが、頬、額な
ど低い分解能で十分測定の要を足す測定対象も考えられ
る。このような測定対象については、部分的なズーミン
グ動作によりデータ貼り合わせを行うことで効率の良い
データ入力が実現しうる。この部分ズーミング貼り合わ
せ機能は以下の動作で実現する。In such a bonding measurement, the resolution of the entire screen is measured at a uniform resolution, but the shape and color information is complicated for the eyes, mouth and nose like a human face. Data with high resolution is required, but it is also possible to use measurement targets such as cheeks and foreheads that require sufficient measurement with low resolution. For such a measurement target, efficient data input can be realized by performing data bonding by a partial zooming operation. This partial zooming bonding function is realized by the following operation.
【0119】図35にこの部分ズーミング貼り合わせ機
能の動作を示すフローチャートを示す。まず、ステップ
#251で均一分解能貼り合わせの場合と同様に、測定
対象の全体域を捕える視野設定を行い、ステップ#25
3で部分ズーミング入力モードの選択を行う。選択が行
われると、現在設定されている焦点距離f0、パン・チ
ルトのデコード角度値をメモリし(ステップ#25
5)、焦点距離f0の状態で測定を開始し概略画像デー
タとして画像入力を行う(ステップ#257)。その結
果得られたピッチズレ画像、カラー画像、その画像の取
り込まれたX、Y方向の視野方向を示す情報(例えば、
パン、チルトのデコード角度値)、レンズ焦点距離、測
定距離情報は内部の記憶装置に記憶される(ステップ#
259)。続いてステップ#261で最大焦点距離fma
xになるようにズーミングを行った後、上記の概略画像
データの解析を行い、ズーミング後入力される分割入力
フレーム毎に再計測を実施するか否かを決定する。FIG. 35 is a flow chart showing the operation of this partial zooming laminating function. First, in step # 251, as in the case of the uniform resolution bonding, the visual field is set so as to capture the entire area of the measurement target, and then step # 25.
At 3, the partial zooming input mode is selected. When the selection is made, the currently set focal length f0 and the pan / tilt decoding angle values are stored (step # 25).
5) Then, the measurement is started in the state of the focal length f0 and the image is input as the rough image data (step # 257). The resulting pitch-shifted image, color image, and information indicating the viewing directions in the X and Y directions in which the image is captured (for example,
Pan and tilt decode angle values), lens focal length, and measured distance information are stored in an internal storage device (step #
259). Then, in step # 261, the maximum focal length fma
After performing zooming so as to be x, the above-described schematic image data is analyzed, and it is determined whether or not remeasurement is performed for each divided input frame input after zooming.
【0120】ズーミングを行い最大焦点距離fmaxで測
定を行った場合、入力しうるフレームサイズにこの概略
データを分割する。ステップ#263でパン・チルト位
置X,Yをスタート初期位置Xs、Ysにセットする。ス
テップ#265でセットされたX,Y位置にパン・チル
トを制御する。次に、ステップ#267で、X±ΔX、
Y±ΔYの領域の初期入力カラー画像のカラー情報R、
G、B値について統計処理を行い各領域についての標準
偏差σR、σG、σB の算出を行う。ステップ#269で
これらの算出されたすべての標準偏差σR、σG、σB の
値ががそれぞれ設定された所定値未満であるかを判別
し、所定値未満であれば、その小領域は明暗色情報は一
様な領域であるとしてズーミング測定は実施せずにステ
ップ#271へ進む。逆に所定値以上となる標準偏差σ
R、σG、σB がある場合には複雑な色彩情報を有する領
域であると判断してズーミング測定を行う(ステップ#
275)。When zooming is performed and measurement is performed at the maximum focal length fmax, this rough data is divided into frame sizes that can be input. In step # 263, the pan / tilt positions X and Y are set to the initial start positions Xs and Ys. The pan / tilt is controlled to the X and Y positions set in step # 265. Next, in step # 267, X ± ΔX,
Color information R of the initial input color image in the area of Y ± ΔY,
Statistical processing is performed on the G and B values to calculate the standard deviations σR, σG, and σB for each area. In step # 269, it is determined whether or not all of the calculated standard deviations σR, σG, and σB are less than the set predetermined values, and if the values are less than the predetermined values, the small area has light and dark color information. Is a uniform region, zooming measurement is not performed, and the process proceeds to step # 271. On the contrary, the standard deviation σ that is more than the specified value
If R, σG, and σB are present, it is determined that the region has complicated color information and zooming measurement is performed (step #
275).
【0121】ステップ#271ではX±ΔX、Y±ΔY
の領域の初期入力距離値dの情報から標準偏差σdを算
出し、ステップ#273では算出された標準偏差σdの
値が設定された所定値未満であるかを判別し、所定値未
満であればその小領域は形状変化の少ない平坦な領域で
あるとしてズーミング測定は行わず、ステップ#279
へ進む。逆に所定値以上であれば複雑な形状(距離情
報)を有する領域であるとしてズーミング測定を行う
(ステップ#275)。In step # 271, X ± ΔX, Y ± ΔY
The standard deviation σd is calculated from the information of the initial input distance value d of the area, and in step # 273 it is determined whether or not the calculated standard deviation σd is less than the set predetermined value. Since the small area is a flat area with little change in shape, zooming measurement is not performed, and step # 279 is performed.
Go to. On the contrary, if it is equal to or larger than the predetermined value, it is determined that the area has a complicated shape (distance information), and zooming measurement is performed (step # 275).
【0122】ステップ#275でのズーミング測定の
後、得られたピッチズレ画像、カラー画像、その画像が
取り込まれたX、Y方向の視野方向を示す情報(例え
ば、パン、チルトのデコード角度値)、レンズ焦点距
離、測定距離情報等の情報が内部のMO等の記憶装置に
記憶される(ステップ#277)。その後は、ステップ
#279へ進む。After the zooming measurement in step # 275, the obtained pitch shift image, color image, information indicating the viewing directions in the X and Y directions in which the image is captured (for example, pan and tilt decoding angle values), Information such as lens focal length and measurement distance information is stored in a storage device such as an internal MO (step # 277). After that, it progresses to step # 279.
【0123】次にステップ#279では、パン・チルト
位置Xを2ΔXだけ変化させる。ステップ#281でX
方向走査が完了しているかを判別し、完了していなけれ
ばステップ#265へ戻る。完了していればステップ#
283でパン・チルト位置Yを2ΔYだけ変化させる。
ステップ#285で全走査が完了しているかを判別し、
完了していなければステップ#265へ戻り、完了して
いればステップ#287へ進み本ルーチンを終了する。Next, at step # 279, the pan / tilt position X is changed by 2ΔX. X at step # 281
It is determined whether or not the directional scanning is completed, and if not completed, the process returns to step # 265. Step if complete #
At 283, the pan / tilt position Y is changed by 2ΔY.
In step # 285, it is judged whether all the scans are completed,
If not completed, the process returns to step # 265, and if completed, the process proceeds to step # 287 to end this routine.
【0124】このように、概略画像データと、位置の判
別が可能な部分詳細画像情報の入力ができ、概略画像デ
ータにその位置にあった部分詳細画像データを貼り合わ
せることで形状や色彩情報の複雑さに応じた効率の良い
3次元入力が実現できる。As described above, the general image data and the partial detailed image information whose position can be discriminated can be input, and the partial detailed image data at the position can be pasted to the general image data to obtain the shape and color information. It is possible to realize efficient three-dimensional input according to complexity.
【0125】[0125]
【発明の効果】以上説明したように、2次元撮像素子で
撮像した画像を読み出すときに、全領域を読み出すので
はなく、投光したスリット光が入射すると推定される領
域の帯状画像を読み出しているので、全領域を読み出す
場合に比べて非常に短い時間で画像の読み出しができ
る。その結果、対象が動体であっても高速に対象物体の
形状測定が可能であり、また逆に、本測定装置自体が移
動体に設置されている場合でも対象物体の形状を高速に
測定することができる。As described above, when the image picked up by the two-dimensional image pickup device is read out, not the entire region is read out, but the band-shaped image of the region where the projected slit light is estimated to be incident is read out. Therefore, the image can be read in a very short time compared with the case of reading the entire area. As a result, the shape of the target object can be measured at high speed even if the target is a moving body, and conversely, the shape of the target object can be measured at high speed even when the measuring device itself is installed on a moving body. You can
【図1】光切断法の原理を示す説明図。FIG. 1 is an explanatory view showing the principle of a light cutting method.
【図2】本発明に係る装置全体の概略ブロック図。FIG. 2 is a schematic block diagram of the entire apparatus according to the present invention.
【図3】本発明に係る装置全体の概略構成を示す斜視
図。FIG. 3 is a perspective view showing a schematic configuration of the entire apparatus according to the present invention.
【図4】対象物体面に生成する光量分布についての説明
図。FIG. 4 is an explanatory diagram of a light amount distribution generated on a target object surface.
【図5】撮像素子受光面に生成する光量分布についての
説明図。FIG. 5 is an explanatory diagram of a light amount distribution generated on the light receiving surface of the image sensor.
【図6】撮像素子受光面に生成する光量分布についての
説明図。FIG. 6 is an explanatory diagram of a light amount distribution generated on the light receiving surface of the image sensor.
【図7】投光光学系の構成を示す断面図。FIG. 7 is a cross-sectional view showing the configuration of a projection optical system.
【図8】投光スリット光の説明図。FIG. 8 is an explanatory diagram of projection slit light.
【図9】受光光学系の構成を示す断面図。FIG. 9 is a cross-sectional view showing the configuration of a light receiving optical system.
【図10】カラー画像センサの入射波長の特性を示す説
明図。FIG. 10 is an explanatory diagram showing characteristics of an incident wavelength of a color image sensor.
【図11】距離画像用センサの受光波長を示す説明図。FIG. 11 is an explanatory diagram showing a light receiving wavelength of a range image sensor.
【図12】距離用センサの出力制御の例を示す説明図。FIG. 12 is an explanatory diagram showing an example of output control of a distance sensor.
【図13】投光系と受光系の視差の説明図。FIG. 13 is an explanatory diagram of parallax between a light projecting system and a light receiving system.
【図14】無段階仰角制御の説明図。FIG. 14 is an explanatory diagram of stepless elevation angle control.
【図15】多段階仰角制御の説明図。FIG. 15 is an explanatory diagram of multi-stage elevation angle control.
【図16】仰角固定最近接距離制御の説明図。FIG. 16 is an explanatory diagram of fixed closest angle control of elevation angle.
【図17】撮像素子に入射する反射光の入射範囲と走査
範囲の説明図。FIG. 17 is an explanatory diagram of an incident range and a scanning range of reflected light that is incident on the image sensor.
【図18】X−Yアドレス走査方式のセンサの説明図。FIG. 18 is an explanatory diagram of an XY address scanning type sensor.
【図19】アナログ転送方式のセンサ(インターライン
転送時)の説明図。FIG. 19 is an explanatory diagram of an analog transfer type sensor (during interline transfer).
【図20】アナログ転送方式のセンサ(フレーム転送方
式時)の説明図。FIG. 20 is an explanatory diagram of an analog transfer type sensor (during frame transfer type).
【図21】ブロック分割のセンサの説明図。FIG. 21 is an explanatory diagram of a sensor of block division.
【図22】ブロック分割センサの行ランダムアクセスの
説明図。FIG. 22 is an explanatory diagram of row random access of a block division sensor.
【図23】装置全体の回路構成のブロック図。FIG. 23 is a block diagram of a circuit configuration of the entire device.
【図24】受光重心位置算出回路図。FIG. 24 is a circuit diagram of a light receiving center of gravity position calculation circuit.
【図25】メインルーチンの動作を示すフローチャートFIG. 25 is a flowchart showing the operation of the main routine.
【図26】カメラモードの動作を示すフローチャートFIG. 26 is a flowchart showing the operation of the camera mode.
【図27】シャッタモードの動作を示すフローチャートFIG. 27 is a flowchart showing the operation in shutter mode.
【図28】AF/AEサブルーチンのフローチャートFIG. 28 is a flowchart of an AF / AE subroutine.
【図29】データ転送モードの動作を示すフローチャー
トFIG. 29 is a flowchart showing the operation of the data transfer mode.
【図30】リプレイモードの動作を示すフローチャートFIG. 30 is a flowchart showing the operation of the replay mode.
【図31】本計測装置の動作状態遷移図。FIG. 31 is an operation state transition diagram of the measurement device.
【図32】画像貼り合わせ機能の説明図。FIG. 32 is an explanatory diagram of an image stitching function.
【図33】画像貼り合わせ機能の動作を示すフローチャ
ートFIG. 33 is a flowchart showing the operation of the image stitching function.
【図34】画像貼り合わせ機能表示状態の説明図。FIG. 34 is an explanatory diagram of a display state of an image combining function.
【図35】部分ズーミング貼り合わせ機能の動作を示す
フローチャートFIG. 35 is a flowchart showing the operation of the partial zooming bonding function.
1 対象物体 2 投光光学系 3 受光光学系 12 2次元撮像素子 1 target object 2 light projecting optical system 3 light receiving optical system 12 two-dimensional image sensor
Claims (4)
撮像素子で撮像して対象物体の形状を測定する3次元形
状測定装置において、 上記2次元撮像素子はスリット光が入射すると推測され
る領域の帯状画像を選択的に読み出すことを特徴とする
3次元形状測定装置。1. In a three-dimensional shape measuring apparatus for projecting slit light onto a target object and imaging the same with a two-dimensional image sensor to measure the shape of the target object, it is presumed that the slit light is incident on the two-dimensional image sensor. A three-dimensional shape measuring apparatus characterized by selectively reading a band-shaped image of a region.
分割してブロック毎に並列に読み出しを行い、並列に読
み出された信号を選択して出力することを特徴とする請
求項1記載の3次元形状測定装置。2. The two-dimensional image pickup device is divided into a plurality of blocks, each block is read in parallel, and the signals read in parallel are selected and output. Three-dimensional shape measuring device.
を有し帯状画像を選択して出力することを特徴とする請
求項1記載の3次元形状測定装置。3. The three-dimensional shape measuring apparatus according to claim 1, wherein the two-dimensional image pickup device has one-row parallel discharge means and selects and outputs a band-shaped image.
査型2次元撮像素子であり読み出し開始行設定手段を有
し、帯状画像を選択して出力することを特徴とする請求
項1記載の3次元形状測定装置。4. The two-dimensional image pickup device according to claim 1, wherein the two-dimensional image pickup device is an XY address scanning type two-dimensional image pickup device and has a read start row setting means for selecting and outputting a band-shaped image. Three-dimensional shape measuring device.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32024593A JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
US08/358,306 US5668631A (en) | 1993-12-20 | 1994-12-19 | Measuring system with improved method of reading image data of an object |
US08/841,560 US6243165B1 (en) | 1993-12-20 | 1997-04-30 | Measuring system with improved method of reading image data of an object |
US09/387,498 US6407817B1 (en) | 1993-12-20 | 1999-09-01 | Measuring system with improved method of reading image data of an object |
US09/879,896 US6522412B2 (en) | 1993-12-20 | 2001-06-14 | Measuring system with improved method of reading image data of an object |
US10/075,230 US6775010B2 (en) | 1993-12-20 | 2002-02-15 | Measuring system with improved method of reading image data of an object |
US10/118,054 US6480288B1 (en) | 1993-12-20 | 2002-04-09 | Measuring system with improved method of reading image data of an object |
US10/330,111 US6674534B2 (en) | 1993-12-20 | 2002-12-30 | Measuring system with improved method of reading image data of an object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32024593A JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000386336A Division JP2001221621A (en) | 2000-12-20 | 2000-12-20 | Three-dimensional shape-measuring device |
JP2000386335A Division JP2001201329A (en) | 2000-12-20 | 2000-12-20 | Three-dimensional shape measuring apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07174536A true JPH07174536A (en) | 1995-07-14 |
JP3282331B2 JP3282331B2 (en) | 2002-05-13 |
Family
ID=18119349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32024593A Expired - Lifetime JP3282331B2 (en) | 1993-12-20 | 1993-12-20 | 3D shape measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3282331B2 (en) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09325009A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
JPH09325010A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
US6049385A (en) * | 1996-06-05 | 2000-04-11 | Minolta Co., Ltd. | Three dimensional measurement system and pickup apparatus |
US6141105A (en) * | 1995-11-17 | 2000-10-31 | Minolta Co., Ltd. | Three-dimensional measuring device and three-dimensional measuring method |
US6204916B1 (en) | 1998-02-03 | 2001-03-20 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
US6233049B1 (en) | 1998-03-25 | 2001-05-15 | Minolta Co., Ltd. | Three-dimensional measurement apparatus |
US6252659B1 (en) | 1998-03-26 | 2001-06-26 | Minolta Co., Ltd. | Three dimensional measurement apparatus |
JP2002296017A (en) * | 2001-03-30 | 2002-10-09 | Nec Corp | Inspection device and inspecting method for semiconductor integrated circuit |
JP2003524158A (en) * | 2000-01-07 | 2003-08-12 | サイバーオプティクス コーポレーション | Inspection device that captures video without being affected by vibration |
JP2003269935A (en) * | 2002-03-18 | 2003-09-25 | Hamano Engineering:Kk | Measurement method of three-dimensional surface shape, measurement device for three-dimensional surface shape, computer program and computer program recording medium |
JP2004504586A (en) * | 2000-07-13 | 2004-02-12 | ベルス・メステヒニーク・ゲーエムベーハー | A method for contactless measurement of object geometry. |
US6738516B1 (en) | 1998-06-18 | 2004-05-18 | Minolta Co., Ltd. | Monitor display apparatus |
US6788807B1 (en) | 1998-02-13 | 2004-09-07 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
JP2005533264A (en) * | 2002-07-19 | 2005-11-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Distance measuring device and distance measuring method |
EP1780502A2 (en) * | 2005-10-26 | 2007-05-02 | Mathias Reiter | Method and device for determining the shape of an object |
JP2008020399A (en) * | 2006-07-14 | 2008-01-31 | Omron Corp | Displacement sensor |
US7492398B1 (en) | 1998-09-29 | 2009-02-17 | Minolta Co., Ltd | Three-dimensional input apparatus and image sensing control method |
JP2009205360A (en) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | Vehicle obstacle detection device and vehicle obstacle detection method |
JP2011002378A (en) * | 2009-06-19 | 2011-01-06 | Wakayama Univ | Memory board for measuring device employing whole-space tabulation method, photographing device for measuring device, measuring device and minute displacement measuring device |
JP2013024713A (en) * | 2011-07-20 | 2013-02-04 | Toray Eng Co Ltd | Device and method for observing and evaluating sheet material end |
WO2020184269A1 (en) * | 2019-03-11 | 2020-09-17 | 国立大学法人東京工業大学 | Ranging sensor |
WO2024134967A1 (en) * | 2022-12-23 | 2024-06-27 | パナソニックIpマネジメント株式会社 | Measuring device |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005031252A1 (en) | 2003-09-25 | 2005-04-07 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape determining apparatus, three-dimensional shape determining system, and three-dimensional shape determining program |
WO2005031253A1 (en) | 2003-09-29 | 2005-04-07 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape measuring device, imaging device, and three-dimensional shape measuring program |
JP2005148813A (en) | 2003-11-11 | 2005-06-09 | Brother Ind Ltd | Three-dimensional shape detecting device, image pickup device and three-dimensional shape detecting program |
-
1993
- 1993-12-20 JP JP32024593A patent/JP3282331B2/en not_active Expired - Lifetime
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529280B1 (en) | 1995-11-17 | 2003-03-04 | Minolta Co., Ltd. | Three-dimensional measuring device and three-dimensional measuring method |
US6141105A (en) * | 1995-11-17 | 2000-10-31 | Minolta Co., Ltd. | Three-dimensional measuring device and three-dimensional measuring method |
JPH09325010A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
US6049385A (en) * | 1996-06-05 | 2000-04-11 | Minolta Co., Ltd. | Three dimensional measurement system and pickup apparatus |
US6172755B1 (en) | 1996-06-05 | 2001-01-09 | Minolta Company, Ltd. | Three dimensional measurement system and pickup apparatus |
JPH09325009A (en) * | 1996-06-05 | 1997-12-16 | Minolta Co Ltd | Three-dimensional measuring device |
US6204916B1 (en) | 1998-02-03 | 2001-03-20 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
US6788807B1 (en) | 1998-02-13 | 2004-09-07 | Minolta Co., Ltd. | Three dimensional information measurement method and apparatus |
US6233049B1 (en) | 1998-03-25 | 2001-05-15 | Minolta Co., Ltd. | Three-dimensional measurement apparatus |
US6252659B1 (en) | 1998-03-26 | 2001-06-26 | Minolta Co., Ltd. | Three dimensional measurement apparatus |
US6738516B1 (en) | 1998-06-18 | 2004-05-18 | Minolta Co., Ltd. | Monitor display apparatus |
US7492398B1 (en) | 1998-09-29 | 2009-02-17 | Minolta Co., Ltd | Three-dimensional input apparatus and image sensing control method |
JP2003524158A (en) * | 2000-01-07 | 2003-08-12 | サイバーオプティクス コーポレーション | Inspection device that captures video without being affected by vibration |
JP2004504586A (en) * | 2000-07-13 | 2004-02-12 | ベルス・メステヒニーク・ゲーエムベーハー | A method for contactless measurement of object geometry. |
JP2002296017A (en) * | 2001-03-30 | 2002-10-09 | Nec Corp | Inspection device and inspecting method for semiconductor integrated circuit |
JP2003269935A (en) * | 2002-03-18 | 2003-09-25 | Hamano Engineering:Kk | Measurement method of three-dimensional surface shape, measurement device for three-dimensional surface shape, computer program and computer program recording medium |
JP2010156711A (en) * | 2002-07-19 | 2010-07-15 | Robert Bosch Gmbh | Device and method for distance measurement |
JP2005533264A (en) * | 2002-07-19 | 2005-11-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Distance measuring device and distance measuring method |
JP4709546B2 (en) * | 2002-07-19 | 2011-06-22 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Distance measuring device and distance measuring method |
EP1780502A2 (en) * | 2005-10-26 | 2007-05-02 | Mathias Reiter | Method and device for determining the shape of an object |
EP1780502A3 (en) * | 2005-10-26 | 2007-06-06 | Mathias Reiter | Method and device for determining the shape of an object |
JP2008020399A (en) * | 2006-07-14 | 2008-01-31 | Omron Corp | Displacement sensor |
JP2009205360A (en) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | Vehicle obstacle detection device and vehicle obstacle detection method |
JP2011002378A (en) * | 2009-06-19 | 2011-01-06 | Wakayama Univ | Memory board for measuring device employing whole-space tabulation method, photographing device for measuring device, measuring device and minute displacement measuring device |
JP2013024713A (en) * | 2011-07-20 | 2013-02-04 | Toray Eng Co Ltd | Device and method for observing and evaluating sheet material end |
WO2020184269A1 (en) * | 2019-03-11 | 2020-09-17 | 国立大学法人東京工業大学 | Ranging sensor |
JP2020148475A (en) * | 2019-03-11 | 2020-09-17 | 国立大学法人東京工業大学 | Ranging sensor |
WO2024134967A1 (en) * | 2022-12-23 | 2024-06-27 | パナソニックIpマネジメント株式会社 | Measuring device |
Also Published As
Publication number | Publication date |
---|---|
JP3282331B2 (en) | 2002-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3282331B2 (en) | 3D shape measuring device | |
US5668631A (en) | Measuring system with improved method of reading image data of an object | |
US6407817B1 (en) | Measuring system with improved method of reading image data of an object | |
US6816199B1 (en) | Focus detecting device | |
US7053350B2 (en) | Autofocus control apparatus and method | |
CN109155842A (en) | The control method of stereoscopic camera and stereoscopic camera | |
US20050012833A1 (en) | Image capturing apparatus | |
EP2709352B1 (en) | Image pickup apparatus, image pickup system and method of controlling image pickup apparatus | |
JP4983271B2 (en) | Imaging device | |
US5838370A (en) | Image pickup apparatus | |
US6233049B1 (en) | Three-dimensional measurement apparatus | |
JP4858179B2 (en) | Focus detection apparatus and imaging apparatus | |
JPH11122517A (en) | Image pickup device and storage medium read by computer | |
JP2001221621A (en) | Three-dimensional shape-measuring device | |
US20020015103A1 (en) | System and method of capturing and processing digital images with depth channel | |
JP3282332B2 (en) | Image input system | |
JPH07174538A (en) | Image input camera | |
JPH11271030A (en) | Three-dimensional measuring apparatus | |
JP2001201329A (en) | Three-dimensional shape measuring apparatus | |
JP3360505B2 (en) | Three-dimensional measuring method and device | |
JPH07281080A (en) | Camera | |
JP3733625B2 (en) | Imaging device for 3D measurement | |
JP3861475B2 (en) | 3D input device | |
JP4212138B2 (en) | 3D measuring device | |
JPH10164413A (en) | Image-pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080301 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100301 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110301 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130301 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140301 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |