JP4410603B2 - 3D information detection method and apparatus - Google Patents
3D information detection method and apparatus Download PDFInfo
- Publication number
- JP4410603B2 JP4410603B2 JP2004152162A JP2004152162A JP4410603B2 JP 4410603 B2 JP4410603 B2 JP 4410603B2 JP 2004152162 A JP2004152162 A JP 2004152162A JP 2004152162 A JP2004152162 A JP 2004152162A JP 4410603 B2 JP4410603 B2 JP 4410603B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- intensity
- modulated light
- light
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Description
本発明は、3次元情報検出方法及びその装置に関し、特に、被写体の奥行き形状を検出し3次元情報を取得する3次元情報検出方法及びその装置に関する。 The present invention relates to a three-dimensional information detection method and apparatus, and more particularly to a three-dimensional information detection method and apparatus for detecting a depth shape of a subject and acquiring three-dimensional information.
被写体の3次元位置もしくは奥行き距離(以下、「奥行き距離」を単に「距離」という)検出方法には、三角測量法や干渉法、光飛行時間計測法、モアレ法など数多くの方式がある。しかし、被写体の距離画像を高速に取得する技術の実現例は数少ない。例えば、ステレオカメラによる方法(非特許文献1参照)や、光切断計測方法(非特許文献2参照)などがある。 There are many methods for detecting a three-dimensional position or depth distance of an object (hereinafter, “depth distance” is simply referred to as “distance”), such as a triangulation method, an interference method, an optical flight time measurement method, and a moire method. However, there are few implementation examples of the technology for acquiring the distance image of the subject at high speed. For example, there are a method using a stereo camera (see Non-Patent Document 1), a light cutting measurement method (see Non-Patent Document 2), and the like.
また、特許文献1には、光の飛行時間計測を基本原理とし、強度変調光と高速シャッタを使った方法で、高速に距離を算出することが記載されている。
ステレオカメラによる方法、即ち、ステレオカメラで得られた画像より3次元位置を検出するには、複雑な画像演算処理が必要であるため、画像の高精細化が難しい。また、オクルージョン(視点の妨害)の問題とともに、特徴点のない被写体では画像のマッチングが困難であり、距離検出できないという問題がある。 In order to detect a three-dimensional position from a method using a stereo camera, that is, from an image obtained by a stereo camera, complicated image calculation processing is required, so that it is difficult to increase the definition of the image. In addition to the problem of occlusion (viewpoint obstruction), there is a problem in that it is difficult to match images on a subject without a feature point, and distance cannot be detected.
また、光切断計測方法、即ち、スリット状のレーザービームを走査し、CMOSセンサで受光し、三角測量の原理に従って距離を求める方法では、スリット状のレーザービームをスキャン走査するため、機械的な駆動部が必要である。さらに、センサの感度に必要な反射光量を得るために、一般に高い光強度のレーザー光照射が必要であり、被写体が人物の場合には、安全性に問題がある。さらに、カメラと光源の位置が離れているため、照明の影になる被写体部分の距離は検出できないという問題がある。 In the light cutting measurement method, that is, a method in which a slit-shaped laser beam is scanned, received by a CMOS sensor, and a distance is obtained according to the principle of triangulation, the slit-shaped laser beam is scanned and scanned. Department is necessary. Furthermore, in order to obtain the amount of reflected light necessary for the sensitivity of the sensor, it is generally necessary to irradiate a laser beam with a high light intensity. When the subject is a person, there is a problem in safety. Furthermore, since the camera and the light source are separated from each other, there is a problem that the distance of the subject portion that becomes the shadow of the illumination cannot be detected.
これに対して、強度変調光と高速シャッタを使った方法では、距離算出演算が容易であるとともに、照射光の機械的な走査機構が不要である。さらに、この方式では、急峻なパルス光ではなく比較的緩やかに増加/減少する強度変調光を用いているため、レーザー光源と比較し強度変調の周波数特性は低いものの自然光に近いインコヒーレントなLED(発光ダイオード)光が応用でき、被写体が人物の場合にも安全な撮影が可能である。 On the other hand, the method using the intensity-modulated light and the high-speed shutter makes it easy to calculate the distance and does not require a mechanical scanning mechanism for the irradiation light. Furthermore, in this method, since intensity modulated light that increases / decreases relatively slowly is used instead of steep pulsed light, the frequency characteristics of intensity modulation are low compared to a laser light source, but an incoherent LED close to natural light ( (Light-emitting diode) Light can be applied, and safe shooting is possible even when the subject is a person.
しかし、特許文献1には、距離画像の算出の基となる画像のノイズを低減する具体的な方法については考慮されていないという問題があった。
However,
本発明は、上記の点に鑑みなされたもので、距離画像の算出の基となる画像のノイズを所定時間内に効率よく低減できる3次元情報検出方法及びその装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a three-dimensional information detection method and apparatus that can efficiently reduce noise of an image that is a basis for calculation of a distance image within a predetermined time. .
請求項1に記載の発明は、第1の強度変調光と、時間に対する強度変化の割合が前記第1の強度変調光と異なる第2の強度変調光を切り替えて被写体に照射し、
高速シャッタを通して前記被写体からの反射光を撮影し、前記第1の強度変調光の照射時の第1画像と前記第2の強度変調光の照射時の第2画像を取得し、
前記第1画像の輝度信号レベルと第2画像の輝度信号レベルそれぞれを基に、画像蓄積型フィルタにおける前記第1画像と第2画像それぞれの画像蓄積数を制御してノイズ低減を行い、
前記画像蓄積型フィルタの出力する第1画像と第2画像間の強度比から距離画像を算出することにより、画像のノイズを所定時間内に効率よく低減することができる。
According to the first aspect of the present invention, the first intensity-modulated light and the second intensity-modulated light whose rate of intensity change with respect to time is different from the first intensity-modulated light are switched to irradiate the subject,
The reflected light from the subject is photographed through a high-speed shutter, and a first image at the time of irradiation of the first intensity-modulated light and a second image at the time of irradiation of the second intensity-modulated light are acquired,
Based on each of the luminance signal level of the first image and the luminance signal level of the second image, noise reduction is performed by controlling the image accumulation number of each of the first image and the second image in the image accumulation filter,
By calculating the distance image from the intensity ratio between the first image and the second image output from the image storage filter, the noise of the image can be efficiently reduced within a predetermined time.
請求項2に記載の発明は、第1の強度変調光と、時間に対する強度変化の割合が前記第1の強度変調光と異なる第2の強度変調光を切り替えて被写体に照射する強度変調光照射手段と、
高速シャッタを備え前記被写体からの反射光を撮影して、前記第1の強度変調光の照射時の第1画像と前記第2の強度変調光の照射時の第2画像を取得する撮影手段と、
前記第1画像の輝度信号レベルと第2画像の輝度信号レベルそれぞれを基に、前記第1画像と第2画像それぞれの画像蓄積数を制御してノイズ低減を行うリカーシブフィルタ手段と、
前記リカーシブフィルタ手段の出力する第1画像と第2画像間の強度比から距離画像を算出する距離画像演算手段を有することにより、請求項1の発明を実現でき、画像のノイズを所定時間内に効率よく低減することができる。
According to the second aspect of the present invention, the first intensity-modulated light and the intensity-modulated light irradiation for irradiating the subject by switching between the second intensity-modulated light whose intensity change rate with respect to time is different from that of the first intensity-modulated light. Means,
A photographing unit that includes a high-speed shutter and photographs reflected light from the subject to obtain a first image when the first intensity-modulated light is irradiated and a second image when the second intensity-modulated light is irradiated; ,
Based on the respective luminance signal level of the luminance signal level and a second image of the first image, a recursive filter means for performing noise reduction by controlling the image storage number of each of the first and second images,
By having a distance image calculation means for calculating a distance image from the intensity ratio between the first image and the second image output from the recursive filter means, the invention of
請求項3に記載の発明は、請求項2記載の3次元情報検出装置において、
前記リカーシブフィルタ手段は、前記第1画像の画像蓄積数に応じて前記第1画像に対するフィルタ係数を可変し、前記第2画像の画像蓄積数に応じて前記第2画像に対するフィルタ係数を可変することにより、画像のノイズを更に効率よく低減することができる。
The invention according to claim 3 is the three-dimensional information detection apparatus according to claim 2,
The recursive filter means varies a filter coefficient for the first image according to the number of accumulated images of the first image , and varies a filter coefficient for the second image according to the number of accumulated images of the second image. As a result, image noise can be reduced more efficiently.
請求項4に記載の発明は、請求項2または3記載の3次元情報検出装置において、
前記強度変調光照射手段は、前記第1の強度変調光と第2の強度変調光を前記第1画像及び第2画像の画像蓄積数に基づいて切り替えて前記被写体に照射することにより、第1画像及び第2画像の画像蓄積数を可変できる。
The invention according to claim 4 is the three-dimensional information detection apparatus according to claim 2 or 3,
The intensity-modulated light irradiating means switches the first intensity-modulated light and the second intensity-modulated light based on the number of accumulated images of the first image and the second image and irradiates the subject with the first intensity-modulated light irradiation means. The number of images stored in the image and the second image can be varied.
本発明によれば、距離画像の算出の基となる画像のノイズを所定時間内に効率よく低減できる。 According to the present invention, it is possible to efficiently reduce noise in an image that is a basis for calculating a distance image within a predetermined time.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明方法を適用した3次元情報検出装置の一実施形態のブロック図を示す。同図中、信号発生器10は例えば三角波等の光強度変調信号を発生してスイッチ12に供給する。スイッチ12は2つの出力端子を有し、一方の出力端子は直接光源部16に接続され、他方の出力端子はディレイライン14を介して光源部16に接続されている。スイッチ12のスイッチングにより、変調位相が例えば180度異なる光強度変調信号が光源部16に供給される。
FIG. 1 shows a block diagram of an embodiment of a three-dimensional information detection apparatus to which the method of the present invention is applied. In the figure, the
光源部16は光強度変調信号に応じて変調された強度変調光17を被写体18に照射し、被写体18からの反射光19が高速シャッタ付きカメラ20により撮影される。カメラ20の出力する映像信号はスイッチ22によりスイッチングされてフィルタ処理部24,26のいずれか一方に供給される。このスイッチ22はスイッチ12と同期しており、180度位相が異なる強度変調光を照射した時点の画像がそれぞれフィルタ処理部24,26に供給される。
The
フィルタ処理部24,26それぞれは、180度位相が異なる強度変調光を照射した時点の各画像のフィルタ処理を行い、フィルタ処理後の各画像を距離画像演算装置28に供給すると共に、フィルタ処理後の各画像の輝度値からスイッチング制御信号を生成してスイッチ12,22に供給する。距離画像演算装置28はフィルタ処理後の各画像(180度位相が異なる強度変調光を照射した時点の画像)から距離画像を求め、距離画像の映像信号として出力する。
Each of the
ここで、カメラ20の出力する映像信号の主なノイズ要因は、高速シャッタに使用しているイメージインテンシファイアのショットノイズであるため、画像蓄積を行うことによりノイズを低減することができる。画像蓄積加算では、蓄積枚数Nに対し、ノイズ成分は1/(√N)倍に低減される。しかし、単なる画像蓄積加算方式では画像数が多い場合、メモリが飽和してしまう。
Here, since the main noise factor of the video signal output from the
そこで、ある程度、動く被写体を対象とする場合、画像蓄積型フィルタの一つであるリカーシブフィルタ(参考文献1:R.H.Mcmann,S.Kreinik,J.K.Moore,A.Kaiser,and J.Rossi,“A digital noise reducer for encoded NTSC signal”J.SMPTE,Vol.87,pp.129−133,March 1978)が有効である。 Therefore, when a subject that moves to some extent is targeted, a recursive filter that is one of image accumulation filters (Reference 1: RH Mcmann, S. Kreinik, JK Moore, A. Kaiser, and J Rossi, “A digital noise reducer for encoded NTSC signal” J. SMPTE, Vol. 87, pp. 129-133, March 1978) is effective.
このリカーシブフィルタは、画像数が増えてもメモリが飽和せず、フィルタ係数により検出時定数が可変できるため、動画像撮影のノイズ低減にも使用できる(参考文献2:二宮祐一,大塚吉道“動き補正型ノイズリデューサー、”テレビジョン学会誌、Vo1.39、No.10、pp.956−962,October 1985)。 This recursive filter does not saturate the memory even when the number of images increases, and the detection time constant can be varied by the filter coefficient, so it can be used for noise reduction in moving image shooting (Reference 2: Yuichi Ninomiya, Yoshimichi Otsuka “ Motion correction type noise reducer, “Journal of Television Society, Vo 1.39, No. 10, pp. 956-962, October 1985).
本発明では、フィルタ処理部24,26それぞれをリカーシブフィルタで構成し、強度変調光の光強度が時間と共に増加する増加変調光時に撮影した第1画像V+をフィルタ処理部24にてフィルタ処理し、強度変調光の光強度が時間と共に減少する減少変調光時に撮影した第2画像V−をフィルタ処理部26にてフィルタ処理する。
In the present invention, each of the
図2は、フィルタ処理部24,26の一実施形態のブロック図を示す。フィルタ処理部24,26それぞれは、カメラ20の撮影画像の映像信号からフレームメモリ36の出力する画像の映像信号を減算する減算器30と、減算器30の出力信号にフィルタ係数nの逆数である係数1/nを乗算する乗算器32と、乗算器32の出力信号にフレームメモリ36の出力する画像の映像信号を加算する加算器34と、加算器34の出力信号を格納するフレームメモリ36と、加算器34の出力信号をフレームメモリ36と外部への出力とに分配する分配器38から構成されている。
FIG. 2 shows a block diagram of an embodiment of the
カメラの出力する映像信号をV+とすると、フィルタ処理部24の出力信号は、(1)式で表わされる。
Assuming that the video signal output from the camera is V + , the output signal of the
一方、本発明では、増加変調光時の撮影画像V+=V1±δ1と、減少変調光時の撮影画像V−=V2±δ2(V1,V2はノイズを含まない画像、δ1,δ2はノイズ成分)とすると、距離画像Dは(3)式で表わされる。 On the other hand, in the present invention, the captured image V + = V 1 ± δ 1 in the case of increasing modulated light and the captured image V − = V 2 ± δ 2 in the case of decreasing modulated light (V 1 and V 2 are images that do not contain noise. , Δ 1 and δ 2 are noise components), the distance image D is expressed by the equation (3).
一般に、画像V+と画像V−はSN比が異なるため、限られた時間内で効率よくノイズを低減すためには、SN比が低い画像を重点的に改善することが有効である。そのために、各画像蓄積数t1,t2を、各画像の輝度値もしくはSN比を参考にして最適に制御する。 In general, since the image V + and the image V − have different SN ratios, it is effective to intensively improve an image having a low SN ratio in order to efficiently reduce noise within a limited time. For this purpose, the image accumulation numbers t 1 and t 2 are optimally controlled with reference to the luminance value or SN ratio of each image.
次に、画像の取得数を最適化した場合の効果を以下に見積もる。画像V+,V−のSN比がδ2/V2=k(δ1/V1)の比率である場合、フィルタ処理の前後のノイズ低減率rは(7)式で表わされる。 Next, the effect when the number of acquired images is optimized is estimated as follows. When the SN ratio of the images V + and V − is a ratio of δ 2 / V 2 = k (δ 1 / V 1 ), the noise reduction rate r before and after the filter processing is expressed by the equation (7).
カメラ20の撮影条件が一定であれば、カメラ20で撮影した画像の輝度信号レベルとノイズレベルは1対1の関係にある。つまり、画像の輝度信号レベル対SN比も1対1の関係にある。図3に、画像の輝度レベル対SN比の測定例を示す。この関係を事前に測定していれば、撮影画像の輝度信号レベルから、その画像のSN比とSN比の比率kが得られ、(10)式から画像蓄積数t1,t2が得られる。
If the shooting conditions of the
従って、画像の画像蓄積数t1,t2は、最初に取得する画像V+,V−のSN比より決定する。最初に取得しフィルタ処理部24,26それぞれのフレームメモリ36に格納した増加変調光時,減少変調光時それぞれの画像F1の輝度レベルより各撮影画像V+,V−の画像蓄積数t1,t2を決定できる。なお、この際の輝度信号レベルは、画像内の注目する被写体部分の値を使用する。
Therefore, the image accumulation numbers t 1 and t 2 are determined from the SN ratio of the images V + and V − acquired first. The number of image accumulations t 1 of each photographed image V + , V − based on the luminance level of the image F 1 at the time of increasing modulated light and decreasing modulated light, which are first acquired and stored in the
各画像の画像蓄積数の制御は、図1に示すように各フィルタ処理部24,26それぞれの出力値を基に最適な画像蓄積数t1,t2を求め、スイッチ12,22にそれぞれの制御信号を供給する。スイッチ12は上記制御信号に応じて強度変調信号を切替え、これに同期して、スイッチ22は上記制御信号に応じてカメラ20の撮影画像V+,V−の切替えを行う。
Image storage number of the control of each image obtains the optimum image accumulated number t 1, t 2 based on the output values of the
以上の説明では、係数1/nは撮影画像V+,V−について同一として説明したが、この係数1/nを画像蓄積数t1,t2それぞれに応じて係数1/n1,1/n2と変えることで、画像蓄積数t1,t2内で最大限のノイズ低減を行うことができる。
In the above description, +
(5)式において画像蓄積数t1が与えられると、a1を最小にする係数1/n1の値が決まる。画像蓄積数t1とフィルタ係数n1の関係は図4に示すようになる。なお、図4の関係は画像蓄積数t1が100以下の領域では、n1=0.32t1+2.55により近似できる。これは、(6)式についても同じであり、画像蓄積数t2が与えられると、a2を最小にする係数1/n2の値が決まる。
When the image accumulation number t 1 is given in the equation (5), the value of the
その効果を計算すると、SN比の比率k=3、係数1/n=1/32、画像の総蓄積数T=50、画像蓄積数t1=8、画像蓄積数t2=42の場合、係数1/nの値を変化させないと、ノイズ低減率r=0.38である。これに対して、係数1/n1=5.1,係数1/n2=16.0と最適化すると、ノイズ低減率r=0.20となり、係数1/nの最適化の効果があることがわかる。
When the effect is calculated, when the S / N ratio k = 3, the
図5は、本発明方法を適用した3次元情報検出装置の一実施形態の具体的なブロック図を示す。同図中、光源部40として出力光強度1W、波長850nmのLEDアレイ光源を使用し、周波数45MHzで強度変調した強度変調光41を被写体に照射した。反射光43をカメラレンズ44により集光し、ダイクロイックプリズム46でイメージインテンシファイア48に結像入力する。
FIG. 5 shows a specific block diagram of an embodiment of a three-dimensional information detection apparatus to which the method of the present invention is applied. In the figure, an LED array light source having an output light intensity of 1 W and a wavelength of 850 nm was used as the
イメージインテンシファイア48は、近赤外光のみに高速シャッタ機構を有し、時間幅2nsec、繰り返し周波数45MHzのシャッタ動作を行った。このイメージインテンシファイア48の蛍光面からの出力光を距離検出用CCDカメラ50で撮影し、データ取得用のパーソナルコンピュータ52に供給し、パーソナルコンピュータ52上のソフトウエアでフィルタ処理部24,26のフィルタ処理を行った。
The
一方、可視の反射光43は、ダイクロイックプリズム46を通過し、カラーカメラ54により撮影され、通常のカラー画像の映像信号が出力される。被写体42は2m先の平坦なプレートを用い、CCDカメラ50の出力する撮影画像V+,V−を、10ビットのサンプリング分解能でデータ取り込みを行った。撮影画像V+,V−それぞれの輝度信号レベルは392mV,205mV、撮影画像V+,V−それぞれのノイズレベルは6.3mVrms,9.5mVrmsの場合で測定を行った。
On the other hand, the visible reflected light 43 passes through the
画像V+,V−の総蓄積数T(=t1+t2)と、距離画像のノイズ低減率rの関係を図6に示す。ここでは、画像蓄積数t1,t2とフィルタ係数n1,n2を共に最適化しない場合の計算結果(破線)及び実験結果(黒角点)、画像蓄積数t1,t2のみを最適化した場合の計算結果(一点鎖線)及び実験結果(黒三角点)、画像蓄積数t1,t2とフィルタ係数n1,n2を共に最適化した場合の計算結果(二点差線)及び実験結果(黒丸点)をそれぞれ示している。
FIG. 6 shows the relationship between the total accumulation number T (= t 1 + t 2 ) of the images V + and V − and the noise reduction rate r of the distance image. Here, the
この結果、画像の総蓄積数Tが16フレームのとき、最適化しない場合は実験結果のノイズ低減率rは0.68であるのに対し、画像蓄積数のみの最適化で実験結果のノイズ低減率rは0.59に低減され、画像蓄積数とフィルタ係数の最適化で実験結果のノイズ低減率rは0.39に低減された。 As a result, when the total accumulated number T of images is 16 frames, the noise reduction rate r of the experimental result is 0.68 when not optimized, whereas the noise reduction of the experimental result is optimized by optimizing only the accumulated number of images. The rate r was reduced to 0.59, and the noise reduction rate r as an experimental result was reduced to 0.39 by optimizing the number of accumulated images and filter coefficients.
このように、本実施形態によれば、所定の時間内に効率よくノイズを低減できる。このノイズの低減により、従来、数cmであった距離検出分解能を、数mmオーダまで向上でき、形状計測など幅広い分野への応用が可能となる。 Thus, according to this embodiment, noise can be efficiently reduced within a predetermined time. By reducing this noise, the distance detection resolution, which was conventionally several centimeters, can be improved to the order of several millimeters, and can be applied to a wide range of fields such as shape measurement.
ここで、距離画像演算装置28が実行する距離画像演算処理の一例について簡単に説明する。ここでは、強度変調光として時間と共に光強度が増加及び減少する光と、高速シャッタ機構を持つカメラ(イメージインテンシファイア48とCCDカメラ50に対応)による距離検出方法について説明する。なお、イメージインテンシファイア48は、光電変換面、マイクロチャンネルプレート(MCP)、蛍光面から構成され、光電変換面とMCP間の印加電圧の値を制御することで、時間と共に撮像感度を高速に変化でき、印加電圧をパルス形状とすることで短時間のゲート撮像も可能となる。
Here, an example of the distance image calculation process executed by the distance
距離dに置かれた被写体に、図7(A)に示すように、時間と共に係数sで光強度が増加する強度変調光A1を照射し、被写体からの反射光A2を時刻tsにパルス状撮像ゲインA3で短時間撮像した場合、CCDカメラ50で検出される信号量E+(d,ts)は、(11)式で表される。
As shown in FIG. 7A, the subject placed at the distance d is irradiated with intensity-modulated light A1 whose light intensity increases with a factor s over time, and the reflected light A2 from the subject is pulsed at time ts. When the image is captured for a short time with the gain A3, the signal amount E + (d, ts) detected by the
次に、図7(B)に示すように、時間と共に係数sで光強度が減少する強度変調光A4を照射し、被写体からの反射光A5を時刻tsにパルス状撮像ゲインA3で短時間撮像した場合、CCDカメラ50で検出される信号量E−(d,ts)は、(12)式で表される。
Next, as shown in FIG. 7B, the intensity-modulated light A4 whose light intensity decreases with a coefficient s with time is irradiated, and the reflected light A5 from the subject is imaged for a short time with the pulsed imaging gain A3 at time ts. In this case, the signal amount E− (d, ts) detected by the
(11)式と(12)式より、光強度の異なる2枚の画像間での強度比R=E+/E−をとり、距離dを求めると、(13)式となる。 From equation (11) and equation (12), the intensity ratio R = E + / E− between two images having different light intensities is taken and the distance d is obtained as equation (13).
距離画像演算装置28は、フィルタ処理部24から光強度が増加する強度変調光の照射時に短時間撮像した被写体画像を読み出し、フィルタ処理部26から光強度が減少する強度変調光の照射時に短時間撮像した被写体画像を読み出す。 距離画像演算装置28は、読み出した信号の画像の輝度調整や、画像全体にある一定の輝度レベルを付加するためのセットアップ調整を行ったのち、(13)式の演算を行って距離dを算出し、距離を明暗で表す距離映像信号を得る。更に、距離画像演算装置28は、距離映像信号を所望のテレビジョン信号規格に変換して出力する。
The distance
なお、信号発生器10,スイッチ12,光源部16が請求項記載の強度変調光照射手段に対応し、高速シャッタ付きカメラ20が撮影手段に対応し、フィルタ処理部24,26がリカーシブフィルタ手段に対応し、距離画像演算装置28が距離画像演算手段に対応する。
The
本発明方法を適用した3次元情報検出装置は、被写体のカラー画像と共に奥行き距離情報が取得できる3次元カメラとして各分野に応用できる。その一例として、テレビジョン放送用カメラとしては、距離情報を基にした画像の抽出や合成など、また、立体テレビジョン用のカメラとしても適用できる。更に、3次元モデリング、医療診断、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などの分野に適用できる。 A three-dimensional information detection apparatus to which the method of the present invention is applied can be applied to various fields as a three-dimensional camera capable of acquiring depth distance information together with a color image of a subject. As an example, a television broadcast camera can be applied to extraction and synthesis of images based on distance information, and a stereoscopic television camera. In addition, three-dimensional modeling, medical diagnosis, observation in equipment such as automobiles, aviation, space, and ships, inspections in gas pipes, exhaust outlets, water pipes, boilers, turbines, investigations in ancient tombs and ruins, Applicable to fields such as observation of animal ecology.
10 信号発生器
12,22 スイッチ
14 ディレイライン
16,40 光源部
17 強度変調光
18,42 被写体
19,43 反射光
20 高速シャッタ付きカメラ
24,26 フィルタ処理部
28 距離画像演算装置
30 減算器
32 乗算器
34 加算器
36 フレームメモリ
38 分配器
44 カメラレンズ
46 ダイクロイックプリズム
48 イメージインテンシファイア
50 CCDカメラ
52 パーソナルコンピュータ
DESCRIPTION OF
Claims (4)
高速シャッタを通して前記被写体からの反射光を撮影し、前記第1の強度変調光の照射時の第1画像と前記第2の強度変調光の照射時の第2画像を取得し、
前記第1画像の輝度信号レベルと第2画像の輝度信号レベルそれぞれを基に、画像蓄積型フィルタにおける前記第1画像と第2画像それぞれの画像蓄積数を制御してノイズ低減を行い、
前記画像蓄積型フィルタの出力する第1画像と第2画像間の強度比から距離画像を算出することを特徴とする3次元情報検出方法。 The first intensity-modulated light and the second intensity-modulated light whose rate of intensity change with respect to time is different from the first intensity-modulated light are switched to irradiate the subject,
The reflected light from the subject is photographed through a high-speed shutter, and a first image at the time of irradiation of the first intensity-modulated light and a second image at the time of irradiation of the second intensity-modulated light are acquired,
Based on each of the luminance signal level of the first image and the luminance signal level of the second image, noise reduction is performed by controlling the image accumulation number of each of the first image and the second image in the image accumulation filter,
A three-dimensional information detection method, wherein a distance image is calculated from an intensity ratio between a first image and a second image output from the image storage filter.
高速シャッタを備え前記被写体からの反射光を撮影して、前記第1の強度変調光の照射時の第1画像と前記第2の強度変調光の照射時の第2画像を取得する撮影手段と、
前記第1画像の輝度信号レベルと第2画像の輝度信号レベルそれぞれを基に、前記第1画像と第2画像それぞれの画像蓄積数を制御してノイズ低減を行うリカーシブフィルタ手段と、
前記リカーシブフィルタ手段の出力する第1画像と第2画像間の強度比から距離画像を算出する距離画像演算手段を
有することを特徴とする3次元情報検出装置。 Intensity modulated light irradiating means for irradiating the subject by switching between the first intensity modulated light and a second intensity modulated light having a rate of intensity change with respect to time different from the first intensity modulated light
A photographing unit that includes a high-speed shutter and photographs reflected light from the subject to obtain a first image when the first intensity-modulated light is irradiated and a second image when the second intensity-modulated light is irradiated; ,
Based on the respective luminance signal level of the luminance signal level and a second image of the first image, a recursive filter means for performing noise reduction by controlling the image storage number of each of the first and second images,
3. A three-dimensional information detection apparatus comprising distance image calculation means for calculating a distance image from an intensity ratio between the first image and the second image output from the recursive filter means.
前記リカーシブフィルタ手段は、前記第1画像の画像蓄積数に応じて前記第1画像に対するフィルタ係数を可変し、前記第2画像の画像蓄積数に応じて前記第2画像に対するフィルタ係数を可変することを特徴とする3次元情報検出装置。 The three-dimensional information detection apparatus according to claim 2,
The recursive filter means varies a filter coefficient for the first image according to the number of accumulated images of the first image , and varies a filter coefficient for the second image according to the number of accumulated images of the second image. A three-dimensional information detection apparatus characterized by
前記強度変調光照射手段は、前記第1の強度変調光と第2の強度変調光を前記第1画像及び第2画像の画像蓄積数に基づいて切り替えて前記被写体に照射することを特徴とする3次元情報検出装置。 The three-dimensional information detection apparatus according to claim 2 or 3,
The intensity-modulated light irradiating means switches the first intensity-modulated light and the second intensity-modulated light based on the number of accumulated images of the first image and the second image and irradiates the subject. Three-dimensional information detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152162A JP4410603B2 (en) | 2004-05-21 | 2004-05-21 | 3D information detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004152162A JP4410603B2 (en) | 2004-05-21 | 2004-05-21 | 3D information detection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005331476A JP2005331476A (en) | 2005-12-02 |
JP4410603B2 true JP4410603B2 (en) | 2010-02-03 |
Family
ID=35486221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004152162A Expired - Fee Related JP4410603B2 (en) | 2004-05-21 | 2004-05-21 | 3D information detection method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4410603B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4769079B2 (en) * | 2005-12-15 | 2011-09-07 | 日本放送協会 | Camera information analyzer |
JP5133614B2 (en) * | 2007-06-22 | 2013-01-30 | 株式会社ブリヂストン | 3D shape measurement system |
JP2010175435A (en) * | 2009-01-30 | 2010-08-12 | Nippon Hoso Kyokai <Nhk> | Three-dimensional information detecting apparatus and three-dimensional information detecting method |
WO2014080937A1 (en) | 2012-11-21 | 2014-05-30 | 三菱電機株式会社 | Image generation device |
-
2004
- 2004-05-21 JP JP2004152162A patent/JP4410603B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005331476A (en) | 2005-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5448617B2 (en) | Distance estimation device, distance estimation method, program, integrated circuit, and camera | |
JP6764863B2 (en) | Distance measuring device | |
JP6241793B2 (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
TWI648549B (en) | Distance image generating device and distance image generating method | |
JP3840341B2 (en) | Three-dimensional information detection method and apparatus | |
JP4127411B1 (en) | Image processing apparatus and method | |
JP2009267436A (en) | Imaging apparatus, imaging method, program, recording medium, and integrated circuit | |
WO2015001770A1 (en) | Motion sensor device having plurality of light sources | |
JP4031306B2 (en) | 3D information detection system | |
JPWO2012164881A1 (en) | Image processing apparatus and image processing method | |
JP4802891B2 (en) | Distance measuring system and distance measuring method | |
JP2008116308A (en) | Method and apparatus for generating range image | |
KR20140121710A (en) | An 3D image apparatus and method for generating a depth image in the 3D image apparatus | |
US11954825B2 (en) | Image processing device and image processing method | |
JP2017118296A (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
US8391698B2 (en) | Systems and methods of generating Z-buffers for an image capture device of a camera | |
JP4831760B2 (en) | 3D information detection method and apparatus | |
CN111982023A (en) | Image capturing device assembly, three-dimensional shape measuring device, and motion detecting device | |
JP2017530344A (en) | Method and device for simplified detection of depth images | |
JP4410603B2 (en) | 3D information detection method and apparatus | |
JP2015046019A (en) | Image processing device, imaging device, imaging system, image processing method, program, and storage medium | |
JP7290485B6 (en) | Range image generator | |
JPWO2019171691A1 (en) | Image processing device, imaging device, and image processing method | |
CN112866596B (en) | Anti-strong light three-dimensional capturing method and system based on CMOS sensor | |
WO2021084891A1 (en) | Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4410603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |