JP6521470B1 - Information acquisition device - Google Patents
Information acquisition device Download PDFInfo
- Publication number
- JP6521470B1 JP6521470B1 JP2017236838A JP2017236838A JP6521470B1 JP 6521470 B1 JP6521470 B1 JP 6521470B1 JP 2017236838 A JP2017236838 A JP 2017236838A JP 2017236838 A JP2017236838 A JP 2017236838A JP 6521470 B1 JP6521470 B1 JP 6521470B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- function
- unit
- time
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置を提供する。【解決手段】焦点位置を移動可能に構成されており、対象の像を形成する光学系部10と、前記形成された像を光電変換する撮像部21を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部20と、前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部40と、を備え、光学系部10では、焦点位置を移動させながら対象の像を形成し、センサ部20は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像群を出力し、画像処理部40では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成する。【選択図】図1An information acquisition apparatus capable of obtaining both a depth map and an all-in-focus image at high speed with high accuracy. The optical system unit 10 is configured to move a focal position, and includes an optical system unit 10 that forms an image of an object, and an imaging unit 21 that photoelectrically converts the formed image. A sensor unit 20 outputting, as an image, a signal obtained by time-integrating a product with a reference signal based on the weight function, and an image processing unit 40 generating an all-in-focus image and a depth map of the object based on the output image; The optical system unit 10 forms an image of an object while moving the focal position, and the sensor unit 20 uses the constant function and the first function group as the predetermined load function to generate the time-integrated signal. The normal image and the first correlation image group are output, and the image processing unit 40 generates an omnifocal image based on the normal image, and the depth based on the generated omnifocal image and the first correlation image pair Generate a map . [Selected figure] Figure 1
Description
本発明は、時間相関イメージセンサを利用することで深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置に関する。 The present invention relates to an information acquisition apparatus capable of obtaining both a depth map and an all-in-focus image at high speed and with high accuracy by using a time correlation image sensor.
種々の産業応用が存在するカメラを用いた三次元形状計測に関して、種々の手法が提案されている。 Various methods have been proposed for three-dimensional shape measurement using a camera in which various industrial applications exist.
例えば、2つ以上のカメラ及び/又は画像を用いたステレオ再構成によるものや、3次元ボリューム(視体積)に対して評価関数を計算するものがある。ステレオ再構成は例えば特許文献1に開示の「三次元形状測定方法および装置」があり、視体積に対して評価関数を計算するものは例えば特許文献2に開示の「距離情報出力装置及び3次元形状復元装置」がある。これらは点のマッチングや非線形最適化などを伴い、計算コストが高いという問題がある。また、複数のカメラ及び/又は画像を必要とするという問題もある。
For example, there are those by stereo reconstruction using two or more cameras and / or images, and those by which the evaluation function is calculated for a three-dimensional volume (visual volume). For stereo reconstruction, there is, for example, "three-dimensional shape measuring method and apparatus" disclosed in
一方、1台のカメラでパッシブに、すなわち、対象に対する特別なパターン光の照射等の追加処理を必要とせずに、対象への距離(深度)を計算することで三次元形状計測を実現する手法として、画像のぼけ量から深度を推定するDFD(Depth From Defocus)が知られている。DFDを用いた深度推定は例えば、特許文献3に開示の「距離情報取得装置、撮像装置、及びプログラム」や非特許文献1に開示のものがある。しかしながら、DFDではボケた画像を用いるので、対象におけるテクスチャ等がボケてしまうという問題がある。
On the other hand, a method of realizing three-dimensional shape measurement by calculating the distance (depth) to the object passively with one camera, that is, without requiring additional processing such as irradiation of a special pattern light to the object As, the DFD (Depth From Defocus) which estimates depth from the amount of blurring of a picture is known. The depth estimation using the DFD is, for example, disclosed in “the distance information acquisition device, the imaging device, and the program” disclosed in
ここで、画像ボケのない全焦点画像を得る手法として、例えば特許文献4に開示の「全焦点画像生成方法」等では、焦点位置の異なる複数の画像に関してウェーブレット変換を施して多重解像度画像を生成することで焦点位置に関する確率分布を生成し、当該確率分布に関する評価関数を最小化するものとして各画素位置の焦点位置を求め、全焦点画像を得ている。しかしながら、当該手法は焦点位置の異なる複数の画像を必要とし、評価関数の最小化等の計算コストが高いという問題がある。また、特許文献4等に対する別アプローチとして、1枚のみのボケを含む画像から深度マップを推定したうえで、深度に対応するPSFを用いたデコンボルーション演算を施して全焦点画像を計算することも可能ではあるが、DFDにおける深度マップは正確ではないため、当該計算される全焦点画像は不安定であるという問題がある。
Here, as a method for obtaining an omnifocal image free from image blurring, for example, in the “all-in-focus image generation method” disclosed in
さらに、関連手法として、非特許文献1や特許文献5に開示される手法では、被写界深度(DoF; Depth of Field; ピントが合っているとみなせる深度範囲)を拡張することを目的とし、カメラのフォーカスリング(撮像面の位置及び/又は方向)を回しながら撮像するという操作によって得られる1枚のボケた画像に対して、所定の撮像条件下においては当該撮像操作に対応したPSF(点広がり関数)がほぼ深さ不変となることを利用し、当該深さ不変のPSFによるデコンボリューション演算を適用することで全焦点画像(すなわち、DoFが拡張された画像)を得ることができる。しかしながら、深さ不変の性質を利用していることから、当該手法においては深度マップを得ることができない。
Furthermore, as related methods, in the methods disclosed in
また、パッシブな深度計測のその他の手法として、開口を特別な形状として構成することによって開口に情報を埋め込む符号化開口(Coded Aperture)があり、例えば非特許文献2に開示されている。しかしながら、当該符号化開口の手法は比較的鮮明な全焦点画像が得られるものの、(深度マップのレイヤ構造が単純であることを前提とした手法であるという制約のために、)もう一方で得られる深度マップが不連続となってしまうことや、中間データとしてのレイヤ化された深度マップに対して場合によっては人手による指定作業が必要になってしまうことといった問題がある。
Further, as another method of passive depth measurement, there is a coded aperture (Coded Aperture) for embedding information in the aperture by configuring the aperture as a special shape, which is disclosed, for example, in Non-Patent
以上のように、従来技術は次のことを実現しようとしても困難であるという点で課題があった。すなわち、パッシブ計測によって、(1)距離情報が連続的で稠密な深度マップと、(2)全焦点画像と、の両方を同時に高速・高精度に再構成可能とすることは、従来技術では困難であった。ここで、これら両方を高速・高精度に実現することは、例えば3次元モデリングやデジタルヘリテージその他といったように、種々の産業上の応用を可能とするものである。 As described above, the related art has a problem in that it is difficult to achieve the following. That is, it is difficult in the prior art that passive measurement enables both (1) distance information to be reconstructed simultaneously and densely in depth map and (2) omnifocal image simultaneously at high speed and high accuracy. Met. Here, realizing both of these at high speed with high accuracy enables various industrial applications such as three-dimensional modeling, digital heritage, and the like.
本発明は、上記従来技術の課題に鑑み、深度マップ及び全焦点画像の両方を高速・高精度に得ることのできる情報取得装置を提供することを目的とする。 An object of the present invention is to provide an information acquisition apparatus capable of obtaining both a depth map and an all-in-focus image at high speed and with high accuracy, in view of the problems of the prior art.
上記目的を達成するため、本発明は情報取得装置であって、焦点位置を移動可能に構成されており、対象の像を形成する光学系部と、前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数との積を時間積分した信号を画像として出力するセンサ部と、前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、前記光学系部では、焦点位置を移動させながら対象の像を形成し、前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像ペアを出力し、前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする。 In order to achieve the above object, the present invention is an information acquisition apparatus, which is configured to move a focal position, and an optical system unit that forms an image of an object, and an imaging unit that photoelectrically converts the formed image. A sensor unit that outputs, as an image, a signal obtained by time-integrating a product of the photoelectrically converted signal and a predetermined weight function, and an all-in-focus image of the object and a depth map based on the output image. An image processing unit, wherein the optical system unit forms an image of the object while moving the focal position, and the sensor unit uses the constant function and the first function group as the predetermined load function to perform the time The normal image and the first correlation image pair are respectively output as the integrated signals, and the image processing unit generates an omnifocal image based on the normal image, and the generated omnifocal image and the first correlation image The And generating a depth map based on.
本発明によれば、深度マップ及び全焦点画像の両方を高速・高精度に得ることができる。 According to the present invention, both the depth map and the omnifocal image can be obtained at high speed with high accuracy.
図1は一実施形態に係る情報取得装置1の機能ブロック図である。図示する通り、情報取得装置1は、光学系部10、センサ部20、AD変換部30及び画像処理部40を備える。ここで図示する通り、光学系部10、センサ部20及び画像処理部40はさらに以下のような概略的機能を有する機能部を備える。(各機能部の詳細は後述する。)
FIG. 1 is a functional block diagram of an
光学系部10は、1つ以上のレンズ等で構成された光学素子機構11と、アクチュエータ等で構成され光学素子機構11及び/又は撮像面21を駆動することにより撮像面21に形成される対象OBの像IMGの結像位置を調整可能に構成された、すなわち、光学素子機構11の焦点位置を調整可能に構成された駆動部12と、を備える。
The optical system unit 10 includes an optical element mechanism 11 including one or more lenses and the like, an actuator and the like, and an object formed on the
センサ部20は、例えば前掲の特許文献6に「時間相関検出型イメージセンサ」等として開示されている既存技術である時間相関イメージセンサとして構成することができ、当該時間相関イメージセンサを実現するための構成として、複数の撮像素子が平面上に配列されて構成されており、各素子において対象OBの像IMGを光電変換して得られる光電変換信号を積分回路23へ出力する撮像面21と、積分回路23へ各参照信号を出力する参照信号生成部22と、光電変換信号と参照信号との積を積分した信号として各画像(アナログ信号形式)を得る積分回路23と、を備える。なお、当該積分することが光電変換信号と参照信号との間の時間相関を求めることに相当する。詳細は後述するが、積分回路23では各参照信号と積分することにより通常画像g0と、実部画像Re(g1)及び虚部画像Im(g1)のペアとして構成される第一相関画像ペアg1の元となる画像ペア(後述)と、第二相関画像群s1,s2,s3と、を得てAD変換部30へと出力する。
The
AD変換部30は積分回路23から上記得られた各画像(アナログ信号形式)をAD変換した各デジタル画像を画像処理部40へと出力する。ここで、図示されるようにデジタル化された通常画像g0及び第一相関画像ペアg1の元となる画像ペアが変換部45へと出力され、デジタル化された第二相関画像群s1,s2,s3が位相確定部43へと出力される。
The
画像処理部40は、全焦点画像生成部41、位相推定部42、位相確定部43、深度マップ推定部44及び変換部45を備える。なお、画像処理部40はハードウェア構成としてはCPU等によって実現することができ、その各機能部ではデジタル画像(及び関連するデジタルデータ)を対象として処理を行なうので、その説明の際に画像等がデジタルである旨の言及は省略する。
The image processing unit 40 includes an omnifocal image generation unit 41, a
変換部45は、AD変換部30から得た通常画像g0及び第一相関画像ペアg1の元となる画像ペアを用いて、第一相関画像ペアg1の元となる画像ペアの各々から通常画像g0を減算することによって第一相関画像ペアg1を得る。変換部45は当該得た第一相関画像ペアg1を位相推定部43へと出力すると共に、通常画像g0をそのまま全焦点画像生成部41へと出力する。
全焦点画像生成部41は(AD変換部30から得たものと同じである)変換部45から得た通常画像g0にウィナーデコンボルーションを施す等により全焦点画像rを得て、当該全焦点画像rを画像処理部40からの第一出力となすと共に、位相推定部42へも出力する。位相推定部42は変換部45から得た第一相関画像ペアg1及び全焦点画像生成部41から得た全焦点画像rを用いて第一相関画像ペアg1の各画素位置における位相(その詳細は後述する)の候補を推定し、当該推定した位相候補を位相確定部43へと出力する。位相確定部43はAD変換部30から得た第二相関画像群s1,s2,s3を用いて位相推定部42から得た各画素位置における位相候補(各画素位置に対して複数の位相候補がある)の中から位相を1つに確定し、当該確定させた1つの位相を深度マップ生成部44へと出力する。深度マップ生成部44は位相確定部43から得た各画素位置で確定した位相を用いて深度マップ(全焦点画像生成部41で得た全焦点画像rに対応する深度マップ)を算出し、当該深度マップを画像処理部40からの第二出力となす。
The all-in-focus image generation unit 41 obtains an all-in-focus image r by performing Wiener convolution on the normal image g 0 obtained from the conversion unit 45 (which is the same as that obtained from the AD conversion unit 30). The focused image r is output to the
なお、以上の図1の構成において、AD変換部30はセンサ部20に含まれる構成であってもよい。
In the configuration of FIG. 1 described above, the
図2は、一実施形態に係る情報取得装置1の動作のフローチャートである。ステップS1では、光学系部10において駆動部12による駆動で焦点位置を変えながら対象OBの撮像を行い(すなわち、対象OBの像IMGのボケ状態を変化させながら撮像を行い)、これと同時にセンサ部20において参照信号生成部22から所定の参照信号群を出力しながら各画像g0,g1(元となるもの),s1,s2,s3を取得してから、ステップS2へと進む。
FIG. 2 is a flowchart of the operation of the
ステップS2では、ステップS1で取得した各画像g0,g1(元となるもの),s1,s2,s3をAD変換部30でデジタル画像に変換したうえで画像処理部40の各部で処理することにより、ステップS1の撮像に対応する全焦点画像及び深度マップを出力して、当該図2のフローは終了する。
In
なお、以上の図2のフローは所定のフレームレートで定まる各時刻に関して実行することができ、当該フレームレートにおいてリアルタイムに全焦点画像及び深度マップを出力するようにすることもできる。 The above flow of FIG. 2 can be executed for each time determined at a predetermined frame rate, and an omnifocal image and depth map can be output in real time at the frame rate.
以下、図2のように動作する図1の情報取得装置1の各部の処理内容の詳細を説明するが、そのためにまず、本発明の原理を説明する。本発明は、前掲の非特許文献1や特許文献5に開示の既存手法である、焦点位置を変えながら対象を撮像する際の深さ不変PSFを利用する手法を、いわば拡張したものに相当する。(なお、本発明において、焦点位置を変えながらの撮像は図2のステップS1において実行される。)すなわち、当該深さ不変PSFを利用する既存手法においては取得不可能となってしまう深度情報を、参照信号との時間相関を取得する時間相関イメージセンサの利用によって取得可能とするのが本発明である。
Hereinafter, the details of the processing contents of each part of the
具体的には、深さ不変PSFとして既存手法において利用されている積算された(Integrated)PSFをIPSF(積算PSF)と呼び式IP0で表すこととすると、本発明の原理は当該IP0をさらに拡張して参照信号との時間相関演算の効果も考慮したIPSFとしてのIP1を新たに導入し、利用することによるものである。以下、既存手法で利用していたIP0を簡潔に説明した後、本発明で利用するIP1をさらに説明する。 Specifically, assuming that an integrated PSF used in the existing method as a depth invariant PSF is referred to as IPSF (integrated PSF) and is expressed by the formula IP 0 , the principle of the present invention is to calculate the IP 0 This is further extended by introducing and using IP 1 as IPSF which also takes into consideration the effect of time correlation calculation with the reference signal. Hereinafter, after briefly describing IP 0 used in the existing method, IP 1 used in the present invention will be further described.
(既存手法におけるIP0の説明)
fを焦点距離、dを対象までの距離(すなわち深度)、vをピントが合っているときのレンズと撮像素子(撮像面)との距離とすると、以下の通りのレンズの式が成立する。
1/f=1/d+1/v
ここで、レンズを撮像素子方向に等速sで動かすことで時刻tの位置p(ピントが合っている場合がp=vに該当する位置p)が以下のように与えられるものとする。ここでp0は時刻t=0での位置である。
p=p0+st
すると、時刻tのボケの大きさσ(t)は、対象までの距離が移動量に比べて十分に大きければ以下のようになる。ここでDは開口の大きさである。
σ(t)=(D/v)|v-p(t)|
式の簡略化のため、a=D(v-p0)/v, b=Ds(d-f)/fdと置くことで以下のようになる。(ここで特に、当該a,bは深度dに依存するものである。)
σ(t)=|a-bt|
(Description of IP 0 in the existing method)
Assuming that f is a focal length, d is a distance to a target (that is, depth), and v is a distance between a lens when in focus and an imaging device (imaging surface), the following lens equation holds.
1 / f = 1 / d + 1 / v
Here, it is assumed that a position p at time t (a position p corresponding to p = v when in focus) is given as follows by moving the lens in the direction of the image pickup element at a constant speed s. Here, p 0 is the position at time t = 0.
p = p 0 + st
Then, the blur size σ (t) at time t is as follows if the distance to the object is sufficiently large compared to the movement amount. Here, D is the size of the opening.
σ (t) = (D / v) | vp (t) |
The following is obtained by setting a = D (vp 0 ) / v and b = Ds (df) / fd to simplify the expression. (Here, particularly, the a and b depend on the depth d.)
σ (t) = | a-bt |
図3に、以上のそれぞれの式に現れる主要な変数の関係の模式例を示す。図3においてグレー表記されているのが、ピントが合っている際のレンズ、開口及び光線である。 FIG. 3 shows a schematic example of the relationship of the main variables appearing in each of the above equations. In gray in FIG. 3 are the lens, the aperture and the light beam when in focus.
深さdにおけるPSFは、上記のボケ量σ=σ(d,t)を用いてガウシアンにより以下の式(1)のようにモデル化することができ、既存手法においては以下の式(2)のようにこれを1フレーム分に相当する露光時間t(0≦t≦T)に渡って時間積分したIPSFとしてIP0を定義し、これが深さdに依存しないものであることを見出している。そして、既存手法における等速移動撮像で得られる通常画像g0は以下の式(3)のように、全焦点画像rとIP0との畳み込みで与えられることから、この逆の演算によって全焦点画像rを求めることが可能である。(なお、後述するように本発明における通常画像g0及び全焦点画像rもこれと同様のものであり同様の関係が成立するので、同じ変数名としてg0及びrを用いている。)以下の式(1)〜(3)及び以降の各式において例えばr(x)におけるx等は、2次元ベクトルx=(X,Y)∈R2として画素位置を表すものとする。 The PSF at the depth d can be modeled as the following equation (1) by Gaussian using the above blur amount σ = σ (d, t), and in the existing method, the following equation (2) IP 0 is defined as IPSF obtained by integrating this over time over an exposure time t (0 ≦ t ≦ T) corresponding to one frame, and it is found that this is not dependent on the depth d . Then, since the normal image g 0 obtained by constant-velocity movement imaging in the existing method is given by the convolution of the omnifocal image r and IP 0 as shown in the following equation (3), the omnidirectional It is possible to determine the image r. (Note that, as described later, the normal image g 0 and the omnifocal image r in the present invention are similar to this, and the same relationship holds, so g 0 and r are used as the same variable names.) Or less x and the like in the formula (1) to (3) and later for example in the formula r (x) of the two-dimensional vector x = (X, Y) denote the pixel position as ∈R 2.
(本発明で利用するIP1の説明)
本発明では、上記の既存手法ではその情報が失われて取得不能であった対象までの深度dを求める。ここで、ちょうどピントが合う時刻(合焦時刻)をσ(d,t)=0となるような時刻t=τとして定義する。この定義により、深度dは以下の式(4)のように表すことができる。
d={(p0+sτ)f}/{f-(p0+sτ)} (4)
(Description of IP 1 used in the present invention)
In the present invention, with the above-described existing method, the depth d to an object that can not be acquired due to the information being lost is obtained. Here, the time (focusing time) at which focus is achieved is defined as time t = τ such that σ (d, t) = 0. By this definition, the depth d can be expressed as the following equation (4).
d = {(p 0 + sτ) f} / {f- (p 0 + sτ)} (4)
概略説明としては既に言及してあるが、本発明では、具体的には以下の式(5)のように時間相関イメージセンサ(すなわち、センサ部20)により複素正弦波ejωtで変調して得られる複素変調画像としての相関画像g1(第一相関画像ペアg1)を利用する。ここで、式(5)においてはその次の式(6)で定義される関数IP1(既存手法の式(2)のIP0を拡張したものに相当するIP1)を利用することで、相関画像g1を全焦点画像rと当該定義したIP1との畳み込みで表現している。 Although the outline description has already been mentioned, in the present invention, it is specifically obtained by modulating with the complex sine wave e jωt by the time correlation image sensor (that is, the sensor unit 20) as shown in the following equation (5) The correlation image g 1 (first correlation image pair g 1 ) is used as a complex modulation image to be generated. Here, in equation (5) By using the (IP 1, which corresponds to an extension of the IP 0 of the formula (2) of the existing methods) function IP 1 defined by the next equation (6), expresses the correlation image g 1 in convolution of the IP 1 defined the the all-focus image r.
そして、本発明では特に、P1(x)を深度dに依存しない2次元x∈R2のあるPSFとして、以下の式(6-1)が成立することを利用する。
IP1∝ejωτP1(x) (6-1)
すなわち、形式的な定義としては式(6)で与えられることにより既存手法のIP0を拡張する形で導入した本発明におけるIP1(x,d)は、式(6-1)の右辺に比例する(∝)ものであり、従って、深度dには依存しないものである。すなわち、「IP1(x,d)=IP1(x)」である。従って、本発明の深度マップ取得の原理は次のようなものである。すなわち、式(6-1)の関数形を有する関数IP1における深度不変性によって、式(5)の畳み込みで与えられる相関画像g1の位相(積分では定数となる、ejωτの項で与えられる位相)が合焦時刻τと対応関係を有するものとなるので、相関画像g1から各画素位置xでの合焦時刻τを得ることが可能となり、式(4)の関係からさらに各画素位置xの深度dを得ることが可能となる。
Further, in the present invention, in particular, it is used that P 1 (x) is a PSF having a two-dimensional x∈R 2 independent of the depth d, and the following equation (6-1) holds.
IP 1 ∝e jωτ P 1 (x) (6-1)
That is, IP 1 (x, d) in the present invention, which is introduced as a formal definition by extending IP 0 of the existing method by being given by Equation (6), corresponds to the right side of Equation (6-1) It is proportional (∝) and therefore independent of the depth d. That is, “IP 1 (x, d) = IP 1 (x)”. Therefore, the principle of depth map acquisition of the present invention is as follows. That is, the depth constancy in function IP 1 having a function form of Equation (6-1), is a constant in the phase (the integral of the correlation image g 1 given by the convolution of equation (5), given in terms of e Jomegatau because it is the phase) is assumed to have the relationship between the focusing time tau, it is possible from the correlation image g 1 get focus time tau at each pixel location x, and each pixel from the relationship in equation (4) It is possible to obtain the depth d of the position x.
なお、IP1が深度dに依存しないことの説明については補足説明において後述することとし、以下では当該依存しないことを前提として、図1の情報取得装置1の各部の詳細説明を行うこととする。当該詳細説明は以下の3つのトピックごとに順に行うこととする。
<センサ部20に関して>
<光学系部10の焦点位置を動かながらの撮像とセンサ部20での参照信号との関係に関して>
<画像処理部40において全焦点画像r及び深度マップを得る処理に関して>
In addition, the explanation that IP 1 does not depend on the depth d will be described later in the supplementary explanation, and in the following, the detailed explanation of each part of the
<Regarding the
Regarding the relationship between imaging while moving the focus position of the optical system unit 10 and the reference signal in the
Regarding Process of Obtaining All-In-Focus Image r and Depth Map in Image Processing Unit 40
<センサ部20に関して>
図4は、撮像部21を構成する個別の撮像素子(画像の各ピクセルに対応する撮像素子)の一例としての、フォトダイオードPDごとのセンサ部20の回路図を示すものである。図示する通り各フォトダイオードPDには、それぞれの参照信号との間で時間相関積分を得るための6つの共通の素子群Ei(i=1,2, …, 6)が並列接続されている。各素子群Ei(i=1,2, …, 6)は、図示する通り次のように構成されている。すなわち、フォトダイオードPDの電流信号I(すなわち光量に比例する光電変換信号)及びゲート印可される参照信号Viに比例した電流を得るためのトランジスタQi(i=1,2, …, 6)と、当該比例電流を蓄積するためのキャパシタCi(i=1,2, …, 6)と、が直列接続されて備わると共に、当該トランジスタQi及びキャパシタCiの間に分岐して接続され、ゲート印可される読み出し信号yseli(1,2, …, 6)に応答して画像のフレームレートに同期してキャパシタCiに蓄積された当該比例電流の積分値(蓄積電荷)を出力outi(i=1,2, …, 6)として読み出すトランジスタのスイッチSWi(i=1,2, …, 6)をさらに備えて、各素子群Eiは構成されている。なお、時間相関イメージセンサとしてのセンサ部20における参照信号Viは撮像部21を構成する全ての撮像素子(画像の全ピクセル)において共通のものが印可される。
<Regarding the
FIG. 4 is a circuit diagram of the
当該図4のように構成されることにより、各素子群Eiにおいては出力outiを以下の式(7)のような荷重関数fi(i=1,2, …, 6)による変調を適用した参照信号Vi(i=1,2, …, 6)(すなわち印可電圧Vi)とフォトダイオードPDの電流Iとの積の時間積分、すなわち、時間相関値に比例するものとして得ることができる。kは比例係数であり、各素子群Eiにおいて共通である。(すなわち、各素子群Eiを構成する各素子特性(トランジスタQiやキャパシタCiの各特性等)は互いに共通である。) By configuring as shown in FIG. 4, in each element group E i , the output out i is modulated by the weighting function f i (i = 1, 2,..., 6) as in the following equation (7). The time integral of the product of the applied reference signal V i (i = 1, 2,..., 6) (ie, applied voltage V i ) and the current I of the photodiode PD, ie, obtained as proportional to the time correlation value Can. k is a proportional coefficient, which is common to each element group E i . (In other words, each element characteristic (each characteristic of the transistor Q i and the capacitor C i etc. of the element group E i is common to each other))
上記の式(7)で、前述の式(1)〜(6)等の説明と同様に、画像の1フレーム分に相当する露光時間としてt(0≦t≦T)を用いている。 In the above equation (7), t (0 ≦ t ≦ T) is used as the exposure time corresponding to one frame of the image, as in the case of the above equations (1) to (6).
以上のような図4の回路構成と機能ブロック図としての図1のセンサ部20との対応関係は次の通りである。前述の通り、図1の撮像部21の各画素が図4のフォトダイオードPDに対応する。当該画素ごとの対応のもとでさらに、図1の参照信号生成部22に対応する構成は図4の回路には含まれないが、参照信号生成部22で生成した参照信号は各印可電圧Viとして各トランジスタQiのゲートに入力される。そして、当該画素ごとの対応のもとでさらに、図1の積分回路23に対応する構成が図4の各素子群Eiであり、各積分値outiとして各画像を出力する。
The correspondence relationship between the circuit configuration of FIG. 4 and the
なお前述の通り、センサ部20自体は前掲の非特許文献6等で開示される既存技術である時間相関イメージセンサとして構成されており、本発明の一実施形態においては図4を参照して上記において示したように、これを6個の荷重関数fiで変調された参照信号Viを入力することによって利用している。
As described above, the
<光学系部10の焦点位置を動かながらの撮像とセンサ部20での荷重関数との関係>
当該関係はすなわち、図2のステップS1の詳細に相当するものである。一実施形態では以下の各式(8-0)ないし(8-6)のように1フレーム分の露光時間t(0≦t≦T)において当該関係を設定することができる。
<Relationship between imaging while moving the focal position of the optical system unit 10 and the load function at the
That relationship corresponds to the details of step S1 of FIG. In one embodiment, the relationship can be set at an exposure time t (0 ≦ t ≦ T) for one frame as in the following equations (8-0) to (8-6).
図5は、以上の式(8-0)ないし(8-6)の互いに連動して時間変化する位置p及び各荷重関数fiをそれぞれ[8-0]ないし[8-6]として模式的なグラフとして示したものである。式(8-0)は1フレーム分の露光時間t(0≦t≦T)において、前述のIP0及びIP1の説明の際と全く同様に、光学系部10においてレンズと撮像素子との間の距離pを等速sで動かすようにする旨を表しており、式(8-1)〜(8-6)は当該動きと連動させる形で同露光時間t(0≦t≦T)内において参照信号生成部22から入力する参照信号V1〜V6を変調する荷重関数f1〜f6の一例を与えている。
FIG. 5 schematically shows, as [8-0] to [8-6], positions p and load functions f i which change with time in conjunction with each other in the above equations (8-0) to (8-6). It is shown as a graph. In the exposure time t (0 ≦ t ≦ T) of one frame, the expression (8-0) corresponds to the lens and the imaging device in the optical system unit 10 in the same manner as in the description of IP 0 and IP 1 described above. The equation (8-1) to (8-6) indicates that the exposure time t (0.ltoreq.t.ltoreq.T) in conjunction with the movement. Among them, an example of weighting functions f 1 to f 6 for modulating the reference signals V 1 to V 6 input from the reference
ここで特に、式(8-1)で与えられる荷重関数f1 (定数関数の例)を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、通常画像g0を得ることができる。なお、式(7)において荷重関数f1=1(すなわち定数)とした場合、フォトダイオードPDの電流をフレーム時間に渡ってそのまま蓄積することによる通常の意味での画像に該当することとなるため、「通常画像g0」と称している。 Here, in particular, by outputting the time correlation integral of the above-mentioned equation (7) in the integration circuit 23 using the weight function f 1 (example of the constant function ) given by the equation (8-1), the normal image g 0 You can get It should be noted that if the load function f 1 = 1 (that is, a constant) in the equation (7), it corresponds to an image in a normal meaning by accumulating the current of the photodiode PD as it is over the frame time. , “Normal image g 0 ”.
また同様に、式(8-2)及び(8-3)で与えられる荷重関数f2及びf3 (第一関数群の例)を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第一相関画像ペアg1における実部画像Re(g1)及び虚部画像Im(g1)をそれぞれ得ることができる。すなわち、式(8-2)及び(8-3)のコサイン関数及びサイン関数は、オイラーの公式(ejωτ=cosωτ+jsinωτ)によって前述の式(5)及び(6)での位相項ejωτに対応するものである。なお、式(8-2)及び(8-3)の周波数ω(複素正弦波の角周波数ω)はω=2π/Tとなるように、すなわち対応する周期が露光時間Tとなるように定める。式(8-2)及び(8-3)において一例として周波数ωのコサイン関数及びサイン関数によって与えていることからも明らかなように、一実施形態では荷重関数f2及びf3は露光時間Tにおける第一の直交関数群として与えるようにすることができる。 Similarly, using the weight functions f 2 and f 3 (example of the first function group ) given by the equations (8-2) and (8-3), the time correlation integral of the above equation (7) is integrated By outputting at 23, the real part image Re (g 1 ) and the imaginary part image Im (g 1 ) in the first correlated image pair g 1 can be obtained respectively. That is, the cosine function and the sine function of the equations (8-2) and (8-3) are phase terms e jωτ in the above-mentioned equations (5) and (6) according to Euler's formula ( ejωτ = cosωτ + jsinωτ). Corresponding to The frequency ω (the angular frequency ω of the complex sine wave) of Equations (8-2) and (8-3) is determined so that ω = 2π / T, that is, the corresponding period is the exposure time T. . As is apparent from equations (8-2) and (8-3) given by a cosine function and a sine function of frequency ω as an example, in one embodiment, the weighting functions f 2 and f 3 have exposure time T It can be given as the first orthogonal function group in.
また同様に、式(8-4)、(8-5)及び(8-6)で与えられる荷重関数f4、f5及びf6 (第二関数群の例)を用いて前述の式(7)の時間相関積分を積分回路23において出力することで、第二相関画像群の各画像s1、s2及びs3をそれぞれ得ることができる。式(8-4)、(8-5)及び(8-6)の具体的な関数形よりも明らかなように、一実施形態では参照信号f4、f5及びf6は露光時間Tにおける第二の直交関数群として与えるようにすることができる。 Similarly, using the weighting functions f 4 , f 5 and f 6 (examples of the second function group ) given by the equations (8-4), (8-5) and (8-6), the above equation ( By outputting the time correlation integral of 7) in the integration circuit 23, the respective images s 1 , s 2 and s 3 of the second correlation image group can be obtained. As apparent from the specific functional forms of the equations (8-4), (8-5) and (8-6), in one embodiment, the reference signals f 4 , f 5 and f 6 are at the exposure time T. It can be given as a second orthogonal function group.
なお、荷重関数fiと参照信号Viとの関係は次のように与えることで、荷重関数fiによって変調した参照信号Viを与えるようにすることができる。ここで、Va,Vb,vは定電圧(時間によらず一定となる電圧)であり、Va>v(絶対値)である。
V1=Va+v・f1
V2=Va+v・f2
V3=Va+v・f3
V4=Vb・f4
V5=Vb・f5
V6=Vb・f6
The relationship between the weight function f i and the reference signal V i can be given as follows to give the reference signal V i modulated by the weight function f i . Here, V a , V b and v are constant voltages (voltages that become constant regardless of time), and V a > v (absolute value).
V 1 = V a + v · f 1
V 2 = V a + v · f 2
V 3 = V a + v · f 3
V 4 = V b · f 4
V 5 = V b · f 5
V 6 = V b · f 6
<変換部45での減算処理に関して>
上記の参照信号V1,V2,V3の関係及び式(8-1),(8-2),(8-3)の荷重関数f1,f2,f3の具体的な関数形より明らかなように、変換部45では、参照信号V2及びV3として得られる第一相関画像ペアg1の元となる画像ペアの各々から参照信号V1として得られる通常画像g0を減算することで、以下のような第一相関画像ペアg1を得ることができる。当該減算はデジタル値で与えられている画素ごとに行えばよい。なお、前掲の式(7)に倣って各画素における時間相関積分(アナログ値)の形で第一相関画像ペアg1を記載すると以下の通りであり、変換部45ではデジタル値として当該第一相関画像ペアg1を得ることとなる。
<Regarding subtraction processing in
The relationship between the above reference signals V 1 , V 2 and V 3 and specific functional forms of the load functions f 1 , f 2 and f 3 of the equations (8-1), (8-2) and (8-3) more apparent, subtracts the ordinary image g0 obtained the
<画像処理部40において全焦点画像r及び深度マップを得る処理に関して>
以下、画像処理部40の各部41,42,43の処理内容の詳細を順に説明する。
Regarding Process of Obtaining All-In-Focus Image r and Depth Map in Image Processing Unit 40
Hereinafter, the details of the processing contents of the
全焦点画像生成部41は、通常画像g0が全焦点画像rと前述の式(2)の深さ不変積算PSFとしてのIP0とのコンボルーション(畳み込み)で得られる画像にノイズが乗ったものであるという関係(以下の式(9)の関係)に基づき、この逆操作としてのデコンボリューションにより全焦点画像rを算出する。具体的には例えば、既存手法であるウィナーフィルターによるウィナーデコンボリューションで全焦点画像rを生成すればよく、以下の式(10)で与えられる原画像としての全焦点画像rのフーリエ変換R(u,v)を逆フーリエ変換して全焦点画像rを生成すればよい。
g0(x)=IP0(x)*r(x)+n(x) (9)
R(u,v)=H*S/{|F [IP0]|2S+N} (10)
In the all-in-focus image generation unit 41, noise is added to the image in which the normal image g 0 is obtained by convolution of the all-in-focus image r and IP 0 as the depth invariant integration PSF of Equation (2). The omnifocal image r is calculated by the deconvolution as the reverse operation based on the relationship (the relationship of the following equation (9)) of being an object. Specifically, for example, the omnifocal image r may be generated by Wiener deconvolution using a Wiener filter, which is an existing method, and Fourier transform R (u of the omnifocal image r as an original image given by the following equation (10) , v) may be inverse Fourier transformed to generate an omnifocal image r.
g 0 (x) = IP 0 (x) * r (x) + n (x) (9)
R (u, v) = H * S / {| F [IP 0 ] | 2 S + N} (10)
上記の式(9),(10)にてxは前述の通り2次元画素位置であり、n(x)はノイズであり、*は畳み込み演算である。また、F[・]は信号等・のフーリエ変換であり、例えばF [IP0]はIP0のフーリエ変換である。また、H=F [IP0], R=F[r],N=F[n]であり、それぞれフーリエ変換として求めればよい。 In the above equations (9) and (10), x is a two-dimensional pixel position as described above, n (x) is noise, and * is a convolution operation. Further, F [·] is a Fourier transform of a signal etc., and, for example, F [IP 0 ] is a Fourier transform of IP 0 . Also, H = F [IP 0] , R = F [r], a N = F [n], respectively may be determined as the Fourier transform.
なお、前掲の非特許文献1や特許文献5に開示されるものとして既に説明した通り、前述の式(2)で与えられる関数IP0は、ほぼ深さ不変であり、且つ、画像内の位置xによってもその関数形がほぼ変わらない(位置xを中心にほぼ等しい高さ且つほぼ等しい広がりとなる2次元ガウシアンに類した形状を有する)という性質を有するものであることが、PSFのモデル式(簡易モデルとしてのピルボックス関数及び式(1)のガウシアン関数の両者でそれぞれモデル化したもの)を積分したもの(すなわち式(2))に対して具体的な数値を与えることで経験的に知られている。すなわち、関数IP0(x)のxは図3のように光軸中心(画像中心であり、x=0(原点)とする)に像の中心ができる場合のものとして説明したが、像の中心が画像中心x=0からずれてx0となる場合も関数形は(ほぼ)同じであり、単に平行移動した関数形IP0(x-x0)(にほぼ近いもの)となることが経験的に知られている。そこで、本発明においても同様に、光学系部10における関数IP0の具体的な関数形(深さd及び位置xに依存せず一定となる関数形)を予め、当該光学系部10の所定のカメラパラメータや式(8-0)で設定される所定の移動範囲等のもとで数値データ等によるモデルとして求めておき、以上の式(9),(10)に基づくデコンボリューション演算を行うことによって全焦点画像rを得ることができる。
Incidentally, as already described as those disclosed in
位相推定部42では、前述の関数IP1による畳み込み演算の式(5)及び当該関数IP1の具体的な関数形を与える式(6-1)から第一相関画像ペアg1(実部画像Re(g1)及び虚部画像Im(g1))に関して成立する以下の式(11)及び(12)に基づいて、第一相関画像ペアg1の各画素位置xに関して、その位相τ(正確には位相ωτだが比例関係であるため、以下適宜位相τとする)の候補を推定する。
Re(g1)=cos(ωτ)P1*r (11)
Im(g1)=sin(ωτ)P1*r (12)
The
Re (g 1 ) = cos (ωτ) P 1 * r (11)
Im (g 1 ) = sin (ωτ) P 1 * r (12)
上記の式(11)及び(12)はすなわち、実部画像Re(g1)及び虚部画像Im(g1)は、関数P1と全焦点画像rとの畳み込みで得られる共通の画像P1*rに、それぞれcos(ωτ)及びsin(ωτ)を乗じて得られる画像となることを表している。ここで、乗ずる値としてのcos(ωτ)及びsin(ωτ)は合焦時刻τを通じて画素位置依存となっている。(なお、式(6-1)での比例係数を1としているが、以下の計算による位相候補推定結果は式(11)及び(12)の比率によって決まるものであるため、当該比例係数の具体的な値によらず成立するものである。) Equations (11) and (12) above indicate that the real part image Re (g 1 ) and the imaginary part image Im (g 1 ) are common images P obtained by the convolution of the function P 1 and the omnifocal image r. It represents that it becomes an image obtained by multiplying 1 * r by cos (ωτ) and sin (ωτ), respectively. Here, cos (ωτ) and sin (ωτ) as values to be multiplied are pixel position dependent through focusing time τ. (Note that although the proportionality coefficient in equation (6-1) is 1, but the phase candidate estimation result by the following calculation is determined by the ratio of equations (11) and (12), It does not depend on the basic value.)
当該式(11)及び(12)に基づいて具体的に、位相τの候補は次のように推定すればよい。すなわち、数学関係式「cos2θ+sin2θ=1」を適用することを考えて、当該式(11)及び(12)のそれぞれを2乗したものの和で与えられる画像(すなわち、式(11)及び(12)の各画素位置xにおいてその画素値を2乗したうえで、当該両者を加算した画像)を以下の式(13)のように求めることができる。
|g1|2=|Re(g1)2+j・Im(g1)2|
=|Re(g1)|2+|Im(g1)|2
=|cos(ωτ)P1*r|2+|sin(ωτ)P1*r|2
={cos2(ωτ)+sin2(ωτ)}・|P1*r|2
=|P1*r|2 (13)
Specifically, candidates for the phase τ may be estimated as follows based on the equations (11) and (12). That is, considering that the mathematical relational expression “cos 2 θ + sin 2 θ = 1” is applied, an image given by the sum of squares of the respective expressions (11) and (12) (ie, expression (11) An image obtained by squaring the pixel value at each pixel position x of (12) and (12) and adding the both together can be obtained as in the following equation (13).
| g 1 | 2 = | Re (g 1 ) 2 + j · Im (g 1 ) 2 |
= | Re (g 1 ) | 2 + | Im (g 1 ) | 2
= | cos (ωτ) P 1 * r | 2 + | sin (ωτ) P 1 * r | 2
= {cos 2 (ωτ) + sin 2 (ωτ)} · | P 1 * r | 2
= | P 1 * r | 2 (13)
さらに、当該式(13)の平方を取ることで、絶対値画像|g1|を以下の式(14)のように求めることができる。式(13),(14)より明らかなように、絶対値画像|g1|とは、各画素位置xの画素値が、式(11)及び(12)の実部画像Re(g1)及び虚部画像Im(g1)の位置xの各画素値を2乗和して平方した値で与えられる画像となる。
|g1|=|P1*r| (14)
Furthermore, by taking the square of the equation (13), an absolute value image | g 1 | can be obtained as in the following equation (14). As apparent from the equations (13) and (14), the absolute value image | g 1 | means that the pixel value of each pixel position x is the real part image Re (g 1 ) of the equations (11) and (12). And it becomes an image given by the squared sum of each pixel value of the position x of the imaginary part image Im (g 1 ).
| g 1 | = | P 1 * r | (14)
従って、以上の式(11),(12),(14)を全て満たすようなものとして、各画素位置xにおける位相τの複数の候補τ[候補](x)を求めることができる。式で表現すれば、以下の式(15)又は(16)で与えられるような集合が当該求められる候補である。ここで、{A;Aが満たす条件}という表記で、要素Aからなる集合を表記している。
{τ[候補](x);「|cos(ωτ[候補](x))|=Re(g1(x))/|g1(x)|」
且つ「|sin(ωτ[候補](x))|=Im(g1(x))/| g1(x)|」} (15)
{τ[候補](x);|tan(ωτ[候補](x))|=|Im(g1(x))/Re(g1(x))|} (16)
なお、式(16)は逆正接arctan2を用いて以下の式(17)のように書くこともできる。
ωτ[候補](x)=ωτ1(x), π-ωτ1(x), π+ωτ1(x), 2π-ωτ1(x) (17)
ここで、ωτ1(x)=arctan2(Re(g1(x))/|g1(x)|, Im(g1(x))/| g1(x)|)であり、角度(位相)ωτ1(x)は第一象限にある、すなわち、0≦ωτ1(x)≦π/2である。
Therefore, it is possible to obtain a plurality of candidates τ [candidates] (x) of the phase τ at each pixel position x as satisfying all the above equations (11), (12) and (14). Expressing in a formula, a set given by the following formula (15) or (16) is a candidate to be obtained. Here, a set of elements A is described by the notation {A; condition satisfied by A}.
{τ [candidate] (x); “| cos (ωτ [candidate] (x)) | = Re (g 1 (x)) / | g 1 (x) |
And “| sin (ωτ [candidate] (x)) | = Im (g 1 (x)) / | g 1 (x) |”} (15)
{τ [candidate] (x); | tan (ωτ [candidate] (x)) | = | Im (g 1 (x)) / Re (g 1 (x)) |} (16)
In addition, Formula (16) can also be written like the following Formula (17) using arctangent arctan2.
ωτ [candidate] (x) = ωτ 1 (x), π-ωτ 1 (x), π + ωτ 1 (x), 2π-ωτ 1 (x) (17)
Here, ωτ 1 (x) = arctan 2 (Re (g 1 (x)) / | g 1 (x) |, Im (g 1 (x)) / | g 1 (x) | The phase) ωτ 1 (x) is in the first quadrant,
なお、当該集合の要素(すなわち候補の数)は式(16)のタンジェント関数(絶対値)の周知のグラフ形からも明らかなように、一般に0≦ωτ<2πの範囲において2通りの候補としてのτが存在しうることとなる。また、式(16)から候補を求める場合は式(14)の絶対値画像の計算は省略してよい。2通りの候補としてのτが存在しえることは以下の通りである。 In addition, as is clear from the known graph form of the tangent function (absolute value) of equation (16), the elements of the set (that is, the number of candidates) are generally two candidates in the range of 0 ≦ ωτ <2π. Of τ can exist. Moreover, when calculating | requiring a candidate from Formula (16), calculation of the absolute value image of Formula (14) may be abbreviate | omitted. The existence of τ as two candidates is as follows.
すなわち、(17)で表される解をそれぞれ(11),(12)に代入すると以下[1]〜[4]のようになる。
[1]cos(ωt)P1r=Re(g1)
sin(ωt)P1r=Im(g1)
[2]cos(π-ωt)P1r= -cos(ωt)P1r =Re(g1)
sin(π-ωt)P1r= sin(ωt)P1r =Im(g1)
[3]cos(π+ωt)P1r= -cos(ωt)P1r =Re(g1)
sin(π+ωt)P1r= -sin(ωt)P1r =Im(g1)
[4]cos(2π-ωt)P1r= cos(ωt)P1r =Re(g1)
sin(2π-ωt)P1r= -sin(ωt)P1r =Im(g1)
従って、g1≠0の仮定の下では[1]と[3](Re(g1)とIm(g1)が同符号のとき)もしくは[2]と[4](Re(g1)とIm(g1)が反対符号のとき)の組しか同時には存在できない。換言すれば、Re(g1)とIm(g1)の符号から即座に候補は2つに絞られることとなる。(これは、(11)→(17)は成立するが、(17)→(11)は成立するとは限らないことに起因する。)
That is, when the solution represented by (17) is substituted into (11) and (12), respectively, the following [1] to [4] are obtained.
[1] cos (ωt) P1r = Re (g1)
sin (ωt) P1r = Im (g1)
[2] cos (π-ωt) P1r = −cos (ωt) P1r = Re (g1)
sin (π-ωt) P1r = sin (ωt) P1r = Im (g1)
[3] cos (π + ωt) P1r = -cos (ωt) P1r = Re (g1)
sin (.pi. +. omega.t) P1r = -sin (.omega.t) P1r = Im (g1)
[4] cos (2π-ωt) P1r = cos (ωt) P1r = Re (g1)
sin (2π-ωt) P1r = -sin (ωt) P1r = Im (g1)
Therefore, under the assumption that g1 ≠ 0, [1] and [3] (when Re (g1) and Im (g1) have the same sign) or [2] and [4] (Re (g1) and Im (g1) )) Can only exist at the same time. In other words, the candidates are narrowed to two immediately from the signs of Re (g1) and Im (g1). (This is because (11) → (17) holds, but (17) → (11) does not necessarily hold.)
位相確定部43は、上記の位相推定部42が各画素位置xにおいて求めた4通り又は2通りの候補τ[候補](x)の中から、1つのものを当該画素位置xにおける合焦時刻に対応するものとして確定する。概略説明でも説明したように、当該確定するに際して、第二相関画像群s1,s2,s3を参照する。
The
ここで、第二相関画像群s1,s2,s3に関して、これをそれぞれ得るための荷重関数f4,f5,f6は前述の式(8-4)ないし(8-6)及びそのグラフ模式例を図5の[8-4]ないし[8-6]に示したように、具体的には当該1フレーム分の時間全体t(0≦t≦T)のうち、露光(通常画像と同様の一定の露光)を前半の1/3、中盤の1/3及び後半の1/3のみの期間にそれぞれ限定するという機能を有する荷重関数である。
Here, with regard to the second correlation image group s 1 , s 2 , s 3 , the weighting functions f 4 , f 5 , f 6 for obtaining them respectively are the aforementioned equations (8-4) to (8-6) and As shown in [8-4] to [8-6] of FIG. 5 as an example of the graph model, specifically, the exposure (usually, among the whole time t (0 ≦ t ≦ T) of the one frame is This is a weighting function having a function of limiting the same constant exposure as the image to only the
従って、位相確定部43では具体的には、荷重関数f4,f5,f6によって当該露光期間が全体の1/3となるいずれかの期間に限定して撮像された画像(すなわち、露光期間が限定された通常画像)にそれぞれ相当する第二相関画像群s1,s2,s3の各画像を比較することで、各画素位置xにおいて最も鮮明(ぼけが少ない)と判定される画像を特定したうえで、当該画像に対応する荷重関数f4,f5,f6(のうち、特定された1つ)が露光期間として与えている期間内に存在するような1つの候補τ[候補](x)を、合焦位置に該当するものとして確定することができる。
Therefore, in the
ここで、各画素位置xに関して第二相関画像群s1,s2,s3の各画像のうちいずれが最も鮮明であるかを判定するには、任意の既存手法を利用してよい。例えば、画素位置xを含むその近傍所定領域をフーリエ変換等で周波数解析して、高周波成分が最も多いと判定される画像が最も鮮明であるものと判定してもよい。 Here, any existing method may be used to determine which of the images of the second correlated image group s 1 , s 2 , s 3 is the clearest with respect to each pixel position x. For example, frequency analysis may be performed on the predetermined region in the vicinity including the pixel position x by Fourier transform or the like to determine that the image determined to have the largest number of high frequency components is the sharpest.
また例えば、前掲の金田らによる非特許文献3における手法に類した以下の手順1〜4で最も鮮明な画像を決定してもよい。
(手順1) 第二相関画像群s1,s2,s3の各画像に平滑化フィルタをかけて画像s1[平滑化],s2[平滑化],s3[平滑化]をそれぞれ得る。
(手順2) 当該平滑化による元画像からの差分に相当する各画像hi(i=1,2,3)を以下のように求める。
hi=|si- si[平滑化]|
(手順3) 上記得た差分に相当する画像hiをさらに平滑化して画像hi[平滑化]を得る。
(手順4) 各画素位置xにおいて、複数の画像hi[平滑化](i=1,2,3)の対応画素値hi[平滑化](x)を比較し、当該画素値が最大となっているものを、最も鮮明な画像si[max]から得られたものと判定する。式で書けば以下の通りである。
i[max](x)=argmax{hi[平滑化](x)}
Also, for example, the clearest image may be determined in the following
(Procedure 1) A smoothing filter is applied to each image of the second correlation image group s 1 , s 2 , s 3 to form images s 1 [smoothing] , s 2 [smoothing] , s 3 [smoothing] . obtain.
(Procedure 2) Each image h i (i = 1, 2, 3) corresponding to the difference from the original image by the smoothing is determined as follows.
h i = | s i -s i [smoothing] |
(Procedure 3) The image h i [smoothing] is obtained by further smoothing the image h i corresponding to the obtained difference.
(Procedure 4) At each pixel position x, the corresponding pixel values h i [smoothing] (x) of a plurality of images h i [smoothing] (i = 1, 2, 3) are compared, and the pixel value is maximum It is determined that one obtained by the above is obtained from the clearest image s i [max] . If it writes in a formula, it is as follows.
i [max] (x) = argmax {hi [smoothing] (x)}
深度マップ生成部44では、位相確定部43が以上のようにして確定させた各画素位置xの位相ωτ(x)に比例する合焦時刻τ(x)を用いて、深度マップを生成する。具体的には前述の式(4)により各画素位置xの深度dを計算することにより、深度マップを生成することができる。
The depth
以上、本発明によれば、時間相関イメージセンサを利用したパッシブ計測により全焦点画像と深度マップとの両方を高速且つ高精度に得ることができる。以下、本発明の説明上の補足を何点か述べる。 As described above, according to the present invention, it is possible to obtain both an omnifocal image and a depth map at high speed and with high accuracy by passive measurement using a time correlation image sensor. The following is a few supplementary notes of the present invention.
<位相確定部43の第一の別実施形態に関して>
上記では露光期間を3等分することに相当する3つの荷重関数f4,f5,f6のもとで1つの候補τ[候補](x)を確定するものとしたが、これを全く同様に拡張した別実施形態として、4つ以上のN個の荷重関数F1,F2, …,FNとして露光期間をN等分することに相当するものを用いて、1つの候補τ[候補](x)を確定するようにしてもよい。すなわち、各荷重関数Fi(i=1,2,…,N)は、式で書けば以下の通りである。ここで、前述の式(8-1)ないし(8-6)の荷重関数と同様に、1フレーム分の時間全体をt(0≦t≦T)としている。
Fi(t)=1 ((i-1)・T/N<t<i・T/N)
Fi(t)=0 (else)
Regarding the First Another Embodiment of
In the above, one candidate τ [candidate] (x) is determined under the three weighting functions f 4 , f 5 and f 6 corresponding to dividing the exposure period into three equal parts. another embodiment which extends Similarly, four or more of the N weighting function F 1, F 2, ..., using what the exposure period as F N corresponds to N equal parts, one candidate tau [ Candidate] (x) may be determined. That is, each load function F i (i = 1, 2,..., N) can be written as follows. Here, the entire time for one frame is set to t (0 ≦ t ≦ T), similarly to the load functions of the above-mentioned equations (8-1) to (8-6).
F i (t) = 1 ((i-1) · T / N <t <i · T / N)
F i (t) = 0 (else)
この場合、撮像部21の各撮像素子(フォトダイオードPD)の構成として図4に示した構成は、素子群E1〜E6に対してさらに同様に並列接続される、追加のN-3個の同様の素子群E7,E8, …EN+3(不図示)を設けた構成とし、N個の素子群E4,E5, …EN+3において露光期間をN等分することに相当する上記の荷重関数Fiをそれぞれ参照信号として入力させるようにすればよい。また、最も鮮明な画像の判定に関しても同様に、N枚の画像で構成された第二相関画像群を対象として実施するようにすればよい。以上ではN≧4としたが、全く同様にN=2の実施形態も可能である。
In this case, the configuration shown in FIG. 4 as the configuration of each imaging element (photodiode PD) of the
<位相確定部43の第二の別実施形態に関して>
位相確定部43では、別の実施形態として、第二相関画像群s1,s2,s3を参照せずに位相候補の中から合焦位置に対応するものを確定するようにしてもよい。すなわち、事前にマニュアル等で与えられる情報として、画像内の各位置xにおける深度が所定範囲にあることが既知であれば、当該既知の情報により合焦位置に対応するものを確定してもよい。例えば、画像全体に撮像されている深度マップの取得対象物は平均してカメラから1m離れており、その凹凸の範囲が±10cmであるということが事前に既知であれば、所定範囲として90cmから110cmまでの範囲内にあるものを合焦位置に対応するものとして確定してよい。
Regarding Second Alternative Embodiment of
As another embodiment, the
<光学系部10の焦点位置の移動と参照信号生成部22での参照信号との同期に関して>
光学系部10は、任意の既存のアクチュエータ機構等で構成される駆動部12によって焦点位置を概ね等速(所定精度の制御処理のもとで判定される等速)で移動させながら対象の像を形成させるようにすることができる。当該アクチュエータの駆動信号(例えばパルス幅変調による駆動信号)と、任意の既存のファンクションジェネレータ等によって構成される参照信号生成部22による参照信号と、は、図1中に線L1で示すように、互いに同期させるように制御することで、図5に例示したような同期動作が可能となる。当該ハードウェアとしての制御部は図1では不図示であるが、CPUや専用回路といった任意の既存技術によって当該制御部を実現することができる。
<Regarding Movement of Focus Position of Optical System Unit 10 and Synchronization with Reference Signal in Reference
The optical system unit 10 moves the focus position at a substantially constant velocity (equal velocity determined under control processing with predetermined accuracy) by the
<光学系部10による焦点位置の移動の設定に関して>
撮像される対象OBに関して想定される深度範囲において1回だけ焦点が合う状態となるように、光学系部10の所定のカメラパラメータ等に応じて式(8-0)による所定の移動範囲を設定すればよい。当該移動範囲を設定するための所定パラメータとしては、露光時間t(0<t<T)のもとでの初期位置p0及び速度sを設定しておけばよい。
Regarding Setting of Movement of Focus Position by Optical System Unit 10
The predetermined movement range according to the equation (8-0) is set according to the predetermined camera parameters of the optical system unit 10 or the like so that the image is focused only once in the assumed depth range of the object OB to be imaged. do it. As predetermined parameters for setting the movement range, an initial position p 0 and a speed s under an exposure time t (0 <t <T) may be set.
<関数IP1が式(6-1)の関数形で与えられ深さ不変の性質を有することの説明>
形式的な定義は式(6)で与えられる関数IP1の関数形を与える式(6-1)を以下に再掲する。
IP1∝ejωτP1(x) (6-1)
<Description of Function IP 1 Given in Function Form of Expression (6-1) and Having Depth Invariant Property>
The formal definition gives the function form of the function IP 1 given by the equation (6).
IP 1 ∝e jωτ P 1 (x) (6-1)
ここで、上記式(6-1)のような関数形となることは、形式的な定義の式(6)の関数IP1を対象として具体的な解析を行うことで、本発明において特に見出された性質である。当該解析自体は、既存手法(非特許文献1や特許文献5)の式(2)の関数IP0が深さ不変の性質を有することがモデル式に具体的な数値を与えて経験的に見出されたのと同様のアプローチによるものであり、具体的には以下に簡潔に説明する通りである。
Here, the fact that the function form is the equation (6-1) can be particularly viewed in the present invention by carrying out a specific analysis on the function IP 1 of the formal definition equation (6). It is the nature of the issue. In the analysis itself, the function IP 0 in the equation (2) of the existing method (
まず、簡単なモデルとしてピルボックス関数Πで以下のように点拡がり関数が与えられる場合を考える。すなわち、DoF(ピントが合っているとみなせる被写界深度)の範囲内ではデルタ関数的な半径ε<<1のピルボックス関数であり、それ以外では半径cのピルボックス関数であるものとしてモデル化する。τは前述の通り合焦時刻である。
P(x,d,t)=Π(x,ε) (if |t-τ|<ε)
P(x,d,t)=Π(x,c) (else)
ここでピルボックス関数Πは以下の通りである。
Π(x,c)=1/(2πc2) (if |x|<c)
Π(x,c)=0 (else)
First, consider a case where a point spread function is given by a pillbox function ピ ル as a simple model as follows. That is, it is a pillbox function having a delta function ε <<< 1 within the range of DoF (the depth of field which can be regarded as being in focus), and a pillbox function of the radius c otherwise. Turn τ is the in-focus time as described above.
P (x, d, t) = Π (x, ε) (if | t-τ | <ε)
P (x, d, t) = Π (x, c) (else)
Here, the pillbox function Π is as follows.
Π (x, c) = 1 / (2πc 2 ) (if | x | <c)
Π (x, c) = 0 (else)
以上のモデル式を定義の式(6)に代入して計算することで、その途中の計算過程は省略するが、以下のような解析解としての関数形IP1を得ることができる。当該解析解は式(6-1)の関数形に合致するものとなっていること、すなわち、位相項ejωτに比例し、且つ、残りの項が深さ不変のものとなっていることが確認できる。 By substituting the above model equation into the equation (6) of the definition and performing calculation, the calculation process on the way is omitted, but it is possible to obtain the function form IP 1 as an analytical solution as follows. The analytical solution conforms to the function form of equation (6-1), that is, it is proportional to the phase term e jωτ , and the remaining terms are depth-invariant. It can confirm.
以上では、簡単なモデルとしてピルボックス関数Πで点拡がり関数をモデル化した場合に式(6-1)のような関数形となることを示したが、より正確なモデルとしてガウシアンでモデル化した場合も同様の関数形となることを数値的に確認することができる。ガウシアンでモデル化する場合、関数IP1はピルボックス関数の場合のような解析解には書けず、定義式(6)によって以下のような積分を含むものとして書くことができる。 In the above, it has been shown that when a point spread function is modeled by a pillbox function と し て as a simple model, the function form is as shown in equation (6-1), but a more accurate model is modeled by Gaussian. It can be confirmed numerically that the same functional form is obtained. When modeling with Gaussian, the function IP 1 can not be written in an analytical solution as in the case of the pillbox function, but can be written as definition including equation (6) as follows.
図6は、上記積分を含んで書かれるIP1が式(6-1)のような関数形の挙動を示すことを数値的に確認したグラフを[1]〜[4]と分けて示す図である。[1]及び[2]は関数IP1の実部及び虚部をプロットしたグラフであり、位置x依存は2次元的な依存であるが、ここでは1次元変化のみを切り取って示している。また、θ=2πt/Tで位相依存を示している。当該位相依存の形が概ねcosθ及びsinθとなっており、当該位相依存の効果を除外して考えると位置x依存の関数形は一定であることが[1]及び[2]から読み取れる。 FIG. 6 is a diagram separately showing [1] to [4] a graph numerically confirming that IP 1 written including the above-mentioned integral exhibits the behavior of the functional form as in equation (6-1) It is. [1] and [2] are graphs in which the real part and imaginary part of the function IP 1 are plotted, and although the position x dependence is a two-dimensional dependence, only the one-dimensional change is cut out and shown here. Also, phase dependency is shown at θ = 2πt / T. It can be read from [1] and [2] that the form of the phase dependence is approximately cos θ and sin θ, and the function form of the position x dependence is constant considering the effects of the phase dependence.
さらに、図6の[3]及び[4]は上記積分を含んで書かれるIP1が式(6-1)のように深さ不変であることを数値的に確認したものとして、位相項ejωtで除算した関数IP1/ejωtの実部及び虚部をそれぞれ、様々な深さdに関してプロットしたグラフ群を示している。ここで、[3]及び[4]の両者において、様々な深さdに関してプロットしたグラフ形状がほぼ重なるものであること、すなわちグラフ形状がほぼ同じとなっていることを読み取ることができ、従って、関数IP1の深さ不変の性質を数値的に確認することができる。 Further, [3] and [4] in FIG. 6 indicate that the phase term e is numerically confirmed that IP 1 written including the above-mentioned integral is depth-invariant as in equation (6-1). respectively real part and the imaginary part of the function IP 1 / e j? t divided by j? t, shows a graph group that has been plotted for various depths d. Here, in both [3] and [4], it can be read that the graph shapes plotted for various depths d substantially overlap, that is, the graph shapes become almost the same, and therefore The depth invariant nature of the function IP 1 can be confirmed numerically.
なお、関数IP1に関しては、以上のような定性的な性質を位相推定部42での計算の原理として利用しているが、位相推定部42での計算の詳細において、実質的に必要な入力データはセンサ部20から得られている第一相関画像ペアg1のみであることからも明らかなように、全焦点画像生成部41において全焦点画像rを生成した際に用いた関数IP0とは異なり、関数IP1の具体的な関数形を与えておく必要はない。
Although the qualitative property as described above is used as the principle of the calculation in the
<参照信号等の利用に関する別の実施形態(第二実施形態)に関して>
第二実施形態では、各画素に関する積分回路23等の回路構成を、図4に示すような6つの共通の素子群Ei(i=1,2, …, 6)を並列接続とすることにより、単一画素において通常画像g0及び第一相関画像ペアg1の元画像ペア並びに第二相関画像群s1,s2,s3を同時に求めるようにすることに代えて、次のようにしてもよい。
<Regarding another embodiment (second embodiment) related to use of reference signal etc.>
In the second embodiment, the circuit configuration of the integrating circuit 23 etc. for each pixel is connected in parallel by connecting six common element groups E i (i = 1, 2,..., 6) as shown in FIG. Instead of simultaneously determining the original image pair of the normal image g 0 and the first correlated image pair g 1 and the second correlated image group s 1 , s 2 , s 3 in a single pixel, May be
すなわち、各画素に関する積分回路23等の回路構成は、図4の構成に代えて図7に示すように、6つではなく3つの共通の素子群Ei(i=1,2,3)を並列接続とした構成とする。ここで、図7の構成において各素子Eiは図4で説明したのと同一であり、各素子Eiを並列に並べる個数のみが図4及び図7で異なっているので、図7に関して重複する説明は省略する。そして、図7の構成を用いる場合、図4の構成とは異なり、単一画素において通常画像g0及び第一相関画像ペアg1の元画像ペア並びに第二相関画像群s1,s2,s3を同時に求めることは不可能となるので、当該同時に求めることに代えて次のようにすればよい。すなわち、単板のカラーカメラにおいて採用されている周知のベイヤー配列などの場合と同様に、所定の隣接画素を画像の同一画素における別信号(G信号に対するR信号又はB信号などの別信号)を取得するためのものとして採用する手法を利用する。 That is, as shown in FIG. 7 instead of the configuration of FIG. 4, the circuit configuration of the integration circuit 23 etc. for each pixel is not six but three common element groups E i (i = 1, 2, 3). It is set as parallel connection. Here, in the configuration of FIG. 7, each element E i is the same as that described in FIG. 4, and only the number of elements E i arranged in parallel is different in FIG. 4 and FIG. The explanation is omitted. When the configuration of FIG. 7 is used, unlike the configuration of FIG. 4, an original image pair of the normal image g 0 and the first correlation image pair g 1 and a second correlation image group s 1 , s 2 , since it is impossible to determine s 3 simultaneously, the following procedures may be used instead of obtaining the same time. That is, as in the case of the known Bayer arrangement adopted in a single-plate color camera, predetermined adjacent pixels are different signals (different signals such as R signal or B signal to G signal) in the same pixel of the image. Use the method adopted for acquiring.
具体的には、撮像面21上の隣接画素のうちの一方において、図7の3並列の回路構成により通常画像g0及び第一相関画像ペアg1の元画像ペアを求めるようにすると共に、隣接画素のうちのもう一方において同じく図7の3並列の回路構成により第二相関画像群s1,s2,s3を求めるようにすればよい。この場合、各画像に関しては図4について説明したのと同様の参照信号を図7の回路構成においても全く同様に利用することで、参照信号に対応する積分出力として同様に取得することができる。
Specifically, in one of the adjacent pixels on the
すなわち、通常画像g0並びに第一相関画像ペアg1の元画像ペアを求める際は図7の3並列の回路構成において端子V1,V2,V3にそれぞれ前掲の式(8-1),(8-2),(8-3)で与えられる荷重関数f1,f2,f3で変調した参照信号V1,V2,V3を入力することで、出力out1,out2,out3においてそれぞれ通常画像g0及び第一相関画像ペアg1の元画像ペアを取得することができる。また同様に、第二相関画像群s1,s2,s3を求める際は図7の3並列の回路構成において端子V1,V2,V3にそれぞれ前掲の式(8-4),(8-5),(8-6)で与えられる荷重関数f4,f5,f6で変調した参照信号V4,V5,V6を入力することで、出力out1,out2,out3において第二相関画像群s1,s2,s3のそれぞれを取得することができる。 That is, when obtaining the original image pair of the normal image g 0 and the first correlated image pair g 1 , the above-described equation (8-1) is applied to the terminals V 1 , V 2 and V 3 in the 3-parallel circuit configuration of FIG. , (8-2), by inputting a reference signal V 1, V 2, V 3 modulated by the weighting function f 1, f 2, f 3 given by (8-3), the output out 1, out 2 , out 3 , an original image pair of the normal image g 0 and the first correlation image pair g 1 can be acquired. Similarly, in order to obtain the second correlation image group s 1 , s 2 , s 3 , the above-described equations (8-4), respectively, are applied to the terminals V 1 , V 2 , V 3 in the three parallel circuit configuration of FIG. By inputting the reference signals V 4 , V 5 and V 6 modulated by the weight functions f 4 , f 5 and f 6 given by (8-5) and (8-6), the outputs out 1 , out 2 and Each of the second correlation image groups s 1 , s 2 , and s 3 can be acquired in out 3 .
以上の第二実施形態によれば、隣接画素の一方では通常画像g0及び第一相関画像ペアg1の元画像ペアの3枚の画像を取得し、もう一方では第二相関画像群s1,s2,s3の3枚の画像を取得することにより、回路構成を図4の構成(6並列)ではなく図7の構成(3並列)として簡素化し、コスト低減等を図ることが可能となる。 According to the second embodiment described above, one of the adjacent pixels acquires three images of the original image pair of the normal image g 0 and the first correlation image pair g 1 , and the other has the second correlation image group s 1 , s 2 , and s 3 , the circuit configuration can be simplified as the configuration of FIG. 7 (three parallel) instead of the configuration of FIG. 4 (six parallel), and cost reduction can be achieved. It becomes.
ここで、当該別の3枚の画像(すなわち、別の信号)をそれぞれ取得する隣接画素は、取得される画像における同一画素(同一位置の同一画素)とみなして扱ってもよいし、隣接画素(隣接位置の別画素)として扱い、取得されない別の信号に関しては当該画素位置において既存技術である補間を適用することで取得するようにしてもよい。補間を適用する場合、同一画素として扱う場合に比べて2倍の空間解像度を得ることができる。なお、補間の適用は画像処理部40に図1では不図示の「補間部」を設けることにより、補間部において実施すればよい。補間部はAD変換部30から得た各デジタル画像に対して補完処理を適用したうえで各部41,42,43へと補間されたデジタル画像を出力すればよい。
Here, adjacent pixels that acquire the other three images (that is, different signals) may be regarded as the same pixel (the same pixel at the same position) in the acquired image, or the adjacent pixels may be treated. It may be treated as (another pixel at an adjacent position), and another signal which is not acquired may be acquired by applying the interpolation which is an existing technology at the pixel position. When interpolation is applied, spatial resolution twice as high as when treated as the same pixel can be obtained. The application of the interpolation may be performed in the interpolation unit by providing the image processing unit 40 with an “interpolation unit” (not shown in FIG. 1). The interpolation unit may apply interpolation processing to each digital image obtained from the
<参照信号の利用等に関するさらに別の実施形態(第三実施形態)に関して>
以上のような図7の回路構成を用いる第二実施形態において参照信号を変更したものに相当する第三実施形態を説明する。第三実施形態の要旨は次の通りである。すなわち、利用する荷重関数としては前掲の式(8-1),(8-2),(8-3)で与えた「f1=1,f2=cosωt,f3=sinωt」が結果的に実現されるが、端子への入力信号としての参照信号V1,V2,V3は例えば三相対称信号として、「V1=sinωt, V2=sin(ωt+2π/3), V3=sin(ωt+4π/3)」を採用することで、まず出力out1,out2,out3において第一画像群G1,G2,G3を得て、これらをそれぞれAD変換部30で同様にデジタル化する。そして、変換部45の変換処理を次のように変更する。すなわち、第一画像群G1,G2,G3を変換することで通常画像g0、実部画像Re(g1)及び虚部画像Im(g1)の3枚の画像を求めるという処理に変更する。その後は以上と同様の処理を行なうようにすればよい。
Regarding yet another embodiment (third embodiment) relating to use of reference signal etc.
A third embodiment will be described which corresponds to a modification of the reference signal in the second embodiment using the circuit configuration of FIG. 7 as described above. The gist of the third embodiment is as follows. That is, as a weight function to be used, “f 1 = 1, f 2 = cos ωt, f 3 = sin ωt” given by the above equations (8-1), (8-2) and (8-3) is the result The reference signals V 1 , V 2 , and V 3 as input signals to the terminals are, for example, three-phase symmetrical signals, and “V 1 = sin ωt, V 2 = sin (ωt + 2π / 3), V By adopting “ 3 = sin (ωt + 4π / 3)”, first, the first image group G 1 , G 2 , G 3 is obtained at the outputs out 1 , out 2 , out 3 , and these are respectively converted into AD conversion units Digitize at 30 as well. Then, the conversion process of the
すなわち、第三実施形態では、変換処理によって荷重関数としては以上のその他の実施形態と同じ「f1=1,f2=cosωt,f3=sinωt」が結果的に実現されることとなるが、参照信号に対称なものを利用できるという効果がある。なお、第二相関画像群s1,s2,s3に関しては上記の第二実施形態と全く同様に、隣接画素において図7の回路構成により前掲の式(8-4),(8-5),(8-6)で与えられる荷重関数f4,f5,f6で変調した参照信号(すなわち、対称な信号)を用いて取得することができる。 That is, in the third embodiment, “f 1 = 1, f 2 = cos ωt, f 3 = sin ωt” as the weight function as in the other embodiments above is eventually realized by the conversion processing. There is an effect that symmetrical ones can be used for the reference signal. The second correlation image groups s 1 , s 2 and s 3 are the same as in the second embodiment described above, in the adjacent pixels according to the circuit configuration of FIG. And (8-6) can be obtained using the reference signals (ie, symmetrical signals) modulated by the weighting functions f 4 , f 5 , and f 6 .
以下、第三実施形態の詳細を説明する。まず、図7の回路構成において以下の式(20)の関係から式(21)の乗算特性が得られる。ここで、各Ii(i=1,2,3)はトランジスタQiにおけるドレイン電流であり、qは電荷、κはゲート係数、kはボルツマン定数、Tは絶対温度である。また、式(21)右辺のV上線(Vに上線を加えたもの)は参照信号(印可電圧)の平均値「(V1+V2+V3)/3」を表す。 The details of the third embodiment will be described below. First, in the circuit configuration of FIG. 7, the multiplication characteristic of equation (21) is obtained from the relationship of equation (20) below. Here, each I i (i = 1, 2, 3) is a drain current in the transistor Q i , q is a charge, κ is a gate coefficient, k is a Boltzmann constant, and T is an absolute temperature. Further, the V upper line (the sum of V and the upper line) on the right side of the equation (21) represents the average value “(V 1 + V 2 + V 3 ) / 3” of the reference signal (applied voltage).
第三実施形態では、1フレーム時間0<t<Tにおいて正規直交系をなしているような適当な荷重関数の系ga(t),gb(t)を用意し、以下の式(22)のように所定のバイアス電圧(所定の直流成分)からの小信号としての参照信号V1,V2,V3を定め、それぞれ第一画像群G1,G2,G3を得ることができる。(式(22)では当該直流成分は表記しておらず、当該直流成分からの差分のみを表記している。)例えば、ga(t)=cosωt及びgb(t)=sinωtを用意することで、以下の参照信号V1,V2,V3は三相対称なものとして定めることができる。
In the third embodiment, a system g a (t) and g b (t) of appropriate weighting functions is prepared such that an orthonormal system is formed in one
変換部45では、以上の関係に基づく逆算を行うことで、第一画像群G1,G2,G3から通常画像g0、実部画像Re(g1)及び虚部画像Im(g1)の3枚の画像を求めることができる。すなわち、通常画像g0は以下のように第一画像群G1,G2,G3の平均画像として求めることができる。
g0=(G1+G2+G3)/3
さらに、当該求めた通常画像g0を用いて、例えば(22)の第1式の関係を用いて実部画像Re(g1)を以下のように求めることができる。
Re(g1)=G1-g0
さらに、当該求めた通常画像g0及び実部画像Re(g1)を用いて、例えば(22)の第2式の関係を用いて虚部画像Im(g1)を以下のように求めることができる。
Im(g1)=(G2-g0+Re(g1)/2)・(2/√3)
The
g 0 = (G 1 + G 2 + G 3 ) / 3
Further, using the determined normal image g 0 , the real part image Re (g 1 ) can be determined as follows, for example, using the relationship of the first expression of (22).
Re (g 1 ) = G 1 -g 0
Further, using the determined normal image g 0 and the real part image Re (g 1 ), for example, the imaginary part image Im (g 1 ) is determined as follows using the relationship of the second expression of (22) Can.
Im (g 1 ) = (G 2 −g 0 + Re (g 1 ) / 2) · (2 / √3)
<変換部45の別の実施形態に関して>
積分回路23において第一相関画像ペアg1の元画像ペアを得る実施形態では、AD変換部30の処理を経た後に変換部45で通常画像g0を減算することにより第一相関画像ペアg1を得るようにしていた。これの別の実施形態として、積分回路23において直接、電圧差の出力等によってアナログ値において減算処理を行なうことにより第一相関画像ペアg1を得るようにし、変換部45の減算処理は省略するようにしてもよい。
Regarding Another Embodiment of the Converting
In the embodiment to obtain a first original image pair correlation image pair g 1 in the integration circuit 23, a first correlation image pair by subtracting the normal image g 0 in the
<第一相関画像ペアg1を得るための荷重関数f2及びf3の別の実施形態に関して>
荷重関数f2及びf3に関しては、式(8-2),(8-3)のように複素変調画像を得るための実部としてのコサイン関数及び虚部としてのサイン関数を用いる場合を説明した。これらはフレーム時間0<t<Tを共通周期として実空間で互いに位相が異なる性質を有するものであり、当該性質によって位相推定部42による位相推定を可能とするものであった。従って、荷重関数f2及びf3に関してはコサイン関数及びサイン関数に限らず、当該性質を有するその他の関数、すなわち、フレーム時間0<t<Tを共通周期として互いに位相が異なるようなその他の関数を用いるようにしてもよい。例えば、図8に破線及び実線として模式的なグラフ例を示すような折れ線関数(コサイン関数及びサイン関数のピーク位置をそれぞれ直線で結ぶ関数)を荷重関数f2及びf3として用いてもよい。
Regarding Another Embodiment of Weighting Functions f 2 and f 3 for Obtaining First Correlated Image Pair g 1 >
With regard to the weighting functions f 2 and f 3 , the cases of using the cosine function as the real part and the sine function as the imaginary part for obtaining a complex modulation image as in equations (8-2) and (8-3) will be described. did. These have the property that the phase differs from each other in real space with the
<画像処理部40に関して>
画像処理部40は、ソフトウェアによって実現することもできる。この場合、コンピュータにおいて当該コンピュータを画像処理部40として機能させるプログラムを読み込んで実行することにより、コンピュータによって画像処理部40が実現される。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが画像処理部40の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU(グラフィック処理装置)を備え、CPUに代えて画像処理部40の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。
<Regarding the image processing unit 40>
The image processing unit 40 can also be realized by software. In this case, the image processing unit 40 is realized by the computer by reading and executing a program that causes the computer to function as the image processing unit 40 in the computer. The computer may adopt a known hardware configuration such as a CPU (central processing unit), memory, and various I / Fs, and the CPU executes instructions corresponding to the functions of the respective units of the image processing unit 40. It will be. Further, the computer further includes a GPU (graphics processing device) capable of performing parallel processing at a higher speed than the CPU, and a program is loaded to the function of all or any part of the image processing unit 40 in place of the CPU. It may be performed.
さらに、画像処理部40の全機能又は任意の一部の機能を、ASIC及び/又はFPGAその他の専用回路によって実現するようにしてもよい。 Furthermore, all or some of the functions of the image processing unit 40 may be realized by an ASIC and / or an FPGA or other dedicated circuit.
1…情報取得装置
10…光学系部、11…光学素子機構、12…駆動部
20…センサ部、21…撮像部、22…参照信号生成部、23…積分回路
30…AD変換部
40…画像処理部、41…全焦点画像生成部、42…位相推定部、43…位相確定部、44…深度マップ推定部
1 ... Information acquisition device
DESCRIPTION OF SYMBOLS 10 ... Optical system part, 11 ... Optical element mechanism, 12 ... Drive part
20: sensor unit, 21: imaging unit, 22: reference signal generation unit, 23: integration circuit
30 ... AD converter
40: image processing unit, 41: omnifocal image generation unit, 42: phase estimation unit, 43: phase determination unit, 44: depth map estimation unit
Claims (6)
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号としてそれぞれ、通常画像及び第一相関画像ペアを出力し、
前記画像処理部では前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。 An optical system unit configured to be capable of moving a focal position and forming an image of an object;
A sensor unit including an imaging unit that photoelectrically converts the formed image, and outputting, as an image, a signal obtained by time-integrating a product of the photoelectrically converted signal and a reference signal based on a predetermined load function;
An image processing unit that generates an omnifocal image of an object and a depth map based on the output image;
The optical system unit forms an image of an object while moving the focal position,
The sensor unit outputs a normal image and a first correlation image pair , respectively, as the time-integrated signal using the constant function and the first function group as the predetermined load function.
The image processing unit generates an omnifocal image based on the normal image, and generates a depth map based on the generated omnifocal image and the first correlated image pair.
前記形成された像を光電変換する撮像部を含み、当該光電変換された信号と所定の荷重関数に基づく参照信号との積を時間積分した信号を画像として出力するセンサ部と、
前記出力された画像に基づいて対象の全焦点画像及び深度マップを生成する画像処理部と、を備え、
前記光学系部では、焦点位置を移動させながら対象の像を形成し、
前記センサ部は、前記所定の荷重関数として定数関数及び第一関数群を用いて前記時間積分した信号として第一画像群を出力し、
前記画像処理部では前記第一画像群を変換することによって通常画像及び第一相関画像ペアを求めたうえで、前記通常画像に基づいて全焦点画像を生成すると共に、当該生成された全焦点画像及び前記第一相関画像ペアに基づいて深度マップを生成することを特徴とする情報取得装置。 An optical system unit configured to be capable of moving a focal position and forming an image of an object;
A sensor unit including an imaging unit that photoelectrically converts the formed image, and outputting, as an image, a signal obtained by time-integrating a product of the photoelectrically converted signal and a reference signal based on a predetermined load function;
An image processing unit that generates an omnifocal image of an object and a depth map based on the output image;
The optical system unit forms an image of an object while moving the focal position,
The sensor unit outputs a first image group as the time-integrated signal using a constant function and a first function group as the predetermined load function.
The image processing unit obtains a normal image and a first correlation image pair by converting the first image group, and generates an omnifocal image based on the normal image, and generates the generated omnifocal image And generating a depth map based on the first correlated image pair.
前記画像処理部では、前記第一相関画像ペアに反映されている互いに異なる位相に基づいて各画素位置における合焦時刻を推定し、当該推定した合焦時刻に基づいて前記深度マップを生成することを特徴とする請求項1または2に記載の情報取得装置。 In the sensor unit, functions different in phase from each other are used as the first function,
The image processing unit estimates a focusing time at each pixel position based on mutually different phases reflected in the first correlated image pair , and generates the depth map based on the estimated focusing time. The information acquisition device according to claim 1 or 2, characterized by
前記画像処理部では、前記第一相関画像ペアに反映されている互いに異なる位相に基づいて各画素位置における合焦時刻の候補を推定し、さらに、当該推定された候補の中から、前記第二相関画像群のうち対応画素位置が最も鮮明となる画像に対応する前記所定期間にあるものを、合焦時刻に対応するものとして確定させることを特徴とする請求項3に記載の情報取得装置。 In the sensor unit, as the predetermined load function, a second function group is used as a time-integrated signal using a second function group having a constant value only during mutually different predetermined periods and having a value of zero outside the predetermined period. Output further correlation image groups,
The image processing unit estimates candidates for focusing time at each pixel position based on mutually different phases reflected in the first correlated image pair , and further, from among the estimated candidates, the second one 4. The information acquisition apparatus according to claim 3, wherein one of the correlated image groups in the predetermined period corresponding to the image where the corresponding pixel position is most sharp is determined as one corresponding to the focusing time.
当該アクチュエータの駆動制御信号と同期することによって、前記所定の参照信号が与えられることを特徴とする請求項1ないし4のいずれかに記載の情報取得装置。 In the optical system unit, an image of an object is formed while moving a focal position at a substantially constant speed by an actuator;
The information acquisition apparatus according to any one of claims 1 to 4, wherein the predetermined reference signal is given by synchronizing with a drive control signal of the actuator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017236838A JP6521470B1 (en) | 2017-12-11 | 2017-12-11 | Information acquisition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017236838A JP6521470B1 (en) | 2017-12-11 | 2017-12-11 | Information acquisition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6521470B1 true JP6521470B1 (en) | 2019-05-29 |
JP2019106587A JP2019106587A (en) | 2019-06-27 |
Family
ID=66655767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017236838A Expired - Fee Related JP6521470B1 (en) | 2017-12-11 | 2017-12-11 | Information acquisition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6521470B1 (en) |
-
2017
- 2017-12-11 JP JP2017236838A patent/JP6521470B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019106587A (en) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5173665B2 (en) | Image capturing apparatus, distance calculation method thereof, and focused image acquisition method | |
JP5868183B2 (en) | Imaging apparatus and imaging method | |
US10154216B2 (en) | Image capturing apparatus, image capturing method, and storage medium using compressive sensing | |
JP5374119B2 (en) | Distance information acquisition device, imaging device, and program | |
JP2015035658A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
Mufti et al. | Statistical analysis of signal measurement in time-of-flight cameras | |
Wang et al. | A fast auto-focusing technique for the long focal lens TDI CCD camera in remote sensing applications | |
Pasinetti et al. | A depth from defocus measurement system using a liquid lens objective for extended depth range | |
US11675061B2 (en) | Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera | |
JP2008304202A (en) | Method and apparatus for distance image generation and program | |
JP2014038151A (en) | Imaging apparatus and phase difference detection method | |
JP6153318B2 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
Chen et al. | Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision | |
JP6521470B1 (en) | Information acquisition device | |
JP2017134561A (en) | Image processing device, imaging apparatus and image processing program | |
JP5900049B2 (en) | Depth of field expansion system and depth of field expansion method | |
EP3194886A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
JP6728020B2 (en) | Image processing apparatus, image processing method and program | |
WO2016194576A1 (en) | Information processing device and method | |
US10523861B2 (en) | Defocus estimation method independent of the scene content and use in an autofocus system | |
JP6639155B2 (en) | Image processing apparatus and image processing method | |
WO2016042721A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
Šorel | Multichannel blind restoration of images with space-variant degradations | |
Park | An image-based calibration technique of spatial domain depth-from-defocus | |
JP6625184B2 (en) | Focus detection device, imaging device, focus detection method, and focus detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6521470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |