JP7262021B2 - 奥行取得装置、奥行取得方法およびプログラム - Google Patents
奥行取得装置、奥行取得方法およびプログラム Download PDFInfo
- Publication number
- JP7262021B2 JP7262021B2 JP2020548353A JP2020548353A JP7262021B2 JP 7262021 B2 JP7262021 B2 JP 7262021B2 JP 2020548353 A JP2020548353 A JP 2020548353A JP 2020548353 A JP2020548353 A JP 2020548353A JP 7262021 B2 JP7262021 B2 JP 7262021B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- flare
- region
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000003384 imaging method Methods 0.000 claims description 121
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 106
- 238000012545 processing Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 23
- 238000003708 edge detection Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 238000009792 diffusion process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明者は、「背景技術」の欄において記載した、特許文献1の測距装置に関し、以下の問題が生じることを見出した。
[ハードウェア構成]
図1は、実施の形態に係る奥行取得装置1のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置1は、赤外光(または近赤外線光)に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および撮像時刻の撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。
本実施の形態における奥行取得装置1は、図1に示すハードウェア構成によって、IR画像とBW画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および同一時刻の撮像によって取得する。そして、奥行取得装置1は、そのIR画像から得られる、そのIR画像内の各位置における奥行きを、BW画像を用いて補正する。具体的には、IR画像に後述のフレア領域が存在する場合、奥行取得装置1は、そのIR画像から得られる、フレア領域内の各位置における奥行きを、そのフレア領域に対応するBW画像の領域内の画像を用いて補正する。
まず、光源101は、発光することによって、被写体に赤外光を照射する。
次に、IRカメラ102は、IR画像を取得する。つまり、IRカメラ102は、光源101によって赤外光が照射された被写体を含むシーンを撮像する。これにより、IRカメラ102は、被写体から反射された赤外光に基づくIR画像を取得する。具体的には、IRカメラ102は、図3に示す第1露光期間、第2露光期間および第3露光期間のそれぞれのタイミングと露光量とによって得られるIR画像を取得する。
次に、BWカメラ103は、BW画像を取得する。つまり、BWカメラ103は、ステップS12で取得されたIR画像に対応するBW画像、すなわち、そのIR画像と同一のシーンおよび同一の視点のBW画像を取得する。
そして、フレア検出部112は、ステップS12で取得されたIR画像からフレア領域を検出する。
次に、奥行推定部111は、ステップS12で取得されたIR画像、ステップS13で取得されたBW画像、および、ステップS14で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。
まず、プロセッサ110の発光タイミング取得部113は、光源101が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。
次に、IR画像取得部114は、ステップS21で取得されたタイミング情報によって示されるタイミングに応じて撮像を行ったIRカメラ102から、IR画像を取得する。例えば、IR画像取得部114は、発光タイミング取得部113から図1に示す発光信号が出力されるタイミングに、露光信号をIRカメラ102に出力する。これによって、IR画像取得部114は、IRカメラ102に撮像を開始させ、その撮像によって得られたIR画像を、そのIRカメラ102から取得する。このとき、IR画像取得部114は、メモリ200を介してIRカメラ102からIR画像を取得してもよく、IRカメラ102から直接取得してもよい。
次に、BW画像取得部115は、ステップS22で取得されたIR画像に対応するBW画像をBWカメラ103から取得する。このとき、BW画像取得部115は、メモリ200を介してBWカメラ103からBW画像を取得してもよく、BWカメラ103から直接取得してもよい。
そして、フレア検出部112は、IR画像からフレア領域を検出する。
次に、奥行推定部111は、ステップS22で取得されたIR画像、ステップS23で取得されたBW画像、および、ステップS24で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。これによって、少なくともそのフレア領域の奥行きを示す奥行情報が算出される。なお、このとき、奥行推定部111は、フレア領域だけでなくIR画像の全体の奥行きを推定し、その推定結果を示す奥行情報を算出してもよい。
図8は、奥行取得装置1のプロセッサ110の具体的な機能構成を示すブロック図である。
図15は、図8に示す奥行取得装置1の全体的な処理動作を示すフローチャートである。
まず、高輝度領域検出部116は、IR画像から高輝度領域を検出する。
第1エッジ検出部117IRは、IR画像にあるエッジを検出する。
第2エッジ検出部117BWは、BW画像にあるエッジを検出する。
フレア検出部112は、IR画像の少なくとも1つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、BW画像の対応領域内のエッジとを比較することによって、IR画像内のフレア領域を検出する。つまり、フレア検出部112は、高輝度領域内のエッジと、BW画像の対応領域内のエッジとの間の相関値が第2閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、IR画像は、少なくとも1つのフレア領域と、非フレア領域とに領域分割される。
第1奥行推定部111aは、例えばTOFを用いてIR画像から第1奥行情報を生成する。
第2奥行推定部111bは、IR画像の第1奥行情報とBW画像とに基づいて、フレア領域の奥行きを示す第2奥行情報を生成する。
出力部118は、その第1奥行情報によって示されるフレア領域の奥行きを、第2奥行情報によって示される奥行きに置き換えることによって、第3奥行情報を生成する。
まず、高輝度領域検出部116は、IR画像内の各位置での輝度が第1閾値以上であるか否かを判定する。ここで、第1閾値は、例えばIR画像が12ビット階調の画像であれば、1500程度であってもよい。もちろん、この第1閾値は、環境条件またはIRカメラ102の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、IR画像全体の輝度が低くなるため、第1閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、IRカメラ102の露光時間が長い場合、IR画像全体の輝度が高くなるため、第1閾値は、露光時間が短い場合よりも、大きい値でもよい。
ここで、何れの位置での輝度も第1閾値以上ではないと判定すると(ステップS41のNo)、高輝度領域検出部116は、そのIR画像においてフレアは生じていないと判定する(ステップS42)。つまり、IR画像の全体が非フレア領域として判定される。
一方、何れかの位置での輝度が第1閾値以上であると判定すると(ステップS41のYes)、高輝度領域検出部116は、IR画像を領域分割する。つまり、高輝度領域検出部116は、IR画像を、少なくとも1つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばSuperPixelなど、輝度による手法を利用してもよい。
次に、第1エッジ検出部117IRおよび第2エッジ検出部117BWは、IR画像およびBW画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Canny法またはSobelフィルタなどを利用してもよい。
フレア検出部112は、IR画像の少なくとも1つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応するBW画像の領域内のエッジとを比較する。つまり、フレア検出部112は、IR画像の高輝度領域内のエッジと、BW画像の対応領域内のエッジとの間の相関値が、第2閾値以上か否かを判定する。相関値は、IR画像とBW画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部112は、IR画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応するBW画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。
ここで、相関値が第2閾値以上ではない、すなわち第2閾値未満と判定すると(ステップS45のNo)、フレア検出部112は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、IR画像内のフレアなどが生じている領域と、BW画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部112は、IR画像内のその高輝度領域をフレア領域として判別する。
以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、IR画像とBW画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、IR画像とBW画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、IR画像とBW画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。
フレア検出部112は、ステップS45aでは、ステップS43の領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応するBW画像の領域における各画素の輝度との間の相関値を計算する。相関値は、IR画像とBW画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部112は、IR画像の高輝度領域における各画素の輝度からなるベクトルと、BW画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。
もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、ハミング距離およびCENSUS変換を利用してもかまわない。CENSUS変換については、例えば非特許文献(R. Zabih and J. Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, Proc. of ECCV, pp.151-158, 1994)に開示されている。CENSUS変換は、画像中にウインドウを設定し、そのウインドウの中心画素と周辺画素との大小関係をバイナリベクトルに変換する。
フレア検出部112は、ステップS44bでは、ステップS43の領域分割によって得らえた各高輝度領域について、IR画像のうちのその高輝度領域の画像と、BW画像のうちの対応領域の画像とのそれぞれに対してCENSUS変換を行う。これにより、IR画像のうちのその高輝度領域の画像に対するCENSUS変換画像と、BW画像のうちの対応領域の画像に対するCENSUS変換画像とが生成される。
次に、フレア検出部112は、ステップS45bにおいて、ステップS44bで求めたIR画像のCENSUS変換画像と、BW画像のCENSUS変換画像との間のハミング距離を計算する。そして、フレア検出部112は、このハミング距離を高輝度領域の画素数で正規化した値が第3閾値以下の場合(ステップS45bのYes)、その高輝度領域ではフレアなどが生じていないと判別する(ステップS42)。一方、正規化したハミング距離の値が第3閾値より大きい場合(ステップS45bのNo)、フレア検出部112は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部112は、その高輝度領域をフレア領域として判別する(ステップS46)。
図17に示す例では、フレア領域と非フレア領域の判別に、IR画像の輝度と、IR画像とBW画像の輝度との間の相関値を利用したが、IR画像の輝度のみを利用してもかまわない。
第2奥行推定部111bは、BW画像、第1奥行情報、およびフレア領域(すなわち上述の領域の判別結果)を利用し、第2奥行情報を生成する。
上記実施の形態では、第2奥行情報の生成に、ガイデッドフィルタなどのフィルタを用いたが、学習モデルを用いて第2奥行情報を生成してもよい。
ここで、フレア検出部112は、フレア領域と非フレア領域の判別のために、時間方向の情報を利用してもかまわない。フレアは、被写体自体ではなく、被写体と光源101との関係によりIRカメラ102内部で生じる現象である。そのため、IRカメラ102が移動した場合、フレア領域の形状は変化する。そこで、フレア検出部112は、上述の手法によってIR画像からフレア領域の候補を検出し、その前のIR画像で検出されたフレア領域からその候補の形状が変化しているか否かを判定する。そして、フレア検出部112は、形状が変化していないと判定すると、その候補がフレア領域ではなく、非フレア領域であると判断してもよい。
まず、フレア検出部112は、対象フレームにフレア領域の候補が存在するか否かを判定する。つまり、フレア検出部112は、例えば上述の図16~図19に示すフローチャートに基づいて検出されるフレア領域が、最終的なフレア領域ではなく、フレア領域の候補として対象フレームに存在するか否かを判定する。なお、対象フレームは、判別対象とされるIR画像、すなわち、フレア領域の存在が判別されるIR画像である。
ここで、フレア検出部112は、対象フレームにフレア領域の候補が存在しない場合(ステップS51のNo)、その対象フレーム(すなわちIR画像)においてフレアは存在しないと判別する。
一方、フレア検出部112は、対象フレームにフレア領域の候補が存在する場合(ステップS51のYes)、対象フレームの前のフレームでもフレア領域が存在するかどうかを判定する。なお、対象フレームの前のフレームは、対象フレームの前にIRカメラ102による撮像によって取得されたIR画像である。
ここで、フレア検出部112は、対象フレームの前のフレームにフレア領域が存在しない場合(ステップS52のNo)、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。
一方、フレア検出部112は、対象フレームの前のフレームにフレア領域が存在している場合(ステップS52のYes)、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とを比較する。ここで、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていた場合(ステップS53のYes)、フレア検出部112は、ステップS54の処理を実行する。つまり、フレア検出部112は、検出されたフレア領域の候補を非フレア領域に更新し、その対象フレーム(すなわちIR画像)においてフレアは存在しないと判別する。一方、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていない場合(ステップS53のNo)、フレア検出部112は、ステップS55の処理を実行する。つまり、フレア検出部112は、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。
上記実施の形態とその変形例1および2における奥行取得装置1は、IR画像とBW画像とを用いてフレア領域を検出するが、BW画像を用いなくてもよい。本変形例における奥行取得装置1は、複数のIR元画像を用いてフレア領域を検出する。複数のIR元画像は、例えば、図3に示す第1露光期間において得られる赤外画像と、第2露光期間において得られる赤外画像とである。
図23は、本変形例における奥行取得装置1の全体的な処理動作を示すフローチャートである。
まず、高輝度領域検出部116は、第1のIR元画像から高輝度領域を検出する。
第1エッジ検出部117IRは、第1のIR元画像にあるエッジを検出する。
第2エッジ検出部117BWは、BW画像の代わりに第2のIR元画像にあるエッジを検出する。
フレア検出部112は、第1のIR元画像の少なくとも1つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、第2のIR元画像の対応領域内のエッジとを比較することによって、IR画像内のフレア領域を検出する。つまり、フレア検出部112は、高輝度領域内のエッジと、第2のIR元画像の対応領域内のエッジとの間の相関値が第4閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、IR画像は、少なくとも1つのフレア領域と、非フレア領域とに領域分割される。
第1奥行推定部111aは、例えばTOFを用いてIR画像から第1奥行情報を生成する。
第2奥行推定部111bは、IR画像の第1奥行情報とBW画像とに基づいて、フレア領域の奥行きを示す第2奥行情報を生成する。
出力部118は、その第1奥行情報によって示されるフレア領域の奥行きを、第2奥行情報によって示される奥行きに置き換えることによって、第3奥行情報を生成する。
まず、高輝度領域検出部116は、第1のIR元画像内の各位置での輝度が第5閾値以上であるか否かを判定する。ここで、第5閾値は、例えば第1のIR元画像が12ビット階調の画像であれば、1500程度であってもよい。もちろん、この第5閾値は、環境条件またはIRカメラ102の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、第1のIR元画像全体の輝度が低くなるため、第5閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、IRカメラ102の露光時間が長い場合、第1のIR元画像全体の輝度が高くなるため、第5閾値は、露光時間が短い場合よりも、大きい値でもよい。
ここで、何れの位置での輝度も第5閾値以上ではないと判定すると(ステップS41aのNo)、高輝度領域検出部116は、その第1のIR元画像を用いて構成されるIR画像においてフレアは生じていないと判定する(ステップS42)。つまり、IR画像の全体が非フレア領域として判定される。
一方、何れかの位置での輝度が第5閾値以上であると判定すると(ステップS41aのYes)、高輝度領域検出部116は、第1のIR元画像を領域分割する。つまり、高輝度領域検出部116は、第1のIR元画像を、少なくとも1つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばSuperPixelなど、輝度による手法を利用してもよい。
次に、第1エッジ検出部117IRおよび第2エッジ検出部117BWは、第1のIR元画像および第2のIR元画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Canny法またはSobelフィルタなどを利用してもよい。
フレア検出部112は、第1のIR元画像の少なくとも1つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応する第2のIR元画像の領域内のエッジとを比較する。つまり、フレア検出部112は、第1のIR元画像の高輝度領域内のエッジと、第2のIR元画像の対応領域内のエッジとの間の相関値が、第4閾値以上か否かを判定する。相関値は、第1のIR元画像と第2のIR元画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部112は、第1のIR元画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応する第2のIR元画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。
ここで、相関値が第4閾値以上ではない、すなわち第4閾値未満と判定すると(ステップS45aのNo)、フレア検出部112は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、第1のIR元画像内のフレアなどが生じている領域と、第2のIR元画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部112は、第1のIR元画像内のその高輝度領域をフレア領域として判別する。すなわち、フレア検出部112は、IR画像内のその高輝度領域をフレア領域として判別する。なお、IR画像内の高輝度領域は、第1のIR元画像内の高輝度領域と同一の領域である。
以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、第1のIR元画像と第2のIR元画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、第1のIR元画像と第2のIR元画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、第1のIR元画像と第2のIR元画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。
フレア検出部112は、ステップS45bでは、ステップS43aの領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応する第2のIR元画像の領域における各画素の輝度との間の相関値を計算する。相関値は、第1のIR元画像と第2のIR元画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部112は、第1のIR元画像の高輝度領域における各画素の輝度からなるベクトルと、第2のIR元画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。
もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、前述のハミング距離およびCENSUS変換を利用してもかまわない。
フレア検出部112は、ステップS44cでは、ステップS43aの領域分割によって得らえた各高輝度領域について、第1のIR元画像のうちのその高輝度領域の画像と、第2のIR元画像のうちの対応領域の画像とのそれぞれに対してCENSUS変換を行う。これにより、第1のIR元画像のうちのその高輝度領域の画像に対するCENSUS変換画像と、第2のIR元画像のうちの対応領域の画像に対するCENSUS変換画像とが生成される。
次に、フレア検出部112は、ステップS45cにおいて、ステップS44cで求めた第1のIR元画像のCENSUS変換画像と、第2のIR元画像のCENSUS変換画像との間のハミング距離を計算する。そして、フレア検出部112は、このハミング距離を高輝度領域の画素数で正規化した値が第6閾値以下の場合(ステップS45cのYes)、その高輝度領域ではフレアなどが生じていないと判別する(ステップS42a)。一方、正規化したハミング距離の値が第6閾値より大きい場合(ステップS45cのNo)、フレア検出部112は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部112は、その高輝度領域をフレア領域として判別する(ステップS46a)。
10、101 光源
20 固体撮像素子
21 第1画素(IR)
22 第2画素(BW)
30 処理回路
50 拡散板
60 レンズ
70 バンドパスフィルタ
102 IRカメラ
103 BWカメラ
104 学習モデル
110 プロセッサ
111 奥行推定部
111a 第1奥行推定部
111b 第2奥行推定部
112 フレア検出部
113 発光タイミング取得部
114 IR画像取得部
115 BW画像取得部
116 高輝度領域検出部
117IR 第1エッジ検出部
117BW 第2エッジ検出部
118 出力部
200 メモリ
Claims (15)
- メモリと、
プロセッサとを備え、
前記プロセッサは、
光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
前記赤外画像からフレア領域を検出し、
前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定し、
前記フレア領域の奥行きの推定では、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
奥行取得装置。 - 前記プロセッサは、前記フレア領域の検出では、
前記赤外画像のうち、第1閾値以上の輝度を有する領域を、前記フレア領域として検出する、
請求項1に記載の奥行取得装置。 - 前記プロセッサは、前記フレア領域の検出では、
前記赤外画像のうち、第1閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、前記フレア領域として検出し、
前記予め定められた条件は、前記赤外画像の領域内の画像特徴量と、前記領域に対応する前記可視光画像の領域内の画像特徴量との間の相関値が、第2閾値未満となる条件である、
請求項1に記載の奥行取得装置。 - 前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、
前記領域内の画像に含まれるエッジである、
請求項3に記載の奥行取得装置。 - 前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、
前記領域内の輝度である、
請求項3に記載の奥行取得装置。 - 前記プロセッサは、前記フレア領域の検出では、
前記赤外画像のうちの第1閾値以上の輝度を有する少なくとも1つの高輝度領域のそれぞれについて、
(i)当該高輝度領域内の画像をCENSUS変換することによって第1変換画像を取得し、
(ii)当該高輝度領域に対応する前記可視光画像の領域内の画像をCENSUS変換することによって第2変換画像を取得し、
少なくとも1つの前記高輝度領域のうち、前記第1変換画像と前記第2変換画像との間のハミング距離が第3閾値を超える高輝度領域を、前記フレア領域として検出する、
請求項1に記載の奥行取得装置。 - メモリと、
プロセッサとを備え、
前記プロセッサは、
光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
奥行取得装置。 - 光源と、
前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
前記赤外画像からフレア領域を検出するフレア検出部と、
前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する奥行推定部とを備え、
前記奥行推定部は、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
奥行取得装置。 - 光源と、
前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定する第1奥行推定部と、
前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する第2奥行推定部と、
を備える奥行取得装置。 - メモリと、
プロセッサとを備え、
前記プロセッサは、
前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、
前記可視光画像に基づいて、前記フレア領域の奥行きを推定し、
前記フレア領域の奥行きの推定では、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
奥行取得装置。 - 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
前記赤外画像からフレア領域を検出し、
前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定し、
前記フレア領域の奥行きの推定では、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
奥行取得方法。 - 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
奥行取得方法。 - メモリと、プロセッサとを備える奥行取得装置を用いた奥行取得方法であって、
前記プロセッサは、
前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、
前記可視光画像に基づいて、前記フレア領域の奥行きを推定し、
前記フレア領域の奥行きの推定では、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
奥行取得方法。 - 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
前記赤外画像からフレア領域を検出し、
前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する、ことをコンピュータに実行させ、
前記フレア領域の奥行きの推定では、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
プログラム。 - 光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
ことをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023053739A JP2023100611A (ja) | 2018-09-18 | 2023-03-29 | 撮像装置、情報処理装置、撮像方法およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018174277 | 2018-09-18 | ||
JP2018174277 | 2018-09-18 | ||
PCT/JP2019/035420 WO2020059565A1 (ja) | 2018-09-18 | 2019-09-09 | 奥行取得装置、奥行取得方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023053739A Division JP2023100611A (ja) | 2018-09-18 | 2023-03-29 | 撮像装置、情報処理装置、撮像方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020059565A1 JPWO2020059565A1 (ja) | 2021-09-16 |
JP7262021B2 true JP7262021B2 (ja) | 2023-04-21 |
Family
ID=69887442
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548353A Active JP7262021B2 (ja) | 2018-09-18 | 2019-09-09 | 奥行取得装置、奥行取得方法およびプログラム |
JP2023053739A Pending JP2023100611A (ja) | 2018-09-18 | 2023-03-29 | 撮像装置、情報処理装置、撮像方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023053739A Pending JP2023100611A (ja) | 2018-09-18 | 2023-03-29 | 撮像装置、情報処理装置、撮像方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11636615B2 (ja) |
EP (1) | EP3855395A4 (ja) |
JP (2) | JP7262021B2 (ja) |
CN (1) | CN112534474A (ja) |
WO (1) | WO2020059565A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
JP7262021B2 (ja) * | 2018-09-18 | 2023-04-21 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
CN114066785A (zh) * | 2020-07-31 | 2022-02-18 | 北京小米移动软件有限公司 | 图像处理方法及装置、终端和存储介质 |
US11715195B2 (en) * | 2021-03-22 | 2023-08-01 | International Business Machines Corporation | Machine learning-based circuit board inspection |
EP4315247A1 (en) * | 2021-03-23 | 2024-02-07 | Ricoh Company, Ltd. | Imaging device, imaging method, and information processing device |
CN113034915B (zh) * | 2021-03-29 | 2023-06-20 | 北京卓视智通科技有限责任公司 | 一种双光谱交通事件检测方法及装置 |
CN113222922B (zh) * | 2021-04-30 | 2024-02-27 | 杭州海康威视数字技术股份有限公司 | 红外爆闪灯补光范围检测方法、装置及设备 |
CN113643244A (zh) * | 2021-07-23 | 2021-11-12 | 中国资源卫星应用中心 | 一种光学遥感卫星影像水体耀斑快速检测方法 |
JP2023037966A (ja) * | 2021-09-06 | 2023-03-16 | 株式会社デンソー | フレア検出システム、フレア検出装置、フレア検出方法、フレア検出プログラム |
WO2023106118A1 (ja) * | 2021-12-09 | 2023-06-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257956A (ja) | 2010-06-08 | 2011-12-22 | Toyota Motor Corp | 周辺状況認識装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0282876A (ja) | 1988-09-20 | 1990-03-23 | Sony Corp | カラーモード・赤外モード共用ビデオカメラ |
EP1528797B1 (en) * | 2003-10-31 | 2015-07-08 | Canon Kabushiki Kaisha | Image processing apparatus, image-taking system and image processing method |
US7808512B1 (en) * | 2006-12-19 | 2010-10-05 | Nvidia Corporation | Bounding region accumulation for graphics rendering |
JP5743390B2 (ja) | 2009-09-15 | 2015-07-01 | 本田技研工業株式会社 | 測距装置、及び測距方法 |
JP2011103070A (ja) | 2009-11-11 | 2011-05-26 | Toyota Motor Corp | 夜間車両検知装置 |
KR20120116329A (ko) * | 2010-02-20 | 2012-10-22 | 가부시키가이샤 니콘 | 광원 최적화 방법, 노광 방법, 디바이스 제조 방법, 프로그램, 노광 장치, 리소그래피 시스템, 광원 평가 방법 및 광원 변조 방법 |
JP2012068762A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 検出装置、検出方法、プログラム、及び電子機器 |
US9378542B2 (en) * | 2011-09-28 | 2016-06-28 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
JP2015185947A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 撮像システム |
US9804667B2 (en) | 2015-02-10 | 2017-10-31 | Nintendo Co., Ltd. | Electronic apparatus |
JP6528193B2 (ja) | 2015-02-10 | 2019-06-12 | 任天堂株式会社 | 電子機器 |
JP2017067503A (ja) * | 2015-09-28 | 2017-04-06 | 富士通株式会社 | 位置推定装置、位置推定方法、及び位置推定プログラム |
JP6624939B2 (ja) * | 2016-01-14 | 2019-12-25 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
US9928592B2 (en) * | 2016-03-14 | 2018-03-27 | Sensors Unlimited, Inc. | Image-based signal detection for object metrology |
KR20170107269A (ko) * | 2016-03-15 | 2017-09-25 | 한국전자통신연구원 | Rgbd 카메라의 깊이 영상 필터링 장치 및 방법 |
CN113727000A (zh) | 2016-05-27 | 2021-11-30 | 松下知识产权经营株式会社 | 摄像系统 |
US10712561B2 (en) * | 2016-11-04 | 2020-07-14 | Microsoft Technology Licensing, Llc | Interference mitigation via adaptive depth imaging |
WO2018191648A1 (en) * | 2017-04-14 | 2018-10-18 | Yang Liu | System and apparatus for co-registration and correlation between multi-modal imagery and method for same |
US10791283B2 (en) * | 2017-09-01 | 2020-09-29 | Facebook Technologies, Llc | Imaging device based on lens assembly with embedded filter |
US10607352B2 (en) * | 2018-05-17 | 2020-03-31 | Microsoft Technology Licensing, Llc | Reduced power operation of time-of-flight camera |
TWI689892B (zh) * | 2018-05-18 | 2020-04-01 | 瑞昱半導體股份有限公司 | 基於前景影像的背景虛化方法與電子裝置 |
JP7262021B2 (ja) * | 2018-09-18 | 2023-04-21 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
US11158074B1 (en) * | 2018-10-02 | 2021-10-26 | Facebook Technologies, Llc | Depth sensing using temporal coding |
-
2019
- 2019-09-09 JP JP2020548353A patent/JP7262021B2/ja active Active
- 2019-09-09 EP EP19861679.9A patent/EP3855395A4/en active Pending
- 2019-09-09 WO PCT/JP2019/035420 patent/WO2020059565A1/ja unknown
- 2019-09-09 CN CN201980050094.4A patent/CN112534474A/zh active Pending
-
2021
- 2021-01-28 US US17/161,060 patent/US11636615B2/en active Active
-
2023
- 2023-03-09 US US18/119,443 patent/US20230215029A1/en active Pending
- 2023-03-29 JP JP2023053739A patent/JP2023100611A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257956A (ja) | 2010-06-08 | 2011-12-22 | Toyota Motor Corp | 周辺状況認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023100611A (ja) | 2023-07-19 |
EP3855395A4 (en) | 2022-03-02 |
WO2020059565A1 (ja) | 2020-03-26 |
US20210150742A1 (en) | 2021-05-20 |
CN112534474A (zh) | 2021-03-19 |
US20230215029A1 (en) | 2023-07-06 |
US11636615B2 (en) | 2023-04-25 |
EP3855395A1 (en) | 2021-07-28 |
JPWO2020059565A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7262021B2 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
JP6990859B2 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
JP7450163B2 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
US10354413B2 (en) | Detection system and picture filtering method thereof | |
JP2014057303A (ja) | 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法 | |
JP2008171392A (ja) | 映像の境界を検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体 | |
KR20120090491A (ko) | 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법 | |
KR102308437B1 (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
US11373324B2 (en) | Depth acquisition device and depth acquisition method for providing a corrected depth image | |
JP2013542528A (ja) | 夜景画像ボケ検出システム | |
JP2005242488A (ja) | 物体検出装置、物体検出方法、プログラム | |
US10803625B2 (en) | Detection system and picturing filtering method thereof | |
JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
JP6275022B2 (ja) | 画像監視装置 | |
JP5754931B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP2020051991A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
JP2019128197A (ja) | 付着物検出装置および付着物検出方法 | |
JP6565513B2 (ja) | 色補正装置、色補正方法及び色補正用コンピュータプログラム | |
JP7233994B2 (ja) | 画像処理装置及び画像処理プログラム | |
TW202314643A (zh) | 自動搜尋多灰階感興趣區域的方法與系統 | |
TWM622922U (zh) | 自動搜尋多灰階感興趣區域的系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |