JP2023517830A - 深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム - Google Patents
深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム Download PDFInfo
- Publication number
- JP2023517830A JP2023517830A JP2022548830A JP2022548830A JP2023517830A JP 2023517830 A JP2023517830 A JP 2023517830A JP 2022548830 A JP2022548830 A JP 2022548830A JP 2022548830 A JP2022548830 A JP 2022548830A JP 2023517830 A JP2023517830 A JP 2023517830A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- effective pixels
- depth
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000004590 computer program Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 230000000875 corresponding effect Effects 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000316887 Saissetia oleae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本出願は深度画像生成方法及び装置、基準画像生成方法、電子機器を提供し、深度イメージングの技術分野に関する。前記深度画像生成方法は、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップと、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップと、を含む。本出願は深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。
Description
本出願は2020年07月28日にて中国特許庁に提出され、出願番号が2020107396664であり、出願名称が「深度画像生成方法及び装置、基準画像生成方法、電子機器」である中国特許出願の優先権を主張し、その全ての内容は本出願に援用される。
本出願は、深度イメージングの技術分野に関し、具体的に、深度画像生成方法、深度画像生成装置、基準画像生成方法、基準画像生成装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。
コンピュータビジョンの発展に連れて、2次元カラー画像処理による従来のコンピュータビジョン技術は、人々がコンピュータビジョンを3次元物理的世界に適用するという要求を満たすことができない。物体距離情報を直接反映できる画像として、深度画像はますます幅広く適用されている。
ただし、従来技術では、深度画像の一部に黒エッジの現象が存在する恐れがあるため、いくつかの分野における適用に影響を与える。例えば、顔認証プロセスにおいて、顔深度画像を導入することで、認証結果の精度を向上させることができるが、ユーザーの顔の一部は、上記深度画像の黒エッジにあると、顔認証が失敗する可能性がある。
上記背景部に開示された情報は、本出願の背景の理解を深めるためにのみ使用され、したがって、当業者に知られている従来技術を構成しない情報を含み得る。
本出願で提供される様々な実施例によれば、深度画像生成方法、深度画像生成装置、基準画像生成方法、基準画像生成装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供する。
本出願の1つの態様によれば、深度画像生成方法を提供し、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップと、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップと、を含む。
本出願の1つの態様によれば、深度画像生成方法を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで、取得される。
本出願の1つの態様によれば、基準画像生成方法を提供し、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップを含み、前記第1の有効画素はターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。
本出願の1つの態様によれば、深度画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面をイメージングすることで、基準画像を取得するための基準画像生成モジュールと、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するための深度画像生成モジュールと、を含む。
本出願の1つの態様によれば、深度画像生成装置を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで取得される。
本出願の1つの態様によれば、基準画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、前記第1の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。
本出願の1つの態様によれば、電子機器を提供し、プロセッサーと、前記プロセッサーの実行可能な命令を記憶するためのメモリとを含み、前記プロセッサーは、前記実行可能な命令を実行することで、上記何れか1項に記載の方法を実行させるように構成される。
本出願の1つの態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムはプロセッサーにより実行される場合に、上記何れか1項に記載の方法を実現させる。
本出願の1つの態様によれば、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含む。コンピュータ機器のプロセッサーはコンピュータ読み取り可能な記憶媒体から当該コンピュータ命令を読み取り、プロセッサーは当該コンピュータ命令を実行することで、上記様々な選択可能な実現形態で提供された方法を当該コンピュータ機器に実行させる。
本出願の例示的な実施例は以下の一部又は全ての有益な効果を有することができる。
本出願の例示的な実施形態で提供された深度画像生成方法によれば、基準画像生成のプロセスにおいて、第1の有効画素を使用するとともに、従来技術で使用されない第2の有効画素を使用し、このようにすれば、生成された基準画像のサイズを大きくすることができる。基準画像においてターゲット画像エッジの画素に対応する画素が存在しないことは黒エッジ現象の発生の要因となり、本出願の例示的な実施形態で提供された深度画像生成方法では、基準画像のサイズを大きくするため、基準画像において、ターゲット画像エッジの一部又は全ての画素を対応する画素にマッチングさせることでき、深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。
本出願の例示的な実施形態で提供された深度画像生成方法によれば、基準画像生成のプロセスにおいて、第1の有効画素を使用するとともに、従来技術で使用されない第2の有効画素を使用し、このようにすれば、生成された基準画像のサイズを大きくすることができる。基準画像においてターゲット画像エッジの画素に対応する画素が存在しないことは黒エッジ現象の発生の要因となり、本出願の例示的な実施形態で提供された深度画像生成方法では、基準画像のサイズを大きくするため、基準画像において、ターゲット画像エッジの一部又は全ての画素を対応する画素にマッチングさせることでき、深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。
上記の一般的な記述及び後述する詳細な記述は単に例示および説明の目的のためであり、本出願を限定するものではないことを理解されたい。
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本出願に合う実施例を示し、且つ明細書と共に本出願の原理を解釈するために用いられる。以下の記述における図面は単に本出願の幾つかの実施例であり、当業者であれば、創造的労働をしないという前提で、これらの図面に基づいて他の図面を更に得ることができることは明らかであろう。
本出願の実施例を適用できる深度イメージングシステムの概略構造図を示す。
本出願の一実施例による深度画像生成方法の適用シナリオ図を概略的に示す。
本出願の一実施例による黒エッジ現象の発生の原理概略図を示す。
本出願の一実施例による深度画像生成方法のフローチャートを概略的に示す。
本出願の一実施例による画像センサーのブロック図を概略的に示す。
本出願の一実施例による画像センサーの構成図を概略的に示す。
本出願の一実施例による深度画像を取得するステップのフローチャートを概略的に示す。
本出願の一実施例によるブロックマッチング方法の原理図を概略的に示す。
本出願の一実施例によるターゲット画素に対応する深度情報を計算する原理図を概略的に示す。
本出願の一実施例による黒エッジ現象の発生の原理概略図を概略的に示す。
本出願の一実施例による深度画像生成方法のフローチャートを概略的に示す。
本出願の一実施例による深度画像生成装置のブロック図を概略的に示す。
本出願の実施例の電子機器を実現するためのコンピュータシステムの概略構造図を示す。
これから図面を参照して、例示的な実施形態をより全面的に説明する。ただし、例示的な実施形態は様々な形態で実施され、本明細書に記載の実施例に限定されるものとして理解されるべきではなく、逆に、これらの実施形態を提供することで、本出願をより全面及び完全にし、例示的な実施形態のアイデアを全面的に当業者に伝える。説明された特徴、構成又は特性は、任意の適切な方式で1つ又は複数の実施形態に結合されてもよい。以下の説明において、本出願の実施形態を完全に理解するために、多くの具体的な細部を提供する。ただし、当業者は、本出願に係る技術案の実施中に前記特定の詳細のうちの一つ又は複数を省略してもよいし、或いは、他の方法、構成要素、装置、ステップなどを採用してもよいことを理解されたい。他の場合には、本出願の各形態をあいまいすることを避けるように、よく知られた技術案が詳細に示されていないか、または説明されていない。
また、図面は、必ずしも一定の縮尺で描画されるわけではなく、本出願の概略的な図解のみである。図面の同じ記号は、同一又は類似の部分を示すため、その重複な説明を省略する。図面のいくつかのブロック図は、必ずしも物理的または論理的に独立したエンティティに対応しているわけではなく、機能エンティティである。これらの機能エンティティはソフトウェア形態で実現されてもよく、又は1つ或いは複数のハードウェアモジュール、若しくは集積回路において実現されてもよく、又は異なるネットワーク及び/又はプロセッサー装置、及び/又はマイクロコントローラ装置において実現されてもよい。
図1を参照し、発明人によって提供された深度イメージングシステム100の概略構造図である。図1に示される深度イメージングシステム100は、主に、構造化光投影モジュール101、画像センサー102及び処理モジュール103を含み、深度イメージングシステムはターゲットオブジェクト104に対して深度イメージングを行うことで、対応する深度画像を取得するように構成されることができ、ターゲットオブジェクト104は顔又は他のイメージング対象であるオブジェクトである。
構造化光投影モジュール101は光源及び光学部品を含むことができる。光源はレーザーダイオードや半導体レーザーなどであってもよく、エッジ発光レーザー、垂直キャビティ表面発光レーザー、又は対応するアレイレーザーなどであってもよく、光源の射出光の波長は赤外線や紫外線などであってもよい。光学部品は、光源から発光されたビームを変調した後、構造化光を外部に放射するために用いられ、光学部品は屈折光学素子、回折光学素子又は両者の組み合わせなどであってもよい。本例示的な実施形態において、構造化光ビームはスペックル、スポット、ストライプ、2次元パターンなどの符号化形態の構造化光ビームであってもよい。
画像センサー102は電荷結合素子(Charge Coupled Device、CCD)画像センサーや相補型金属酸化膜半導体(Complementary Metal-0xide-Semiconductor、CMOS)画像センサーなどであってもよい。また、入射光の収集を容易にするために、画像センサー102の入射光の光路には、フィルタ、マイクロレンズアレイ(Micro Lens Array、MLA)などの光学部品が設けられてもよい。フィルタは、ベイヤーフィルタや赤外線フィルタなどであってもよい。また、構造化光投影モジュール101によって投射された構造化光の波長がλであると、上記フィルタは、波長がλであるビームのみをフィルタリングするように配置され得、それにより、後続の画像品質を向上させる。
構造化光投影モジュール101と画像センサー102との間の接続線は基準線と呼ばれ、基準線の方向は、例えば図1に示されるx軸方向であってもよい。構造化光投影モジュール101と画像センサー102の光軸は平行であってもよいし、一定の夾角を形成してもよい。本例示的な実施形態において、構造化光投影モジュール101と画像センサー102の光軸は平行であるように配置され、このような配置によって、後続で深度画像生成の際の計算の複雑さを単純化することができる。
処理モジュール103は、構造化光投影モジュール101及び画像センサー102を制御し、及び関連するデータを受信し処理するための1つ又は複数のプロセッサー、及び1つ又は複数のメモリを含むことができる。プロセッサーは、デジタルシグナルプロセッサー(Digital Signal Processing、DSP)、マルチメディアアプリケーションプロセッサー(Multimedia Application Processor、MAP)、フィールド・プログラマブル・ゲート・アレイ(Field-Programmable Gate Array、FPGA)、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)などのうちの1つ又は組み合わせを含んでもよく、メモリは、ランダムアクセスメモリ(Random Access Memory、RAM)、読み取り専用メモリ(Read Only Memory、ROM)、フラッシュ(Flash)などのうちの1つ又は組み合わせを含んでもよい。処理モジュール103によって実行される制御、データ処理命令は、ソフトウェア、ファームウェアなどの形でメモリに保存され、必要に応じて、プロセッサーに呼び出されてもよく、命令を直接に回路に統合して専用回路(又は専用プロセッサー)を形成し、対応する命令を実行してもよく、ソフトウェアと専用回路との組み合わせで実現されてもよい。処理モジュール103は入力/出力インターフェース、及び/又はネットワーク通信をサポートするネットワークインターフェースを含んでもよい。本出願のいくつかの実施例において、処理されたデータは、インターフェースを介して他のデバイス、又はシステムにおける他のユニット、例えば表示ユニット或いは外部端末装置などに伝送してもよい。
本例示的な実施形態において、上記構造化光投影モジュール101、画像センサー102及び処理モジュール103は独立して分散して配置されてもよいし、部分的または完全に1つの電子機器に統合されてもよい。例えば、構造化光投影モジュール101、画像センサー102及び処理モジュール103はいずれもスマートフォン、タブレットコンピューター、ノートパソコン又はカメラに統合されてもよく、図2を参照して、構造化光投影モジュール101、画像センサー102及び処理モジュール103はいずれもスマートフォン201に統合され、スマートフォン201により、ターゲットオブジェクト104に対して深度イメージングを行うことができる。また、例えば、構造化光投影モジュール101、画像センサー102は1つの電子機器に統合されてもよく、処理モジュール103はクラウドサーバー、又は他のサードパーティ電子機器などであってもよい。
上記深度イメージングシステム100によれば、端末装置の出荷前の較正階段で、構造化光投影モジュール101により構造化光を基準平面に放射し、画像センサー102により基準平面に対してイメージングすることで、基準画像を取得する。ユーザーの使用中、構造化光投影モジュール101はターゲットオブジェクトに前記構造化光を放射し、画像センサー102により前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得し、さらに、ターゲット画像中の各画素の、基準画像中の対応する画素に対するオフセット量を計算し、オフセット量に基づいて、前記各画素に対応する深度情報を計算することで、各画素に対応する深度情報に基づいて前記深度画像を生成する。
ただし、上記深度画像生成方法に基づいて取得した深度画像の一部に黒エッジ現象が存在する恐れがあるため、深度画像の一部の領域が無効になり、いくつかの分野での深度画像の適用に影響を与える。図3を参照し、黒エッジ現象の発生の原理概略図である。
構造化光投影モジュール101の射出光範囲は領域301であり、画像センサー102の入射光範囲は領域302であり、ターゲットオブジェクトは領域301と領域302とが重なり合う範囲内にあると、理論的には、深度画像を生成することができる。ただし、構造化光投影モジュール101と画像センサー102との間に一定の距離があり、基準画像303のサイズは固定であるため、ターゲットオブジェクトが所在する平面と基準平面との距離が遠い場合、ターゲット画像304の一部の画素は基準画像303中の対応する画素とマッチングできない可能性があり、対応する深度情報を決定できず、深度画像において、対応する深度情報を決定できない画素について、補足として0を使用し、つまり、対応する深度情報を決定できない画素値を0に設定し、黒エッジ現象が発生してしまう。
例えば、図3のターゲット画像304のA領域、及びターゲット画像305のA領域における画素はいずれも基準画像303中の対応する画素にマッチングでき、つまり、いずれも対応する深度情報を決定できるが、基準画像303にターゲット画像304のB領域及びターゲット画像305のB領域における画素が存在しなく、つまり、対応する深度情報を決定できないため、最終的に生成された深度画像において、ターゲット画像304のB領域及びターゲット画像305のB領域に対応する位置はいずれも黒エッジである。一般的に、ターゲットオブジェクトが所在する平面と基準平面との距離が近いほど、黒エッジ範囲が小さくなり、ターゲットオブジェクトが所在する平面と基準平面との距離が遠いほど、黒エッジ範囲が大きくなる。
顔認証を例として、黒エッジ現象は、顔認証の際の視野角(FOV、Field angle of View)に影響を与え、また、深度画像における黒エッジのサイズは距離に応じて変化する可能性があるため、認証中の不確実性がさらに高まる。具体的に、異なる距離で顔認証を行い、深度画像における黒エッジ領域が異なるため、顔認証の有効領域が異なり、そして、ユーザーの顔が深度画像の黒エッジ領域にあると、今回の顔認証の結果に影響を与え、ユーザーエクスペリエンスを低減させる。また、深度画像における黒エッジ領域の範囲は距離に応じて変化し、実際の応用においても、回避するための効果的な戦略を設計することも困難である。
上記1つ又は複数の問題に基づいて、本出願の例示的な実施形態は新たな深度画像生成方法を提供し、当該方法を電子機器に適用することを例として説明する。図4を参照して、当該深度画像生成方法は以下のステップS410~ステップS430を含むことができる。
ステップS410において、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得する。
ステップS410において、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得する。
本例示的な実施形態において、電子機器における構造化光投影モジュール101により例えばスペックル、スポット、ストライプ又は2次元パターンなどの符号化形態の構造化光ビームを基準平面に放射し、構造化光は既知の空間方向の投影光の集合である。基準平面、例えばイメージングシステムから所定距離(例えば0.5メートル、0.6メートルなど)にあるパネルであってもよい。そして、電子機器は画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得することができ、第2の有効画素の数は少なくとも1つであり、例えば、一部の第2の有効画素を使用して基準画像を取得してもよいし、全ての第2の有効画素を使用して基準画像を取得してもよい。本例示的な実施形態において、基準画像を取得した後、基準画像を指定された記憶位置、例えば端末装置のメモリ又はクラウドサーバーなどに予め記憶してもよい。ここで、一般的に、端末装置の出荷前の較正階段でステップS410を実行するが、端末装置の使用階段又は他の時間で実行してもよく、本出願はこれを限定しない。以下は、画像センサーの第1の有効画素及び第2の有効画素について詳しく説明する。
一般的に、図5を参照して、画像センサー500は、中心にある有効画素領域501、及び有効画素領域501の周辺にあるダミー画素領域502を含む。図6を参照して、通常の画像センサー600の概略構造図である。画像センサー600は、1344列、1136行の画素、即ち、合計で1526784(1344*1136)個の画素を有する。前記1526784個の画素のうち、中心の1328列、1120行の画素は有効画素領域にあり、即ち、合計で1487360(1328*1120)個の有効画素(Active Pixel)であり、前記1526784個の画素のうち、上部8行、下部8行、左部8列及び右部8列は周辺のダミー画素領域にあり、即ち、合計で39424個のダミー画素(Dummy Pixel)である。有効画素はいずれもイメージングに参加できる画素であり、ダミー画素はイメージングに参加できないが、ブラックスケール信号補正の実行、及び画像エッジの画素の補間の実行に使用できる。
全ての有効画素はイメージングに参加できるが、実際の応用において、具体的な端末の画像解像度要求に合わせるために、一般的に、一部の有効画素(例えば、以下の画像ウィンドウ領域の画素)のみが実際のイメージングに参加し、他の有効画素が実際のイメージングに参加しないように配置される。具体的に、当該技術分野において、一般的に、画像センサーの画像ウィンドウ領域(Windowing)の構成を実現するために、画像センサーに対して「ウィンドウイング」操作を行う必要があり、画像ウィンドウ領域は、一般的にHS(Horizontal Start、水平開始)、HE(Horizontal End、水平終了)、VS(Vertical Start、垂直開始)及びVE(Vertical End、垂直終了)の4つのパラメータによって定義され、無論、より少ないパラメータによって定義されてもよく、例えば、HS(Horizontal Start、水平開始)及びVE(Vertical End、垂直終了)のみによって定義される。
引き続いて図6を参照して、画像センサー600において、第169行~第968行、第33列~第1312列の画素が所在する領域は画像ウィンドウ領域として設定され、画像センサーは、当該画像ウィンドウ領域を介して、解像度が1280*800である画像を出力することができる。本例示的な実施形態において、第1の有効画素は、ユーザーが端末装置を使用する際、実際のイメージングに使用される有効画素であり、第2の有効画素は、ユーザーが端末装置を使用する際、実際のイメージングに使用されない有効画素である。上記画像ウィンドウ領域に関して、第1の有効画素は画像センサーの指定された領域(画像ウィンドウ領域)にある有効画素であり、第2の有効画素は画像センサーの指定された領域外にある有効画素であり、1つの実施例において、第2の有効画素は画像センサーの指定された領域外にある有効画素の一部であってもよい。ただし、本出願の他の例示的な実施例において、実際のイメージング領域は他のルールに基づいて設定されると、第1の有効画素は実際のイメージング領域の画素でもあり、第2の有効画素は第1の有効画素以外の有効画素であり、1つの実施例において、第2の有効画素は第1の有効画素以外の有効画素の一部であってもよく、これも本出願の保護範囲に属する。
当該技術分野では、基準画像を生成する場合、一般的に、画像センサーの第1の有効画素を使用し、これは当該技術分野の長年のデフォルトの慣行であり、当業者の普遍の操作習慣となった一方、このように形成された基準画像は、後続で形成されたターゲット画像のサイズと一致し、関連処理及び演算の際、より便利である。本出願では、発明者はこれらの技術的偏見を克服して、創造的に、第1の有効画素を使用するとともに第2の有効画素を使用して基準画像の生成に参加し、このようにすれば、コストを増やさないとともに、基準画像のサイズを効果的に増やし、深度画像での黒エッジ現象の発生を減少又は回避することができる。
ステップS420において、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得する。
本例示的な実施形態において、上記ターゲットオブジェクトは、顔又は他のイメージング対象であるオブジェクトであってもよく、電子機器は、上記構造化光投影モジュール101により、スペックル、スポット、ストライプ又は2次元パターンなどの符号化形態の構造化光ビームをターゲットオブジェクトに放射し、ターゲットオブジェクトに放射線される構造化光ビームは、基準画像を生成する際に使用される構造化光ビームと一致しなければならない。そして、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることができる。ここで、画像ウィンドウ領域は一般的に、端末装置の出荷前に、予め配置されるため、使用中に、端末装置は画像ウィンドウ領域の関連プロファイルを読み取ると、上記第1の有効画素を自動に決定できる。
ステップS430において、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する。
本例示的な実施形態において、電子機器は指定された記憶位置からステップS410で生成された基準画像を読み取ることができ、例えば、電子機器のメモリ、又はクラウドサーバーから基準画像を読み取る。電子機器は、基準画像を取得した後、図7のステップS710~ステップS730を参照して、前記ターゲットオブジェクトの深度画像を取得することができる。
ステップS710において、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う。
ステップS710において、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う。
本例示的な実施形態において、電子機器は、ブロックマッチング又は行列マッチングなどの方法で、基準画像でのターゲット画像中のターゲット画素に対応するマッチング画素を決定することができる。図8を参照し、ブロックマッチング方法を例として、ターゲット画像中のターゲット画素Pijについて、ターゲット画素Pijを中心とし、サイズがm*nである画素ブロックBijを検索画素ブロックとして抽出し、次に、基準画像において、ターゲット画素Pijに対応する位置を中心とし、サイズがW*Hである検索ウィンドウVijに、事前設定された検索戦略及び類似度評価指標に従って、検索画素ブロックBijに対応するマッチング画素ブロックを検索してもよい。例えば、検索ウィンドウVijにおいて、画素ブロックB’klと検索画素ブロックBijとの類似度評価指標w(Bij、B’kl)が、他の画素ブロックに対して最大であると、画素ブロックB’klを、検索画素ブロックBijにマッチングする画素ブロックとして決定し、さらに、基準画像でのターゲット画素Pijに対応するマッチング画素をP’klとして決定できる。i、kは正の整数であり、画素が所在する行を示し、j、lは正の整数であり、画素が所在する列を示し、m、n、W、Hは正の整数であり、且つW> m、H> nである。また、必要に応じて、セミグローバルブロックマッチング(Semi-Global Block Matching、SGBM)などの他の方法で画素マッチングを実現してもよく、本例示的な実施例では特に限定されない。
また、マッチング及び後続の演算を容易にするために、本例示的な実施形態において、さらに、まず、前記基準画像及び前記ターゲット画像に対して2値化処理を行うことができるが、当業者であれば、2値化処理は選択可能なステップのみであることを容易に理解することができる。例えば、本出願では、グローバル閾値法、ローカル閾値法、動的閾値法、Niblackアルゴリズム、P-分位数法、反復法、エントロピー法、最大クラス間分散アルゴリズムなどの技術的手段を使用して、基準画像及びターゲット画像に対して2値化処理を行うことで、画像中の各画素の値を0又は1にすることができる。
グローバル閾値法を例として、電子機器は画像全体領域中の各画素の輝度平均値を閾値とし、閾値よりも大きい画素の値を1、閾値よりも小さい画素の値を0とし、グローバル閾値方法は室内の深度画像生成に適用される場合、その効果がよい。ローカル閾値法を例とし、例えば、1280*800個の画素のターゲット画像について、まず(1、1、100、100)領域に対して輝度平均値を求めて、当該領域内の閾値よりも大きい画素の値を1、閾値よりも小さい画素の値を0とする。そして、(1、101、100、200)領域、(1、201、100、300)領域から(1201、701、1280、800)領域までに対して順に同様に処理することで、画像全体の2値化を完成させ、ローカル閾値法は室外の深度画像生成に適用される場合、その効果がよい。
ステップS720において、前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定し、前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算する。
例えば、図9を参照して、基準画像でのターゲット画素Pijに対応するマッチング画素はP’klである。マッチング画素P’klの位置、及び基準画像でのターゲット画素Pijに対応する位置に基づいて、ターゲット画素のオフセット量(即ち、収差)xを計算し、そして、三角測量法を参照して、ターゲットオブジェクト上のイメージング点901の深度H、即ち、ターゲットオブジェクト上のイメージング点901と端末装置との間の距離を計算することができる。例えば、H=R/(1-(R・x)/(f・d))であり、dは基準線(即ち、構造化光投影モジュール101と画像センサー102との間の接続線903)の長さであり、Rは基準平面902と基準線との間の距離であり、fは画像センサー102の焦点距離であり、d、R、fは固定定数であるため、ターゲット画素のオフセット量xを決定した後、電子機器はターゲット画素に対応する深度情報Hを計算して取得することができる。
無論、本出願の他の例示的な実施例において、前記ターゲット画素に対応する深度情報を他の方式で計算してもよい。例えば、各画素のオフセット量と深度情報との間のマッピングテーブルを予め確立し、ターゲット画素のオフセット量xを決定した後、マッピングテーブルから検索してターゲット画素に対応する深度情報を取得することができ、これも本出願の保護範囲に属する。
ステップS730において、各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成する。
電子機器は、上記ステップS720にて各ターゲット画素に対応する深度情報を取得した後、深度情報を深度画像に変換し、例えば、深度画像は階調画像であってもよく、深度画像中の画素の階調値が大きいほど、深度値Hが小さくなり、階調値が小さいほど、深度値Hが大きくなり、また、深度画像中の画素の階調値が大きいほど、深度値Hが大きくなり、階調値が小さいほど、深度値Hが小さくなり、本例示的な実施例では特に限定されない。本出願の他の例示的な実施例において、前記深度画像は画像チャンネル又は他の形態で存在してもよく、これは同様に本出願の保護範囲に属する。
深度カメラでより一般的に使用されるOV9286型式の画像センサーを例として、その有効画素は合計で1328列、1120行である。業界内で、一般的に、解像度が640*400又は1280*800である深度画像を必要とするため、従来技術では、深度カメラの製造較正階段で、いずれも画像センサーにおける1280*800個の有効画素を採用して基準画像を生成し、実際の使用中に、構造化光投影モジュールは構造化光ビームをターゲットオブジェクトに放射した後に、画像センサーにおける1280*800個の有効画素ターゲットオブジェクトによってイメージングし、解像度が1280*800であるターゲット画像を取得し、そして、ターゲット画像(解像度が1280*800である)及び基準画像(解像度が1280*800である)に基づいて、深度画像を生成する。本例示的な実施形態では、電子機器は深度カメラの製造較正階段で、画像センサーにおける1328*1120個の有効画素を採用して基準画像を生成し、実際の使用中に、電子機器の構造化光投影モジュールは構造化光ビームをターゲットオブジェクトに放射した後、画像センサーにおける1280*800個の有効画素ターゲットオブジェクトによってイメージングし、解像度が1280*800であるターゲット画像を取得し、ターゲット画像(解像度が1280*800である)及び基準画像(解像度が1328*1120である)に基づいて、深度画像を生成し、黒エッジを減少又は除去する。
図10を参照して、本例示的な実施形態における深度画像生成方法の原理概略図であり、上記図3に類似し、構造化光投影モジュール101の射出光範囲は領域301であり、画像センサー102の入射光範囲は領域302である。ターゲット画像304のA’領域及びターゲット画像305のA’領域における画素は、基準画像1003中の対応する画素にマッチングでき、即ち、対応する深度情報を決定でき、A’領域は図3のA領域よりもはるかに大きく、基準画像1003にターゲット画像304のB’領域、及びターゲット画像305のB’領域における画素が存在しなく、即ち、対応する深度情報を決定できないため、最終的に生成された深度画像において、ターゲット画像304のB’領域及びターゲット画像305のB’領域に対応する位置はいずれも黒エッジであり、B’領域は図3のB領域よりもはるかに小さい。また、一部の領域、例えば、図10の点線枠1004に対応する領域内で、ターゲット画像の全ての領域は、基準画像1003中の対応する画素にマッチングでき、即ち、対応する深度情報を決定できるため、点線枠1004に対応する領域内で、黒エッジ現象の発生を完全に回避する。
以上から分かるように、本例示的な実施形態における深度画像生成方法は確かに、深度画像での黒エッジ現象の発生をある程度で減少又は回避することができる。さらに、いくつかの分野での深度画像の応用を最適化することができる。応用される深度カメラ又は深度撮影機能を有する他の端末装置を例として、本例示的な実施形態における深度画像生成方法によって、深度画像を収集する際の視野角をある程度で増やし、深度画像の品質を向上させることができ、上記深度カメラ又は深度撮影機能を有する端末装置を使用して顔認証を行うと、顔認証の際の視野角をある程度で増やし、深度画像の黒エッジによる認証失敗を減少させ、ユーザーエクスペリエンスを向上させることができる。
また、本例示的な実施形態で提供された深度画像生成方法において、既存の第2の有効画素を使用するため、ハードウェアを変更する必要がなく、つまり、本出願の例示的な実施形態で提供された深度画像生成方法は、余計な最適化コストを発生させることなく、その同時、本例示的な実施形態で提供された深度画像生成方法の適用範囲を拡大する。
本出願の別の例示的な実施例において、上記ステップS710でのマッチング計算量を減少するために、上記深度画像生成方法に基づいてさらなる改善が行われる。具体的に、電子機器は、上記ステップS410にて画像センサーの第1の有効画素、及び異なる数の前記第2の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる複数の基準画像を取得することができ、サイズが異なる複数の基準画像は、サイズが異なる少なくとも2つの基準画像を指す。
例えば、図6の画像センサーを例とし、第33列~第1312列、第169行~第968行の画素は第1の有効画素であり、第9列~第32列、第1313列~第1336列、第9行~第168行、第969行~第1128行の画素は第2の有効画素である。本例示的な実施形態において、例えば、第9列~第1336列、第9行~第1128行の画素、即ち、全ての第1の有効画素及び第2の有効画素を使用して、第1の基準画像を生成し、第21列~第1324列、第89行~第1048行の画素、即ち、第1の有効画素の一部及び第2の有効画素を使用して、第2の基準画像を生成してもよい。
複数の基準画像を生成した後、指定されたルールに従って、複数の基準画像から被選択基準画像を決定し、前記ターゲット画像及び前記被選択基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得することができる。例えば、まず、前記ターゲットオブジェクトから前記基準平面までの距離を取得し、次に、前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、複数の前記基準画像から被選択基準画像を決定する。例えば、本例示的な実施形態において、ターゲット画像に対して深度情報を収集する場合、端末装置に設けられたレーザー測距モジュール又は他の距離センサーを使用して、ターゲットオブジェクトと参照端末装置との間の距離を決定することができ、端末装置から基準平面までの距離は固定値であるため、ターゲットオブジェクトと参照端末装置との間の距離を決定した後、ターゲットオブジェクトから前記基準平面までの距離を大体決定できる。上記図3及び図10を参照して分かるように、ターゲットオブジェクトが所在する平面と基準平面との距離が近いほど、黒エッジ範囲が小さくなり、ターゲットオブジェクトが所在する平面と基準平面との距離が遠いほど、黒エッジ範囲が大きくなる。従って、本例示的な実施形態において、決定された前記被選択基準画像のサイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にあり、即ち、ターゲットオブジェクトから基準平面までの距離が大きいほど、それに対応して、被選択基準画像サイズが大きくなる。
従って、ターゲットオブジェクトが所在する平面と基準平面との距離が大きい場合、例えば、上記第1の基準画像を被選択基準画像として決定し、ターゲットオブジェクトが所在する平面と基準平面との距離が小さい場合、例えば上記第2の基準画像を被選択基準画像として決定してもよい。このようにして、マッチングの際の計算量を効果的に低減させることができる。ブロックマッチング法を例として、そのアルゴリズムの複雑さはO(N、M、W、H、m、n)に正比例し、N及びMはそれぞれ基準画像の画素行数及び列数(他のパラメータについて、以上と同様である)であるため、全部で第1の基準画像を使用することに対して、サイズが小さい第2の基準画像を使用する場合、マッチングの際のアルゴリズムの複雑さを効果的に低減させ、計算量を減少させることができる。
本出願の他の例示的な実施例において、他の方式で複数の基準画像を生成してもよい。相変わらず図6の画像センサーを例とし、例えば、第9列~第1312列、第169行~第968行の画素を使用して第1の基準画像を生成し、第33列~第1336列、第169行~第968行の画素を使用して第2の基準画像を生成し、第33列~第1312列、第9行~第968行の画素を使用して第3の基準画像を生成し、及び第33列~第1312列、第169行~第1128行の画素を使用して第4の基準画像を生成してもよい。
また、他の方式で複数の基準画像から被選択基準画像を決定してもよい。例えば、まず、前記ターゲット画像での前記ターゲットオブジェクトの位置を決定し、例えば、前景画像抽出又は他の方法で、ターゲット画像でのターゲットオブジェクトの位置を決定する。次に、前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、複数の前記基準画像から被選択基準画像を決定することができる。
例えば、本例示的な実施形態において、ターゲット画像を取得した後、ターゲット画像でのターゲットオブジェクトの位置は左であると、深度画像の左エッジに黒エッジ現象が発生した場合、より大きな影響を与え、他の位置に黒エッジが発生しても、その影響が小さい可能性があり、それに基づいて、上記第1の基準画像を被選択基準画像として決定できる。同様に、ターゲット画像でのターゲットオブジェクトの位置は右であると、上記第2の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は上であると、上記第3の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は下であると、上記第4の基準画像を被選択基準画像として決定できる。全部で最大サイズの基準画像を使用することに対して、サイズが小さい第1~第4の基準画像を使用すると、同様に、マッチングの際のアルゴリズムの複雑さを効果的に低減させ、計算量を減少させることができる。
例えば、本例示的な実施形態において、ターゲット画像を取得した後、ターゲット画像でのターゲットオブジェクトの位置は左であると、深度画像の左エッジに黒エッジ現象が発生した場合、より大きな影響を与え、他の位置に黒エッジが発生しても、その影響が小さい可能性があり、それに基づいて、上記第1の基準画像を被選択基準画像として決定できる。同様に、ターゲット画像でのターゲットオブジェクトの位置は右であると、上記第2の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は上であると、上記第3の基準画像を被選択基準画像として決定でき、ターゲット画像でのターゲットオブジェクトの位置は下であると、上記第4の基準画像を被選択基準画像として決定できる。全部で最大サイズの基準画像を使用することに対して、サイズが小さい第1~第4の基準画像を使用すると、同様に、マッチングの際のアルゴリズムの複雑さを効果的に低減させ、計算量を減少させることができる。
本出願は深度画像生成方法をさらに提供する。図11を参照して、当該方法は以下のステップS1110及びステップS1120を含むことができる。
ステップS1110において、構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得する。
ステップS1120において、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得し、前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで、取得される。
ステップS1110において、構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得する。
ステップS1120において、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得し、前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで、取得される。
本出願は基準画像生成方法をさらに提供する。当該方法は、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップを含むことができ、前記第1の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。
以上の例示的な実施例において、上記深度画像生成方法及び基準画像生成方法の各ステップの具体的な細部について、詳しく説明したため、ここで再度重複されない。
ここで、図面において、本出願における方法の各ステップを特定の順序で説明したが、当該特定の順序に従ってこれらのステップを実行しなければならなくて、又は示される全てのステップを実行しないと、所望の結果を実現できないことを要求又は暗示しない。附加的又は代替的に、あるステップを省略し、複数のステップを1つのステップに統合し実行し、及び/又は1つのステップを複数のステップに分解し実行してもよい。
さらに、本例示的な実施形態において、深度画像生成装置をさらに提供する。図12を参照して、当該深度画像生成装置1200は、基準画像生成モジュール1210、ターゲット画像取得モジュール1220及び深度画像生成モジュール1230を含むことができる。
基準画像生成モジュール1201は、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するために用いられ得る。ターゲット画像取得モジュール1220は、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するために用いられ得る。深度画像生成モジュール1230は、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するために用いられ得る。
基準画像生成モジュール1201は、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するために用いられ得る。ターゲット画像取得モジュール1220は、前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するために用いられ得る。深度画像生成モジュール1230は、前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するために用いられ得る。
本出願の例示的な実施例において、前記第1の有効画素は、前記画像センサーの指定された領域にある有効画素であり、前記第2の有効画素は、前記画像センサーの指定された領域外部にある有効画素である。
本出願の例示的な実施例において、前記基準画像生成モジュール1210は、画像センサーの第1の有効画素及び全ての第2の有効画素を使用して前記基準平面に対してイメージングする。
本出願の例示的な実施例において、前記基準画像生成モジュール1210は画像センサーの第1の有効画素及び異なる数の前記第2の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも2つの基準画像を取得する。前記深度画像生成モジュール1230は前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定し、及び、前記ターゲット画像及び前記被選択基準画像に基づいて前記ターゲットオブジェクトの深度画像を取得する。
本出願の例示的な実施例において、前記深度画像生成モジュール1230は、具体的に以下のように、前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定し、即ち、前記ターゲットオブジェクトから前記基準平面までの距離を取得し、及び、前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定する。
本出願の例示的な実施例において、前記被選択基準画像のサイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にある。
本出願の例示的な実施例において、前記深度画像生成モジュール1230は、具体的に以下のステップにより前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定し、即ち、前記ターゲット画像での前記ターゲットオブジェクトの位置を決定し、及び、前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定する。
本出願の例示的な実施例において、前記装置は、前記基準画像を指定された記憶位置に予め記憶するための画像記憶モジュールをさらに含む。前記深度画像生成モジュール1230は、前記指定された記憶位置から前記基準画像を読み取り、及び、前記ターゲット画像及び読み取られた前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する。
本出願の例示的な実施例において、前記深度画像生成モジュール1230は、具体的に以下のステップにより前記ターゲットオブジェクトの深度画像を取得し、即ち、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行い、前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定し、前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算し、各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成する。
本出願の例示的な実施例において、前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う前に、前記深度画像生成モジュール1230はさらに前記基準画像及び前記ターゲット画像に対して2値化処理を行う。
本出願の1つの態様によれば、深度画像生成装置を提供し、構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで取得される。
本出願の1つの態様によれば、基準画像生成装置を提供し、構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、前記第1の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である。
上記深度画像生成装置及び基準画像生成装置における各モジュール又はユニットの具体的な細部は、対応する深度画像生成方法において詳しく説明されたため、ここで、再度重複されない。
図13は本出願の実施例の電子機器を実現するためのコンピュータシステムの概略構造図を示す。
ここで、図13に示す電子機器のコンピュータシステム1300は単なる一例であり、本出願の実施例の機能及び使用範囲に対するいかなる制限も構成しない。
図13に示すように、コンピュータシステム1300は中央処理ユニット(CPU)1301を含み、読み取り専用メモリ(ROM)1302に記憶されているプログラム、又は記憶部1308からランダムアクセスメモリ(RAM)1303にロードされるプログラムに従って、各種の適切な動作及び処理を実行する。RAM1303には、システム操作に必要な各種のプログラム及びデータがさらに記憶されている。CPU1301、ROM1302及びRAM1303はバス1304を介して互いに接続される。入力/出力(I/O)インターフェース1305もバス1304に接続される。
キーボード、マウスなどを含む入力部1306、ブラウン管(CRT)、液晶ディスプレー(LCD)、及びスピーカーなどを含む出力部1307、ハードディスクなどを含む記憶部1308、及びLANカード、モデムなどのネットワークインターフェースカードを含む通信部1309は、I/Oインターフェース1305に接続される。通信部1309は、インターネットのようなネットワークを介して通信処理を実行する。ドライバ1310も必要に応じて、I/Oインターフェース1305に接続される。リムーバブルメディア1311、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどは、必要に応じて、ドライバ1310に装着されることで、読み出されたコンピュータプログラムは必要に応じて、記憶部1308にインストールされる。
特に、本出願の実施例によれば、以下、フローチャートを参照して説明されるプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本出願の実施例は、コンピュータ読み取り可能な媒体に搭載されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは通信部1309を介してネットワークからダウンロードされインストールされ、及び/またはリムーバブルメディア1311からインストールされる。当該コンピュータプログラムは中央処理ユニット(CPU)1301により実行される場合、本出願の方法及び装置に限定される各種の機能を実行する。
別の態様として、本出願はコンピュータ読み取り可能な媒体をさらに提供し、当該コンピュータ読み取り可能な媒体は上記実施例に説明された電子機器に含まれてもよいし、当該電子機器に組み立てられずに単独で存在していてもよい。上記コンピュータ読み取り可能な媒体は1つの当該電子機器により実行される場合、当該電子機器に、以下の実施例に記載の方法を実現させる1つ又は複数のプログラムを有している。例えば、前記電子機器は図4~図9に示す各ステップなどを実現することができる。
ここで、本出願で示されるコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、またはコンピュータ読み取り可能な記憶媒体、或いは前記両者の任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置、或いはデバイス、もしくは以上の任意の組み合わせであってもよいが、これらに限定されていない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、1つまたは複数のワイヤを有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能でプログラマブルな読み出し専用メモリ(EPROM或いはフラッシュメモリ)、光ファイバ、コンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または前記任意の適切な組み合わせを含むが、これらに限定されていない。本出願では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むまたは記憶する任意の有形媒体であってもよく、当該プログラムは、命令実行システム、装置またはデバイスにより使用され得るか、またはそれらと組み合わせて使用され得る。本出願では、コンピュータ読み取り可能な信号媒体は、ベースバンドに含まれるか、またはキャリアの一部として伝搬されるデータ信号を含んでもよく、コンピュータ読み取り可能なプログラムコードを含む。このような伝搬されるデータ信号は様々な形式を採用でき、電磁信号、光信号または前記任意の適切な組み合わせを含むが、これらに限定されていない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置或いはデバイスにより使用されるか、またはそれらと組み合わせて使用されるように使用されるためのプログラムを送信、伝搬、または伝送してもよい。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、任意の適切な媒体によって伝送されることができ、無線、有線、光ケーブル、RFなど、または前記任意の適切な組み合わせを含むが、これら限定されていない。
図面のフローチャート及びブロック図は、本出願の各種の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能な体系アーキテクチャ、機能及び操作を示している。ここでは、フローチャート図及びブロック図における各ブロックは、1つのモジュール、プログラムセグメント又はコードの一部を表すことができ、上記モジュール、プログラムセグメント又はコードの一部は、定められたロジック機能を実現するための1つ又は複数の実行可能な命令を含む。幾つかの代替できる実現としては、ブロックの中に示されている機能は、図面に示されている順番と違う順番で行われても良いことに留意されたい。例えば、2つの連続して示されているブロックは、実際にほぼ並行して行われても良く、逆の順序で行われる場合もあり、これは、係る機能によって決められる。ブロック図及び/又はフローチャート図におけるそれぞれのブロック、及び、ブロック図及び/又はフローチャート図におけるブロックの組み合わせは、定めされた機能又は操作を実行するための専用のハードウェアを元にするシステムにより実行しても良く、又は、専用のハードウェアとコンピュータ命令の組み合わせにより実行しても良いことにも留意されたい。
本出願は以上説明され図面で示された正確な構造に限定されず、本出願の範囲から逸脱することなく修正および変更を行うことができることを理解されたい。本出願の範囲は添付の特許請求の範囲によってのみ限定される。
Claims (20)
- 電子機器が実行する深度画像生成方法であって、
構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するステップと、
前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、
前記第1の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第2の有効画素は前記指定された領域外にある有効画素である、
ことを特徴とする方法。 - 前記指定された領域は前記画像センサーの画像ウィンドウ領域である、
ことを特徴とする請求項1に記載の方法。 - 前記画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることは、
前記画像センサーの前記第1の有効画素、及び全ての前記第2の有効画素を使用して前記基準平面に対してイメージングするステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることは、
前記画像センサーの前記第1の有効画素、及び異なる数の前記第2の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも2つの基準画像を取得するステップを含み、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定するステップと、前記ターゲット画像及び前記被選択基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含む、
ことを特徴とする請求項1に記載の方法。 - 前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定するステップは、
前記ターゲットオブジェクトから前記基準平面までの距離を取得するステップと、
前記ターゲットオブジェクトから前記基準平面までの距離に基づいて、前記サイズが異なる少なくとも2つの基準画像から前記被選択基準画像を決定するステップとを含む、
ことを特徴とする請求項4に記載の方法。 - 前記被選択基準画像の前記サイズは、前記ターゲットオブジェクトから前記基準平面までの距離と正の相関関係にある、
ことを特徴とする請求項5に記載の方法。 - 前記サイズが異なる少なくとも2つの基準画像から前記被選択基準画像を決定するステップは、
前記ターゲット画像での前記ターゲットオブジェクトの位置を決定するステップと、
前記ターゲット画像での前記ターゲットオブジェクトの位置に基づいて、前記サイズが異なる少なくとも2つの基準画像から前記被選択基準画像を決定するステップとを含む、
ことを特徴とする請求項4に記載の方法。 - 前記基準画像を指定された記憶位置に予め記憶するステップをさらに含み、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記指定された記憶位置から前記基準画像を読み取るステップと、前記ターゲット画像、及び読み取られた前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含む、
ことを特徴とする請求項1に記載の方法。 - 前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップは、
前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行うステップと、
前記基準画像でのマッチングされた画素の位置に基づいて、前記ターゲット画素のオフセット量を決定するステップと、
前記ターゲット画素のオフセット量に基づいて、前記ターゲット画素に対応する深度情報を計算するステップと、
各前記ターゲット画素に対応する深度情報を使用して前記深度画像を生成するステップとを含む、
ことを特徴とする請求項1~7の何れか1項に記載の方法。 - 前記ターゲット画像中のターゲット画素に対して、前記基準画像においてマッチングを行う前に、
前記基準画像及び前記ターゲット画像に対して2値化処理を行うステップをさらに含む、
ことを特徴とする請求項8に記載の方法。 - 深度画像生成方法であって、
構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するステップと、
前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するステップとを含み、
前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで取得される、
ことを特徴とする方法。 - 基準画像生成方法であって、
構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面をイメージングすることで、基準画像を取得するステップを含み、
前記第1の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である、
ことを特徴とする方法。 - 深度画像生成装置であって、
構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールと、
前記構造化光をターゲットオブジェクトに放射し、前記第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像及び前記基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得するための深度画像生成モジュールとを含む、
ことを特徴とする装置。 - 前記第1の有効画素は前記画像センサーの指定された領域にある有効画素であり、前記第2の有効画素は前記画像センサーの指定された領域外にある有効画素である、
ことを特徴とする請求項13に記載の装置。 - 前記基準画像生成モジュールは、前記画像センサーの前記第1の有効画素及び全ての前記第2の有効画素を使用して前記基準平面に対してイメージングする、
ことを特徴とする請求項13に記載の装置。 - 前記基準画像生成モジュールは、前記画像センサーの前記第1の有効画素及び異なる数の前記第2の有効画素を使用して前記基準平面に対してイメージングすることで、サイズが異なる少なくとも2つの基準画像を取得し、
前記深度画像生成モジュールは、前記サイズが異なる少なくとも2つの基準画像から被選択基準画像を決定し、及び、前記ターゲット画像及び前記被選択基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得する、
ことを特徴とする請求項13に記載の装置。 - 深度画像生成装置であって、
構造化光をターゲットオブジェクトに放射し、画像センサーの第1の有効画素を使用して前記ターゲットオブジェクトに対してイメージングすることで、ターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像及び基準画像に基づいて、前記ターゲットオブジェクトの深度画像を取得ための深度画像生成モジュールとを含み、
前記基準画像は、前記画像センサーの第1の有効画素及び第2の有効画素を使用して基準平面に対してイメージングすることで、取得される、
ことを特徴とする装置。 - 基準画像生成装置であって、
構造化光を基準平面に放射し、画像センサーの第1の有効画素及び第2の有効画素を使用して前記基準平面に対してイメージングすることで、基準画像を取得するための基準画像生成モジュールを含み、
前記第1の有効画素は、ターゲットオブジェクトに対して深度イメージングを行う際に使用される有効画素である、
ことを特徴とする装置。 - プロセッサーにより実行される場合、請求項1~12の何れか1項に記載の方法を実現させる、
ことを特徴とするコンピュータプログラム。 - プロセッサーと、
前記プロセッサーの実行可能な命令を記憶するためのメモリとを含む電子機器であって、
前記プロセッサーは、前記実行可能な命令を実行することで、請求項1~12の何れか1項に記載の方法を実行させるように構成される、
ことを特徴とする電子機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010739666.4 | 2020-07-28 | ||
CN202010739666.4A CN112752088B (zh) | 2020-07-28 | 2020-07-28 | 深度图像生成方法及装置、参考图像生成方法、电子设备 |
PCT/CN2021/100350 WO2022022136A1 (zh) | 2020-07-28 | 2021-06-16 | 深度图像生成方法及装置、参考图像生成方法及装置、电子设备以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023517830A true JP2023517830A (ja) | 2023-04-27 |
Family
ID=75645391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548830A Pending JP2023517830A (ja) | 2020-07-28 | 2021-06-16 | 深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220262026A1 (ja) |
EP (1) | EP4033757A4 (ja) |
JP (1) | JP2023517830A (ja) |
CN (1) | CN112752088B (ja) |
WO (1) | WO2022022136A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112752088B (zh) * | 2020-07-28 | 2023-03-28 | 腾讯科技(深圳)有限公司 | 深度图像生成方法及装置、参考图像生成方法、电子设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024419A (zh) * | 2012-12-31 | 2013-04-03 | 青岛海信信芯科技有限公司 | 一种视频图像处理方法及系统 |
CN105306922B (zh) * | 2014-07-14 | 2017-09-29 | 联想(北京)有限公司 | 一种深度相机参考图的获取方法和装置 |
US9361698B1 (en) * | 2014-11-12 | 2016-06-07 | Amazon Technologies, Inc. | Structure light depth sensor |
CN106878697A (zh) * | 2016-06-29 | 2017-06-20 | 鲁班嫡系机器人 | 一种拍摄方法及其成像方法、装置和设备 |
CN106875435B (zh) * | 2016-12-14 | 2021-04-30 | 奥比中光科技集团股份有限公司 | 获取深度图像的方法及系统 |
JP6736539B2 (ja) * | 2017-12-15 | 2020-08-05 | キヤノン株式会社 | 撮像装置及びその駆動方法 |
CN109961406B (zh) * | 2017-12-25 | 2021-06-25 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
CN108711167A (zh) * | 2018-05-15 | 2018-10-26 | 深圳奥比中光科技有限公司 | 深度成像系统及其温度误差校正方法 |
CN108924408B (zh) * | 2018-06-15 | 2020-11-03 | 深圳奥比中光科技有限公司 | 一种深度成像方法及系统 |
CN110088563B (zh) * | 2019-03-13 | 2021-03-19 | 深圳市汇顶科技股份有限公司 | 图像深度的计算方法、图像处理装置及三维测量系统 |
CN112752088B (zh) * | 2020-07-28 | 2023-03-28 | 腾讯科技(深圳)有限公司 | 深度图像生成方法及装置、参考图像生成方法、电子设备 |
-
2020
- 2020-07-28 CN CN202010739666.4A patent/CN112752088B/zh active Active
-
2021
- 2021-06-16 JP JP2022548830A patent/JP2023517830A/ja active Pending
- 2021-06-16 EP EP21849480.5A patent/EP4033757A4/en active Pending
- 2021-06-16 WO PCT/CN2021/100350 patent/WO2022022136A1/zh unknown
-
2022
- 2022-05-04 US US17/736,899 patent/US20220262026A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4033757A4 (en) | 2023-01-25 |
CN112752088A (zh) | 2021-05-04 |
EP4033757A1 (en) | 2022-07-27 |
US20220262026A1 (en) | 2022-08-18 |
CN112752088B (zh) | 2023-03-28 |
WO2022022136A1 (zh) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
US20170059305A1 (en) | Active illumination for enhanced depth map generation | |
US20210319621A1 (en) | Face modeling method and apparatus, electronic device and computer-readable medium | |
US10334151B2 (en) | Phase detection autofocus using subaperture images | |
US20200058153A1 (en) | Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media | |
US9053573B2 (en) | Systems and methods for generating a virtual camera viewpoint for an image | |
CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
JP7180646B2 (ja) | 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム | |
WO2020119467A1 (zh) | 高精度稠密深度图像的生成方法和装置 | |
CN114339194A (zh) | 投影显示方法、装置、投影设备及计算机可读存储介质 | |
CN111680574B (zh) | 一种人脸检测方法、装置、电子设备和存储介质 | |
JP2023517830A (ja) | 深度画像生成方法及び装置、基準画像生成方法及び装置、電子機器、ならびにコンピュータプログラム | |
CN117495975A (zh) | 一种变焦镜头的标定方法、装置及电子设备 | |
CN115131215A (zh) | 一种图像的校正方法及及屏下系统 | |
CN108254738A (zh) | 避障告警方法、装置及存储介质 | |
CN109446945B (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
CN106204604A (zh) | 投影触控显示装置及其交互方法 | |
US11295421B2 (en) | Image processing method, image processing device and electronic device | |
CN112750157B (zh) | 一种深度图像生成方法及装置 | |
US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system | |
CN116416290A (zh) | 一种计算散斑结构光深度的方法、装置及电子设备 | |
US11283970B2 (en) | Image processing method, image processing apparatus, electronic device, and computer readable storage medium | |
US11006094B2 (en) | Depth sensing apparatus and operation method thereof | |
CN113052887A (zh) | 一种深度计算方法及系统 | |
US20220254065A1 (en) | Camera calibration method and apparatus and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240417 |