JP6571274B2 - レーザ深度マップサンプリングのためのシステム及び方法 - Google Patents

レーザ深度マップサンプリングのためのシステム及び方法 Download PDF

Info

Publication number
JP6571274B2
JP6571274B2 JP2018510076A JP2018510076A JP6571274B2 JP 6571274 B2 JP6571274 B2 JP 6571274B2 JP 2018510076 A JP2018510076 A JP 2018510076A JP 2018510076 A JP2018510076 A JP 2018510076A JP 6571274 B2 JP6571274 B2 JP 6571274B2
Authority
JP
Japan
Prior art keywords
image
segment
depth
electronic device
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018510076A
Other languages
English (en)
Other versions
JP2018526641A5 (ja
JP2018526641A (ja
Inventor
リンドナー、アルブレヒト・ヨハネス
スロボジャニュク、ボロディミル
ベラール、スティーブン・マイケル
アタナソフ、カリン・ミトコフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018526641A publication Critical patent/JP2018526641A/ja
Publication of JP2018526641A5 publication Critical patent/JP2018526641A5/ja
Application granted granted Critical
Publication of JP6571274B2 publication Critical patent/JP6571274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

[0001]本開示は一般に、電子デバイスに関する。より具体的には、本開示は、深度マップサンプリングのためのシステム及び方法に関する。
[0002]過去数十年間で、電子デバイスの使用は日常的になってきた。特に、電子技術の進歩は、ますます複雑かつ有用になる電子デバイスのコストを低減させてきた。コスト低減及び消費者の需要は、電子デバイスが現代社会において事実上ユビキタスになるように、それらの使用を激増させた。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい及び改良された機能に対する需要も拡大してきた。より具体的には、新しい機能を実行する、及び／又は、より速く、より効率的に、又は、より高品質で機能を実行する電子デバイスが求められていることが多い。
[0003]いくつかの電子デバイス（例えば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ、テレビ、等）は、ＬＩＤＡＲ（光＋レーダ）スキャンを使用して深度マップを作成し得る。ＬＩＤＡＲスキャンを使用したシーンの高密度サンプリングは、時間及び電力の観点でコストがかかる。これは、低フレームレート及びバッテリの消耗（drainage）につながり得る。本考察から観察され得るように、ＬＩＤＡＲ深度マップサンプリングを改善するシステム及び方法が有益であり得る。
[0004]電子デバイスが説明される。電子デバイスは、シーンの画像を取り込むように構成されたカメラを含む。電子デバイスはまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーを含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。電子デバイスは、画像及び空間座標を記憶するように構成されたメモリを更に含む。電子デバイスは追加的に、ＬＩＤＡＲ（光＋レーダ）ユニットを含み、ここで、ＬＩＤＡＲユニットは、空間座標の少なくともサブセットに対応する深度値を選択的に取得するように操向可能（steerable）である。電子デバイスは、深度値と空間座標とに基づいて、シーンの深度マップを生成するように構成された深度マッパーを更に含む。
[0005]画像セグメントの少なくとも一部は、画像内のオブジェクトの境界を定義する不均一なセグメントを備える。画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され得る。生成されるセグメントの量は、決定された画像の複雑性の関数であり得る。
[0006]ＬＩＤＡＲユニットは、シーン内の実質的に均一なオブジェクトを含むシーンの領域にわたって粗スキャンを実行するように構成され得る。画像セグメンテーションマッパーは、空間座標をＬＩＤＡＲユニットに供給するように構成され得、画像のセグメントを深度マッパーに供給するように構成され得る。
[0007]深度マッパーは、セグメントを対応する深度値とマージすることで深度マップを生成するように構成され得る。深度マッパーは、空間座標においてＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加する（populate）ことで、深度マップを生成するように構成され得る。
[0008]ＬＩＤＡＲユニットによって取得される深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成され得る。セグメントの空間座標は、セグメントの重心に対応し得る。
[0009]方法もまた説明される。方法は、シーンの画像を取り込むことを含む。方法はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行することを含み、ここで、複数のセグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。方法は、ＬＩＤＡＲ（光＋レーダ）ユニットによって、空間座標の少なくともサブセットに対応する深度値を取得することを更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。方法は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成することを含む。
[0010]装置もまた説明される。装置は、シーンの画像を取り込むための手段を含む。装置はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行するための手段を含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。装置は、ＬＩＤＡＲユニットによって、空間座標の少なくともサブセットに対応する深度値を取得するための手段を更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。装置は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成するための手段を含む。
[0011]コンピュータプログラム製品もまた説明される。コンピュータプログラム製品は、命令を有する非一時的な有形のコンピュータ読取可能な媒体を含む。命令は、シーンの画像を取り込むことを電子デバイスに行わせるためのコードを含む。命令はまた、複数の画像セグメントを生成するために、画像コンテンツに基づいて画像のセグメンテーションを実行することを電子デバイスに行わせるためのコードを含み、ここで、複数の画像セグメントの各々は、シーン内の各セグメントのロケーションを示す空間座標に関連付けられている。命令は、ＬＩＤＡＲユニットによって、空間座標の少なくともサブセットに対応する深度値を取得することを電子デバイスに行わせるためのコードを更に含む。ＬＩＤＡＲユニットは、深度値を選択的に取得するように操向可能である。命令は追加的に、深度値と空間座標とに基づいて、シーンの深度マップを生成することを電子デバイスに行わせるためのコードを含む。
[0012]図１は、画像支援型ＬＩＤＡＲ（光＋レーダ）深度マップサンプリングを実行するように構成された電子デバイスを例示するブロック図である。 [0013]図２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイスの別の構成を例示するブロック図である。 [0014]図３は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための方法を例示するフロー図である。 [0015]図４は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための別の方法を例示するフロー図である。 [0016]図５Ａ−５Ｃは、画像から生成されたセグメンテーションマップの例を例示する。 [0017]図６Ａ−６Ｄは、画像支援型ＬＩＤＡＲ深度マップサンプリングの例を例示する。 [0018]図７Ａ−７Ｄは、画像支援型ＬＩＤＡＲ深度マップサンプリングの別の例を例示する。 [0019]図８は、画像支援型ＬＩＤＡＲ深度マップサンプリングのためのシステム及び方法が実施され得る電子デバイスの一例を例示するブロック図である。 [0020]図９は、電子デバイス内に含まれ得る特定の構成要素を例示する。
発明の詳細な説明
[0021]多くのアプリケーションでは、シーン内のオブジェクトの深度マップを生成することが重要である。例えば、先進運転支援システム（ＡＤＡＳ）で、障害物回避のために車の前方にある運転可能エリアを識別することが重要である。障害物検知は、交通標識（例えば、速度制限標識、一時停止の標識、道路標識、等）を識別するために深度マップを使用し得る。深度マップが重要である別のシナリオは、自律走行車両（例えば、無人航空機（ＵＡＶ）又は自律走行自動車）がその環境を検知し、人間による入力なしにナビゲートする車両オートメーションである。
[0022]深度マップ生成は、様々な生産性及び娯楽シナリオでも有益であり得る。例えば、部屋又は環境の深度マップは、ゲーム、拡張又は仮想現実、３Ｄ再構成、安全・危機管理、及び同様のアプリケーションで利用され得る。更には、深度は、例えば、オートフォーカス動作を支援するために、画像及び／又はビデオ取込みの際に参照され得る。これらの及び他のシナリオでは、シーン、部屋、又は環境の深度情報を精確かつ精密に得る（capture）深度マップをインテリジェントに獲得することは有利であり得る。
[0023]ＬＩＤＡＲ（光＋レーダ）スキャンは、オブジェクトの深度値をサンプリングするために使用され得る。ＬＩＤＡＲでは、レーザは、オブジェクトを照明し得、基準ロケーションからのオブジェクトの距離（すなわち、深度値）は、反射光を分析することで決定され得る。シーンの高密度サンプリングは、時間及び電力の観点でコストがかかり、低フレームレート及びバッテリの消耗につながる。しかしながら、規則的なポイントにおける均一な（すなわち、ネイティブな）ＬＩＤＡＲスキャンは、質の悪い深度マップに帰着し得る。同様に、シーンコンテンツに関係なく均一な又は所定のスキャンパターンが用いられるとき、高密度サンプルでさえも、依然として小さいオブジェクトを見逃し得（miss）、深度マップ誤りを引き起こし得る。
[0024]本明細書で説明されるシステム及び方法では、均一なスキャンポイントに基づいてＬＩＤＡＲスキャンを実行する代わりに、ＬＩＤＡＲユニットは、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行し得る。ＬＩＤＡＲユニットの近くに位置付けられているカメラは、シーンの１つ又は複数の画像を取り込み得る。この画像又は画像のセットは、セグメント化され得る。セグメントは、画像内のオブジェクトの境界をたどり得、故にオブジェクトのエッジを保存する。例えば、セグメントの重心の空間座標（Ｘ，Ｙ位置）が、それらの空間座標においてＬＩＤＡＲスキャンを実行するＬＩＤＡＲユニットに供給され得る。ＬＩＤＡＲユニットによるスキャンから生成される深度値は、シーンに関する深度マップを作成するために、対応するセグメントに追加される。例えば、各セグメントは、それぞれのセグメントの重心の深度に関連付けられた均一な深度が与えられ得る。画像支援型ＬＩＤＡＲ深度マップサンプリングのためのシステム及び方法は、以下でより詳細に説明される。
[0025]図１は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイス１０２を例示するブロック図である。電子デバイス１０２は、ワイヤレス通信デバイス、モバイルデバイス、モバイル局、加入者局、クライアント、クライアント局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、等とも呼ばれ得る。電子デバイスの例には、ラップトップ又はデスクトップコンピュータ、セルラ電話、スマートフォン、ワイヤレスモデム、電子リーダ、タブレットデバイス、ゲームシステム、ロボット、航空機、無人航空機（ＵＡＶ）、自動車、等が含まれる。これらのデバイスのうちのいくつかは、１つ又は複数の業界規格に従って動作し得る。
[0026]多くのシナリオでは、電子デバイス１０２は、シーンの深度マップ１２０を使用し得る。一例では、スマートフォンは、シーンの深度マップ１２０を生成し得る。別の例では、自動車は、検出された交通標識、信号、及び／又は他のオブジェクトに基づいて自動車の速度、ステアリング、駐車、等を調節するために深度マップ１２０を使用し得る先進運転支援システム（ＡＤＡＳ）を含み得る。別の例では、無人航空機（ＵＡＶ）は、飛行中に記録されたビデオから深度マップ１２０を生成し得、検出されたオブジェクト（例えば、建物、標識、人間、パッケージ、等）に基づいてナビゲートし得、検出されたパッケージをピックアップ及び／又は配達し得る。多くの他の例は、本明細書で開示されるシステム及び方法に従って実施され得る。例えば、本明細書で開示されるシステム及び方法は、深度マップ１２０を使用して検出された１つ又は複数のオブジェクトに基づいて１つ又は複数のアクション（例えば、何かを取ってくること、何かを組み立てること、アイテムを探すこと、等）を実行するロボットにより実施されるであろう。
[0027]例えば、スマートフォン又はタブレットコンピュータのような電子デバイス１０２は、カメラ１０４を含み得る。カメラ１０４は、画像センサ１０８と、光学システム１０６の視野内に位置するオブジェクトの画像の焦点を画像センサ１０８に合せる光学システム１０６（例えば、レンズ）とを含み得る。カメラ１０４は、デジタル画像を取り込むように構成され得る。ある実施では、デジタル画像は、カラー画像であり得る。本システム及び方法は取り込まれた画像の観点で説明されるが、本明細書で考察される技法は、任意のデジタル画像に使用され得る。従って、ビデオフレーム及びデジタル画像という用語は、本明細書では交換して使用され得る。同様に、特定の実施では、電子デバイス１０２は、カメラ１０４及び光学システム１０６を含むのではなく、記憶されたデジタル画像を受け得る又は利用し得る。
[0028]電子デバイス１０２はまた、カメラソフトウェアアプリケーション及びディスプレイスクリーンを含み得る。カメラアプリケーションが稼働しているとき、光学システムカメラ１０４の視野内に位置するオブジェクトの画像は、画像センサ１０８によって記録され得る。画像センサ１０８によって記録されている画像は、ディスプレイスクリーン上に表示され得る。これらの画像は、カメラ１０４の視野内に位置するオブジェクトが任意の時点でディスプレイスクリーン上に表示されるように、比較的高いフレームレートで立て続けに表示され得る。
[0029]カメラアプリケーションのユーザインターフェース１１２は、ディスプレイスクリーン上に表示されている１つ又は複数のオブジェクトが選択されることを許可し得る。一構成では、ディスプレイは、例えば、指、タッチペン、又は他のツールによる物理的接触からの入力を受けるタッチスクリーン１１０である。タッチスクリーン１１０は、ターゲットオブジェクトを定義するタッチ入力を受け得る。ターゲットオブジェクトは、任意の適切な方法で選択され得る。例えば、顔認識、歩行者認識、等は、ターゲットオブジェクトを選択するために使用され得る。
[0030]電子デバイス１０２はまた、ＬＩＤＡＲユニット１１４を含み得る。ＬＩＤＡＲ（光＋レーダ）は、レーザを用いてターゲットを照明し、反射光を分析することで距離を測定するリモートセンシング技術である。ＬＩＤＡＲユニット１１４は、シーン内のオブジェクトまでの深度値を決定するためにシーンをサンプリングし得る。故に、ＬＩＤＡＲユニット１１４は、発光（レーザ）部１３７と、受光（センサ）部１３９とを備え得る。ＬＩＤＡＲユニットは、以下で説明されるように、発光すること及び受光することを容易にするための様々なオプティックス（光学系）１４１及び追加の特徴を更に備え得る。
[0031]ある実施では、ＬＩＤＡＲユニット１１４は、ある方向にレーザパルスを送り得、このレーザパルスがＬＩＤＡＲユニット１１４に戻るまでにかかる時間を測定し得る。このプロセスは、信号を送り、エコーを受けるレーダに類似する。ＬＩＤＡＲユニット１１４は、レーザを送ってから反射光を受けるまでの時間差を記録し得る。この時間差から、ＬＩＤＡＲユニット１１４は、距離推定値を表す深度値を取得し得る。いくつかの実施では、時間測定値、記録すること、及び／又は深度値を取得することは、ＬＩＤＡＲユニット１１４の外で、例えば、電子デバイス１０２内の又はそれから離れた１つ又は複数のプロセッサ１４２において実行され得る。いくつかの実施では、メモリ１４４は、画像支援型ＬＩＤＡＲ深度マップサンプリング（例えば、画像、深度値、セグメント、及び深度マップ１２０）に関連付けられた情報を記憶し得る。
[0032]ＬＩＤＡＲユニット１１４のレーザは、異なるロケーション、例えば、画像セグメンテーションプロセスを通じて識別されたロケーション、に向けられ得る。従って、レーザは、操向可能であり得る。１つのアプローチでは、レーザは、機械的に向けられ得る。例えば、レーザは、ミラー又はアクチュエータを用いて向けられ得る。別の例では、レーザは、電子的に操向可能な光学素子を介して向けられ得る。このアプローチでは、ＬＩＤＡＲユニット１１４は、可動部を有さないことができ、柔軟性をより高める（offer）。
[0033]ＬＩＤＡＲユニット１１４によるシーンの高密度サンプリングは、時間及び電力の観点でコストがかかる。これは、電子デバイス１０２が処理し得るフレームレート（例えば、カメラ１０４によって取り込まれる画像の数）を低減し得る。更に、これは、特に、バッテリを使用するプラットフォームに関し得る。光パルスを送ることは、かなりの量の電力を消費する。バッテリによって電力供給されるモバイルプラットフォーム（例えば、モバイル電話）の場合、非常に高いレートで周囲のシーンをサンプリングすることは、バッテリをすぐに消耗し得る。時間のかかる深度マップの獲得及び／又は生成はまた、モバイルプラットフォームよりも電力制約の少ない又は電力制約がないプラットフォームにおいても懸念であり得る。例えば、速度は、深度情報を得たシーンが動的（例えば、様々な（有人及び無人の）地上車両及び飛行体、ロボット、等）である状況において有利であり得る。
[0034]更に、ＬＩＤＡＲスキャンを実行するのに最良のロケーションを決定するのに問題がある。いくつかのアプローチは、均一なＬＩＤＡＲスキャンを実行し得る。例えば、回転ミラーアプローチは、ＬＩＤＡＲスキャンが等しい又は均一な増分ごとに実行されるシーンの等しいサンプリングを取得し得る。このアプローチは、ネイティブＬＩＤＡＲスキャンと呼ばれ得る。このアプローチでは、ミラーは、特定の速度で回転し、ＬＩＤＡＲは、同数のミリ秒ごとにレーザパルスを送る。均一な速度の回転及び均一なレーザパルスは、シーンの均一なサンプリング、すなわち、シーンの水平及び垂直範囲（horizontal and vertical extent）にわたって均一な又は他の所定の二次元グリッドのポイント、を与える。しかしながら、このアプローチは、シーン内の特定のオブジェクトを検出しない場合がある。例えば、均一なＬＩＤＡＲサンプリングは、サンプリングポイント同士の間に位置する薄いオブジェクトを検出しない場合がある。
[0035]本明細書で説明されるシステム及び方法は、画像支援型ＬＩＤＡＲ深度マップサンプリングを提供する。ＬＩＤＡＲユニット１１４は、カメラ１０４によって取り込まれる画像によって支援されるＬＩＤＡＲスキャンを実行し得る。ＬＩＤＡＲユニット１１４は、画像によって取り込まれるシーンコンテンツに応答して深度サンプリングを適合させ得る。
[0036]ある実施では、電子デバイス１０２は、画像セグメンテーションマッパー１１６を含み得る。カメラ１０４は、取り込まれた画像を画像セグメンテーションマッパー１１６に供給し得る。画像セグメンテーションマッパー１１６は、セグメンテーションマップを生成するために画像をセグメント化し得る。セグメンテーションマップは、複数のセグメントを含み得る。セグメントの重心は、空間座標を有し得る。画像セグメンテーションマッパー１１６は、セグメント重心の空間座標をＬＩＤＡＲユニット１１４に送り得る。画像セグメンテーションマッパー１１６はまた、セグメントを深度マッパー１１８に供給し得る。
[0037]ＬＩＤＡＲユニット１１４は、受けた空間座標に基づいてＬＩＤＡＲスキャンを実行し得る。ある実施では、ＬＩＤＡＲユニット１１４は、操向可能なＬＩＤＡＲを使用して各セグメントの重心においてシーンの深度をサンプリングし得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、互いに近くに位置し得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、それらが実質的に同じ視野（ＦＯＶ）を有するように位置合わせされ得る。ＬＩＤＡＲユニット１１４及びカメラ１０４は、互いに対して較正され得る。例えば、ズーム又はカメラ１０４及びＬＩＤＡＲユニット１１４は、較正され得る。
[0038]精確なシーン座標のために、システムは、サンプリング座標（例えば、重心）、較正パラメータ、及び前の深度マップを使用することができる。例えば、ＬＩＤＡＲユニット１１４は、重心の空間座標におけるシーンの深度値を決定するためにレーザを操向し得る。一実施では、ＬＩＤＡＲユニット１１４は、深度値を決定し、この深度値を深度マッパー１１８に送り得る。別の実施では、ＬＩＤＡＲユニット１１４は、深度値の決定のために、原データ（例えば、時間測定値）をプロセッサ１４２に送り得る。次いで、プロセッサ１４２は、深度値を深度マッパー１１８に供給し得る。
[0039]画像セグメンテーションマッパー１１６からセグメントを、ＬＩＤＡＲユニット１１４から深度値を受けると、深度マッパーは、深度マップ１２０を作成するために、各セグメントにその重心の深度値を追加し得る。画像支援型ＬＩＤＡＲ深度マップサンプリングについての更なる詳細が、図２に関連して与えられる。
[0040]説明されるシステム及び方法は、シーンコンテンツに適合する深度サンプリングを提供する。例えば、ＬＩＤＡＲユニット１１４は、シーンの画像内に大きいかつ実質的に均一なオブジェクトを含むシーンの領域にわたって比較的粗い（単位面積あたりのポイントがより少ない）スキャンを実行するよう命令され得る一方で、ＬＩＤＡＲユニット１１４は、小さく、ジオメトリが変化し、及び／又は複数の隣接又は近接オブジェクトを含むオブジェクトを含むシーンの領域にわたって比較的細かい（単位面積あたりのポイントがより多い）スキャンを実行するよう命令され得る。
[0041]従って、シーンコンテンツに基づいてスキャンパターンを適応的に生成することで、深度マップが、精度を犠牲にすることなく効率的に取得され得る。実際、精度（すなわち、グラウンドトルースに匹敵するシーンの深度マップ１２０）は、例えば、均一にスキャンを使用して見逃す可能性のあるオブジェクト又はオブジェクトの部分におけるポイントを取り込むことで、均一に間隔が空いたスキャンよりも改善され得る。これは、深度マップ１２０のより高い精度とより高いフレームレートに帰着する。ＬＩＤＡＲスキャンは、取り込まれた画像に基づいて最適化されるため、これは、より少ない電力消費に帰着し、これは、特に、バッテリ電力供給型アプリケーションにとって重要である。
[0042]図２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するように構成された電子デバイス２０２の別の構成を例示するブロック図である。電子デバイス１０２は、カメラ２０４と、画像セグメンテーションマッパー２１６と、ＬＩＤＡＲユニット２１４と、深度マッパー２１８とを含み得る。カメラ２０４、画像セグメンテーションマッパー２１６、ＬＩＤＡＲユニット２１４、及び深度マッパー２１８は、図１に関連して上で説明したカメラ１０４、画像セグメンテーションマッパー１１６、ＬＩＤＡＲユニット２１４、及び深度マッパー１１８の構成であり得る。
[0043]カメラ２０４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられ得る。例えば、カメラ２０４は、電子デバイス２０２上でＬＩＤＡＲユニット２１４の隣に取り付けられ得る。カメラ２０４及びＬＩＤＡＲユニット２１４は、それらがシーン２２２の実質的に同じビューを有するように方向付けされ得る。シーン２２２は、異なるロケーションに１つ又は複数のオブジェクトを含み得る。従って、１つ又は複数のオブジェクトは、カメラ２０４及びＬＩＤＡＲユニット２１４から同じ又は異なる深度（例えば、距離）にあり得る。
[0044]カメラ２０４は、シーン２２２の画像２２４を取り込み得る。画像２２４は、デジタルカラー画像であり得る。カラー画像は、グレーレベル画像より優れた性能をセグメンテーションに提供し得る。赤いボールが緑色のグラスの上にある画像の例では、この画像は、カラードメインではセグメント化し易いが、グラスとボールのグレーレベルは類似している可能性があり、結果として不精確なセグメント境界に帰着する。
[0045]画像２２４は、複数の画素から成り得る。各画素は、空間座標２３２を有し得る。ある実施では、空間座標２３２は、デカルト座標（例えば、ｘ−ｙ座標）で表され得、ここで、ｘは、画素の水平ロケーションに対応し、ｙは、画素の垂直ロケーションに対応する。
[0046]カメラ２０４は、画像２２４を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、画像２２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８から成り得る。各セグメント２２８は、空間座標２３２によって識別され得る。例えば、セグメント２２８は、それの重心２３０に関連付けられた空間座標２３２によって識別され得る。
[0047]画像セグメンテーションマッパー２１６は、低水準コンピュータビジョン技法を使用してセグメンテーションマップ２２６を生成し得る。セグメント２２８は、画像２２４のコンテンツに基づいて決定され得る。セグメント２２８は、不均一であり得、画像２２４のコンテンツに応答して、不規則なジオメトリ、サイズ、及び分布を有する。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。セグメント５２８の境界は、画像２２４からのオブジェクト境界又はエッジをたどる。例えば、画像セグメンテーションマッパー２１６は、画像２２４内のオブジェクト間において境界がどこにあるのかを決定し得る。セグメント２２８は、画像２２４内のオブジェクト間の境界（例えば、エッジ）を保存するために生成され得る。セグメンテーションマップ２２６の例が、図５に関連して説明される。
[0048]画像セグメンテーションマッパー２１６は、セグメンテーションマップ２２６内の各セグメント２２８を識別する空間座標２３２を決定し得る。空間座標２３２は、シーン２２２における各セグメント２２８のロケーションを示す。一実施では、画像セグメンテーションマッパー２１６は、各セグメント２２８の重心２３０の空間座標２３２を決定し得る。所与のセグメント２２８の重心２３０は、セグメント２２８の幾何学的中心である。重心２３０は、セグメント２２８内の全てのポイントの算術平均（例えば、平均）位置として決定され得る。セグメント２２８の重心２３０は、関連する空間座標２３２を有する。例えば、重心２３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とによって表され得る。
[0049]セグメント２２８の空間座標２３２は、他のアプローチによって識別され得る。あるアプローチでは、セグメント２２８の空間座標２３２は、セグメント２２８の周りの境界ボックスの中心に対応し得る。別のアプローチでは、セグメント２２８が、クラスタリングアルゴリズム（例えば、Ｋ平均法）で計算される場合、最後の反復におけるクラスタ中心が、セグメント２２８のサンプリングポイント（例えば、空間座標２３２）として使用され得る。更に別のアプローチでは、セグメント２２８のモルフォロジカルエロージョン（形態学的崩壊）（morphological erosion）がある場合、最後のポイントスタンディングが、サンプリング位置（例えば、空間座標２３２）である。
[0050]画像セグメンテーションマッパー２１６によって生成されるセグメント２２８の数は、異なるアプローチに従って決定され得る。あるアプローチでは、セグメント２２８の数は、固定数（例えば、２０００個のセグメント）であり得る。別のアプローチでは、セグメント２２８の数は、最大数であり得る。更に別のアプローチでは、セグメント２２８の数又は量は、以下で説明されるように、生成された深度マップ２２０からのフィードバック２４０に基づいて変化し得る。別のアプローチでは、セグメント２２８の数又は量は、画像コンテンツの関数として決定され得る。例えば、複雑なシーン２２２（例えば、多数のオブジェクト、小さいオブジェクト、多様なオブジェクト）は、より単純なシーン（例えば、少ないオブジェクト、大きいオブジェクト、均一なオブジェクト）に対してより多い数のセグメント２２８を利用し得る。様々なアプローチ（エッジの量、エッジ長、カラー、カラー差、等を示す測定値）は、セグメント２２８の量を導出するために使用され得るシーンの複雑性を決定するために利用され得る。
[0051]画像セグメンテーションマッパー２１６は、セグメント２２８の空間座標２３２をＬＩＤＡＲユニット２１４に供給し得る。例えば、画像セグメンテーションマッパー２１６は、重心２３０の空間座標２３２を含む空間座標情報２３３をＬＩＤＡＲユニット２１４に送り得る。画像セグメンテーションマッパー２１６はまた、画像２２４のセグメント２２８を深度マッパー２１８に供給し得る。例えば、画像セグメンテーションマッパー２１６は、セグメント情報２２９を深度マッパー２１８に送り得る。
[0052]ＬＩＤＡＲユニット２１４は、セグメント２２８の空間座標２３２に基づいてＬＩＤＡＲスキャンを実行し得る。従って、空間座標２３２は、ＬＩＤＡＲユニット２１４がＬＩＤＡＲスキャンを実行するためのサンプリングポイントであり得る。
[0053]ＬＩＤＡＲユニット２１４は、操向可能なレーザ２３４と、深度値決定ブロック２３６とを含み得る。操向可能なレーザ２３４は、画像２２４の空間座標２３２に従って動くように較正され得る。従って、操向可能なレーザ２３４の向きは、画像２２４の空間座標２３２に合わせられる。カメラ２０４及び操向可能なレーザ２３４は、画像の空間座標２３２が操向可能なレーザ２３４の位置に変換され得るように較正され得る。従って、カメラ２０４及び操向可能なレーザ２３４を位置合わせすること及び較正することで、電子デバイス２０２は、画像空間からＬＩＤＡＲ空間への変換を決定し得る。
[0054]いくつかの実施では、ＬＩＤＡＲユニット２１４は、プロセッサ２４２のようなプロセッサからスキャン命令を受け得る。スキャン命令は、シーン２２２をサンプリングするために、ＬＩＤＡＲユニット２１４を位置付ける、操向する、方向付ける、又は他の方法でその動きを達成するコマンド及び／又は情報を含み得る。更に他の実施では、ＬＩＤＡＲユニット２１４は、セグメント２２８又は画像２２４を受け、セグメント２２８及び／又は重心２３０を生成し得る。
[0055]深度値２３８がＬＩＤＡＲ空間から画像空間に変換され得ることは留意されるべきである。深度データ（例えば、深度値２３８）は、世界座標系（すなわち、ＸＹＺ空間）における座標である。これら３Ｄ座標は、射影変換によって画像２２４（すなわち、画像空間）上に投射され得る。変換は、例えば、較正ターゲットから推定され得る。
[0056]操向可能なレーザ２３４は、セグメント２２８の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るために操向され得る。ＬＩＤＡＲスキャンがセグメンテーションマップ２２６の空間座標２３２に基づくため、ＬＩＤＡＲスキャンが不均一なスキャンであり得ることは留意されるべきである。
[0057]深度値決定ブロック２３６は、セグメント２２８の空間座標２３２における深度値２３８を決定し得る。これは、光がシーン２２２内のオブジェクトから反射して受光されるまでにかかる時間量を分析することで達成され得る。ＬＩＤＡＲユニット２１４は、深度値２３８を深度マッパー２１８に供給し得る。別の実施では、ＬＩＤＡＲユニット２１４は、深度値２３８を算出するために、例えば、深度値を示すタイミングデータのようなデータをプロセッサ２４２に供給し得る。
[0058]深度マッパー２１８は、画像セグメンテーションマッパー２１６によって供給されるセグメント２２８を、ＬＩＤＡＲユニット２１４によって供給される深度値２３８とマージすることで深度マップ２２０を作成し得る。あるアプローチでは、深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって決定された、対応する重心２３０の深度値２３８を各セグメント２２８に追加し得る。換言すると、深度マッパー２１８は、セグメント２２８内の各画素に、そのセグメントの重心２３０の深度値２３８を追加し得る。従って、このアプローチでは、深度マップ２２０は、セグメント２２８の深度値２３８を含み、ここで、所与のセグメント２２８は、単一の深度値２３８を有する。
[0059]別のアプローチでは、深度マッパー２１８は、深度値２３８を各セグメント２２８に追加するために隣接セグメント２２８の加重平均を使用し得る。例えば、深度マッパー２１８は、加重された隣接セグメント２２８に従って同じオブジェクトのセグメント２２８に追加し得る。隣接セグメント２２８の加重平均は、セグメント２２８間のカラーの類似性及び／又はそれらの共通境界の長さに影響され得る。
[0060]更に別のアプローチでは、重心２３０からの距離もまた、深度値２３８の補間に影響を与えるパラメータであり得る。深度マッパー２１８は、重心２３０からの距離に基づいてセグメント２２８を深度値２３８とマージすることで深度マップ２２０を作成し得る。
[0061]電子デバイス２０２は、様々なアプリケーションのために深度マップ２２０を使用し得る。例えば、あるアプリケーションでは、電子デバイス１０２は、電子デバイス１０２がオブジェクト中を動き回るときにこのオブジェクトの３次元モデルを構築するために深度マップ２２０を使用し得る。別のアプリケーションでは、電子デバイス１０２は、駐車場ビルを通り抜けている車に電子デバイス１０２が搭載されている室内ナビゲーションのために深度マップ２２０を使用し得る。深度マップ２２０は、カメラ２０４のためのオートフォーカスアプリケーションに対して使用され得る。深度マップ２２０の他のアプリケーションは、シーン２２２内のオブジェクトのマップ、オブジェクト検出（例えば、歩行者検出、交通信号検出、等）、自律走行、及びＵＡＶナビゲーションを作成するためのものであり得る。
[0062]ある実施では、画像セグメンテーションマッパー２１６は、前の深度マップ２２０からフィードバック２４０を使用して、画像２２４のセグメント２２８を調節し得る。深度マッパー２１８は、フィードバック２４０を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、セグメンテーションを最適化するために深度マッパー２１８からのフィードバック２４０に基づいてより多い数の又はより少ない数のセグメント２２８を生成し得る。例えば、２つの隣接セグメント２２８が類似したカラーを有し、かつ、それらが最後の１０個のフレームで同じ深度値２３８を有する場合、画像セグメンテーションマッパー２１６は、次のフレームでは、２つのセグメント２２８を１つのセグメント２２８へと組み合わせ得る。ＬＩＤＡＲユニット２１４は、組み合わせられたセグメント２２８について、２つのサンプルではなく１つのサンプルを採り得る。これにより、フレームレートが更に改善し、バッテリ消費を低減し得る。
[0063]図２に例示されるように、例示された構成要素のうちの１つ又は複数は、プロセッサ２４２によってオプションで実施され得る。いくつかの構成では、異なるプロセッサが、異なる構成要素を実施するために使用され得る（例えば、あるプロセッサは、画像セグメンテーションマッパー２１６を実施し得、別のプロセッサは、深度値決定ブロック２３６を実施するために使用され得、別のプロセッサは、深度マッパー２１８を実施するために使用され得る）。
[0064]図３は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための方法３００を例示するフロー図である。方法３００は、図２に描写されている電子デバイス２０２によって実施され得る。具体的には、方法３００は、電子デバイス２０２のＬＩＤＡＲユニット２１４によって実施され得る。いくつかの実施では、方法得る３００は、一部が、電子デバイス２０２内のプロセッサ、例えば、プロセッサ２４２及びＬＩＤＡＲユニット２１４によって実施され得る。
[0065]図２及び図３を参照すると、ＬＩＤＡＲユニット２１４は、画像セグメンテーションマッパー２１６から空間座標２３２を受け得る３０２。空間座標２３２は、シーン２２２の画像２２４に基づいて生成され得る。例えば、画像セグメンテーションマッパー２１６は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられているカメラ２０４から画像２２４を受け得る。画像セグメンテーションマッパー２１６は、画像２２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８を含み得る。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。
[0066]各セグメント２２８は、関連する空間座標２３２を有する重心２３０を有し得る。ＬＩＤＡＲユニット２１４は、画像セグメンテーションマッパー２１６から重心２３０及び／又は関連する空間座標２３２を受け得る３０２。いくつかの実施では、ＬＩＤＡＲユニット２１４は、プロセッサ２４２のようなプロセッサからスキャン命令を受け得る。スキャン命令は、シーン２２２をサンプリングするために、ＬＩＤＡＲユニット２１４を位置付ける、操向する、方向付ける、又は他の方法でその動きを達成するコマンド及び／又は情報を含み得る。更に他の実施では、ＬＩＤＡＲユニット２１４は、セグメント２２８又は画像２２４を受け、セグメント２２８及び／又は重心を生成し得る。
[0067]ＬＩＤＡＲユニット２１４は、空間座標２３２に基づいてＬＩＤＡＲスキャンを実行し得る３０４。ＬＩＤＡＲユニット２１４は、空間座標２３２においてシーン２２２をサンプリングするように操向され得る。例えば、操向可能なレーザ２３４は、重心２３０の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。別の例では、操向可能なレーザ２３４は、所与のセグメント２２８の周りの境界ボックスの中心の空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。サンプリングポイントはまた、他のアプローチ（例えば、クラスタ中心又はモルフォロジーエロージョン）に従って決定され得る。
[0068]ＬＩＤＡＲユニット２１４は、セグメント２２８の空間座標２３２において深度値２３８を決定し得る。深度値２３８は、ＬＩＤＡＲユニット２１４からの１つ又は複数のオブジェクトの距離に対応し得る。いくつかの実施では、ＬＩＤＡＲユニット２１４は、例えば、深度値を示すタイミングデータのようなデータを、プロセッサ２４２のような、電子デバイス２０２のプロセッサに供給し得る。
[0069]ＬＩＤＡＲユニット２１４は、深度マップ２２０を作成するために、ＬＩＤＡＲスキャンによって取得される深度値２３８を深度マッパー２１８に供給し得る３０６。深度マッパー２１８は、画像セグメンテーションマッパー２１６から画像２２４のセグメント２２８を受け得る。深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって供給されるセグメント２２８の空間座標２３２に対応する深度値２３８を各セグメント２２８に追加し得る。
[0070]あるアプローチでは、深度マッパー２１８は、ＬＩＤＡＲユニット２１４によって決定された、対応する重心２３０の深度値２３８を各セグメント２２８に追加し得る。別のアプローチでは、深度マッパー２１８は、深度値２３８を各セグメント２２８に追加するために隣接セグメント２２８の加重平均を使用し得る。更に別のアプローチでは、深度マッパー２１８は、重心２３０からの距離に基づいて、セグメント２２８を深度値２３８とマージすることで深度マップ２２０を作成し得る。
[0071]図４は、画像支援型ＬＩＤＡＲ深度マップサンプリングを実行するための別の方法４００を例示するフロー図である。方法４００は、例えば、図２に描写されている電子デバイス２０２によって実施され得る。
[0072]図２及び図４を参照すると、電子デバイス２０２は、シーン２２２のカラー画像２２４を取得し得る４０２。例えば、カメラ２０４は、カラー画像２２４を取り込み得る。カメラ２０４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けされ（例えば、取り付けられ）得る。カメラ２０４は、画像２２４を画像セグメンテーションマッパー２１６に供給し得る。
[0073]電子デバイス２０２は、画像２２４から、複数のセグメント２２８を含むセグメンテーションマップ２２６を生成し得る４０４。１つ又は複数のセグメント２２８は、画像２２４内のオブジェクトの境界を定義し得る。電子デバイス２０２によって生成されるセグメント２２８の数は、異なるアプローチに従って決定され得る。あるアプローチでは、セグメント２２８の数は、固定数であり得る。別のアプローチでは、セグメント２２８の数は、最大数であり得る。別のアプローチでは、セグメント２２８の数は、フィードバック２４０に基づいて変化し得る。更に別のアプローチでは、セグメント２２８の数は、画像コンテンツの関数として決定され得、ここで、比較的複雑なシーン２２２は、より単純なシーンと比べて、よりを多い数のセグメント２２８を利用し得る。
[0074]電子デバイス２０２は、セグメント２２８の空間座標２３２を決定し得る４０６。空間座標２３２は、シーン２２２内の各セグメント２２８のロケーションを示す。空間座標２３２は、ＬＩＤＡＲスキャンを実行するためのサンプリングポイントであり得る。一実施では、電子デバイス２０２は、セグメント２２８の重心２３０の空間座標２３２を決定し得る４０６。各セグメント２２８は、重心２３０を有し得る。重心２３０は、空間座標２３２によって表され得る。例えば、重心２３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とを有し得る。セグメント２２８の空間座標２３２はまた、他のアプローチ（例えば、クラスタ中心又はモルフォロジーエロージョン）に従って決定され得る。
[0075]電子デバイス２０２は、深度値２３８を決定するために、セグメント２２８の空間座標２３２においてＬＩＤＡＲスキャンを実行し得る４０８。空間座標２３２は、セグメント２２８に関連付けられたサンプリングポイント（例えば、重心２３０、境界ボックスの中心、クラスタ中心、又はモルフォロジーエロージョン）に関連付けられ得る。操向可能なレーザ２３４は、空間座標２３２に対応するポイントにおいてシーン２２２のサンプルを採るように操向され得る。所与のセグメント２２８の空間座標２３２について、電子デバイス２０２は、そのロケーションの深度値２３８を決定するために、光がシーン２２２内のオブジェクトから反射するのにかかる時間量を分析し得る。
[0076]電子デバイス２０２は、シーン２２２の深度マップ２２０を作成するために、深度値２３８をセグメント２２８とをマージし得る４１０。例えば、電子デバイス２０２は、ＬＩＤＡＲスキャンによって決定されたセグメント２２８の空間座標２３２に対応する深度値２３８を各セグメント２２８に追加し得る。
[0077]電子デバイス２０２は、前の深度マップ２２０からのフィードバック２４０を使用して、画像２２４のセグメント２２８を（オプションで）調節し得る４１２。例えば、深度マッパー２１８は、フィードバック２４０を画像セグメンテーションマッパー２１６に供給し得る。画像セグメンテーションマッパー２１６は、セグメンテーションを最適化するために深度マッパー２１８からのフィードバック２４０に基づいてより多い数の又はより少ない数のセグメント２２８を生成し得る。
[0078]図５Ａ−５Ｃは、画像５２４から生成されるセグメンテーションマップ５２６の例を例示する。画像５２４は、ＬＩＤＡＲユニット２１４上に又はその近くに位置付けられているカメラ２０４によって取り込まれるカラー画像であり得る。画像５２４は、１つ又は複数のオブジェクトを含むシーン２２２のピクチャであり得る。画像５２４は、デジタル画像であり得るか、ビデオのフレームから取得され得る。
[0079]この例では、図５Ａに示される画像５２４は、異なる深度に複数のオブジェクトを含む。画像５２４内のオブジェクトのうちのいくつかは、（画像５２４の左にある）円錐５５４と、（画像５２４の手前右にある）鉛筆５５８の入っているカップと、格子５６０とを含む。
[0080]セグメンテーションマップ５２６は、画像５２４から生成される。様々な要因が、画像５２４のセグメンテーションのためのセグメント５２８の数を決定するときに考慮され得る。セグメント５２８の数を決定することに関連性のあり得る要因は、画像コンテンツ／複雑性、１秒あたりの最小フレーム（ｆｐｓ）、所望の精度（例えば、最大セグメントサイズ）、及びリソース使用（例えば、バッテリ使用／ＭＩＰＳ／時間）を含み得る。
[0081]この例では、セグメンテーションマップ５２６は、２０００個のセグメント５２８を含む。他の例では、より少ない数の又はより多い数のセグメント５２８が利用され得る。図５Ｂ及び図５Ｃから分かるように、この例におけるセグメント５２８は均一ではなく、画像５２４のコンテンツに応答してジオメトリ、サイズ、及び分布が不規則である。セグメント５２８の境界は、円錐５５４のクローズアップビューの図５Ｃに例示されるように、画像５２４からのオブジェクトの境界又はエッジをたどる。薄いオブジェクト（例えば、画像５２４の右下にある鉛筆５５８）について、このオブジェクトの幅が単一のセグメント５２８によって定義され得ることは留意されるべきである。
[0082]各セグメント５２８は、対応する重心５３０を有する。この例では、単一の重心５３０が、所与のセグメントについて例示される。重心５３０は、空間座標２３２によって特徴付けられ得る。これらの空間座標２３２は、画像５２４内の重心５３０のロケーションに従って決定され得る。ある実施では、重心５３０は、ｘ（例えば、水平）座標と、ｙ（例えば、垂直）座標とによって表され得る。
[0083]図６Ａ−６Ｄは、画像支援型ＬＩＤＡＲ深度マップ６２０サンプリングの例を例示する。図６Ａに描写される画像６２４は、図５Ａに関連して説明されたシーンの画像５２４と同じである。数あるオブジェクトの中でもとりわけ、画像６２４は、複数の円錐６５４と、鉛筆６５６と、格子６６０とを含む。画像６２４は、デジタル画像であり得るか、ビデオのフレームから取得され得る。
[0084]グラウンドトルース６６２は、深度マップ６２０が比較され得る参照である。グラウンドトルース６６２は、それぞれ、支援型及び無支援型アプローチを使用してサンプリングされた深度マップ６２０の品質を目視検証するために、図６Ｂに含まれる。グラウンドトルース６６２が本明細書で説明されるシステム及び方法の一部ではないことは留意されるべきである。
[0085]図６Ｃ及び６Ｄに例示される深度マップ６２０ａ−ｂは、深度値２３８の視覚表現である。深度値２３８は、深度マップ６２０内で異なる陰影で示される。深度マップ６２０内のより明るい陰影は、オブジェクトがＬＩＤＡＲユニット２１４のより近くにいることを示す。深度マップ６２０内のより暗い陰影は、オブジェクトがＬＩＤＡＲユニット２１４からより離れていることを示す。従って、シーンの背景にあるオブジェクトは、深度マップ６２０においてより暗い陰影で描写され、シーンの前景にあるオブジェクトは、深度マップ６２０においてより明るい陰影で描写される。
[0086]深度マップ画像が、視覚化及び例示の目的で提供される深度マップ情報の１つの例となる視覚描写であることは留意されるべきである。実際、深度メイ６２０の視覚化は、異なって提示されるか又は全く提示されないであろう。代わりに、深度マップ情報は、３次元モデルを構築すること、室内ナビゲーション、自律ナビゲーション、オブジェクト検出、及び他のアプリケーションのような様々な動作及びプロセスのために利用され得る。
[0087]無支援型ＬＩＤＡＲ深度マップ６２０ａが図６Ｃに例示される。無支援型ＬＩＤＡＲ深度マップ６２０ａは、深度値２３８のネイティブの規則的なＬＩＤＡＲサンプリングを使用して取得されたものである。このケースでは、ＬＩＤＡＲサンプリングは、２０００個の規則的に間隔が空けられたサンプリングポイントを使用して均一な方式で実行された。従って、このアプローチは、どこにＬＩＤＡＲスキャンを実行するかを決定するときシーン内のオブジェクトを考慮しない。
[0088]画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、本明細書で説明されたシステム及び方法に従って生成される。このケースでは、セグメンテーションマップ２２６は、２０００個のセグメント２２８で作成される。セグメント２２８の境界は、図５に関連して説明したように、オブジェクトの境界をたどる。次いで、ＬＩＤＡＲスキャンが、セグメント２２８の空間座標２３２において実行される。次いで、ＬＩＤＡＲスキャンからの深度値２３８は、画像支援型ＬＩＤＡＲ深度マップ６２０ｂを生成するために、対応するセグメント２２８に追加される。
[0089]図６Ｃ及び６Ｄを比較することで観察されるように、無支援型ＬＩＤＡＲ深度マップ６２０ａは、結果として、特に、境界線において性能が劣る。例えば、図６Ｃの無支援型ＬＩＤＡＲ深度マップ６２０ａ内の円錐６５４がセグメント化され、格子６６０の開口部はいびつである。また、薄いオブジェクト（例えば、鉛筆６５６）は、サンプリングポイント同士の間に位置し得、図６Ｃによって論証されるように、ＬＩＤＡＲスキャンによって検出されることができないであろう。
[0090]ＬＩＤＡＲサンプリングは、かなり精確な解像度（例えば、０．１度）で、比較的高密度の水平グリッドを使用し得る。しかしながら、垂直フィールドでは、この解像度は、（例えば、０．５度から４度の範囲の）かなり粗い解像度であり得る。垂直視野は、例えば、８度から２０度の間に限られ得る。スキャンレートは、通常、１０ｆｐｓから５０ｆｐｓの間である。
[0091]これらの仮定では、１つのＬＩＤＡＲスキャンは、２０ｍｓから１００ｍｓまでの範囲の１つのフレームで獲得されるであろう。これは、システムに運動及び／又はジッタを考慮させるのに十分なインターバルである。例えば、慣性計測装置（ＩＭＵ）は、ＬＩＤＡＲユニット１１４の運動及び／又はジッタを考慮するために使用され得る。ＩＭＵは、自己運動中心データ（例えば、環境内でのＬＩＤＡＲユニット１１４の三次元運動に関するデータ）を、世界規模の座標系で参照されるものへと補間するためにＬＩＤＡＲユニット１１４に結合され得る。
[0092]ＬＩＤＡＲユニットが車両に結合されている実施における車両運動についても同様である。デフォルトで、ＬＩＤＡＲユニット１１４からの原データは、ローカルの座標系においてポイントクラウドを供給するであろう。説明されるシステムが可動式プラットフォーム（例えば、車両）上に位置し得るため、この動きは、これらのポイントを世界的に参照される座標系に変換するために、対処され得る。
[0093]図６Ａ、６Ｂ、６Ｃ、及び６Ｄに例示される例によって論証されるように、画像支援型ＬＩＤＡＲ深度マップ６２０ｂによって生成される深度マップ６２０ｂの精度は、無支援型ＬＩＤＡＲ深度マップ６２０ａによって生成される深度マップ６２０ａよりも優れている。この例における深度マップ６２０は、同じ数（すなわち、２０００個）のスキャンポイントを使用するが、より少ない数のスキャンポイントを使用して画像支援型ＬＩＤＡＲサンプリングアプローチに従って生成される深度マップ６２０が、より多くのスキャンポイントで無支援型アプローチに従って生成される深度マップ６２０よりも精確であり得ることは留意されるべきである。
[0094]画像６２４をセグメント化するとき画像支援型アプローチがシーン内のオブジェクトを考慮に入れるため、より少ない数のセグメント２２８が、異なるオブジェクトを表すために必要とされ得る。セグメント２２８は、画像２２４内のオブジェクト間の境界（例えば、エッジ）を保存するために生成され得る。オブジェクト間の境界を保存する大きいセグメント２２８は、本明細書で説明された画像支援型アプローチに従って精確な深度マップ６２０を生成するのに十分であり得る。従って、より低いセグメンテーション密度で生成される深度マップ６２０は、十分な精度を提供し得る。更に、より大きなセグメント２２８を使用することは、より少ないセグメント２２８に帰着し、これは、次に、より少ないスキャンポイントに帰着する。深度マップ６２０を生成するためにより少ないＬＩＤＡＲサンプルを使用することで、電子デバイス２０２は、十分な精度を保ちつつ、効率向上（例えば、処理、バッテリ消費、時間、等）を達成し得る。
[0095]画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、無支援型ＬＩＤＡＲ深度マップ６２０ａより精確である。セグメント２２８が画像６２４内のオブジェクトの境界をたどるため、図６Ｄの画像支援型ＬＩＤＡＲ深度マップ６２０ｂは、無支援型ＬＩＤＡＲ深度マップ６２０ａと比べて、オブジェクト（例えば、円錐６５４及び格子６６０の開口部）のよりはっきりとした（sharper）エッジを保持する。更に、画像支援型ＬＩＤＡＲ深度マップ６２０ｂでは、薄いオブジェクト（例えば、鉛筆６５６）が取り込まれる。
[0096]図７Ａ−７Ｄは、画像支援型ＬＩＤＡＲ深度マップ７２０サンプリングの別の例を例示する。シーンの画像７２４が図７Ａに示され、対応するグラウンドトルース７６２が図７Ｂに示されている。数あるオブジェクトの中でもとりわけ、画像７２４は、布７６４、植物７６６、及び鳥小屋７６８を含む。
[0097]無支援型ＬＩＤＡＲ深度マップ７２０ａが図７Ｃに例示される。無支援型ＬＩＤＡＲ深度マップ７２０ａは、深度値２３８のネイティブの規則的なＬＩＤＡＲサンプリングを使用して取得されたものである。このケースでは、ＬＩＤＡＲサンプリングは、２０００個の規則的に間隔が空けられたサンプリングポイントを使用して均一な方式で実行された。従って、このアプローチは、どこにＬＩＤＡＲスキャンを実行するかを決定するときシーン内のオブジェクトを考慮しない。
[0098]画像支援型ＬＩＤＡＲ深度マップ７２０ｂは、本明細書で説明されたシステム及び方法に従って生成される。このケースでは、セグメンテーションマップ２２６は、２０００個のセグメント２２８で作成される。セグメント２２８の境界は、図５に関連して説明したように、オブジェクトの境界をたどる。次いで、ＬＩＤＡＲスキャンは、セグメント２２８の空間座標７３２において実行される。次いで、ＬＩＤＡＲスキャンからの深度値２３８は、画像支援型ＬＩＤＡＲ深度マップ７２０ｂを生成するために、対応するセグメント２２８に追加される。
[0099]図７Ｃ及び７Ｄを比較することで観察されるように、画像支援型ＬＩＤＡＲ深度マップ７２０ｂは、特に、オブジェクト境界線において、より優れた性能に帰着する。布７６４、植物７６６の葉、及び鳥小屋７６８の屋根のエッジは、図７Ｃの無支援型ＬＩＤＡＲ深度マップ７２０ａと比べて図７Ｄの画像支援型ＬＩＤＡＲ深度マップ７２０ｂではよりはっきりしている。
[00100]図８は、画像支援型ＬＩＤＡＲ深度マップサンプリングのシステム及び方法が実施され得る電子デバイス８０２の一例を例示するブロック図である。電子デバイス８０２の例には、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続済みカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲームコンソール、携帯情報端末（ＰＤＡ）、セットトップボックス、等が含まれる。電子デバイス８０２は、１つ又は複数の構成要素又は要素を含み得る。構成要素又は要素のうちの１つ又は複数は、ハードウェア（例えば、回路）又はハードウェアとソフトウェアとの組み合わせ（例えば、命令を有するプロセッサ）により実施され得る。
[00101]いくつかの構成では、電子デバイス８０２は、プロセッサ８４２、メモリ８４４、ディスプレイ８４６、カメラ８０４、ＬＩＤＡＲユニット８１４、及び／又は通信インターフェース８０５を含み得る。プロセッサ８４２は、メモリ８４４、ディスプレイ８４６、カメラ８０４、ＬＩＤＡＲユニット８１４、及び／又は通信インターフェース８０５に結合され得る（例えば、それらと電子通信状態にある）。図８に例示された要素のうちの１つ又は複数がオプションであり得ることは留意されるべきである。特に、電子デバイス８０２は、いくつかの構成では、図８に例示される要素のうちの１つ又は複数を含まない場合がある。例えば、電子デバイス８０２は、通信インターフェース８０５を含むことも含まないこともあり得る。追加的に又は代替的に、電子デバイス８０２は、ディスプレイ８４６を含むことも含まないこともあり得る。
[00102]通信インターフェース８０５は、電子デバイス８０２が１つ又は複数の他の電子デバイスと通信することを可能にし得る。例えば、通信インターフェース８０５は、ワイヤード及び／又はワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース８０５は、無線周波数（ＲＦ）信号を送信及び／又は受信するために１つ又は複数のアンテナ８０７に結合され得る。追加的に又は代替的に、通信インターフェース８０５は、１つ又は複数の種類のワイヤライン（例えば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）、等）通信を可能にし得る。
[00103]いくつかの構成では、複数の通信インターフェース８０５が実施及び／又は利用され得る。例えば、ある通信インターフェース８０５は、セルラ（例えば、第３世代ロングタームエボリューション（ＬＴＥ（登録商標））、ＣＤＭＡ、等）通信インターフェース８０５であり得、別の通信インターフェース８０５は、イーサネットインターフェースであり得、別の通信インターフェース８０５は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースであり得、更に別の通信インターフェース８０５は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（例えば、電気電子技術者協会（ＩＥＥＥ）８０２．１１インターフェース）であり得る。
[00104]いくつかの構成では、電子デバイス８０２は、図１−８のうちの１つ又は複数に関連して説明された機能、プロシージャ、方法、ステップ、等のうちの１つ又は複数を実行し得る。追加的に又は代替的に、電子デバイス８０２は、図１−８のうちの１つ又は複数に関連して説明された構造のうちの１つ又は複数を含み得る。いくつかの構成では、図８に関連して説明された画像支援型ＬＩＤＡＲ深度マップサンプリングは、図１−８のうちの１つ又は複数に関連して説明されたアプローチのうちの１つ又は複数と併せて実施され得る。図８に関連して説明される画像支援型ＬＩＤＡＲ深度マップサンプリングが、図１−８のうちの１つ又は複数に関連して説明された画像スキャン及び／又はオブジェクトトラッキングに対するアプローチのうちの１つ又は複数に加えて又はそれとは代替的に、実施され得ることは留意されるべきである。
[00105]電子デバイス８０２は、１つ又は複数の画像８２４（例えば、デジタル画像、画像フレーム、ビデオ、等）を取得し得る。例えば、電子デバイス８０２は、光学システム１０６（例えば、レンズ）と画像センサ１０８とを有するカメラ８０４を含み得る。いくつかの構成では、カメラ８０４は、１つ又は複数の画像８２４を取り込み得る。カメラ８０４は、プロセッサ８４２に結合され得る及び／又はプロセッサ８４２によって制御され得る。追加的に又は代替的に、電子デバイス８０２は、別のデバイス（例えば、電子デバイス８０２に結合された外部の画像センサ、ネットワークサーバ、交通カメラ、ドロップカメラ、自動車カメラ、ウェブカメラ、等）からの１つ又は複数の画像８２４を要求し得る及び／又は受け得る。いくつかの構成では、電子デバイス８０２は、通信インターフェース８０５を介して１つ又は複数の画像８２４を要求し得る及び／又は受け得る。例えば、電子デバイス８０２は、カメラ８０４を含むことも含まないこともあり得、リモートデバイスから画像８２４を受け得る。
[00106]１つ又は複数の画像８２４は、メモリ８４４に記憶され得る。画像８２４のうちの１つ又は複数は、シーン２２２内のオブジェクトを含み得る。
[00107]メモリ８４４は、命令及び／又はデータを記憶し得る。プロセッサ８４２は、メモリ７８４４にアクセスし（それから読み取り及び／又はそれに書き込み）得る。メモリ８４４によって記憶され得る命令及び／又はデータの例には、画像データ（例えば、１つ又は複数の画像８２４）、画像セグメンテーションマッパー８１６命令、ＬＩＤＡＲユニット８１４命令、深度マッパー８１８命令、及び／又は他の要素のための命令、等が含まれ得る。いくつかの構成では、電子デバイス８０２（例えば、メモリ８４４）は、画像データバッファ（図示されない）を含み得る。画像データバッファは、カメラ８０４からの画像データ（例えば、画像８２４）をバッファ（例えば、記憶）し得る。バッファされた画像データは、プロセッサ８４２に供給され得る。
[00108]いくつかの構成では、電子デバイス８０２は、カメラソフトウェアアプリケーション及び／又はディスプレイ８４６を含み得る。カメラアプリケーションが稼働しているとき、カメラ８０４の視野内に位置しているオブジェクトの画像８２４は、カメラ８０４によって取り込まれ得る。カメラ８０４によって取り込まれている画像８２４は、ディスプレイ８４６上に提示され得る。いくつかの構成では、これらの画像８２４は、カメラ８０４の視野内に位置するオブジェクトが任意の時点でディスプレイ８４６上に表示されるように、比較的高いフレームレートで立て続けに表示され得る。電子デバイス８０２によって取得される１つ又は複数の画像８２４は、１つ又は複数のビデオフレーム及び／又は１つ又は複数の静止画像であり得る。
[00109]プロセッサ８４２は、画像セグメンテーションマッパー８１６、ＬＩＤＡＲユニットコントローラ８４８、及び／又は深度マッパー８１８を含み得る及び／又は実施し得る。いくつかの構成では、プロセッサ８４２は、図２に関連して説明されたプロセッサ２４２の例であり得る。電子デバイス８０２及び／又はプロセッサ８４２内に例示される要素のうちの１つ又は複数がオプションであり得ることは留意されるべきである。例えば、プロセッサ８４２内に例示された要素のうちの１つ又は複数は、含まれる及び／又は実施されることもそうでないこともある。追加的に又は代替的に、プロセッサ８４２内に例示される要素のうちの１つ又は複数は、プロセッサ８４２とは別に（例えば、他の回路内、別のプロセッサ上、離れた電子デバイス上、等で）実施され得る。例えば、ＬＩＤＡＲユニットコントローラ８４８は、電子デバイス８０２上には実施されない場合がある。
[00110]プロセッサ８４２は、画像セグメンテーションマッパー８１６を含み得る及び／又は実施し得る。いくつかの構成では、画像セグメンテーションマッパー８１６は、図１−２のうちの１つ又は複数に関連して説明された画像セグメンテーションマッパー１１６、２１６のうちの１つ又は複数の例であり得る。画像セグメンテーションマッパー８１６は、シーン２２２の画像８２４からセグメンテーションマップ２２６を生成し得る。セグメンテーションマップ２２６は、複数のセグメント２２８を含み得る。
[00111]プロセッサ８４２は、ＬＩＤＡＲユニットコントローラ８４８を含み得る及び／又は実施し得る。ＬＩＤＡＲユニットコントローラ８４８は、セグメント２２８の重心２３０の空間座標２３０を受け得る。ＬＩＤＡＲユニットコントローラ８４８は、重心２３０の空間座標２３２においてＬＩＤＡＲスキャンを実行するようＬＩＤＡＲユニット８１４に命令し得る。ＬＩＤＡＲユニット８１４は、空間座標２３２においてシーン２２２をサンプリングするように操向され得る。ＬＩＤＡＲユニット８１４は、重心２３０の空間座標２３２においてシーン２２２の深度値２３８を決定し得る。
[00112]プロセッサ８４２は、深度マッパー８１８を含み得る及び／又は実施し得る。いくつかの構成では、深度マッパー８１８は、本明細書で説明された深度マッパー１１８、２１８のうちの１つ又は複数の例であり得る。深度値２３８のうちの１つ又は複数は、深度マッパー８１８に供給され得る。深度マッパー８１８は、深度マップ８２０を作成するためにセグメント２２８の重心２３０の深度値２３８を各セグメント２２８に追加し得る。
[00113]いくつかの構成では、電子デバイス８０２は、深度マップ８２０に基づいて支援型走行を実行し得る。例えば、プロセッサ８４２は、先進運転支援システム（ＡＤＡＳ）を含み（例えば、実施し）得るか、それと通信し得る。例えば、電子デバイス８０２（例えば、ＡＤＡＳ）は、深度マップ８２０に基づいて支援型走行を実行し得る。電子デバイス８０２は、深度マップ８２０に基づいて１つ又は複数の動作を実行し得る。動作の例には、オブジェクト検出及び／又はオブジェクトトラッキングが含まれ得る。動作の例にはまた、インジケータを表示すること（例えば、制限速度、一時停止の標識、歩行者警告、潜在的衝突の警告、車線逸脱警告、道の名前、住所、等）、サウンドを出力すること（例えば、チャイム、アラーム、スピーチ、自動車のクラクションを鳴らすこと、等）、車両速度を制御すること（例えば、掲示された制限速度で走行すること、衝突を回避するためにブレーキをかけること、等）、車両ステアリングを制御すること（例えば、衝突を回避するために向きを変えること、縦列駐車すること、等）、車両環境を制御すること（例えば、デフロスタ又は曇り除去装置を制御すること、等）、車両のライトを制御すること（例えば、フォグランプをオンにすること、非常灯をアクティブにすること、方向指示器を制御すること、等）が含まれ得る。いくつかの構成では、電子デバイス８０２が自動車から離れ得るかそれに統合され得ることは留意されるべきである。
[00114]いくつかの構成では、プロセッサ８４２は、１つ又は複数の他の要素を含み得る及び／又は実施し得る。例えば、プロセッサ８４２は、オブジェクト検出器、オブジェクトトラッカ、等を含み得る。
[00115]いくつかの構成では、電子デバイス８０２は、ディスプレイ８４６上にユーザインターフェース８１２を提示し得る。例えば、ユーザインターフェース８１２は、ユーザが電子デバイス８０２と対話することを可能にし得る。いくつかの構成では、ディスプレイ８４６は、（例えば、指、タッチペン、又は他のツールによる）物理的接触からの入力を受けるタッチスクリーン１１０であり得る。追加的に又は代替的に、電子デバイス８０２は、別の入力インターフェースを含み得るかそれに結合され得る。例えば、電子デバイス８０２は、ユーザの方を向いているカメラを含み得、ユーザジェスチャ（例えば、ハンドジェスチャ、アームジェスチャ、視線追跡、まぶた瞬き、等）を検出し得る。別の例では、電子デバイス８０２は、マウスに結合され得、マウスクリックを検出し得る。
[00116]いくつかの構成ではいずれのユーザ入力も必要とされないであろうことは留意されるべきである。例えば、電子デバイス８０２は、画像支援型ＬＩＤＡＲ深度マップサンプリングを自動的に実行し得る。
[00134]図９は、電子デバイス９０２内に含まれ得る特定の構成要素を例示する。電子デバイス９０２は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラ電話、スマートフォン、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、等）、タブレットデバイス、メディアプレーヤ、テレビ、自動車、パーソナルカメラ、アクションカメラ、監視カメラ、搭載カメラ、接続済みカメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、ヘルスケア機器、ゲームコンソール、携帯情報端末（ＰＤＡ）、セットトップボックス、等であり得るか又はそれらに含まれ得る。電子デバイス９０２は、プロセッサ９４２を含む。プロセッサ９４２は、汎用のシングルチップ又はマルチチップマイクロプロセッサ（例えば、ＡＲＭ）、専用マイクロプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ、等であり得る。プロセッサ９４２は、中央処理装置（ＣＰＵ）と呼ばれ得る。電子デバイス９０２には単一のプロセッサ９４２だけが示されているが、代替的な構成では、プロセッサの組み合わせ（例えば、ＡＲＭとＤＳＰ）が使用されることができであろう。
[00135]電子デバイス９０２はまた、メモリ９４４を含む。メモリ９４４は、電子情報を記憶することができる任意の電子構成要素であり得る。メモリ９４４は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光学記憶媒体、ＲＡＭにおけるフラッシュメモリデバイス、プロセッサと共に含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、等、なお、それらの組み合わせを含む、として具現化され得る。
[00136]データ９５０ａ及び命令９５２ａは、メモリ９４４に記憶され得る。命令９５２ａは、本明細書で説明された方法のうちの１つ又は複数を実施するためにプロセッサ９４２によって実行可能であり得る。命令９５２ａを実行することは、メモリ９４４に記憶されたデータの使用を伴い得る。プロセッサ９４２が命令９５２を実行すると、命令９５２ｂの様々な部分がプロセッサ９４２上にロードされ得、データ９５０ｂの様々な部分がプロセッサ９４２上にロードされ得る。
[00137]電子デバイス９０２はまた、電子デバイス９０２への信号の送信と、電子デバイス９０２からの信号の受信とを可能にするための送信機９２５及び受信機９２７を含み得る。送信機９２５及び受信機９２７は、集合的にトランシーバ９３５と呼ばれ得る。１つ又は複数のアンテナ９０７ａ−ｂは、トランシーバ９３５に電気的に結合され得る。電子デバイス９０２はまた、複数の送信機、複数の受信機、複数のトランシーバ、及び／又は追加のアンテナを含み得る（図示されない）。
[00138]電子デバイス９０２は、デジタルシグナルプロセッサ（ＤＳＰ）９３１を含み得る。電子デバイス９０２はまた、通信インターフェース９０５を含み得る。通信インターフェース９０５は、１つ又は複数の種類の入力及び／又は出力を可能にし得る。例えば、通信インターフェース９０５は、他のデバイスを電子デバイス９０２にリンク付けるための１つ又は複数のポート及び／又は通信デバイスを含み得る。追加的に又は代替的に、通信インターフェース９０５は、１つ又は複数の他のインターフェース（例えば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラ、等）を含み得る。例えば、通信インターフェース９０５は、ユーザが電子デバイス９０２と対話することを可能にし得る。
[00139]電子デバイス９０２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバス、等を含み得る１つ又は複数のバスによって互いに結合され得る。明瞭さのために、様々なバスが、バスシステム９２３として図９に示されている。
[00140]本開示に従って、電子デバイス内の回路は、画像セグメンテーションマッパーから空間座標を取得受信するように適合され得る。空間座標は、シーンの画像に基づいて生成され得る。同じ回路、異なる回路、又は同じもしくは異なる回路の第２のセクションは、ＬＩＤＡＲスキャンを実行するために深度マップの垂直処理を実行するように適合され得る。ＬＩＤＡＲユニットは、空間座標においてシーンをサンプリングするように操向され得る。同じ回路、異なる回路、又は同じもしくは異なる回路の第３のセクションは、深度マップを作成するためにＬＩＤＡＲスキャンによって取得される深度値を深度マッパーに供給するように適合され得る。加えて、同じ回路、異なる回路、又は同じもしくは異なる回路の第４のセクションは、上で説明された機能性を提供する回路又は回路のセクションの構成を制御するように適合され得る。
[00141]「決定すること」という用語は、多種多様なアクションを包含し、従って、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、表、データベース、又は別のデータ構造をルックアップすること）、確認すること、等を含むことができる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）、等を含むことができる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、等を含むことができる。
[00142]「〜に基づいて」という表現は、別途明記されていない限り、「〜だけに基づいて」を意味しない。換言すると、「〜に基づいて」という表現は、「〜だけに基づいて」及び「〜に少なくとも基づいて」の両方を説明する。
[00143]「プロセッサ」という用語は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシン、等を包含するように広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、等を指し得る。「プロセッサ」という用語は、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成との組み合わせのような、処理デバイスの組み合わせを指し得る。
[00144]「メモリ」という用語は、電子情報を記憶することができる任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光データ記憶装置、レジスタ、等のような様々なタイプのプロセッサ読取可能な媒体を指し得る。メモリは、プロセッサがメモリから情報を読み取ること及び／又はメモリに情報を書き込むことができる場合、プロセッサと電子通信状態にあると考えられる。プロセッサに統合されたメモリは、プロセッサと電子通信状態にある。
[00145]「命令」及び「コード」という用語は、任意のタイプのコンピュータ読取可能なステートメントを含むように広く解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ、等を指し得る。「命令」及び「コード」は、単一のコンピュータ読取可能なステートメント又は多くのコンピュータ読取可能なステートメントを備え得る。
[00146]本明細書で説明された機能は、ハードウェアによって実行されているソフトウェア又はファームウェアにより実施され得る。これらの機能は、コンピュータ読取可能な媒体上の１つ又は複数の命令として記憶され得る。「コンピュータ読取可能な媒体」又は「コンピュータプログラム製品」という用語は、コンピュータ又はプロセッサによってアクセスされることができる任意の有形の記憶媒体を指す。限定ではなく例として、コンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、又はデータ構造又は命令の形式で所望のプログラムコードを記憶又は搬送するために使用されることができかつコンピュータによってアクセスされることができる任意の他の媒体を備え得る。ディスク（disk）及びディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ここで、ディスク（disk）は通常、磁気的にデータを再生し、ディスク（disc）は、レーザを用いて光学的にデータを再生する。コンピュータ読取可能な媒体は、有形及び非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイス又はプロセッサによって実行、処理、又は計算され得るコード又は命令（例えば、「プログラム」）と組み合わせてコンピューティングデバイス又はプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指し得る。
[00147]ソフトウェア又は命令もまた、伝送媒体を通じて伝送され得る。例えば、ソフトウェアが、ウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、電波、及びマイクロ波のようなワイヤレス技術は、伝送媒体の定義に含まれる。
[00148]本明細書で開示された方法は、説明された方法を達成するための１つ又は複数のステップ又はアクションを備える。方法のステップ及び／又はアクションは、特許請求の範囲から逸脱することなく互いと置き換えられ得る。換言すると、ステップ又はアクションの特定の順序が、説明されている方法の正常な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、特許請求の範囲から逸脱することなく修正され得る。
[00149]更に、本明細書で説明された方法及び技法を実行するためのモジュール及び／又は他の好適な手段が、デバイスによって、ダウンロードされ得ること及び／又は他の方法で取得され得ることは認識されるべきである。例えば、デバイスは、本明細書で説明された方法を実行するための手段の移動を容易にするために、サーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスに記憶手段を結合又は提供するとデバイスが様々な方法を取得し得るように、記憶手段（例えば、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）又はフロッピーディスクのような物理記憶媒体、等）を介して提供され得る。
[00150]特許請求の範囲が上で例示されたとおりの構成及び構成要素に限られないことは理解されるべきである。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、及び装置の配列、動作、及び詳細において、様々な修正、変更、及び変形がなされ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 電子デバイスであって、
シーンの画像を取り込むように構成されたカメラと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
前記画像及び前記空間座標を記憶するように構成されたメモリと、
ＬＩＤＡＲ（光＋レーダ）ユニットと、前記ＬＩＤＡＲユニットは、前記空間座標の少なくともサブセットに対応する深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するように構成された深度マッパーと
を備える電子デバイス。
［Ｃ２］ 前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１に記載の電子デバイス。
［Ｃ３］ 前記画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１に記載の電子デバイス。
［Ｃ４］ 前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ５］ 前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ１に記載の電子デバイス。
［Ｃ６］ 前記画像セグメンテーションマッパーは、前記空間座標を前記ＬＩＤＡＲユニットに供給するように及び前記画像の前記セグメントを前記深度マッパーに供給するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ７］ 前記深度マッパーは、前記セグメントを対応する深度値とマージすることで前記深度マップを生成するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ８］ 前記深度マッパーは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することで前記深度マップを生成するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ９］ 前記ＬＩＤＡＲユニットによって取得される前記深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１０］ 方法であって
シーンの画像を取り込むことと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットが、前記空間座標の少なくともサブセットに対応する深度値を取得することと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することと
を備える方法。
［Ｃ１１］ 前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１０に記載の方法。
［Ｃ１２］ 前記画像のセグメンテーションを実行することは、画像複雑性に基づいてセグメンテーションを実行することを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１０に記載の方法。
［Ｃ１３］ 前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、Ｃ１０に記載の方法。
［Ｃ１４］ 前記深度マップを生成することは、前記セグメントを対応する深度値とマージすることを備える、Ｃ１０に記載の方法。
［Ｃ１５］ 前記深度マップを生成することは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを備える、Ｃ１０に記載の方法。
［Ｃ１６］ 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを更に備える、Ｃ１０に記載の方法。
［Ｃ１７］ 装置であって、
シーンの画像を取り込むための手段と、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するための手段と、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットによって、前記空間座標の少なくともサブセットに対応する深度値を取得するための手段と、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するための手段と
を備える装置。
［Ｃ１８］ 前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ１７に記載の装置。
［Ｃ１９］ 前記画像のセグメンテーションを実行するための前記手段は、画像複雑性に基づいてセグメンテーションを実行するための手段を備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ１７に記載の装置。
［Ｃ２０］ 前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ１７に記載の装置。
［Ｃ２１］ 前記深度マップを生成するための前記手段は、前記セグメントを対応する深度値とマージするための手段を備える、Ｃ１７に記載の装置。
［Ｃ２２］ 前記深度マップを生成するための前記手段は、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加するための手段を備える、Ｃ１７に記載の装置。
［Ｃ２３］ 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節するための手段を更に備える、Ｃ１７に記載の装置。
［Ｃ２４］ 命令を有する非一時的な有形のコンピュータ読取可能な媒体を備えるコンピュータプログラム製品であって、前記命令は、
シーンの画像を取り込むことを電子デバイスに行わせるためのコードと、
複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるためのコードと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられている、
ＬＩＤＡＲユニットによって、前記空間座標の少なくともサブセットに対応する深度値を取得することを前記電子デバイスに行わせるためのコードと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することを前記電子デバイスに行わせるためのコードと
を備える、コンピュータプログラム製品。
［Ｃ２５］ 前記画像セグメントの少なくとも一部は、前記画像内のオブジェクトの境界を定義する不均一なセグメントを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２６］ 前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるための前記コードは、画像複雑性に基づいてセグメンテーションを実行することを前記電子デバイスに行わせるためのコードを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２７］ 前記セグメントの前記空間座標は、前記セグメントの重心に対応する、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２８］ 前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記セグメントを対応する深度値とマージすることを前記電子デバイスに行わせるためのコードを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ２９］ 前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを前記電子デバイスに行わせるためのコードを備える、Ｃ２４に記載のコンピュータプログラム製品。
［Ｃ３０］ 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを前記電子デバイスに行わせるためのコードを更に備える、Ｃ２４に記載のコンピュータプログラム製品。

Claims (26)

  1. 電子デバイスであって、
    シーンの画像を取り込むように構成されたカメラと、
    複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するように構成された画像セグメンテーションマッパーと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
    前記画像及び前記空間座標を記憶するように構成されたメモリと、
    ＬＩＤＡＲ（光＋レーダ）ユニットと、前記ＬＩＤＡＲユニットは、前記空間座標に対応する前記シーンの深度値を選択的に取得するように操向可能である、
    前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するように構成された深度マッパーと
    を備える電子デバイス。
  2. 前記画像セグメンテーションマッパーは、画像複雑性に基づいてセグメンテーションを実行するように構成され、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項１に記載の電子デバイス。
  3. 前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、請求項１に記載の電子デバイス。
  4. 各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項１に記載の電子デバイス。
  5. 前記画像セグメンテーションマッパーは、各画像セグメントについての前記サンプリングポイントを前記ＬＩＤＡＲユニットに供給するように及び前記画像の前記セグメントを前記深度マッパーに供給するように構成される、請求項１に記載の電子デバイス。
  6. 前記深度マッパーは、前記セグメントを対応する深度値とマージすることで前記深度マップを生成するように構成される、請求項１に記載の電子デバイス。
  7. 前記深度マッパーは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することで前記深度マップを生成するように構成される、請求項１に記載の電子デバイス。
  8. 前記ＬＩＤＡＲユニットによって取得される前記深度値の数は、前の深度マップからのフィードバックに基づいて調節されるように構成される、請求項１に記載の電子デバイス。
  9. 方法であって
    シーンの画像を取り込むことと、
    複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
    ＬＩＤＡＲユニットが、前記空間座標に対応する前記シーンの深度値を取得することと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
    前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することと
    を備える方法。
  10. 前記画像のセグメンテーションを実行することは、画像複雑性に基づいてセグメンテーションを実行することを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項９に記載の方法。
  11. 前記ＬＩＤＡＲユニットは、前記シーン内の実質的に均一なオブジェクトを含む前記シーンの領域にわたって粗スキャンを実行するように構成される、請求項９に記載の方法。
  12. 前記深度マップを生成することは、前記セグメントを対応する深度値とマージすることを備える、請求項９に記載の方法。
  13. 前記深度マップを生成することは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを備える、請求項９に記載の方法。
  14. 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを更に備える、請求項９に記載の方法。
  15. 装置であって、
    シーンの画像を取り込むための手段と、
    複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行するための手段と、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
    ＬＩＤＡＲユニットによって、前記空間座標に対応する前記シーンの深度値を取得するための手段と、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
    前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成するための手段と
    を備える装置。
  16. 前記画像のセグメンテーションを実行するための前記手段は、画像複雑性に基づいてセグメンテーションを実行するための手段を備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項１５に記載の装置。
  17. 各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項１５に記載の装置。
  18. 前記深度マップを生成するための前記手段は、前記セグメントを対応する深度値とマージするための手段を備える、請求項１５に記載の装置。
  19. 前記深度マップを生成するための前記手段は、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加するための手段を備える、請求項１５に記載の装置。
  20. 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節するための手段を更に備える、請求項１５に記載の装置。
  21. 命令を有する非一時的な有形のコンピュータ読取可能な媒体を備えるコンピュータプログラム製品であって、前記命令は、
    シーンの画像を取り込むことを電子デバイスに行わせるためのコードと、
    複数の画像セグメントを生成するために、画像コンテンツに基づいて前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるためのコードと、前記複数の画像セグメントの各々は、前記シーン内の各セグメントのロケーションを示す空間座標に関連付けられ、ここにおいて、前記画像セグメントの少なくとも一部は、前記画像コンテンツに基づいて、不規則なジオメトリ、サイズ、及び分布を有する不均一なセグメントを備え、ここにおいて、各画像セグメントの前記空間座標は、各画像セグメントについてのサンプリングポイントに対応する、
    ＬＩＤＡＲユニットによって、前記空間座標に対応する前記シーンの深度値を取得することを前記電子デバイスに行わせるためのコードと、ここにおいて、前記ＬＩＤＡＲユニットは、前記深度値を選択的に取得するように操向可能である、
    前記深度値と前記空間座標とに基づいて、前記シーンの深度マップを生成することを前記電子デバイスに行わせるためのコードと
    を備える、コンピュータプログラム製品。
  22. 前記画像のセグメンテーションを実行することを前記電子デバイスに行わせるための前記コードは、画像複雑性に基づいてセグメンテーションを実行することを前記電子デバイスに行わせるためのコードを備え、生成されるセグメントの量は、決定された前記画像の複雑性の関数である、請求項２１に記載のコンピュータプログラム製品。
  23. 各画像セグメントについての前記サンプリングポイントは、前記セグメントの重心に対応する、請求項２１に記載のコンピュータプログラム製品。
  24. 前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記セグメントを対応する深度値とマージすることを前記電子デバイスに行わせるためのコードを備える、請求項２１に記載のコンピュータプログラム製品。
  25. 前記深度マップを生成することを前記電子デバイスに行わせるための前記コードは、前記空間座標において前記ＬＩＤＡＲユニットによって取得された対応する深度値を各セグメントに追加することを前記電子デバイスに行わせるためのコードを備える、請求項２１に記載のコンピュータプログラム製品。
  26. 前の深度マップからのフィードバックに基づいて、前記ＬＩＤＡＲユニットによって取得される前記深度値の数を調節することを前記電子デバイスに行わせるためのコードを更に備える、請求項２１に記載のコンピュータプログラム製品。
JP2018510076A 2015-08-24 2016-07-11 レーザ深度マップサンプリングのためのシステム及び方法 Active JP6571274B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/833,573 2015-08-24
US14/833,573 US10282591B2 (en) 2015-08-24 2015-08-24 Systems and methods for depth map sampling
PCT/US2016/041782 WO2017034689A1 (en) 2015-08-24 2016-07-11 System and method for laser depth map sampling

Publications (3)

Publication Number Publication Date
JP2018526641A JP2018526641A (ja) 2018-09-13
JP2018526641A5 JP2018526641A5 (ja) 2019-07-18
JP6571274B2 true JP6571274B2 (ja) 2019-09-04

Family

ID=56497905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018510076A Active JP6571274B2 (ja) 2015-08-24 2016-07-11 レーザ深度マップサンプリングのためのシステム及び方法

Country Status (8)

Country Link
US (3) US10282591B2 (ja)
EP (1) EP3317691B1 (ja)
JP (1) JP6571274B2 (ja)
KR (1) KR102032070B1 (ja)
CN (2) CN108419446B (ja)
BR (1) BR112018003305A2 (ja)
CA (1) CA2993616A1 (ja)
WO (1) WO2017034689A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CA3085049C (en) 2015-11-24 2023-08-15 Drone Go Home, LLC Drone defense system
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10754015B2 (en) 2016-02-18 2020-08-25 Aeye, Inc. Adaptive ladar receiver
EP3545337A1 (en) * 2017-01-26 2019-10-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10209349B2 (en) 2017-02-17 2019-02-19 Aeye, Inc. Method and system for ladar pulse deconfliction to detect and track other ladar systems
CN107466404B (zh) * 2017-05-11 2023-01-31 达闼机器人股份有限公司 物品搜索方法、装置及机器人
EP3438777B1 (en) * 2017-08-04 2022-05-11 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10447973B2 (en) * 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
JP6689006B2 (ja) 2017-08-25 2020-04-28 ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド 車両の環境情報を検出するための方法およびシステム
US10495757B2 (en) 2017-09-15 2019-12-03 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
US11745727B2 (en) * 2018-01-08 2023-09-05 STEER-Tech, LLC Methods and systems for mapping a parking area for autonomous parking
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN111133447B (zh) 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
WO2019168869A1 (en) 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
US10776983B2 (en) 2018-02-27 2020-09-15 Nvidia Corporation Analysis of point cloud data using depth and texture maps
US10628920B2 (en) 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11353587B2 (en) * 2018-03-26 2022-06-07 Facebook Technologies, Llc Lidar depth measurement systems and methods
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
AU2019339418A1 (en) 2018-09-13 2021-05-13 Tusimple, Inc. Remote safe driving methods and systems
JP2022502647A (ja) * 2018-09-26 2022-01-11 エージーシー グラス ユーロップAgc Glass Europe 検出装置用の光学カバー
KR102086663B1 (ko) * 2018-09-28 2020-03-09 에스케이텔레콤 주식회사 영상생성장치 및 영상생성장치의 동작 방법
US10699430B2 (en) 2018-10-09 2020-06-30 Industrial Technology Research Institute Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof
CN110160502B (zh) * 2018-10-12 2022-04-01 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
US10656252B1 (en) 2018-10-25 2020-05-19 Aeye, Inc. Adaptive control of Ladar systems using spatial index of prior Ladar return data
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CA3028223C (en) 2018-11-16 2021-02-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
US10716177B2 (en) * 2018-12-13 2020-07-14 Zebra Technologies Corporation Method and apparatus for control of mobile automation apparatus light emitters
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
CN111316119A (zh) * 2018-12-28 2020-06-19 深圳市大疆创新科技有限公司 雷达仿真方法及装置
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
DE112019006468T5 (de) * 2018-12-28 2021-10-14 Nvidia Corporation Erkennung des abstands zu hindernissen bei anwendungen mit autonomen maschinen
US11648945B2 (en) 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN111815696B (zh) * 2019-04-11 2023-08-22 曜科智能科技（上海）有限公司 基于语义实例分割的深度图优化方法、装置、设备和介质
US11513223B2 (en) 2019-04-24 2022-11-29 Aeye, Inc. Ladar system and method with cross-receiver
US11620752B2 (en) * 2019-06-03 2023-04-04 Technion Research & Development Foundation Limited Image-guided depth sampling and reconstruction
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
DE112020004139T5 (de) 2019-08-31 2022-05-12 Nvidia Corporation Erstellung von karten und lokalisierung für anwendungen im bereich des autonomen fahrens
CN110727748B (zh) * 2019-09-17 2021-08-24 禾多科技（北京）有限公司 小体量高精度定位图层的构建、编译及读取方法
JP7348300B2 (ja) * 2019-09-30 2023-09-20 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JP7311617B2 (ja) * 2019-09-30 2023-07-19 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
US20210132213A1 (en) * 2019-10-31 2021-05-06 Samsung Electronics Co., Ltd. Apparatus and methods for multi-sensor slam systems
US11260752B2 (en) * 2019-12-27 2022-03-01 Kawasaki Jukogyo Kabushiki Kaisha Instrument panel for leisure vehicle
WO2021134325A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 基于无人驾驶技术的障碍物检测方法、装置和计算机设备
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111429386B (zh) * 2020-06-11 2020-09-25 北京云迹科技有限公司 图像处理方法、装置和电子设备
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111735479B (zh) * 2020-08-28 2021-03-23 中国计量大学 一种多传感器联合标定装置及方法
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
KR20220075476A (ko) * 2020-11-30 2022-06-08 한국전자기술연구원 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11486977B2 (en) 2021-03-26 2022-11-01 Aeye, Inc. Hyper temporal lidar with pulse burst scheduling
US11686845B2 (en) 2021-03-26 2023-06-27 Aeye, Inc. Hyper temporal lidar with controllable detection intervals based on regions of interest
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
US11460552B1 (en) 2021-03-26 2022-10-04 Aeye, Inc. Hyper temporal lidar with dynamic control of variable energy laser source
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
KR20230084978A (ko) * 2021-12-06 2023-06-13 삼성전자주식회사 라이다 장치를 포함하는 전자 장치 및 이의 동작 방법
WO2023152422A1 (en) * 2022-02-11 2023-08-17 Teknologian Tutkimuskeskus Vtt Oy Light-emitting device

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US7321669B2 (en) * 2003-07-10 2008-01-22 Sarnoff Corporation Method and apparatus for refining target position and size estimates using image and depth data
US8042056B2 (en) * 2004-03-16 2011-10-18 Leica Geosystems Ag Browsers for large geometric data visualization
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム
CN101943847A (zh) * 2010-08-31 2011-01-12 福建网讯科技有限公司 一种单投影宽屏投影方法
KR101030763B1 (ko) 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US8447549B2 (en) * 2011-02-11 2013-05-21 Quality Vision International, Inc. Tolerance evaluation with reduced measured points
EP2511781A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH System und Verfahren zur Steuerung eines unbemannten Fluggeräts
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
US8873835B2 (en) * 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
CN102490868B (zh) * 2011-12-02 2015-05-13 大连海事大学 航标防碰撞雷达装置
US8824733B2 (en) * 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US9207070B2 (en) 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
CN102761768A (zh) * 2012-06-28 2012-10-31 中兴通讯股份有限公司 一种实现立体成像的方法及装置
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN103795961A (zh) * 2012-10-30 2014-05-14 三亚中兴软件有限责任公司 会议电视网真系统及其图像处理方法
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
KR101370785B1 (ko) * 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
US20140132723A1 (en) 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
CN103198473B (zh) * 2013-03-05 2016-02-24 腾讯科技（深圳）有限公司 一种深度图生成方法及装置
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
US20150116458A1 (en) * 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9664784B2 (en) * 2013-12-04 2017-05-30 Trimble Inc. System and methods for data point detection and spatial modeling
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
WO2015097824A1 (ja) * 2013-12-26 2015-07-02 株式会社日立製作所 物体認識装置
CN103955886A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于图论和灭点检测的2d-3d图像转换方法
EP3265885A4 (en) * 2015-03-03 2018-08-29 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
CN104820981B (zh) * 2015-04-22 2017-10-31 上海交通大学 一种基于视差分层分割的图像立体表示方法及系统
US9729782B2 (en) * 2015-06-05 2017-08-08 Digital Signal Corporation System and method for intelligent camera control
US9589327B2 (en) * 2015-06-10 2017-03-07 Samsung Electronics Co., Ltd. Apparatus and method for noise reduction in depth images during object segmentation
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling

Also Published As

Publication number Publication date
CN108419446B (zh) 2022-03-25
WO2017034689A1 (en) 2017-03-02
KR20180044279A (ko) 2018-05-02
EP3317691A1 (en) 2018-05-09
US20170061632A1 (en) 2017-03-02
KR102032070B1 (ko) 2019-10-14
US20210279444A1 (en) 2021-09-09
CN108419446A (zh) 2018-08-17
US10282591B2 (en) 2019-05-07
EP3317691B1 (en) 2021-11-10
BR112018003305A2 (pt) 2018-09-18
CA2993616A1 (en) 2017-03-02
CN114637023A (zh) 2022-06-17
US20190220650A1 (en) 2019-07-18
US11042723B2 (en) 2021-06-22
JP2018526641A (ja) 2018-09-13
US11915502B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
JP6571274B2 (ja) レーザ深度マップサンプリングのためのシステム及び方法
CN112567201B (zh) 距离测量方法以及设备
US20220309687A1 (en) Object Tracking By An Unmanned Aerial Vehicle Using Visual Sensors
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
US10341633B2 (en) Systems and methods for correcting erroneous depth information
JP6794436B2 (ja) 非障害物エリア検出のためのシステムおよび方法
CN108140235B (zh) 用于产生图像视觉显示的系统和方法
JP2022515591A (ja) ターゲットオブジェクトの３ｄ検出方法、装置、媒体及び機器
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
US11092690B1 (en) Predicting lidar data using machine learning
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
TWI726278B (zh) 行車偵測方法、車輛及行車處理裝置
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN114815851A (zh) 机器人跟随方法、装置、电子设备以及存储介质
CN111833443A (zh) 自主机器应用中的地标位置重建
CN113516013B (zh) 目标检测方法、装置、电子设备、路侧设备和云控平台
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
WO2022160101A1 (zh) 朝向估计方法、装置、可移动平台及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190612

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190612

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190807

R150 Certificate of patent or registration of utility model

Ref document number: 6571274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250