JPWO2017169782A1 - 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 - Google Patents
距離画像処理装置、距離画像取得装置、及び距離画像処理方法 Download PDFInfo
- Publication number
- JPWO2017169782A1 JPWO2017169782A1 JP2018508994A JP2018508994A JPWO2017169782A1 JP WO2017169782 A1 JPWO2017169782 A1 JP WO2017169782A1 JP 2018508994 A JP2018508994 A JP 2018508994A JP 2018508994 A JP2018508994 A JP 2018508994A JP WO2017169782 A1 JPWO2017169782 A1 JP WO2017169782A1
- Authority
- JP
- Japan
- Prior art keywords
- distance
- pixel
- value
- unit
- distance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 128
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000009499 grossing Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 24
- 238000004891 communication Methods 0.000 description 16
- 238000002366 time-of-flight method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
- G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
図1は、第1の実施形態における距離画像取得装置及び距離画像処理装置を含むシステムの構成例を示すブロック図である。
図6は、第2の実施形態における距離画像取得装置の構成例を示すブロック図である。尚、図1に示した第1の実施形態の構成例と同じ構成要素には、同じ符号を付してあり、詳細な説明を省略する。
第1の判別部52及び第2の判別部54による判別の変形例について、説明する。
第1の判別部52の判別用閾値を可変としてよい。つまり、距離画像の注目画素が異常画素であるか否かを判別するための閾値(以下「異常画素判別用閾値」という)を可変とする。
第2の判別部54の判別用閾値を可変としてよい。つまり、異常画素に対してクリップ処理を行うか否かを判別するための閾値(以下「処理判別用閾値」という)を可変とする。言い換えると、第2の判別部54は、第1の異常画素であるか否かの判別に用いる閾値を切り換える。
12 発光部
14 レンズ
15 絞り
16 光学系
18 撮像素子
20 撮像部
22 クライアント通信部
24 クライアント記憶部
32 表示部
34 指示入力部
36 媒体インターフェース
40 クライアント制御部
42 距離画像生成部
52 第1の判別部
54 第2の判別部
56 クリップ処理部
58 ノイズ処理部
60 表示制御部
100 距離画像処理装置
122 サーバ通信部
124 サーバ記憶部
140 サーバ制御部
222 通信部
224 記憶部
240 制御部
300 データベース
Pi 注目画素
Ps1、Ps2、Ps3、Ps4、Ps5、Ps6、Ps7、Ps8 周辺画素
W 注目ウィンドウ
Claims (15)
- 発光から受光までの光飛行時間に対応した距離値を持つ複数の画素によって構成された距離画像を入力する距離画像入力部と、
前記複数の画素のうち一定の距離範囲を超えた距離値を持つ画素を異常画素と判別する第1の判別部と、
前記第1の判別部により判別された前記異常画素を、更に連続している第1の異常画素と連続していない第2の異常画素とに判別する第2の判別部と、
前記第1の異常画素の距離値を一定値に変更するクリップ処理部と、
を備える距離画像処理装置。 - 前記一定値は、前記一定の距離範囲の上限値であり、
前記クリップ処理部は、前記第1の異常画素の距離値を前記距離範囲の上限値に変更する、
請求項1に記載の距離画像処理装置。 - 前記第2の異常画素の距離値を前記第2の異常画素の周辺にある画素の距離値に基づいて変更するノイズ処理部を備える、
請求項1または2に記載の距離画像処理装置。 - 前記第2の判別部は、前記第1の判別部により判別された各前記異常画素を基準とした一定サイズの領域内の前記異常画素の画素数に基づいて、前記第1の異常画素であるか否かの判別を行う、
請求項1から3のうちいずれか一項に記載の距離画像処理装置。 - 前記第2の判別部は、前記距離範囲の上限値に応じて、前記第1の異常画素であるか否かの判別に用いる閾値を切り換える、
請求項1から4のうちいずれか一項に記載の距離画像処理装置。 - 前記第2の判別部は、前記距離画像を取得した際の撮像感度に応じて、前記第1の異常画素であるか否かの判別に用いる閾値を切り換える、
請求項1から4のうちいずれか一項に記載の距離画像処理装置。 - 前記一定値の設定入力を受け付ける設定入力部を備える、
請求項1から6のうちいずれか一項に記載の距離画像処理装置。 - 前記ノイズ処理部は、平滑化フィルタ、又はメディアンフィルタを用いてノイズ処理を行う、
請求項3に記載の距離画像処理装置。 - 前記距離画像の前記複数の画素をそれぞれの前記距離値に応じた色で表示デバイスに表示させる表示制御部を備える、
請求項1から8のうちいずれか一項に記載の距離画像処理装置。 - 光を発光する発光部と、
複数の受光素子が配列された受光面を有する撮像部と、
前記発光部から発光されて測距領域で反射された光を前記撮像部の前記受光面に導く光学系と、
前記撮像部の撮像結果に基づいて、前記発光部の発光から前記撮像部の前記受光面までの光飛行時間に対応した距離値を持つ複数の画素によって構成された距離画像を生成する
距離画像生成部と、
前記複数の画素のうち一定の距離範囲を超えた距離値を持つ画素を異常画素と判別する第1の判別部と、
前記第1の判別部により判別された前記異常画素を、更に連続している第1の異常画素と連続していない第2の異常画素とに判別する第2の判別部と、
前記第1の異常画素の距離値を一定値に変更するクリップ処理部と、
を備える距離画像取得装置。 - 前記一定値は、前記一定の距離範囲の上限値である、
請求項10に記載の距離画像取得装置。 - 前記第2の異常画素の距離値を前記第2の異常画素の周辺にある画素の距離値に基づいて変更するノイズ処理部を備える、
請求項10または11に記載の距離画像取得装置。 - 発光から受光までの光飛行時間に対応した距離値を持つ複数の画素によって構成された距離画像を入力するステップと、
前記複数の画素のうち一定の距離範囲を超えた距離値を持つ画素を異常画素と判別するステップと、
前記判別された前記異常画素を、更に連続している第1の異常画素と連続していない第2の異常画素とに判別するステップと、
前記第1の異常画素の距離値を一定値に変更するステップと、
を含む距離画像処理方法。 - 前記一定値は、前記一定の距離範囲の上限値である、
請求項13に記載の距離画像処理方法。 - 前記第2の異常画素の距離値を前記第2の異常画素の周辺にある画素の距離値に基づいて変更するステップを含む、
請求項13または14に記載の距離画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071923 | 2016-03-31 | ||
JP2016071923 | 2016-03-31 | ||
PCT/JP2017/010386 WO2017169782A1 (ja) | 2016-03-31 | 2017-03-15 | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017169782A1 true JPWO2017169782A1 (ja) | 2019-02-14 |
JP6630432B2 JP6630432B2 (ja) | 2020-01-15 |
Family
ID=59965433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508994A Active JP6630432B2 (ja) | 2016-03-31 | 2017-03-15 | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190026911A1 (ja) |
JP (1) | JP6630432B2 (ja) |
CN (1) | CN108885265A (ja) |
WO (1) | WO2017169782A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020193957A (ja) * | 2019-05-30 | 2020-12-03 | ファナック株式会社 | 測距異常を補正する距離画像生成装置 |
CN113994235A (zh) | 2019-06-20 | 2022-01-28 | 新唐科技日本株式会社 | 测距摄像装置 |
WO2021056348A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 点云探测系统的信号处理方法和点云探测系统 |
CN112824933A (zh) * | 2019-11-19 | 2021-05-21 | 北京小米移动软件有限公司 | 测距方法、测距装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277239A (ja) * | 2001-03-19 | 2002-09-25 | Matsushita Electric Works Ltd | 距離測定装置 |
JP2007240275A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
JP2011016421A (ja) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法 |
US20120134598A1 (en) * | 2010-11-26 | 2012-05-31 | Samsung Electronics Co., Ltd. | Depth Sensor, Method Of Reducing Noise In The Same, And Signal Processing System Including The Same |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04291127A (ja) * | 1991-03-20 | 1992-10-15 | Hitachi Ltd | 画像処理型状態監視装置の異常判定面積表示方法 |
JPH05135181A (ja) * | 1991-11-08 | 1993-06-01 | Mitsubishi Electric Corp | 異常検出装置 |
JP2010193178A (ja) * | 2009-02-18 | 2010-09-02 | Olympus Corp | 画像処理装置及び方法並びにプログラム |
KR101722641B1 (ko) * | 2010-12-23 | 2017-04-04 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 |
WO2012175731A1 (en) * | 2011-06-24 | 2012-12-27 | Softkinetic Software | Depth measurement quality enhancement |
EP2793457B1 (en) * | 2011-12-13 | 2019-05-08 | Sony Corporation | Image processing device, image processing method, and recording medium |
JP5791155B2 (ja) * | 2012-04-23 | 2015-10-07 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、画像形成装置及びインクジェット記録装置 |
JP2014053783A (ja) * | 2012-09-07 | 2014-03-20 | Nikon Corp | 画像処理装置および撮像装置 |
JP5540217B2 (ja) * | 2012-09-19 | 2014-07-02 | オプテックス株式会社 | レーザースキャンセンサ |
KR101977711B1 (ko) * | 2012-10-12 | 2019-05-13 | 삼성전자주식회사 | 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템 |
JP6367827B2 (ja) * | 2012-12-28 | 2018-08-01 | ノキア テクノロジーズ オサケユイチア | 距離センサ・カメラからのデータをノイズ除去する方法および装置 |
WO2014136570A1 (ja) * | 2013-03-05 | 2014-09-12 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
KR102136850B1 (ko) * | 2013-11-12 | 2020-07-22 | 삼성전자 주식회사 | 깊이 센서, 및 이의 동작 방법 |
KR102198852B1 (ko) * | 2014-03-24 | 2021-01-05 | 삼성전자 주식회사 | 홍채 인식 장치 및 이를 포함하는 모바일 장치 |
JP6342360B2 (ja) * | 2014-04-17 | 2018-06-13 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
JP6507529B2 (ja) * | 2014-08-29 | 2019-05-08 | 株式会社デンソー | 光飛行型測距装置 |
JP2020022135A (ja) * | 2018-08-03 | 2020-02-06 | オリンパス株式会社 | 欠陥画素補正装置、撮像装置、欠陥画素補正方法 |
-
2017
- 2017-03-15 JP JP2018508994A patent/JP6630432B2/ja active Active
- 2017-03-15 CN CN201780019927.1A patent/CN108885265A/zh not_active Withdrawn
- 2017-03-15 WO PCT/JP2017/010386 patent/WO2017169782A1/ja active Application Filing
-
2018
- 2018-09-21 US US16/138,026 patent/US20190026911A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277239A (ja) * | 2001-03-19 | 2002-09-25 | Matsushita Electric Works Ltd | 距離測定装置 |
JP2007240275A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
JP2011016421A (ja) * | 2009-07-08 | 2011-01-27 | Higashi Nippon Transportec Kk | 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法 |
US20120134598A1 (en) * | 2010-11-26 | 2012-05-31 | Samsung Electronics Co., Ltd. | Depth Sensor, Method Of Reducing Noise In The Same, And Signal Processing System Including The Same |
Also Published As
Publication number | Publication date |
---|---|
CN108885265A (zh) | 2018-11-23 |
US20190026911A1 (en) | 2019-01-24 |
WO2017169782A1 (ja) | 2017-10-05 |
JP6630432B2 (ja) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10085002B2 (en) | RGB-IR sensor, and method and apparatus for obtaining 3D image by using same | |
JP6630432B2 (ja) | 距離画像処理装置、距離画像取得装置、及び距離画像処理方法 | |
JP6555811B2 (ja) | 顕微鏡システム、特定方法、及び、プログラム | |
US11151733B2 (en) | Detection device, information processing device, detection method, storage medium, and detection system | |
US20180184071A1 (en) | Photographing device and method for obtaining depth information | |
KR20160073866A (ko) | 홍채 인식 장치, 이를 포함하는 홍채 인식 시스템 및 상기 홍채 인식 시스템의 동작 방법 | |
US10931933B2 (en) | Calibration guidance system and operation method of a calibration guidance system | |
EP3343899A1 (en) | Auto focus method and electronic device for performing the same | |
US20220256092A1 (en) | Information processing apparatus, information processing method, and program | |
JP2015173891A (ja) | 測定装置、画像表示装置、及びその制御方法 | |
US9521397B2 (en) | System and method for selecting a two-dimensional region of interest using a range sensor | |
EP2993645B1 (en) | Image processing program, information processing system, information processing apparatus, and image processing method | |
US8655024B2 (en) | Displacement detection device and displacement detection method thereof | |
US20180203116A1 (en) | Distance measurement device, distance measurement method, and distance measurement program | |
US20220294990A1 (en) | Information processing device, imaging device, information processing method, and program | |
JP5251841B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6368593B2 (ja) | 画像処理プログラム、情報処理システム、画像処理方法 | |
JP6482589B2 (ja) | カメラ校正装置 | |
US20130162601A1 (en) | Optical touch system | |
CN110892449A (zh) | 图像处理方法及装置、移动设备 | |
JP6423261B2 (ja) | 顕微鏡システム、関数算出方法、及び、プログラム | |
KR102526113B1 (ko) | 혼잡도 시각화 장치 및 방법 | |
JP6386837B2 (ja) | 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法 | |
CN113701891B (zh) | 温漂抑制模型的构建方法、图像处理方法、装置及设备 | |
WO2021117444A1 (ja) | 情報処理装置、範囲決定方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6630432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |