RU2012145349A - Способ и устройство обработки изображений для устранения артефактов глубины - Google Patents
Способ и устройство обработки изображений для устранения артефактов глубины Download PDFInfo
- Publication number
- RU2012145349A RU2012145349A RU2012145349/08A RU2012145349A RU2012145349A RU 2012145349 A RU2012145349 A RU 2012145349A RU 2012145349/08 A RU2012145349/08 A RU 2012145349/08A RU 2012145349 A RU2012145349 A RU 2012145349A RU 2012145349 A RU2012145349 A RU 2012145349A
- Authority
- RU
- Russia
- Prior art keywords
- image
- depth
- resolution
- pixel
- pixels
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
1. Способ, содержащий этапы, на которых:идентифицируют один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; иприменяют метод сверхразрешения с использованием второго изображения, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;при этом применение метода сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины;при этом этапы идентификации и применения осуществляют в, по меньшей мере, одном обрабатывающем устройстве, содержащем процессор, соединенный с памятью.2. Способ по п.1, в котором первое изображение содержит изображение глубины, и третье изображение содержит изображение глубины, соответствующее, в общем, первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины.3. Способ по п.1, дополнительно содержащий этап, на котором:применяют дополнительный метод сверхразрешения с использованием четвертого изображения;при этом применение дополнительного метода сверхразрешения вырабатывает пятое изображение, имеющее увеличенное пространственное разрешение относительно третьего изображения.4. Способ по п.3, в котором первое изображение содержит изображение глубины, и пятое изображение содержит изображение глубины, в общем, соответствующее первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины и увеличенным разрешением.5. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:помечают, по меньше�
Claims (24)
1. Способ, содержащий этапы, на которых:
идентифицируют один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; и
применяют метод сверхразрешения с использованием второго изображения, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;
при этом применение метода сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины;
при этом этапы идентификации и применения осуществляют в, по меньшей мере, одном обрабатывающем устройстве, содержащем процессор, соединенный с памятью.
2. Способ по п.1, в котором первое изображение содержит изображение глубины, и третье изображение содержит изображение глубины, соответствующее, в общем, первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины.
3. Способ по п.1, дополнительно содержащий этап, на котором:
применяют дополнительный метод сверхразрешения с использованием четвертого изображения;
при этом применение дополнительного метода сверхразрешения вырабатывает пятое изображение, имеющее увеличенное пространственное разрешение относительно третьего изображения.
4. Способ по п.3, в котором первое изображение содержит изображение глубины, и пятое изображение содержит изображение глубины, в общем, соответствующее первому изображению, но с, по существу, устраненным упомянутым, по меньшей мере, одним артефактом глубины и увеличенным разрешением.
5. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:
помечают, по меньшей мере, поднабор потенциально дефектных пикселей; и
удаляют помеченные потенциально дефектные пиксели из первого изображения до применения метода сверхразрешения.
6. Способ по п.1, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и второе изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, такое же, как первое разрешение, из другого источника изображений, отличного от первого источника изображений.
7. Способ по п.3, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и четвертое изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, большее, чем первое разрешение, из другого источника изображений, отличного от первого источника изображений.
8. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этап, на котором обнаруживают пиксели первого изображения, имеющего значения глубины, установленные на соответствующие предварительно определенные значения ошибки посредством связанного модуля формирования изображений глубины.
9. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этап, на котором обнаруживают область смежных пикселей, имеющих соответствующие неожиданные значения глубины, которые отличаются, по существу, от значений глубины пикселей вне этой области.
10. Способ по п.9, в котором область смежных пикселей, имеющих соответствующие неожиданные значения глубины, определяют так, чтобы удовлетворять следующему неравенству со ссылкой на периферийную границу области:
|статистика{di: пиксель i находится в области} - статистика{dj: пиксель j находится на границе}|>dT,
где dT является пороговым значением, и статистика обозначает одно из среднего, медианы и метрики расстояния.
11. Способ по п.1, в котором идентификация одного или более потенциально дефектных пикселей содержит этапы, на которых:
идентифицируют конкретный один из пикселей;
идентифицируют окрестность пикселей для упомянутого конкретного пикселя; и
идентифицируют упомянутый конкретный пиксель в качестве потенциально дефектного пикселя на основе значения глубины упомянутого конкретного пикселя и, по меньшей мере, одного из среднего и стандартного отклонения значений глубины соответствующих пикселей в упомянутой окрестности пикселей.
12. Способ по п.11, в котором идентификация окрестности пикселей для конкретного пикселя содержит этап, на котором идентифицируют набор Sp из n соседей конкретного пикселя p:
где каждый из n соседей удовлетворяет неравенству:
13. Способ по п.11, в котором идентификация конкретного пикселя в качестве потенциально дефектного пикселя содержит этап, на котором идентифицируют конкретный пиксель в качестве потенциально дефектного пикселя, если удовлетворяется следующее неравенство:
где zp является значением глубины конкретного пикселя, m и σ являются средним и стандартным отклонением, соответственно, значений глубины соответствующих пикселей в окрестности пикселей, и k является множителем, определяющим степень доверия.
14. Способ по п.1, в котором применение метода сверхразрешения содержит этап, на котором применяют метод сверхразрешения, который основывается, по меньшей мере, частично на модели марковского случайного поля.
15. Способ по п.3, в котором применение дополнительного метода сверхразрешения содержит этап, на котором применяют метод сверхразрешения, который основывается, по меньшей мере, частично на билатеральных фильтрах.
16. Компьютерно-читаемый запоминающий носитель, содержащий компьютерный программный код, осуществленный на нем, при этом компьютерный программный код, при исполнении в обрабатывающем устройстве, предписывает обрабатывающему устройству выполнять способ по п.1.
17. Устройство, содержащее:
по меньшей мере, одно обрабатывающее устройство, содержащее процессор, соединенный с памятью;
при этом упомянутое, по меньшей мере, одно обрабатывающее устройство содержит:
модуль идентификации пикселей, сконфигурированный, чтобы идентифицировать один или более потенциально дефектных пикселей, связанных с, по меньшей мере, одним артефактом глубины в первом изображении; и
модуль сверхразрешения, сконфигурированный, чтобы использовать второе изображение, чтобы восстанавливать информацию глубины упомянутого одного или более потенциально дефектных пикселей;
при этом модуль сверхразрешения вырабатывает третье изображение, имеющее восстановленную информацию глубины.
18. Устройство по п.17, в котором модуль сверхразрешения дополнительно сконфигурирован, чтобы обрабатывать третье изображение с использованием четвертого изображения для вырабатывания пятого изображения, имеющего увеличенное пространственное разрешение относительно третьего изображения.
19. Устройство по п.17, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и второе изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, такое же, как первое разрешение, из другого источника изображений, отличного от первого источника изображений.
20. Устройство по п.19, в котором первый источник изображений содержит источник трехмерных изображений, включающий в себя одно из использующей структурированный свет камеры и использующей время пролета камеры.
21. Устройство по п.19, в котором второй источник изображений содержит источник двумерных изображений, сконфигурированный, чтобы генерировать второе изображение как одно из инфракрасного изображения, полутонового изображения и цветного изображения.
22. Устройство по п.18, в котором первое изображение содержит изображение глубины первого разрешения из первого источника изображений, и четвертое изображение содержит двумерное изображение, по существу, той же сцены, и имеющее разрешение, по существу, большее, чем первое разрешение, из другого источника изображений, отличного от первого источника изображений.
23. Система обработки изображений, содержащая устройство по п.17.
24. Система обнаружения жестов, содержащая систему обработки изображений по п.23.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012145349/08A RU2012145349A (ru) | 2012-10-24 | 2012-10-24 | Способ и устройство обработки изображений для устранения артефактов глубины |
PCT/US2013/041507 WO2014065887A1 (en) | 2012-10-24 | 2013-05-17 | Image processing method and apparatus for elimination of depth artifacts |
JP2015539579A JP2016502704A (ja) | 2012-10-24 | 2013-05-17 | 奥行きアーチファクトを除去するための画像処理方法および装置 |
CA2844705A CA2844705A1 (en) | 2012-10-24 | 2013-05-17 | Image processing method and apparatus for elimination of depth artifacts |
KR1020157010645A KR20150079638A (ko) | 2012-10-24 | 2013-05-17 | 깊이 아티팩트를 제거하는 이미지 프로세싱 방법 및 장치 |
US14/232,143 US20140240467A1 (en) | 2012-10-24 | 2013-05-17 | Image processing method and apparatus for elimination of depth artifacts |
CN201380003572.9A CN104025567A (zh) | 2012-10-24 | 2013-05-17 | 用于消除深度伪影的图像处理方法和装置 |
TW102119625A TW201421419A (zh) | 2012-10-24 | 2013-06-03 | 用於深度假影之消除之影像處理方法及設備 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012145349/08A RU2012145349A (ru) | 2012-10-24 | 2012-10-24 | Способ и устройство обработки изображений для устранения артефактов глубины |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2012145349A true RU2012145349A (ru) | 2014-05-10 |
Family
ID=50545069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012145349/08A RU2012145349A (ru) | 2012-10-24 | 2012-10-24 | Способ и устройство обработки изображений для устранения артефактов глубины |
Country Status (8)
Country | Link |
---|---|
US (1) | US20140240467A1 (ru) |
JP (1) | JP2016502704A (ru) |
KR (1) | KR20150079638A (ru) |
CN (1) | CN104025567A (ru) |
CA (1) | CA2844705A1 (ru) |
RU (1) | RU2012145349A (ru) |
TW (1) | TW201421419A (ru) |
WO (1) | WO2014065887A1 (ru) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9483830B2 (en) * | 2013-07-22 | 2016-11-01 | Stmicroelectronics S.R.L. | Depth map generation method, related system and computer program product |
US20150309663A1 (en) * | 2014-04-28 | 2015-10-29 | Qualcomm Incorporated | Flexible air and surface multi-touch detection in mobile platform |
KR20170104506A (ko) * | 2015-01-06 | 2017-09-15 | 페이스북, 인크. | 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템 |
US9696470B2 (en) | 2015-03-04 | 2017-07-04 | Microsoft Technology Licensing, Llc | Sensing images and light sources via visible light filters |
LU92688B1 (en) | 2015-04-01 | 2016-10-03 | Iee Int Electronics & Eng Sa | Method and system for real-time motion artifact handling and noise removal for tof sensor images |
KR101892168B1 (ko) * | 2015-05-13 | 2018-08-27 | 페이스북, 인크. | 반사도 맵 표현을 이용한 깊이 맵 표현의 증강 |
BR112017024765A2 (pt) * | 2015-05-21 | 2018-07-31 | Koninklijke Philips N.V. | aparelho para determinar um mapa de profundidade para uma imagem, método para determinar um mapa de profundidade para uma imagem, e produto de programa de computador |
CN105139401A (zh) * | 2015-08-31 | 2015-12-09 | 山东中金融仕文化科技股份有限公司 | 一种深度图中深度的可信度的评估方法 |
US10341633B2 (en) * | 2015-11-20 | 2019-07-02 | Qualcomm Incorporated | Systems and methods for correcting erroneous depth information |
US9886534B2 (en) * | 2016-02-03 | 2018-02-06 | Varian Medical Systems, Inc. | System and method for collision avoidance in medical systems |
US10015372B2 (en) * | 2016-10-26 | 2018-07-03 | Capsovision Inc | De-ghosting of images captured using a capsule camera |
US10451714B2 (en) | 2016-12-06 | 2019-10-22 | Sony Corporation | Optical micromesh for computerized devices |
US10536684B2 (en) | 2016-12-07 | 2020-01-14 | Sony Corporation | Color noise reduction in 3D depth map |
CN106780649B (zh) * | 2016-12-16 | 2020-04-07 | 上海联影医疗科技有限公司 | 图像的伪影去除方法和装置 |
US10178370B2 (en) | 2016-12-19 | 2019-01-08 | Sony Corporation | Using multiple cameras to stitch a consolidated 3D depth map |
US10181089B2 (en) | 2016-12-19 | 2019-01-15 | Sony Corporation | Using pattern recognition to reduce noise in a 3D map |
US10495735B2 (en) | 2017-02-14 | 2019-12-03 | Sony Corporation | Using micro mirrors to improve the field of view of a 3D depth map |
US10795022B2 (en) * | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
US10979687B2 (en) | 2017-04-03 | 2021-04-13 | Sony Corporation | Using super imposition to render a 3D depth map |
US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
JP7450163B2 (ja) * | 2018-09-18 | 2024-03-15 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
KR102614494B1 (ko) | 2019-02-01 | 2023-12-15 | 엘지전자 주식회사 | 비동일 카메라 기반 영상 처리 장치 |
CN112312113B (zh) * | 2020-10-29 | 2022-07-15 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和系统 |
CN113205518B (zh) * | 2021-07-05 | 2021-09-07 | 雅安市人民医院 | 医疗车图像信息处理方法及装置 |
WO2023050422A1 (en) * | 2021-09-30 | 2023-04-06 | Peking University | Systems and methods for image processing |
CN115908142B (zh) * | 2023-01-06 | 2023-05-09 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于视觉识别的接触网微小部件验损方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL156124A (en) * | 2003-05-26 | 2010-04-15 | Rafael Advanced Defense Sys | A method for detecting incorrect pixels against a non-uniform background |
US7684642B2 (en) * | 2004-03-03 | 2010-03-23 | Eastman Kodak Company | Correction of redeye defects in images of humans |
US20100142767A1 (en) * | 2008-12-04 | 2010-06-10 | Alan Duncan Fleming | Image Analysis |
US8774512B2 (en) * | 2009-02-11 | 2014-07-08 | Thomson Licensing | Filling holes in depth maps |
US20100302365A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Depth Image Noise Reduction |
-
2012
- 2012-10-24 RU RU2012145349/08A patent/RU2012145349A/ru not_active Application Discontinuation
-
2013
- 2013-05-17 CA CA2844705A patent/CA2844705A1/en not_active Abandoned
- 2013-05-17 CN CN201380003572.9A patent/CN104025567A/zh active Pending
- 2013-05-17 US US14/232,143 patent/US20140240467A1/en not_active Abandoned
- 2013-05-17 JP JP2015539579A patent/JP2016502704A/ja active Pending
- 2013-05-17 WO PCT/US2013/041507 patent/WO2014065887A1/en active Application Filing
- 2013-05-17 KR KR1020157010645A patent/KR20150079638A/ko not_active Application Discontinuation
- 2013-06-03 TW TW102119625A patent/TW201421419A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN104025567A (zh) | 2014-09-03 |
CA2844705A1 (en) | 2014-04-24 |
TW201421419A (zh) | 2014-06-01 |
US20140240467A1 (en) | 2014-08-28 |
JP2016502704A (ja) | 2016-01-28 |
WO2014065887A1 (en) | 2014-05-01 |
KR20150079638A (ko) | 2015-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2012145349A (ru) | Способ и устройство обработки изображений для устранения артефактов глубины | |
Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
US10453204B2 (en) | Image alignment for burst mode images | |
JP6688277B2 (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
JP6094775B2 (ja) | ビデオコンテンツ処理方法及びシステム | |
JP2016513320A (ja) | 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 | |
US9953422B2 (en) | Selective local registration based on registration error | |
JP2016521892A5 (ru) | ||
JP5908844B2 (ja) | 画像処理装置および画像処理方法 | |
US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
US9456193B2 (en) | Method and apparatus for processing light-field image | |
CA2901847A1 (en) | Techniques for processing imaging data having sensor-dependent noise | |
Liu et al. | Blur-kernel bound estimation from pyramid statistics | |
JP5662890B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム、並びに、画像処理による放射線量推定方法 | |
JP5772675B2 (ja) | 濃淡画像のエッジ抽出方法、エッジ抽出装置並びに濃淡画像のエッジ抽出プログラム | |
Asai et al. | Cepstral analysis based blind deconvolution for motion blur | |
JP2012073703A (ja) | 画像ボケ量計算装置およびそのプログラム | |
KR101681197B1 (ko) | 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치 | |
WO2014165159A1 (en) | System and method for blind image deconvolution | |
KR20140026078A (ko) | 객체 추출 장치 및 방법 | |
JP2015176252A (ja) | 画像処理装置および画像処理方法 | |
JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
US10380463B2 (en) | Image processing device, setting support method, and non-transitory computer-readable media | |
JP2021051530A (ja) | 画像処理プログラム及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FA93 | Acknowledgement of application withdrawn (no request for examination) |
Effective date: 20151026 |