KR102482532B1 - 3차원 깊이데이터 업샘플링 장치 및 그 방법 - Google Patents
3차원 깊이데이터 업샘플링 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102482532B1 KR102482532B1 KR1020210084426A KR20210084426A KR102482532B1 KR 102482532 B1 KR102482532 B1 KR 102482532B1 KR 1020210084426 A KR1020210084426 A KR 1020210084426A KR 20210084426 A KR20210084426 A KR 20210084426A KR 102482532 B1 KR102482532 B1 KR 102482532B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distance
- upsampling
- data
- distance image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 48
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 44
- 238000003384 imaging method Methods 0.000 description 28
- 238000005259 measurement Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000012857 radioactive material Substances 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
색상정보와 함께 깊이정보가 포함된 가이드 영상을 이용하여 거리영상을 업샘플링하여 업샘플링 거리영상을 생성함으로써 조밀한 거리정도의 성능을 향상시킬 수 있는 3차원 깊이데이터 업샘플링 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치는: 대상체에 대해 획득된 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하도록 구성되는 제1 업샘플링부; 상기 대상체에 대해 획득된 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하도록 구성되는 제2 업샘플링부;를 포함한다.
Description
본 발명은 3차원 깊이데이터 업샘플링에 관한 것으로, 보다 상세하게는 색상정보와 함께 깊이정보가 포함된 가이드 영상을 이용하여 거리영상을 업샘플링하여 업샘플링 거리영상을 생성함으로써 조밀한 거리정도의 성능을 향상시킬 수 있는 3차원 깊이데이터 업샘플링 장치 및 그 방법에 관한 것이다.
3차원 공간 정밀 스캐닝 장치는 건물이나 실내 등의 3차원 공간정보 콘텐츠를 이용한 서비스 개발에 효과적으로 사용될 수 있는 기술이다. 3차원 공간 정밀 스캐닝 장치는 건물 붕괴, 대형 화재, 방사성 물질 누출 등으로 인해 사람이 쉽게 출입할 수 없는 공간에서 짧은 시간 내에 고해상도로 정밀한 3차원 공간 지도를 생성함으로써 재난 상황 등에 효과적으로 대처하는데 활용될 수도 있다.
3차원 스캔 장치 중 2차원 라이다를 이용하는 기술의 경우, 2차원 라이다에 의해 획득한 거리데이터를 카메라에 의해 획득한 RGB 가이드 영상 등을 이용하여 업샘플링함으로써 조밀한 깊이정보를 얻는 방식을 사용한다. 그러나, 이러한 방식은 RGB 가이드 영상에 깊이정보가 반영되어 있지 않기 때문에 조밀한 거리정도의 성능을 극대화하기에는 한계가 있다.
한편, 3차원 스캔 장치는 접촉식과 비접촉식으로 구분할 수 있다. 비접촉식 스캐너는 3차원 스캐너가 직접 빛을 피사체에 쏘는 여부에 따라 능동형과 수동형 스캐너로 분류될 수 있다. 최근 산업계의 주류는 대부분 능동형 스캐너이다. 그러나 기존의 상용화된 비접촉식 스캐너의 가격은 매우 고비용에 속해, 이를 실질적으로 사용하기 어려운 문제점이 있었다.
본 발명은 색상정보와 함께 깊이정보가 포함된 가이드 영상을 이용하여 거리영상을 업샘플링하여 업샘플링 거리영상을 생성함으로써 조밀한 거리정도의 성능을 향상시킬 수 있는 3차원 깊이데이터 업샘플링 장치 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 기존에 비해 저비용이면서 고해상도의 3차원 스캔 결과를 얻을 수 있는 3차원 스캔 장치 및 그 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치는: 대상체에 대해 획득된 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하도록 구성되는 제1 업샘플링부; 상기 대상체에 대해 획득된 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하도록 구성되는 제2 업샘플링부;를 포함한다.
상기 가이드영상 생성부는: RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상으로 변환하도록 구성되는 제1 색공간 변환부; 상기 색공간 영상의 명도정보를 상기 제1 업샘플링 거리영상의 깊이정보로 치환하여 색상-깊이 영상을 생성하도록 구성되는 색상-깊이 영상 생성부; 및 상기 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성하도록 구성되는 제2 색공간 변환부;를 포함할 수 있다.
상기 색공간 영상은 HSV 채널 영상, HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상을 포함할 수 있다.
상기 제2 업샘플링부는 상기 가이드 영상을 기초로 상기 제1 업샘플링 거리영상을 가중 메디안 필터링 처리하여 상기 제2 업샘플링 거리영상을 생성하도록 구성될 수 있다.
상기 제1 업샘플링부는 상기 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 상기 제1 업샘플링 거리영상을 생성하도록 구성될 수 있다.
본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 방법은: 제1 업샘플링부에 의해, 대상체에 대해 획득된 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하는 단계; 가이드영상 생성부에 의해, 상기 대상체에 대해 획득된 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하는 단계; 및 제2 업샘플링부에 의해, 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하는 단계;를 포함한다.
상기 가이드 영상을 생성하는 단계는: RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상으로 변환하는 단계; 상기 색공간 영상의 명도정보를 상기 제1 업샘플링 거리영상의 깊이정보로 치환하여 색상-깊이 영상을 생성하는 단계; 및 상기 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성하는 단계;를 포함할 수 있다.
상기 제2 업샘플링 거리영상을 생성하는 단계는 상기 가이드 영상을 기초로 상기 제1 업샘플링 거리영상을 가중 메디안 필터링 처리하여 상기 제2 업샘플링 거리영상을 생성하는 단계를 포함할 수 있다.
상기 제1 업샘플링 거리영상을 생성하는 단계는 상기 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 상기 제1 업샘플링 거리영상을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 3차원 깊이데이터 업샘플링 장치를 실행하도록 컴퓨터로 판독 가능한 기록매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 실시예에 따른 3차원 스캔 장치는: 대상체에 대해 컬러영상을 획득하도록 구성되는 컬러영상 획득부; 상기 대상체에 대해 거리영상을 획득하도록 구성되는 거리영상 획득부; 및 상기 컬러영상 및 상기 거리영상을 기반으로 상기 거리영상보다 높은 해상도를 가지는 3차원 스캐닝 데이터를 생성하도록 구성되는 데이터 처리부;를 포함한다.
상기 데이터 처리부는: 상기 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하도록 구성되는 제1 업샘플링부; 상기 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하도록 구성되는 제2 업샘플링부;를 포함한다.
본 발명의 실시예에 따른 3차원 스캔 방법은: 컬러영상 획득부에 의해, 대상체에 대해 컬러영상을 획득하는 단계; 거리영상 획득부에 의해, 상기 대상체에 대해 거리영상을 획득하는 단계; 및 데이터 처리부에 의해, 상기 컬러영상 및 상기 거리영상을 기반으로 상기 거리영상보다 높은 해상도를 가지는 3차원 스캐닝 데이터를 생성하는 단계;를 포함한다.
상기 3차원 스캐닝 데이터를 생성하는 단계는: 상기 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하는 단계; 상기 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하는 단계; 및 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하는 단계;를 포함한다.
본 발명의 실시예에 의하면, 색상정보와 함께 깊이정보가 포함된 가이드 영상을 이용하여 거리영상을 업샘플링하여 업샘플링 거리영상을 생성함으로써 조밀한 거리정도의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예에 의하면, 조밀하지 않고 성긴(coarse) 거리정보를 획득하는 라이다를 이용하여 저비용이면서도 고해상도/고정확도의 3차원 스캔 결과를 얻을 수 있는 3차원 스캔 장치 및 방법이 제공된다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치를 구성하는 가이드영상 생성부의 구성도이다.
도 3은 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 방법의 순서도이다.
도 4는 본 발명의 실시예에 따라 생성된 컬러영상의 예시도이다.
도 5는 본 발명의 실시예에 따라 생성된 거리영상의 예시도이다.
도 6은 본 발명의 실시예에 따른 데이터 보간 방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따라 생성된 제1 업샘플링 거리영상의 예시도이다.
도 8은 본 발명의 실시예에 따라 거리값이 전도된 제1 업샘플링 거리영상을 나타낸 예시도이다.
도 9는 도 3의 단계 S140을 나타낸 순서도이다.
도 10은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 예시도이다.
도 11은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 H 채널 예시도이다.
도 12는 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 S 채널 예시도이다.
도 13은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 V 채널 예시도이다.
도 14는 본 발명의 실시예에 따라 생성된 HSD 채널 색상-깊이 영상의 예시도이다.
도 15는 본 발명의 실시예에 따라 생성된 RGB 가이드 영상의 예시도이다.
도 16은 본 발명의 실시예에 따라 생성된 제2 업샘플링 거리영상의 예시도이다.
도 17은 본 발명의 실시예에 따라 가중 메디안 필터링 처리에 의해 제2 업샘플링 거리영상을 생성하는 과정을 나타낸 개념도이다.
도 18은 깊이정보가 반영되지 않은 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다.
도 19는 도 18의 일부를 확대하여 나타낸 도면이다.
도 20은 본 발명의 실시예에 따라 깊이정보가 반영된 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다.
도 21은 도 20의 일부를 확대하여 나타낸 도면이다.
도 22는 깊이정보가 추가되지 않은 RGB 가이드 영상의 예시도이다.
도 23은 도 22의 깊이정보가 추가되지 않은 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다.
도 24는 본 발명의 실시예에 따라 깊이정보를 추가하여 얻은 RGB 가이드 영상의 예시도이다.
도 25는 도 24의 깊이정보가 추가된 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다.
도 26은 본 발명의 일 예시에 따른 3차원 스캔 장치를 나타내는 블록도이다.
도 27은 도 26에 도시된 데이터 처리부의 구성을 보다 상세히 나타내는 블록도이다.
도 28 및 도 29는 본 발명의 다양한 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재, 거리 측정부재, 및 지지대의 구성을 나타내는 도면이다.
도 30은 본 발명의 일 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재와 거리 측정부재를 통한 데이터 측정을 설명하기 위한 도면이다.
도 31은 본 발명의 실시예에 따라 1차 데이터 합성부를 통해 데이터 합성을 수행한 것을 나타내는 도면이다.
도 32는 본 발명의 일 실시예에 따른 데이터 보간을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예예 따른 3차원 스캔 방법을 설명하기 위한 순서도이다.
도 34는 업샘플링 전 3차원 데이터를 나타낸 예시도이다.
도 35는 본 발명의 실시예에 따라 업샘플링된 3차원 데이터를 나타낸 예시도이다.
도 36은 본 발명의 실시예에 따라 10bit 가중 메디안 필터를 이용하여 업샘플링된 3차원 데이터의 예시도이다.
도 2는 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치를 구성하는 가이드영상 생성부의 구성도이다.
도 3은 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 방법의 순서도이다.
도 4는 본 발명의 실시예에 따라 생성된 컬러영상의 예시도이다.
도 5는 본 발명의 실시예에 따라 생성된 거리영상의 예시도이다.
도 6은 본 발명의 실시예에 따른 데이터 보간 방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따라 생성된 제1 업샘플링 거리영상의 예시도이다.
도 8은 본 발명의 실시예에 따라 거리값이 전도된 제1 업샘플링 거리영상을 나타낸 예시도이다.
도 9는 도 3의 단계 S140을 나타낸 순서도이다.
도 10은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 예시도이다.
도 11은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 H 채널 예시도이다.
도 12는 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 S 채널 예시도이다.
도 13은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 V 채널 예시도이다.
도 14는 본 발명의 실시예에 따라 생성된 HSD 채널 색상-깊이 영상의 예시도이다.
도 15는 본 발명의 실시예에 따라 생성된 RGB 가이드 영상의 예시도이다.
도 16은 본 발명의 실시예에 따라 생성된 제2 업샘플링 거리영상의 예시도이다.
도 17은 본 발명의 실시예에 따라 가중 메디안 필터링 처리에 의해 제2 업샘플링 거리영상을 생성하는 과정을 나타낸 개념도이다.
도 18은 깊이정보가 반영되지 않은 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다.
도 19는 도 18의 일부를 확대하여 나타낸 도면이다.
도 20은 본 발명의 실시예에 따라 깊이정보가 반영된 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다.
도 21은 도 20의 일부를 확대하여 나타낸 도면이다.
도 22는 깊이정보가 추가되지 않은 RGB 가이드 영상의 예시도이다.
도 23은 도 22의 깊이정보가 추가되지 않은 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다.
도 24는 본 발명의 실시예에 따라 깊이정보를 추가하여 얻은 RGB 가이드 영상의 예시도이다.
도 25는 도 24의 깊이정보가 추가된 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다.
도 26은 본 발명의 일 예시에 따른 3차원 스캔 장치를 나타내는 블록도이다.
도 27은 도 26에 도시된 데이터 처리부의 구성을 보다 상세히 나타내는 블록도이다.
도 28 및 도 29는 본 발명의 다양한 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재, 거리 측정부재, 및 지지대의 구성을 나타내는 도면이다.
도 30은 본 발명의 일 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재와 거리 측정부재를 통한 데이터 측정을 설명하기 위한 도면이다.
도 31은 본 발명의 실시예에 따라 1차 데이터 합성부를 통해 데이터 합성을 수행한 것을 나타내는 도면이다.
도 32는 본 발명의 일 실시예에 따른 데이터 보간을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예예 따른 3차원 스캔 방법을 설명하기 위한 순서도이다.
도 34는 업샘플링 전 3차원 데이터를 나타낸 예시도이다.
도 35는 본 발명의 실시예에 따라 업샘플링된 3차원 데이터를 나타낸 예시도이다.
도 36은 본 발명의 실시예에 따라 10bit 가중 메디안 필터를 이용하여 업샘플링된 3차원 데이터의 예시도이다.
본 명세서에서 사용되는 용어와 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것이므로, 본 발명이 용어와 도면에 의해 한정되는 것은 아니다. 본 발명에 이용되는 기술 중 본 발명의 사상과 밀접한 관련이 없는 공지의 기술에 관한 자세한 설명은 생략한다. 아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 구체적으로, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 명세서 전체에서 사용되는 '~부' 및 '~모듈' 은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부' 및 '~모듈'이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부' 및 '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서 '~부' 및 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부' 및 '~모듈'에서 제공하는 기능은 복수의 구성요소 및 '~부' 및 '~모듈'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
도 1은 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치(100)는 컬러영상 획득부(110), 거리영상 획득부(120), 제1 업샘플링부(130), 가이드영상 생성부(140), 및 제2 업샘플링부(거리영상 업샘플링부)(150)를 포함할 수 있다.
컬러영상 획득부(110)는 대상체에 대해 컬러영상을 획득할 수 있다. 실시예에서, 컬러영상 획득부(110)는 대상체에 대해 RGB 영상을 획득하는 RGB 카메라일 수 있다. 컬러영상은 RGB 카메라에 의해 획득된 단일 영상일 수도 있고, 복수개의 영상이 결합된 영상 또는 파노라마 영상일 수도 있다.
거리영상 획득부(120)는 대상체에 대해 거리영상을 획득할 수 있다. 실시예에서, 거리영상 획득부(120)는 대상체에 대해 라이다 데이터와 같은 거리영상을 획득하는 2차원 라이다(Lidar)를 포함할 수 있다. 거리영상은 라이다에 의해 획득된 데이터, 또는 복수개의 라이다 데이터가 결합된 파노라마 거리영상일 수 있다. 거리영상 획득부(120)는 3차원 라이다 데이터를 2차원 영상에 투영하여 깊이 지도를 생성할 수 있다.
거리영상의 업샘플링을 수행하기에 앞서, 카메라의 색상정보와 라이다의 3차원 점군 정보를 융합하기 위해 카메라와 라이다 간의 보정이 수행될 수 있다. 예를 들어, 영상 정보와 라이다를 이용한 3차원 체스보드 평면 추출, 3차원 평면정보와 평면정합 알고리즘을 이용한 좌표계 보정 순으로 보정이 수행될 수 있다.
제1 업샘플링부(130)는 거리영상 획득부(120)에 의해 대상체에 대해 획득된 거리영상의 데이터를 보간하는 1차 업샘플링을 통해 제1 업샘플링 거리영상을 생성할 수 있다. 제1 업샘플링부(130)는 거리영상 중 비어 있는 제1 부분의 거리 데이터를 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 제1 업샘플링 거리영상을 생성할 수 있다.
깊이 지도의 엣지 주변 영역의 깊이 정보가 블러 현상으로 인해 신뢰할 수 없는 경우, 양파 껍질 필터링(Onion-Peel Filtering) 알고리즘을 적용하여 엣지 주변 영역의 깊이 정보를 제거하고, 제거되지 않은 외부 픽셀의 깊이 값을 안쪽으로 채워나가는 추정을 통해 엣지 영역의 불연속성을 파악하고 정제하는 처리를 수행할 수 있다. 이때, 깊이 값의 차이가 작아 엣지 주변부인지 판별이 어려운 픽셀은 카메라 RGB 영상의 엣지 주변 영역을 참고하여 결정할 수 있다.
가이드영상 생성부(140)는 컬러영상 획득부(110)에 의해 대상체에 대해 획득된 컬러영상에, 제1 업샘플링부(130)에 의해 생성되는 제1 업샘플링 거리영상의 깊이정보를 결합하여, 거리영상의 2차 업샘플링을 위한 가이드 영상을 생성할 수 있다.
제2 업샘플링부(150)는 제1 업샘플링부(130)에 의해 생성된 제1 업샘플링 거리영상을 가이드영상 생성부(140)에 의해 생성된 가이드 영상을 이용하여 필터링하는 2차 업샘플링을 통해 제2 업샘플링 거리영상을 생성할 수 있다. 제2 업샘플링부(150)는 2D 라이다의 수평 방향 스캔 라인 사이의 비어 있는 데이터 공간을 가이드 영상 필터를 이용하여 업샘플링할 수 있다. 실시예에서, 제2 업샘플링부(150)는 가이드 영상을 기초로 제1 업샘플링 거리영상을 가중 메디안 필터링(Weighted Median Filtering) 처리하여 제2 업샘플링 거리영상을 생성할 수 있다.
가중 메디안 필터 알고리즘에 의해 가이드 영상의 색상 정보를 이용하여 거리영상의 필터링을 수행할 수 있으며, 영상의 모든 픽셀의 3차원 거리 정보를 추정하여 초고해상도 360도 스캐닝 구현이 가능하다. 이때, 깊이 정보가 없는 카메라 RGB 영상을 가이드 영상으로 활용할 경우 어떤 두 지점에서 거리가 같아도 가이드 영상의 색 강도(Color intensity)의 차이에 따른 깊이 값의 오차가 발생할 수 있다. 따라서 본 발명의 실시예에서는 이러한 오차를 최소화하기 위해 가이드 영상에 깊이 정보를 추가한다.
도 2는 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 장치를 구성하는 가이드영상 생성부의 구성도이다. 도 1 및 도 2를 참조하면, 가이드영상 생성부(140)는 제1 색공간 변환부(142), 색상-깊이 영상 생성부(144), 및 제2 색공간 변환부(146)를 포함할 수 있다.
제1 색공간 변환부(142)는 컬러영상 획득부(110)에 의해 생성된 RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상(예를 들어, HSV 영상)으로 변환할 수 있다. 실시예에서, 제1 색공간 변환부(142)에 의해 변환된 색공간 영상은 HSV 채널 영상, HSL 채널 영상, YIQ 채널 영상 또는 YUV(YCbCr) 채널 영상을 포함할 수 있다. 다시 말해, 제1 색공간 변환부(142)는 RGB 색공간 채널 영상을 HSV 채널 영상(또는 HSI 채널 영상), HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상 등과 같은 다른 색공간 채널 영상으로 변환할 수 있다.
색상-깊이 영상 생성부(144)는 제1 색공간 변환부(142)에 의해 생성된 색공간 영상의 명도정보(명도값)를 제1 업샘플링부(130)에 의해 생성된 제1 업샘플링 거리영상(보간된 깊이 지도)의 깊이정보(깊이값)로 치환하여 색상-깊이 영상을 생성할 수 있다.
일 예로, 색상-깊이 영상은 HSV(HSI) 채널 영상의 H 값(Hue), S 값(Saturation), V 값(Value) 또는 I 값(Intensity) 중 V 값(또는 I 값)이, 제1 업샘플링 거리영상의 깊이정보에 해당하는 D 값(Depth value)으로 치환(대체)된, HSD(Hue, Saturation, Depth) 영상일 수 있다.
다른 예로, 제1 색공간 변환부(142)에 의해 RGB 색공간 채널 영상이 YUV 채널 영상으로 변환된 경우, 색상-깊이 영상은 YUV 채널 영상의 Y 채널(Luminance) 값, UV 채널(Chrominance channel) 값 중 Y 채널 값이 제1 업샘플링 거리영상의 깊이정보에 해당하는 D 값(Depth value)으로 대체된, DUV 채널 영상일 수 있다.
제2 색공간 변환부(146)는 색상-깊이 영상 생성부(144)에 의해 생성된 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성할 수 있다. 다시 말해, 제2 색공간 변환부(146)는 HSV 채널 영상, HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상 등을 RGB 색공간 채널의 가이드 영상으로 변환할 수 있다.
깊이정보가 추가된 RGB 가이드 영상을 기반으로, 1차 업샘플링된 입력 깊이 지도에 대해 가중 메디안 필터를 적용하여 2차 업샘플링을 수행할 수 있다. 이때 깊이 지도에서 측정된 최소 거리부터 최대 거리까지의 간격을 구하여 해당 간격을 등분(예를 들어, 4등분)한 거리별로 블록을 나누고, 블록마다 가중 메디안 필터를 적용하여 다수개(예를 들어, 10bit 가중 메디안 필터를 이용하는 경우 1024개)의 층으로 나누어 가이드 영상 필터를 적용함으로써 정교한 깊이 지도를 만들 수 있다. 이와 같이, 라이다 데이터와 카메라 데이터로부터 생성한 데이터로부터 2단계의 업샘플링 알고리즘을 적용함으로써 고밀도 3차원 지도를 생성할 수 있다.
이하에서 2차원 라이다와 단일 카메라를 이용하여 3차원 공간 업샘플링을 수행하는 방법에 대해 설명한다. 도 3은 본 발명의 실시예에 따른 3차원 깊이데이터 업샘플링 방법의 순서도이다. 컬러영상 획득부(110)는 대상체에 대해 컬러영상을 획득할 수 있다(S110). 도 4는 본 발명의 실시예에 따라 생성된 컬러영상의 예시도이다. 도시된 예에서, 컬러영상은 복수개의 영상이 결합된 파노라마 영상이지만, 컬러영상은 RGB 카메라에 의해 획득된 단일 영상일 수도 있다.
거리영상 획득부(120)는 대상체에 대해 거리영상을 획득할 수 있다(S120). 도 5는 본 발명의 실시예에 따라 생성된 거리영상의 예시도이다. 일 실시예에서, 거리영상 획득부(120)는 3차원 라이다 데이터를 2차원 영상으로 투영하여 깊이 맵(Depth map)을 생성하여 거리영상을 획득할 수 있다.
제1 업샘플링부(130)는 거리영상 획득부(120)에 의해 대상체에 대해 획득된 거리영상의 데이터를 보간하는 1차 업샘플링을 통해 제1 업샘플링 거리영상을 생성할 수 있다(S130).
도 6은 본 발명의 실시예에 따른 데이터 보간 방법을 설명하기 위한 개념도이다. 도 7은 본 발명의 실시예에 따라 생성된 제1 업샘플링 거리영상의 예시도이다. 제1 업샘플링부(130)는 조밀하지 않은 거리영상 중 라이다 값이 비어 있는 제1 부분의 거리 데이터(P)를 생성하기 위해, 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터(P1, P2, ..., P10)를 2차원 보간(bilinear interpolation) 처리하여 제1 업샘플링 거리영상을 생성할 수 있다.
제1 업샘플링부(130)는 예를 들어, 하기 수식 1과 수식 2에 따라, 제1 부분 주위의 제2 부분들(제2 점들)의 라이다 값들을 이용하여 제1 부분과 제2 부분의 거리에 따른 깊이 지도 보간을 통해 거리영상 중 라이다 값이 비어 있는 제1 부분의 거리 데이터(P)를 산출하는 1차 업샘플링을 수행함으로써 제1 업샘플링 거리영상을 생성할 수 있다.
[수식 1]
[수식 2]
수식 1과 수식 2에서, P는 거리영상 중 라이다 값이 비어 있는 제1 부분(제1 픽셀)에 대해 산출된 거리 데이터, Pi는 제1 부분과 인접해 있으면서 라이다 값이 있는 제2 부분(제2 픽셀)의 해당 라이다 값(i: 제2 부분 인덱스), Di는 제1 부분과, 제2 부분 간의 거리, Wi는 제2 부분과 관련된 보간 가중치, λ는 보간 가중치와 관련하여 설정된 계수이다. 도 6의 예에서, 제1 부분 주위의 10개의 제2 부분에 대한 라이다 값을 이용한 보간에 의해 제1 부분의 거리 데이터가 산출되나, 보간에 이용되는 제2 부분들의 개수는 다양하게 변경될 수 있다.
제1 업샘플링 거리영상에 대한 가중 메디안 필터링을 위해, 가중 메디안 필터링에 요구되는 8bit 가이드 영상 포맷에 부합하도록, 제1 업샘플링 거리영상의 거리값은 256 단계로 양자화(quantization) 될 수 있다. 양자화 수행 전 원거리 영역의 세부 정보를 보강하기 위해 제1 업샘플링 영상의 거리값이 전도(inversion) 될 수 있다. 도 8은 본 발명의 실시예에 따라 거리값이 전도된 제1 업샘플링 거리영상을 나타낸 예시도이다.
가이드영상 생성부(140)는 컬러영상 획득부(110)에 의해 대상체에 대해 획득된 컬러영상에, 제1 업샘플링부(130)에 의해 생성되는 제1 업샘플링 거리영상의 깊이정보를 결합하여, 거리영상의 2차 업샘플링을 위한 가이드 영상을 생성할 수 있다(S140).
도 9는 도 3의 단계 S140을 나타낸 순서도이다. 제1 색공간 변환부(142)는 컬러영상 획득부(110)에 의해 생성된 RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상(예를 들어, HSV 영상)으로 변환할 수 있다(S142).
제1 색공간 변환부(142)는 RGB 색공간 채널 영상을 HSV 채널 영상(또는 HSI 채널 영상), HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상 등과 같은 다른 색공간 채널 영상으로 변환할 수 있다.
도 10은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 예시도이다. 도 11은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 H 채널 예시도이다. 도 12는 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 S 채널 예시도이다. 도 13은 본 발명의 실시예에 따라 RGB 컬러영상으로부터 변환된 HSV 영상의 V 채널 예시도이다.
색상-깊이 영상 생성부(144)는 제1 색공간 변환부(142)에 의해 생성된 색공간 영상(예를 들어, HSV 영상)의 명도(밝기)정보(예를 들어, HSV 영상의 V 채널 정보) V 값을, 제1 업샘플링부(130)에 의해 생성된 제1 업샘플링 거리영상(도 7 참조)의 깊이정보(D 값)로 대체하여, 색상정보와 깊이정보를 가지는 색상-깊이 영상(HSD 색공간 영상)을 생성할 수 있다(S144).
도 14는 본 발명의 실시예에 따라 생성된 HSD 채널 색상-깊이 영상의 예시도이다. 제2 색공간 변환부(146)는 색상-깊이 영상 생성부(144)에 의해 생성된 HSD 채널 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성할 수 있다(S146). 도 15는 본 발명의 실시예에 따라 생성된 RGB 가이드 영상의 예시도이다. 제2 색공간 변환부(146)는 HSV 채널 영상 외에, HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상 등을 RGB 색공간 채널의 가이드 영상으로 변환할 수도 있다.
제2 업샘플링부(150)는 제1 업샘플링부(130)에 의해 생성된 제1 업샘플링 거리영상을 가이드영상 생성부(140)에 의해 생성된 RGB 가이드 영상을 이용하여 필터링하는 2차 업샘플링을 통해 제2 업샘플링 거리영상을 생성할 수 있다(S150). 도 16은 본 발명의 실시예에 따라 생성된 제2 업샘플링 거리영상의 예시도이다.
도 17은 본 발명의 실시예에 따라 가중 메디안 필터링 처리에 의해 제2 업샘플링 거리영상을 생성하는 과정을 나타낸 개념도이다. 제2 업샘플링부(150)는 가이드 영상 생성부(140)에 의해 생성된 색상정보와 깊이정보를 포함하는 RGB 가이드 영상에 해당하는 가이드 영상 필터(GIF; Guided Image Filter)를 기반으로, 제1 업샘플링 거리영상(IDM; Interpolated Depth Map)에 가중 메디안 필터(WMF; Weighted Median Filter)를 적용하여 2차 업샘플링을 수행함으로써 제2 업샘플링 거리영상(FDM; Filtered Depth Map)을 생성할 수 있다.
도 18은 깊이정보가 반영되지 않은 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다. 도 19는 도 18의 일부를 확대하여 나타낸 도면이다. 도 20은 본 발명의 실시예에 따라 깊이정보가 반영된 RGB 가이드 영상을 이용하여 업샘플링된 거리영상의 예시도이다. 도 21은 도 20의 일부를 확대하여 나타낸 도면이다. 본 발명의 실시예에 따라 깊이정보가 반영된 RGB 가이드 영상을 이용하여 업샘플링된 거리영상(도 20, 도 21)은 깊이정보가 반영되지 않은 RGB 가이드 영상을 이용하여 업샘플링된 거리영상(도 18, 도 19) 보다 조밀한 거리정보 성능을 나타내는 것을 알 수 있다.
도 22는 깊이정보가 추가되지 않은 RGB 가이드 영상의 예시도이다. 도 23은 도 22의 깊이정보가 추가되지 않은 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다. 도 24는 본 발명의 실시예에 따라 깊이정보를 추가하여 얻은 RGB 가이드 영상의 예시도이다. 도 25는 도 24의 깊이정보가 추가된 RGB 가이드 영상을 기초로 가중 메디안 필터를 적용하여 얻은 3차원 점군 복원 결과이다.
깊이정보가 추가되지 않은 RGB 가이드 영상을 이용하여 업샘플링된 3차원 점군(도 23)은 형광등의 에지 부분에서 밝기 차이로 인해 깊이정보가 왜곡되어 나타나는 반면, 본 발명의 실시예에 따라 깊이정보가 추가된 RGB 가이드 영상을 이용하여 업샘플링된 3차원 점군(도 25)은 형광등의 에지 부분에서의 밝기 차이로 인한 깊이정보 왜곡이 발생되지 않음을 알 수 있다.
이하에서 2차원 라이다와 단일 카메라를 포함하는 3차원 스캔 장치를 이용하여 3차원 공간 업샘플링을 수행하는 방법에 대해 설명한다. 도 26은 본 발명의 일 예시에 따른 3차원 스캔 장치를 나타내는 블록도이다. 본 발명의 일 예시에 따른 3차원 스캔 장치(1)는 촬상부재(10), 거리 측정부재(20), 지지대(30), 구동부(40) 및 데이터 처리부(50)를 포함할 수 있다.
촬상부재(10)는 영상을 촬영하여 영상 데이터를 획득할 수 있다. 촬상부재(10)는 컬러 정보를 포함하는 영상 데이터를 각도별로 획득할 수 있다. 일 예시에 따르면 촬상부재(10)는 비전 카메라일 수 있다. 일 예시에 따르면 촬상부재(10)는 광각 렌즈를 포함하는 비전 카메라일 수 있다.
거리 측정부재(20)는 촬영 대상물과의 거리를 측정할 수 있다. 일 예시에 따르면, 거리 측정부재(20)는 2D 라이다(Light Detection And Ranging, LiDAR)를 포함할 수 있다. 거리 측정부재(20)는 촬영 대상물과의 수직 방향의 거리 정보를 획득할 수 있다. 수직 방향의 거리 정보란, 거리 측정부재(20)가 거리를 측정하고자 하는 물체가 위치한 방향에서 수직 영역만큼의 거리 정보일 수 있다.
지지대(30)는 촬상부재(10) 및 거리 측정부재(20)가 지지될 수 있도록 촬상부재(10) 및 거리 측정부재(20)의 하부면에 위치할 수 있다. 지지대(30)는 360도 회전 가능하게 제공될 수 있다. 지지대(30)는 구동부(40)와 연결될 수 있다. 구동부(40)는 지지대(30)가 360° 회전 가능한 구동력을 제공할 수 있다. 일 예시에 따르면, 구동부(40)는 스텝 모터일 수 있다. 데이터 처리부(50)는 촬상부재(10) 및 거리 측정부재(20)에서 획득 및 측정한 영상과 거리정보를 처리하여 3차원 스캐닝 결과를 도출할 수 있다.
도 27은 도 26에 도시된 데이터 처리부의 구성을 보다 상세히 나타내는 블록도이다. 도 26 및 도 27을 참조하면, 데이터 처리부(50)는 1차 데이터 합성부(51), 2차원 보간부(52) 및 3차원 데이터 합성부(53)를 포함할 수 있다.
1차 데이터 합성부(51)는 촬상부재(10)에서 촬영한 영상 데이터 및 거리 측정부재(20)에서 측정한 거리 데이터를 3차원으로 변환하고, 3차원으로 변환된 데이터들을 합성할 수 있다. 1차 데이터 합성부(51)는 지지대(30)를 일정 각도로 회전하면서 얻은 영상 데이터 및 거리 데이터들을 합성할 수 있다. 1차 데이터 합성부(51)는 촬상부재(10)와 거리 측정부재(20)의 보정(calibration) 정보를 이용하여 구현할 수 있다.
2차원 보간부(52)는 1차 데이터 합성부(51)에서 합성된 데이터 중 비어 있는 부분의 거리 데이터를 2차원 보간할 수 있다. 거리 측정부재(20)에서 측정한 거리 데이터들은 모든 지점에서 거리 정보를 측정하는 것이 불가하여 촬상부재(10)에서 촬영한 영상 데이터의 영역에 비해 거리 데이터는 비어 있는 부분이 불가피하게 발생되는 문제점이 있다. 이를 보완하기 위해, 2차원 보간부(52)는 이미 측정한 거리 데이터를 이용하여 2차원 데이터 보간을 수행하여 추가적인 거리 데이터를 얻을 수 있다. 2차원 보간부(52)는 카메라 영상에 투영된 라이다 데이터를 보간할 수 있다.
3차원 데이터 합성부(53)는 2차원 보간부(52)에서 처리된 데이터를 거리별로 분리하고, 분리된 거리별 영상들을 합성하여 3차원 스캔 영상을 도출할 수 있다. 일 예시에 따르면, 거리별로 분리하는 것은 거리 측정부재(20)와의 직선 거리를 기준으로 일정 간격만큼 분리할 수 있다. 직선 거리의 일정 간격별로 분리한 데이터를 가이드 필터를 통해 합성함으로써, 보다 해상도가 높은 3차원 스캐닝 결과물을 얻을 수 있는 효과가 있다. 3차원 데이터 합성부(53)는 가중 메디안 필터(WMF)를 이용하여 초고해상도 거리정보를 추출할 수 있다.
일 예시에 따르면, 3차원 데이터 합성부(53)는 촬상부재에서의 영상을 가이드 영상으로 사용하여 분리된 거리별 영상에 가중치 가이드 필터를 적용하여 분리된 거리별 영상들을 합성할 수 있다. 이하에서는 3차원 스캔 장치(1)의 구성요소 및 데이터 처리 방법에 대해 단계적으로 설명한다.
도 28 및 도 29는 본 발명의 다양한 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재, 거리 측정부재, 및 지지대의 구성을 나타내는 도면이다. 도 28 및 도 29를 참조하면, 촬상부재(10)와 거리 측정부재(20)는 지지대(30)에 부착되어 360° 회전 가능하게 제공될 수 있다. 360도 회전을 통해 촬상부재(10)에서는 영상을, 거리 측정부재(20)에서는 물체에 대한 거리정보를 획득할 수 있다.
이때, 거리 측정부재(20)는 2차원 거리정보를 획득할 수 있다. 일 예시에 따르면 거리 측정부재(20)는 수직 방향의 360도 거리정보를 획득할 수 있다. 도 28의 실시예에서, 거리 측정부재(20)는 지지대(30)의 회전 중심에 위치할 수 있고, 촬상부재(10)도 지지대(30)의 회전 중심부에 위치할 수 있다.
도 29의 실시예에서, 거리 측정부재(20)는 지지대(30)의 회전 중심에 위치할 수 있고, 촬상부재(10)는 거리 측정부재(20)가 거리정보를 획득하기 위해 바라보는 방향에 배치될 수 있다. 도 29와 같은 실시예에 따르면, 거리 측정부재(20)가 수직 방향으로 거리 데이터를 측정하므로, 도 28의 실시예에 비해 수직 방향의 간섭 대상이 없으므로 보다 명확하게 거리 데이터를 측정할 수 있는 효과가 있다.
도 30은 본 발명의 일 실시예에 따른 3차원 스캔 장치를 구성하는 촬상부재와 거리 측정부재를 통한 데이터 측정을 설명하기 위한 도면이다. 도 30을 참조하면, 촬상부재(10) 및 거리 측정부재(20)가 지지된 지지대(30)는 일정한 속도로, 일정 각도를 기준으로 촬영 및 거리측정을 수행할 수 있다. 일 예시에 따르면, 촬상부재(10) 및 거리 측정부재(20)는 일정 시간 간격을 기준으로 촬영 및 거리측정을 수행할 수 있다.
촬상부재(10)는 일정한 회전 각도의 간격으로 영상을 획득할 수 있고, 거리 측정부재(20)는 수직 방향의 360도 거리정보를 획득할 수 있다. 촬상부재(10)가 획득하는 카메라 영상의 획득 간격(각도)은 렌즈의 화각이 매우 크므로 연속된 두 영상에서 일부의 중복 영역이 생기는 정도에서 영상을 획득할 수 있다. 이는 촬상부재(10)가 포함하는 카메라의 렌즈의 화각에 따라 결정될 수 있다.
거리 측정부재(20)는 촬상부재(10)보다 조밀한 각도로 거리 데이터를 획득할 수 있다. 일 예시에 따르면, 수평방향 회전 각도가 5도인 경우를 기준으로 5도 마다 거리 데이터를 획득할 수 있다. 도 30의 영상 1, 영상 2, 영상 3은 촬상부재(10)가 회전하면서 연속적으로 획득한 영상의 시야각의 범위를 나타내고 겹쳐진 영역은 각 카메라 영상의 시야각의 중복되는 영역을 나타낸다. 영상 1 범위 내의 검은색 선은 거리 측정부재(20)가 수평으로 회전하면서 획득한 3차원 데이터의 위치를 나타낸다. 일 예시에 따르면, 촬상부재(10)를 통해 획득한 카메라의 영상 데이터는 시야각이 일부 중복되는 간격으로 획득할 수 있고, 거리 측정부재(20)를 통해 획득한 거리 데이터는 좁은 간격으로 거리 데이터를 획득할 수 있다.
도 31은 본 발명의 실시예에 따라 1차 데이터 합성부를 통해 데이터 합성을 수행한 것을 나타내는 도면으로, 도 30에 따라 획득한 카메라 영상에 거리 측정부재(20)를 통해 측정한 3차원 거리 데이터를 투영한 것을 나타낸다. 본 발명의 데이터 처리부(50)는 촬상부재(10)에서 획득한 컬러 영상정보 및 거리 측정부재(20)의 3차원 거리 데이터를 합성할 수 있다. 데이터 처리부(50)는, 이를 합성하기 위해 데이터 간의 3차원 좌표계 사이의 변환(transformation)을 수행할 수 있다.
도 31에서, 카메라 영상 영역은 직사각형으로 표시되며, 거리 측정부재(20)의 수직 방향의 거리 스캔 결과가 검정색 선으로 표시된다. 도 31은 도 30의 방식을 이용하여 촬상부재(10)에서 영상 1 내지 영상 12를 획득한 것을 나타내며, 영상 1 내지 영상 12에는 일정한 간격으로 거리 측정부재(20)에서 측정한 거리의 3D 데이터가 측정됨을 확인할 수 있다.
거리 측정부재(20)는 2D 라이다로 제공되며, 2D 라이다는 수직방향의 1개의 평면공간에 대한 3차원 거리 데이터를 획득하기 때문에 수평 회전하면서 좁은 간격으로 획득했다고 해도 도 31과 같이 영상마다 데이터가 없는 영역이 많은 결과가 나타난다. 만일 2D 라이다를 매우 촘촘한 간격으로 획득하여 공간 해상도를 높이려 하는 경우, 라이다 스캔 시간이 과하게 걸리는 단점이 있어 로봇이나 자동차, 메타버스 등에 실제로 사용하고자 하는 경우 큰 단점이 된다. 이에 따라 2D 라이다의 스캔 간격을 줄이면서도 컬러 영상 정보를 이용하여 초고해상도의 3차원 스캐닝을 구현할 수 있는 방법에 대해 설명한다. 본 발명의 실시예에서는 2D 라이다의 2차원 데이터 보간 및 보간된 데이터의 가중 메디안 필터 방법을 사용하여 해상도가 높은 스캔 결과를 얻을 수 있다.
먼저 2D 라이다가 스캔한 거리 데이터 사이의 빈 공간의 3차원 거리 정보를 계산하기 위하여, 라이다 데이터 보간을 통한 1차 업샘플링에 의해 거리영상의 빈 공간의 3차원 거리 정보를 계산할 수 있다. 이후 색상정보와 깊이정보를 가지는 색상-깊이 가이드 영상을 생성한 후, 이를 가이드 이미지 필터로 활용하여 가중 메디안 필터(weighted median filters) 적용에 의한 2차 업샘플링에 의해 조밀한 3차원 깊이데이터를 얻을 수 있다.
도 32는 본 발명의 일 실시예에 따른 데이터 보간을 설명하기 위한 도면이다. 도 32를 참조하면, 거리 측정부재(20)의 2번 연속된 수직 스캔을 L1, L2라 할 때 L1과 L2는 유한한 연속적인 3차원 점들로 구성된다. L1의 점 P1에서 L1의 다음 스캔 점을 P3라 하고, L2에서 P1의 좌측 방향에 가장 가까운 점을 P2라 하고, P2의 다음 스캔 점을 P4라 한다. 이들 네 점을 이용하여 선형 보간법(Bilinear 보간)을 수행하여 네 점의 내부 공간의 영상 픽셀 위치의 3차원 거리정보(3차원 좌표) P'을 구할 수 있다. 선형 보간법으로 P'를 구할 때 네 점의 좌표값의 가중치 평균을 구할 수 있다. 이를 통해 거리 데이터가 없는 영역의 2차원 데이터 보간을 수행할 수 있다.
상술한 바와 같은 본 발명의 실시예에 의하면, 최초 라이다 데이터를 보간을 통하여 3차원 스캔 정보의 해상도를 올린 후 다시 가중 메디안 필터(WMF)를 이용하여 해상도를 더욱 높일 수 있다. 라이다 스캔데이터는 거리 측정부재(20)에 의해 1차적으로 얻어질 수 있다. 측정된 데이터에서 비어있는 부분에 대해 2차원 라이다 보간을 수행하면, 보간된 고해상도 3차원 스캔 결과를 얻을 수 있다.
이와 같은 결과에서 보다 더 높은 해상도를 얻어내기 위해, 앞서 설명한 바와 같이 깊이정보가 추가된 RGB 가이드 영상을 이용하여, 보간된 2차원 거리데이터를 RGB 가이드 영상과 합성한 후 거리별로 분할하고, 분할된 레이어에 가중치 가이드 필터를 적용한 다음 다시 합성하여 업샘플링된 거리영상을 얻을 수 있다.
보간된 고해상도 3차원 스캔 데이터를 입력으로 사용하여 거리별로 영상 레이어로 구분할 수 있는데, 이때의 거리는 거리 측정부재(20)와의 거리일 수 있다. 각각의 구분한 영상 레이어에서 가이드 필터(Guided image filter)를 사용하여 데이터가 없는 홀(hole)을 채운 후, 거리별 레이어 영상을 다시 합성하여 초고해상도의 3차원 스캔 데이터를 합성할 수 있다.
라이다 데이터는 거리 정보를 가지고 있으므로 보간된 거리영상을 일정한 거리 간격으로 구분하여 영상화할 수 있다. 보간된 거리영상은 다수의 거리 구간으로 분할될 수 있으며, 이에 따라 거리별로 분할된 다수의 거리영상이 획득될 수 있다. 이와 같이 레이어를 구분하는 거리 간격은 사용자가 정할 수 있다. 일 예시에 따르면 레이어의 수는 거리간격에 따라 256, 512 등으로 결정될 수 있다. 상술한 바와 같은 본 발명의 실시예는 전방향 3차원 스캐너로 응용될 수 있다. 일 예시에 따르면, 본 발명은 공간정보 시스템 또는 로봇, 자율차, 메타버스를 비롯하여 다양한 실내외 환경 영상화 및/또는 가상/증강 현실 기술 등의 3차원 스캔 장치에 적용될 수 있다.
도 33은 본 발명의 일 실시예예 따른 3차원 스캔 방법을 설명하기 위한 순서도이다. 도 34는 업샘플링 전 3차원 데이터를 나타낸 예시도이고, 도 35는 본 발명의 실시예에 따라 업샘플링된 3차원 데이터를 나타낸 예시도이다. 도 36은 본 발명의 실시예에 따라 10bit 가중 메디안 필터를 이용하여 업샘플링된 3차원 데이터의 예시도이다.
본 발명에 따르면, 3차원 스캔 장치(1)를 이용하여 3차원 스캔을 수행하는 방법은 지지대(30)를 360도 회전하여 전방향의 영상 및 거리정보를 획득하는 단계; 획득한 영상 및 거리정보를 합성하는 단계; 합성된 데이터 중 비어 있는 부분의 거리 데이터를 2차원 보간 하는 단계; 및 2차원 보간 된 데이터를 거리별로 분리하고, 분리된 거리별 영상들을 합성하여 3차원 스캔 영상을 도출하는 단계;를 포함할 수 있다.
이때, 2차원 보간된 데이터를 거리별로 분리하고, 분리된 거리별 영상들을 합성하여 3차원 스캔 영상을 도출하는 단계;는 촬상 부재에서 획득한 영상에 깊이정보가 추가된 영상을 가이드 영상으로 사용하여 분리된 거리별 영상에 가중치 가이드 필터를 적용하고, 거리별로 분리되어 가중 메디안 필터링 처리된 영상들을 합성하여 고정밀도로 업샘플링된 거리영상을 획득할 수 있다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.
100 : 3차원 깊이데이터 업샘플링 장치
110: 컬러영상 획득부
120: 거리영상 획득부
130: 제1 업샘플링부
140: 가이드영상 생성부
142: 제1 색공간 변환부
144: 색상-깊이 영상 생성부
146: 제2 색공간 변환부
150: 제2 업샘플링부
110: 컬러영상 획득부
120: 거리영상 획득부
130: 제1 업샘플링부
140: 가이드영상 생성부
142: 제1 색공간 변환부
144: 색상-깊이 영상 생성부
146: 제2 색공간 변환부
150: 제2 업샘플링부
Claims (15)
- 대상체에 대해 획득된 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하도록 구성되는 제1 업샘플링부;
상기 대상체에 대해 획득된 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및
상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하도록 구성되는 제2 업샘플링부를 포함하고,
상기 제1 업샘플링부는 상기 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 상기 제1 업샘플링 거리영상을 생성하도록 구성되는 3차원 깊이데이터 업샘플링 장치. - 제1항에 있어서,
상기 가이드영상 생성부는:
RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상으로 변환하도록 구성되는 제1 색공간 변환부;
상기 색공간 영상의 명도정보를 상기 제1 업샘플링 거리영상의 깊이정보로 치환하여 색상-깊이 영상을 생성하도록 구성되는 색상-깊이 영상 생성부; 및
상기 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성하도록 구성되는 제2 색공간 변환부;를 포함하는 3차원 깊이데이터 업샘플링 장치. - 제2항에 있어서,
상기 색공간 영상은 HSV 채널 영상, HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상을 포함하는 3차원 깊이데이터 업샘플링 장치. - 제1항에 있어서,
상기 제2 업샘플링부는 상기 가이드 영상을 기초로 상기 제1 업샘플링 거리영상을 가중 메디안 필터링 처리하여 상기 제2 업샘플링 거리영상을 생성하도록 구성되는 3차원 깊이데이터 업샘플링 장치. - 삭제
- 대상체에 대해 획득된 컬러영상에 상기 대상체에 대해 획득된 거리영상과 관련된 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및
상기 거리영상을 상기 가이드 영상을 이용하여 필터링하여 업샘플링 거리영상을 생성하도록 구성되는 거리영상 업샘플링부를 포함하고,
상기 대상체에 대해 획득된 거리영상과 관련된 깊이정보는:
상기 대상체에 대해 획득된 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 생성된 거리 영상과 관련된 깊이정보인 3차원 깊이데이터 업샘플링 장치. - 제1 업샘플링부에 의해, 대상체에 대해 획득된 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하는 단계;
가이드영상 생성부에 의해, 상기 대상체에 대해 획득된 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하는 단계; 및
제2 업샘플링부에 의해, 상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하는 단계를 포함하고,
상기 제1 업샘플링 거리영상을 생성하는 단계는 상기 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 상기 제1 업샘플링 거리영상을 생성하는 단계를 포함하는 3차원 깊이데이터 업샘플링 방법. - 제7항에 있어서,
상기 가이드 영상을 생성하는 단계는:
RGB 컬러영상을 색상정보와 명도정보가 분할된 색공간 영상으로 변환하는 단계;
상기 색공간 영상의 명도정보를 상기 제1 업샘플링 거리영상의 깊이정보로 치환하여 색상-깊이 영상을 생성하는 단계; 및
상기 색상-깊이 영상을 RGB 색공간으로 변환하여 RGB 가이드 영상을 생성하는 단계;를 포함하는 3차원 깊이데이터 업샘플링 방법. - 제8항에 있어서,
상기 색공간 영상은 HSV 채널 영상, HSL 채널 영상, YIQ 채널 영상 또는 YUV 채널 영상을 포함하는 3차원 깊이데이터 업샘플링 방법. - 제7항에 있어서,
상기 제2 업샘플링 거리영상을 생성하는 단계는 상기 가이드 영상을 기초로 상기 제1 업샘플링 거리영상을 가중 메디안 필터링 처리하여 상기 제2 업샘플링 거리영상을 생성하는 단계를 포함하는 3차원 깊이데이터 업샘플링 방법. - 삭제
- 가이드영상 생성부에 의해, 대상체에 대해 획득된 컬러영상에 상기 대상체에 대해 획득된 거리영상과 관련된 깊이정보를 결합하여 가이드 영상을 생성하는 단계; 및
거리영상 업샘플링부에 의해, 상기 거리영상을 상기 가이드 영상을 이용하여 필터링하여 업샘플링함으로써 업샘플링 거리영상을 생성하는 단계를 포함하고,
상기 대상체에 대해 획득된 거리영상과 관련된 깊이정보는:
상기 대상체에 대해 획득된 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 생성된 거리 영상과 관련된 깊이정보인 3차원 깊이데이터 업샘플링 방법. - 제7항, 8항, 9항, 10항 및 12항 중 어느 한 항의 3차원 깊이데이터 업샘플링 방법을 실행하도록 컴퓨터로 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
- 대상체에 대해 컬러영상을 획득하도록 구성되는 컬러영상 획득부;
상기 대상체에 대해 거리영상을 획득하도록 구성되는 거리영상 획득부; 및
상기 컬러영상 및 상기 거리영상을 기반으로 상기 거리영상보다 높은 해상도를 가지는 3차원 스캐닝 데이터를 생성하도록 구성되는 데이터 처리부;를 포함하고,
상기 데이터 처리부는:
상기 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하도록 구성되는 제1 업샘플링부;
상기 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하도록 구성되는 가이드영상 생성부; 및
상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하도록 구성되는 제2 업샘플링부를 포함하고,
상기 제1 업샘플링부는:
상기 거리영상 중 비어 있는 제1 부분의 거리 데이터를 상기 제1 부분의 주위에 해당하는 제2 부분들의 거리 데이터를 이용하여 2차원 보간하여 상기 제1 업샘플링 거리영상을 생성하도록 구성되는 3차원 스캔 장치. - 컬러영상 획득부에 의해, 대상체에 대해 컬러영상을 획득하는 단계;
거리영상 획득부에 의해, 상기 대상체에 대해 거리영상을 획득하는 단계; 및
데이터 처리부에 의해, 상기 컬러영상 및 상기 거리영상을 기반으로 상기 거리영상보다 높은 해상도를 가지는 3차원 스캐닝 데이터를 생성하는 단계;를 포함하고,
상기 3차원 스캐닝 데이터를 생성하는 단계는:
상기 거리영상의 데이터를 보간하여 제1 업샘플링 거리영상을 생성하는 단계;
상기 컬러영상에 상기 제1 업샘플링 거리영상의 깊이정보를 결합하여 가이드 영상을 생성하는 단계; 및
상기 제1 업샘플링 거리영상을 상기 가이드 영상을 이용하여 필터링하여 제2 업샘플링 거리영상을 생성하는 단계;를 포함하는 3차원 스캔 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084426A KR102482532B1 (ko) | 2021-06-29 | 2021-06-29 | 3차원 깊이데이터 업샘플링 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084426A KR102482532B1 (ko) | 2021-06-29 | 2021-06-29 | 3차원 깊이데이터 업샘플링 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102482532B1 true KR102482532B1 (ko) | 2022-12-28 |
Family
ID=84538470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210084426A KR102482532B1 (ko) | 2021-06-29 | 2021-06-29 | 3차원 깊이데이터 업샘플링 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102482532B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210010276A (ko) * | 2019-07-17 | 2021-01-27 | 주식회사 유진로봇 | 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치 |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
-
2021
- 2021-06-29 KR KR1020210084426A patent/KR102482532B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210010276A (ko) * | 2019-07-17 | 2021-01-27 | 주식회사 유진로봇 | 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치 |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360235B (zh) | 一种基于光场数据的混合深度估计方法 | |
| US10554880B2 (en) | Image processing system, imaging apparatus, image processing method, and computer-readable storage medium | |
| JP5461568B2 (ja) | カラーおよび全色性チャネルｃｆａ画像の修正 | |
| US8988317B1 (en) | Depth determination for light field images | |
| US8950872B2 (en) | Image projecting device, image processing device, image projecting method, and computer-readable recording medium | |
| JP4870779B2 (ja) | デジタル画像露光量及びトーンスケールの調節 | |
| US20130058589A1 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| JP6060682B2 (ja) | 路面画像生成システム並びに影除去装置、方法及びプログラム | |
| CN101939978A (zh) | 高分辨率、可变景深的图像装置 | |
| JP6960997B2 (ja) | 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム | |
| JP2022020575A (ja) | 暗い画像の強調 | |
| KR101134665B1 (ko) | 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 | |
| KR102482532B1 (ko) | 3차원 깊이데이터 업샘플링 장치 및 그 방법 | |
| EP4206739A1 (en) | Artificial panorama image production and in-painting for occluded areas in images | |
| US11528412B2 (en) | Apparatus and method for stitching together multiple images | |
| CN114868384A (zh) | 用于图像处理的设备及方法 | |
| JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP6006675B2 (ja) | マーカ検出装置、マーカ検出方法、及びプログラム | |
| JP2013200840A (ja) | 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置 | |
| Jarron et al. | Multi-camera panoramic imaging system calibration | |
| RU2705423C1 (ru) | Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона | |
| US20030048279A1 (en) | Method and system for interpolation in color images | |
| KR102596408B1 (ko) | 3차원 스캔 장치 및 이를 이용한 3차원 스캔 방법 | |
| CN112102347A (zh) | 一种基于双目视觉的台阶检测和单级台阶高度估计方法 | |
| KR101724308B1 (ko) | 고 해상도 재현을 위한 영상 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |