KR102327304B1 - 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 - Google Patents

깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 Download PDF

Info

Publication number
KR102327304B1
KR102327304B1 KR1020200025150A KR20200025150A KR102327304B1 KR 102327304 B1 KR102327304 B1 KR 102327304B1 KR 1020200025150 A KR1020200025150 A KR 1020200025150A KR 20200025150 A KR20200025150 A KR 20200025150A KR 102327304 B1 KR102327304 B1 KR 102327304B1
Authority
KR
South Korea
Prior art keywords
image
depth
texture
camera
mask
Prior art date
Application number
KR1020200025150A
Other languages
English (en)
Other versions
KR20210108283A (ko
Inventor
서영호
김동욱
김경진
박병서
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20210108283A publication Critical patent/KR20210108283A/ko
Application granted granted Critical
Publication of KR102327304B1 publication Critical patent/KR102327304B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

다시점 카메라 시스템 상에서의 텍스처 깊이(RGB-Depth) 카메라를 통해 획득된 3D 이미지를 처리하여 품질을 향상시키는, 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 관한 것으로서, (a) 다시점의 깊이 영상 및 텍스처 영상을 획득하는 단계; (b) 상기 텍스처 영상의 밝기 값을 기준으로 이진 영상을 생성하고, 생성된 이진 영상으로 마스크 이미지를 생성하는 단계; (c) 상기 텍스처 영상에 상기 마스크 이미지를 적용하여 필터링하는 단계; (d) 필터링된 텍스처 영상에 알파 채널을 추가하여 1차 보정하는 단계; (e) 상기 깊이 영상에 상기 마스크 이미지로 필터링하는 단계; (f) 필터링된 깊이 영상에 시간 평균 필터링을 적용하여 보정하는 단계; (g) 히스토그램을 이용하여 1차 보정된 텍스처 영상을 2차 보정하는 단계; (h) 보정된 다시점의 깊이 영상으로부터 점군 데이터를 생성하고 표면 잡음을 제거하여 보정하는 단계; 및, (i) 보정된 점군 데이터로부터 곡면을 구성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 깊이 영상에서의 잡음, 인접 컬러 영상 간 조명 및 경계면 잡음, 점군 데이터의 잡음, 면 데이터의 잡음 등을 개선함으로써, 보다 정확한 3차원 영상을 획득할 수 있다.

Description

깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법 { A method of improving the quality of 3D images acquired from RGB-depth camera }
본 발명은 다시점 카메라 시스템 상에서의 텍스처 깊이(RGB-Depth) 카메라를 통해 획득된 3D 이미지를 처리하여 품질을 향상시키되, 깊이 영상에서의 잡음 개선, 인접 텍스처 영상(Texture, 컬러) 간 조명 보상 및 경계면 보간, 깊이 영상으로부터 전환된 점군 데이터의 잡음 개선, 점군 데이터로부터 복원된 면(Mesh) 데이터의 잡음 개선 등의 프로세스를 수행하는, 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 관한 것이다.
일반적으로, 컴퓨터 비젼, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중용성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다[비특허문헌 1, 2].
RGB-D(RGB 영상과 깊이 영상)에서 3차원 객체를 인식하는 전체 프로세스가 도 1에 도시되고 있다. 즉, 도 1에 도시되는 바와 같이, 깊이 카메라로부터 깊이 영상(depth frame)을 획득하고, RGB 카메라(또는 텍스처 카메라)로부터 텍스쳐(texture) 영상을 획득한다. 그리고 깊이 영상과 텍스쳐 영상 등 2차원 영상에 대하여 처리를 수행하고, 이들 영상으로부터 점군(또는 포인트 클라우드, point cloud)을 추출한다. 그리고 점군으로부터 메쉬를 생성하는 과정을 수행한다. 이러한 과정을 거쳐, 최종적으로 3차원 메쉬로 구성되는 3차원 객체가 추출된다.
그런데 도 1과 같은 처리 과정에서 다음과 같은 문제들을 해결해야 한다.
먼저, 깊이 영상을 획득 시 이용되는 구조광에 의해 발생되는 조명 잡음 문제와, DIBR에 의한 영상 합성 시 발생되는 경계 잡음 문제가 있다.
즉, 구조광 영상기반 깊이 영상 카메라는 보통의 카메라와 일정한 시각편차를 갖는 구조광 조사장치로 구성된다. 주변 조명과 구별되는 구조광 발생장치로는 적색(660[nm])의 가시광선 레이저, 혹은 적외선(780[nm]) 레이저가 흔히 사용되며, 점(point) 형태의 레이저를 구조적 형태로 변환하는 대표적인 방법으로는 광학회절소자를 이용하여 유리에 새겨진 패턴에 적외선 레이저를 투사하는 방법이 이용된다. 이와 같은 적외선 구조광 방식은 물체에 투사된 구조광의 반사, 번짐, 주파수 겹침 등의 현상과 주변 조명 잡음이 원인으로 깊이 영상획득 결과에 큰 오류를 포함할 수 있다.
또한, DIBR(Depth Image Based Rendering)을 이용한 영상 합성 시에 발생하는 경계 잡음은 원래 전경 영역에 속하던 화소가 배경으로 흩어져 나와 생성된 잡음이며, 이는 주로 참조 영상과 깊이 지도 간 경계 불일치나 참조 영상에서의 블러링 때문에 발생된다. 이러한 경계 잡음은 3D 영상의 품질을 저하시키는 주요 원인으로 작용한다.
또한, 깊이 영상의 조명잡음 및 경계 잡음의 원인 이외에도 상기 상황에서의 잡음은 RGB-Depth 카메라에서 시간 축으로 획득되는 모든 깊이 영상 프레임에 유동적으로 작용한다. 이것은 시간축 잡음 문제이다.
다음으로, 다시점 카메라에 의한 조명 불일치 문제이다. 조명 불일치를 일으키는 가장 큰 요인으로는 다시점 카메라 시스템의 서로 다른 카메라의 위치이다. 카메라의 서로 다른 시점에 따라 시점 영상 간의 조명 환경 또한 서로 상이하게 되고, 동일한 물체도 획득된 영상에 존재하는 구성과 반사광의 정도가 시점에 따라 다를 수 있다. 이와 같이 시점 간 동일 객체에 발생하는 조명 불일치를 국부적 조명 불일치(local illlumination mismatches)라 한다. 조명 불일치 현상은 인접한 시점 영상 간의 상관성을 떨어뜨려 인접한 시점의 영상을 면 데이터로 복원하는데 품질을 저하시키는 결과를 초래하게 된다.
또한, 점군 데이터 상에서의 표면 잡음 제거 문제도 있다. 즉, 적외선을 이용한 신호체공시간(Time-Of-Flight) 측정방식, 구조광 영상방식 등은 카메라와 촬영 물체의 거리와 물체의 모양에 따라 측정 정밀도가 달라진다는 단점이 있다. 모든 잡음은 복합적으로 작용하며 이와 같은 이유로 깊이 영상을 점군 데이터로 변환 했을 때 표면 및 경계부의 잡음을 특정하는데 높은 난이도를 요하게 된다.
또한, 객체의 점군(point cloud) 데이터에서 다각형 메쉬 등으로 구성할 때, 를 면 데이터 상에서 발생되는 잡음 문제도 있다.
따라서 상기과 같은 문제점을 해결하는 3차원 영상 생성 기술이 필요하다.
W. Lee, N. Park, W. Woo, "Depth-assisted 3D Object Detection for Augmented Reality," International Conference on Artificial reality and Telexistence, pp. 126-132, 2011. Park, Y., Lepetit, V., Woo, W., "Texture-less object tracking with online training an RGB-D camera", Int. Symp. Mixed and Augmented Reality (ISMAR), pp. 121-126 (2011)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 다시점 카메라 시스템 상에서의 텍스처-깊이(RGB-D) 카메라를 통해 획득된 깊이 및 텍스쳐 영상으로부터 3차원 객체를 생성하되, 깊이 영상에서의 잡음 개선, 인접 컬러 영상(Texture) 간 조명 보상 및 경계면 보간, 깊이 영상으로부터 전환된 점군 데이터의 잡음 개선, 점군 데이터로부터 복원된 면(Mesh) 데이터의 잡음 개선 등의 프로세스를 수행하는, 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 관한 것으로서, (a) 다시점의 깊이 영상 및 텍스처 영상을 획득하는 단계; (b) 상기 텍스처 영상의 밝기 값을 기준으로 이진 영상을 생성하고, 생성된 이진 영상으로 마스크 이미지를 생성하는 단계; (c) 상기 텍스처 영상에 상기 마스크 이미지를 적용하여 필터링하는 단계; (d) 필터링된 텍스처 영상에 알파 채널을 추가하여 1차 보정하는 단계; (e) 상기 깊이 영상에 상기 마스크 이미지로 필터링하는 단계; (f) 필터링된 깊이 영상에 시간 평균 필터링을 적용하여 보정하는 단계; (g) 히스토그램을 이용하여 1차 보정된 텍스처 영상을 2차 보정하는 단계; (h) 보정된 다시점의 깊이 영상으로부터 점군 데이터를 생성하고 표면 잡음을 제거하여 보정하는 단계; 및, (i) 보정된 점군 데이터로부터 곡면을 구성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (b)단계에서, 상기 이진 영상에 모폴로지 연산 중 닫기 연산을 반복하여 이진 영상의 잡음을 제거하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (c)단계에서, 상기 텍스처 영상에서 마스크 영역의 밝기값을 유지하고, 마스크 외 영역의 밝기값을 가장 작게 설정하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (d)단계에서, 필터링된 텍스처 영상에 투명도의 알파 채널을 추가하고, 텍스처 영상에서 특정 거리 이상의 영역의 알파값을 0으로 설정하되, 특정 거리 이상의 영역은 해당 깊이 영상의 영역의 깊이값이 사전에 설정된 임계 거리 이상인 영역인 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (e)단계에서, 상기 깊이 영상에서 마스크 영역의 깊이값을 유지하고, 마스크 외 영역의 깊이값을 가장 크게 설정하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (f)단계에서, 상기 깊이 영상에서 마스크 영역에 해당하는 필터링된 영역에 대해서만 시간 평균 필터링을 수행하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (f)단계에서, 상기 깊이 영상의 현재 프레임 및, 이전 시간의 적어도 하나의 프레임의 동일한 위치의 픽셀 값들을 평균하고, 평균한 값으로 상기 깊이 영상의 픽셀 값을 보정하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (g)단계에서, 히스토그램 명세화(histogram specification) 방식을 수행하여 상기 텍스처 영상을 보정하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (h)단계에서, 상기 점군 데이터에 대하여 클러스터링을 진행하고 각 포인트의 법석 벡터를 산출하고, 인접 포인트 간의 법선 벡터 내적을 통해 주변 포인트와 상관도가 사전에 정해진 기준치 보다 높은 포인트(이하 바운더리 포인트)를 검출하고, 검출된 바운더리 포인트들에 의해 형성된 경계에 대하여 경계 영역 밖의 포인트를 삭제하는 것을 특징으로 한다.
또, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서, 상기 (i)단계에서, 곡면을 구성할 때, 정점 간의 거리를 이용하여 보정하여 구성하되, 곡면의 각 면에 대하여 면에 대향하는 적어도 2개의 변 중에서 하나 변이 임계값 이하일 때만 면으로 구성하고, 각 면을 구성하는 정점의 x, y, z좌표에 대해 각 최소(min) 최대(max) 값을 계산한 뒤 만들어진 AABB박스의 부피에 임계 값을 설정하여 출력을 제한하는 것을 특징으로 한다.
또한, 본 발명은 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 의하면, 깊이 영상에서의 잡음, 인접 컬러 영상 간 조명 및 경계면 잡음, 점군 데이터의 잡음, 면 데이터의 잡음 등을 개선함으로써, 보다 정확한 3차원 영상을 획득할 수 있는 효과가 얻어진다.
도 1은 종래기술에 따른 텍스처 및 깊이 영상에서 3차원 객체를 생성하는 방법을 설명하는 흐름도.
도 2는 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 마스크 이미지 생성 및 텍스처 영상의 마스킹 과정을 예시한 도면.
도 5는 본 발명의 일실시예에 따른 마스크 적용으로 조명 잡음이 제거된 영상의 예시도.
도 6은 본 발명의 일실시예에 따른 마스크 적용으로 경계 잡음이 제거된 영상의 예시도.
도 7은 본 발명의 일실시예에 따른 시간 평균 필터링 전 후의 한 픽셀의 시간축으로의 값의 변화를 나타낸 그래프.
도 8은 본 발명의 일실시예에 따른 필터링 전 후의 160번째 열의 값의 변화를 나타낸 그래프.
도 9은 본 발명의 일실시예에 따른 조명 보상 적용된 컬러 영상 또는 텍스처 영상의 예시도.
도 10은 본 발명의 일실시예에 따른 점군 데이터 생성 및 보정 단계를 설명하는 세부 흐름도.
도 11은 본 발명의 일실시예에 따른 점군 데이터의 표면 잡음 특정 방법을 예시한 도면.
도 12는 본 발명의 일실시예에 따른 면 데이터 생성 단계를 설명하는 세부 흐름도.
도 13는 본 발명의 일실시예에 따른 면 데이터의 잡음 유형을 나타낸 예시도.
도 14은 본 발명의 일실시예에 따른 메쉬를 구성하는 정점 영상에 대한 예시도.
도 15는 본 발명의 일실시예에 따른 AABB 박스의 작성 예시도.
도 16는 본 발명의 일실시예에 따른 AABB박스의 부피계산을 통한 잡음면 특정 영상에 대한 예시도.
도 17은 발명의 일실시예에 따른 도 13의 면 데이터의 잡음을 개선한 예시도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명에 따른 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법은 카메라 시스템(20)에 의해 촬영된 다시점 깊이 및 텍스처 이미지(60)를 입력받아 3차원 객체 또는 3차원 영상을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 3D 영상의 품질 향상 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 3D 영상의 품질 향상 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 깊이 및 색상 이미지에서 포인트 클라우드를 정합하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 3D 영상의 품질 향상 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
한편, 카메라 시스템(20)은 물체(10)에 대해 서로 다른 시점으로 촬영하는 다수의 RGB-D 카메라 또는 텍스처-깊이 카메라(21)로 구성된다.
또한, 각 RGB-D 카메라(21)는 깊이 카메라 및 텍스처 카메라(또는 RGB 카메라, 색상 카메라)를 포함한다. 텍스처 카메라는 통상의 RGB카메라로서, 물체(10)의 텍스처 영상(또는 컬러 영상, 색상 영상) 또는 텍스처 이미지(62)를 획득한다.
또한, 깊이 카메라는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상 또는 깊이 이미지(61)를 출력한다. 특히, 깊이 카메라는 보통의 카메라와 일정한 시각편차를 갖는 구조광 영상 기반 깊이 영상 카메라이다. 즉, 일정한 패턴의 레이저를 물체에 투사하고 반사된 빛의 왜곡된 패턴을 검출하여 깊이를 측정한다. 바람직하게는, 구조광은 적색(660[nm])의 가시광선 레이저, 혹은 적외선(780[nm]) 레이저를 사용한다. 일례로서, 광학회절소자를 이용하여 유리에 새겨진 패턴에 적외선 레이저를 투사하여 구조광을 형성할 수 있다.
카메라 시스템(20)에 의해 촬영된 다시점 깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 3D 영상의 품질 향상 시스템(40)에 의해 처리된다. 또는, 다시점 깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 3D 영상의 품질 향상 시스템(40)에 의해 저장된 깊이-텍스처 영상(60)을 읽어 입력될 수도 있다.
영상은 시간상으로 연속된 프레임으로 구성된다. 예를 들어, 현재시간 t의 프레임을 현재 프레임이라고 하면, 직전시간 t-1의 프레임은 이전 프레임이라고 하고, t+1의 프레임은 다음 프레임이라고 부르기로 한다. 한편, 각 프레임은 텍스처 영상(또는 컬러 이미지) 및 깊이 영상(또는 깊이 정보)을 갖는다.
특히, 다시점 RGB-D 카메라(21)의 개수만큼 물체(10)에 대해 서로 다른 시점으로 촬영하고, 특정 시간 t에서, 카메라 개수만큼의 다시점 깊이 및 텍스처 영상(61,62)이 획득된다.
한편, 깊이영상(61) 및 텍스처 영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.
다시점 깊이 영상 및 텍스처 영상에서 3차원 영상 또는 객체를 생성하는 것은, 곧 깊이/텍스처 프레임(또는 이미지) 각각에서 검출하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이나 이미지의 용어를 혼용하기로 한다.
다음으로, 본 발명의 일실시예에 따른 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법을 도 3을 참조하여 설명한다.
먼저, 카메라 시스템(20)으로부터 다시점의 깊이 영상 및 텍스처 영상(또는 컬러 영상)을 획득한다(S10). 즉, 다시점 깊이 및 텍스처 영상은 각기 다른 시점으로 설치된 다수의 RGB-D 카메라(21)로부터 쵤영된 영상이다.
바람직하게는, 텍스처 영상(또는 컬러 영상, 색상 영상)은 RGB 영상이다. 각 RGB-D 카메라(21)에서 촬영된 깊이 영상과 텍스처 영상은 동일한 시점에서 촬영된 영상이다. 또한, 깊이 영상은 구조광 기반에 의해 획득된 깊이 영상이다.
다시점의 개수가 M개(적어도 2 이상)이고, 모두 M개의 각 시점의 텍스처 영상 및 깊이 영상이 입력된다. 또한, 각 영상은 시간상으로 연속된 프레임으로 입력된다.
다음으로, 텍스처 영상의 이진 영상을 생성하여 마스크 이미지를 생성한다(S20). 즉, 텍스처 영상의 이진 영상을 생성하여 보정하고, 보정된 이진 영상으로 마스크 이미지를 생성한다. 구체적으로, 텍스처 영상에서 밝기 값을 기준으로 임계값을 설정하고, 설정된 임계값으로 텍스처 영상을 이진화 하여 이진 영상을 생성한다. 일례로서, 임계값 또는 임계 범위 126 또는 126 ~ 255의 밝기값으로 설정한다. 즉, 임계값 126 이상이거나 임계 범위 126 ~ 255에 포함된 영역을 이진화 한다.
또한, 이진 영상에 모폴로지 연산 중 닫기(closing) 연산을 반복하여, 이진 영상의 잡음이 제거되도록 이진 영상을 보정한다. 즉, 이진화 과정에서 피부에 반사광 등에 의해 유실된 영역(이진 영상에서의 홀 hole 등)을 모플로지 연산 중 닫기 연산 반복을 통해 복원한다.
또한, 그리고 보정된 이진 영상으로 마스크 이미지 또는 마스크 영상을 생성한다. 즉, 이진화 한 후, 이진 영상을 반전하여 마스크 이미지를 생성한다. 마스크 이미지는 객체의 외각선 안쪽이 255를 갖고, 외각선 바깥쪽이 0을 갖는다. 한편, 이러한 이진화 방식이나 마스크 영상의 설정 방식은 일례일 뿐, 이외 다양한 형태가 될 수 있다.
이 단계는 마스크 이미지 또는 마스크 영상을 생성하는 과정은 텍스처 영상에서 배경과 전경을 구분하는 의미를 가진다. 이와 같이 생성된 마스크 영상의 예시가 도 4의 "Mask Generation" 이미지에 나타나고 있다.
다음으로, 원본 텍스처 영상(또는 원본 컬러 영상)을 마스크 이미지로 필터링(마스킹)하여, 텍스처 영상에서 마스크 영역 외를 제외시킨다(S31).
즉, 텍스처 영상(또는 원본 텍스처 영상)에 마스크 이미지로 마스킹 하여, 텍스처 영상에서 마스크 영역은 원 영상을 유지시키고, 텍스처 영상에서 마스크 영역 외의 영역은 밝기값을 가장 작게 설정한다. 즉, 마스크 외 영역을 0으로 설정한다.
다음으로, 마스킹된 텍스처 영상에 투명도의 알파 채널을 추가하고, 특정 거리 이상의 영역의 알파 값을 0으로 설정한다(S32).
먼저, 텍스처 영상에 투명도의 알파 채널을 추가한다. 즉, 텍스처 영상에는 RGB 채널 외에 투명도의 A 채널이 추가된다. 이때, 투명도의 알파 채널의 디폴트 값은 1(완전 불투명)로 설정한다. 투명도는 0 ~ 1 까지의 값을 가지면, 0일 때 완전 투명하고, 1일 때 완전 불투명이다.
깊이 영상과 텍스처 영상 간을 정렬한다. 즉, 서로 픽셀의 위치가 대응되도록 일치시킨다. RGB-D 카메라로 촬영된 깊이 맵과 텍스쳐 영상은 해상도와 촬영되는 카메라의 렌즈 구경에 따라 왜곡 정도가 다르므로, 이것을 일치시키는 작업을 의미한다.
깊이 영상의 특정 영역 또는 특정 픽셀에서, 그 깊이 값 또는 Z값이 사전에 설정된 임계 거리 이상이면, 해당 영역 또는 픽셀에 대응되는 텍스처 영상의 알파 채널 값(또는 알파 값)을 완전 투명 또는 0으로 설정한다. 객체는 임계 거리가 가깝고, 배경은 임계 거리가 멀다. 따라서 임계 거리를 통해 객체를 추출할 수 있다. 즉, 배경 영역의 알파 채널을 투명하게 설정한다.
다른 실시예로서, 깊이 영상에서 임계 거리로 깊이 이진 영상(또는 깊이 마스크 영상)을 생성하고, 이진 영상 또는 깊이 마스크 영상으로 알파 채널의 영상을 마스킹 한다.
앞서 텍스처 영상의 보정 과정(S20, S31, S32)이 도 4에 도시되고 있다. 도 4의 과정에 의하여, 텍스처 영상에서 조명 잡음 및 경계 잡음이 제거된다. 또한, 도 5 및 도 6에 각각 마스크 적용으로 조명 잡음 및 경계 잡음이 제거된 영상을 예시하고 있다.
도 5의 첫 번째 영상과 세 번째 영상에 예시된다. 즉, 도 5의 첫 번째 영상 오른쪽 하단 작은 이미지가 깊이 영상이다. 도 5의 깊이 영상에 텍스처 영상을 정렬하여 매핑하면 도 5의 첫 번째 큰 영상처럼 출력된다. 이때 도 5의 첫 번째 영상에 거리에 따른 임계값(임계 거리)을 적용하지 않았으므로, 배경의 파티션이 함께 출력된다. 도 5의 첫 번째 영상에 1M이내 객체만 출력하면 도 5의 두 번째와 같이 파티션이 제거된 영상이 출력된다.
또한, 도 5의 두 번째 영상에 컬러영상 마스크만 적용하면 깊이정보에서는 데이터가 있지만 텍스처 영상에서 마스크가 적용되어 투명도가 0이 되므로 화면에서 조명 잡음이 사라진 영상, 즉, 도 5의 세번째와 같은 영상이 출력된다. 마스크는 깊이 정보 맵에서 동일하게 적용될 수 있는데 이 경우에는 잡음이 단순히 투명해 지는 것이 아니라 실제 깊이정보에서 잡음 데이터가 삭제된다.
즉, 마스크를 깊이영상에 적용하는 것과 텍스처 영상에 적용하는 것 두가지를 모두 수행한다. 컬러영상에 적용하면 잡음이 투명해지고, 깊이정보에 적용하면 잡음 데이터가 삭제된다.
한편, 다시점 영상인 경우, M개 다시점의 깊이 및 텍스처 영상이 있으면, M개 각각의 영상에 대하여 위의 과정을 수행한다.
다음으로, 깊이 영상에 대해 메디안 블러링(median blurring) 등 전처리를 수행한다(S41).
객체 패딩(object padding)은 침식연산(Erode)을 수행하던 프로세스이다. 외각선을 찾아서 패딩(padding)하여 경계선을 굵게 만들어 클립핑하던 방식과, 침식(erode) 방식으로 안쪽으로 침식시키는 방식, 그리고 마스킹 방식 세가지 모두 사용할 수 있는데 본 발명에서는 마스킹(Masking) 방식으로 통일한다.
메디안 블러링은 데이터 균일화 한다. 메디안 방식은 3×3 윈도우를 이용하여 평균값을 취하는 방식을 사용한다.
다음으로, 깊이 영상에 앞서 단계(S20)에서 구한 마스크 이미지로 필터링을 수행한다(42).
즉, 깊이 영상에서 마스크 영역(마스크 이미지의 마스크 영역에 대응하는 깊이 영상의 영역)은 유지하고, 마스크 외 영역은 제외시킨다. 바람직하게는, 깊이영상에서 마스크 외 영역의 깊이값을 가장 크게 설정한다.
다음으로, 깊이 영상에 시간 평균 필터링(Temporal Average Filtering)을 적용한다(S50). 특히, 필터링된 깊이 영상에 대해서만 시간 평균 필터링을 수행한다. 다시 말하면, 깊이 영상에서 마스크 영역에서만 시간 평균 필터링을 수행한다.
바람직하게는, 깊이 영상의 현재 프레임(시간 t 프레임)에 대하여 이전 시간의 적어도 M개(바람직하게는, 4개)의 프레임(시간 t-4, t-3, t-2, t-1 등 프레임)을 참조하여 평균값을 취해준다. 특히, 동일한 위치의 픽셀 값들을 평균한다.
이때, 현재 프레임도 포함한다. 예를 들어, 현재 프레임에 이전의 4개의 프레임을 참조하여 총 5개의 깊이 이미지를 이용하여 필터링을 진행한다. 최종 깊이 영상의 각 픽셀값은 5개의 깊이 이미지의 각 픽셀의 평균값으로 결정된다.
상기 과정에 의해, RGB-D 카메라(21)에서 시간 축으로 획득되는 모든 깊이 영상 프레임에 유동적으로 작용되는 시간축 잡음을 제거할 수 있다.
도 7은 각각 시간 평균 필터링 전 후의 한 픽셀의 시간축으로의 값의 변화를 나타내고, 도 8은 필터링 전 후의 160번째 열의 값의 변화를 나타내고 있다.
다음으로, 히스토그램을 이용하여 텍스처 영상을 보정한다(S60).
다시점 텍스처 영상은 서로 다른 카메라의 위치에 의해 획득되므로, 각 위치에 따른 조명 불일치에 의하여 각 시점의 텍스처 영상 간에 객체의 상관성이 떨어지는 문제점이 있다. 따라서 다시점 텍스처 영상에 대하여, 조명 보상 및 인접 영상 간 경계면 보간을 수행해야 한다.
이러한 문제점을 해결하기 위해 히스토그램 매칭 방법을 적용한다. 이는 특정 모양의 히스토그램을 생성된 디지털 영상의 히스토그램에 포함하여 영상의 일부 영역의 명암 대비(콘트라스트)를 개선하기 위해 사용된다. 다시점 카메라 시스템 상에서의 RGB-D 카메라의 컬러 영상 또는 텍스처 영상(Texture)을 획득하고 영상의 누적 히스토그램을 정해진 참조 영상의 누적 히스토그램으로 매칭한다. 이를 통해 텍스처 영상의 조명 성분의 불일치를 보상하여 텍스쳐 품질을 향상할 수 있다.
먼저, 입력된 컬러영상 또는 텍스처 영상(Texture)의 히스토그램을 생성한다(S61).
다음으로, 텍스처 영상의 히스토그램을 평활화 한다(S62). 즉, 컬러 영상의 히스토그램을 평활화를 위해 정규화된 누적 빈도 수의 함수 T를 구한 뒤 다음 변환식을 얻는다. 여기서 P는 원본 영상의 화소값, q는 평활화 값이다.
[수학식 1]
Figure 112020021413018-pat00001
여기서 설명하는 방식은 히스토그램 명세화(Histogram Specification) 히스토그램 매칭, 히스토그램 명세화 등으로 총칭된다. 즉, 기준이 되는 영상이 있을 때 기준 영상의 화소값이 같을 경우 단순 누적 덧셈한다. 즉 화소 값은 화소의 수의 형태로 저장한다. 일례로서, 밝기 1은 밝기 1인 픽셀 개수이고, 밝기2는 밝기2인 픽셀 개수이다.
다음으로, 평활화된 컬러 영상(텍스처 영상)의 히스토그램(또는 균일 분포된 히스토그램)을 얻는다(S63). 변환식을 바탕으로 입력된 컬러영상(Texture)의 평활화를 수행하여 입력된 컬러 영상(Texture)의 균일 분포된 히스토그램을 얻는다. 즉, 평활화된 컬러 영상의 히스토그램이 균일 분포된 히스토그램이다.
다음으로, 인접 시점 컬러영상 히스토그램의 정규화된 누적 빈도 수 함수 G를 구하고, 역변환 함수가 있는 변환식을 구한 뒤 인접 시점 컬러영상의 평활화를 수행한다(S64). 여기서 Z는 인접 시점 컬러영상 히스토그램의 명도 값, v는 평활화 값이다.
[수학식 2]
Figure 112020021413018-pat00002
이때, 인접시점 영상에 대한 정의는 정면에 대해 좌, 정면에 대해 우, 우측에 대해 후면, 좌측에 대해 후면 식으로 쌍으로 이루어지며 개별적으로 진행된다.
다음으로, 인접 시점 컬러영상의 평활화를 수행하여 균일 분포된 히스토그램을 얻는다(S65).
다음으로, 평활화 된 인접 시점 컬러영상 히스토그램을 역평활화하여 역변환 함수를 구한다(S66). 여기서 역변환 함수는 실제 룩업테이블이 된다.
[수학식 3]
Figure 112020021413018-pat00003
다음으로, 앞서 단계(S46)에서 구한 역변환 함수를 이용하여 평활화 된 원본 컬러 영상의 히스토그램을 인접시점 컬러영상의 히스토그램으로 변환한다(S67).
[수학식 4]
Figure 112020021413018-pat00004
앞서 과정은 히스토그램 매칭, 명세화 방식이다. 생성된 룩업 테이블(LOOKUP TABLE)을 이용하여 기준 히스토그램에 인접 영상 히스토그램 모양을 일치시키는 방식이다. 히스토그램 명세화를 각각의 카메라에 순차 적용하여 전체 영상을 균일하게 만든다.
다음으로, 다시점의 깊이 영상(M개의 깊이 영상)으로부터 점군 데이터를 생성하고, 표면 잡음을 제거한다(S70). 점군 데이터를 생성하고 보정하는 전체 과정은 도 10에 도시된 바와 같다.
먼저, 깊이 영상에서 점군 데이터를 생성한다. 다시점 영상에서 점군(point cloud) 데이터를 생성하는 방법은 통상의 방법을 적용한다. 따라서 점군 데이터의 구체적 생성 방법은 생략한다. 이때, 다시점의 깊이 영상(M개의 깊이영상)에서 점군 데이터를 생성한다.
이때, 적외선을 이용한 신호체공시간(Time-Of-Flight) 측정방식, 구조광 영상방식 등은 카메라와 촬영 물체의 거리와 물체의 모양에 따라 측정 정밀도가 달라진다. 따라서 이러한 잡음에 의하여 점군 데이터를 생성할 때 표면 잡음이 발생한다.
관련 기술에서 상기 이미지 잡음 제거 방법은 평균화(averaging), 중앙값(median) 결정 외에 주변 데이터와의 상관도와 법선의 특정을 위한 데이터 간 클러스터링 방법을 포함한다.
가. 점군 데이터의 잡음 제거를 위해 먼저 근접한 데이터 중 유사한 데이터끼리 분류하는 클러스터링을 진행한 후 각 포인트의 법선벡터를 찾는다.
나. 인접(neighborhood) 포인트(point) 간의 법선벡터 내적을 통해 주변 포인트와 상관도가 떨어지는 포인트를 계산한다. 이 과정을 통해 주변 포인트클라우드와 상관성이 높은 포인트만 남는다. 이 포인트가 바운더리 포인트(boundary point)가 된다.
다. 이 과정에서 팔과 다리 등 원래 객체(object)의 굴곡이 심하여 노이즈가 아닌 데이터 임에도 주변 포인트와 상관도가 떨어지는 포인트들을 판별하기 위한 과정이 외부 점군 제거 방식(Exterior Point Cloud Removal)이다. 나. 에서 말한 방식으로 제거되지 않은 포인트를 바운더리 포인트 boundary(Pn)로 설정한다.
라. 즉, 원본의 점군 데이터의 포인트를 대상으로 경계(boundary) 영역 밖에 존재하는지 검사한다. 경계(boundary) 밖의 포인트를 삭제한다. 경계(boundary) 검사 방법은 다음과 같다.
원본의 점군 데이터에서 대상 포인트와 가장 근접해 있는 경계(boundary) 점(포인트)와의 단위 벡터를 구한다. 경계점(boundary point)의 법선 벡터(normal vector)와 내적(dot product)을 진행한다. 이 값이 양수이면 경계(boundary) 안의 점(point)라고 판단하여 복원한다.
도 11은 점군 데이터의 표면 잡음 특정 방법을 도시하고 있다. 도 11에서, Pori1 부분의 점을 제거하고 Pori2 부분의 점을 포함시킨다.
앞서 과정의 가와 나의 과정을 통해 주변 포인트와 상관도가 높은 포인트만 남는다. 이 남겨진 포인트들은 노이즈일 확률이 낮은 포인트라고 판단하여 이 포인트들을 바운더리(boundary)로 설정한다.
포인트 클라우드는 객체(object)의 표면에 위치하고 있기 때문에 노이즈도 객체(object)의 표면근처에 위치한다. 따라서 표면이 어딘지 정의를 해주게 되면 표면이라고 정의된 위치 밖의 포인트는 노이즈일 확률이 높다.
따라서 i번째 포인트(Pi)가 노이즈인지 판별하기 위해, 앞서 가, 나 과정을 통해 설정한 바운더리 포인트(bundary point)의 법선벡터의 방향과 이 바운더리 포인트(bundary point)를 향하는 단위벡터의 내적이 필요하다. 이때 내적 결과가 양수가 되면 경계 안쪽에 위치하고 있는 포인트이므로 노이즈가 아니라고 판단되고, 음수가 된다면 노이즈로 판단된다. 도 11의 상황을 예로 들어 설명하자면, 경계 안쪽에 위치한 Pori2는 바운더리(boundary) 포인트의 법선벡터인 P3와 내적하게 되면 양수가 되고 경계바깥쪽에 위치한 Pori1에 대한 내적결과는 음수가 된다. 가~라 순서대로 진행된다.
다음으로, 점군 데이터로부터 곡면을 재구성하고, 재구성된 곡면을 보정한다(S80). 재구성 및 보정 단계의 세부 단계는 도 11에 도시된 바와 같다.
먼저, 점군 데이터로부터 곡면 또는 면을 재구성한다(S81).
즉, 입력된 객체의 점군(pointcloud) 데이터로부터 다각형 메쉬(polygon mesh), 매개화 곡면(parametric surface), 또는 공간상의 함수의 영 집합(zero-set)과 같은 명시적인 표현 형태로 변환하는 것을 곡면 재구성(surface reconstruction)이라 한다. 앞서의 프로세스에서 개선되지 않는 잡음의 형태는 유형에 따라 도 11과 같이 표현할 수 있다.
도 13의 A는 곡면 재구성 과정에서 x,y 좌표상 인접해 있지만 z축 거리가 크게 차이나는 이어진 면을 나타낸다. B는 깊이 영상에서의 조명 잡음이 남아 있는 경우, C는 깊이 영상에서의 경계 잡음이 남아있는 경우를 나타낸다.
구체적으로, 재구성된 면에 대하여 정점 간의 거리를 이용하여 일정한 거리 이하를 가지는 면만 출력한다(S82). 즉, 도 13의 A의 경우 면을 구성하는 정점 간 거리를 구하여 일정 거리 이하를 가지는 면만 출력함으로서 해결한다. 즉, 도 14에서 보는 바와 같이, 면을 구성하는 정점인 P1 P2의 거리가 임계값 이하 이거나 P3 P4의 거리가 임계 값 이하일 때만 면을 출력 한다. 즉, 면의 대향하는 적어도 2개의 변 중에서 하나 변이 임계값 이하일 때만 면으로 구성한다.
[수학식 5]
Figure 112020021413018-pat00005
여기서, pi.x, pi.y, pi.z는 정점 Pi의 3차원 좌표이다.
위의 식에서, 정점 P1과 P2, 정점 P3와 P4는 정점 간의 2개의 거리를 예시하고 있다. 이것은 면의 대향하는 적어도 2개의 변 중에서 하나 변이 임계값 이하일 때만 면으로 구성한다.
다음으로, 도 13의 B와 C의 경우, 각 면을 구성하는 정점의 x, y, z좌표에 대해 각 최소(min) 최대(max) 값을 계산한 뒤 만들어진 AABB박스의 부피에 임계 값을 설정하여 출력을 제한한다. 노이즈는 특정방향으로 길게 늘어지는 특징을 보이므로 도 15 및 도 16와 같이 잡음을 특정할 수 있다.
도 15의 경우 면의 부피에 따라 경계 잡음을 비롯한 다양한 잡음을 특정하였으나, 목 등과 같이 본래 부피가 큰 영역의 면을 구분하지 못하는 단점이 있다. 따라서 각 면에 대한 법선 벡터를 계산하고 이의 방향이 Y축으로 음수와 인접할 때를 예외로 처리한다.
도 17은 도 13의 원래 곡면 데이터에서 잡음이 개선된 영상을 나타내고 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 홀로그램 데이터 20 : 카메라 시스템
21 : RGB-D 카메라
30 : 컴퓨터 단말 40 : 품질 향상 시스템
60 : 다시점 텍스처-깊이 영상 61 : 깊이 영상
62 : 텍스처 영상

Claims (11)

  1. 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법에 있어서,
    (a) 다시점의 깊이 영상 및 텍스처 영상을 획득하는 단계;
    (b) 상기 텍스처 영상의 밝기 값을 기준으로 이진 영상을 생성하고, 생성된 이진 영상으로 마스크 이미지를 생성하는 단계;
    (c) 상기 텍스처 영상에 상기 마스크 이미지를 적용하여 필터링하는 단계;
    (d) 필터링된 텍스처 영상에 알파 채널을 추가하여 1차 보정하는 단계;
    (e) 상기 깊이 영상에 상기 마스크 이미지로 필터링하는 단계;
    (f) 필터링된 깊이 영상에 시간 평균 필터링을 적용하여 보정하는 단계;
    (g) 히스토그램을 이용하여 1차 보정된 텍스처 영상을 2차 보정하는 단계;
    (h) 보정된 다시점의 깊이 영상으로부터 점군 데이터를 생성하고 표면 잡음을 제거하여 보정하는 단계; 및,
    (i) 보정된 점군 데이터로부터 곡면을 구성하는 단계를 포함하고,
    상기 (b)단계에서, 상기 이진 영상에 모폴로지 연산 중 닫기 연산을 반복하여 이진 영상의 잡음을 제거하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (c)단계에서, 상기 텍스처 영상에서 마스크 영역의 밝기값을 유지하고, 마스크 외 영역의 밝기값을 가장 작게 설정하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  4. 제1항에 있어서,
    상기 (d)단계에서, 필터링된 텍스처 영상에 투명도의 알파 채널을 추가하고, 텍스처 영상에서 특정 거리 이상의 영역의 알파값을 0으로 설정하되, 특정 거리 이상의 영역은 해당 깊이 영상의 영역의 깊이값이 사전에 설정된 임계 거리 이상인 영역인 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  5. 제1항에 있어서,
    상기 (e)단계에서, 상기 깊이 영상에서 마스크 영역의 깊이값을 유지하고, 마스크 외 영역의 깊이값을 가장 크게 설정하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  6. 제1항에 있어서,
    상기 (f)단계에서, 상기 깊이 영상에서 마스크 영역에 해당하는 필터링된 영역에 대해서만 시간 평균 필터링을 수행하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  7. 제1항에 있어서,
    상기 (f)단계에서, 상기 깊이 영상의 현재 프레임 및, 이전 시간의 적어도 하나의 프레임의 동일한 위치의 픽셀 값들을 평균하고, 평균한 값으로 상기 깊이 영상의 픽셀 값을 보정하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  8. 제1항에 있어서,
    상기 (g)단계에서, 히스토그램 명세화(histogram specification) 방식을 수행하여 상기 텍스처 영상을 보정하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  9. 제1항에 있어서,
    상기 (h)단계에서, 상기 점군 데이터에 대하여 클러스터링을 진행하고 각 포인트의 법석 벡터를 산출하고, 인접 포인트 간의 법선 벡터 내적을 통해 주변 포인트와 상관도가 사전에 정해진 기준치 보다 높은 포인트(이하 바운더리 포인트)를 검출하고, 검출된 바운더리 포인트들에 의해 형성된 경계에 대하여 경계 영역 밖의 포인트를 삭제하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  10. 제1항에 있어서,
    상기 (i)단계에서, 곡면을 구성할 때, 정점 간의 거리를 이용하여 보정하여 구성하되, 곡면의 각 면에 대하여 면에 대향하는 적어도 2개의 변 중에서 하나 변이 임계값 이하일 때만 면으로 구성하고, 각 면을 구성하는 정점의 x, y, z좌표에 대해 각 최소(min) 최대(max) 값을 계산한 뒤 만들어진 AABB박스의 부피에 임계 값을 설정하여 출력을 제한하는 것을 특징으로 하는 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법.
  11. 제1항, 제3항 내지 제10항 중 어느 한 항의 깊이영상 카메라로부터 획득된 3D 영상의 품질 향상 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200025150A 2020-02-25 2020-02-28 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 KR102327304B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200023094 2020-02-25
KR20200023094 2020-02-25

Publications (2)

Publication Number Publication Date
KR20210108283A KR20210108283A (ko) 2021-09-02
KR102327304B1 true KR102327304B1 (ko) 2021-11-17

Family

ID=77794373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025150A KR102327304B1 (ko) 2020-02-25 2020-02-28 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법

Country Status (1)

Country Link
KR (1) KR102327304B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463409B (zh) * 2022-02-11 2023-09-26 北京百度网讯科技有限公司 图像深度信息的确定方法、装置、电子设备和介质
KR20240020051A (ko) * 2022-08-05 2024-02-14 숙명여자대학교산학협력단 자동차 내부 카메라를 이용한 hud 캘리브레이션 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2019516261A (ja) * 2016-02-18 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2019516261A (ja) * 2016-02-18 2019-06-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
KR20210108283A (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
Shen et al. Layer depth denoising and completion for structured-light rgb-d cameras
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US20160321838A1 (en) System for processing a three-dimensional (3d) image and related methods using an icp algorithm
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN110738731B (zh) 一种用于双目视觉的3d重建方法和系统
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
CN115035235A (zh) 三维重建方法及装置
Lin et al. The initial study of LLS-based binocular stereo-vision system on underwater 3D image reconstruction in the laboratory
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
Cho et al. Dynamic 3D human actor generation method using a time-of-flight depth camera
Tallón et al. Upsampling and denoising of depth maps via joint-segmentation
Jaiswal et al. 3D object modeling with a Kinect camera
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
Xu et al. Kinect-based easy 3d object reconstruction
CN115034988A (zh) 一种基于rgbd相机的两阶段主体点云滤波方法
Gelautz et al. Recognition of object contours from stereo images: an edge combination approach
Schmalz et al. A graph-based approach for robust single-shot structured light
Cao et al. Depth image vibration filtering and shadow detection based on fusion and fractional differential

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right