KR101539038B1 - 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법 - Google Patents

복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법 Download PDF

Info

Publication number
KR101539038B1
KR101539038B1 KR1020140116208A KR20140116208A KR101539038B1 KR 101539038 B1 KR101539038 B1 KR 101539038B1 KR 1020140116208 A KR1020140116208 A KR 1020140116208A KR 20140116208 A KR20140116208 A KR 20140116208A KR 101539038 B1 KR101539038 B1 KR 101539038B1
Authority
KR
South Korea
Prior art keywords
depth
hole
depth camera
image
structured light
Prior art date
Application number
KR1020140116208A
Other languages
English (en)
Inventor
원치선
윤석민
송완빈
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020140116208A priority Critical patent/KR101539038B1/ko
Application granted granted Critical
Publication of KR101539038B1 publication Critical patent/KR101539038B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

복수의 깊이 카메라를 사용할 때 구조화 광패턴(Structured light pattern) 간의 간섭에 의해 중첩 영역에 발생하는 홀을 제거하기 위한 홀 필링 방법(Hole-filling method)으로서, 상기 구조화 광패턴을 사용하는 제1 깊이 카메라를 턴 온(Turn on)시켜, 상기 제1 깊이 카메라를 통해서 취득된 제1 깊이 데이터를 사전 저장하는 단계; 상기 제1 깊이 카메라가 턴 온된 상태에서, 상기 구조화 광패턴을 사용하는 제2 깊이 카메라를 시간차를 두고 턴 온시키는 단계; 상기 제1 깊이 카메라 및 상기 제2 깊이 카메라의 동시 작동에 따라, 상기 구조화 광패턴 간의 간섭에 의해 상기 중첩 영역에 발생된 홀을 포함하는 깊이 영상을 취득하는 단계; 및 상기 홀이 상기 깊이 영상에서 배경(Background) 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 위치의 값으로 대체하여 상기 배경 영상 영역에 속하는 홀을 채우는 단계를 포함하는 홀 필링 방법이 제공된다.

Description

복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법{Hole-filling method for depth map obtained from multiple depth camera}
본 발명은 3D(3-Dimensional) 영상을 구축하기 위해 이용되는 깊이 카메라의 시야각(Field of View)을 확대하기 위한 기술에 관한 것으로서, 보다 구체적으로는 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법에 관한 것이다.
실내 환경에서 시야각을 확장하기 위해 복수의 깊이 카메라를 이용하는 요구가 증대하고 있다. 구조화 광패턴(Structured light pattern)을 사용하는 깊이 카메라의 경우, 복수의 깊이 카메라를 사용할 때 서로의 패턴 간에 간섭이 일어나 깊이 맵에 홀(hole)이 발생하는 단점이 있다. 이러한 단점을 극복하기 위하여 복수의 깊이 카메라를 사용할 때 간섭을 없애는 방법이 제안되어왔다.
먼저, 복수의 깊이 카메라 각각의 프로젝터(패턴을 주사하는 카메라)를 일정 시간 간격으로 껐다 켰다 하는 타임 멀티플렉싱(Time-multiplexing) 방법이 제안되었는데, 이는 프레임 속도가 떨어지고 복수의 카메라의 전원 on/off를 완벽하게 동기화 시키는데 어려움이 있다. (K. Berger, K. Ruhl, C. Brㆌmmer, Y. Schrㆆder, A. Scholz, M. Magnor, "Markerless motion capture using multiple color depth sensors. In Proceedings of Vision modeling and visualization (VMV), pp.317-324, October 2011)
다른 방법으로는 두 대의 깊이 카메라를 사용할 경우, 한 대의 깊이 카메라에 진동기(vibrator)를 달아서 깊이 카메라에 진동을 주는 방법이다. 이는 주사하는 패턴 또한 진동시켜 서로간의 간섭이 일어나지 않게 할 수 있다. 하지만 깊이 카메라를 사용 할 때에 컬러 카메라도 같이 사용하는데 이 컬러 영상 또한 진동이 되어 결과적으로 흐려진(blurring) 컬러 영상을 얻게 된다. (A. Maimone and H. Fuchs, "Reducing interference between multiple structured light depth sensors using motion", IEEE Virtual Reality Short Papers and Posters(VRW), Costa Mesa, CA, USA, pp. 51-54, March 2012, D.A. Butler, S. Izadi, O. Hilliges, D. Molyneaux, S. Hodges, and D. Kim, "Shake'n'sense: Reducing interference for overlapping structured light depth cameras", Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems. New York, NY, USA, pp. 1933-1936, May 2012)
또 다른 방법으로는 주변 깊이 값들을 이용한 홀 필링(hole-filling)방법도 제안 되었는데, 이는 간섭에 의하여 발생한 홀(hole)은 채울 수 있으나 가려진 영역(occlusion)에서 발생되는 홀은 무시되어, 얻어진 깊이 맵이 정확하지 않다는 단점이 있다. (A. Maimone, H. Fuchs, "Encumbrance-free telepresence system with real-time 3D capture and display using commodity depth cameras", Mixed and Augmented Reality (ISMAR), Basel, Switzerland, pp. 137-146, October 2011)
상술한 기존의 방법은 문제 해결을 위해(즉, 간섭에 의해 발생한 홀을 채우기 위해) 추가적인 장치가 필요하거나, 부정확한 결과를 낳는 문제가 있다. 따라서 추가적인 장치를 요구하지 않으면서도, 더욱 정확한 결과를 얻을 수 있는 신규 방법이 요구된다.
본 발명은 구조화 광패턴(Structured light pattern)을 사용하는 복수의 깊이 카메라를 사용할 때, 두 깊이 카메라 간의 간섭에 의해 발생하는 홀(Hole)을 채우는 방법을 제공한다.
본 발명의 일 측면에 따르면, 복수의 깊이 카메라를 사용할 때 구조화 광패턴(Structured light pattern) 간의 간섭에 의해 중첩 영역에 발생하는 홀을 제거하기 위한 홀 필링 방법(Hole-filling method)으로서,
상기 구조화 광패턴을 사용하는 제1 깊이 카메라를 턴 온(Turn on)시켜, 상기 제1 깊이 카메라를 통해서 취득된 제1 깊이 데이터를 사전 저장하는 단계; 상기 제1 깊이 카메라가 턴 온된 상태에서, 상기 구조화 광패턴을 사용하는 제2 깊이 카메라를 시간차를 두고 턴 온시키는 단계; 상기 제1 깊이 카메라 및 상기 제2 깊이 카메라의 동시 작동에 따라, 상기 구조화 광패턴 간의 간섭에 의해 상기 중첩 영역에 발생된 홀을 포함하는 깊이 영상을 취득하는 단계; 및 상기 홀이 상기 깊이 영상에서 배경(Background) 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 위치의 값으로 대체하여 상기 배경 영상 영역에 속하는 홀을 채우는 단계를 포함하는 홀 필링 방법이 제공된다.
일 실시예에서, 상기 간섭에 의해 상기 중첩 영역에 발생된 홀이 움직임 객체에 의한 영상 영역에 속하는지 또는 상기 배경 영상 영역에 속하는지를 판별하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 판별하는 단계는,
상기 중첩 영역을 포함하는 연속하는 적어도 2개의 프레임의 컬러 영상을 취득하는 단계; 상기 연속하는 적어도 2개의 프레임 간의 프레임 차이(Frame difference)에 근거하여 상기 중첩 영역 내의 움직임 객체의 존재 유무를 판별하는 단계를 포함할 수 있다.
일 실시예에서, 상기 홀이 상기 깊이 영상에서 움직임 객체에 의한 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 홀에 이웃하여 위치하는 홀이 아닌 깊이 데이터를 이용하여 보간(interpolation)을 수행함으로써, 상기 움직임 객체에 의한 영상 영역에 속하는 홀을 채우는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 복수의 깊이 카메라를 사용할 때 구조화 광패턴(Structured light pattern) 간의 간섭에 의해 중첩 영역에 발생하는 홀을 제거하기 위한 홀 필링 방법(Hole-filling method)에 관한 컴퓨터 프로그램으로서,
상기 구조화 광패턴을 사용하는 제1 깊이 카메라가 턴 온(Turn on)됨에 따라 취득된 제1 깊이 데이터를 사전 저장하는 단계; 상기 제1 깊이 카메라가 턴 온된 상태에서, 상기 구조화 광패턴을 사용하는 제2 깊이 카메라가 시간차를 두고 턴 온됨에 따라, 상기 제1 깊이 카메라 및 상기 제2 깊이 카메라의 동시 작동에 의해 취득되는 깊이 영상을 저장하는 단계-여기서, 상기 깊이 영상은, 상기 구조화 광패턴 간의 간섭에 의해 상기 중첩 영역에 발생된 홀을 포함함-; 및 상기 홀이 상기 깊이 영상에서 배경(Background) 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 위치의 값으로 대체하여 상기 배경 영상 영역에 속하는 홀을 채우는 단계를 포함하는 컴퓨터 프로그램이 제공된다.
일 실시예에서, 상기 컴퓨터 프로그램은, 상기 간섭에 의해 상기 중첩 영역에 발생된 홀이 움직임 객체에 의한 영상 영역에 속하는지 또는 상기 배경 영상 영역에 속하는지를 판별하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 판별하는 단계는,
상기 중첩 영역을 포함하는 연속하는 적어도 2개의 프레임의 컬러 영상이 수신되었을 때, 상기 연속하는 적어도 2개의 프레임 간의 프레임 차이(Frame difference)에 근거하여 상기 중첩 영역 내의 움직임 객체의 존재 유무를 판별하는 단계를 포함할 수 있다.
일 실시예에서, 상기 컴퓨터 프로그램은, 상기 홀이 상기 깊이 영상에서 움직임 객체에 의한 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 홀에 이웃하여 위치하는 홀이 아닌 깊이 데이터를 이용하여 보간(interpolation)을 수행함으로써, 상기 움직임 객체에 의한 영상 영역에 속하는 홀을 채우는 단계를 더 포함할 수 있다.
본 발명은 복수의 깊이 카메라 사용 시 각각의 구조적 패턴에 의한 간섭으로 인해 생긴 홀(hole)을 채우는 방법에 관한 것으로, 본 발명의 실시예에 의하면 복수의 깊이 카메라를 이용하여도 숨겨진 영역(occlusion)이나 홀(hole) 없이 깨끗한 깊이 맵을 얻을 수 있다.
또한 본 발명의 실시예에 의하면, 복수의 깊이 카메라를 이용하여 시야각이 향상된 파노라마 깊이 맵을 얻을 수 있고, 실내에서의 3D 영상의 재구성을 더 효과적으로 할 수 있으며, 이를 통해 복잡한 물체 추적 및 여러 사람의 동작 인식의 응용에 적용될 수 있다.
도 1은 구조화 광패턴을 이용하는 2대의 깊이 카메라에 의해 간섭이 발생될 수 있는 중첩 영역을 설명하기 위한 예시 도면.
도 2는 본 발명의 실시예에 따른 홀 필링 방법을 설명하기 위한 도면.
도 3은 배경 영역에 발생한 홀을 채우는 방법을 설명하기 위한 예시 도면.
도 4는 움직임 객체를 포함하는 깊이 카메라 영상을 예시한 도면.
도 5는 움직임 객체를 판별하기 위한 컬러 영상 간의 차분 영상을 예시한 도면.
도 6은 움직임 객체에 속한 홀을 채우기 위한 보간 방법을 예시한 도면.
도 7은 움직임 객체를 포함하는 깊이 카메라 영상에서의 홀 필링 방법을 설명하기 위한 예시 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
본 발명은 구조화 광패턴(Structured light pattern)에 기반한 두 대 이상의 깊이 카메라(예를 들어, Microsoft의 Kinect 카메라 또는 능동 적외적 센서를 갖춘 깊이 카메라 등)를 사용할 시, 두 기기 사이의 간섭을 없애는 시스템에 관한 것이다. 일반적으로 깊이 카메라의 화각을 넓히기 위하여 복수의 깊이 카메라를 사용하게 되는데, 구조화 광패턴(Structured light pattern)을 사용하는 깊이 카메라의 경우 각자의 패턴에 상대의 패턴이 간섭을 일으켜 깊이 값을 알 수 없는 홀(Hole)이 발생한다. 이를 보완하기 위하여 초기에 각각의 깊이 카메라에 시간차를 두어 순차적으로 작동시켜서 배경에 대한 기준 깊이 영상(Reference depth image)을 생성하고, 이를 활용하여 복수의 깊이 카메라가 동시에 작동 시 발생하는 홀 문제를 해결하는 방법 및 그 시스템에 관한 발명이다.
본 발명은 2개 이상의 깊이 카메라의 케이스에도 적용될 수 있으나, 설명의 편의 및 집중을 위해 본 명세서에서는 2개의 깊이 카메라를 이용하는 경우를 중심으로 설명하기로 한다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 구조화 광패턴을 이용하는 2대의 깊이 카메라에 의해 간섭이 발생될 수 있는 중첩 영역을 설명하기 위한 예시 도면이다. 도 1은 본 발명의 실시예에 따라 적용될 수 있는 복수의 깊이 카메라 배치도의 일예이다. 두 깊이 카메라의 배치는 본 발명에서 별다른 제약을 받지 않으나, 편리한 이해를 돕기 위하여 도 1과 같이 설정하였다. 도 1에 도시된 바와 같이, 제1 깊이 카메라(110)와 제2 깊이 카메라(120)를 동시에 사용할 경우 주사되는 구조화 광패턴(130)(예를 들어, Dot pattern 등)이 겹치는 중첩 영역(140)에 간섭이 일어나게 되어 홀(hole)이 발생하게 된다.
도 2는 본 발명의 실시예에 따른 홀 필링 방법을 설명하기 위한 전체 흐름도이다.
먼저, 본 발명의 실시예에서는 복수의 깊이 카메라를 사용할 때 초기치 설정(100)이 필요하다. 시스템을 구동하기 전에 복수의 깊이 카메라를 동시에 켜지 않고 도 2에 도시된 바와 같이 복수의 깊이 카메라를 시간차를 두고 작동시킨다. 도 1에서의 배치를 예로 들면, 두 대의 깊이 카메라를 사용하는 경우에 우선 한 대의 깊이 카메라(본 예에서는 제1 깊이 카메라(110))만을 턴 온시켜서 간섭이 없는 깊이 데이터(141)(즉, 기준 깊이 영상)를 저장한다.
일정 시간이 지난 후(즉, 앞서 취득된 간섭이 없는 깊이 데이터(141)를 저장한 후, 나머지 한 대의 깊이 카메라(본 예에서는 제2 깊이 카메라(120))도 함께 턴 온시킨다. 이 경우, 두 대의 깊이 카메라가 모두 작동하므로, 그 2개의 구조화 광패턴이 겹치는 중첩 영역(도 1의 도면번호 140 참조)에 간섭이 일어나서 홀(hole)이 발생하게 된다.
이에 따라, 간섭이 일어난 깊이 영상이 취득되면, 중첩 영역(140)에 발생한 홀(hole)을 분류(200)한다. 즉, 움직이는 물체(즉, 움직임 객체) 추적(Moving Object Detection)(210) 방법을 이용하여, 해당 깊이 영상에서 움직임 객체에 속하는 홀(hole)과 기준 배경(Background)에 속하는 홀(hole)을 분류한다.
홀(hole)을 분류할 때에 깊이 데이터의 경우 깜빡거리는 현상 때문에 움직임 물체 추적이 힘들다. 따라서 본 발명의 실시예에서는 움직임 객체 추적(210)을 컬러(RGB)영상에서 실시한다. Kinect 카메라의 경우, 깊이 영상 이외에 컬러 영상도 제공한다. 다만, Kinect 카메라를 활용하는 경우가 아니라면, 적어도 홀이 발생하는 중첩 영역을 포괄하는 컬러 영상을 획득할 수 있는 카메라가 별도 구비함으로써, 컬러 영상을 획득할 수 있을 것이다.
상술한 바와 같이 중첩 영역을 포함하는 연속하는 2개(그 이상이어도 무방함)의 프레임의 컬러 영상을 취득하고, 그 2개의 프레임 간의 프레임 차이(또는, 차분 영상)에 근거하면 그 중첩 영역 내의 움직임 객체의 존재 유무를 판별할 수 있다(도 4 및 도 5 참조). 여기서, 도 4는 움직임 객체를 포함하는 깊이 카메라 영상을 예시한 도면이고, 도 5는 움직임 객체를 판별하기 위한 컬러 영상 간의 차분 영상을 예시한 도면이다.
이에 따라, 분류한 홀(hole)들 중 기준 배경에 속하는 홀(hole)은 초기치 설정(initialization)에서 기 저장된 간섭이 없는 깊이 데이터(141)에서의 해당 홀 위치의 깊이 데이터 값으로 대체함으로써, 배경 영상 영역에 속하는 홀을 채울 수 있다. 이에 대한 예시가 도 3에 도시된다. 도 3의 (a)는 어느 하나의 깊이 카메라에 의해 취득된 기준 깊이 영상을 나타내고, 도 3의(b)는 2대의 깊이 카메라를 동시 작동시켰을 때 간섭에 의해 발생하는 중첩 영역(붉은색 점선 박스)에서의 홀을 나타내고, 도 3의 (c)는 발생된 홀의 위치를 나타내고, 도 3의(d)는 중첩 영역의 배경 영상 영역에 발생된 홀을 도 3의 (a)의 기준 깊이 영상의 해당 위치의 깊이 데이터로 대체하여 홀을 채운 깊이 영상을 나타낸 것이다.
위와 달리, 움직임 객체에 속하는 홀(hole)들은 그 홀 주변에 이웃하는 홀이 아닌 깊이 데이터들을 이용하여 보간(interpolation)을 실시함으로써 홀(hole)을 채울 수 있다.
홀(hole)이 움직임 객체에 속하는 홀(152)일 경우 객체가 움직이고 있기 때문에 초기치 설정(100)에서 저장한 간섭이 없는 깊이 데이터(141)을 사용할 수 없다. 따라서 도 4와 같이 움직임 객체에 포함되는 홀(hole)의 주변 픽셀(neighborhood pixel)(153)을 이용하여 보간(interpolation)을 실시한다. 움직임 객체가 추적되었기 때문에 그 객체에 포함된 주변 픽셀을 이용하면 홀(hole)을 올바른 깊이 데이터로 대체 할 수 있다.
도 6을 참조하면, h(i, j)의 홀을 채우기 위해, 해당 홀 위치에 이웃하는 주변의 복수의 홀이 아닌 깊이 데이터인 h(i-2, j), h(i+4, j), h(i, j-2), h(i, j+2)를 이용한 보간을 수행하는 예가 도시되어 있다. 이와 같은 보간이 수행되면, 도 7의 (b)에서와 같이 움직임 객체 영역에 속한 홀이 채워진 간섭이 제거된 깊이 영상을 획득할 수 있다. 여기서, 도 7의 (a)는 움직임 객체 영역에 홀이 발생된 최초의 깊이 영상을 나타낸다.
상술한 바와 같이, 각각의 분류된 홀들이 채워지면, 전반적으로 간섭이 없는 깊이 영상(또는 깊이 맵)을 얻을 수 있다.
일 구현례에서, 상술한 본 발명의 실시예에 따른 홀 필링 방법은 컴퓨터가 읽을 수 있는 프로그램 코드로 구현될 수 있다. 이때, 본 발명의 실시예에 따른 홀 필링 방법에 관한 컴퓨터 프로그램은, 사용자의 컴퓨터에 설치되거나 온라인 상에서 다운로드 되는 방식으로, 독립된 또는 다른 프로그램과 병합된 형태로 제품화(즉, 소프트웨어 프로덕트)될 수 있다.
다른 구현례에서, 본 발명의 실시예에 따른 홀 필링 방법은 상기 컴퓨터 프로그램의 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 여기서, 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (8)

  1. 복수의 깊이 카메라를 사용할 때 구조화 광패턴(Structured light pattern) 간의 간섭에 의해 중첩 영역에 발생하는 홀을 제거하기 위한 홀 필링 방법(Hole-filling method)으로서,
    상기 구조화 광패턴을 사용하는 제1 깊이 카메라를 턴 온(Turn on)시켜, 상기 제1 깊이 카메라를 통해서 취득된 제1 깊이 데이터를 사전 저장하는 단계;
    상기 제1 깊이 카메라가 턴 온된 상태에서, 상기 구조화 광패턴을 사용하는 제2 깊이 카메라를 시간차를 두고 턴 온시키는 단계;
    상기 제1 깊이 카메라 및 상기 제2 깊이 카메라의 동시 작동에 따라, 상기 구조화 광패턴 간의 간섭에 의해 상기 중첩 영역에 발생된 홀을 포함하는 깊이 영상을 취득하는 단계; 및
    상기 홀이 상기 깊이 영상에서 배경(Background) 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 위치의 값으로 대체하여 상기 배경 영상 영역에 속하는 홀을 채우는 단계를 포함하는 홀 필링 방법.
  2. 제1항에 있어서,
    상기 간섭에 의해 상기 중첩 영역에 발생된 홀이 움직임 객체에 의한 영상 영역에 속하는지 또는 상기 배경 영상 영역에 속하는지를 판별하는 단계를 더 포함하는 홀 필링 방법.
  3. 제2항에 있어서,
    상기 판별하는 단계는,
    상기 중첩 영역을 포함하는 연속하는 적어도 2개의 프레임의 컬러 영상을 취득하는 단계;
    상기 연속하는 적어도 2개의 프레임 간의 프레임 차이(Frame difference)에 근거하여 상기 중첩 영역 내의 움직임 객체의 존재 유무를 판별하는 단계를 포함하는 홀 필링 방법.
  4. 제3항에 있어서,
    상기 홀이 상기 깊이 영상에서 움직임 객체에 의한 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 홀에 이웃하여 위치하는 홀이 아닌 깊이 데이터를 이용하여 보간(interpolation)을 수행함으로써, 상기 움직임 객체에 의한 영상 영역에 속하는 홀을 채우는 단계를 더 포함하는 홀 필링 방법.
  5. 복수의 깊이 카메라를 사용할 때 구조화 광패턴(Structured light pattern) 간의 간섭에 의해 중첩 영역에 발생하는 홀을 제거하기 위한 홀 필링 방법(Hole-filling method)에 관한 컴퓨터 구현 방법으로서,
    상기 구조화 광패턴을 사용하는 제1 깊이 카메라가 턴 온(Turn on)됨에 따라 취득된 제1 깊이 데이터를 사전 저장하는 단계;
    상기 제1 깊이 카메라가 턴 온된 상태에서, 상기 구조화 광패턴을 사용하는 제2 깊이 카메라가 시간차를 두고 턴 온됨에 따라, 상기 제1 깊이 카메라 및 상기 제2 깊이 카메라의 동시 작동에 의해 취득되는 깊이 영상을 저장하는 단계-여기서, 상기 깊이 영상은, 상기 구조화 광패턴 간의 간섭에 의해 상기 중첩 영역에 발생된 홀을 포함함-; 및
    상기 홀이 상기 깊이 영상에서 배경(Background) 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 위치의 값으로 대체하여 상기 배경 영상 영역에 속하는 홀을 채우는 단계를 포함하는 컴퓨터 구현 방법.
  6. 제5항에 있어서,
    상기 간섭에 의해 상기 중첩 영역에 발생된 홀이 움직임 객체에 의한 영상 영역에 속하는지 또는 상기 배경 영상 영역에 속하는지를 판별하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  7. 제6항에 있어서,
    상기 판별하는 단계는,
    상기 중첩 영역을 포함하는 연속하는 적어도 2개의 프레임의 컬러 영상이 수신되었을 때, 상기 연속하는 적어도 2개의 프레임 간의 프레임 차이(Frame difference)에 근거하여 상기 중첩 영역 내의 움직임 객체의 존재 유무를 판별하는 단계를 포함하는, 컴퓨터 구현 방법.
  8. 제7항에 있어서,
    상기 홀이 상기 깊이 영상에서 움직임 객체에 의한 영상 영역에 속하는 홀인 경우, 사전 저장된 상기 제1 깊이 데이터에서의 해당 홀에 이웃하여 위치하는 홀이 아닌 깊이 데이터를 이용하여 보간(interpolation)을 수행함으로써, 상기 움직임 객체에 의한 영상 영역에 속하는 홀을 채우는 단계를 더 포함하는, 컴퓨터 구현 방법.
KR1020140116208A 2014-09-02 2014-09-02 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법 KR101539038B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140116208A KR101539038B1 (ko) 2014-09-02 2014-09-02 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140116208A KR101539038B1 (ko) 2014-09-02 2014-09-02 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법

Publications (1)

Publication Number Publication Date
KR101539038B1 true KR101539038B1 (ko) 2015-07-24

Family

ID=53876048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140116208A KR101539038B1 (ko) 2014-09-02 2014-09-02 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법

Country Status (1)

Country Link
KR (1) KR101539038B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN109996057A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 深度相机的控制方法及驱动装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110127899A (ko) * 2010-05-20 2011-11-28 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
KR20120054799A (ko) * 2010-11-22 2012-05-31 광운대학교 산학협력단 다시점 깊이영상을 이용하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110127899A (ko) * 2010-05-20 2011-11-28 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
KR20120054799A (ko) * 2010-11-22 2012-05-31 광운대학교 산학협력단 다시점 깊이영상을 이용하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996057A (zh) * 2017-12-29 2019-07-09 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质

Similar Documents

Publication Publication Date Title
EP3189495B1 (en) Method and apparatus for efficient depth image transformation
US11756223B2 (en) Depth-aware photo editing
CN109660783B (zh) 虚拟现实视差校正
JP5536071B2 (ja) 空間光パターンに基づく深さデータの生成
US10223839B2 (en) Virtual changes to a real object
EP3200451B1 (en) Projector optimization method and system
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
US9525821B2 (en) Video stabilization
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
CN107480615B (zh) 美颜处理方法、装置及移动设备
JP2020508479A (ja) 撮影装置により撮影されたイメージに基づく投影領域自動補正方法及びこのためのシステム
US10129471B2 (en) Method, apparatus and system for detecting location of laser point on screen
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
KR101842141B1 (ko) 3차원 스캐닝 장치 및 방법
KR101539038B1 (ko) 복수의 깊이 카메라로부터 취득한 깊이 맵의 홀 필링 방법
US20180143523A1 (en) Spherical omnipolar imaging
US20200021787A1 (en) Projector, projection method, image processing system, and method
JP2020523957A (ja) マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器
WO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
RU2018100833A (ru) Способ, устройство и система для формирования видеосигнала
JP2014135006A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 4