KR20180077547A - 깊이 영상 생성 방법 및 깊이 영상 생성 장치 - Google Patents

깊이 영상 생성 방법 및 깊이 영상 생성 장치 Download PDF

Info

Publication number
KR20180077547A
KR20180077547A KR1020160182002A KR20160182002A KR20180077547A KR 20180077547 A KR20180077547 A KR 20180077547A KR 1020160182002 A KR1020160182002 A KR 1020160182002A KR 20160182002 A KR20160182002 A KR 20160182002A KR 20180077547 A KR20180077547 A KR 20180077547A
Authority
KR
South Korea
Prior art keywords
frame
depth image
superpixel
image
depth
Prior art date
Application number
KR1020160182002A
Other languages
English (en)
Inventor
김중규
정철곤
윤인용
권병현
부석훈
강현련
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160182002A priority Critical patent/KR20180077547A/ko
Publication of KR20180077547A publication Critical patent/KR20180077547A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 깊이 영상 생성 방법은 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 단계; 상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 단계; 상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 단계; 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 단계; 및 상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 단계를 포함한다.

Description

깊이 영상 생성 방법 및 깊이 영상 생성 장치{DEPTH MAP GENERATING METHOD AND DEPTH MAP GENERATING DEVICE}
본 발명은 깊이 영상 생성 방법 및 깊이 영상 생성 장치에 관한 것이다.
영화 아바타의 흥행 이후로 3D 콘텐츠에 대한 관심도가 높아졌고 3D 콘텐츠는 영화 시장에서 이미 주류 콘텐츠로 자리잡았다. 그에 비해 가정용 3DTV가 보급되었지만 아직 3D 콘텐츠는 여러 장벽으로 인해 주류 콘텐츠로 자리잡지 못하였다. 그 장벽 중 하나는 한정된 대역폭이다.
3D 영상은 두 양안 시점 영상을 양쪽 눈에 각각 입사시켜야 해서 기존의 방식으로 3DTV 방송을 송출하려면 필요 대역폭이 두 배로 증가된다. 한정된 주파수 대역폭에 기존 방식으로 3DTV 방송을 송출시키려면 콘텐츠의 수를 줄여야 하고 콘텐츠의 수가 수익으로 직결되는 방송사의 입장에서는 3D 방송이 기존 2D 방송보다 더 많은 수익을 올려야 한다. 하지만 안경식 3DTV의 불편함, 장시간 시청 시 겪는 어지러움 등의 이유로 시청률이 낮아 방송사의 입장에서는 3D 방송 대신 2D 방송을 더 송출하는 것이 이득인 문제점이 있다.
그리하여 필요 대역폭을 줄이기 위해 3D 영상을 압축하려는 여러 노력이 있었고 그 중 하나가 DIBR(Depth Image Based Rendering)이다(비특허문헌 1 참조). DIBR은 깊이 영상과 컬러 영상을 조합하여 새로운 시점의 컬러 영상을 생성하는 방법으로 깊이 영상은 컬러 영상에 비해 복잡도가 낮아 용량을 줄일 수 있다. 깊이 영상을 이용하면 양안 시점의 컬러 영상보다 용량을 줄일 수 있지만 더 줄이기 위해 깊이 전파 방법(depth propagation)이 연구되고 있다.
깊이 전파 방법은 키 프레임(key frame)의 기준 깊이 지도(reference depth map)를 이용하여 넌키 프레임(non-key frame)의 쿼리 깊이 지도(query depth map)를 추정하는 알고리즘이다. 깊이 전파 방법을 이용하면 매 프레임마다 깊이 영상을 송출할 필요 없이 키 프레임의 깊이 영상만 보내고 넌키 프레임으로 증식시키면 되기 때문에 필요 대역폭을 획기적으로 줄일 수 있다.
C. Fehn, "Depth Image Based Rendering (DIBR), compression and transmission for a new approach on 3D-TV," in Proc. SPIE Stereoscopic Disp. Virtual Reality Syst. XI. pp. 93-104, (Jan. 2004).
해결하고자 하는 기술적 과제는 낮은 연산 비용으로 슈퍼 픽셀의 생성 및 매칭을 통해 대응하는 컬러 영상에 대한 깊이 영상을 생성하는 깊이 영상 생성 방법 및 깊이 영상 생성 장치를 제공하는 데 있다.
본 발명의 한 실시예에 따른 깊이 영상 생성 방법은, 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 단계; 상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 단계; 상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 단계; 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 단계; 및 상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 단계를 포함한다.
상기 제2 프레임 초기 깊이 영상을 생성하는 단계는 상기 제1 프레임 컬러 영상, 상기 제1 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상에 대해 바이래터럴 필터링(bilateral filtering)하여 제2 프레임 초기 깊이 영상을 1차로 생성하는 단계; 및 1차로 생성된 상기 제2 프레임 초기 깊이 영상과 상기 제1 프레임 깊이 영상에 대해 산출된 모션 벡터(motion vector)를 이용하여 상기 제1 프레임 깊이 영상을 와핑함으로써 상기 제2 프레임 초기 깊이 영상을 2차로 생성하는 단계를 포함할 수 있다.
상기 제1 슈퍼 픽셀 그룹을 생성하는 단계는 상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하는 단계; 상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하는 단계; 및 재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성하는 단계를 포함할 수 있다.
상기 제1 슈퍼 픽셀 그룹을 생성하는 단계에서, 상기 중심 점 좌표인
Figure pat00001
는 아래 수학식에 따라 상기 기준 범위인
Figure pat00002
내에서 상기 컬러 값 차이인
Figure pat00003
, 상기 거리 값 차이인
Figure pat00004
, 상기 깊이 값 차이인
Figure pat00005
에 따라 재설정될 수 있다,
Figure pat00006
.
상기 매칭하는 단계에서, 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭할 수 있다.
상기 모양 값 차이는 상기 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 너비 값 및 높이 값 차이일 수 있다.
상기 제2 프레임 깊이 영상 중 깊이 정보가 없는 홀(hole)을 템플릿 매칭(template matching)하여 채우는 단계를 더 포함할 수 있다.
상기 채우는 단계에서, 상기 홀이 위치하는 제2 슈퍼 픽셀을 템플릿으로 하여 주변 픽셀 중 컬러 정보 차이가 가장 작은 영역을 탐색하여 매칭하고, 매칭된 영역의 깊이 정보를 이용하여 상기 홀을 채울 수 있다.
상기 깊이 영상 생성 방법은, 제3 프레임 컬러 영상, 제3 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상을 이용하여 상기 제2 프레임 깊이 영상과 대응하는 제2 프레임 깊이 대응 영상을 생성하는 단계; 및 상기 제2 프레임 깊이 영상과 상기 제2 프레임 깊이 대응 영상에 각각 가중치를 적용하여 더함으로써 상기 제2 프레임 깊이 영상을 보정하는 단계를 더 포함할 수 있다.
상기 깊이 영상 생성 방법은, 상기 제2 프레임 깊이 영상에 아래 수학식에 따른 가중치
Figure pat00007
를 적용함으로써 가이디드 필터링(guided filtering)하는 단계를 더 포함하고,
Figure pat00008
, 상기
Figure pat00009
는 윈도우
Figure pat00010
내의 픽셀 개수이고, 상기
Figure pat00011
는 i 번째 컬러 정보이고, 상기
Figure pat00012
는 j 번째 컬러 정보이고, 상기
Figure pat00013
는 윈도우
Figure pat00014
내의 컬러 정보의 평균 값이고, 상기
Figure pat00015
는 윈도우
Figure pat00016
내의 컬러 정보의 표준편차 값일 수 있다.
본 발명의 한 실시예에 따른 깊이 영상 생성 장치는 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 제2 프레임 초기 깊이 영상 생성부; 상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 제1 슈퍼 픽셀 그룹 생성부; 상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 제2 슈퍼 픽셀 그룹 생성부; 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 매칭부; 및 상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 제2 프레임 깊이 영상 생성부를 포함할 수 있다.
상기 제1 슈퍼 픽셀 그룹 생성부는 상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하고, 상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하고, 재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성할 수 있다.
상기 매칭부는 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭할 수 있다.
본 발명에 따른 깊이 영상 생성 방법 및 깊이 영상 생성 장치는 낮은 연산 비용으로 슈퍼 픽셀의 생성 및 매칭을 통해 대응하는 컬러 영상에 대한 깊이 영상을 생성할 수 있다.
도 1은 본 발명의 한 실시예에 따른 깊이 영상 생성 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 깊이 영상 생성 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 한 실시예에 따라 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 슈퍼 픽셀 생성에 따른 효과를 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따라 제2 프레임 깊이 대응 영상을 이용하여 제2 프레임 깊이 영상을 보정하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따른 가이디드 필터링을 설명하기 위한 도면이다.
도 7는 본 발명의 한 실시예에 따른 깊이 영상 생성 장치를 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 크기 및 두께를 과장되게 나타낼 수 있다.
도 3은 본 발명의 한 실시예에 따라 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 깊이 영상을 생성하는 과정을 설명하기 위한 도면이고, 도 4는 본 발명의 한 실시예에 따른 슈퍼 픽셀 생성에 따른 효과를 설명하기 위한 도면이고, 도 5는 본 발명의 한 실시예에 따라 제2 프레임 깊이 대응 영상을 이용하여 제2 프레임 깊이 영상을 보정하는 과정을 설명하기 위한 도면이고, 도 6은 본 발명의 한 실시예에 따른 가이디드 필터링을 설명하기 위한 도면이다.
이하에서 각 실시예를 설명함에 있어서, 도 3 내지 6을 참조하여 설명한다.
도 1은 본 발명의 한 실시예에 따른 깊이 영상 생성 방법을 설명하기 위한 도면이다.
본 발명의 한 실시예에 따른 깊이 영상 생성 방법은 기록 매체에 프로그램으로서 기록될 수도 있다. 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터 또는 프로그램이 저장될 수 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드디스크, 외장하드디스크, SSD, USB 저장 장치, DVD, 블루레이 디스크 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 복수 장치의 조합일 수도 있으며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수도 있다. 이러한 기록매체는 비일시적인 컴퓨터로 읽을 수 있는 기록매체(non-transitory computer readable medium)일 수 있다. 비일시적인 컴퓨터로 읽을 수 있는 기록매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터 또는 프로그램을 저장하는 매체가 아니라 반영구적으로 데이터 또는 프로그램을 저장하며, 컴퓨터에 의해 판독가능한 매체를 의미한다.
도 1을 참조하면 본 발명의 한 실시예에 따른 깊이 영상 생성 방법은 제2 프레임 초기 깊이 영상을 생성하는 단계(S101), 제1 슈퍼 픽셀 그룹을 생성하는 단계(S102), 제2 슈퍼 픽셀 그룹을 생성하는 단계(S103), 제1 슈퍼 픽셀 그룹 및 제2 슈퍼 픽셀 그룹을 매칭하는 단계(S104), 및 제2 프레임 깊이 영상을 생성하는 단계(S105)를 포함한다.
먼저, 제2 프레임 초기 깊이 영상(320c)을 생성한다(S101). 구체적으로, 제1 프레임 컬러 영상(310c), 제1 프레임 깊이 영상(310d), 및 제2 프레임 컬러 영상(320c)을 이용하여 제2 프레임 초기 깊이 영상(320d2)을 생성할 수 있다.
제1 프레임 컬러 영상(310c) 및 제2 프레임 컬러 영상(320c)은 시점이 서로 다른 영상일 수 있다. 예를 들어, 제1 프레임 컬러 영상(310c)이 시점 t에 대한 컬러 영상이고, 제2 프레임 컬러 영상(320c)은 시점 t+1에 대한 컬러 영상일 수 있다.
제1 프레임은 키 프레임(key frame)으로서, 시점 t에서 각 픽셀에 대한 컬러 정보를 갖는 제1 프레임 컬러 영상(310c) 이외에도 각 픽셀에 대한 깊이 정보를 갖는 제1 프레임 깊이 영상(310d)이 존재할 수 있다.
제2 프레임은 넌키 프레임(non-key frame)으로서, 시점 t+1에서 각 픽셀에 대한 컬러 정보를 갖는 제2 프레임 컬러 영상(320c)이 존재할 수 있다. 제2 프레임 깊이 영상은 현재 단계에서 존재하지 않을 수 있는데, 제2 프레임 깊이 영상은 제1 프레임 컬러 영상(310c), 제1 프레임 깊이 영상(310d), 및 제2 프레임 컬러 영상(320c)을 이용한 본 실시예의 깊이 전파 방법을 통해 생성될 수 있다.
한 실시예에 따르면, 단계(S101)는 제1 프레임 컬러 영상(310c), 제1 프레임 깊이 영상(310d), 및 제2 프레임 컬러 영상(320c)에 대해 바이래터럴 필터링(bilateral filtering)하여 제2 프레임 초기 깊이 영상(320d1)을 1차로 생성하는 단계 및 1차로 생성된 제2 프레임 초기 깊이 영상(320d1)과 제1 프레임 깊이 영상(310d)에 대해 산출된 모션 벡터(motion vector)를 이용하여 제1 프레임 깊이 영상(310d)을 와핑(warping)함으로써 제2 프레임 초기 깊이 영상(320d2)을 2차로 생성하는 단계를 포함할 수 있다.
바이래터럴 필터링은 경계선을 보존하면서 평활화(smoothing)를 수행하기 위해 고안된 알고리즘이지만, 본 실시예에서는 두 프레임(310c, 320c) 사이의 컬러 엣지(color edge)와 제1 프레임 깊이 영상(310d)을 이용하여 평활화하여 제2 프레임 초기 깊이 영상(320d1)을 아래 수학식 1에 따라 1차로 생성할 수 있다.
[수학식 1]
Figure pat00017
Figure pat00018
은 제2 프레임의 j 번째 픽셀의 깊이 값이고,
Figure pat00019
는 윈도우의 크기를 나타낸다.
Figure pat00020
는 시점 t+1에 대한 제2 프레임의 픽셀 i와 시점 t에 대한 제1 프레임의 픽셀 j의 컬러 차(color difference)에 관한 가중치로서 다음 수학식 2와 같다.
[수학식 2]
Figure pat00021
a는 컬러 정보에 대한 가중치이다. 바이래터럴 필터링을 이용하여 1차로 생성한 제2 프레임 초기 깊이 영상(320d1)과 제1 프레임 깊이 영상(310d)을 이용하여 아래 수학식 3에 따라 모션 벡터를 산출할 수 있다.
[수학식 3]
Figure pat00022
Figure pat00023
는 k 번째 블록의 x, y 방향에 대한 모션 벡터이고,
Figure pat00024
는 비교하는 두 블록 간의 거리이다. 두 블록 간의 깊이 차의 합이 가장 작은
Figure pat00025
에 대해 모션 벡터로 지정할 수 있다.
산출된 모션 벡터를 이용하여 제1 프레임 깊이 영상(310d)을 아래 수학식 4에 따라 와핑함으로써 제2 프레임 초기 깊이 영상(320d2)을 2차로 생성할 수 있다.
[수학식 4]
Figure pat00026
제2 프레임 초기 깊이 영상(320d2)을 생성함에 있어 사용되는 블록은 고정된 모양과 크기를 갖고 있어 물체의 움직임이나 형태가 변할 경우 에러가 발생하는 단점이 있다. 물체의 움직임의 경우 모든 블록들의 크기를 작게 만들면 에러가 줄어들지만 형태가 변하는 경우에는 매칭이 잘안되며 블록들의 크기를 줄일수록 시간 비용(time cost)가 늘어나는 문제점이 있다.
다음으로, 제1 슈퍼 픽셀 그룹(310s)을 생성한다(S102). 구체적으로, 제1 프레임 컬러 영상(310c) 및 제1 프레임 깊이 영상(310d)을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹(310s)을 생성할 수 있다.
제1 슈퍼 픽셀 그룹(310s)은 제1 프레임 컬러 영상(310c)을 분할하는 복수의 제1 슈퍼 픽셀의 집합을 의미한다. 슈퍼 픽셀(super pixel)은 일반적으로 사용되는 고정된 크기의 사각형 픽셀 단위가 아닌 모양과 크기를 이용한 구성 단위를 의미한다.
한 실시예에 따르면 제1 슈퍼 픽셀 그룹(310s)을 생성하는 단계(S102)는 제1 프레임 컬러 영상(310c)을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하는 단계, 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 중심 점 좌표를 재설정하는 단계, 및 재설정된 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 제1 슈퍼 픽셀 그룹(310s)을 생성하는 단계를 포함할 수 있다.
예를 들어, 중심 점 좌표인
Figure pat00027
는 아래 수학식 5에 따라 기준 범위인
Figure pat00028
내에서 컬러 값 차이인
Figure pat00029
, 거리 값 차이인
Figure pat00030
, 깊이 값 차이인
Figure pat00031
에 따라 재설정될 수 있다.
[수학식 5]
Figure pat00032
이때,
Figure pat00033
,
Figure pat00034
는 실험에 의한 가중치 값일 수 있다.
Figure pat00035
,
Figure pat00036
,
Figure pat00037
는 아래 수학식 6 내지 8에 따를 수 있다.
[수학식 6]
Figure pat00038
[수학식 7]
[수학식 8]
Figure pat00040
즉,
Figure pat00041
는 중심 점 좌표에 위치한 픽셀의 컬러 정보
Figure pat00042
와 선택된 픽셀의 컬러 정보
Figure pat00043
의 차이이고,
Figure pat00044
는 중심 점 좌표에 위치한 픽셀의 거리 정보 xK, yK와 선택된 픽셀의 거리 정보 xi, yi의 차이이고,
Figure pat00045
는 중심 점 좌표에 위치한 픽셀의 깊이 정보 dK와 선택된 픽셀의 깊이 정보 di의 차이를 의미한다. 본 실시예에서 컬러 좌표계는 CIELab을 이용한다.
본 실시예에서는 먼저 제1 프레임 컬러 영상(310c)을 격자 단위로 영역 분할하고, 각 격자의 중심을 중심 점 좌표 k로 지정할 수 있다. 다음으로 중심 점 좌표와 범위 2S 이내에 있는 픽셀들과의 dist'를 계산하여 가장 작은 값을 갖는 픽셀 i를 새로운 중심 점 좌표 k'로 설정할 수 있다. 이러한 과정을 이전 반복의 dist'와 현재 반복의 dist'의 차이가 수렴할 때까지 반복할 수 있다. 최종적으로 구한 중심 점 좌표들을 CCL(Connected Component Labeling)으로 묶어 분할함으로써 제1 슈퍼 픽셀 그룹(310S)이 생성될 수 있다.
본 실시예에 따르면 컬러 정보가 모호한 경우라도 깊이 정보를 이용하여 영역 분할(segmentation)이 올바르게 될 수 있는 장점이 있다. 도 4를 참조하면 열(a)는 원본 컬러 영상을 나타낸 것이고, 열(b)는 종래의 방법에 따라 생성된 슈퍼 픽셀 그룹을 나타낸 것이고, 열(c)는 본 실시예의 방법에 따라 생성된 슈퍼 픽셀 그룹을 나타낸 것이다.
도 4의 열(a)를 참조하면 남자의 바지와 바닥의 색이 비슷하며 컬러 경계가 모호하다. 따라서 컬러 영상만을 이용하는 종래의 방법에 따를 경우 도 4의 열(b)와 같이 제대로 영역 분할이 이루어지지 못하는 결과가 도출된다. 그에 비해 깊이 정보가 추가된 본 실시예에 따른 방법에 따르면 도 4의 열(c)와 같이 다리와 바닥이 깔끔하게 분류된 것을 확인할 수 있다.
다음으로, 제2 슈퍼 픽셀 그룹(320s)을 생성한다(S103). 구체적으로, 제2 프레임 컬러 영상(320c) 및 제2 프레임 초기 깊이 영상(320d2)을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹(320s)을 생성할 수 있다.
한 실시예에 따르면 제2 슈퍼 픽셀 그룹(320s)을 생성하는 단계(S103)는 제2 프레임 컬러 영상(320c)을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하는 단계, 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 중심 점 좌표를 재설정하는 단계, 및 재설정된 중심 점 좌표를 기준으로 재분할된 영역을 각각 제2 슈퍼 픽셀로 하여 제2 슈퍼 픽셀 그룹(320s)을 생성하는 단계를 포함할 수 있다.
제2 슈퍼 픽셀 그룹(320s)의 생성 방법은 제1 슈퍼 픽셀 그룹(310s)의 생성 방법과 대응하므로, 중복된 설명은 생략한다.
다음으로, 제1 슈퍼 픽셀 그룹(310s) 및 제2 슈퍼 픽셀 그룹(320s)을 매칭하고(S104), 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹(310s)을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹(320s)에 와핑함으로써 제2 프레임 깊이 영상(320d3)을 생성한다(S105).
한 실시예에서, 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹(310s) 및 상기 제2 슈퍼 픽셀 그룹(320s)을 매칭할 수 있다. 이때, 모양 값 차이는 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 너비 값 및 높이 값 차이일 수 있다. 슈퍼 픽셀 그룹의 매칭에 대해서 다음 수학식 9 및 10을 참조한다.
[수학식 9]
Figure pat00046
[수학식 10]
Figure pat00047
수학식 9 및 10을 참조하여 n 번째 슈퍼 픽셀에 대한 모션 벡터인
Figure pat00048
을 구하기 위해 제1 프레임의 n 번째 슈퍼 픽셀과 제2 프레임의 m 번째 슈퍼 픽셀을 비교할 수 있다. 이때,
Figure pat00049
,
Figure pat00050
,
Figure pat00051
는 실험 데이터에 의한 가중치이고,
Figure pat00052
는 제2 프레임의 i 번째 슈퍼 픽셀 중심 점의 좌표이고,
Figure pat00053
은 제1 프레임의 j 번째 슈퍼 픽셀 중심 점의 좌표이고, L, A, B는 제2 프레임의 i 번째 슈퍼 픽셀 내의 CIELab 컬러 평균 값이고, Lr, Ar, Br는 제1 프레임의 j 번째 슈퍼 픽셀 내의 CIELab 컬러 평균 값이고, W(t), Y(t)는 제2 프레임의 슈퍼 픽셀의 너비와 높이이고, Wr(t), Yr(t)는 제1 프레임의 슈퍼 픽셀의 너비와 높이이다.
수학식 9에 따라 diff'값이 가장 작은 값을 찾아서 해당 슈퍼 픽셀 중심 점 좌표들의 좌표 차이를 찾아 와핑(warping)할 수 있다.
종래 기술의 경우 슈퍼 픽셀의 중심 점 좌표를 기준으로 모션 벡터만큼 와핑을 시켰지만, 본 발명의 한 실시예에 따르면 슈퍼 픽셀로 찾은 모션 벡터는 가장 유사하다고 판단되는 슈퍼 픽셀을 매칭시키기 위해서만 사용되며 와핑 과정에는 모션 벡터가 직접적으로 관여하지 않을 수 있다. 슈퍼 픽셀 매칭으로 찾은 제2 프레임과 제1 프레임의 슈퍼 픽셀 범위 내의 컬러 정보를 매칭시켜 그 차이가 가장 적은 위치로 와핑시킬 수 있다. 예를 들어, 특정한 제1 슈퍼 픽셀과 제2 슈퍼 픽셀이 매칭된 경우, 제1 슈퍼 픽셀을 제2 슈퍼 픽셀 위치 기준으로 일정 범위 내에서 이동시켜가며 컬러 정보의 차이가 가장 적은 위치로 이동시킬 수 있다. 이때, 제1 슈퍼 픽셀과 제2 슈퍼 픽셀의 모양과 크기는 서로 일치하지 않는 경우가 대부분이므로, 제2 프레임 깊이 영상(320d3)의 각 제2 슈퍼 픽셀의 일부분은 깊이 정보를 갖지 못하는 홀로 존재할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 깊이 영상 생성 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 깊이 영상 생성 방법은 제2 프레임 초기 깊이 영상을 생성하는 단계(S201), 제1 슈퍼 픽셀 그룹을 생성하는 단계(S202), 제2 슈퍼 픽셀 그룹을 생성하는 단계(S203), 제1 슈퍼 픽셀 그룹 및 제2 슈퍼 픽셀 그룹을 매칭하는 단계(S204), 및 제2 프레임 깊이 영상을 생성하는 단계(S205)를 포함하고, 실시예에 따라 제2 프레임 깊이 영상의 홀을 채우는 단계(S206), 제2 프레임 깊이 대응 영상을 생성하여 제2 프레임 깊이 영상을 보정하는 단계(S207), 및 제2 프레임 깊이 영상을 가이디드 필터링하는 단계(S208)를 선택적으로 더 포함한다.
단계(S201, S202, S203, S204, S205)는 도 1을 참조하여 설명된 단계(S101, S102, S103, S104, S105)와 대응하므로, 이하에서 중복된 설명은 생략한다.
먼저, 생성된 제2 프레임 깊이 영상(320d3)의 홀을 채울 수 있다(S206). 구체적으로, 제2 프레임 깊이 영상(320d3) 중 깊이 정보가 없는 홀(hole)을 템플릿 매칭(template matching)하여 채울 수 있다.
한 실시예에 따르면, 홀이 위치하는 제2 슈퍼 픽셀을 템플릿으로 하여 주변 픽셀 중 컬러 정보 차이가 가장 작은 영역을 탐색하여 매칭하고, 매칭된 영역의 깊이 정보를 이용하여 홀을 채울 수 있다.
종래 기술에 따르면 매칭된 키 프레임의 슈퍼 픽셀 내의 평균 깊이 값으로 홀을 채웠으나, 이러한 방식은 홀이 클수록 에러가 커지기 때문에 홀을 작게하기 위해 슈퍼 픽셀의 크기를 작게 할 수 밖에 없었다. 슈퍼 픽셀의 크기를 작게하면 슈퍼 픽셀의 생성에 시간 비용이 많이들게 되는 문제점이 있다. 하지만 본 실시예에 따른 템플릿 매칭을 이용하면 그 자체의 속도가 빠른 알고리즘은 아니지만 한번에 넓은 영역의 홀을 큰 에러 없이 메울 수 있기 때문에 큰 크기의 슈퍼 픽셀을 사용할 수 있고, 때문에 결과적으로 시간 비용을 줄일 수 있는 장점이 있다.
다음으로, 제2 프레임 깊이 대응 영상을 생성하여 제2 프레임 깊이 영상을 보정할 수 있다(S207).
한 실시예에 따르면, 단계(S207)는 제3 프레임 컬러 영상, 제3 프레임 깊이 영상, 및 제2 프레임 컬러 영상(320c)을 이용하여 제2 프레임 깊이 영상(320d4)과 대응하는 제2 프레임 깊이 대응 영상을 생성하는 단계, 및 제2 프레임 깊이 영상(320d4)과 제2 프레임 깊이 대응 영상에 각각 가중치를 적용하여 더함으로써 제2 프레임 깊이 영상(320d4)을 보정하는 단계로 구성될 수 있다.
제3 프레임은 키 프레임(key frame)으로서, 시점 t+N에서 각 픽셀에 대한 컬러 정보를 갖는 제3 프레임 컬러 영상 및 각 픽셀에 대한 깊이 정보를 갖는 제3 프레임 깊이 영상이 존재할 수 있다. 즉, 제2 프레임 깊이 대응 영상을 생성하는 단계는 전술하는 단계(S201, S202, S203, S204, S205, S206)를 반복하되, 키 프레임으로서 제1 프레임이 아닌 제3 프레임의 정보를 이용할 수 있다. 따라서, 본 실시예에 따르면 제1 프레임으로부터 제2 프레임으로 일방향 깊이 전파가 이루어지고, 제3 프레임으로부터 제2 프레임으로 타방향 깊이 전파가 이루어져, 양방향 깊이 전파(bi-directional depth propagation)가 수행될 수 있다. 제2 프레임 깊이 영상과 제2 프레임 깊이 대응 영상은 각각 가중치가 적용되어 더해져 최종적인 제2 프레임 깊이 영상이 생성될 수 있다.
[수학식 11]
Figure pat00054
수학식 11을 참조하면,
Figure pat00055
는 일방향 깊이 전파가 이루어져 생성된 제2 프레임 깊이 영상(320d4)이고,
Figure pat00056
는 타방향 깊이 전파가 이루어져 생성된 제2 프레임 깊이 대응 영상이고, w는 가중치이고,
Figure pat00057
는 최종적인 제2 프레임 깊이 영상이다.
w는 제2 프레임과 제1 프레임의 거리에 대한 가중치로서, 0 내지 1의 범위 내에서 제2 프레임이 제1 프레임으로부터 멀어질수록 0에 가깝게 설정될 수 있다.
도 5를 참조하면, 행(a)는 일방향 깊이 전파 결과, 행(b)는 타방향 깊이 전파 결과, 행(c)는 양방향 깊이 전파 결과, 행(d)는 실측 자료(ground truth)를 나타낸다.
행(a)를 참조하면, 일방향 깊이 전파의 경우(정방향), 0 프레임에서 9 프레임으로 갈수록 실측 자료와 차이가 난다. 반대로 행(b)를 참조하면, 타방향 깊이 전파의 경우(역방향), 9 프레임에서 0 프레임으로 갈수록 에러가 존재한다. 또한, 각각의 깊이 전파 결과는 각각 하나의 키 프레임을 이용하기 때문에 z 축의 변화를 감지할 수 없는 단점이 있다.
행(d)에서 프레임이 경과할수록 책장이 넘어가는데 책장이 카메라와 가까워지면서 깊이 정보가 변하는 것을 볼 수 있다. 행(c)의 양방향 깊이 전파는 2 개의 키 프레임을 이용하기 때문에 z 축의 변화를 감지할 수 있는 장점이 있다.
다음으로, 제2 프레임 깊이 영상을 가이디드 필터링할 수 있다(S208).
한 실시예에 따르면, 단계(S208)는 제2 프레임 깊이 영상에 아래 수학식 12에 따른 가중치
Figure pat00058
를 적용함으로써 가이디드 필터링(guided filtering)하는 단계일 수 있다.
[수학식 12]
Figure pat00059
이때,
Figure pat00060
는 윈도우
Figure pat00061
내의 픽셀 개수이고,
Figure pat00062
는 i 번째 컬러 정보이고,
Figure pat00063
는 j 번째 컬러 정보이고,
Figure pat00064
는 윈도우
Figure pat00065
내의 컬러 정보의 평균 값이고,
Figure pat00066
는 윈도우
Figure pat00067
내의 컬러 정보의 표준편차 값일 수 있다.
또한 산출된 가중치
Figure pat00068
는 아래 수학식 13에서 사용될 수 있다.
[수학식 13]
Figure pat00069
이때, q는 결과 영상, p는 입력 영상일 수 있다.
도 6은 바이래터럴 필터링(bilateral filtering)과 가이디드 필터링(guided flitering)을 1-D로 비교한 것으로 베이스 레이어(base layer)는 출력, 디테일 레이어(detail layer)는 입력과 출력의 차, 인핸스드 시그널(enhanced signal)은 베이스 레이어와 디테일 레이어를 조합(combination)한 것이다. 바이래터럴 필터링의 인핸스드 시그널에서 리버스드 그래디언트(reversed gradients)가 발생하는 이유는 가우시안 분포(Gaussian distribution)를 이용하고 분산을 고정 입력 변수로 받는데 컬러 그래디언트(color gradient) 변화에 따른 유동성이 적기 때문이다. 그에 비해 가이디드 필터링의 경우 색차와 거리에 대한 변수인
Figure pat00070
가 윈도우마다 계산되기 때문에 컬러 그래디언트 변화에 유연하게 대처가 가능하여 리버스드 그래디언트가 일어나지 않는 장점이 있다.
도 7는 본 발명의 한 실시예에 따른 깊이 영상 생성 장치를 설명하기 위한 도면이다.
본 실시예의 깊이 영상 생성 장치(70)는 정보 처리를 위하여 적어도 하나의 프로세서 및 메모리를 포함하는 컴퓨터일 수 있다. 깊이 영상 생성 장치(70)는 데이터 또는 프로그램이 기록된 기록매체를 읽음으로써 목적하는 기능을 수행할 수 있다.
도 7을 참조하면 본 발명의 한 실시예에 따른 깊이 영상 생성 장치(70)는 제2 프레임 초기 깊이 영상 생성부(710), 제1 슈퍼 픽셀 그룹 생성부(720), 제2 슈퍼 픽셀 그룹 생성부(730), 매칭부(740), 및 제2 프레임 깊이 영상 생성부(750)를 포함한다.
각각의 기능부(710, 720, 730, 740, 750)은 분리된 하드웨어로 구현될 수도 있지만, 하나의 하드웨어 상에서 분리된 소프트웨어 또는 소프트웨어 요소로 구현될 수도 있으며, 이는 당업자 설계에 따라 달라질 수 있다.
제2 프레임 초기 깊이 영상 생성부(710)는 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성할 수 있다. 제2 프레임 초기 깊이 영상 생성부(710)는 전술한 단계(S101, S201)를 수행할 수 있다.
제1 슈퍼 픽셀 그룹 생성부(720)는 제1 프레임 컬러 영상 및 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성할 수 있다. 제1 슈퍼 픽셀 그룹 생성부(720)는 전술한 단계(S102, S202)를 수행할 수 있다.
한 실시예에 따르면, 제1 슈퍼 픽셀 그룹 생성부(720)는 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하고, 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 중심 점 좌표를 재설정하고, 재설정된 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 제1 슈퍼 픽셀 그룹을 생성할 수 있다.
제2 슈퍼 픽셀 그룹 생성부(730)는 제2 프레임 컬러 영상 및 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성할 수 있다. 제2 슈퍼 픽셀 그룹 생성부(730)는 전술한 단계(S103, S203)를 수행할 수 있다.
매칭부(740)는 제1 슈퍼 픽셀 그룹 및 제2 슈퍼 픽셀 그룹을 매칭할 수 있다. 매칭부(740)는 전술한 단계(S104, S204)를 수행할 수 있다.
한 실시예에 따르면 매칭부(740)는 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 제1 슈퍼 픽셀 그룹 및 제2 슈퍼 픽셀 그룹을 매칭할 수 있다.
제2 프레임 깊이 영상 생성부(750)는 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성할 수 있다. 제2 프레임 깊이 영상 생성부(750)는 전술한 단계(S105, S205)를 수행할 수 있다.
또한 도시되진 않았지만, 깊이 영상 생성 장치(70)는 실시예에 따라 단계(S206, S207, S208)을 수행하기 위한 기능부(홀 채움부, 영상 보정부, 가이디드 필터링부)를 선택적으로 더 포함할 수도 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
70: 깊이 영상 생성 장치
710: 제2 프레임 초기 깊이 영상 생성부
720: 제1 슈퍼 픽셀 그룹 생성부
730: 제2 슈퍼 픽셀 그룹 생성부
740: 매칭부
750: 제2 프레임 깊이 영상 생성부

Claims (13)

  1. 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 단계;
    상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 단계;
    상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 단계;
    상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 단계; 및
    상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 단계를 포함하는
    깊이 영상 생성 방법.
  2. 제1 항에 있어서,
    상기 제2 프레임 초기 깊이 영상을 생성하는 단계는
    상기 제1 프레임 컬러 영상, 상기 제1 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상에 대해 바이래터럴 필터링(bilateral filtering)하여 제2 프레임 초기 깊이 영상을 1차로 생성하는 단계; 및
    1차로 생성된 상기 제2 프레임 초기 깊이 영상과 상기 제1 프레임 깊이 영상에 대해 산출된 모션 벡터(motion vector)를 이용하여 상기 제1 프레임 깊이 영상을 와핑함으로써 상기 제2 프레임 초기 깊이 영상을 2차로 생성하는 단계를 포함하는,
    깊이 영상 생성 방법.
  3. 제1 항에 있어서,
    상기 제1 슈퍼 픽셀 그룹을 생성하는 단계는
    상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하는 단계;
    상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하는 단계; 및
    재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성하는 단계를 포함하는
    깊이 영상 생성 방법.
  4. 제3 항에 있어서,
    상기 제1 슈퍼 픽셀 그룹을 생성하는 단계에서,
    상기 중심 점 좌표인
    Figure pat00071
    는 아래 수학식에 따라 상기 기준 범위인
    Figure pat00072
    내에서 상기 컬러 값 차이인
    Figure pat00073
    , 상기 거리 값 차이인
    Figure pat00074
    , 상기 깊이 값 차이인
    Figure pat00075
    에 따라 재설정되는,
    Figure pat00076
    ,
    깊이 영상 생성 방법.
  5. 제1 항에 있어서,
    상기 매칭하는 단계에서,
    선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는,
    깊이 영상 생성 방법.
  6. 제5 항에 있어서,
    상기 모양 값 차이는
    상기 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 너비 값 및 높이 값 차이인,
    깊이 영상 생성 방법.
  7. 제1 항에 있어서,
    상기 제2 프레임 깊이 영상 중 깊이 정보가 없는 홀(hole)을 템플릿 매칭(template matching)하여 채우는 단계를 더 포함하는
    깊이 영상 생성 방법.
  8. 제7 항에 있어서,
    상기 채우는 단계에서,
    상기 홀이 위치하는 제2 슈퍼 픽셀을 템플릿으로 하여 주변 픽셀 중 컬러 정보 차이가 가장 작은 영역을 탐색하여 매칭하고,
    매칭된 영역의 깊이 정보를 이용하여 상기 홀을 채우는,
    깊이 영상 생성 방법.
  9. 제7 항에 있어서,
    제3 프레임 컬러 영상, 제3 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상을 이용하여 상기 제2 프레임 깊이 영상과 대응하는 제2 프레임 깊이 대응 영상을 생성하는 단계; 및
    상기 제2 프레임 깊이 영상과 상기 제2 프레임 깊이 대응 영상에 각각 가중치를 적용하여 더함으로써 상기 제2 프레임 깊이 영상을 보정하는 단계를 더 포함하는
    깊이 영상 생성 방법.
  10. 제9 항에 있어서,
    상기 제2 프레임 깊이 영상에 아래 수학식에 따른 가중치
    Figure pat00077
    를 적용함으로써 가이디드 필터링(guided filtering)하는 단계를 더 포함하고,
    Figure pat00078
    ,
    상기
    Figure pat00079
    는 윈도우
    Figure pat00080
    내의 픽셀 개수이고, 상기
    Figure pat00081
    는 i 번째 컬러 정보이고, 상기
    Figure pat00082
    는 j 번째 컬러 정보이고, 상기
    Figure pat00083
    는 윈도우
    Figure pat00084
    내의 컬러 정보의 평균 값이고, 상기
    Figure pat00085
    는 윈도우
    Figure pat00086
    내의 컬러 정보의 표준편차 값인,
    깊이 영상 생성 방법.
  11. 제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 제2 프레임 초기 깊이 영상 생성부;
    상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 제1 슈퍼 픽셀 그룹 생성부;
    상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 제2 슈퍼 픽셀 그룹 생성부;
    상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 매칭부; 및
    상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 제2 프레임 깊이 영상 생성부를 포함하는
    깊이 영상 생성 장치.
  12. 제11 항에 있어서,
    상기 제1 슈퍼 픽셀 그룹 생성부는
    상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하고,
    상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하고,
    재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성하는,
    깊이 영상 생성 장치.
  13. 제11 항에 있어서,
    상기 매칭부는
    선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는,
    깊이 영상 생성 장치.
KR1020160182002A 2016-12-29 2016-12-29 깊이 영상 생성 방법 및 깊이 영상 생성 장치 KR20180077547A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160182002A KR20180077547A (ko) 2016-12-29 2016-12-29 깊이 영상 생성 방법 및 깊이 영상 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182002A KR20180077547A (ko) 2016-12-29 2016-12-29 깊이 영상 생성 방법 및 깊이 영상 생성 장치

Publications (1)

Publication Number Publication Date
KR20180077547A true KR20180077547A (ko) 2018-07-09

Family

ID=62919071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182002A KR20180077547A (ko) 2016-12-29 2016-12-29 깊이 영상 생성 방법 및 깊이 영상 생성 장치

Country Status (1)

Country Link
KR (1) KR20180077547A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220126560A (ko) * 2021-03-09 2022-09-16 국민대학교산학협력단 이중 임계범위 기반의 객체 추출장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
KR20160085708A (ko) * 2015-01-08 2016-07-18 톰슨 라이센싱 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
KR20160085708A (ko) * 2015-01-08 2016-07-18 톰슨 라이센싱 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문:Ana B. Cambra1 et al., *
논문:Guo-Shiang Lin et al., *
논문:Ju. Kuanvu et al., *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220126560A (ko) * 2021-03-09 2022-09-16 국민대학교산학협력단 이중 임계범위 기반의 객체 추출장치 및 그 방법

Similar Documents

Publication Publication Date Title
US9153032B2 (en) Conversion method and apparatus with depth map generation
KR102350235B1 (ko) 영상 처리 방법 및 장치
US9159154B2 (en) Image processing method and apparatus for generating disparity value
KR102380862B1 (ko) 영상 처리 방법 및 장치
KR101502362B1 (ko) 영상처리 장치 및 방법
Pearson et al. Plenoptic layer-based modeling for image based rendering
US9100642B2 (en) Adjustable depth layers for three-dimensional images
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
KR20100109069A (ko) 시각적 관심맵 생성 장치 및 방법
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
US20130321409A1 (en) Method and system for rendering a stereoscopic view
US20170116777A1 (en) Image processing method and apparatus
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
US8988424B2 (en) Image processing apparatus, image processing method, and program for generating multi-viewpoint images
KR20180077547A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
US11039168B2 (en) Stereoscopic image data compression
Lu et al. Performance optimizations for patchmatch-based pixel-level multiview inpainting
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Kim et al. Automatic object-based 2D-to-3D conversion
Wang et al. Depth image segmentation for improved virtual view image quality in 3-DTV
Fickel et al. Multiview image and video interpolation using weighted vector median filters

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application