KR20140056073A - 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템 - Google Patents

스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20140056073A
KR20140056073A KR1020130129853A KR20130129853A KR20140056073A KR 20140056073 A KR20140056073 A KR 20140056073A KR 1020130129853 A KR1020130129853 A KR 1020130129853A KR 20130129853 A KR20130129853 A KR 20130129853A KR 20140056073 A KR20140056073 A KR 20140056073A
Authority
KR
South Korea
Prior art keywords
clustering
constraint
dynamic
floating window
feature points
Prior art date
Application number
KR1020130129853A
Other languages
English (en)
Other versions
KR101511315B1 (ko
Inventor
노준용
김형진
김영휘
이정진
최성우
블랑코 리베라 로저
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20140056073A publication Critical patent/KR20140056073A/ko
Application granted granted Critical
Publication of KR101511315B1 publication Critical patent/KR101511315B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법을 공개한다. 본 발명은 본 발명은 3D 입체 영상 생성을 위한 다이나믹 플로팅 윈도우(Dynamic Floating Window) 생성 방법에 있어서, 좌이미지 및 우이미지 시퀀스(Sequence)를 입력으로 수신하는 단계; 상기 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출하는 단계; 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하는 단계; 상기 클러스터링에 대해 변환 양을 계산하고 시간적 일관성을 적용하는 단계; 사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용하는 단계; 사용자 컨스트레인티 적용된 최종 변환 량을 계산하는 단계; 및 상기 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 단계를 포함하는 다이나믹 플로팅 윈도우 생성 방법을 제공한다.

Description

스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템 {METHOD AND SYSTEM FOR CREATING DYNAMIC FLOATING WINDOW FOR STEREOSCOPIC CONTENTS}
본 발명은 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템에 관한 것으로, 특히 특징점에 기반한 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 자동 생성 방법 및 시스템에 관한 것이다.
3차원(이하 3D) 입체 영상(Stereoscopic Image)은 장편 영화, 애니메이션, 게임 컨텐츠 등과 같은 엔터테인먼트 산업 분야에서 각광받고 있는 새로운 장르이다.
3D 입체 영상의 상업적 성공으로 인해 이전보다 더욱 많은 입체 컨텐츠들이 생산되고 있으며, 최근에는 기존의 2차원(이하 2D)로 제작된 영화와 같은 2D 컨텐츠를 3차원(이하 3D) 입체 컨텐츠로 리메이크(Remake)하는 작업 또한 활발히 이루어지고 있다. 이러한 3D 입체 영상의 활성화에 힘입어 다수의 디스플레이 장치 제조업체들이 증강된 입체 기술이 적용된 새로운 제품들을 소개하고 있다.
그리고, 3D 컨텐츠 제작의 편의를 지원하기 위한 카메라 리그나 소프트웨어들이 다수 출시되고 있다.
그러나, 3D 입체 영상은 종종 관객에게 시각적 불쾌감을 유발할 수 있다. 3D 입체 영상에서 관객의 시각적 불쾌감은 3D 입체 영상의 불완전함으로 인해 야기되는 경우가 많다. 3D 입체 영상이 시각적 불쾌감을 야기하는 빈도가 높아지면, 3D 영상에 대한 대중의 관심이 멀어짐에 따라, 3D 입체 영상 산업 전반에 불이익이 발생할 수 있다.
특히, 스테레오스코픽 윈도우 바이올레이션(Stereoscopic Window Violation)은 네거티브 디스패리티 값을 갖는 객체가 스크린의 양쪽 가장자리에 부분적으로 폐색(Occlusion)되는 경우에 발생하는 문제로, 관객에게 심한 시각적 피로를 유발한다.
도 1은 윈도우 바이올레이션의 개념을 나타내는 도면이다.
도 1에서 스크린의 좌측단에서는 입체와 폐색이 함께 표시되었다. 입체는 한 쌍의 입체 영상에 의해 구현되며, 폐색은 한 쌍의 입체 영상 중 하나의 영상에 표현된 구간이 다른 영상에 표현되지 않아 발생하게 된다.
즉 관객은 한 쌍의 입체 영상의 일부 영역에 대해 중 하나의 영상으로부터는 입체를 위한 이미지를 감지하는데 반해, 다른 하나의 영상에는 대응하는 이미지가 존재하지 않아 입체를 이미지를 감지할 수 없다.
이러한 폐색과 입체의 충돌을 윈도우 바이올레이션 효과(Window Violation Effect(또는 Paradoxical Stereo Window))라하며, 관객에게 시각적 피로를 유발할 수 있다. 다른 말로 표현하면, 윈도우 바이올레이션 효과는 네거티브 디스패리티 값의 객체(스크린 앞으로 나와 보이게되는 객체)가 2D인 스크린벽 쪽으로 붙을 경우, 폐색된 정보가 시차 정보보다 강하기 때문에 관객이 컨텐츠를 지각하는데 시각적 오류를 일으켜 관람 시 문제점을 일으키는 현상을 일컫는다.
도 2는 기존의 윈도우 바이올레이션을 제거하기 위한 플로팅 윈도우(Floating Window)의 개념을 나타낸다.
도 2에서 (a)는 입체 영상에서 윈도우 바이올레이션, 즉 폐색과 입체의 충돌이 발생하는 이유를 나타내고, (b)는 플로팅 윈도우를 적용하여 폐색과 입체의 충돌 발생 영역을 제거하는 방법을 나타낸다.
플로팅 윈도우는 도 2의 (b)에서 검은색의 마스크 영역을 나타낸다. 플로팅 윈도우는 한 쌍의 입체 영상 중 오른쪽 영상의 오른쪽 프레임 가장 자리에, 그리고 왼쪽 영상의 왼쪽 프레임 가장자리에 추가된다.
이러한 플로팅 윈도우는 각각 왼쪽과 오른쪽 카메라에서 보는 화면의 전면에 배치되는 플로팅 윈도우 이미지로 볼수 있다. 플로팅 윈도우 기법은 비록 입체 영상에서 일부 영역들을 제거시키는 결과를 낳게 되는 반면, 시각적 피로도를 크게 줄일 수 있다.
다이나믹 플로팅 윈도우는 플로팅 윈도우를 동적으로 생성하는 기술로서, 윈도우 바이올레이션에 대한 효과적인 해결책을 제시하지만, 기존의 다이나믹 플로팅 윈도우는 3D 애니메이션과 같이 좌, 우 카메라의 정보가 명백한 경우에만 한정되어 사용할 수 있는 제약이 있었다.
본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로, 본 발명은 스테레오스코픽 윈도우 바이올레이션 효과를 줄이기 위해, 스테레오스코픽 컨텐츠의 좌, 우 2D 시퀀스에서 서로 대응하는 특징점을 찾아, 자동으로 다이나믹 플로팅 윈도우를 생성하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명은 3D 입체 영상 생성을 위한 다이나믹 플로팅 윈도우(Dynamic Floating Window) 생성 시스템에 있어서, 좌이미지 및 우이미지 시퀀스(Sequence)의 입력을 수신하는 시퀀스 입력부; 상기 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출하는 특징점 추출부; 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하고, 상기 클러스터링에 대해 변환 양을 계산하고 시간적 일관성을 적용하는 클러스터링부; 사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용하는 컨스트레인부; 및 사용자 컨스트레인티 적용된 최종 변환 량을 계산하고, 상기 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 다이나믹 플로팅 윈도우부를 포함하는 다이나믹 플로팅 윈도우 생성 시스템을 제공한다.
또한, 본 발명은 상기 특징점 추출부는, Speeded Up Robust Feature(SURF) 기법을 이용하여, 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서 각 이미지에 대한 디스패리티 값(D)을 수학식
Figure pat00001
에 따라 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
또한, 본 발명은 상기 클러스터링부는, 2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 이용하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 클러스터링부는, 상기 특징점을 5개의 클러스터로 구분하고, 5개의 클러스터 중 가장 좌측의 제 1 클러스터 및 가장 우측의 제5 클러스터에서 특징점 매칭을 수행하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 클러스터링부는, 상기 변환 량 및 시간적 일관성을 수학식
Figure pat00002
(여기서 t는 입력 시퀀스 프레임의 수이고, n은 왼쪽 또는 오른쪽 클러스터에서 왼쪽 오른쪽 이미지의 특징점들의 개수이다.)을 이용하여 계산하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 클러스터링부는, 상기 변환 양을 수학식
Figure pat00003
(여기서, FL 및 FR은 n 에 의해 t이고, a 는 n이 1 의 값을 갖는 n 벡터에 의해 1 이다. △X 는 t 파생 매트릭스 및 Xi - Xi +1에 의해 t 이다.)을 이용하여 계산하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 컨스트레인부는, 입력된 상기 사용자 컨스트레인 에너지를 수학식
Figure pat00004
(여기서 C 는 제약된 프레임 번호의 집합이고, c 는 i번째 컨스트레인 값이며, Wc 는 사용자 컨스트레인 항목의 가중치이다.)에 따라 계산하고, 계산된 사용자 컨스트레인 에너지를 수학식
Figure pat00005
(여기서, Π는 t 순환행렬에 의해 t이고, m 은 집합 C의 요소의 개수이다. Π는 각 행의 컨스트레인 프레임 넘버에 대응하는 열이 1로 채워지고, 나머지는 0으로 채워진 행렬이다. Cv 는 n 매트릭스 각각의 행의 모든 열이 컨스트레인 값이 vi와 동일한 n 매트릭스에 의해 t 이다.)으로 적용하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 3D 입체 영상 생성을 위한 다이나믹 플로팅 윈도우(Dynamic Floating Window) 생성 방법에 있어서, 좌이미지 및 우이미지 시퀀스(Sequence)를 입력으로 수신하는 단계; 상기 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출하는 단계; 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하는 단계; 상기 클러스터링에 대해 변환 양을 계산하고 시간적 일관성을 적용하는 단계; 사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용하는 단계; 사용자 컨스트레인티 적용된 최종 변환 량을 계산하는 단계; 및 상기 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 단계를 포함하는 다이나믹 플로팅 윈도우 생성 방법을 제공한다.
또한, 본 발명은 상기 특징점 추출 단계는, Speeded Up Robust Feature(SURF) 기법을 이용하여, 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서 각 이미지에 대한 디스패리티 값(D)을 수학식
Figure pat00006
에 따라 계산하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 클러스터링 및 정렬 수행 단계는, 2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 이용하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 클러스터링 및 정렬을 수행 단계는, 상기 특징점을 5개의 클러스터로 구분하고, 5개의 클러스터 중 가장 좌측의 제 1 클러스터 및 가장 우측의 제5 클러스터에서 특징점 매칭을 수행하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 시간적 일관성 적용 단계는, 상기 변환 량 및 시간적 일관성을 수학식
Figure pat00007
(여기서 t는 입력 시퀀스 프레임의 수이고, n은 왼쪽 또는 오른쪽 클러스터에서 왼쪽 오른쪽 이미지의 특징점들의 개수이다.)을 이용하여 계산하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 시간적 일관성 적용 단계는, 상기 변환 양을 수학식
Figure pat00008
(여기서, FL 및 FR은 n 에 의해 t이고, a 는 n이 1 의 값을 갖는 n 벡터에 의해 1 이다. △X 는 t 파생 매트릭스 및 Xi - Xi +1에 의해 t 이다.)을 이용하여 계산하는 것을 특징으로 하는 실시예를 포함한다.
또한, 본 발명은 상기 사용자 컨스트레인 적용 단계는, 입력된 상기 사용자 컨스트레인 에너지를 수학식
Figure pat00009
(여기서 C 는 제약된 프레임 번호의 집합이고, c 는 i번째 컨스트레인 값이며, Wc 는 사용자 컨스트레인 항목의 가중치이다.)에 따라 계산하고, 계산된 사용자 컨스트레인 에너지를 수학식
Figure pat00010
(여기서, Π는 t 순환행렬에 의해 t이고, m 은 집합 C의 요소의 개수이다. Π는 각 행의 컨스트레인 프레임 넘버에 대응하는 열이 1로 채워지고, 나머지는 0으로 채워진 행렬이다. Cv 는 n 매트릭스 각각의 행의 모든 열이 컨스트레인 값이 vi와 동일한 n 매트릭스에 의해 t 이다.)으로 적용하는 것을 특징으로 하는 실시예를 포함한다.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속함을 밝혀둔다.
상기와 같은 구성을 통하여, 본 발명에 따른 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템은 다이나믹 플로팅 윈도우 생성 작업을 자동으로 수행하므로, 3D 입체 영상 제작자의 반복 작업을 획기적으로 줄일 수 있다.
그리고, 시각적 일관성을 제공하여 입체 컨텐츠에 대한 관람객의 몰입도를 높일 수 있으며, 시각적 피로를 낮출 수 있다.
또한 영상 제작자의 입력을 허용하므로, 제작자의 의도적 연출에 도움을 줄 수 있다.
도 1은 윈도우 바이올레이션의 개념을 나타내는 도면이다.
도 2는 기존의 윈도우 바이올레이션을 제거하기 위한 플로팅 윈도우의 개념을 나타낸다.
도 3은 본 발명의 실시예에 따른 다이나믹 플로팅 윈도우 생성 방법을 나타낸다.
도 4는 본 발명의 실시예에 따른 플로팅 윈도우를 위한 특징점들을 추출한 예를 나타낸다.
도 5는 본 발명의 일실시예에 따른 다이나믹 플로팅 윈도우의 적용 예를 나타낸다.
도 6은 도 5에서 시간적 가중치의 효과를 나타낸다.
도 7은 본 발명의 실시예에 따른 다이나믹 플로팅 윈도우의 다른 적용 예를 나타낸다.
도 8은 도 7에서 시간적 가중치 및 사용자 컨스트레인 가중치의 효과를 나타낸다.
도 9는 본 발명의 실시예에 따른 다이나믹 플로팅 윈도우의 또다른 적용 예와 변환값을 나타낸다.
도 10은 본 발명의 실시예에 따른 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 시스템의 구성도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 다이나믹 플로팅 윈도우 생성 방법을 나타낸다.
도 3을 참조하면, 본 발명의 다이나믹 플로팅 윈도우 생성 방법은 입체 영상을 위한 좌이미지 및 우이미지 시퀀스 입력 단계(S10), 네거티브 디스패리티 값을 갖는 특징점 추출 단계(S20), 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬(Ordering) 수행 단계(S30), 변환 양 계산 단계(S40), 시간적 일관성 적용 단계(S50), 사용자 컨스트레인(User Constraint)을 적용 단계(S60) 및 최종 변환 량 X를 계산하여, 플로팅 윈도우를 그리고, 생성된 좌측, 우측 다이나믹 플로팅 윈도우를 출력하는 단계(S70)를 포함한다. 이하에서는 각 단계에 대하여 자세히 설명하도록 한다.
먼저, 입체 영상을 위한 좌이미지 및 우이미지 시퀀스가 입력되면(S10), 좌 및 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패리티 값을 갖는 특징점을 추출한다(S20).
Speeded Up Robust Feature(SURF) 기법을 이용하여 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서, 각 이미지에 대한 디스패리티 값(D)을 수학식 1과 같이 계산할 수 있다.
Figure pat00011
(여기서, FR, FL은 장면에서 모든 특징점을 의미하는 것이 아니라, 네거티브 디스패리티 값(D)를 갖는 특징점들을 나타낸다.)
수학식 1에서 계산된 특징점 중에서 네거티브 디스패리티 값을 갖는 특징점을 추출하는 것이다.
네거티브 디스패리티(Negative Disparity)는 스크린의 전면에 표시되는 객체 또는 영역을 나타내고, 파지티브 디스패리티(Positive Disparity)는 스크린의 후면에 표시되는 객체를 나타낸다. 매칭되지 않는 프레임의 양 측단의 파지티브 시차 특징점들은 프레임 폐색을 발생하지만, 윈도우 바이올레이션의 요인이 되지 않는다.
도 4는 본 발명의 실시예에 따른 플로팅 윈도우를 위한 특징점들을 추출한 예를 나타낸다.
도 (a)는 좌측 플로팅 윈도우를 위한 특징점들을 추출한 예를 나타내며, 도 (b)는 우측 플로팅 윈도우를 위한 특징점들을 추출한 예를 나타낸다. 즉, 도면의 화면에서 전술한 수학식 1에서 계산된 특징점 중 네거티브 디스패리티 값을 갖는 특징점을 추출한 것이다.
그리고, 특징점 추출이 완료되면, 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬(Ordering)을 수행한다(S30).
본 발명은 x 및 z 의 2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 활용한다.
본 발명은 왼쪽 이미지의 좌측 특징점의 x 좌표, 오른쪽 이미지의 우측 특징점의 x 좌표 및 네거티브 시차 특징점 사이의 대응하는 두 개의 특징점 사이의 디스패리티로부터 z 좌표를 획득한다.
K-평균 클러스터링 기법에서 K가 5이면, 초기 중심 x 가 이미지 해상도 폭이 5로 분할됨으로서 획득된다. z 값에 대해서는 전체 디스패리티 분포로부터 제어된 외부 영역을 제외함을 통해, 최소 및 최대 차이에 기반한 5 디스패리티를 획득한다.
본 발명은 도 4에 도시된 바와 같이, 전체 특징점 매칭을 찾는 것이 아니라, 이동 X(Shift X)를 판별하는 것이고, 클러스터 2, 3, 4는 무시된다.
클러스터 1의 특징점들은 좌측 윈도우 바이올레이션(VL)을 찾기 위해 사용되며, 클러스터 5의 특징점들은 우측 윈도우 바이올 레이션(VR)을 찾기 위해 사용된다.
그리고, 클러스터링이 완료되면, 변환 양을 계산하고, 시간적 일관성을 적용한다(S40, S50). 변환 량을 계산하기 위해서는 먼저 에너지 함수를 수학식 2에 따라 계산한다.
Figure pat00012
(여기서 t는 입력 시퀀스 프레임의 수이고, n은 왼쪽 또는 오른쪽 클러스터에서 왼쪽 오른쪽 이미지의 특징점들의 개수이다.)
수학식 2에서 첫 번째 항목은 특징점에 따라 변환 값을 최적화하고, 두 번째 항목은 현재, 이전 프레임 또는 현재, 다음 프레임 사이의 시간적 일관성을 최적화한다.
Wt는 시퀀스의 시간적 가중값으로서, 만일 Wt 값이 더 크면, 프레임과 프레임 사이의 차이가 작아지게 되고, 플로팅 윈도우는 더 부정확해진다. 따라서 수학식2를 수학식 3 과 같이 변형한다.
Figure pat00013
(여기서, FL 및 FR은 n 에 의해 t이고, a 는 n이 1 의 값을 갖는 n 벡터에 의해 1 이다. △X 는 t 파생 매트릭스 및 Xi - Xi +1에 의해 t 이다.
그리고, 본 발명에 따른 다이나믹 플로팅 윈도우 생성 방법은 사용자 컨스트레인(User Constraint)을 적용한다(S60).
사용자 컨스트레인은 수학식 4 와 같이 적용할 수 있다.
Figure pat00014
여기서 C 는 제약된 프레임 번호의 집합이고, c 는 i번째 컨스트레인 값이며, Wc 는 사용자 컨스트레인 항목의 가중치이다.
본 발명은 총 에너지 함수 E를 계산하기 위해 수학식 3 의 원 에너지 함수(Eb)와 수학식 4 의 사용자 컨스트레인 에너지(Ec)를 조합한다. 그러면, E는 수학식 5 와 같이 계산된다.
Figure pat00015
(여기서, Π는 t 순환행렬에 의해 t이고, m 은 집합 C의 요소의 개수이다. Π는 각 행의 컨스트레인 프레임 넘버에 대응하는 열이 1로 채워지고, 나머지는 0으로 채워진 행렬이다. Cv 는 n 매트릭스 각각의 행의 모든 열이 컨스트레인 값이 vi와 동일한 n 매트릭스에 의해 t 이다.)
따라서 수학식 6에서
Figure pat00016
X는 출력 교환 값들의 1 벡터에 의해 t 이다.
에너지 함수 E 의 제1 유도에 따라 수학식 7을 계산할 수 있다.
Figure pat00017
여기서, A 는 t 매트릭스에 의해 t이고, X는 1 벡터에 의해 t 이며, B는 1 백터에 의해 t이다. I는 t identify matrix에 의해 t이고, F는 FR - FL이다.
사용자 컨스트레인이 완료되면, 이후 최종 변환 량 X를 계산한다(S70) 즉, 플로팅 윈도우를 그리고, 생성된 좌측, 우측 다이나믹 플로팅 윈도우를 출력한다(S70).
도 5는 본 발명에 따라 생성된 다이나믹 플로팅 윈도우의 적용 예를 나타내고, 도 6은 도 5에서 시간적 가중치의 효과를 나타낸다.
도 5 및 도 6에서 적용된 비디오 샘플은 Interaced Live Sequence로 1050x638, 180 frame의 데이터로 구성되며, 느린 패닝(Slow Panning) 및 적은 디스패리티 바이올레이션을 가진다.
도7 은 본 발명에 따라 생성된 다이나믹 플로팅 윈도우의 다른 적용 예를 나타내고, 도8 은 도7 에서 시간적 가중치 및 사용자 컨스트레인 가중치의 효과를 나타낸다.
도 5 및 도 6에서 적용된 비디오 샘플은 Cartoon Style Image Sequence로 800x450, 85 frame의 데이터로 구성되며, 빠른 모션 및 많은 양의 윈도우 바이올레이션을 가진다.
도9 는 본 발명에 따라 생성된 다이나믹 플로팅 윈도우의 또다른 적용 예와 변환값을 나타낸다.
도5 내지 도9 에 도시된 바와 같이 본 발명에 따라 생성된 플로팅 윈도우는 윈도우 바이올레이션을 효과적으로 제거할 수 있으며, 시관적 일관성을 제공할 뿐만 아니라 사용자 컨스트레인을 적용하기 용이하다.
도 10은 본 발명의 실시예에 따른 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 시스템(10)의 구성도이다.
도면과 같이, 다이나믹 플로팅 윈도우 생성 시스템(10)은 시퀀스 입력부(20), 특징점 추출부(30), 클러스터링부(40), 컨스트레인부(50), 다이나믹 플로팅 윈도우부(60)을 포함하여 구성된다.
우선, 시퀀스 입력부(20)는 좌이미지 및 우이미지 시퀀스(Sequence)의 입력을 수신하여, 수신된 좌, 우 이미지 시퀀스를 특징점 추출부(30)에 전송한다.
특징점 추출부(30)는 전송된 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출한다.
그리고, 특징점 추출부(30)는 Speeded Up Robust Feature(SURF) 기법을 이용하여, 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서 각 이미지에 대한 디스패리티 값(D)을 전술한 수학식 1에 따라 계산한다.
클러스터링부(40)는 추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하고, 클러스터링에 대해 변환 양을 계산하고, 시간적 일관성을 적용한다.
그리고, 클러스터링부(40)는 2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 이용한다.
그리고, 클러스터링부(40)는 추출된 특징점을 5개의 클러스터로 구분하고, 5개의 클러스터 중 가장 좌측의 제 1 클러스터 및 가장 우측의 제5 클러스터에서 특징점 매칭을 수행한다.
그리고, 클러스터링부(40)는 클러스터링에 대한 변환 양 및 시간적 일관성을 전술한 수학식 2를 이용하여 계산한다.
그리고, 클러스터링부(40)는 클러스터링에 대한 변환 양을 전술한 수학식 3을 이용하여 계산한다.
컨스트레인부(50)는 사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용한다.
그리고, 컨스트레인부(50)는 입력된 사용자 컨스트레인 에너지를 전술한 수학식 4에 따라 계산하고, 계산된 사용자 컨스트레인 에너지를 전술한 수학식 5를 적용한다.
마지막으로, 다이나믹 플로팅 윈도우부(60)는 사용자 컨스트레인티 적용된 최종 변환 량을 계산하고, 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 것이다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 3D 입체 영상 생성을 위한 다이나믹 플로팅 윈도우(Dynamic Floating Window) 생성 시스템에 있어서,
    좌이미지 및 우이미지 시퀀스(Sequence)의 입력을 수신하는 시퀀스 입력부;
    상기 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출하는 특징점 추출부;
    추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하고, 상기 클러스터링에 대해 변환 양을 계산하고 시간적 일관성을 적용하는 클러스터링부;
    사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용하는 컨스트레인부; 및
    사용자 컨스트레인티 적용된 최종 변환 량을 계산하고, 상기 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 다이나믹 플로팅 윈도우부를 포함하는 다이나믹 플로팅 윈도우 생성 시스템.
  2. 제 1 항에 있어서,
    상기 특징점 추출부는,
    Speeded Up Robust Feature(SURF) 기법을 이용하여, 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서 각 이미지에 대한 디스패리티 값(D)을 수학식
    Figure pat00018

    에 따라 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  3. 제 2 항에 있어서,
    상기 클러스터링부는,
    2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 이용하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  4. 제 3 항에 있어서,
    상기 클러스터링부는,
    상기 특징점을 5개의 클러스터로 구분하고, 5개의 클러스터 중 가장 좌측의 제 1 클러스터 및 가장 우측의 제5 클러스터에서 특징점 매칭을 수행하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  5. 제 3 항에 있어서,
    상기 클러스터링부는,
    상기 변환 량 및 시간적 일관성을 수학식
    Figure pat00019

    (여기서 t는 입력 시퀀스 프레임의 수이고, n은 왼쪽 또는 오른쪽 클러스터에서 왼쪽 오른쪽 이미지의 특징점들의 개수이다.)을 이용하여 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  6. 제 5 항에 있어서,
    상기 클러스터링부는,
    상기 변환 양을 수학식
    Figure pat00020

    (여기서, FL 및 FR은 n 에 의해 t이고, a 는 n이 1 의 값을 갖는 n 벡터에 의해 1 이다. △X 는 t 파생 매트릭스 및 Xi - Xi +1에 의해 t 이다.)
    을 이용하여 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  7. 제 6 항에 있어서,
    상기 컨스트레인부는,
    입력된 상기 사용자 컨스트레인 에너지를 수학식
    Figure pat00021

    (여기서 C 는 제약된 프레임 번호의 집합이고, c 는 i번째 컨스트레인 값이며, Wc 는 사용자 컨스트레인 항목의 가중치이다.)
    에 따라 계산하고, 계산된 사용자 컨스트레인 에너지를 수학식
    Figure pat00022

    (여기서, Π는 t 순환행렬에 의해 t이고, m 은 집합 C의 요소의 개수이다. Π는 각 행의 컨스트레인 프레임 넘버에 대응하는 열이 1로 채워지고, 나머지는 0으로 채워진 행렬이다. Cv 는 n 매트릭스 각각의 행의 모든 열이 컨스트레인 값이 vi와 동일한 n 매트릭스에 의해 t 이다.)
    으로 적용하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 시스템.
  8. 3D 입체 영상 생성을 위한 다이나믹 플로팅 윈도우(Dynamic Floating Window) 생성 방법에 있어서,
    좌이미지 및 우이미지 시퀀스(Sequence)를 입력으로 수신하는 단계;
    상기 좌, 우 이미지 시퀀스에서 공통으로 대응하는 네거티브 디스패러티(Negative Disparity) 값을 갖는 특징점을 추출하는 단계;
    추출된 특징점들에 대한 클러스터링(Clustering) 및 정렬을 수행하는 단계;
    상기 클러스터링에 대해 변환 양을 계산하고 시간적 일관성을 적용하는 단계;
    사용자 명령을 수신하여 사용자 컨스트레인(Constraint)을 적용하는 단계;
    사용자 컨스트레인티 적용된 최종 변환 량을 계산하는 단계; 및
    상기 최종 변환 량을 기초로 좌측 및 우측 다이나믹 플로팅 윈도우를 생성하여 출력하는 단계를 포함하는 다이나믹 플로팅 윈도우 생성 방법.
  9. 제 8 항에 있어서,
    상기 특징점 추출 단계는,
    Speeded Up Robust Feature(SURF) 기법을 이용하여, 좌 이미지 및 우 이미지의 대응하는 특징점들의 x 좌표를 매칭함으로서 각 이미지에 대한 디스패리티 값(D)을 수학식
    Figure pat00023

    에 따라 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
  10. 제 9 항에 있어서,
    상기 클러스터링 및 정렬 수행 단계는,
    2차원적 알고리즘에 따라 왼쪽과 오른쪽 클러스터들로 특징점을 분류하기 위해 K-평균 클러스터링 기법을 이용하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
  11. 제 10 항에 있어서,
    상기 클러스터링 및 정렬을 수행 단계는,
    상기 특징점을 5개의 클러스터로 구분하고, 5개의 클러스터 중 가장 좌측의 제 1 클러스터 및 가장 우측의 제5 클러스터에서 특징점 매칭을 수행하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
  12. 제 10 항에 있어서,
    상기 시간적 일관성 적용 단계는,
    상기 변환 량 및 시간적 일관성을 수학식
    Figure pat00024

    (여기서 t는 입력 시퀀스 프레임의 수이고, n은 왼쪽 또는 오른쪽 클러스터에서 왼쪽 오른쪽 이미지의 특징점들의 개수이다.)을 이용하여 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
  13. 제 12 항에 있어서,
    상기 시간적 일관성 적용 단계는,
    상기 변환 양을 수학식
    Figure pat00025

    (여기서, FL 및 FR은 n 에 의해 t이고, a 는 n이 1 의 값을 갖는 n 벡터에 의해 1 이다. △X 는 t 파생 매트릭스 및 Xi - Xi +1에 의해 t 이다.)
    을 이용하여 계산하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
  14. 제 13 항에 있어서,
    상기 사용자 컨스트레인 적용 단계는,
    입력된 상기 사용자 컨스트레인 에너지를 수학식
    Figure pat00026

    (여기서 C 는 제약된 프레임 번호의 집합이고, c 는 i번째 컨스트레인 값이며, Wc 는 사용자 컨스트레인 항목의 가중치이다.)
    에 따라 계산하고, 계산된 사용자 컨스트레인 에너지를 수학식
    Figure pat00027

    (여기서, Π는 t 순환행렬에 의해 t이고, m 은 집합 C의 요소의 개수이다. Π는 각 행의 컨스트레인 프레임 넘버에 대응하는 열이 1로 채워지고, 나머지는 0으로 채워진 행렬이다. Cv 는 n 매트릭스 각각의 행의 모든 열이 컨스트레인 값이 vi와 동일한 n 매트릭스에 의해 t 이다.)
    으로 적용하는 것을 특징으로 하는 다이나믹 플로팅 윈도우 생성 방법.
KR20130129853A 2012-10-30 2013-10-30 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템 KR101511315B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120121615 2012-10-30
KR1020120121615 2012-10-30

Publications (2)

Publication Number Publication Date
KR20140056073A true KR20140056073A (ko) 2014-05-09
KR101511315B1 KR101511315B1 (ko) 2015-04-14

Family

ID=50825052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130129853A KR101511315B1 (ko) 2012-10-30 2013-10-30 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템

Country Status (2)

Country Link
US (1) US9325962B2 (ko)
KR (1) KR101511315B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999797B1 (ko) * 2018-01-15 2019-07-12 충북대학교 산학협력단 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3028703A1 (fr) * 2014-11-13 2016-05-20 B<>Com Procede de rendu stereoscopique d'une scene 3d sur un ecran, dispositif, systeme et programme d'ordinateur associes
CN106325521B (zh) 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
US20230396750A1 (en) * 2020-10-21 2023-12-07 Google Llc Dynamic resolution of depth conflicts in telepresence

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US9681113B2 (en) * 2010-04-01 2017-06-13 Thomson Licensing Method and system of using floating window in three-dimensional (3D) presentation
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
US20130004059A1 (en) * 2011-07-01 2013-01-03 Amir Said Aligning stereoscopic images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999797B1 (ko) * 2018-01-15 2019-07-12 충북대학교 산학협력단 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법

Also Published As

Publication number Publication date
KR101511315B1 (ko) 2015-04-14
US20140152768A1 (en) 2014-06-05
US9325962B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
US10542249B2 (en) Stereoscopic video generation method based on 3D convolution neural network
US9471988B2 (en) Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
JP4896230B2 (ja) ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
CA2726208C (en) System and method for depth extraction of images with forward and backward depth prediction
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
KR20110004267A (ko) 깊이 맵 생성 장치 및 방법
CN107358645B (zh) 产品三维模型重建方法及其系统
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR20170027002A (ko) 영상 처리 방법 및 장치
WO2011017308A1 (en) Systems and methods for three-dimensional video generation
JP4892113B2 (ja) 画像処理方法及び装置
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
De Sorbier et al. Augmented reality for 3D TV using depth camera input
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
KR101629414B1 (ko) 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치
Yao et al. A real-time full HD 2D-to-3D video conversion system based on FPGA
Liu et al. Stereoscopic view synthesis based on region-wise rendering and sparse representation
Khatiullin et al. Fast occlusion filling method for multiview video generation
KR20180077547A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
Cai et al. Image-guided depth propagation for 2-D-to-3-D video conversion using superpixel matching and adaptive autoregressive model

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee