KR20140119999A - 깊이값 조정을 통한 입체영상 제공 시스템 및 방법 - Google Patents

깊이값 조정을 통한 입체영상 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20140119999A
KR20140119999A KR1020130035308A KR20130035308A KR20140119999A KR 20140119999 A KR20140119999 A KR 20140119999A KR 1020130035308 A KR1020130035308 A KR 1020130035308A KR 20130035308 A KR20130035308 A KR 20130035308A KR 20140119999 A KR20140119999 A KR 20140119999A
Authority
KR
South Korea
Prior art keywords
stereoscopic image
depth value
display means
providing system
adjusting
Prior art date
Application number
KR1020130035308A
Other languages
English (en)
Inventor
반윤지
김해동
김혜선
유정재
장경호
김명하
변주희
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130035308A priority Critical patent/KR20140119999A/ko
Priority to US14/230,834 priority patent/US20140292748A1/en
Publication of KR20140119999A publication Critical patent/KR20140119999A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

깊이값 조정을 통한 입체영상 제공 시스템 및 방법이 개시된다. 본 발명의 일실시예에 따른 입체영상 제공 시스템은, 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정하는 깊이값 추정부, 디스플레이 수단을 고려하여, 상기 깊이값을 조정하는 깊이값 조정부, 상기 조정된 깊이값을 이용하여 상기 제1 입체영상을 제2 입체영상으로 가공하는 입체영상 가공부, 상기 제2 입체영상을 상기 디스플레이 수단에 제공하는 입체영상 제공부를 포함한다.

Description

깊이값 조정을 통한 입체영상 제공 시스템 및 방법{DEVICE AND METHOD FOR PRODUCING STEREOSCOPIC BY ADJUSTING DEPTH VALUES}
본 발명의 실시예들은, 제1 입체영상으로부터 객체에 대한 깊이값을 추정하여 디스플레이 수단에 따라 상기 깊이값을 조정한 제2 입체영상을 제공하는 기술에 관한 것이다.
입체영상을 제작함에 있어서, 디스플레이 수단의 크기나 시청거리에 따라 상기 입체영상의 깊이값이 달라질 수 있다. 감독 또는 기획자는 상기 디스플레이 수단을 고려하여 상기 깊이값을 설정하고, 상기 입체영상은 특정 디스플레이 수단에 한해서 계획된 입체감을 형성할 수 있다.
이에 따라 디스플레이 수단의 종류에 관계없이 상기 감독 또는 상기 기획자로부터 제작된 입체영상을 동일한 입체감으로 감상할 수 있는 기술이 요구되고 있다.
본 발명의 실시예는 디스플레이 수단의 종류에 관계없이 동일한 입체감을 형성하는 입체영상을 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예는 입체영상의 좌측영상 및 우측영상으로부터 깊이맵을 생성하여 디스플레이 수단의 크기 및 시청거리에 따라 깊이값을 변경하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 입체영상 제공 시스템은, 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정하는 깊이값 추정부, 디스플레이 수단을 고려하여, 상기 깊이값을 조정하는 깊이값 조정부, 상기 조정된 깊이값을 이용하여 상기 제1 입체영상을 제2 입체영상으로 가공하는 입체영상 가공부, 상기 제2 입체영상을 상기 디스플레이 수단에 제공하는 입체영상 제공부를 포함한다.
또한, 본 발명의 일실시예에 따른 입체영상 제공 방법은, 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정하는 단계, 디스플레이 수단을 고려하여, 상기 깊이값을 조정하는 단계, 상기 조정된 깊이값을 이용하여 상기 제1 입체영상을 제2 입체영상으로 가공하는 단계, 상기 제2 입체영상을 상기 디스플레이 수단에 제공하는 단계를 포함한다.
본 발명의 실시예에 따르면, 디스플레이 수단의 종류에 관계없이 동일한 입체감의 입체영상을 감상 할 수 있다.
또한 본 발명의 실시예에 따르면, 디스플레이 수단의 크기 및 시청거리에 따라 입체영상의 깊이값을 자동으로 변경할 수 있다.
도 1은 본 발명의 일실시예에 따른 입체영상 제공 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 깊이값 추정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 깊이값 조정을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 입체영상 가공을 예시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 입체영상 제공 방법을 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른 입체영상 제공 시스템 및 방법에 대해 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 입체영상 제공 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면 입체영상 제공 시스템(100)은 깊이값 추정부(110), 깊이값 조정부(120), 입체영상 가공부(130), 입체영상 제공부(140)를 포함한다.
깊이값 추정부(110)는 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정한다. 상기 제1 입체영상은 두 개의 카메라를 통해 촬영될 수 있고, 피사체의 왼쪽 시점에서 촬상한 좌측 영상과 오른쪽 시점에서 촬상한 우측 영상으로 분리될 수 있다. 깊이값 추정부(110)는 상기 좌측 영상과 우측 영상에서 서로 대응하는 객체를 인식하여 상기 깊이값을 추정할 수 있다.
깊이값 추정부(110)는, 상기 객체 중에서 제로 스크린에 속하는 기준 객체에 대해 영점의 깊이값을 추정한다. 상기 제로 스크린은 상기 제1 입체영상에서 상기 두 개의 카메라의 초점이 만나는 지점이 될 수 있다. 상기 초점이 일치함에 따라, 상기 제1 입체영상과 상기 기준 객체는 동일한 거리에서 보일 수 있다.
깊이값 추정부(110)는 상기 기준 객체를 기준으로, 근접하게 보이는 객체에 대해 마이너스의 깊이값(상기 영점 보다 적은 음수의 깊이값)을 추정한다. 상기 근접하게 보이는 객체일 경우, 예컨대 상기 제1 입체영상의 좌측영상 내 객체는, 상기 좌측영상과 쌍을 이루는, 상기 제1 입체영상의 우측영상 내 객체의 위치와, 수평적으로 다른 위치에서 보일 수 있다. 또한, 상기 근접하게 보이는 객체일 경우의 상기 객체는 상기 우측영상에서 보다 상기 좌측영상에서 오른쪽으로 더 치우쳐 위치할 수 있다. 상기 좌측영상 및 상기 우측영상이 각각 왼쪽 눈과 오른쪽 눈을 통해 보이게 되면, 상기 객체의 상은 상기 제1 입체영상보다 가까운 거리에서 맺히게 되고, 깊이값 추정부(110)는 상기 객체에 대해 낮은 깊이값을 설정한다.
깊이값 추정부(110)는 상기 기준 객체를 기준으로, 멀리 보이는 객체에 대해 플러스의 깊이값을 추정한다. 상기 멀리 보이는 객체일 경우, 예컨대 상기 객체는 상기 우측영상에서 보다 상기 좌측영상에서 왼쪽으로 더 치우쳐 위치할 수 있다. 또한, 상기 멀리 보이는 객체일 경우의, 상기 객체의 상은 상기 제1 입체영상보다 먼 거리에서 맺힐 수 있고, 깊이값 추정부(110)는 상기 객체에 대해 높은 깊이값을 설정한다.
깊이값 조정부(120)는 디스플레이 수단의 크기를 고려해서 상기 깊이값을 조정한다. 상기 디스플레이 수단의 크기가 작으면, 상기 제1 입체영상이 축소됨에 따라 상기 깊이값은 감소할 수 있다. 반면에 상기 디스플레이 수단의 크기가 크면, 상기 제1 입체영상이 확대됨에 따라 상기 깊이값은 증가할 수 있다.
깊이값 조정부(120)는 디스플레이 수단의 시청거리를 고려해서 상기 깊이값을 조정한다. 상기 디스플레이 수단의 시청거리가 가까우면, 상기 제1 입체영상의 깊이값은 증가하고, 상기 디스플레이 수단의 시청거리가 멀면 상기 깊이값은 감소할 수 있다.
깊이값 조정부(120)는, 상기 디스플레이 수단의 크기 및 시청거리에 따라 변경된 깊이값을 상기 추정한 깊이값으로 조정할 수 있다.
깊이값 조정부(120)는, 상기 제1 입체영상의 객체 중에서 제로 스크린에 속하는 기준 객체에 대한 깊이값을 조정하지 않고 유지한다.
입체영상 가공부(130)는, 상기 조정된 깊이값을 이용하여 DIBR(Depth-Image-Based Rendering)을 통해, 상기 제1 입체영상을 상기 제2 입체영상으로 가공한다.
상기 DIBR은 깊이맵을 이용하여 한 장 혹은 여러 장의 2차원 영상으로부터 입체영상을 만들어내는 기술을 의미할 수 있다. 입체영상 가공부(130)는 깊이값 조정부(120)에 의해 깊이값이 조정되면, 상기 제1 입체영상을 구성하는 픽셀별로 상기 깊이값을 설정한 깊이맵을 작성할 수 있다. 입체영상 가공부(130)는 상기 깊이맵으로부터 객체의 시차를 계산함으로써, 상기 제2 입체영상을 가공할 수 있다.
입체영상 제공부(140)는 상기 제2 입체영상을 상기 디스플레이 수단에 제공한다. 상기 디스플레이 수단은 영화관 스크린, TV, 프로젝터, 노트북, 스마트폰을 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 깊이값 추정을 설명하기 위한 도면이다.
도 2를 참조하면 입체영상 제공 시스템은 제1 입체영상(200) 내 객체(210 내지 230)에 대한 깊이값을 추정한다. 제1 입체영상(200)은 두 개의 카메라를 통해 객체의 다른 시점에서 촬상된 좌측영상 및 우측영상을 합성 함으로써 생성될 수 있다. 제1 입체영상(200)을 구성하는 상기 좌측영상 및 상기 우측영상은 인체의 좌안 및 우안을 통해 각각 인식될 수 있고, 제1 입체영상(200)은 상기 깊이값에 따라 상이한 입체감을 형성할 수 있다.
입체영상 제공 시스템은, 제로 스크린에 속하는 기준 객체(230)에 대해 영점의 깊이값을 추정한다. 상기 제로 스크린은 제1 입체영상(200)을 구성하는 좌측영상 및 우측영상이 합성되는 과정에서 픽셀값이 변하지 않은 부분을 지칭할 수 있다. 기준 객체(230)는 상기 좌측영상 및 상기 우측영상의 동일한 위치에 표시됨에 따라 제1 입체영상(200)과 동일한 원근거리에서 보일 수 있다.
입체영상 제공 시스템은 기준 객체(230)를 기준으로, 근접하게 보이는 객체(210)에 대해 마이너스의 깊이값을 추정한다. 객체(210)는 상기 우측영상보다 상기 좌측영상에서 더 오른쪽에 배치될 수 있다. 상기 좌측영상 및 상기 우측영상이 각각 좌안 및 우안을 통해 개별적으로 인식되면, 제1 입체영상(200)보다 가까운 거리에서는 객체(210)의 상을 얻을 수 있다. 입체영상 제공 시스템은 객체(210)에 대해 기준 객체(230)보다 낮은 깊이값을 설정한다.
또한, 입체영상 제공 시스템은 기준 객체(230)를 기준으로, 멀게 보이는 객체(220)에 대해 플러스의 깊이값을 추정한다. 객체(220)는 상기 우측영상보다 상기 좌측영상에서 더 왼쪽에 배치될 수 있다. 상기 좌측영상 및 상기 우측영상이 각각 좌안 및 우안을 통해 개별적으로 인식되면, 제1 입체영상(200)보다 먼 거리에서는 객체(220)의 상을 얻을 수 있다. 입체영상 제공 시스템은 객체(220)에 대해 기준 객체(230)보다 높은 깊이값을 설정한다.
도 3은 본 발명의 일실시예에 따른 깊이값 조정을 설명하기 위한 도면이다.
입체영상 제공 시스템은 제1 입체영상(도 3b) 내 객체에 대한 깊이값을 추정한 후, 디스플레이 수단을 고려하여, 상기 깊이값을 조정한다.
예컨대 도 3b의 제1 입체영상이 13인치의 크기와 10m의 시청거리를 가지는 디스플레이 수단에 영사되면, 상기 제1 입체영상은 도 3a에서와 같이 보여질 수 있다.
입체영상 제공 시스템은 상기 디스플레이 수단의 크기를 고려해서 상기 깊이값을 조정한다. 상기 디스플레이 수단의 크기가 크면, 상기 제1 입체영상이 확대됨에 따라 상기 깊이값은 증가할 수 있다.
다음으로, 입체영상 제공 시스템은 상기 디스플레이 수단의 시청거리를 고려해서 상기 깊이값을 조정한다. 상기 디스플레이 수단의 시청거리가 가까우면, 상기 제1 입체영상의 깊이값은 증가할 수 있다. 입체영상 제공 시스템은, 상기 디스플레이 수단의 크기 및 시청거리에 따라 변경된 깊이값을 추정한 깊이값으로 조정할 수 있다.
다른 실례에서, 도 3b의 제1 입체영상이 5인치의 크기와 1m의 시청거리를 가지는 디스플레이 수단에 영사되면, 상기 제1 입체영상은 도 3c에서와 같이 보여질 수 있다.
상기 디스플레이 수단의 크기가 작으면, 상기 제1 입체영상이 축소됨에 따라 상기 깊이값은 감소할 수 있다. 또한 상기 디스플레이 수단의 시청거리가 멀면, 상기 제1 입체영상의 깊이값은 감소할 수 있다. 입체영상 제공 시스템은, 상기 디스플레이 수단의 크기 및 시청거리에 따라 변경된 깊이값을 추정한 깊이값으로 조정할 수 있다.
도 4는 본 발명의 일실시예에 따른 입체영상 가공을 예시하는 도면이다.
도 4를 참조하면 입체영상 제공 시스템은 제1 입체영상(도 4a)에서 객체에 대한 깊이값을 추정한다. 제1 입체영상은 제로 스크린에 속하는 기준 객체, 상기 기준 객체를 기준으로 근접하게 보이는 객체, 멀리 보이는 객체 등을 포함할 수 있다.
입체영상 제공 시스템은 상기 객체에 각각 다른 깊이값을 설정하여 깊이맵(도 4b)을 생성한다.
입체영상 제공 시스템은, 상기 객체 중에서 제로 스크린에 속하는 기준 객체를 기준으로, 근접하게 보이는 객체에 대해 마이너스의 깊이값을 추정하고, 멀리 보이는 객체에 대해 플러스의 깊이값을 추정한다. 깊이맵(도 4b)은 제1 입체영상(도 4a)과 동일한 개수의 픽셀로 구성되고, 각 픽셀마다 상기 깊이값에 대응하는 값을 할당할 수 있다. 예를 들어, 입체영상 제공 시스템은 깊이맵(도 4b)에서 상기 픽셀에 대해 0에서 255사이의 값을 할당함으로써, 상기 객체의 깊이값을 표현할 수 있다.
입체영상 제공 시스템은 제1 입체영상(도 4a)에서 상기 기준객체가 0점의 깊이값이 설정된 경우, 상기 객체에 해당하는 픽셀에 128을 할당할 수 있다.
입체영상 제공 시스템은 제1 입체영상(도 4a)에서 상기 기준객체를 기준으로 근접하게 보이는 객체에 대해 마이너스의 깊이값이 추정된 경우, 0에서 127사이의 값을 할당할 수 있다. 또한 입체영상 제공 시스템은 상기 기준객체를 기준으로 멀리 보이는 객체에 플러스의 깊이값이 추정된 경우, 129에서 255사이의 값을 할당할 수 있다. 깊이맵(도 4b)은 상기 픽셀값이 클수록 즉, 상기 객체의 깊이값이 높을수록 어두운 색으로 표현될 수 있다.
입체영상 제공 시스템은 디스플레이 수단을 고려하여, 상기 깊이값을 조정한다. 상기 제1 입체영상은 상기 디스플레이 수단의 크기가 커지거나, 시청거리가 가까워질수록 깊이값은 증가할 수 있다. 반면, 상기 디스플레이 수단의 크기가 작아지거나, 시청거리가 멀어질수록 상기 깊이값은 감소할 수 있다. 입체영상 제공 시스템은, 상기 디스플레이 수단의 크기 및 시청거리에 따라 변경된 깊이값을 추정한 깊이값으로 조정한다.
입체영상 제공 시스템은 깊이맵(도 4b)을 통해 상기 조정된 깊이값을 이용하여 제1 입체영상(도 4a)을 제2 입체영상(도 4c)으로 가공한다.
입체영상 제공 시스템은, DIBR(Depth-Image-Based Rendering)을 통해, 제2 입체영상(도 4c)을 가공한다. 상기 DIBR은 깊이맵(도 4b)과 한 장 혹은 여러 장의 2차원 영상으로부터 새로운 시점의 제2 입체영상(도 4c)을 만들어낼 수 있다.
입체영상 제공 시스템은, 깊이맵(도 4b)으로부터 객체의 시차를 계산할 수 있다. 상기 시차는 인간의 좌안 및 우안에 들어오는 제1 입체영상(도 4a) 내 픽셀의 차이를 의미할 수 있다. 입체영상 제공 시스템은 깊이맵(도 4b)의 각 픽셀값을 256으로 나눈 값을 1에서 뺀 후 임의로 설정한 최대 시차값과 곱하여 상기 시차를 계산할 수 있다.
입체영상 제공 시스템은, 상기 계산한 시차만큼 제1 입체영상(도 4a)의 객체를 좌 또는 우의 방향으로 이동시켜 제2 입체영상(도 4c)를 가공한다.
도 5는 본 발명의 일실시예에 따른 입체영상 제공 방법을 나타내는 도면이다.
입체영상 제공 시스템은 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정한다(510). 상기 제1 입체영상은 두 개의 카메라를 통해 촬영될 수 있고, 피사체의 왼쪽 시점에서 촬상한 좌측 영상과 오른쪽 시점에서 촬상한 우측 영상으로 분리될 수 있다. 입체영상 제공 시스템은 상기 좌측 영상과 우측 영상에서 서로 대응하는 객체를 인식하여 상기 깊이값을 추정할 수 있다.
입체영상 제공 시스템은, 상기 객체 중에서 제로 스크린에 속하는 기준 객체에 대해 영점의 깊이값을 추정한다. 상기 제로 스크린은 상기 제1 입체영상에서 상기 두 개의 카메라의 초점이 만나는 지점이 될 수 있다. 상기 초점이 일치함에 따라, 상기 제1 입체영상과 상기 기준 객체는 동일한 거리에서 보일 수 있다.
입체영상 제공 시스템은 상기 기준 객체를 기준으로, 근접하게 보이는 객체에 대해 마이너스의 깊이값을 추정한다. 상기 객체는 상기 제1 입체영상의 좌측영상 및 우측영상에서 수평적으로 다른 위치에서 보일 수 있다. 상기 객체는 상기 우측영상보다 상기 좌측영상에서 더 오른쪽에 위치할 수 있다. 상기 좌측영상 및 상기 우측영상이 각각 왼쪽 눈과 오른쪽 눈을 통해 보이게 되면, 상기 객체의 상은 상기 제1 입체영상보다 가까운 거리에서 맺히고, 입체영상 제공 시스템은 상기 객체에 대해 낮은 깊이값을 설정한다.
입체영상 제공 시스템은 상기 기준 객체를 기준으로, 멀리 보이는 객체에 대해 플러스의 깊이값을 추정한다. 상기 객체는 상기 우측영상보다 상기 좌측영상에서 더 왼쪽에 위치할 수 있다. 이 경우, 상기 객체의 상은 상기 제1 입체영상보다 먼 거리에서 맺힐 수 있고, 입체영상 제공 시스템은 상기 객체에 대해 높은 깊이값을 설정한다.
상기 깊이값이 추정되면, 입체영상 제공 시스템은 상기 제1 입체영상이 영사되는 디스플레이 수단을 고려한다(520). 입체영상 제공 시스템은 디스플레이 수단의 크기를 고려할 수 있다. 상기 디스플레이 수단의 크기가 작으면, 상기 제1 입체영상이 축소됨에 따라 상기 깊이값도 감소할 수 있다. 반면에 상기 디스플레이 수단의 크기가 크면, 상기 제1 입체영상이 확대됨에 따라 상기 깊이값도 증가할 수 있다. 또한 입체영상 제공 시스템은 디스플레이 수단의 시청거리를 고려할 수 있다. 상기 디스플레이 수단의 시청거리가 가까우면, 상기 제1 입체영상의 깊이값이 증가하고, 상기 디스플레이 수단의 시청거리가 멀면 상기 깊이값이 감소할 수 있다.
입체영상 제공 시스템은 상기 디스플레이 수단의 크기 및 시청거리에 따라 깊이값을 조정한다(530). 이때, 입체영상 제공 시스템은, 상기 제1 입체영상의 객체 중에서 제로 스크린에 속하는 기준 객체에 대한 깊이값을 조정하지 않고 유지한다.
상기 깊이값이 조정되면, 입체영상 제공 시스템은 제2 입체영상을 가공한다(540). 즉, 입체영상 제공 시스템은, DIBR(Depth-Image-Based Rendering)을 통해, 상기 제1 입체영상을 상기 제2 입체영상으로 가공한다. 상기 DIBR은 깊이맵을 이용하여 한 장 혹은 여러 장의 2차원 영상으로부터 입체영상을 만들어내는 기술을 의미할 수 있다. 입체영상 제공 시스템은 상기 제1 입체영상을 구성하는 픽셀별로 상기 조정된 깊이값을 설정한 깊이맵을 작성할 수 있다. 입체영상 제공 시스템은 상기 깊이맵으로부터 객체의 시차를 계산함으로써, 상기 제2 입체영상을 가공할 수 있다.
상기 제2 입체영상이 가공되면, 입체영상 제공 시스템은 상기 디스플레이 수단을 통해 제공한다(550).
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 깊이값 추정부 120: 깊이값 조정부
130: 입체영상 가공부 140: 입체영상 제공부

Claims (14)

  1. 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정하는 깊이값 추정부;
    디스플레이 수단을 고려하여, 상기 깊이값을 조정하는 깊이값 조정부;
    상기 조정된 깊이값을 이용하여 상기 제1 입체영상을 제2 입체영상으로 가공하는 입체영상 가공부; 및
    상기 제2 입체영상을 상기 디스플레이 수단에 제공하는 입체영상 제공부
    를 포함하는 입체영상 제공 시스템.
  2. 제1항에 있어서,
    상기 깊이값 추정부는,
    상기 객체 중에서 제로 스크린에 속하는 기준 객체를 기준으로, 근접하게 보이는 객체에 대해 마이너스의 깊이값을 추정하고, 멀리 보이는 객체에 대해 플러스의 깊이값을 추정하는
    입체영상 제공 시스템.
  3. 제2항에 있어서,
    상기 깊이값 추정부는,
    상기 기준 객체에 대해 영점의 깊이값을 추정하는
    입체영상 제공 시스템.
  4. 제1항에 있어서,
    상기 깊이값 조정부는,
    상기 디스플레이 수단의 스크린 크기가 커짐에 따라, 상기 깊이값을 감소시켜 조정하고, 상기 디스플레이 수단의 스크린 크기가 작아짐에 따라, 상기 깊이값을 증가시켜 조정하는
    입체영상 제공 시스템.
  5. 제1항에 있어서,
    상기 깊이값 조정부는,
    상기 디스플레이 수단의 시청거리가 멀어짐에 따라, 상기 깊이값을 증가시켜 조정하고, 상기 디스플레이 수단의 시청거리가 가까워짐에 따라, 상기 깊이값을 감소시켜 조정하는
    입체영상 제공 시스템.
  6. 제4항 또는 제5항에 있어서,
    상기 깊이값 조정부는,
    상기 객체 중에서 제로 스크린에 속하는 기준 객체에 대한 깊이값을 조정하지 않고 유지하는
    입체영상 제공 시스템.
  7. 제1항에 있어서,
    상기 입체영상 가공부는,
    상기 조정된 깊이값을 적용한 DIBR(Depth-Image-Based Rendering)을 통해, 상기 제2 입체영상을 가공하는
    입체영상 제공 시스템.
  8. 제1 입체영상으로부터, 상기 제1 입체영상 내 객체에 대한 깊이값을 추정하는 단계;
    디스플레이 수단을 고려하여, 상기 깊이값을 조정하는 단계;
    상기 조정된 깊이값을 이용하여 상기 제1 입체영상을 제2 입체영상으로 가공하는 단계; 및
    상기 제2 입체영상을 상기 디스플레이 수단에 제공하는 단계
    를 포함하는 입체영상 제공 방법.
  9. 제8항에 있어서,
    상기 깊이값을 추정하는 단계는,
    상기 객체 중에서 제로 스크린에 속하는 기준 객체를 기준으로, 근접하게 보이는 객체에 대해 마이너스의 깊이값을 추정하고, 멀리 보이는 객체에 대해 플러스의 깊이값을 추정하는 단계
    를 포함하는 입체영상 제공 방법.
  10. 제9항에 있어서,
    상기 깊이값을 추정하는 단계는,
    상기 기준 객체에 대해 영점의 깊이값을 추정하는 단계
    를 더 포함하는 입체영상 제공 방법.
  11. 제8항에 있어서,
    상기 깊이값을 조정하는 단계는,
    상기 디스플레이 수단의 스크린 크기가 커짐에 따라, 상기 깊이값을 감소시켜 조정하는 단계; 및
    상기 디스플레이 수단의 스크린 크기가 작아짐에 따라, 상기 깊이값을 증가시켜 조정하는 단계
    를 포함하는 입체영상 제공 방법.
  12. 제8항에 있어서,
    상기 깊이값을 조정하는 단계는,
    상기 디스플레이 수단의 시청거리가 멀어짐에 따라, 상기 깊이값을 증가시켜 조정하는 단계; 및
    상기 디스플레이 수단의 시청거리가 가까워짐에 따라, 상기 깊이값을 감소시켜 조정하는 단계
    를 포함하는 입체영상 제공 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 깊이값을 조정하는 단계는,
    상기 객체 중에서 제로 스크린에 속하는 기준 객체에 대한 깊이값을 조정하지 않고 유지하는 단계
    를 더 포함하는 입체영상 제공 방법.
  14. 제8항에 있어서,
    상기 제2 입체영상으로 가공하는 단계는,
    상기 조정된 깊이값을 적용한 DIBR(Depth-Image-Based Rendering)을 통해, 상기 제2 입체영상을 가공하는 단계
    를 포함하는 입체영상 제공 방법.
KR1020130035308A 2013-04-01 2013-04-01 깊이값 조정을 통한 입체영상 제공 시스템 및 방법 KR20140119999A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130035308A KR20140119999A (ko) 2013-04-01 2013-04-01 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
US14/230,834 US20140292748A1 (en) 2013-04-01 2014-03-31 System and method for providing stereoscopic image by adjusting depth value

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130035308A KR20140119999A (ko) 2013-04-01 2013-04-01 깊이값 조정을 통한 입체영상 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20140119999A true KR20140119999A (ko) 2014-10-13

Family

ID=51620330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130035308A KR20140119999A (ko) 2013-04-01 2013-04-01 깊이값 조정을 통한 입체영상 제공 시스템 및 방법

Country Status (2)

Country Link
US (1) US20140292748A1 (ko)
KR (1) KR20140119999A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112147A1 (ko) * 2017-12-07 2019-06-13 삼성전자 주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019201355A1 (en) 2018-04-17 2019-10-24 Shanghaitech University Light field system occlusion removal

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
EP2523464A3 (en) * 2011-05-13 2013-01-23 LG Electronics Inc. Apparatus and method for processing 3-dimensional image
TW201320716A (zh) * 2011-11-01 2013-05-16 Acer Inc 動態景深調整裝置及其方法
KR101978760B1 (ko) * 2011-12-13 2019-05-16 삼성전자 주식회사 3차원 이미지의 표시 기능을 구비한 단말기에서 사용자 인터페이스 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112147A1 (ko) * 2017-12-07 2019-06-13 삼성전자 주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
KR20190067545A (ko) * 2017-12-07 2019-06-17 삼성전자주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US11257467B2 (en) 2017-12-07 2022-02-22 Samsung Electronics Co., Ltd. Method for controlling depth of object in mirror display system

Also Published As

Publication number Publication date
US20140292748A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US9153032B2 (en) Conversion method and apparatus with depth map generation
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
US20130135298A1 (en) Apparatus and method for generating new viewpoint image
US20140002595A1 (en) Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
US9519956B2 (en) Processing stereo images
US10713760B2 (en) Configuration for rendering virtual reality with an adaptive focal plane
JP2015096812A (ja) 画像処理装置、撮像装置および距離補正方法
CN106504186B (zh) 一种立体图像重定向方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
JP2016063248A (ja) 画像処理装置および画像処理方法
EP2747428B1 (en) Method and apparatus for rendering multi-view image
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
US8970670B2 (en) Method and apparatus for adjusting 3D depth of object and method for detecting 3D depth of object
KR20140119999A (ko) 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
JP2014016792A (ja) 画像処理装置および方法、並びにプログラム
KR102156410B1 (ko) 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
US20140293019A1 (en) Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space
JP6685241B2 (ja) 立体視ビデオ生成
WO2012153378A1 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP6490107B2 (ja) 立体視ビデオズーミング
JP2015216542A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid