KR20130003155A - 3차원 디스플레이에서의 영상 확대 장치 및 방법 - Google Patents

3차원 디스플레이에서의 영상 확대 장치 및 방법 Download PDF

Info

Publication number
KR20130003155A
KR20130003155A KR1020110064250A KR20110064250A KR20130003155A KR 20130003155 A KR20130003155 A KR 20130003155A KR 1020110064250 A KR1020110064250 A KR 1020110064250A KR 20110064250 A KR20110064250 A KR 20110064250A KR 20130003155 A KR20130003155 A KR 20130003155A
Authority
KR
South Korea
Prior art keywords
area
image
enlarged
detection area
display
Prior art date
Application number
KR1020110064250A
Other languages
English (en)
Other versions
KR101877802B1 (ko
Inventor
신홍창
방건
엄기문
김태원
장은영
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110064250A priority Critical patent/KR101877802B1/ko
Priority to PCT/KR2012/005253 priority patent/WO2013002622A2/ko
Priority to US14/128,399 priority patent/US9661314B2/en
Priority to DE112012002679.9T priority patent/DE112012002679T5/de
Publication of KR20130003155A publication Critical patent/KR20130003155A/ko
Application granted granted Critical
Publication of KR101877802B1 publication Critical patent/KR101877802B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

3차원 디스플레이 영상을 위한 영상 확대 장치 및 방법이 제공된다. 영상 확대 장치는, 원본 시점 영상들에서 3차원 디스플레이 영상의 확대 영역에 대응하는 검출 영역을 검출하는 영역 지정 검출부, 확대 영역의 확대 비율을 결정하는 확대 비율 결정부 및 검출 영역을 부분 다중화하는 부분 다중화부를 포함한다. 영상 확대 장치는 3차원 디스플레이에서 해상도의 저하 없는 영상 확대를 가능하게 한다.

Description

3차원 디스플레이에서의 영상 확대 장치 및 방법 {APPARATUS AND METHOD FOR IMAGE ENLARGEMENT IN 3-DIMENSIONAL DISPLAY}
본 발명은 3차원 디스플레이에 관한 것으로써, 보다 상세하게는 3차원 디스플레이에서의 영상 확대 장치 및 방법에 관한 것이다.
현재 출시되는 3차원 디스플레이에서는, 공간적으로 분할된 디스플레이 패널(display panel)에 두 시점(視點; view) 이상의 영상이 표시되며, 각각의 개별 시점의 영상들은 동시에 재생된다.
동시에 재생되는 영상들의 시점은 편광 필름, 렌티큘러 시트(lenticular sheet), 패럴랙스 배리어(parallax barrier) 등의 구동방식에 의해 분리된다. 따라서, 사람의 두 눈에 각각 서로 다른 시점의 영상이 제공되고, 재생되는 영상들은 3차원 영상으로 인식된다.
본 발명의 기술적 과제는 3차원 디스플레이에서의 영상 확대 장치 및 방법을 제공함에 있다.
본 발명의 다른 기술적 과제는 3차원 디스플레이에서 영상의 부분 확대를 가능하게 하는 영상 확대 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 3차원 디스플레이에서 해상도의 저하 없는 영상 확대를 가능하게 하는 영상 확대 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 3차원 디스플레이에서의 깊이 조절 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 3차원 디스플레이에서, 해상도의 저하 없는 영상 확대를 통해, 깊이 조절을 가능하게 하는 깊이 조절 장치 및 방법을 제공함에 있다.
본 발명의 일 실시 형태는 3차원 디스플레이 영상을 위한 영상 확대 장치이다. 상기 장치는 원본 시점 영상들에서 상기 3차원 디스플레이 영상의 확대 영역에 대응하는 검출 영역을 검출하는 영역 지정 검출부, 상기 확대 영역의 확대 비율을 결정하는 확대 비율 결정부 및 상기 원본 시점 영상들에서 상기 검출 영역 이외의 영역을 소정의 해상도로 다중화(multiplexing)하고, 상기 확대 비율에 기초하여 상기 검출 영역을 상기 해상도와 다른 해상도로 다중화하는 부분 다중화부를 포함한다. 여기서, 상기 원본 시점 영상들은 상기 3차원 디스플레이 영상의 기초가 되고, 동일 시간의 동일 장면에 대해 각각 서로 다른 시점을 갖는 영상들이다.
상기 영역 지정 검출부는 3차원 디스플레이 영상에서 확대 영역 정보를 생성하여 상기 확대 영역을 지정할 수 있다.
상기 영역 지정 검출부는 외부에서 지정된 확대 영역 정보를 수신하여 상기 확대 영역을 지정할 수 있다.
상기 확대 영역은 사각형 모양으로 지정될 수 있다.
상기 확대 영역으로서, 영상 내의 객체(object)만이 지정될 수 있다.
상기 확대 비율 결정부는 사용자에 의해 입력된 확대 비율 정보를 수신하여 확대 비율을 결정할 수 있다.
상기 확대 비율 결정부는 확대 비율이 단계적으로 조절되면서 결정되도록 구성될 수 있다.
상기 부분 다중화부는 상기 검출 영역을 상기 검출 영역 이외의 영역에 비해 같거나 높은 해상도로 다중화할 수 있다.
상기 부분 다중화부는 상기 검출 영역을 상기 검출 영역 이외의 영역의 리사이징된 후의 해상도에 상기 확대 비율을 곱한 값의 해상도로 다중화할 수 있다.
본 발명의 다른 실시 형태는 3차원 디스플레이 영상을 위한 영상 확대 방법이다. 상기 방법은 상기 3차원 디스플레이 영상에서 확대 영역을 지정하는 확대 영역 지정 단계, 원본 시점 영상들에서 상기 확대 영역에 대응하는 검출 영역을 검출하는 검출 영역 검출 단계, 상기 확대 영역의 확대 비율을 결정하는 확대 비율 결정 단계 및 상기 원본 시점 영상들에서 상기 검출 영역 이외의 영역을 소정의 해상도로 다중화(multiplexing)하고, 상기 확대 비율에 기초하여 상기 검출 영역을 상기 해상도와 다른 해상도로 다중화하는 부분 다중화(partial multiplexing) 단계를 포함한다.
본 발명의 또 다른 실시 형태는 3차원 디스플레이 영상을 위한 깊이 조절 장치이다. 상기 장치는 원본 시점 영상들에서 상기 3차원 디스플레이 영상의 확대 영역에 대응하는 검출 영역을 검출하는 영역 지정 검출부, 상기 확대 영역의 확대 비율을 결정하는 확대 비율 결정부, 상기 영역 정보 및 상기 확대 비율 정보를 기초로 검출 영역을 확대하고, 확대된 검출 영역의 변이를 조절하여 변이 영상을 생성하는 변이 조절부 및 최종 처리된 다시점 영상들을 다중화하는 다중화부를 포함한다.
본 발명의 또 다른 실시 형태는 3차원 디스플레이 영상을 위한 깊이 조절 방법이다. 상기 방법은 상기 3차원 디스플레이 영상에서 확대 영역을 지정하는 확대 영역 지정 단계, 원본 시점 영상들에서 상기 확대 영역에 대응하는 검출 영역을 검출하는 검출 영역 검출 단계, 상기 확대 영역의 확대 비율을 결정하는 확대 비율 결정 단계, 상기 검출 영역을 확대하는 검출 영역 확대 단계, 확대된 검출 영역의 변이를 조절하는 변이 조절 단계 및 최종 처리된 다시점 영상들을 다중화하는 다중화 단계를 포함한다.
본 발명은 3차원 디스플레이에서 해상도의 저하 없는 영상 확대를 가능하게 한다.
도 1은 3차원 디스플레이 영상의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 3차원 디스플레이 영상의 부분 확대 방법을 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 3차원 디스플레이 영상의 부분 확대 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 3차원 디스플레이에서의 영상 확대 장치를 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 3차원 디스플레이 영상의 깊이 조절 방법을 나타내는 개념도이다.
도 6은 변이 조절 방법의 일실시예로써, 확대된 검출 영역의 이동 범위를 개략적으로 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 3차원 디스플레이 영상의 깊이 조절 방법을 나타내는 흐름도이다.
도 8은 본 발명의 실시예에 따른 3차원 디스플레이에서의 깊이 조절 장치를 나타내는 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태가 구체적으로 설명된다. 각 도면의 구성 요소들에 참조 부호가 부가됨에 있어서, 동일한 구성 요소들은 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가진다. 또한, 본 명세서의 실시예 설명에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명은 생략된다.
도 1은 3차원 디스플레이 영상의 구성을 나타내는 도면이다. 도 1은 3차원 디스플레이에서 시점 수와 해상도의 관계를 보여준다.
도 1을 참조하면, 2개의 참조 영상들(reference image)(110)이 있고, 참조 영상들(110)에 의해 생성되는 서로 다른 N개 시점의 원본 시점 영상들(120)이 있다. 여기서, 원본 시점 영상들(120)은 다중화되기 전의 원본 영상들로서, 동일 시간의 동일 장면에 대해 각각 서로 다른 시점을 갖는 영상들이다. N은 동시에 재생되는 원본 시점 영상들의 시점의 수를 나타낸다.
상기 원본 시점 영상들(120)은 다시점 영상(131, 141)과 같이 3차원 디스플레이가 요구하는 입력규격에 맞게 배치되어, 3차원 디스플레이에 제공된다. 도 1에는 시점의 수가 각각 2, 9인 경우의 다시점 영상(131, 141)들이 도시되어 있다.
각각의 다시점 영상(131, 141)이 다중화(multiplexing)됨으로써 즉, 화소(pixel) 재배치됨으로써, 3차원 디스플레이 영상(132, 142)이 생성된다. 여기서, 3차원 디스플레이 영상(132, 142)은 3차원 디스플레이 장치를 통해 보여지는 경우 입체, 즉 3차원으로 인식되는 영상이다.
도 1에 나타난 바와 같이 3차원 디스플레이에서는 디스플레이 패널이 공간적으로 분할되며, 다중화된 복수의 원본 시점 영상들이 동시에 재생된다. 따라서 3차원 디스플레이에서 시점의 수와 시점당 해상도 사이에는 상충관계(trade-off)가 있다.
예를 들어, 스테레오스코픽(stereoscopic) 디스플레이에서는 좌우 두 시점의 영상들이 동시에 재생되며, 따라서 원본 시점 대비 시점당 해상도는 반으로 줄어든다. 두 개 이상 시점의 영상들을 재생하는 다시점 디스플레이에서도 마찬가지로 시점 수가 증가할수록 원본 시점 대비 시점당 해상도가 감소한다.
도 2는 본 발명의 실시예에 따른 3차원 디스플레이 영상의 부분 확대 방법을 나타내는 개념도이다. 도 2를 참조하면, 도 2는 3차원 디스플레이 영상(210), 원본 시점 영상들(source image)(220, 230, 240) 및 확대된 3차원 디스플레이 영상(250)을 도시한다. N은 동시에 재생되는 원본 시점 영상의 시점 수를 나타낸다.
도 2의 3차원 디스플레이 영상(210)은 3차원 디스플레이 장치를 통해 보여지는 경우 입체, 즉 3차원으로 인식되는 영상이다. 도 1에서 설명된 바와 같이, 3차원 디스플레이 영상(210)은 각각의 원본 시점 영상들(220, 230, 240)의 화소들이 재배치되어 다중화된(view multiplexed) 영상이다. 다중화된 영상은, 3차원 디스플레이 장치를 통해 보여지는 경우, 인간의 시각 특성 및 3차원 디스플레이의 특성 등에 의해 3차원의 입체 영상으로 보여진다.
부분 확대를 위해, 3차원 디스플레이 영상(210)에서 확대 영역이 지정된다. 확대 영역은 3차원 디스플레이 영상에서 확대하고자 하는 영역을 말한다. 3차원 디스플레이 영상(210)의 점선 내부의 영역은 확대 영역을 나타낸다.
확대 영역은 도 2에서와 같이 사각형 모양으로 지정되거나 다른 모양으로 지정될 수 있다. 또한 영상 내의 객체(object)만이 확대 영역으로 지정될 수도 있다.
다음 단계로 원본 시점 영상(220, 230, 240) 각각에 대해, 검출 영역이 검출(search)된다. 검출 영역은 원본 시점 영상에서, 3차원 디스플레이 영상의 확대 영역에 대응하는 영역을 말한다. 원본 시점 영상(220, 230, 240)에서 점선 내부의 영역은 검출 영역을 나타낸다.
검출 후에는 확대 영역에 대한 확대 비율이 결정된다. 확대 비율은 사용자 입력을 통해 결정될 수 있다. 또한 확대 비율은 영상 확대 장치 내에서 단계적으로 조절될 수 있으며, 이 경우 영상은 조절된 확대 비율에 따라 확대된다.
원본 시점 영상들(220, 230, 240)에서 검출 영역 이외의 영역과 검출 영역은 서로 다른 크기로 리사이징(resizing)된다. 따라서, 원본 시점 영상들(220, 230, 240)에서 검출 영역 이외의 영역이 소정 해상도로 다중화될 때 검출 영역은 확대 비율에 따라 검출 영역 이외 영역의 해상도와는 다른 해상도로 다중화(이를 화소 재배치라고도 한다.)(multiplexing)된다. 상기 다중화 과정을 부분 다중화(partial multiplexing)라 한다. 부분 다중화 결과, 해상도 제약 없이 부분 확대된 3차원 디스플레이 영상(250)이 생성된다.
원본 시점 영상들(220, 230, 240)은 다중화될 때 일정한 비율로 리사이징되어 다중화되며, 검출영역은, 리사이징 후에 검출 영역 이외의 영역에 비해 확대 비율만큼 더 큰 사이즈(size)를 가지도록 부분 리사이징되므로, 그 확대 비율에 비례하여 해상도의 저하가 방지될 수 있다. 즉, 상기 검출 영역은 상기 검출 영역 이외의 영역에 비해 같거나 높은 해상도로 다중화될 수 있다. 이 때, 부분 확대된 3차원 디스플레이 영상(250)은 해상도의 저하가 없는 확대 영상을 제공할 수 있다.
예를 들어, 원본 시점 영상들(220, 230, 240)이 리사이징되어 다중화될 때, 검출 영역 이외 영역은 1/9(가로 1/3, 세로 1/3)의 사이즈로 리사이징되어 해상도가 1/9로 낮아지는 경우가 가정된다. 이 경우 검출 영역이 검출 영역 이외 영역에 비해 가로, 세로 같은 비율로 2배만큼 확대된 것으로 보여지게 하기 위해, 다중화시에 검출 영역이 4/9(가로 2/3, 세로 2/3)의 사이즈로 리사이징될 수 있다. 이 때, 검출 영역의 해상도는 원본 시점 영상들(220, 230, 240)의 해상도에 비해 4/9(가로 2/3, 세로 2/3)가 된다. 따라서 검출 영역이 확대된 것으로 보이지만 해상도의 저하는 방지될 수 있다.
도 3은 본 발명의 실시예에 따른 3차원 디스플레이 영상의 부분 확대 방법을 나타내는 흐름도이다. 도 3은 도 2의 실시예에 따른 부분 확대 과정을 순서에 따라 보여준다.
도 3을 참조하면 우선, 3차원 디스플레이 영상에서 확대되는 확대 영역을 지정한다(S310). 도 2에서 언급된 바와 같이 확대 영역은 사각형, 또는 기타 모양으로 지정될 수 있고, 영상 내의 객체(object)만이 확대 영역으로 지정될 수도 있다.
그리고 원본 시점 영상에서 상기 확대 영역에 대응하는 검출 영역을 검출한다(S320).
다음으로, 확대 영역의 확대 비율을 결정한다(S330). 도 2에서 언급된 바와 같이, 확대 비율은 사용자 입력을 통해 결정될 수 있다. 또한 확대 비율은 영상 확대 장치 내에서 단계적으로 조절될 수 있으며, 이 경우 영상은 조절된 확대 비율에 따라 확대된다.
본 발명의 실시예에 따른, 화질 저하 없는 영상 확대를 위한 확대 비율은 다음과 같은 범위를 갖는다.
Figure pat00001

여기서, X_Ratio는 x축의 확대 비율을 나타내고, Y_Ratio는 y축의 확대 비율을 나타낸다. Ix 및 Iy는 한 원본 시점 영상의 해상도를 나타낸다. Ox 및 Oy는 공간 분할된 다시점 디스플레이에서 다중화되어 재생되는, 한 시점 영상의 해상도를 나타낸다.
마지막으로, 원본 시점 영상들에 대해 부분 다중화(partial multiplexing) 를 수행한다(S340). 이 때, 상기 검출 영역은 상기 하나의 원본 시점 영상의 해상도에 대해 (O/I)*Ratio 비율의 해상도로 부분 다중화(partial multiplexing)된다. 여기서, Ratio는 상기 과정(S330)에서 결정된 확대 비율을 나타낸다.
부분 다중화 결과, 원본 시점 영상에서 검출 영역 이외 영역의 해상도는 한 원본 시점 영상의 해상도에 비해
Figure pat00002
로 줄어들지만, 검출 영역의 해상도는 한 원본 시점 영상의 해상도에 대해 (O/I)*Ratio 비율을 유지한다. 따라서, 다중화 결과 생성된 3차원 디스플레이 영상은 해상도의 저하 없이 부분 확대된 확대 영상을 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 3차원 디스플레이에서의 영상 확대 장치를 나타내는 블록도이다. 도 4를 참조하면 영상 확대 장치는 영역 지정 검출부(410), 확대 비율 결정부(420) 및 부분 다중화부(430)를 포함한다.
영역 지정 검출부(410)는 3차원 디스플레이 영상에서 확대 영역 정보를 생성하여 확대 영역을 지정할 수 있다. 또한 영역 지정 검출부(410)는 외부에서 지정된 확대 영역 정보를 수신하여 확대 영역을 지정할 수도 있다. 도 2 및 도 3에서 설명된 바와 같이 확대 영역은 사각형 모양으로 지정되거나 다른 모양으로 지정될 수도 있고, 영상 내의 객체(object)만이 확대 영역으로 지정될 수도 있다. 또한 영역 지정 검출부(410)는 원본 시점 영상에서 상기 확대 영역에 대응하는 검출 영역을 검출한다. 영역 지정 검출부(410)는 확대 영역 또는 검출 영역에 관한 정보를 출력할 수 있다.
확대 비율 결정부(420)는 사용자에 의해 입력된 확대 비율 정보를 수신하여 확대 비율을 결정할 수 있다. 또한 확대 비율 결정부(420)는 확대 비율이 단계적으로 조절되면서 결정되도록 구성될 수 있으며, 이 경우 확대 영역은 조절된 확대 비율에 따라 확대된다. 확대 비율 결정부(420)는 확대 비율 정보를 출력할 수 있다.
부분 다중화부(430)는, 영역 정보 및 확대 비율 정보를 기초로, 원본 시점 영상의 검출 영역 및 검출 영역 이외 영역에 대해 부분 다중화를 수행한다. 부분 다중화부(430)의 부분 다중화 동작은 도 2 및 도 3에서 설명된 바와 동일하다. 부분 다중화 결과 생성된, 부분 확대된 3차원 디스플레이 영상은 해상도의 저하 없는 확대 영상을 제공할 수 있다.
도 2 내지 도 4에서 설명된 영상 확대 장치 및 방법은 3차원 디스플레이 영상을 부분 확대할 수 있는 재생(rendering) 기술을 제공한다. 상기 실시예에 따른 영상 확대 장치 및 방법은 화면 확대시 해상도의 저하를 초래하지 않으므로, 예를 들어, 부분 확대가 필요한 입체의료영상 표시 등의 분야에서 유용하게 사용될 수 있다.
도 5는 본 발명의 실시예에 따른 3차원 디스플레이 영상의 깊이 조절 방법을 나타내는 개념도이다. 도 5의 깊이 조절 방법에는 본 발명의 실시예에 따른 영상 확대 방법이 사용된다.
도 5를 참조하면, 도 5는 다시점 영상(510), 한 시점 영상(520), 부분 확대 영상(540), 변이 영상(550, 560) 및 부분 확대된 3차원 디스플레이 영상(530)을 도시한다.
다시점 영상(510)은 3차원 디스플레이의 원본 시점 영상들이 3×3 입력규격에 맞게 배치된 영상이다. 한 시점 영상(520)은 다중화(502)되기 전의 다시점 영상(510) 중 한 시점의 원본 시점 영상이다.
상기 한 시점 영상(520)에서 3차원 디스플레이 영상의 확대 영역에 대응하는 검출 영역(521)은, 도 2 내지 도 4에서 설명된 바와 같은, 본 발명의 실시예에 따른 영상 확대 방법을 사용하여 부분적으로 확대될 수 있다. 여기서, 검출 영역(521)은 앞에서 설명된 바와 같이 특정 물체(만) 또는 특정 범위일 수 있다.
여기서, 검출 영역은 다중화되기 전의 리사이징(resizing)된 영상에서 확대된 것이 아니라, 도 2에서 설명된 바와 같이 원본 시점 영상에서 검출 영역이 다른 크기(확대 비율)로 리사이징된다. 따라서 해상도의 저하가 초래되지 않는다.
한 시점 영상(520)이 리사이징될 때 검출 영역(521)이 검출 영역 이외의 영역과 다른 크기로 리사이징되는 경우, 검출 영역(521)이 부분적으로 확대된, 부분 확대 영상(540)이 제공된다. 한 시점 영상(520)으로부터 부분 확대 영상(540)이 생성되는 과정은 검출 영역 확대 과정(501)이라 한다. 부분 확대 영상(540)에서 점선 내부는 확대된 검출 영역(541)을 나타낸다.
부분 확대 영상(540)에서 확대된 검출 영역(541), 즉 확대 대상 물체 또는 확대 대상 범위의 위치가 이동(shift)되면, 변이 영상(550, 560)이 생성된다. 부분 확대 영상(540)으로부터 변이 영상(550, 560)이 생성되는 과정은 변이 조절 과정(503, 504)이라 한다. 확대된 검출 영역(541)의 위치는 도 5의 실시예와 같이 좌측 또는 우측으로 이동될 수 있고 또는 상하로도 이동될 수 있다. 또한 확대된 검출 영역(541)의 위치는 적용 또는 필요에 따라 임의의 방향으로 이동될 수 있다.
위와 같이 변이가 변화되면, 3차원 디스플레이 영상에서 대상 물체의 깊이가 변화된다. 깊이가 변화된다는 것은, 3차원 디스플레이 스크린을 기준으로, 대상 물체가 앞으로 더 튀어나온 것으로 인식되거나 스크린 안쪽으로 더 들어간 것으로 인식된다는 것을 의미한다.
최종 처리된 다시점 영상들이 다중화되면, 부분 확대되고 깊이가 조절된 3차원 디스플레이 영상(530)이 생성된다.
도 6은 변이 조절 방법의 일실시예로써, 확대된 검출 영역의 이동 범위를 개략적으로 나타내는 도면이다.
도 6을 참조하면, 도 6은 비확대 영상(610), 부분 확대 영상(540) 및 변이 영상(550, 560)을 도시한다. 비확대 영상(610)은, 한 시점의 원본 시점 영상이 리사이징된 영상으로써, 검출 영역 확대 과정이 적용되지 않은 경우의 영상이다. 부분 확대 영상(540)은 상기 한 시점의 원본 시점 영상이 리사이징된 영상으로써, 검출 영역이 부분적으로 확대된 영상이다. 도 6의 부분 확대 영상(540)은 도 5의 부분 확대 영상과 동일하다.
비확대 영상(610)에서 점선 내부의 영역(611)은, 상기 한 시점의 원본 시점 영상의 검출 영역에 대응하는 영역이다. 부분 확대 영상(540)에서 점선 내부의 영역은 확대된 검출 영역(541)을 나타내며, 도 6의 확대된 검출 영역(541)은 도 5의 확대된 검출 영역과 동일하다.
가로, 세로의 확대 비율(ratio)이 일정할 때, 검출 영역 확대 과정이 적용되면, 검출 영역(부분 확대 대상 영역)은
Figure pat00003
만큼 확대된다.
부분 확대 영상(540)에서 확대된 검출 영역(541), 즉 확대 대상 물체 또는 확대 대상 범위의 위치가 좌측으로 dr 또는 우측으로 dl 만큼 이동(shift)되면, 변이 영상(550, 560)이 생성된다.
상기 이동 범위는 가려짐 영역이 발생하지 않는 범위로 한정된다. 확대된 검출 영역(541)의 위치가 오른쪽으로 dl 이상 이동되는 경우에, 가려짐 영역(uncovered area)(662)이 발생하고, 왼쪽으로 dr 이상 이동되는 경우에도 가려짐 영역(652)이 발생한다.
가려짐 영역은 본래 보이지 않는 영역, 즉 정보가 없는 영역이므로, 가려짐 영역이 발생되는 경우, 홀(hole)처럼 검정 영역이 보여진다. 검정 영역이 발생되는 경우에는, 상기 검정 영역의 정보가 생성되도록 하기 위해, 보간과 같은 후처리가 요구된다. 따라서 검정 영역이 발생되지 않도록, 이동 범위가 한정된다.
도 5에서 언급된 바와 같이, 확대된 검출 영역(541)의 위치는 상하로도 이동될 수 있고, 적용 또는 필요에 따라 임의의 방향으로 이동될 수 있다. 확대된 검출 영역(541)의 이동 범위가 결정되는 원리는, 확대된 검출 영역(541)이 좌우로 이동되는 경우뿐만 아니라 상하 및 임의의 방향으로 이동되는 경우에도 동일하게 적용된다.
본 발명의 실시예에 따른 영상 확대 방법이 이용된 깊이 조절 방법이 사용되는 경우, 대상 물체의 확대 및 변이 조절에 의해, 장면 연출자 또는 사용자가 원하는 깊이 조절 효과가 제공될 수 있다. 깊이 조절 효과의 예는, 영화나 광고에서 특정 물체가 시청자 쪽으로 가까이 다가가면서 커지는 특수 효과 등이 있다.
도 7은 본 발명의 실시예에 따른 3차원 디스플레이 영상의 깊이 조절 방법을 나타내는 흐름도이다. 도 7은 도 5의 실시예에 따른 부분 확대 과정을 순서에 따라 보여준다. 도 7의 실시예에 따른 깊이 조절 방법에서는, 도 3의 영상 확대 방법에 깊이, 즉 변이 조절 방법이 추가된다.
도 7을 참조하면 우선, 3차원 디스플레이 영상에서 확대되는 확대 영역이 지정되며(S710), 이는 도 3의 확대 영역의 지정(S310)에 대응된다. 확대 영역은 사각형, 또는 기타 모양으로 지정될 수 있고, 영상 내의 객체(object)만이 확대 영역으로 지정될 수도 있다.
다음으로, 원본 시점 영상에서 상기 확대 영역에 대응하는 검출 영역이 검출되며(S720), 이는 도 3의 검출 영역의 검출(S320)에 대응된다.
그리고 확대 영역의 확대 비율이 결정되며(S730), 이는 도 3의 확대 비율의 결정(S330)에 대응된다. 확대 비율은 사용자 입력을 통해 결정될 수 있다. 또한 확대 비율은 영상 확대 장치 내에서 단계적으로 조절될 수 있으며, 이 경우 영상은 조절된 확대 비율에 따라 확대된다.
확대 비율이 결정되면, 검출 영역이 확대되며(S740), 이는 도 5의 검출 영역 확대 과정(501)에 대응된다.
다음으로 확대된 검출 영역의 변이가 조절되며(S750), 이는 도 5 및 도 6의 변이 조절 과정(503, 504)에 대응된다. 변이 조절의 방법, 이유 및 제한은 도 5 및 도 6에서 설명된 바와 같다.
마지막으로 최종 처리된 다시점 영상들이 다중화되면(S760), 부분 확대되고 깊이가 조절된 3차원 디스플레이 영상이 생성된다.
상기 깊이 조절 방법에서는, 3차원 디스플레이 영상에서 해상도의 저하 없는 화면 확대를 통해, 깊이감이 조절될 수 있다.
도 8은 본 발명의 실시예에 따른 3차원 디스플레이에서의 깊이 조절 장치를 나타내는 블록도이다. 도 8을 참조하면 깊이 조절 장치는 영역 지정 검출부(810), 확대 비율 결정부(820), 변이 조절부(830) 및 다중화부(840)를 포함한다.
영역 지정 검출부(810)는 3차원 디스플레이 영상에서 확대 영역 정보를 생성하여 확대 영역을 지정할 수 있다. 또한 영역 지정 검출부(810)는 외부에서 지정된 확대 영역 정보를 수신하여 확대 영역을 지정할 수도 있다. 확대 영역은 사각형 모양으로 지정되거나 다른 모양으로 지정될 수도 있고, 영상 내의 객체(object)만이 확대 영역으로 지정될 수도 있다. 또한 영역 지정 검출부(810)는 원본 시점 영상에서 상기 확대 영역에 대응하는 검출 영역을 검출한다. 영역 지정 검출부(810)의 동작은 도 4에서의 영역 지정 검출부(410)의 동작과 동일하다.
확대 비율 결정부(820)는 사용자에 의해 입력된 확대 비율 정보를 수신하여 확대 비율을 결정할 수 있다. 또한 확대 비율 결정부(820)는 확대 비율이 단계적으로 조절되면서 결정되도록 구성될 수 있으며, 이 경우 확대 영역은 조절된 확대 비율에 따라 확대된다. 확대 비율 결정부(820)의 동작은 도 4에서의 확대 비율 결정부(420)의 동작과 동일하다.
변이 조절부(830)는, 상기 영역 정보 및 상기 확대 비율 정보를 기초로, 검출 영역을 확대하며, 이는 도 5의 검출 영역 확대 과정(501) 및 도 7의 검출 영역 확대 과정(S740)에 대응된다. 다음으로 변이 조절부(830)는 확대된 검출 영역의 변이를 조절한다. 이는 도 5와 도 6의 변이 조절 과정(503, 504) 및 도 7의 변이 조절 과정(S750)에 대응된다. 변이 조절의 방법, 이유 및 제한은 도 5 및 도 6에서 설명된 바와 같다.
변이가 변화되면, 3차원 디스플레이 영상에서 대상 물체의 깊이가 변화된다. 변이 조절부(830)는 변이 영상을 포함한, 최종 처리된 다시점 영상들을 출력하며, 상기 변이 영상은 도 5 및 도 6에서의 변이 영상(550, 560)에 대응된다.
다중화부(840)는 최종 처리된 다시점 영상들을 다중화하며, 부분 확대되고 깊이가 조절된 3차원 디스플레이 영상을 생성한다.
상기 깊이 조절 장치는, 3차원 디스플레이 영상에서 해상도의 저하 없는 화면 확대를 통해, 깊이감을 조절할 수 있다.
본 발명에서의 다시점 영상은 시점수가 2개보다 많은 다시점 영상에 한정되지 않는다. 본 발명은, 출력 시점 영상의 크기가 입력 시점 영상의 크기와 달라지는, 공간 분할 기반의 다시점 디스플레이에 모두 적용될 수 있다. 본 발명은 2시점 영상만이 사용되는 양안식(stereoscopic) 디스플레이에도 적용될 수 있다.

Claims (1)

  1. 3차원 디스플레이 영상을 위한 영상 확대 장치로서,
    원본 시점 영상들에서 상기 3차원 디스플레이 영상의 확대 영역에 대응하는 검출 영역을 검출하는 영역 지정 검출부;
    상기 확대 영역의 확대 비율을 결정하는 확대 비율 결정부; 및
    상기 원본 시점 영상들에서 상기 검출 영역 이외의 영역을 소정의 해상도로 다중화(multiplexing)하고, 상기 확대 비율에 기초하여 상기 검출 영역을 상기 해상도와 다른 해상도로 다중화하는 부분 다중화부
    를 포함하되,
    상기 원본 시점 영상들은 상기 3차원 디스플레이 영상의 기초가 되고, 동일 시간의 동일 장면에 대해 각각 서로 다른 시점을 갖는 영상들인
    영상 확대 장치.
KR1020110064250A 2011-06-30 2011-06-30 3차원 디스플레이에서의 영상 확대 장치 및 방법 KR101877802B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110064250A KR101877802B1 (ko) 2011-06-30 2011-06-30 3차원 디스플레이에서의 영상 확대 장치 및 방법
PCT/KR2012/005253 WO2013002622A2 (ko) 2011-06-30 2012-07-02 다시점 영상 부호화/복호화 장치 및 방법
US14/128,399 US9661314B2 (en) 2011-06-30 2012-07-02 Apparatus and method for encoding/decoding multi-view images
DE112012002679.9T DE112012002679T5 (de) 2011-06-30 2012-07-02 Vorrichtung und Verfahren zum Codieren/Decodieren von Mehrfachansicht-Bildern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110064250A KR101877802B1 (ko) 2011-06-30 2011-06-30 3차원 디스플레이에서의 영상 확대 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130003155A true KR20130003155A (ko) 2013-01-09
KR101877802B1 KR101877802B1 (ko) 2018-07-13

Family

ID=47424722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110064250A KR101877802B1 (ko) 2011-06-30 2011-06-30 3차원 디스플레이에서의 영상 확대 장치 및 방법

Country Status (4)

Country Link
US (1) US9661314B2 (ko)
KR (1) KR101877802B1 (ko)
DE (1) DE112012002679T5 (ko)
WO (1) WO2013002622A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11998063B2 (en) 2019-01-29 2024-06-04 British American Tobacco (Investments) Limited Method and apparatus for manufacturing a consumable unit for an inhalation device, and a consumable unit for an inhalation device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP4139853B2 (ja) * 2006-08-31 2008-08-27 松下電器産業株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20080022980A (ko) * 2006-09-08 2008-03-12 주식회사 메디슨 영상 처리 시스템 및 방법
US20100265315A1 (en) * 2009-04-21 2010-10-21 Panasonic Corporation Three-dimensional image combining apparatus
KR101685343B1 (ko) * 2010-06-01 2016-12-12 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101040766B1 (ko) * 2010-11-10 2011-06-13 삼성탈레스 주식회사 영상 처리 장치 및 그 동작 방법
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
US9088777B2 (en) * 2011-04-07 2015-07-21 Ses Americom, Inc. Methods and systems for processing stereoscopic video data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11998063B2 (en) 2019-01-29 2024-06-04 British American Tobacco (Investments) Limited Method and apparatus for manufacturing a consumable unit for an inhalation device, and a consumable unit for an inhalation device

Also Published As

Publication number Publication date
US20140132743A1 (en) 2014-05-15
US9661314B2 (en) 2017-05-23
WO2013002622A2 (ko) 2013-01-03
KR101877802B1 (ko) 2018-07-13
DE112012002679T5 (de) 2014-04-03
WO2013002622A3 (ko) 2013-02-28

Similar Documents

Publication Publication Date Title
US9786253B2 (en) Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
JP5584292B2 (ja) 相対的奥行きを持たせた立体画像への３ｄオブジェクトの組み入れ
KR101719980B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
TWI545934B (zh) 處理輸入三維視訊信號之方法及系統
NL2009616C2 (en) Adjusting depth in a three-dimensional image signal.
US20120229595A1 (en) Synthesized spatial panoramic multi-view imaging
US8731279B2 (en) Method and device for generating multi-viewpoint image
JP2005073013A (ja) 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2009528587A (ja) 出力画像のレンダリング
TW201215096A (en) Image display device, image display viewing system and image display method
JP2016530755A (ja) 位置の検知及び適応的な数のビューを伴うマルチビュー３次元ディスプレイシステム及び方法
RU2707726C2 (ru) Генерирование изображения для автостереоскопического дисплея
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
KR20140077398A (ko) 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
JP2005157033A (ja) 立体表示装置
KR101877802B1 (ko) 3차원 디스플레이에서의 영상 확대 장치 및 방법
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
KR20050076946A (ko) 입체영상 표시장치 및 방법
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
KR20110090205A (ko) 3차원 영상 디스플레이 장치 및 방법
JP7339278B2 (ja) 視聴者に合わせて調整された立体画像表示
JP5501150B2 (ja) 表示装置及びその制御方法
KR20220031214A (ko) 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치
TW201941596A (zh) 用於三維顯示器之過掃描

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right