KR20120020306A - 입체영상을 디스플레이하는 장치 및 방법 - Google Patents

Abstract

본 발명은 입체 영상을 디스플레이하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 입체 영상을 구성하는 좌 영상 및 우 영상의 보정하는 장치 및 방법에 관한 것이다.
소정 영역에 입체 영상을 구성하는 좌 영상 및 우 영상이 디스플레이되는 좌 영상 및 우 영상의 좌표를 비교하는 영상 비교부; 상기 비교부에서 연산된 좌 영상 및 우 영상의 이격 값에 따라 상기 좌 영상과 상기 우 영상간의 오차를 보정하는 보정부; 상기 오차 보정된 좌 영상 및 우 영상을 디스플레이하는 디스플레이부를 포함함을 특징으로 한다.

Description

입체영상을 디스플레이하는 장치 및 방법{Apparatus and method for displaying of stereo scope images}

본 발명은 입체 영상을 디스플레이하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 입체 영상을 구성하는 좌 영상 및 우 영상의 보정하는 장치 및 방법에 관한 것이다.

개선된 화질의 영상을 제공받고자 하는 사용자들의 욕구로 인하여 디지털 TV가 등장하게 되었는데, 디지털 TV는 개선된 화질뿐만 아니라 화면의 종횡비율을 기존의 아날로그 TV와 다르게 적용함으로써 보다 현장감 있는 영상을 사용자에게 제공하게 되었다.

한편, 영상의 화질이 2차원적인 영상에 대한 중요한 요소인 반면, 최근 3차원 입체 영상에 대한 사용자의 욕구가 증가하고 있고, 이에 대한 연구가 활발하게 진행되고 있다.

입체 영상 구현 방식에는 입체 안경을 착용하여야만 입체 영상을 감상할 수 있는 안경식과 디스플레이된 영상만으로 입체 영상을 감상할 수 있는 무안경식으로 구분될 수 있는데, 안경식으로는 편광 방식과 시분할 방식이 있으며 무안경식으로는 패럴랙스 배리어(Parallax Barrier) 방식과 렌트큘러(Lenticular) 방식이 있다.

기존의 3차원 입체 영상(이하, 입체 영상이라 한다) 방송 시스템들이 수년간에 걸쳐 일본, 유럽, 미국 등에서 개발되어 왔으나 그 상용화가 늦어지고 있는데, 상용화 지연의 가장 큰 이유로는 시각적인 피로 및 입체 안경 착용의 불편함 등이 있다. 입체 영상 시스템에서 발생하는 대표적 시각 피로 유발 현상에는 초점과 주시 연동 파괴(accommodation-convergence breakdown) 및 혼신(crosstalk) 현상 등이 있다.

초점과 주시 연동 파괴 현상은 실제 세계에서 사용자가 물체를 볼 때에는 초점과 주시각 조절이 연동되어 피곤함을 느끼지 않고 3차원의 깊이를 인식한다. 그러나, 기존의 입체 영상 시스템을 통하여 입체 영상을 보게 될 경우에는 큰 시차(disparity)에 의해 초점 및 주시 연동 파괴 현상이 발생한다. 즉, 사용자의 눈은 화면상의 평면에 초점을 맞추는 반면, 화면상의 시차가 생성하는 3차원상의 위치에 주시(converge)하게 되어 이 둘의 위치가 서로 일치하지 않게 된다.

그리고, 디스플레이되는 영상 중에 사용자 눈의 초점 심도 범위를 벗어나는 깊이를 가지는 부분이 있더라도 선명한 상태로 보여지기 때문에, 이 영역의 이중 영상이 눈을 피로하게 만든다.

혼신은 입체 영상 시스템에서 좌우 영상이 정확하게 분리되지 않음으로 인해 발생하는 현상으로서, 입체 안경의 영상 전환이 불완전하거나, 모니터상에서 발광인자의 잔광효과로 인해 나타나게 된다. 또한, 좌우 영상이 정확하게 분리되었다고 하더라도 사용자의 위치에 따라 분리되는 정도가 다르므로, 여전히 혼신은 존재하게 된다.

그리고, 입체 영상 시스템의 디스플레이 면과 사용자의 시야각(visual angle)이 수직을 이루지 않는 경우 사용자의 양안으로 입사된 영상은 사용자에 의하여 왜곡된 것으로 인식될 수도 있다. 초점과 주시 연동 파괴 및 혼신은 입체 영상을 구성하는 좌우 영상의 수평 오차에 기인한 것인데, 좌우 영상의 수직 오차 또는 회전 오차가 발생하여 사용자의 눈이 피로해질 수도 있다.

본 발명은 상기와 같은 문제점을 개선하기 위한 것으로, 좌 영상 및 우 영상의 디스플레이에 대한 오차값을 보상하도록 하는 장치 및 그 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명은 소정 영역에 입체 영상을 구성하는 좌 영상 및 우 영상이 디스플레이되는 좌 영상 및 우 영상의 좌표를 비교하는 영상 비교부; 비교부에서 연산된 좌 영상 및 우 영상의 이격 값에 따라 상기 좌 영상과 상기 우 영상간의 오차를 보정하는 보정부; 오차 보정된 좌 영상 및 우영상을 디스플레이하는 디스플레이부를 포함함을 특징으로 한다.

또한 본 발명은 좌 영상 및 상기 우 영상이 디스플레이되는 좌표값을 비교하는 단계; 상기 비교결과에 따라 상기 좌 영상 및 우 영상의 좌표 이격값을 계산하는 단계; 상기 계산된 이격값에 따른 상기 좌 영상 및 상기 우 영상을 보정하는 단계; 상기 보정된 영상을 디스플레이하는 단계;로 구성됨을 특징으로 한다.

상기한 바와 같이 본 발명은 입체 영상을 디스플레이하는 장치 및 방법에 따르면 입체 영상을 구성하는 좌 영상 및 우 영상에서 디스플레이되는 위치에 대한 오차를 연산 및 보정하도록 함으로써 사용자에 의해 인식되는 눈의 피로감을 감소시키는 효과를 가지고 있다.

도 1은 본 발명의 실시 예가 적용되는 입체 영상 디스플레이 장치의 블록 구성도.
도 2는 본 발명의 실시 예에 따른 수직 오차가 포함되는 입체 영상이 디스플레이되는 화면 예시도.
도 3은 본 발명의 실시 예에 따른 회전 오차가 포함되는 입체 영상이 디스플레이되는 화면 예시도
도 4는 본 발명의 실시 예에 따른 수직 오차 또는 회전 오차가 보정된 입체 영상이 디스플레이되는 화면 예시도.
도 5는 본 발명의 실시 예에 따른 입체 영상 디스플레이 동작 흐름도.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예가 적용되는 입체 영상 디스플레이 장치의 블록 구성도이다. 본 발명의 실시 예에서는 외부로부터 수신되거나 내부에 저장된 동영상 및 정지영상에 대하여 입체영상으로의 재생 및 출력을 예를 들어 설명한다.

도 1을 참조하면, 입체 영상 디스플레이 장치는 데이터 수신부(101), TS/PS분석부(Transport Stream/Packetized Stream Filter and Demux)(102), 디코더부(Decoder)(103), 이미지 강화부(Digital Processing Enhanceer)(104), 풀다운(Pull Down)부(105), 오디오 출력부(106), 오디오 디코더부(107), 제어부(108), 메모리부(109),3D포맷 생성부(Left/Right Frame Merger(110), 디스플레이부(114)로 구성된다.

상기 데이터 수신부(101)는 공중파, 케이블 또는 디스크 장치 등을 통해 컨텐츠를 입력받아 데이터를 로딩하여 트랜스포트 스트림 또는 패킷화 스트림을 출력한다. 일반적으로 공중파 또는 디스크에 의해 전송되는 영상 데이터는 MPEG(Moving Picture Experts Group)시스템의 트랜스포트 스트림 형식으로 포맷되어 있다.

특히 MPEG-2는 고화질의 동영상을 압축하기 위한 처리방법으로서, DVD(Digital Versatile Disk)와 같은 저장매체, 위성, 케이블, 지상파 등의 디지털 TV 방송, 개인용 비디오 저장장치(Personal Video Recorder; PVR), 그리고 네트워크상의 동영상 전송 등 여러 분야에 걸쳐 널리 이용되고 있다.

상기 TS/PS 분석부(102)는 상기 데이터 수신부(101)가 출력하는 상기 트랜스포트 스트림 또는 상기 패킷화 스트림을 입력받아, 상기 트랜스포트 스트림 또는 상기 패킷화 스트림 중에서 재생의 대상이 되는 동영상에 해당하는 패킷을 필터링을 통해 걸러내고, 상기 패킷에 대한 파싱을 수행하며, 상기 파싱의 결과를 비디오 엘리멘트리 스트림(Video Elementary Stream) 및 오디오 엘리멘트리 스트림(Audio Elementarty Stream)으로 출력한다.

상기 디코더부(103)는 상기 TS/PS 분석부(102)가 출력하는 상기 비디오 엘리멘트리 스트림을 입력받아, 상기 비디오 엘리멘트리 스트림에 대한 디코딩 작업을 수행한다. MVC(Multiview Video Codec)등의 코덱을 이용하는 입체영상 재생 장치에서는, 상기 디코더부(103)에 디멀티플렉서(Demultiplexer) 기능이 추가되어 상기 디코더부(103) 이전까지 하나의 스트림으로 전달되던 영상 데이터를 좌 영상과 우 영상으로 분리하여 출력한다.

이미지 강화부(104)는 디코더부(103)가 출력하는 비디오 프레임 스트림을 입력받는 다. 상기 이미지 강화부(104)는 입력받은 비디오 프레임 스트림에 대해 디인터레이싱(De-Interlacing)이나 이미지 보강 등의 처리를 하여 상기 처리의 결과를 강화된 비디오 프레임 스트림으로 출력한다.

풀-다운부(105)는 상기 이미지 강화부(204)가 출력하는 강화된 비디오 프레임 스트림을 입력받는다. 풀-다운부(205)는 입력에 대해 풀-다운 작업을 수행하고 그 결과를 풀-다운된 비디오 프레임 스트림으로 출력한다.

3D포맷 생성부(110)는 좌 영상 및 우영상을 처리조작하여 3D영상 데이터로 생성하고 출력하도록 하는 기능을 수행한다.

본 발명의 실시 예에 따른 3D포맷 생성부(110)는 영상 비교부(111), 영상 보정부(112), 3D포맷 합성부(113)로 구성된다.

상기 영상 비교부(111)는 입력되는 좌 영상과 우 영상이 디스플레이되는 전체 영역에 대하여 소정 개수로 좌 영상 및 우 영상이 디스플레이되는 영역을 분할한다. 또한 상기 분할된 영역에 디스플레이되는 좌 영상 및 우 영상에 대한 좌표값을 확인하게 된다. 상기 확인된 좌표값에 따라 좌 영상과 우 영상의 이격값을 산출하게 된다.

상기 이격값을 산출하는 대상은 수직 이격값 또는 회전 이격값 중 적어도 하나일 수 있다. 또한 상기 좌 영상과 우 영상에서 비교하게 되는 좌표값은 상기 분할된 영역에 포함되는 복수개의 대표 오브젝트를 이용하여 상기 이격값을 산출 할 수 있다.

상기 영상 보정부(112)는 상기 산출된 좌 영상과 우 영상의 이격값에 따라 좌 영상과 우 영상의 보정을 수행하도록 한다. 상기 보정은 상기 비교부(111)에서 산출된 좌 영상과 우 영상의 비교 대상(오브젝트)를 기준으로 나머지 영상을 수직 이도시키거나 회전시켜 수직 오차 또는 회전 오차를 보정할 수 있다. 수직 오차 및 회전 오차 보정에 대한 자세한 설명은 도 2 내지 도 5를 참조하여 후술하기로 한다.

상기 3D포맷 합성부(113)는 상기 수직 오차 또는 회전 오차가 보정된 좌 영상 및 우 영상을 디스플레이부(114)에서 출력되도록 하기 위해 영상을 생성하도록 한다.

도 2 내지 도 5를 참조하여 상기와 같은 구성의 입체영상 디스플레이장치에서 입체 영상을 디스플레이하는 방법에 대해 상세히 설명한다.

도 2는 본 발명의 실시 예에 따른 수직 오차가 포함되는 입체 영상이 디스플레이되는 화면 예시도, 도 3은 본 발명의 실시 예에 따른 회전 오차가 포함되는 입체 영상이 디스플레이되는 화면 예시도, 도 4는 본 발명의 실시 예에 따른 수직 오차 또는 회전 오차가 보정된 입체 영상이 디스플레이되는 화면 예시도, 도 5는 본 발명의 실시 예에 따른 입체 영상 디스플레이 동작 흐름도이다.

도 5를 참조하면 제어부(108)는 외부 또는 메모리부(109)에 저장된 입체 영상을 구성하는 좌 영상과 우 영상을 합성하여 입체 영상으로 출력하는 입체 영상 출력 모드를 수행한다.(505단계)

상기 입체 영상 출력 모드를 수행 하는 중 좌 영상 및 우 영상의 디스플레이되는 전체의 영역을 소정 개수로 분할한다. 즉, 도 2에 도시된 화면 예시도 (ㅁ), 와 (b)와 같이 좌 영상이 디스플레이되는 영역(2L)과 우 영상이 디스플레이되는 영역(2R)에 대하여 소정 개수로 분할하게 된다.(2a_{L ,} 2b_{L ,} 2c_{L ,} 2d_{L )} 2a_{R ,} 2b_{R ,} 2c_{R ,} 2d_R)

제어부(108)는 분할된 좌 영상 디스플레이 영역(2a_{L ,} 2b_{L ,} 2c_{L ,} 2d_L)과 우 영상 디스플레이 영역( 2a_{R ,} 2b_{R ,} 2c_{R ,} 2d_R)에 디스플레이되는 영상에 대하여 대표 영상(21L, 21R)에 대한 디스플레이 좌표값을 선정한다.(515단계)

즉, 분할된 좌, 우 영역에 디스플레이되는 다수의 영상 중 이격값을 산출하기 위한 대표 영상(오브젝트)를 선정하고, 상기 선정된 오브젝트에 대하여 분할된 각영역에 해당하는 디스플레이 좌표값을 확인하게 된다.

영상 비교부((111)는 상기 좌 영상(21L)과 우 영상(21R)이 디스플레이되는 좌표값을 각각 확인하고, 상기 좌표값이 좌 영상과 우 영상이 대칭되는 위치에 존재하는지를 확인하여 좌 영상과 우 영상의 디스플레이 좌표에 대한 이격값을 산출하게 된다.(520단계)

도 2에 도시된 바와 같이 화면 예시도 (a)의 좌 영상이 디스플레이되는 좌표와 화면 예시도 (b)의 우 영상이 디스플레이되는 좌표의 대응 여부 및 이격값을 확인하고 상기 이격 값의 오차 산출을 통해 화면 예시도 (c)와 같이 3D로 생성된 좌 영상과 우 영상의 합성결과(21D)d만큼의 이격값을 산출하게 된다.

또한 도 3에 도시된 바와 같이 화면 예시도(a)의 좌 영상이 디스플레이되는 좌표와 화면 예시도(b)의 우 영상이 디스플레이되는 좌표의 대응 여부 및 이격값 확인 결과 상기 이격값의 오차 산출을 통해 화면 예시도(c)와 3D로 생성된 좌 영상과 우 영상의 합성결과(31D) θ만큼의 이격값을 산출하게 된다.

따라서 영상 비교부(111)는 상기 산출된 좌 영상 및 우 영상의 수직 이격값 또는 오차 이격값을 영상 보정부(112)로 출력한다. 상기 영상 보정부(112)로 출력된 좌 영상 및 우 영상의 이격값으로 상기 선정된 오브젝트 및 나머지 영상(미도시)에 대한 오차를 보정하도록 한다.(525단계)

즉, 도 4에 도시된 바와 같이 오브젝트(41L, 41R)의 오차값에 따른 보정을 수행하여 상기 좌 영상과 우 영상을 합성하여 3D 영상으로 생성하여 영상을 화면 예시도 (c)와 같이 디스플레이부(114)에서 디스플레이 한다.(530단계)

101 : 데이터 수신부 102 : TS/PS수신부
103 : 디코더부 104 : 이미지 강화부
105 : 풀-다운부 106 : 오디오 출력부
107 : 오디오 디코더 108 : 제어부
109 : 메모리부 110 : 3D포맷생성부
114 : 디스플레이부

Claims (10)

1. 소정 영역에 입체 영상을 구성하는 좌 영상 및 우 영상이 디스플레이되는 좌 영상 및 우 영상의 좌표를 비교하는 영상 비교부;
   상기 비교부에서 연산된 좌 영상 및 우 영상의 이격 값에 따라 상기 좌 영상과 상기 우 영상간의 오차를 보정하는 보정부;
   상기 오차 보정된 좌 영상 및 우 영상을 디스플레이하는 디스플레이부를 포함함을 특징으로 하는 입체 영상 디스플레이 장치.
2. 제 1항에 있어서, 상기 영상 비교부는
   좌 영상 및 우 영상이 디스플레이되는 영역을 소정개수로 분할하여, 상기 분할된 영역에 디스플레이되는 영상의 좌표값을 비교하도록 함을 특징으로 하는 입체 영상 디스플레이 장치.
3. 제 1항에 있어서, 상기 영상 비교부는
   좌 영상 및 우 영상의 수직 오차 및 회전 오차 중 적어도 하나를 비교하도록 함을 특징으로 하는 입체 영상 디스플레이 장치.
4. 제 1항에 있어서, 상기 영상 보정부는
   상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 수직 이동시켜 상기 수직오차를 보정 함을 특징으로 하는 입체 영상 디스플레이 장치.
5. 제 1항에 있어서, 상기 영상 보정부는
   상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 회전시켜 상기 회전 오차를 보정 함을 입체 영상 디스플레이 장치.
6. 좌 영상 및 상기 우 영상이 디스플레이되는 좌표값을 비교하는 단계;
   상기 비교결과에 따라 상기 좌 영상 및 우 영상의 좌표 이격값을 계산하는 단계;
   상기 계산된 이격값에 따른 상기 좌 영상 및 상기 우 영상을 보정하는 단계;
   상기 보정된 영상을 디스플레이하는 단계;로 구성됨을 특징으로 하는 입체 영상 디스플레이 방법.
7. 제 6항에 있어서, 상기 좌표값 비교는
   상기 입체영상을 구성하는 좌 영상 및 우 영상이 디스플레이되는 영역을 소정 개수로 분할하고, 상기 분할된 영역에 대응되게 디스플레이되는 좌 영상 및 우 영상을 비교하도록 함을 특징으로 하는 입체 영상 디스플레이 방법.
8. 제 6 항에 있어서, 상기 좌 영상 및 우 영상의 보정은
   상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 수직 이동시켜 상기 수직오차를 보정 함을 특징으로 하는 입체 영상 디스플레이 방법.
9. 제 6항에 있어서, 상기 좌 영상 및 우 영상의 보정은
   상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 회전시켜 상기 회전 오차를 보정 함을 입체 영상 디스플레이 방법.
10. 제 6항에 있어서, 상기 좌 영상 및 상기 우 영상의 이격값은
    상기 좌 영상 및 상기 우 영상의 수직 오차 및 회전 오차 중 적어도 하나를 비교하도록 함을 특징으로 하는 입체 영상 디스플레이 장치.

Images