KR20110106289A - 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 - Google Patents
3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 Download PDFInfo
- Publication number
- KR20110106289A KR20110106289A KR1020117012716A KR20117012716A KR20110106289A KR 20110106289 A KR20110106289 A KR 20110106289A KR 1020117012716 A KR1020117012716 A KR 1020117012716A KR 20117012716 A KR20117012716 A KR 20117012716A KR 20110106289 A KR20110106289 A KR 20110106289A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- floating window
- images
- data
- image signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000008054 signal transmission Effects 0.000 title claims abstract description 7
- 238000002156 mixing Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000001886 ciliary effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
3차원 영상의 재생 과정에서 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있게 해주는 3차원 영상신호 전송 방법과, 영상표시 장치, 및 이와 같은 장치에서의 영상신호 처리 방법. 본 발명의 영상신호 처리 방법에 있어서는, 먼저 부호화된 비디오 신호를 획득한다. 이어서, 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 플로우팅 윈도우 정보를 추출한다(제250단계). 그 다음, 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하게 된다(제258단계).
Description
본 발명은 영상신호 부호화 방법에 관한 것으로서, 보다 상세하게는, 3차원 영상을 구현하기 위한 스테레오스코픽 영상 신호를 부호화하는 방법에 관한 것이다. 아울러, 본 발명은 영상표시 장치와 그에 있어서의 신호 처리 방법에 관한 것으로서, 특히, 3차원 영상을 구현하는 스테레오스코픽 디스플레이 장치와, 이와 같은 장치에서의 스테레오스코픽 영상신호 처리 방법에 관한 것이다.
인간의 시각 시스템은 많은 깊이 단서(depth cue)를 사용하여 가시공간 내에서 물체들의 상대적인 위치를 파악한다. 이러한 단서는 크게 두 가지 카테고리 즉, 생리학적(physiological) 요소와 심리적(psychological) 요소로 구분될 수 있다. 생리학적 깊이 단서는 원근조절(Accommodation), 수렴(Convergence 또는 Vergence), 양안시차(Binocular Disparity) 및 운동시차(Motion Parallax)를 포함한다. 심리적 깊이 단서는 선형원근, 음영, 농담원근, 다른 물체에 의한 가림, 텍스쳐 구배, 색상을 포함한다.
생리학적 깊이 단서들 중에서, 원근조절(Accommodation)이란 눈이 3차원 장면의 특정 영역에 초점을 맞추고자 할 때 수정체의 초점거리를 변화시키는 것을 말한다. 수정체의 두께 변화는 모양체 근육의 장력 변화로 인하여 발생된다. 인간의 시각 시스템에서 원근조절은 수렴과 함께 사용되는 것이 정상이다. 수렴(Convergence 또는 Vergence)은 관찰자가 유한의 거리에 있는 점을 주시할 때 두 눈이 모두 안쪽으로 회전하여 두 시선이 주시점에서 교차하는 것을 말한다. 양안시차(Binocular disparity)는 좌우측 눈이 약 65 밀리미터 떨어져 있어서 서로 다른 영상을 받아들인다는 사실에서 기인하는 것으로서, 3차원 장면을 볼 때 좌우측 망막에 투사되는 영상들의 차이를 말한다. 이와 같은 양안시차는 시각 시스템이 깊이 감각 내지 입체시(Stereopsis)에서 사용하는 결정적인 깊이 단서가 된다. 운동시차(Motion parallax)는 관찰자와 3차원 장면 사이에 상대 운동이 존재할 때 3차원 장면 내에 있는 각 점들의 상대적인 변위 차이(즉, 가까운 점이 멀리 있는 점보다 많이 움직이는 현상)를 말한다.
이와 같은 인간의 시각 인지 메커니즘을 활용하여 3차원 영상을 표시하기 위한 3차원 텔레비전에 대한 연구가 한창 진행되어 왔다. 다양한 3차원 영상 표시 방식이 제시된 바 있는데, 본 출원이 행해지는 시점에서 기술적 실현가능성과 입체감 표시능력 측면에서 가장 부각되고 있는 것은 스테레오스코픽 방식이라 할 수 있다. 스테레오스코픽 3D 디스플레이 시스템에 있어서는, 사람의 눈과 마찬가지로 약 65 밀리미터 떨어진 두 개의 이미지 센서로 서로 다른 영상을 캡쳐하고, 표시 장치에서 두 영상이 사람의 좌안과 우안에 별도로 입력하도록 함으로써, 양안시차를 시뮬레이션하여 깊이 지각 내지 입체시를 가능하게 해준다. 두 개의 이미지 센서는 동일한 광학적 특성과 초점거리, 및 줌배율을 가지고 수평 방향으로 정렬된다.
그런데, 스테레오스코픽 3차원 영상은 인간이 현장에서 실제로 지각할 수 있는 영상과 몇 가지 측면에서 차이가 있다.
이러한 차이 중 하나는 초점조절과 수렴의 불일치이다. 구체적으로 설명하면, 사람이 실제로 어떤 객체를 주시할 때에는, 주시하는 객체 상의 주시점에 양쪽 눈의 시선을 수렴시키고 상기 주시점에 초점을 맞추게 된다. 이에 반하여, 입체영상을 시청할 때는 이와 다른 상황이 발생한다. 영상을 촬영하는 카메라는 특정 객체에 초점을 맞추게 되고 이에 따라 두 개의 스테레오스코픽 이미지 쌍은 상기 객체가 위치하고 있는 가상의 스테레오스코픽 윈도우 면을 기준으로 초점조절이 된다. 디스플레이 장치에서 표시될 때, 스테레오스코픽 이미지 쌍은 물리적인 영상표시면(이하, "스테레오스코픽 화면"이라 한다)에서 초점이 맞추어져 있게 된다. 이에 따라, 수렴 자극은 깊이에 따라 자연스럽게 변동하는 반면에, 초점조절 자극은 스테레오스코픽 화면에 고정된 상태를 유지하려는 경향을 보이게 된다.
이에 따라, 사람의 눈은 항상 스테레오스코픽 화면에 초점을 맞추고 있는 반면, 주시하는 대상의 위치에 따라 주시점은 스테레오스코픽 화면의 앞 또는 뒤가 되어 두 눈이 스테레오스코픽 화면과는 다른 깊이 평면에서 수렴하는 상황이 발생한다. 사람에 따라서는, 스테레오스코픽 이미지 쌍이 스트레오그래픽 화면상의 점들을 기준으로 초점이 맞추어져 제작되어 있음에도, 사람의 눈은 초점이 정확하게 맞추어져 있지 않은 스테레오스코픽 화면의 앞 또는 뒤의 대상을 주시점으로 하여 초점을 맞추고자 시도하게 된다.
인간은 약간의 초점조절-수렴 불일치에 대해서는 감내할 수 있지만, 이것이 지나치게 커지면 영상의 초점이 맞지 않게 되거나 스테레오 합성이 이루어지지 않게 된다. 보다 구체적으로, 도 1과 같이 주시점이 스트레오그래픽 화면 상에 위치하여 좌영상 및 우영상에서의 대응하는 점(PL, PR)이 일치하여 수평시차가 영(0)일 때에는, 단서의 충돌이 전혀 야기되지 않는다. 도 2와 같이 주시점이 스트레오그래픽 화면 뒤에 위치하여 수평시차가 양의 값을 갖는 때에는, 약간의 단서의 충돌이 존재하기는 하지만 큰 긴장 없이 양안시차에 의해 스테레오스코픽 깊이효과를 가지도록 스테레오스코픽 영상을 합성할 수 있다. 한편, 도 3과 같이 주시점이 스트레오그래픽 화면 앞에 위치하여 수평시차가 음의 값을 가지고 시선이 화면 앞쪽에서 교차하는 때에는, 상당한 눈의 긴장이 초래된다. 사람의 눈은 일정 범위까지는 음의 시차 값을 감내하고 스테레오스코픽 이미지 쌍을 융합할 수 있지만, 어떤 값을 넘어서면 영상이 붕괴되거나 영상이 둘로 보이고 불편함이 느껴지게 되는 것으로 알려져 있다.
음의 시차로 인한 문제 중 보다 심각한 것은 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌이다.
도 4에는, 렌즈(10)와 이미지 센서(12)를 구비하는 제1 카메라가 제1 스테레오스코픽 윈도우(14)에 투사되는 좌영상을 캡쳐하고, 렌즈(20)와 이미지 센서(22)를 구비하는 제2 카메라가 제2 스테레오스코픽 윈도우(24)에 투사되는 우영상을 캡쳐하는 상황이 묘사되어 있다. 제1 및 제2 스테레오스코픽 윈도우(14, 24)에는 제1 내지 제3 객체(30, 32, 34)가 포함되는 것을 가정하였다. 도 5는 스테레오스코픽 면에 표시되는 좌영상 및 우영상(14a, 24a)의 일 예를 보여준다. 영의 시차와 양의 시차 값을 각각 가지는 제1 및 제2 객체(30, 32)는 양안시차에 의해 스테레오스코픽 깊이효과를 가지도록 합성되어 표시될 수 있다. 음의 시차를 가지는 제3 객체(34)도 스테레오스코픽 단서에 의해 두 영상이 합성되어 관찰자에게 입체영상을 제공하게 된다. 그런데, 제3 객체(34)가 우영상의 좌측 모서리에 의해 잘려짐으로 말미암아, '물체에 의한 가림(occlusion)'이라고 하는 또 하나의 깊이 단서가 동작하게 되고, 이로 인하여 사용자는 물체가 스테레오스코픽 면 즉, 디스플레이 장치의 뒤에 위치한 것처럼 인식할 수 있게 된다.
이와 같은 단서의 충돌은 "edge violation"이라 칭해지는데, 시청자로 하여금 불편함과 혼란을 야기하게 되고, 3차원 영상의 품질을 현저히 저하시킬 수 있다. 객체가 부분적 가림으로 인한 단서의 충돌은 한편으로는 제1 카메라의 시야각 중 좌측 일부를 제2 카메라가 커버하지 못하여, 일부 사각지대가 발생하는데서 비롯된다고 볼 수도 있다. 한편, 위와 같은 문제점은 우영상의 모서리에 의해 객체가 가릴 때에도 동일하게 나타나게 된다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 원격지에 위치하는 수신기에서 3차원 영상을 구현하기 위한 복수의 영상을 표시할 때 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있게 해주는 3차원 영상신호 전송 방법을 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 3차원 영상을 구현하기 위한 복수의 영상을 표시함에 있어서, 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌이 감소될 수 있게 표시하는 영상 표시 장치를 제공하는 것을 다른 기술적 과제로 한다.
아울러, 본 발명은 3차원 영상을 구현하기 위한 복수의 영상을 표시함에 있어서, 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있는 영상신호 처리 방법을 제공하는 것을 또 다른 기술적 과제로 한다.
상기 기술적 과제를 달성하기 위한 본 발명의 3차원 영상신호 전송 방법에 있어서는, 먼저 서로 다른 뷰포인트를 갖는 복수 영상을 각각 나타내는 복수의 비디오 신호를 마련한다. 이어서, 상기 복수 영상 각각에 대해 적어도 하나의 플로팅 윈도우 적용 여부 필드, 각 플로팅 윈도우의 위치와 크기, 투명도, 색을 포함한 플로우팅 윈도우 정보를 생성한다. 그 다음, 상기 플로우팅 윈도우 정보를 비디오 픽쳐 헤더 영역에 삽입하여 상기 비디오 신호를 부호화하여 전송한다.
상기 플로우팅 윈도우는, 영상 재생 과정에 있어서, 복수 영상 각각에서 좌측 또는 우측 모서리 내측에 설정되는 영역으로서 방송신호에서 획득한 영상의 표출이 억제되는(suppressed) 영역을 말하며, 각 플로우팅 윈도우의 크기는 개별적으로 결정된다. 청구범위를 포함한 본 명세서에 있어서, '억제'란 해당 영역의 영상을 완전히 무효화하여 특정 색상으로 대체하는 경우는 물론, 특정 색상 및 특정 투명도 값으로 알파블렌딩하여 영상이 희미하게 표시되게 하는 경우도 포함하는 의미로 사용한다.
바람직한 실시예에 있어서, 각 플로우팅 윈도우의 크기는, 영상을 촬상한 이미지 센서의 카메라 파라미터, 상기 복수의 영상들 내에서 대응하는 점들 사이의 변위, 또는 카메라 파라미터와 상기 변위의 조합을 토대로 결정된다.
본 발명은 플로우팅 윈도우 정보를 메타 데이터로써 부호화된 영상 신호의 픽쳐 헤더 내에 포함시켜 전송하기 위한 구문과 데이터 구조를 정의하며, 수신기 측에서 플로우팅 윈도우 정보를 해석하고 화면에 반영하는 방법을 정의한다. 이와 관련하여, 본 발명에 따르면, 상기 플로우팅 윈도우 정보와, 플로우팅 윈도우 정보에 상응하는 값을 가지는 제2 필드를 포함시켜, 데이터 구조를 생성한다. 이어서, 상기 데이터 구조와, 소정의 값을 가지는 제1 필드를 포함시켜 유저 데이터 구조를 생성한다. A/53 Part 4의 ATSC 디지털 텔레비전 표준과 ISO/IEC 13818-2의 MPEG-2 표준에 따라 영상 신호를 부호화하는 실시예에 있어서, 상기 제2 필드는 'user_data_type_code'이며, 이 필드는 "0x09"의 값에 의해 플로우팅 윈도우 정보를 나타낸다. 또한, 위와 같은 실시예에 있어서, 제1 필드는 'user_data_identifier' 필드이며, 플로우팅 윈도우 정보를 포함하는 상기 데이터 구조에 대하여 이 필드는 "0x4741 3934"의 값을 가질 수 있다. 이와 같이 생성된 유저 데이터 구조는 상기 픽쳐 헤더에 삽입된다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 영상표시 장치는 복호화부와 합성 표시부를 구비한다. 복호화부는 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 플로우팅 윈도우 정보를 추출한다. 합성 표시부는 상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 및/또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시한다.
상기 플로우팅 윈도우 정보는 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 것이 바람직하다.
바람직한 실시예에 있어서, 상기 복수의 영상신호는 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함한다.
일 실시예에 있어서, 합성 표시부는 온스크린디스플레이 생성부, 제1 및 제2 혼합부, 및 포맷터를 포함한다. 온스크린디스플레이 생성부는 위치 및 크기 데이터와 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성한다. 제1 및 제2 혼합부는 각각 좌영상 신호와 좌측 플로우팅 윈도우 영상 신호를 합성하고, 우영상 신호와 우측 플로우팅 윈도우 영상 신호를 합성한다. 포맷터는 제1 및 제2 혼합부의 출력 신호들을 스테레오스코픽 출력 방식에 맞게 포맷팅한다.
다른 실시예에 있어서, 합성 표시부는 제1 포맷터, 온스크린디스플레이 생성부, 제2 포맷터, 및 혼합부를 포함한다. 제1 포맷터는 좌영상 신호와 우영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 온스크린디스플레이 생성부는 위치 및 크기 데이터와 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성한다. 제2 포맷터는 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 혼합부는 제1 및 제2 포맷터의 출력 신호들을 합성한다.
바람직한 실시예에 있어서, 본 발명의 영상표시 장치는 3D 텔레비전 수신기 형태로 구현된다. 이와 같은 3D 텔레비전 수신기에 있어서, 튜너/복조기는 소정의 채널을 통해 방송신호를 받아들이고 복조하여, 채널부호화된 트랜스포트 스트림을 출력한다.
채널복호화부는 채널부호화된 트랜스포트 스트림을 받아들이고, 에러정정복호화를 수행하여 복호화된 트랜스포트 스트림을 출력한다. 역다중화/패킷해제부는 복호화된 트랜스포트 스트림을 역다중화하고 패킷을 해제하여 상기 부호화된 비디오 신호를 출력한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 영상신호 처리 방법에 있어서는, 먼저 부호화된 비디오 신호를 획득한다. 이어서, 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 플로우팅 윈도우 정보를 추출한다. 그 다음, 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 및/또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하게 된다.
플로우팅 윈도우 정보를 추출함에 있어서는, 먼저 상기 부호화된 비디오 신호로부터 픽쳐 헤더를 추출한다. 이어서, 상기 픽쳐 헤더로부터 제1 필드가 소정의 값을 가지는 유저 데이터 구조를 추출한다. 그리고, 상기 유저 데이터 구조에서 제2 필드가 플로우팅 윈도우를 나타내는 값을 가지는 데이터 구조를 상기 플로우팅 윈도우 정보로서 추출하게 된다. A/53 Part 4의 ATSC 디지털 텔레비전 표준과 ISO/IEC 13818-2의 MPEG-2 표준에 따라 영상 신호가 부호화되어 있는 실시예에 있어서, 상기 제1 필드는 'user_data_identifier' 필드이며, 이 필드가 "0x4741 3934"의 값을 가지는 유저 데이터 구조가 플로우팅 윈도우 정보를 포함하는 데이터 구조로서 추출된다. 또한, 상기 제2 필드는 'user_data_type_code'이며, 이 필드가 "0x09"의 값을 가지는 데이터 구조가 플로우팅 윈도우 정보로서 추출된다.
바람직한 실시예에 있어서 플로우팅 윈도우를 처리함에 있어서는, 상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 플로우팅 윈도우에 해당하는 영상 부분을 무효화시키게 된다.
영상 부분을 무효화시킴에 있어서는, 플로우팅 윈도우 위치에 해당하는 상기 영상 부분을 특정 색상을 채울 수 있다. 여기서, 플로우팅 윈도우 정보에서 지정된 색상으로 플로우팅 윈도우 위치에 해당하는 영상 부분을 채울 수도 있다.
또한, 플로우팅 윈도우 위치에 해당하는 상기 영상 부분을 상기 색상으로 직접 채우는 대신에, 플로우팅 윈도우 위치에 해당하는 영상 부분에 대한 온스크린디스플레이 영상을 생성하고, 상기 온스크린디스플레이 영상을 영상 부분에 중첩시킴으로써, 영상 부분을 무효화할 수도 있다.
다른 바람직한 실시예에 있어서 플로우팅 윈도우를 처리함에 있어서는, 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 플로우팅 윈도우에 해당하는 영상 부분에 플로우팅 윈도우 정보에서 지정된 색상을 투명도 데이터에 따라 알파 블렌딩함으로써 영상 부분을 억제할 수도 있다.
한편, 다른 실시예에 있어서는, 플로우팅 윈도우 정보에 각 플로우팅 윈도우에 대한 크기 데이터 이외에, 색상 및 투명도 데이터가 포함된다. 여기서, 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측에 플로우팅 윈도우를 설정하고, 플로우팅 윈도우 정보에서 지정된 색상과 투명도 데이터를 토대로 플로우팅 윈도우 위치에 해당하는 영상 부분을 억제할 수 있다. 이와 같은 경우, 상기 영상 부분에 상기 색상을 상기 투명도에 따라 알파 블렌딩하는 것이 바람직하다.
바람직한 실시예에 있어서는, 플로우팅 윈도우 위치의 영상을 억제하는 것을 사용자 조작명령에 따라 수행할 수도 있다. 예컨대, 리모콘을 통해 입력되거나 과거에 입력된 조작명령을 참조하여, 사용자 조작명령이 상기 비대칭적 억제를 금지하지 않는 경우에만 플로우팅 윈도우를 활성화시키는 것이 바람직하다. 또한, 사용자 조작명령에 응답하여 플로우팅 윈도우의 크기를 조절할 수 있게 하는 것도 바람직하다.
본 발명은 스테레오스코픽 3차원 영상을 구현하기 위한 좌우 영상 각각에 대하여 좌측, 우측, 또는 양쪽의 모서리 내측의 영역을 플로우팅 윈도우에 의해 비대칭적으로 억제시킨다. 이에 따라 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서, 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌 즉, edge violation 문제를 방지하거나 감소시킬 수 있게 된다. 이에 따라 음의 시차를 갖는 물체가 확실하게 표시면 전방으로 나와보이는 착시 효과를 구현할 수 있다. 그러므로, 본 발명은 edge violation으로 인한 불편함과 혼란을 감소시키고, 입체감과 현장감이 높여서 3차원 영상의 품질을 제고할 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 특징과 바람직한 실시예를 구체적으로 설명한다. 도면 중,
도 1은 스테레오스코픽 3차원 영상에서 수평시차가 영(0)인 주시점을 예시적으로 보여주는 도면;
도 2는 스테레오스코픽 3차원 영상에서 양의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 3은 스테레오스코픽 3차원 영상에서 음의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 4는 스테레오스코픽 이미지 쌍을 생성하기 위한 카메라의 배치 형태의 일 예를 보여주는 도면;
도 5는 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 예시하기 위하여 좌영상 및 우영상의 일 예를 보여주는 도면;
도 6은 본 발명에 의한 방송 프로그램 제작 및 송출 시스템의 일 실시예의 블록도;
도 7은 플로우팅 윈도우의 크기를 계산하는 방법의 일 실시예를 보여주는 도면;
도 8은 플로우팅 윈도우의 일 예를 보여주는 도면;
도 9는 본 발명의 바람직한 실시예에서 전송하기 위한 유저 데이터 비트스트림의 구문을 보여주는 도면;
도 10은 플로우팅 윈도우 데이터의 구문을 보여주는 도면;
도 11은 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 플로우팅 윈도우 정보를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여주는 도면;
도 12는 본 발명에 의한 텔레비전 수신기의 일 실시예의 블록도;
도 13은 도 12의 텔레비전 수신기에서 플로우팅 윈도우 정보를 추출하여 좌우영상에 합성하는 과정을 전체적으로 보여주는 흐름도;
도 14는 도 12에서 플로우팅 윈도우 정보를 추출하는 과정을 상세하게 보여주는 흐름도;
도 15 내지 도 21은 플로우팅 윈도우를 좌우영상에 합성하는 과정을 설명하기 위한 스크린샷으로서, 도 15 및 도 16은 플로우팅 윈도우 합성 이전의 좌우영상을 각각 보여주는 도면이고, 도 17 및 도 18은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 각각 보여주는 도면이며, 도 19 내지 도 21은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 합성하여 표시한 화면의 예들을 보여주는 도면;
도 22는 본 발명에 의한 텔레비전 수신기의 다른 실시예의 블록도; 그리고
도 23은 본 발명에 의한 텔레비전 수신기의 또 다른 실시예의 블록도이다.
도 1은 스테레오스코픽 3차원 영상에서 수평시차가 영(0)인 주시점을 예시적으로 보여주는 도면;
도 2는 스테레오스코픽 3차원 영상에서 양의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 3은 스테레오스코픽 3차원 영상에서 음의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 4는 스테레오스코픽 이미지 쌍을 생성하기 위한 카메라의 배치 형태의 일 예를 보여주는 도면;
도 5는 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 예시하기 위하여 좌영상 및 우영상의 일 예를 보여주는 도면;
도 6은 본 발명에 의한 방송 프로그램 제작 및 송출 시스템의 일 실시예의 블록도;
도 7은 플로우팅 윈도우의 크기를 계산하는 방법의 일 실시예를 보여주는 도면;
도 8은 플로우팅 윈도우의 일 예를 보여주는 도면;
도 9는 본 발명의 바람직한 실시예에서 전송하기 위한 유저 데이터 비트스트림의 구문을 보여주는 도면;
도 10은 플로우팅 윈도우 데이터의 구문을 보여주는 도면;
도 11은 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 플로우팅 윈도우 정보를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여주는 도면;
도 12는 본 발명에 의한 텔레비전 수신기의 일 실시예의 블록도;
도 13은 도 12의 텔레비전 수신기에서 플로우팅 윈도우 정보를 추출하여 좌우영상에 합성하는 과정을 전체적으로 보여주는 흐름도;
도 14는 도 12에서 플로우팅 윈도우 정보를 추출하는 과정을 상세하게 보여주는 흐름도;
도 15 내지 도 21은 플로우팅 윈도우를 좌우영상에 합성하는 과정을 설명하기 위한 스크린샷으로서, 도 15 및 도 16은 플로우팅 윈도우 합성 이전의 좌우영상을 각각 보여주는 도면이고, 도 17 및 도 18은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 각각 보여주는 도면이며, 도 19 내지 도 21은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 합성하여 표시한 화면의 예들을 보여주는 도면;
도 22는 본 발명에 의한 텔레비전 수신기의 다른 실시예의 블록도; 그리고
도 23은 본 발명에 의한 텔레비전 수신기의 또 다른 실시예의 블록도이다.
발명의 실시를 위한 형태
도 6을 참조하면, 본 발명의 바람직한 실시예에 따른 방송 프로그램 제작 및 송출 시스템은 양안식 카메라(100), 전처리부(102), 영상 부호화부(104), 유저 데이터 삽입부(106), 플로우팅 윈도우 정보 생성부(108), 복수의 마이크(110a∼110f), 음성 부호화부(112), 패킷생성부(114), 전송 멀티플렉서(116), PSI/PSIP 발생부(118), 채널부호화부(120), 변조부(122) 및 송신부(124)를 포함한다.
양안식 카메라(100)는 2개의 렌즈들과 이에 상응한 촬상소자들을 구비하며, 전방 장면에 대한 2차원 영상을 쌍으로 촬상한다. 상기 2개의 렌즈들은 사람의 눈과 마찬가지로 거리가 65 밀리미터(mm)가 되도록 배치되어 있으며, 이에 따라 카메라(100)는 양안 시차를 갖는 2개의 2차원 영상을 획득하게 된다. 이하의 설명에서는, 스테레오스코픽 이미지 쌍을 구성하는 2개의 2차원 영상 중 좌측 렌즈에 의해 획득된 영상을 좌영상, 우측 렌즈에 의해 획득된 영상을 우영상이라 칭하기로 한다.
전처리부(102)는 좌우 원본영상에 존재할 수 있는 노이즈를 제거하고, 영상을 교정하며, 휘도 성분의 불일치(imbalancing) 현상을 해결한다. 전처리부(102)에 의한 전처리 전후에 영상이 저장장치에 저장되거나 편집될 수 있으며, 이에 따라 양안식 카메라(100)에 의한 촬상과 영상 부호화부(104)에 의한 부호화 사이에 상당한 시차가 존재할 수 있음은 물론이다.
본 실시예에 있어서, 영상 부호화부(104)는 전처리된 좌우 영상에서 시간적, 공간적 중복도를 제거하여 영상 신호를 압축하고, ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따른 비디오 엘리멘터리 스트림(ES)을 생성한다. 일 실시예에 있어서, 영상 부호화부(104)는 좌우 영상 중 베이스뷰로 사용되는 영상, 예컨대 좌영상을 MPEG-2 표준에 입각하여 프레임 기반으로 부호화하고, 좌우영상의 공간적 상관성이 매우 높다는 점을 이용하여 데이터량을 감소시킬 수 있도록 우영상에 대해서는 좌우영상간의 차영상을 계산하고 움직임 벡터를 추정하여 차영상과 움직임 벡터를 부호화한다. 그렇지만, 영상 부호화부(104)가 좌영상과 동일한 방식으로 우영상을 부호화할 수도 있다. 한편, 다른 실시예에 있어서는, 영상 부호화부(104)가 블록 기반(block-based) 방식이 아니라, 화소 기반(pixel-based) 방식, 특징 기반(feature-based) 방식, 객체 기반(object-based) 방식 등 여타의 부호화 방식을 사용할 수도 있음은 물론이다. 특히, 영상 부호화부(104)는 ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 복수의 영상을 부호화할 수 있다.
A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르면, 시퀀스 레벨, GOP 레벨, 또는 픽쳐 레벨에서 확장 데이터 및 유저 데이터가 삽입될 수 있다. 유저 데이터 삽입부(106)는 영상 부호화부(104)가 영상 신호를 부호화함에 있어서 시퀀스 레벨, GOP 레벨, 또는 픽쳐 레벨에서 삽입하게 될 확장 데이터 및 유저 데이터를 영상 부호화부(104)에 제공한다. 특히, 본 실시예에 따르면, 유저 데이터 삽입부(106)는 유저 데이터의 한 유형으로써 플로우팅 윈도우 정보 생성부(108)로부터의 플로우팅 윈도우 정보를 영상 부호화부(104)에 제공함으로써, 유저 데이터 삽입부(106)가 픽쳐 헤더 내에 플로우팅 윈도우 정보를 포함시켜 영상 신호를 부호화하도록 하게 된다.
플로우팅 윈도우 정보 생성부(108)는 전처리부(102)로부터 교정된 좌우 영상을 받아들이고, 좌영상과 우영상을 비교하여 플로우팅 윈도우의 크기를 계산한다. 도 7에 도시된 바와 같이, 본 발명에 있어서 플로우팅 윈도우는 수신기 측에서 스테레오스코픽 이미지 쌍을 디스플레이할 때 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시키기 위하여, 좌영상의 좌측 모서리 또는 우영상의 우측 모서리 부근에서, 영상 일부를 대체하도록 설정되는 특정 바탕색상의 상하방향 스트립(top-to-bottom strip) 영역을 의미한다. 좌영상의 우측 모서리 또는 우영상의 좌측 모서리에도 마찬가지로 이러한 플로우팅 윈도우가 형성될 수 있다. 플로우팅 윈도우 정보 생성부(108)는 각 플로우팅 윈도우의 크기 즉 폭에 대한 정보와, 투명도(transparency) 및 색상 정보를 플로우팅 윈도우 정보로써 유저 데이터 삽입부(106)를 통해 영상 부호화부(104)에 제공하게 된다.
도 8을 참조하면, 일 실시예에 있어서, 플로우팅 윈도우 정보 생성부(108)는 우영상(150b)에서 가장 좌측에 있는 객체들 중 한 객체(154b)를 선택하고, 좌영상(150a)에서 그에 상응한 객체(154a)의 위치를 탐색한다. 그리고, 플로우팅 윈도우 정보 생성부(108)는 객체들(154a, 154b)간의 변위 즉, 위치차이(DIST)를 계산하고, 이 변위를 플로우팅 윈도우의 폭으로서 결정한다. 우영상에 대한 플로우팅 윈도우의 적용 여부와 크기도 좌영상에 대한 플로우팅 윈도우와 같은 방식으로 결정된다.
나아가, 플로우팅 윈도우 정보 생성부(108)는 카메라(100)로부터 줌, 초점거리, 주시각, 주시점, 렌즈 디스토션 등의 카메라 파라미터를 받아들이고, 이들 파라미터를 토대로 좌우영상에서 플로우팅 윈도우의 크기를 조절할 수 있다. 예컨대, 카메라(100)의 초점거리가 일정 기준보다 긴 경우에는 플로우팅 윈도우의 폭을 감소시키고, 초점거리가 상기 기준보다 짧은 경우에는 플로우팅 윈도우의 폭을 증가시킬 수 있다. 아울러, 프로그램 영상의 속성이나 촬영장소에 따라 플로우팅 윈도우의 적용 여부 또는 조절가능 범위를 달리할 수도 있다. 또한, 변형된 실시예에 있어서는, 카메라맨이 직접 플로우팅 윈도우의 적용 여부 또는 조절가능 범위를 결정하거나 영상 편집 과정에서 편집담당자가 이를 결정할 수도 있다. 이들 카메라맨 또는 편집담당자의 작업이 컴퓨터 프로그램에 의해 수행될 수도 있음은 물론이다.
다시 도 6을 참조하면, 촬영 장면에서 적절한 위치에 각각 설치되는 복수의 마이크(110a∼110f)는 촬영 현장의 소리를 획득하여 전기적 음성 신호로 변환한다. 음성 부호화부(112)는 각 마이크(110a∼110f)로부터 받아들인 음성 신호를 일정한 표준, 예컨대 AC-3 표준에 맞게 부호화하여, 오디오 엘리멘터리 스트림(ES)을 생성한다.
패킷생성부(114)는 영상 부호화부(104) 및 음성 부호화부(112)로부터 비디오 ES와 오디오 ES를 각각 받아들이고, 각 스트림을 패킷화하여 패킷화된 엘리멘터리 스트림(PES)을 생성한다. PSI/PSIP 발생부(118)는 프로그램 사양 정보(PSI) 및 프로그램 및 시스템 정보 프로토콜(PSIP) 정보를 발생한다. 멀티플렉서(118)는 PES와 PSI/PSIP 정보에 헤더를 부가하여 트랜스포트 스트림(TS)를 생성한다. 도 6의 시스템은 예컨대 지상파를 통해 하나의 채널을 전송하지만, 예컨대 케이블망 또는 위성망을 통해 방송신호를 송출하는 시스템에 있어서는 별도의 전송 멀티플렉서가 복수 채널의 방송신호를 멀티플렉싱하여 다중 프로그램 TS를 생성할 수도 있다. 채널부호화부(120)는 전송 채널에서 잡음으로 인하여 야기될 수 있는 오류를 수신기에서 검출하고 정정할 수 있도록 TS를 에러정정부호화한다. 변조부(122)는 시스템이 채택하고 있는 변조방식 예컨대 8-VSB 변조방식에 의해 채널부호화된 TS를 변조한다. 송신부(124)는 변조된 방송신호를 채널 특성에 맞게 예컨대 안테나(126)를 통해 송출하게 된다.
도 9 내지 도 11을 참조하여 도 6의 시스템이 플로우팅 윈도우 정보를 송신하는 방법을 구체적으로 설명한다. ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르면, 비디오 시퀀스, GOP 또는 픽쳐 레벨에서, 헤더에 확장 데이터 또는 유저 데이터를 정의하기 위한 extension_and_user_data() 구조가 삽입될 수 있다. 본 발명의 바람직한 실시예에 있어서, 플로우팅 윈도우 정보는 픽쳐 레벨에서 즉, 비디오 ES에서 픽쳐 헤더에 뒤이어 배치될 수 있는 extension_and_user_data() 내에서, 유저 데이터(Picture User Data)로서 포함되어 전송된다.
도 9의 상부에는 픽쳐 확장 및 유저 데이터(Picture Extension and User Data) 구문이 표시되어 있다. 구문 명칭에 해당하는 extension_and_userdata(2)에서 괄호 안에 있는 숫자 '2'는 이 구문이 픽쳐 레벨에 있다는 것을 의미한다. 'do while' 문장의 실행 조건에서 보듯이, 픽쳐 헤더 내에서 다음에 나타나는 비트들이 extension_start_code 또는 user_data_start_code인 경우, 그 이하의 비트열들은 extension_and_user_data(2) 구조를 나타내게 된다. 이에 따라 수신기는 extension_start_code 또는 user_data_start_code를 뒤따르는 비트열들을 각각 extension_data(2) 또는 user_data()로 인식하게 된다.
도 9의 중앙 부분에 표시된 바와 같이, 픽쳐 유저 데이터 user_data()는 'user_data_start_code'와 'user_data_identifier' 필드를 포함하며, 이 필드들에는 user_structure()가 뒤따르게 된다. 'user_data_start_code'의 값은 ISO/IEC 13818-2 표준에 의하여 "0x0000 01B2"로 설정되어 있다. 'user_data_identifier' 필드는 user_structure()의 구문과 의미를 나타내는 32비트 코드로서, ISO/IEC 13818-1 표준에서 정의된 바에 따라 'format_identifier'의 값으로 정해지게 되는데, 본 발명과 같이 ATSC_user_data()의 경우 "0x4741 3934"의 값으로 정해진다.
user_structure()는 상기 'user_data_identifier' 필드에 의하여 정의되는 가변장 데이터 구조로서, 도 9의 하부에 표시된 바와 같이 'user_data_type_code'와 user_data_type_structure()를 포함한다. 'user_data_type_code'는 ATSC 유저 데이터의 종류를 나타내는 8비트 값으로서, 플로우팅 윈도우 데이터를 나타내는 경우 "0x09"의 값으로 정해진다.
도 10은 플로우팅 윈도우 데이터 fw_data()의 구문을 보여준다. 플로우팅 윈도우 데이터 구문은 가변장 데이터 구조로서, 좌영상 및 우영상 각각에 있어서의 좌측 모서리와 우측 모서리에서의 플로우팅 윈도우의 존재 유무를 나타내는 네 개의 플래그와, 플래그가 설정된 각 윈도우의 크기, 투명도, 색상 정보를 포함한다.
도면에서, 'left_view_left_float_window_flag'는 "1"로 세팅이 되면, 좌영상에서 좌측 플로우팅 윈도우가 존재함을 나타낸다. 'left_view_right_float_window_flag'는 "1"로 세팅이 되면, 좌영상에서 우측 플로우팅 윈도우가 존재함을 나타낸다. 'right_view_left_float_window_flag'는 "1"로 세팅이 되면, 우영상에서 좌측 플로우팅 윈도우가 존재함을 나타낸다. 'right_view_right_float_window_flag'는 "1"로 세팅이 되면, 우영상에서 우측 플로우팅 윈도우가 존재함을 나타낸다.
'number_pixels_of_LL_window' 필드는 14비트의 부호없는 정수 값을 가지며, 좌영상의 좌측 플로우팅 윈도우 내에서의 마지막 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 좌영상의 좌측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_LL_window' 필드는 24비트의 부호없는 정수 값을 가지며, 좌영상의 좌측 플로우팅 윈도우의 투명도를 지정한다. 'color_LL_window' 필드는 좌영상의 좌측 플로우팅 윈도우의 색상을 지정한다. "11"의 값을 가지는 'market bits'는 각 윈도우에 대한 정보가 시작됨을 나타낸다. 한편, 'number_pixels_of_LL_window' 필드 대신에 플로우팅 윈도우의 폭 데이터가 직접 표시될 수도 있는데, 이하 다른 윈도우에 대해서도 마찬가지이다.
'number_pixels_of_LR_window' 필드는 14비트의 부호없는 정수 값을 가지며, 좌영상의 우측 플로우팅 윈도우 내에서의 최초 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 좌영상의 우측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_LR_window' 필드는 24비트의 부호없는 정수 값을 가지며, 좌영상의 우측 플로우팅 윈도우의 투명도를 지정한다. 'color_LR_window' 필드는 좌영상의 우측 플로우팅 윈도우의 색상을 지정한다.
'number_pixels_of_RL_window' 필드는 14비트의 부호없는 정수 값을 가지며, 우영상의 좌측 플로우팅 윈도우 내에서의 마지막 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 우영상의 좌측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_RL_window' 필드는 24비트의 부호없는 정수 값을 가지며, 우영상의 좌측 플로우팅 윈도우의 투명도를 지정한다. 'color_RL_window' 필드는 우영상의 좌측 플로우팅 윈도우의 색상을 지정한다.
'number_pixels_of_RR_window' 필드는 14비트의 부호없는 정수 값을 가지며, 우영상의 우측 플로우팅 윈도우 내에서의 최초 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 우영상의 우측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_RR_window' 필드는 24비트의 부호없는 정수 값을 가지며, 우영상의 우측 플로우팅 윈도우의 투명도를 지정한다. 'color_RR_window' 필드는 우영상의 우측 플로우팅 윈도우의 색상을 지정한다.
위에서 설명한 바와 같이, 바람직한 실시예에 따르면, 스테레오스코픽 이미지 쌍을 구성하는 두 개의 2차원 영상을 MPEG-2 표준에 의해 부호화하며, 플로우팅 윈도우 정보를 유저 데이터로써 비디오 ES에서의 픽쳐 헤더에 포함시킨다. 그렇지만, 위에서 언급한 바와 같이 좌영상 및 우영상이 다른 부호화 기법, 예컨대 (ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 부호화될 수도 있다. 이와 같이 좌영상 및 우영상이 H.264/AVC 표준에 따라 부호화되는 경우에는, 플로우팅 윈도우 정보가 SEI(Supplemental Enhancement Information) 영역에 포함되어 전송될 수 있다.
도 11은 이와 같이 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 플로우팅 윈도우 정보를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여준다. 도시된 구문에서, 'itu_t_t35_country_code'는 ITU-T T35의 Annex A에 정의되어 있는 8비트의 국가 코드로서, 한국의 경우 "0x61" 값을 가진다. 'itu_t_t35_provider_code'는 0x0031" 값을 가지는 16비트 코드이다. 'user_identifier'는 32비트 코드로서, "0x4741 3934" 값을 사용하여 user_structure()의 구문구조가 ATSC A/53에서 정의한 것임을 나타낼 수 있다. 이와 같은 경우 user_structure()는 ATSC 디지털텔레비전 표준 즉, A/53 Part 4 Section 6.2.3에서 정의한 바와 동일한 방식으로 사용할 수 있다. 따라서, 도 9의 하단에 있는 유저 데이터 구문과 도 10의 플로우팅 윈도우 데이터 구문에 의하여, 플로우팅 윈도우 정보를 표시할 수 있게 된다.
도 12는 본 발명에 의한 텔레비전 수신기의 일 실시예를 보여준다. 본 실시예에 따른 텔레비전 수신기는 공중파 방송신호를 수신하여 영상을 재생하기에 적합한 것이다.
튜너(202)는 안테나를 통해 입력되는 다수의 방송신호들 중에서 사용자가 선국한 어느 한 채널의 방송신호를 선택하여 출력한다. 복조부(204)는, 튜너(202)로부터의 방송신호를 복조하여, 복조된 트랜스포트 스트림을 출력한다. 채널복호화부(206)는 복조된 신호에 대하여 에러정정복호화를 수행한다. 역다중화부(208)는 에러정정복호화된 TS를 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. PSI/PSIP 처리부(210)는 PSI/PSIP 정보를 메모리(미도시됨)에 저장하거나 주제어부(200)에 제공하여, 이 정보에 따라 방송이 재생되도록 한다. 패킷해제부(212)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 음성복호화부(214)는 오디오 ES를 복호화하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시됨)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다.
영상복호화부(216)는 비디오 ES를 복호화하여 비디오 비트스트림 즉, 픽쳐 데이터를 출력한다. 좌우영상 분리부(218)는 픽쳐 데이터에서 좌영상 신호와 우영상 신호를 분리해낸다. 한편, 복호화 과정에서, 영상복호화부(216)는 비디오 ES 내에 있는 헤더와 확장/유저 데이터를 추출하여 주제어부(200)에 제공함으로써, 주제어부(200)가 추출된 헤더와 확장/유저 데이터에서 플로우팅 윈도우 데이터 fw_data()를 추출하여 플로우팅 윈도우 정보를 복원하도록 하게 된다.
주제어부(200)는 도 10의 플로우팅 윈도우 데이터 중에서, 4개의 플래그 즉, 'left_view_left_float_window_flag', 'left_view_right_float_window_flag', 'right_view_left_float_window_flag', 'right_view_right_float_window_flag'를 토대로 좌우영상에서 좌측 또는 우측 플로우팅 윈도우가 존재하는지를 판단한다. 그리고, 주제어부(200)는 플래그가 "1"로 설정된 플로우팅 윈도우에 대하여 'number_pixels_of_LL_window', 'number_pixels_of_LR_window', 'number_pixels_of_RL_window', 'number_pixels_of_RR_window' 필드들을 통하여 플로우팅 윈도우의 크기 즉, 폭을 확인한다. 또한, 주제어부(200)는 'color_LL_window', 'color_LR_window', 'color_RL_window', 'color_RR_window' 필드들을 토대로 각 플로우팅 윈도우를 출력할 때 사용할 색상을 확인한다. 아울러, 주제어부(200)는 'transparency_LL_window', 'transparency_LR_window', 'transparency_RL_window', 'transparency_RR_window' 필드들을 토대로 각 플로우팅 윈도우에 대한 알파 블렌딩 값을 확인한다.
주제어부(200)는 플로우팅 윈도우 정보를 적합한 형태로 그래픽 엔진(220)에 제공하면서, 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224), 제1 및 제2 믹서(226, 228) 및 포맷터(230)를 제어하여 플로우팅 윈도우 정보에 따른 영상처리가 이루어지도록 하게 된다. 그래픽 엔진(220)은 윈도우 크기, 투명도, 색상 등의 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이를 토대로 좌우영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다.
제1 OSD 생성부(222)는 좌영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 좌영상에 대한 OSD 신호를 발생시킨다. 제1 믹서(226)는 좌우영상 분리부(218)로부터의 좌영상 신호에 제1 OSD 생성부(222)로부터의 좌영상 OSD 신호를 믹싱하여, 좌영상에 대한 플로우팅 윈도우 영역에서 좌영상 OSD 신호가 좌영상를 대체하거나 좌영상 신호에 알파블렌딩되도록 한다. 한편, 제2 OSD 생성부(224)는 우영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 우영상에 대한 OSD 신호를 발생시킨다. 제2 믹서(228)는 좌우영상 분리부(218)로부터의 우영상 신호에 제2 OSD 생성부(224)로부터의 우영상 OSD 신호를 믹싱하여, 좌영상에 대한 플로우팅 윈도우 영역에서 좌영상 OSD 신호가 좌영상를 대체하거나 좌영상 신호에 알파블렌딩되도록 한다. 포맷터(230)는 OSD가 중첩된 좌우영상 신호에 대하여 프레임 타임을 비교하면서, 시간적으로 일치하는 좌우영상이 쌍을 이루어 표시면(232)에 표시되도록 포맷팅함으로써, 3D 영상이 복원되도록 하게 된다.
한편, 제1 및 제2 믹서(226, 228)에 의한 영상 합성은 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시됨)을 조작하여 플로우팅 윈도우가 적용되지 않도록 조작명령을 인가할 수 있다. 이와 같은 조작명령이 인가되는 경우, 주제어부(200)는 이 명령을 메모리에 저장해두고, 이를 참조하여 플로우팅 윈도우의 합성을 제어할 수 있다. 또한, 그래픽 엔진(220)에 의한 플로우팅 윈도우 생성 역시 사용자의 조작명령에 따라 변형될 수 있다. 예컨대, 사용자는 방송신호를 통해 수신된 플로우팅 윈도우 정보에서 지정된 윈도우 크기의 범위 내에서, 각 플로우팅 윈도우의 폭을 임의로 축소시키기 위한 명령을 인가할 수 있고, 이에 따라 주제어부(200)는 플로우팅 윈도우 크기가 조정된 플로우팅 윈도우 정보를 그래픽 엔진(220)에 제공하게 된다.
도 13 내지 도 21을 참조하여, 플로우팅 윈도우 정보를 추출하여 표시하는 과정을 보다 구체적으로 설명한다.
도 13은 플로우팅 윈도우 정보를 추출하여 좌우영상에 합성하는 과정을 전체적으로 보여준다. 먼저, 주제어부(200)는 비디오 ES의 복호화 과정에서 영상복호화부(216)에 의해 추출된 헤더와 확장/유저 데이터로부터 플로우팅 윈도우 데이터 fw_data()를 추출한다(제250단계). 여기서, 비디오 ES가 H.264/AVC 표준에 의하여 부호화된 경우에는 플로우팅 윈도우 데이터가 SEI(Supplemental Enhancement Information) 영역에서 추출될 수 있음은 위에서 언급한 바와 같다.
본 발명에 의하여 좌영상 또는 우영상 중에서 일부를 무효화하는 플로우팅 윈도우는 사용자의 조작명령에 응답하여 그 적용 여부가 결정될 수도 있다. 이에 따라, 주제어부(200)는 예컨대 리모콘(미도시됨)로부터 플로우팅 윈도우 적용에 대한 조작명령이 인가되는지를 지속적으로 체크하고, 명령이 인가되는 경우 이를 메모리에 저장해두고, 이를 참조하여 플로우팅 윈도우의 합성을 제어한다. 제252단계에서, 주제어부(200)는 메모리에 플로우팅 윈도우 조작에 대한 사용자 명령이 저장되어 있는지, 또는 리모콘로부터 플로우팅 윈도우 적용에 대한 조작명령이 인가되는지를 체크한다. 제254단계에서 주제어부(200)는 플로우팅 윈도우가 활성화되어야 하는지를 결정한다.
만약 제254단계에서 플로우팅 윈도우가 활성화되어야 하는 것으로 결정되는 경우, 주제어부(200)는 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224)와 제1 및 제2 믹서(226, 228)를 제어하여, 플로우팅 윈도우가 좌영상 및 우영상에 적용되도록 하게 된다(제256단계). 이어서, 포맷터(230)는 OSD가 중첩된 좌우영상을 해당 수신기에서의 스테레오스코픽 디스플레이 방식에 맞게 포맷팅하여, 3D 영상이 표시되도록 하게 된다(제258단계).
도 14는 도 12에서 플로우팅 윈도우 정보를 추출하는 단계(제250단계)를 보다 상세하게 보여준다. 영상복호화부(216)가 비디오 ES를 복호화하여 픽쳐 데이터 내지 비디오 코딩 레이어(VCL)를 출력하고 비디오 ES 내에 있는 헤더와 확장/유저 데이터를 추출한 후에(제270단계), 주제어부(200)는 픽쳐 헤더 내에 있는 extension_and_user_data(2)를 복호화하여 픽쳐 유저 데이터 user_data()를 추출한다(제272단계). 한편, 비디오 ES가 H.264/AVC 표준에 의하여 부호화되어 있는 변형된 실시예에 있어서는, 이 단계에서 SEI(Supplemental Enhancement Information) 영역이 복호화된다. 즉, 주제어부(200)는 AVC NAL unit을 파싱하여, 'nal_unit_type' 값이 "6"인 SEI 데이터를 추출하고, 'payloadType'의 값이 "4"인 인 user_data_registered_itu_t_t35() 메시지를 읽는다.
제274단계에서, 주제어부(200)는 픽쳐 유저 데이터 user_data()에서 'user_data_identifier' 값이 "0x4741 3934"인 ATSC_user_data()를 검출한다. 그 다음, 주제어부(200)는 ATSC_user_data()에서 'user_data_type_code'가 "0x09"인 user_data_type_structure()를 검출한다(제276단계). 마지막으로, 주제어부(200)는 상기 user_data_type_structure()로부터 플로우팅 윈도우 데이터 fw_data()를 읽어서, 플로우팅 윈도우가 존재함을 나타내는 플래그가 설정된 각 윈도우에 대한 크기, 투명도, 색상 등의 정보를 추출한다(제278단계).
도 15 내지 도 21은 플로우팅 윈도우를 좌우영상에 합성하는 과정을 설명하기 위한 스크린샷이다. 여기에서, 플로우팅 윈도우 합성 이전의 좌우영상이 각각 도 15 및 도 16과 같고, 플로우팅 윈도우 정보가 다음과 같다고 가정한다.
- 'left_view_left_float_window_flag' = "1"
- 'left_view_right_float_window_flag' = "0"
- 'right_view_left_float_window_flag' = "0"
- 'right_view_right_float_window_flag' = "1"
- 'number_pixels_of_LL_window' = "2"
- 'transparency_LL_window' = "0"
- 'color_LL_window' = "0x 505050"
- 'number_pixels_of_LR_window' = "2"
- 'number_pixels_of_RL_window' = "2"
- 'number_pixels_of_RR_window' = "3"
- 'transparency_RR_window' = "0"
- 'color_RR_window' = "0x 000000"
이 예에서, 'left_view_left_float_window_flag'와 'left_view_right_float_window_flag'가 "1"로 설정되어 있으므로, 주제어부(200)는 좌영상에 대한 좌측 플로우팅 윈도우와 우영상에 대한 우측 플로우팅 윈도우가 활성화되어야 하는 것으로 판단한다. 한편, 'right_view_left_float_window_flag'와 'right_view_right_float_window_flag' 플래그가 "0"으로 설정되어 있으므로, 주제어부(200)는 좌영상에 대한 우측 플로우팅 윈도우와 우영상에 대한 좌측 플로우팅 윈도우가 활성화되지 않아야 하는 것으로 판단한다.
그래픽 엔진(220)은 좌영상에 대한 좌측 플로우팅 윈도우에 대하여 'number_pixels_of_LL_window', 'transparency_LL_window', 'color_LL_window' 필드를 통하여 플로우팅 윈도우의 폭과 색상, 그리고 알파 블렌딩을 위한 투명도 값을 토대로 좌영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다. 그리고, 그래픽 엔진(220)은 우영상에 대한 우측 플로우팅 윈도우에 대하여 'number_pixels_of_RR_window', 'transparency_RR_window', 'color_RR_window' 필드를 통하여 플로우팅 윈도우의 폭과 색상, 그리고 알파 블렌딩을 위한 투명도 값을 토대로 좌영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다.
이에 따라, 좌영상에 대한 좌측 플로우팅 윈도우는 폭이 2 화소이고 투명도가 0이면서 색상이 "0x 505050"인 상하방향 스트립 형태를 가진다. 또한, 우영상에 대한 우측 플로우팅 윈도우는 폭이 3 화소이고 투명도가 0이면서 색상이 "0x 000000"인 상하방향 스트립 형태를 가진다.
제1 믹서(226)는 도 15의 좌영상에 OSD 영상을 중첩시켜서, 도 17과 같이 플로우팅 윈도우가 중첩되어 있는 좌영상을 나타내는 좌영상 신호를 생성한다. 제2 믹서(228)는 도 16의 우영상에 도 18의 OSD 영상을 중첩시켜서, 도 18과 같이 플로우팅 윈도우가 중첩되어 있는 우영상을 나타내는 우영상 신호를 생성한다.
포맷터(230)는 OSD 영상이 중첩된 좌우영상을 합성시킨다. 도 19 내지 도 21은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 합성하여 표시한 화면의 예들을 보여준다. 구체적으로, 도 19는 수평 방향 인터리빙 방식으로 합성한 예를 보여주는데, 이에 따르면 가로 방향의 줄을 한줄씩 바꿔가며 좌영상 및 우영상이 교대로 표시된다. 도 20은 좌영상 및 우영상이 수직 방향 인터리빙 방식으로 합성한 예를 보여주는데, 이에 따르면 세로 방향의 줄을 한줄씩 바꿔가며 좌영상 및 우영상이 교대로 표시된다. 도 21은 좌영상 및 우영상이 체커보드 패턴으로 합성한 예를 보여준다. 도시된 바와 같이, 플로우팅 윈도우가 설정된 화면 영역에 있어서, 플로우팅 윈도우에 의해 대치된 좌영상 또는 우영상은 표시되지 않고, 플로우팅 윈도우의 영향을 받지 않는 좌영상 또는 우영상만이 표시된다. 표시된 좌영상과 우영상은 편광안경을 통해서 시청자의 왼쪽 눈과 오른쪽 눈에 각각 입력된다.
이와 같이 도 19 내지 도 21의 합성예는 편광안경을 사용하는 수신기 시스템에서 적합한 것이다. 그렇지만, 변형된 실시예에 있어서는, 본 발명이 셔터 안경을 사용하는 수신기 시스템에도 적용될 수 있다. 이와 같이 셔터 안경을 사용하는 수신기 시스템에 있어서는, 도 17과 도 18의 영상이 교대로 표시면에 표시될 수 있다. 표시되는 영상의 스위칭에 동기된 셔터 안경이 좌영상과 우영상을 각각 시청자의 왼쪽 눈과 오른쪽 눈에만 전달하게 된다.
이상에서 설명한 실시예에 있어서는 플로우팅 윈도우 정보를 토대로 그래픽 엔진(220)이 플로우팅 윈도우에 대한 OSD 데이터를 생성하고, 제1 및 제2 OSD 생성부(222, 224)가 OSD 영상신호를 발생하지만, 이와 같은 실시예가 변형된 실시예에 있어서는, 상기 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224)가 하나로 통합될 수 있다. 도 22는 이와 같은 실시예를 보여준다. 도 22의 실시예에 있어서, 그래픽 엔진(320)은 주제어부(200)로부터 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이 정보를 토대로 좌우 플로우팅 윈도우를 구현하기 위한 OSD 신호를 발생하여 제1 및 제2 믹서(226, 228)에 출력한다. 본 실시예의 다른 특징은 도 12의 실시예와 유사하므로 이에 대한 자세한 설명은 생략한다.
도 23은 본 발명에 의한 텔레비전 수신기의 다른 변형된 실시예를 보여준다. 본 실시예에 있어서, 방송 페이로드 데이터 즉, 좌우 픽쳐 데이터 내지 비디오 코딩 레이어(VCL)을 하나의 포맷터로 포맷팅하고, 좌우 OSD 신호를 별도의 포맷터로 포맷팅한 후, 포맷팅 신호들을 믹싱하게 된다. 제1 포맷터(410)는 좌우영상 분리부(218)로부터의 좌영상 신호와 우영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 그래픽 엔진(420)은 주제어부(200)로부터 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이를 토대로 좌우 영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다. 제1 OSD 생성부(422)는 좌영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 좌영상에 대한 OSD 신호를 발생시킨다. 제2 OSD 생성부(424)는 우영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 우영상에 대한 OSD 신호를 발생시킨다. 제2 포맷터(426)는 좌영상 OSD 신호와 우영상 OSD 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 믹서(428)는 제1 및 제2 포맷터(410, 426)의 출력 신호들을 합성하여, 합성된 영상신호들이 표시면(232)에 표시되도록 한다.
또 다른 한편으로, 이상에서 설명한 실시예에 있어서는 플로우팅 윈도우 정보를 토대로 OSD 영상들을 생성하고 이 OSD 영상들을 방송 영상들에 합성하게 되지만, 이러한 실시예가 변형된 실시예에 있어서는, 플로우팅 윈도우 정보에 상응하여 방송 영상들을 직접 조작할 수도 있다.
그밖에도, 본 발명은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다양한 방식으로 변형될 수 있고 다른 구체적인 형태로 실시될 수 있다.
예컨대, 이상의 설명에서는, 플로우팅 윈도우의 위치에 상응한 방송 영상 부분을 플로우팅 윈도우 정보에서 지정된 색상으로 대치하여 방송 영상 부분을 소거 내지 무효화하는 실시예를 중심으로 설명하였지만, 변형된 실시예에 있어서는, 플로우팅 윈도우의 투명도에 따라 플로우팅 윈도우의 위치에 상응한 방송 영상 부분이 완전히 무효화되는 것이 아니라 알파 블렌딩에 의해 억제할 수도 있다.
한편, 이상의 설명에서는 공중파 디지털 방송을 기준으로 본 발명을 설명하였지만, 본 발명은 케이블망을 통해 전송되는 방송에 대해서도 동일하게 적용할 수 있다. 또한, DVD, 블루레이 디스크 등의 저장매체 또는 개인용 비디오 저장장치(PVR: Personal Video Recorde)를 통한 영상의 저장과 저장된 영상의 재생에 대해서도 동일하게 적용될 수 있다. 아울러, 본 발명은 네트워크 상의 동영상 전송에도 적용될 수 있다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
산업상 이용가능성
위에서 설명한 바와 같이, 본 발명은 스테레오스코픽 3차원 영상을 구현하기 위한 좌우 영상 각각에 대하여 좌측, 우측, 또는 양쪽의 모서리 내측의 영역을 플로우팅 윈도우에 의해 비대칭적으로 억제시킨다. 이에 따라 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서, 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌 즉, edge violation 문제를 방지하거나 감소시킬 수 있게 된다. 이에 따라 음의 시차를 갖는 물체가 확실하게 표시면 전방으로 나와보이는 착시 효과를 구현할 수 있다. 그러므로, 본 발명은 edge violation으로 인한 불편함과 혼란을 감소시키고, 입체감과 현장감이 높여서 3차원 영상의 품질을 제고할 수 있다.
본 발명은 스테레오스코픽 3차원 TV는 물론, 멀티뷰 3차원 TV에도 유사한 방법으로 적용될 수 있다. 아울러, 본 발명은 lenticular, integral imaging, holography 방식이나 여타 방식의 3차원 TV에도 적용될 수 있다.
Claims (18)
- 서로 다른 뷰포인트를 갖는 복수 영상을 각각 나타내는 복수의 비디오 신호를 마련하는 단계;
상기 복수 영상 각각에 대해 적어도 하나의 플로팅 윈도우 적용 여부 필드, 각 플로팅 윈도우의 위치와 크기, 투명도, 색을 포함한 플로우팅 윈도우 정보를 생성하는 단계; 및
상기 플로우팅 윈도우 정보를 비디오 픽쳐 헤더 영역에 삽입하여 상기 비디오 신호를 부호화하여 전송하는 단계;
를 포함하는 3차원 영상신호 전송 방법. - 청구항 1에 있어서, 상기 플로우팅 윈도우가 상기 복수 영상 각각에서 좌우측 모서리 내측에 설정될 수 있으며,
각 플로우팅 윈도우의 크기가 개별적으로 결정되는 3차원 영상신호 전송방법. - 청구항 2에 있어서, 각 플로우팅 윈도우의 크기가, 상기 플로우팅 윈도우에 해당하는 영상을 촬상한 이미지 센서의 카메라 파라미터, 상기 복수의 영상들 내에서 대응하는 점들 사이의 변위, 및 상기 카메라 파라미터와 상기 변위의 조합으로 구성된 기준 그룹에서 선택되는 어느 하나를 토대로, 결정되는 3차원 영상신호 전송 방법.
- 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 상기 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 플로우팅 윈도우 정보를 추출하는 복호화부; 및
상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상 표시를 제어하며 상기 복수의 영상들을 스테레오스코픽 방식으로 표시하는 합성 표시부;
를 구비하는 3차원 영상표시 장치. - 청구항 4에 있어서, 상기 합성 표시부가 상기 플로우팅 윈도우 정보에 따라 상기 영역에서 영상을 억제시켜, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하는 3차원 영상표시 장치.
- 청구항 5에 있어서, 상기 복수의 영상신호가 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함하며,
상기 합성 표시부가
상기 위치 및 크기 데이터와 상기 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성하는 온스크린디스플레이 생성부;
각각 상기 좌영상 신호와 상기 좌측 플로우팅 윈도우 영상 신호를 합성하고, 상기 우영상 신호와 상기 우측 플로우팅 윈도우 영상 신호를 합성하는 제1 및 제2 혼합부; 및
상기 제1 및 제2 혼합부의 출력 신호들을 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 포맷터;
를 구비하는 3차원 영상표시 장치. - 청구항 5에 있어서, 상기 복수의 영상신호가 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함하며,
상기 합성 표시부가
상기 좌영상 신호와 상기 우영상 신호를 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 제1 포맷터;
상기 위치 및 크기 데이터와 상기 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성하는 온스크린디스플레이 생성부;
상기 좌측 플로우팅 윈도우 영상 신호와 상기 우측 플로우팅 윈도우 영상 신호를 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 제2 포맷터; 및
상기 제1 및 제2 포맷터의 출력 신호들을 합성하는 혼합부;
를 구비하는 3차원 영상표시 장치. - 청구항 5에 있어서, 상기 장치는 텔레비전 수신기로서,
채널을 통해 방송신호를 받아들이고 복조하여, 채널부호화된 트랜스포트 스트림을 출력하는 튜너/복조기;
상기 채널부호화된 트랜스포트 스트림을 받아들이고,
에러정정복호화를 수행하여 복호화된 트랜스포트 스트림을 출력하는 채널복호화부; 및
상기 복호화된 트랜스포트 스트림을 역다중화하고 패킷을 해제하여 상기 부호화된 비디오 신호를 출력하는 역다중화/패킷해제부;
를 더 구비하는 3차원 영상표시 장치. - 3차원 영상표시 장치에 있어서,
(a) 부호화된 비디오 신호를 획득하는 단계;
(b) 상기 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 상기 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 플로우팅 윈도우 정보를 추출하는 단계; 및
(c) 상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상 표시를 제어하며 상기 복수의 영상들을 스테레오스코픽 방식으로 표시하는 단계;
를 포함하는 3차원 영상신호 처리 방법. - 청구항 9에 있어서,
상기 (c)단계에서, 상기 플로우팅 윈도우 정보에 따라 상기 영역에서 영상을 억제시켜, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하는 3차원 영상신호 처리 방법. - 청구항 10에 있어서, 상기 (b)단계가
상기 부호화된 비디오 신호로부터 픽쳐 헤더를 추출하는 단계;
상기 픽쳐 헤더로부터 제1 필드가 소정의 값을 가지는 유저 데이터 구조를 추출하는 단계; 및
상기 유저 데이터 구조에서 제2 필드가 플로우팅 윈도우를 나타내는 값을 가지는 데이터 구조를 상기 플로우팅 윈도우 정보로써 추출하는 단계;
를 포함하는 3차원 영상신호 처리 방법. - 청구항 10에 있어서, 상기 (c)단계가
상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 상기 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 상기 플로우팅 윈도우에 해당하는 영상 부분을 무효화시키는 단계;
를 포함하는 3차원 영상신호 처리 방법. - 청구항 12에 있어서, 상기 플로우팅 윈도우에 해당하는 상기 영상 부분을 특정 색상을 채움으로써 상기 영상 부분을 무효화하는 3차원 영상신호 처리 방법.
- 청구항 13에 있어서, 상기 플로우팅 윈도우에 해당하는 상기 영상 부분을 상기 플로우팅 윈도우 정보에서 지정된 색상으로 채우는 3차원 영상신호 처리 방법.
- 청구항 13에 있어서, 상기 (c)단계가
상기 플로우팅 윈도우에 해당하는 영상 부분에 대한 온스크린디스플레이 영상을 생성하는 단계; 및
상기 온스크린디스플레이 영상을 상기 영상 부분에 중첩시킴으로써, 상기 영상 부분을 무효화하는 단계;
를 포함하는 3차원 영상신호 처리 방법. - 청구항 10에 있어서, 상기 (c)단계가
상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 상기 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 상기 플로우팅 윈도우에 해당하는 영상 부분에 상기 플로우팅 윈도우 정보에서 지정된 색상을 상기 투명도 데이터에 따라 알파 블렌딩함으로써 상기 영상을 억제시키는 단계;
를 포함하는 3차원 영상신호 처리 방법. - 청구항 10에 있어서,
사용자 조작명령을 체크하는 단계;
를 더 포함하며,
상기 사용자 조작명령이 상기 억제를 금지하지 않는 경우에만 상기 (c)단계를 수행하는 3차원 영상신호 처리 방법. - 청구항 10에 있어서, 상기 (c)단계가
상기 사용자 조작명령에 응답하여 플로우팅 윈도우의 크기를 조절하는 단계;
를 더 포함하는 3차원 영상신호 처리 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11935908P | 2008-12-02 | 2008-12-02 | |
| US61/119,359 | 2008-12-02 | ||
| PCT/KR2009/004619 WO2010064774A1 (ko) | 2008-12-02 | 2009-08-19 | 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110106289A true KR20110106289A (ko) | 2011-09-28 |
| KR101667723B1 KR101667723B1 (ko) | 2016-10-19 |
Family
ID=42233408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117012716A KR101667723B1 (ko) | 2008-12-02 | 2009-08-19 | 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9288470B2 (ko) |
| EP (1) | EP2357823A4 (ko) |
| KR (1) | KR101667723B1 (ko) |
| WO (1) | WO2010064774A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014065635A1 (ko) * | 2012-10-25 | 2014-05-01 | 엘지전자 주식회사 | 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 |
| WO2015009098A1 (ko) * | 2013-07-18 | 2015-01-22 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100045779A1 (en) * | 2008-08-20 | 2010-02-25 | Samsung Electronics Co., Ltd. | Three-dimensional video apparatus and method of providing on screen display applied thereto |
| WO2010084724A1 (ja) * | 2009-01-21 | 2010-07-29 | 株式会社ニコン | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 |
| JP5267886B2 (ja) * | 2009-04-08 | 2013-08-21 | ソニー株式会社 | 再生装置、記録媒体、および情報処理方法 |
| KR20100128233A (ko) * | 2009-05-27 | 2010-12-07 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| KR101719980B1 (ko) * | 2010-06-22 | 2017-03-27 | 엘지전자 주식회사 | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기 |
| US20130021438A1 (en) * | 2010-03-31 | 2013-01-24 | Design & Test Technology, Inc. | 3d video processing unit |
| CN102835117B (zh) * | 2010-04-01 | 2016-01-20 | 汤姆逊许可证公司 | 在三维（3d）呈现中使用浮动窗口的方法和系统 |
| JP2011228862A (ja) * | 2010-04-16 | 2011-11-10 | Sony Corp | データ構造、画像処理装置、画像処理方法、およびプログラム |
| WO2011142569A2 (en) * | 2010-05-10 | 2011-11-17 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving layered coded video |
| KR101435594B1 (ko) * | 2010-05-31 | 2014-08-29 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
| TWI469088B (zh) * | 2010-12-31 | 2015-01-11 | Ind Tech Res Inst | 前景深度地圖產生模組及其方法 |
| CN102572457A (zh) * | 2010-12-31 | 2012-07-11 | 财团法人工业技术研究院 | 前景深度地图产生模块及其方法 |
| DE112012000563B4 (de) * | 2011-01-25 | 2021-06-24 | Lg Electronics Inc. | Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals |
| KR20120088100A (ko) * | 2011-01-31 | 2012-08-08 | 삼성전자주식회사 | 디스플레이 컨트롤러 및 디스플레이 시스템 |
| FR2971603A1 (fr) | 2011-02-15 | 2012-08-17 | Thomson Licensing | Procede de traitement d’image stereoscopique comprenant une bande noire et dispositif correspondant |
| US8665304B2 (en) * | 2011-03-21 | 2014-03-04 | Sony Corporation | Establishing 3D video conference presentation on 2D display |
| GB2489931A (en) * | 2011-04-08 | 2012-10-17 | Sony Corp | Analysis of 3D video to detect frame violation within cropped images |
| JP2012249137A (ja) * | 2011-05-30 | 2012-12-13 | Sony Corp | 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 |
| US9883172B2 (en) * | 2011-10-03 | 2018-01-30 | Echostar Technologies L.L.C. | Active 3D to passive 3D conversion |
| US9495791B2 (en) | 2011-10-05 | 2016-11-15 | Bitanimate, Inc. | Resolution enhanced 3D rendering systems and methods |
| US9791922B2 (en) * | 2011-10-13 | 2017-10-17 | Panasonic Intellectual Property Corporation Of America | User interface control device, user interface control method, computer program and integrated circuit |
| WO2013094329A1 (ja) * | 2011-12-19 | 2013-06-27 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラムならびにその記録媒体 |
| WO2013122387A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method |
| WO2013122386A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
| WO2013122385A1 (en) * | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
| US20140055564A1 (en) * | 2012-08-23 | 2014-02-27 | Eunhyung Cho | Apparatus and method for processing digital signal |
| JP2014027448A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| WO2014089798A1 (en) | 2012-12-13 | 2014-06-19 | Thomson Licensing | Method and apparatus for error control in 3d video transmission |
| US9591290B2 (en) * | 2014-06-10 | 2017-03-07 | Bitanimate, Inc. | Stereoscopic video generation |
| CN105933779A (zh) * | 2016-06-27 | 2016-09-07 | 北京奇虎科技有限公司 | 利用寄生工具包实现的视频播放方法及装置 |
| CN106792089A (zh) * | 2016-12-15 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 视频播放方法和装置 |
| RU2686576C1 (ru) | 2017-11-30 | 2019-04-29 | Самсунг Электроникс Ко., Лтд. | Компактное устройство голографического дисплея |
| US10523912B2 (en) | 2018-02-01 | 2019-12-31 | Microsoft Technology Licensing, Llc | Displaying modified stereo visual content |
| CN108600334B (zh) * | 2018-04-03 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 展示电子装置无线信号接入质量的方法及装置 |
| CN108508616B (zh) * | 2018-05-17 | 2024-04-16 | 成都工业学院 | 一种3d显示系统及3d显示装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008047983A (ja) * | 2006-08-10 | 2008-02-28 | Sony Corp | 編集装置、編集方法、編集プログラムおよび編集システム |
| WO2008139351A1 (en) * | 2007-05-11 | 2008-11-20 | Koninklijke Philips Electronics N.V. | Method, apparatus and system for processing depth-related information |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6359658B1 (en) * | 2000-03-06 | 2002-03-19 | Philips Electronics North America Corporation | Subjective noise measurement on active video signal |
| US20020141635A1 (en) * | 2001-01-24 | 2002-10-03 | Swift David C. | Method and system for adjusting stereoscopic image to optimize viewing for image zooming |
| KR100751422B1 (ko) * | 2002-12-27 | 2007-08-23 | 한국전자통신연구원 | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 |
| US20080177994A1 (en) * | 2003-01-12 | 2008-07-24 | Yaron Mayer | System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows |
| TWI384413B (zh) * | 2006-04-24 | 2013-02-01 | Sony Corp | An image processing apparatus, an image processing method, an image processing program, and a program storage medium |
| WO2008038068A1 (en) * | 2006-09-25 | 2008-04-03 | Nokia Corporation | Supporting a 3d presentation |
| KR101362941B1 (ko) * | 2006-11-01 | 2014-02-17 | 한국전자통신연구원 | 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치 |
-
2009
- 2009-08-19 EP EP09830512.1A patent/EP2357823A4/en not_active Withdrawn
- 2009-08-19 US US13/132,239 patent/US9288470B2/en not_active Expired - Fee Related
- 2009-08-19 KR KR1020117012716A patent/KR101667723B1/ko active IP Right Grant
- 2009-08-19 WO PCT/KR2009/004619 patent/WO2010064774A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008047983A (ja) * | 2006-08-10 | 2008-02-28 | Sony Corp | 編集装置、編集方法、編集プログラムおよび編集システム |
| WO2008139351A1 (en) * | 2007-05-11 | 2008-11-20 | Koninklijke Philips Electronics N.V. | Method, apparatus and system for processing depth-related information |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014065635A1 (ko) * | 2012-10-25 | 2014-05-01 | 엘지전자 주식회사 | 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 |
| US9578300B2 (en) | 2012-10-25 | 2017-02-21 | Lg Electronics Inc. | Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service |
| WO2015009098A1 (ko) * | 2013-07-18 | 2015-01-22 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| US9986259B2 (en) | 2013-07-18 | 2018-05-29 | Lg Electronics Inc. | Method and apparatus for processing video signal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101667723B1 (ko) | 2016-10-19 |
| EP2357823A1 (en) | 2011-08-17 |
| US9288470B2 (en) | 2016-03-15 |
| WO2010064774A1 (ko) | 2010-06-10 |
| US20110234760A1 (en) | 2011-09-29 |
| EP2357823A4 (en) | 2017-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101667723B1 (ko) | 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 | |
| USRE48413E1 (en) | Broadcast receiver and 3D subtitle data processing method thereof | |
| KR101659026B1 (ko) | 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치 | |
| KR101622688B1 (ko) | 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치 | |
| CN104618708B (zh) | 广播接收机及其视频数据处理方法 | |
| JP5675810B2 (ja) | 付加データの三次元再生のための信号処理方法及びその装置 | |
| CA2750211C (en) | Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the processing method | |
| EP2525579B1 (en) | Broadcasting receiver and method for displaying 3d images | |
| US7660472B2 (en) | System and method for managing stereoscopic viewing | |
| EP2348733A2 (en) | Virtual view image synthesis method and apparatus | |
| US9578298B2 (en) | Method for decoding 2D-compatible stereoscopic video flows | |
| EP2247116A2 (en) | Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium | |
| CN102959952B (zh) | 数字接收器以及在数字接收器中处理字幕数据的方法 | |
| KR20110106306A (ko) | 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치 | |
| KR20110118624A (ko) | 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법 | |
| JP5390016B2 (ja) | 映像処理装置 | |
| KR20110060763A (ko) | 3차원 비디오 서비스 제공 장치 및 방법 | |
| Fehn | 3D TV broadcasting | |
| KR20150079577A (ko) | 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 | |
| WO2014034464A1 (ja) | データ処理装置、データ処理方法、送信装置および受信装置 | |
| Zhao et al. | An overview of 3D-TV system using depth-image-based rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |