KR101622690B1 - 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치 - Google Patents

Abstract

영상신호 송신측에서 복수의 영상신호에 담기게 될 정보 중 일부를 생략하여 송신하더라도, 수신기에서 이를 합성하여 영상을 재생할 수 있는 3차원 영상신호 처리 방법과, 이를 구현하기에 적합한 영상표시 장치. 본 발명의 3차원 영상신호 처리 방법은 3차원 영상표시 장치에서 구현된다. 상기 장치는 방송 신호로부터 적어도 하나의 영상을 복원하고, 복원된 영상으로부터 가상카메라 시점에서의 영상을 추가적으로 생성하여 3차원 방식으로 표시한다. 이를 위하여, 영상표시 장치는 먼저 방송 신호를 수신하고, 상기 시그널링 정보로부터 적어도 한 세트의 카메라 파라미터를 획득한다. 그 다음 영상표시 장치는 상기 카메라 파라미터에 따라 가상 뷰 영상을 생성한 다음, 가상 뷰 영상과 방송신호에 포함된 방송영상을 3차원으로 포맷팅하게 된다.

Description

3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치{METHOD FOR 3D IMAGE SIGNAL PROCESSING AND IMAGE DISPLAY FOR IMPLEMENTING THE SAME}

본 발명은 디스플레이 장치 및 영상표시 방법에 관한 것으로서, 보다 상세하게는 3차원 영상을 표시할 수 있는 디스플레이 장치와 이에 있어서의 영상표시 방법에 관한 것이다.

텔레비전 기술의 발전은 입체 영상을 표시할 수 있는 장치를 구현할 수 있는 수준에 이르고 있으며, 특히 본 출원이 행해지는 시점에 있어서 스테레오스코픽 방식의 3D 텔레비전은 본격적인 상용화를 목전에 두고 있다. 스테레오스코픽 3D 디스플레이 시스템에 있어서는, 사람의 눈과 마찬가지로 약 65 밀리미터 떨어진 두 개의 이미지 센서로 2개의 영상을 촬영하고 이를 방송신호로 수신기에 전송하며, 수신기에서는 두 영상이 사람의 좌안과 우안에 별도로 입력하도록 함으로써, 양안시차를 시뮬레이션하여 깊이 지각 내지 입체시를 가능하게 해준다.

나아가, 최근에는 여러 대의 카메라를 통해 다수의 영상을 촬영하고 이를 수신기에 제공함으로써, 수신기에서 다양한 시점의 3차원 영상을 표시할 수 있는 다시점 비디오(Multiview Video)에 대한 연구도 활발히 진행되고 있다. 이와 같은 다시점 비디오는 자유로운 시점과 넓은 화면을 통한 입체감 제공이라는 장점을 제공하게 될 것으로 전망된다.

그런데, 이와 같은 다시점 비디오를 상업적으로 구현함에 있어서는 송신측과 수신측에서 순간 처리 데이터량이 증가하고, 고가의 장비가 요구된다는 문제점이 있다. 특히, 시점을 달리한 영상을 수신기에 전송하기 위해서는, 아무리 시간적 중복성과 공간적 중복성을 제거하여 신호를 압축한다 하더라도 전송 과정에서 상당한 대역폭이 필요할 수밖에 없다. 케이블망이나 위성방송망의 확충이 과거에 비하여 확대되었다고는 하지만 본 출원이 행해지는 시점에서 상당수의 수신기는 공중파를 통하여 텔레비전 신호를 수신하고 있는데, 다수의 영상을 부호화하여 각 공중파 방송채널에 할당된 대역폭을 통하여 전송하는 것은 결코 쉽다고 볼 수가 없다.

이와 같은 문제점은 다시점 비디오 이외에 스테레오스코픽 3D 디스플레이를 위해 두 개의 영상신호를 송신하는 시스템에 있어서도 발생할 가능성이 있다.

따라서, 스테레오스코픽 3D 디스플레이 또는 다시점 비디오를 구현하기 위한 복수의 영상신호에 대한 정보를 수신기에 전달함에 있어서, 영상신호 정보량을 크게 줄일 수 있는 방안이 절실히 요구된다.

본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 영상신호 송신측에서 복수의 영상신호에 담기게 될 정보 중 일부를 생략하여 송신하더라도, 수신기에서 이를 합성하여 영상을 재생할 수 있는 3차원 영상신호 처리 방법을 제공하는 것을 그 기술적 과제로 한다.

또한, 본 발명은 이와 같은 영상신호 처리 방법을 구현하기에 적합한 영상표시 장치를 제공하는 것을 다른 기술적 과제로 한다.

상기 기술적 과제를 달성하기 위한 본 발명의 3차원 영상신호 처리 방법은 3차원 영상표시 장치에서 구현된다. 3차원 영상표시 장치는 방송 신호로부터 적어도 하나의 영상을 복원하고, 복원된 영상으로부터 가상카메라 시점에서의 영상을 추가적으로 생성하여 3차원 방식으로 표시한다. 이를 위하여, 영상표시 장치는 먼저 방송 신호를 수신하고 파싱하여 시그널링 정보를 추출하며, 상기 시그널링 정보로부터 적어도 한 세트의 카메라 파라미터를 획득한다. 그 다음 영상표시 장치는 상기 카메라 파라미터에 따라 가상 뷰 영상을 생성한 다음, 가상 뷰 영상과 방송신호에 포함된 방송영상을 3차원으로 포맷팅하게 된다.

상기 시그널링 정보는 지상파 가상 채널 테이블(TVCT) 또는 프로그램 구성 테이블(PMT)인 것이 바람직하다.

바람직한 실시예에 있어서, 방송신호에는 깊이 정보가 더 포함되어 있다. 이와 같은 실시예에 있어서, 가상 뷰 영상을 생성함에 있어서는, 먼저 카메라 파라미터와 깊이 정보에 따라 가상 뷰 시점에서의 깊이 정보를 생성한다. 그 다음, 상기 방송영상과 상기 가상 뷰 시점에서의 깊이 정보에 따라, 가상 뷰 시점에서의 가상 뷰 영상을 생성하게 된다. 일 실시예에 있어서, 상기 가상 뷰 시점은 상기 시그널링 정보에 의하여 지정된다. 그렇지만, 변형된 실시예에 있어서는, 상기 가상 뷰 시점이 사용자 명령에 의하여 지정되거나 변경될 수도 있다.

일 실시예에 있어서, 상기 방송신호에는 복수의 영상과 상기 복수의 영상 중 하나와 연관된 상기 깊이 정보가 포함되어 있을 수 있다. 이와 같은 경우에 있어서는, 상기 복수의 영상 중 상기 깊이 정보와 연관된 영상을 기본 영상으로 결정한 다음, 상기 결정된 기본 영상 및 상기 깊이 정보와, 상기 카메라 파라미터를 토대로 가상 뷰 영상을 생성하게 된다.

상기 방송신호에 객체의 형태 정보가 추가적으로 포함되어 있는 것이 바람직하다. 이러한 경우, 가상 뷰 영상은 카메라 파라미터와 상기 형태 정보에 따라 생성될 수 있다. 상기 형태 정보는 다른 물체에 의한 가림(occlusion) 정보를 포함하는 것이 바람직하다.

한편, 상기 다른 기술적 과제를 달성하기 위한 본 발명의 영상표시 장치는 방송신호 수신부, 렌더링부 및 포맷터를 구비한다. 방송신호 수신부는 방송신호를 수신하고 파싱하여 시그널링 정보를 추출하며, 상기 시그널링 정보로부터 적어도 한 세트의 카메라 파라미터를 획득한다. 렌더링부는 상기 카메라 파라미터에 따라 가상 뷰 영상을 생성한다. 포맷터는 가상 뷰 영상과 방송신호에 포함된 방송영상을 3차원으로 포맷팅한다.

이와 같이, 본 발명은 스테레오스코픽 3D 영상, 또는 다수의 카메라를 이용하여 각기 다른 방향에서 촬영한 다시점 영상을 사용하는 3D 디스플레이를 구현함에 있어, 카메라 파라미터를 수신기에 시그널링하기 위한 구문과 데이터 구조를 정의한다. 깊이 카메라를 이용하여 확보한 깊이 정보와 카메라 파라미터를 사용하여 수신기에서 가상 시점에서의 3차원 장면을 합성할 수 있기 때문에, 명확하게 영상이 전송되지 않은 시점에 대해서도 취득단에서 영상 취득이 행해졌거나 수신단에서 합성이 이루어지도록 의도하는 시점에 대하여 수신기에서 3D 콘텐츠를 생성할 수 있게 된다.

일부 카메라 영상의 전송을 생략하여 전송 대역폭을 감소시키면서, 3D 디스플레이 과정에서 렌더링에 필요한 충분한 정보를 전송할 수 있으며, 수신기에서는 전송된 영상과 정보를 활용하여 간단하게 3D 디스플레이를 위한 신호처리를 할 수 있다는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 특징과 바람직한 실시예를 구체적으로 설명한다. 도면 중,
도 1은 본 발명의 바람직한 실시예에 있어서, 송신측 시스템에서 카메라 파라미터를 포함한 영상신호를 전송하고 수신측 시스템에서 카메라 파라미터를 토대로 영상을 생성하고 복원하는 과정을 전체적으로 보여주는 도면;
도 2는 도 1에 도시된 송신측 시스템에서 부호화되는 영상정보와 깊이정보 및 부가정보를 예시하는 도면;
도 3은 도 1에 도시된 수신측 시스템에서 복호화된 영상 정보와 깊이 정보 및 부가정보를 토대로 생성, 복원되는 영상을 예시하는 도면;
도 4는 본 발명에 의한 방송 프로그램 제작 및 송출 시스템의 일 실시예의 블록도;
도 5는 본 발명의 바람직한 실시예에 있어서 카메라 파라미터가 삽입되는 지상파 가상 채널 테이블(TVCT)의 구문을 보여주는 도면;
도 6은 카메라 파라미터들과 부동소수점 숫자 표시 방식에 따른 구문 요소들의 관계를 정리하여 보여주는 표;
도 7은 본 발명의 바람직한 실시예에 있어서 내적 카메라 파라미터 디스크립터의 구문을 보여주는 도면;
도 8은 본 발명의 바람직한 실시예에 있어서 외적 카메라 파라미터 디스크립터의 구문을 보여주는 도면;
도 9는 본 발명에 의한 텔레비전 수신기의 일 실시예의 블록도; 그리고
도 10은 도 9에 도시된 텔레비전 수신기에서 내부 파라미터 및 외부 파라미터를 파싱하고 렌더링하는 과정의 일 실시예를 보여주는 흐름도이다.

발명의 실시를 위한 형태

도 1을 참조하여, 본 발명의 바람직한 실시예에 있어서, 송신측 시스템에서 카메라 파라미터를 포함한 영상신호를 전송하고 수신측 시스템에서 카메라 파라미터를 토대로 영상을 생성하고 복원하는 과정을 전체적으로 살펴본다.

송신측 시스템은 복수의 카메라, 예컨대, 스테레오스코픽 카메라 쌍을 사용하여 영상을 촬영한다(제10단계). 상기 복수의 카메라 중 적어도 하나는 실제 카메라이고, 나머지는 가상 카메라이다. 여기서 실제 카메라는 촬영된 영상의 스트림이 수신측에 송신되는 카메라를 말한다. 가상 카메라는 영상 스트림이 수신측에 송신되지는 않고 수신측 시스템에서 해당 스트림을 복원할 수 있도록 아래에서 설명하는 바와 같이 카메라 파라미터가 수신측에 송신되는 카메라를 말한다. 이와 같은 가상 카메라가 실제로 존재하지는 않으면서, 후술하는 카메라 파라미터가 가상 카메라에 대해서는 방송 제작자 내지 엔지니어에 의해 임의로 결정될 수도 있다.

한편, 실제 카메라 각각에 대응하여, 영상 내에 포함되는 각 주시점에 대한 깊이(Range 또는 Depth) 정보를 획득하기 위한 깊이 카메라가 배치되어 송신측 시스템이 상기 영상과 함께 깊이 정보를 함께 획득할 수도 있다. 나아가, 송신측 시스템은 카메라에 의해 촬영된 영상으로부터 수신측 시스템에 전송할 부가 정보를 추출한다. 부가 정보는 앞에 있는 물체에 의해 가려져 있어 안보이는 부분을 추정하기 위한 정보, 예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보 등을 포함한다. 바람직한 실시예에 있어서, 부가 정보는 실제 카메라에 의해 촬영된 영상으로부터 획득된다. 그렇지만, 변형된 실시예에 있어서는, 부가 정보가 가상 카메라에 의해 촬영된 영상 또는 실제 카메라 영상과 가상 카메라 영상의 조합으로부터 획득될 수도 있다. 깊이 정보 및/또는 부가 정보가 반드시 필요한 것은 아니고, 수신측 시스템에서의 가상 이미지를 생성할 때 도움이 될 수 있도록 선택적으로 추출되어 전송될 수 있는 것임을 유의해야 한다.

제12단계에서, 송신측 시스템은 상기 영상과 깊이 정보, 그리고 부가 정보가 결합된 형태로 영상신호를 멀티플렉싱한다. 이어서, 송신측 시스템은 멀티플렉싱된 영상신호와 카메라 파라미터를 부호화하여 수신측 시스템에 전송한다(제14단계).

부호화된 영상신호를 수신하면, 수신측 시스템은 이를 복호화하여 영상과, 깊이 정보, 부가 정보, 그리고 카메라 파라미터를 복원한다(제20단계). 그 다음, 수신측 시스템은 가상 카메라의 카메라 파라미터를 사용하여 가상 카메라 위치에서의 깊이 정보를 생성한다(제22단계). 이어서, 수신측 시스템은 3D Warping을 수행함으로써, 가상 카메라 위치에서의 영상을 생성한다(제24단계). 마지막으로 수신측 시스템은 복호화 과정에서 복원한 영상과 생성된 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 3D 영상이 표시되도록 하게 된다(제26단계).

도 2와 도 3을 참조하여, 송신측 시스템에서 부호화되는 영상정보와 깊이 정보 및 부가 정보를 전송하고, 수신측 시스템에서 영상 정보와 깊이 정보 및 부가 정보를 복호화하여 이를 토대로 영상을 생성, 복원하는 과정의 일 예를 설명한다. 도 2에는 설명의 편의상 실제 카메라가 1개, 그리고 가상 카메라가 1개 마련되는 것으로 도시되어 있다. 그렇지만, 이 도면은 예시적인 것으로서, 보다 많은 수의 실제 카메라와 가상 카메라가 마련될 수 있음은 물론이다.

도 2에서, 실제 카메라에 의해 촬영된 영상을 img[0], 가상 카메라에 의해 촬영되거나 촬영될 수 있는 영상을 img[1]로 나타내기로 한다. 영상 img[0] 상에서 3차원 실제 세계에서의 점(P)에 대응하는 점을 p[0], 그리고 영상 img[1] 상에서 점(P)에 대응하는 점을 p[1]로 나타내기로 한다. 한편, 각 카메라에 대하여 카메라 파라미터가 추출되는데, 상기 카메라 파라미터는 내적 파라미터(Intrinsic Camera Parameter)와 외적 파라미터(Extrinsic Camera Parameter)로 구분된다. 내적 파라미터는 카메라 렌즈의 초점거리 및 주점과 같은 광학적 특징과, 스큐 계수(skew factor) 등 카메라 자체의 특성을 나타낸다. 외적 파라미터는 실제 카메라 또는 가상 카메라의 기하적적 위치와 방향을 나타내는 것으로서, 실제 세상의 기준좌표계에 대한 각 카메라 기준좌표계의 변위(translation)와 회전량 등을 포함한다. 도 2의 예에서, 제1 카메라 즉, 실제 카메라에 대한 내적 파라미터를 A라고 나타내기로 한다. 제2 카메라 즉, 가상 카메라가 제1 카메라와 동일한 종류의 카메라로서, 제1 카메라와 충분히 영점조정(calibration)이 되어 있다고 가정하면, 그 내적 파라미터는 제1 카메라와 마찬가지로 A가 된다. 한편, 제1 카메라의 회전량은 r[0], 변위는 t[0]라고 가정한다. 제2 카메라의 회전량은 r[1], 변위는 t[1]이라고 가정한다.

본 발명의 바람직한 실시예에 따르면, 영상과 깊이 정보는 모든 실제 카메라에 대하여 수신측 시스템에 전송된다. 그리고 부가 정보는 1개의 영상을 기준으로 작성하여 수신측 시스템에 전송된다. 따라서, 1대의 실제 카메라와 1대의 가상 카메라가 마련되는 도 2의 예에 있어서, 실제 카메라인 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0]가 수신측 시스템에 전송되며, 수신측 시스템에서 제2 카메라에 대한 영상 img[1]과 깊이 정보 depth[1]를 생성하는데 사용할 수 있도록 부가 정보가 추가적으로 전송된다.

수신측 시스템은 부호화된 영상신호를 복호화하여, 실제 카메라인 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0], 그리고 부가 정보를 복원한다. 아울러, 수신측 시스템은 복호화 과정에서, 모든 카메라에 대한 카메라 파라미터들 A, r[0], t[0], r[1], t[1]를 복원한다. 도 3을 참조하면, 수신측 시스템은 카메라 파라미터들 A, r[0], t[0], r[1], t[1]과, 제1 카메라에 대한 영상 img[0]과 깊이 정보 depth[0], 그리고 부가 정보를 사용하여, 제2 카메라 위치에서의 깊이 정보 depth[1]을 생성하게 된다. 이어서, 수신측 시스템은 3D Warping을 수행함으로써 제2 가상 카메라 위치에서의 영상 img[1]을 생성하게 된다. 이와 같이 제1 카메라가 촬영한 영상 img[0] 이외에 제2 카메라 위치에서의 영상 img[1]을 확보하게 됨에 따라, 수신측 시스템은 두 영상 즉, 실제 이미지 img[0] 및 가상 이미지 img[1]을 포맷팅하여 3D 영상이 표시되도록 할 수 있다. 예컨대, 실제 이미지와 가상 이미지 중 하나를 좌영상으로 그리고 다른 하나를 우영상으로 설정해서 3D 포맷에 맞게 스테레오스코픽 방식으로 디스플레이한다.

도 4는 본 발명에 의한 방송 프로그램 제작 및 송출 시스템의 일 실시예를 보여준다. 본 실시예에 따른 방송 프로그램 제작 및 송출 시스템은 복수의 카메라(100a, 102a), 상기 복수의 카메라(100a, 102a)에 각각 대응하여 마련되는 깊이 카메라(100b, 102b)와, 전처리부(104), 카메라 파라미터 구성부(106), 프로그램 부호화부(108), PSI/PSIP 발생부(116), 트랜스포트 다중화부(118), 채널부호화 및 변조부(120), 그리고 송신부(122)를 포함한다.

각 카메라(100a, 102a)는 렌즈와 이에 대응하여 배치되는 촬상소자를 구비하며, 전방 장면에 대한 영상을 촬영한다. 일 실시예에 있어서, 상기 두 대의 카메라(100a, 102a)는 그 렌즈들이 사람의 눈과 마찬가지로 거리가 65밀리미터(mm)가 되도록 배치되어 있으며, 이에 따라 카메라(100a, 102a)는 양안 시차를 갖는 2개의 2차원 영상을 획득하게 된다. 그렇지만, 본 발명은 깊이 카메라를 제외하고 영상을 촬영하는 카메라가 2대 마련되는 것에 한정되는 것이 아니며, 가상 카메라를 포함하여 다수의 카메라가 마련되어 수신기 시스템에서 다시점 영상을 구현할 수 있게 해주는 다수의 영상을 촬영할 수 있음은 위에서 설명한 바와 같다.

전처리부(104)는 카메라들(100a, 100b, 102a, 102b)이 촬영한 영상에 존재할 수 있는 노이즈를 제거하고, 영상을 교정하며, 휘도 성분의 불일치(imbalancing) 현상을 해결한다. 전처리부(104)에 의한 전처리 전후에 영상이 저장장치에 저장되거나 편집될 수 있으며, 이에 따라 카메라들(100a, 100b, 102a, 102b)에 의한 촬상과 프로그램 부호화부(108)에 의한 부호화 사이에 상당한 시차가 존재할 수 있음은 물론이다.

카메라 파라미터 구성부(106)는 카메라들(100a, 102a)에 대한 카메라 파라미터를 획득한다. 일 실시예에 있어서, 카메라 파라미터 구성부(106)는 각 카메라(100a, 102a)에 대한 카메라 렌즈의 초점거리, 주점, 스큐 계수 등의 내적 파라미터와, 변위 및 회전량 등의 외적 파라미터를 각 카메라(100a, 102a)로부터 받아들인다. 그렇지만, 변형된 실시예에 있어서는, 카메라 파라미터 구성부(106)가 상기 내적 카메라 파라미터와 외적 카메라 파라미터를 촬영 현장에서 카메라 설정에 사용되는 기계 장치 또는 컴퓨터 프로그램으로부터 받아들일 수도 있다. 카메라 파라미터 구성부(106)는 카메라 파라미터를 사전에 정해진 형식으로 PSI/PSIP 발생부(116)에 제공하여, PSI/PSIP 발생부(116)가 카메라 파라미터를 PSIP에 포함시킬 수 있게 해준다.

프로그램 부호화부(108)에 있어서, 음성 부호화부(110)는 촬영 장면에서 적절한 위치에 각각 설치되는 복수의 마이크(미도시됨)로부터 음성 신호를 받아들이고, 사전에 정해진 표준 예컨대 AC-3 표준에 맞게 부호화하여, 오디오 엘리멘터리 스트림(ES)을 생성한다.

영상 부호화부(112)는 카메라들(100a, 102a)이 촬영한 영상과 카메라들(100b, 102b)이 촬영한 깊이 정보를 일정한 표준에 따라 부호화하여, 시간적, 공간적 중복도를 제거하여 압축하고 비디오 엘리멘터리 스트림(ES)을 생성한다. 아울러, 영상 부호화부(112)는 실제 카메라(100a)에 의해 촬영된 영상 및/또는 가상 카메라(102a)에 의해 촬영된 영상을 사용하여 부가 정보를 생성하고, 생성된 부가 정보를 부호화한다. 위에서 언급한 바와 같이, 부가 정보는 앞에 있는 물체에 의해 가려져 있어 안보이는 부분(Occlusion)을 추정하기 위한 정보, 예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보 등을 포함한다.

바람직하기로는, 영상 부호화부(112)는 촬영된 영상과, 깊이 정보, 그리고 부가 정보를 각각 별도로 부호화하여 별개의 스트림을 생성한다. 일 실시예에 있어서, 영상 부호화부(112)는 ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따라 영상 및 깊이 정보와 부가 정보를 부호화한다. 그렇지만, 영상 부호화부(110)가 ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 또는 그 밖의 다른 방식으로 영상을 부호화할 수도 있다.

패킷생성부(114)는 음성 부호화부(110) 및 영상 부호화부(112)로부터 오디오 ES와 비디오 ES를 각각 받아들이고, 각 스트림을 패킷화하여 패킷화된 엘리멘터리 스트림(PES)을 생성한다.

PSI/PSIP 발생부(116)는 프로그램 사양 정보(PSI) 및 프로그램 및 시스템 정보 프로토콜(PSIP) 데이터를 발생한다. 특히, 본 발명의 바람직한 실시예에 있어서, PSI/PSIP 발생부(116)는 카메라 파라미터 구성부(106)로부터 카메라 파라미터를 받아들이고, 이를 PSIP에 포함시킨다. 일 실시예에 있어서, 카메라 파라미터는 지상파 가상 채널 테이블(TVCT)에 삽입된다. 그렇지만, 카메라 파라미터가 PMT 또는 여타의 테이블에 삽입될 수도 있다.

트랜스포트 다중화부(118)는 PES와 PSI/PSIP 정보를 다중화하고 헤더를 부가하여 트랜스포트 스트림(TS)를 생성한다. 특히, 본 실시예에 따르면, 트랜스포트 다중화부(118)에 의해 PES와 다중화되는 PSIP 데이터에 있어서 TVCT에는 카메라 파라미터가 기술된다. 한편, 도 4의 시스템은 지상파를 통해 하나의 채널을 전송하지만, 예컨대 케이블망 또는 위성망을 통해 방송신호를 송출하는 시스템에 있어서는 복수 채널의 방송신호를 다중화하여 다중 프로그램 TS를 생성하는 별도의 전송 멀티플렉서가 추가적으로 마련될 수도 있다.

채널부호화 및 변조부(120)는 전송 채널에서 잡음으로 인하여 야기될 수 있는 오류를 수신기에서 검출하고 정정할 수 있도록 TS를 에러정정부호화한다. 아울러, 채널부호화 및 변조부(120)는 에러정정부호화된 TS를 시스템이 채택하고 있는 변조방식 예컨대 8-VSB 변조방식에 의해 변조한다. 송신부(122)는 변조된 방송신호를 채널 특성에 맞게 예컨대 안테나를 통해 송출하게 된다.

도 5 내지 도 8을 참조하여 도 4의 시스템이 카메라 파라미터를 송신하는 방법을 구체적으로 설명한다. 위에서 언급한 바와 같이, 바람직한 실시예에 있어서, 카메라 파라미터는 PSIP 내에 있는 TVCT에서 디스크립터 형태로 기술된다.

도 5는 본 발명에 의하여 카메라 파라미터 디스크립터를 포함하는 TVCT의 구문 구성을 보여준다. TVCT는 가상 채널에 대한 정보가 전달되고, 이의 확장을 위해 디스크립터를 둘 수가 있는데, 본 발명에 따른 카메라 파라미터는 TVCT의 디스크립터 중 하나를 구성할 수 있다. 구체적으로, PSIP에는 각각 특정 목적을 가진 다수 개의 테이블들이 정의되며, 상기 다수 개의 테이블들 각각은 MPEG의 PSI(Program Specific Information)에 정의된 테이블들과 유사한 섹션 구조를 가진다. 즉, 각 테이블은 전송을 위하여 섹션의 구조로 구성되며, 그 종류에 따라 하나 또는 다수 개의 섹션으로 구성될 수 있다.

각 섹션은 수신 시스템에서 선별적으로 섹션을 수신할 수 있도록 테이블과 섹션의 기본적인 정보가 포함되는 헤더, 테이블의 실제 데이터를 포함하는 바디와, 오류 정정을 위한 정보가 포함되는 트레일러로 구분된다. 이하의 설명에서 도 5에 도시한 TVCT 섹션을 설명함에 있어서, 'table_id' 필드에서 'protocol_version' 필드까지의 헤더, 'num_channels_in_section' 필드에서 'additional_descriptors_length' 필드까지의 바디와, 'CRC_32'필드로 구성되는 트레일러로 구분하여 설명한다.

먼저, 헤더에서 'table_id' 필드는 PSIP 내에서의 테이블 유형을 나타내는 것으로서, MPEG, ATSC, ARIB, SCTE 또는 DVB 표준에 따르면 TVCT의 경우 "0xC8"의 8비트 필드 값을 가지도록 정해져 있다. 'section_syntax_indicator' 필드는 이 테이블 섹션이 따르고 있는 형식을 나타내며, 예컨대 ISO/IEC 13818-1, Table 2-30에 정해진 바에 따르면, ATSC PSIP 테이블의 경우 "1"로 값이 정해진다. 'private_indicator' 필드는 이전에 ISO/IEC 13818에서 테이블이 4비트의 CRC-32로 끝나는지 여부를 나타내기 위하여 사용되었으나 현재는 MPEC에서 정의가 삭제된 것으로서, ATSC 표준에서는 대부분의 테이블에서 "1"이 지정되도록 정의되어 있는 1비트 필드이다.

'section_length' 필드는 이 필드 이후부터 테이블 섹션의 마지막까지 이 섹션에 남아있는 바이트 수를 나타낸다. 'transport_stream_id' 필드는 트랜스포트 스트림의 TS 식별자를 나타낸다. 'version_number' 필드는 테이블 섹션의 버전 번호를 알려주고, 'current_next_indicator' 필드는 테이블 섹션이 현재 버전에 따른 것인지 다음 버전에 따른 것인지를 알려준다. 'section_number' 필드는 테이블 섹션의 일련번호를 나타내고, 'last_section_number' 필드는 이전 테이블 섹션의 일련번호를 나타낸다. 'protocol_version' 필드는 프로토콜 버전을 나타낸다.

바디 부분에 있어서, 'num_channels_in_section' 필드는 테이블 섹션을 뒤따라오도록 정의되는 가상채널의 수를 나타낸다. for 루프 내에 있는 'short_name' 필드부터 descriptor() 표시 필드까지의 부분은 각 가상채널에 대하여 반복적으로 기술된다.

'short_name' 필드는 가상채널에 대하여 유니코드로 된 짧은 명칭을 부여할 수 있도록 해준다. 'major_channel_number' 및 'minor_channel_number' 필드는 결합하여 가상채널 번호를 나타낸다. 'modulation_mode' 필드는 개별 채널을 송신하기 위하여 사용되는 변조모드를 나타내고, 'carrier frequency' 필드는 반송파 주파수를 나타낸다. 'channel_TSID' 필드는 가상채널에 의해 참조되는 프로그램을 싣고 있는 채널의 트랜스포트 스트림 ID를 나타낸다. 'program_number' 필드는 트랜스포트 스트림에 존재하는 각 프로그램 서비스를 고유하게 식별할 수 있게 해준다.

'ETM_location' 필드는 확장 이벤트 테이블이 존재 여부를 나타낸다. 'access_controlled' 필드는 해당 가상 채널에 대한 접근 제어가 행해지는지를 나타낸다. 'hidden' 필드는 가상 채널 번호를 직접 입력하여 해당 채널에 접근할 수 있는지, 아니면 채널이 숨겨져서 채널번호 입력이나 서핑 시에 표시되지 않도록 할 것인지 여부를 나타낸다. 'hide_guide' 필드는 숨겨진 채널에 대하여 해당 채널이나 관련 이벤트가 EPG 디스플레이에 나타나게 할 것인지를 나타낸다. 'service_type' 필드는 가상 채널에서 설정된 서비스 유형을 나타낸다. 'source_id' 필드는 가상 채널들과, 이벤트 정보 테이블 기입내용, 및 확장 이벤트 텍스트 테이블 간의 링크를 허용하는지를 나타내기 위한 것으로서, 가상 채널과 연관된 프로그래밍 소스를 나타낼 수 있다.

'descriptors_length' 필드는 그 아래에 있는 디스크립터 필드의 전체 바이트 길이를 나타내며, descriptor() 부분은 개별 디스크립터를 기술하는 위치이다. 필요에 따라 additional_descriptors_length 필드와 additional_descriptor() 필드를 사용하여 다른 디스크립터 루프를 포함시킬 수도 있다.

트레일러 부분에서, 'CRC_32' 필드는 'table_id' 필드부터 테이블의 마지막 바이트까지의 각 바이트에 대하여 다항식 연산으로 계산된 CRC 데이터를 나타냄으로써, 수신기에서 에러를 검출할 수 있게 해준다.

본 발명의 바람직한 실시예에 있어서, 카메라 파라미터는 위와 같은 TVCT 테이블에서 'descriptor()' 부분에 내적 파라미터 디스크립터와 외적 파라미터 디스크립터 순으로 기술하여 정의할 수 있다. 이때, 내적 카메라 파라미터와 외적 카메라 파라미터를 모두 'descriptor()' 부분에 기술할 수도 있고, 내적 카메라 파라미터는 'descriptor()' 부분에 기술하고 외적 카메라 파라미터는 'additional_descriptor()' 부분에 기술할 수도 있다.

바람직한 실시예에 있어서, 내적 카메라 파라미터는 모든 카메라가 동일한 값을 가지도록 영점조정(calibration) 되어 있다고 가정하고, 모든 카메라에 대하여 공통적으로 적용되는 하나의 내적 카메라 파라미터 디스크립터가 수신 시스템에 전달된다. 그렇지만, 변형된 실시예에 있어서는, 각 카메라에 대하여 개별적으로 내적 카메라 파라미터 디스크립터가 수신 시스템에 전달될 수도 있다.

바람직한 실시예에 있어서, 내적 카메라 파라미터는 초점거리, 주점 위치 및 스큐 계수(skew factor)를 포함한다. 초점 거리는 수평방향 초점거리(focal_length_x)와 수직방향 초점거리(focal_length_y)로 구분하여 기술된다. 마찬가지로, 주점 위치도 수평방향 주점 위치(principal_point_x)와 수직방향 주점 위치(principal_point_y)로 구분하여 기술된다. 그리고, 각 파라미터는 IEC 60559:1989 내지 IEEE 954-1985 표준에 따른 부동소수점 숫자 표시 방식으로 표현되어, 부호, 지수 부분, 유효자리 소수부분으로 구분되어 표시된다. 일 실시예에 있어서, 부호는 1비트의 정수로 표시되고, 지수 부분 및 유효자리 소수부분은 가각 6비트의 정수로 표시된다. 특히 음수를 나타낼 수 있도록, 지수 부분은 excess-31 코드의 바이어스된 지수(biased exponent) 형식으로써 표시된다. 도 6은 카메라 파라미터들과 부동소수점 숫자 표시 방식에 따른 구문 요소들의 관계를 정리하여 보여준다.

위와 같은 내적 파라미터들은 다음과 같이 내적 파라미터 행렬을 구성한다.

한편, 실제 카메라와 가상 카메라를 포함하여 모든 카메라에 대하여 각각 별도로 정의되는 외적 카메라 파라미터는 다음과 같이 회전량 행렬과 변위 행렬로 나타낼 수 있다. 여기에서 i는 i-번째 카메라에 대한 파라미터임을 나타낸다.

회전량 행렬과 변위 행렬의 각 성분도 도 6에 도시된 바와 같이 부호, 지수 부분, 유효자리 소수부분으로 구분되어 표시된다.

도 7은 내적 카메라 파라미터 디스크립터의 구문 구성의 일 예를 보여준다.

'descriptor_tag' 필드는 디스크립터의 ID 역할을 하는 것으로서, ATSC A/65에서 비어있는 값 중 하나를 할당하여 이 디스크립터가 내적 카메라 파라미터임을 나타낼 수 있다. 디스크립터 길이 'descriptor_length' 필드는 디스크립터에 포함되는 바이트 수에 대한 정보를 나타낸다. 파라미터ID 'parameter_id' 필드는 파리미터 디스크립터의 식별자를 나타낸다. 'elementary_PID' 필드는 해당 파라미터가 적용되는 비디오 ES에 대한 PID 값을 나타낸다. 일반적으로 ATSC A/65 표준에 따르면 오디오 ES 및 비디오 ES에 대한 패킷 식별자(PID) 즉, elementary PID가 서비스 위치 디스크립터(SLD, Service Location Descriptor)를 통해 기술된다. 도 7의 내적 카메라 파라미터 디스크립터에 포함되는 'elementary_PID' 필드는 해당 파라미터에 관련된 비디오 ES의 PID를 기입함으로써, 해당 파라미터가 어떤 비디오 ES에 대한 파라미터인지를 나타내어, 수신측에서 카메라 파라미터와 비디오 ES간의 연결관계를 파악할 수 있게 해준다.

'prec_focal_length' 필드는 초점거리(focal_length_x, focal_length_y)에 대한 최대허용 절사오차(maximum allowable truncation error)의 지수부분을 나타내는데, 여기서 초점거리에 대한 최대허용 절사오차는 2^{-prec_focal_length}가 된다. 'prec_principal_point' 필드는 주점 위치(principal_point_x, principal_point_y)에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 주점에 대한 최대허용 절사오차는 2^{-prec_principal_point}가 된다. 'prec_skew_factor' 필드는 스큐 계수에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 스큐 계수에 대한 최대허용 절사오차는 2^{-prec_skew_factor}가 된다.

'sign_focal_length_x' 필드는 카메라의 수평방향 초점거리의 부호를 나타내는 1비트 값으로서, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_focal_length_x' 필드는 수평방향 초점거리의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_focal_length_x' 필드는 수평방향 초점거리의 유효자리 소수(mantissa) 부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_focal_length_x=0이면,

길이 = 최대값(0, prec_focal_length-30)

- exponent_focal_length_x가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_focal_length_x+prec_focal_length-31)

마찬가지로, 'sign_focal_length_y' 필드는 수직방향 초점거리의 부호를 나타내는 1비트 값으로서, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_focal_length_y' 필드는 수직방향 초점거리의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_focal_length_y' 필드는 수직방향 초점거리의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_focal_length_y=0이면,

길이 = 최대값(0, prec_focal_length-30)

- exponent_focal_length_y가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_focal_length_y+prec_focal_length-31)

'sign_principal_point_x' 필드는 카메라의 수평방향 주점 위치의 부호를 나타내는 1비트 값으로서, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_principal_point_x' 필드는 수평방향 주점 위치의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_principal_point_x' 필드는 수평방향 주점 위치의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_principal_point_x=0이면,

길이 = 최대값(0, prec_principal_point - 30)

- exponent_principal_point_x가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_principal_point_x

+ prec_principal_point - 31)

마찬가지로, 'sign_principal_point_y' 필드는 수직방향 주점 위치의 부호를 나타내는 1비트 값으로서, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_principal_point_y' 필드는 수직방향 주점 위치의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_principal_point_y' 필드는 수직방향 주점 위치의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_principal_point_y = 0이면,

길이 = 최대값(0, prec_principal_point - 30)

- exponent_principal_point_y가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_principal_point_y

+ prec_principal_point-31)

'sign_skew_factor' 필드는 카메라의 스큐 계수의 부호를 나타내는 1비트 값으로서, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_skew_factor' 필드는 스큐 계수의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_skew_factor' 필드는 스큐 계수의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_skew_factor=0이면,

길이 = 최대값(0, prec_skew_factor - 30)

- exponent_skew_factor_x가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_skew_factor + prec_skew_factor - 31)

이와 같이, 바람직한 실시예에 따르면, 각 카메라가 서로 동일한 특징을 가지도록 영점조정(calibration) 되어 있는 것을 가정하고, 모든 카메라에 공통적으로 적용되는 내적 카메라 파라미터 디스크립터가 수신 시스템에 전달된다. 그렇지만, 변형된 실시예에 있어서는, 카메라들 중 일부가 서로 다른 특징을 가지고 이에 따라 내적 카메라 파라미터 디스크립터가 각 카메라에 대하여 별도로 수신기에 전달될 수도 있다.

도 8은 외적 카메라 파라미터 디스크립터의 구문 구성의 일 예를 보여준다. 도시된 바와 같이, 하나의 외적 카메라 파라미터 디스크립터는 모든 카메라들에 대한 셋팅 정보를 개별적으로 포함하도록 기술된다. 상기 카메라들은 실제 영상이 전송되는 실제 카메라가 적어도 하나 포함되며, 나머지는 실제 영상은 전송되지 않지만 수신기 측에서 영상 생성 및 복원이 될 수 있는 새로운 시점의 가상 카메라일 수 있다.

구체적으로, 외적 카메라 파라미터 디스크립터에는 복수의 카메라들에 공통되는 정보인 디스크립터 정의 'descriptor_tag' 필드, 디스크립터 길이 'descriptor_length' 필드, 카메라 개수 'num_cameras_minus1' 필드, 정밀도 표시 필드들 'precision_rotation_param' 및 'precision_translation_param' 필드가 포함된다.

'descriptor_tag' 필드는 디스크립터의 ID 역할을 하는 것으로서, ATSC A/65에서 비어있는 값 중 하나를 할당하여 이 디스크립터가 외적 카메라 파라미터임을 나타낼 수 있다. 디스크립터 길이 'descriptor_length' 필드는 디스크립터에 포함되는 바이트 수에 대한 정보를 나타낸다.

카메라 개수 'num_cameras_minus1' 필드는 카메라 파라미터의 전달 대상이 되는 실제 카메라 및 가상 카메라의 전체 개수에서 1을 뺀 수를 나타낸다. 'precision_rotation' 필드는 회전량 행렬 성분 r[i][j][k]에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 최대허용 절사오차는 2^{-prec_rotation}이 된다. 'precision_translation' 필드는 변위 행렬 성분 t[i][j][k]에 대한 최대허용 절사오차의 지수부분을 나타내는데, 여기서 최대허용 절사오차는 2^{-prec_translation}이 된다.

'camera_id' 필드 이후의 디스크립터 부분은 for 루프 내에서 각 카메라마다 반복되어 기술된다.

'camera_id' 필드는 가상 카메라 또는 실제 카메라 또는 시점(Viewpoint)을 고유하게 식별할 수 있게 해주는 있는 8비트 파라미터이다. 'ref_parameter_id' 필드는 'camera_id' 필드에 해당되는 카메라에 대한 내적 파라미터가 포함된 내적 파라미터 디스크립터(Intrinsic Parameter Descriptor)의 parameter_id를 나타낸다. 여기서, 가상 카메라에 대해서는, 경우에 따라 카메라 ID가 따로 없고 이에 따라 'ref_parameter_id'를 따로 부여하기가 불가능할 수도 있다. 이와 같은 경우에는, 가상 카메라에 대한 'ref_parameter_id'에 실제 카메라 중 어느 하나에 대한 parameter_id를 나타낼 수도 있다. 'priority_id' 필드는 스테레오스코픽 또는 다시점 방송에서 출력할 시점들의 우선순위를 나타낸다. 우선순위 값은 중복되어서는 안되며, 우선순위 값이 낮을수록 우선순위가 높은 것을 나타낸다. 2D 방송의 경우, 이 필드 값은 "0"의 값을 가진다. 한편, 스테레오스코픽 방송의 경우에는, 적어도 우선순위 "0"과 "1"에 해당되는 카메라 뷰에 해당되는 스트림이 제공되며, 수신기는 우선순위 "0"과 "1"에 해당하는 스트림을 수신하여 출력하게 된다.

'stream_available' 필드는 해당 카메라 파라미터가 실제 카메라에 관한 것인지 가상 카메라에 관한 것인지를 표시하는 플래그이다. 일 실시예에 있어서, 가상 카메라에 대한 플래그 값은 "0"이고, 실제 카메라에 대한 플래그 값은 "1"이 된다. 외적 카메라 파라미터의 경우에도 내적 카메라 파라미터와 마찬가지로 해당 파라미터가 적용되는 비디오 ES에 대한 PID 값 즉, 'elementary_PID' 필드를 이용하여 외적 카메라 파라미터가 적용되는 비디오 ES를 지정할 수 있다. 즉, 카메라가 실제 카메라인 경우 즉, 'stream_available'="1"인 경우 포함되는 'elementary_PID' 필드는 해당 파라미터에 관련된 비디오 ES의 PID를 기입함으로써, 해당 파라미터가 어떤 비디오 ES에 대한 파라미터인지를 나타내어, 수신측에서 카메라 파라미터와 비디오 ES간의 연결관계를 파악할 수 있게 해준다.

이어서, 각 카메라에 대한 회전량 행렬 및 변위 행렬의 성분들에 대한 값이 순차적으로 표현된다. 회전량 행렬 r[i]와 변위 행렬 t[i]에서 인덱스 i는 [0, num_cameras_minus1]의 범위의 값을 가지며, 실제 카메라에 대하여 그리고 우선순위가 높은 카메라에 대하여 낮은 i값이 부여되도록 한다.

회전량 행렬에 대한 정보 중에서, 'sign_r[i][j][k]' 필드는 i-번째 카메라의 회전량 행렬의 (j,k) 성분의 부호를 나타내는데, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_r[i][j][k]' 필드는 i-번째 카메라의 회전량 행렬의 (j,k) 성분의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_r[i][j][k]' 필드는 i-번째 카메라의 회전량 행렬의 (j,k) 성분의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_r[i][j][k]=0이면,

길이 = 최대값(0, prec_rotation - 30)

- exponent_r[i][j][k]가 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_r[i][j][k] + prec_rotation - 31)

각 카메라에 대한 변위 행렬에 대한 정보 중에서, 'sign_t[i][j]' 필드는 i-번째 카메라의 변위 행렬의 j-번째 성분의 부호를 나타내는데, 필드값이 "0"이면 부호가 양수임을 표시하고 필드값이 "1"이면 부호가 음수임을 나타낸다. 'exponent_t[i][j]' 필드는 i-번째 카메라의 변위 행렬의 j-번째 성분의 지수부분을 나타내는 6비트 값으로서, 0∼62의 범위의 값을 가질 수 있다. 'mantissa_t[i][j]' 필드는 i-번째 카메라의 변위 행렬의 j-번째 성분의 유효자리 소수부분을 나타내는 값으로서, 6비트 이내에서 가변 비트길이를 가지며 비트길이는 다음과 같이 결정된다.

- exponent_t[i][j]=0이면,

길이 = 최대값(0, prec_translation - 30)

- exponent_t[i][j]가 (0,63) 0보다 크고 63보다 작으면,

길이 = 최대값(0, exponent_t[i][j] + prec_translation - 31)

예를 들어, 2대의 카메라를 통해 스테레오스코픽 영상을 취득하는 경우 'num_cameras_minus1' 필드는 "1"의 값을 가진다. 2대의 카메라 중 하나의 카메라 시점에서의 비디오 영상과 깊이 영상을 전송하고, 나머지 하나의 카메라 시점에 대해서는 카메라 파라미터만 전송하는 경우, 실제 카메라에 대한 외적 파라미터는 회전량 행렬 r[0]와 변위 행렬 t[0]로 표시되고, 가상 카메라에 대한 외적 파라미터는 회전량 행렬 r[1]과 변위 행렬 t[1]로 표시된다. 후술하는 바와 같이, 수신기는 이 정보를 사용하여 가상 카메라 시점에서의 영상을 생성하여 복원할 수 있다.

도 9는 본 발명에 의한 텔레비전 수신기의 일 실시예를 보여준다. 본 실시예에 따른 텔레비전 수신기는 공중파 방송신호를 수신하여 영상을 재생하기에 적합한 것이다.

튜너(200)는 안테나(미도시됨)를 통해 입력되는 다수의 방송신호들 중에서 사용자가 선국한 어느 한 채널의 방송신호를 선택하여 출력한다. 복조 및 채널복호화부(202)는 튜너(200)로부터의 방송신호를 복조하고 복조된 신호에 대하여 에러정정복호화를 수행하여 트랜스포트 스트림(TS)를 출력한다. 트랜스포트 역다중화부(204)는 TS를 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다.

패킷해제부(206)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 음성복호화부(208)는 오디오 ES를 복호화하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시됨)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 영상복호화부(210)는 비디오 ES를 복호화하여 원래의 영상을 복원한다. 음성복호화부(208) 및 영상복호화부(210)의 복호화 과정은 후술하는 바와 같이 PSI/PSIP 처리부(214)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 복호화 과정에서, 영상복호화부(210)는 깊이 정보를 추출함과 아울러, 가상 카메라 시점에서 영상을 생성하는데 필요한 부가 정보, 즉 앞에 있는 물체에 의해 가려져 있어 안보이는 부분(Occlusion)을 추정하기 위한 정보, 예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 색상 정보 등을 추출하여 3D 렌더링부(216)에 제공한다. 그렇지만, 본 발명의 다른 실시예에 있어서는, 상기 깊이 정보 및/또는 부가 정보가 트랜스포트 역다중화부(204)에 의해 분리될 수도 있다.

PSI/PSIP 처리부(214)는 트랜스포트 역다중화부(204)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시됨) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 특히, 본 발명에 따르면, 수신기가 수신하는 PSIP의 TVCT에는 카메라 파라미터가 포함되어 있으며, PSI/PSIP 처리부(214)는 이 카메라 파라미터를 추출하여 3D 렌더링부(216)에 제공한다.

3D 렌더링부(216)는 복원된 영상과, 깊이 정보 및 부가 정보, 그리고 카메라 파라미터를 사용하여, 가상 카메라 위치에서의 깊이 정보를 생성한다. 아울러, 3D 렌더링부(216)는 복원된 영상과, 가상 카메라 위치에서의 깊이 정보를 토대로 3D Warping을 수행함으로써, 가상 카메라 위치에서의 영상을 생성한다. 포맷터(220)는 복호화 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(216)에 의하여 생성된 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이면(222)을 통해 3D 영상이 표시되도록 하게 된다. 여기서, 3D 렌더링부(216)에 의한 가상 카메라 위치에서의 깊이 정보 및 영상의 생성, 그리고 포맷터(220)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시됨)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 생성이 이루어질 시점을 지정할 수도 있다. 이와 같은 조작명령이 인가되는 경우, 주제어부(212)는 이 명령을 메모리에 저장해두고, 이를 참조하여 영상의 생성 및 표시를 제어하게 된다.

도 10을 참조하여, 도 9에 도시된 텔레비전 수신기에서 내부 파라미터 및 외부 파라미터를 파싱하고 렌더링하는 과정을 상세하게 설명한다.

먼저, 트랜스포트 역다중화부(204)는 복조 및 채널복호화부(202)로부터의 TS를 역다중화하면서, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. 이 과정에서, 트랜스포트 역다중화부(204)는 패킷 ID(PID)가 "0x1FFB"인 TS 패킷을 필터링한다. 일반적으로, A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르는 경우, "0x 1FFB"의 PID 값은 TVCT 이외의 다른 테이블 즉, 시스템 타임 테이블(STT), 주 가이드 테이블(MGT), 등급 테이블(RRT)에도 사용된다. 따라서, 트랜스포트 역다중화부(204) 또는 PSI/PSIP 처리부(214)는 PSIP을 파싱하여, 추가적으로 'table_id' 필드가 "0xC8"의 값을 가지는 섹션 데이터를 TVCT로서 획득하게 된다(제300단계).

제302단계에서, PSI/PSIP 처리부(214)는 현재 튜닝되어 있는 채널의 descriptor()를 'major_channel_number' 및 'minor_channel_number' 필드를 토대로 식별하고, 이 채널의 내적 카메라 파라미터 및 외적 카메라 파라미터 디스크립터들을 파싱하여, 카메라 파라미터들을 메모리에 저장한다.

카메라 파라미터 디스크립터들에 포함된 값들로부터 카메라 파라미터 값들을 구하는 것은 수학식 3과 같이 행해진다.

여기서, X는 focal_length_x, focal_length_y, principal_point_x, principal_point_y, skew_factor, r[i][j][k], t[i][j] 등 파라미터 값을 나타내고, s, E, n은 도 6에 도시된 바와 같이 디스크립터를 통해 전달되는 각 파라미터의 부호, 지수부분, 유효자리 소수부분(mantissa)을 각각 나타내며, v는 유효자리 소수부분의 자리수를 나타낸다.

다시 도 10을 참조하면, 제304단계에서는, TVCT 내의 내적 카메라 파라미터 디스크립터를 토대로, 기본 비디오 스트림에 대한 PID를 확인한다. 여기서, 기본 비디오 스트림이란 'stream_available' 필드에 의해 실제 카메라에 관한 파라미터임이 표시되어 있고 영상 생성의 기본이 되는 스트림을 말하며, 이러한 스트림에 대한 PID 값은 'elementary_PID'를 통해 알 수 있다. 만약, 실제 카메라가 단 한 대인 경우에는 해당 카메라에 관련된 스트림이 기본 스트림이 된다. 그렇지만, 실제 카메라가 여러 대인 경우에는, 일정 규칙에 의해 정해지는 카메라(예컨대 영상 생성이 요구되는 가상카메라에 인접한 카메라)에 관한 스트림이 기본 스트림이 될 수 있다. 제306단계에서, 영상복호화부(210)는 기본 비디오 스트림을 PID를 토대로 필터링하고, 복호화하여 원래의 영상을 복원한다.

제308단계에서, 3D 렌더링부(216)는 복원된 영상에 관련된 깊이 정보와, 메모리에 저장되어 있는 카메라 파라미터를 사용하여 가상 카메라 위치에서의 깊이 정보를 생성한다. 이때, 복원 영상과 연관된 깊이 정보 및/또는 부가 정보가 함께 사용될 수 있음은 위에서 설명한 바와 같다.

이를 구체적으로 설명한다. 3차원 실제 공간에서의 한 점 P는 0번째 카메라 영상에서 점 p[0], 첫 번째 카메라영상에서의 점 p[1], 일반적으로 i-번째 카메라 영상에서의 점 p[i]로 맵핑이 된다. 카메라 파라미터를 사용하여, 실제 공간에서의 점 P와 i-번째 카메라 영상에서의 점 p[i] 사이의 관계식을 표현하면 다음과 같다.

여기서, s[i]는 스케일링 팩터, A[i]는 내적 파라미터 행렬, r[i]는 회전량 행렬, t[i]는 변위 행렬, 는 3x3 항등행렬과 3x1 제로 칼럼벡터가 augmented된 3x4 행렬 [I ₃ :O]을 각각 나타낸다. 특히, 0번째 카메라의 좌표축을 기준으로 전체 좌표축을 삼으면, 수학식 5와 같이 0번째 카메라 영상에서의 점 p[0]은 회전 및 이동 변환이 없다.

점 P의 z축 좌표값이 깊이 값이 z[0]가 되는데, 위 수학식 5를 풀면 z[0]=s[0]이 되는 것을 알 수 있다. 즉, 스케일링 팩터는 깊이 값과 같다. 그러므로, 수학식 5로부터

와 같이 유도된다. 이 값을 수학식 4에 대입하고, 스케일링 팩터 s[i]를 깊이 값 z[i]로 대치하면, 다음 식을 얻을 수 있다.

이 식에서 z[i]는 i-번째 카메라 영상에서 깊이 값을 나타낸다. 결국, 기본이 되는 영상인 0-번째 카메라 영상의 파라미터를 이용해서 homographic transform 등을 이용하여 깊이 맵에 대하여 3D warping을 수행하여 i-번째 카메라 영상에서의 깊이 맵을 구할 수 있게 된다.

다시 도 10을 참조하면, 제310단계에서, 3D 렌더링부(216)는 기본 비디오 스트림과, 가상 카메라 위치에서의 깊이 정보를 토대로 3D Warping을 수행함으로써, 가상 카메라 위치에서의 영상을 생성한다. 포맷터(220)는 복호화 과정에서 복원한 영상과 3D 렌더링부(216)에 의하여 생성된 영상을 해당 수신기에서의 디스플레이 방식에 맞게 스테레오스코픽 방식 또는 다시점 디스플레이 방식으로 포맷팅하여, 디스플레이면(222)을 통해 3D 영상이 표시되도록 하게 된다(제312단계).

이와 같이, 임의의 가상 카메라 시점에 대하여 카메라 파라미터로부터 영상을 생성할 수 있게 된다.

본 발명은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다양한 방식으로 변형될 수 있고 다른 구체적인 형태로 실시될 수 있다.

예컨대, 이상의 설명에서는, 가상 카메라가 실제로 마련되어 카메라 파라미터 추출과 부가 정보 추출에 사용되는 것으로 기술하였지만, 변형된 실시예에 있어서는 가상 카메라가 실제로는 마련되지 않을 수도 있다. 이와 같은 경우 카메라 파라미터 중 내적 파라미터는 실제 카메라와 영점조정(Calibration)된 것으로 가정하여 실제 카메라와 동일한 것으로 보고, 외적 파라미터는 적절히 선택되며, 부가 정보 추출은 실제 카메라에 의해 촬영된 영상을 사용하여 이루어질 수 있다.

한편, 이상에서는 카메라 파라미터가 TVCT에 포함되어 전송되는 것으로 기술하였지만, 변형된 실시예에 있어서는 카메라 파라미터가 PMT에 포함되어 전송될 수도 있다. 이와 같은 실시예는 본 명세서 기재내용을 토대로 당업자가 용이하게 구현할 수 있으므로 이에 대한 자세한 설명은 생략한다.

다른 한편으로, 이상의 설명에서는 실제 카메라 영상과, 카메라 파라미터를 토대로 생성된 영상을 믹싱하여 디스플레이하는 경우를 중심으로 설명하였지만, 본 발명의 다른 실시예에 있어서는, 그래픽스 또는 에니메이션 툴로 생성된 영상을 카메라로부터 취득된 실제 영상과 믹싱하여 디스플레이할 수도 있다.

또 다른 한편으로, 이상의 설명에서는 가상 카메라에 대한 카메라 파라미터를 받아들이고, 이를 토대로 가상 카메라 시점에서의 영상을 생성하는 경우를 중심으로 설명하였지만, 변형된 실시예에 있어서는 사용자가 지정하는 임의의 시점 정보를 받아들이고 이 시점에 상응한 카메라 파라미터를 생성하고 영상을 생성할 수도 있다.

또 다른 한편으로, 이상의 설명에서는 실제 카메라 영상신호들 각각에 상응하여 깊이 정보가 제공되는 것으로 기술하였지만, 변형된 실시예에 있어서는 깊이 정보가 실제 카메라 영상신호들 중 일부에 대해서만 제공될 수 있다. 이와 같은 경우, 수신기에서의 영상 생성은 깊이 정보가 제공되는 실제 카메라 영상신호들 중 하나를 기본 영상신호로 하여 이루어지는 것이 바람직하다.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

산업상 이용가능성

본 발명은 자유시점 비디오(Free Viewpoint Video), 스테레오 영상을 이용한 다시점 영상 생성 등에 활용할 수 있다. 또한, 기존에 촬영된 스테레오 영상으로부터 여러 중간시점의 영상을 만들고(Intermediate View Interpolation) 이를 3차원 비디오로 변환하는 데에도 이용할 수 있다.

아울러, 실제 비디오 영상과 그래픽스 영상을 자연스럽게 믹싱하는 데에도 활용할 수 있다.

Claims (11)

1. 방송 신호를 수신하는 단계;
   상기 방송 신호를 파싱하여 시그널링 정보를 추출하는 단계;
   상기 시그널링 정보로부터, 실제 카메라에 의해 촬영된 영상, 상기 영상의 깊이정보 및 부가정보를 획득하는 단계;
   상기 부가정보에 기반하여, 가상의 카메라 위치에서의 깊이 정보를 생성하는 단계;
   상기 생성된 깊이 정보를 이용하여 3D Warping을 수행함으로써, 상기 가상의 카메라 위치에서의 가상 뷰 영상을 생성하는 단계; 및
   상기 실제 카메라에 의해 촬영된 영상 및 상기 생성된 가상뷰 영상 중 어느 하나를 좌영상으로 설정하고, 다른 하나를 우영상으로 설정하여 3차원으로 포맷팅하는 단계; 를 포함하며,
   상기 부가정보는, 상기 실제 카메라에 의해 촬영된 영상에 포함된 객체의 기하학적 정보, 투명도 정보 및 색상 정보를 포함하는 것을 특징으로 하는 3차원 영상신호 처리 방법.
2. 삭제
3. 청구항 1에 있어서, 상기 시그널링 정보가 지상파 가상 채널 테이블(TVCT)인 3차원 영상신호 처리 방법.
4. 청구항 1에 있어서, 상기 시그널링 정보가 프로그램 구성 테이블(PMT)인 3차원 영상신호 처리 방법.
5. 삭제
6. 청구항 1에 있어서, 상기 가상 뷰 영상의 시점이 상기 시그널링 정보에 의하여 지정되는 3차원 영상신호 처리 방법.
7. 청구항 1에 있어서, 상기 가상 뷰 영상의 시점이 사용자 명령에 의하여 지정되는 3차원 영상신호 처리 방법.
8. 삭제
9. 삭제
10. 삭제
11. 방송 신호를 수신하고 파싱하여 시그널링 정보를 추출하며, 상기 시그널링 정보로부터, 실제 카메라에 의해 촬영된 영상, 상기 영상의 깊이정보 및 부가정보를 획득하는 방송신호 수신부;
    상기 부가정보에 기반하여, 가상의 카메라 위치에서의 깊이 정보를 생성하고, 상기 생성된 깊이 정보를 이용하여 3D Warping을 수행함으로써, 상기 가상의 카메라 위치에서의 가상 뷰 영상을 생성하는 렌더링부;
    상기 실제 카메라에 의해 촬영된 영상 및 상기 생성된 가상뷰 영상 중 어느 하나를 좌영상으로 설정하고, 다른 하나를 우영상으로 설정하여 3차원으로 포맷터;
    를 포함하며,
    상기 부가정보는, 상기 실제 카메라에 의해 촬영된 영상에 포함된 객체의 기하학적 정보, 투명도 정보 및 색상 정보를 포함하는 것을 특징으로 하는 3차원 영상표시 장치.

Images