KR20010104376A - 3-ｄ 효과를 얻기 위한 비디오 샘플 레이트 변환 - Google Patents

Abstract

비디오 디스플레이 시스템의 2차원 샘플 레이트 변환 능력들이 3차원 효과들을 생성하기 위해 사용된다. 깊이 감지를 전달하기 위해 선형 및 비선형 스케일링이 비디오 이미지에 적용된다. 3차원 효과들은 디스플레이 시스템들에서 현존하는 및 새로운 특징의 비주얼 흥미를 증가시키기 위해 사용된다. 정육면체 또는 피라미드의 표현과 같은 다면 오브젝트 표현은 각 면의 표현으로 상이한 비디오 이미지들을 디스플레이하기 위해 사용될 수 있다. 각 면에서 각 이미지를 적절히 스케일링함으로써 깊이의 느낌이 얻어진다. 상이한 면들에서의 이미지들은 정보의 주 소스와 관련된 데이터캐스트 정보와 같은 공통 테마의 상이한 측면들을 표현하기 위해 선택될 수 있다. 텔레비전에서의 채널 변경은 다면 오브젝트의 회전으로 표현될 수 있다. 또한, 책의 표현과 같은 다른 유사한 표현들이 사용될 수 있으며, 채널 변경은 책의 페이지들을 넘기는 것으로 표현되며, 각 텔레비전 프로그램은 상이한 페이지로 표현된다. 프로그램 분류와 같은 개선된 특징들은 특정 카테고리의 선택을 용이하게 하는 책에서의 탭들로서 표현될 수 있다. 또한, 한 축에 대한 다면 오브젝트의 회전은 선택 카테고리 내에서의 채널의 변경에 대응하지만, 다른 축에 대한 회전은 카테고리의 변경에 대응한다. 종래의 디스플레이 시스템들의 샘플 레이트 변환기들을 통해 적절히 실행되는 계산들을 사용하여 이러한 3차원 효과들을 달성하기 위한 기술들이 제시된다.

Description

3-Ｄ 효과를 얻기 위한 비디오 샘플 레이트 변환 {Video sample rate conversion to achieve 3-D effects}

고해상도 텔레비전(HDTV, high definition television) 시스템들과 같은 고품질 비디오 디스플레이 시스템들이 더 대중적이 되고 있으며, 따라서, 비용 및 특징 경쟁이 증가되고 있다. 경쟁력을 얻기 위해서, 시스템은 더 많은 기능성을 제공하거나, 구매자에게 더 많은 매력을 제공하거나, 다른 시스템들과 구별되는 다른 특징들을 가져야만 한다. 바람직하게, 이러한 특징들은 이 특징들이 없는 시스템들과 실질적으로 동일한 비용으로 제공되어, 특징들과 가격의 결합이 시장 점유율이나 이익 또는 둘 다를 증가시키는 것을 용이하게 한다.

시스템들간의 한가지 구별되는 특징은, 예를 들어, 제 2 비디오 이미지가 주 비디오 이미지 위에 놓일 수 있는 "픽처-인-픽처(picture-in-picture, PIP)" 능력이다. 처음에 제공되었을 때, PIP 능력이 있는 텔레비전들은 높은 판매 가격으로팔렸다. 그후 경쟁 시스템들은 디스플레이 상의 PIP 이미지의 사용자-제어 가능한 크기 조절(sizing) 및 위치 조절(positioning)과 같은 부가적인 PIP 특징들을 제공하였다. 컴퓨터 인터페이스 패러다임들에 따라서, 텔레비전 시스템들은 현재 "윈도잉(windowing)" 특징들을 제공할 수 있으며, 상이한 비디오 이미지들이 텔레비전 디스플레이 상의 상이한 윈도우들에 디스플레이될 수 있다. 비디오 이미지들은 시청(판매 등을 위해 광고되는 항목들의 상세한 시청)되고 있는 프로그램에 대한 부수 정보를 포함하는 윈도우와 같은 주 이미지와 관련된 다른 텔레비전 프로그램 이미지들, 채널 선택 가이드 또는 통신 방법일 수 있다. 종종 특징을 부가하는 비용은 낮지만, 그 특징에 대한 수요는 높기 때문에, 종종 이러한 능력들을 제공하는 텔레비전들은 특히 능력이 새로울 때 능력이 더 적은 텔레비전들보다 높은 이익 마진을 제공한다.

또한, 인터넷 기반 텔레비전 제공자들은 더 높은 광고 가격으로 판매할 수 있도록 하기 위해, 시청자들에 대해 경쟁할 것으로 예측될 수 있다. 특정 텔레비전 디스플레이 시스템이 소망의 특징을 제공하면, 인터넷 서비스 제공자들은 그 특징을 사용할 수 있는 프로그램들을 제공할 것이며, 따라서, 특징을 포함하는 디스플레이 시스템들에 대한 요구가 증가될 뿐만 아니라 제공자들의 서비스에 대한 요구도 증가된다.

상술된 PIP와 윈도잉 비디오 효과들을 얻기 위해서, 각 비디오 이미지는 이미지에 대한 할당된 디스플레이 영역에 꼭 맞게 스케일링(scale)되어야 한다. 디지털 디스플레이 시스템에 있어서, 스케일링을 수행하기 위해 샘플 레이트 변환기들(SRCs, sample rate converters)이 사용된다. 디지털 인코딩된 비디오 이미지는 원(original) 화상 샘플들의 어레이를 포함하며, 디스플레이 화면 영역은 픽셀들의 어레이를 포함한다. 수평 및 수직 방향에서의 샘플들의 수는 수평 및 수직 방향에서의 픽셀들의 수와 동일하며, 스케일링은 필요하지 않다. 각 샘플은 각 대응하는 픽셀에 매핑되며, 결과적으로 디스플레이되는 이미지는 원 화상에 대응한다. 샘플들에 대해 절반의 픽셀들이 존재하면, 하나 건너 하나씩의 샘플이 대응하는 픽셀에 매핑된다. 결과 이미지는 원 샘플들의 절반의 샘플링 레이트로 샘플링되는 이미지에 대응한다. 즉, 스케일 변경은 샘플링 레이트의 변경과 동등하며, 따라서, 용어 "샘플 레이트 변환기"라고 한다. 이 디스플레이 스케일에 대응되는 원 샘플링 레이트가 얻어지는 샘플 값의 추정치에 대응하는 픽셀 값들을 생성함으로써 비-정수 스케일링이 수행된다. 이 생성된 픽셀 값들은 일반적으로 각 픽셀 위치에 대한 샘플들의 세트로부터 값을 삽입함으로써 얻어진다. 종래의 디스플레이 시스템들은 수직 샘플 레이트 변환기와 수평 샘플 레이트 변환기를 포함하여 두 차원 모두 또는 두 차원 중 한 차원에서 스케일링을 수행한다.

깊이 지각(depth perception) 또는 3차원 이미지화의 개념을 전달하는 디스플레이 화면상에 비주얼 효과들을 생성할 수 있는 컴퓨터 그래픽 시스템들을 이용할 수 있다. 이 그래픽 시스템들은 이 3차원 효과를 얻기 위해 복잡한 그래픽 액셀러레이터 장치들(graphic accelerator devices)을 사용한다. 그러나, 그래픽 액셀러레이터 장치들은 종래의 비디오 렌더링 시스템들과 직접 호환될 수 없으며, 종래의 비디오 디스플레이 시스템들의 품질 요구를 아직 만족할 수 없다. 비디오 디스플레이 시스템에서 3차원 효과들을 생성하기 위해 사용될 수 있는 그래픽 액셀러레이터 장치의 비용은 디스플레이 시스템의 비용을 실질적으로 증가시킬 것으로 예측될 수 있다.

본 출원은 2000년 1월 10일 출원된 미국 가출원 제 60/175,189 호의 이점을 청구한다.

본 발명은 비디오 신호 처리 분야, 특히, 비디오 샘플 레이트 변환을 통해 3-D 효과를 생성하는 것에 관한 것이다.

도 1은 본 발명에 따른 3-D 스케일러(scaler)의 예시적인 블록도.

도 2는 본 발명에 따른 비디오 디스플레이 시스템의 예시적인 블록도.

도 3은 본 발명에 따른 3-D 스케일러의 예시적인 흐름도.

도 4a 내지 도 4e 및 도 5a 내지 도 5c는 본 발명에 따른 예시적인 원근법적 렌더링들을 도시하는 도면.

도 6a, 도 6b, 도 7, 도 8a 및 도 8b는 본 발명에 따른 예시적인 3-D 오브젝트 렌더링들을 도시하는 도면.

본 발명의 목적은 비디오 디스플레이 시스템들에 대한 부가 특징들을 제공하는 것이다. 본 발명의 다른 목적은 3차원 효과들을 갖는 비디오 디스플레이 시스템을 제공하는 것이다. 본 발명의 또다른 목적은 시스템의 실질적인 비용 증가 없이 비디오 디스플레이 시스템에 3차원 효과들을 제공하는 것이다.

이 목적들 및 다른 목적들은 3차원 효과들을 생성하기 위해 비디오 디스플레이 시스템의 2차원 샘플 레이트 변환 능력을 사용함으로써 얻어진다. 깊이 감지를 전달하기 위해 비디오 이미지에 선형 및 비선형 스케일링이 적용된다. 3차원 효과들은 디스플레이 시스템들에서 현존하는 및 새로운 특징 세트들의 비주얼 흥미를 증가시키기 위해 사용된다. 정육면체 또는 피라미드 표현과 같은 다면 오브젝트 표현(multi-faceted object representation)은 표현의 각 면에 상이한 비디오 이미지들을 디스플레이하기 위해 사용될 수 있다. 각 면 상의 각 이미지를 적절히 스케일링함으로써, 깊이 효과가 얻어진다. 상이한 면들 상의 이미지들은 주정보원과 관련된 데이터캐스트(datacast) 정보와 같은 공통 테마의 상이한 측면들을 나타내기 위해 선택될 수 있다. 텔레비전상에서의 채널 변경은 다면 오브젝트의 회전으로서 나타낼 수 있다. 또한, 책을 표현하는 것과 같은 다른 유사한 표현들이 사용될 수 있으며, 채널 변경은 책의 페이지들을 넘기는 것으로 표현되며, 각 텔레비전프로그램은 상이한 페이지 상에 표시된다. 프로그램 분류와 같은 개선된 특징들은 특정 카테고리의 선택을 용이하게 하는 책에서의 탭들(tabs)로서 표현될 수 있다. 또한, 한 축에 대한 다면 오브젝트의 회전은 선택 카테고리 내에서의 채널의 변경에 대응할 수 있지만, 다른 축에 대한 회전은 카테고리의 변경에 대응할 수 있다. 종래의 디스플레이 시스템들의 샘플 레이트 변환기들을 통해 실행을 위해 잘 적응되는 계산들로 3차원 효과들을 달성하기 위한 기술들이 제시된다.

본 발명은 예로서 첨부 도면을 참조하여 더 상세히 설명된다.

도면에서, 동일한 참조 번호들은 유사하거나 대응하는 특징들 또는 기능들을 나타낸다.

본 발명은 이미지의 렌더링에 대한 3차원(3-D) 효과들을 부가함으로써 비디오 이미지들의 표시를 개선한다. 2-D 평면상에 3-D 오브젝트 이미지들을 렌더링하는 그래픽 처리기들과 대조적으로, 본 발명은 종래의 2-D 비디오 이미지에 3차원을 부가한다. 즉, 그래픽 시스템의 오브젝트는 각 오브젝트가 어디에 위치되는지 정의하는 오브젝트 공간에서의 3차원 좌표뿐만 아니라 길이, 폭 및 깊이 정보를 포함한다. 그래픽 시스템은 가정된 뷰어(viewer)에 대한 각 오브젝트 투사의 크기 및 모양에 대한 결정들과 다른 오브젝트들의 뷰(view)를 차단하는 오브젝트들에 대한 결정들을 포함하는, 디스플레이의 2-D 이미지 평면상에서의 3-D 오브젝트들의 투사를 식별하기 위해 필요한 동작들을 수행한다. 본 발명에서, 정보원은 2차원 이미지이다. 이미지 평면으로서 이미지를 처리하고, 디스플레이 화면의 평면에 대한 이미지 평면의 회전 또는 다른 방위 변경을 에뮬레이트함으로써 2차원 비디오 이미지에 3차원이 부가된다. 이 회전은 뷰어에게 개념적으로 더 가까운 부분보다 더 작은 스케일로 렌더링되기 때문에 이미지 평면 부분은 뷰어로부터 개념적으로 더 멀다. 따라서, 회전된 이미지에 대한 "깊이" 감지를 전달한다. 이하 논의되는 것과 같이, 이 깊이 에뮬레이션은 종래의 고품질 비디오 시스템들의 수평 및 수직 샘플 레이트 변환기들의 제어와 동작에 대한 수정을 통해 수행된다.

도 1은 본 발명에 따른 3-D 스케일러(100)의 예시적인 블록도를 도시한다. 도시된 것과 같이, 3-D 스케일러(100)는 제어 유닛(110), 수직 샘플 레이트 변환기(120) 및 수평 샘플 레이트 변환기(130)를 포함한다. 상기 논의된 것과 같이, 샘플 레이트 변환기들이 통상적으로 스케일링을 수행하기 위해 사용되기 때문에, 샘플 레이트 변환기들을 통한 스케일링의 패러다임이 이하 이해를 용이하게 하기 위해 사용된다는 것을 유념해야 한다. 임의의 다른 스케일링 수단이 동일한 비주얼 결과들을 달성하기 위해 사용될 수 있으며 본 발명의 의도된 범위에 포함된다는 것이 본 개시의 관점에서 이 기술분야에 숙련된 사람들에게 명백해질 것이다.

샘플 레이트 변환기들(120, 130)은 이하 기술되는 것을 제외하고 수직 및 수평 방향으로 비디오 이미지들을 스케일링하기 위해 사용되는 종래의 샘플 레이트 변환기들과 유사하게 동작한다. 제어 유닛(110)은 스위치들(115a 내지 115c)을 통해 변환기들(120, 130)을 통과하는 데이터 흐름을 제어한다. 제어 유닛(110)은 또한 수직 샘플 레이트 변환기(120) 및 수평 샘플 레이트 변환기(130)에 의해 제공되는 스케일링 정도를 제어하기 위해 수직 및 수평 스케일링 인자들(VS, HS)을 제공한다. 스케일러(100)의 동작은 도 3의 예시적인 흐름도와 도 4a 내지 도 4e 및 도 5a 내지 도 5c에 도시된 것과 같이 비디오 이미지의 렌더링에 따른 결과 효과들을 참조하여 가장 잘 이해된다.

도 3은 본 발명에 따른 도 1의 스케일러(100)와 같은 3-D 스케일러의 예시적인 흐름도를 도시한다. 참조를 용이하게 하기 위해서, 100 내지 199의 참조 번호들이 도 1의 항목들에 대해 참조되며, 300 내지 399의 참조 번호들이 도 3의 항목들에 대해 참조된다는 것을 유념해야 한다. 310에서, 입력 비디오 이미지(101)는 회전 또는 방위(102), 각도(A)와 관련된다. 320에서, 회전이 수직축에 대한 것인지 또는 수평축에 대한 것인지에 따라 흐름은 두 부분으로 분기한다. 이 분기는 도 1의 제어 유닛(110)에 의해 스위치들(115a 내지 115c)의 제어에 대응한다. 도 1에 도시된 스위치들(115a 내지 115c)의 설정은 y 또는 수직축에 대한 회전에 대응하며, 320에서 분기된 후에 도 3의 왼쪽 설정 단계들에 대응한다.

이 기술 분야에 공지되어 있는 것과 같이, y-축에 대한 평면의 회전은 다음변형으로 표현될 수 있으며,

x' = x * cos(A) - z * sin(A) (1)

y' = y (2)

z' = x * sin(A) + z * cos(A) (3)

여기서, x, y 및 z는 회전전의 평면 내에서의 좌표이고, x', y' 및 z'는 각도(A)에 의해 y-축에 대한 회전 후의 결과 좌표이다. 이 좌표 시스템에서, z는 뷰어로부터 "떨어져 있는(away)" 거리에 대응하며, 양의 z 좌표는 0 또는 음의 좌표보다 사용자로부터 더 멀리 떨어져 있다. 이해를 쉽게 하기 위해서, 이미지에 할당된 초기 z 값이 0이라고 가정하면, 0이 아닌 z가 사용될 때 이 기술 분야에 숙련된 사람이 인식할 것이라 하더라도, z*sin(A) 항은 단지 고정량만큼 각 x' 좌표를 변형하며, 수평 스케일링 블록(320) 후에 변형 블록에 의해 표현될 수 있다. 각 x 좌표의 수평 스케일링은 동일한 스케일링 인자 cos(A)에 의한 것임을 유념해야 한다. 도 1의 예시적인 실시예에 있어서, 이 스케일링 인자(HS)는 제어 유닛(110)에 의해 수평 샘플 레이트 변환기(130)에 제공되며, 변환기(130)는 이 인자(HS)로 입력 비디오 이미지(101)를 스케일링한다. 도 4a 및 도 4b는 수평으로 스케일링된 이미지(410b)를 형성하기 위해 각도(a0)에 대한 회전에 대응하는 스케일링 인자에 의한 이미지(410a)의 스케일링을 도시한다. 도 4b에서, 스케일링된 이미지(410b)의 범위(X0')는 원 이미지(410a)의 평면에 대해 방위각(a0)의 코사인이 곱해진 원 이미지(410a)의 범위(X0)와 동일하다. 방위각(a0)의 함수로서 이 수평 스케일링은이미지가 각도에서 보여지지만 깊이 감지는 전달되지 않을 때 발생하는 이미지의 원근법(foreshortening)이 달성된다.

깊이를 표현하기 위해서, 본 발명에 따라 원근법적 렌더링이 제공된다. 원근법적 렌더링에 있어서, 뷰어들로부터 더 멀리 있는 오브젝트들은 뷰어들과 더 가까이 있을 때보다 더 작게 나타난다. 일반적으로, 원근법적 렌더링은 선형 변형이며,

s1 = s0 * d0 / d1 (4)

여기서, s0은 거리(d0)에서의 오브젝트의 외견상의 크기를 나타내고, s1은 거리(d1)에서의 동일한 오브젝트의 외견상의 크기를 나타낸다. 종종, 거리(d0)는 원 이미지에 대한 초점 거리(focal distance)라고 한다. 본 개시에 있어서, 거리(d0)는 원 이미지 평면으로부터 뷰어의 가정된 초점 거리(f)와 동일하고, 거리(d1)는 원 이미지 평면으로부터 이미지의 에뮬레이트된 회전에 의한 z-성분의 도입에 의해 야기된 뷰어로부터의 결과적인 거리이며, d1=f+z'이다. 따라서, 식 (4)는 다음과 같이 다시 쓸 수 있다.

x" = x' * f/(f+z') (5)

y" = y' * f/(f+z') (6)

식 (5) 및 식 (6)에서와 같이, x 좌표와 y 좌표는 이미지의 회전에 의해 도입되는 거리(z')의 함수로서 스케일링되어야 한다. 즉, 각 이미지 샘플은 회전된 이미지의 각 샘플의 z 좌표나 깊이의 함수로서 x와 y 차원에서 스케일링되어야 한다.

본 발명의 한 양상에 따르면, 처리 시간을 단축하기 위해서, 이미지 평면의 회전에 의해 원근법으로 그려지는 축에 대향하는 축에서의 스케일링은 깊이 감지를 전달하기에 충분한 것으로 결정된다. 예를 들어, 도 4b에서, 회전된 이미지(410b)의 가장 먼 범위(X0')는 Z0'의 거리만큼 뷰어로부터 더 멀리 떨어진다. 본 발명의 이 양상에 따르면, 깊이 지각에 대응하는 효과를 얻기 위해서, 이미지(410b)의 가장 먼 범위(X0)의 수직 크기(Y0)는 도 4c에 도시된 것과 같이 축소된 수직 크기(Y0')를 생성하기 위해 f/(f+Z0')의 인자로 스케일링된다. 각 y 좌표도 유사하게 스케일링되어, 이미지(410c)의 경사진 상부 및 하부 에지들을 생성한다. 도 4c의 x 좌표가 도 4b의 원근도에서 변경되지 않았더라도, 거리(z)의 함수로서 y 좌표의 스케일링에 의해 깊이 감지가 생성된다. 또한, 도 4c에서, 회전된 이미지의 가장 가까운 범위(X1')는 원 이미지 평면보다 뷰어에게 더 가까우며, 따라서, f/(f+Z1')에 의한 스케일링에 대응하는 수직 크기(Y1')는 Z1의 부호가 본 명세서에서 사용되는 규칙에서 음이기 때문에 이 근접한 범위에서 원 수직 크기보다 더 크다는 것을 유념해야 한다.

도 1과 관련하여, 뷰어로부터의 거리의 함수로서 y-좌표의 상기 스케일링은 스위치(115c)를 통해 수평 샘플 레이트 변환기(130)의 출력을 수직 샘플 레이트 변환기(120)로 라우팅하고, 회전된 도형의 각 좌표의 결정된 깊이 파라미터(z)의 함수로서 변하는 수직 스케일링 인자(VS)에 의해 스케일링함으로써 수행된다. y-축에 대한 회전에서, z 좌표 값은 일정한 x 좌표 값들의 각 열에 대해 일정하다는 것을 유념해야 한다. 제어 유닛(110)은 상기 식 (6)에 대응하는, 회전된 도면의 각열(이산 x 값)에 대해 수직 스케일링 인자(VS(x))를 수직 샘플 레이트 변환기(120)에 제공한다. 도 3의 루프 340 내지 370에 도시된 것과 같이, 수평으로 스케일링된 이미지의 모든 수직 좌표가 깊이 지각 인자(f/(f+z))에 기초하여 스케일링될 때까지, 수직 샘플 레이트 변환기(120)는 열에서 각각 수평으로 스케일링된 이미지 값에 대한 상기 스케일 값(VS(x))을 적용한 다음, 수평으로 스케일링된 이미지 값들의 다음 열에 다음 스케일 값(VS(x+1))을 적용한다. 수평 및 수직 스케일링 후에, 원 이미지의 3차원 회전의 상기 에뮬레이션으로부터 발생되는 픽셀 값들이 380에서 디스플레이를 위해 표시된다. 이 기술 분야에 숙련된 사람에게 명백해질 것과 같이, 이 처리에 최적화 기술들이 적용될 수 있다. 예를 들어, 지각 인자(f/(f+z))를 계산하기 위해 필요한 단들(divisions)의 수를 줄이기 위해서, 가장 가까운 열 및 가장 먼 열의 스케일이 결정될 수 있으며, 중간 열들의 스케일링 인자가 보간법에 의해 결정될 수 있다.

도 4d 및 도 4e는 큰 각도(a1)에 의한 이미지(410a)의 회전을 도시한다. 상기 논의된 것과 같이, 도 4d는 cos(a1)에 대응하는 일정한 스케일링 인자에 의한 이미지(410a)의 수평 스케일링에 대응하고, 도 4e는 f/(f+z)에 대응하는 원 이미지 평면으로부터의 거리의 함수로서 변하는 스케일링 인자에 의한 수평으로 스케일링된 이미지(410d)의 수직 스케일링에 대응한다. 도시된 것과 같이, 도 4a로부터 도 4c, 도 4e로의 진행은 3차원 공간을 통한 이미지 회전의 감지를 전달할 것이다.

도 5a 내지 도 5c는 x-축을 따른 이미지(510a)의 회전 예를 도시하며, 320 후에 도 3의 오른쪽에 도시된 흐름에 대응한다. 이 기술분야에 공지되어 있는 것과 같이, x-축에 대한 회전은 좌표의 다음과 같은 변형을 발생시키며,

x' = x (7)

y' = y * cos(A) + z * sin(A) (8)

z' = -y * sin(A) + z * cos(A) (9)

여기서, z는 뷰어로부터 떨어져 있는 거리에 대응하는 상기 논의된 센스(sense)(부호)를 갖는다. 도시된 것과 같이, 이미지(510a)는 초기에 도 5b의 축소된 이미지(510b)를 생성하기 위해 cos(b0)에 대응하는 일정한 스케일링 인자에 의해 수직 차원에서 스케일링되며, 도 3의 블록 335에 대응한다.

상기 논의된 것과 같이, 처음에 일정한 스케일 값으로 스케일링되는 한 축과 대향하는 축은 그후 z-좌표 또는 상기 식 (5)에 대응하는 회전에 의해 도입된 깊이의 함수로서 변하는 스케일링 인자에 의해 스케일링된다. 즉, 이미지(510b)의 회전된 이미지 값들의 각 행은 상이한 수평 스케일링 인자에 의해 스케일링되어, 도 5c의 이미지(510c)의 경사진 수평 에지들을 생성하도록 한다. 이 경사진 에지들은 수평축에 대한 이미지(510a) 회전의 소망의 비주얼 효과를 생성한다.

도 1의 제어 유닛(110)은 도 1에 도시된 상태의 반대 상태로 스위치들(115a 내지 115c)을 스위칭함으로써 상기 처리를 수행한다. 그로써, 비디오 이미지(101)가 스위치(115a)를 통해 수직 샘플 레이트 변환기(120)로 라우팅되고, 제어 유닛(110)으로부터의 일정한 수직 스케일링 인자(VS)를 사용하여 수직 샘플 레이트 변환기(120)에 의해 스케일링된다. 그후, 수직 스케일링된 이미지가 스위치(115b)를 통해 수평 샘플 레이트 변환기(130)로 라우팅된다. 수평 샘플 레이트변환기(130)는 각 행의 z-차원 및 소정의 초점 거리(f)에 기초하여 각 행에 대한 제어 유닛(110)에 의해 결정되는 수평 스케일링 인자(HS)를 사용하여 스케일링된 이미지의 각 수평 행을 스케일링한다.

본 발명에 따르면, 제어 유닛은 수평 및 수직 스케일링 파라미터들(HS, VS)의 제어를 통해 다양한 원근법적 렌더링들을 수행할 수 있으며, 상기 파라미터들은 고품질 비디오 시스템들에서 현재 사용되는 샘플 레이트 변환기들에 실질적으로 대응하는 수평 및 수직 샘플 레이트 변환기들에 제공된다. 이러한 방식으로, 상기 논의된 3-D 효과들 및 그 외 다른 효과들은 최소의 부가 비용으로 달성될 수 있다. 본 발명의 한 차원 측면에서의 일정한-스케일링은 필요한 처리를 감소시키기 위해 제공되지만, 여전히 원근법적인 효과를 전달한다. 처리 전력 증가가 계속됨에 따라, 제어 유닛(110)은 각 처리된 이미지에 대해 식 (5)와 식 (6)을 실시하기 위해 회전축과 관계없이 두 샘플 레이트 변환기들(120, 130)에서 가변 스케일을 수행하도록 쉽게 재구성될 수 있다. 또한, 특정 정도의 이미지 처리(y-축에 대한 회전을 위한 수평 스케일링 다음의 수직 스케일링, 및 x-축에 대한 회전을 위한 수직 스케일링 다음의 수평 스케일링)가 용이한 이해와 효과적인 처리를 위해 제공된다. 각 차원에서의 스케일링이 다른 차원에서의 스케일링에 독립적이기 때문에, 각 샘플 레이트 변환기(120, 130)에 의한 스케일링은 어떤 순서로도 실시될 수 있다.

3-D 효과를 생성하기 위해 실시되는 스케일링은 다른 기술들과도 결합될 수 있다. 예를 들어, 수평 및 수직 샘플 레이트 변환기들(120, 130)은 종래에는 할당된 디스플레이 영역에 대해 비디오 이미지를 스케일링하기 위해 제공되었다. 바람직한 실시예에서, 소망의 크기로 이미지를 스케일링하기 위해 사용되는 스케일링 인자들은 3-D 스케일링 인자들과 결합된다. 즉, 인자(K1)가 디스플레이 영역의 픽셀들에 대한 원 이미지를 스케일링하기 위해 필요한 수평 스케일링 인자라면, 식 (1)에 사용되는 스케일링 인자는 K1*cos(A)이고, 식 (5)에서 스케일링 인자는 K1*f/(f+z)이다.

본 발명의 원리는 또한 실제 2-D 동작인 z-축에 대한 회전을 수행하기 위해 적용될 수도 있다. 이 기술 분야에 공지된 것과 같이, 각도(A)의 z-축에 대한 회전은 다음과 같은 좌표의 변형을 발생시킨다.

x' = x * cos(A) - y * sin(A) (10)

y' = x * sin(A) + y * cos(A) (11)

이 식들은 직렬 처리로 변형될 수 있는 것으로 보여질 수 있다. 이 처리의 제 1 단계는 수직 스케일링이다.

x' = x (12)

y' = x * sin(A) + y * cos(A) (13)

이 처리의 제 2 단계는 수직 스케일링된 좌표의 수평 스케일링이다.

x" = x' * sec(A) - y' * tan(A) (14)

y" = y' (15)

따라서, z-축 회전을 수행하기 위해서, 제어 유닛(110)은 스위치(115a)를 통해 원 이미지를 수직 샘플 레이트 변환기(120)로 라우팅하고, cos(A)에 대응하는 수직 스케일 인자를 제공한 후, 이미지 좌표의 각 열에 x-종속 변환 성분(x-dependenttranslation component)(x*sin(A))을 더한다. 이 기술분야에 숙련된 사람은 이 동작을 원 이미지의 수직 변형으로서 인식할 것이다. 그후, 이 수직 변형된 이미지는 스위치(115b)를 통해 sec(A)에 대응하는 수평 스케일링 인자와 함께 수평 샘플 레이트 변환기(130)로 라우팅된다. 그후, y-종속 변환 성분(y*tan(A))이 수직 변형된 이미지에서 감산된다. 이 수평 스케일링 및 변환은 수평 변형에 대응한다. 이 이중 변형 처리의 결과는 이미지의 2-D 회전에 대응한다.

식 (10) 및 식 (11)은 수직 변형이 이어지는 수평 변형으로 변형될 수도 있다. 각도(A)가 90도에 도달하는 것에 따른 변칙(anomalous) 효과들을 피하기 위해서, 제어 유닛(110)은 90도 회전을 수행하기 위해 전치(transposition)를 수행하도록 구성되어, 상기 설명된 기술들을 사용하여 90-A도의 각도만큼 전치된 이미지를 회전한다.

이 연속적인 변형 처리는 할당된 디스플레이 영역에 대한 이미지를 스케일링하기 위해 상술된 종래의 스케일링과 결합될 수 있으며, x-축 및 y-축에 대한 상술된 회전들과 결합될 수도 있음으로써, 나선형(helix-like) 비주얼 효과 및 그 외 다른 효과들을 발생시킨다. 이 기술분야에 숙련된 사람들에게 명백해질 것과 같이, 구체 또는 형태 표면에 렌더링된 것으로 표시되는 하나 이상의 이미지들을 갖는 다른 복잡한 형태의 에뮬레이션과 같은 적당한 수학적 변형들을 통해 다른 효과들이 실현될 수도 있다.

비디오 이미지에서의 3-D 효과들의 에뮬레이션은 비디오 디스플레이 시스템에서 다양한 가시적으로 개선된 특징들을 제공하기 위해 사용될 수 있다. 도 2는본 발명에 따른 비디오 디스플레이 시스템의 예시적인 블록도를 도시한다. 이 기술분야에서 통상적인 것과 같이, 고품질 비디오 디스플레이 시스템은 디스플레이(250)상에 동시에 디스플레이하기 위해 선택기(210)를 통해 다수의 비디오 이미지 소스들(Va, Vb, Vc 등)로부터의 선택을 허용한다. 예를 들어, 일반적인 픽처-인-픽처 텔레비전 시스템은 2개의 비디오 이미지 소스들로부터 이미지들을 동시에 디스플레이하는 것을 허용한다. 일반적인 멀티-미디어 컴퓨터 시스템은 입력들의 유용성, 소스들의 대역폭, 및 컴퓨터 시스템의 성능으로만 제한되며 개별적인 윈도우들에서 이미지들을 동시에 디스플레이하는 것을 허용한다.

본 발명에 따르면, 상기 논의된 3-D 스케일러(100)는 일반적으로 사용자 제어(230)에 응답하여 하나 이상의 선택된 이미지들에 3-D 효과들을 도입하기 위해 사용된다. 예를 들어, 사용자로부터의 채널-변경 명령에 응답하여, 선택기(210)와 스케일러(100)는 하나의 채널 이미지에서 떨어져서 "회전"하도록 구성될 수 있지만, 다음 채널 이미지 내에서 회전한다. 즉, 도 4a, 도 4c 및 도 4e의 시퀀스는 실질적으로 사용자와 떨어져서 회전하는 이미지로서 디스플레이되는 제 1 채널을 갖기 위해 사용될 수 있다. 회전 각도가 90도에 도달할 때, 이미지 평면이 180도를 향하여 회전을 계속함에 따라, 선택기는 스케일러(100)에 제 2 채널을 제공하도록 구성될 수 있다. 이러한 방식에서, 제 2 채널 이미지는 제 1 채널 이미지를 포함하는 이미지 평면의 "반대 쪽(reverse side)"에 있는 것으로 보일 것이다. 유사하게, 다중-채널 시스템에 있어서, 시스템은 현재 채널이 디스플레이되고 있는 동안 다음 채널의 디스플레이를 개시하도록 구성될 수 있으며, 이 연속적인 디스플레이는 현재 이미지가 소정의 각도만큼 회전될 때 개시될 수 있다. 유사하게, 다음 이미지의 방위각은 90-A의 각도와 같은 현재 이미지의 각도와 직접 관련될 수 있으며, 따라서, 서로 직교하는 이미지들을 에뮬레이트한다. 다른 효과들이 제공될 수도 있다. 예를 들어, 사용자에 의한 채널-업(channel-up) 명령은 한 방향으로 회전을 수행할 수 있고, 채널-다운(channel-down)은 반대 방향으로 회전을 수행할 수 있다. 또한, 증가하는 채널 선택을 위해 사용되는 축과 대향하는 축에 대한 회전에 따라 특정 채널로의 점프가 에뮬레이트될 수 있다. 이러한 및 다른 3-D 비주얼 효과들의 구현은 이 개시의 관점에서 이 기술분야에 숙련된 사람에게 명백할 것이다.

도 6a, 도 6b, 도 7, 도 8a 및 도 8b는 본 발명의 원리들에 의해 실현될 수 있는 예시적인 효과들이다. 이 예들은 도시적인 목적으로 표시된 것이며, 이 예들로 본 발명의 범위가 제한되는 것을 의미하는 것은 아니다. 이 예들은 코히어런트(coherent) 비주얼 효과를 얻기 위해 렌더링된 다양한 이미지들간의 방위들과 관계들을 구성하기 위한 3-D 모델러(220)의 사용을 도시한다.

도 6a는 3차원 블록의 두 측면에 무엇이 보여지는지를 도시한다. 제 1 이미지(610)가 렌더링되어 이미지 평면과 일치하는 3차원 블록의 표면상에 보여지며, 제 2 이미지(620)가 렌더링되어 이미지 평면에 대해 비스듬한 3차원 블록의 표면상에 보여진다. 이 표현은 "윈도우(windowed)" 픽처-인-픽처 디스플레이에 대안적으로 제공될 수 있으며, 상기 비스듬한 이미지는 2차 이미지이다. 이 표현은 더 큰 주 이미지 내에서 나타나는 멀티-이미지 픽처-인-픽처 이미지일 수 있으며, 주 이미지가 보여지는 동안 사용자가 2개의 PIP 이미지들을 동시에 보는 것을 허용한다. 이 표현은 주 이미지에서의 실행기들(performers)의 신뢰도(credits), 수명(biographies)과 같은 이미지와 관련된 보조적인 또는 "데이터캐스트" 정보를 갖는 주 이미지(610)일 수도 있다. 전자상거래 분야에 있어서, 교체(alternate) 이미지(620)는 주 이미지(610)로 광고되고 있는 제품 주문과 관련된 정보일 수 있다. 유리한 다수의 이미지 표현들의 사용은 이 기술분야에서 일반적이며, 본 발명은 정적 2차원 표시들보다 더 가시적으로 흥미있는 형태로 이와 같은 다수의 이미지 표시들을 제공하는 수단을 제공한다.

도 6b는 3차원 블록 표현의 회전을 도시한다. 이 예에서, 회전은 원 이미지(610)의 평면에 대응하지 않는 z-성분을 갖는 축(650)에 대한 것이며, 따라서, 회전은 이미지의 수평 변위뿐만 아니라 수평 스케일링 모두를 도입함으로써, 깊이 지각을 더 증가시킨다. 즉, 이미지들(610, 620)은 축(650)에 대해 표시된 방향으로 회전되는 블록에 따라 왼쪽으로 이동하며, 동시에, 뷰잉(viewing) 평면에 대한 각도가 증가함에 따라 이미지(610)는 계속 축소되고 이미지(620)는 계속 확장된다. 이 회전을 수행하기 위해 다양한 사용자 인터페이스들이 사용될 수 있다는 것을 유념해야 한다. 이전 예에서와 같이, 채널-업 또는 채널-다운 명령은 도 6a의 최종 방위에서 이미지(610)를 대체하는, 1차 뷰잉 평면으로 2차 이미지(620)를 가져오기 위해 블록의 회전을 수행할 수 있으며, 따라서, 다른 소스로부터의 이미지가 도 6a의 이미지(620)의 위치에서 보여지게 된다. 대안적으로, 지시 장치(pointing device)를 이용할 수 있기 때문에, 사용자가 도 6a의 이미지(620)를지적하여 선택하면 비디오 시스템(200)은 도 6b에 도시된 회전을 수행한다. 즉, 그 느낌은, 선택기(210)와 3-D 스케일러(100) 사이에서 도 2의 양방향 "방위(orientation)" 화살표(215)로 도시된 것과 같이, 3차원 오브젝트가 채널 선택에 응답하여 이동하거나 채널 선택이 3차원 오브젝트와의 상호작용에 응답하여 이루어지는 것일 수 있다. 상기 및 다른 사용자 인터페이스들이 이 개시의 관점에서 이 기술분야에 숙련된 사람에게 명백할 것이다.

도 7은 3개의 표면들이 시야 내에 있는 3차원 블록의 표현을 도시하며, 이미지들(710, 720, 730)은 이 표면들 상에 투사되어 보여진다. 상기와 같이, 3개의 이미지들은 3개의 상이한 텔레비전 프로그램들, DVD 플레이어로부터의 3개의 상이한 장면들, 주 이미지와 관련된 주 이미지 및 부 이미지들일 수 있다. 이 예는 이미지(720)의 가변 수직 스케일링 및 이미지(730)의 가변 수평 스케일링을 도시한다. 사용자 제어(230)는 수직축(750) 또는 수평축(760) 중 하나의 축에 대한 3차원 블록 표현의 회전을 용이하게 하기 위해 선택기(210)와 스케일러(100)를 제어한다. 대안적인 축이 상이한 선택 메카니즘들에 대응할 수 있다. 예를 들어, 텔레비전들에 대한 개선된 사용자 인터페이스들은 "뉴스", "스포츠", "코메디" 등과 같은 시청 시간에 이용할 수 있는 프로그램들의 선택을 분류하기 위한 수단을 포함한다. 본 발명의 바람직한 실시예에 있어서, 한 축에 대한 회전은 다음 뉴스 프로그램으로의 채널 변경과 같이 카테고리 내에서의 선택에 대응하지만, 다른 축에 대한 회전은 카테고리의 변경에 대응한다.

본 발명이 도 6a, 도 6b 및 도 7의 블록들과 같이 간단한 3차원 오브젝트들과 관련하여 표시되었지만, 비디오 디스플레이 시스템의 비주얼 흥미를 더 증가시키기 위해 다른 표현들이 사용될 수 있다. 3차원 오브젝트의 소정의 표현을 위한 z-좌표의 결정은 상기 주어진 식 (1) 내지 식 (3) 및 식 (7) 내지 식 (9)를 넘어서 확장될 수 있다. 컴퓨터 그래픽 기술분야에 숙련된 사람은 이미지 평면의 3차원 변형을 에뮬레이트하기 위해 도 1의 제어 유닛(110)에서의 실시에 적합한 다른 표현들을 정의할 수 있을 것이다. 예를 들어, 도 8a는 책(850)에서 페이지로 보여지는 이미지(810)를 도시한다. 새로운 이미지가 시청을 위해 선택되면, 비디오 시스템(200)은 도 8b에 도시된 것과 같이 새로운 이미지(820)를 나타내기 위해 페이지를 넘기는 것을 에뮬레이트한다. 책과의 유사성에 있어서, 책(850)은 "코메디" 부문, "드라마" 부문 등과 같은 책의 상이한 "부문들"로부터 선택을 용이하게 하는 "탭들"(801, 802)을 갖는 것으로 도시되어 있다. 사용자가 소정의 탭을 선택하거나 소정의 카테고리를 선택할 때, 비디오 시스템(200)은 그 탭에서의 또는 그 카테고리 내에서의 제 1 페이지(비디오 이미지)를 디스플레이하기 위해 다수의 페이지들을 넘기는 것을 에뮬레이트한다.

상술한 것은 단지 본 발명의 원리를 설명한다. 따라서, 본 명세서에 명백하게 기술되거나 도시되지 않았더라도, 이 기술분야에 숙련된 사람들은 청구범위의 정신과 범위 내에서 본 발명의 원리들을 구체화하는 다양한 장치들을 구현할 수 있다는 것이 명백해질 것이다.

Claims (11)

1. 비디오 디스플레이 시스템(100)에 있어서:

   입력 비디오 이미지(101)를 수평 방향으로 스케일링(scale)하도록 구성되는 수평 스케일러(scaler)(130),

   상기 입력 비디오 이미지(101)를 수직 방향으로 스케일링하도록 구성되는 수직 스케일러(120), 및

   상기 수평 스케일러(130) 및 수직 스케일러(120)에 동작가능하게 연결되고, 상기 입력 비디오 이미지(101)의 원근법적 렌더링(perspective rendering)(410c, 410e, 510c, 620, 720, 730, 810)에 대응하는 상기 수평 스케일러(130) 및 수직 스케일러(120)를 통한 상기 입력 비디오 이미지(101)의 스케일링을 수행하도록 구성되는 제어기(110)를 포함하며,

   상기 원근법적 렌더링은 상기 입력 비디오 이미지(101)를 렌더링하기 위해 상기 수평 스케일러(130) 및 수직 스케일러(120) 중 적어도 하나의 스케일러에 가변 스케일링 인자(HS, VS)를 적용함으로써 이루어지는, 비디오 디스플레이 시스템(100).
2. 제 1 항에 있어서,

   다수의 입력 비디오 이미지들(210)의 소스를 더 포함하고,

   상기 제어기(110)는 또한 3차원 오브젝트 표현에 대응하는 합성 원근법적 렌더링을 형성하기 위해 상기 다수의 입력 이미지들 중 적어도 2개의 입력 비디오 이미지들(610, 620)을 선택적으로 렌더링하도록 구성되는, 비디오 디스플레이 시스템(100).
3. 제 2 항에 있어서,

   상기 3차원 오브젝트 표현의 방위(650)의 변경을 용이하게 하는 사용자 제어(230)를 더 포함하여, 각 입력 비디오 이미지(101)의 상기 원근법적 렌더링들의 변경을 수행하는, 비디오 디스플레이 시스템(100).
4. 제 3 항에 있어서,

   상기 방위(650) 변경은 다수의 입력 비디오 이미지들(101)의 소스로부터의 입력 비디오 이미지들의 선택 변경에 대응하는, 비디오 디스플레이 시스템(100).
5. 제 3 항에 있어서,

   상기 3차원 오브젝트의 표현은 다수의 페이지들을 포함하는 책(850)의 표현에 대응하고,

   상기 표현의 방위(650)의 변경은 상기 다수의 페이지들의 페이지를 넘기는 것에 대응하는, 비디오 디스플레이 시스템(100).
6. 제 3 항에 있어서,

   상기 사용자 제어(230)는 다수의 방위 제어들을 통해 방위(750, 760) 변경을 용이하게 하고,

   각 방위(750, 760)의 제어는 다수의 비디오 이미지들의 소스로부터 입력 비디오 이미지들의 상이한 세트에 대응하며,

   각 방위(750, 760)의 변경은 입력 비디오 이미지들의 대응하는 세트로부터 입력 비디오 이미지들의 선택 변경에 대응하는, 비디오 디스플레이 시스템(100).
7. 제 1 항에 있어서,

   상기 수평 스케일러(130)는 수평 주사 레이트 변환기(horizontal scan rate converter)에 대응하고,

   상기 수직 스케일러(120)는 수직 주사 레이트 변환기에 대응하는, 비디오 디스플레이 시스템(100).
8. 디스플레이 표면상에 다수의 비디오 이미지들을 렌더링하는 방법에 있어서:

   다수의 비디오 이미지들의 각 비디오 이미지를 3차원 오브젝트 표현의 표면과 연관시키는 단계, 및

   각 비디오 이미지에 대해:

   상기 디스플레이 표면에 대한 대응하는 표면의 각도(A)에 대응하는 회전 스케일(cos(A))을 결정하는 단계,

   스케일링된 이미지 값들의 어레이를 생성하기 위해 상기 회전 스케일에 기초하여 상기 비디오 이미지(330, 335)를 스케일링하는 단계,

   상기 디스플레이 표면에 대한 스케일링된 이미지 값들의 어레이의 각 스케일링된 이미지 값의 깊이에 대응하는 지각(perception) 스케일(350, 355)을 결정하는 단계, 및

   상기 비디오 이미지에 대응하는 픽셀 값들의 어레이를 생성하기 위해 상기 지각 스케일에 기초하여 각 스케일링된 이미지 값(360, 365)을 스케일링하는 단계를 포함하는, 비디오 이미지 렌더링 방법.
9. 제 8 항에 있어서,

   상기 비디오 이미지(330, 335)의 상기 스케일링은 상기 비디오 이미지의 수직 샘플 레이트 변환(335) 및 수평 샘플 레이트 변환(330) 중 선택된 샘플 레이트 변환에 대응하고,

   각 스케일링된 이미지 값들(360, 365)의 상기 스케일링은 상기 선택된 샘플 레이트 변환과는 반대의 상기 수직 및 수평 샘플 레이트 변환 중 샘플 레이트 변환에 대응하는, 비디오 이미지 렌더링 방법.
10. 처리 장치로 실행하기 위해 메모리에 저장되도록 구성되는 프로그램에 있어서:

    3차원 오브젝트 표현의 표면에 비디오 이미지(310)를 연관시킬 수 있도록 하고,

    디스플레이 표면에 대한 상기 표면의 각도에 대응하는 회전 스케일을 결정할 수 있도록 하고,

    스케일링된 이미지 값들의 어레이를 생성하기 위해 상기 회전 스케일에 기초하여 상기 비디오 이미지(330, 335)를 스케일링할 수 있도록 하고,

    상기 디스플레이 표면에 대한 스크일링된 이미지 값들의 어레이의 각 스케일링된 이미지 값의 깊이에 대응하는 지각 스케일(350, 355)을 결정할 수 있도록 하며,

    상기 비디오 이미지에 대응하는 픽셀 값들의 어레이를 생성하기 위해 상기 지각 스케일에 기초하여 상기 스케일링된 이미지 값들(360, 365)을 스케일링할 수 있도록 구성되는, 프로그램.
11. 제 10 항에 있어서,

    상기 3차원 오브젝트 표현의 방위(650)의 변경을 용이하게 하는 사용자 제어를 더 가능하게 하여, 상기 회전 스케일 및 상기 지각 스케일 중 적어도 하나의 스케일의 변경을 수행할 수 있도록 하는, 프로그램.