KR19990067722A - 이미지 디스플레이 방법 및 이미지 처리 시스템 - Google Patents

이미지 디스플레이 방법 및 이미지 처리 시스템 Download PDF

Info

Publication number
KR19990067722A
KR19990067722A KR1019990000060A KR19990000060A KR19990067722A KR 19990067722 A KR19990067722 A KR 19990067722A KR 1019990000060 A KR1019990000060 A KR 1019990000060A KR 19990000060 A KR19990000060 A KR 19990000060A KR 19990067722 A KR19990067722 A KR 19990067722A
Authority
KR
South Korea
Prior art keywords
image
video data
scene
video
data
Prior art date
Application number
KR1019990000060A
Other languages
English (en)
Other versions
KR100335306B1 (ko
Inventor
쳉케-신후
쿠마키어라누어지
립스코움제임스사전트
메논제이프라카시
윌리빅-엘마크허버트
Original Assignee
포만 제프리 엘
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포만 제프리 엘, 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 포만 제프리 엘
Publication of KR19990067722A publication Critical patent/KR19990067722A/ko
Application granted granted Critical
Publication of KR100335306B1 publication Critical patent/KR100335306B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에서 디스플레이를 위해 스트림화 비디오 데이터가 파노라마식 이미지 내에 삽입된다. 본 발명에서는, 저장되어 있는 장면의 환경 맵 및 장면의 비디오 데이터로부터 원하는 장면의 이미지를 디스플레이하는 방법 및 시스템을 개시한다. 이 방법은, (A) 장면의 비디오 데이터를 수신 및 저장하는 단계와, (B) 장면의 방향을 선택하는 단계와, (C) 장면의 선택된 방향에 따라 비디오 데이터를 검색하는 단계와, (D) 선택된 방향에 대한 제 1 이미지를 생성하기 위해 장면의 선택된 방향에 따라 환경 맵을 렌더링하는 단계와, (E) 원하는 장면의 선택된 방향에 대한 복합 이미지를 형성하기 위해 검색된 비디오 데이터 및 제 1 이미지를 동기적으로 결합시키는 단계와, (F) 복합 이미지를 디스플레이하는 단계를 포함한다. 본 발명의 일실시예에서, 원하는 장면의 이미지를 디스플레이하는 방법은, 이미지 데이터 및 사운드 데이터를 포함하는 비디오 데이터 패킷을 연속적으로 수신하는 단계를 더 포함한다. 이 실시예에서, 이미지 데이터의 선택된 부분이 디스플레이되는 동안 사운드 데이터는 연속적으로 재생된다. 본 발명의 다른 실시예에서, 원하는 장면의 이미지를 디스플레이하는 방법은, 환경 맵을 렌더링함으로써 발생되는 비디오 데이터 및 제 1 이미지를 레이어링하는 단계를 더 포함한다. 본 발명에서, 레이어링 기법에는 예를 들어 그리기 순서 레이어링(drawing order layering), z-버퍼 은닉 레이어링(z-buffer-hiding layering), 및 크로마-키 레이어링(chroma-key layering)이 포함된다.

Description

이미지 디스플레이 방법 및 이미지 처리 시스템{METHOD AND APPARATUS FOR DISPLAYING PANORAMAS WITH STREAMING VIDEO}
본 발명은 전반적으로 이미지 처리 시스템에 관한 것으로, 특히 원하는 장면의 다중 뷰(views)를 나타내는 데이터로부터 파노라마식 이미지를 사용자가 생성하고 볼 수 있도록 해주는 이미지 처리 시스템에 관한 것이다.
본 발명은 또한, 영상을 디스플레이하는 이미지 처리 시스템에 관한 것이다.
통상의 3차원 그래픽 애플리케이션 및 관련 하드웨어는 하나 이상의 3차원 대상물로 구성된 원하는 장면을 렌더링(rendering)한다. 통상적으로, 3차원 대상물은 예를 들어 삼각형과 같은 기하학적 기본 요소(geometric primitives)에 의해 표현된다. 3차원 그래픽 애플리케이션은 모델 좌표 시스템(model coordinate system) 내에 기하학적 기본 요소의 위치 및 칼라를 나타내는 그래픽 데이터를 저장한다. 그래픽 애플리케이션은 사용자가 그래픽 데이터를 조작해서 장면을 렌더링(즉, 시점에 근거하여 뷰잉 윈도우 내에서 볼 수 있는 장면의 대상물들을 디스플레이하는 것)할 수 있도록 해준다. 사용자는 시점 기준의 위치 및 방향을 변화시킴으로써(예를 들어 카메라 시점 기준을 변화시킴으로써), 원하는 장면들을 통해 네비게이션(navigation)할 수 있다. 또한, 일련의 사전 선택된 시점 기준의 위치 및 방향을 통해 네비게이션함으로써 애니메이션을 실행시킬 수 있다.
렌더링 동작은 상당한 계산을 요하는 프로세스이기 때문에 통상적으로 특수 그래픽 하드웨어에 의해 수행된다. 이러한 시스템은 성능이 우수하지만, 이러한 목적을 위해 전용으로 사용되는 특수 하드웨어에 대한 요구로 인해 고가이다.
더욱이, 통상의 3차원 그래픽 시스템에서는 사용자가 3차원 장면 모델을 제공할 것을 요구한다(즉, 모델 좌표 시스템 내에 장면의 기하학적 기본 요소의 위치 및 칼라를 나타내는 그래픽 데이터를 정의할 것을 요구한다). 이러한 3차원 모델은 주변 장치(예를 들면, 펜 태블릿, 스캐너, 카메라 등)와 결부하여 소프트웨어로 생성될 수 있다. 예를 들어, 3차원 그래픽 소프트웨어 패키지는 프랑스의 다솔트 시스템사(Dassault System)에서 CATIA라는 상품명으로 판매되고 있다. CATIA 시스템에서는 사용자가 원하는 장면에 대한 3차원 모델을 구축할 수 있도록 해준다. 그러나, CATIA와 같은 모델링 소프트웨어는 값이 비싸며, 비교적 복잡하지 않은 장면에 대한 그래픽 데이터를 정의하는 데에도 많은 노동을 투자해야 할 수도 있다.
통상의 3차원 그래픽 시스템과 관련된 높은 가격으로 인해, 3차원 장면을 생성하고 볼 수 있는 효과적이지만 아직은 제한된 처리 능력을 제공하는 대안책이 나왔었다. 통상적으로 이 대안책은 전용 그래픽 하드웨어를 필요로 하지 않고 표준 퍼스널 컴퓨터 상에서 이용하기에 적합하다. 이러한 해결책중 하나는 IBM사에 의해 개발되어 제공된 PANORAMIX라는 상품명의 소프트웨어를 들 수 있다.
PANORAMIX 시스템은 원통형 또는 다면체형 환경 맵을 사용하여 원하는 장면의 파노라마식 뷰(panoramic view)(혹은 이미지의 집합)를 나타낸다. 원통형 환경 맵을 원하는 뷰잉 윈도우로 맵핑함으로써 상이한 투시 뷰들이 렌더링된다.
이러한 다른 파노라마식 뷰어(viewer)로서 캘리포니아의 쿠퍼티노(Cupertino)에 있는 애플 컴퓨터사에 의해 개발되어 판매되는 QUICKTIMEVR이라는 상품명의 소프트웨어 시스템을 들 수 있다. QUICKTIMEVR 소프트웨어는 두 개의 패키지로 분할된다. 콘텐츠 제공자에게 판매되는 제 1 패키지는, 콘텐츠 제공자가 한 장면의 다중 뷰로부터 파노라마식 이미지를 전개할 수 있도록 해주는 저작 툴(authoring tool)이다. 제 2 패키지는 뷰어로서, 이는 소비자에게 제공되며 저작 툴에 의해 생성된 파노라마식 이미지를 소비자가 볼 수 있도록 해준다. QUICKTIMEVR 시스템의 동작에 대한 좀더 상세한 설명은, 첸(Chen)의 "QuicktimeVR -- An Image-based Approach to Virtual Environment Navigation"(ACM SIGGRAPH 1995, Los Angeles, CA, pp.29-38)과, 애플 컴퓨터사에 1995년 3월 7일 특허허여되고 발명의 명칭이 "Cylindrical to Planar Image Mapping Using Scanline Coherence"인 첸 등의 미국 특허 제 5,396,583 호에 개시되어 있다.
QUICKTIMEVR 시스템은 원통형 환경 맵을 사용하여 원하는 장면의 파노라마식 뷰(혹은 이미지의 집합)를 나타낸다. 원통형 환경 맵을 원하는 뷰잉 윈도우로 맵핑함으로써 상이한 투시 뷰들이 렌더링된다.
그 밖의 다른 상업용 파노라마식 뷰잉 시스템으로서 REALSPACE VR, PHOTOBUBBLES, 및 JUTVISION을 들 수 있다. 그러나, 이들 상업용 시스템은 원하는 장면의 파노라마식 뷰 내부에 스트림화 비디오를 구현할 수 없다.
파노라마식 장면 위에 스트림화 비디오를 중첩시키는 개념은, 본 발명과 동일한 출원인을 갖는 현재 특허 출원중인 발명의 명칭이 "Video Conferencing using Camera Environment Panoramas"인 샨드라 나라야나스와미(Chandra Narayanaswami)의 미국 특허 출원 제 08/745,524 호에 개시되어 있다. 여기서는, 화상 회의를 위한 대역폭을 감소시키는 방편으로서 비디오 데이터가 파노라마식 이미지 위에 중첩된다. 나라야나스와미의 발명에서, 파노라마식 환경 맵은 정적 데이터를 고려하는데, 이 정적 데이터는 일단 다운로드된 후에는 대화식으로 브라우징된다. 선택적으로, 비디오 데이터는 동적 데이터, 혹은 시변 데이터로서 간주된다. 유사하게, 96년 9월 27일 출원된 립스코움(Lipscomb) 등의 발명의 명칭이 "Method and Apparatus for Overlaying a Bit Map Image on an Environment Map"인 미국 특허 출원 제 08/723,970 호에는, 파노라마식 환경 맵의 일부로부터 형성된 제 2 이미지 상으로 제 1 이미지의 2차원 비트 맵을 카피하는 방법이 개시되어 있다.
본 발명의 제 1 목적 및 이점은 파노라마식 이미지 및 내장된 비디오 이미지의 디스플레이를 가능하게 해주는 이미지 처리 시스템을 제공하는 것이다.
본 발명의 다른 목적 및 이점은 파노라마식 이미지 및 내장된 비디오 이미지의 디스플레이를 동기화시키는 이미지 처리 시스템을 제공하는 것이다.
본 발명의 또다른 목적 및 이점은 장면의 파노라마식 이미지와 연속적으로 수신된 비디오 이미지의 스트림을 동기적으로 결합시켜 원하는 장면을 디스플레이하는 이미지 처리 시스템을 제공하는 것이다.
본 발명의 또다른 목적 및 이점은 도면 및 이하의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1은 본 발명의 바람직한 실시예에 사용될 수 있는 컴퓨터 처리 시스템의 기능 블럭도,
도 2a는 독립적인 파노라마식 디스플레이 프로세스를 나타내는 기능 블럭의 흐름도,
도 2b는 도 2a에 따라 파노마라식 디스플레이 프로세스를 수행하는 방법을 나타낸 도면,
도 3은 직사각형 부분으로 분할되며 이미지 처리를 위해 독립적인 파노라마식 디스플레이 프로그램에 의해 이용되는 원통형 환경 맵을 도시한 도면,
도 4는 이미지 처리를 위해 독립적인 파노라마식 디스플레이 프로그램에 의해 사용되는 도 3의 환경 맵으로부터 원통형 직사각형 영역의 피라미드형 볼륨을 계산하는 방법을 나타낸 도면,
도 5는 독립적인 비디오 디스플레이 프로세스를 나타낸 기능 블럭의 흐름도,
도 6은 도 5에 따라 비디오 디스플레이 프로세스를 수행하는 방법을 나타낸 도면,
도 7은 본 발명에 따른 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스를 나타낸 기능 블럭의 흐름도,
도 8은 본 발명에 따른 다른 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스를 나타낸 기능 블럭의 흐름도,
도 9는 도 8에 따른 다른 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스를 수행하는 방법을 나타낸 도면.
도면의 주요 부분에 대한 부호의 설명
101 : 메모리103 : CPU
104 : 프레임 버퍼105 : 디스플레이 장치
107 : 입력 장치109 : 통신 링크
110 : 오디오 출력 장치
본 발명에 따르면 전술한 문제 및 그 밖의 다른 문제는 해결되며, 본 발명의 목적은 디스플레이를 위해 스트림화 비디오 데이터가 파노라마식 이미지 내에 삽입되는, 본 발명의 바람직한 실시예에 따른 방법 및 장치에 의해 구현된다.
본 발명에서는 저장되어 있는 장면의 환경 맵 및 그 장면의 비디오 데이터로부터 원하는 장면의 이미지를 디스플레이하는 방법을 개시한다. 이 방법은, (A) 장면의 비디오 데이터를 수신 및 저장하는 단계와, (B) 장면의 방향을 선택하는 단계와, (C) 장면의 선택된 방향에 따라 비디오 데이터를 검색하는 단계와, (D) 선택된 방향에 대한 제 1 이미지를 생성하기 위해 장면의 선택된 방향에 따라 환경 맵을 렌더링하는 단계와, (E) 원하는 장면의 선택된 방향에 대한 복합 이미지를 형성하기 위해 검색된 비디오 데이터 및 제 1 이미지를 동기적으로 결합시키는 단계와, (F) 복합 이미지를 디스플레이하는 단계를 포함한다.
본 발명의 일실시예에서, 원하는 장면의 이미지를 디스플레이하는 방법은, 이미지 데이터 및 사운드 데이터를 포함하는 비디오 데이터 패킷을 연속적으로 수신하는 단계를 더 포함한다. 이 실시예에서, 이미지 데이터의 선택된 부분이 디스플레이되는 동안 사운드 데이터는 연속적으로 재생된다.
본 발명의 다른 실시예에서, 원하는 장면의 이미지를 디스플레이하는 방법은, 환경 맵을 렌더링함으로써 발생되는 비디오 데이터 및 제 1 이미지를 레이어링하는 단계를 더 포함한다. 본 발명에서, 레이어링 기법에는 예를 들어 그리기 순서 레이어링(drawing order layering), z-버퍼 은닉 레이어링(z-buffer-hiding layering), 및 크로마-키 레이어링(chroma-key layering)이 포함된다.
본 발명은 또한, 저장되어 있는 장면의 환경 맵 및 상기 장면의 비디오 데이터로부터 원하는 장면의 이미지를 디스플레이하는 이미지 처리 시스템을 개시한다. 이미지 처리 시스템은 장면의 비디오 데이터를 수신 및 저장하는 요소와, 장면의 방향을 선택하는 요소와, 장면의 선택된 방향에 따라 비디오 데이터를 검색하는 요소와, 선택된 방향에 대한 제 1 이미지를 생성하기 위해 장면의 선택된 방향에 따라 환경 맵을 렌더링하기 위한 요소와, 원하는 장면의 선택된 방향에 대한 복합 이미지를 형성하기 위해 검색된 비디오 데이터 및 제 1 이미지를 동기적으로 결합시키는 요소와, 복합 이미지를 디스플레이하는 요소를 포함한다.
본 명세서에는 스트림화 비디오와 함께 파노라마식 이미지를 디스플레이하는 방법 및 장치가 제시된다.
본 발명은 예를 들어, 퍼스널 컴퓨터, 워크스테이션, 혹은 퍼스널 컴퓨터 또는 워크스테이션과 더불어 작업하는 그래픽 어댑터를 포함하여 어떠한 컴퓨터 처리 시스템 상에서도 구현될 수 있다. 도 1에, 본 발명에서 사용되는 예시적인 컴퓨터 처리 시스템을 도시한다. 예시적인 컴퓨터 처리 시스템은, 메모리(101)와, 적어도 하나의 중앙 처리 장치(CPU)(103)(하나만 도시함)와, 적어도 하나의 사용자 입력 장치(107)(예를 들면 키보드, 마우스, 조이스틱, 음성 인식 시스템 혹은 필적(handwriting) 인식 시스템)를 통상적으로 포함한다. 또한, 컴퓨터 처리 시스템은, 메모리(101)로 로드되어 CPU(103)에 의해 실행되는 오퍼레이팅 시스템 및 하나 이상의 애플리케이션 프로그램을 저장하는 ROM과 같은 비휘발성 메모리 및/또는 고정 디스크 드라이브와 같은 그 밖의 다른 비휘발성 저장 장치(108)를 포함한다. 오퍼레이팅 시스템 및 애플리케이션 프로그램을 실행할 때, CPU는 비휘발성 저장 장치(108) 및/또는 메모리(101)에 저장된 데이터를 이용할 수도 있다.
이 예시적인 컴퓨터 처리 시스템은 또한 CPU(103)와 디스플레이 장치(105) 사이에 결합된 프레임 버퍼(104)를 포함한다. 디스플레이 장치(105)는 CRT 디스플레이 혹은 LCD 디스플레이일 수 있다. 프레임 버퍼(104)는 디스플레이 장치(105) 상에 디스플레이될 이미지를 나타내는 화소 데이터를 포함한다. 몇몇 시스템에서, 예를 들어 그래픽 가속기(graphics accelerator)와 같은 렌더링 장치(도시하지 않음)가 CPU(103)와 프레임 버퍼(104) 사이에 결합될 수도 있다.
오디오 디스플레이는 오디오 출력 장치(110)에 의해 수행되는데, 이 오디오 출력 장치(110)는 예를 들어, 컴퓨터 시스템에 직접 접속되거나 혹은 컴퓨터 시스템에 연결되어 있는 오디오 카드에 접속되는 스피커 또는 헤드폰일 수 있다.
이 예시적인 컴퓨터 처리 시스템은 CPU(103)에 접속된 통신 링크(109)(예를 들면 네트워크 어댑터, RF 링크, 혹은 모뎀)를 포함할 수도 있는데, 이로 인해 CPU(103)가 예를 들어 인터넷과 같은 통신 링크를 통해 다른 컴퓨터 처리 시스템과 통신할 수 있게 된다. CPU(103)는, 통신 링크를 통해 오퍼레이팅 시스템 및 애플리케이션 프로그램을 실행할 때 오퍼레이팅 시스템의 일부, 애플리케이션 프로그램의 일부, 혹은 CPU(103)에 의해 사용되는 데이터의 일부를 수신할 수도 있다.
CPU(103)에 의해 실행되는 애플리케이션 프로그램은 이하 상세히 기술될 본 발명의 렌더링 방법을 구현할 수도 있다. 선택적으로, 이하 기술되는 렌더링 방법의 일부 혹은 전부는 CPU(103)에 의해 실행되는 애플리케이션 프로그램과 결부되어 동작하는 하드웨어 내에서 구현될 수도 있다.
전술한 바와 같이, 파노라마식 장면 위에 스트림화 비디오를 중첩시키는 개념은 이미지 처리 분야에서 잘 알려져 있는데, 예를 들어 전술한 미국 특허 출원 제 08/745,524 호 및 제 08/723,970 호를 참조하기로 한다. 도 2a 및 도 2b에 독립적인 파노라마식 디스플레이 프로세스를 나타낸다. 이 프로세스를 실행하기 전에, 배경 환경 맵이 생성되며 소스 시스템으로부터 타겟 시스템으로 통신이 행해진다. 배경 환경 맵은 예를 들면, 엘리먼트 혹은 화소의 직사각형 어레이로 구성되는 원통형 환경 맵이며, 이들 엘리먼트 혹은 화소 각각은 3차원 장면의 일부를 나타내는 데이터를 포함한다. 도 3은 많은 직사각형 영역으로 분할되는 원통형 환경 맵(201)을 나타낸다. 주어진 직사각형 영역(302)은 원하는 장면의 특정 방향 또는 시점이다. 일단 원통형 환경 맵이 타겟 시스템에 수신되어 저장되면 파노라마식 디스플레이 프로세스가 개시될 수 있다.
다시 도 2a 및 도 2b를 참조하면, 블럭(202)에서 원통형 환경 맵(201), 즉 파노라마식 이미지를 판독함으로써 독립적인 파노라마식 디스플레이 프로세스가 개시된다. 원통형 환경 맵(201)을 판독함으로써, 선택된 맵(202)의 부분, 즉 원하는 방향 또는 뷰잉 윈도우가 디스플레이를 위해 선택된다. 블럭(204)에서, 선택된 원통형 부분을 원하는 장면의 직선형 프로젝션(rectilinear projection)으로 변환하는 파노라마식 스테이징 변환(panoramic staging transformation)이 수행된다. 블럭(206)에서, 파노라마식 스테이징 버퍼(203)에 직선형 프로젝션이 저장된다. 블럭(208)에서 디스플레이 갱신 변환이 수행되어, 파노라마식 스테이징 버퍼(203)의 내용이 디스플레이 버퍼(205)로 카피된다. 그 후 블럭(210)에서, 직선형 프로젝션, 즉 파노라마식 스테이징 버퍼(203)의 내용이 디스플레이 버퍼(205)로부터 디스플레이하도록 준비되며, 파노라마식 디스플레이 프로세스가 완료된다.
도 4는 원통형 환경 맵(201)의 원통형 프로젝션이 직선형 프로젝션(402)으로 변환되는, 파노라마식 스테이징 변환을 수행하는 방법을 도시한 도면이다. 이 변환은, 원점 0 및 포인트 a, b, c 및 d에 의해 규정되는 좁은 피라미드를 포인트 A, B, C, 및 D에 의해 규정되는 직사각형 영역(402)으로 맵핑함으로써 수행된다. 이 맵핑 프로세스는 미국 특허 출원 제 08/745,524 호 및 제 08/723,970 호에 상세히 기술되어 있다.
도 5 및 도 6에, 독립적인 비디오 디스플레이 프로세스를 나타낸다. 블럭(502)에서, 소스 시스템으로부터 타겟 시스템으로 기록되고 전송된 비디오 데이터 패킷(601)을 수신함으로써 비디오 디스플레이 프로세스가 시작된다. 비디오 데이터 패킷(601)은 예를 들어 소스 시스템에 기록된 이미지 데이터, 사운드 데이터 및 인스트럭션을 포함할 수도 있다. 블럭(504)에서, 수신된 이미지 데이터는 프레임의 시퀀스로서 비디오 버퍼 풀(602)에서 어셈블링되고 저장된다. 비디오 데이터 패킷(601)을 수신하고, 비디오 버퍼 풀(602) 내에 이미지 데이터를 어셈블링하고 저장하는 단계는, 소스 시스템이 타겟 시스템으로 연속적으로 비디오 데이터 패킷(601)을 스트림화함에 따라 반복된다. 블럭(506)에서, 비디오 버퍼 풀(602)의 비디오 스테이징 버퍼(603)로부터 이미지 데이터 프레임의 시퀀스가 선택된다. 비디오 스테이징 버퍼(603)로부터 이미지 데이터 프레임의 시퀀스가 디스플레이를 위해 선택되는 동안 사운드 데이터가 연속적으로 재생된다. 그 후 블럭(508)에서, 선택된 이미지 데이터 프레임을 디스플레이에 적절한 포맷으로 변환하는 디스플레이 갱신 변환이 수행된다. 예를 들면, 디스플레이 갱신 변환에서는 24-비트 칼라에서 8-비트 칼라로의 변환이 행해질 수 있는데, 즉 원하는 칼라에 가까운 칼라를 갖는 개체를 칼라-맵핑하기 위해 24-비트 레드-그린-블루(RGB) 값을 8-비트 포인터로 변환한다. 블럭(510)에서, 변환된 이미지 데이터(604)는 비디오 디스플레이 버퍼(605)에 저장된다. 그 후 블럭(512)에서, 비디오 디스플레이 버퍼(605)로부터 변환된 이미지 데이터(604)가 디스플레이되도록 준비되며, 비디오 디스플레이 프로세스가 완료된다.
본 발명에 따르면, 전술한 독립적인 파노라마식 디스플레이 프로세스 및 비디오 디스플레이 프로세스는 동시에 결합되고 실행되어서, 원하는 장면의 파노라마식 뷰가 그 내부에 구비된 스트림화 비디오와 함께 렌더링될 수 있다. 이에 따라, 파노라마식 이미지 내에 삽입된 스트림화 비디오 이미지가 디스플레이된다.
우선, 본 발명의 결합된 프로세스는 여러가지 방식으로 독립적인 프로세스보다 개선되었음에 유의하자. 전술한 나라야나스와미의 미국 특허 출원 제 08/745,524 호에서는, 화상 회의용 대역폭을 감소시키는 방법으로서 비디오 데이터를 파노라마식 이미지 위에 중첩시키는 방법을 개시하였다. 나라야나스와미는 또한, 파노라마식 환경 맵이 정적 데이터로서 간주되며 타겟 시스템으로 한번 전송되며, 반면에 비디오 데이터는 동적 데이터이며 기록될 때 혹은 기록된 직후 타겟 시스템으로 전송되는 것에 대해 개시하고 있다. 본 발명에서는 네트워크 대역폭을 효율적으로 사용하는 방식으로 정적 데이터 및 동적 데이터의 전송을 통합하는 방법을 제시한다. 우선, 정적 파노라마식 이미지를 다운로딩하는데 네트워크 대역폭이 사용되며, 그 후 전술한 미국 특허 출원 제 08/723,970 호에 개시된 바와 같은 스트림화 기법을 이용하여 동적 비디오를 전송하는데 네트워크 대역폭이 사용된다. 그 후 정적 데이터 및 동적 데이터 성분이 이하에 기술되는 바와 같은 복합 이미지로서 디스플레이되도록 인터리브된다.
본 발명은 전술한 독립적인 프로세스와 유사한 단계를 포함할 수도 있으며, 스트림화 비디오 데이터를 소스로서 사용하고, 비디오 디스플레이 및 파노라마식 디스플레이 프로세스를 동기화시키고, 디스플레이를 위해 파노라마식 이미지와 비디오 이미지를 결합시키는 복합 변환 단계를 포함함으로써 종래 기술을 개선한다. 비디오 디스플레이 및 파노라마식 디스플레이를 동기화시키지 못하고, 디스플레이하기 전에 비디오의 변환을 행하지 못하는 것을 포함하는 독립적인 프로세스의 인지된 한계를 이 결합 프로세스가 극복한 것으로 여겨진다. 본 발명에서, 비디오 데이터 변환 단계는 예를 들어 비디오 이미지를 파노라마식 이미지로 스케일링하고 클리핑(clipping)하고 쉬어링(shearing)하며 스트레칭하고 크로마 키잉(chroma keying)하는 기능을 포함한다.
도 7에, 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스를 나타낸다. 결합 프로세스에서, 독립적인 파노라마식 프로세스 및 비디오 디스플레이 프로세스에서 기술한 바와 유사한 회수의 단계가 실행됨을 알 수 있다. 따라서, 결합 프로세스의 파노라마식 디스플레이 부분, 즉 블럭(202∼206)에서 저장된 배경 환경 맵이 판독되며, 파노라마식 변환 기능을 실행시킴으로써 원통형 부분이 직선형 프로젝션으로 변환된다. 마찬가지로, 비디오 디스플레이 부분, 즉 블럭(502∼506)에서, 연속적으로 수신된 비디오 데이터 패킷의 이미지 데이터가 디스플레이를 위해 선택된다. 그러나, 결합 프로세스의 블럭(708)에서, 새로운 변환 기능, 즉 복합 변환 동작에서 비디오 스테이징 버퍼(603)로부터의 선택된 비디오 이미지 데이터를 변환한다. 그 후, 블럭(710)에서 변환된 비디오 이미지 데이터가 파노라마식 디스플레이 프로세스의 직선형 프로젝션과 결합되어 복합 이미지를 형성하게 된다. 블럭(712)에서, 디스플레이를 위해 파노라마식 스테이징 버퍼(203)에 이 복합 이미지가 저장된다. 블럭(208)에서, 파노라마식 스테이징 버퍼(203)의 내용이 디스플레이 버퍼(205)로 카피될 때 독립적인 파노라마식 디스플레이 프로세스가 재개된다. 이 경우, 파노라마식 스테이징 버퍼(203)의 내용물은 복합 이미지이다. 그 후 블럭(210)에서, 이 복합 이미지는 디스플레이 버퍼(205)로부터의 디스플레이를 위해 준비되며, 결합형 디스플레이 프로세스가 완료된다.
본 발명의 일실시예에서, 복합 변환 기능은, 선택된 이미지 데이터의 시퀀스를 포함하는 비디오 스테이징 버퍼(603)로 포인터를 전달함으로써 비디오 디스플레이 프로세스(블럭(502∼506))에서 디스플레이될 선택된 이미지 데이터의 시퀀스를 식별하는 단계를 포함한다. 이 실시예에서, 포인터는 예를 들어 서브루틴 호출의 인자로서 전달된다. 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스는 비디오 디스플레이 프로세스의 서브루틴을 호출할 수 있으며, 여기서 서브루틴 호출의 인자는 선택된 이미지 데이터의 시퀀스를 포함하는 비디오 스테이징 버퍼(603)의 위치 또는 어드레스임을 알 수 있다. 선택적으로, 비디오 디스플레이 프로세스는, 비디오 스테이징 버퍼(603)의 어드레스를 포함하는 파라미터로, 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스의 서브루틴을 호출할 수 있으며, 이 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스는 이 파라미터를 장래의 사용을 위해 저장한다. 본 기술 분야에 통상의 지식을 가진 자라면, 디스플레이될 선택된 이미지 데이터의 시퀀스를 식별하기 위해 그 밖의 다른 여러 많은 방법(예를 들면, 외부 이벤트 등)을 사용할 수 있음을 알 것이다.
전술한 바와 같이, 본 발명의 다른 실시예에서, 복합 변환 기능은, 선택된 비디오 이미지 데이터가 파노라마식 이미지에 합체되기 전에 스케일링되고 클리핑되며 쉬어링되고 스트레칭되고 크로마 키잉되며 레이어링되는 단계를 포함할 수도 있다. 본 실시예는 비디오 이미지 데이터가 소스 시스템으로부터 수신되었을 때 수신된 사운드 데이터에 대한 볼륨 제어를 행하는 단계를 더 포함할 수도 있다. 전술한 바와 같이, 이미지 데이터가 선택되는 동안, 사운드 데이터가 연속적으로 재생된다.
전술한 바로부터, 결합 프로세스와 독립적인 프로세스를 구별짓는 요소는, 적어도 파노라마식 그리기 프로세스와 비디오 그리기 프로세스를 동기화시키는 능력과, 복합 변환 단계에 있음을 알 수 있다. 이들 요소에 대해 이하 상세히 기술하기로 한다.
본 발명에서, 동기화 기법은 이하의 단계를 포함한다.
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. 블럭(708, 710)에서 변환된 이미지 데이터와 파노라마식 데이터를 결합시키는 단계를 포함하는 복합 변환을 수행하는 단계와,
3. 블럭(208)에서 파노라마식 스테이징 버퍼(203)의 내용을 디스플레이를 위해 디스플레이 버퍼(205)에 기입하는 디스플레이 갱신 변환을 수행하는 단계.
본 발명에 따른 시스템 동작이 연속적인 이미지 사이에 스테이징 버퍼를 클리어하지 않을 경우 이들 단계들의 동기화가 특히 중요성을 가짐에 유의하자. 예를 들면, 클리어되지 않은 버퍼가 기록 동작과 비동기적으로 판독될 경우, 판독된 결과는 현재 기록되고 있는 이미지와 혼합된 이전의 기록된 이미지를 부분적으로 포함할 것이다.
다시 도 7을 참조하면, 동기화 기법의 제 1 단계가 나타나있다. 파노라마식 스테이징 변환(블럭(204)) 및 디스플레이 갱신 변환(블럭(208))은 두 개의 프로세스가 비동기적으로 실행하는 것으로 보여질 수 있다. 이 비동기 동작 모드에서, 디스플레이 시간은 최적화되지만, 디스플레이 갱신 변환이 행해질 때 파노라마식 스테이징 버퍼(203)가 부분적으로 갱신된 이미지를 보유함에 따라 이미지 분열(image tearing)이 발생할 수도 있다. 이 두 개의 비동기적으로 실행되는 프로세스는 이하의 단계를 포함할 것이다.
파노라마식 스테이징 변환 단계에서,
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. 시점 이동(motion) 동안 대기하는 단계와,
3. 시점 방향 및 줌(zoom)을 갱신하는 단계와,
4. 단계 1로 진행하는 단계.
디스플레이 갱신 변환 단계에서,
1. 디스플레이 장치 상의 수직 귀선 소거 간격 동안 대기하는 단계와,
2. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
3. 단계 1로 진행하는 단계.
그러나, 프로그램이 동기화되었을 경우 디스플레이는 지연될 것이지만, 디스플레이 갱신 변환에서 이를 카피할 때 파노라마식 스테이징 버퍼가 단일의 완전하게 형성된 이미지를 포함함에 따라 이미지 분열이 방지될 것이다. 파노라마식 스테이징 변환(오직 파노라마식만, 비디오는 아님)이 디스플레이 갱신 변환과 교대로 행해지는 동기화된 프로세스는 이하의 단계를 포함할 것이다.
동기화된 프로세스:
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. 디스플레이 장치 상의 수직 귀선 소거 간격 동안 대기하는 단계와,
3. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
4. 시점 이동 동안 대기하는 단계와,
5. 시점 방향 및 줌을 갱신하는 단계와,
6. 단계 1로 진행하는 단계.
동기화 기법의 두 번째 단계에 대해 이하 기술하기로 한다. 두 번째 단계에서, 복합 변환(블럭(708, 710)), 파노라마식 스테이징 변환(블럭(204)), 및 디스플레이 갱신 변환(블럭(208)) 간의 관계가 분석된다. 비디오 이미지 데이터가 파노라마식 스테이징 버퍼 내에 중첩되기 때문에, 동기화된 프로세스가 바람직할 것임에 유의한다. 동기화된 프로세스는 비디오 이미지 데이터가 없는 변환된 파노라마식 이미지의 디스플레이 혹은 선택적으로, 부분적인 비디오 이미지를 갖는 변환된 파노라마식 이미지의 디스플레이를 방지한다. 따라서, 파노라마식 스테이징 변환(블럭(204)), 복합 변환(블럭(708, 710)) 및 디스플레이 갱신 변환(블럭(208))의 동기화가 이하와 같이 두 개의 프로세스가 동기적으로 실행되는 것처럼 기능하는 것으로 보여질 수 있다.
비디오 디스플레이 프로세스에서,
1. 비디오 데이터 패킷(601)을 비디오 버퍼 풀(602)로 수신하고 블럭(502, 504)에서 새로운 완료된 이미지를 형성하기에 충분한 패킷이 도달할 때까지 이미지 데이터 프레임을 어셈블링하는 단계와,
2. "새로운 비디오 스테이징 버퍼" 플래그가 클리어될 때까지 단계 1을 반복하는 단계와,
3. "복합 변환" 플래그가 클리어되기를 기다리는 단계와,
4. 가장 최근의 이미지를 가리키기 위해 디스플레이될 선택된 이미지 데이터 시퀀스를 포함하는 비디오 스테이징 버퍼(603)로 포인터를 이동시키는 단계와,
5. "새로운 비디오 스테이징 버퍼" 플래그를 세트시키는 단계와,
6. 이전의 비디오 스테이징 버퍼 이미지를 제거하고 비디오 버퍼 풀(602)로 스토리지(storage)를 복귀시키는 단계와,
7. 단계 1로 진행하는 단계.
파노라마식 디스플레이 프로세스에서,
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. "복합 변환" 플래그를 세트시키는 단계와,
3. 블럭(708, 710)에서 복합 변환을 수행하는 단계와,
4. "복합 변환" 플래그를 클리어하는 단계와,
5. "새로운 비디오 스테이징 버퍼" 플래그를 클리어하는 단계와,
6. 디스플레이 장치 상의 수직 귀선 소거 시간을 기다리는 단계와,
7. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
8. 시점 방향 "줌 인(in zoom)"의 변화 혹은 "새로운 비디오 스테이징 버퍼" 플래그가 세트되는 것을 기다리는 단계와,
9. 단계 1로 진행하는 단계.
다른 실시예에서, 파노라마식 스테이징 변환(블럭(204)), 복합 변환(블럭(708, 710)) 및 디스플레이 갱신 변환(블럭(208))의 동기화는 이하와 같이 기능한다.
"새로운 비디오 스테이징 버퍼" 플래그가 초기에 클리어되는 비디오 디스플레이 프로세스에서,
1. 비디오 데이터 패킷(601)을 비디오 버퍼 풀(602)로 수신하고 블럭(502, 504)에서 새로운 완료된 이미지를 형성하기에 충분한 패킷이 도달할 때까지 이미지 데이터 프레임을 어셈블링하는 단계와,
2. "복합 변환" 플래그가 세트될 때까지 단계 1을 반복하는 단계와,
3. 가장 최근의 이미지를 가리키기 위해 비디오 스테이징 버퍼(603)로 포인터를 이동시키는 단계와,
4. "새로운 비디오 스테이징 버퍼" 플래그를 세트시키는 단계와,
5. "복합 변환" 플래그가 클리어되기를 기다리는 단계와,
6. 이전의 비디오 스테이징 버퍼 이미지를 제거하고 비디오 버퍼 풀(602)로 스토리지를 복귀시키는 단계와,
7. 단계 1로 진행하는 단계.
"복합 변환" 플래그가 초기에 클리어되는 파노라마식 디스플레이 프로세스에서,
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. 복합 변환 플래그를 세트시키는 단계와,
3. "새로운 비디오 스테이징 버퍼" 플래그가 세트될 때, 혹은 단계 9에서 이전의 디스플레이된 이미지의 이전의 시점 방향 또는 줌으로부터 변화가 발생한 경우, 혹은 시점 방향 또는 줌이 변화할 때, 기다리고 진행하는 단계와,
4. 블럭(708, 710)에서 복합 변환을 수행하는 단계와,
5. "새로운 비디오 스테이징 버퍼" 플래그를 클리어하는 단계와,
6. "복합 변환" 플래그를 클리어하는 단계와,
7. 디스플레이 장치 상의 수직 귀선 소거 시간을 기다리는 단계와,
8. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
9. 시점 방향 및 줌을 갱신하는 단계와,
10. 단계 1로 진행하는 단계.
사전결정된 이벤트가 발생할 때 프로세스 단계의 조건부 실행에 대한 다른 기법 뿐만 아니라 "플래그"를 세트시키고 클리어하는 다른 방법은 본 발명의 범주 내에 포함됨을 알 수 있다. 본 발명의 중요한 특징에는 파노라마식 스테이징 변환 단계(블럭(204)), 복합 변환 단계(블럭(708, 710)), 및 디스플레이 갱신 변환 단계(블럭(208))의 동기화가 포함되며, 따라서 동기화를 구현하는 방법은 본 발명의 중요한 요소가 아니다.
또한, 임의의 연속적인 동작 순서(order)가 가능하며, 예를 들어 디스플레이 갱신 변환 단계(블럭(208))가 마지막 단계로서 수행되는 경우, 다중 파노라마식 및 비디오 스트림에 대해 여러 파노라마식 스테이징 단계와, 복합 변환 단계를 실행하는 것을 포함할 수도 있음에 유의한다.
도 8 및 도 9에 도시한 본 발명의 다른 실시예에서, 비디오 스테이징 변환(블럭(804))이 도 6 및 도 7에 나타낸 독립적인 비디오 디스플레이 프로세스에 합체된다. 도 6 및 도 7에서와 같이, 블럭(502)에서 비디오 디스플레이 프로세스에서는 소스 시스템으로부터 비디오 데이터 패킷(601)을 수신한다. 그러나 블럭(804)에서의, 비디오 스테이징 변환 단계에서 수신된 비디오 데이터 패킷(601)의 이미지 데이터를 비디오 스테이징 버퍼(603)에 직접 기입한다. 독립적인 비디오 디스플레이 프로세스에서처럼, 비디오 데이터 패킷(601)을 수신하고 수신된 이미지 데이터를 비디오 스테이징 버퍼(603)에 저장하는 단계는, 소스 시스템이 비디오 데이터 패킷(601)을 타겟 시스템으로 연속적으로 스트림화할 때 반복된다.
이러한 비디오 디스플레이 프로세스의 나머지 단계는 도 7의 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스에서 기술한 바와 같이 수행된다. 따라서, 수신된 이미지 데이터는 비디오 스테이징 버퍼(603)로부터 선택되고(블럭(506)), 복합 변환에 의해 변환되며(블럭(708)), 복합 이미지(903)를 형성하기 위해 파노라마식 데이터와 결합되고(블럭(710)), 디스플레이를 위해 스테이징된다(블럭(712∼210)).
비디오 스테이징 변환(블럭(804))은 복합 변환(블럭(708, 710))과 비동기화될 수도 있고, 혹은 동기화될 수도 있음에 유의한다. 전술한 바와 같이, 비동기화된 구현 방법에서는 디스플레이 시간을 가속시킬 수도 있지만, 복합 변환이 행해질 때 비디오 스테이징 버퍼가 부분적으로 갱신된 이미지를 보유함에 따른 이미지 분열이 유발될 수 있다. 동작면에서, 이 비동기 동작 프로세스는 이하와 같이 수행될 수도 있다.
"새로운 비디오 스테이징 버퍼" 플래그가 초기에 클리어되는 비디오 디스플레이 프로세스에서,
1. 새로운 완료된 이미지(블럭(502, 804))를 형성하기에 충분한 패킷이 도달할 때까지 비디오 데이터 패킷(601)을 비디오 스테이징 버퍼(603)로 판독하는 단계와,
2. 단계 1로 진행하는 단계.
"복합 변환" 플래그가 초기에 클리어되는 파노라마식 디스플레이 프로세스에서,
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. 블럭(708, 710)에서 복합 변환을 수행하는 단계와,
3. 디스플레이 장치 상의 수직 귀선 소거 간격 동안 대기하는 단계와,
4. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
5. 시점 방향 및 줌을 갱신하는 단계와,
6. 단계 1로 진행하는 단계.
비디오 스테이징 변환(블럭(804)이 복합 변환(블럭(708, 710))과 동기화될 때, 디스플레이는 지연되지만, 이미지 분열은 방지된다. 동기화된 동작 모드에서, 비디오 스테이징 변환은 복합 변환과 교대로 수행되며, 이에 따라 파노라마식 디스플레이 프로세스는 이하와 같이 비디오 디스플레이 프로세스와 동시에 실행된다.
"새로운 비디오 스테이징 버퍼" 플래그가 초기에 클리어되는 비디오 디스플레이 프로세스에서,
1. 블럭(502, 804)에서 새로운 완료된 이미지를 형성하기에 충분한 패킷이 도달할 때까지 비디오 스테이징 버퍼(603)로 비디오 데이터 패킷(601)을 판독하는 단계와,
2. "복합 변환" 플래그가 세트될 때까지 단계 1을 반복하는 단계와,
3. "새로운 비디오 스테이징 버퍼" 플래그를 세트시키는 단계와,
4. "복합 변환" 플래그가 클리어되기를 기다리는 단계와,
5. 단계 1로 진행하는 단계.
"복합 변환" 플래그가 초기에 클리어되는 파노라마식 디스플레이 프로세스에서,
1. 블럭(204)에서 파노라마식 스테이징 변환을 수행하는 단계와,
2. "복합 변환" 플래그를 세트시키는 단계와,
3. "새로운 비디오 스테이징 버퍼" 플래그가 세트되기를 기다리는 단계와,
4. 블럭(708, 710)에서 복합 변환을 수행하는 단계와,
5. "새로운 비디오 스테이징 버퍼" 플래그를 클리어하는 단계와,
6. "복합 변환" 플래그를 클리어하는 단계와,
7. 디스플레이 장치 상의 수직 귀선 소거 간격 동안 대기하는 단계와,
8. 블럭(208)에서 디스플레이 갱신 변환을 수행하는 단계와,
9. 시점 방향 및 줌을 갱신하는 단계와,
10. 단계 1로 진행하는 단계.
다시 도 7을 참조하여, 동기화 기법의 세 번째 단계를 이하 기술한다. 세 번째 단계에서, 디스플레이 갱신 변환(블럭(208)) 및 디스플레이 장치 리프레시 기간 사이의 관계가 분석된다. 전술한 바와 같이, 디스플레이 갱신 변환 및 디스플레이 장치 리프레시 기간은 동기화 혹은 비동기화 모드로 동작할 수도 있다. 그러나, 통상적으로 디스플레이 장치 리프레시 기간은 본 발명에 따라 실행되는 컴퓨터의 오퍼레이팅 시스템에 의해 제공되며, 이에 따라 리프레시 기간이 시작되는 타임 프레임은 컴퓨터 상에서 실행되는 애플리케이션 프로그램에 의해 제어되지 않음에 유의한다. 이와 같이, 본 발명의 방법에서는 애플리케이션 프로그램(이는, 디스플레이 장치의 리프레시 기간을 제어할 수 없음)의 제어하에 다른 변환(예를 들면 복합 및 파노라마식 스테이징 변환)에 따라 디스플레이 갱신 변환이 발생하는 시점을 제어할 수 있다.
따라서, 동기화된 동작 모드에서는 이전에 개략적으로 설명한 프로세스 단계 각각은 "디스플레이 장치 상의 수직 귀선 소거 간격 동안 대기하는 단계"를 포함하고, 비동기 동작 모드에서는 이 단계를 포함하지 않을 것이다.
전술한 동기화 기법의 3가지 단계 각각의 설명에서는 이미지가 기록되기 전에는 스테이징 버퍼가 클리어되지 않았음에 특히 유의한다. 만약 스테이징 버퍼가 기록 동작을 행하는 임의의 변환 전에 클리어되도록 이들 프로세스가 변경될 경우, 판독 변환에서 클리어되거나 혹은 부분적으로 클리어된 버퍼를 판독하지 않도록 그 변환 동작을 그 버퍼를 판독하는 임의의 변환 동작과 동기화시켜야 하며, 이로 인해 미스(miss)되거나 혹은 불완전한 이미지가 디스플레이될 것이다.
본 발명의 동기화 기법에 대한 옵션을 기술하였으므로, 이하에서는 예를 들어 비디오 이미지를 파노라마식 이미지로 스케일링하고 클리핑하며 쉬어링하고 스트레칭하며 크로마 키잉하고 레이어링하는 기능을 포함하는 비디오 데이터 변환 단계에 대해 중점적으로 기술하기로 한다.
이미지 데이터를 스케일링 및 쉬어링하는 프로세스는 이미지 처리 분야에 알려져 있으며, 예를 들어 제이 디 폴리(J. D. Foley), 에이 반 담(A. van Dam), 에스 케이 페이너(S. K. Feiner) 및 제이 에프 휴즈(J. F. Hughes)에 의한 "Computer Graphics, principles and practice"(second edition, 1990, Addison-Wesley Publishing Company, Reading NY at chapter 5, Geometrical Transformations)에 기술되어 있음을 우선 주지한다. 도 2a의 독립적인 파노라마식 디스플레이 프로세스에서는 "줌" 기능이 실행될 때 스케일링 동작을 적용할 수도 있음을 또한 주지한다.
전술한 바와 같이, 복합 변환은 예를 들어 이미지 데이터가 변환되고 파노라마식 스테이징 버퍼(603)에서 파노라마식 데이터와 결합될 때(도 7의 블럭(708∼712)) 비디오 이미지 데이터를 스케일링하거나 쉬어링하는 기능을 포함한다. 본 발명의 일실시예에 따르면, 복합 변환(블럭(708))에서는 파노라마식 스테이징 변환(블럭(204))에서 수행된 임의의 스케일링 동작과 일관성을 유지하도록 비디오 이미지 데이터를 스케일링한다. 일관성있는 스케일링 동작을 유지함으로써, 비디오 데이터 이미지는 파노라마식 스테이징 변환으로부터 스케일링된 이미지와 비례하게 된다. 따라서, 비디오 데이터 이미지 및 파노라마식 이미지가 동일하게 주밍(zooming)된다. 또한, 비디오 이미지 데이터의 하나의 포인트에 대한 위치는 주밍 동작 동안 파노라마식 스테이징 버퍼(203) 내에 유지되어서 이 하나의 포인트는 파노라마식 이미지 상의 대응하는 위치에 고정된 것으로 보인다.
마찬가지로, 본 발명의 일실시예의 복합 변환 내의 쉬어링 동작은 파노라마식 스테이징 변환 내의 쉬어링 동작과 일관성을 유지하도록 수행된다. 따라서, 쉬어링 동작은, 비디오 이미지 데이터의 화소를 파노라마식 스테이징 버퍼(203)로 맵핑하여, 이들이 파노라마식 이미지 상의 위치에 많이 보여서 고정되지 않게 수행된다.
본 발명에 따르면, 비디오 이미지 데이터는, 이미지가 복합 이미지를 형성하도록 결합될 때(블럭(708, 710)) 파노라마식 이미지 데이터와 레이어링될 수도 있다. 복합 변환의 레이어링 동작에서는 파노라마식 이미지 데이터 상으로 비디오 이미지 데이터를 그 전부 혹은 일부 삽입할 수도 있음(혹은 이와 반대도 가능함)에 유의한다. 본 발명에 따르면, 레이어링 기법에는 예를 들어 그리기 순서, z-버퍼 은닉, 및 크로마-키잉 기법이 포함될 수 있다.
그리기 순서 레이어링 기법에서, 두 번째 이미지는 첫 번째 원래의 이미지 상으로 페인팅되어서, 생성되는 복합 이미지 내에서 두 번째 이미지가 첫 번째 이미지를 가리기 때문에 두 번째 이미지가 관찰자에게 더 가까운 것처럼 보일 수 있다. 또한, z-버퍼 은닉 레이어링 기법에서는 두 번째 이미지를 첫 번째의 원래의 이미지 상으로 페인팅해서, 두 번째 이미지가 관찰자에 더 가까운 것처럼 보이도록 만들 수 있지만, z-버퍼 은닉 레이어링 기법에서는 화소가 각 화소에 대응하는 깊이 정보에 근거하여 개별적으로 그려지거나 그려지지 않는다. 화소가 관찰자에게 더 가까이 있음을 나타내는 대응하는 깊이 정보를 갖는 화소만이 그려진다. 따라서, z-버퍼 은닉 레이어링 기법에서는 대상물(두 번째 이미지)이 다른 대상물(첫 번째 이미지) 앞에서 부분적으로 돌출되도록 해준다.
그리기 순서 및 z-버퍼 은닉 레이어링 기법 둘 모두는 이미지 처리 분야에 알려져 있으며, 이들 기법에 대한 상세한 설명이 예를 들어 제이 디 폴리, 에이 반 담, 에스 케이 페이너 및 제이 에프 휴즈에 의한 "Computer Graphics, principles and practice"(second edition, 1990, Addison-Wesley Publishing Company, Reading NY, see index under painter's algorithm and z-buffer)에 나와있다.
마찬가지로, 크로마-키잉 레이어링 기술에서도 또한 두 번째 이미지를 첫 번째의 원래의 이미지 상으로 페인팅해서 두 번째 이미지가 관찰자에게 가깝게 보이도록, 혹은 관찰자로부터 멀게 보이도록 한다. 그러나, 크로마-키잉 레이어링 기법에서는, 화소의 칼라를 나타내는 값에 근거하여 화소가 개별적으로 그려지거나 그려지지 않는다. 크로마-키잉 레이어링 기법은 이하 상세히 기술된다.
본 발명의 일실시예에서, 전술한 레이어링 기법 각각은, 비디오 데이터 이미지가 변환되고 파노라마식 데이터 이미지와 결합될 때 수행될 수도 있고 혹은 수행되지 않을 수도 있다. 스프라이트(sprites)(2차원 이미지)가 파노라마식 이미지 위에 중첩될 때 이들 독립적인 레이어링 기법이 적용되었지만, 디스플레이에 적합한 복합 이미지를 형성하기 위해 비디오 이미지 데이터가 파노라마식 이미지 데이터와 결합되었을 때는 지금까지 레이어링 기법이 적용되지 않았었다. 변환 동작은 존재하는 경우 임의의 순서로 레이어링 기법을 채용할 수 있으며, 비디오 이미지 데이터와 파노라마식 이미지 데이터가 결합될 때 하나 이상의 파노라마식 스테이징 변환 및 하나 이상의 복합 변환이 수행될 수 있음에 유의한다.
이하에서는 크로마-키잉 레이어링 기술에 대해 더욱 분석하기로 한다. 그러나 본 발명에서 크로마-키잉 레이어링 기술은, 특정 목적지에 기록되는 이미지, 즉 소스에 의해 전송된 이미지, 혹은 목적지에서의 이미지, 즉 타겟의 기록 버퍼 내의 이미지에 적용될 수 있음에 우선 유의한다.
크로마 키 기술은 예를 들면 TV 및 영화 산업에 사용되는 통상의 레이어링 기술로서, 이미지의 내용에 근거하여 전체 이미지를 카피하는 대신에 이미지의 일부를 기록하는 것이다. 예를 들면, 크로마 키 기술은, 청색 혹은 녹색 스크린 앞에 서 있는 TV 기상 통보관이 큰 기상 지도 앞에 서있는 것처럼 보이도록 해준다. 이 방법은 화소를 기록할 지 여부에 대한 결정을 크로마 키 임계치에 따라 수행하는 프로세스에 근거한 것이다. 크로마 키 임계치는 기록될 예정에 있거나, 혹은 기록되고 있는 중인 이미지의 화소들의 칼라, 밝기 및 값을 조합한 것이다. 크로마 키잉 레이어링 기술에 대한 보다 상세한 설명은 예를 들면, 케이스 잭(Keith Jack)의 "Video Demystified, a Handbook for the Digital Engineer"(second edition, 1996, High Text Publications, San Diego, 404-412 and A-54)에 나와있다.
예시적인 크로마 키에서, 크로마 키 칼라 값은 녹색과 청색이 없는 빨간색이다. 녹색 혹은 청색이 없는 지정된 빨간색 값을 갖고 있을 경우, RGB 화소값은 기록되지 않을 것이다. 이러한 방식으로, 크로마 키값은 투명한 것과 동일하다. 이는 이하의 화상 회의 예에서 행해진다. 크로마 키의 다른 예에서, 크로마 키 칼라값은 녹색 혹은 청색이 없는 빨간색이다. 기록되고 있는 배경이 녹색 혹은 청색이 없는 지정된 빨간색 값을 가지고 있을 경우, RGB 화소 값이 기록된다. 이러한 방식으로 크로마 키 값은 이미지가 투사되고 있는 스크린의 것과 동일하다. 이는 이하의 비행 시뮬레이션의 예에서 행해진다.
두 번째 예에서는 화상 회의 예가 분석된다. 이 예에서, 복합 이미지는 회의실의 파노라마식 장면 상에 디스플레이되는 사람의 머리를 포함한다. 파노라마식 스테이징 변환(도 7의 블럭(204))에서는 선택된 파노라마식 이미지의 원통형 부분(201)을 직선형 프로젝션으로 변환하고, 이 직선형 프로젝션을 파노라마식 스테이징 버퍼(203)에 저장한다(블럭(206)). 그 후 사람의 비디오 이미지는 뚜렷한 평면 배경 위에서 소스 시스템에 의해 레코딩되고, 타겟 시스템으로 전송된다. 평면 배경 칼라는 크로마 키인 것으로 선언되는데, 이는 뚜렷한 평면 배경이 아닌 사람을 나타내는 화소들의 변환을 가능하게 해준다. 따라서, 뚜렷한 평면 배경은 복합 이미지에 나타나지 않는다. 따라서, 크로마 키잉된 복합 변환(블럭(708,710))에서는, 크로마 키 영역 밖에 있는, 비디오 스테이징 버퍼(603)로부터의 비디오 이미지 데이터, 즉, 복합 이미지를 형성하기 위해 뚜렷한 평면 배경을 제외한 사람을 나타내는 화소들을 파노라마식 디스플레이 스테이징 버퍼(203)(이제 파노라마식 이미지 데이터만을 가짐)로 카피한다. 복합 이미지는 파노라마식 스테이징 버퍼(203)에 저장된다(블럭(712)). 갱신 디스플레이 변환이 일단 수행되면(블럭(208)), 복합 이미지는 디스플레이될 준비가 된다(블럭(210)). 따라서, 크로마 키잉된 변환을 이용하는 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스의 관련된 서브셋은 다음과 같이 수행된다.
1. 파노라마식 스테이징 버퍼에서 다음 화소로 진행시키는 단계와,
2. 블럭(204)에서 이 화소에 대해 파노라마식 스테이징 변환을 수행하는 단계와,
3. 블럭(506)에서, 파노라마식 스테이징 버퍼(203)로 카피될 대응 화소를 비디오 스테이징 버퍼(603)에서 선택하는 단계와,
4. 비디오 화소의 빨간색, 녹색 혹은 청색 성분 모두가 크로마 키잉될 빨간색, 녹색 및 청색의 지정된 영역 내에 있을 경우, 단계 1로 가는 단계와,
5. 비디오 스테이징 버퍼(603)의 화소를 변환하고 이 화소를 파노라마식 스테이징 버퍼(203) 내의 파노라마식 이미지와 결합시키는 단계와,
6. 단계 1로 진행하는 단계.
또다른 예에서, 비행 시뮬레이션 시퀀스가 분석된다. 비행 시뮬레이션에서, 복합 이미지는 조종실 내부의 파노라마식 이미지에서 윈도우 밖으로 디스플레이되는 비디오 이미지를 포함한다. 이 예에서, 전술한 바와 같이, 파노라마식 스테이징 변환(블럭(204))에서는 조종실의 파노라마식 이미지의 선택된 원통형 부분을 직선형 프로젝션으로 변환하여 이 직선형 프로젝션을 파노라마식 디스플레이 스테이징 버퍼(203)에 저장한다(블럭(206)). 이 파노라마식 이미지는 조종실의 윈도우 영역에 뚜렷한 평면 배경을 갖는다. 이착륙의 비디오가 소스 시스템에 의해 레코딩되어 타겟 시스템의 비디오 스테이징 버퍼(603)에 저장된다. 크로마 키잉된 복합 변환(블럭(708, 710))에서는, 크로마 키 임계치 범위 내에 있는 조종실 장면 부분 위에 겹쳐지는, 비디오 스테이징 버퍼 내의 비디오 이미지를 변환한다. 파노라마식 디스플레이 스테이징 버퍼(203)(이제 조종실의 파노라마식 배경을 가짐)는 복합 이미지를 형성하도록 변환된 비디오 이미지와 합쳐진다. 이 예에서, 비디오 이미지는 레이어링되고, 좌우 및 상하로 크롭(crop)되어 조종실 윈도우 너머에 있는 것처럼 보인다. 비행 시뮬레이션의 예에 대해 크로마 키잉된 변환을 이용한 파노라마식 디스플레이와 비디오 디스플레이 의 복합 프로세스의 관련된 서브셋은 다음과 같이 수행된다.
1. 파노라마식 스테이징 버퍼(203)에서 다음 화소로 진행하는 단계와,
2. 블럭(204)에서, 이 화소에 대한 파노라마식 스테이징 변환을 수행하는 단계와,
3. 파노라마식 화소의 빨간색, 녹색 혹은 청색 성분이 크로마 키잉될 빨간색, 녹색 및 청색의 지정된 영역 밖에 있을 경우, 단계 1로 가는 단계와,
4. 파노라마식 스테이징 버퍼(203)로 카피될 대응 화소를 비디오 스테이징 버퍼(603)에서 선택하는 단계와,
5. 비디오 스테이징 버퍼(603)의 화소를 변환하고 이 화소를 파노라마식 스테이징 버퍼(203)의 내용물과 결합시키는 단계와,
6. 단계 1로 진행하는 단계.
선택적으로, 전체 비디오 이미지가 먼저 카피되고, 그 후 크로마 키 외부에 있는 파노라마식 화소 값에 대해 크로마 키잉된 파노라마식 이미지가 카피될 수도 있다. 이런 식으로, 조종실 내부를 나타내는 화소들이 이착륙 화면을 나타내는 몇몇 화소 위에 중첩 기록된다. 즉, 조종실의 윈도우를 나타내는 화소에는 기록되지 않아서, 비디오 이미지의 그 부분은 그대로 보여지게 된다.
일실시예에서, 크로마 키 값들은 각각 값의 범위로 표현된다는 것에 유의한다. 크로마 키 값의 범위를 사용하는 것은, 비디오 데이터 패킷이 압축된 전송 포맷으로 소스 시스템으로부터 타겟 시스템으로 전송될 때 특히 중요성을 갖게 된다. 통상적으로, 압축 전송에서는, 인코딩 및 압축된 데이터의 디코딩으로 인해 종종 값의 변화가 발생한다. 비행 시뮬레이션 예에서, 크로마 키 값 범위를 이용함으로써 정확한 RGB 화소 칼라값을 보존하지 못한 압축 해제 동작으로 인한 부정확한 값이 있을 가능성을 프로세스에서 예견할 수 있게 된다.
크로마 키 값에 범위를 사용하는 것은, 스틸 이미지가 전송될 때, 혹은 예를 들어, JPEG 압축과 같이 본질적으로 압축 전과 후 사이에 값의 변화가 있게 되는 압축 개념이 사용되는 경우 또한 중요하다.
또다른 실시예에서, 개별적인 크로마 키 파노라마식 이미지가 보존될 수 있다. 이 이미지는 원래의 파노라마식 이미지내의 1 비트일 수 있으며, 혹은 정확한 크로마 키 값을 갖는 개별적인 이미지일 수 있다. 이하 마스크로서 언급되는 개별적인 크로마 키 이미지가 칼라 이미지의 기입을 허용 혹은 금지하게 할 수 있다. 이 마스크는 예를 들면, 그 화소 각각에 두 개의 칼라값 중 하나를 가질 수 있다. 제 1 크로마 키 값은, 마스크가 투명하여 비디오 이미지가 그 곳을 통해 보일 것이라는 것을 의미한다. 제 2 크로마 키 값은, 마스크가 불투명하여, 비디오 이미지를 가릴 것이라는 것을 의미하는 다른 소정의 칼라이다.
비행 시뮬레이션 예에서, 비디오 화소들은 정적인 파노라마식 이미지의 화소 상태에 따라 그려지거나, 그려지지 않게 된다. 화상 회의 예에서, 비디오 화소들은 동적인 비디오의 화소 값에 따라 그려지거나, 그려지지 않게 되기 때문에 마스크도 또한 동적인 비디오 이미지이어야 한다.
마스크가 유지될 경우, 마스크는 파노라마식과 동일한 차원을 가질 수 있다. 비행 시뮬레이션 예에서 이러한 마스크를 사용할 경우, 다음과 같이 수행될 것이다.
1. 파노라마식 스테이징 버퍼(203)에서 다음 화소로 진행하는 단계와,
2. 블럭(204)에서, 이 화소에 대한 파노라마식 스테이징 변환을 수행하는 단계로서, 이 단계에서는 파노라마식 이미지에서 적절한 화소, 즉 화소(i, j)를 찾는 것이 요구되며, 이 화소를 파노라마식 스테이징 버퍼(203)로 카피하는 단계와,
3. 마스크에서 대응 화소를 발견하는 단계로서, 본 실시예에서는 이 마스크가 파노라마식 이미지와 동일한 차원을 가져서 마스크 화소(i,j)가 발견되는 단계와,
4. 마스크 화소(i,j)가 크로마 키 값을 갖지 않을 경우:
a. 이 마스크는 불투명하여 비디오가 그려지지 않고, 단계 1로 가며,
b. 그렇지 않다면, 마스크는 투명한 조종실 윈도우에서 투명하여 아래의 단계에서 정의된 파노라마 위에 비디오를 그리는 단계와,
5. 파노라마식 스테이징 버퍼(203)로 카피될, 비디오 스테이징 버퍼(603) 내의 대응 화소를 계산하는 단계와,
6. 파노라마식 스테이징 버퍼(203)로 비디오 스테이징 버퍼(603)의 화소를 카피하는 단계와,
7. 단계 1로 진행하는 단계.
마스크가 유지될 경우, 파노라마와 동일한 차원을 가질 필요는 없지만 비례적으로 인덱싱될 수 있다.
전술한 바와 같이, 파노라마식 디스플레이 및 비디오 디스플레이 결합 프로세스는 하나의 장면이 정적인 성분 및 동적인 성분으로 분리되는 디스플레이 프로세스이다. 파노라마식 이미지(201)는 정적인 성분인 반면, 스트림화 비디오(601)는 동적인 성분이다. 이러한 장면으로의 접근은 네트워크를 통해 서버로부터 클라이언트로 제공되며, 바람직하게는, 우선 서버가 파노라마식 이미지(201)를 클라이언트로 전송한다. 그 후, 클라이언트는 파노라마식 이미지를 국부적으로 카피하여 브라우징할 수도 있다. 그 후, 스트림화 비디오(601)가 서버로부터 클라이언트로 전달되고 파노라마식 이미지와 통합되어져서 복합 이미지를 형성하게 된다. 장면 데이터의 연속적인 전송이 정적인 파노라마식 이미지 데이터 및 동적인 스트림화 비디오 데이터의 인터리빙 혼합 형태로 계속 진행된다.
본 발명이 바람직한 실시예에 따라 특별히 도시되고 기술되었지만, 본 기술 분야에 통상의 지식을 가진 자라면 본 발명의 범주 및 정신을 벗어나지 않고 형태 및 상세한 사항을 변경할 수 있음을 알 것이다.
본 발명은 파노라마식 이미지 및 내장된 비디오 이미지의 디스플레이를 가능하게 해주며, 또한 파노라마식 이미지 및 삽입된 비디오 이미지의 디스플레이를 동기화시키고, 또한 장면의 파노라마식 이미지와 연속적으로 수신된 비디오 이미지의 스트림을 동기적으로 결합시켜 원하는 장면을 디스플레이하는 이미지 처리 시스템을 제공하는 효과를 갖는다.

Claims (17)

  1. 저장되어 있는 장면(scene)의 환경 맵 및 상기 장면의 비디오 데이터로부터 원하는 장면의 이미지를 디스플레이하는 방법에 있어서,
    ① 상기 장면의 비디오 데이터를 수신 및 저장하는 단계와,
    ② 상기 장면의 방향을 선택하는 단계와,
    ③ 상기 장면의 선택된 방향에 따라 비디오 데이터를 검색하는 단계와,
    ④ 상기 선택된 방향에 대한 제 1 이미지를 생성하기 위해 상기 선택된 장면의 방향에 따라 상기 환경 맵을 렌더링(rendering)하는 단계와,
    ⑤ 상기 원하는 장면의 선택된 방향에 대한 복합 이미지(a composite image)를 형성하기 위해 상기 검색된 비디오 데이터 및 상기 제 1 이미지를 동기적으로 결합시키는 단계와,
    ⑥ 상기 복합 이미지를 디스플레이하는 단계를 포함하는 이미지 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 비디오 데이터를 수신하는 단계는 이미지 데이터 및 사운드 데이터를 포함하는 비디오 데이터 패킷을 연속적으로 수신하는 단계를 포함하는 이미지 디스플레이 방법.
  3. 제 1 항에 있어서,
    상기 수신된 비디오 데이터는 비디오 메모리 버퍼에 저장되며,
    상기 동기적으로 결합시키는 단계는,
    상기 비디오 메모리 버퍼로부터 상기 수신된 비디오 데이터를 검색하는 단계와,
    상기 복합 이미지를 형성하기 위해 상기 제 1 이미지 내에 상기 검색된 비디오 데이터를 삽입하는 단계를 포함하는 이미지 디스플레이 방법.
  4. 제 3 항에 있어서,
    상기 비디오 데이터를 스케일링하고, 쉬어링(shearing)하며, 스트레칭하는 것중 적어도 하나에 의해 상기 비디오 데이터를 원하는 위치 및 크기로 변환하는 단계를 더 포함하는 이미지 디스플레이 방법.
  5. 제 3 항에 있어서,
    상기 검색 단계는, 메모리 위치에 대한 포인터의 값을 평가하고, 상기 메모리 위치의 내용을 검색하는 단계를 포함하는 이미지 디스플레이 방법.
  6. 제 3 항에 있어서,
    상기 삽입 단계는 상기 복합 이미지를 형성하기 위해 상기 검색된 비디오 데이터 및 상기 제 1 이미지를 레이어링(layering)하는 단계를 포함하는 이미지 디스플레이 방법.
  7. 제 6 항에 있어서,
    상기 레이어링 단계는, 상기 검색된 비디오 데이터를 상기 제 1 이미지 상으로, 혹은 상기 제 1 이미지를 상기 비디오 데이터 상으로, 그리기 순서 레이어링(drawing order layering), z-버퍼 은닉 레이어링(z-buffer-hiding layering) 및 크로마-키 레이어링(chroma-key layering)하는 단계중 하나의 단계인 이미지 디스플레이 방법.
  8. 저장되어 있는 장면의 환경 맵 및 상기 장면의 비디오 데이터로부터 원하는 장면의 이미지를 디스플레이하기 위한 이미지 처리 시스템에 있어서,
    ① 상기 장면의 상기 비디오 데이터를 수신 및 저장하는 수단과,
    ② 상기 장면의 방향을 선택하는 수단과,
    ③ 상기 장면의 상기 선택된 방향에 따라 비디오 데이터를 검색하는 수단과,
    ④ 상기 선택된 방향에 대한 제 1 이미지를 생성하기 위해 상기 장면의 상기 선택된 방향에 따라 상기 환경 맵을 렌더링하는 수단과,
    ⑤ 상기 원하는 장면의 상기 선택된 방향에 대한 복합 이미지를 형성하기 위해 상기 검색된 비디오 데이터 및 상기 제 1 이미지를 동기적으로 결합시키는 수단과,
    ⑥ 상기 복합 이미지를 디스플레이하는 수단을 포함하는 이미지 처리 시스템.
  9. 제 8 항에 있어서,
    상기 비디오 데이터를 수신하는 수단은 이미지 데이터 및 사운드 데이터를 포함하는 비디오 데이터 패킷을 연속적으로 수신하는 수단을 포함하는 이미지 처리 시스템.
  10. 제 8 항에 있어서,
    상기 비디오 데이터를 수신하는 수단은 비디오 메모리 버퍼를 포함하는 이미지 처리 시스템.
  11. 제 8 항에 있어서,
    상기 검색된 비디오 데이터 및 상기 제 1 이미지를 동기적으로 결합시키는 수단은,
    상기 비디오 메모리 버퍼로부터 상기 수신된 비디오 데이터를 검색하는 수단과,
    상기 복합 이미지를 형성하기 위해 상기 검색된 비디오 데이터를 상기 제 1 이미지 내에 삽입하는 수단을 포함하는 이미지 처리 시스템.
  12. 제 11 항에 있어서,
    상기 비디오 데이터를 상기 제 1 이미지 내에 삽입하기 전에, 상기 비디오 데이터를 스케일링하고, 쉬어링하며, 스트레칭하는 것중 적어도 하나에 의해 상기 비디오 메모리 버퍼로부터 검색된 상기 비디오 데이터를 원하는 위치 및 크기로 변환하는 수단을 더 포함하는 이미지 처리 시스템.
  13. 제 11 항에 있어서,
    상기 비디오 메모리 버퍼로부터 상기 비디오 데이터를 검색하는 수단은, 메모리 위치에 대한 포인터 값을 평가하고 상기 메모리 위치의 상기 내용을 검색하는 수단을 포함하는 이미지 처리 시스템.
  14. 제 11 항에 있어서,
    상기 삽입 수단은, 상기 복합 이미지를 형성하기 위해 상기 검색된 비디오 데이터 및 상기 제 1 이미지를 레이어링하는 수단을 더 포함하는 이미지 처리 시스템.
  15. 제 14 항에 있어서,
    상기 레이어링 수단은 상기 검색된 비디오 데이터를 상기 제 1 이미지 상으로, 혹은 상기 제 1 이미지를 상기 비디오 데이터 상으로, 크로마-키 레이어링하는 수단을 포함하는 이미지 처리 시스템.
  16. 저장되어 있는 장면의 환경 맵 및 상기 장면의 이미지 데이터로부터 원하는 장면의 이미지를 디스플레이하는 방법에 있어서,
    ① 상기 장면의 이미지 데이터 및 사운드 데이터를 포함하는 비디오 데이터 패킷을 연속적으로 수신 및 저장하는 단계와,
    ② 상기 장면의 방향을 선택하는 단계와,
    ③ 상기 장면의 선택된 방향에 따라 이미지 데이터를 검색하는 단계와,
    ④ 상기 선택된 방향에 대한 제 1 이미지를 생성하기 위해 상기 장면의 선택된 방향에 따라 상기 환경 맵을 렌더링하는 단계와,
    ⑤ 상기 원하는 장면의 선택된 방향에 대한 복합 이미지를 형성하기 위해 상기 검색된 이미지 데이터 및 상기 제 1 이미지를 동기적으로 결합시키는 단계와,
    ⑥ 상기 장면의 사운드 데이터를 연속적으로 재생시키는 단계와,
    ⑦ 상기 복합 이미지를 디스플레이하는 단계를 포함하는 이미지 디스플레이 방법.
  17. 제 16 항에 있어서,
    상기 사운드 데이터를 연속적으로 재생하는 단계는 재생되는 상기 사운드 데이터의 볼륨을 제어하는 단계를 포함하는 이미지 디스플레이 방법.
KR1019990000060A 1998-01-15 1999-01-05 이미지 디스플레이 방법 및 이미지 처리 시스템 KR100335306B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9/007,729 1998-01-15
US09/007,729 US6356297B1 (en) 1998-01-15 1998-01-15 Method and apparatus for displaying panoramas with streaming video
US09/007,729 1998-01-15

Publications (2)

Publication Number Publication Date
KR19990067722A true KR19990067722A (ko) 1999-08-25
KR100335306B1 KR100335306B1 (ko) 2002-05-06

Family

ID=21727825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990000060A KR100335306B1 (ko) 1998-01-15 1999-01-05 이미지 디스플레이 방법 및 이미지 처리 시스템

Country Status (5)

Country Link
US (1) US6356297B1 (ko)
EP (1) EP0930584B1 (ko)
JP (1) JP3177221B2 (ko)
KR (1) KR100335306B1 (ko)
DE (1) DE69831924T2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20150111910A (ko) * 2013-01-29 2015-10-06 바이에리셰 모토렌 베르케 악티엔게젤샤프트 3d 이미지 데이터를 처리하기 위한 방법 및 장치

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001231029A (ja) * 2000-02-18 2001-08-24 Minolta Co Ltd 遠隔カメラシステム
GB2360413A (en) * 2000-03-16 2001-09-19 Lee Scott Friend Wide angle parabolic imaging and image mapping apparatus
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US7095905B1 (en) * 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
CA2425482C (en) * 2000-10-11 2015-12-01 United Video Properties, Inc. Systems and methods for caching data in media-on-demand systems
FR2817441B1 (fr) * 2000-11-29 2004-01-16 Thomson Multimedia Sa Methode de visualisation d'une sequence video dans une fenetre d'un panorama
US6681004B2 (en) 2001-03-22 2004-01-20 Koninklijke Philips Electronics N.V. Telephone memory aid
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US6894690B2 (en) 2001-06-20 2005-05-17 Engineering Technology Associates, Inc. Method and apparatus for capturing and viewing a sequence of 3-D images
FR2828754A1 (fr) * 2001-08-14 2003-02-21 Koninkl Philips Electronics Nv Visualisation d'un montage d'une video panoramique par application de commandes de navigation a ladite video panoramique
US7103236B2 (en) * 2001-08-28 2006-09-05 Adobe Systems Incorporated Methods and apparatus for shifting perspective in a composite image
US6970595B1 (en) * 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
US20030179216A1 (en) * 2002-03-22 2003-09-25 Enroute, Inc. Multi-resolution video-caching scheme for interactive and immersive videos
US20040001091A1 (en) * 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7352374B2 (en) * 2003-04-07 2008-04-01 Clairvoyante, Inc Image data set with embedded pre-subpixel rendered image
JP5138930B2 (ja) * 2003-07-11 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディスプレイ装置のための封入構造
US20050025465A1 (en) * 2003-08-01 2005-02-03 Danieli Damon V. Enhanced functionality for audio/video content playback
US7118228B2 (en) * 2003-11-04 2006-10-10 Hewlett-Packard Development Company, L.P. Image display system
CN1304938C (zh) * 2004-08-07 2007-03-14 马堃 一种静态环视图像的动态显示方法及其浏览器
AU2005200888B2 (en) 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7660464B1 (en) 2005-12-22 2010-02-09 Adobe Systems Incorporated User interface for high dynamic range merge image selection
US7860343B2 (en) * 2006-04-10 2010-12-28 Nokia Corporation Constructing image panorama using frame selection
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US8103125B2 (en) * 2007-03-13 2012-01-24 International Business Machines Corporation Generating an amalgamated image including a static image and a dynamic image
WO2008147561A2 (en) * 2007-05-25 2008-12-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
US8207962B2 (en) * 2007-06-18 2012-06-26 Mediatek Inc. Stereo graphics system based on depth-based image rendering and processing method thereof
WO2009003169A2 (en) * 2007-06-27 2008-12-31 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
WO2009017332A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
GB2456802A (en) * 2008-01-24 2009-07-29 Areograph Ltd Image capture and motion picture generation using both motion camera and scene scanning imaging systems
JP5159375B2 (ja) 2008-03-07 2013-03-06 インターナショナル・ビジネス・マシーンズ・コーポレーション メタバースにおけるオブジェクトの真贋判断システム、方法及びそのコンピュータ・プログラム
US9205328B2 (en) 2010-02-18 2015-12-08 Activision Publishing, Inc. Videogame system and method that enables characters to earn virtual fans by completing secondary objectives
US8717404B2 (en) * 2010-04-27 2014-05-06 Lifesize Communications, Inc. Recording a videoconference based on recording configurations
US9682324B2 (en) 2010-05-12 2017-06-20 Activision Publishing, Inc. System and method for enabling players to participate in asynchronous, competitive challenges
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US9325804B2 (en) * 2010-11-08 2016-04-26 Microsoft Technology Licensing, Llc Dynamic image result stitching
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
SG11201400429RA (en) 2011-09-08 2014-04-28 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
JP2013101525A (ja) * 2011-11-09 2013-05-23 Sony Corp 画像処理装置および方法、並びにプログラム
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
US9723034B2 (en) * 2012-12-13 2017-08-01 Mitel Networks Corporation Online meeting system and method
US10137376B2 (en) 2012-12-31 2018-11-27 Activision Publishing, Inc. System and method for creating and streaming augmented game sessions
US10482777B2 (en) 2013-02-22 2019-11-19 Fuji Xerox Co., Ltd. Systems and methods for content analysis to support navigation and annotation in expository videos
US9892761B2 (en) 2013-02-22 2018-02-13 Fuji Xerox Co., Ltd. Systems and methods for creating and using navigable spatial overviews for video
WO2015036003A1 (en) * 2013-09-14 2015-03-19 Taskin Sakarya Virtual transportation machine
US10126913B1 (en) * 2013-11-05 2018-11-13 Google Llc Interactive digital map including context-based photographic imagery
US9742995B2 (en) 2014-03-21 2017-08-22 Microsoft Technology Licensing, Llc Receiver-controlled panoramic view video share
US10286326B2 (en) 2014-07-03 2019-05-14 Activision Publishing, Inc. Soft reservation system and method for multiplayer video games
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
WO2016064862A1 (en) * 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain
US9918094B2 (en) 2014-10-20 2018-03-13 Google Llc Compressing and representing multi-view video
US11351466B2 (en) 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
US10118099B2 (en) 2014-12-16 2018-11-06 Activision Publishing, Inc. System and method for transparently styling non-player characters in a multiplayer video game
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10286314B2 (en) 2015-05-14 2019-05-14 Activision Publishing, Inc. System and method for providing continuous gameplay in a multiplayer video game through an unbounded gameplay session
US10486068B2 (en) 2015-05-14 2019-11-26 Activision Publishing, Inc. System and method for providing dynamically variable maps in a video game
US10213682B2 (en) 2015-06-15 2019-02-26 Activision Publishing, Inc. System and method for uniquely identifying physical trading cards and incorporating trading card game items in a video game
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10471348B2 (en) 2015-07-24 2019-11-12 Activision Publishing, Inc. System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks
US11185784B2 (en) 2015-10-08 2021-11-30 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10099140B2 (en) 2015-10-08 2018-10-16 Activision Publishing, Inc. System and method for generating personalized messaging campaigns for video game players
US10232272B2 (en) 2015-10-21 2019-03-19 Activision Publishing, Inc. System and method for replaying video game streams
US10245509B2 (en) 2015-10-21 2019-04-02 Activision Publishing, Inc. System and method of inferring user interest in different aspects of video game streams
US10376781B2 (en) 2015-10-21 2019-08-13 Activision Publishing, Inc. System and method of generating and distributing video game streams
US10694352B2 (en) 2015-10-28 2020-06-23 Activision Publishing, Inc. System and method of using physical objects to control software access
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
US10226703B2 (en) 2016-04-01 2019-03-12 Activision Publishing, Inc. System and method of generating and providing interactive annotation items based on triggering events in a video game
US10226701B2 (en) 2016-04-29 2019-03-12 Activision Publishing, Inc. System and method for identifying spawn locations in a video game
US10179289B2 (en) 2016-06-21 2019-01-15 Activision Publishing, Inc. System and method for reading graphically-encoded identifiers from physical trading cards through image-based template matching
US10573065B2 (en) 2016-07-29 2020-02-25 Activision Publishing, Inc. Systems and methods for automating the personalization of blendshape rigs based on performance capture data
US10709981B2 (en) 2016-11-17 2020-07-14 Activision Publishing, Inc. Systems and methods for the real-time generation of in-game, locally accessible barrier-aware heatmaps
US10463964B2 (en) 2016-11-17 2019-11-05 Activision Publishing, Inc. Systems and methods for the real-time generation of in-game, locally accessible heatmaps
US10500498B2 (en) 2016-11-29 2019-12-10 Activision Publishing, Inc. System and method for optimizing virtual games
US10055880B2 (en) 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US10861079B2 (en) 2017-02-23 2020-12-08 Activision Publishing, Inc. Flexible online pre-ordering system for media
US10818060B2 (en) 2017-09-05 2020-10-27 Activision Publishing, Inc. Systems and methods for guiding motion capture actors using a motion reference system
US11040286B2 (en) 2017-09-27 2021-06-22 Activision Publishing, Inc. Methods and systems for improved content generation in multiplayer gaming environments
US10561945B2 (en) 2017-09-27 2020-02-18 Activision Publishing, Inc. Methods and systems for incentivizing team cooperation in multiplayer gaming environments
US10974150B2 (en) 2017-09-27 2021-04-13 Activision Publishing, Inc. Methods and systems for improved content customization in multiplayer gaming environments
US10463971B2 (en) 2017-12-06 2019-11-05 Activision Publishing, Inc. System and method for validating video gaming data
US10537809B2 (en) 2017-12-06 2020-01-21 Activision Publishing, Inc. System and method for validating video gaming data
US10981051B2 (en) 2017-12-19 2021-04-20 Activision Publishing, Inc. Synchronized, fully programmable game controllers
US10596471B2 (en) 2017-12-22 2020-03-24 Activision Publishing, Inc. Systems and methods for enabling audience participation in multi-player video game play sessions
US11278813B2 (en) 2017-12-22 2022-03-22 Activision Publishing, Inc. Systems and methods for enabling audience participation in bonus game play sessions
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US11263670B2 (en) 2018-11-19 2022-03-01 Activision Publishing, Inc. Systems and methods for dynamically modifying video game content based on non-video gaming content being concurrently experienced by a user
US11192028B2 (en) 2018-11-19 2021-12-07 Activision Publishing, Inc. Systems and methods for the real-time customization of video game content based on player data
US11323754B2 (en) 2018-11-20 2022-05-03 At&T Intellectual Property I, L.P. Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint
US11115712B2 (en) 2018-12-15 2021-09-07 Activision Publishing, Inc. Systems and methods for indexing, searching for, and retrieving digital media
US11679330B2 (en) 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11305191B2 (en) 2018-12-20 2022-04-19 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
US11344808B2 (en) 2019-06-28 2022-05-31 Activision Publishing, Inc. Systems and methods for dynamically generating and modulating music based on gaming events, player profiles and/or player reactions
US11097193B2 (en) 2019-09-11 2021-08-24 Activision Publishing, Inc. Methods and systems for increasing player engagement in multiplayer gaming environments
US11423605B2 (en) 2019-11-01 2022-08-23 Activision Publishing, Inc. Systems and methods for remastering a game space while maintaining the underlying game simulation
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11537209B2 (en) 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
US11420122B2 (en) 2019-12-23 2022-08-23 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
US11563774B2 (en) 2019-12-27 2023-01-24 Activision Publishing, Inc. Systems and methods for tracking and identifying phishing website authors
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11724188B2 (en) 2020-09-29 2023-08-15 Activision Publishing, Inc. Methods and systems for selecting a level of detail visual asset during the execution of a video game
US11833423B2 (en) 2020-09-29 2023-12-05 Activision Publishing, Inc. Methods and systems for generating level of detail visual assets in a video game
US11717753B2 (en) 2020-09-29 2023-08-08 Activision Publishing, Inc. Methods and systems for generating modified level of detail visual assets in a video game
US11439904B2 (en) 2020-11-11 2022-09-13 Activision Publishing, Inc. Systems and methods for imparting dynamic and realistic movement to player-controlled avatars in video games
US11853439B2 (en) 2020-12-30 2023-12-26 Activision Publishing, Inc. Distributed data storage system providing enhanced security
US11794107B2 (en) 2020-12-30 2023-10-24 Activision Publishing, Inc. Systems and methods for improved collision detection in video games

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2256568B (en) 1991-06-05 1995-06-07 Sony Broadcast & Communication Image generation system for 3-D simulations
US5396583A (en) 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
US5912670A (en) * 1996-08-05 1999-06-15 International Business Machines Corporation Method and apparatus for overlaying a bit map image on an environment map
US5923334A (en) * 1996-08-05 1999-07-13 International Business Machines Corporation Polyhedral environment map utilizing a triangular data structure
US5793895A (en) * 1996-08-28 1998-08-11 International Business Machines Corporation Intelligent error resilient video encoder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20150111910A (ko) * 2013-01-29 2015-10-06 바이에리셰 모토렌 베르케 악티엔게젤샤프트 3d 이미지 데이터를 처리하기 위한 방법 및 장치

Also Published As

Publication number Publication date
JP3177221B2 (ja) 2001-06-18
DE69831924T2 (de) 2006-06-29
JPH11296667A (ja) 1999-10-29
EP0930584A2 (en) 1999-07-21
EP0930584A3 (en) 2002-11-06
KR100335306B1 (ko) 2002-05-06
EP0930584B1 (en) 2005-10-19
US6356297B1 (en) 2002-03-12
DE69831924D1 (de) 2005-11-24

Similar Documents

Publication Publication Date Title
KR100335306B1 (ko) 이미지 디스플레이 방법 및 이미지 처리 시스템
US6763175B1 (en) Flexible video editing architecture with software video effect filter components
US8306399B1 (en) Real-time video editing architecture
JP4481166B2 (ja) ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム
US7439982B2 (en) Optimized scene graph change-based mixed media rendering
US6631240B1 (en) Multiresolution video
US6763176B1 (en) Method and apparatus for real-time video editing using a graphics processor
CN108108140B (zh) 一种多屏协同显示方法及存储装置及支持3d显示的设备
CN107197341B (zh) 一种基于gpu的炫屏显示方法、装置及一种存储设备
US20050283730A1 (en) System and process for viewing and navigating through an interactive video tour
CN115830190A (zh) 动画处理方法和装置
WO1995004331A1 (en) Three-dimensional image synthesis using view interpolation
US7113183B1 (en) Methods and systems for real-time, interactive image composition
US7038698B1 (en) 3D stereo browser for the internet
US20050128220A1 (en) Methods and apparatuses for adjusting a frame rate when displaying continuous time-based content
US6856322B1 (en) Unified surface model for image based and geometric scene composition
US7091991B2 (en) 3D stereo browser for the internet
US5812125A (en) Method and apparatus for selectively generating display images
JP2004325941A (ja) 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム
US6256048B1 (en) Two-dimensional virtual camera
JP2001222726A (ja) 画像処理方法および画像処理装置
WO2004042659A1 (en) A unified surface model for image based and geometric scene composition
Watlington Synthetic movies
Pepke Animation and the Examination of Behavior over Time
US7190371B2 (en) 3D stereo browser for the internet

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130409

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20180405

Year of fee payment: 17