KR20070086037A - 장면 간 전환 방법 - Google Patents

장면 간 전환 방법 Download PDF

Info

Publication number
KR20070086037A
KR20070086037A KR1020077013147A KR20077013147A KR20070086037A KR 20070086037 A KR20070086037 A KR 20070086037A KR 1020077013147 A KR1020077013147 A KR 1020077013147A KR 20077013147 A KR20077013147 A KR 20077013147A KR 20070086037 A KR20070086037 A KR 20070086037A
Authority
KR
South Korea
Prior art keywords
scene
transition
feature
viewpoint
image
Prior art date
Application number
KR1020077013147A
Other languages
English (en)
Inventor
병목 오
Original Assignee
목3, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목3, 인크. filed Critical 목3, 인크.
Publication of KR20070086037A publication Critical patent/KR20070086037A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨터 시스템 디스플레이에서, 제1 장면과 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 방법 및 시스템. 이 방법은 제1 장면을 제2 장면으로 매핑하는 변환을 판정하는 단계를 포함한다. 장면들 사이의 모션은 제1 장면 그리고 제2 장면의 전환 대상에 기초한 전환 장면을 포함하는 전환 이미지들을 디스플레이하는 것에 의해 시뮬레이션된다. 전환 대상의 렌더링은, 전환 이미지들이 디스플레이됨에 따라, 특정된 전환 파라미터들에 따라 발전한다. 뷰어는 전환 이미지들로부터 장면들의 연결감을 수신한다. 도시 경관들과 같은, 넓은 영역들의 가상 투어들이, 장면들의 쌍들의 복잡한 네트워크 사이에서의 장면 간 전환을 사용해 생성될 수 있다.
장면 간 전환, 모션 시뮬레이션, 전환 대상, 가상 투어, 수퍼투어, 뷰어, 전환 이미지, 전환 장면

Description

장면 간 전환 방법 {METHOD FOR INTER-SCENE TRANSITIONS}
본 발명은 컴퓨터 그래픽 방법 및 시스템에 관한 것으로서, 특히 컴퓨터 디스플레이에서 2개 이상의 관련 이미지 또는 파노라마 간의 원활한 전환을 생성하기 위한 방법 및 시스템에 관한 것이다.
가상 투어는 관심 장면에 관한 정보를 뷰어에게 제공하기 위하여 흔히 이용되는 기법이다. 그와 같은 투어는 장면 또는 장면들의 컬렉션에 대한 사실적이고, 양방향적이며, 몰입한 경험을 제공할 수 있다. 이러한 투어는 광범위한 그래픽 디스플레이 기법 중 적어도 하나를 장면의 표현에 통합할 수 있다.
정보를 이러한 투어의 일부분으로서 제공하기 위한 한 효과적인 기법이 파노라마 또는 파노라마 이미지의 디스플레이이다. 파노라마 뷰어는 전체 화면에 걸쳐 세부 사항을 유지하면서, 뷰의 넓은 필드를 이용해 이미지를 디스플레이할 수 있다. 이러한 파노라마의 생성 및 디스플레이를 위해서는 복수의 단계: 이미지 캡처, 이미지 "합성(stitching)" 및 파노라마 디스플레이(또는 뷰잉)가 필요하다. 제1 단계는 장면(100)의 이미지를 캡처하는 것이며, 획득 단계로서 또한 알려져 있다. 도 1에 도시한 바와 같이, 다수의 사진이 통상적으로 공간의 단일 위치(110)로부터 다양한 각도로 촬영된다. 보통의 카메라와 장비가 사용될 수도 있고, 전문 하드웨어는 일반적으로 요구되지 않는다. 다음으로, 촬영된 사진 이미지들은 본 기술분야에 알려져 있는 합성 기법을 이용하여 서로 "합성되어", 주어진 위치로부터의 장면의 거의 끊김없는 뷰를 제공한다. 도 2는 장면의 예를 2개의 파노라마 포맷: 구형 맵(200,220) 및 큐브형 맵(210,230)으로 도시한다. 언랩형 합성 이미지(200)는 구형 형상(220)으로 매핑되고, 파노라마는 구의 중앙으로부터 볼 때의 사진 획득 위치를 가상으로 복제한다. 본 프로세스는 큐브형 맵 파노라마에도 유사하게 작용한다. 다른 타입의 파노라마 프로젝션이 이용될 수도 있지만, 그 프로세스는 유사하다. 이미지들은 부분적인 파노라마들로서 간주할 수도 있다는 점을 알아야 한다. 최종 단계는, 도 3에 나타낸 바와 같이, 파노라마의 디스플레이 또는 뷰잉이다. 서로 합성된 이미지들은 본 기술분야에 알려져 있는 파노라마-뷰잉 기법을 양방향으로 이용하여 보게 된다. 도 3에서, 구의 중심에 있는 가상 공간 내 획득 위치(310)가 구형 파노라마(300)를 위하여 도시된다. 또한, 디스플레이상에서 보게 될 수도 있는 파노라마 이미지의 한 부분을 표현하는 핀-홀 카메라 프로젝션 절단체(320)를 도시한다.
현재의 파노라마 가상 투어에는 상당한 제약이 있다. (통상적인 사진 및 이미지를 포함하는) 파노라마의 본질적인 특징은 파노라마가 단일 획득 위치로부터 촬영되므로 그 이미지들이 정적이라는 점이다. 더 넓은 영역, 즉 공간 내 한 점으로부터의 뷰를 초과하는 영역을 기술하기 위하여, 파노라마 가상 투어는 통상적으로 "페리스코프 뷰(periscope view)"를 이용하는데, 최종 사용자는 공간 내 한 점으로 "팝(pop)"하여 주위를 둘러본 다음, 순간적으로 공간 내 또 다른 위치로 "팝" 하여 더 넓은 영역을 통해 내비게이션한다. 2개 파노라마 장면의 간단한 경우를 가정하면, 획득 위치가 매우 근접하더라도, 뷰어가 그 2개 장면을 정신적으로 연결하기는 대체로 어려운 일이다. 2개 파노라마는 어떻게 그 파노라마들이 서로에 관하여 연결 및 지향되는지를 본질적으로 설명할 수 없다. 이러한 제한으로 인해 뷰어가 현재의 가상 투어를 이용해 더 넓은 영역의 공간, 방위 감각 및 스케일을 이해하기는 어려운 일이다.
제1 발명의 실시예에서는, 디스플레이를 가진 컴퓨터 시스템에서 제1 장면과 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 방법이 제공된다. 제1 장면은 제1 시점으로부터 관찰되고 제1 특징을 포함한다. 제2 장면은 제2 시점으로부터 관찰되고 제2 특징을 포함한다. 이 방법은 디스플레이에서 제1 장면의 특징 및 제2 장면의 특징을 그래픽으로 식별하는 제1 단계 및 2가지 특징들을 사용해 제1 장면을 제2 장면으로 매핑하는 변환을 판정하는 단계를 포함한다. 다음으로는, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 장면의 특징 및 제2 장면의 특징에 기초한 적어도 하나의 전환 장면을 포함하는 적어도 하나의 전환 이미지들이 생성된다.
본 발명의 다른 실시예에서는, 컴퓨터 시스템 디스플레이에서 제1 장면과 제2 장면 간 전환의 시뮬레이션 모션을 디스플레이하기 위한 방법이 제공된다. 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함하고, 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함한다. 이 방법은 제1 장면에 매입된 내비게이션 아이콘을 디스플레이하는 단계를 포함한다. 내비게이션 아이콘이 활성화되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 적어도 하나의 전환 이미지가 디스플레이된다.
본 발명의 또 다른 실시예에서는, 컴퓨터 시스템 디스플레이에서 제1 장면과 선택된 장면 간 전환의 시뮬레이션 모션을 디스플레이하기 위한 방법이 제공된다. 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함하고, 선택된 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함한다. 이 방법은 제1 장면을 디스플레이하는 단계; 및 선택된 장면의 위치에 대한 지시를 수신하는 단계를 포함한다. 선택된 장면의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 선택된 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 적어도 하나의 전환 이미지가 디스플레이된다. 본 발명의 특정 실시예에서, 이 지시는 검색 엔진 출력으로부터 수신될 수 있거나, 리스트로부터의 사용자 선택 또는 디스플레이상의 어딘가에서의 아이콘 활성화 등일 수 있다.
본 발명의 또 다른 실시예에서는, 컴퓨터 시스템 디스플레이에서 제1 장면과 제2 장면 간 그리고 제2 장면과 제3 장면 간 전환의 시뮬레이션 모션을 디스플레이하기 위한 방법이 제공된다. 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함하고; 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함하고; 제3 장면은 제3 시점으로부터 관찰되며 제3 특징을 포함한다. 이 방법은,
제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제1 전환 이미지를 제공하는 단계; 및
제2 시점으로부터 제3 시점으로의 시뮬레이션된 모션이 존재하도록, 제2 특징 및 제3 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제2 전환 이미지를 제공하는 단계를 포함한다. 제1, 제2, 및 제3 장면들 각각의 기준 프레임에서의 절대적 위치들 및 방위들의 판정없이, 제1 전환 이미지 및 제2 전환 이미지가 형성된다.
본 발명의 또 다른 실시예에서는, 컴퓨터 시스템 디스플레이에서 제1 장면과 선택된 장면 간 전환의 시뮬레이션 모션을 디스플레이하기 위한 방법이 제공된다. 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함하고; 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함하고; 선택된 장면은 선택된 장면 시점으로부터 관찰된다. 이 방법은 제1 장면을 디스플레이하는 단계; 선택된 장면 시점의 위치에 대한 지시를 수신하는 단계; 및 제1 시점으로부터 선택된 장면 시점으로의 경로로서, 제2 시점을 포함하는, 경로를 판정하는 단계를 포함한다. 선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지가 디스플레이된다.
본 발명의 상술한 특징은 첨부한 도면과 다음의 상세한 설명을 참조하여 더 욱 용이하게 이해하게 된다.
도 1은 파노라마를 형성하는 이미지 캡처를 예시한다.
도 2는 장면의 예를 2개의 파노라마 포맷: 구형 맵 파노라마 및 큐브형 맵 파노라마로 도시한다.
도 3은 구형 파노라마를 보는 것을 예시한다.
도 4는 본 발명의 실시예에 따른 수퍼투어를 생성하는 방법을 위한 개략적인 흐름도를 도시한다.
도 5는 본 발명의 실시예에 따른 장면 간 모션을 생성하는 방법을 위한 개략적인 흐름도를 도시한다.
도 6은 본 발명의 실시예에서 이미지 평면과 대응 월드 평면 간의 관계를 예시한다.
도 7은 도 6의 예시에서 이미지 평면의 특징과 대응 월드 평면 이미지 간의 관계를 예시한다.
도 8은 본 발명의 실시예에 따른 이미지 평면의 투시 직사각형의 점의 선택을 예시한다.
도 9는 본 발명의 실시예에 따른 양방향성 에지 선택 및 이동을 예시한다.
도 10은 본 발명의 실시예에 따른 투시 직사각형의 정의를 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 투시 직사각형에 대한 법선 벡터의 생성을 예시한다.
도 12는 본 발명의 실시예에 따른 소멸 벡터의 계산을 예시한다.
도 13은 본 발명의 실시예에 따른 투시 직사각형 툴 위한 프로세스를 나타내는 2개의 입력 소스 이미지 구형 파노라마를 도시한다.
도 14는 도 13의 파노라마로부터의 대응 특징을 이미지 및 월드 공간에 예시한다.
도 15는 도 13의 발명의 실시예를 위한 위해, 한 이미지를 회전시켜 이미지를 또 다른 이미지의 방향으로 정렬하기 전에, 월드 공간에서의 직사각형에 대해 법선 벡터를 계산하는 것을 예시한다.
도 16은 도 13의 발명의 실시예를 위해, 월드 공간에서의 한 이미지의 다른 이미지로의 정렬을 완결하기 위한 한 이미지의 평행 이동을 도시한다.
도 17은 도 16의 평행 이동을 위한 해결점을 판정하는 형상 구성을 예시한다.
도 18은, 본 발명의 실시예에 따른, 3D 형상 및 텍스처 매핑을 사용하는 전환 대상들의 생성을 예시하기 위한 인테리어의 3가지 표현들을 도시한다.
도 19는 도 18의 프로세스를 위한 풋프린트(footprint)를 식별하는 프로세스를 예시한다.
도 20은 도 19에서 시작되어 완성된 풋프린트를 도시한다.
도 21은 도 19 및 도 20의 풋프린트를 돌출하는 것을 예시한다.
도 22는 도 21의 돌출 프로세스(extrusion process)의 완결을 도시한다.
도 23 내지 도 25는, 본 발명의 실시예에 따른, 전환 대상 생성 툴을 위한 프로세스를 예시한다.
도 26은 도 23 내지 도 25의 전환 대상 생성 프로세스의 출력에 대한 제3자의 뷰이다.
도 27은, 본 발명의 실시예에 따른, 가상 카메라를 사용해 제1 장면으로부터 제2 장면으로의 전환을 모델링하는 것을 예시한다.
도 28은, 도 27의 실시예를 위한, 카메라 경로상의 점을 도시한다.
도 29는 도 28의 경로상의 점에서의 뷰를 도시한다.
도 30은, 본 발명의 실시예에 따른, 도 27 내지 도 29에 도시된 룸을 위한 상이한 전환 대상들의 상이한 전환 시퀀스를 도시한다.
도 31은, 본 발명의 실시예에 따른, 전환 파라미터 편집기를 위한 예시적인 사용자 인터페이스를 도시한다.
도 32는 도 31의 전환 파라미터 편집기의 상세도를 도시한다.
도 33은 도 31의 전환 파라미터 편집기를 위한 타임라인(timeline)에서 시점을 이동시키는 것을 예시한다.
도 34는, 본 발명의 실시예에 따른, 장면 뷰에 대한 모션 블러링(motion blurring) 및 농도 조정(saturation adjustment) 전환 파라미터들의 효과들을 도시한다.
도 35 내지 도 37은 본 발명의 실시예에 따른 모핑(morphing) 전환 파라미터를 예시한다.
도 38 내지 도 39는, 본 발명의 실시예에 따른, 모핑을 사용하는 장면 간 전환의 일례를 제공한다.
도 40 내지 도 42는, 본 발명의 실시예에 따른, 정확한 특징들이 대응되지 않는 2개 장면들을 위한 장면 간 전환의 일례를 제공한다.
도 43 및 도 44는, 본 발명의 실시예에 따른, 대응되는 직사각형 특징들이 없는 2개 장면들을 위한 장면 간 전환의 일례를 제공한다.
도 45는, 본 발명의 실시예에 따른, 능동 요소들(active elements)을 생성하는 방법을 위한 개략적인 흐름도를 도시한다.
도 46은, 본 발명의 실시예에 따른, 내비게이션 아이콘 능동 요소를 도시한다.
도 47은, 본 발명의 실시예에 따른, 장면들에 매입된 능동 요소들의 일례를 도시한다.
도 48 내지 도 52는, 본 발명의 실시예에 따른, 능동 요소 생성기를 사용해 능동 요소들을 생성하기 위한 프로세스를 예시한다.
도 53은, 본 발명의 실시예에 따른, 호텔 배너 능동 요소를 도시한다.
도 54는, 본 발명의 실시예에 따른, 가상 키오스크 능동 요소(virtual kiosk active element)를 도시한다.
도 55는, 본 발명의 실시예에 따른, 수퍼투어를 생성하기 위한 방법의 흐름도이다.
도 56은, 본 발명의 실시예에 따른, 개요 맵(overview map)을 수퍼투어의 대응되는 위치들에 대한 투시도와 조합하는 디스플레이를 도시한다.
도 57 및 도 58은, 본 발명의 실시예에 따른, 수퍼투어에서의 스크립 팅(scripting) 및 방위 정합(orientation matching)을 도시한다.
도 59는, 본 발명의 실시예에 따른, 수퍼투어를 게시하기 위한 방법의 흐름도이다.
도 60은, 본 발명의 실시예에 따른, 예시적 수퍼투어의 게시를 도시한다.
도 61 내지 도 70은, 본 발명의 실시예에 따라 생성된 Miami Beach, F1.의 예시적 수퍼투어로부터 디스플레이되는 뷰들을 도시한다.
도 71은, 본 발명의 실시예에 따른, 항목의 선택이 장면에 대한 모션을 발생시키는 리스트의 일례를 도시한다.
이 설명 및 첨부된 청구항에서 사용되는 바와 같이, 다음의 용어들은 문맥이 다르게 요구하지 않는다면 지시되는 의미를 갖는다: "사시도"라는 용어는 이미지 평면으로 투영된 월드 평면에 있는 이미지의 2D 뷰를 의미할 것이다. 이미지 평면은 흔히 디스플레이 표면이지만, 일반적으로는 임의의 평면일 수도 있다. "투시 직사각형"은 월드 공간 내 직사각형이 이미지 평면으로 투영되는 사시도에서의 2D 다각형을 의미할 것이다. "전환 파라미터"는 제1 이미지와 제2 이미지의 조합으로부터 형성되는 전환 대상에 대한 제1 이미지 대 제2 이미지의 기여에 대한 측정치를 의미할 것이다. 예를 들어, 전환 대상이 제1 이미지와 제2 이미지를 알파 블렌딩(alpha blending)하는 것으로부터 유도되는 경우, 전환 파라미터는 각 이미지의 전환 대상에 대한 기여의 투명도 및 불투명도를 측정한다. "능동 요소"는, 입력 디바이스에 의한 아이콘의 선택이 액션을 개시하도록 이미지에 디스플레이되는 아 이콘을 의미할 것이다. "내비게이션 아이콘"은, 입력 디바이스에 의한 아이콘의 선택이 장면의 디스플레이된 이미지를 업데이트하게 하는, 이미지에 디스플레이되는 능동 요소 아이콘을 의미할 것이다.
광범위한 개요로서, 본 발명의 실시예들은 2개 이상의 연결된 위치 또는 장면의 이미지 간의 원활한 모션을 시뮬레이션하는 시스템 및 방법을 제공한다. 시뮬레이션된 모션은 위치에 있는 일련의 이미지들을 내비게이션하는 사용자에게 방위 감각 및 공간에 대한 이해를 제공한다. 한 이미지로부터 또 다른 이미지로 내비게이션하기 위하여, 사용자는 제2 장면에 연결되는 제1 장면의 일부분을 선택할 수도 있다. 그 다음, 그 뷰는 제2 장면으로 전환된다. 내비게이션의 이 유형은, 제2 장면이 단순히 제1 장면을 대체한다면, 장면들 사이에 그들 사이의 지리적 연결을 강조하기 위한 모션 감각이 존재하지 않으므로, 방위 감각을 상실하게 할 수도 있다. 그보다는, 2개 장면 간의 모션이 뷰어에게, 공간 감각 및 방위 감각을 포함하는, 2개 장면 간의 관계들에 대한 좀더 양호한 지각을 제공하도록 시뮬레이션될 수도 있다.
본 발명의 또 다른 실시예들에서는, 이미지 간의 모션을 시뮬레이션한다는 이 개념이, 이웃, 대로 또는 심지어 마을이나 도시와 같은 공간의 투어를 형성하는 다수의 이미지 쌍의 연결된 네트워크를 생성하도록 확장될 수 있다. 장면들의 그러한 네트워크를 다음에서는 "수퍼투어"라고 할 것이다. "수퍼투어"라는 용어는 제한적인 의도에서가 아니라 설명의 편의를 위해 사용되는데: 이미지들의 네트워크는 2개 이미지로부터 임의적인 대다수 이미지로 넓어질 수도 있다. 수퍼투어를 생 성하는 방법을 위한 개략적인 흐름도가 도 4에 도시되어 있다. 일단 소정 수퍼투어 위치의, "소스 이미지들"로도 공지되어 있는, 입력 사진들 및 파노라마들이 획득되고 나면(400), 장면 간 모션 생성(410)을 통해 한번에 한 쌍의 소스 이미지들로 수퍼투어가 생성될 수도 있다. 일단 장면들 사이의 전환이 생성되고 나면, 능동 요소들이 장면들에 추가되어 향상된 사용자 양방향성을 제공할 수도 있는데(420), 예를 들어, 후속 공간으로의 전환을 활성화하기 위한 내비게이션 아이콘이 포함될 수 있거나, 가상 정보 키오스크는 활성화시에 위치에 관한 확대 정보를 제공할 수도 있다. 다음으로, 장면 뷰어, 장면 간 모션 발생기 및 능동 요소는 맵 등과 서로 커플링되어, 캡처된 공간의 연결된 그리고 복잡한 가상 경험을 생성할 수도 있다(430). 그 다음, 수퍼투어 콘텐츠는 최종 사용자에 의한 뷰잉을 위해 게시될 수도 있다(440). 다음에서는, 이 단계들의 예시적 실시예들이 제공된다.
장면들 사이의 연결 감각을 제공하는 한 방법은 주밍 및 페이딩(zooming and fading)으로서 공지된 기법들을 이용한다. 초기 파노라마 또는 이미지로부터, 뷰어는 제2 장면(파노라마 또는 이미지) 쪽으로 지향하고, 가상 카메라의 FOV(field-of-view)를 변경하는 것에 의해 줌인한 다음, 제1 파노라마는 점점 희미해지게 하고, 제2 파노라마는 점점 뚜렷해지게 한다. 이 기법이 소정의 방위 감각을 제공할 수도 있지만, 장면에 - 파노라마 이미지들이 얼마나 근접하게 획득되었는지, 장면들이 공통적인 시각적 특징들의 상당량을 포함하는지의 여부, 및 장면 내의 대상들 사이에서의 가시성(visibility) 및 합성(occlusions)의 복잡도에 크게 의존한다. 그렇지 않다면, 주밍 및 페이딩은 줌-페이드 효과없이 수신지 파노라마로 "파 핑(popping)"하는 것과 다를 바 없이 작용한다. 더욱이, 이미지로의 주밍은 3차원 공간에서의 이동을 적절하게 시뮬레이션할 수 없다. 평평한 이미지로의 주밍은 이미지를 "좀더 가까이에서 보는 것"과 동일하고, 3D 공간에서의 모션을 시뮬레이션하지 않는다는 점에 주의해야 한다. 실제 모션은 대상들과 카메라 사이의 상대적 위치가 달라짐에 따라 시차 효과(parallax effect)에 크게 의존한다.
2개 이미지 사이의 모션에 대한 시뮬레이션을 제공하는 또 다른 방법은, 사용자가 2개 장면들 사이에서 이동할 것을 선택할 때 플레이되는, 이미지들 사이의 모션에 대한 물리적 무비(physical movie)를 생성하는 것이다. 물리적 공간의 위치 사이에서 실제 무비를 캡처하는 것은 비디오 카메라 및 다른 카메라 포지셔닝 장비를 사용해 수행될 수 있다. 무비들을 사용하는 이 접근 방법은 웹 페이지들의 이미지들 사이에서의 전환에 특히 유용하다. 대다수 웹 브라우저들은 스트리밍 비디오 또는 다른 디지털 무비나 비디오 포맷들을 플레이할 수 있는 소프트웨어를 포함하기 때문에, 그러한 무비들을 디스플레이하는데 추가적인 소프트웨어는 불필요하다. 장면들, 특히, 거대 환경들, 예를 들어, 도시 경관들을 위한 장면들 사이의 전환을 위해 실제의 물리적 무비들을 생성하는 것은 시간 소모적이고 값비싼 획득일 수 있다. 또한, 무비들은 상당한 데이터 및 후처리를 요구한다. POV(points-of-view)에서의 차이 때문에, 통상적으로는, 이미지들 또는 파노라마들 사이의 모션이 소망되는 각각의 방향을 위해 별도의 무비들을 생성해야 한다. 이와 같이, 2개 이미지 사이의 이동을 위해, 2개 무비: 제1 이미지로부터 제2 이미지로의 이동을 위한 한 무비 및 제2 이미지로부터 제1 이미지로의 이동을 위한 다른 무비가 필 요하다. 이것은 획득 프로세스를 좀더 복잡하게 하는데, 끊김없는 무비들 및 이미지들/파노라마들의 생성에서는 양방향성 무비들의 정확한 연결들이 중요하기 때문이다. 그러한 노력을 위해서는 전문 장비뿐만 아니라 일단의 사람들이 필요하다.
2개 이미지 사이의 모션을 시뮬레이션하는 또 다른 방법은 2개 이미지 사이의 경로를 표현하는 3차원 모델을 생성하는 것을 수반한다. 일단 그러한 3차원 모델이 존재하면, 이미지들 사이의 모션은 가상 카메라의 위치를 3차원 모델에서 이동시키는 것에 의해 시뮬레이션될 수 있다. 이 접근 방법은, 사용자가 모델에 의해 표현되는 영역을 임의의 유리한 위치로부터 보는 것을 허용하면서, 높은 융통성 정도를 제공한다. 본 명세서에 참고 문헌으로서 포함되어 있는, "Modeling and Editing Image Panoramas"라는 명칭의 미국특허출원 제10/780,500호에서 예시된 것들과 같은 기법들이 파노라마 이미지들로부터 3차원 모델들을 생성하는데 사용될 수도 있다. 그러나 이 기법들은, 포토-텍스처형 모델들(photo-textured models)이 정적인 텍스처 맵들을 가지므로, 시각적 아티팩트들 및 갈라진 틈들(seams)을 생성한다.
본 발명의 다양한 실시예들에서는, 컴퓨터 디스플레이 스크린에서 2개 장면 - "제1 장면" 및 "제2 장면" - 간의 사실상 끊김없는 전환의 시뮬레이션 모션을 발생시키기 위한 방법 및 시스템이 제공된다. 제1 장면은 제1 시점으로부터 관찰되고, 제2 장면은 제2 시점으로부터 관찰된다. 이 장면들은 단일 소스 이미지나 파노라마 소스 이미지 또는 그것에 관한 임의의 부분일 수 있다. 이미지들은 사진, 화면, 스케치, 페인팅 등을 포함하는 디지털화된 그래픽 콘텐츠의 임의의 유형을 가상적으로 포함할 수도 있다. 도 5는 본 발명의 실시예에 따른 장면 간 모션 생성(410)을 위한 흐름도를 나타낸다. 장면 간 모션 생성은 4개 컴포넌트: 카메라 포즈 추정(500), 전환 대상 생성(510), 전환 파라미터 편집(520) 및 가상 카메라 편집(530)을 포함할 수 있다. 이 단계들이 순차적으로 수행될 필요는 없으며, 적어도 하나의 단계들이 원하는 횟수만큼 반복될 수도 있다는 점에 주의해야 한다. 더욱이, 각각의 인스턴스에서 모든 단계들이 수행되어야 하는 것은 아닐 수도 있다.
제1 단계(500)-카메라 포즈 추정 획득-는 3D 공간(즉, 월드 공간)에서 제1 및 제2 장면들의 상대적 획득 위치들을 판정한다. 좀더 구체적으로, 포즈 추정 단계는 카메라의 부수적인 것들-획득 카메라의 위치 및 방위-을 판정한다. 공간의 한 점으로부터 다른 점으로의 3D 모션을 시뮬레이션하기 위해, 서로에 대한 소스 이미지들의 상대적 거리 및 방위들을 계산해야 한다. 통상적으로, 상호(pair-wise) 포즈 추정을 계산하기 위해, 자동으로 또는 사람의 개입에 의해, 소스 이미지들에서의 공통 특징들 사이의 대응 관계들이 확립된다. 대응되는 특징들의 적합한 레벨들로써, 대응하는 카메라의 부수적인 것들이 계산될 수 있다. 본 발명의 특정 실시예에서는, 장면들 사이의 평면적인 직사각형 특징의 대응 관계들이 포즈를 추정하는 데 사용된다. 본 발명의 다른 특정 실시예에서는, 후술하는 바와 같이, PRT(perspective rectangular tool)가 제공되어, 이미지에서의 직사각형 특징들의 추적을 용이하게 한다. 이 단계가 제1 장면을 제2 장면으로 매핑하는 변환을 확립하였다는 것과, 본 발명의 실시예들에서는, 본 기술분야에 알려져 있는 다양한 기법들이 이 변환을 판정하는 데 사용될 수도 있다는 점에 주의해야 한다. 소스 이미지들은 동일한 물리적 위치 또는 상이한 물리적 위치를 나타낼 수도 있고, 대응되는 소스 이미지들 내의 특징들이 동일한 특징 또는 동일한 위치일 필요는 없다는 점에 주의해야 한다.
그 다음, 전환 대상들이 생성된다(510). 일단 제1 및 제2 장면들의 상대적 위치들이 판정되고 나면, 가상 카메라를 위한, 제1 장면으로부터 제2 장면으로의 경로가 선택된다. 카메라 경로는 임의의 무작위 경로일 수 있지만, 디폴트로, 카메라 경로는 직선일 수도 있다. 모션을 시뮬레이션하기 위해, "전환 대상들"이 생성된다. 이들 전환 대상들을 통합하는 전환 장면들이 디스플레이되어 제1 장면으로부터 제2 장면으로의 모션을 시뮬레이션한다. 이들 전환 대상들은 통상적으로 제1 장면의 일부분 또는 특징을 제2 장면의 일부분 또는 특징과 조합하는 것에 의해 형성되는 전환 장면들의 대상들이다. 조합 연산자들은 다음에서 부연되는 전환 파라미터들이라고 하는 것이다. 본 발명의 특정 실시예에서는, 투영 텍스처 매핑(projective texture mapping)을 갖춘 3차원 형상이 전환 대상들을 생성하는 데 사용될 수도 있다. 투영 텍스처들은 제1 소스 이미지나 제2 소스 이미지로부터 또는 양자의 혼합으로부터 유래한다. 제2 장면으로의 전환이 실현되었을 때, 전환 대상들을 포함하는 전환 장면들은 사라지고, 사용자는 제2 장면만을 보게 된다. 예를 들어, 해변 장면의 전환 대상들은 사람들, 비치 파라솔들, 해변 및/또는 하늘을 포함할 수도 있다. 가상 카메라가 제2 장면으로 이동함에 따라, 사람들, 해변, 하늘 및 파라솔이 통과되어, 공간에서의 3D 모션을 정확하게 시뮬레이션한다.
다음으로, 전환 파라미터들이 입력 및 조정될 수도 있다(520). 가상 카메라가 제1 장면으로부터 제2 장면으로 이동할 때, 전환 파라미터들은, 모션이 제1 장면으로부터 제2 장면으로 시뮬레이션됨에 따라, 전환 장면들의 전환 대상들이 시간에 따라 달라지는 방법을 판정한다. 전환 파라미터들은 알파 블렌딩(투명화), 모션 블러링, 특징 모핑 등을 포함할 수도 있다. 일반적으로, 전환 파라미터들은, 가상 카메라의 경로에 따른 이동 동안, 시간에 걸쳐 적용되는 (2D 및 3D 양자의) 이미지 프로세싱 필터들로 간주할 수도 있다.
마지막으로, 제1 장면으로부터 제2 장면으로의 가상 카메라 경로가 편집될 수도 있다(530). 본 발명의 일부 실시예들에서는, 가상 카메라 경로가 디폴트로 제1 장면의 획득점으로부터 제2 장면의 획득점에 이르는 직선일 수도 있다. 다른 방법으로, 가상 카메라 경로는 무작위 경로, 예를 들어, 곡선 경로인 것으로 판정될 수도 있다. 더욱이, 경로가 트래버싱되는 속도가 달라질 수도 있다. 더욱이, 뷰잉 방향은 임의의 방향을 가리킬 수도 있고, 제1 장면으로부터 제2 장면으로의 전환 동안 달라질 수도 있다.
본 발명의 실시예에서는, PRT로 인해, 사용자가 제한된 사용자 인터페이스를 사용해 (투시적으로) 소스 이미지상에 "정확한" 직사각형 특징들을 그릴 수 있다. ("정확한"에 의해, 우리는 직사각형의 각 모서리 각도가 월드 평면에서 90°라는 것을 의미한다.) 도 6은 획득 위치(600), 이미지 평면상의 소스 이미지(610) 및 월드 평면으로의 직사각형 특징의 투영(620)을 예시한다. 이미지 평면상의 소스 이미지(610)는, 획득 위치(600)로부터 컴퓨터 디스플레이상의 파노라마의 일부로서 볼 수도 있는 것이다. 도 7은 이미지 평면 및 월드 평면의 확대를 나타낸다. 이미지 평면에는 x 및 y 좌표들로 투시된 직사각형 특징(빌딩 외관)(700)이 도시되어 있고, 월드 평면에는 x' 및 y' 좌표들의 조정된 빌딩 외관(710)가 도시되어 있다. 이미지 평면(700)의 점들(1-2-3-4)은 월드 평면(710)의 점들(1'-2'-3'-4')에 대응된다.
이미지 평면의 투시 직사각형이 정확한 직사각형이라고 가정하면, 대응되는 직사각형이 정확한 직사각형인 월드 평면을 계산할 수 있다. 다음에서는, 사용자 인터페이스에 제한들이 적용되어, (디스플레이 표면상의 포인팅 디바이스를 통해) 이미지 평면상의 클릭된 4개 점들이 항상 정확한 투시 직사각형을 생성할 것이고, 따라서 대응되는 직사각형이 조정된 정확한 직사각형인 월드 평면이 정의되는 것을 가능하게 하는 본 발명의 실시예를 설명한다.
도 8에 도시된 바와 같이, 사용자는 먼저 포인팅 디바이스로써 빌딩 외관의 3개 코너들(800, 810, 820)을 식별한다. 사용자 인터페이스는 제4 사용자 식별점을 솔루션 커브(825)로 제한한다. 그 결과인 사변 다각형은 항상 정확한 투시 직사각형, 즉, 월드 평면에서 볼 때 항상 90°코너 각도들의 완벽한 직사각형이다. 제4 점이 제거됨에 따라, 사용자 인터페이스는 에지들(1-4 및 304)을 제한하고, 그에 따라 이미지 평면의 결과적인 4개 코너의 다각형은 투시 직사각형으로 유지된다. 월드 평면에서는, 이와 같이, 4개 점들이 직사각형에 대응된다. 도 8에서, 솔루션 커브상의 점들(A 및 B;각각, 840 및 850) 역시 투시 직사각형의 유효한 사양이지만, 점들(A 및 B)은 소스 이미지의 빌딩 외관에 정합되지 않는다. (다음에 서는, 2개의 소스 이미지들 사이에서 특징 대응 관계 툴로서 사용되는 PRT가 논의된다.)
일단 직사각형 특징의 4개 코너들이 확립되고 나면, 코너들 중 어떤 것도 포인팅 디바이스를 이용해 선택될 수 있고, 편집될 수 있다. 유사한 제한들이 적용되고, 그에 따라 코너에 대한 어떤 편집들도 직사각형의 정확성을 유지할 것이다. 에지들 역시, 정확성 요구 사항을 유지하면서 편집될 수 있다. 본 발명의 특정 실시예에서는, 도 9에 예시된 바와 같이, 사용자는 투시 직사각형의 에지들 중 하나(예를 들어, 900)를 양방향적으로 이동시킬 수 있고, 에지들은, 이미지 평면에서의 다각형이 월드 평면에서의 직사각형으로 변환되도록 제한될 것이다. 이미지 평면에서 에지를 이동시키는 것은 에지를 소멸점들(910 및 920)로 제한하는 것으로 볼 수 있는데, 예시된 일례의 경우, 에지는 910으로 제한된다. 본 발명의 다른 특정 실시예들에서는, 특징 선택을 용이하게 하기 위해, 에지 검출, 코너 검출 등과 같은 프로세스들이 제공될 수도 있다.
투시 직사각형을 판정하기 위한 프로세스의 흐름도가 도 10에 도시되어 있다. 이미지 평면상의 투시 직사각형의 점들(1-2-3-4)로부터(1000, 1010, 1020, 1025), 한 쌍의 소멸 벡터들이 유도된다(1030, 1035). 이 시점에서, 사용자 특정점(1025)은 솔루션 커브상에 존재하지 않을 수도 있다는 점에 주의해야 한다. 그것은, 정확성 요구 사항을 유지하는 솔루션 커브상의 가장 가까운 점을 계산하는 데 사용된다. 도 11에서는, 생성된 소멸점들(1100, 1110)이 도시된 다음, 소멸 벡터들(x(1120) 및 y(1130))이 계산된다(소멸 벡터 계산은 후술한다). 소멸점들은 카메라의 원근법으로부터만 발생한다는 점에 주의해야 한다. 벡터들이 직교이면, 투시 직사각형(1-2-3-4)은 월드 공간에서의 직사각형 및 그 평면을 정의하고, 프로세스는 종료된다(1070). 소멸 벡터들이 직교가 아니면, 벡터들을 직교로 만들기 위해 이동되어야 할 에지가 선택된다(1045, 1050). 일단 이동될 에지가 선택되고 나면, 다각형의 점은 이동되어 벡터들을 직교가 되게 하고, 프로세스는 종료된다(1070).
이하에서는, 소멸 벡터들을 계산하기 위한 3D 그래픽 지향 기법(도 12)을 설명한다. 먼저, 임의의 디폴트 획득 위치(p 1230)로부터, p에서 이미지 평면상의 투시 직사각형의 4개 코너들에 이르는 선을 그리는 것에 의해 4개 점들(v1, v2, v3, v4)을 생성한다. 좀더 구체적으로, 이미지 평면은, p로부터의 뷰 방향에 직교인 평면으로서 정의되는데, 이 경우, p는 이미지 평면상에 존재하지 않으며 이미지 평면은 뷰잉 방향에서의 1/2 공간에 존재한다. 또한, 핀홀 카메라는 p에 배치되고, 뷰잉 방향을 향해 있으며, 설정된 본질적인 것들(intrinsics)(즉, FOV(field of view), 투영 중심을 포함하는 카메라의 특성들)을 갖는다고 가정한다는 것에 주의해야 한다. 따라서, v1, v2, v3, v4는 카메라의 본질적인 것들에 따라 이미지 평면으로 투영된 투시 직사각형의 코너들이다. 소멸 벡터 x를 계산하기 위해, 2개 평면들: 3개 점(p, v2, v3)으로부터 하나 및 3개 점(p, v1, v4)으로부터 또 하나를 정의한다. 이들 2개 평면(1200 및 1210)의 교차는, 소멸 벡터 x가 존재하는 선(1220)을 생성한다. 소멸 벡터 x가 가리키는 선의 방향을 판정하기 위해, 우리 는, 사용자에 의해 특정되는 4개 점들의 한결같은 나열 순서를 사용한다. 소멸 벡터 y는 평면들(p, v1, v2, 및 p, v3, v4)을 사용해 유사하게 계산될 수 있다.
본 발명의 실시예에서, 코너(예를 들어, 제4 점)는 포인팅 디바이스를 통해 클릭 앤 드래그 명령(click-and-drag command)으로써 이동된다. 사용자가 포인팅 디바이스의 버튼을 누름에 따라, 제4 점이 판정되고, 사용자가 제4 점을 배치할 장소를 판정하기 위해 주위를 드래그함에 따라, 소멸 벡터들이 계산되며 에지들(1-4 및 3-4)은 정확성 제한이 유효하도록 배치된다.
1045 및 1050에 도시된 바와 같이, 제4 점을 이동시키는 동안, "제어 에지"가 사용자에 의해 판정된다. 이 경우 "제어 에지"는 에지 3-4 또는 1-4이다. 본 발명의 특정 실시예에서는, 제어 에지를 판정하기 위해 상이한 포인팅 디바이스 버튼들이 사용된다. 일반성을 잃지 않으면서, 제어 에지가 3-4로서 정의되면, 제4 점이 포인팅 디바이스를 사용해 이동됨에 따라, 제어 에지 3-4는 점 3으로부터 포인팅 디바이스의 현재 위치까지 선을 그리는 것에 의해 정의된다. 솔루션 커브상에 위치하는 점 4는 이 선상의 어딘가에 위치한다. 소멸 벡터 y는 앞서 언급된 기법을 이용해 정의될 수 있는데, 이 경우, 2개 평면들은 p, v1, v2, 및 p, v3, m이고, m은 이미지 평면에서의 마우스의 현재 위치이다. 직교 소멸 벡터 x를 계산하기 위해, 2개 평면들이 다시 교차하는데, 제1 평면은 p, v2, v3이고, 제2 평면은 벡터 y의 듀얼(dual)이다. 3D 공간에서 각각의 벡터는 그것의 듀얼: 직교 평면을 갖는다. 계산된 x 및 y는 직교인 것이 보장된다. 마지막으로, 평면(p, v3, m)을 v1+x에 의해 정의되는 선과 교차시키는 것이 v4의 3D 위치를 계산한다. 3D 점 v4를 이미지 평면으로 투영하는 것이, 정확성 제한을 유지하면서 점 4의 정확한 위치를 제공한다.
본 발명의 특정 실시예에서, 획득 카메라 포즈 추정은 PRT를 사용하는 것에 의해 제1 장면 및 제2 장면의 대응되는 직사각형 특징들에 의해 계산될 수 있다. 도 13은 입력 소스 이미지들을 나타내는데, 이 경우, 2개의 구형 파노라마 이미지들(1300 및 1310)은, 각각, 약술된 빌딩 외관의 직사각형 특징들(1320 및 1330)을 가진다. 도 14에는, 각각, 1320 및 1330에 대응되는 이미지 평면의 파노라마 뷰어로부터 보는(예를 들어, 직선들이 똑바르고 비례하는) 2개 입력 이미지들의 동일한 외관들(1400 및 1410)이 도시되어 있다. 개개 외관들(1420 및 1430)이 월드 평면도에 도시되어 있다. PRT를 사용하면, 특징의 대응되는 4개 코너들이 정합하는 순서로 대응된다. PRT는 1420 및 1430이 정확한 직사각형들이라는 것을 보장한다.
일단 대응되는 특징들이 선택되고 나면, 서로에 관한 획득점들(카메라 포즈)의 부수적인 것들을 위한 솔루션이 계산될 수 있다. 이 솔루션은, 제2 장면의 직사각형 특징이 제1 장면의 대응되는 특징과 방향, 크기 및 위치에서 정합하도록 제2 장면은 회전시키고 변환하면서 제1 장면은 정적으로 유지하는 것을 수반한다. 이 연산들로부터, 월드 공간에서의 2개 장면들의 상대적인 위치들 및 방위들이 판정될 수 있다. 이와 같이, 직사각형 특징들을 이용해 제1 장면을 제2 장면으로 매핑하는 변환이 판정될 수 있다.
제2 장면을 제1 장면으로 정렬하는 데 필요한 회전은 개개 월드 평면들의 법선들로부터 판정된다. PRT는 대응되는 직사각형 특징들로부터 제1 및 제2 월드 평면들을 정의하고, 각각의 평면은 그것의 듀얼인 법선을 가진다. 앞서 논의된 바와 같이, 월드 평면의 직사각형 특징 각각은 (PRT를 통해) 소멸점에서 만나는 한 쌍의 평행선들을 제공한다. 도 12와 유사하게, PRT의 평행선들의 2개 직교 쌍으로부터 1쌍의 소멸 벡터들이 판정된다. 대응되는 특징들 양자를 위해 이것이 수행된다. 도 15에 예시된 바와 같이, 일단 소멸 벡터들(x 및 y)이 계산되고 나면(1500 및 1510), PRT가 x와 y 사이의 직교성을 보장한다. 간단한 외적이, 월드 평면의 법선 벡터인 벡터 n을 계산한다. 양자의 법선 벡터들, 제1 월드 평면 법선 및 제2 월드 평면 법선이, 각각, 계산된다. 2개 장면들의 법선들: 제1 장면의 PRT 사양으로부터의 n1 및 제2 장면의 PRT로부터의 n2가 판정된 상태에서, 제2 이미지는 n2를 n1에 정합하는 것에 의해 2개 이미지의 방향을 정렬하도록 회전될 수 있다. 이러한 회전 단계를 수행하는 것에 의해, 월드 평면들을 서로에 대해 평행하게 정렬한다.
평행 이동 단계(translation step)는 2-단계 프로세스이다. 제1 단계는 평행 이동 솔루션 공간을 1차원 문제로 감소시키는 단계를 수반하고; 다음으로, 제2 단계는 1차원 공간에서의 솔루션을 계산한다(도 16 및 도 17). 이를 수행하기 위해, 먼저, 도 16에 도시된 바와 같이, 회전된 장면들을 공통 좌표 시스템, 즉, "월드 공간"에 배치한다. 처음에는, 양자의 장면들을 위한 획득 위치들이 동일한 점이라고 가정한다. 공통 시점(1600)으로부터 보는 직사각형 특징들은, 그들의 법선 들이 원근법에 의해 동일하므로, "동일한" 평면(1610 및 1620)에 놓여 있는 것처럼 보이겠지만, 직사각형들은 상이한 위치들에 배치될 수 있으며 상이한 크기들을 가질 수 있다.
다음으로, 각각의 PRT 직사각형의 중심이 계산된다. 중심을 계산하기 위해, 먼저 월드 평면들을 획득 위치로부터 임의의 거리에 배치한다. 그 다음, 직사각형의 4개 코너들이 평면으로 투영된다. 이제 3D 공간에서의 특정 점들인 투영된 4개 점들은 중심을 계산하기 위해 평균된다. 그 다음, 제2 PRT 직사각형의 중심은 제1 PRT 직사각형의 중심과 정합하도록 평행 이동된다. 도 16에 도시된 바와 같이, 앞서 1620에 위치했던 직사각형이 이제 1630으로 평행 이동된다. 이러한 평행 이동(1640)은 제2 장면의 획득 위치에도 적용된다(1650). 이 단계 이후에, 양자의 월드 평면들은 동일한 평면에 위치하고 공통 중심들을 공유한다.
(현재 공간에서 공통으로 공유되는 점인) 중심을 통해 제2 파노라마 위치를 위한 시점의 새로운 위치에 이르는 선은, 1차원 솔루션 공간(1660)이다. 우리는 이것을 "솔루션 라인(solution line)"이라고 한다. 제2 장면 위치를 솔루션 라인을 따라 이동시킨다는 것은, 공통 월드 평면으로 투영된 직사각형이 크기, 즉, 면적에서 변화한다는 것을 의미한다. 마지막 단계, 솔루션 라인을 따라가는 평행 이동이 예시된다(1670). 제2 평행 이동(1670)은 월드 평면에서 PRT 직사각형들의 면적을 정합한다.
이제, 제2 파노라마의 직사각형 면적을 제1 파노라마의 직사각형 면적에 정합하는 것에 의해, 정확한 솔루션이 계산된다. 도 17은 평행 이동(1670)의 조감도 를 상세하게 예시한다. (1670 바로 전의) 제1 장면 및 제2 장면의 초기 위치들은, 각각, ps(1700) 및 pd(1730)로써 정의된다. 제1 장면의 위치(ps)는, pd가 솔루션 라인(1720)을 따라 평행 이동되는 동안, 정적인 상태를 유지한다. 초기 위치 pd(1730)로부터, 직사각형의 면적이 동일하도록, 솔루션 공간(1720)상의 새로운 위치 pd(1710)가 판정된다. pd(1730)가 중심(c)에 근접함에 따라, 투영된 직사각형의 면적은 좀더 작아지고, 그 반대일 수도 있다. 솔루션 라인상의 어딘가에, 투영된 양자의 직사각형들의 면적이 동일한 점(1710)이 존재한다.
Figure 112007042268429-PCT00001
Figure 112007042268429-PCT00002
거리(hd)를 계산하는 단계는 최종적인 평행 이동 위치를 판정한다. 수학식 1은, 직각 삼각형의 사변인 hd의 길이를 나타내고, rd 및 bd는, 각각, 대변 및 인접한 변이다. 수학식 2는, 법선 평면에 이르는 수직 거리(rd)를 계산하는 방법을 나타내는데, 여기에서, Ad 및 As는, 각각, 제2 및 제1 파노라마들이 월드 평면으로 투영된 직사각형들의 면적이다. hd를 계산하는 것에 의해, 제1 및 제2 PRT 직사각형들의 투영된 면적이 동일하도록, c에서 pd에 이르는 거리를 계산한다.
본 발명의 다른 실시예에서는, 정렬을 좀더 향상시키기 위해, 직사각형들의 다수 쌍이 대응될 수도 있다. 이것은, 제2 파노라마 위치들의 솔루션 위치 각각에 대한 가중화된 평균을 사용하는 것에 의해 수행된다. 고려해야 할 사용자 특정 직사각형의 2가지 양상들: 사용자 특정 직사각형들의 각도 및 크기가 존재한다. 제2 파노라마의 최종 위치는 다음의 수학식 3에 의해 판정되는데,
Figure 112007042268429-PCT00003
여기서, k는 대응되는 직사각형 쌍들의 수이고, 변수 j는 제2 파노라마 및 제1 파노라마 직사각형들을 위한 것이며, ni ,j는 직사각형의 법선이고, vi ,j는 (3D 공간에서) 획득 위치로부터 직사각형의 중앙에 이르는 단위 뷰 벡터이며, Ai ,j는 단위 구형의 경계를 이루는 투영된 직사각형의 입체각이고, pi는 본 발명의 정렬 알고리즘으로부터 계산되는 제2 파노라마의 솔루션 위치이다.
좀더 직관적으로, (ni ,jㆍvi ,j)는 획득 위치로부터 보는 직사각형의 각도를 고려하는데, 그 각도를 더 많이 스치고 지날수록, 사용자 특정 직사각형이 정확하다는 확신은 떨어진다. 직사각형의 크기(Ai ,j)도 고려되는데, 직사각형이 상대적으로 커질수록, 사용자 오차들은 덜할 수 있기 때문이다.
본 발명의 바람직한 실시예들에서, 일단 카메라 포즈가 추정되고 나면, 전환 대상들이 모델링될 수 있다. 앞서 언급된 바와 같이, 전환 대상들은 제1 장면으로부터 제2 장면으로의 모션을 시뮬레이션하기 위해 생성된 일시적인 대상들이다.
본 발명의 특정 실시예에서는, 3차원 형상 및 투영 텍스처 매핑이, "Modeling and Editing Image Panoramas"라는 명칭의 미국특허출원 제10/780,500호에서 설명된 것들과 유사한 전환 대상들을 생성하는 데 사용될 수도 있다. 그러한 기법들에서는, 병합된 단일 텍스처 맵이 각각의 형상을 위해 사용되는데, 여기서, 개개 텍스처는 다수 소스 이미지들의 블렌드(blend)로부터 생성될 수도 있다. 도 18 내지 도 23은, 돌출 툴(extrusion tool)를 사용해 3D 형상이 모델링되고, 포토 텍스처링되는 본 발명의 실시예를 위한 단계들의 시퀀스를 예시한다.
도 18에서는, 3가지 예시들이 인테리어 룸인 동일한 장면(1800, 1810, 1820)의 상이한 표현들을 나타낸다. 1800은 이미지 평면 뷰(즉, 파노라마 뷰어를 통한 장면의 뷰)를 예시한다. 도시된 바와 같이, 포인팅 디바이스가 사용되어, 디스플레이된 장면의 하단 코너를 클릭하여 꼭지점(1830)을 배치한다. 마찬가지로, 1810은 3D 공간에서의 탑다운 뷰(top-down view)이고, 1820은 부등각 투영도(axonometric view)인데, 이 도면들 모두는 장면을 위한 획득 위치(1840)를 나타낸다. 또한, 이미지 평면 및 부등각 투영도들(1810 및 1820) 모두는 포인팅 디바이스(1830)를 나타낸다. (일단 사용자 상호 작용이 발생하면, 각각의 표현에 도시된다는 것에 주의해야 한다.) 도 19에서는, 3가지 표현들(1900)에서 도시되는 바와 같이, 사용자가 인테리어 룸의 풋프린트 주위를 클릭하고 추적한다. 도 20은 풋프린트의 완결된 추적을 나타낸다. 다음 단계는, 도 21에 도시되어 있는 돌출 프로세스이다. 포인팅 디바이스를 사용해, 사용자는, 벽들이 이미지 평면 뷰(도 22)의 "천장"을 만날 때까지, 풋프린트으로부터 "벽들"을 돌출(즉, "상승")시킨다. 일단 돌출 툴를 사용해 형상이 생성되고 나면, 적합한 포토 텍스처들이 소스 이미지(예를 들어, 파노라마)로부터 복사되어 새롭게 생성된 영상에 투영적으로 적용될 수 있다. (예를 들어, Mark Segal 등의 "Fast shadows and lighting effects using texture mapping", In Proceedings of SIGGRAPH 92, pages 249-252를 참고한다). 본 발명의 다른 실시예들에서는, 본 기술분야에 공지되어 있는 다른 형상 생성 툴들이 투영적 텍스처 매핑과 커플링되어 사실적인 콘텐츠를 생성할 수도 있다.
본 발명의 특정 실시예에서는, 각각의 형상(또는 형상 요소)을 위해 2개의 텍스처들: 제1 장면으로부터의 한 텍스처 및 제2 장면으로부터의 나머지 텍스처가 저장될 수도 있다. 제1 장면으로부터 제2 장면으로의 전환 동안, 이 텍스처들 또한 전환될 수 있는데, 다시 말해, 전환 파라미터들에 따라, 장면들에 알파 블렌딩즉, 투명화), 모핑, 모션 블러링 및 이미지 프로세싱의 다른 유형들이 적용될 수도 있다. (전환 파라미터들은 다음에서 부연한다.)
도 23 내지 도 25는 본 발명의 특정 실시예를 위한 전환 대상 생성 툴을 나타낸다. 도 23에서, 룸 인테리어들인 제1 장면(2300) 및 제2 장면(2310)은 2개 장면들의 획득 위치들(2320, 2330)을 갖는 것으로 도시된다. 제1 및 제2 장면들 양자의 인테리어 풋프린트(각각, 2300 및 2310)는, 도 18 내지 도 22와 관련하여 상술된 돌출 프로세스에 따라, 도 23에 도시된 바와 같이 모델링된다. 이 장면들은 동일한 월드 공간의 2가지 시점들을 위한 것이다. 상술된 바와 같이 또는 본 기술 분야에 공지되어 있는 다른 기술에 따라, 포즈 추정이 실현될 수 있다. 사용자는 전환 대상들의 형상을 추적하기 위해 디스플레이 윈도의 어느 한쪽을 포인팅할 수 있다. 탑다운 뷰로부터 보는 풋프린트 각각의 포토 텍스처는, 투영적 텍스처 매핑이 이용되고 있으므로, 획득 위치로부터 자연스럽게 "늘여진다"는 것에 주의해야 한다.
도 24는 획득 위치들로부터 보는 2개 장면들을 나타낸다. 양자의 장면들은 유사한 방향에서, 즉, 룸의 출입문들을 향해 뷰잉되고, 추적되는 풋프린트(2400, 2410)를 양자의 장면들에서 볼 수 있다. 벽들이 풋프린트로부터 돌출되는 돌출 방향(2420)은 화살표로써 표시된다. 이번에도, 모델링은 양자의 장면들을 위해 동시에 수행될 수 있다는 것에 주의하는 것이 중요한데, 도 25에 도시되어 있는 바와 같이, 돌출되는 벽들, 마루 및 천정들은 제1 장면과 제2 장면 사이에서 자동으로 대응될 수 있다. 도 25는 자동적인 전환 대상 대응 관계들(2520, 2530, 및 2540)의 몇 가지 일례들을 나타낸다. 도 26은 제3자 시점으로부터의 2개 장면들을 나타내는데, 이제는, 생성된 형상을 각 장면으로부터의 투영적 텍스처 맵들로써 오버레이하는 것이 가능하다. 도 26은 생성된 형상과 관련하여 획득 위치들을 나타내는 친숙한 "롤리팝(lollipop)" 아이콘들(2600, 2610)을 포함하며, 대응되는 전환 대상들(2620, 2630, 2640, 2650)도 도시된다.
전환 대상 모델링 툴이 비평면 형상들을 위해서도 사용될 수 있다. 큐브들, 구들, 실린더들과 같은, 다양한 3D 프리미티브들이 모델링에 사용될 수도 있다. 또한, 삼각형 메시들 및 분석적 형상 설명들이 투영적 텍스처 매핑과 커플링되어 모델링될 수도 있다. 또한, 대응되는 뷰들을 가지고 있지 않은 전환 대상들도 (후술되는 바와 같이) 모델링될 수 있다. 때때로, 장면들의 복잡성으로 인해, 각 특징이 양자의 장면들에서 보이지 않을 수도 있다. 이 경우, 형상은 여전히 모델링될 수 있지만, 제1 장면으로부터의 또는 제2 장면으로부터의 단일 텍스처만이 존재할 수도 있다.
본 발명의 바람직한 실시예에서, 제1 장면으로부터 제2 장면으로의 전환은 "가상 카메라"를 사용해 모델링된다. 도 27에 도시된 바와 같이, 일단 상대적 카메라 포즈가 계산되고, 전환 대상들이 생성되고 나면, 제1 장면(2700)으로부터 제2 장면(2710)으로 전환할 수 있다. 이 경우 형상은 동일하지만, 투영적 텍스처들은 상이하다는 것에 주의해야 하는데, 2700은 제1 장면(2720)으로부터 보는 장면이고, 2710은 제2 장면(2730)으로부터 보는 장면이다. 가상 카메라 경로(2740)는 디폴트로 선형이다. 그러나 카메라 경로는, 후술하는 바와 같이, 임의의 곡선일 수 있다.
도 28은, 제1 장면으로부터 제2 장면으로의 전환이 이루어짐에 따른 가상 카메라 경로상의 점들(2830, 2840, 2850)을 나타낸다. 제1 장면과 제2 장면을 알파 블렌딩하는 것은, 전환 파라미터인 알파 블렌딩 정도에 따른 전환 대상들의 진행을 예시하는 데 사용된다. 가상 카메라가 경로의 25% 아래에 위치할 때(2800), 전환 파라미터의 알파 블렌딩은 제1 장면으로부터의 75% 및 제2 장면으로부터의 25%로 설정된다. 2810에서, 파라미터는 50%-50%로 설정되고; 2820에서, 파라미터는 25%-75%로 설정된다. 다음에서 논의되는 바와 같이, 전환 파라미터들은 가상 카메라가 제1 장면으로부터 제2 장면으로 전환함에 따라 달라진다. 이와 같이, 전환 동안 디스플레이되는 전환 장면들도 그에 따라 달라진다. 도 29는 가상 카메라로부터의 POV(point of view)를 나타낸다. 2900은 제1 장면에서의 가상 카메라에 대응되고, 2910은 경로 아래의 25%이며, 2920은 경로 아래의 50%이고, 2930은 경로 아래의 75%이며, 2940은 제2 장면에서의 가상 카메라에 대응된다.
도 30은 상이한 전환 대상을 위한 전환 시퀀스를 나타낸다. 3000, 3010, 3020, 3030, 3040은 도 29의 시점 뒤쪽에 위치한 벽 형상 및 텍스처들에 대응되는 시퀀스들이다. 전환 대상들의 전환은 가상 카메라가 향하고 있는 방향에 상관없이 발생한다. 이것은, 가상 카메라가 경로를 따라 전환함에 따라, 가상 카메라는 (뒤쪽이라고 하더라도) 임의의 방향을 바라볼 수 있다는 것을 의미한다. 또한, 발생할 수 있는 전환의 후속 세트가 제1 장면 뒤쪽의 제2 장면으로부터 유래할 수도 있는데, 이 경우, 기존 전환 대상들의 대다수가 재사용될 수 있다.
본 발명의 특정 실시예에서는, 사용자 인터페이스가 전환 파라미터들의 양방향성 편집을 제공한다. 도 31은 본 발명의 실시예에 따른 예시적인 TPE(transitional parameter editor)의 레이아웃을 나타낸다. 3100은, 이 경우, 양방향성 파노라마 뷰어인, 메인 디스플레이 및 전환 대상 디스플레이 리스트(3110)를 나타낸다. 사용자는, WYSIWYG("what you see is what you get") 방식으로 양방향적으로 전환 대상들을 포함하는 3D 환경을 내비게이션할 수 있다. 전환 대상 리스트는 생성된 전환 대상들을 디스플레이하고, 선택, 가시성 및 다른 파라미터들을 토글링하는데 사용될 수도 있다. 하단의 윈도 구획(3120)은 전환 파라 미터 그래프들을 나타낸다. 이 그래프들은 가상 카메라를 위한 경로상의 임의의 점에서의 파라미터 값을 나타낸다.
도 32는 TPE 스크린의 확대도를 나타낸다. 도시된 바와 같이, 전환 파라미터들은 2D 그래프들(3200, 3210, 및 3220)로써 표현된다. 이 파라미터들은 알파 블렌딩, 모션 블러링, 색 농도, 모핑 등에 대응될 수 있다. 수평 축은 시간인데, 여기서, "time = 0.0"는 시작 시각을 표현하고 "time = 1.0"은 종료 시각이며, 시작 시각에서 종료 시각 동안, 가상 카메라는 제1 장면(3230)으로부터 제2 장면(3250)까지의 소정 경로를 따라 이동한다. 범위는 정규화된 범위일 수 있고, 사용자는 카메라의 속도 및 가속도를 경로상의 다양한 점들에서 별도로 변경할 수 있다. 각각의 전환 파라미터를 위한 수직 축은 파라미터에 의존한다. 예를 들어, 알파 블렌딩의 경우, 수직 축 또한 [0.0, 1.0]의 범위일 수 있는데, 여기서, 1.0은 제1 장면으로부터의 전환 대상들은 완전히 불투명하고, 제2 장면으로부터의 전환 대상들은 완전히 투명한 경우이고, 0.0은 그 반대이다. 그래픽 사용자 인터페이스가 제공되어, 사용자는 2D 곡선(3270)을 사용해 각각의 파라미터를 양방향적으로 그래픽으로 조정한다. 수직 바(3260)에 도시되어 있는 타임라인 슬라이더(timeline slider)는 메인 디스플레이(3100)에 디스플레이되는 전환 이미지를 미리보기하기 위해 왼쪽 또는 오른쪽으로 양방향적으로 드래그될 수 있다. 메인 디스플레이에 렌더링되는 이들 "전환 이미지들"은, 가상 카메라가 보게 될 것과 전환 파라미터들이 전환에 영향을 미치는 방법을 (이 역시, WYSIWYG로) 반영한다. 도 33은 일반적인 전환 파라미터 그래프의 확대도를 나타낸다. 각각 시간상 앞쪽 또 는 뒤쪽으로 이동하는 왼쪽 또는 오른쪽으로 양방향적으로 드래그될 수 있는 타임라인 슬라이더(3310)가 도시되어 있다. 전환 파라미터 그래프상의 2D 곡선(3300)은 가상 카메라의 경로에 따른 이동중의 소정 시점에서의 전환 파라미터 값을 특정한다. 소정 시점에서의 전환 파라미터를 변경하기 위해 꼭지점들이 추가, 삭제 및 변경될 수도 있다.
본 발명의 특정 실시예들에서, 전환 파라미터들은 알파 블렌딩, 모션 블러링, 모핑, 농도 변화, 카메라 속도 및 카메라 XY-오프셋 팩터들을 포함할 수 있다. 원하는 바에 따라 다른 전환 파라미터들이 정의될 수도 있다. 일반적으로, 2D 및 3D 모두를 위한 이미지 프로세싱 필터 또는 알고리즘의 임의의 유형이 전환 이미지들에 적용될 수 있고, 필터들 또는 알고리즘들을 경로상의 시간(또는 위치)의 함수로서 제어하기 위한 전환 파라미터들이 입력될 수도 있다. 도 34는 2개 전환 파라미터들: 모션 블러링 및 농도 조정의 일부 효과들을 나타낸다. 알파 블렌딩, 모션 블러링, 모핑 등을 포함하는 전환 파라미터들의 조합을 시간에 걸쳐 적용하는 것에 의해, 2개 장면들(이미지들 또는 파노라마들) 사이의 움직임에 대해 시각적으로 납득 가능한 시뮬레이션이 제공될 수 있다.
2개 장면들(이미지들 또는 파노라마들) 사이에서 취해진 중간 이미지(또는 이미지들)는, 이들 알파 블렌딩, 모션 블러링, 모핑 등의 기법들과 함께, 제1 장면과 제2 장면 사이의 외양을 향상시키기 위한 추가적인 소스 이미지로서 사용될 수도 있다. 예를 들어, 제1 파노라마와 제2 파노라마 사이의 경로에는, 이용 가능한 몇 가지 보통 이미지들(즉, 반드시 파노라마일 필요는 없는 이미지들)이 존재할 수 도 있다. 이 이미지들은 2개 파노라마 사이에서 시각적으로 훨씬 더 납득 가능한 전환을 생성하기 위해 알파 블렌딩, 모션 블러링, 모핑 등을 위한 중간점들로서 사용될 수도 있다.
전환 대상을 위한 모핑은, 알파 블렌딩, 모션 블러링 등과 같은, 다른 기법들에 비해 추가적인 특징 대응 관계들을 요구한다. 도 35는, 본 발명의 실시예에 따른, 모핑이 이용되는 전환 대상의 특징들을 예시한다. 전환 대상을 생성하는 것으로부터 정의되는 투영적 텍스처 맵들의 각 쌍을 위해, 사용자는 대응되는 특징들을 적용할 수 있다. 도 35는 제1 장면(왼쪽) 및 제2 장면(오른쪽)으로부터 보는 대응되는 전환 대상(3500, 3510)를 나타낸다. 사용자는 점들, 선들, 폴리라인들, 루프들 등을 사용해 특징들을 대응시키기 위한 이미지를 양방향적으로 포인팅할 수 있고, 텍스처 및 형상은 추가 특징들에 따라 삼각 측량된다. (예를 들어, Thaddeus Beier 및 Shawn Neely의 "Feature-based Image Metamorphosis", In Proceedings of SIGGRAPH 1992, pages 35-42를 참고한다). 모프 전환 파라미터를 위한 TPE의 2D 그래프를 사용하면, 사용자는, (시간적인 선행 및 후행 모두에서) 모핑이 제1 장면으로부터 제2 장면으로 양방향적으로 발생하는 속도를 제어할 수 있다. 도 36은, 사용자 특정 모프 특징들에 따른 모핑 전환 대상 및 그것의 삼각 측량된 형상의 2개 인스턴스들을 나타낸다. 3600은 초기 시간 단계(time = 0.0에서의 타임라인 슬라이더)를 나타내고, 3610은 time = 0.5일 때를 나타낸다. 타임라인 슬라이더가 이동되거나 자동으로 플레이됨에 따라, 모핑은, 텍스처 뿐만 아니라 대응되는 형상(이 경우, 삼각형 메시) 모두를 전환하면서, 제1 장면으로부터 제 2 장면으로 점진적으로 발생한다. 도 37은, 모핑이 제1 장면으로부터 제2 장면으로의 전환에서의 시각적 아티팩트들을 최소화하는 데 유용할 수 있는 일례를 나타낸다. 3730은 모프 특징들 없이 디스플레이될 때의 전환 대상에 대한 확대를 나타내는데, 텍스트를 읽을 수 없게 하는 "고스팅(ghosting)" 효과들이 존재한다. 고스팅 아티팩트는, 예를 들어, 포즈 추정 또는 특징 대응 관계의 오류들로부터 발생할 수도 있다. 모핑은 사실상 고스팅 쟁점들 중 다수를 해결할 수 있다. 3700 및 3710은, 각각, 제1 장면 및 제2 장면으로부터의 조정된 빌딩 외관 텍스처들을 나타내고; 3720 및 3725는 사양들에 대응되는 소정 모프이며; 이미지 3740은 고스팅 아티팩트들이 없는 호텔 이름 전환 대상을 나타낸다.
다음에서는, 본 발명의 실시예들로써 생성되는 장면 간 전환의 일례들이 다양한 장면 유형들을 위해 도시된다. 이 일례들은, 전통적인 영상(vision) 및 컴퓨터 그래픽 문제들을 위해, 포즈 추정의 정밀도에 대한 필요성을 경감하기 위한 전환 파라미터들의 중요성을 나타낸다.
도 38 및 도 39는, 제1 및 제2 장면들이 분명한 특징들을 공유하지 않는 장거리 전환을 나타낸다. 도 38은 제1 장면(3800) 및 제2 장면(3820)으로서의 2개 파노라마를 나타낸다. 3820은 제1 장면 파노라마에 도시된 제2 장면 파노라마의 위치를 포인팅하고, 3830은 제2 장면 파노라마에 도시된 제1 파노라마의 위치를 포인팅한다. 도시된 바와 같이, 배경의 빌딩들과 같은, 거대 특징들은 볼 수 있지만, 양 장면들 주위의 실제 보행자 스케일의 대상들은 서로 볼 수 없다. 도 39는, 가상 카메라가 제1 장면으로부터 제2 장면으로 이동함에 따른 프레임들(즉, "전환 이미지들")의 시퀀스(3900, 3910, 3920, 3930, 3940, 및 3950)를 나타낸다. 각 프레임의 원들은 제2 장면의 위치를 나타낸다. 포즈(카메라의 부수적인 것들)를 추정하기 위해, 빌딩들과 같은, 거대 특징들이 사용되었다. 결과적인 포즈 추정 계산이 높은 정밀도를 보장하지는 않았지만, 여전히 그럴듯한 전환이 모델링되었다. 3D 모션 블러링의 다양한 양들을 적용하는 것 역시 시각적 아티팩트들을 최소화하는 데 도움이 되었다.
다음 일례는, 2개 장면들이 대응되는 정확한 특징들이 있지 않은 경우이다. 도 40은 제1 및 제2 장면 파노라마들(4000 및 4010)을 나타낸다. 4020 및 4030은, 전환 동안 가상 카메라가 통과할 닫힌 출입구를 나타내는데, 다시 말해, 제1 및 제2 장면들은 문의 반대쪽들이다. 이 일례를 위해, 문이 제1 장면과 제2 장면 사이에서 대응하기 위한 적합한 특징으로서 사용되었다. 도 41은 생성된 3D 전환 대상들과, 각각, 제1 장면 및 제2 장면 획득 위치들(4100 및 4110)을 나타낸다. 도 42는 전환 이미지들(4200, 4210, 4220, 및 4230)의 시퀀스를 나타낸다. 도시된 바와 같이, 원활한 전환이 생성된다. 이 전환을 생성한 아티스트는, 가상 카메라가 통과될 때, 출입구 역시 투명하게 만들었다. 포즈를 추정하는 데 사용된 특징들(문)을 미러링(mirroring)하는 상태에서 전환 대상들 중 어떤 것도 대응 관계들을 갖지 않는다 하더라도, TPE의 고유한 그래픽 인터페이스로 인해, 아티스트는 타임라인 슬라이더 및 전환 파라미터 값들을 사용해 이 전환을 그럴듯하게 생성할 수 있었다.
최종적인 일례가 도 43 및 도 44에 도시된다. 제1 장면(4300)은 도시된 바 와 같이 그것의 획득점(4320)을 갖고, 제2 장면(4310)은 도시된 바와 같이 그것의 획득점(4330)을 가진다. 이 일례에서는, PRT 대응 관계를 위한 직사각형 특징들이 거의 존재하지 않았지만, 아티스트는, 전환 대상들의 조감도로서 4420에 도시된 바와 같이, 위치들을 적합하게 근사할 수 있었다. 적당한 전환 파라미터 조정에 의해, 장면들 사이의 원활하고 신뢰 가능한 모션이 생성되었다.
본 발명의 실시예들에서, 일단 장면 간 모션이 생성되고 나면, 장면들은, "능동 요소들"이라고 하는, 사용자의 관심을 끄는 인위적 엔티티들로써 채워질 수도 있다. 통상적으로, 능동 요소들은 포인팅 디바이스를 통해 활성화된다. 능동 요소 활성화의 다른 방법들이 후술된다.
도 45에 도시된 바와 같이, 능동 요소 생성을 위한 3가지 컴포넌트들: 투시 평면 선택하기(4500), 능동 요소들을 생성 및/또는 이식하기(4510), 및 능동 요소들이 활성화될 때 능동 요소들을 그들의 거동으로 연결시키기(4520)가 존재한다.
가장 중요한 능동 요소들 중 하나를 "내비게이션 아이콘"이라고 한다. 내비게이션 아이콘은, 제1 장면으로부터 제2 장면과 같은, 장면들 내에서의 모션을 활성화한다. 도 46에 도시된 바와 같이, 뷰어(4600)는 내비게이션 아이콘(4610)의 일 형태를 나타낸다. 본 발명의 이 실시예에서, 내비게이션 아이콘은 (흑백 이미지에서는 볼 수 없겠지만) 의도적으로 화려한 색상을 띠며 소형이므로, 아이콘을 볼 수는 있겠지만 아이콘이 장면의 가시성을 방해하지는 않는다. 또한, 본 발명의 특정 실시예에서는, 사용자가 파노라마 주위를 패닝(panning)함에 따라, 내비게이션 아이콘은 환경에 대해 "꼼짝 않는 상태"를 유지하고, 그에 따라, 환경을 따라 패닝한다. 4620 및 4630에 도시된 바와 같이, 일단 내비게이션 아이콘이 활성화되고 나면, 가능해지는 액션은 제1 장면과 제2 장면 사이의 모션이다.
내비게이션 아이콘들은, 일단 내비게이션 아이콘이 활성화되면, 장면 간 모션이 트리거된다는 것을 사용자가 시각적으로 이해하는 것을 가능하게 하면서, 장면들의 뷰잉에서 중요한 역할을 할 수 있다. "시각적 언어"에서의 이러한 일관성은, 특히, 가상 환경들에서 중요한 개념이다. 또한, 내비게이션 아이콘은 이제, 한 방향의 2개 장면들 사이뿐만 아니라 어쩌면 다수의 방향으로 상호 연결된 수천 개 장면들 사이에서, 장면 간 모션들의 복잡한 네트워크를 가능하게 할 수도 있다. 도시 규모의 장면 간 연결에서의 그러한 "수퍼투어"의 일례가 다음에서 도시된다.
도 47은 장면들에 매입된 능동 요소들의 다른 유형들의 일례를 나타낸다. 4700은 "이전(before)"을 나타내고, 4710은 "이후(after)"를 나타낸다. 본 발명의 특정 실시예에서, 이들 능동 요소들은 적합한 관련 정보가 나타나도록 웹사이트들을 트리거하는 포인팅 디바이스를 통해 활성화될 수 있다. 예를 들어, 호텔의 리셉션 장소 위쪽의 "사적인 이벤트들(private events)"의 광고인 4720을 클릭하는 것은 사적 이벤트 관련 정보를 포함하고 있는 호텔의 웹사이트를 공개할 것이다. 다른 능동 요소들도 "자연스런" 방식으로 매입될 수 있다. 사용자가 장면 파노라마 주위를 패닝함에 따라, 매입된 이들 능동 요소들 역시 환경에 대해 "꼼짝 않는 상태"를 유지할 수 있다.
능동 요소들은 정확한 투시들로써 장면에 삽입된다. 이것은, 사용자가 장면에서 기존의 평면 투시들을 판정한 다음, 장면으로의 정보 계층들을 생성 및 편집 하는 것을 가능하게 하는 "AEC(Active Element Creator)"라고 하는 본 발명의 실시예를 통해 수행된다. 도 48 내지 도 52가 AEC를 예시한다. 도 48은 평면 투시를 판정한 다음, 그것에 다른 시각 계층들을 직관적으로 추가하기 위한 AEC 사용자 인터페이스를 나타낸다. 4800은, "이미지 평면 뷰"라고 하는 파노라마 뷰잉 윈도이다. 4810은 (도 48의 경우, 아직 이미지를 갖추지 않은) "월드 평면 뷰" 윈도이다. 일단 PRT를 사용해 평면이 정의되고 나면, 장면의 조정된 이미지가 도시된다. (상기 PRT의 설명을 참고한다). 파노라마 및 파노라마 뷰어의 양방향적이고, 투영적인 특징으로 인해, 사용자가 장면에서 다양한 방향들로 뷰 주위를 양방향적으로 패닝함에 따라, 장면에서의 특징들의 투시들은 계속 변화한다. AEC로 인해, 사용자는 장면에 매입되는 꼼짝 않는 그리고 투시-정정형 능동 요소들을 생성할 수 있다.
도 48에서, 4830은, PRT를 사용해, 투시 직사각형을 정의하기 위해 사용자에 의해 선택된 직사각형 3개 점들을 나타낸다. 도 49는 PRT를 통해 왼쪽의 이미지 평면 뷰(4900) 및 오른쪽의 월드 평면 뷰(4910)상에 정의된 평면을 나타낸다. 4910은 4900에서 정의된 투시 평면의 조정된 뷰라는 것에 주의해야 한다. 일단 월드 평면이 정의되고 나면, 2차원 드로잉 및 이미지 편집 소프트웨어와 유사하게, 주해하고, 시각 계층들을 추가하며, 변경하기가 좀더 용이하다. 도 50 내지 도 52는, 2차원 도면들, 텍스트, 이미지들이 월드 평면 뷰로 추가되고 왼쪽의 파노라마 장면에 즉각적으로 반영되는 방법을 나타낸다. 그 다음, 이들 능동 요소들은 웹 페이지들, 애플리케이션들, 문서들 등에 하이퍼링크될 수 있다.
서로에 대응되는 이미지 평면 및 월드 평면 직사각형들을 정의하는 것은 직사각형들을 생성할 뿐만 아니라 2가지 좌표 시스템들(x-y 및 x'-y';도 7) 사이의 일대일 매핑도 생성한다는 것에 주의해야 한다. 따라서, 한 좌표 시스템에서 텍스트, 드로잉들, 또는 이미지들을 편집하고 추가하는 것이 다른 좌표 시스템으로 간단하게 매핑될 수 있다. 이미지 평면의 점을 월드 평면의 대응되는 점으로 매핑하는, "호모그라피(homography)"라고 하는, 3x3 행렬(H)이 정의된다. (예를 들어, J. G. Semple 및 G. T. Kneebone의 "Algebraic Projective Geometry", Oxford University Press, 1952를 참고한다). 따라서, xH= x' 및 x'H-1 = x이다.
도 53 및 도 54는, 본 발명의 특정 실시예들에 따른, 능동 요소들의 다른 일례들을 나타낸다. 도 53에서는, 호텔에 관한 이름 및 다른 정보가 장면에 능동 요소로서 매입되는 "호텔 배너"라고 할 수도 있는 한 능동 요소(5300)가 도시된다. 호텔 배너를 클릭하는 것은 호텔에 관한 관련 정보를 갖춘 웹 페이지들을 공개하는 액션들을 트리거한다. 도 54에서, 5400은, 특정 장면에 관한 관련 정보를 포함하는 "가상 키오스크"라고 하는 것이다. 그것은 장면 특정 정보 아이콘이다. 이 일례에서, 가상 키오스크는 해변 및 다양한 활동들에 관한 정보를 포함한다.
본 발명의 실시예들에서는, 장면들의 복잡한 네트워크, 장면 간 모션들, 능동 요소들, 및 개요 맵들을 포함하는 수퍼투어가 생성된다. 도 55는 개요 흐름도(도 4 참고) 및, 본 발명의 바람직한 실시예에 따른, 수퍼투어를 생성하는 단계들: 장면들을 이식하는 단계(5500), 장면 간 모션들을 이식하는 단계(5510), 능동 요소 들을 이식하는 단계(5520), 및 개요 맵들을 이식하는 단계(5530)를 위한 흐름도를 나타낸다. "장면들"은, 앞서 언급된 바와 같이, 파노라마들 및 이미지들을 구비하는 소스 이미지들이다, "장면 간 모션들"은 전환 대상들, 전환 파라미터들 및 전환 이미지들을 발생시키는 가상 카메라를 구비한다. 전환 이미지들은 전환 대상 또는 대상들을 포함하는 적어도 하나의 전환 장면들을 포함한다. 능동 요소들은, 장면에 관한 정보를 강조하는 내비게이션 아이콘 또는 디스플레이를 통해 장면 간 모션을 트리거링하는 것과 같은, 특정 액션들을 트리거한다. 마지막으로, 영역 내에서의 전반적인 위치 감각에 도움이 되는 개요 맵들이 존재한다. 개요 맵들은 다음에서 부연된다.
본 발명의 일부 실시예들에서는, 투시 이미지들 또는 파노라마들을 나타내는 장면 뷰어가 개요 맵 뷰어와 커플링된다. 도 56에 도시된 바와 같이, 장면 뷰어는 오른쪽(5600)에 위치하고, 개요 맵 뷰어는 왼쪽(5610)에 위치한다. 개요 맵은 수퍼투어의 "조감도"를 나타낸다. 본 발명의 특정 실시예에서는, 파노라마들이 촬영된 각각의 획득 위치를 위해 내비게이션 아이콘들(5620)이 배치된다. 내비게이션 아이콘들은 능동 요소의 한 유형이기 때문에, 포인팅 디바이스를 통해 내비게이션 아이콘을 활성화하는 것은, 파노라마 뷰어 내의 능동 요소들을 트리거링하는 것과 유사하게, 수퍼투어 내의 특정한 그 장면을 내비게이션하도록 장면 뷰어를 트리거한다. 개요 맵 뷰어 역시, 장면 뷰어와 동기화되어 자동으로 이동하고 재중심화(recenter)한다. 5630은, 장면 뷰어(5600)에서 현재 뷰의 방향을 지시하는 특수 하일라이트 및 화살표를 가진 "현재의" 내비게이션 아이콘이다. 사용자가 장면 뷰 어에서 뷰 방향들을 양방향적으로 변경함에 따라, 화살표도 그에 따라 방향들을 변경한다. 뷰어 위치가 수퍼투어에서 이동함에 따라, 현재의 내비게이션 아이콘 역시 그에 따라 동기화된다.
본 발명의 다양한 실시예들에서, 본 방법은, 순차적으로 플레이하기 위한 일련의 장면들 및 전환들을 "스크립팅"하기 위한 수단을 제공한다. 수퍼투어에서, 사용자는 통상적으로, 포인팅 디바이스를 사용해 내비게이션 아이콘을 활성화하는 것에 의해 한 장면으로부터 다른 장면으로의 전환을 호출한다. 스크립팅은 다수 장면들 및 그들의 대응되는 장면 간 모션들을 통과하는 수퍼투어 경로를 "기록"하기 위한 그리고 예전에 사용자에 의해 호출된 소정 경로를 "플레이"하기 위한 수단으로서 생각될 수도 있다. 스크립팅된 경로는, 본 발명의 특정 실시예에 따라, 사용자 기록형 경로일 수 있거나 알고리즘, 예를 들어, 도시의 2개 점들 사이의 최단 드라이빙 방향에 따라 판정될 수도 있다. 이것이 추가적 소스 이미지들을 사용해 전환을 생성하는 것과는 상이하고; 스크립트들은 작동중에 동적으로 개별화될 수도 있다.
예를 들어, 수퍼투어에 장면들("A" 내지 "Z")이 존재한다고 가정한다. 장면 "A"는 (중간 위치들에 대응되는) 중간 장면들("B" 내지 "Y")을 통해서만 "Z"에 연결된다. 현재 장면이 "A"라면 그리고 사용자가 개요 맵상의 내비게이션 아이콘 "Z"를 선택하면, 사용자가 연속적이고 연결된 경험을 가질 수 있도록 하기 위해, "A"로부터 "Z"에 이르는 장면들 및 장면 간 모션들을 자동으로 그리고 순차적으로 플레이하는 스크립트가 트리거될 수도 있다.
본 발명의 특정 실시예들에서는, "방위 정합"이라고 하는 장면 뷰어들이, 스크립팅을 필요로 하는 자동적인 플레이뿐만 아니라 내비게이션 아이콘들을 통한 간단한 내비게이션을 제공한다. 장면 뷰어는 그것의 연결된 장면 간 모션의 시작 방위로 스스로를 자동 정렬한다. 예를 들어, 장면 "A"로부터 장면 "Z"로 트래버싱하는 동안, 사용자는 회전이 필요한 교차 장면에 도달한다. 방위 정합 특징은 자동으로 뷰어를 회전시켜 장면 간 후속 모션으로 정렬한 다음, 전환을 트리거한다.
또한, 본 발명의 실시예들에서는, 각각의 소정 파노라마 장면에서, 사용자가 포인팅 디바이스를 사용해 뷰잉 방위를 양방향적으로 변경할 수도 있다. 한 장면으로부터 다른 장면으로 원활하게 틈새없이 전환하기 위해, 사용자의 뷰잉 방위를 먼저 전환 이미지의 시작에 정합한 다음, 제1 장면으로부터 제2 장면으로의 전환을 개시하는 것이 바람직하다. 이 특징은 사전 렌더링된 무비들의 형태인 전환 이미지들에 특히 유용한데, 최종 사용자에게 끊김없는 경험을 제공하기 위해, 파노라마 뷰잉 방위는 전환 무비의 제1 프레임으로 정렬되어야 하기 때문이다.
본 발명의 실시예에서는, 연결된 소스 이미지들의 각 쌍 및 그들의 개개 방향 전환 이미지를 위한 데이터 구조가 구현되는데, 여기에서, 방위각들 (θ,φ)1은, 전환 이미지의 제1 프레임과 정합하는 제1 장면의 천정각 및 방위각이고, 방위각들 (θ,φ)2은, 전환 이미지의 마지막 프레임과 정합하는 제2 장면의 천정각 및 방위각이다. 이들 방위 정합 데이터는 장면 간 모션 인증 프로세스 동안 저장된다. 본 발명의 실시예에 따르면, 3차원 시스템에서 전환 이미지들이 생성되므로, 전환 이 미지의 경로에 따라 가상 카메라의 정확한 뷰 방위를 판정하기가 용이하다.
본 발명의 실시예에서, 일단 제1 장면으로부터 제2 장면으로의 전환이, 예를 들어, 내비게이션 아이콘을 통해 트리거되고 나면, 뷰잉각들의 보간을 통해 제1 장면의 뷰를 임의의 소정 무작위 시점 (θ',φ')1으로부터 정합 (θ,φ)1으로 자동으로 새로운 방향을 향하게 하는 파노라마 뷰어가 제공된다. 일단 (θ',φ')1 = (θ,φ)1이면, 뷰어는 전환 이미지를 렌더링하여 제2 장면으로의 원활한 모션을 시뮬레이션한다. 일단 제2 장면에 도달하고 나면, 뷰어는 전환 이미지를 디스플레이하는 단계로부터 제2 장면의 파노라마로 전환하는데, 제2 장면의 파노라마는 원활하고 끊김없는 전환을 위해 뷰잉각 (θ,φ)2으로 지향된다.
도 57 및 도 58은 스크립팅 뿐만 아니라 방위 정합을 나타내는 일례이다. 도 57에서, 개요 맵은 왼쪽(5700)에 위치하고, 장면 뷰어는 오른쪽(5710)에 위치한다. 장면 뷰어는, 궁극적으로 오른손 회전 이후에 침실로 인도하는 출입구를 나타낸다. 침실이 현재의 장면 뷰어로부터 보이지는 않지만, 개요 맵(5700)에는 도시되어 있다. 5720은 장면의 현재 위치를 표시하는 내비게이션 아이콘이고; 5730은 (스크립팅에 의해) 중간 장면을 통해 침실로 인도할 곡선 경로를 나타내며; 5740은 내비게이션 아이콘에 의해 지시된 최종 목적지 장면이다.
도 58은 발생하는 이벤트들(5800, 5810, 5820, 5830, 5840, 및 5850)의 시퀀스를 나타낸다. 5800은, 도 57과 동일한 초기 뷰이다. 일단 내비게이션 아이콘(또는 다른 소정 수단)이 전환을 트리거하고 나면, 중간 전환(5820)이 도시된다. 개요 맵이 (5720과 동일한) 포인팅 아이콘을 사용해 "현재" 위치 및 방향을 디스플레이한다는 것에도 주의해야 한다. 일단 중간 장면(5820)에 도달하고 나면, 자동적인 방위 정합 특징이 트리거되고, 그에 따라, 중간 장면 뷰어는 후속 전환 이미지(5830)에 맞추어 정렬된다. 5840은 중간 장면으로부터 최종 장면(5850)으로의 실제 전환을 나타낸다.
이 일례들에서, 장면들 모두가 "절대적" 의미에서 서로 연결되어 있는 것처럼 보일 수도 있다. 다시 말해, 개요 맵 및 장면 뷰어에 디스플레이되는 다수 장면들은, 그들 모두가 월드 공간에서 서로의 위치 및 방위에 의해 정확하게 배치되는 것처럼 보일 수 있다. 본 발명의 실시예들에서는, 소스 이미지들의 쌍들 사이의 상대적 포즈 추정만을 사용해 수퍼투어들이 생성된다. 이러한 접근 방법은, 소스 이미지들 사이의 특징 대응 관계들을 통해 최대한 정확한 포즈 추정을 계산하는 것이 중요하다는 점에서, 다수의 영상 연구 및 이미지 기반 모델링 시스템들과 대조된다. 이것은 복잡한 최적화의 문제이고, 소스 이미지들의 수가 증가함에 따라, 좀더 어려워지며 오류가 발생하는 경향이 있다.
예를 들어, 단순한 시나리오로서, 대응되는 특징들을 공유하는 3개의 입력 소스 이미지들(A, B, 및 C)이 존재하는데, 예를 들어, 빌딩 주위에서 사진들이 촬영되고, 각 쌍, 예를 들어, A와 B, B와 C, 및 C와 A는 공통적인 특징들을 공유한다고 가정한다. 통상적인 영상 시스템들은 A에 대한 B의 카메라 포즈를 계산한 다음, B에 대한 C의 카메라 포즈를 계산하는 식이다. B에 대한 A의 포즈 추정으로부터의 계산 오차는 자연스럽게 C에 대한 B의 포즈 추정으로 전파될 것인데, 모든 소 스 이미지들이 동일한 "절대" 좌표 시스템에 상주하기 때문이다. C와 A 사이에 특징 대응 관계들이 존재한다면, 오차 전파를 "산재시키고" 감소시키기 위한 전역적 최적화 알고리즘을 가질 필요가 있다. B에 대한 A 및 C에 대한 B의 포즈 추정으로 인해, A와 C는 이미 절대적 좌표 시스템에 그들의 위치들이 설정되어 있다는 것에 주의해야 한다. 그 다음, C로부터 A의 포즈를 계산하고자 시도하는 것은 자연스럽게 좀더 많은 포즈 추정 오차들을 생성할 것이다. 좀더 복잡한 시나리오들, 예를 들어, 실제 세계 데이터에서, 복잡한 최적화 문제의 시스템은 해결하기 어려운 문제이고, 대부분 강인성을 갖춘 문제들을 가지며, 일단 오차가 도입되고 나면, "디버깅"하기 어렵다.
본 발명의 실시예들에서는, 소스 이미지들의 쌍들 사이의 상대적 포즈 추정만을 사용해 수퍼투어들이 생성된다. 다시 말해, 소스 이미지들의 각 쌍을 위한 포즈 추정은 상대적 좌표 시스템들에 상주한다. 포즈 추정 문제는 소스 이미지들의 각 쌍을 위해 판정되므로, 전역적 최적화는 불필요하다. 입력 소스 이미지들(A, B, 및 C)의 간단한 시나리오를 위해, 수퍼투어는, 이들 모두가 계산 각각에서의 오차와 상관없이 별도로 계산되는 B에 대한 A, C에 대한 B, 및 A에 대한 C 사이의 대략적인 포즈 추정들만을 요구한다. 이 실시예는, 사용자가 한 소스 이미지로부터 다른 소스 이미지로 원활하게 그리고 연속적으로 "이동"할 수 있게 한다. 따라서, 장면 A의 시점으로부터, 장면 간 전환은 A로부터 B로의 모션을 시뮬레이션한 다음, 장면 B에서 끝난다. 일단 장면 B에 도달하고 나면, (사용자에 대해 끊김없는) 좌표 시스템은 달라질 수도 있다. 그 다음, B로부터 C로의 모션을 시뮬레이 션하는 것은, 그것의 계산 오차들에 상관없이, B에 대한 A의 포즈 추정과 별도로 수행될 수 있다. 이 접근 방법은 바람직하게도, 노드들의 수가 증가함에 따라 수퍼투어 실시예들이 좀더 용이하게 규모를 확대할 수 있게 하면서, 계산 복잡도 및 오차들을 위한 기회들을 감소시킨다.
본 발명의 바람직한 실시예들에서, 개요 흐름도(도 4)에서 도시되는 최종 프로세스는 게시 단계(publication step)이다. 일단 장면 간 모션을 통해 연결되는 다수 장면들을 포함할 뿐만 아니라 능동 요소들을 가진 수퍼투어가 생성되고 나면, 수퍼투어는 독립형 애플리케이션(5910)으로서 게시될 수 있거나 WWW(World Wide Web;5900) 또는 업계에 공지되어 있는 임의의 다른 통신 시스템들을 통해 전달될 수 있다. 게시된 투어는, 필요에 따라, 추가적인 하이퍼링크들, 이미지들, 텍스트 등도 포함할 수 있다(5920, 5930).
도 60은, 수퍼투어의 게시가 가능해진 본 발명의 예시적 실시예를 나타낸다. 그것은 수퍼투어(6000)의 작은 슬라이스만을 나타낸다. 6000의 맵 인터페이스에 도시된 바와 같이, FL주, Miami Beach를 포함하는 천 개 이상의 파노라마 장면들이 존재한다. 6010은 맵의 확대도를 나타낸다. 이들 파노라마 장면들 각각은 이 수퍼투어에서 상호 연결된다. 또한, 외부 장면들도 빌딩들 및 호텔들의 내부 투어들에 상호 연결된다. 게시된 수퍼투어의 복잡도가, 예시적 실시예를 위해, 도 61 내지 도 70에 도시된다.
본 발명의 다양한 실시예들에서, 본 방법은, 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면과 제2 장면 간 전환의 시뮬레이션 모션을 제공한다. 이 방법은, 그것을 향해 전환이 이루어질 제2 장면에서의 시점의 지시를 수신하는 것을 포함한다. 지시는 다양한 소스들로부터 수신될 수 있다. 예를 들어, 지시는 검색 파라미터들을 검색 엔진에 입력하는 것에 발생될 수도 있고, 검색 엔진이 위치를 식별할 수도 있다. 지시는 디스플레이의 어디에서든 아이콘을 활성화하는 것에 의해 수신될 수도 있는데, 아이콘이 평면도 맵 또는 파노라마 뷰어에 배치될 필요는 없다. 위치가 수신될 때, 그 위치를 향한 모션을 시뮬레이션하는 전환 이미지 또는 일련의 그러한 이미지들이 디스플레이된다. 추가적 일례에서는, 도 71에 도시된 바와 같이, 스크린에 위치들의 리스트가 제시될 수도 있고, 리스트에서의 항목 선택에 기초해 지시가 수신된다.
본 발명의 상술한 실시예들 중 어떤 것이든 컴퓨터 또는 프로세서의 다른 유형을 포함하는 시스템으로 구현될 수 있다. 컴퓨터 또는 프로세서는 방법 단계들을 구현하는 명령어들을 위한 메모리를 포함한다. 컴퓨터 또는 프로세서는 출력을 디스플레이하기 위해 디스플레이 장치에 커플링되고, 사용자들로부터 입력을 수신하기 위해 적어도 하나의 입력 디바이스에 커플링될 수도 있다. 이 방법을 구현하는 명령어들은 단일 프로세서 또는 다수 프로세서에서 실행될 수도 있다. 프로세서들은 클라이언트-서버 방식으로 편성될 수도 있다. 다수 프로세서는 업계에 공지되어 있는 임의의 유형의 공중 또는 전용 통신 시스템들에 의해 접속될 수도 있다. 그러한 통신 시스템들은, 제한없이, 유선 및 무선 링크 레벨 양자와 물리적 매체들을 사용하는, 인터넷과 같은, 업계에 공지되어 있는 데이터 네트워크들, 공중 전화 시스템과 같은, 점대점 통신 수단, 위성 링크들, T1 라인, 마이크로파 링 크, 와이어 라인 또는 라디오 링크 등을 포함할 수도 있다. 시스템에서 사용되는 디스플레이 디바이스들은 그래픽 디스플레이들을 제공하기에 적합한 임의의 유형일 수 있다. 디스플레이들은 임의의 프로세서로부터 임의의 디스플레이 표면으로 유도될 수도 있고, 본 발명의 실시예들에서, 다수 디스플레이 표면들이 이용될 수도 있다. 사용자들로부터 입력들을 수신하기 위한 입력 디바이스들은, 제한없이, 키보드, 트랙볼 또는 마우스와 같은, 포인팅 디바이스, 또는 터치패드 등을 포함하는 다양한 형태들을 취할 수도 있다.
본 발명의 실시예들에 따른 시스템들은 다음의 조항들로써 설명될 수도 있다:
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부터 관찰되며 제2 특징을 포함하는 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 시스템으로서, 프로세서, 메모리 및 디스플레이를 포함하는 컴퓨터를 구비하고, 메모리는, 컴퓨터가,
디스플레이에서 제1 특징 및 제2 특징을 그래픽으로 식별하게 하고, 제1 특징 및 제2 특징을 사용해 제1 장면을 제2 장면으로 매핑하는 변환을 판정하게 하며;
제1 장면으로부터 제2 장면으로의 시뮬레이션 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 제공하게 하는 명령어들을 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부 터 관찰되며 제2 특징을 포함하는 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 시스템으로서, 프로세서, 메모리 및 디스플레이를 포함하는 컴퓨터를 구비하고, 메모리는, 컴퓨터가,
제1 장면에 매입된 제1 내비게이션 아이콘을 디스플레이하게 하고;
제1 내비게이션 아이콘이 활성화되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하게 하는 명령어들을 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 선택된 장면 시점으로부터 관찰되며 선택된 장면 특징을 포함하는 선택된 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 시스템으로서, 프로세서, 메모리 및 디스플레이를 포함하는 컴퓨터를 구비하고, 메모리는, 컴퓨터가,
제1 장면을 디스플레이하게 하고;
선택된 장면 시점의 위치에 대한 지시를 수신하게 하며;
선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 선택된 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 선택된 장면 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하게 하는 명령어들을 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부터 관찰되며 제2 특징을 포함하는 제2 장면 간 제1 전환 및 제2 장면과 제3 시점으로부터 관찰되며 제3 특징을 포함하는 제3 장면 간 제2 전환의 시뮬레이션 모션을 생성하기 위한 시스템으로서, 프로세서, 메모리 및 디스플레이를 포함하는 컴퓨터를 구비하고, 메모리는, 컴퓨터가,
제1 장면으로부터 제2 장면으로의 시뮬레이션 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제1 전환 이미지를 제공하게 하고;
제2 시점으로부터 제3 시점으로의 시뮬레이션 모션이 존재하도록, 제2 특징 및 제3 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제2 전환 이미지를 제공하게 함으로써,
제1, 제2, 및 제3 장면들 각각의 기준 프레임에서의 절대적 위치들 및 방위들을 판정하지 않으면서, 제1 전환 이미지 및 제2 전환 이미지가 형성되게 하는 명령어들을 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 선택된 장면 시점으로부터 관찰되며 선택된 장면 특징을 포함하는 선택된 장면 간 전환의 시뮬레이션 모션을 생성하기 위한 시스템으로서, 프로세서, 메모리 및 디스플레이를 포함하는 컴퓨터를 구비하고, 메모리는, 컴퓨터가,
제1 장면을 디스플레이하게 하고;
선택된 장면 시점의 위치에 대한 지시를 수신하게 하며;
제1 시점으로부터 선택된 장면 시점에 이르는 경로로서, 제2 시점을 포함하는, 경로를 판정하게 하고;
선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하게 하는 명령어들을 포함한다.
본 발명의 추가적 시스템 실시예들은 프로세서가 실행하기 위한 추가적 단계들을 추가하는 것에 의해 다음에 열거된 방법 청구항들에 따라 설명될 수도 있다.
본 발명의 실시예들에 따른 컴퓨터 프로그램 제품들은 다음의 조항들로써 설명될 수도 있다:
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부터 관찰되며 제2 특징을 포함하는 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위해 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 프로그램 코드를 가진 컴퓨터 사용 가능 매체를 구비하고, 컴퓨터 판독 가능 프로그램 코드는,
디스플레이에서 제1 특징 및 제2 특징을 그래픽으로 식별하고 제1 특징 및 제2 특징을 사용해 제1 장면을 제2 장면으로 매핑하는 변환을 판정하기 위한 프로그램 코드; 및
제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 제공하기 위한 프로그램 코드를 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부터 관찰되며 제2 특징을 포함하는 제2 장면 간 전환의 시뮬레이션 모션을 생성하기 위해 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 프로그램 코드를 가진 컴퓨터 사용 가능 매체를 구비하고, 컴퓨터 판독 가능 프로그램 코드는,
제1 장면에 매입된 제1 내비게이션 아이콘을 디스플레이하기 위한 프로그램 코드; 및
제1 내비게이션 아이콘이 활성화되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하기 위한 프로그램 코드를 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 선택된 장면 시점으로부터 관찰되며 선택된 장면 특징을 포함하는 선택된 장면 간 전환의 시뮬레이션 모션을 생성하기 위해 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 프로그램 코드를 가진 컴퓨터 사용 가능 매체를 구비하고, 컴퓨터 판독 가능 프로그램 코드는,
제1 장면을 디스플레이하기 위한 프로그램 코드;
선택된 장면 시점의 위치에 대한 지시를 수신하기 위한 프로그램 코드; 및
선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 선택된 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 선택된 장면 사양에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하기 위한 프로그램 코드를 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 제2 시점으로부터 관찰되며 제2 특징을 포함하는 제2 장면 간 제1 전환 및 제2 장면과 제3 시점으로부터 관찰되며 제3 특징을 포함하는 제3 장면 간 제2 전환의 시뮬레이션 모션을 생성하기 위해 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 프로그램 코드를 가진 컴퓨터 사용 가능 매체를 구비하고, 컴퓨터 판독 가능 프로그램 코드는,
제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제1 전환 이미지를 제공하기 위한 프로그램 코드; 및
제2 시점으로부터 제3 시점으로의 시뮬레이션된 모션이 존재하도록, 제2 특징 및 제3 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제2 전환 이미지를 제공함으로써,
제1, 제2, 및 제3 장면들 각각의 기준 프레임에서의 절대적 위치들 및 방위들을 판정하지 않으면서, 제1 전환 이미지 및 제2 전환 이미지가 형성되게 하기 위한 프로그램 코드를 포함한다.
제1 시점으로부터 관찰되며 제1 특징을 포함하는 제1 장면과 선택된 장면 시점으로부터 관찰되며 선택된 장면 특징을 포함하는 선택된 장면 간 전환의 시뮬레이션 모션을 생성하기 위해 컴퓨터 시스템에서 사용하기 위한 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 프로그램 코드를 가진 컴퓨터 사용 가능 매체를 구비하고, 컴퓨터 판독 가능 프로그램 코드는,
제1 장면을 디스플레이하기 위한 프로그램 코드;
선택된 장면 시점의 위치에 대한 지시를 수신하기 위한 프로그램 코드;
제1 시점으로부터 선택된 장면 시점에 이르는 경로로서, 제2 시점을 포함하는, 경로를 판정하기 위한 프로그램 코드; 및
선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 제1 장면으로부터 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 제1 특징 및 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하기 위한 프로그램 코드를 포함한다.
프로세서가 실행하기 위한 다음에 열거된 방법 청구항들에 따라 프로그램 코드 단계들을 추가하는 것에 의해 발명의 추가적인 컴퓨터 프로그램 제품 실시예들이 설명될 수도 있다.
여기에서 앞서 설명된 기능성의 전부 또는 일부를 구현하는 컴퓨터 프로그램 로직은, 소스 코드 형태, 컴퓨터 실행 가능 형태, 및 다양한 중간 형태들(예를 들어, 어셈블러, 컴파일러, 네트워커, 또는 위치 입력기에 의해 발생되는 형태들)을 포함하지만, 그것으로 제한되는 것은 아닌, 다양한 형태들로 구현될 수 있다. 소스 코드는 다양한 오퍼레이팅 시스템들 또는 오퍼레이팅 환경들과의 사용을 위한 다양한 프로그래밍 언어들(예를 들어, 대상 코드, 어셈블리어 또는, Fortran, C, C++, JAVA, 또는 HTML과 같은, 고급 언어) 중 어느 것으로 구현되는 일련의 컴퓨터 프로그램 명령어들을 포함할 수도 있다. 소스 코드는 다양한 데이터 구조들 및 통신 메시지들을 정의 및 사용할 수 있다. 소스 코드는 (예를 들어, 인터프리터에 의한) 컴퓨터 실행 가능 형태일 수 있거나, 소스 코드는 (예를 들어, 번역기, 어셈블러, 또는 컴파일러를 통해) 컴퓨터 실행 가능 형태로 변환될 수도 있다.
컴퓨터 프로그램은 영구적으로 또는 임시로, 반도체 메모리 디바이스(예를 들어, RAM, ROM, PROM, EEPROM, 또는 FPRAM(Flash-Programmable RAM)), 자기 메모리 디바이스(예를 들어, 디스켓 또는 고정형 디스크), 광 메모리 디바이스(예를 들어, CD-ROM), PC 카드(예를 들어, PCMCIA 카드), 또는 다른 메모리 디바이스와 같은, 유형의 저장 매체에 임의의 형태(예를 들어, 소스 코드 형태, 컴퓨터 실행 가능 형태, 또는 중간 형태)로 고정될 수도 있다. 컴퓨터 프로그램은, 아날로그 기술들, 디지털 기술들, 광 기술들, 무선 기술들, 네트워킹 기술들, 및 인터네트워킹 기술들을 포함하지만, 그것으로 제한되는 것은 아닌, 다양한 통신 기술들 중 어느 것을 사용해 컴퓨터로 전송 가능한 신호의 임의의 형태로 고정될 수도 있다. 컴퓨터 프로그램은 인쇄 문서 또는 전자 문서(예를 들어, 압축 포장(shrink wrapped) 소프트웨어 또는 자기 테이프)를 수반하는 분리형 저장 매체로서의 임의의 형태로 분배될 수 있거나, 컴퓨터 시스템에 (예를 들어, 시스템 ROM 또는 고정 디스크에) 사전 로딩될 수 있거나, 서버 또는 전자 게시판으로부터 통신 시스템(예를 들어, 인터넷 또는 월드와이드웹)을 통해 분배될 수도 있다.
여기에서 앞서 설명된 기능성의 전부 또는 일부를 구현하는 (프로그램 가능한 로직 장치에 사용하기 위한 프로그램 가능한 로직을 포함하는) 하드웨어 로직은 전통적인 수동적 방법들을 사용해 설계될 수 있거나, CAD(Computer Aided Design), 하드웨어 기술 언어(예를 들어, VHDL 또는 AHDL), 또는 PLD 프로그래밍 언어(예를 들어, PALASM, ABEL, 또는 CUPL)와 같은, 다양한 도구들을 사용해 전자적으로 설계, 캡처, 시뮬레이션, 또는 문서화될 수도 있다.
특정 실시예들을 참조하여 발명이 구체적으로 도시되고 설명되었지만, 당업자들이라면, 첨부된 청구항들에 의해 정의되는 발명의 정신 및 범위를 벗어나지 않으면서, 형태 및 세부 사항에서의 다양한 변경들이 이루어질 수도 있다는 것을 이해할 수 있을 것이다. 당업자들이라면 알 수 있는 바와 같이, 파노라마들을 위해 상술된 기술들이 비-파노라마 이미지들로서 캡처된 이미지들에 적용될 수도 있고, 그 반대일 수도 있다.

Claims (49)

  1. 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면-상기 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함함-과 제2 장면-상기 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함함- 간 전환의 시뮬레이션 모션을 생성하기 위한 방법으로서,
    a. 상기 디스플레이에서 상기 제1 특징 및 상기 제2 특징을 그래픽으로 식별하고, 상기 제1 특징 및 상기 제2 특징을 이용하여 상기 제1 장면을 상기 제2 장면으로 매핑하는 변환을 결정하는 단계; 및
    b. 상기 제1 장면으로부터 상기 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 상기 제1 특징 및 상기 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 제공하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 특징의 위치 및 상기 제2 특징의 위치는 상이한 물리적 위치들에 대응되는 방법.
  3. 제1항에 있어서,
    상기 제1 특징의 위치 및 상기 제2 특징의 위치가 동일한 물리적 위치에 대 응되는 방법.
  4. 제1항에 있어서,
    c. 상기 제2 장면의 경우에 상기 제1 시점 그리고 상기 제1 장면의 경우에 상기 제2 시점 중 적어도 하나를 상기 디스플레이에 디스플레이하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 디스플레이상에서 상기 제1 특징 및 상기 제2 특징을 그래픽으로 식별하는 단계는 각 장면에서 투시 직사각형을 정의하는 단계를 포함하는 방법.
  6. 제5항에 있어서,
    포인팅 디바이스의 3번의 활성화들이 이루어져 상기 제1 장면에서 상기 투시 직사각형을 부분적으로 정의한 경우, 상기 디스플레이에서는 상기 제1 장면에서의 상기 투시 직사각형을 정의하기 위한 상기 포인팅 디바이스에 의한 선택을 위해 복수의 점들이 식별되고, 상기 복수의 점들은 선택되어 스크린에서 상기 제1 장면에서의 상기 투시 직사각형의 윤곽을 그리는 방법.
  7. 제5항에 있어서,
    상기 투시 직사각형이 상기 제1 장면에서 정의된 경우, 상기 제1 장면에서의 상기 투시 직사각형의 에지가 이동될 수 있으며 상기 디스플레이에서 상기 제1 장면에서의 상기 투시 직사각형을 여전히 유지할 수 있는, 상기 디스플레이상의 위치들을 그래픽으로 식별하는 단계를 더 포함하는 방법.
  8. 제5항에 있어서,
    상기 투시 직사각형이 상기 제1 장면에서 식별된 경우, 상기 제1 장면에서의 상기 투시 직사각형의 코너가 이동될 수 있으며 상기 디스플레이에서 상기 제1 장면에서의 상기 투시 직사각형을 여전히 유지할 수 있는, 상기 디스플레이상의 위치들을 그래픽으로 식별하는 단계를 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 디스플레이에서 상기 제1 특징 및 상기 제2 특징을 그래픽으로 식별하는 단계는,
    ⅰ. 상기 제1 장면 및 상기 제2 장면을 위한 공통 RGP(reference ground plane)를 정의하는 단계;
    ⅱ. 상기 제1 장면에서 상기 공통 RGP상의 제1 형상(first figure) 그리고 상기 제2 장면에서 상기 공통 RGP상의 제2 형상을 그래픽으로 추적하는 단계; 및
    ⅲ. 상기 제1 형상을 돌출시켜 상기 제1 특징을 형성하고 상기 제2 형상을 돌출시켜 상기 제2 특징을 형성하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 제1 형상 및 상기 제2 형상은 직사각형들인 방법.
  11. 제9항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 공통적인 물리적 특징에 대응되는 방법.
  12. 제9항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 상이한 물리적 특징들에 대응되는 방법.
  13. 제1항에 있어서,
    상기 전환 이미지를 제공하는 단계는 전환 파라미터에 따라 상기 제1 장면 및 상기 제2 장면으로부터 상기 전환 장면을 형성하는 단계를 포함하는 방법.
  14. 제13항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 장면 및 상기 제2 장면에서의 대응되는 복수의 특징들을 사용해 상기 전환 장면을 구성하는 단계를 포함하고, 대응되는 특징들의 소정 쌍에서의 각 특징의 기여는 소정 전환 파라미터에 의해 결정되는 방법.
  15. 제13항에 있어서,
    사용자 입력으로부터 상기 전환 파라미터를 판정하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 특징 및 상기 제2 특징을 상기 전환 파라미터에 따라 알파 블렌딩하는 것에 의해 상기 전환 장면을 형성하는 단계를 포함하는 방법.
  17. 제13항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 특징 및 상기 제2 특징을 상기 전환 파라미터에 따라 모핑하는 단계를 포함하는 방법.
  18. 제13항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 및 제2 장면들 중 적어도 하나를 상기 전환 파라미터에 따라 모션 블러링하는 단계를 더 포함하는 방법.
  19. 제13항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 및 제2 장면들 중 적어도 하나를 위한 농도를 상기 전환 파라미터에 따라 조정하는 단계를 더 포함하는 방법.
  20. 제1항에 있어서,
    적어도 하나의 전환 이미지를 제공하는 단계는 상기 제1 시점과 상기 제2 시점 사이의 경로를 따라 이동중인 가상 카메라에 의해 보는 복수의 이미지들을 모델링하는 단계를 포함하는 방법.
  21. 제20항에 있어서,
    상기 경로는 상기 제1 시점과 상기 제2 시점 사이의 선(line)인 방법.
  22. 제1항에 있어서,
    c. 뷰잉 방향들을 그래픽으로 입력하는 단계를 더 포함하는 방법.
  23. 제1항에 있어서,
    상기 전환 이미지를 제공하는 단계는 상기 제1 시점으로부터 상기 제2 시점에 이르는 경로의 3차원 모델을 구성하고 상기 모델 내에서 가상 카메라를 이동시키는 단계를 포함하는 방법.
  24. 제1항에 있어서,
    상기 제1 장면 및 상기 제2 장면 중 적어도 하나는 파노라마인 방법.
  25. 제1항에 있어서,
    상기 제1 장면 및 상기 제2 장면 중 적어도 하나는 소스 이미지인 방법.
  26. 제25항에 있어서,
    상기 소스 이미지는 사진, 스케치, 및 페인팅 중 적어도 하나를 포함하는 방법.
  27. 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면-상기 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함함-과 제2 장면-상기 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함함- 간 전환의 시뮬레이션 모션을 제공하기 위한 방법으로서,
    a. 상기 제1 장면에 임베드된 제1 내비게이션 아이콘을 디스플레이하는 단계; 및
    b. 상기 제1 내비게이션 아이콘이 활성화되는 경우, 상기 제1 장면으로부터 상기 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 상기 제1 특징 및 상기 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하는 단계
    를 포함하는 방법.
  28. 제27항에 있어서,
    상기 제1 시점을 위한 뷰잉 방위는 상기 전환 이미지의 방위와 정합하도록 지향되는 방법.
  29. 제27항에 있어서,
    상기 전환 이미지를 디스플레이하는 단계는 상기 제1 시점과 상기 제2 시점 사이의 경로를 따라 이동중인 가상 카메라에 의해 보는 복수의 이미지들을 디스플레이하는 단계를 포함하는 방법.
  30. 제27항에 있어서,
    상기 경로가 트래버싱되는 속도가 달라지는 방법.
  31. 제27항에 있어서,
    c. 파노라마인 상기 제1 장면을 뷰잉하는 단계를 더 포함하는 방법.
  32. 제27항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 상이한 위치들에 위치하는 방법.
  33. 제27항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 동일한 위치에 위치하는 방법.
  34. 제27항에 있어서,
    c. 투시 이미지에 커플링된 개요 이미지를 디스플레이함으로써, 상기 개요 이미지 및 상기 투시 이미지는 대응되는 위치들을 묘사하도록 업데이트되는 단계를 더 포함하는 방법.
  35. 제34항에 있어서,
    상기 개요 이미지는 개요 이미지 내비게이션 아이콘을 포함하고,
    상기 방법은,
    d. 상기 개요 이미지 내비게이션 아이콘 및 상기 제1 내비게이션 아이콘 중 하나가 활성화되는 경우, 상기 개요 이미지를 패닝(panning)하는 단계를 더 포함하는 방법.
  36. 제27항에 있어서,
    c. 능동 요소 활성화가 특정 액션을 개시하도록, 상기 제1 장면 및 상기 제2 장면 중 적어도 하나에 능동 요소를 디스플레이하는 단계를 더 포함하는 방법.
  37. 제36항에 있어서,
    상기 특정 액션은 디스플레이 윈도에서의 정보 디스플레이를 포함하는 방법.
  38. 제37항에 있어서,
    상기 정보 디스플레이는 무비를 플레이하는 단계를 포함하는 방법.
  39. 제37항에 있어서,
    상기 정보 디스플레이는 리스트를 디스플레이하는 단계를 포함하는 방법.
  40. 제36항에 있어서,
    상기 능동 요소는 3D 아이콘인 방법.
  41. 제27항에 있어서,
    상기 전환 이미지를 디스플레이하는 단계는 상기 제1 특징 및 상기 제2 특징을 알파 블렌딩하는 단계, 모핑하는 단계 및 모션 블러링하는 단계 중 적어도 하나를 포함하는 방법.
  42. 제29항에 있어서,
    상기 복수의 이미지들을 디스플레이하는 단계는 상기 복수의 이미지들 각각을 위한 상기 제1 특징 및 상기 제2 특징을 전환 파라미터들에 따라 알파 블렌딩하는 단계, 모핑하는 단계 및 3D 모션 블러링하는 단계 중 적어도 하나를 더 포함하는 방법.
  43. 제42항에 있어서,
    상기 전환 파라미터들은 상기 복수의 이미지들 사이에서 달라지는 방법.
  44. 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면-상기 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함함-과 선택된 장면-상기 선택된 장면은 선택된 장면 시점으로부터 관찰되며 선택된 장면 특징을 포함함- 간 전환의 시뮬레이션 모션을 제공하기 위한 방법으로서,
    a. 상기 제1 장면을 디스플레이하는 단계;
    b. 상기 선택된 장면 시점의 위치에 대한 지시를 수신하는 단계; 및
    c. 상기 선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 상기 제1 장면으로부터 상기 선택된 장면으로의 시뮬레이션된 모션이 존재하도록, 상기 제1 특징 및 상기 선택된 장면 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하는 단계
    를 포함하는 방법.
  45. 제44항에 있어서,
    상기 선택된 장면 시점의 위치에 대한 지시는 검색 파라미터의 사용에 의해 발생되는 방법.
  46. 제44항에 있어서,
    상기 선택된 장면 시점의 위치에 대한 지시는 아이콘의 활성화에 의해 제공되는 방법.
  47. 제44항에 있어서,
    상기 선택된 장면 시점의 위치에 대한 지시는 항목들의 리스트로부터의 선택에 의해 제공되는 방법.
  48. 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면-상기 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함함-과 제2 장면-상기 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함함- 간 제1 전환 및 상기 제2 장면과 제3 장면-상기 제3 장면은 제3 시점으로부터 관찰되며 제3 특징을 포함함- 간 제2 전환의 시뮬레이션 모션을 제공하기 위한 방법으로서,
    a. 상기 제1 장면으로부터 상기 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 상기 제1 특징 및 상기 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제1 전환 이미지를 제공하는 단계; 및
    b. 상기 제2 시점으로부터 상기 제3 시점으로의 시뮬레이션된 모션이 존재하도록, 상기 제2 특징 및 상기 제3 특징에 기초한 적어도 하나의 전환 장면을 포함하는 제2 전환 이미지를 제공함으로써, 상기 제1, 제2, 및 제3 장면들 각각의 기준 프레임에서의 절대적 위치들 및 방위들을 판정하지 않으면서, 상기 제1 전환 이미지 및 상기 제2 전환 이미지가 형성되게 하는 단계
    를 포함하는 방법.
  49. 디스플레이를 가진 컴퓨터 시스템에서, 제1 장면-상기 제1 장면은 제1 시점으로부터 관찰되며 제1 특징을 포함하고, 제2 장면은 제2 시점으로부터 관찰되며 제2 특징을 포함함-과 선택된 장면-상기 선택된 장면은 선택된 장면 시점으로부터 관찰됨- 간 전환의 시뮬레이션 모션을 생성하기 위한 방법으로서,
    a. 상기 제1 장면을 디스플레이하는 단계;
    b. 상기 선택된 장면 시점의 위치에 대한 지시를 수신하는 단계;
    c. 상기 제1 시점으로부터 상기 선택된 장면 시점에 이르는 경로-상기 경로는 상기 제2 시점을 포함함-를 판정하는 단계; 및
    d. 상기 선택된 장면 시점의 위치에 대한 지시가 수신되는 경우, 상기 제1 장면으로부터, 상기 제2 시점으로부터 관찰되며 제2 특징을 포함하는, 상기 제2 장면으로의 시뮬레이션된 모션이 존재하도록, 상기 제1 특징 및 상기 제2 특징에 기초한 적어도 하나의 전환 장면을 포함하는 전환 이미지를 디스플레이하는 단계
    를 포함하는 방법.
KR1020077013147A 2004-11-12 2005-11-11 장면 간 전환 방법 KR20070086037A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US62733504P 2004-11-12 2004-11-12
US60/627,335 2004-11-12
US71235605P 2005-08-30 2005-08-30
US60/712,356 2005-08-30

Publications (1)

Publication Number Publication Date
KR20070086037A true KR20070086037A (ko) 2007-08-27

Family

ID=36046416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013147A KR20070086037A (ko) 2004-11-12 2005-11-11 장면 간 전환 방법

Country Status (6)

Country Link
US (5) US20060132482A1 (ko)
EP (1) EP1820159A1 (ko)
JP (2) JP2008520052A (ko)
KR (1) KR20070086037A (ko)
CA (1) CA2587644C (ko)
WO (1) WO2006053271A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118727A (ko) * 2009-02-24 2011-10-31 구글 인코포레이티드 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
KR20120027712A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 영상 처리 방법 및 장치
KR101502806B1 (ko) * 2013-08-28 2015-03-18 건국대학교 산학협력단 내비게이션을 위한 단계적 세부 표현 기반의 스트리밍 시스템 및 그 방법
US11769293B2 (en) 2021-11-23 2023-09-26 Virnect Co., Ltd. Camera motion estimation method for augmented reality tracking algorithm and system therefor

Families Citing this family (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
US7327374B2 (en) * 2003-04-30 2008-02-05 Byong Mok Oh Structure-preserving clone brush
US8626440B2 (en) * 2005-04-18 2014-01-07 Navteq B.V. Data-driven 3D traffic views with the view based on user-selected start and end geographical locations
US8781736B2 (en) * 2005-04-18 2014-07-15 Navteq B.V. Data-driven traffic views with continuous real-time rendering of traffic flow map
US20060250389A1 (en) * 2005-05-09 2006-11-09 Gorelenkov Viatcheslav L Method for creating virtual reality from real three-dimensional environment
NO323509B1 (no) * 2005-08-10 2007-05-29 Telenor Asa Metode for a lage en animasjon av en serie stillbilder
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US7649534B2 (en) * 2006-02-01 2010-01-19 Microsoft Corporation Design of arbitrary linear and non-linear maps
US7546532B1 (en) * 2006-02-17 2009-06-09 Adobe Systems Incorporated Methods and apparatus for editing content
JP2007280212A (ja) * 2006-04-10 2007-10-25 Sony Corp 表示制御装置、表示制御方法及び表示制御プログラム
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
US8179396B2 (en) * 2006-08-02 2012-05-15 General Electric Company System and methods for rule-based volume rendition and navigation
JP4958499B2 (ja) * 2006-08-18 2012-06-20 株式会社ソニー・コンピュータエンタテインメント 画像表示制御装置、画像表示方法及びプログラム
WO2008023819A1 (fr) * 2006-08-25 2008-02-28 Hirofumi Ito Système informatique et procédé de commande d'opération
CA2669409C (en) * 2006-11-13 2019-09-17 Everyscape, Inc. Method for scripting inter-scene transitions
US8593518B2 (en) * 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
WO2008115195A1 (en) * 2007-03-15 2008-09-25 Thomson Licensing Methods and apparatus for automated aesthetic transitioning between scene graphs
US9262818B2 (en) 2007-05-01 2016-02-16 Pictometry International Corp. System for detecting image abnormalities
JP4909176B2 (ja) * 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
EP2518686B1 (en) * 2007-05-25 2018-08-08 Google LLC Rendering, viewing and annotating panoramic images, and applications thereof
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8487957B1 (en) 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US20100122208A1 (en) * 2007-08-07 2010-05-13 Adam Herr Panoramic Mapping Display
US20090106447A1 (en) * 2007-10-23 2009-04-23 Lection David B Method And System For Transitioning Between Content In Web Pages
US7769806B2 (en) 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US20090119595A1 (en) * 2007-11-06 2009-05-07 Morris Robert P Method And System For Presenting A Transition Effect Between Remotely-Sourced Content In A Browser
JP4935632B2 (ja) * 2007-11-07 2012-05-23 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20090122195A1 (en) * 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
ITTO20070852A1 (it) * 2007-11-26 2008-02-25 Geomondo S R L Metodo di transizione tra due mappe tridimensionali geo-referenziate.
WO2009089125A2 (en) * 2008-01-04 2009-07-16 3M Innovative Properties Company Navigating among images of an object in 3d space
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
EP2279472A4 (en) * 2008-04-05 2013-11-20 Social Communications Co APPARATUS AND METHODS BASED ON A SHARED VIRTUAL SPACE COMMUNICATION ENVIRONMENT
ITTO20080310A1 (it) * 2008-04-22 2008-07-22 Geomondo S R L Applicativo di identificazione, geo-localizzazione e gestione di punti di interesse (poi)
US8463020B1 (en) * 2008-07-08 2013-06-11 Imove, Inc. Centralized immersive image rendering for thin client
US9274764B2 (en) 2008-09-30 2016-03-01 Adobe Systems Incorporated Defining transitions based upon differences between states
US8209633B1 (en) 2008-09-30 2012-06-26 Adobe Systems Incorporated Generating a timeline for transitions between states
US8233530B2 (en) * 2008-10-28 2012-07-31 International Business Machines Corporation Video scene matching on return from virtual rendering in a consumer digital video recording device
US9710240B2 (en) * 2008-11-15 2017-07-18 Adobe Systems Incorporated Method and apparatus for filtering object-related features
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
JP5721634B2 (ja) 2008-12-05 2015-05-20 ソーシャル・コミュニケーションズ・カンパニー リアルタイムカーネル
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US9319357B2 (en) 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US8436852B2 (en) * 2009-02-09 2013-05-07 Microsoft Corporation Image editing consistent with scene geometry
US20100225644A1 (en) * 2009-03-05 2010-09-09 Navteq North America, Llc Method and System for Transitioning Between Views in a Traffic Report
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
US9477368B1 (en) 2009-03-31 2016-10-25 Google Inc. System and method of indicating the distance or the surface of an image of a geographical object
US8581900B2 (en) * 2009-06-10 2013-11-12 Microsoft Corporation Computing transitions between captured driving runs
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
JP5299173B2 (ja) * 2009-08-26 2013-09-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8803951B2 (en) * 2010-01-04 2014-08-12 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
US8624902B2 (en) 2010-02-04 2014-01-07 Microsoft Corporation Transitioning between top-down maps and local navigation of reconstructed 3-D scenes
US8773424B2 (en) * 2010-02-04 2014-07-08 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-D scences
US20110187704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Generating and displaying top-down maps of reconstructed 3-d scenes
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
US9026359B2 (en) * 2010-11-01 2015-05-05 Nokia Corporation Visually representing a three-dimensional environment
JP5780561B2 (ja) * 2010-11-16 2015-09-16 小平アソシエイツ株式会社 視界映像情報生成装置
WO2012072741A1 (en) * 2010-12-03 2012-06-07 App.Lab Inc. System and method for presenting images
WO2012078124A1 (en) * 2010-12-08 2012-06-14 Thomson Licensing Complexity estimation of a 2d/3d conversion
EP2659458B1 (en) * 2010-12-30 2019-05-15 TomTom Global Content B.V. System and method for generating textured map object images
US9196305B2 (en) * 2011-01-28 2015-11-24 Apple Inc. Smart transitions
WO2012118917A2 (en) 2011-03-03 2012-09-07 Social Communications Company Realtime communications and network browsing client
US8675049B2 (en) 2011-06-09 2014-03-18 Microsoft Corporation Navigation model to render centered objects using images
JP6112624B2 (ja) 2011-08-02 2017-04-12 ビューズアイキュー インコーポレイテッドＶｉｅｗｓＩＱ Ｉｎｃ． デジタル顕微鏡撮像の装置及び方法
US9672659B2 (en) * 2011-12-27 2017-06-06 Here Global B.V. Geometrically and semanitically aware proxy for content placement
US20150154798A1 (en) * 2011-12-30 2015-06-04 Google Inc. Visual Transitions for Photo Tours Between Imagery in a 3D Space
JP2013165366A (ja) * 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2013119802A1 (en) 2012-02-11 2013-08-15 Social Communications Company Routing virtual area based communications
FI20125278L (fi) 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä ja järjestely ja tietokoneohjelmatuote videoitujen kohteiden tunnistamiseksi
WO2013158034A1 (en) * 2012-04-20 2013-10-24 Skydoor Pte Ltd A method for making a content sensitive video
US9147122B2 (en) 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
WO2013181026A1 (en) 2012-06-02 2013-12-05 Social Communications Company Interfacing with a spatial virtual communications environment
US9069440B2 (en) * 2012-06-05 2015-06-30 Apple Inc. Method, system and apparatus for providing a three-dimensional transition animation for a map view change
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US20140089850A1 (en) * 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
WO2014064878A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6396310B2 (ja) * 2012-11-23 2018-09-26 キャデンス メディカル イメージング インコーポレイテッドＣａｄｅｎｓ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｉｎｃ． 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
CN103971399B (zh) * 2013-01-30 2018-07-24 深圳市腾讯计算机系统有限公司 街景图像过渡方法和装置
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US20140267600A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Synth packet for interactive view navigation of a scene
US9305371B2 (en) 2013-03-14 2016-04-05 Uber Technologies, Inc. Translated view navigation for visualizations
US20140267587A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Panorama packet
US9269187B2 (en) 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
JP5959479B2 (ja) * 2013-06-11 2016-08-02 株式会社ジオ技術研究所 ３次元地図表示システム
US9310987B2 (en) * 2013-08-19 2016-04-12 Google Inc. Projections to fix pose of panoramic photos
EP3042358A2 (en) * 2013-09-03 2016-07-13 3ditize SL Generating a 3d interactive immersive experience from a 2d static image
US9965885B2 (en) * 2013-10-18 2018-05-08 Apple Inc. Object matching and animation in a presentation application
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
TWI539331B (zh) * 2014-03-03 2016-06-21 宏碁股份有限公司 電子裝置以及使用者介面控制方法
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US10484697B2 (en) * 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
US9530235B2 (en) * 2014-11-18 2016-12-27 Google Inc. Aligning panoramic imagery and aerial imagery
US9471695B1 (en) * 2014-12-02 2016-10-18 Google Inc. Semantic image navigation experiences
US9852351B2 (en) 2014-12-16 2017-12-26 3Ditize Sl 3D rotational presentation generated from 2D static images
KR102286573B1 (ko) * 2015-02-27 2021-08-06 한국전자통신연구원 깊이 맵 생성 장치 및 방법
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
JP6879479B2 (ja) * 2015-09-02 2021-06-02 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US9684993B2 (en) * 2015-09-23 2017-06-20 Lucasfilm Entertainment Company Ltd. Flight path correction in virtual scenes
EP3154264A1 (en) 2015-10-08 2017-04-12 Thomson Licensing Method of transitioning color transformations between two successive main sequences of a video content
US9858669B2 (en) * 2015-10-23 2018-01-02 The Boeing Company Optimized camera pose estimation system
WO2017085046A1 (en) 2015-11-16 2017-05-26 Philips Lighting Holding B.V. Controller for controlling a light source and method thereof
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
CN107180406B (zh) 2016-03-09 2019-03-15 腾讯科技（深圳）有限公司 图像处理方法和设备
US10529145B2 (en) * 2016-03-29 2020-01-07 Mental Canvas LLC Touch gestures for navigation and interacting with content in a three-dimensional space
US10839601B2 (en) * 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
EP3387622B1 (en) 2016-05-03 2020-09-23 Google LLC Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10416836B2 (en) * 2016-07-11 2019-09-17 The Boeing Company Viewpoint navigation control for three-dimensional visualization using two-dimensional layouts
EP3270356A1 (en) * 2016-07-12 2018-01-17 Alcatel Lucent Method and apparatus for displaying an image transition
US11153355B2 (en) * 2016-07-29 2021-10-19 Smarter Systems, Inc. Systems and methods for providing individual and/or synchronized virtual tours through a realm for a group of users
US12003554B2 (en) 2016-07-29 2024-06-04 Smarter Systems, Inc. Systems and methods for providing individual and/or synchronized virtual tours through a realm for a group of users
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
KR101756946B1 (ko) * 2017-01-20 2017-07-11 장수진 경도선/위도선을 기반으로 교통로를 구성하고, 지도 검색을 수행하는 방법 및 장치
US11462121B2 (en) 2017-02-15 2022-10-04 Cae Inc. Visualizing sub-systems of a virtual simulated element in an interactive computer simulation system
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
US20180342043A1 (en) * 2017-05-23 2018-11-29 Nokia Technologies Oy Auto Scene Adjustments For Multi Camera Virtual Reality Streaming
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10297090B2 (en) * 2017-06-12 2019-05-21 Nintendo Co., Ltd. Information processing system, apparatus and method for generating an object in a virtual space
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US11270502B2 (en) 2017-08-22 2022-03-08 Alibaba Group Holding Limited Method and apparatus for image processing of three-dimensional model maps
US10102611B1 (en) * 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
US11033361B2 (en) * 2017-10-19 2021-06-15 Ormco Corporation Methods for orthodontic treatment planning with augmented visual analysis
WO2019098609A1 (en) * 2017-11-14 2019-05-23 Samsung Electronics Co., Ltd. Method and apparatus for managing a wide view content in a virtual reality environment
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10777010B1 (en) * 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
JP7381556B2 (ja) 2018-03-27 2023-11-15 スペースドラフト・プロプライエタリー・リミテッド メディアコンテンツ計画システム
EP3777136A4 (en) 2018-04-03 2021-05-19 Huawei Technologies Co., Ltd. MULTIMEDIA DATA PROCESSING METHOD AND APPARATUS
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
CN110163977B (zh) * 2018-07-13 2024-04-12 腾讯数码（天津）有限公司 多世界虚拟场景中的虚拟通道渲染方法及装置
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10825246B2 (en) * 2018-09-27 2020-11-03 Adobe Inc. Generating immersive trip photograph visualizations
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11307730B2 (en) 2018-10-19 2022-04-19 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface configured for machine learning
US11461942B2 (en) 2018-12-21 2022-10-04 Koninklijke Kpn N.V. Generating and signaling transition between panoramic images
US11170044B2 (en) * 2019-01-02 2021-11-09 International Business Machines Corporation Personalized video and memories creation based on enriched images
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11216150B2 (en) 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
US12014120B2 (en) * 2019-08-28 2024-06-18 MFTB Holdco, Inc. Automated tools for generating mapping information for buildings
US11328157B2 (en) * 2020-01-31 2022-05-10 Honeywell International Inc. 360-degree video for large scale navigation with 3D in interactable models
JP7458889B2 (ja) * 2020-05-08 2024-04-01 キヤノン株式会社 画像表示装置、制御方法、およびプログラム
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN112954369B (zh) * 2020-08-21 2023-05-26 深圳市明源云客电子商务有限公司 户型预览方法、装置、设备及计算机可读存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112634414B (zh) 2020-12-24 2023-09-05 北京百度网讯科技有限公司 地图显示方法及装置
CN112799559B (zh) * 2021-02-01 2023-10-31 北京海天维景科技有限公司 一种应用于数字沙盘的防迷失交互方法和装置
CN113112613B (zh) * 2021-04-22 2022-03-15 贝壳找房(北京)科技有限公司 模型显示方法、装置、电子设备和存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11501492B1 (en) * 2021-07-27 2022-11-15 Zillow, Inc. Automated room shape determination using visual data of multiple captured in-room images
KR20230043318A (ko) 2021-09-24 2023-03-31 삼성전자주식회사 영상 내 객체를 분류하는 객체 분류 방법 및 장치

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359703A (en) * 1990-08-02 1994-10-25 Xerox Corporation Moving an object in a three-dimensional workspace
US5297253A (en) * 1992-01-09 1994-03-22 Ehrlich Associates, Inc. Computer user interface navigational tool
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6654014B2 (en) * 1995-04-20 2003-11-25 Yoshinori Endo Bird's-eye view forming method, map display apparatus and navigation system
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US5926190A (en) * 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
US5808623A (en) * 1996-10-07 1998-09-15 Adobe Systems Incorporated System and method for perspective transform in computer using multi-pass algorithm
US6049622A (en) * 1996-12-05 2000-04-11 Mayo Foundation For Medical Education And Research Graphic navigational guides for accurate image orientation and navigation
AU5573698A (en) * 1997-01-30 1998-08-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
US6052124A (en) * 1997-02-03 2000-04-18 Yissum Research Development Company System and method for directly estimating three-dimensional structure of objects in a scene and camera motion from three two-dimensional views of the scene
JP3472065B2 (ja) * 1997-03-17 2003-12-02 株式会社東芝 アニメーション生成装置およびアニメーション生成方法
US20010043219A1 (en) * 1997-04-07 2001-11-22 John S. Robotham Integrating live/recorded sources into a three-dimensional environment for media productions
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6147692A (en) * 1997-06-25 2000-11-14 Haptek, Inc. Method and apparatus for controlling transformation of two and three-dimensional images
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6215494B1 (en) * 1997-12-18 2001-04-10 Mgi Software Corporation Method and system for centering image objects
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6337683B1 (en) * 1998-05-13 2002-01-08 Imove Inc. Panoramic movies which simulate movement through multidimensional space
US6278466B1 (en) * 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
US6271855B1 (en) * 1998-06-18 2001-08-07 Microsoft Corporation Interactive construction of 3D models from panoramic images employing hard and soft constraint characterization and decomposing techniques
US6246412B1 (en) * 1998-06-18 2001-06-12 Microsoft Corporation Interactive construction and refinement of 3D models from multiple panoramic images
US6084592A (en) * 1998-06-18 2000-07-04 Microsoft Corporation Interactive construction of 3D models from panoramic images
US6268846B1 (en) * 1998-06-22 2001-07-31 Adobe Systems Incorporated 3D graphics based on images and morphing
US6674461B1 (en) * 1998-07-07 2004-01-06 Matthew H. Klapman Extended view morphing
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6452609B1 (en) * 1998-11-06 2002-09-17 Supertuner.Com Web application for accessing media streams
US6477268B1 (en) * 1998-11-17 2002-11-05 Industrial Technology Research Institute Producing transitions between vistas
JP2000182076A (ja) * 1998-12-16 2000-06-30 Sony Corp データ処理装置およびデータ処理方法、並びに提供媒体
JP3634677B2 (ja) * 1999-02-19 2005-03-30 キヤノン株式会社 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
US6388688B1 (en) * 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
US6346938B1 (en) * 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3316758B2 (ja) * 1999-12-13 2002-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーション モルフィング処理装置、記憶媒体、および動画作成装置
WO2001061539A2 (en) * 2000-02-14 2001-08-23 Ferreira, Jose, P., S. Methods and systems for presenting a virtual representation of a real city
JP3643511B2 (ja) * 2000-02-28 2005-04-27 日本電信電話株式会社 ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体
US7287232B2 (en) * 2000-05-08 2007-10-23 Fujitsu Limited Information display system having graphical user interface switchingly controlling information display on display screen
US7002583B2 (en) * 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
EP1311803B8 (de) * 2000-08-24 2008-05-07 VDO Automotive AG Verfahren und Navigationsgerät zum Abfragen von Zielinformation und zum Navigieren in einer Kartenansicht
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6665642B2 (en) * 2000-11-29 2003-12-16 Ibm Corporation Transcoding system and method for improved access by users with special needs
US6633317B2 (en) * 2001-01-02 2003-10-14 Microsoft Corporation Image-based walkthrough system and process employing spatial video streaming
US6760026B2 (en) * 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US20020143870A1 (en) * 2001-01-05 2002-10-03 Overthehedge.Net, Inc. Method and system for providing interactive content over a network
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US20020175918A1 (en) * 2001-04-17 2002-11-28 Barber John S. Method and system for implementing a path network in a computer graphics scene
JP2003051031A (ja) * 2001-05-08 2003-02-21 Komatsu Ltd 製品又はその部品についての電子文書をクライアント端末に表示するためのシステム及び方法
US20040109031A1 (en) * 2001-05-11 2004-06-10 Kenneth Deaton Method and system for automatically creating and displaying a customizable three-dimensional graphical user interface (3D GUI) for a computer system
US6724384B2 (en) * 2001-05-16 2004-04-20 International Business Machines Corporation System and method for organization and delivery of data for virtual walkthroughs
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
JP2003066944A (ja) * 2001-08-29 2003-03-05 Denso Corp 地図画像処理装置及びプログラム
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
JP4065488B2 (ja) * 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
US6791549B2 (en) * 2001-12-21 2004-09-14 Vrcontext S.A. Systems and methods for simulating frames of complex virtual environments
US20050025347A1 (en) * 2001-12-28 2005-02-03 Sherif Makram-Ebeid Medical viewing system having means for image adjustment
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US20040021684A1 (en) * 2002-07-23 2004-02-05 Dominick B. Millner Method and system for an interactive video system
US20040204836A1 (en) * 2003-01-03 2004-10-14 Riney Terrance Patrick System and method for using a map-based computer navigation system to perform geosearches
US7098809B2 (en) * 2003-02-18 2006-08-29 Honeywell International, Inc. Display methodology for encoding simultaneous absolute and relative altitude terrain data
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7108720B2 (en) * 2003-03-31 2006-09-19 Depuy Products, Inc. Reduced wear orthopaedic implant apparatus and method
US7327374B2 (en) * 2003-04-30 2008-02-05 Byong Mok Oh Structure-preserving clone brush
US8046705B2 (en) * 2003-05-08 2011-10-25 Hillcrest Laboratories, Inc. Systems and methods for resolution consistent semantic zooming
JP4138574B2 (ja) * 2003-05-21 2008-08-27 株式会社日立製作所 カーナビゲーション装置
US20050021472A1 (en) * 2003-07-25 2005-01-27 David Gettman Transactions in virtual property
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US7425958B2 (en) 2004-10-25 2008-09-16 Adobe Systems Incorporated Perspective editing tools for 2-D images
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118727A (ko) * 2009-02-24 2011-10-31 구글 인코포레이티드 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
US9454847B2 (en) 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images
KR20120027712A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 영상 처리 방법 및 장치
KR101502806B1 (ko) * 2013-08-28 2015-03-18 건국대학교 산학협력단 내비게이션을 위한 단계적 세부 표현 기반의 스트리밍 시스템 및 그 방법
US11769293B2 (en) 2021-11-23 2023-09-26 Virnect Co., Ltd. Camera motion estimation method for augmented reality tracking algorithm and system therefor

Also Published As

Publication number Publication date
CA2587644C (en) 2015-01-13
US20160148413A1 (en) 2016-05-26
US10032306B2 (en) 2018-07-24
WO2006053271A1 (en) 2006-05-18
JP2008520052A (ja) 2008-06-12
JP5450563B2 (ja) 2014-03-26
US20140152699A1 (en) 2014-06-05
US20190279412A1 (en) 2019-09-12
CA2587644A1 (en) 2006-05-18
US10304233B2 (en) 2019-05-28
US20060132482A1 (en) 2006-06-22
JP2012043458A (ja) 2012-03-01
US10546410B2 (en) 2020-01-28
US20180350126A1 (en) 2018-12-06
EP1820159A1 (en) 2007-08-22

Similar Documents

Publication Publication Date Title
US10546410B2 (en) Method for inter-scene transitions
CA2669409C (en) Method for scripting inter-scene transitions
CA3096601C (en) Presenting image transition sequences between viewing locations
US11024088B2 (en) Augmented and virtual reality
Neumann et al. Augmented virtual environments (ave): Dynamic fusion of imagery and 3d models
Kang et al. Tour into the picture using a vanishing line and its extension to panoramic images
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
JP2008520052A5 (ko)
JP2000076488A (ja) ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置
Szeliski et al. Image-based rendering
Vallance et al. Multi-Perspective Images for Visualisation.
Kim et al. 3-d virtual studio for natural inter-“acting”
Haenselmann et al. Multi perspective panoramic imaging
Albuquerque et al. An overview on virtual sets
Huang Increasing the visualization realism by frame synchronization between the VRML browser and the panoramic image viewer
Hung et al. A purely image-based approach to augmenting panoramas with object movies
Milne et al. The ORIGAMI project: advanced tools for creating and mixing real and virtual content in film and TV production
Pollard et al. 3d video sprites
Evers-Senne et al. The ORIGAMI project: advanced tools for creating and mixing real and virtual content in film and TV production
Huang Use of the frame synchronization technique to improve the visualization realism on the Web
Manning et al. Environment map morphing
Mudge et al. Image Interpolation by Adaptive Subdivision for Image-Based Walkthrough of Large Scale Real-World Scenes
Karahalios Merging static and dynamic visual media along an event timeline
Sudarsanam A view-based deformation tool-kit, Master's Thesis, August 2006

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application