KR101328759B1 - 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치 - Google Patents

비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치 Download PDF

Info

Publication number
KR101328759B1
KR101328759B1 KR1020097017554A KR20097017554A KR101328759B1 KR 101328759 B1 KR101328759 B1 KR 101328759B1 KR 1020097017554 A KR1020097017554 A KR 1020097017554A KR 20097017554 A KR20097017554 A KR 20097017554A KR 101328759 B1 KR101328759 B1 KR 101328759B1
Authority
KR
South Korea
Prior art keywords
image
tracked
video stream
orientation
pose
Prior art date
Application number
KR1020097017554A
Other languages
English (en)
Other versions
KR20090110357A (ko
Inventor
발랑띤 르페브르
니꼴라 리베
Original Assignee
또딸 이메르지옹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 또딸 이메르지옹 filed Critical 또딸 이메르지옹
Publication of KR20090110357A publication Critical patent/KR20090110357A/ko
Application granted granted Critical
Publication of KR101328759B1 publication Critical patent/KR101328759B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 증강 현실의 적용을 위하여 비디오 스트림의 적어도 2개의 이미지 내에서 실제 장면의 하나 또는 다수의 거의 평면인 기하학적 객체를 실시간으로 추적하기 위한 방법 및 장치를 목적으로 한다. 추적 대상의 객체를 포함하는 비디오 스트림의 제1 이미지(300)를 수신한 후, 그 제1 이미지 내에서의 그 객체의 위치 및 방향이 사전 결정된 복수의 이미지 블록(320)으로부터 결정되고, 그 복수의 이미지 블록의 각각의 블록은 추적 대상의 객체의 포즈에 연관된다. 제1 이미지 및 제1 이미지 내에서의 추적 대상의 객체의 위치 및 방향은 키(key) 이미지를 형성한다. 비디오 스트림의 제2 이미지 수신시에, 그 제2 이미지 내에서의 추적 대상의 객체의 위치 및 방향은 그 키 이미지(330)로부터 산정된다. 제2 이미지 및 추적 대상의 객체의 해당 위치 및 방향은 키 이미지로서 저장된다. 만일 추적 대상의 객체의 위치 및 방향이 제2 이미지 내에서 그 키 이미지로부터 발견되지 않으면, 그 제2 이미지 내의 그 추적 대상의 객체의 위치 및 방향은 복수의 이미지 블록 및 관련된 익스포주어(exposure)로부터 결정된다.
비디오 스트림, 이미지 블록, 키 이미지, 포즈 변화

Description

비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치{AUGMENTED REALITY METHOD AND DEVICES USING A REAL TIME AUTOMATIC TRACKING OF MARKER-FREE TEXTURED PLANAR GEOMETRICAL OBJECTS IN A VIDEO STREAM}
본 발명은 실제 이미지와 가상 이미지의 결합, 즉 증강 현실에 관한 것으로서, 비디오 스트림 내에서 마커(marker)없는 텍스쳐(textured) 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치에 관한 것이다.
증강 현실은 비디오 스트림 내 이미지에 하나 또는 다수의 가상 객체를 삽입하는 것이다. 애플리케이션 유형에 따라, 그 가상 객체의 위치 및 방향은 게이머의 손과 같은 장면의 특정점의 좌표 등과 같이 그 장면의 여러 엘리먼트들과 관련 있는 데이터에 의해, 또는 게임의 시나리오에서 직접 주어지는 좌표 등과 같이 이미지에 의해 표현된 장면의 외부 데이터에 의해 결정될 수 있다. 위치 및 방향이 그 실제 장면의 몇몇 엘리먼트들과 관련 있는 데이터에 의해 결정될 때에는, 카메라의 움직임 또는 그 장면 내에서 엘리먼트들 자체의 움직임을 감안하여 그 엘리먼트들을 추적할 필요가 있을 수 있다. 엘리먼트의 추적 및 실제 이미지 안에 가상 객체의 삽입은 별도의 컴퓨터 또는 동일한 컴퓨터에 의해 실행될 수 있다.
비디오 스트림 내에 있는 엘리먼트를 추적하는 방법은 다수가 존재한다. 일반적으로, 목표추적 알고리즘으로도 칭하는 엘리먼트 추적 알고리즘은 보이는 마커나 RF 또는 적외선을 사용하는 다른 수단을 사용하는 마커를 사용한다. 대안적으로, 몇몇 알고리즘들은 이미지 스트림 내에 있는 특정 이미지를 추적하기 위해 형상 인식을 사용한다.
로잔느 연방 폴리테크닉 대학교는 마커를 사용하지 않는 영상 추적 알고리즘을 개발하였는데, 시스템의 초기화 시에 얻어지는 키(key) 이미지, 일명 키프레임(keyframe)을 갖고 있는 비디오 스트림의 현재(current) 이미지와 영상 추적을 실행하는 동안 업데이트된 키 이미지 사이의 특정점들을 매칭시킨다는 점에서 독창성을 찾을 수 있는 알고리즘을 개발했다.
그 영상 추적용 알고리즘의 목적은 실제 장면 내에서, 3차원 메싱(meshing)이 이용가능한 객체의 포즈(pose), 즉 위치 및 방향을 구하거나 그 객체를 이미지 분석을 통하여 촬영하는 고정된 카메라(immobile camera)의 위치 및 방향의 외부 파라미터를 구하는 것이다.
현재 비디오 이미지는 객체의 포즈를 추정할 목적으로 그 이미지 쌍들 사이의 복수의 매칭(matching)을 구하기 위하여 하나 또는 다수의 기록된 키 이미지와 비교된다. 그 목적을 위하여, 하나의 키 이미지는 2개의 엘리먼트, 즉 비디오 스트림의 캡쳐된 이미지 및 그 이미지 내에 나타나는 실제 객체의 포즈(방향 및 위치)로 구성된다. 오프라인 키 이미지와 온라인 키 이미지를 구별해야 한다. 오프라인 키 이미지는 추적 대상의 객체가 마우스 등의 포인팅 장치를 사용하거나 Doepfer사가 출시한 Pocket Dial등의 조정 장치를 사용하여 수동으로 그 내부에 놓인 비디오 스트림에서 추출된 이미지이다. 오프라인 이미지는 바람직하게는 복수의 이미지 내에 있는 동일한 객체의 포즈를 특징짓는다. 그것들은 오프라인, 즉 애플리케이션의 계속 진행중인 체계(ongoing regime) 외에서 생성되고 기록된다. 온라인 키 이미지는 추적용 프로그램이 실행되는 동안 역동적으로 기록된다. 그것들은 에러, 즉 매칭된 관심점들 간의 거리가 짧을 때 계산된다. 온라인 키 이미지는 애플리케이션을 초기화하는 데에 사용되는 오프라인 키 이미지를 대체한다. 그것의 사용은 카메라와 객체 사이의 상대적 초기 위치로부터 지나치게 멀어질 때 중요하게 부각될 수 있는 타임 시프트(shift)-또는 드리프트(drift)로도 지칭-를 감소시키는 것을 목적으로 한다. 새로운 온라인 키 이미지의 학습은 외부 광도의 변화 및 카메라 색체계의 변화에 대하여 더욱 견고한 애플리케이션을 제공하게 된다. 그러나 그것은 시간이 지나면 객체의 포즈에 "진동" 효과를 초래한다는 단점이 있다. 새로운 온라인 키 이미지를 학습할 때, 나중 이미지는 이전의 오프라인 또는 온라인 키 이미지를 대체하게 된다. 그것은 현재 키 이미지로서 사용된다.
각각의 오프라인 또는 온라인 키 이미지는 객체가 존재하는 이미지 및 그 객체의 이동을 특징짓기 위한 포즈, 그리고 이미지 내에 있는 객체를 특징짓는 다수의 관심점들을 포함한다. 그 관심점들은 예를 들어 해리스(Harris) 점의 검출기로부터 구축되고 이미지 내의 위치를 방향 그래디언트 값이 높다고 표현한다.
애플리케이션을 초기화하기 이전에, 하나 또는 다수의 오프라인 키 이미지를 결정할 필요가 있다. 그것은 일반적으로 비디오 스트림에서 추출된 이미지들인데, 그 이미지들은 추적 대상의 객체를 포함하고, 그 객체의 3차원 모델의 위치 및 방향과 관련되어 있다. 그것을 위하여 작업자가 실제 객체에 유선 모델을 가시적으로 매칭하게 한다. 따라서 수동 준비 단계는 비디오 스트림에서 추출된 이미지 내에서 그 객체의 포즈의 제1 추정치를 찾는 것이고, 그것은 초기 아핀(affine) 변환 Tp→c , 추적되는 객체에 관련된 기준 프레임(frame of reference)과 카메라에 관련된 기준 프레임 사이를 통과하는 매트릭스를 포멀라이즈(formalize)하게 된다. 초기 아핀 변환은, 객체의 초기 위치에 대한, 예를 들어 모니터의 중심에서의 제1 변환 To→c , 즉 카메라의 기준 프레임과 객체의 기준 프레임 사이의 기준 프레임 변화에 관계된 변환, 그리고 모니터 중심에서의 객체의 초기 위치에서 키 이미지에서 객체가 실제로 존재하는 위치 및 방향으로 객체가 이동하고 회전하는 데 대한 제2 변환 Tp→o 으로 분리될 수 있다(여기서, Tp→c = Tp→o.To→c 임). 만일 객체가 이미지 중심의 초기 위치로부터 키 이미지 내의 그의 위치를 향하여 병진 이동하는데 해당되는 값이 α,β 및 γ이고, 그 객체가 이미지 중심의 초기 위치에서 x, y 및 z 축을 따라 키 이미지 내의 그의 위치를 향하여 회전운동하는데 해당되는 값이 θ, φ 및 ψ이면, Tp→o 변환은 하기 명시한 매트릭스로 변환될 수 있다.
Figure 112009051377411-pct00001
이 모델을 사용하면 객체의 기준 프레임 내에 표현된 객체의 3차원 모델의 점 좌표와 카메라의 기준 프레임 내의 그 점 좌표들 사이의 관계를 형성할 수 있게 한다.
애플리케이션을 초기화할 때, 오프라인 키 이미지는 애플리케이션을 시작할 때 선택된 파라미터의 함수로서 관심점들을 위치 설정하도록 처리된다. 그 파라미터들은 경험적으로 애플리케이션의 각 사용 유형에 대하여 특정화되고 매칭 감지 코어(match detection core)를 변조할 수 있게 하고, 실제 환경의 특성에 따라 객체의 포즈를 추정함에 있어서 양호한 품질을 얻게 한다. 그리고, 현재 이미지 내의 실제 객체가 오프라인 키 이미지 중 하나의 동일 객체의 포즈에 근접한 포즈 내에 있을 때, 매칭 수가 많아진다. 따라서, 객체의 3차원 가상 모델을 실제 객체 상으로 고정시킬 수 있는 아핀 변환을 구할 수 있다.
그러한 매칭을 찾았을 때 알고리즘은 계속 진행중인 체계로 된다. 객체의 이동은 하나의 프레임으로부터 다른 프레임으로 추적되고 드리프트는 초기화때 취한 오프라인 키 이미지 내에 포함된 정보와 그 애플리케이션의 실행 시에 계산된 온라인 키 이미지 내에 있는 정보들을 이용하여 보상된다.
추적 애플리케이션은 2개 유형의 알고리즘, 즉 관심점의 감지, 예를 들어 해리스 점 감지의 변형된 버전 및 이미지 평면에 대한 3차원 모델 상에 위치한 관심점의 재투영 기술을 결합한다. 그 재투영은 하나의 프레임으로부터 다른 프레임으로의 공간 변환의 결과를 예측할 수 있게 한다. 그 2개의 결합된 알고리즘은 6개의 자유도에 따른 객체의 견고한 추적을 가능하게 한다.
일반적으로, P1이 카메라의 내부 파라미터, 즉 초점값, 이미지 중심 및 편차의 매트릭스이고, PE는 카메라의 외부 파라미터, 즉 실제 공간 내의 카메라의 위치의 매트릭스이고, Tp→c 는 카메라의 기준 프레임과 추적되는 객체와 관련된 기준 프레임 사이를 통과하는 매트릭스일 때, 이미지의 한 점 p는 p ~ P1.PE.Tp→c .P로서 실제 장면의 한 점 P의 투영이다. 여기서는 카메라의 위치에 대한 객체의 위치만 고려되는데, 그것은 카메라의 광학 중심에 실제 장면의 기준 프레임을 위치하게 한다. 그 결과 p ~ P1.Tp→c .P 관계가 성립된다. P1 매트릭스는 공지되어 있으므로, 추적 문제는 Tp→c 매트릭스, 즉 카메라의 기준 프레임에 대한 객체의 위치 및 방향을 결정하는 것으로 구성된다.
그러나, 에러의 정도가 과도하게 증가하면, 즉 현재 키 이미지와 현재 이미지 사이의 매칭의 수가 적어지면, 추적은 비동기화(desynchronization)를 당하게 되고 (객체의 포즈를 추정하는 것이 더 이상 충분히 타당하지 않다고 여겨짐) 새로운 초기화 단계가 필요하게 된다는 것을 주지해야 한다.
객체의 포즈는 비디오 스트림에서 나온 현재 이미지의 관심점, 현재 키 이미지의 관심점 및 비디오 스트림에서 나온 이전 이미지의 관심점들 사이의 매칭에 따라 추정된다. 그 동작은 매칭 단계로 지칭된다. 최상의 유효 상호관계로부터, 소프트웨어는 관측시에 최적에 해당되는 객체의 포즈를 계산한다.
도 1 및 도 2는 그 추적용 애플리케이션을 도시한다.
대안적으로, 오프라인 키 이미지의 생성 단계에서, 객체의 포즈는 그 특정점의 구성에 따라 결정될 수 있다. 이를 위하여, 관심점 상의 중심 이미지 블록들은 아핀 변환 또는 호모그래픽 변환(homographic deformation)에 따라 오프라인 키 이미지로부터 생성된다. 그 이미지 블록 및 변환 후 획득된 이미지 블록들은 패치로 지칭된다. 여기서 패치는 관심점을 포함하고, 해당 객체의 포즈와 관련된 이미지 블록으로서 정의된다. 각 패치의 포즈는 해당 이미지 블록을 획득하기 위하여 실행되는 변환에 따라 계산된다.
패치들은 바람직하게는 추적용 애플리케이션을 실행하는 동안 계산 시간을 제한하기 위하여 결정 트리(tree)에 따라 배치된다. 따라서, 비디오 스트림에서 나온 각각의 이미지에 대하여, 객체 추적 애플리케이션은 그 이미지의 어떤 관심점을 결정하고 그 이미지 내에서 객체의 포즈를 결정하기 위하여 사전 생성된 패치로 그 점들 상의 중심 이미지 블록을 비교한다. 그러나 그 솔루션은 또한 시간이 지마녀 객체의 포즈에 "진동" 효과를 초래한다.
증강 현실 애플리케이션을 위해 제안된 객체 추적용 솔루션들은 종종 연구 결과에 따른 것이고 상업용 시스템을 구축하는 데 있어서의 제약은 고려하지 않는다. 특히 견고함(robustness), 수동 초기화 단계를 필요치 않고 애플리케이션을 신속히 시작할 가능성, "비동기화" 유형의 에러 감지(추적 대상의 객체를 잃어버렸을 때) 및 그러한 에러발생 후 실시간으로 자동 재초기화하는 데 관련된 문제점들은 종종 간과된다.
본 발명은 상기 부각된 문제점들 중 적어도 하나를 해결할 수 있게 한다.
따라서 본 발명은, 증강 현실 애플리케이션에 있어서, 적어도 하나의 비디오 스트림의 적어도 두 개의 거의 연속하는 이미지로 실제 장면에서는 거의 평면인 적어도 하나의 기하학적 객체를 실시간으로 추적하기 위한 방법에 관한 것으로서, 본 방법은,
- 상기 적어도 하나의 비디오 스트림의 제1 이미지를 수신하고 - 상기 제1 이미지는 상기 적어도 하나의 추적 대상의 객체를 포함함 -;
- 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치 및 방향을 사전 결정된 복수의 이미지 블록으로부터 결정하고, 상기 복수의 이미지 블록 각각은 상기 적어도 하나의 추적 대상의 객체의 하나의 포즈에 관련되어 있고, 상기 제1 이미지 및 상기 제1 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향은 키 이미지로 지칭되고;
- 상기 적어도 하나의 비디오 스트림의 제2 이미지를 수신하고 - 상기 제2 이미지는 상기 적어도 하나의 추적 대상의 객체를 포함함 -;
- 상기 키 이미지로부터 상기 적어도 하나의 추적 대상의 객체의 상기 제2 이미지 내에서의 위치 및 방향을 산정하는
단계들을 포함하는 것을 특징으로 한다.
본 발명에 따른 방법은 따라서 비디오 스트림 내에서, 마커 없이, 텍스쳐 평면 기하학적 객체를 실시간으로 자동 추적하여 증강 현실 애플리케이션의 초기화를 자동화할 수 있게 한다. 본 방법은 또한 비동기화의 경우, 즉 추적 대상의 객체를 잃어버렸을 때, 애플리케이션을 재초기화할 수 있게 한다.
하나의 특정 실시예에 따르면, 이미지를 수신하고 상기 수신된 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치 및 방향을 산정하는 단계는, 이미지 시퀀스 내에서 상기 적어도 하나의 객체를 추적하기 위하여, 상기 제2 이미지 이후에 상기 적어도 하나의 비디오 스트림의 이미지들에 대하여 반복된다.
유리하게는, 상기 수신된 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치 및 방향은, 상기 적어도 하나의 추적 대상의 객체의 위치 및 방향을 상기 수신된 이미지 내에서 키 이미지로부터 산정할 수 없을 때 상기 복수의 이미지 블록으로부터 산정되어, 상기 추적 대상의 객체를 잃어버렸을 때 자동으로 재초기화할 수 있도록 한다.
또한, 특정 실시예에 따르면, 상기 키 이미지의 값들은 수신된 이미지 및 상기 수신된 이미지 내의 상기 추적 대상의 객체의 산정된 위치와 방향에 의해 대체되어, 상기 적어도 하나의 추적 대상의 객체의 추적을 개선한다.
또한, 특정 실시예에 따르면, 본 방법은 상기 적어도 하나의 추적 대상의 객체의 산정된 위치로부터 상기 실제 장면에 관련된 기준 프레임 내에서 상기 적어도 하나의 비디오 스트림이 나오는 이미지 센서의 포즈를 산정하는 단계를 더 포함한다. 유리하게는, 본 방법은 상기 이미지 센서의 움직임을 결정하는 단계를 더 포함한다. 그 실시예는 상기 적어도 하나의 추적 대상의 객체가 상기 이미지 센서에 의해 관측된 장면 내에서 움직이지 않을 때 상기 이미지 센서의 이동을 추적할 수 있게 한다.
하나의 특정 실시예에 따르면, 상기 적어도 하나의 추적 대상의 객체는 이미지의 균일한 색상 구역 내에 엘리먼트를 삽입할 수 있게 하는 크로마키(chromakey) 기술을 실시할 수 있도록 적용된 균일 색상 구역을 포함한다.
또한, 하나의 특정 실시예에 따르면, 상기 적어도 하나의 추적 대상의 객체는, 특히 상호협력하는 애플리케이션을 구현할 수 있도록 적어도 2개의 다른 비디오 스트림 내에서 동시에 추적된다.
또한, 하나의 특정 실시예에 따르면, 본 방법은, 상기 수신된 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 산정된 위치와 방향에 따라 상기 수신된 이미지 중 적어도 하나의 이미지 내에 적어도 하나의 엘리먼트를 삽입하는 단계를 더 포함하고, 상기 적어도 하나의 엘리먼트는, 상기 이미지 센서에서 나온 이미지를 풍부히 하기 위하여, 적어도 하나의 가상 객체의 적어도 하나의 표현 및 적어도 하나의 제2 비디오 스트림을 포함하는 목록 내에서 선택된다.
본 발명은 또한 상기 명시한 방법의 각 단계들을 실행하도록 적용된 명령어를 포함하는 컴퓨터 프로그램을 목적으로 한다.
본 발명은 또한 상기 명시한 방법의 각 단계를 실행하기 위한 컴퓨터 프로그램 코드의 명령어를 포함하는 컴퓨터 또는 마이크로프로세서에 의해 부분적으로 또는 완전히 판독 가능한, 이동식 또는 비이동식의 정보 저장수단을 목적으로 한다.
본 발명은 또한 증강 현실 애플리케이션 내에서, 적어도 하나의 비디오 스트림의 거의 연속하는 적어도 두 개의 이미지로 실제 장면에서는 거의 평면인 적어도 하나의 기하학적 객체를 실시간으로 추적하기 위한 장치를 목적으로 하고, 본 장치는
- 상기 적어도 하나의 비디오 스트림의 제1 이미지를 수신하는 수단 - 상기 제1 이미지는 적어도 하나의 추적 대상의 객체를 포함함 -;
- 상기 제1 이미지를 제1 저장수단 내에 저장하기 위한 수단;
- 제2 저장수단 내에 사전 저장된 복수의 이미지 블록으로부터 상기 제1 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 결정하는 수단 - 상기 복수의 이미지 블록의 각각의 이미지 블록은 상기 적어도 하나의 추적 대상의 객체의 하나의 포즈에 관련되고, 상기 포즈는 상기 제2 저장수단 내에 저장되고, 상기 제1 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향은 상기 제1 저장수단 내에 저장됨 -;
- 상기 적어도 하나의 비디오 스트림의 제2 이미지를 수신하기 위한 수단 - 상기 제2 이미지는 상기 적어도 하나의 추적 대상의 객체를 포함함 -; 및
- 상기 제1 저장수단 내에 메모리된 데이터로부터 상기 제2 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하기 위한 수단을 포함하는 것을 특징으로 한다.
따라서, 본 발명에 따른 장치는 하나의 비디오 스트림 내에서, 마커 없이, 텍스쳐 평면 기하학적 객체를 실시간으로 자동 추적하여 증강 현실 애플리케이션의 초기화 또는 재초기화를 자동화할 수 있게 한다.
하나의 특정 실시예에 따르면, 본 장치는, 상기 제1 저장수단 내에 저장된 데이터로부터 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향이 산정될 수 있는지를 결정하기 위한 수단을 더 포함하고, 상기 제2 저장수단 내에 저장된 데이터로부터 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 결정하기 위한 수단은 상기 제2 저장수단 내에 저장된 데이터로부터 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하도록 적용되었다. 따라서 본 발명에 따른 장치는 추적 대상의 객체를 잃어버렸을 때 애플리케이션을 자동으로 재초기화할 수 있게 한다.
또한, 하나의 특정 실시예에 따르면, 본 장치는 상기 적어도 하나의 객체의 추적을 개선하기 위하여 상기 제2 이미지 및 상기 제1 저장수단 내에 상기 제2 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 저장하기 위한 수단을 더 포함한다.
또한, 하나의 특정 실시예에 따르면, 본 장치는, 상기 실제 장면 내에서 상기 이미지 센서에 대한 상기 적어도 하나의 추적 대상의 객체의 상대적 운동을 결정하기 위하여 상기 실제 장면, 상기 적어도 하나의 추적 대상의 객체 또는 상기 이미지 센서에 연관된 기준 프레임들 중 하나에서 상기 적어도 하나의 추적 대상의 객체 및 상기 적어도 하나의 비디오 스트림이 나오는 이미지 센서의 포즈를 결정하도록 적용된 변환 수단을 더 포함한다.
하나의 특정 실시예에 따르면, 본 장치는 상기 수신된 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 산정된 위치와 방향에 따라서 적어도 하나의 상기 수신된 이미지 중 적어도 하나 내에 적어도 하나의 엘리먼트를 삽입하기 위한 수단을 더 포함하고, 상기 적어도 하나의 엘리먼트는 상기 이미지 센서에서 나온 이미지를 풍부히 하기 위하여 적어도 하나의 가상 객체의 적어도 하나의 표현 및 적어도 하나의 제2 비디오 스트림을 포함하는 목록에서 선택된다.
본 발명의 다른 장점, 목적 및 특징은 예시적인 것으로서 그에 제한되지 않으며, 첨부된 도면을 참조하여 상세히 이하 명시된다.
도 1은 로잔느 연방 폴리테크닉 대학교에서 개발한 객체 추적용 애플리케이션의 기본 원리를 개략적으로 도시하는 도면.
도 2는 키 이미지 및 비디오 스트림의 이전 이미지로부터 비디오 스트림의 이미지 내에서 객체의 포즈를 결정하기 위한 방법의 일부 단계를 도시하는 도면.
도 3은 본 발명에 따른 객체 추적용 알고리즘의 일반 개략도.
도 4는 본 발명의 적어도 일부분을 구현할 수 있게 하는 장치의 일례의 개략도.
도 5a 및 도 5b를 포함하는 도 5는 센서 및 이미지 시각화용 이동식 장치가 사용될 때 사용될 수 있는 구조의 2개의 실시예를 도시하는 도면.
도 6은 객체를 추적하는 증강 현실 애플리케이션을 위한 센서 및 이미지 시각화용 이동식 장치의 사용예를 도시하는 도면.
도 7은 센서 및 이미지 시각화용 이동식 장치가 커서(cursor) 또는 6개의 자유도를 갖는 이동 센서로서 어떻게 사용되는지를 도시하는 도면.
본 발명에 따르면 비디오 스트림에서 나온 이미지에서 객체 추적용 애플리케이션이 비동기화된 후 초기화 및 재초기화하는 단계를 자동화하는 것을 특별히 목적으로 한다. 도 3은 본 발명을 실행하는 객체 추적 애플리케이션을 전반적으로 도시하는 개략도이다.
도 3에 도시된 바와 같이, 객체 추적 애플리케이션은 3개의 페이즈(phase), 즉 준비 페이즈(I), 초기화 또는 재초기화 페이즈(II) 및 객체 추적 페이즈(III)를 포함한다.
준비 페이즈(I)는 검색 트리를 준비하기 위하여 추적 대상의 객체의 특징점을 추출하는 것으로 주로 구성된다. 객체의 텍스쳐 이미지를 수신(단계 300)한 후, 예를 들어 해리스 점 검출기 등과 같은 종래의 알고리즘에 따라 이미지의 관심점이 검색된다(단계 305). 객체의 텍스쳐 이미지는 바람직하게는 합성 이미지 등과 같은 유일한 객체가 나타나는 이미지, 또는 객체가 잘리고 배경은 지워진 이미지이다.
객체의 관심점이 결정되었을 때, 애플리케이션은 패치를 발생시키기 위하여 그 점들을 중심으로 한 이미지 블록을 추출한다. 패치들은, 예를 들어 병진운동, 회전운동 및 척도의 변화에 기반한 랜덤 변환에 의해 발생된다(단계 310). 예를 들어 이미지의 관심점 m0의 주변에서 하기 관계식에 의해 정의되는 아핀 변환을 실행하는 것이 가능하다.
(n - n0) = H(m - m0) + T(t1,t2),
n 점은 m 점의 변환이고, T(t1,t2)는 m0 점 주변의 병진운동에 해당하고, t1은 이미지 내에서의 소폭 수직 병진이동, t2는 소폭 수평 병진이동이고 H = Rα.Rβ -1.S(λ1,λ2).Rβ.Rα 이고 Rβ -1은 2개의 직각 축 주위의 회전운동에 해당하고 S(λ1,λ2)는 척도의 변화를 나타낸다. 랜덤하게 변화시켜야 하는 파라미터들은 따라서 α, β, λ1, λ2, t1 및 t2이다.
각 패치는 해당 패치를 얻기 위해 이미지 블록에 적용된 변환에 따라 계산된 포즈와 관련된다. 그리고, 검색 트리가 발생된 패치들로부터 구성된다(단계 315).
초기화 페이즈(II)에서, 오프라인 키 이미지는 비디오 스트림에서 나온 제1 이미지로부터 생성된다(단계 320). 그 비디오 스트림에서 나온 제1 이미지는 비디오 스트림에서 나온 후속 이미지 내에서 객체를 추적하기 위한 오프라인 키 이미지로서 사용되기 위하여 저장된다. 그 제1 이미지 내에서 객체의 포즈를 결정하기 위하여, 복수의 관심점, 예를 들어 방향 그래디언트가 가장 큰 p 점들이 결정된다. 그 점들의 각각의 주변에 정의된 이미지 블록은 검색 트리에 따라, 준비 페이즈 동안 결정된 패치들과 비교된다. 그 이미지 블록의 크기는 바람직하게는 그 패치의 크기와 동일하다. 이미지 블록에 가장 유사한 각각의 패치와 관련된 포즈는 이미지 내에서 객체의 포즈를 결정하는 데 사용된다. 객체의 포즈는 각각의 선택된 패치, 즉 각각의 이미지 블록에 가장 유사한 각각의 패치의 포즈의 평균값으로서, 또는 투표 메커니즘(voting mechanism)에 따라 정의된다. 그와 같이 결정된 포즈는 오프라인 키 이미지를 형성하기 위하여 비디오 스트림에서 나온 이미지에 관련된다. 그 오프라인 키 이미지는 그 후 추적용 애플리케이션을 초기화하기 위하여 사용된다.(단계 325). 본 방법은 신속하고 즉각적인 초기화를 가능하게 한다.
객체의 포즈가 제1 이미지 내에서 결정되고 현재 키 이미지가 선택되었을 때(오프라인 키 이미지는 초기화 페이즈 중에 결정됨), 추적 애플리케이션은 상기 명시한 추적 메커니즘에 따라 비디오 스트림의 연속적 이미지 내에서 객체를 찾을 수 있다(페이즈 III) (단계 330). 그 메커니즘에 따르면, 그 객체의 이동은(장면 내에서의 객체의 이동 또는 장면 내에서 카메라가 움직임에 따른 이동) 한 프레임에서 다른 프레임 상으로 추적되고 임의의 드리프트는 초기화 시에 취한 오프라인 키 이미지 내에, 그리고 경우에 따라서 애플리케이션 실행 시 계산된 온라인 키 이미지 내에 포함된 정보들 덕분으로 보상된다. 그 추적 애플리케이션은 유리하게는 한 프레임에서 다른 프레임 상으로의 공간적 변환의 결과를 제공하기 위하여 관심점 검출 알고리즘 및 3차원 모델 상에 위치한 관심점들의 평면 이미지 쪽으로의 투영 알고리즘을 결합한다. 따라서 객체의 포즈는 비디오 스트림에서 나온 현재 이미지의 관심점, 현재 키 이미지의 관심점 및 비디오 스트림에서 나온 이전 이미지의 관심점 사이의 매칭, 즉 그 이미지들에서 나온 관심점들의 매칭에 따라 산정된다.
에러의 정도가 과도하게 증가하면, 즉 현재 키 이미지와 현재 이미지 사이의 매칭 수가 과도하게 적어지면, 추적은 비동기화되고 재초기화 페이즈가 필요하게 된다. 재초기화 페이즈는 상기 명시한 초기화 페이즈와 유사하다(단계 320 및 325). 그 페이즈 동안에, 비디오 스트림의 현재 이미지는 그 포즈가 그것의 관심점들과 준비 페이즈에서 결정된 패치들을 포함하는 검색 트리에 따라 결정되는 새로운 오프라인 키 이미지를 형성하기 위하여 사용된다. 오프라인 키 이미지는 따라서 추적 애플리케이션이 비동기화되었을 때 자동으로 갱신되는 동적인 오프라인 키 이미지이다.
도 4는 본 발명을 실행하도록 적용된 기기를 개략적으로 도시한다. 기기(400)는 예를 들어 마이크로컴퓨터, 워크스테이션 또는 게임기이다.
그 기기(400)는 바람직하게는,
- CPU(중앙 처리 장치) 또는 마이크로프로세서(404);
- 운영 체제 및 "Prog" 등과 같은 프로그램을 포함하는 ROM(406);
- 상기한 프로그램을 실행하는 동안 생성되거나 변경된 변수 및 파라미터들을 기록하도록 적용된 레지스터를 포함하는 RAM 또는 캐시 메모리(408);
- 카메라(412)에 연결된 비디오 수신 카드(410); 및
- 모니터 또는 프로젝터(418)에 연결된 그래픽 카드(416)가
연결되어 있는 통신 버스(402)를 포함한다.
선택적으로, 기기(400)는 또한 하기 구성요소들을 포함할 수 있다.
- 상기한 "Prog" 프로그램 및 본 발명에 따라 처리된 또는 처리될 데이터들 을 포함할 수 있는 하드디스크(420);
- 본 발명에 따른 프로그램과 사용자가 상호작용할 수 있도록 하는 키보드(422) 및 마우스(424) 또는 광학 펜슬과 같은 다른 모든 포인팅 장치;
- 제공된 통신망(428), 예를 들어 인터넷 회선에 연결되고, 데이터를 송신하고 수신할 수 있게 되어 있는 통신 인터페이스(426);
- 센서(도시되지 않은)에 연결된 데이터 수신 카드(414); 및
- 본 발명에 따라 처리된 또는 처리될 데이터를 판독하고 기록하도록 적용된 메모리 카드 판독기(도시되지 않음).
통신 버스는 기기(400)에 포함되거나 그 기기에 연결된 여러 다른 구성요소들 사이의 통신 및 상호작동을 가능하게 한다. 그 버스의 예시는 본 발명에 제한적이지 않고, 특히 중앙 처리 장치는 기기(400)의 모든 구성요소들과 직접적으로 또는 기기(400)의 다른 구성요소들을 통하여 인스트럭션을 전달할 수 있다.
프로그램 가능한 기기가 본 발명에 따른 프로세스를 실행할 수 있게 하는 각 프로그램의 실행가능한 코드는 예를 들어 하드디스크(420) 또는 ROM(406)에 저장될 수 있다.
변형예에 따르면, 프로그램의 실행가능한 코드는 상기 명시한 방법과 동일한 방식으로 저장되도록 통신망(428)을 통하여, 인터페이스(426)를 거쳐 수신될 수 있다.
메모리 카드는 예를 들어 컴팩트 디스크(CD-ROM 또는 DVD) 등과 같은 모든 정보 매체로 대체될 수 있다. 일반적인 방식으로, 메모리 카드는, 실행 시 본 발명에 따른 방법을 실행할 수 있게 하는 하나 또는 다수의 프로그램을 저장하도록 적용된, 장치에 내장되었거나 아닌, 경우에 따라 이동식의 컴퓨터 또는 마이크로 프로세서에 의해 판독 가능한 정보 저장수단으로 대체될 수 있다.
더욱 일반적인 방식으로, 하나 또는 다수의 프로그램은 실행에 앞서 기기(400)의 저장수단 중 하나에 장착될 수 있다.
중앙 처리 장치(404)는 본 발명에 따른 하나 또는 다수의 프로그램의 명령어 또는 소프트웨어 코드의 부분들이 실행되는 것을 명령하고 제어하게 되고, 그 명령어들은 하드디스크(420) 또는 ROM(406) 또는 상기한 다른 저장용 구성요소들 내에 저장된다. 전원을 가했을 때 비휘발성 메모리, 예를 들어 하드디스크(420) 또는 ROM(406) 내에 저장된 하나 또는 다수의 프로그램은 본 발명에 따른 하나 또는 다수의 프로그램의 실행가능한 코드를 포함하게 되는 RAM(408) 및 본 발명을 실행하는 데 필요한 변수와 파라미터를 저장하기 위한 레지스터로 전달된다.
본 발명에 따른 장치를 포함하는 통신 기기는 또한 프로그램이 설정된 기기일 수 있음을 주지해야 한다. 따라서 그 기기는 예를 들어 ASIC(application-specific integrated circuit) 내에 고정으로 프로그래밍된 컴퓨터 프로그램 또는 프로그램들의 코드를 포함한다.
대안적으로, 비디오 카드(416)에서 나온 이미지는 통신 인터페이스(426) 및 공급된 통신망(428)을 통하여 모니터 또는 프로젝터(418)로 전송된다. 마찬가지로, 카메라(412)는 기기(400)와 별개인 비디오 수신 카드(410')에 연결되어, 카메라(412)에서 나온 이미지들이 공급된 통신망(428) 및 통신 인터페이스(426)를 통하여 기기(400)로 전달된다.
본 발명의 자동 초기화 및 재초기화 방법에 의한 실행을 단순화하였으므로, 객체 추적 애플리케이션은 전문가에게 의뢰하지 않고도 실행될 수 있다. 추적 애플리케이션은 비디오 스트림에서 나온 이미지 시퀀스 내에서 객체를 추적하기 위한 통상적 방식으로, 예를 들어 그 객체의 위치와 방향을 고려하여 장면의 객체 상에 비디오 시퀀스를 삽입할 뿐만 아니라 그 장면의 정지상태의 객체의 분석에 따라 카메라의 운동을 결정하기 위하여 사용될 수 있다. 그러한 경우 그 객체는 장면의 일부가 되고 따라서 장면 내에서 그 객체의 포즈를 찾는 일은 그 객체에 대한 카메라의 포즈를 찾는 일이 된다. 따라서 객체와 장면의 기하학적 모델 사이의 기하학적 변환 조건이 공지되었다는 조건하에서 장면 내에 가상 엘리먼트를 추가하는 것이 가능해진다. 그것이 이 경우이다. 이러한 접근은 따라서 장면의 기하학적 함수에 따라 이동하는 동적인 가상 객체로 실제 장면(모델이 되었던 부분의 일부)이 증강되도록 허용한다.
Rf는 추적되는 객체와 관련된 기준 프레임이고, Rs는 장면과 관련된 기준 프레임이고, Rk는 카메라에 관련된 기준 프레임이고, Rm은 동적인 3D 모델의 기준 프레임일 때, Rf 기준 프레임에서 Rs 기준 프레임으로의 변환 Tf→s (공지된) 및 Rs 기준 프레임에서 Rm 기준 프레임으로의 변환 Ts→m를 사용하여 Rf 기준 프레임에서 Rc 기준 프레임으로의 변환 Tf→c를 정의할 필요가 있다. 가상 3차원 모델과 관련된 Rm 기준 프레임이 카메라의 Rc 기준 프레임으로 변환될 수 있게 하는 아핀 변환은 하기 관계식으로 결정된다.
Figure 112009051377411-pct00002
여기서 PRc 는 3차원 모델의 Rm 기준 프레임에서 정의된 점 PRm 의 변환이고 Ti→j 는 기준 프레임 i에서 기준 프레임 j로 변환될 수 있게 하는 아핀 변환이다. 상기 관계식은 하기 형태로 단순화될 수 있다.
Figure 112009051377411-pct00003
즉,
Figure 112009051377411-pct00004
카메라의 파라미터 함수로서의 점 PRm 의 투영은 매트릭스 P1의 형태로 표현될 수 있고, 카메라에서 나온 이미지 내에서 정의된 Pi Rc 점을 구할 수 있게 한다. Pi Rc 점은 따라서 하기 관계식으로 정의된다.
Figure 112009051377411-pct00005
그러므로, 장면의 기준 프레임에서 정의된 합성 3차원 객체는 동적인 가상 객체로 비디오 스트림을 증강시키기 위하여 비디오 스트림의 현재 이미지상에 투영될 수 있다.
추적 애플리케이션은 또한 PDA, 휴대전화 또는 비디오 센서를 갖춘 다른 모든 장치 등과 같은 이동 기기와의 인터페이스로서 사용될 수 있다.
특히, 애플리케이션은, 실제 비디오 스트림을 가상 모델 또는 객체 상의 고정된 제2차 비디오 스트림에 의해 증강시키기 위하여, 이미지 내에서, 예를 들어 객체의 데이터베이스에 저장된 사전 취득된 텍스쳐 사각형을 검색한 후 추적하는 것으로 구성될 수 있다. 본 기술의 주요 이점은 카메라 및 추적되는 객체가 장면 내에서 자유로이 이동가능하다는 사실에 있다. 기준 프레임 변화의 기하학적 처리는 상기 명시한 바와 동일하다.
객체 추적 애플리케이션은 특히 텔레콤 서버(telecommunication service)로의 비디오 스트림의 전송 또는 텔레콤 서버로부터의 비디오 스트림의 수신을 위하여 종종 사용되는 H.263 표준 등과 같은 저품질의 현재 표준에 대하여 강하다. 나아가, 예를 들어 텔레콤 조작자의 인프라스트럭쳐 상에서 시그널링하는 DTMF(Dual Tone Modulated Frequency)를 사용하는 이동 기기의 터치 기능을 사용하는 덕분에 명령 또는 제어용 정보를 전송하는 것이 가능하다.
그러한 유형의 애플리케이션에서는, 객체 추적의 처리 및/또는 비디오 스트림의 보강은 국지적으로 또는 원격으로 될 수 있다. 도 5a 및 도 5b를 포함하는 도 5는 사용가능한 두 개의 구조 예를 도시한다. 도 5a는 원격 추적 기술에 해당한다. 이동 장치(500)는 송수신기(515)를 포함하는 서버(510)에 비디오 스트림을 전달할 수 있게 하는 송수신기(505)를 포함한다. 서버(510)는 하나 또는 다수의 이동 장치(500)에서 나온 하나 또는 다수의 비디오 스트림을 수신하고, 그 스트림의 이미지들 내에서 객체를 추적하고, 그 이미지들 내에 가상 객체 또는 제2차 비디오 스트림을 포함시키고, 그렇게 변형된 비디오 스트림을 그것을 디스플레이할 이동장치(500)에 전송하도록 적용하기 위하여, 객체 추적 및 비디오 스트림의 강화용 애플리케이션을 포함한다. 도 5b는 객체 추적 및 비디오 스트림 강화용 애플리케이션이 이동 기기(500') 내에 내장된 변형예를 도시한다. 서버(510')는 애플리케이션, 예를 들어 이동 기기(500')의 명령에 의해 제어되는 게임을 포함한다. 서버(510')와 이동 기기(500') 사이에 교환된 데이터는 제어와 커맨드 명령어 및 제어와 커맨드 명령어의 결과 등과 같은 일반적 정보이다. 비디오 스트림은 송수신기(505', 515') 사이에 전달될 필요가 없다. 사용된 구조가 무엇이든지 간에, 그 서버는 추적할 객체의 유형, 추적할 객체에 대한 카메라의 상대적 위치 및 바람직하게는 사용자에 의해 실행되는 여러 행위에 관한 정보를 수신함을 주지해야 한다.
도 6은 도 5에 도시된 구조들 중 하나를 사용하여 객체 추적하는 증강 현실 애플리케이션을 위하여 이미지를 캡쳐하고 시각화하는 이동 기기의 사용예를 도시한다. 이동 기기(600)는 실제 장면(610)으로부터 비디오 스트림을 수신할 수 있게 하는 이미지 센서(도시되지 않음) 및 모니터(605)를 포함한다. 실제 장면(610)은 추적 대상의 객체(615)를 포함하고, 그 객체 위에는 텍스쳐(texture)의 역할을 하는 일러스트래이션(620)이 나타나있다. 그 실시예에서, 추적된 객체를 포함하는 장면이 모니터(605) 상으로 투영되고 그 장면 내의 객체의 위치는 다이알로그(625) 또는 동적인 3차원 가상 객체(630) 등과 같은 가상 객체를 추가할 수 있게 한다.
도 7에 도시된 바와 같이, 이동 기기는 또한 추적되는 객체에 대한 이동 기기의 상대적 포즈(위치 및 방향)에 따라 6개의 자유도를 갖는 커서 또는 6 자유도를 갖는 운동 센서로서 사용될 수 있다. 그 커서 또는 센서는 운동을 제어하기 위하여 사용될 수 있다. 네 가지 유형의 이동에 대비할 수 있다.
"뷰파인더(viewfinder)" 유형의 제1 이동 모드에 따르면, 이동식 기기는 동작을 가이드하고 구역 또는 객체를 겨냥하고 선택하며 경우에 따라 선택물을 이동시키기 위한 포인팅 장비를 모방하는 것을 목표로 한다. 여기서 평면 텍스쳐는 테이블 등과 같이 실제 평면상에 위치하는 것으로 간주한다. 하나의 목표물이 이동식 기기의 이미지 센서의 광학 축 내에서 모니터상에 디스플레이된다. 그 목표물은 테이블 상의 가상 투영으로 인하여 카메라의 위치에 따라 형태가 변형된다. 테이블 상에 투영된 목표 객체는 타원형 또는 다른 2차원 기하학적 형태이다. 카메라의 광학 축에 의해 주어진 방향과 테이블 상에 위치한 3차원 가상 객체 사이의 교차면을, 그 3차원 객체 상에서 동작을 취할 수 있도록 하기 위하여 결정할 필요 또한 있다. 끝으로, 테이블에 부착된 가상 목표가 그것을 선택할 수 있도록 가상 객체를 부분적으로 커버할지를 결정할 수 있는 것이 중요하다. 그 포인팅 장치에 관련된 여러 다른 애플리케이션은 주로 비디오 게임, 특히 시뮬레이션 게임, 레이싱 게임 및 사격 게임이다.
제1 단계는 광학 축을 중심으로 한 원뿔이 테이블의 평면과 교차한 결과 형성되는 타원의 방정식을 테이블 평면 내에 표현하는 것으로 구성된다. 원뿔의 반지름은 유리하게는 전화기의 키를 사용하여 파라미터화할 수 있고 거리의 1차 함수로서 방정식 f(zd) = r, 예를 들어 f(zd) = azd, (a는 사용자에 의해 변형 가능한 파라미터이고 zd 는 테이블 평면과 카메라 사이의 실제거리)을 따라 표현된다. 명확히 하기 위하여, 여기서 추적되는 객체의 기준 프레임 Rf는 테이블의 것과 동일하고, x-y 평면은 테이블 평면에 해당하고 z축은 상부를 향한다. 그러므로 테이블 평면은 z = 0인 방정식을 갖는다.
기준 프레임 Rf에서, 원뿔 축, 즉 광학 축은 카메라의 위치 Pc = [xc yc zc]T 및 벡터
Figure 112011040758156-pct00006
= [xt yt zt]T 에 의해 정의된다. 따라서 원뿔 축과 테이블 평면과의 교차점 I는 하기 방식으로 결정된다.
Figure 112009051377411-pct00007
교차점 I를 알면, 그 점과 카메라 사이의 거리를 유추할 수 있고 따라서 중심이 교차점 I 인 원뿔에 포함되는 원의 반지름 b를 결정할 수 있다.
그러면 추적되는 객체의 기준 프레임에 따른 테이블 평면 내의 타원 방정식을 하기한 바와 같이 도출할 수 있다.
Figure 112009051377411-pct00008
여기서 γ는 테이블 평면 내의 추적되는 객체 및 카메라에 관련된 기준 프레임의 y축들 투영 간의 각도를 표시한다. 그 관계식은 이미지 내에서 타원을 표현할 수 있게 하고 이미지의 엘리먼트가 타원에 속하는지, 즉 그 엘리먼트가 선택 가능한지 아닌지를 결정할 수 있게 한다.
제2 이동 모드는 마치 카메라가 사용자의 눈높이에 있는 듯한 가상 환경으로 사용자가 무의식적으로 이동을 할 수 있게 한다. 그 이동 모드는 특히 "first person shooter" 유형의 게임 및 가상 박물관 방문 유형의 애플리케이션에 적용된다. 운동의 캡쳐는 3차원 공간 내 임의의 기준 위치로부터 실행될 수 있다. 그 기준 위치는 단순 명령으로서 언제든지 변경될 수 있다. 그 기준 위치에 대한 사용자의 소규모 운동들이 캡쳐되고 애플리케이션으로 전달된다. 그러한 접근은 가상 환경에서 6개의 자유도에 따른 이동을 실행할 수 있게 한다.
그 기준점에 대한 이동들과 관련된 운동들의 목록은 하기 방법에 의해 정의될 수 있다:
- "전진" 운동과 "후진" 운동 각각은 카메라의 광학 축 상에서의 이동에 따라 추적 대상의 객체로부터 카메라가 각각 접근하거나 멀어질 때 식별되고;
- 측면 병진운동은 광학 축과 직교하는 수평축을 따라 좌측으로 또는 우측으로 카메라가 이동할 때 식별되고;
- 가상 장면 내에서의 상승 운동은 카메라가 상부를 향하여 또는 하부를 향하여 병진운동 할 때 식별되고;
- 좌측으로 또는 우측으로 바라봄은 수직 축을 따른 카메라의 회전운동에 의하여 식별되고;
- 상부 쪽으로 또는 하부 쪽으로 바라봄은 광학 축에 직교하는 수평 축을 따른 카메라의 회전운동에 의해 식별되고
- 머리를 좌측으로 또는 우측으로 기울임은 광학 축을 따라 카메라가 회전 운동할 때 식별된다.
자연히 그 이동들은 추적되는 객체가 카메라 필드에 존재할 때만 유효하다. 그 반대의 경우에, 추적되는 객체가 카메라 필드에 새로 들어올 때까지 마지막 위치가 보존된다.
제3 이동 모드는 사용자가 보는 가상 객체 또는 인물의 이동을 제어할 수 있게 한다. 그러한 이동 모드는 특히 비디오 게임 및 익스플로래이션(exploration) 게임을 위하여 적용된다. 운동을 캡쳐하는 것은 추적되는 객체의 기준 프레임 Rf와 카메라의 기준 프레임 Rc 사이의 포즈 차이에 따라 실행된다. 가상 객체 또는 인물의 운동은 하기 방법에 의해 정의된다.
- 카메라의 광학 축은 객체 또는 가상 인물이 지각하는 것과 같은 장면을 표현하고;
- 광학 축과 직교하는 수평 축 상의 병진운동은 가상 객체 또는 인물의 측면 이동을 허용하고;
- 장면의 확대(가상 객체 상의 줌)는 카메라와 추적 대상의 객체 사이의 거리에 의해 결정된다.
광학 축 둘레로 회전운동 하는 것과 수직 축을 따라 병진운동 하는 것은, 우선적으로, 사전 설정된 작용이 아니고 목적하는 애플리케이션의 유형에 따른 특정 사용에 해당 될 수 있다.
제4 이동 모드는 카메라의 기준 프레임 Rc와 추적되는 객체의 기준 프레임 Rf의 포즈의 차이 사이에서 직접적으로 운동을 캡쳐하는 모드이다. 그 모드는 가상 객체 또는 가상 장면을 조사하기 위한 목적을 갖는다. 따라서 그 엘리먼트들 주위로 이동하거나 근접하거나 멀어지는 것이 가능하다. 그 이동 모드는 매우 유용하고 직관적이어서, 교육적이고 논증적인 애플리케이션과 비디오 게임에 특히 적합하다.
상기 명시했던 바와 같이, 명시된 시스템은 복수의 애플리케이션, 특히 게임 분야에서 상호작용을 개선할 수 있게 한다. 커서의 명령과 기능과 결합한 비디오 스트림의 풍부성은 예를 들어 각각의 애플리케이션에 적용된 인터페이스를 생성할 수 있게 한다. 명시예로서, 하기 실시예는 훈련, 배식, 및 대화 등의 여러 다른 모드를 포함하는 다마고치(Tamagoshi) 유형의 게임에 관한 것이다. 그리하여 사람이 동물에게 다가갈 때 앉아서 앞발을 들 수 있게 하고, 사람이 동물 주위를 신속히 돌 때 어지럽게 하고, 사람이 그 주위를 천천히 돌 때 따라올 수 있게 한다. 예를 들어 벌을 주기 위하여 카메라를 한쪽에서 다른 쪽으로 신속히 이동시킴으로써 동물을 벌 줄 수 있다. 상하 운동을 통하여 동물의 머리를 토닥거림으로써 동물을 칭찬할 수 있다. 키보드의 터치는 음식을 선택할 수 있고 그 동물을 향한 카메라의 운동은 그 음식에 해당하는 합성 3D 객체를 내놓을 수 있게 한다. 여러 다른 음식이 가능하다. 또한 그 동물에게 조금씩 다가간 후 쓰다듬어 주는 것도 가능하다. 카메라의 여러 다른 운동이 동물이 다르게 반응토록 한다. 그 동물은 질문을 할 수 있고 그러면 사용자는 예 또는 아니오(아니오는 상하, 예는 좌우)로 대답할 수 있고 그 대답은 기록된다. 시나리오가 논의를 더욱 지적으로 만들기 위해 생성될 수 있다.
또 다른 유형의 애플리케이션은 동적이거나 동적이지 않은 가상 객체 또는 비디오 스트림이 실시간으로 추가된 시청각 표현에 관한 것이다. 그러한 애플리케이션은 특히 "브로드캐스트" 또는 "스탠드 업 캐비닛" 분야에서 사용된다. 본 발명에 따르면, 진행자가 프리젠테이션 중에 자유롭게 도표의 위치와 방향을 조정하고, 그 도표상에 비디오 스트림 또는 가상 정보를 디스플레이할 수 있게 한다. 그 도표는 바람직하게는 제2차 비디오 스트림을, 예를 들어 크로마키 기술에 따라 삽입해야 하는 위치에 해당하는 하나 또는 다수의 단일 색상 구역을 포함한다. 가상 객체는 도표의 현재 포즈에 대하여 삽입된다. 그 도표의 추적을 용이하게 하기 위하여, 그 도표는 또한 외부 또는 중심에 텍스쳐 구역을 포함할 수 있다. 진행자는 따라서 특히 그 도표로부터 하나의 르포를 제공할 수 있다: 세트 뒤의 기술자가 그 도표 내에 비디오 스트림의 디스플레이를 작동시킨 후 진행자가 그 도표를 카메라 쪽으로 접근시키며 주제를 개시할 수 있다. 비디오 스트림의 디스플레이 창이 그 후 도표로부터 나오고 현재 비디오 스트림을 대체하게 된다. 그 애플리케이션의 중요한 양상은 진행자가 그의 손을 도표 위로 가져올 수 있고 비디오 스트림을 부분적으로 가리는 것이 가능하다는 데 있다. 따라서 진행자는 그 도표상에 표현된 비디오 스트림의 한 엘리먼트를 포인팅할 수 있다. 그 시스템의 견고함을 더 개선하고 특히 도표를 추적하는 애플리케이션에 일반적으로 존재하는 진동을 피하기 위하여, 여기서는 제2차 비디오 스트림 이미지의 규모가 커버해야 할 하나 또는 다수의 단일 색상 구역의 규모보다 더 크다. 따라서 도표상에 나타난 제2차 비디오 스트림의 가벼운 시프트가 단일 색상 구역이 나타나지 않게 한다.
가상 박물관 또는 건축물 방문 등과 같은 다른 응용들 또한 용이하게 채택될 수 있다.
상기 명시한 실시예들은 한 대의 카메라를 사용하는 것에 기반하였으나, 복수의 카메라를 동시에 사용하는 것이 가능하고, 따라서 이는 예를 들어 동일한 실제 환경에 있는 복수의 사용자가 협력할 수 있게 한다. 따라서 여러 다른 카메라들에 대하여 동일한, 카메라들 중 하나의 기준 프레임 또는 추적되는 객체의 기준 프레임 등과 같은 공동 기준 프레임 내에 위치할 필요가 있고, 각 카메라에 관련된 기준 프레임에 따라 각 카메라에서 나온 이미지 내에 투영하는 것이 필요하다.
사용자에 관한 위치 및 방향을 검색할 수 있게 하는 변환을 결정할 필요가 있다. 하기 관계식은 카메라(n)의 기준 프레임에서 표현된 점의 좌표를 카메라(1)의 기준 프레임에서 표현된 좌표로 변환할 수 있게 한다:
PR1 = Tf → c1.Tcn →f.PRn
여기서 PR1은 카메라(1)의 기준 프레임 내의 점 (P)의 좌표를 표시하고, PRn은 카메라(n)의 기준 프레임 내의 점 (P)의 좌표를 표시하고, Ti→j는 기준 프레임 i 에서 기준 프레임 j로 갈 수 있게 하는 아핀 변환이다. 상기 변환은 그러면 하기 단순화된 식으로 표시될 수 있다.
PR1 = Tcn → c1.PRn
그러면 PRn 점의 좌표를 구하기 위하여 카메라(매트릭스 P1) 파라미터의 함수로 투영을 실행하기만 하면 되고, 그것으로 하기 관계식이 도출된다.
PRc = P1 .Tm →c.PRn
복수의 카메라를 사용하면 예를 들어 사용자들이 동시에 이동하면서 동일한 객체를 추적할 수 있는 가능성을 제공하는 애플리케이션을 실행할 수 있다. 그러한 애플리케이션의 실시예는 게임, 예를 들어 자동차, 비행기 또는 오토바이 레이싱 게임에 관한 것이다. 레이싱 게임을 위하여 사용된 명령의 원칙은 "뷰파인더" 유형의 제1 이동 모드, 또는 사용자가 보는 가상 객체의 이동을 제어할 수 있는 제3 모드에 해당한다. 그것은 동일한 실제 환경에 위치한 복수의 게이머들이 실제 장면 내에서 추적되는 객체에 대하여 3차원으로 위치한 원형상에서 서로 대항할 수 있게 한다. 각 사용자들이 엔진을 제어하고 상호협력하는 모드는 애플리케이션의 중심에서 서로 다른 엔진들이 상호 작용할 수 있게 한다. 그러한 특성은 보드 게임 또는 소사이어티 게임에도 사용될 수 있다. 다운로드 받아 프린트된 보드로부터 모든 종류의 상호협력적인 애플리케이션을 고려할 수 있다. 보드와 말을 사용하는 소사이어티 게임도 그렇게 3차원 가상 객체에 의해 시뮬레이션될 수 있다. 그러면 키보드 터치로 게임 컨피겨레이션 상에서 행동하고 상대 게이머를 직접 대항할 수 있게 한다. 마찬가지로, 스포츠 게임, 예를 들어 테니스 유형의 게임도 채택될 수 있다. 그러한 유형의 애플리케이션을 위하여, 사용되는 이동 모드는 바람직하게는 사용자가 보이는 가상 객체의 이동을 제어할 수 있게 하는 제3 모드이다. 카메라의 조준 축의 방향은 따라서 게임 속의 인물의 방향을 제공한다. 키보드 터치는 유리하게는 공이 게이머에 근접하게 되었을 때 공을 "타격"할 수 있게 한다. 기준 위치는, 시야 축 상에서 카메라를 병진 운동시켜서 단순한 전후 이동을 실행할 수 있게 한다. 측면 이동을 위하여는 사용자의 측면 운동이 고려된다.
당연히, 특별한 요구를 만족시키기 위하여, 본 발명이 속한 분야의 당업자는 상기 명시세에서 변형을 가할 수 있을 것이다.

Claims (21)

  1. 증강 현실 애플리케이션에서, 적어도 하나의 비디오 스트림의 적어도 두 개의 연속하는 이미지들로 실제 장면에서는 평면인 적어도 하나의 기하학적 객체를 실시간으로 추적하기 위한 방법으로서 - 상기 방법의 초기설정은 자동적이며, 상기 자동 초기설정은 어떠한 마커(marker) 없이 수행됨 -,
    상기 적어도 하나의 비디오 스트림으로부터의 제1 이미지를 수신하는 단계(300) - 상기 제1 이미지는 적어도 하나의 추적 대상의 객체를 포함함 -;
    사전 결정된 복수의 이미지 블록을 기반으로 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향(orientation)을 산정하는 단계(320) - 상기 복수의 이미지 블록의 각각의 이미지 블록은 상기 적어도 하나의 추적 대상의 객체의 포즈(pose)와 연관됨 -;
    상기 제1 이미지 및 상기 제1 이미지 내에서의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 포함하는 키 이미지를 생성하는 단계;
    상기 적어도 하나의 비디오 스트림으로부터의 제2 이미지를 수신하는 단계(330) - 상기 제2 이미지는 상기 적어도 하나의 추적 대상의 객체를 포함함 -; 및
    상기 키 이미지를 기반으로 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정(evaluation)하는 단계(330)
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 추적 대상의 객체의 적어도 하나의 텍스쳐 이미지(textured image)를 기반으로 상기 복수의 이미지 블록 및 상기 연관된 포즈들을 결정하는 예비 단계를 더 포함하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 제1 이미지를 수신하는 단계, 수신된 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하는 단계, 상기 제2 이미지를 수신하는 단계, 및 수신된 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하는 단계는 상기 제2 이미지 이후의 상기 적어도 하나의 비디오 스트림의 이미지들에 대하여 반복되는 방법.
  4. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 추적 대상의 객체의 위치와 방향이 수신된 이미지 내에서 상기 키 이미지를 기반으로 산정될 수 없을 때, 상기 수신된 이미지 내에서의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향은 상기 복수의 이미지 블록을 기반으로 산정되는(320) 방법.
  5. 제1항 또는 제2항에 있어서, 상기 키 이미지의 값들은 수신된 이미지 및 상기 수신된 이미지 내에서의 상기 추적 대상의 객체의 산정된 위치와 방향에 의해서 대체되는 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 비디오 스트림을 획득한 이미지 센서의 포즈를 산정하는 단계를 더 포함하고, 상기 적어도 하나의 비디오 스트림은 상기 적어도 하나의 추적 대상의 객체의 산정된 위치를 기반으로 상기 실제 장면과 관련된 기준 프레임으로 획득되는 방법.
  7. 제6항에 있어서, 상기 이미지 센서의 이동(movement)을 결정하는 단계를 더 포함하는 방법.
  8. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 추적 대상의 객체는 크로마키 기술(chromakey technology)을 이용하도록 구성된 균일한 색상 영역을 포함하는 방법.
  9. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 추적 대상의 객체는 상기 적어도 하나의 비디오 스트림 내에서, 그리고 적어도 하나의 다른 비디오 스트림 내에서 동시에 추적되고, 상기 적어도 하나의 비디오 스트림 및 상기 적어도 하나의 다른 비디오 스트림은 적어도 두 개의 다른 이미지 센서들에서 나온 것이고,
    상기 방법은 상기 적어도 두 개의 이미지 센서들에 대한 상대적 위치를 추정하는 단계를 더 포함하는 방법.
  10. 제1항 또는 제2항에 있어서, 상기 수신된 제1 이미지와 제2 이미지 내에서의 상기 적어도 하나의 추적 대상의 객체의 산정된 위치와 방향에 따라 상기 수신된 제1 이미지와 제2 이미지 중 적어도 하나의 이미지에 적어도 하나의 엘리먼트(element)를 삽입하는 단계를 더 포함하고, 상기 적어도 하나의 엘리먼트는 적어도 하나의 가상객체의 적어도 하나의 표현 및 적어도 하나의 제2 비디오 스트림을 포함하는 목록에서 선택되는 방법.
  11. 제1항 또는 제2항에 있어서, 가상 객체나 인물의 이동, 또는 애플리케이션들, 하나 이상의 프로그램의 소프트웨어 코드 부분들, 명령어들의 실행을 제어하기 위한 적어도 하나의 제어 명령을 결정하는 단계를 더 포함하고, 상기 적어도 하나의 제어 명령은 상기 추적 대상의 객체의 포즈 변화에 따라 결정되는 방법.
  12. 제1항 또는 제2항에 있어서, 상기 추적 대상의 객체의 포즈 변화를 나타내기 위한 적어도 하나의 지시를 상기 증강 현실 애플리케이션으로부터 이동 장치 또는 서버로 전송하는 단계를 더 포함하는 방법.
  13. 제1항 또는 제2항에 있어서, 상기 제1 이미지 및 상기 제2 이미지를 획득하는 단계 및 상기 제1 이미지 및 상기 제2 이미지를 적어도 부분적으로 디스플레이하는 단계를 더 포함하고, 상기 획득하는 단계 및 상기 디스플레이하는 단계는 다른 단계들을 실행하는 장치와는 별도의 장치에서 실행되는 방법.
  14. 컴퓨터에 의해 실행될 때, 제1항 또는 제2항에 따른 방법의 각각의 단계를 실행하도록 적용된 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능 기록 매체.
  15. 증강 현실 애플리케이션에서, 적어도 하나의 비디오 스트림의 적어도 두 개의 연속하는 이미지들로 실제 장면에서는 평면인 적어도 하나의 기하학적 객체를 실시간으로 추적하기 위한 장치로서 - 상기 추적의 초기설정은 자동적이며, 상기 자동 초기설정은 어떠한 마커 없이 수행됨 -,
    상기 적어도 하나의 비디오 스트림으로부터의 제1 이미지를 수신하기 위한 수단 - 상기 제1 이미지는 적어도 하나의 추적 대상의 객체를 포함함 -;
    상기 제1 이미지를 제1 저장수단 내에 저장하기 위한 수단;
    제2 저장수단 내에 사전 저장된 복수의 이미지 블록을 기반으로 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치 및 방향을 산정하기 위한 수단 - 상기 복수의 이미지 블록의 각각의 이미지 블록은 상기 적어도 하나의 추적 대상의 객체의 포즈와 연관되고, 상기 포즈는 상기 제2 저장수단에 저장되고, 상기 제1 이미지 내의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향은 상기 제1 저장수단에 저장됨 -;
    상기 적어도 하나의 비디오 스트림으로부터 제2 이미지를 수신하기 위한 수단 - 상기 제2 이미지는 상기 적어도 하나의 추적 대상의 객체를 포함함 -; 및
    상기 제1 저장수단 내에 저장된 데이터를 기반으로 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하기 위한 수단
    을 포함하는 장치.
  16. 제15항에 있어서, 상기 제1 저장수단 내에 저장된 데이터를 기반으로 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향이 산정될 수 있는지를 결정하기 위한 수단을 더 포함하고, 상기 제2 저장수단 내에 저장된 데이터를 기반으로 상기 제1 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하기 위한 수단은 상기 제2 저장수단 내에 저장된 데이터를 기반으로 상기 제2 이미지 내에서 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 산정하도록 구성되어 있는 장치.
  17. 제15항 또는 제16항에 있어서, 상기 제1 저장수단 내에 상기 제2 이미지 및 상기 제2 이미지 내에서의 상기 적어도 하나의 추적 대상의 객체의 위치와 방향을 저장하기 위한 수단을 더 포함하는 장치.
  18. 제15항 또는 제16항에 있어서, 상기 적어도 하나의 추적 대상의 객체의 포즈 또는 이미지 센서의 포즈를 결정하도록 구성된 변환 수단을 더 포함하고, 상기 이미지 센서로부터의 상기 적어도 하나의 비디오 스트림은 상기 실제 장면에, 또는 상기 적어도 하나의 추적 대상의 객체에, 또는 상기 이미지 센서에 관련된 기준 프레임들 중 하나의 기준 프레임에서 획득되는 장치.
  19. 제15항 또는 제16항에 있어서, 상기 수신된 제1 이미지와 제2 이미지 내에서의 상기 적어도 하나의 추적 대상의 객체의 산정된 위치와 방향에 따라 상기 수신된 제1 이미지와 제2 이미지 중 적어도 하나의 이미지에 적어도 하나의 엘리먼트를 삽입하기 위한 수단을 더 포함하고, 상기 적어도 하나의 엘리먼트는 적어도 하나의 가상객체의 적어도 하나의 표현 및 적어도 하나의 제2 비디오 스트림을 포함하는 목록에서 선택되는 장치.
  20. 제15항 또는 제16항에 있어서, 적어도 하나의 휴대전화로부터 상기 제1 이미지 및 상기 제2 이미지를 수신하기 위한 수단을 더 포함하는 장치.
  21. 제6항에 있어서, 가상 객체나 인물의 이동, 또는 애플리케이션들, 하나 이상의 프로그램의 소프트웨어 코드 부분들, 명령어들의 실행을 제어하기 위한 적어도 하나의 제어 명령을 결정하는 단계를 더 포함하고, 상기 적어도 하나의 제어 명령은 상기 추적 대상의 객체의 포즈 변화에 따라 결정되는 방법.
KR1020097017554A 2007-01-22 2008-01-18 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치 KR101328759B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0752809A FR2911707B1 (fr) 2007-01-22 2007-01-22 Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
FR0752809 2007-01-22
PCT/FR2008/000068 WO2008107553A2 (fr) 2007-01-22 2008-01-18 Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video

Publications (2)

Publication Number Publication Date
KR20090110357A KR20090110357A (ko) 2009-10-21
KR101328759B1 true KR101328759B1 (ko) 2013-11-13

Family

ID=38512514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017554A KR101328759B1 (ko) 2007-01-22 2008-01-18 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치

Country Status (6)

Country Link
US (6) US8315432B2 (ko)
EP (2) EP4254333A3 (ko)
JP (1) JP5137970B2 (ko)
KR (1) KR101328759B1 (ko)
FR (1) FR2911707B1 (ko)
WO (1) WO2008107553A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021086018A1 (ko) * 2019-10-28 2021-05-06 네이버랩스 주식회사 3차원 증강현실 표시 방법

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
EP2764899A3 (en) * 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
JP5388932B2 (ja) * 2009-04-30 2014-01-15 キヤノン株式会社 情報処理装置およびその制御方法
FR2946446B1 (fr) 2009-06-08 2011-07-15 Total Immersion Procede et dispositif de suivi d'objets en temps reel dans une sequence d'images en presence de flou optique
FR2946439A1 (fr) 2009-06-08 2010-12-10 Total Immersion Procedes et dispositifs d'identification d'objets reels, de suivi de la representation de ces objets et de realite augmentee, dans une sequence d'images, en mode client-serveur
FR2946444B1 (fr) 2009-06-08 2012-03-30 Total Immersion Procede et dispositif de calibration d'un capteur d'images utilisant un systeme temps reel de suivi d'objets dans une sequence d'images
JP5757681B2 (ja) 2009-08-12 2015-07-29 富士フイルム株式会社 セルロース誘導体、樹脂組成物、成形体及びその製造方法並びに電気電子機器用筐体
JP5470032B2 (ja) 2009-08-12 2014-04-16 富士フイルム株式会社 セルロース誘導体、熱成形材料、成形体及びその製造方法並びに電気電子機器用筐体
ITTV20090191A1 (it) * 2009-09-30 2011-04-01 Fab Spa Procedimento per associare contenuti informativi audio/video ad un supporto fisico
FR2951565B1 (fr) * 2009-10-20 2016-01-01 Total Immersion Procede, programme d'ordinateur et dispositif de suivi hybride de representations d'objets, en temps reel, dans une sequence d'images
KR101487944B1 (ko) 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
WO2012040099A1 (en) 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US9041743B2 (en) * 2010-11-24 2015-05-26 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US9070219B2 (en) 2010-11-24 2015-06-30 Aria Glassworks, Inc. System and method for presenting virtual and augmented reality scenes to a user
KR101350033B1 (ko) * 2010-12-13 2014-01-14 주식회사 팬택 증강 현실 제공 단말기 및 방법
WO2012094605A1 (en) * 2011-01-06 2012-07-12 Cypher Entertainment Augmented reality system
US9652046B2 (en) 2011-01-06 2017-05-16 David ELMEKIES Augmented reality system
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
US10133950B2 (en) * 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US8457355B2 (en) 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
JP2015501984A (ja) 2011-11-21 2015-01-19 ナント ホールディングス アイピー，エルエルシー 加入請求書サービス、システムおよび方法
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9299160B2 (en) 2012-06-25 2016-03-29 Adobe Systems Incorporated Camera tracker target user interface for plane detection and object creation
US10013623B2 (en) * 2012-06-29 2018-07-03 Blackberry Limited System and method for determining the position of an object displaying media content
US20140015931A1 (en) * 2012-07-12 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for processing virtual world
JP6192264B2 (ja) * 2012-07-18 2017-09-06 株式会社バンダイ 携帯端末装置、端末プログラム、拡張現実感システム、および衣類
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
CN103065328B (zh) * 2012-12-29 2015-08-26 四川虹微技术有限公司 一种基于红外光斑跟踪的跟踪点频率提升方法
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
KR20140108047A (ko) 2013-02-28 2014-09-05 삼성전자주식회사 물체 추적 방법, 물체의 표시 상태 판단 방법 및 물체 추적이 가능한 제어 장치
US9025823B2 (en) 2013-03-12 2015-05-05 Qualcomm Incorporated Tracking texture rich objects using rank order filtering
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
WO2014193342A1 (en) * 2013-05-28 2014-12-04 Hewlett-Packard Development Company, L.P. Mobile augmented reality for managing enclosed areas
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
JP6192107B2 (ja) * 2013-12-10 2017-09-06 Kddi株式会社 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム
JP6156930B2 (ja) * 2013-12-10 2017-07-05 Kddi株式会社 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末、及びプログラム
JP6244954B2 (ja) * 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US9677840B2 (en) 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
CN106575450B (zh) 2014-05-13 2019-07-26 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9646421B2 (en) 2015-04-14 2017-05-09 International Business Machines Corporation Synchronizing an augmented reality video stream with a displayed video stream
US10198819B2 (en) * 2015-11-30 2019-02-05 Snap Inc. Image segmentation and modification of a video stream
CN105427333B (zh) * 2015-12-22 2019-06-11 厦门美图之家科技有限公司 视频序列图像的实时配准方法、系统及拍摄终端
US10471304B2 (en) 2016-03-08 2019-11-12 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
US10074205B2 (en) * 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
FR3057950B1 (fr) * 2016-10-24 2018-10-19 Nexter Systems Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
EP3532859A1 (en) 2016-10-31 2019-09-04 Vizar Technologies Sàrl A method and apparatus for detection of light-modulated signals in a video stream
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
US10832055B2 (en) 2018-01-31 2020-11-10 Sportsmedia Technology Corporation Systems and methods for providing video presentation and video analytics for live sporting events
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
WO2020107021A1 (en) * 2018-11-23 2020-05-28 Geenee Gmbh Systems and methods for augmented reality using web browsers
EP3891700A1 (en) * 2018-12-05 2021-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Object location determination in frames of a video stream
KR102232408B1 (ko) 2019-01-29 2021-03-26 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
JP7313862B2 (ja) * 2019-03-29 2023-07-25 キヤノン株式会社 情報処理装置、方法、及びプログラム
KR102354918B1 (ko) * 2019-09-05 2022-01-21 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체
CN111372013A (zh) * 2020-03-16 2020-07-03 广州秋田信息科技有限公司 视频快速合成方法、装置、计算机设备以及存储介质
US12056824B2 (en) * 2020-12-23 2024-08-06 Meta Platforms Technologies, Llc Simulated control for 3-dimensional human poses in virtual reality environments
US12039690B2 (en) * 2021-06-29 2024-07-16 Microsoft Technology Licensing, Llc Image rotation for stream of input images
CN114639214B (zh) * 2022-05-23 2022-08-12 安徽送变电工程有限公司 用于电力吊装作业中的安全距离智能预警系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて３次元シーンにおける表面の追跡

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635347T2 (de) * 1995-07-10 2006-07-13 Sarnoff Corp. Verfahren und system zum wiedergeben und kombinieren von bildern
JPH0991453A (ja) * 1995-09-21 1997-04-04 Sanyo Electric Co Ltd 画像処理方法およびその装置
KR100327120B1 (ko) 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
US6574353B1 (en) * 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
JP4373840B2 (ja) * 2004-04-21 2009-11-25 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
JP4568050B2 (ja) * 2004-07-16 2010-10-27 日本放送協会 カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム
KR20060021001A (ko) 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて３次元シーンにおける表面の追跡

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021086018A1 (ko) * 2019-10-28 2021-05-06 네이버랩스 주식회사 3차원 증강현실 표시 방법
KR20210050321A (ko) * 2019-10-28 2021-05-07 네이버랩스 주식회사 3차원 증강현실 표시 방법
KR102314782B1 (ko) * 2019-10-28 2021-10-19 네이버랩스 주식회사 3차원 증강현실 표시 방법
US11978232B2 (en) 2019-10-28 2024-05-07 Naver Labs Corporation Method for displaying three-dimensional augmented reality

Also Published As

Publication number Publication date
WO2008107553A2 (fr) 2008-09-12
US20130004022A1 (en) 2013-01-03
US8824736B2 (en) 2014-09-02
FR2911707B1 (fr) 2009-07-10
US20130076790A1 (en) 2013-03-28
US20100220891A1 (en) 2010-09-02
US20120327249A1 (en) 2012-12-27
JP2010517129A (ja) 2010-05-20
US8315432B2 (en) 2012-11-20
EP4254333A2 (fr) 2023-10-04
US20130121531A1 (en) 2013-05-16
WO2008107553A3 (fr) 2009-05-22
JP5137970B2 (ja) 2013-02-06
EP4254333A3 (fr) 2023-12-06
US8374394B2 (en) 2013-02-12
KR20090110357A (ko) 2009-10-21
US20120328158A1 (en) 2012-12-27
FR2911707A1 (fr) 2008-07-25
US8374396B2 (en) 2013-02-12
US8805016B2 (en) 2014-08-12
US8374395B2 (en) 2013-02-12
EP2132710A2 (fr) 2009-12-16
EP2132710B1 (fr) 2023-01-04

Similar Documents

Publication Publication Date Title
KR101328759B1 (ko) 비디오 스트림 내에서 마커 없는 텍스쳐 기하학적 평면 객체를 실시간으로 자동 추적하는 증강 현실 방법 및 장치
CN111540055B (zh) 三维模型驱动方法、装置、电子设备及存储介质
CN105279795B (zh) 基于3d标记的增强现实系统
US8241125B2 (en) Apparatus and method of interaction with a data processor
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
RU2161871C2 (ru) Способ и система для создания видеопрограмм
US20180374383A1 (en) Coaching feedback system and method
US8866898B2 (en) Living room movie creation
KR20090114471A (ko) 이미지 내에서 3차원 오브젝트의 포즈를 결정하는 방법 및 장치와 오브젝트 트래킹을 위해 적어도 하나의 키 이미지를 생성하는 방법 및 장치
WO2010038693A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN113822970A (zh) 直播控制方法、装置、存储介质与电子设备
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
KR20050082559A (ko) 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체
CN116912463A (zh) 3d虚拟形象处理方法、装置、电子设备和可读存储介质
US11527032B1 (en) Systems and methods to generate and utilize content styles for animation
US20240078767A1 (en) Information processing apparatus and information processing method
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
CN117504296A (zh) 动作生成方法、动作显示方法、装置、设备、介质及产品
CN118118643A (zh) 一种视频数据处理方法及相关装置
GB2621868A (en) An image processing method, device and computer program

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 7