KR20090100436A - 이미지로 표현되는 현실장면으로부터의 데이터를 이용하여 이미지 스트림에 가상개체를 실시간 삽입하기 위한 방법 및 장치 - Google Patents

이미지로 표현되는 현실장면으로부터의 데이터를 이용하여 이미지 스트림에 가상개체를 실시간 삽입하기 위한 방법 및 장치

Info

Publication number
KR20090100436A
KR20090100436A KR1020097016349A KR20097016349A KR20090100436A KR 20090100436 A KR20090100436 A KR 20090100436A KR 1020097016349 A KR1020097016349 A KR 1020097016349A KR 20097016349 A KR20097016349 A KR 20097016349A KR 20090100436 A KR20090100436 A KR 20090100436A
Authority
KR
South Korea
Prior art keywords
image
sensor
received
orientation
reality scene
Prior art date
Application number
KR1020097016349A
Other languages
English (en)
Other versions
KR101320134B1 (ko
Inventor
발랑땡 르페브르
니꼴라 리베
알랑 싸바리
Original Assignee
또딸 이메르지옹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 또딸 이메르지옹 filed Critical 또딸 이메르지옹
Publication of KR20090100436A publication Critical patent/KR20090100436A/ko
Application granted granted Critical
Publication of KR101320134B1 publication Critical patent/KR101320134B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 현실장면(120)을 표현하는 이미지 스트림의 적어도 하나의 이미지, 소위 제1 이미지에, 적어도 하나의 가상개체의 적어도 하나의 3차원 표현으로부터 추출된 적어도 하나의 이미지, 소위 제2 이미지를 삽입하는 방법 및 장치에 관한 것이다. 상기 이미지 스트림(210)의 적어도 하나의 상기 제1 이미지를 획득한 후, 상기 현실 장면으로부터의 위치 데이터로부터 상기 현실 장면 내에서의 상기 적어도 하나의 가상개체의 방위 및 위치를 결정하는 정보를 수신하고(210, 214), 그 데이터의 적어도 일부는 상기 현실장면 내의 적어도 하나의 센서(135', 135")로부터 수신되는 반면, 다른 데이터는 제1 이미지의 분석에 의해 결정될 수 있다. 상기 적어도 하나의 제2 이미지는 상기 적어도 하나의 가상 개체의 상기 방위에 따라 상기 적어도 하나의 가상 개체의 상기 3차원 표현으로부터 추출된다. 그런 다음, 상기 적어도 하나의 추출된 제2 이미지가 상기 적어도 하나의 개체(610)의 상기 위치에 따라 상기 적어도 하나의 제1의 획득된 이미지에 삽입된다.

Description

이미지로 표현되는 현실장면으로부터의 데이터를 이용하여 이미지 스트림에 가상개체를 실시간 삽입하기 위한 방법 및 장치{METHOD AND DEVICE FOR THE REAL TIME IMBEDDING OF VIRTUAL OBJECTS IN AN IMAGE STREAM USING DATA FROM A REAL SCENE REPRESENTED BY SAID IMAGES}
본 발명은 현실 이미지와 가상 이미지의 결합, 일명 증대된 사실성에 관한 것으로서, 더욱 특별하게는 하나의 현실장면의 표현 내에 그 장면에서 나온 위치 및 방위 정보로부터 가상개체를 실시간으로 삽입하기 위한 방법 및 장치에 관한 것이다.
하나의 카메라 및 시각화 모니터를 사용하는 거울 효과는 다수의 응용에서, 특히 비디오 게임 분야에서 사용된다. 그 기술의 원칙은 하나의 컴퓨터 또는 단말기에 연결된 웹캠 유형의 카메라에서 나온 이미지를 수신하는 것으로 구성된다. 그 이미지는 바람직하게는 카메라가 연결된 시스템의 메모리에 저장된다. 그 후, 블로브 트랙킹(blobs tracking)이라 칭하기도 하는 개체 추적용 알고리즘이 실시간으로 사용자의 머리 또는 손과 같은 어떤 요소의 윤곽을 계산하기 위해 사용된다. 이미지 내의 그 형태의 위치는 게시된 이미지의 어떤 부분을 변형하거나 왜곡할 수 있게 한다. 그 솔루션은 하나의 이미지 구역을 2개의 자유도에 따라 위치 설정할 수 있게 한다.
하나의 가상개체가 하나의 현실장면을 표현하는 이미지 내에 삽입되어야 하는 위치 및 방위를 결정하기 위하여, 하나의 솔루션은 가상개체의 위치 및 방위를 현실장면 내에서 표시하는 것으로 구성된다. 하나의 구가 그러한 목적을 위하여 사용될 수 있다. 그 구의 크기는 2차원 표현 내에서의 그 구의 위치와 표면상의 직경에 따라 3차원 공간 내의 그 위치를 계산할 수 있게 하기에 충분하여야 한다. 그 구의 방위는 그 구의 표면상에 채색된 원반을 부착하여 측정될 수 있다. 그 솔루션은 구의 크기가 충분히 크고 이미지 켑쳐 시스템의 품질이 충분히 양호할 때, 사용자의 움직임 가능성, 특히 신속한 이동을 제한하여 효과적이다.
그 솔루션들은 그러나 다수의 응용에서 요구되는 성능을 제공하지 않으며, 수용 가능한 가격을 유지하면서 그러한 시스템의 성능을 개선할 필요성이 존재한다.
도 1은 본 발명에 따른 제1 장치를 도시하는 개략도.
도 2는 본 발명의 적어도 일부분을 실행할 수 있게 하는 장치의 실시예를 도시하는 도면.
도 3은 6 자유도의 센서가 사용된 제1 실시예에 따른 본 발명의 장치의 실시예를 개략적으로 도시하는 도면.
도 4는 6 자유도의 센서 및 "게이트" 유형의 컨택터를 포함하는 도 3에 도시된 조이스틱의 실시예를 도시하는 도면.
도 5a 및 5b를 포함하는 도 5는 도 3 및 도 4에 도시된 장치를 실행하는 실시예를 도시하는 도면.
도 6은 제2 실시예에 따른 본 발명의 장치를 개략적으로 도시하는 도면.
도 7의 (a), 도 7의 (b), 도 7의 (c)를 포함하는 도 7은 사용된 조이스틱의 실시예를 도시하는 도면. 도 7의 (a)는 조이스틱 전체의 형상을 도시하고, 도 7의 (b) 및 도 7의 (c)는 그 조이스틱의 전기적 개략도의 예를 표현하는 도면.
도 8은 한 현실장면의 표현 내에서 한 기하학적 구성요소의 3차원 위치를 결정하기 위해 사용되는 알고리즘의 어떤 단계를 도시하는 도면.
도 9는 이미지 변환 시에 휘도에 따른 포화를 균형 잡기 위하여 사용된 웨이트(weight) 계수 α의 변화를 도시하는 도면.
도 10은 하나의 구와 카메라 사이의 거리를 그 카메라에서 나온 이미지로부터 결정하기 위하여 사용된 원리를 도시하는 도면.
본 발명은 상기한 문제들 중 적어도 하나를 해결할 수 있게 한다.
본 발명은 따라서 하나의 현실장면을 표현하는 이미지 스트림의 적어도 하나의 이미지 내에, 일명 제1 이미지 내에, 적어도 하나의 가상개체의 적어도 하나의 3차원 표현에서 추출된 적어도 하나의 이미지, 일명 제2 이미지를 실시간으로 삽입하기 위한 방법을 목적으로 하고, 그 방법은 이하 명시된 단계를 포함하는 것을 특징으로 한다.
- 상기 이미지 스트림으로부터 적어도 하나의 상기 제1 이미지를 수신함:
- 상기 현실장면으로부터의 위치 및 방위 데이터로부터 상기 현실장면 내에 적어도 하나의 가상개체의 위치 및 방위를 결정하기 위한 정보를 수신함. 상기 데이터의 적어도 일부분은, 적어도 하나의 상기 현실장면 내에 존재하는 적어도 하나의 센서로부터 수신됨.
- 적어도 하나의 상기 가상 개체의 상기 위치 및 방위에 따라 적어도 하나의 상기 가상 개체의 상기 3차원 표현의 적어도 하나의 상기 제2 이미지를 추출함; 및
- 적어도 하나의 상기 추출된 제2 이미지를 적어도 하나의 상기 개체의 상기 위치에 따라 적어도 하나의 상기 수신된 제1 이미지 내에 삽임 함.
따라서 본 발명에 따른 방법은 하나 또는 다수의 가상개체가 삽입되어야 하는 위치 및 하나 또는 다수의 그 가상개체가 표현되어야 하는 방위를 실시간으로 정확히 결정할 수 있게 한다. 가상 개체들의 위치 및 방위는 6 자유도에 따라 정의된다. 계산의 정확도 및 시간이 사용자의 손짓이 따르는 비디오 게임 등의 현실성이 증가 된 응용을, 사용자가 신속한 움직임을 갖는 경우에서도 허용한다.
한 특별한 실시예에 따르면, 적어도 하나의 상기 방위 데이터는 상기 현실 장면 내에 존재하는 각도 센서로부터 수신된다.
역시 한 특별한 실시예에 따르면, 적어도 하나의 상기 위치 데이터는 상기 현실 장면 내에 존재하는 위치 센서로부터 수신된다.
대안적인, 다른 특별한 실시예에 따르면, 신뢰할 만하고 경제적인 6 자유도의 위치 및 방위 센서를 형성하기 위하여 상기 위치 및 방위 데이터의 일부분은 상기 현실장면 내에 존재하는 하나의 센서로부터 수신되고, 상기 위치 및 방위 데이터의 다른 일부분은 수신된 상기 제1 이미지에서 추출된다.
유리하게는, 적어도 하나의 상기 위치 및 방위 데이터는 상기 센서에 연결된 기하학적 단일 구성요소로부터 수신된 상기 제1 이미지에서 추출되고 그 센서는 하나 또는 다수의 가상개체를 삽입해야 하는 위치를 정확하게 파악할 수 있게 하다.
또한 특별한 실시예에 따르면, 그 방법은 그외에 이하 명시한 단계를 더 포함 한다.
- 상기 수신된 제1 이미지의 분할;
- 상기 분할된 제1 이미지 내에서 적어도 하나의 상기 기하학적 단일 구성요소의 윤곽을 추출함; 및
- 상기 분할된 제1 이미지에서 추출된 상기 윤곽에 따라 상기 기하학적 단일 구성요소의 위치를 결정함.
이러한 단계를 실행함은 이미지 스트림에서 나온 이미지 내에 기하학적 단일 구성요소의 위치 설정을 개선할 수 있게 한다. 유리한 방식으로, 현실장면 내의 상기 단일 구성요소의 위치는 상기 제1 이미지 내의 위치에 의하여, 그리고 상기 제1 이미지 내의 단일 구성요소의 가시적 크기에 의해 결정된다.
특별한 실시예에 따르면, 그 방법은 그외에 상기 가상개체의 상기 위치를 추정하는 단계를 더 포함한다. 추정된 위치와 결정된 위치를 비교하는 것은 하나 또는 다수의 가상개체를 삽입해야 하는 위치의 정확도를 증가시킬 수 있게 한다. 상기 가상개체의 상기 위치를 추정하는 단계는 바람직하게는 로우 패스(low-pass) 필터를 사용한다.
본 발명은 또한 상기 명시한 방법의 각 단계를 실행하도록 적용된 지침을 포함하는 컴퓨터 프로그램을 목적으로 한다.
본 발명은 또한 이동식이거나 아닌, 상기 명시한 각각의 단계들을 실행하기 위한 컴퓨터 프로그램의 코드 인스트럭션을 포함하는 컴퓨터 또는 마이크로프로세서에 의해 부분적으로 또는 전체적으로 판독가능한 정보 저장 수단을 목적으로 한다.
본 발명은 또한 적어도 하나의 비디오 카메라 및 적어도 하나의 시각화 모니터에 연결될 수 있는 증대된 사실성을 위한 장치를 목적으로 하는데, 상기 장치는 상기 명시한 각각의 단계를 적용하는 수단을 포함한다.
본 발명은 또한, 하나의 현실장면을 표현하는 이미지 스트림의 적어도 하나의 이미지, 일명 제1 이미지 내에, 적어도 하나의 가상개체의 적어도 하나의 3차원 표현에서 추출된 이미지, 일명 제2 이미지를 실시간으로 삽입하기 위한 장치를 목적으로 하고, 그 장치는 이하 명시한 수단을 포함하는 것을 특징으로 한다.
- 상기 이미지 스트림의 적어도 하나의 상기 제1 이미지를 수신하고 기억하는 수단;
- 상기 적어도 하나의 가상 매체의 상기 3차원 표현을 기억하기 위한 수단;
- 상기 현실 장면에서 나온 위치 및 방위 데이터로부터 상기 현실 장면 내에서 적어도 하나의 상기 가상 개체의 위치 및 방위를 결정할 수 있게 하는 정보를 수신하기 위한 수단. 상기 데이터의 적어도 일부분은 상기 현실 장면 내에 존재하는 적어도 하나의 센서로 수신됨:
- 적어도 하나의 상기 가상 개체의 상기 위치 및 방위에 따라 적어도 하나의 상기 가상 개체의 상기 3차원 표현의 적어도 하나의 상기 제2 이미지를 추출하기 위한 수단; 및
- 적어도 하나의 상기 개체의 상기 위치에 따라 수신된 적어도 하나의 상기 제1 이미지 내에 추출된 적어도 하나의 상기 제2 이미지를 삽입하는 수단.
따라서 본 발명에 따른 장치는 하나 또는 다수의 가상개체가 삽입되어야 하는 위치 및 그 하나 또는 다수의 가상개체가 표현되어야 하는 방위를 6 자유도에 따라, 증대된 현실성을 위하여 실시간으로 정확히 결정할 수 있게 한다.
특별한 실시예에 따르면, 그 장치는 그외에 신뢰할 만하고 경제적인 센서의 사용을 허용하면서 수신된 상기 제1 이미지의 적어도 하나의 위치 및 방위 데이터를 추출하기 위한 수단을 더 포함한다.
본 발명은 또한 적어도 하나의 가시적인 기하학적 단일 구성요소 및 상기 명시한 장치에 위치 및/또는 방위 정보를 전달하도록 적용된 하나의 센서를 포함하는 장치를 목적으로 한다. 그러한 장치는 신뢰할 만하고 경제적이어서 개인적인 응용을 위하여 사용 가능하다.
본 발명의 다른 장점, 목적 및 특징은, 실시예로서 제한적이지 않게, 첨부 도면을 참조하여 이하 명세서에서 드러난다.
본 발명에 따르면, 가상개체의 위치 및/또는 방위와 관련된 데이터는 한 현실장면의 표현 내에 삽입되어야 하는바, 그 현실장면 내에 위치한 센서의 적어도 일부분에서 나온다.
도 1은 본 발명에 따른 제1 장치(100)를 개략적으로 도시한다. 사용자(105)가 바람직하게는 가구 및 화초 등의 다양한 요소를 갖춘 환경(11)에서 거울의 역할을 갖는 모니터(115) 앞에 위치한다. 모니터(115) 상에 전사된 이미지는 비디오 카메라(125)로 촬영된 현실장면(120)의 변형된 이미지이다. 카메라(125)에서 나온 비디오 스트림은, 카메라(125)에서 나온 비디오 스트림을 변형한 후 모니터(115)로 재전송하는 컴퓨터(130)로 전송된다. 컴퓨터(130)는 특히 하나 또는 다수의, 동영상이거나 아닌 가상개체를 카메라(125)에서 나온 비디오 스트림의 이미지 내에 삽입하는 역할을 한다. 가상개체의 위치 및 방위는 컴퓨터(130)에 연결된 센서(135)에 의해 적어도 부분적으로 현실장면(120) 내에서 결정된다.
제1 실시예에 따르면, 센서(135)는 현실장면(120) 내에서 위치 및 방위 (X, Y, Z, 요, 피치, 롤)를 결정할 수 있게 하는 6 자유도의 센서이다. 예시로서, 그 센서는 폴레뮈스(Polhemus)사의 "Fastrack(등록상표)" 센서일 수 있다. 제2 실시예에 있어서, 그 센서(135)는 방위(요, 피치, 롤)을 결정할 수 있게 하는 3 자유도의 센서일 수 있고, 센서의 위치(X, Y, Z)는 카메라(125)에서 나온 이미지의 시각적 분석에 의해 결정된다.
따라서 그 시스템(100)은 하기 구성요소들로 구성된다.
- 시각화 모니터(예를 들어 LCD 모니터, 플라즈마 모니터 또는 비디오 프로젝션 모니터);
- 3 자유도에 따른 방위를 규정할 수 있는 센서 및 선택적으로 3 자유도에 따라 위치를 규정할 수 있는 센서;
- 바람직하게는 모니터에 가깝게 위치한 비디오 카메라 및 시차 효과를 피하기 위한 모니터 축;
- 하기 기능을 수행하기 위한 컴퓨터(예를 들어 PC 유형의 컴퓨터);
- 카메라로부터의 비디오 시그널{비디오 시그널은 예를 들어 HDMI(High Definition Multimedia Interface) 또는 USB/USB2 (Universal Serial Bus)의 커넥션에 따라 전송되는, 예를 들어 PAL(Phase Alternated Line), NTSC(National Television System Committee), YUV(Luminance Bandwidth-Chrominance), YUV-HD(Luminance Bandwidth-Chrominance High Definition), SDI(Serial Digital Interface) 또는 HD-SDI(High Definition Serial Digital Interface) 형식의 시그널}을 실시간으로 수신;
- 동작 센서 및, 실시예의 유형에 따라 위치 센서에서 나온 데이터 스트림을 실시간으로 수신;
- 컴퓨터의 그래픽 카드 출력{그 출력은 예를 들어 VGA(Video Graphics Array), DVI(Digital Visual Interface), HDMI, SDI, HD-SDI, YUV, YUV-HD일 수 있음}을 통하여 실시간으로 증대된 리얼리티의 이미지를 방출; 및,
- 바람직하게는, "거울" 효과를 복구하기 위해 이미지의 좌측이 우측이 되도록 최종 이미지상에 대칭작용을 가함.
컴퓨터는 예를 들어 하기 명시한 기능들의 도움으로 상호간섭적인 증대된 현실서의 장면을 방출하기 위하여 또딸 이메르지옹(Total Immersion)사의 D'Fusion(또딸 이메르지옹사의 상표) 소프트웨어 등과 같은 증대된 현실성 애플리케이션을 포함한다.
- 동작 데이터 스트림을 실시간으로 수신; 및,
- 카메라에서 나온 비디오 스트림 내에 3차원 합성 개체의 2차원 표현을 실시간으로 첨가하고 시각화 모니터로 변형된 비디오 스트림을 전달.
그 유형의 응용은 WO 2004/012445 특허출원 명세서에 명시되어 있다.
D'Fusion 소프트웨어는 따라서 결정된 위치 및 방위에 따라 합성된 개체를 실시간으로 시각화할 수 있게 한다. 사용자는 또한 비디오 스트림 내에 삽입된 다른 가상개체와 상호작용할 수 있다.
본 발명을 또는 본 발명의 일부를 실행하는 장치가 도 2 상에 도시되어 있다. 장치(200)는 예를 들어 마이크로 컴퓨터, 워크스테이션 또는 게임기이다.
장치(200)는 바람직하게는 통신용 버스(202)를 포함하고, 그 통신용 버스에는
- 중앙 제어장치 또는 마이크로 프로세서(204, CPU; Central Processing Unit);
- 실행 시스템 및 "Prog" 등과 같은 프로그램을 포함할 수 있는 읽기전용 메모리(206, ROM; Read Only Memory);
- 상기한 프로그램을 실행할 때 생성되고 변경되는 변수 및 파라미터를 기록하도록 적용된 기록장치를 포함하는 무순 도달 메모리(208, RAM; Random Access Memory);
- 카메라(212)에 연결된 비디오 수신 카드(통신);
- 센서(도시되지 않은)에 연결된 데이터 수신 카드(214); 및,
- 모니터 및 프로젝터(218)에 연결된 그래픽 카드(216)가 연결되어 있다.
선택적으로, 그 장치(200)는 또한 이하 명시한 구성요소들을 갖출 수 있다.
- 상기한 "Prog" 프로그램 및 본 발명에 따라 처리된 또는 처리될 데이터를 포함할 수 있는 하드디스크(220);
- 키보드(222) 및 마우스(224) 또는 광학적 연필 등과 같은 다른 모든 포인팅 장치, 사용자가 본 발명에 따른 프로그램과 상호작용할 수 있게 하는 헵틱 스크린 또는 리모컨;
- 예를 들어 인터넷 네트워크 등과 같이 분포된 통신 네트워크(228)에 연결되고 데이터를 수신하고 전송하도록 되어있는 통신 인터페이스(226); 및,
- 본 발명에 따라 처리된 또는 처리될 데이터를 읽거나 쓸 수 있게 적용된 메모리 카드 판독기(도시되지 않음).
그 통신용 버스는 그 장치(200) 내에 포함된 또는 연결된 여러 구성요소들 사이에서의 통신 및 상호작동을 허용한다. 그 버스의 표현은 제한적이지 않으며, 특히 중앙제어장치는 직접적으로 또는 그 장치(200)의 다른 구성요소를 매개로 그 장치(200)의 모든 구성요소들에 지시를 소통할 수 있다.
프로그램 가능한 장치가 본 발명에 따른 프로세스를 실행할 수 있게 하는 각각의 프로그램의 실행가능한 코드는 예를 들어 하드디스크(220) 또는 읽기전용메모리(206)에 저장될 수 있다.
변형예에 따르면, 프로그램의 실행가능한 코드는 통신 네트워크(228)를 매개로 인터페이스(226)를 통하여 상기 명시한 바와 동일한 방식으로 저장될 수 있다.
메모리 카드는 예를 들어 콤팩트 디스크(CD-ROM 또는 DVD) 등과 같은 모든 정보 매체로 대체될 수 있다. 일반적 방식으로, 메모리 카드는 컴퓨터 또는 마이크로 프로세서로 판독가능하고, 장치에 내장되었거나 아니거나, 경우에 따라 교체가능하고, 본 발명에 따른 방법을 실행할 수 있게 하는 하나 또는 다수의 프로그램을 메모리 하도록 적용된 정보 저장 수단으로 대체될 수 있다.
더욱 일반적 방식으로, 하나 또는 다수의 그 프로그램은 실행 전 그 장치(200)의 저장 수단 내에 탑재 될 수 있다
중앙제어장치(204)는 본 발명에 따른 하나 또는 다수의 프로그램의 소프트웨어 코드의 인스트럭션 또는 일부분의 실행을 명령하고 가이드 할 것이고, 인스트럭션들은 하드디스크(220) 또는 읽기전용 메모리(206) 또는 상기한 다른 저장 구성요소에 저장된 것이다. 전류를 가했을 때, 예를 들어 하드디스크(220) 또는 읽기전용 메모리(206) 등의 비휘발성 메모리 내에 저장된 하나 또는 다수의 프로그램은 따라서 본 발명에 따른 하나 또는 다수의 프로그램의 실행가능한 코드 및 본 발명을 실행하는데 필요한 변수와 파라미터들을 메모리하기 위한 기록장치를 포함하는 RAM 내에 저장된다.
본 발명에 따른 장치를 포함하는 통신 장치 또한 하나의 프로그램된 장치일 수 있음을 주지해야 한다. 그 장치는 따라서 예를 들어 주문형 반도체(ASIC) 내에 동결된 하나 또는 다수의 전산 프로그램의 코드를 포함한다.
도 3은 6 자유도의 센서가 사용된 상기 명시한 제1 실시예에 따른 본 발명의 장치의 실시예를 도시한다. 본 실시예에 따르면, 하나의 모니터(115)와 하나의 카메라(125)가 컴퓨터(130')에 연결되어 있다. 하나의 조이스틱(300) 또한 박스(305)를 통하여 컴퓨터(130')에 연결되어 있다. 비디오 카메라(125)는 바람직하게는 사용자가 모니터 가까이에 위치할 수 있도록 광각렌즈를 갖춘 비디오 카메라이다. 그 비디오 카메라(125)는 예를 들어 Sony VCLHG0737Y 개체를 갖춘 카메라 Sony HDR HC1 이다.
그 컴퓨터(130')는 비디오 카메라(125)에 연결된 비디오 수신 카드(210), 모니터(115)에 연결된 그래픽 카드(216), 박스(305)를 통하여 조이스틱(300)의 위치 및 방위 감지 센서에 연결된 제1 통신 포트 (214-1)(COM1) 및 바람직하게는 박스(305)를 통하여 조이스틱(300)의 "게이트" 유형의 컨택터에 연결된 제2 통신 포트(214-2) (COM2)를 포함한다. "게이트" 유형의 컨택터에 의하여 게이트 상에 압력을 가함으로써 점괄적 방식으로 해당 전기 회로의 개방 및 폐쇄를 가능하게 하는 온-오프 스위치가 포함되어야 한다. 그러한 컨택터의 사용은 사용자와 컴퓨터(130')의 소프트웨어 간의 상호작용을 증대시킬 수 있게 한다. 그 컨택터(310)는 예를 들어, 게임 소프트웨어 내에서 하나의 사격을 시뮬레이트한다. 비디오 수신 카드는 예를 들어 Decklinck PCle이다. 그래픽 카드는 비디오 스트림 내에 합성 이미지를 삽입할 수 있게 하는 3D 그래픽 카드로서 예를 들어 ATI X1800XL카드 또는 ATI 1900XT카드이다. 도시된 실시예에서는 두 개의 통신 포트(COM1, COM2)를 사용하지만 컴퓨터(130')와 조이스틱(300) 사이에는 다른 통신 인터페이스가 사용될 수 있다고 이해되어야 한다.
그 컴퓨터(130')는 유리하게는 모니터(115)에 내장된 스피커(HP)에 연결된 사운드 카드(320)를 포함한다. 비디오 수신 카드(210) 및 비디오 카메라(125) 사이의 연결은 다음 명시된 스탠더드 중 하나에 따라 구축될 수 있다: 비디오 컴포지트(composit), SVideo, HDMI, YUV, YUV-HD, SDI, HD-SDI 또는 USB/USB2. 마찬가지로 그래픽 카드(216) 및 모니터(115) 사이의 연결은 다음 명시된 스탠더드 중 하나에 따라 구축될 수 있다: 비디오 컴포지트, SVideo, YUV, YUV-HD, SDI, HD-SDI, HDMI, VGA. 통신 포트 (214-1) 및 (214-2), 센서 및 조이스틱(300)의 "게이트" 유형의 컨택터 사이의 연결은 RS-232 유형일 수 있다. 컴퓨터(130')는 예를 들어 3GHz 주파수, 3Gbyte 메모리 램, 120 Gbyte 하드디스크 및 수신 카드 및 그래픽 카드를 위한 PCI express의 2개의 인터페이스를 가진 인텔 펜티엄 IV 프로세서를 갖춘 스탠더드 PC이다.
조이스틱(300)은 바람직하게는 6 자유도의 위치 센서(135'), 예를 들어 폴레뮈스사의 "Fastrack" 센서 및 "게이트" 유형의 컨택터(310)를 포함한다. 조이스틱(300)의 한 실시예는 도 4에 도시되었다.
박스(305)는 조이스틱(300) 및 컴퓨터(130') 사이의 인터페이스를 구성한다. 위치 및 방위 센서에 연계된 박스(305)는 센서로부터의 시그널을 컴퓨터(130')가 실행할 수 있는 데이터로 변환하는 것을 목적으로 한다. 박스(305)는 감지용 모듈(315) 및 유리하게는 센서(135')의 시그널을 박스(305)로 무선 전달할 수 있게 하는 에미터(320)를 포함한다.
도 4는 센서(135') 및 "게이트" 유형의 컨택터(310)를 포함하는 조이스틱(300)의 실시예를 도시한다. 조이스틱(300)은 전형적으로 미국의 Happ사가 시판한 45구경 광학 피스톨 등과 같이 오락실용으로 사용되는 피스톨이다. 피스톨의 총구는 유리하게는 조이스틱을 얻기 위하여 제거되고, 본래의 전자공학소재는 "게이트" 유형의 컨택터(310)만 남기도록 제거되었다. 위치 및 방위 센서(135')는 조이스틱에 삽입된다. 센서의 선 및 게이트의 선들은 조이스틱과 센서의 박스(305) 사이의 연결의 전기 클래딩(cladding) 내에 삽입된다. DB9 유형의 커넥터는 유리하게는 사용자가 게이트를 누를 때 컨택터는 폐쇄되고, 시리어 포트의 핀(8)과 핀(7) 사이가 4.7 KΩ 저항을 통하여 연결되도록 전기 클래딩의 다른 한쪽 끝에 장착된다.
유리하게는, 전기 클래딩은 제거되고 무선 통신 모듈이 조이스틱(300) 내에 삽입된다. 그 변형예에 따르면, 센서(135')에서 나온 데이터는 유선 연결 없이 박스(305)로 전달된다. "게이트" 유형의 컨택터는 따라서 무선 통신 모듈에 동시에 결합되지 않는 한 비활성이다.
도 5a 및 도 5b를 포함하는 도 5는 도 3 및 도 4에 도시된 장치를 실행하는 실시예(데이터가 조이스틱과 동작감지 박스 사이의 연결선을 통하여 전달되는 실시 예에 따른)를 도시한다. 도 5a는 그 장치의 단면을 측면에서 도시하고, 도 5b는 그 장치의 조감도를 도시한다. 그 실시예에 따르면 한 사용자(105)는, 바람직하게는 그 사용자(105)의 정면에 그의 눈높이에 위치한 모니터(115)를 포함하는 장치(500)의 정면에 자리한다. 그 장치(500)는 또한 모니터(125)의 근처에 위치한 비디오 카메라(125), 동작감지 박스(305) 및, 그 비디오 카메라(125), 모니터(115) 및 동작감지 박스(305)가 상기 명시한 바와 같이 연결되어 있는 컴퓨터(130')를 포함한다. 그 실시예에서, 사용자(105)는 연결선으로 동작감지 박스(305)에 연결된 하나의 조이스틱(300')을 구비한다.
특별한 실시예에 따르면, 균일한 색의 바탕, 예를 들어 청색 바탕 또는 녹색 바탕이 사용자의 후방에 배치된다. 그 균일한 바탕은 사용자를 "컷아웃(cut out) 해내기 위하여, 즉 비디오 카메라(115)에서 나온 이미지로부터 사용자를 추출하기 위하여, 그리고 합성 장면 또는 제2 비디오 스트림 내에 그를 삽입하기 위하여 소프트웨어에 의해 사용된다. 하나의 합성 장면 내에 사용자를 삽입하기 위하여, D'Fusion 소프트웨어는 카메라에서 나온 비디오 스트림 상에 처리를 실행하는 픽셀 셰이더(pixel shader)의 작용 덕분으로 실시간으로 크로마 키(chroma key)의 기능 (제1 이미지 내에서 확인된 색상에 따라 제1 이미지 내에 제2 이미지를 삽입)을 실행할 수 있는 능력을 사용한다.
제1 실시예의 참조로서 상기 명시한 장치는 결과 면에서 모든 만족감을 제공하는 반면, 6 자유도의 위치 및 방위 센서는 개인적 사용에 대한 금지를 가할 수 있는 대가를 요구한다. 이러한 단점을 극복하기 위하여, 제2 실시예는 6자유도에 따른 센서의 위치 및 방위를 얻을 수 있도록 하는 이미지 처리 모듈과 함께 저렴한 동작 센서를 사용하는 것을 바탕으로 한다.
도 6은 제2 실시예에 따른 장치를 개략적으로 도시한다. 그 장치는 모니터(115), 비디오 카메라(125) 및 조이스틱(600)에 연결된 하나의 컴퓨터(130")를 포함한다. 그 컴퓨터(130")는 조이스틱(600)의 위치를 결정하도록 적용된 이미지 처리 모듈(605)을 포함한다는 점에서 특별히 상기 컴퓨터(130')와 구별된다. 비디오 렌더링 모듈(610)은 상기 컴퓨터(130') 내에 있는 것과 유사하며, 그 또한 D'Fusion 소프트웨어를 사용한다. 컴퓨터(130') 및 컴퓨터(130")의 특성은 유사하다. D'Fusion 소프트웨어와 동급의 소프트웨어가 비디오 스트림을 가상개체와 결합하기 위하여 (3D 렌더링 모듈, 610), 그리고 이미지 분석에 의하여 조이스틱의 위치정보를 포착하기 위하여 (이미지 처리 모듈, 605) 사용될 수 있다. 비디오 카메라(125)는 상기 명시한 비디오 카메라와 유사할 수 있거나, 하나의 단순 웹캠일 수 있다.
조이스틱(600)은 유리하게는 컴퓨터(130")와 무선으로, 동작 감지 박스 없이 연결될 수 있다. 조이스틱(600)은 3 자유도에 따라 조이스틱(600)의 방위를 결정할 수 있는 방위 센서(135")를 포함한다. 방위 센서(135")는 예를 들어 Xsens사의 각도 센서 MT9B 또는 Intersense사의 각도 센서 Inertia Cube 3의 유선 또는 무선 버젼이다. 센서에서 나온 방위 데이터는 COM 포트 또는 특정 무선 프로토콜에 의해 전달될 수 있다. 바람직하게는 하나 또는 다수의 "게이트" 유형의 컨택터(310)가 조이스틱(600) 내에 존재한다. 조이스틱(600)은 또한 특정한 형태를 가지고, 이미지 상에 조이스틱(600)이 가시화되었을 때 그 조이스틱(600)이 위치를 파악할 수 있는 하나의 기하학적 구성요소를 포함한다. 그 기하학적 형태는 예를 들어 직경이 수 센티미터 정도인 하나의 채색된 구이다. 그러나, 다른 형태, 특히 입방체, 평면 또는 다면체의 형태들이 사용될 수도 있다. 조이스틱(600)은 바람직하게는 노칭(notching)되어 있어서, 각도 센서와 일관되는 위치를 잡을 수 있도록 사용자가 필히 사전 설정된 방향에 따라{그 노치(notch)들을 따라 손가락이 위치하여} 그 조이스틱을 잡게 한다.
도 7의 (a) 도 7의 (b), 및 도 7의 (c)를 포함하는 도 7은 조이스틱(600)의 실시예를 도시한다. 도 7의 (a)는 조이스틱(600) 전체의 형상을 도시하고, 도 7의 (b) 및 도 7의 (c)는 그 조이스틱의 전기적 개략도를 표현한다.
도시한 바와 같이, 조이스틱(600)은 내부에 전지(700), 예를 들어 리튬전지가 들어있고 사용자가 잡도록 되어있는, 손잡이로도 칭하는 하단부, 무선 통신 모듈(705) 및 "게이트" 유형의 컨택터(135")를 포함한다. 각도 센서(135")는 바람직하게는 손잡이의 상단부에 고정된다. 손잡이의 상단부는 유리하게는 그 조이스틱의 위치를 식별하기 위하여 사용되는 기하학적 구성요소의 장착을 허용하는 스레드를 그 둘레에 포함한다. 그 실시예에서, 그 기하학적 구성요소는 손잡이 상단부 상에 스크루 되도록 적용된 개구부를 포함하는 구(615)이다. 접착 또는 케이싱 등, 기하학적 구성요소를 고정하는 다른 수단이 포함될 수 있다. 유리한 방식으로, 전구 또는 LED 등의 광원이, 바람직하게는 투명 또는 반투명한 물질 내에서 구성된 구(615)의 내부에 제공된다. 그 광원 및 조이스틱(600)의 모든 전기적 구성 구성요소 전체는 사용자의 요청에 의해서 또는 예를 들어 그 조이스틱을 정돈하기 위하여, 그리고 유리하게는 전지(700)를 충전하기 위하여 사용되는 받침대(715)에서 그 조이스틱(600)을 탈착하자마자 작동 된다. 그 경우 그 받침대(700)는 전원에 연결된다.
도 7의 (b)는 조이스틱(600)의 전기적 구성요소의 제1 조립을 도시한다. 전지(700)는 방위 센서(135"), "게이트" 유형의 컨택터(310), 유선 전송 모듈(705) 및 광원(710)에 전원 공급을 위하여 연결된다. 유리하게는, 하나의 스위치(720)가 방위 센서(135"), "게이트" 유형의 컨택터(310), 유선 전송 모듈(705) 및 광원(710)에 전류를 차단하거나 공급할 수 있도록 전지(700)의 출구에 제공된다. 스위치(720)는 사용자에 의해 수동으로, 또는 예를 들어 받침대(715)에서 조이스틱(600)이 탈착되었을 때 자동으로 조정된다. 또한 그 스위치가 상기한 구성요소들 중 특정한 것만 조절할 수 있도록 전지(700)의 연결도가 변형될 수도 있다. 또한 예를 들어 광원(710)을 작동하지 않고 조이스틱(600)을 사용할 수 있도록 그 구성요소들을 독립적으로 조정하기 위하여 다수의 스위치를 사용하는 것도 가능하다.
방위 센서(135") 및 "게이트" 유형의 컨택터(310)는 방위 센서(135") 및 컨택터(310)에서 나온 정보를 컴퓨터(130")에 전송하기 위하여 유선 전송 모듈(705)에 연결된다. 그 유선 전송 모듈(705)은 예를 들어 Bluetooth 또는 WiFi 등의 고주파(HF) 모듈이다. 해당되는 무선 통신 모듈은 조이스틱(600)에서 방출되는 신호를 수신하기 위하여 컴퓨터(130")에 연결된다. 그 모듈은 예를 들어 USB/USB2 또는 RS-232 인터페이스의 도움으로 컴퓨터(130")에 접속된다.
다른 예로서, 조이스틱(600")과 컴퓨터(130") 사이에 유선 연결이 사용되면, 조이스틱(600)은 무선 통신 모듈(715)도 전지(700)도 필요치 않고 그 컴퓨터는 조이스틱(600)에 전기를 공급할 수 있다. 그 변형예는 도 7의 (c)에 도시되어 있다. 그 실시예에서, 그 조이스틱(600)에 전기를 공급하고 센서(135") 및 컨택터(310)에서 방출된 신호를 전달하기 위한 선들을 포함하는 케이싱(725)은 그 조이스틱(600)을 컴퓨터(130")에 연결한다.
그 조이스틱(600)은 조이스틱 상에 있는 노치를 사용함으로써 센서의 방위에 대한 손의 상대적 방위에 관한 불확실성을 피할 수 있게 한다. 그 조이스틱의 위치를 결정하기 위하여 사용된 기하학적 구성요소는 사용자의 다수의 동작을 모두 허용하면서 용이하게 가시적이다. 그 기하학적 구성요소는 그 색상 및 형태를 변경할 수 있도록 용이하게 탈착된다. 끝으로 기하학적 구성요소 내부에, 또는 그 표면상에 위치한 광원의 존재는 조명이 열악한 조건 하에서 그 개체들의 추적을 개선할 수 있게 한다.
그 조이스틱의 위치를 결정하기 위하여 그 컴퓨터(130")는 그 조이스틱(600)의 기하학적 구성요소가 그 상부에 존재하는 비디오 카메라 또는 웹캠(125)에서 나온 이미지를 분석한다. 그 단계에서, 그 기하학적 구성요소의 중심이 사용된 카메라에서 나온 이미지 내에 어디 위치하는 지를 정확히 찾아내는 것이 주안점이다. 사용된 솔루션은 획득된 결과의 품질을 개선하기 위하여 새로운 색상 공간 및 새로운 필터링의 접근에 기초한다.
도 8에 도시된, 하나의 이미지 내에서 기하학적 구성요소의 위치를 추적하는 알고리즘의 어떤 단계들은 이하와 같다:
- 기하학적 구성요소의 색상에 따른 임계치 정의(단계 800). 점선을 사용하여 도시된 바와 같이 기하학적 구성요소가 이미지 내에서 검색될 때마다 사용되는 임계치를 정의할 필요는 없음. 그 임계치는 그 조이스틱의 파라미터 설정시 및/또는 필요한 경우 재평가시에 사전 설정될 수 있음;
- RGB(적-녹-청색) 이미지를 HSL(Hue-Saturation-Luminance) 유형의 색공간에서 파생된 HS'L 유형의 색공간으로 변환(단계 805)하고 그 기하학적 구성요소의 색상에 해당하는 픽셀 구역의 이미지를 분할함으로써 검색(단계 810),
- 그 구역의 윤곽을 재구성하고 추적할 기하학적 구성요소의 형상에 최대한 근접한 것을 검색(단계 815); 및
- 초기 측정된 크기의 따라 그 깊이를 재확인하기 위하여 이미지 내에 개체의 크기를 결정하고, 그 이미지 내에서 기하학적 구성요소의 중심 위치를 검색하고 계산함(단계 820).
획득된 결과의 정확도를 개선하기 위하여, 시간에 대한 기하학적 구성요소의 위치의 선형 외삽법을 사용하여 이론적으로 원하는 위치를 추정하고(단계 825) 추정된 위치를 이미지 분석에 의해 획득된 위치와 비교(단계 830)하는 것이 바람직하다.
기하학적 구성요소의 위치를 결정하는 원칙은 제1차로 검색된 기하학적 구성요소의 색상에 해당하는 색상의 이미지 구역을 감지하는 것으로 구성된다. 휘도의 변화를 면하기 위하여 HSL 색상 공간이 RGB 색상공간보다 선호된다.
RGB 이미지를 HSL 이미지로 변환한 후, 모든 픽셀이 선택되고 휘도(L)가 사전 설정된 범위 [θLinf;θLsup] 내에 포함되지 않는 픽셀은 제외된다. 한 픽셀의 제외는 예를 들어 휘도(L), 채도(S) 및 색조(H)에 대하여 제로 값을 가함으로써 실행될 수 있다. 따라서 선택된 모든 픽셀은 모두 제로가 아닌 값을 갖는 반면 제외된 픽셀은 모두 제로 값을 갖는다.
HSL 색상공간을 사용하는 한 이미지를 분할함은, 매우 어두운 픽셀 또는 매우밝은 픽셀(그러나 흑색도 백색도 아닌)이 아무 값의 색조나 가질 수 있고 (그리고 수신 시 이미지 내에 발생 된 노이즈로 인하여 신속히 변화될 수 있음) 따라서 원하는 색조에 근접한 색조를 가질 수 있다는 사실로 인하여, 완전히 만족스럽지는 못한 결과를 제공한다. 그러한 단점을 극복하기 위하여, HSL 색상 공간은 지나치게 어둡거나 지나치게 밝은 픽셀은 고려하지 않도록 변형된다. 그것을 위하여 새로운 채도(S')가 생성된다. 그 채도(S')는 휘도(L)에 연결된 웨이트 계수 α를 이용하여 다음 관계식 S' = αS에 따라 채도(S)로 부터 산출된다. 웨이트 계수 α는 바람직하게는 0과 1 사이에 포함되는 값이다. 도 9는 휘도의 함수로 웨이트 계수 α의 값을 도시한다.
픽셀의 채도(S')가 사전 설정된 임계치 θS'inf를 초과하지 않으면 그 픽셀은 제외된다. 마찬가지로, 기하학적 구성요소의 색조에 해당하지 않는 색조(H)를 갖는 픽셀은, 즉 기하학적 구성요소의 색조에 따라 사전 설정된 범위 [θHinf;θHsup] 내에 포함되지 않는 픽셀은 제외된다. 색조는 이론상 0 내지 360°사이의 도수로 표현됨을 주지해야 한다. 실제로, 색조는 하나의 원형 개념으로서 "적색"이 양 극단(0 및 360)이다. 실제 관점에서 볼 때 360은 8비트 코드가 될 수 없으므로, 색조 값은 사용될 목적에 따라 [0,180[,[0,240[ 또는 [0,255] 상의 간격으로 다시 인코드된다. 계산 비용을 최적화하기 위하여, [0,180[ 구간이 바람직하다. 그러나 그 척도의 변경이 결과에 아무런 손실을 초래하지 않음을 주지해야 한다.
픽셀의 제거는 바람직하게는 휘도(L), 채도(S') 그리고 색조(H)의 순서로 실행된다. 그러나 중요 단계는 색조(H)에 따른 분할이다. 휘도 및 채도에 따른 분할은 결과의 품질 및 전반적 성능을, 특히 계산 시간을 최적화시킬 수 있는 것에 관하여 개선할 수 있게 한다.
선택된 이미지 픽셀 일부는 기하학적 구성요소를 표현한다. 그 부분을 식별하기 위하여, 윤곽 추출 단계가 실행된다. 그 단계는 예를 들어 컨벌루션 마스크를 사용하여 제로가 아닌 픽셀 그룹의 윤곽을 추출하는 것으로 구성된다. 여기서 윤곽 추출용 알고리즘이 다수 존재함을 주지해야 한다.
그 후 사용된 기하학적 구성요소의 형태에 최대한 근접한 윤곽을, 여기서는 사용된 기하학적 구성요소가 구형이므로 원형의 윤곽을 결정할 필요가 있다.
픽셀의 수로 표현되는 윤곽의 크기가 실행가능한 크기의 원형을 표현하기에는 너무 작은 경우 그 윤곽은 제외된다. 그 선택은 사전 설정된 임계치 θT에 따라 실행된다. 마찬가지로, 역시 픽셀의 수로 표현되는 원의 면적이 너무 작은 경우의 윤곽도 제외된다. 그 선택은 새로이 사전 설정된 임계치 θA에 따라 실행된다.
그 다음, 각각의 나머지 윤곽을 위하여, 그 윤곽의 둘레를 포함하는 최소 반경의 원이 계산된 후 윤곽에 의해 결정된 면적과 계산된 원의 반경 사이의 비율이 계산된다. 그리하여 최대 비율을 제공하는 윤곽을 원하던 윤곽인 것으로 간주한다. 그 비율은 그 윤곽을 감싸는 원을 그 윤곽이 최대한 채우고 따라서 원형의 경향을 지닌 윤곽 및 최대치의 반경을 갖는 윤곽을 동시에 조장한다는 사실을 나타내는 경향이 있다. 그러한 기준은 상대적으로 저렴한 계산 비용이라는 장점을 가져온다. 자연히, 선택의 기준은 기하학적 구성요소의 형태에 적용되어야 한다.
색상 측정 및 기하학적 선택은 이미지 내에 조이스틱과 연계된 구의 투영도를 대략적으로 표현하는 원형을 얻을 수 있게 한다. 그 솔루션의 장점은 만일 기하학적 구성요소의 형태 및 색상이 환경 계에서 유일한 것이면, 부분적으로 내포된 경우 그러한 형태를 식별한다는 것이 강하다는 사실이다.
공간 내의 기하학적 구성요소가 자리한 위치가 그 후 이미지 내의 그 투영도로부터 결정된다. 계산을 간소화하기 위하여, 여기서 그 기하학적 위치는 이미지가 나오는 카메라의 광축 상에 기하학적 구성요소가 위치한다고 가정된다. 실제로, 하나의 구형은 일반적으로 타원으로 투영된다. 원형은 구형이 광축 상에 위치할 때만 얻어진다. 그러나 그러한 근사치는 단순한 비율에 의해 나타나는 그 반경을 이용하여 구형의 위치를 결정하기에 충분하다.
도 10은 그 구형의 거리를 결정하기 위해 사용되는 원리를 도시한다. C는 광학적 중심, 즉 카메라의 위치에 해당하는 투영의 중심이고, R은 카메라로부터 Z의 거리에 위치한 구형의 물리적 반경이다. 투영에 의하여, 그 반경(R)은 매트릭스 초점거리를 표현하는 하나의 거리(fm)를 두고 모니터 평면상에 위치한 표면적인 직경(rm)으로 변환된다. 그 결과 딸레스(Thales)의 정리에 따라 하기와 같은 관계가 형성된다.
한편 fp는 픽셀로 표현된 초점이고 rp는 역시 픽셀로 표현된 구의 표면적인 반경일 때, 비율은 비율과 동일하다는 것을 주지해야 한다. 그것은 하기 관계로 유추된다.
카메라에 의해 촬영된 이미지 내에서 좌표점(u, v)에 있는 카메라가 원점인 좌표 내에 좌표점(x, y, z)을 투영하면 하기 방식으로 표현된다.
(px, py)는 픽셀로 표현된 이미지의 광학 중심 위치. 그 관계는 구형의 실제 좌표 Z 및 이미지 내의 좌표 u, v가 픽셀로 공지되었을 때, 그 구형의 실제 좌표 X, Y를 유추할 수 있게 한다.
구형의 반경을 추론하는 수준은 결과적으로 X, Y(원형의 2D 위치의 품질에 의해서도 비례하여 영향받는)의 위치를 결정하는 데 대한 품질을 좌우하는 Z 위치의 결정 품질상에 막대한 영향을 끼친다. Z 값의 에러는 매트릭스 상에서뿐만 아니라 시각적으로도 클 수 있는데, 이는 센서에 연계된 가상 개체는 일반적으로 구형보다 크고, 따라서 그 결과, 반경의 과소 평가에 의한 에러가 이미지 내에 삽입된 가상 개체의 표면적인 크기를 그 개체가 구형보다 더욱 클수록 (매트릭스 상으로) 감소시키기 때문이다.
그 기하학적 구성요소의 실제 위치를 검색하는데 있어서 중요한 문제는 추정된 원형의 위치(u, v) 및 반경의 일시적인 안정성이 부족하다는 데서 온다. 실제로 그 문제점은 센서에 연계된 가상 개체의 위치(X, Y, Z)의 상당한 진동에 의한 것으로 해석된다. 그러한 진동을 필터링하기 위하여 특정 필터링이 사용된다.
그 필터링은 로우패스 필터에 의한 예측이 실행 가능하고, 그 예측이 충분히 새로운 측정치와 근접한다면 그 필터링 된 값이 적용된다는 원칙에 기초한다. 예측이 측정치와 차이가 나는 경우, 그 차이가 비디오 스트림의 한 격리된 이미지 상에만 존재하는지 또는 그 차이가 시간에 따라 계속 부합되는지 확인하기 위하여 "대기(attentiste)" 단계가 발효된다. 그 예측에서 비롯된 필터링 된 값이 사용된다. 만일 제1 값이 확정되면 비디오 스트림 내에 한 이미지가 지연되면서 측정된 실제 값이 적용된다. 로우패스 필터는 최종 n회의 측정(비정상이라 고려되는 측정은 제외하고)에 대하여 직교 선형 순환을 사용하여 (직교 순환 2차 방정식은 더 낮은 품질의 결과를 가져오므로) 실행된다. n값은 예측이 맞는 한 사전 설정된 임계치까지 증가하는 값과 함께 변동된다. 후속 이미지에 의해 확정된 변화에 이어서, 예측이 더 이상 맞지 않을 때, n 값은 최소 필터링을 위한 값인 4로 감소 된다. 그 기술은 필터링의 최상의 반응성을 가능하게 하고, 반경이 다소 일정하다고 간주 될수록 진동은 더욱 가시적이 된다는 원칙에서 출발한다. 반면에, 동작시에는 진동이 덜 인지되고 따라서 잠재성을 감소시킬 수 있다.
하기 방정식들은 직선 방정식 y = a x + b (x는 현 좌표축 값에 해당, y는 3 변수 u, v 및 구형의 반경, x, y 각각은 독립적으로 필터링 대상)와 함께 직교 선형 순환 계산을 상세히 명시한다.
에러는 직교 선형 순환에 들어가고 좌표점 pi(xi, yi) 측정치는 하기 관계식의 형태로 표현될 수 있다.
따라서 하기 관계식으로 표현될 수 있는 2차 함수 총 에러(E)를 최소화할 필요가 있다.
를 가하면,
그 결과
이다.
E 함수는 2차 방정식이므로 하기 식이 만족될 때 최소값을 갖는다.
그 결과
det=이다.
카메라에서 나온 각각의 비디오 스트림 이미지에 대하여, 좌표값(u, v) 및 구형의 가시적인 반경 값을 예측하기 위하여 a 및 b 값이 추정되고, 그 값으로부터 현실 장면 내의 구형의 좌표값(X, Y, Z)을 추정해낸다. 그 추정된 값들은 참조로서 사용되고 상기 명시한 바와 같이 이미지 분석에 따라 결정된 값들과 비교된다. 비교 결과에 따라, 이미지 분석에 따라 결정된 값들이 예측되었거나 아닌 값들을 대신하여 사용된다.
현실 장면 내에서 가상 개체의 위치 및 방위가 결정되었을 때, 증대된 현실성의 소프트웨어, 예를 들어 D'Fusion은 그 개체의 3차원 모델로부터 삽입되어야 하는 가상 개체를 결정한다. 그 가상 개체의 이미지는 그 후 현실 장면의 이미지 내에 삽입된다.
현실 장면 내에서 가상 개체의 위치와 방위를 결정하고, 가상 개체의 이미지를 결정하고 현실 장면의 한 이미지 내에 가상 개체의 이미지를 삽입하는 프로세스는 카메라에서 나온 비디오 스트림의 각 이미지에 대하여 반복된다.
증대된 현실성의 소프트웨어는 또한 사용자가 게임 "속"에 자신이 있는 것을 볼 수 있게 하는 게임과 결합 될 수 있다.
자연히, 특정 필요성을 충족시키기 위하여 당업자는 상기 명시한 바를 변형하여 응용할 수 있을 것이다. 특히, 현실 장면 내에 존재하는 적어도 3 자유도를 가진 센서를 사용하는 것은 필수적이지 않다. 유일한 필수 조건은, 센서에서 나온 데이터가 이미지 분석에서 나온 데이터에 보완적이어야 한다는 점이다. 따라서, 예를 들면 2 자유도의 센서를 사용하여 이미지 분석에 의해 나머지 4 자유도에 연관된 정보를 얻을 수 있다. 마찬가지로, 위치 및 방위 센서를 포함하는 조이스틱은 상기 명시한 바와 다른 형태를 취할 수 있다.

Claims (16)

  1. 하나의 현실 장면(120)을 표현하는 이미지 스트림의 적어도 하나의 이미지, 즉 제1 이미지 내에, 적어도 하나의 가상 개체의 적어도 하나의 3차원 표현으로부터 추출된 적어도 하나의 이미지, 즉 제2 이미지를 실시간으로 삽입하는 방법에 있어서,
    - 상기 이미지 스트림의 적어도 하나의 제1 이미지를 수신하고;
    - 상기 적어도 하나의 가상 개체의 상기 현실 장면 내에서의 위치 및 방위를 상기 현실 장면에서 나온 위치 및 방위 데이터로부터 결정하기 위하여 정보를 수신하고, 상기 데이터의 적어도 일부분은 상기 현실 장면 내에 존재하는 적어도 하나의 센서(135)에서 수신되고;
    - 상기 적어도 하나의 가상 개체의 상기 위치 및 방위에 따라 상기 적어도 하나의 가상 개체의 상기 3차원 표현의 상기 적어도 하나의 제2 이미지를 추출하고;
    - 상기 적어도 하나의 개체(610)의 상기 위치에 따라 상기 적어도 하나의 수신된 제1 이미지 내에 상기 적어도 하나의 추출된 제2 이미지를 삽입하는
    단계들을 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 제1 이미지는 하나의 카메라에서 나오고, 상기 적어도 하나의 센서는 상기 카메라에 대해서 이동식인 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서, 적어도 하나의 상기 방위 데이터는 상기 현실 장면 내에 존재하는 하나의 각도 센서(135', 135")에서 수신되는 것을 특징으로 하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 적어도 하나의 상기 위치 데이터는 상기 현실 장면 내에 존재하는 하나의 위치 센서(135')에서 수신되는 것을 특징으로 하는 방법.
  5. 제1항 또는 제2항에 있어서, 상기 위치 및 방위 데이터의 일부분은 상기 현실 장면 내에 존재하는 하나의 센서에서 수신되는 것을 특징으로 하고, 상기 위치 및 방위 데이터의 다른 부분은 상기 수신된 제1 이미지에서 추출되는 것(605)을 특징으로 하는 방법.
  6. 제5항에 있어서, 적어도 하나의 상기 위치 및 방위 데이터는 상기 센서에 연결된 단일 기하학적 구성요소(615)로부터 수신된 상기 제1 이미지에서 추출되는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    - 상기 수신된 제1 이미지를 분할(810)하고,
    - 상기 분할된 제1 이미지 내에서 적어도 하나의 상기 단일 기하학적 구성요소의 윤곽을 추출(815)하고,
    - 상기 분할된 제1 이미지에서 추출된 상기 윤곽에 따라 상기 단일 기하학적 구성요소의 위치를 결정(820)하는
    것을 더 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 단일 구성요소의 상기 현실 장면 내에서의 위치는 상기 제1 이미지 내의 상기 단일 구성요소의 위치 및 상기 제1 이미지 내에서의 상기 단일 구성요소의 가시적 크기에 의해서 결정되는 것을 특징으로 하는 방법.
  9. 제7항 또는 제8항에 있어서, 상기 가상 개체의 상기 위치를 추정하는 단계(825)를 더 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 가상 개체의 상기 위치를 추정하는 상기 단계는 로우 패스(low pass) 필터를 사용하는 것을 특징으로 하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하도록 적용된 인스트럭션을 포함하는 컴퓨터 프로그램.
  12. 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램의 인스트럭션 코드를 포함하는 하나의 컴퓨터 또는 마이크로 프로세서에 의해 부분적으로 또는 완전히 판독 가능한, 교체가능하거나 교체가능하지 않은 정보 저장 장치.
  13. 적어도 하나의 비디오 카메라 및 적어도 하나의 시각화 모니터에 연결될 수 있는 증대된 현실성을 위한 장치에 있어서, 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하도록 적용된 수단들을 포함하는 장치.
  14. 하나의 현실 장면(120)을 표현하는 이미지 스트림의 적어도 하나의 이미지, 즉 제1 이미지 내에, 적어도 하나의 가상 개체의 적어도 하나의 3차원 표현으로부터 추출된 적어도 하나의 이미지, 즉 제2 이미지를 실시간으로 삽입하기 위한 장치에 있어서,
    - 상기 이미지 스트림의 상기 적어도 하나의 제1 이미지를 수신하고 메모리하기 위한 수단(210);
    - 상기 적어도 하나의 가상 개체의 상기 3차원 표현을 메모리하기 위한 수단;
    - 상기 현실 장면 내에서의 상기 적어도 하나의 가상 개체의 위치 및 방위를 상기 현실 장면에서 나온 위치 및 방위 데이터-상기 데이터의 적어도 일부분은 상기 현실 장면 내에 존재하는 적어도 하나의 센서(135', 135")에서 수신됨-로부터 결정할 수 있게 하는 정보를 수신하기 위한 수단(210, 214);
    - 상기 적어도 하나의 가상 개체의 상기 위치 및 방위에 따라 상기 적어도 하나의 가상 개체의 상기 3차원 표현의 상기 적어도 하나의 제2 이미지를 추출하기 위한 수단; 및,
    - 상기 적어도 하나의 개체의 상기 위치에 따라 상기 적어도 하나의 수신된 제1 이미지 내에 상기 적어도 하나의 추출된 제2 이미지를 삽입하기 위한 수단(610)
    을 포함하는 것을 특징으로 하는 장치.
  15. 제14항에 있어서, 상기 수신된 제1 이미지의 적어도 하나의 상기 위치 및 방위 데이터를 추출하기 위한 수단(605)을 더 포함하는 것을 특징으로 하는 장치.
  16. 적어도 하나의 가시적 단일 기하학적 구성요소(615) 및 제13항 내지 제15항 중 어느 한 항에 따른 장치에 위치 및/또는 방위 정보를 전달하도록 적용된 하나의 센서(135")를 포함하는 장치.
KR1020097016349A 2007-01-05 2008-01-03 이미지로 구현되는 실제장면으로부터의 데이터를 이용하여 이미지 스트림에 가상객체를 실시간 삽입하기 위한 방법 및 장치 KR101320134B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0752547 2007-01-05
FR0752547A FR2911211B1 (fr) 2007-01-05 2007-01-05 Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
PCT/FR2008/000011 WO2008099080A1 (fr) 2007-01-05 2008-01-03 Procède et dispositifs pour insérer en temps réel des objets virtuels dans un flux d'images a partir de données issues de la scène réelle représentée par ces images

Publications (2)

Publication Number Publication Date
KR20090100436A true KR20090100436A (ko) 2009-09-23
KR101320134B1 KR101320134B1 (ko) 2013-10-23

Family

ID=38161918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097016349A KR101320134B1 (ko) 2007-01-05 2008-01-03 이미지로 구현되는 실제장면으로부터의 데이터를 이용하여 이미지 스트림에 가상객체를 실시간 삽입하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20100060632A1 (ko)
EP (2) EP2104925B1 (ko)
JP (2) JP5204126B2 (ko)
KR (1) KR101320134B1 (ko)
FR (1) FR2911211B1 (ko)
WO (1) WO2008099080A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110055868A (ko) * 2009-11-20 2011-05-26 엘지전자 주식회사 이동 단말기, ｄｔｖ 및 ｄｔｖ의 제어 방법
KR20120009637A (ko) * 2010-07-19 2012-02-02 주식회사 비즈모델라인 줌인 이벤트를 이용한 오디오객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
EP1913559B1 (fr) * 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
BRPI0615283A2 (pt) 2005-08-29 2011-05-17 Evryx Technologies Inc interatividade por meio de reconhecimento de imagem móvel
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
US9824495B2 (en) * 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
WO2010073432A1 (ja) * 2008-12-24 2010-07-01 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
FR2947348B1 (fr) * 2009-06-25 2011-08-19 Immersion Dispositif pour manipuler et visualiser un objet virtuel
KR101487944B1 (ko) 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
US9514654B2 (en) 2010-07-13 2016-12-06 Alive Studios, Llc Method and system for presenting interactive, three-dimensional learning tools
US20120182313A1 (en) * 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
USD654538S1 (en) 2011-01-31 2012-02-21 Logical Choice Technologies, Inc. Educational card
USD648391S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD648390S1 (en) 2011-01-31 2011-11-08 Logical Choice Technologies, Inc. Educational card
USD648796S1 (en) 2011-01-31 2011-11-15 Logical Choice Technologies, Inc. Educational card
USD675648S1 (en) 2011-01-31 2013-02-05 Logical Choice Technologies, Inc. Display screen with animated avatar
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
USD647968S1 (en) 2011-01-31 2011-11-01 Logical Choice Technologies, Inc. Educational card
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9262950B2 (en) 2011-04-20 2016-02-16 Microsoft Technology Licensing, Llc Augmented reality extrapolation techniques
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
AU2016262576B2 (en) 2015-05-14 2021-08-19 Magic Leap, Inc. Privacy-sensitive consumer cameras coupled to augmented reality systems
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
CN112750204B (zh) * 2019-10-30 2022-04-05 广东致创数字科技有限公司 数据内容实时更新系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351659B1 (en) * 1995-09-28 2002-02-26 Brainlab Med. Computersysteme Gmbh Neuro-navigation system
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP2003264740A (ja) * 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
FR2842977A1 (fr) 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
JP2004212163A (ja) * 2002-12-27 2004-07-29 Kazuyoshi Tsukamoto バーチャルスポーツシステム
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2005251118A (ja) * 2004-03-08 2005-09-15 Canon Inc 画像処理方法、画像処理装置
JP4380376B2 (ja) * 2004-03-17 2009-12-09 日本電信電話株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4137078B2 (ja) * 2005-04-01 2008-08-20 キヤノン株式会社 複合現実感情報生成装置および方法
WO2006134778A1 (ja) * 2005-06-14 2006-12-21 The University Of Electro-Communications 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム
EP1913559B1 (fr) * 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
FR2889761A1 (fr) * 2005-08-09 2007-02-16 Total Immersion Sa Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110055868A (ko) * 2009-11-20 2011-05-26 엘지전자 주식회사 이동 단말기, ｄｔｖ 및 ｄｔｖ의 제어 방법
KR20120009637A (ko) * 2010-07-19 2012-02-02 주식회사 비즈모델라인 줌인 이벤트를 이용한 오디오객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체

Also Published As

Publication number Publication date
JP5204126B2 (ja) 2013-06-05
EP2104925B1 (fr) 2013-04-24
KR101320134B1 (ko) 2013-10-23
FR2911211A1 (fr) 2008-07-11
JP2013061978A (ja) 2013-04-04
JP2010515189A (ja) 2010-05-06
WO2008099080A1 (fr) 2008-08-21
US20100060632A1 (en) 2010-03-11
EP2237231A1 (fr) 2010-10-06
FR2911211B1 (fr) 2009-06-12
EP2104925A1 (fr) 2009-09-30
EP2237231B1 (fr) 2013-05-01

Similar Documents

Publication Publication Date Title
KR101320134B1 (ko) 이미지로 구현되는 실제장면으로부터의 데이터를 이용하여 이미지 스트림에 가상객체를 실시간 삽입하기 위한 방법 및 장치
US11199705B2 (en) Image rendering responsive to user actions in head mounted display
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
US10469829B2 (en) Information processor and information processing method
EP2044503B1 (en) Apparatus and method of interaction with a data processor
JP3901960B2 (ja) ゲームプログラムにおけるアクションを制御するために二次元カメラ画像から三次元空間にオブジェクトをマッピングする方法
JP5084052B2 (ja) コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム
US8882593B2 (en) Game processing system, game processing method, game processing apparatus, and computer-readable storage medium having game processing program stored therein
US20140176591A1 (en) Low-latency fusing of color image data
US20110306413A1 (en) Entertainment device and entertainment methods
US20140002472A1 (en) Augmented reality surface painting
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
JP2010526295A (ja) ビデオカメラとｔｖモニタを使用した３次元オブジェクトのスキャン
JP6788129B2 (ja) ズーム装置及び関連する方法
WO2020121406A1 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
WO2022195157A1 (en) Detection of test object for virtual superimposition
TWI460683B (zh) The way to track the immediate movement of the head
Luo Study on three dimensions body reconstruction and measurement by using kinect
JP2024108472A (ja) 情報処理装置およびデバイス情報導出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6