KR20130049769A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20130049769A
KR20130049769A KR1020127023331A KR20127023331A KR20130049769A KR 20130049769 A KR20130049769 A KR 20130049769A KR 1020127023331 A KR1020127023331 A KR 1020127023331A KR 20127023331 A KR20127023331 A KR 20127023331A KR 20130049769 A KR20130049769 A KR 20130049769A
Authority
KR
South Korea
Prior art keywords
information processing
processing apparatus
coordinates
distance
information
Prior art date
Application number
KR1020127023331A
Other languages
English (en)
Inventor
히로유끼 이시게
가즈히로 스즈끼
아끼라 미야시따
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130049769A publication Critical patent/KR20130049769A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 정보 처리 장치는 상기 정보 처리 장치에 대응하는 제1 자세 정보, 상기 정보 처리 장치에 대응하는 제1 거리 좌표, 다른 정보 처리 장치에 대응하는 제2 자세 정보, 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득한다. 그 후, 상기 정보 처리 장치는, 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출한다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이고, 보다 구체적으로는, 확장 현실 공간을 다른 장치와 공유하기 위한 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
최근, 확장 현실 기술(augmented reality technology)(이하, AR 기술이라고 칭함)의 일환으로서, 현실 공간의 영상 등의 현실 공간 정보에 대하여 가상적인 디지털 정보(가상 오브젝트)를 중첩하여 표시하고 있다. 또한, 복수의 장치 간에 가상 오브젝트를 공유하고, 가상 오브젝트를 현실 공간의 물체로 취급하는 것이 기대되고 있다.
현실 공간 정보에 대하여 가상적인 디지털 정보를 중첩하기 위해서는, 3차원 공간 구조를 해석함으로써 가상 공간을 인식할 필요가 있다. 예를 들어, 특허문헌 1에는, 복수의 사용자가 가상 공간을 공유하고, 각 사용자의 현실 공간에서의 위치와 가상 공간에서의 위치를 서로 대응시킴으로써, 가상 공간에서 사용자들이 서로 인식하고 접촉하도록 하는 기술이 개시되어 있다.
일본 특허 출원 공개 제2002-149581호
그러나, 특허문헌 1에서는, 복수의 사용자가 가상 공간을 공유함으로써 서로 인식할 수 있더라도, 가상 공간에 가상 오브젝트를 배치하여, 복수의 장치가 가상 오브젝트를 공유하는 것은 용이하지 않았다.
그래서, 본 발명은, 상기 문제를 감안하여, 현실 공간을 해석함으로써 인식되는 가상 공간에 중첩되는 가상 오브젝트를 용이하게 공유하는 것이 가능한, 신규하거나 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다.
제1 실시 형태에 따르면, 본 발명은, 정보 처리 장치에 대응하는 제1 자세 정보, 상기 정보 처리 장치에 대응하는 제1 거리 좌표, 다른 정보 처리 장치에 대응하는 제2 자세 정보, 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하도록 구성되는 프로세서를 포함하고, 상기 프로세서는, 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하도록 구성되는, 정보 처리 장치에 관한 것이다.
상기 정보 처리 장치는, 상기 정보 처리 장치의 방향(orientation)을 검출함으로써 상기 제1 자세 정보를 검출하도록 구성되는 검출부를 더 포함할 수 있다.
상기 정보 처리 장치는, 상기 다른 정보 처리 장치로부터 상기 제2 자세 정보를 취득하도록 구성되는 인터페이스를 더 포함할 수 있다.
상기 정보 처리 장치는, 상기 다른 정보 처리 장치에 대응하는 화상을 취득하도록 구성되는 촬상 장치를 더 포함할 수 있고, 상기 프로세서는, 취득된 화상에 기초하여 상기 제2 자세 정보를 취득하도록 구성된다.
상기 정보 처리 장치는, 상기 정보 처리 장치와 상기 다른 정보 처리 장치 간의 거리를 산출하도록 구성되는 검출부를 더 포함할 수 있다
상기 검출부는, 상기 가상 공간에서의 상기 정보 처리 장치와 상기 다른 정보 처리 장치 간의 거리를 산출하도록 구성될 수 있다.
상기 검출부는, 현실 공간에서의 상기 정보 처리 장치와 상기 다른 정보 처리 장치 간의 거리를 산출하도록 구성될 수 있다.
상기 프로세서는, 상기 제1 자세 정보와 상기 제2 자세 정보에 기초하여, 상기 가상 공간을 인식하도록 구성될 수 있다.
상기 프로세서는, 상기 제1 거리 좌표와 상기 제2 거리 좌표 간의 차이에 기초하여, 정규화 값을 산출하도록 구성될 수 있다.
상기 프로세서는, 상기 가상 공간에서의 상기 정보 처리 장치의 좌표를 결정하고, 상기 좌표를, 상기 정규화 값에 기초하여 상기 다른 정보 처리 장치의 가상 공간에서의 좌표로 변환하도록 구성될 수 있다.
상기 정보 처리 장치는, 변환된 상기 좌표를 상기 다른 정보 처리 장치로 전송하도록 구성되는 인터페이스를 더 포함할 수 있다.
상기 정보 처리 장치는, 상기 다른 정보 처리 장치로부터 좌표를 수신하도록 구성되는 인터페이스를 더 포함할 수 있고, 상기 프로세서는, 상기 좌표를, 상기 정규화 값에 기초하여 상기 정보 처리 장치의 가상 공간에서의 좌표로 변환하도록 구성된다.
상기 제1 거리 좌표는 제1 거리 스케일링 요소(first distance scaling factor)에 대응할 수 있고, 상기 제2 거리 좌표는 제2 거리 스케일링 요소(second distance scaling factor)에 대응할 수 있다.
상기 프로세서는, 상기 제1 거리 스케일링 요소와 상기 제2 거리 스케일링 요소에 기초하여, 정규화 값을 산출하도록 구성될 수 있다.
상기 프로세서는, 상기 제1 거리 스케일링 요소를 상기 제2 거리 스케일링 요소로 나누어 정규화 값을 산출하도록 구성될 수 있다.
상기 프로세서는, 상기 정보 처리 장치의 가상 공간에서의 좌표를 지정하고, 상기 좌표를, 상기 제1 자세 정보, 상기 제2 자세 정보 및 상기 정규화 값에 기초하여, 변환하도록 구성될 수 있다.
상기 정보 처리 장치는, 변환된 상기 좌표를 상기 다른 정보 처리 장치로 전송하도록 구성되는 인터페이스를 더 포함할 수 있다.
상기 정보 처리 장치는, 상기 다른 정보 처리 장치로부터 좌표를 수신하도록 구성되는 인터페이스를 더 포함할 수 있다.
상기 프로세서는, 상기 좌표를, 상기 제1 자세 정보, 상기 제2 자세 정보 및 상기 정규화 값에 기초하여, 변환하도록 구성될 수 있다.
상기 정보 처리 장치는 표시 장치를 더 포함할 수 있고, 상기 프로세서는, 변환된 상기 좌표에 기초하여, 상기 오브젝트를 표시하도록 상기 표시 장치를 제어하도록 구성된다.
다른 실시 형태에 따르면, 본 발명은 정보 처리 장치에 의해 실행되는 정보 처리 방법으로서, 상기 정보 처리 장치의 프로세서에 의해, 상기 정보 처리 장치에 대응하는 제1 자세 정보 및 상기 정보 처리 장치에 대응하는 제1 거리 좌표를 취득하는 단계; 상기 정보 처리 장치의 인터페이스에 의해, 다른 정보 처리 장치에 대응하는 제2 자세 정보 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하는 단계; 및 상기 정보 처리 장치의 상기 프로세서에 의해, 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하는 단계를 포함하는 정보 처리 방법에 관한 것이다.
또 다른 실시 형태에 따르면, 본 발명은, 정보 처리 장치에 의해 실행될 때, 상기 정보 처리 장치로 하여금 하기의 방법을 실행하게 하는 컴퓨터 프로그램 명령어들을 포함하는 비일시적인 컴퓨터 판독가능 매체로서, 상기 방법은, 상기 정보 처리 장치에 대응하는 제1 자세 정보 및 상기 정보 처리 장치에 대응하는 제1 거리 좌표를 취득하는 단계; 다른 정보 처리 장치에 대응하는 제2 자세 정보 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하는 단계; 및 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하는 단계를 포함하는, 비일시적인 컴퓨터 판독가능 매체에 관한 것이다.
이상 설명한 바와 같이, 본 발명에 따르면, 현실 공간을 해석함으로써 인식되는 가상 공간에 중첩되는 가상 오브젝트를 용이하게 공유할 수 있다.
도 1은 AR 기술에 대해서 설명하는 도면.
도 2는 현실 공간을 해석함으로써 인식되는 가상 공간을 설명하는 도면.
도 3은 AR 공간에 배치된 AR 오브젝트의 공유에 대해서 설명하는 도면.
도 4는 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성을 도시하는 블록도.
도 5는 본 실시 형태에 따른 정보 처리 장치의 기능 구성을 도시하는 블록도.
도 6은 본 실시 형태에 따른 장치들 간의 좌표계 방향(direction)의 일치에 대해서 설명하는 도면.
도 7a는 본 실시 형태에 따른 좌표 단위를 설명하는 도면.
도 7b는 본 실시 형태에 따른 공간 좌표계의 정규화에 대해서 설명하는 도면.
도 8은 본 실시 형태에 따른 공간 좌표계의 정규화에 대해서 설명하는 도면.
도 9는 본 실시 형태에 따른 정보 처리 장치의 동작의 상세를 도시하는 흐름도.
도 10은 본 실시 형태에 따른 정보 처리 장치의 동작의 상세를 도시하는 흐름도.
도 11은 본 실시 형태에 따른 정보 처리 장치의 동작의 상세를 도시하는 흐름도.
도 12는 본 실시 형태에 따른 정보 처리 장치의 동작의 상세에 대한 변형을도시하는 흐름도.
도 13은 본 실시 형태에 따른 정보 처리 장치의 동작의 상세에 대한 변형을도시하는 흐름도.
도 14는 본 실시 형태에 따른 정보 처리 장치의 동작의 상세에 대한 변형을도시하는 흐름도.
이하, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태들에 대해서 상세히 설명한다. 본 명세서 및 첨부 도면에 있어서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는, 동일한 참조 부호를 부여하고, 이들 구성 요소에 대한 중복 설명을 생략한다는 점에 유의해야 한다.
또한, 이하의 순서대로, "본 발명을 실시하기 위한 최선의 형태"에 대하여 설명한다.
[1] 본 실시 형태의 목적
[2] 정보 처리 장치의 개요
[3] 정보 처리 장치의 하드웨어 구성
[4] 정보 처리 장치의 기능 구성
[5] 정보 처리 장치의 동작의 상세
[6] 정보 처리 장치의 동작의 상세에 대한 변형
[1] 본 실시 형태의 목적
우선, 본 실시 형태의 목적에 대해서 설명한다. 최근, 확장 현실 기술(이하, AR 기술이라고 칭함)의 일환으로서, 현실 공간의 영상 등의 현실 공간 정보에 대하여 가상적인 디지털 정보(가상 오브젝트)를 중첩하여 표시하고 있다. 또한, 복수의 장치 간에 가상 오브젝트를 공유하여, 가상 오브젝트를 현실 공간의 물체로서 취급하고 있다.
현실 공간 정보에 대하여 가상적인 디지털 정보를 중첩하기 위해서는, 3차원 공간 구조의 해석을 통하여 가상 공간을 인식할 필요가 있다. 예를 들어, 복수의 사용자가 가상 공간을 공유하여, 각 사용자의 현실 공간에서의 위치와 가상 공간에서의 위치를 서로 대응시킴으로써, 가상 공간에서 사용자들이 서로 인식하고 접촉하도록 하는 기술이 개시되어 있다.
그러나, 상기 기술에서는, 복수의 사용자가 가상 공간을 공유함으로써 서로 인식할 수 있더라도, 가상 공간에 가상 오브젝트를 배치하여, 복수의 장치가 가상 오브젝트를 공유하는 것은 용이하지 않았다. 그래서, 상기 문제를 감안하여, 본 실시 형태에 따른 정보 처리 장치(10)가 고안되었다. 본 정보 처리 장치(10)에 의하면, 현실 공간의 해석을 통하여 인식되는 가상 공간에 중첩되는 가상 오브젝트를 용이하게 공유하는 것이 가능하게 된다.
[2] 정보 처리 장치의 개요
이상, 본 실시 형태의 목적에 대해서 설명했다. 그 다음에, 도 1 내지 도 3을 참조하여, 본 실시 형태에 따른 정보 처리 장치(10)의 개요에 대해서 설명한다. 정보 처리 장치(10)로서는, 휴대 전화, PDA(Personal Digital Assistant), 휴대용 게임 기기, 소형 PC(Personal Computer) 등의, 표시 장치를 구비하는 정보 처리 단말을 예시할 수 있다. 정보 처리 장치(10)에는, 현실 공간의 화상에 중첩되는 가상 오브젝트가 등록되어 있다.
도 1은 AR 기술에 대해서 설명하는 도면이다. 도 2는 현실 공간을 해석함으로써 인식되는 가상 공간(AR 공간)을 설명하는 도면이다. 도 3은 AR 공간에 배치된 AR 오브젝트의 공유에 대해서 설명하는 도면이다.
도 1에서는, 현실 세계의 현실 세계 영상(301)에 대하여 가상적인 디지털 정보를 중첩시킨다. 이에 의해, 현실 세계 영상(301)에 보충적인 정보를 합성해서 표시시키는 것이 가능하게 된다. 현실 세계 영상(301)은, 촬상 장치 등에 의해 촬상된 현실 공간의 영상이다. 또한, 가상적인 디지털 정보(302)는, 현실 공간을 해석함으로 얻어지고 현실 공간의 임의의 위치에 배치된 가상 오브젝트이다.
예를 들어, 도 1에서는, 현실 공간에서 공(ball)을 던지는 동작을 취하는 사람이 표시되고 있는 표시 화면에 대하여, 가상 오브젝트로서의 공이 중첩된다. 이와 같이, 정보 처리 장치(10)에서는, 현실 공간의 사람의 영상에 공의 디지털 화상을 합성하여, 실제로 사람이 공을 던지고 있는 것처럼 보이도록 나타낼 수 있다.
다음에, 도 2를 참조하여, 현실 공간을 해석함으로써 인식되는 가상 공간(AR 공간)에 대해서 설명한다. 도 2는 정보 처리 장치(10)를 이용해서 인식된 AR 공간에 가상 오브젝트가 배치되어 있는 상태를 도시한다. AR 공간은, 현실 공간의 공간 좌표계에, 현실 공간을 해석함으로써 인식된 가상 공간의 공간 좌표계를 중첩시킨 공간이다. 이는, AR 공간의 현실 공간 좌표계에서의 위치가 결정되면, AR 공간에서의 좌표가 고유하게 결정되는 것을 의미한다. 즉, 현실 공간의 임의의 위치에 AR 오브젝트를 배치하는 경우에, AR 공간에서 AR 오브젝트를 배치하는 위치가 고유하게 결정된다.
본 실시 형태에 따른 정보 처리 장치(10)는 다른 장치와 AR 공간을 공유하므로, AR 공간에 배치된 AR 오브젝트를 공유하는 것을 가능하게 된다. 예를 들어, 도 3의 설명도(310)에 도시된 바와 같이, AR 공간에 배치된 AR 오브젝트의 일례인 AR 공을, 송신자와 수신자 간에 공유하므로, 현실 공간에서의 공과 마찬가지로 AR 공을 취급할 수 있다. 보다 구체적으로는, 수신자 측의 장치에 의해 인식된 가상 공간의 공간 좌표계와, 송신자 측의 장치에 의해 인식된 가상 공간의 공간 좌표계를 서로 대응시키도록 허용된다. 그 다음에, 양쪽 장치에 의해 공유되는 공간 좌표계에 가상 오브젝트를 배치함으로써, 가상 공간에서의 가상 오브젝트의 위치, 자세 등의 정보를 공유하는 것이 가능하게 된다.
[3] 정보 처리 장치의 하드웨어 구성
이상, 정보 처리 장치(10)의 개요에 대해서 설명했다. 그 다음에, 도 4를 참조하여, 정보 처리 장치(10)의 하드웨어 구성에 대해서 설명한다. 도 4는 정보 처리 장치(10)의 하드웨어 구성을 도시하는 블록도이다. 정보 처리 장치(10)는, CPU(101)와, ROM(102)과, RAM(103)과, 호스트 버스(104)와, 브리지(105)와, 외부 버스(106)와, 인터페이스(107)와, 입력 장치(108)와, 출력 장치(109)와, 저장 장치(HDD)(110)와, 드라이브(111)와, 통신 장치(112)와, 촬상 장치(20)와, 각종 센서(40)를 포함한다.
CPU(101)는, 연산 처리 장치 및 제어 장치로서 기능하여 각종 프로그램에 따라 정보 처리 장치(10)의 전체 동작을 제어한다. 또한, CPU(101)는, 마이크로프로세서일 수도 있다. ROM(102)은, CPU(101)에 의해 사용되는 프로그램, 연산 파라미터 등을 기억한다. RAM(103)은, CPU(101)의 실행에 사용되는 프로그램, 그 실행에서 적정하게 변화되는 파라미터 등을 일시적으로 기억한다. 이들 구성 요소는 CPU 버스 등으로 구성되는 호스트 버스(104)를 통해 서로 접속되어 있다.
호스트 버스(104)는, 브리지(105)를 통해, PCI(Peripheral Component Interconnect/lnterface) 버스 등의 외부 버스(106)에 접속되어 있다. 또한, 호스트 버스(104)는, 브리지(105) 및 외부 버스(106)와 분리하여 구성될 필요는 없다. 이들 버스의 기능은 하나의 버스에 내장될 수 있다.
입력 장치(108)는, 예를 들어, 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버(lever) 등의, 사용자가 정보를 입력하기 위한 입력 수단과, 사용자의 입력을 기초로 하여 입력 신호를 생성하고, 이 입력 신호를 CPU(101)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 정보 처리 장치(10)의 사용자는, 상기 입력 장치(108)를 조작함으로써, 정보 처리 장치(10)에 대하여 각종 데이터를 입력하거나 처리 동작을 행할 것을 명령할 수 있다.
출력 장치(109)는, 예를 들어, CRT(Cathode Ray Tube) 표시 장치, 액정 표시(LCD) 장치, OLED(Organic Light Emitting Display) 장치 및 램프 등의 표시 장치와, 스피커, 헤드폰 등의 음성 출력 장치로 구성되어 있다. 출력 장치(109)는, 예를 들어, 재생된 콘텐츠를 출력한다. 보다 구체적으로는, 표시 장치는 재생된 영상 데이터 등의 각종 정보를 텍스트 또는 화상으로서 표시한다. 한편, 음성 출력 장치는, 재생된 음성 데이터 등을 음성으로 변환해서 출력한다. 후술하는 표시 장치(30)는 출력 장치(109)의 일례이다.
저장 장치(110)는, 본 실시 형태에 따른 정보 처리 장치(10)의 기억부의 일례로서 구성된 데이터 저장용 장치이다. 저장 장치(110)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함할 수 있다. 저장 장치(110)는, 예를 들어, HDD(Hard Disk Drive)로 구성된다. 저장 장치(110)는, 하드 디스크를 구동하여, CPU(101)에 의해 실행되는 프로그램이나 각종 데이터를 기억한다. 또한, 저장 장치(110)에는, 후술하는 항목, 식별 번호 등이 기억된다.
드라이브(111)는, 기억 매체용 판독기/기록기이며, 정보 처리 장치(10)에 내장되거나 외장된다. 드라이브(111)는, 장착되어 있는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 이동식 기록 매체(24)에 기록되어 있는 정보를 판독하고, 이 정보를 RAM(103)에 출력한다.
통신 장치(112)는, 예를 들어, 통신 네트워크(50)에 접속하기 위한 통신 장치 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(112)는, 무선 LAN에 대응하는 통신 장치, 무선 USB에 대응하는 통신 장치, 유선에 의해 통신을 행하는 유선 통신 장치일 수 있다.
촬상 장치(20)는, 촬상 렌즈를 통과한 광을 CCD에 의해 전기 신호로 변환하고, 아날로그 신호를 디지털 변환함으로써 촬상 대상의 화상을 촬상하는 기능을 갖는다. 촬상 장치(20)에 의해 촬상된 화상은, 표시 장치에 표시된다. 각종 센서(40)는 가상 공간을 인식하기 위한 센서이며, 예를 들어, 지자기 나침반이나 가속도 센서 등을 예시할 수 있다. 또한, 각종 센서(40)의 일례로서, 중력 방향을 검출할 수 있는 중력 방향 검출 장치(41)를 예시할 수 있다.
[4] 정보 처리 장치의 기능 구성
이상, 정보 처리 장치(10)의 하드웨어 구성에 대해서 설명했다.
그 다음에, 도 5를 참조하여, 본 실시 형태에 따른 정보 처리 장치(10)의 기능 구성에 대해서 설명한다. 또한, 도 6 및 도 8을 참조하여, 기능 구성에 대해서 적정하게 설명한다. 도 5는 본 실시 형태에 따른 정보 처리 장치(10)의 기능 구성을 도시하는 블록도이다.
도 5에 도시된 바와 같이, 정보 처리 장치(10)는, 검출부(152), 비교부(154), 생성부(156), 정규화부(158), 송수신부(160) 등을 포함한다.
검출부(152)는, 소정의 정보를 송신 및 수신할 수 있는 다른 장치를 검출하는 기능을 갖는다. 소정의 정보는, 다른 장치의 위치 정보, 자세 정보 등이다. 검출부(152)는, 다른 장치의 자세 정보를 검출해서 이 자세 정보를 비교부(154)에 제공한다. 본원에서는, 자세 정보에 관련하여, 가속도 센서 등을 이용하여, 장치 본체의 기울기나 방향을 검출할 수 있다. 또한, 자세 정보를 각 장치의 공간 좌표계에 의해 나타낼 수도 있다.
또한, 사용자 조작에 따라, 공간 좌표계의 정규화를 실행하도록 지시받은 경우에만, 검출부(152)에 의해 자세 정보가 검출되도록 구성될 수도 있다. 예를 들어, 복수의 장치가 존재할 경우에, 공간 좌표계의 정규화를 실행하도록 지시받은 장치의 자세 정보를 취득하도록 구성될 수 있다.
비교부(154)는, 검출부(152)에 의해 제공된 다른 장치의 자세 정보와, 현재 장치(current device)의 자세 정보를 비교하는 기능을 갖는다. 보다 구체적으로, 비교부(154)는, 다른 장치의 자세 정보와 현재 장치의 자세 정보를 비교해서 양쪽 장치의 자세 정보가 서로 일치하는지의 여부를 판정한다. 자세 정보가 서로 일치하는지의 여부는, 다른 장치의 공간 좌표계와 현재 장치의 공간 좌표계가 서로 일치하는지의 여부에 기초하여 판정될 수 있다. 또한, 중력 방향을 기준으로 하는 글로벌 좌표계를 이용하여, 현재 장치의 공간 좌표계와 다른 장치의 공간 좌표계가 서로 일치하는지의 여부가 판정될 수도 있다. 본 명세서에서 말하는 글로벌 좌표계는, 중력 방향을 하나의 축 방향으로 하는 좌표계이다.
비교부(154)는 또한, 촬상 장치(20)에 의해 촬상된 다른 장치의 화상을 해석함으로써 다른 장치의 자세 정보를 획득하고, 이렇게 획득한 다른 장치의 자세 정보와 현재 장치의 자세 정보 간의 차이를 산출할 수 있다. 이와 같이 산출된 차이는, 상대 자세 정보에 대응하고, 다른 장치의 자세 정보와 현재 장치의 자세 정보가 서로 일치하고 있는지의 여부를 판정하는 데 이용될 수 있다.
비교부(154)는 또한, 다른 장치로부터, 가속도 센서 등의 각종 센서를 사용하여 다른 장치에서 얻어지는 다른 장치의 자세 정보(예를 들어, 소정의 기준 값과 다른 장치의 자세 정보 간의 차이)를 수신하고, 이렇게 수신된 다른 장치의 자세 정보와 현재 장치의 자세 정보 간의 차이(예를 들어, 다른 장치와 공유하는 소정의 기준 값과 현재 장치의 자세 정보 간의 차이)를 산출할 수 있다. 이와 같이 산출된 차이는 다른 장치의 자세 정보와 현재 장치의 자세 정보가 서로 일치하고 있는지의 여부를 판정하는 데 이용될 수 있다.
여기서, 도 6을 참조하여, 장치 간의 좌표계 방향의 일치에 대해서 설명한다. 도 6은 장치 간의 좌표계 방향의 일치에 대해서 설명하는 도면이다. 도 6의 설명도(320)는, 정보 처리 장치(10)(디바이스 A)의 자세 정보와 다른 장치(디바이스 B)의 자세 정보가 서로 불일치하고 있는 상태를 도시한다. 즉, 설명도(320)에서는, 디바이스 A와 디바이스 B 간의 공간 좌표계의 방향이 서로 불일치하고 있다.
도 6의 설명도(322)는, 공간 좌표계의 방향이 서로 불일치하고 있는 상태로부터, 디바이스 A의 자세와 디바이스 B의 자세를 변화시킴으로써 디바이스 A의 자세 정보와 디바이스 B의 자세 정보가 서로 일치하는 상태로 변경되는 것을 도시한다. 즉, 설명도(322)에서는, 디바이스 A와 디바이스 B의 좌표계의 방향이 서로 일치하고 있다. 디바이스 A의 좌표계를 (X, Y, Z)로 설정하고 디바이스 B의 좌표계를 (X', Y', Z')로 설정하면, 디바이스 A와 디바이스 B는 이하의 관계를 갖는다.
X = - X'
Y = Y'
Z = - Z'
도 5로 되돌아가서, 생성부(156)는, 비교부(154)에서의 비교의 결과로서 다른 장치의 자세 정보와 현재 장치의 자세 정보가 서로 대응하는 경우에, 현실 공간의 3차원 공간 구조를 해석하고 가상 공간의 공간 좌표계를 생성하는 기능을 갖는다. 다른 장치의 자세 정보와 현재 장치의 자세 정보가 서로 대응하는 경우로서, 예를 들어, 양쪽 장치의 자세 정보가 서로 일치하거나 대향하는 경우를 예시할 수 있다.
본 실시 형태에서는, 생성부(156)는, 도 6의 설명도(322)에 도시된 바와 같이, 현재 장치인 디바이스 A의 자세 정보와 다른 장치인 디바이스 B의 자세 정보가 서로 일치했을 경우에 가상 공간의 공간 좌표계를 생성하도록 구성되어 있지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 각 장치가, 각각 현실 공간의 3차원 공간 구조를 해석함으로써 가상 공간의 공간 좌표계를 생성한 후에, 몇몇 장치의 공간 좌표계를 다른 장치의 공간 좌표계에 일치시키도록 구성될 수 있다.
도 5로 되돌아가서, 정규화부(158)는, 현재 장치의 공간 좌표계에서의 다른 장치의 위치 정보 및 다른 장치의 공간 좌표계에서의 현재 장치의 위치 정보에 기초하여, 다른 장치의 공간 좌표계를 정규화하는 기능을 갖는다. 보다 구체적으로, 정규화부(158)는, 다른 장치에 의해 생성된 공간 좌표계에서의 다른 장치와 현재 장치 사이의 거리와, 생성부(156)에 의해 생성된 공간 좌표계에서의 현재 장치와 다른 장치 사이의 거리에 기초하여, 다른 장치의 공간 좌표계를 정규화하기 위한 정규화 값을 산출한다.
본원에서는, 공간 좌표계에서 현재 장치와 다른 장치 간의 차이를 산출하는 데 각종 방법을 적용할 수 있다. 예를 들어, 공간 좌표계에서 현재 장치와 다른 장치 간의 차이를 산출하기 위한 방법의 제1 예로서, 촬상 장치에 의한 오브젝트 인식을 이용하여 거리를 산출하는 방법이 고려될 수 있다. 여기서, 인식 대상의 오브젝트는 평면 형태일 수 있다. 즉, 오브젝트 인식으로 평면 인식을 이용하는 것도 가능하다.
오브젝트 인식을 행할 때에, 검출부(152)는, 촬상 장치(20)에 의해 촬상된 현실 공간의 화상을 해석함으로써 특징을 추출할 수 있다. 계속해서, 검출부(152)는, 촬상 장치(20)의 위치를 기준으로 하면서, 추출된 상기 특징에 기초하여 오브젝트의 위치를 상대 위치로서 검출할 수 있고, 생성부(156)는, 검출된 상대 위치에 기초하여 공간 인식을 행할 수 있다(공간 좌표를 생성할 수 있다). 본원에서, 촬상 장치(20)는 정보 처리 장치(10)(도 8에 도시된 예에서는 디바이스 A)에 접속되어 있고, 촬상 장치(20)에 의해 촬상된 화상은 정보 처리 장치(10)에 제공되고, 정보 처리 장치(10)에 제공된 화상은 검출부(152)에 의해 해석된다.
검출부(152)는, 촬상 장치(20)로부터, 인식된 공간(가상 공간)에서의 소정의 방향으로 존재하는 다른 장치(50)(도 8에 도시된 예에서는 디바이스 B)까지의 거리를 산출할 수 있다. 도 8에 도시된 예에서는, 소정의 방향이 촬상 장치(20)의 정면 방향(디바이스 A의 법선 방향, 즉, Z축)에 대응하지만, 그 방향은 이 예에 한정되는 것은 아니다. 검출부(152)는, 예를 들어, 촬상 장치(20)에 의해 촬상된 다른 장치(50)의 화상을 해석함으로써, 가상 공간에서의 정보 처리 장치(10)로부터 다른 장치(50)까지의 거리를 산출할 수 있다.
상술된 방법은, 공간 좌표계에서의 현재 장치와 다른 장치 간의 거리를 산출하기 위한 방법의 제1 예이다. 이와 같이 산출되는 거리는, 생성부(156)에 의해 생성되는 공간 좌표로 산출되기 때문에, 이 거리는 정보 처리 장치(10)(현재 장치)와 다른 장치(50) 간의 상대 거리에 대응한다. 따라서, 검출부(152)는, 이러한 상대 거리를, 현실 공간에서의 소정의 간격의 거리와, 이 소정의 간격에 대응하는 가상 공간에서의 간격의 거리에 기초하여, 절대 거리로 변환할 수도 있다.
보다 구체적으로는, 검출부(152)는, 예를 들어, 현실 공간에서의 소정의 간격의 거리를, 상기 소정의 간격에 대응하는 가상 공간에서의 간격의 거리로 나눈 값(가상 공간에서의 단위 좌표에 대응하는 현실 공간의 거리)을 구하고, 상대 거리와 구해진 상기 값을 곱하여 곱셈의 결과를 절대 거리로서 획득할 수 있다.
현실 공간에서의 소정의 간격의 거리를, 예를 들어, 소정의 값으로 설정하는 것이 가능하다. 보다 구체적으로, 현실 공간에서의 소정의 간격의 거리를, 예를 들어, 1M(미터)로서 미리 결정한 경우에, 검출부(152)는, 현실 공간의 소정의 간격의 거리를 1M로 설정하고, 정보 처리 장치(10)(또는, 촬상 장치(20))로부터 가상 공간의 오브젝트까지의 거리를, 상기 소정의 간격에 대응하는 가상 공간에서의 간격의 거리로서 사용할 수 있다. 이 경우, 예를 들어, 검출부(152)는, "현실 공간에서 정보 처리 장치(10)(또는, 촬상 장치(20))와 오브젝트가 1M만큼 서로 떨어져 있도록 교정(calibration)을 행하세요"라는 메시지를 표시 장치(30)에 표시하게 한 후에, 가상 공간에서의 정보 처리 장치(10)(또는, 촬상 장치(20))로부터 오브젝트까지의 거리를 측정할 수 있다.
또한, 가상 공간에서의 정보 처리 장치(10)(또는, 촬상 장치(20))로부터 다른 장치(50)까지의 거리를, 현실 공간에서의 소정의 간격에 대응하는 가상 공간에서의 간격의 거리로서 이용하는 것이 가능하다. 이 경우, 예를 들어, 검출부(152)는, "각 장치를 1M만큼 서로 떨어져 있도록 교정을 행하세요"라는 메시지를 표시 장치(30)에 표시하게 한 후, 가상 공간에서의 정보 처리 장치(10)(또는, 촬상 장치(20))로부터 다른 장치(50)까지의 거리를 측정할 수 있다. 현실 공간에서의 소정의 간격의 거리는 1M 외에 다른 임의의 값일 수 있다는 점은 말할 필요도 없다.
또한, 예를 들어, 공간 좌표계에서 현재 장치와 다른 장치 간의 거리를 산출하기 위한 방법의 제2 예로서, 소정의 측정 장치를 사용하여 거리를 산출하는 방법이 고려될 수 있다. 소정의 측정 장치로서, GPS 센서, 깊이 센서(depth sensor), 지자기 나침반, 가속도 센서 등의 측정 장치가 사용될 수 있다. 소정의 측정 장치는, 예를 들어, 도 4에 도시된 각종 센서(40)에 대응된다. 이와 같이 산출된 거리는, 정보 처리 장치(10)(현재 장치)와 다른 장치(50) 간의 절대 거리에 대응된다. 따라서, 이 경우, 절대 가상 공간 좌표는 생성부(156)에 의해 생성된다.
송수신부(160)는, 공간 좌표계를 공유하기 위한 정보를 송신하거나 수신하는 기능을 갖고, 본 발명의 송신부 또는 수신부의 일례이다. 송수신부(160)는, 정규화부(158)에 의해 정규화된 다른 장치의 공간 좌표계를 다른 장치로 송신할 수 있고, 정규화부(158)에 의해 산출된 정규화 값을 다른 장치로 송신할 수 있다. 정규화된 공간 좌표계가 송신된 다른 장치는, 송신된 공간 좌표계를 이용해서 가상 공간의 공간 좌표계를 생성한다. 또한, 정규화 값이 송신된 다른 장치는, 송신된 정규화 값을 이용해서 가상 공간의 공간 좌표계를 정규화한다.
본원에서는, 도 7a, 도 7b 및 도 8을 참조하여, 공간 좌표계의 정규화에 대해서 설명한다. 도 7a는 정보 처리 장치(10)(디바이스 A) 및 다른 장치(디바이스 B)의 좌표 단위를 설명하기 위한 도면이다. 정보 처리 장치(10)와 다른 장치는 가상 공간의 공간 좌표계를 생성할 때에, 각 장치에 대응하는 현실 공간도 상이하기 때문에, 상이한 좌표 단위로 가상 공간의 공간 좌표계가 생성된다. 즉, 각 장치에서 생성된 공간 좌표계의 스케일이 상이하다.
도 7a에 도시된 바와 같이, 정보 처리 장치(10)(디바이스 A)의 생성부(156)에 의해 생성된 가상 공간의 공간 좌표계의 좌표 단위(331)와, 다른 장치(디바이스 B)에 의해 생성된 가상 공간의 공간 좌표계의 좌표 단위(333)는 서로 다르게 된다. 이와 같이, 디바이스 A의 공간 좌표계의 좌표 단위(331)와 디바이스 B의 공간 좌표계의 좌표 단위(333)가 서로 상이할 경우에는, 디바이스들 간에 가상 오브젝트의 위치를 정확하게 파악할 수 없다. 그래서, 정규화부(158)에 의해, 상이한 공간 좌표계의 좌표 단위를 정규화하고, 가상 오브젝트의 위치를 공유한다.
도 7b를 참조하여, 정규화부(158)에서의 공간 좌표계의 정규화에 대해서 설명한다. 정규화부(158)는, 디바이스 A의 공간 좌표계(XYZ 좌표계)에서의 디바이스 B까지의 좌표 단위를 취득한다. 또한, 디바이스 B의 공간 좌표계(X'Y'Z' 좌표계)에서의 디바이스 A까지의 좌표 단위를 취득한다. 디바이스 B의 공간 좌표계에서의 디바이스 A까지의 좌표 단위는, 송수신부(160)에 의해, 다른 장치인 디바이스 B로부터 수신된다.
디바이스 A와 디바이스 B의 공간 좌표계를 정규화하기 위한 정규화 값 a는 이하의 수학식에 따라 산출된다.
(정규화 값 a) = (X'Y'Z' 좌표계에서의 디바이스 A까지의 거리(좌표 단위))/(XYZ 좌표계에서의 디바이스 B까지의 거리(좌표 단위))
상기 수학식에 따라 산출된 정규화 값 a를 이용하여, 디바이스 B의 공간 좌표계를 정규화할 수 있다. 도 8을 참조하여, 디바이스 B의 공간 좌표계의 정규화에 대해서 설명한다. 도 8은 디바이스 B의 공간 좌표계의 정규화에 대해서 설명하기 위한 도면이다. 도 8에 도시된 바와 같이, 디바이스 A의 공간 좌표계는 XYZ 좌표계로 나타내어지고, 디바이스 B의 공간 좌표계는 X'Y'Z' 좌표계로 나타내어진다.
도 8에 도시된 바와 같이, 디바이스 A의 원점의 좌표는, 디바이스 A의 공간 좌표계(XYZ 좌표계)에서 (0, 0, 0)으로 나타내어진다. 디바이스 B의 무게 중심의 좌표는, 디바이스 B의 공간 좌표계(XYZ 좌표계)에서 (0, 0, d)로 나타내어진다. 여기서, d는 디바이스 A의 공간 좌표계(XYZ 좌표계)에서의 디바이스 A와 디바이스 B 간의 거리(좌표 단위)이다.
디바이스 B의 공간 좌표계(X'Y'Z' 좌표계)에서의 좌표(l, m, n)는, 정규화 값 a를 이용해서 하기와 같이 나타낼 수 있다.
l = -ax
m = ay
n = -az+d
상술된 바와 같이, 디바이스 B의 공간 좌표계를 디바이스 A에서 정규화하고, 정규화한 결과를 디바이스 B에 송신할 수도 있다. 또한, 디바이스 A에서 산출된 정규화 값 a를 디바이스 B에 송신할 수도 있다. 도 8에 도시된 바와 같이, 디바이스 B의 공간 좌표계를, 정규화 값을 이용해서 디바이스 A의 공간 좌표계로 나타내는 것에 의해, 양쪽 디바이스 간에 가상 공간에 배치되는 가상 오브젝트의 위치 관계를 적정하게 파악하는 것이 가능하게 된다.
또한, 도 8에서는, 공간 좌표계의 원점을 디바이스의 무게 중심으로 설정했지만, 본 발명은 이 예에 한정되지 않는다. 디바이스의 무게 중심 외의 점이나, 디바이스로부터 소정의 거리만큼 떨어진 점 등의 디바이스와의 위치 관계를 파악할 수 있는 점을 원점으로 설정할 수도 있다.
[5] 정보 처리 장치의 동작의 상세
이상, 정보 처리 장치(10)의 기능 구성에 대해서 설명했다. 그 다음에, 도 9 내지 도 14를 참조하여, 정보 처리 장치(10)의 동작의 상세에 대해서 설명한다. 우선, 도 9를 참조하여, 정보 처리 장치(10)(디바이스 A)에서의 다른 장치(디바이스 B)의 공간 좌표계의 정규화 처리에 대해서 설명한다. 도 9는 공간 좌표계의 정규화 처리를 도시하는 상세한 흐름도이다.
도 9에서, 정보 처리 장치(10)를 디바이스 A로서 설명하고, 다른 장치를 디바이스 B로서 설명한다. 이하 설명에서는, 디바이스 B도 디바이스 A와 동일한 기능 구성을 갖는 정보 처리 장치로서 설명한다. 도 9에 도시된 바와 같이, 우선, 디바이스 A의 검출부(152)는, 디바이스 A의 자세 정보를 취득한다(S102). 다음에, 디바이스 B에서, 디바이스 B의 자세 정보가 취득된다(S104).
다음에, 디바이스 B에서 취득된 자세 정보가 디바이스 A로 전송되고, 디바이스 A는 송수신부(160)를 통해 디바이스 B의 자세 정보를 취득한다(S106). 그 후, 스텝(S102)에서 취득된 디바이스 A의 자세 정보와, 스텝(S106)에서 수신된 디바이스 B의 자세 정보를 서로 비교한다(S108).
스텝(S108)에서, 디바이스 A의 자세 정보와 디바이스 B의 자세 정보가 서로 일치할 경우에, 생성부(156)는, 현실 공간의 3차원 공간 구조를 해석하여 가상 공간을 인식한다(S110). 스텝(S110)에서, 생성부(156)는 가상 공간의 공간 좌표계를 생성한다.
다음에, 디바이스 A의 정규화부(158)는, 디바이스 A에 의해 생성되는 AR 공간에서 디바이스 B까지의 거리를 취득한다(S112). 또한, 디바이스 B에서, 디바이스 B에 의해 생성되는 AR 공간에서 디바이스 A까지의 거리가 취득된다(S114). 스텝(S114)에서 취득된, 디바이스 B에서의 디바이스 A까지의 거리가 전송되고, 이 거리는 송수신부(160)를 통해 수신된다(S116).
본원에서, 스텝(S112)에서 스텝(S116)까지의 처리는, 디바이스 A와 디바이스 B 간의 거리를 일정하게 유지하면서, 행해진다. 이는, 동일한 거리에 대해 취득된 디바이스 A의 AR 공간에서의 디바이스 B까지의 거리(좌표 단위)와 디바이스 B의 AR 공간에서의 디바이스 A까지의 거리(좌표 단위)에 기초하여, 정규화 처리를 행함으로써, 디바이스 A와 디바이스 B 간에 공간 좌표계를 공유할 수 있기 때문이다.
다음에, 정규화부(158)는, 스텝(S112)에서 취득된 디바이스 A의 AR 공간(가상 공간)에서의 디바이스 B까지의 거리와 스텝(S116)에서 수신된 디바이스 B에서의 디바이스 A까지의 거리로부터, 디바이스 B의 공간 좌표계를 정규화하기 위한 정규화 값 a를 산출한다. 보다 구체적으로, 디바이스 B의 공간 좌표계에서의 디바이스 A까지의 거리(좌표 단위)를, 디바이스 A의 공간 좌표계에서의 디바이스 B까지의 거리(좌표 단위)로 나눔으로써 정규화 값 a를 산출한다.
이상, 공간 좌표계의 정규화 처리에 대해서 설명했다. 다음에, 도 10 및 도 11을 참조하여, 각 디바이스의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리에 대해서 설명한다. 도 10은, 디바이스 A의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리를 도시하는 흐름도이다. 또한, 도 11은, 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리를 도시하는 흐름도이다.
도 10에 도시된 바와 같이, 우선, 디바이스 A의 AR 공간에서의 좌표가 지정된다(S202). 디바이스 A에서는, 스텝(S202)에서 지정된 좌표가 AR 공간에서의 좌표로서 결정된다(S204).
그 후, 정규화부(158)에 의해 산출된 정규화 값 a에 기초하여, 스텝(S202)에서 지정된 좌표가 디바이스 B의 AR 공간 좌표계의 좌표로 변환된다(S206). 상술된 바와 같이, 디바이스 B의 공간 좌표계의 좌표(l, m, n)는, 정규화 값 a와 디바이스들 간의 거리 d를 이용하여, (-ax, ay, -az+d)로 나타낼 수 있다. 따라서, 스텝(S202)에서 지정된 좌표(x, y, z)는, 디바이스 B의 AR 공간 좌표계의 좌표(-ax, ay, -az+d)로 변환된다.
그리고, 스텝(S206)에서 변환된 좌표는, 송수신부(160)를 통해 디바이스 B로 전송된다(S208). 디바이스 B는, 스텝(S208)에서 전송된 좌표를 수신한다(S210). 이와 같이, 디바이스 A에서 지정된 좌표를 디바이스 B의 AR 공간 좌표계의 좌표로 변환하고, 변환된 좌표를 디바이스 B에 송신하여, AR 공간의 공간 좌표계를 공유한다. 따라서, AR 공간에 배치된 AR 오브젝트의 위치 관계를 적정하게 파악하는 것이 가능하게 된다.
다음에, 도 11을 참조하여, 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리에 대해서 설명한다. 도 11에 도시된 바와 같이, 디바이스 B의 AR 공간에서의 좌표가 지정된다(S302). 디바이스 B에서, 스텝(S302)에서 지정된 좌표를 이용하여, AR 공간에서의 좌표가 결정된다(S304). 스텝(S302)에서 지정된 좌표가 디바이스 A로 전송된다(S306).
디바이스 A에서, 스텝(S306)에서 전송된 좌표가 송수신부(160)를 통해 취득(수신)된다(S308). 스텝(S308)에서 취득되는 디바이스 B에 의해 지정된 좌표를, 디바이스 A의 AR 공간 좌표계의 좌표로 변환한다(S310). 상술된 바와 같이, 디바이스 B의 AR 공간 좌표계의 좌표는, 정규화 값 a 및 디바이스들 간의 거리 d를 이용하여 (-ax, ay, -az+d)로 나타낼 수 있다. 따라서, 정규화 값 a 및 디바이스들 간의 거리 d를 이용하여, 디바이스 B에서 지정된 좌표를 디바이스 A의 공간 좌표계의 좌표로 변환한다.
그 후, 스텝(S310)에서 변환된 좌표가, 디바이스 A의 좌표로서 결정된다(S312). 이와 같이, 디바이스 B에서 좌표가 지정되는 경우에도, 디바이스 B에서 지정된 좌표를 디바이스 A의 AR 공간의 공간 좌표계에서의 좌표로 변환하고, AR 공간의 공간 좌표계를 공유한다. 따라서, AR 공간에 배치된 AR 오브젝트의 위치 관계를 적정하게 파악하는 것이 가능하게 된다.
이상, 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리에 대해서 설명했다. 상술된 바와 같이, 본 실시 형태의 정보 처리 장치(10)에 따르면, 현실 공간의 3차원 공간을 해석함으로써 가상 공간을 인식할 수 있는 복수의 장치 간에, 각 장치에서의 공간 좌표계를 정규화하고, 가상 공간에 배치되는 가상 오브젝트의 적정 위치를 파악함으로써, 가상 오브젝트를 공유하는 것이 가능하게 된다.
[6] 정보 처리 장치의 동작의 상세에 대한 변형
다음에, 도 12 내지 도 14를 참조하여, 정보 처리 장치(10)의 동작의 상세에 대한 변형에 대하여 설명한다. 우선, 도 12를 참조하여, 다른 장치(디바이스 B)의 정보 처리 장치(10)(디바이스 A)에서의 공간 좌표계의 정규화 처리에 대해서 설명한다. 도 12는 공간 좌표계의 정규화 처리를 도시하는 상세한 흐름도이다. 도 12에서, 정보 처리 장치(10)를 디바이스 A라고 설명하고, 다른 장치를 디바이스 B라고 설명한다. 이하 설명에서는, 또한 디바이스 B를, 디바이스 A와 동일한 기능 구성을 갖는 정보 처리 장치로서 설명한다.
도 12에 도시된 바와 같이, 디바이스 A의 검출부(152)는, 소정의 거리에 대응하는 제1 좌표 단위를 취득한다(S402). 예를 들어, 소정의 거리가 1M(미터)이고, 디바이스 A의 가상 공간 좌표에서의 1M에 대응하는 거리가 10 스케일에 대응하는 경우에, 10 스케일이 제1 좌표 단위로서 취득된다. 다음에, 디바이스 B의 검출부(152)는, 상기 소정의 거리에 대응하는 제2 좌표 단위를 취득한다(S404). 예를 들어, 소정의 거리가 1M(미터)이고, 디바이스 B의 가상 공간 좌표에서의 1M에 대응하는 거리가 5 스케일에 대응하는 경우에, 5 스케일이 제2 좌표 단위로서 취득된다.
그 후, 디바이스 B에 의해 취득된 제2 좌표 단위가 디바이스 A로 전송되고(S406), 디바이스 A는 송수신부(160)를 통해 제2 좌표 단위를 취득한다. 그 후, 디바이스 A의 정규화부(158)는, 스텝(S402)에서 취득된 제1 좌표 단위와 수신된 제2 좌표 단위에 기초하여 정규화 값 a를 산출한다(S408). 보다 구체적으로는, 디바이스 A의 정규화부(158)는, 제2 좌표 단위를 제1 좌표 단위로 나누어 정규화 값 a를 산출한다.
다음에, 디바이스 A의 검출부(152)는, 디바이스 A의 자세 정보를 취득한다(S410). 그 후, 디바이스 B에서 디바이스 B의 자세 정보가 취득된다(S412). 이후, 디바이스 B에서 취득된 자세 정보가 디바이스 A로 전송되고(S414), 디바이스 A는 송수신부(160)를 통해 디바이스 B의 자세 정보를 취득한다. 상술된 바와 같이, 비교부(154)는, 촬상 장치(20)에 의해 촬상된 다른 장치의 화상을 해석함으로써 다른 장치의 자세 정보를 취득하고, 이렇게 취득한 다른 장치의 자세 정보와 현재 장치의 자세 정보 간의 차이를 산출할 수도 있다. 이와 같이 산출된 차이를 이용하여, 스텝(S412)에서의 처리 및 스텝(S414)에서의 처리를 생략할 수도 있다.
이상, 공간 좌표계의 정규화 처리의 변형에 대하여 설명했다. 다음에, 도 13 및 도 14를 참조하여, 각 장치의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리에 대해서 설명한다. 도 13은 디바이스 A의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리의 변형을 도시하는 흐름도이다. 또한, 도 14는 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리의 변형을 도시하는 흐름도이다.
도 13에 도시된 바와 같이, 우선 디바이스 A의 AR 공간에서의 좌표가 지정된다(S502). 디바이스 A에서, 스텝(S502)에서 지정된 좌표가 AR 공간에서의 좌표로 결정된다(S504).
다음에, 스텝(S502)에서 지정된 좌표가, 디바이스 A의 자세 정보, 디바이스 B의 자세 정보 및 정규화부(158)에 의해 산출된 정규화 값에 기초하여, 디바이스 B의 AR 공간 좌표계에서의 좌표로 변환된다(S506). 다음에, 스텝(S506)에서 변환된 좌표를 송수신부(160)를 통해 디바이스 B로 전송한다(S508). 디바이스 B는 스텝(S508)에서 전송된 좌표를 수신한다(S510).
이와 같이, 디바이스 A에서 지정된 좌표를, 디바이스 B의 AR 공간 좌표계에서의 좌표로 변환하고, 변환된 좌표를 디바이스 B로 전송하여, AR 공간의 공간 좌표계를 공유한다. 따라서, AR 공간에 배치된 AR 오브젝트의 위치 관계를 적정하게 파악하는 것이 가능하게 된다. 예를 들어, 디바이스 B는, 수신된 변환 좌표에 따라 표시 화상을 제어할 수 있다.
다음에, 도 14를 참조하여, 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리의 변형에 대해서 설명한다. 도 14에 도시된 바와 같이, 디바이스 B의 AR 공간에서의 좌표가 지정된다(S602). 디바이스 B에서, AR 공간에서의 좌표는, 스텝(S602)에서 지정된 좌표를 사용하여 결정된다(S604). 스텝(S602)에서 지정된 좌표는 디바이스 A로 전송된다(S606).
디바이스 A에서, 스텝(S606)에서 전송된 좌표가 송수신부(160)를 통해 취득(수신)된다(S608). 디바이스 A에서, 스텝(S602)에서 지정된 좌표를, 디바이스 A의 자세 정보, 디바이스 B의 자세 정보 및 정규화부(158)에 의해 산출된 정규화 값 a에 기초하여, 디바이스 B의 AR 공간에서의 좌표로 변환한다(S610).
다음에, 스텝(S610)에서 변환된 좌표가 디바이스 A의 좌표로서 결정된다(S612). 이와 같이, 디바이스 B의 좌표가 지정되는 경우에도, 디바이스 B에서 지정된 좌표를, 디바이스 A의 AR 공간에서의 공간 좌표계로 변환하고, AR 공간의 공간 좌표계를 공유한다. 따라서, AR 공간에 배치된 AR 오브젝트의 위치 관계를 적정하게 파악할 수 있게 된다. 그래서, 디바이스 A는 수신된 변환 좌표에 따라 표시 화상을 제어할 수 있다.
이상, 디바이스 B의 AR 공간에서의 좌표가 지정되는 경우의 좌표 변환 처리의 변형에 대해서 설명했다. 상술된 바와 같이, 본 실시 형태의 정보 처리 장치(10)에 따르면, 현실 공간의 3차원 공간을 해석함으로써 가상 공간을 인식할 수 있는 복수의 장치 간에, 각 장치에서의 공간 좌표계를 정규화하고, 가상 공간에 배치된 가상 오브젝트의 적정 위치를 파악함으로써, 가상 오브젝트를 공유하는 것이 가능하게 된다.
본 분야의 숙련자는, 첨부된 청구항들 또는 그 등가물의 범위 내에서 설계 요건 및 다른 요소에 따라, 각종 변경, 결합, 부분-결합 및 변형이 행해질 수 있음을 이해해야 한다.
예를 들어, 본 명세서에 기술된 정보 처리 장치(10)의 처리에서 스텝들은, 반드시 흐름도에 기재된 순서에 따라 시계열적으로 실행될 필요는 없다. 즉, 정보 처리 장치(10)의 처리에서 스텝들은, 다른 처리와 병렬로 실행될 수 있다. 또한, 공유되는 좌표계는 중력 방향을 갖는 글로벌 좌표계일 수 있다. 또한, 좌표 변환 처리는 디바이스들 중 어느 한쪽에서 행해질 수 있고, 클라우드 서버에서 행해질 수도 있다.
또한, 정보 처리 장치(10) 등에 내장되는 CPU, ROM 및 RAM 등의 하드웨어는, 상술한 정보 처리 장치(10)의 구성 요소와 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램에 의해 구현될 수도 있다. 또한, 컴퓨터 프로그램을 저장하는 저장 매체도 제공된다.
10 : 정보 처리 장치
152 : 검출부
154 : 비교부
156 : 생성부
158 : 정규화부
160 : 송수신부
20 : 촬상 장치
30 : 표시 장치

Claims (21)

  1. 정보 처리 장치로서,
    상기 정보 처리 장치에 대응하는 제1 자세 정보, 상기 정보 처리 장치에 대응하는 제1 거리 좌표, 다른 정보 처리 장치에 대응하는 제2 자세 정보, 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하도록 구성되는 프로세서
    를 포함하고,
    상기 프로세서는, 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표 및 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하도록 구성되는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 정보 처리 장치의 방향을 검출함으로써 상기 제1 자세 정보를 검출하도록 구성되는 검출부를 더 포함하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 다른 정보 처리 장치로부터 상기 제2 자세 정보를 취득하도록 구성되는 인터페이스를 더 포함하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 다른 정보 처리 장치에 대응하는 화상을 취득하도록 구성되는 촬상 장치를 더 포함하고, 상기 프로세서는, 취득된 화상에 기초하여 상기 제2 자세 정보를 취득하도록 구성되는, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 가상 공간에서의 상기 정보 처리 장치와 상기 다른 정보 처리 장치 간의 거리를 산출하도록 구성되는 검출부를 더 포함하는, 정보 처리 장치.
  6. 제1항에 있어서,
    현실 공간에서의 상기 정보 처리 장치와 상기 다른 정보 처리 장치 간의 거리를 산출하도록 구성되는 검출부를 더 포함하는, 정보 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 제1 자세 정보와 상기 제2 자세 정보에 기초하여, 상기 가상 공간을 인식하도록 구성되는, 정보 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 제1 거리 좌표와 상기 제2 거리 좌표 간의 차이에 기초하여, 정규화 값을 산출하도록 구성되는, 정보 처리 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 가상 공간에서의 상기 정보 처리 장치의 좌표를 결정하고, 상기 좌표를, 상기 정규화 값에 기초하여 상기 다른 정보 처리 장치의 가상 공간에서의 좌표로 변환하도록 구성되는, 정보 처리 장치.
  10. 제9항에 있어서,
    변환된 상기 좌표를 상기 다른 정보 처리 장치로 전송하도록 구성되는 인터페이스를 더 포함하는, 정보 처리 장치.
  11. 제8항에 있어서,
    상기 다른 정보 처리 장치로부터 좌표를 수신하도록 구성되는 인터페이스를 더 포함하고, 상기 프로세서는, 상기 좌표를, 상기 정규화 값에 기초하여 상기 정보 처리 장치의 가상 공간에서의 좌표로 변환하도록 구성되는, 정보 처리 장치.
  12. 제1항에 있어서,
    상기 제1 거리 좌표는 제1 거리 스케일링 요소에 대응하고, 상기 제2 거리 좌표는 제2 거리 스케일링 요소에 대응하는, 정보 처리 장치.
  13. 제12항에 있어서,
    상기 프로세서는, 상기 제1 거리 스케일링 요소와 상기 제2 거리 스케일링 요소에 기초하여, 정규화 값을 산출하도록 구성되는, 정보 처리 장치.
  14. 제12항에 있어서,
    상기 프로세서는, 상기 제1 거리 스케일링 요소를 상기 제2 거리 스케일링 요소로 나누어 정규화 값을 산출하도록 구성되는, 정보 처리 장치.
  15. 제13항에 있어서,
    상기 프로세서는, 상기 정보 처리 장치의 가상 공간에서의 좌표를 지정하고, 상기 좌표를, 상기 제1 자세 정보, 상기 제2 자세 정보 및 상기 정규화 값에 기초하여, 변환하도록 구성되는, 정보 처리 장치.
  16. 제15항에 있어서,
    변환된 상기 좌표를 상기 다른 정보 처리 장치로 전송하도록 구성되는 인터페이스를 더 포함하는, 정보 처리 장치.
  17. 제13항에 있어서,
    상기 다른 정보 처리 장치로부터 좌표를 수신하도록 구성되는 인터페이스를 더 포함하는, 정보 처리 장치.
  18. 제17항에 있어서,
    상기 프로세서는, 상기 좌표를, 상기 제1 자세 정보, 상기 제2 자세 정보 및 상기 정규화 값에 기초하여 변환하도록 구성되는, 정보 처리 장치.
  19. 제18항에 있어서,
    표시 장치를 더 포함하고, 상기 프로세서는, 변환된 상기 좌표에 기초하여 상기 오브젝트를 표시하도록 상기 표시 장치를 제어하도록 구성되는, 정보 처리 장치.
  20. 정보 처리 장치에 의해 실행되는 정보 처리 방법으로서,
    상기 정보 처리 장치의 프로세서에 의해, 상기 정보 처리 장치에 대응하는 제1 자세 정보 및 상기 정보 처리 장치에 대응하는 제1 거리 좌표를 취득하는 단계;
    상기 정보 처리 장치의 인터페이스에 의해, 다른 정보 처리 장치에 대응하는 제2 자세 정보 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하는 단계; 및
    상기 정보 처리 장치의 상기 프로세서에 의해, 상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하는 단계
    를 포함하는, 정보 처리 방법.
  21. 정보 처리 장치에 의해 실행될 때, 상기 정보 처리 장치로 하여금 하기의 방법을 실행하게 하는 컴퓨터 프로그램 명령어들을 포함하는 비일시적인 컴퓨터 판독가능 매체로서,
    상기 방법은,
    상기 정보 처리 장치에 대응하는 제1 자세 정보 및 상기 정보 처리 장치에 대응하는 제1 거리 좌표를 취득하는 단계;
    다른 정보 처리 장치에 대응하는 제2 자세 정보 및 상기 다른 정보 처리 장치에 대응하는 제2 거리 좌표를 취득하는 단계; 및
    상기 제1 자세 정보와 상기 제2 자세 정보, 및 상기 제1 거리 좌표와 상기 제2 거리 좌표에 기초하여, 가상 공간에서의 오브젝트의 위치를 산출하는 단계
    를 포함하는, 비일시적인 컴퓨터 판독가능 매체.
KR1020127023331A 2010-03-17 2011-03-09 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20130049769A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010061128 2010-03-17
JPJP-P-2010-061128 2010-03-17
PCT/JP2011/001382 WO2011114659A1 (en) 2010-03-17 2011-03-09 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
KR20130049769A true KR20130049769A (ko) 2013-05-14

Family

ID=44648775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127023331A KR20130049769A (ko) 2010-03-17 2011-03-09 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (8)

Country Link
US (1) US9076256B2 (ko)
EP (1) EP2548179A4 (ko)
KR (1) KR20130049769A (ko)
CN (1) CN102792339B (ko)
BR (1) BR112012022681A2 (ko)
RU (1) RU2533628C2 (ko)
TW (1) TW201205345A (ko)
WO (1) WO2011114659A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459175B1 (ko) * 2010-12-23 2014-11-07 주식회사 케이티 이동하는 가상 이미지를 공유하는 단말 장치 및 시스템과 그 방법
EP2795936B1 (en) * 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality
WO2014016986A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元環境共有システム及び３次元環境共有方法
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
TWI651657B (zh) 2016-10-21 2019-02-21 財團法人資訊工業策進會 擴增實境系統與方法
CN109126121B (zh) * 2018-06-01 2022-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
JP2020065229A (ja) * 2018-10-19 2020-04-23 西日本電信電話株式会社 映像通信方法、映像通信装置及び映像通信プログラム
CN109976523B (zh) * 2019-03-22 2021-05-18 联想(北京)有限公司 信息处理方法和电子设备
CN114127794A (zh) 2019-09-20 2022-03-01 麦克赛尔株式会社 信息终端装置以及位置辨识共享方法
JP7447474B2 (ja) * 2019-12-19 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111651051B (zh) * 2020-06-10 2023-08-22 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN112711332B (zh) * 2020-12-29 2022-07-15 上海交通大学宁波人工智能研究院 一种基于姿态坐标的人体动作捕捉方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JPH1184307A (ja) * 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JPH11237867A (ja) * 1998-02-20 1999-08-31 Shimadzu Corp 仮想空間表示装置
JP2874865B1 (ja) * 1998-03-03 1999-03-24 株式会社エイ・ティ・アール知能映像通信研究所 見学者案内支援装置および方法
JP3653463B2 (ja) 2000-11-09 2005-05-25 日本電信電話株式会社 複数のユーザによる仮想空間共有システム
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
JP2004129180A (ja) * 2002-09-30 2004-04-22 Atsusato Fujii 仮想空間体験のためのシステム
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP2005050043A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法、画像処理装置
US7667700B1 (en) * 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
EP1922614A2 (en) * 2005-08-15 2008-05-21 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
JP5084167B2 (ja) * 2006-03-31 2012-11-28 キヤノン株式会社 位置姿勢計測方法及び装置
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment

Also Published As

Publication number Publication date
US20120314936A1 (en) 2012-12-13
CN102792339A (zh) 2012-11-21
US9076256B2 (en) 2015-07-07
RU2533628C2 (ru) 2014-11-20
BR112012022681A2 (pt) 2018-05-22
EP2548179A1 (en) 2013-01-23
TW201205345A (en) 2012-02-01
EP2548179A4 (en) 2013-10-16
RU2012138387A (ru) 2014-03-20
WO2011114659A1 (en) 2011-09-22
CN102792339B (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
KR20130049769A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US8891855B2 (en) Information processing apparatus, information processing method, and program for generating an image including virtual information whose size has been adjusted
CN111784765B (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
CN107402000A (zh) 用于相对于测量仪器参照显示装置的系统和方法
KR101665399B1 (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
US20110254859A1 (en) Image processing system, image processing apparatus, image processing method, and program
JP2008275391A (ja) 位置姿勢計測装置及び位置姿勢計測方法
JP2012043414A (ja) 拡張現実情報提供装置及び方法
KR20120092496A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램 및 정보 처리 시스템
JP5456175B2 (ja) 映像監視装置
US11778419B2 (en) Electronic device detecting location and method thereof
JP2013025327A (ja) オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
CN114022532A (zh) 身高测量方法、身高测量装置和终端
JP2012133591A (ja) 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN105100501B (zh) 一种基于物联网的手机计算系统
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
CN110095792B (zh) 定位终端的方法及装置
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质
CN113432620B (zh) 误差估计方法、装置、车载终端及存储介质
EP4016251A1 (en) Portable display device with overlaid virtual information
TWI699705B (zh) 車輛之位置決定方法及系統，及其相關電腦程式產品
JP2017130047A (ja) 情報処理装置、情報処理システム、及びプログラム
US20160151667A1 (en) Movement-orbit sensing system and movement-orbit collecting method using the same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid