KR20120069654A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20120069654A
KR20120069654A KR1020127000896A KR20127000896A KR20120069654A KR 20120069654 A KR20120069654 A KR 20120069654A KR 1020127000896 A KR1020127000896 A KR 1020127000896A KR 20127000896 A KR20127000896 A KR 20127000896A KR 20120069654 A KR20120069654 A KR 20120069654A
Authority
KR
South Korea
Prior art keywords
information
display
cursor
display unit
virtual object
Prior art date
Application number
KR1020127000896A
Other languages
English (en)
Inventor
고우이찌 마쯔다
마사끼 후꾸찌
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120069654A publication Critical patent/KR20120069654A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 표시부 외부로 이동한 커서 등을 가상 오브젝트로서 표시하여 관찰할 수 있는 구성을 실현한다. PC 등의 표시부 외측 영역에 밀려나온 커서 또는 오브젝트를 가상 오브젝트로서 표시한다. 예를 들어 유저가 장착한 안경의 디스플레이에 PC 등의 표시 장치와 그 외부 영역의 화상을 표시한다. 유저 조작에 따라서 이동했다고 상정되는 커서 또는 오브젝트의 3차원 위치를 산출하고, 산출한 위치에 가상 오브젝트로서 표시한다. 또한 커서에 의해 지정된 오브젝트에 대응하는 오브젝트 정보를 취득하여 제시한다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 더욱 상세하게는 실세계의 실물체와 전자적인 표시를 융합시킨 복합 현실감(MR: Mixed Reality)을 이용한 데이터 처리를 행하는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
예를 들어 유저가 PC(퍼스널 컴퓨터)를 이용한 데이터 처리를 행하는 경우, 유저는 PC의 표시부(디스플레이)의 표시 데이터에 대한 처리를 행한다. 그러나 한정된 범위의 표시부만을 대상으로 한 데이터 처리에는 이하와 같은 문제가 있다.
(1) PC 등의 표시부에 표시한 마우스 커서를 마우스로 조작하면, 표시부의 화면 영역의 단부에서 그 이동이 멈추어버린다. 이 때문에 마우스 커서로 표시부 내부의 오브젝트나 윈도우를 조작하고 있어도 표시부의 화면 영역 외부로 이동시킬 수 없다.
(2) PC 등의 표시부의 표시 영역이 유저가 이용하는 윈도우 등에 가득 찼을 경우, 다수의 윈도우가 겹쳐서 표시될 때에 아래에 있는 윈도우를 보고 싶은 경우에는, 유저가 하측의 윈도우를 선택해서 상측에 표시하는 처리 및 겹쳐진 윈도우를 아이콘화하는 등의 조작이 필요하게 된다. 그러나 전자의 처리를 행하면 아래로 가게 된 윈도우, 후자의 경우에는 아이콘화된 윈도우의 내용을 볼 수 없게 된다.
이러한 문제가 있다. 또한, PC 등의 표시부 크기 이상의 영역을 이용하기 위한 처리로서 이하의 처리가 가능하다.
(a) 새로운 물리적인 디스플레이를 준비하여 유저가 조작하는 컴퓨터에 접속하고, 복수의 디스플레이를 이용 가능하게 한다.
(b) 1개의 표시부 내에 가상 데스크탑을 설정해서 이용한다.
그러나 전자 (a)의 경우에는 디스플레이를 추가하기 위한 비용, 공간이 필요하게 된다는 문제가 있다. 또한, 후자 (b)는 실제로 표시부에 표시되어 있는 이외의 부분에 액세스하기 위해서, 유저 조작에 의한 커맨드 입력 및 트레이 등에 표시되는 아이콘의 조작이 필요하다는 문제가 있다.
본 발명은 이러한 문제를, 예를 들어 복합 현실감(MR: Mixed Reality)을 이용한 데이터 처리를 이용해서 해결하는 것이다. 또한, 복합 현실감에 대해서 설명한 종래 기술로서는, 예를 들어 특허문헌 1(일본 특허 공개 제2008-304268호 공보) 및 특허문헌 2(일본 특허 공개 제2008-304269호 공보)가 있다. 이들 문헌에는 카메라에 의해 촬영된 화상을 이용해서 실세계의 3차원 맵을 작성하는 처리에 대해서 기재하고 있다.
특허문헌 1: 일본 특허 공개 제2008-304268호 공보 특허문헌 2: 일본 특허 공개 제2008-304269호 공보
본 발명은 복합 현실감(MR: Mixed Reality)을 이용한 처리에 의해, 예를 들어 PC 등의 표시부(디스플레이)에 한정되지 않고, 표시부 이외의 공간 영역을 유효하게 이용한 데이터 처리를 가능하게 한 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하는 좌표 처리 모듈과,
상기 제1 표시부를 포함하는 실제 오브젝트로 이루어진 화상을 촬영하는 카메라와,
카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석부와,
상기 카메라 촬영 화상을 표시하는 제2 표시부와,
상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 상기 제2 표시부에 표시하는 가상 오브젝트 관리부를 갖고,
상기 가상 오브젝트 관리부는,
상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하는 정보 처리 장치에 있다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 정보 처리 장치는, 상기 위치 지시자에 의해 지정된 지정 오브젝트에 대한 처리를 행하는 어플리케이션 실행부를 갖고, 상기 어플리케이션 실행부는 상기 지정 오브젝트가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 오브젝트 위치 정보를 가상 오브젝트 관리부에 출력하고, 상기 가상 오브젝트 관리부는, 상기 좌표 처리 모듈로부터 입력한 오브젝트 위치 정보에 기초하여 오브젝트의 3차원 위치를 산출하고, 산출한 위치에 오브젝트를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 가상 오브젝트 관리부는, 상기 좌표 처리 모듈로부터 입력한 오브젝트 위치 정보에 기초하여 산출한 오브젝트의 3차원 위치가 상기 제1 표시부의 표시 영역을 포함하는 경우, 상기 제1 표시부의 표시 영역에 겹치는 오브젝트 영역 화상을 소거한 합성 화상을 상기 제2 표시부에 표시한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 정보 처리 장치는, 또한, 상기 가상 오브젝트로서 설정한 커서에 의해 지정된 실제 오브젝트의 화상 데이터를 취득하고, 취득한 화상 데이터에 기초하는 데이터 검색을 행해서 오브젝트 정보의 취득 처리를 행하는 오브젝트 정보 취득부를 갖고, 상기 오브젝트 정보 취득부는, 취득한 오브젝트 정보를 상기 제1 표시부로의 표시 데이터로서 출력하는 처리를 행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 오브젝트 정보 취득부는, 실제 오브젝트의 화상 데이터와 오브젝트 정보를 대응시킨 데이터베이스 또는 서버에 대한 액세스를 실행하고, 상기 실제 오브젝트의 화상 데이터에 기초하는 검색 처리에 의해 오브젝트 정보를 취득한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 가상 오브젝트 관리부는, 상기 카메라 촬영 화상에 포함되는 제1 표시부의 구성 부위의 3차원 위치 정보에 기초하여 제1 표시부의 표시면을 포함하는 평면을 산출하고, 상기 평면 위에 상기 커서의 위치가 설정되도록, 상기 커서의 3차원 위치를 산출하는 처리를 행한다.
또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 커서는 마우스 조작에 의해 이동하는 마우스 커서이며, 상기 좌표 처리 모듈은 마우스 조작에 의한 마우스 커서의 변위 정보를 입력하고, 마우스 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하는 처리를 행한다.
또한, 본 발명의 제2 측면은,
정보 처리 장치에서 실행하는 정보 처리 방법이며,
좌표 처리 모듈이 제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하는 좌표 처리 스텝과,
카메라가 상기 제1 표시부를 포함하는 실제 오브젝트로 이루어진 화상을 촬영하는 촬영 스텝과,
3차원 정보 해석부가 카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석 스텝과,
가상 오브젝트 관리부가 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리 스텝을 갖고,
상기 가상 오브젝트 관리 스텝은,
상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하는 스텝인 정보 처리 방법에 있다.
또한, 본 발명의 제3 측면은,
정보 처리 장치에서 정보 처리를 실행시키는 프로그램이며,
좌표 처리 모듈에 제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하게 하여, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하게 하는 좌표 처리 스텝과,
카메라에 상기 제1 표시부를 포함하는 실제 오브젝트로 이루어진 화상을 촬영하게 하는 촬영 스텝과,
3차원 정보 해석부에 카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하게 하는 3차원 정보 해석 스텝과,
가상 오브젝트 관리부에 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하게 하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 제2 표시부에 표시하게 하는 가상 오브젝트 관리 스텝을 갖고,
상기 가상 오브젝트 관리 스텝은,
상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하게 하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하게 하는 스텝인 프로그램에 있다.
또한, 본 발명의 프로그램은 예를 들어 여러 가지 프로그램·코드를 실행 가능한 화상 처리 장치나 컴퓨터·시스템에 대하여, 컴퓨터 가독 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독 형식으로 제공함으로써, 화상 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징 및 이점은 후술하는 본 발명의 실시예 및 첨부하는 도면에 기초한 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로 제한하지 않는다.
본 발명의 일 실시예의 구성에 의하면, PC 등의 표시부의 외측 영역으로 밀려나온 커서 또는 오브젝트를 가상 오브젝트로서 표시한다. 예를 들어 유저가 장착한 안경의 디스플레이에 PC 등의 표시 장치와 그 외부 영역의 화상을 표시한다. 유저 조작에 따라서 이동했다고 상정되는 커서 또는 오브젝트의 3차원 위치를 산출하고, 산출한 위치에 가상 오브젝트로서 표시한다. 또한 커서에 의해 지정된 오브젝트에 대응하는 오브젝트 정보를 취득해서 제시한다. 본 구성에 의해 표시부의 외부로 나와버린 데이터를 항상 관찰하여 확인할 수 있게 되고, 데이터 처리 효율을 높일 수 있다.
도 1은 본 발명의 정보 처리 장치가 실행하는 일 처리 예에 대해서 설명하는 도면이다.
도 2는 본 발명의 정보 처리 장치가 실행하는 일 처리 예에 대해서 설명하는 도면이다.
도 3은 본 발명의 정보 처리 장치가 실행하는 일 처리 예에 대해서 설명하는 도면이다.
도 4는 본 발명의 정보 처리 장치의 구성예에 대해서 설명하는 도면이다.
도 5는 본 발명의 정보 처리 장치의 처리에 의해 유저가 장착한 안경의 디스플레이에 표시되는 표시 데이터의 예에 대해서 설명하는 도면이다.
도 6은 본 발명의 정보 처리 장치가 실행하는 처리 시퀀스에 대해서 설명하는 흐름도를 도시하는 도면이다.
도 7은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리 예에 대해서 설명하는 도면이다.
도 8은 본 발명의 정보 처리 장치의 처리에 의해 유저가 장착한 안경의 디스플레이에 표시되는 표시 데이터의 예에 대해서 설명하는 도면이다.
도 9는 본 발명의 정보 처리 장치가 실행하는 처리 시퀀스에 대해서 설명하는 흐름도를 도시하는 도면이다.
도 10은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리 예에 대해서 설명하는 도면이다.
도 11은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리 예에 대해서 설명하는 도면이다.
도 12는 본 발명의 정보 처리 장치의 구성예에 대해서 설명하는 도면이다.
도 13은 본 발명의 정보 처리 장치의 처리에 의해 유저가 장착한 안경의 디스플레이에 표시되는 표시 데이터의 예에 대해서 설명하는 도면이다.
도 14는 본 발명의 정보 처리 장치가 실행하는 처리 시퀀스에 대해서 설명하는 흐름도를 도시하는 도면이다.
이하, 도면을 참조하면서 본 발명의 정보 처리 장치, 정보 처리 방법 및 프로그램의 상세에 대해서 설명한다.
본 발명에 대해서 이하의 항목을 따라서 순차 설명한다.
1. 본 발명의 정보 처리 장치가 실행하는 처리의 개요에 대해서
2. 본 발명의 정보 처리 장치의 제1 실시예의 구성 및 처리에 대해서
3. 본 발명의 정보 처리 장치의 제2 실시예의 구성 및 처리에 대해서
4. 본 발명의 정보 처리 장치의 제3 실시예의 구성 및 처리에 대해서
[1. 본 발명의 정보 처리 장치가 실행하는 처리의 개요에 대해서]
우선, 본 발명의 정보 처리 장치가 실행하는 처리의 개요에 대해서, 도 1 내지 도 3을 참조하여 설명한다. 본 발명은 복합 현실감(MR: Mixed Reality)을 이용한 처리에 의해, 예를 들어 PC 등의 표시부(디스플레이) 이외의 공간 영역을 유효하게 이용한 데이터 처리를 가능하게 하는 것이다.
도 1은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 도이다. 도 1에는 유저가 조작하는, 예를 들어 PC 등의 표시부(10)를 도시하고 있다. 또한, 상세 구성에 대해서는 후술하는데, 유저는 복합 현실감(MR: Mixed Reality) 생성 장치의 생성 화상을 표시하는 디스플레이를 갖는 안경을 장착해서 PC의 조작을 행하고 있다.
안경에는 주위의 환경을 촬영하는 카메라가 구비되고, 안경의 디스플레이에는 카메라의 촬영 화상과 복합 현실감(MR: Mixed Reality) 생성 장치가 생성하는 가상 오브젝트의 합성 화상이 표시된다. 도 1의 (a), (b)의 각 도면은 유저가 장착한 안경의 디스플레이에 표시되어, 유저가 관찰하는 화상이다.
유저는 예를 들어 도 1의 (a)에 도시하는 바와 같이 표시부(10)에 문서를 표시하고, 문서 작성을 행하고 있다. 이 처리는 일반적인 PC의 조작이다. 도 1의 (a)에 도시하는 표시부(10)에는 유저가 조작하는 마우스에 대응해서 이동하는 위치 지시자로서의 마우스 커서(11a)가 표시되어 있다.
유저는 마우스를 조작함으로써, 마우스 커서(11a)를 이동시킬 수 있다. 종래 장치에서는 마우스 커서의 이동 범위는 표시부(10)의 표시 영역에 한정된다. 그러나 본 발명의 구성을 적용하면, 마우스 커서의 이동 범위는 표시부(10)의 표시 영역에 한정되지 않는다.
예를 들어, 유저의 마우스 조작에 의해 도 1의 (a)에 도시하는 이동 라인(12)을 따라서 마우스 커서(11a)를 이동시키면, 도 1의 (b)에 도시하는 바와 같이, 마우스 커서는 표시부(10)의 외측의 공간으로 이동시킬 수 있다. 도 1의 (b)에 도시하는 마우스 커서(11b)이다. 이 도 1의 (b)에 도시하는 마우스 커서(11b)는 복합 현실감(MR) 생성 장치가 생성하는 가상 오브젝트이다. 유저는 유저가 장착한 안경의 디스플레이에 표시되는 가상 오브젝트인 마우스 커서(11b)를 관찰한다. 이와 같이 본 발명의 구성을 적용하면, 표시부(10)의 내외를 막론하고, 자유자재로 마우스 커서(11)를 이동시키는 것이 가능하게 된다.
도 2도 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 도이다. 도 2에도 도 1과 마찬가지로 유저가 조작하는, 예를 들어 PC 등의 표시부(10)를 나타내고 있다. 유저는 복합 현실감(MR: Mixed Reality) 생성 장치가 생성하는 화상을 표시하는 디스플레이를 구비한 안경을 장착하고 있다. 도 2의 (a), (b)의 각 도면은 유저가 장착한 안경의 디스플레이에 표시되어, 유저가 관찰하는 화상이다.
도 2의 (a)에 도시하는 표시부(10)에는 마우스 커서(11a)와 마우스 커서(11a)에 의해 지정된 오브젝트(21a)가 표시되어 있다. 이 예에 있어서, 오브젝트(21a)는 PC 내부에 있는 시계 표시 어플리케이션의 실행에 의해 표시부(10)에 표시된 오브젝트이다.
유저는 마우스 조작에 의해 마우스 커서(11a)를 오브젝트(21a) 위에 이동시키고, 마우스 조작을 행하여 오브젝트 지정 처리를 실행하고, 또한 도 2의 (a)에 도시하는 이동 라인(22)을 따라서 마우스 커서(11a)를 이동시킨다.
이 처리에 의해, 마우스 커서와 지정된 오브젝트(21)를 표시부(10)의 외측 공간으로 이동시킬 수 있다. 도 2의 (b)에 도시하는 오브젝트(21b)이다. 이 도 2의 (b)에 도시하는 오브젝트(21b)는 복합 현실감(MR) 생성 장치가 생성하는 가상 오브젝트이다. 유저는 유저가 장착한 안경의 디스플레이에 표시되는 오브젝트(21b)를 관찰한다. 이와 같이 본 발명의 구성을 적용하면, 마우스 커서 뿐만 아니라, 표시부(10)에 표시된 오브젝트를 표시부의 내외를 막론하고, 자유자재로 이동시킬 수 있게 된다.
도 3도 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 도이다. 도 3에도 도 1, 도 2와 마찬가지로 유저가 조작하는, 예를 들어 PC 등의 표시부(10)를 나타내고 있다. 유저는 복합 현실감(MR: Mixed Reality) 생성 장치가 생성하는 화상을 표시하는 디스플레이를 구비한 안경을 장착하고 있다. 도 3의 (a), (b)의 각 도면은 유저가 장착한 안경의 디스플레이에 표시되어, 유저가 관찰하는 화상이다.
도 3의 (a)에는 앞서 도 1을 참조하여 설명한 조작에 의해, 표시부(10) 외부에 설정된 마우스 커서(11a)와, 마우스 커서(11a)에 의해 지정된 실제 오브젝트(31a)를 도시하고 있다. 이 예에 있어서, 오브젝트(31a)는 공간 위에 실제로 존재하는 실제 오브젝트이며, 이 예에서는 음악 데이터를 저장한 디스크인 CD의 재킷 사진이다.
유저는 마우스 조작에 의해 마우스 커서(11a)를 오브젝트(31a) 위에 설정하고, 마우스 조작을 행하여 오브젝트의 지정 처리를 실행한다. 이 오브젝트 지정 처리에 의해 지정된 오브젝트에 관한 정보, 즉 오브젝트 정보 등을 데이터베이스 및 서버로부터 취득한다. 취득한 오브젝트 정보를 표시부(10)에 표시시킨다. 도 3의 (b)에 도시하는 오브젝트 화상(31b) 및 오브젝트 정보(31c)이다.
이와 같이 본 발명의 구성을 적용하면, 실제 공간에 있는 여러 가지 실제 오브젝트를 가상 오브젝트인 마우스 커서로 지정하고, 지정 오브젝트의 관련 정보를 취득하고, 취득 데이터를 PC 등의 정보 처리 장치의 처리 데이터로서 도입하고, PC 내의 어플리케이션 실행에 의해 표시부(10)에 표시시키는 것이 가능하게 된다.
[2. 본 발명의 정보 처리 장치의 제1 실시예의 구성 및 처리에 대해서]
이어서 본 발명의 정보 처리 장치의 제1 실시예로서 도 1을 참조하여 설명한 처리를 실행하는 장치의 구성과 처리의 상세에 대해서 설명한다. 실시예 1은 도 1에 도시하는 바와 같이, 유저의 마우스 조작에 의해 도 1의 (a)에 도시하는 이동 라인(12)을 따라서 마우스 커서(11a)를 이동시킴으로써, 도 1의 (b)에 도시하는 바와 같이 마우스 커서를 표시부(10)의 외측의 공간으로 이동시키는 처리를 실현하는 구성예이다.
도 4는 상기 처리를 실행하는 본 발명의 일 실시예에 관한 정보 처리 장치의 구성을 도시하는 도면이다. 유저(100)는 PC(퍼스널 컴퓨터)(120)를 조작해서 각종 데이터 처리를 행한다. PC(120)는 도에 도시하는 바와 같이 마우스 드라이버(121), 마우스 좌표 처리 모듈(122), GUI부(123), 통신부(124), 어플리케이션 실행부(125), 제어부(126), 메모리(127), 표시부(128)를 갖는다. 또한, 도의 상부에 도시하는 마우스(129)를 갖는다.
마우스 드라이버(121)는 마우스(129)로부터의 입력 정보인 위치 정보, 조작 정보를 입력한다. 마우스 좌표 처리 모듈(122)은 마우스 드라이버(121)를 통해서 입력하는 마우스(129)의 위치 정보에 따라, 마우스 커서의 표시 위치를 결정한다. 또한, 본 발명의 구성에서는 마우스 커서의 표시 위치는 표시부(128)의 표시 영역으로 제한하지 않는다.
GUI부(123)는 유저로부터의 입력 정보의 처리, 유저에 대한 출력 정보의 처리 등을 행하는 유저 인터페이스이다. 통신부(124)는 복합 현실감(MR: Mixed Reality) 생성 장치(130)와의 통신 처리를 행한다.
어플리케이션 실행부(125)는 PC(120) 내에서 실행하는 여러 가지 데이터 처리에 대응하는 어플리케이션을 실행한다. 제어부(126)는 PC(120) 내에서 실행하는 처리의 통괄적 제어를 행한다. 메모리(127)는 프로그램, 데이터 처리 파라미터 등을 저장하는 RAM, ROM 등으로 구성되는 메모리이다. 표시부(128)는, 예를 들어 LCD 등으로 구성되는 표시부이다.
유저(100)는 가상 오브젝트를 표시하는 디스플레이를 갖는 안경(141)을 장착하고 있다. 안경(141)에는 주위의 환경을 촬영하는 카메라(142)가 구비되어 있다. 안경(141)과 카메라(142)는 복합 현실감(MR: Mixed Reality) 생성 장치(130)에 접속되어 있다. 유저(100)는 안경(141)에 설치된 디스플레이의 표시 화상을 관찰하면서 작업을 행한다.
안경(141)의 디스플레이에는 카메라(142)의 촬영 화상인 실제 세계 화상을 표시하고, 또한 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트를 실제 세계 화상에 맞춰서 표시한다.
도 4의 예에 있어서, 유저(100)는 PC(퍼스널 컴퓨터)(120)를 조작하고 있고, 카메라(142)는 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)를 촬영하고 있다. 따라서, 안경(141)의 디스플레이에는 실제 세계 화상으로서, 예를 들어 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)의 디스플레이(표시부(128))와 그 주위의 여러 가지 실제 오브젝트를 포함하는 화상이 표시된다. 또한, 이 실세계 화상에 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트가 겹쳐서 표시된다. 유저(100)의 움직임에 따라 카메라(142)의 방향도 변경된다.
유저(100)가 PC(120)의 화면을 향해서 처리를 행하고 있는 경우, 카메라(142)는 PC(120)의 화면의 화상을 중심으로 한 화상을 촬영한다. 이 결과, 예를 들어 도 5에 도시하는 바와 같은 표시 데이터(150)가 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 이 도 5에 도시하는 표시 데이터(150)는 실제 오브젝트와 가상 오브젝트의 합성 화상이다.
이어서, 도 4에 도시하는 복합 현실감(MR) 생성 장치(130)의 구성에 대해서 설명한다. 복합 현실감(MR) 생성 장치(130)는 도 4에 도시하는 바와 같이, 3차원 정보 해석부(131), 가상 오브젝트 관리 모듈(132), 메모리(133), 통신부(134)를 갖는다.
3차원 정보 해석부(131)는 유저가 장착한 카메라(142)의 촬영 화상을 입력하고, 촬영 화상에 포함되는 오브젝트의 3차원 위치를 해석하는 처리를 행한다. 이 3차원 위치 해석 처리는, 예를 들어 SLAM(simultaneous localization and mapping)을 적용한 처리로서 행해진다. SLAM은 카메라의 촬영 화상에 포함되는 여러 가지 실제 오브젝트로부터의 특징점을 선택하고, 선택한 특징점의 위치와 카메라의 위치 자세를 함께 검출하는 처리이다. 또한, SLAM에 대해서는 전술한 특허문헌 1(일본 특허 공개 제2008-304268호 공보) 및 특허문헌 2(일본 특허 공개 제2008-304269호 공보)에 기재되어 있다. 또한, SLAM의 기본적인 처리에 대해서는 논문 [Andrew J.Davison, "Real-time simultaneous localisation and mapping with a single camera", Proceedings of the 9th International Conference on Computer Vision, Ninth, (2003)]에 기재되어 있다.
3차원 정보 해석부(131)는, 예를 들어 상기의 SLAM을 적용하여 유저가 장착한 카메라(142)의 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 산출한다. 단, 3차원 정보 해석부(131)는 상기의 SLAM에 한하지 않고, 그 밖의 방법으로 카메라 촬영 화상에 포함되는 오브젝트의 3차원 위치를 구하는 설정이어도 좋다.
가상 오브젝트 관리 모듈(132)은 유저가 장착한 안경(141)의 디스플레이에 표시하는 가상 오브젝트의 관리를 행한다. 가상 오브젝트는 메모리(133)에 저장된 데이터이다. 구체적으로는, 예를 들어 유저가 장착한 안경(141)의 디스플레이에는, 도 5에 도시하는 표시 데이터(150)가 표시된다. 표시 데이터(150)에 포함되는 PC 화상(151)은, 카메라(142)에 의해 촬영된 실제 화상(실제 오브젝트)이다.
예를 들어, 유저가 PC(120)의 마우스(129)를 이동시킨 경우, 도 5에 도시하는 PC 화상(151) 내에 표시된 마우스 커서(152a)는, PC 화상(151)의 외측까지 이동하고, 가상 오브젝트로서의 마우스 커서(152b)가 표시된다.
도 4에 도시하는 유저(100)는, 예를 들어 도 5에 도시하는 실제 오브젝트와 가상 오브젝트의 합성 화상을 안경(141)의 디스플레이에서 관찰할 수 있다. 도 5에 도시하는 PC 화상(151)은 카메라(142)에 의해 촬영된 실제 오브젝트이다. PC 화상(151) 내의 마우스 커서(152a)도 PC 화상(151) 내에 실제로 표시되어 있는 정보이며 실제 오브젝트이다. 또한, 여기에서는 카메라(142)에 의해 촬영되는 실제 세계에 존재하고, 카메라로 촬영가능한 오브젝트를 실제 오브젝트로서 설명한다.
도 5에 도시하는 PC 화상(151) 외측의 마우스 커서(152b)는 현실 세계의 오브젝트(실제 오브젝트)가 아니다. 이 마우스 커서(152b)는 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트이다. 실세계에는 존재하지 않으나, 유저가 장착한 안경(141)의 디스플레이에 표시된 오브젝트이다.
이러한 마우스 커서의 표시 처리를 행하는 처리 시퀀스에 대해서, 도 6에 도시하는 흐름도를 참조하여 설명한다. 또한, 유저는 도 4에 도시하는 PC(120)에 접속된 마우스(129)의 조작을 행하고 있는 것으로 한다. 조작 정보는 마우스 드라이버에 입력된다. 이 처리 이후, 도 6에 도시하는 흐름도의 스텝(S101) 이하의 처리가 행해진다.
도 6에 도시하는 흐름도의 스텝(S101 내지 S105)의 처리는, 도 4에 도시하는 PC(120)의 처리이다.
스텝(S106 내지 S109)의 처리는 도 4에 도시하는 복합 현실감(MR) 생성 장치(130)의 처리이다.
스텝(S101)에서 PC(120)의 마우스 좌표 처리 모듈(122)이 마우스 드라이버(121)로부터 마우스의 변위(dX, dY) 정보를 입력한다.
스텝(S102)에서 마우스 좌표 처리 모듈(122)이 이전의 마우스 커서 위치(XP, YP)와 마우스의 변위(dX, dY)정보로부터 갱신 후의 마우스 커서 위치(XQ, YQ)를 산출한다.
스텝(S103)에서 마우스 좌표 처리 모듈(122)이 갱신 후의 마우스 커서 위치(XQ, YQ)가 표시부 외부인지 여부를 판정한다.
갱신 후의 마우스 커서 위치(XQ, YQ)가 표시부 영역 내부이면, 스텝(S104)으로 진행하고, PC 내의 통상적인 마우스 커서 표시 갱신 처리를 실행한다. 갱신 후의 마우스 커서 위치(XQ, YQ)가 표시부 영역 외부인 경우에는, 스텝(S105)으로 진행한다.
스텝(S105)에서는 메모리에 저장된 마우스 커서 위치 정보(XQ, YQ)가 통신부를 통해서 복합 현실감(MR) 생성 장치(130)에 전송된다. 또한, 본 실시예에서는 PC(120)로부터 복합 현실감(MR) 생성 장치(130)에 전송하는 위치 정보는, 마우스 커서의 위치 정보뿐이며, 위치 정보가 마우스 커서의 위치 정보인 것은 복합 현실감(MR) 생성 장치(130)에 미리 설정이 완료되어있는 것으로 한다. 그 밖의 오브젝트에 관한 위치 정보 등을 전송하는 경우에는, 각 오브젝트의 식별 정보, 혹은 오브젝트의 묘화 데이터를 전송하는 것이 필요하게 된다.
스텝(S106)이후는, 복합 현실감(MR) 생성 장치(130)의 처리로서 행해진다.
우선, 스텝(S106)에서 복합 현실감(MR) 생성 장치(130)는 PC(120)로부터 전송된 마우스 커서 위치 정보(XQ, YQ)를 복합 현실감(MR) 생성 장치(130)측의 메모리(133)에 저장한다. PC(120)로부터 비표시 데이터(마우스 커서 묘화 데이터) 또는 그 식별자를 수신하고 있는 경우에는, 수신 데이터에 대해서도 복합 현실감(MR) 생성 장치(130)측의 메모리(133)에 저장한다.
이어서, 스텝(S107)에서 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은 메모리(133)에 저장된 데이터, 즉, 비표시 데이터(마우스 커서 묘화 데이터)와 위치 정보(XQ, YQ)를 취득한다.
스텝(S108)에서 가상 오브젝트 관리 모듈(132)은 메모리(133)로부터 취득한 비표시 데이터(마우스 커서)의 위치 정보를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계로 변환하는 처리를 행한다.
이 처리에 대해서 도 7을 참조하여 설명한다. 3차원 정보 해석부(131)는 카메라 촬영 화상에 포함되는 PC의 표시부(200)의 4 구석의 마커(201a 내지 201d)의 3차원 위치 정보를 취득하고 있다. 도 7에 도시하는 바와 같이,
마커(201a)=(xa, ya, za)
마커(201b)=(xb, yb, zb)
마커(201c)=(xc, yc, zc)
마커(201d)=(xd, yd, zd)
이들의 위치 정보가 취득되어 있다.
또한, 이 위치 정보는 카메라 좌표계(x, y, z)에서의 위치 정보이다.
한편, PC(120)로부터 수령하는 마우스 커서의 위치 정보(XQ, YQ)는 PC 표시부 평면 좌표계이며, 도 7에 도시하는 바와 같이, 예를 들어 표시부의 좌측 상단부를 원점(X, Y)=(0, 0)으로 하여 가로 방향을 X, 세로 방향을 Y로 하는 좌표면에서의 위치 정보이다.
가상 오브젝트 관리 표시 모듈(132)은 마커(201a 내지 d)의 3차원 위치 정보에 기초하여, 카메라 좌표계에서의 PC의 표시부의 평면을 산출하고, 그 산출한 평면 위에, PC(120)로부터 취득한 비표시 데이터(마우스 커서 묘화 데이터)의 설정 위치를 결정한다. 이 처리를 위해 PC(120)로부터 취득한 표시부 평면 좌표계(X, Y)에서 나타난 위치 정보(XQ, YQ)의 좌표 변환을 실행하고, 카메라 좌표계(x, y, z)에서의 마우스 커서(211q)의 표시 위치(xq, yq, zq)를 산출한다.
마우스 커서(211q)의 표시 위치(xq, yq, zq)는,
도 7에 도시하는 표시부(200)의 4 구석의 마커(201a 내지 201d)가 형성하는 표시면의 평면 상의 위치로 설정된다. 우선, 이 표시부(200)의 4 구석의 마커(201a 내지 201d)가 형성하는 표시면을 구한다.
이 표시면은 표시부(200)의 4 구석의 마커(201a 내지 201d)의 4 좌표로부터 임의의 3 좌표를 사용하여 규정할 수 있다. 예를 들어,
마커(201a)=(xa, ya, za)
마커(201b)=(xb, yb, zb)
마커(201c)=(xc, yc, zc)
상기의 3 점의 좌표를 사용하여 규정할 수 있다.
표시면을 통하는 xyz 평면(카메라 좌표계(x, y, z)에서의 평면)은, 이들 3 점의 좌표를 사용해서 하기 식(식 1)과 같이 나타낼 수 있다.
(x-xa)(yb-ya)(zc-za)+(xb-xa)(yc-ya)(z-za)+(xc-xa)(y-ya)(zb-za)-(xc-xa)(yb-ya)(z-za)-(xb-xa)(y-ya)(zc-za)-(x-xa)(yc-ya)(zb-za)=0
…(식 1)
가상 오브젝트 관리 표시 모듈(132)은, PC(120)로부터 취득한 표시부 평면 좌표계(X, Y)로 나타낸 위치 정보(XQ, YQ)를 카메라 좌표계(x, y, z)에서의 상기 xyz 평면상의 위치 좌표(xq, yq, zq)로 변환하는 처리를 행한다.
구하는 좌표를 도 7에 도시하는 마우스 커서(211q)의 카메라 좌표계(x, y, z)에서의 좌표 위치(xq, yq, zq)로 한다.
또한,
마커(201a)=(xa, ya, za)
마커(201b)=(xb, yb, zb)
마커(201c)=(xc, yc, zc)
상기 3점의 표시부 평면 좌표계(X, Y)에서의 위치를 각각 이하와 같이 한다.
마커(201a)=(0, 0)
마커(201b)=(XB, 0)
마커(201c)=(0, YC)
표시부 평면 좌표계(X, Y)에서의 이하의 각 좌표, 즉,
마커(201a)=(0, 0)
마커(201b)=(XB, 0)
마커(201c)=(0, YC)
마우스 커서(211p)의 위치(XP, YP)
마우스 커서(211q)의 위치(XQ, YQ)
이들의 위치 관계와,
카메라 좌표계(x, y, z)에서의 이하의 각 좌표, 즉,
마커(201a)=(xa, ya, za)
마커(201b)=(xb, yb, zb)
마커(201c)=(xc, yc, zc)
마우스 커서(211p)의 위치(xp, yp, zp)
마우스 커서(211q)의 위치(xq, yq, zq)
이들의 위치 관계는 동일 위치 관계에 있다.
따라서, 하기 식이 성립한다.
(0-XQ)/(0-XB)=(xa-xq)/(xa-xb)
(0-YQ)/(0-YC)=(ya-yq)/(ya-yc)
상기 식으로부터,
xq=xa-XQ(xa-xb)/XB …(식2)
yq=ya-YQ(ya-yb)/YC …(식3)
상기 관계식(식2), (식3)이 도출된다.
상기 관계식(식2), (식3)을 전술한 식(식1)에 대입함으로써, zq가 도출된다. 이와 같이 하여, 마우스 커서(211q)의 위치(xq, yq, zq)를 산출한다.
가상 오브젝트 관리 모듈(132)은 이와 같이 하여, 도 6의 플로우에 나타낸 스텝(S108)에서 메모리(133)로부터 취득한 비표시 데이터의 위치 정보(XQ, YQ)를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계의 위치(xq, yq, zq)로 변환하는 처리를 행한다.
이어서, 스텝(S109)에서 가상 오브젝트 관리 모듈(132)은 생성한 카메라 좌표계 대응의 좌표 위치(xq, yq, zq)에 마우스 커서를 배치해서 표시한다. 또한, PC(120)로부터 마우스 커서 묘화 데이터를 수신하여 메모리(133)에 저장하고 있는 경우에는, 메모리(133)의 저장 데이터에 포함되는 비표시 데이터, 즉, PC(120)로부터 전송된 비표시 데이터(마우스 커서 묘화 데이터)를, 생성한 카메라 좌표계 대응의 좌표 위치(xq, yq, zq)에 배치해서 표시한다.
이 처리에 의해 도 5에 도시하는 표시 데이터(150)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 도 5에 도시하는 표시 데이터(150)는 실제 오브젝트로서의 PC 화상(151)과, 가상 오브젝트로서의 마우스 커서(152b)가 함께 표시된 합성 화상이다. 가상 오브젝트 관리 모듈(132)은 가상 오브젝트의 표시 위치를 도 5에 도시하는 바와 같이, PC 표시부의 외부 공간에 설정한다. 이러한 표시 처리에 의해 유저는 마우스 커서의 이동 범위를 PC 표시부 내부에 한정되지 않고, PC 표시부 외부 공간까지 확장할 수 있게 되고, 보다 큰 작업 영역을 이용한 데이터 처리를 행할 수 있게 된다.
또한, 도 6에 도시하는 흐름도를 참조하여 설명한 처리는, 유저가 PC(120)의 마우스(129)를 조작하고, 마우스 커서의 위치가 변경될 때마다 행해진다. 마우스 좌표 처리 모듈(122)은 마우스 커서의 위치가 변경될 때마다 갱신 데이터를 복합 현실감(MR) 생성 장치(130)로 송신한다. 복합 현실감(MR) 생성 장치(130)는 갱신된 데이터에 기초하여 가상 오브젝트(마우스 커서)의 표시 위치를 변경하는 처리를 리얼타임 처리로 실행한다.
[3. 본 발명의 정보 처리 장치의 제2 실시예의 구성 및 처리에 대해서]
이어서, 본 발명의 정보 처리 장치의 제2 실시예로서, 먼저 도 2를 참조하여 설명한 처리를 실행하는 장치의 구성과 처리의 상세에 대해서 설명한다. 실시예 2는 도 2를 참조하여 설명한 바와 같이, 유저의 마우스 조작에 의해 오브젝트(21)를 지정하고, 또한 도 2의 (a), (b)에 도시하는 이동 라인(22)을 따라서 마우스 커서(11a)를 이동시킴으로써, 도 2의 (b)에 도시하는 바와 같이 오브젝트(21)를 표시부(10)의 외측의 공간으로 이동시키는 처리를 실현하는 구성예이다.
본 실시예는 제1 실시예와 마찬가지로, 도 4에 도시하는 구성을 갖는 장치에 의해 실행된다. 도 4의 예에서 유저(100)는 PC(퍼스널 컴퓨터)(120)를 조작하고 있고, 카메라(142)는 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)를 촬영하고 있다. 따라서, 유저(100)가 장착한 안경(141)의 디스플레이에는, 실세계 화상으로서, 예를 들어 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)의 디스플레이(표시부(128))와 그 주위의 여러 가지 실제 오브젝트를 포함하는 화상이 표시된다. 또한, 이 실세계 화상에 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트가 겹쳐서 표시된다. 유저(100)의 움직임에 따라 카메라(142)의 방향도 변경된다.
유저(100)가 PC(120) 화면을 향해서 처리를 행하고 있는 경우, 카메라(142)는 PC(120)의 화면의 화상을 중심으로 한 화상을 촬영한다. 이 결과, 예를 들어 도 8에 도시하는 바와 같은 표시 데이터(250)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 이 도 8에 도시하는 표시 데이터(250)는 실제 오브젝트와 가상 오브젝트의 합성 화상이다.
표시 데이터(250)에 포함되는 PC 화상(251)은 카메라(142)에 의해 촬영된 실제 화상(실제 오브젝트)이다. 예를 들어, 유저가 도 4에 도시하는 PC(120)의 마우스(129)를 이동시킨 경우의 처리를 도 8에 도시하고 있다. 도 8에 도시하는 PC 화상(251) 내에 표시된 오브젝트(252a)를 마우스 커서(271a)에 의해 지정한 후, PC 화상(251)의 외측까지 이동하면, 오브젝트(252)와 마우스 커서(271)는 함께 이동한다. 이동을 계속함으로써 가상 오브젝트로서의 오브젝트(252b)와 마우스 커서(271b)가 PC 화상(251) 밖에 표시된다.
도 4에 도시하는 유저(100)는, 예를 들어 도 8에 도시하는 실제 오브젝트와 가상 오브젝트의 합성 화상을 안경(141)의 디스플레이에서 관찰할 수 있다. 도 8에 도시하는 PC 화상(251)은 카메라(142)에 의해 촬영된 실제 오브젝트이다. PC 화상(251) 내의 오브젝트(252a)도 마우스 커서(271a)도 PC 화상(151) 내에 실제로 표시되어 있는 정보이며 실제 오브젝트이다. 한편, 도 8에 도시하는 PC 화상(251) 외측의 오브젝트(252b)와 마우스 커서(271b)는, 현실 세계의 오브젝트(실제 오브젝트)가 아니다. 이 오브젝트(252b)와 마우스 커서(271b)는 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트이다. 실세계에는 존재하지 않으나, 유저가 장착한 안경(141)의 디스플레이에 표시된 오브젝트이다.
이러한 가상 오브젝트 표시 처리를 행하는 처리 시퀀스에 대해서, 도 9에 도시하는 흐름도를 참조하여 설명한다. 또한, 유저는 도 4에 도시하는 PC(120)에 접속된 마우스(129)의 조작을 행하고 있는 것으로 한다.
또한, 도 8에 도시하는 표시 데이터(250)로부터도 이해되는 바와 같이, 본 실시예에서도 제1 실시예와 마찬가지로, 가상 오브젝트로서의 마우스 커서(271b)의 표시 처리를 행한다. 이 마우스 커서(271b)의 표시 처리를 행하기 위한 시퀀스는 도 6을 참조하여 설명한 것과 같은 시퀀스로 실행된다.
본 실시예 2에서는 또한 마우스에 의해 지정된 오브젝트(252)의 표시 처리가 추가 되게 된다. 도 9에 도시하는 흐름도는 이 마우스 지정 오브젝트의 표시 시퀀스만을 설명하는 플로우이다. 즉, 도 8에 도시하는 표시 데이터(250)를 생성해서 표시하는 경우에는, 도 6에 도시하는 플로우에 따른 처리와, 도 9에 도시하는 플로우에 따른 처리가 함께 실행된다.
도 9에 도시하는 흐름도의 스텝(S201 내지 S204)의 처리는 도 4에 도시하는 PC(120)의 처리이다.
스텝(S205 내지 S208)의 처리는, 도 4에 도시하는 복합 현실감(MR) 생성 장치(130)의 처리이다.
스텝(S201)에서 PC(120)의 마우스(129)에 의해 지정한 오브젝트 정보를 PC(120)측의 메모리(127)에 저장한다. 또한, 메모리(127)에 저장하는 오브젝트 정보에는, 오브젝트의 묘화용 데이터와 위치 정보가 포함된다. 위치 정보는, 예를 들어 오브젝트의 기준이 되는 중심 위치의 좌표, 혹은 윤곽을 정의하는 복수의 위치 정보 등이다.
예를 들어, 도 10에 도시하는 오브젝트(301a)와 같이 직사각형 데이터인 경우에는, 4 정점 PQRS의 각 좌표 정보가 오브젝트 정보의 구성 요소로서 메모리에 저장된다. 또한, 위치 정보는 오브젝트를 특정한 위치에 묘화 가능한 위치 정보이면 좋고, 4 정점 PQRS의 모두가 아닌, 1점 P의 좌표 정보만을 메모리에 저장하는 설정으로 해도 좋다. 오브젝트의 형상을 나타내는 오브젝트 묘화 데이터도 메모리에 저장되기 때문에, 1점, 예를 들어 점 P의 좌표만을 위치 정보로서 메모리에 저장해도, P를 기점으로서 오브젝트의 묘화 처리(표시 처리)가 가능하기 때문이다.
스텝(S202)에서 유저 조작에 의한 PC(120) 마우스(129)의 이동에 의해, 마우스 지정 오브젝트 영역에 표시부 외부 영역이 발생했는지 여부를 검증한다. 이 처리는 PC(120)의 어플리케이션 실행부(125)가 마우스 좌표 처리 모듈(122)이 취득한 이동처의 마우스 커서 위치와 오브젝트 형상에 기초하여 검증한다.
스텝(S202)의 판정이 No, 즉, 마우스 지정 오브젝트 영역에 표시부 외부 영역이 발생하지 않은 경우에는, 스텝(S203)으로 진행하고, PC(120)의 어플리케이션 실행부(125)가 마우스 지정 오브젝트를 PC(120) 내의 표시부 내부에 표시한다.
한편, 스텝(S202)의 판정이 Yes, 즉, 마우스 지정 오브젝트 영역에 표시부 외부 영역이 발생하는 경우에는, 스텝(S204)으로 진행한다. 이 경우에는, 예를 들어 도 10에 도시하는 오브젝트(301b)의 위치, 혹은 도 11에 도시하는 오브젝트(301c)의 위치 등으로 유저 조작에 의해 오브젝트가 이동한 경우이다. 또한, 도 10, 도 11에 도시하는 오브젝트(301b, 301c)는, 적어도 일부가 가상 오브젝트로서 유저가 장착한 안경의 디스플레이에 표시된 예를 나타내고 있다.
스텝(S204)에서는 메모리에 기록된 데이터(비표시 데이터(오브젝트 묘화 데이터))와 위치 정보를 복합 현실감(MR) 생성 장치(130)에 송신한다. 예를 들어, 도 10에 도시하는 예에서는 오브젝트(301b)의 시계의 묘화 데이터와, 오브젝트(301b)의 4 정점 PQRS의 좌표 데이터가 PC(120)측 메모리(127)로부터 취득되어서 복합 현실감(MR) 생성 장치(130)에 송신된다.
또한, 전송되는 위치 정보는 앞선 실시예 1과 마찬가지로, PC 표시부 평면 좌표계이며, 도 10에 도시하는 바와 같이, 예를 들어 표시부의 좌 상단부를 원점(X, Y)=(0, 0)으로서 가로 방향을 X, 세로 방향을 Y로 하는 좌표면에서의 위치 정보이다. 도 10에 도시하는 예에서는,
P=(XP, YP)
Q=(XQ, YQ)
R=(XR, YR)
S=(XS, YS)
이들 4 정점 좌표 정보가 전송된다.
스텝(S205) 이후는, 복합 현실감(MR) 생성 장치(130)의 처리로서 행해진다.
우선, 스텝(S205)에서 복합 현실감(MR) 생성 장치(130)는 PC(120)로부터의 수신 데이터, 즉, 비표시 데이터(오브젝트 묘화 데이터)와 위치 정보(PQRS의 좌표 정보)를 복합 현실감(MR) 생성 장치(130)측의 메모리(133)에 저장한다.
이어서, 스텝(S206)에서 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은 메모리(133)에 저장된 데이터, 즉, 비표시 데이터(오브젝트 묘화 데이터)와 위치 정보(PQRS의 좌표 정보)를 취득한다.
이어서, 스텝(S207)에서 가상 오브젝트 관리 모듈(132)은 메모리(133)로부터 취득한 위치 정보 PQRS를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계로 변환하는 처리를 행한다.
이 좌표 변환 처리는 앞서 제1 실시예에서 설명한 마우스 커서의 좌표 변환 처리와 마찬가지의 처리로서 실행되는 것이므로 상세한 것은 생략한다.
예를 들어, 도 10에 도시하는 예에서는,
오브젝트(301b)의 표시부 평면 좌표계(X, Y)에서의 PQRS의 각 좌표는 카메라 좌표계(x, y, z)에서의 각 좌표로 이하와 같이 변환된다.
P=(XP, YP)→(xp, yp, zp)
Q=(XQ, YQ)→(xq, yq, zq)
R=(XR, YR)→(xr, yr, zr)
S=(XS, YS)→(xs, ys, zs)
가상 오브젝트 관리 모듈(132)은, 이와 같이 도 9의 플로우에 도시하는 스텝(S207)에서 메모리(133)로부터 취득한 비표시 데이터의 위치 정보를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계의 위치(xq, yq, zq)로 변환하는 처리를 행한다.
이어서, 스텝(S208)에서 가상 오브젝트 관리 모듈(132)은 메모리(133)의 저장 데이터에 포함되는 비표시 데이터(오브젝트 묘화용 데이터)를 취득하고, 도 10에 도시하는 바와 같이, 생성한 카메라 좌표계 대응의 좌표 위치에 오브젝트를 묘화, 즉 표시한다.
이 처리에 의해, 도 8에 도시하는 표시 데이터(250)가 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 도 8에 도시하는 표시 데이터(250)는 실제로 오브젝트로서의 PC 화상(251)과, 가상 오브젝트로서의 오브젝트(252b), 또한 마우스 커서(271b)가 함께 표시된 합성 화상이다. 가상 오브젝트 관리 모듈(132)은 가상 오브젝트의 표시 위치를, 도 8에 도시하는 바와 같이 PC 표시부의 외부 공간에 설정한다. 이러한 표시 처리에 의해 유저는 여러 가지 오브젝트를 PC 표시부 내부에 한정되지 않고, PC 표시부 외부의 공간에 표시할 수 있게 되고, 보다 큰 작업 영역을 이용한 데이터 처리를 행할 수 있게 된다.
또한, 도 9에 도시하는 흐름도를 참조하여 설명한 처리는, 유저가 PC(120)의 마우스(129)를 조작하고, 마우스 커서의 위치가 변경될 때마다 행해진다. 어플리케이션 실행부(125)는 마우스 커서의 위치가 변경될 때마다 갱신 데이터를 복합 현실감(MR) 생성 장치(130)로 송신한다. 복합 현실감(MR) 생성 장치(130)는 갱신된 데이터에 기초하여 가상 오브젝트(시계)의 표시 위치를 변경하는 처리를 리얼타임 처리로서 실행한다.
또한, 도 9에 도시하는 흐름도의 스텝(S202)의 판정 처리에서 Yes가 되는 경우에는, 예를 들어 도 11에 도시하는 오브젝트(301c)의 위치에서도 발생한다. 즉, 스텝(S202)의 판정은, 마우스 지정 오브젝트의 일부에서도 PC 표시부의 표시 영역외부가 되었을 경우에 Yes로 판정된다.
이 경우도 오브젝트(301c)의 위치 정보로서 도 11에 도시하는 PQRS의 위치 정보가 PC(120)로부터 복합 현실감(MR) 생성 장치(130)에 전송된다. 복합 현실감(MR) 생성 장치(130)에서 오브젝트(301c)를 PC의 표시부에 일부 중복하는 형태로 표시하면 좋다.
또한, 이 경우에는 도 11에 도시하는 오브젝트(301c) 중의 표시부 외부의 영역 UQRV만을 가상 오브젝트로서 표시하고, 영역 PUVS의 오브젝트 부분은 가상 오브젝트로서 표시하지 않고, PC의 표시부에 표시된 실제 오브젝트, 즉 카메라 촬영 화상 바로 그 자체를 유저가 장착한 안경의 디스플레이에 표시하는 설정일 수도 있다.
이 처리를 행하는 경우에는, 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은 가상 오브젝트의 표시 처리 시에 도 11에 도시하는 UQRV의 부분 데이터만으로 이루어지는 가상 오브젝트 표시 데이터를 생성하여 표시한다. 즉 PC로부터 수신한 오브젝트 묘화 데이터의 PUVS의 부분 데이터는 투명화하는 처리를 행하게 된다.
[4. 본 발명의 정보 처리 장치의 제3 실시예의 구성 및 처리에 대해서]
이어서, 본 발명의 정보 처리 장치의 제3 실시예로서, 먼저 도 3을 참조하여 설명한 처리를 실행하는 장치의 구성과 처리의 상세에 대해서 설명한다. 실시예 3은 도 3을 참조하여 설명한 바와 같이, 유저의 마우스 조작에 의해 PC 표시부 외부의 실제 공간에 있는 오브젝트(31)를 지정함으로써, 도 3의 (b)에 도시하는 바와 같이 오브젝트 정보(31c)를 표시하는 처리를 실현하는 구성예이다.
본 실시예는 도 12에 도시하는 구성을 갖는 장치에 의해 실행된다. PC(120)의 구성은, 앞서 실시예 1에서 도 4를 참조하여 설명한 구성과 마찬가지의 구성이다. 복합 현실감(MR) 생성 장치(130)는 3차원 정보 해석부(131), 가상 오브젝트 관리 모듈(132), 메모리(133), 통신부(134), 오브젝트 정보 취득부(135), 오브젝트 정보 데이터베이스(136)를 갖는다. 또한, 오브젝트 정보 데이터베이스(136)는 복합 현실감(MR) 생성 장치(130) 내부로 설정하는 것은 필수가 아니고, 복합 현실감(MR) 생성 장치(130)의 통신부를 통해서 액세스 가능한, 예를 들어 네트워크 접속 가능한 데이터베이스이면 좋다.
3차원 정보 해석부(131), 가상 오브젝트 관리 모듈(132), 메모리(133), 통신부(134), 이것들의 구성은 제1 실시예에서 도 4를 참조하여 설명한 구성과 마찬가지이다. 단, 통신부(134)는 네트워크를 통해서 외부 서버(140)나 오브젝트 정보 데이터베이스(136)와의 통신을 실행한다.
오브젝트 정보 취득부(135)는, 유저(100)가 장착한 카메라(142)의 촬영 화상으로부터 여러 가지 실제 오브젝트의 화상을 취득하고, 오브젝트 정보 데이터베이스(136)에 저장된 데이터와의 대조 처리를 실행하고, 유사한 화상을 선별하여, 그 선택 화상에 대응된 오브젝트 정보를 취득한다.
예를 들어, 실제 오브젝트 화상이 음악 CD의 재킷 화상일 경우, 오브젝트 정보는 그 CD의 곡명이나 쟝르, 아티스트, 가격 등의 여러 가지 정보이다. 이들 오브젝트 정보는 오브젝트 화상에 대응되어 오브젝트 정보 데이터베이스(136)에 저장되어 있다.
또한, 서버(140)도 오브젝트 정보 데이터베이스(136)에 저장된 정보와 같은 정보를 유지하고 있다. 복합 현실감(MR) 생성 장치(130)는 통신부(134)를 통하여, 유저(100)가 장착한 카메라(142)의 촬영 화상을, 또는 촬영 화상으로부터 선택한 실제 오브젝트 화상(예를 들어 CD재킷 화상)을 서버에 송신한다. 서버는 수신 화상으로부터 대응하는 오브젝트 정보를 추출하여 복합 현실감(MR) 생성 장치(130)에 제공한다.
이와 같이 하여, 복합 현실감(MR) 생성 장치(130)는 오브젝트 정보 데이터베이스(136) 또는 서버(140)로부터 오브젝트 정보를 취득하고, 취득한 정보를 카메라(142)가 촬영한 실제 오브젝트 화상 데이터와 함께 PC(120)에 제공한다. PC(120)는 이들 취득 정보를 사용하여, PC의 표시부에 취득 정보를 표시한다.
이 결과로서, 예를 들어 도 13에 도시하는 바와 같은 표시 데이터(450)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 표시 데이터(450)에 포함되는 PC 화상(451)은 카메라(142)에 의해 촬영된 실제 화상(실제 오브젝트)이다. PC 화상(451) 외부의 오브젝트(471a)도 실제 오브젝트이다. 마우스 커서(480a)는 가상 오브젝트이다.
PC 화상(451) 내부에 표시된 오브젝트 화상(471b)과, 오브젝트 정보(471c)는 PC(120)의 어플리케이션 실행부(125)에서 표시부(128)에 표시한 데이터이다. 따라서 도 13에 도시하는 표시 데이터(450) 중, 마우스 커서(480a) 이외의 정보는 유저(100) 안경(141)의 디스플레이에 표시되는 화상이며, 또한 안경을 장착하지 않는 유저도 관찰할 수 있는 정보이다.
즉, PC 화상(451) 내부에 표시된 오브젝트 화상(471b)과 오브젝트 정보(471c)는 PC(120) 표시부의 표시 데이터이며, 누구나 관찰할 수 있게 된다.
이러한 데이터 처리를 행하는 처리 시퀀스에 대해서, 도 14에 도시하는 흐름도를 참조하여 설명한다. 또한, 유저는 도 12에 도시하는 PC(120)에 접속된 마우스(129)의 조작을 행하고 있는 것으로 한다.
또한, 도 13에 도시하는 표시 데이터(450)로부터도 이해되는 바와 같이, 본 실시예에서도 제1 실시예, 제2 실시예와 마찬가지로, 가상 오브젝트로서의 마우스 커서(480a)의 표시 처리를 행한다. 이 마우스 커서(480a)의 표시 처리를 행하기 위한 시퀀스는 도 6을 참조하여 설명한 것과 같은 시퀀스로 실행된다.
본 실시예 3에서는, 또한 마우스에 의해 지정된 실제 오브젝트에 대한 처리가 추가 되게 된다. 도 14에 도시하는 흐름도는, 이 마우스 지정 오브젝트에 대한 처리 시퀀스만을 설명하는 플로우이다. 즉, 도 13에 도시하는 표시 데이터(450)를 생성해서 표시하는 경우에는, 도 6에 도시하는 플로우에 따른 처리와, 도 14에 도시하는 플로우에 따른 처리가 함께 실행된다.
도 14에 도시하는 흐름도의 스텝(S301)의 처리는, 도 12에 도시하는 PC(120)와 복합 현실감(MR) 생성 장치(130)의 양쪽의 처리를 수반하는 처리이며, 스텝(S302 내지 S309)의 처리는, 도 12에 도시하는 복합 현실감(MR) 생성 장치(130)의 처리이다. 스텝(S310)의 처리는 도 12에 도시하는 PC(120)의 처리이다.
스텝(S301)의 처리 전에, 앞서 제1 실시예에서 설명한 도 6에 도시하는 플로우에 따른 처리가 실행되고, 마우스 커서는 PC의 표시부 외부 영역에 설정되어 있다. 예를 들어, 도 13에 도시하는 마우스 커서(480a)의 위치에 있는 것으로 한다.
스텝(S301)에서 마우스 조작에 의해 실제 오브젝트 지정이 이루어진 것인가 아닌가를 판정한다. 실제 오브젝트 지정이 이루어진 경우에는, 스텝(S302)으로 진행하고, 이루어지지 않은 경우에는 처리를 종료한다. 실제 오브젝트 지정이 이루어진 경우의 처리는 이하와 같다. 우선 마우스 클릭의 조작 정보가 PC(120)의 마우스 드라이버(121)를 통해서 어플리케이션 실행부(125)에 입력되면, 어플리케이션 실행부(125)는 마우스 조작(클릭) 정보를, 통신부(124)를 통해서 복합 현실감(MR) 생성 장치(130)에 통지한다. 복합 현실감(MR) 생성 장치(130)는 통신부(134)를 통해서 마우스 조작 정보를 수령하고, 가상 오브젝트 관리 모듈(132)에 통지한다.
스텝(S302)에서는, 가상 오브젝트 관리 모듈(132)은 지정된 실제 오브젝트의 오브젝트 영역에 PC 표시부 외부 영역이 포함되고, 또한 카메라 촬상 범위에 있는지의 여부를 판정한다. 카메라는 유저(100)에 장착된 카메라(142)이다. 스텝(S302)의 판정이 No인 경우에는 처리를 종료한다. 스텝(S302)의 판정이 Yes인 경우에는 스텝(S303)으로 진행한다.
스텝(S303)에서는 유저(100)에 장착된 카메라(142)에 의해, 마우스 지정 오브젝트를 포함하는 화상을 촬영하고, 촬영 화상을 메모리에 저장한다. 이 처리는 가상 오브젝트 관리 모듈(132)의 제어에 의해 행해진다.
다음 스텝(S304 내지 S306)의 처리는 오브젝트 정보를 오브젝트 정보 데이터베이스(136)로부터 취득하는 경우의 처리이며, 스텝(S307 내지 S308)의 처리는 오브젝트 정보를 서버(140)로부터 취득하는 경우의 처리이다. 이들 처리는 어느 한쪽의 처리를 행해도 좋고, 양쪽의 처리를 실행하는 설정으로 해도 좋다.
우선, 오브젝트 정보를 오브젝트 정보 데이터베이스(136)로부터 취득하는 스텝(S304 내지 S306)의 처리에 대해서 설명한다.
스텝(S304)에서는 메모리에 저장된 마우스 지정 오브젝트 화상을 검색키로 하여 오브젝트 정보 데이터베이스(DB)(136)를 검색한다. 이 처리는 오브젝트 정보 취득부(135)의 처리로 실행된다.
오브젝트 정보 데이터베이스(DB)(136)에는 여러 가지 실제 오브젝트의 화상 데이터와 그 화상 데이터에 대응하는 오브젝트의 오브젝트 정보가 등록되어 있다. 예를 들어, CD 재킷의 화상과 그 CD에 관한 곡명, 가격 등의 오브젝트 정보이다.
오브젝트 정보 취득부(135)는 스텝(S305)에서 오브젝트 정보 데이터베이스(DB)(136)의 검색을 행한다. 즉, 마우스 지정 오브젝트 화상과 일치 또는 유사한 등록 화상 데이터가 오브젝트 정보 데이터베이스(DB)(136)에 등록되어 있는지 여부를 판정한다. 일치 또는 유사한 등록 화상이 추출되지 않는 경우에는 처리를 종료한다. 일치 또는 유사한 등록 화상이 추출된 경우에는 스텝(S306)으로 진행한다.
스텝(S306)에서는, 오브젝트 정보 취득부(135)는 오브젝트 정보 데이터베이스(DB)(136)로부터 마우스 지정 오브젝트 화상과 일치 또는 유사한 등록 화상에 대응하는 등록 데이터, 즉 오브젝트 화상과 오브젝트 정보를 취득한다.
이어서 서버(140)를 이용한 처리인 스텝(S307 내지 S308)의 처리에 대해서 설명한다. 스텝(S307)에서 오브젝트 정보 취득부(135)는 통신부(134)를 통해서 메모리에 저장된 마우스 지정 오브젝트 화상을 서버(140)에 송신한다.
스텝(S308)에서는, 오브젝트 정보 취득부(135)는 서버(140)로부터 서버의 등록 정보에 기초하여 선택된 오브젝트 화상과 오브젝트 정보를 취득한다. 서버(140)는 오브젝트 정보 취득부(135)와 마찬가지의 처리를 행하고, 서버(140)의 데이터베이스를 검색해서 마우스 지정 오브젝트의 화상을 검색키로 하여 오브젝트 정보를 추출한다. 또한, 추출하지 못한 경우에는 에러 메시지가 통지된다.
스텝(S309)에서는 복합 현실감(MR) 생성 장치(130)는 서버 또는 데이터베이스로부터 취득한 오브젝트 정보와, 오브젝트 화상 데이터를 PC(120)에 송신한다. 또한, 오브젝트 화상 데이터에 대해서는 서버 또는 데이터베이스로부터 취득한 오브젝트 화상이어도 좋고, 카메라(142)의 촬영 화상이어도 좋다.
마지막 스텝(S310)의 처리는 PC(120)의 처리이다. 스텝(S310)에서 PC측 어플리케이션의 처리에 의해, 복합 현실감(MR) 생성 장치(130)로부터의 취득 데이터를 PC측 표시부에 표시한다.
이 결과로서, 도 13에 도시하는 표시 데이터(450)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 앞에서도 설명한 바와 같이, PC 화상(451) 내부에 표시된 오브젝트 화상(471b)과, 오브젝트 정보(471c)는 PC(120)의 어플리케이션 실행부(125)에서 표시부(128)에 표시한 데이터이다. 따라서, 도 13에 도시하는 표시 데이터(450)는 마우스 커서(480a)를 제외하고, 안경을 장착하지 않는 유저도 관찰할 수 있는 정보이다.
이상, 특정한 실시예를 참조하면서 본 발명에 대해서 자세히 해석하였다. 그러나 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정 및 대용을 할 수 있는 것은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는 특허 청구 범위의 란을 참작해야 한다.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 또는 양자의 복합 구성에 의해 실행할 수 있다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을 전용 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 또는 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해서 프로그램을 수신하고, 내장된 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 좋다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로는 제한되지 않는다.
이상, 설명한 바와 같이, 본 발명의 일 실시예의 구성에 따르면, PC 등의 표시부의 외측 영역에 밀려나온 커서 또는 오브젝트를 가상 오브젝트로서 표시한다. 예를 들어 유저가 장착한 안경의 디스플레이에 PC 등의 표시 장치와 그 외부 영역의 화상을 표시한다. 유저 조작에 따라서 이동했다고 상정되는 커서 또는 오브젝트의 3차원 위치를 산출하고, 산출한 위치에 가상 오브젝트로서 표시한다. 또한 커서에 의해 지정된 오브젝트에 대응하는 오브젝트 정보를 취득해서 제시한다. 본 구성에 의해 표시부의 외부로 나와버린 데이터를 항상 관찰하여 확인할 수 있게 되고, 데이터 처리 효율을 높일 수 있다.
10 표시부
11 마우스 커서
12 이동 라인
21 오브젝트
22 이동 라인
31a, 31b 오브젝트
31c 오브젝트 정보
100 유저
120 PC(퍼스널 컴퓨터)
121 마우스 드라이버
122 마우스 좌표 처리 모듈
123 GUI부
124 통신부
125 어플리케이션 실행부
126 제어부
127 메모리
128 표시부
129 마우스
130 복합 현실감(MR) 생성 장치
131 3차원 정보 해석부
132 가상 오브젝트 관리 모듈
133 메모리
134 통신부
135 오브젝트 정보 취득부
136 오브젝트 정보 데이터베이스
140 서버
141 안경
142 카메라
150 표시 데이터
151 PC 화상
152 마우스 커서
200 표시부
201 마커
211 마우스 커서
250 표시 데이터
251 PC 화상
252 오브젝트
271 마우스 커서
301 오브젝트
450 표시 데이터
451 PC 화상
471a, 471b 오브젝트
471c 오브젝트 정보

Claims (9)

  1. 정보 처리 장치로서,
    제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하는 좌표 처리 모듈과,
    상기 제1 표시부를 포함하는 실제 오브젝트를 포함하는 화상을 촬영하는 카메라와,
    카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석부와,
    상기 카메라 촬영 화상을 표시하는 제2 표시부와,
    상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 상기 제2 표시부에 표시하는 가상 오브젝트 관리부를 갖고,
    상기 가상 오브젝트 관리부는,
    상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 정보 처리 장치는,
    상기 위치 지시자에 의해 지정된 지정 오브젝트에 대한 처리를 행하는 어플리케이션 실행부를 갖고,
    상기 어플리케이션 실행부는 상기 지정 오브젝트가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 오브젝트 위치 정보를 가상 오브젝트 관리부에 출력하고,
    상기 가상 오브젝트 관리부는,
    상기 좌표 처리 모듈로부터 입력한 오브젝트 위치 정보에 기초하여 오브젝트의 3차원 위치를 산출하고, 산출한 위치에 오브젝트를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하는, 정보 처리 장치.
  3. 제2항에 있어서,
    상기 가상 오브젝트 관리부는,
    상기 좌표 처리 모듈로부터 입력한 오브젝트 위치 정보에 기초하여 산출한 오브젝트의 3차원 위치가 상기 제1 표시부의 표시 영역을 포함하는 경우, 상기 제1 표시부의 표시 영역에 겹치는 오브젝트 영역 화상을 소거한 합성 화상을 상기 제2 표시부에 표시하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 정보 처리 장치는, 또한,
    상기 가상 오브젝트로서 설정한 커서에 의해 지정된 실제 오브젝트의 화상 데이터를 취득하고, 취득한 화상 데이터에 기초하는 데이터 검색을 행해서 오브젝트 정보의 취득 처리를 행하는 오브젝트 정보 취득부를 갖고,
    상기 오브젝트 정보 취득부는, 취득한 오브젝트 정보를 상기 제1 표시부로의 표시 데이터로서 출력하는 처리를 행하는, 정보 처리 장치.
  5. 제4항에 있어서,
    상기 오브젝트 정보 취득부는,
    실제 오브젝트의 화상 데이터와 오브젝트 정보를 대응시킨 데이터베이스 또는 서버에 대한 액세스를 실행하고, 상기 실제 오브젝트의 화상 데이터에 기초하는 검색 처리에 의해 오브젝트 정보를 취득하는, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 가상 오브젝트 관리부는,
    상기 카메라 촬영 화상에 포함되는 제1 표시부의 구성 부위의 3차원 위치 정보에 기초하여 제1 표시부의 표시면을 포함하는 평면을 산출하고, 상기 평면 위에 상기 커서의 위치가 설정되도록, 상기 커서의 3차원 위치를 산출하는 처리를 행하는, 정보 처리 장치.
  7. 제1항에 있어서,
    상기 커서는 마우스 조작에 의해 이동하는 마우스 커서이며,
    상기 좌표 처리 모듈은 마우스 조작에 의한 마우스 커서의 변위 정보를 입력하고, 마우스 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하는 처리를 행하는, 정보 처리 장치.
  8. 정보 처리 장치에서 실행하는 정보 처리 방법으로서,
    좌표 처리 모듈이 제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하고, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하는 좌표 처리 스텝과,
    카메라가 상기 제1 표시부를 포함하는 실제 오브젝트를 포함하는 화상을 촬영하는 촬영 스텝과,
    3차원 정보 해석부가 카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석 스텝과,
    가상 오브젝트 관리부가 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리 스텝을 갖고,
    상기 가상 오브젝트 관리 스텝은,
    상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하는 스텝인, 정보 처리 방법.
  9. 정보 처리 장치에서 정보 처리를 실행시키는 프로그램으로서,
    좌표 처리 모듈에 제1 표시부에 표시된 위치 지시자인 커서의 위치가 상기 제1 표시부의 영역 내부인지 영역 외부인지를 판정하게 하여, 영역 외부인 경우에는 커서 위치 정보를 가상 오브젝트 관리부에 출력하게 하는 좌표 처리 스텝과,
    카메라에 상기 제1 표시부를 포함하는 실제 오브젝트를 포함하는 화상을 촬영하게 하는 촬영 스텝과,
    3차원 정보 해석부에 카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 해석하게 하는 3차원 정보 해석 스텝과,
    가상 오브젝트 관리부에 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와 상이한 가상 오브젝트를 생성하게 하고, 생성한 가상 오브젝트와 상기 실제 오브젝트를 포함하는 합성 화상을 생성하여 제2 표시부에 표시하게 하는 가상 오브젝트 관리 스텝을 갖고,
    상기 가상 오브젝트 관리 스텝은,
    상기 좌표 처리 모듈로부터 입력한 커서 위치 정보에 기초하여 커서의 3차원 위치를 산출하게 하고, 산출한 위치에 커서를 가상 오브젝트로서 설정한 합성 화상을 상기 제2 표시부에 표시하게 하는 스텝인 프로그램.
KR1020127000896A 2009-07-21 2010-06-30 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20120069654A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009170118A JP5263049B2 (ja) 2009-07-21 2009-07-21 情報処理装置、および情報処理方法、並びにプログラム
JPJP-P-2009-170118 2009-07-21

Publications (1)

Publication Number Publication Date
KR20120069654A true KR20120069654A (ko) 2012-06-28

Family

ID=43499009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127000896A KR20120069654A (ko) 2009-07-21 2010-06-30 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (9)

Country Link
US (1) US8751969B2 (ko)
EP (1) EP2458486A1 (ko)
JP (1) JP5263049B2 (ko)
KR (1) KR20120069654A (ko)
CN (1) CN102473068B (ko)
BR (1) BR112012000913A2 (ko)
RU (1) RU2524836C2 (ko)
TW (1) TW201108037A (ko)
WO (1) WO2011010533A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
JP2012212340A (ja) 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP2013016116A (ja) 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5832666B2 (ja) * 2011-12-20 2015-12-16 インテル・コーポレーション 複数のデバイスにまたがる拡張現実表現
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US10523899B2 (en) * 2013-06-26 2019-12-31 Touchcast LLC System and method for providing and interacting with coordinated presentations
CN104683683A (zh) * 2013-11-29 2015-06-03 英业达科技有限公司 拍摄影像的系统及其方法
JP6357843B2 (ja) * 2014-04-10 2018-07-18 凸版印刷株式会社 アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム
JP6280435B2 (ja) * 2014-04-28 2018-02-14 富士通コンポーネント株式会社 プログラム、中継装置及び情報処理装置
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
JP6197801B2 (ja) * 2015-01-30 2017-09-20 コニカミノルタ株式会社 データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム
WO2016157316A1 (ja) 2015-03-27 2016-10-06 富士通株式会社 表示方法、プログラム及び表示制御装置
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
CN110663011B (zh) * 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
CN111448542B (zh) * 2017-09-29 2023-07-11 苹果公司 显示应用程序
DE112018006197T5 (de) * 2017-12-04 2020-08-20 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund aufzeichnungsmedium
US11049322B2 (en) * 2018-06-18 2021-06-29 Ptc Inc. Transferring graphic objects between non-augmented reality and augmented reality media domains
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
EP4270159A3 (en) 2019-09-26 2024-01-03 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021062278A1 (en) 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication
JP2021140085A (ja) 2020-03-06 2021-09-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
JP2022098268A (ja) 2020-12-21 2022-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) * 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN118020045A (zh) * 2021-08-27 2024-05-10 苹果公司 电子设备的增强表示的系统和方法
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11822941B2 (en) * 2023-08-28 2023-11-21 International Business Machines Corporation Mobile computing device projected visualization interaction

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
US6909443B1 (en) * 1999-04-06 2005-06-21 Microsoft Corporation Method and apparatus for providing a three-dimensional task gallery computer interface
JP4178697B2 (ja) * 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US7369102B2 (en) * 2003-03-04 2008-05-06 Microsoft Corporation System and method for navigating a graphical user interface on a smaller display
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
JP2006154902A (ja) 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4909851B2 (ja) * 2007-09-25 2012-04-04 日立アプライアンス株式会社 洗濯乾燥機
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8531399B2 (en) 2007-12-07 2013-09-10 Sony Corporation Control apparatus, input apparatus, control system, control method, and handheld apparatus
US20090237564A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Interactive immersive virtual reality and simulation
US8176434B2 (en) * 2008-05-12 2012-05-08 Microsoft Corporation Virtual desktop view scrolling

Also Published As

Publication number Publication date
WO2011010533A1 (ja) 2011-01-27
RU2524836C2 (ru) 2014-08-10
CN102473068A (zh) 2012-05-23
US20120124509A1 (en) 2012-05-17
JP5263049B2 (ja) 2013-08-14
RU2012101245A (ru) 2013-07-27
BR112012000913A2 (pt) 2016-03-01
CN102473068B (zh) 2013-12-25
EP2458486A1 (en) 2012-05-30
TW201108037A (en) 2011-03-01
JP2011028309A (ja) 2011-02-10
US8751969B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
KR20120069654A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN110073313B (zh) 使用母设备和至少一个伴随设备与环境交互
US9996982B2 (en) Information processing device, authoring method, and program
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US9424371B2 (en) Click to accept as built modeling
RU2536363C2 (ru) Устройство обработки информации, способ обработки информации и программа
Schmalstieg et al. The world as a user interface: Augmented reality for ubiquitous computing
JP6496671B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
KR101286866B1 (ko) Ａｒ 태그 정보를 생성하는 사용자 단말기 및 그 방법, 그리고, 시스템
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN112667179B (zh) 一种基于混合现实的远程同步协作系统
US11395102B2 (en) Field cooperation system and management device
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
US11030359B2 (en) Method and system for providing mixed reality service
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP5472509B2 (ja) 情報処理装置、および情報処理方法、並びに情報記録媒体
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid