KR20110097639A - 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템 - Google Patents

화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20110097639A
KR20110097639A KR1020110013654A KR20110013654A KR20110097639A KR 20110097639 A KR20110097639 A KR 20110097639A KR 1020110013654 A KR1020110013654 A KR 1020110013654A KR 20110013654 A KR20110013654 A KR 20110013654A KR 20110097639 A KR20110097639 A KR 20110097639A
Authority
KR
South Korea
Prior art keywords
virtual object
image
image processing
operator
unit
Prior art date
Application number
KR1020110013654A
Other languages
English (en)
Inventor
고우이찌 마쯔다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110097639A publication Critical patent/KR20110097639A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부; 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함(appear) -; 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부; 상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 및 상기 제1 사용자 입력이 검출된 경우에, 상기 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부를 포함하는 화상 처리 장치가 제공된다.

Description

화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM}
본 발명은, 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템에 따른 것이다.
종래, 실세계와 가상 세계가 혼합된 환경을 사용자에게 제공하는, MR(Mixed Reality: 복합 현실)이라고 불리는 기술의 개발이 진행되어 오고 있다. MR의 일례인 AR(Augmented Reality:증강 현실)은 실제 공간을 촬영하여 얻어진 화상에, 가상 오브젝트 화상 또는 추가의 정보를 증강하여 사용자에게 제공한다. MR에서는, 사용자가 가상 세계 또는 가상 오브젝트와 상호작용할 수 있도록 하기 위해 일부 인터페이스가 실세계에 종종 배치된다. 예를 들어, 일본 특허 공보 제2002-247602호는, 복수의 사용자가 콘트롤 박스, 즉, 실세계의 물체를 조작함으로써 가상의 퍽(puck)을 서로 때리는 에어 하키 게임(air hockey game)을 제공하는 MR 시스템을 개시하고 있다.
그러나, 일본 특허 공보 제2002-247602호에 기재된 시스템에서와 같이, 예를 들어, 복수의 사용자가 1개의 가상 오브젝트를 공유할 경우, 장치 간의 통신 지연 또는 처리 지연에 의해 실세계의 상태와 가상 오브젝트의 상태 사이에 부정합이 발생할 수 있다. 예를 들어, 상기 일본 특허 공보 제2002-247602호에 기재된 MR 시스템에서는, 마스터로서 기능하는 MR 게임 장치가 사용자의 머리에 장착된 디스플레이(HMD:head mounted display)가 촬상한 입력 화상을 취득하고, 이 입력 화상에 대해 소정의 처리를 수행하고, 출력 화상을 사용자의 HMD에 배신하고 있다. 이 경우, 입력 화상을 취득하고 출력 화상을 배신하는 데에는 많은 시간이 걸린다. 그러므로, 사용자의 손의 상태와 HMD에 표시되는 출력 화상의 상태가 일치하지 않고, 이러한 부정합은 사용자에게 위화감을 느끼게 하기 쉽다. 또한, 사용자가 착용하는 시쓰루 디스플레이(see-through display)에 가상 오브젝트를 투영하는 방법의 경우에는, 사용자가 보는 실세계의 상태와, 통신 지연을 거쳐 투영되는 가상 오브젝트가 디스플레이상에서 서로 어긋나 버릴 수 있는 문제가 있다.
따라서, 본 발명은, 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 줄이면서 복합 현실을 제공할 수 있는, 신규이면서 향상된 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템을 제공한다.
본 발명의 일 실시 형태에 따르면, 실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부; 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함(appear) -; 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부; 상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 및 상기 제1 사용자 입력이 검출된 경우에, 상기 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부를 포함하는 화상 처리 장치가 제공된다.
상기 구성에 따르면, 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 실제 공간의 화상을 촬영하여 얻어지는 입력 화상에 출현하는 조작자가 인식되고, 그 인식의 결과로서, 가상 오브젝트의 표시가 제어된다. 또한, 조작의 개시를 통지하기 위해, 제1 통지 신호는 조작자 측의 화상 처리 장치로부터 관찰자 측의 화상 처리 장치로 송신된다.
상기 제1 통지 신호는, 상기 가상 오브젝트를 식별하기 위한 식별 데이터 또는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함할 수 있다.
조작의 종료를 나타내는 제2 사용자 입력이 검출된 경우에, 상기 통신부는 조작의 종료를 통지하기 위해 상기 다른 장치에 제2 통지 신호를 송신할 수 있다.
상기 제2 통지 신호는, 상기 연산부에 의해 산출되는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함할 수 있다.
상기 화상 인식부는, 상기 통신부가 다른 장치로부터 상기 제1 통지 신호를 수신한 경우에도, 상기 입력 화상에 출현하는 상기 조작자를 인식할 수 있다.
상기 화상 인식부는, 상기 통신부에 의해 수신된 상기 제1 통지 신호가 상기 화상 처리 장치가 표시해야 할 가상 오브젝트들에 관련되지 않을 경우에는, 상기 조작자를 인식하지 않을 수 있다.
상기 통신부는, 상기 제1 사용자 입력이 검출되고 그 후 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과로서 상기 조작자가 상기 가상 오브젝트에 접하는 것으로 판정된 경우에, 상기 다른 장치에 상기 제1 통지 신호를 송신할 수 있다.
상기 통신부는, 상기 제1 통지 신호를, 동일한 가상 오브젝트를 표시하는 한 그룹의 장치를 관리하는 정보 처리 장치에 송신할 수 있다.
상기 제1 통지 신호는, 상기 가상 오브젝트를 식별하기 위한 식별 데이터 또는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함할 수 있고, 상기 제1 통지 신호는 상기 동일한 가상 오브젝트를 표시하는 다른 장치에 상기 정보 처리 장치를 통해서 전송될 수 있다.
상기 화상 처리 장치는, 상기 조작자를 나타내는 조작자 화상을 기억하고 있는 기억부를 더 구비하고, 상기 화상 인식부는 상기 기억부에 기억되어 있는 상기 조작자 화상을 사용하여 상기 입력 화상에 출현하는 상기 조작자를 인식할 수 있다.
본 발명의 다른 실시 형태에 따르면, 화상 처리 장치에 의해 행해지는 화상 처리 방법이 제공되며, 이 방법은, 실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 단계; 조작의 개시를 나타내는 제1 사용자 입력을 검출하는 단계; 조작의 개시를 통지하기 위해, 상기 화상 처리 장치가 조작하려고 하는 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 제1 통지 신호를 송신하는 단계; 상기 입력 화상에 출현하며, 상기 가상 오브젝트의 조작에 사용되는 조작자를 인식하는 단계; 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 단계; 및 산출된 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 단계를 포함한다.
본 발명의 또 다른 실시 형태에 따르면, 화상 처리 장치를 제어하는 컴퓨터로 하여금, 실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부; 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함-; 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부; 상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 상기 제1 사용자 입력이 검출된 경우에, 상기 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부로서 기능시키기 위한 프로그램이 제공된다.
본 발명의 또 다른 실시 형태에 따르면, 2개 이상의 화상 처리 장치들을 포함하는 화상 처리 시스템이 제공되며, 상기 화상 처리 장치들 각각은, 실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부; 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함- ; 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부; 상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 및 상기 제1 사용자 입력이 검출된 경우에, 상기 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부를 포함하며, 상기 화상 인식부는 상기 통신부가 다른 장치로부터 상기 제1 통지 신호를 수신했을 경우에도 상기 입력 화상에 출현하는 상기 조작자를 인식한다.
상술한 바와 같이, 본 발명의 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템에 따르면, 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 줄이면서 복합 현실을 제공할 수 있다.
도 1은 일 실시 형태에 따른 화상 처리 시스템의 개요를 설명하기 위한 모식도.
도 2는 본 발명의 관련 기술에 따른 화상 처리를 설명하는 설명도.
도 3a는 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 설명하는 제1 설명도.
도 3b는 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 설명하는 제2 설명도.
도 4는 일 실시 형태에 따른 화상 처리 장치의 구성의 일례를 도시하는 블록도.
도 5a는 일 실시 형태에 따른 조작자의 일례를 도시하는 모식도.
도 5b는 일 실시 형태에 따른 조작자의 다른 예를 도시하는 모식도.
도 6은 오브젝트 데이터의 일례를 도시하는 설명도.
도 7은 일 실시 형태에 따른 가상 오브젝트의 표시 위치 산출 처리의 흐름의 일례를 도시하는 흐름도.
도 8a는 일 실시 형태에 따른 조작 개시 신호를 도시하는 설명도.
도 8b는 일 실시 형태에 따른 조작 종료 신호를 도시하는 설명도.
도 8c는 일 실시 형태에 따른 자기 위치 통지 신호를 도시하는 설명도.
도 9는 일 실시 형태에 따른 조작자 측의 화상 처리의 흐름의 일례를 도시하는 흐름도.
도 10은 일 실시 형태에 따른 관찰자 측의 화상 처리의 흐름의 일례를 도시하는 흐름도.
도 11은 일 실시 형태에 따른 관리 서버의 구성의 일례를 도시하는 블록도.
도 12는 일 실시 형태에 따른 신호 전송 처리의 흐름의 일례를 도시하는 흐름도.
도 13은 하나의 변형예에 따른 화상 처리 시스템을 도시하는 모식도.
이하에서, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 첨부 도면에 있어서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는 동일한 참조 부호를 부여하고, 이 구성 요소들의 반복되는 설명은 생략함을 유의한다.
또한, 실시 형태들의 상세한 설명을 이하의 순서로 설명한다.
1. 시스템의 개요
1-1. 전체 시스템의 개요
1-2. 관련 기술에 관련된 과제
2. 화상 처리 장치에 관한 설명
2-1. 장치의 구성예
2-2. 처리의 흐름
3. 관리 서버에 관한 설명
3-1. 장치의 구성예
3-2. 처리의 흐름
4. 변형예
5. 정리
<1. 시스템의 개요>
[1-1. 전체 시스템의 개요]
도 1은 본 발명의 일 실시 형태에 따른 화상 처리 시스템의 개요를 도시하는 모식도이다. 도 1은 화상 처리 장치(100a 및 100b) 및 관리 서버(200)를 포함하는 화상 처리 시스템을 나타내고 있다. 화상 처리 장치(100a)는 사용자 Ua가 사용하는 장치이다. 화상 처리 장치(100a)는 유선 통신 접속 또는 무선 통신 접속을 통해 관리 서버(200)와 통신할 수 있다. 화상 처리 장치(100b)는 사용자 Ub가 사용하는 장치이다. 화상 처리 장치(100b)도 또한 유선 통신 접속 또는 무선 통신 접속을 통해 관리 서버(200)와 통신할 수 있다.
화상 처리 장치(100a)는, 예를 들어, 사용자 Ua의 머리에 장착되는 카메라(102a) 및 HMD(104a)에 접속된다. 카메라(102a)는 사용자 Ua의 시선 방향을 따르고, 이 시선 방향으로 실세계 R1을 촬상한다. 그리고 나서, 카메라(102a)는 일련의 입력 화상을 화상 처리 장치(100a)에 출력한다. HMD(104a)는 화상 처리 장치(100a)가 제공하는 화상을 사용자 Ua에 표시한다. HMD(104a)에 의해 표시되는 화상은, 예를 들어, 사용자 Ua의 시야에 가상 오브젝트 V1을 포함시킨 화상이다.
마찬가지로, 화상 처리 장치(100b)는, 예를 들어, 사용자 Ub의 머리에 장착되는 카메라(102b) 및 HMD(104b)에 접속된다. 카메라(102b)는 사용자 Ub의 시선 방향을 따르고, 이 시선 방향으로 실세계 R1을 촬상한다. 그리고 나서, 카메라(102b)는 일련의 입력 화상을 화상 처리 장치(100b)에 출력한다. HMD(104b)는 화상 처리 장치(100b)가 제공하는 화상을 사용자 Ub에 표시한다. 본 실시 형태에 있어서, 화상 처리 장치(100a 및 100b)는 가상 오브젝트 V1을 공유한다. 즉, HMD(104b)에 의해 표시되는 화상도 사용자 Ub의 시야에 가상 오브젝트 V1를 포함시킬 수 있다.
본 명세서에 있어서, 화상 처리 장치들(100a 및 100b)을 서로 구별할 필요가 없을 경우에는, 참조 부호의 말미에 첨부된 알파벳을 생략할 수 있다. 이러한 경우, 화상 처리 장치(100a 및 100b)를 화상 처리 장치(100)라 총칭한다. 카메라(102a 및 102b)(카메라(102)), HMD(104a 및 104b)(HMD(104)), 및 기타 구성 요소에 대해서도 마찬가지로 총칭할 수 있다. 본 실시 형태에 따른 화상 처리 시스템에서의 화상 처리 장치(100)의 수는, 도 1에 도시된 예에 한정되지 않고, 3개 이상일 수 있다. 예를 들어, 화상 처리 시스템은 제3의 사용자가 사용하는 제3 화상 처리 장치(100)를 더 포함할 수 있다.
관리 서버(200)는 시스템 내의 화상 처리 장치들(100)에 관한 정보를 관리하기 위한 정보 처리 장치이다. 예를 들어, 관리 서버(200)는 정기적으로(또는 변화가 발생한 때마다) 각 화상 처리 장치(100)로부터 카메라(102)의 위치 및 자세를 수신하고, 수신된 데이터를 데이터베이스에 기억시킨다. 그리고, 관리 서버(200)는 화상 처리 장치들(100) 중 하나로부터 가상 오브젝트 V1의 조작을 나타내는 신호를 수신하면, 가상 오브젝트 V1을 공유하는 다른 화상 처리 장치(100)에 이 신호를 전송한다.
[1-2. 관련 기술에 관련된 과제]
이어서, 도 1에 도시된 바와 같은 화상 처리 시스템에 있어서의 본 발명에 관련된 기술의 과제를 도 2, 도 3a 및 도 3b를 참조하여 설명한다. 도 2는 관련 기술에 따른 통상적인 화상 처리를 도시하는 설명도이다. 도 3a 및 도 3b는 도 2을 참조하여 설명하는 화상 처리에서 발생할 수 있는, 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 각각 도시하는 설명도이다.
도 2에서, 관련 기술에 따른 통상적인 화상 처리의 흐름이 숫자가 표시된 박스를 사용하여 나타내어져 있다. 박스에 표시된 숫자는 처리 순서를 나타낸다. 즉, 관련 기술에서는, 이하의 순서로 화상 처리가 행해진다.
(1) 조작자를 인식
(2) 오브젝트 위치를 결정
(3) 오브젝트 ID 및 위치를 보고
(4) 오브젝트 ID 및 위치를 배신
(5) 가상 오브젝트를 이동
(1) 조작자를 인식
우선, 화상 처리 장치들(100) 중 하나(도 2의 예에서는 화상 처리 장치(100a))가 입력 화상에 출현하는(appear) 조작자를 인식한다. 조작자는 가상 오브젝트를 조작하는 데 사용되는 실세계의 물체이다. 조작자는 사용자의 손과 같은 인체의 일부일 수도 있고, 또는 인체 이외의 소정의 물체일 수도 있다.
(2) 오브젝트 위치를 결정
이어서, 조작자의 위치(또는 움직임)와 가상 오브젝트의 위치 간의 관계에 기초하여 가상 오브젝트의 새로운 위치가 결정된다. 예를 들어, 조작자가 가상 오브젝트에 접하고 있는 상태에서 조작자가 이동한 경우에는, 조작자의 움직임에 따라 가상 오브젝트의 위치가 갱신될 수 있다.
(3) 오브젝트 ID 및 위치를 보고
이어서, 가상 오브젝트의 새로운 위치와 오브젝트 ID(식별자)가 관리 서버(200)에 보고된다.
(4) 오브젝트 ID 및 위치를 배신
이어서, 관리 서버(200)는, 동일한 가상 오브젝트를 공유하는 다른 화상 처리 장치(100)(도 2의 예에서는 화상 처리 장치(100b))에 가상 오브젝트의 새로운 위치 및 오브젝트 ID를 배신한다.
(5) 가상 오브젝트를 이동
그리고 나서, 동일한 가상 오브젝트를 공유하는 다른 화상 처리 장치(100)에서는, HMD(104)의 화면 상의 가상 오브젝트가 이동된다.
도 2의 예에서는, 화상 처리 장치(100a)가 처리(1) 및 (2)를 행하고 있다. 혹은, 화상 처리 장치(100a) 대신, 관리 서버(200)가 화상 처리 장치(100a)로부터 입력 화상을 수신할 때 처리 (1) 및 (2)를 행할 수 있다. 혹은, 관리 서버(200)를 배치하지 않을 수도 있다. 이 경우, 가상 오브젝트의 새로운 위치와 오브젝트 ID는 화상 처리 장치(100a)로부터 화상 처리 장치(100b)에 직접 송신될 수 있다.
상술한 화상 처리에서는, 화상 처리 장치(100b)가 가상 오브젝트의 이동을 완료시킨 시점에, 장치 간의 통신에 의해 야기되는 시간차 및 처리 지연을 포함하는 시간이 이미 경과했다. 그 결과, 예를 들어, 카메라(102b)에 의해 촬상되는 화상 내에 가상 오브젝트 V1을 중첩하면, HMD(104b) 상에 표시되는 화상은 조작자의 상태와 가상 오브젝트 V1의 상태 사이에 부정합이 있다.
도 3a 및 도 3b는 상술한 문제점을 보다 구체적으로 나타내고 있다. 도 3a는 시간 간격이 T인 화상의 2개의 프레임을 포함하는 예를 나타낸다. HMD(104a)는 2개의 프레임을 사용자 Ua, 즉, 가상 오브젝트 V1을 조작하는 사람에게 표시한다. 한편, 도 3b는 시간 간격이 T인 화상의 2개의 프레임을 포함하는 예를 나타내고 있다. HMD(104b)는 2개의 프레임을 사용자 Ub, 즉, 가상 오브젝트 V1을 관찰하는 사람에게 표시한다. 이 예에서, 조작자는 사용자의 손이다.
도 3a에 나타낸 바와 같이, 시각 t=0에서, 조작자 H1은 가상 오브젝트 V1a에 접하고 있다. 그 후, 시각 t=T에서, 조작자 H1이 이동함에 따라 가상 오브젝트 V1a이 왼쪽으로 이동한다. 시각 t=T에서도, 조작자 H1는 가상 오브젝트 V1a에 접하고 있다.
도 3b는, 시각 t=0에서 조작자 H1이 가상 오브젝트 V1b에 접하고 있다는 점에서 도 3a와 동일하다. 가상 오브젝트 V1a와 가상 오브젝트 V1b는 동일한 오브젝트 ID를 갖는 동일한 오브젝트이다. 그러나, 이 오브젝트들은 상이한 HMD 상에 표시되기 때문에 편의상 상이한 참조 번호를 부여한다. 그 후, 시각 t=T에서, 조작자 H1이 이동함에 따라 가상 오브젝트 V1b가 왼쪽으로 이동하고 있다. 시각 t=T에서, 정보 처리 장치(100b)는, 장치들 간의 통신에 의해 야기되는 시간차 및 처리의 지연으로 인해, 현재 프레임의 수 프레임 이전의 프레임에서의 가상 오브젝트의 위치를 수신한다. 그로 인해, 시각 t=T에 HMD(104b) 상에 표시되는 오브젝트 V1b의 위치는, 시각 t=T에 HMD(104a) 상에 표시되는 가상 오브젝트 V1a의 위치와 변위 d만큼 어긋나 있다. 그러나, 실세계에서는, 카메라(102b)에 의해 촬상되는 조작자 H1의 위치는 카메라(102a)에 의해 촬상되는 조작자 H1의 위치와 동일하다. 그 결과, HMD(104b) 상에 표시되는 화상에서, 조작자 H1의 위치와 가상 오브젝트 V1b이 정합하지 않는다. 도 3b의 예에서는, 조작자 H1이 가상 오브젝트 V1b에 접하는 것이 아니라 가상 오브젝트 V1b에 꽂힌 상태이다.
이러한 부정합은, 각 HMD(104)가, 가상 오브젝트의 화상만이 각 HMD(104)의 화면에 투영되는 시쓰루 디스플레이인 경우에도 마찬가지로 또는 보다 강하게 발생한다.
이러한 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합은, 장치들 간의 통신에 의해 야기되는 시간차 및 처리 지연의 영향을 가능한 한 많이 저감함으로써 억제될 수 있다. 이후의 챕터(chapter)에서는, 본 실시 형태에 따른 화상 처리 장치(100) 및 관리 서버(200)의 구체적인 구성을 설명한다. 이 화상 처리 장치(100) 및 관리 서버(200)는 복합 현실을 제공할 때 장치들 간의 통신에 의해 야기되는 시간차 및 처리 지연의 영향을 저감한다.
<2. 화상 처리 장치에 관한 설명>
[2-1. 장치의 구성예]
도 4는 본 실시 형태에 따른 화상 처리 장치(100)의 구성의 일례를 도시하는 블록도이다. 도 4에 나타낸 바와 같이, 화상 처리 장치(100)는 입력 화상 취득부(110), 자기 위치 검출부(120), 기억부(130), 화상 인식부(140), 연산부(150), 표시 제어부(160) 및 통신부(170)를 포함한다.
(입력 화상 취득부)
카메라(102)는 실제 공간의 화상을 촬영하여 입력 화상을 생성하고, 입력 화상 취득부(110)는 이렇게 생성된 입력 화상을 취득한다. 그리고, 입력 화상 취득부(110)는 취득한 입력 화상을 자기 위치 검출부(120), 화상 인식부(140) 및 표시 제어부(160)에 출력한다.
(자기 위치 검출부)
자기 위치 검출부(120)는 실세계에서의 카메라(102)의 위치 및 자세를 검출한다. 카메라(102)의 위치는, 예를 들어, 실세계의 절대 좌표계에서의 3차원 위치에 의해 나타내어진다. 카메라(102)의 자세는, 회전 행렬에 대응하는 4원수(quaternion) 또는 오일러 각(Euler angle)에 의해 나타내진다. 자기 위치 검출부(120)는, 예를 들어, Andrew J. Davison에 의한 "Real-Time Simultaneous Localization and Mapping with a Single Camera"(Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410)에 기재되어 있는 SLAM 기술의 원리에 따라, 입력 화상 취득부(110)에 의해 제공되는 입력 화상을 사용하여 카메라(102)의 위치 및 자세를 검출할 수 있다. 혹은, 카메라(102)가 위치 센서(예를 들어, 광 위치 센서) 및 자세 센서(예를 들어, 자이로 센서)을 갖는 경우에는, 자기 위치 검출부(120)는 카메라(102)의 센서에 의해 검출되는 위치 및 자세를 취득할 수 있다. 자기 위치 검출부(120)는, 상술한 방법들 중 임의의 한 방법에 의해 검출된 카메라(102)의 위치 및 자세를 화상 인식부(140) 및 통신부(170)에 출력한다.
(기억부)
기억부(130)는 하드 디스크 또는 반도체 메모리 등의 기록 매체를 사용하여 조작자 화상 및 오브젝트 데이터를 미리 기억하고 있다. 조작자 화상은 출력 화상에 표시되는 가상 오브젝트의 조작을 위해서 사용되는 조작자를 나타내는 화상이다. 한편, 오브젝트 데이터는 복합 현실에서 HMD(104)에 의해 표시되는 가상 오브젝트에 관련된 데이터이다.
도 5a 및 도 5b는 본 실시 형태에 따른 조작자의 일례를 각각 도시하는 모식도이다. 도 5a의 예에서 조작자 M1a는 사용자의 손이다. 이 경우, 기억부(130)는 사용자의 손을 촬상하여 얻은 화상을 조작자 화상으로서 미리 기억한다. 기억부(130)는, 예를 들어, 상이한 여러 방향으로부터 사용자의 손을 촬상하여 얻은 한 그룹의 화상을 조작자 화상으로서 기억할 수도 있다.
도 5b의 예에서 조작자 M1b는 사용자의 손가락에 장착되는 입방체 형상의 마커(cubic marker)이다. 마커의 각 면의 중앙부에는 구멍이 형성되어 있고, 사용자는 그 구멍 안에 손가락을 삽입하여 마커를 움직일 수 있다. 이 경우, 기억부(130)는 마커를 보여주고 있는 화상을 조작자 화상으로서 미리 기억한다. 혹은, 예를 들어, 마커 뿐만 아니라 마커 내에 삽입된 손가락 전체를 조작자로서 하여, 마커 및 손가락을 포함하는 조작자를 보여주는 화상이 조작자 화상으로서 기억될 수도 있다.
조작자는 도 5a 및 도 5b에 나타낸 예에 한정되지 않음을 유의한다. 예를 들어, 조작자는 사용자의 발 및 사용자가 잡고 있는 막대 형상의 물체와 같은, 실세계에 존재하는 인체의 일부 또는 임의의 물체의 일부일 수 있다. 기억부(130)는, 화상 인식부(140)로부터의 요구에 응하여, 조작자 화상을 화상 인식부(140)에 출력한다.
도 6은 기억부(130)에 기억되어 있는 오브젝트 데이터의 일례를 도시하는 설명도이다. 도 6에 도시된 바와 같이, 오브젝트 데이터는 오브젝트 ID, 형상 및 위치의 3개의 데이터 항목을 포함한다. "오브젝트 ID"는, 가상 오브젝트를 고유하게 식별하기 위한 식별자이다. 도 6의 예는 오브젝트 ID가 V1 및 V2인 2개의 가상 오브젝트의 오브젝트 데이터를 포함하고 있다. "형상"은 가상 오브젝트의 형상을 나타내는 데이터이다. 가상 오브젝트의 형상은, 예를 들어, 다각형으로 표현될 수 있다. "위치"는 가상 오브젝트의 최신 위치를 나타내는 3차원 좌표 데이터이다. 가상 오브젝트의 위치는 사용자가 조작자를 조작함에 따라 갱신된다. 연산부(150)로부터의 요구에 응하여, 기억부(130)는 오브젝트 데이터를 연산부(150)에 출력한다.
(화상 인식부)
화상 인식부(140)는, 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 입력 화상 취득부(110)에 의해 주어지는 입력 화상에 출현하며 가상 오브젝트의 조작에 사용되는 조작자를 인식한다. 화상 인식부(140)는, 예를 들어, 기억부(130)에 기억되어 있는 조작자 화상을 사용하여 입력 화상에 출현하는 조작자를 인식할 수 있다. 보다 구체적으로는, 예를 들어, 화상 인식부(140)는, 공지의 패턴 매칭 방법을 사용하여 입력 화상의 부분 화상과 조작자 화상을 대조한다. 그리고, 화상 인식부(140)는 입력 화상 내에서 조작자 화상이 검출되는 위치와 조작자 화상의 검출된 크기에 기초하여, 실세계에서의 조작자의 3차원 위치를 인식한다. 여기에서 인식되는 조작자의 3차원 위치는, 그 시점의 카메라(102)의 위치 및 자세에 대한 상대적인 위치이다. 또한, 화상 인식부(140)는 자기 위치 검출부(120)에 의해 제공되는 카메라(102)의 위치 및 자세를 사용하여, 조작자의 상대적인 3차원 위치를 실세계의 절대 좌표계에서의 3차원 위치로 변환한다. 그리고, 화상 인식부(140)는 변환된 조작자의 위치를 연산부(150)에 출력한다. 화상 인식부(140)는, 조작의 개시를 나타내는 제1 사용자 입력이 검출된 후 조작의 종료를 나타내는 제2 사용자 입력이 검출될 때까지, 일련의 입력 화상의 각 프레임에 대해서 이 화상 인식 처리를 반복한다. 그리고, 조작의 종료를 나타내는 제2 사용자 입력이 검출되면, 화상 인식부(140)는 화상 인식 처리를 종료한다. 혹은, 예를 들어, 화상 인식부(140)는, 조작자 화상 대신 조작자의 형상을 나타내는 형상 데이터를 사용하여 입력 화상에 출현하는 조작자를 인식할 수도 있다.
조작의 개시를 나타내는 제1 사용자 입력 및 조작의 종료를 나타내는 제2 사용자 입력은, 예를 들어, 화상 처리 장치(100) 상에 배치되는 소정의 버튼을 누르는 것, 입력 화상 내의 사용자에 의해 행해지는 소정의 몸짓(gesture), 또는 사용자에 의한 음성 입력일 수 있다.
화상 인식부(140)는, 후에 설명되는 조작 개시 신호가 통신부(170)에 의해 수신되었을 때에도 상술한 화상 인식 처리를 실행한다. 이 경우에서, 화상 인식 처리는, 후에 설명되는 조작 종료 신호가 통신부(170)에 의해 수신될 때까지, 일련의 입력 화상의 각 프레임에 대해서 반복된다. 본 명세서에서는, 제1 사용자 입력의 검출에서부터 제2 사용자 입력의 검출까지의 처리를 조작자 측의 처리라고 한다. 제1 사용자 입력의 수신에서부터 제2 사용자 입력의 수신까지의 처리를 관찰자 측의 처리라고 한다.
(연산부)
조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 연산부(150)는 화상 인식부(140)에 의해 제공되는 조작자의 인식의 결과에 따라, HMD(104)가 화면 상에 가상 오브젝트를 표시하는 위치를 산출한다. 그리고, 연산부(150)는 산출된 가상 오브젝트의 표시 위치를 표시 제어부(160)에 출력할 뿐만 아니라, 기억부(130)에 의해 기억되어 있는 가상 오브젝트의 위치 데이터를 갱신한다. 조작의 개시를 나타내는 제1 사용자 입력이 검출된 후, 연산부(150)는 조작자의 인식의 결과에 따라, 가상 오브젝트의 표시 위치 산출 처리를, 조작의 종료를 나타내는 제2 사용자 입력이 검출될 때까지, 일련의 입력 화상의 각 프레임에 대해서 반복한다.
도 7은 연산부(150)에 의해 행해지는, 본 실시 형태에 따른 가상 오브젝트의 표시 위치 산출 처리의 구체적인 흐름의 일례를 나타내는 흐름도이다. 도 7에 나타낸 바와 같이, 연산부(150)는, 우선, 기억부(130)로부터 각 가상 오브젝트의 오브젝트 데이터를 취득한다(단계 S102). 여기서 취득되는 오브젝트 데이터는, 각 가상 오브젝트의 최신의 위치와 형상을 포함한다. 이어서, 연산부(150)는 화상 인식부(140)에 의해 인식된 조작자의 위치를 취득한다(단계 S104). 이어서, 연산부(150)는, 각 가상 오브젝트의 최신의 위치 및 형상에 기초하여 그리고 조작자의 위치에 기초하여, 조작자가 가상 오브젝트에 접하고 있는지의 여부를 판정한다(단계 S106). 여기서, 조작자가 가상 오브젝트에 접하고 있지 않은 경우에는, 그 후의 처리는 스킵된다. 이어서, 조작자가 가상 오브젝트에 접하고 있을 경우에는, 연산부(150)는 조작자의 위치에 기초하여 가상 오브젝트의 새로운 위치를 산출한다(단계 S108). 예를 들어, 조작자가 가상 오브젝트에 접하고 있는 상태에서 조작자가 X 방향으로 거리 D만큼 이동하면, 조작자의 이동에 따라 가상 오브젝트의 위치도 X 방향으로 거리 D만큼 이동한다. 이어서, 연산부(150)는, 자기 위치 검출부(120)에 의해 검출된 카메라(102)의 위치 및 자세에 기초하여, 가상 오브젝트의 새로운 위치를, 실세계의 3차원 위치로부터 HMD(104)의 화면 상의 2차원 위치로 변환한다(단계 S110). 예를 들어, 3차원 위치로부터 화면 상의 2차원 위치로 좌표를 변환하는 데에 있어, 핀 홀 모델에 기초하는 다음 식을 사용할 수 있다.
[식 1]
Figure pat00001
식 (1)에 있어서, p는 가상 오브젝트의 3차원 위치 벡터를 나타내고, x는 카메라(102)의 3차원 위치 벡터를 나타내고, R은 카메라(102)의 자세에 대응하는 회전 행렬을 나타내고, A는 카메라 내부 파라미터를 나타내고, λ는 정규화를 위한 파라미터를 나타낸다. 한편, p'는 가상 오브젝트의 화면 상의 2차원 위치를 나타낸다. 여기서, 카메라 내부 파라미터 A는 카메라(102)의 특성에 따라, 미리 다음 식에 의해 주어진다.
[식 2]
Figure pat00002
여기서, f는 초점 거리를 나타내고, θ는 화상 축의 직교성(이상적인 값은 90°임), ku는 초점면(focal plane)의 종축의 스케일(실세계의 절대 좌표계에서부터 초점면의 좌표계까지의 스케일 변화율)을 나타내고, kv는 초점면의 횡축의 스케일을 나타내고, (uo, vo)는 초점면의 중심 위치를 나타낸다.
또한, 가상 오브젝트가 다각형으로 표현되는 경우에는, 연산부(150)는 카메라(102)의 위치 및 자세에 기초하여, 다각형의 각 정점의, HMD(104) 화면 상의 2차원 위치를 산출한다.
또한, 연산부(150)는, 관찰자 측 처리로서, 후에 설명되는 조작 개시 신호가 통신부(170)에 의해 수신되었을 경우에도, 상술한 가상 오브젝트의 표시 위치 산출 처리를 실행한다. 이 경우의 표시 위치 산출 처리는, 후에 설명되는 조작 종료 신호가 통신부(170)에 의해 수신될 때까지, 일련의 입력 화상의 각 프레임에 대해서 반복된다. 또한, 통신부(170)가 조작 종료 신호를 수신하면, 연산부(150)는 조작 종료 신호에 포함되어 있는 가상 오브젝트의 위치 데이터를 사용하여 표시 제어부(160)에 의해 표시되는(그리고 기억부(130)에 기억되어 있는) 가상 오브젝트의 위치를 보정한다. 이것은, 가상 오브젝트의 표시 위치 산출 처리가 조작자 측과 관찰자 측에 대해 병행하여 수행되는 경우에 여전히 남아있는, 가상 오브젝트의 위치의 작은 변위를 해소하기 위한 처리이다.
또한, 가상 오브젝트가 조작되지 않을 때에도, 연산부(150)는 기억부(130)에 기억되어 있는 가상 오브젝트의 위치 데이터 및 자기 위치 검출부(120)에 의해 검출되는 카메라(102)의 위치 및 자세에 기초하여, 가상 오브젝트의 화면 상의 표시 위치를 산출한다. 그리고, 연산부(150)는 산출된 가상 오브젝트의 표시 위치를 표시 제어부(160)에 출력한다.
(표시 제어부)
표시 제어부(160)는, 연산부(150)에 의해 산출되는 HMD(104)의 화면 상의 표시 위치에 가상 오브젝트를 표시시킨다. 예를 들어, 표시 제어부(160)는, 입력 화상 취득부(110)에 의해 제공되는 입력 화상에 가상 오브젝트를 나타내는 다각형을 중첩시킴으로써 출력 화상을 생성하고, 이 출력 화상을 HMD(104)에 출력할 수 있다. 보다 구체적으로는, 표시 제어부(160)는, 예를 들어, 연산부(150)에 의해 산출되는 가상 오브젝트의 다각형의 정점들의 좌표에 기초하여, 다각형을 출력 화상 내에 그릴(draw) 수 있다. 그 결과, HMD(104)에 의해 사용자에게 표시되는 출력 화상에서, 조작자가 이동함에 따라 가상 오브젝트가 이동하고, 따라서 증강된 현실을 사용자에게 제공한다. 예를 들어, HMD(104)가 시쓰루 디스플레이인 경우에는, 표시 제어부(160)는 연산부(150)에 의해 산출되는 가상 오브젝트의 다각형의 정점들의 좌표에 기초하여, 다각형을 HMD(104)의 화면 상에 투영할 수 있다.
(통신부)
조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 통신부(170)는 동일한 가상 오브젝트를 표시하는 다른 화상 처리 장치(100)에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신한다. 본 명세서에서는, 제1 통지 신호를 조작 개시 신호라고 한다. 또한, 조작의 종료를 나타내는 제2 사용자 입력이 검출된 경우에, 통신부(170)는 동일한 가상 오브젝트를 표시하는 다른 화상 처리 장치(100)에 조작의 종료를 통지하기 위한 제2 통지 신호를 송신한다. 본 명세서에서는, 제2 통지 신호를 조작 종료 신호라고 한다. 본 실시 형태에서는, 조작 개시 신호 및 조작 종료 신호는 관리 서버(200)를 통해서 다른 화상 처리 장치(100)에 송신된다.
도 8a는 본 실시 형태에 따른 조작 개시 신호를 도시하는 설명도이다. 도 8a에 나타낸 바와 같이, 조작 개시 신호 S1은, 신호 유형(signal type), 송신원(source), 오브젝트 ID 및 오브젝트 위치의 4개의 필드를 포함한다. "신호 유형"은 당해 신호가 조작 개시 신호임을 나타내는 필드이다. "송신원"은 당해 신호를 송신하는 화상 처리 장치(100)를 식별하기 위한 필드이다. "오브젝트 ID"는, 어느 가상 오브젝트가 조작되려고 하고 있는지를 식별하기 위한 필드이다. "오브젝트 ID"에는 복수의 가상 오브젝트의 오브젝트 ID가 열거될 수 있다. "오브젝트 위치"는 필요에 따라 배치되는 필드이며, 조작의 개시 시점에서의 가상 오브젝트의 위치를 나타내는 3차원 좌표 데이터를 포함한다. 이 "오브젝트 ID" 또는 "오브젝트 위치"는 관리 서버(200)가 조작 개시 신호를 전송하는 전송처가 되는 화상 처리 장치(100)를 판별하는 데에 사용될 수 있다.
도 8b는 본 실시 형태에 따른 조작 종료 신호를 도시하는 설명도이다. 도 8b에 나타낸 바와 같이, 조작 종료 신호 S2는, 신호 유형, 송신원, 오브젝트 ID 및 오브젝트 위치의 4개의 필드를 포함한다. "신호 유형"은 당해 신호가 조작 종료 신호임을 나타내는 필드이다. "송신원"은 당해 신호를 송신하는 화상 처리 장치(100)를 식별하기 위한 필드이다. "오브젝트 ID"는, 어느 가상 오브젝트의 조작이 종료되려고 하고 있는지를 식별하기 위한 필드이다. "오브젝트 ID"는 복수의 가상 오브젝트의 오브젝트 ID를 열거할 수 있다. "오브젝트 위치"는, 조작 종료 시점에서의 가상 오브젝트의 위치를 나타내는 3차원 좌표 데이터를 포함한다. 이 "오브젝트 ID" 또는 "오브젝트 위치"는, 관리 서버(200)가 조작 종료 신호를 전송하는 전송처가 되는 화상 처리 장치(100)를 판별하는 데에 사용될 수 있다. 또한, 조작 종료 신호를 수신한 정보 처리 장치(100)는, 조작 종료 신호 S2의 "오브젝트 위치"를 사용하여 조작 종료 시점에서의 가상 오브젝트의 위치를 보정할 수 있다.
또한, 통신부(170)는, 자기 위치 검출부(120)에 의해 검출되는 카메라(102)의 위치 및 자세를 통지하기 위한 제3 통지 신호를 관리 서버(200)에 정기적으로(또는 변화가 발생한 때마다) 송신한다. 본 명세서에서는, 제3 통지 신호를 자기 위치 통지 신호라고 한다.
도 8c는 본 실시 형태에 따른 자기 위치 통지 신호를 도시하는 설명도이다. 도 8c에 도시한 바와 같이, 자기 위치 통지 신호 S3은, 신호 유형, 송신원 및 위치/자세의 3개의 필드를 포함한다. "신호 유형"은 당해 신호가 자기 위치 통지 신호임을 나타내는 필드이다. "송신원"은 당해 신호를 송신하는 화상 처리 장치(100)를 식별하기 위한 필드이다. "위치/자세"는, 예를 들어, 카메라(102)의 절대 좌표계에서의 3차원 위치와 회전 행렬에 대응하는 4원수를 포함한다. 각 화상 처리 장치(100)로부터 정기적으로 송신되는 자기 위치 통지 신호 S3에 기초하여, 후에 설명되는 관리 서버(200)는 각 화상 처리 장치(100)의 시야를 인식할 수 있다.
[2-2. 처리의 흐름]
(조작자 측의 처리)
도 9는 본 실시 형태에 따른 화상 처리 장치에 의해 행해지는 조작자 측의 화상 처리의 흐름의 일례를 도시하는 흐름도이다.
도 9에 나타낸 바와 같이, 우선, 화상 인식부(140) 및 연산부(150)가 제1 사용자 입력이 검출되었는지의 여부를 감시한다(단계 S122). 제1 사용자 입력이 검출되면, 단계 S124 및 이후의 단계에서 조작자 측의 화상 처리가 개시된다. 조작자 측의 화상 처리에서는, 우선, 통신부(170)가 조작 개시 신호 S1를 관리 서버(200)에 송신한다(단계 S124). 이어서, 화상 인식부(140)가 기억부(130)에 기억되어 있는 조작자 화상을 사용하여 입력 화상 내의 조작자를 인식하고, 조작자의 위치를 연산부(150)에 출력한다(단계 S126). 이어서, 연산부(150)는 도 7을 참조하여 설명한 바와 같은 가상 오브젝트의 표시 위치 산출 처리를 행한다(단계 S128). 그리고, 표시 제어부(160)는 조작자의 위치에 따라 HMD(104)의 화면 상에 표시되어 있는 가상 오브젝트를 이동시킨다(단계 S130). 이어서, 화상 인식부(140) 및 연산부(150)는 제2 사용자 입력이 검출되었는지의 여부를 판정한다(단계 S132). 여기서, 제2 사용자 입력이 검출되지 않은 경우에는, 단계 S126이 후속되어 수행되고, 입력 화상의 후속 프레임에 대해서 단계 S126 내지 단계 S130이 반복된다. 한편, 제2 사용자 입력이 검출된 경우에는, 통신부(170)는 조작 종료 신호 S2를 관리 서버(200)에 송신한다(단계 S134). 그리고 나서, 조작자 측의 화상 처리는 종료된다.
또한, 통신부(170)는, 제1 사용자 입력이 검출된 후, 화상 인식부(140)에 의해 제공되는 조작자의 인식의 결과로서 조작자가 가상 오브젝트에 접했다고 판정될때까지 기다릴 수 있으며(즉, 도 7의 단계 S106의 판정 결과가 "예"가 되고나서), 그 후 조작 개시 신호를 관리 서버(200)에 송신할 수 있다. 이 경우에는 흐름이 도 9의 흐름과 상이하다. 관찰자 측에서의 화상 처리에서는, 조작자에 의한 가상 오브젝트의 실제 조작이 개시되지 않는다. 그러므로, 가상 오브젝트의 화면 상에서의 이동의 개시가 지연될 수 있는 가능성이 있지만, 제1 사용자 입력에서부터 가상 오브젝트의 실제 조작의 개시까지의 관찰자 측의 처리의 비용이 저감된다.
(관찰자 측의 처리)
도 10은 본 실시 형태에 따른 화상 처리 장치(100)에 의한 관찰자 측의 화상 처리의 흐름의 일례를 도시하는 흐름도이다.
도 10에 나타낸 바와 같이, 우선, 통신부(170)는 조작 개시 신호가 수신되었는지의 여부를 감시한다(단계 S152). 조작 개시 신호가 수신되면, 단계 S154 및 이후 단계의 관찰자 측의 화상 처리가 개시된다. 관찰자 측의 화상 처리에서는, 우선, 화상 인식부(140)가 기억부(130)에 기억되어 있는 조작자 화상을 사용하여 입력 화상 중의 조작자를 인식하고, 조작자의 위치를 연산부(150)에 출력한다(단계 S154). 이어서, 연산부(150)는 도 7을 참조하여 설명한 가상 오브젝트의 표시 위치 산출 처리를 행한다(단계 S156). 그리고, 표시 제어부(160)는 조작자의 위치에 따라 HMD(104)의 표시 화면 상에 표시되어 있는 가상 오브젝트를 이동시킨다(단계 S158). 이어서, 통신부(170)는 조작 종료 신호가 수신되었는지의 여부를 판정한다(단계 S160). 여기서, 조작 종료 신호가 수신되지 않은 경우에는, 단계 S154이 이어서 다시 행해지고, 입력 화상의 후속 프레임에 대해서 단계 S154 내지 S158이 반복된다. 한편, 조작 종료 신호가 수신되었을 경우에는, 연산부(150)는 가상 오브젝트의 위치를 보정한다(단계 S162). 그리고 나서, 관찰자 측의 화상 처리가 종료된다.
<3. 관리 서버에 관한 설명>
[3-1. 장치의 구성예]
도 11은 본 실시 형태에 따른 관리 서버(200)의 구성의 일례를 도시하는 블록도이다. 도 11에 도시된 바와 같이, 관리 서버(200)는 통신부(210), 기억부(220) 및 사용자 관리부(230)를 포함한다.
(통신부)
통신부(210)는 유선 통신 접속 또는 무선 통신 접속을 통해 각 화상 처리 장치(100)의 통신부(170)에/통신부(170)로부터 신호를 송수신한다. 관리 서버(200)의 통신부(210)와 각 화상 처리 장치(100)의 통신부(170) 사이에서 송수신되는 신호는, 조작 개시 신호, 조작 종료 신호 및 자기 위치 통지 신호를 포함한다.
(기억부)
기억부(220)는 하드 디스크 또는 반도체 메모리 등의 기억 매체를 사용하여 동일한 가상 오브젝트를 표시하는 한 그룹의 화상 처리 장치(100)를 관리하기 위한 데이터베이스를 기억한다. 기억부(220)에 기억되는 데이터베이스는, 자기 위치 통지 신호를 사용하여 정기적으로 수집되는 각 화상 처리 장치(100)의 카메라(102)의 위치 및 자세에 관한 데이터를 포함한다. 또한, 기억부(220)에 기억되는 데이터베이스는, 예를 들어, 각 화상 처리 장치(100)에 의해 표시될 수 있는 가상 오브젝트의 오브젝트 ID를 포함할 수도 있다.
(사용자 관리부)
통신부(210)가 자기 위치 통지 신호를 수신하면, 사용자 관리부(230)는 당해 자신 위치 통지 신호를 송신하는 화상 처리 장치(100)에 관한 위치 및 자세에 대한, 기억부(220)에 기억되어 있는 데이터를 갱신한다. 통신부(210)가 조작 개시 신호 또는 조작 종료 신호를 수신하면, 사용자 관리부(230)는 당해 신호의 송신원과 동일한 가상 오브젝트를 표시하고 있는 다른 화상 처리 장치(100)에, 조작 개시 신호 또는 조작 종료 신호를 전송시킨다. 사용자 관리부(230)는, 예를 들어, 기억부(220)의 데이터베이스 내의, 조작 개시 신호 또는 조작 종료 신호에 포함되는 오브젝트 ID와 관련되는 화상 처리 장치(100)를, 각 신호가 전송되는 전송처 장치로서 채택할 수 있다. 혹은, 사용자 관리부(230)는, 예를 들어, 카메라(102)가 조작 개시 신호 또는 조작 종료 신호에 의해 표시되는 가상 오브젝트의 위치를 포함하는 시야를 갖는, 그러한 카메라를 갖는 화상 처리 장치(100)를, 각 신호가 전송되는 전송처 장치로서 채택할 수도 있다.
[3-2. 처리의 흐름]
도 12는 본 실시 형태에 따라 관리 서버(200)에 의해 행해지는 신호 전송 처리의 흐름의 일례를 나타내는 흐름도이다.
도 12에 나타낸 바와 같이, 우선, 통신부(210)는 조작 개시 신호 또는 조작 종료 신호가 수신되었는지의 여부를 감시한다(단계 S202). 여기서, 조작 개시 신호 또는 조작 종료 신호가 수신되었을 경우에는, 단계 S204가 이어서 행해진다. 이어서, 사용자 관리부(230)는 기억부(220)로부터 각 화상 처리 장치(100)의 상태를 취득한다(단계 S204). 여기서 취득되는 각 화상 처리 장치(100)의 상태는, 예를 들어, 각 화상 처리 장치(100)에 의해 표시되는 가상 오브젝트의 오브젝트 ID 또는 각 화상 처리 장치(100)의 카메라(102)의 위치 및 자세를 포함할 수 있다. 이어서, 사용자 관리부(230)는 가상 오브젝트를 공유하는 다른 화상 처리 장치(100)(조작 개시 신호 또는 조작 종료 신호의 송신원 이외의 장치)가 존재하는지의 여부를 판정한다(단계 S206). 가상 오브젝트를 공유하는 다른 화상 처리 장치(100)가 존재하지 않는 경우에는, 단계 S208은 스킵된다. 한편, 가상 오브젝트를 공유하는 다른 화상 처리 장치(100)가 존재하는 경우에는, 통신부(210)는 조작 개시 신호 또는 조작 종료 신호를 다른 화상 처리 장치(100)에 전송한다(단계 S208). 그리고 나서, 관리 서버(200)에 의해 행해지는 신호 전송 처리는 종료된다.
<4. 변형예>
도 13은 본 실시 형태의 변형예에 따른 화상 처리 시스템을 도시하는 모식도이다. 도 13에는, 화상 처리 장치(300a, 300b 및 300c)를 포함하는 화상 처리 시스템이 나타나 있다. 화상 처리 장치(300a, 300b 및 300c)는 각각 사용자 Ua, Ub 및 Uc에 의해 사용된다. 이 장치들은 유선 통신 접속 또는 무선 통신 접속을 통해 서로 통신할 수 있다.
통상적으로, 화상 처리 장치(300a, 300b 및 300c)는 도 4를 참조하여 설명된 화상 처리 장치(100)와 동등한 구성을 갖는다. 단, 화상 처리 장치(300a, 300b 및 300c)의 통신부(170)는, 관리 서버(200)에 의존하지 않고, 조작 개시 신호 및 조작 종료 신호를 직접 송수신한다. 예를 들어, 통신부(170)가 조작 개시 신호를 수신하면, 화상 처리 장치(300a, 300b 및 300c)는 다음과 같이 행한다: 화상 처리 장치(300a, 300b 및 300c)가 당해 신호의 송신원과 동일한 가상 오브젝트를 표시하는 경우에만, 화상 인식부(140)가 조작자를 인식한다. 이 경우에서 조작자를 인식하는 것이 필요한지의 여부는, 예를 들어, 조작 개시 신호에 포함되는 가상 오브젝트의 오브젝트 ID 또는 위치 데이터에 기초하여 판정된다.
예를 들어, 도 13의 예에서, 화상 처리 장치(300a 및 300b)는 가상 오브젝트 V1을 공유하고 있다. 즉, 화상 처리 장치(300a)의 HMD(104a) 및 화상 처리 장치(300b)의 HMD(104b)는 둘 다 가상 오브젝트 V1을 표시할 수 있다. 한편, 화상 처리 장치(300c)는 가상 오브젝트 V1을 공유하지 않는다. 가상 오브젝트 V1을 공유하는 대신에, 화상 처리 장치(300c)의 HMD(104c)는 다른 가상 오브젝트 V2를 표시할 수 있다. 이러한 예에서, 이하의 경우에서는, 사용자 Ua가 가상 오브젝트 V1을 조작하는 사람이며, 사용자 Ua가 화상 처리 장치(300a)의 버튼(106a)을 누름으로써 가상 오브젝트 V1의 조작을 개시하는 것으로 한다. 이러한 경우, 화상 처리 장치(300a)는 제1 사용자 입력을 검출하고, 조작 개시 신호 S1을 화상 처리 장치(300b) 및 화상 처리 장치(300c)에 송신한다. 예를 들어, 조작 개시 신호 S1은 가상 오브젝트 V1의 오브젝트 ID 또는 위치 데이터를 포함한다. 화상 처리 장치(300b)가 조작 개시 신호 S1를 수신하면, 화상 처리 장치(300b)는, 당해 신호에 포함되어 있는 오브젝트 ID 또는 위치 데이터에 기초하여, 화상 처리 장치(300b)가 표시하려고 하는 가상 오브젝트 V1의 조작의 개시를 결정한다. 그 결과, 화상 처리 장치(300b)는 화상 인식에 의한 조작자(예를 들어 사용자 Ua의 손 또는 마커)의 추적을 개시한다. 한편, 화상 처리 장치(300c)는, 조작 개시 신호 S1에 포함되어 있는 오브젝트 ID 또는 위치 데이터에 기초하여, 당해 신호가 자신이 표시하려고 하는 가상 오브젝트와 관련되지 않았다고 판정한다. 그 결과, 화상 처리 장치(300c)는 화상 처리 장치(300a)로부터 수신된 조작 개시 신호 S1을 무시한다.
<5. 정리>
여기까지, 도 1 내지 도 13을 참조하여 본 발명의 일 실시 형태 및 그 변형예를 설명했다. 본 실시 형태에 따르면, 조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 조작자 측의 화상 처리 장치는 실제 공간의 화상을 촬영하여 얻어지는 입력 화상에 출현하는 조작자를 인식하고, 인식의 결과로서, 조작자 측의 화상 처리 장치는 가상 오브젝트의 표시를 제어한다. 또한, 조작자 측의 화상 처리 장치로부터 관찰자 측의 화상 처리 장치에 조작 개시 신호가 송신된다. 이에 따라, 관찰자 측의 화상 처리 장치도 실제 공간의 화상을 촬영하여 얻어지는 입력 화상에 출현하는 조작자를 인식하고, 인식의 결과로서, 관찰자 측의 화상 처리 장치는 가상 오브젝트의 표시를 제어할 수 있다. 이에 의해, 조작자 측의 장치 뿐만 아니라 관찰자 측의 장치가 화상 인식에 의해 조작자를 추적하기 때문에, 추적 결과의 전송으로 인한 지연이 발생하지 않는다. 또한, 조작 개시 신호는 가상 오브젝트를 인식하기 위한 오브젝트 ID 또는 가상 오브젝트의 위치 데이터를 포함한다. 따라서, 가상 오브젝트를 공유하지 않는 화상 처리 장치는 불필요한 화상 인식 처리를 실행할 필요가 없다. 조작의 종료를 나타내는 제2 사용자 입력이 검출된 경우에는, 조작자 측의 화상 처리 장치로부터 관찰자 측의 화상 처리 장치로 조작 종료 신호가 송신된다. 이에 의해, 가상 오브젝트가 조작되지 않는 동안, 화상 처리 장치 중 그 어느 것도 화상 인식 처리를 실행할 필요가 없다. 상술한 바와 같이, 본 실시 형태에 따르면, 조작자 측의 장치 뿐만 아니라 관찰자 측의 장치도 화상 인식에 의해 조작자를 추적하고, 그 외에, 화상 인식 처리는 장치들 간에 교환되는 신호에 기초한 타이밍에 따라 활성화된다. 그러므로, 처리 부하를 효과적으로 저감하고 실세계의 상태와 가상 오브젝트의 상태 사이의 부정합을 줄이면서 복합 현실을 제공할 수 있다.
본 실시 형태에 따르면, 조작자 측의 화상 처리 장치로부터 관찰자 측의 화상 처리 장치에 송신되는 조작 종료 신호는, 조작의 종료 시점에서의 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함한다. 이에 의해, 조작자 측의 화상 처리 장치에 의해 생성되는 조작자의 추적 결과와 관찰자 측의 화상 처리 장치에 의해 생성되는 조작자의 추적 결과 사이에 일시적인 오차가 발생하는 경우에도, 관찰자 측의 화상 처리 장치는 가상 오브젝트의 위치를 보정할 수 있다.
혹은, 제1 사용자 입력이 검출된 후, 조작자 측의 화상 처리 장치는 조작자가 가상 오브젝트에 접하는 것으로 판정될 때까지 기다릴 수 있으며, 그 후에 조작 개시 신호를 송신할 수 있다. 이 경우에는, 관찰자 측의 화상 인식 처리의 부하를 더 저감할 수 있다.
조작 개시 신호 및 조작 종료 신호는, 한 그룹의 화상 처리 장치를 관리하는 관리 서버를 경유하여 화상 처리 장치들 간에 송수신될 수 있다. 이 경우, 관리 서버가 동일한 가상 오브젝트를 표시하는 화상 처리 장치에만 신호를 송신하면, 관찰자 측의 화상 인식 처리의 부하가 더 저감될 수 있고, 불필요한 트래픽을 없앨 수 있다.
본 명세서에서 설명한 바와 같은 화상 처리 장치(100 및 300) 및 관리 서버(200)에 의해 행해지는 일련의 처리들은 통상적으로는 소프트웨어를 사용하여 달성된다. 예를 들어, 일련의 처리들을 실현하는 소프트웨어를 구성하는 프로그램은, 각 장치에 배치되거나 각 장치 외부의 기억 매체에 미리 기억된다. 예를 들어, 각 프로그램은 실행 동안 RAM(Random Access Memory)으로 로딩되어, CPU(Central Processing Unit)와 같은 프로세서에 의해 실행된다.
당업자들은, 첨부되는 특허청구범위 또는 그 동등물의 범위에 포함되는 한 설계 요건 및 다른 요인에 따라 각종 변경, 결합, 부분결합 및 변형이 발생할 수 있음을 이해할 것이다.
본 출원은 2010년 2월 24일자로 일본 특허청에 출원된 일본 우선권인 특허 출원 JP 2010-038777호에 개시된 것에 관련된 내용을 포함하며, 그 전체 내용은 참조로서 본 명세서에 포함된다.
100, 300 : 화상 처리 장치
102 : 카메라
104 : HMD
110 : 입력 화상 취득부
120 : 자기 위치 검출부
130 : 기억부
140 : 화상 인식부
150 : 연산부
160 : 표시 제어부
170 : 통신부
200 : 관리 서버

Claims (13)

  1. 화상 처리 장치로서,
    실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부;
    조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함(appear) -;
    상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부;
    상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 및
    상기 제1 사용자 입력이 검출된 경우에, 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부
    를 포함하는, 화상 처리 장치.
  2. 제1항에 있어서, 상기 제1 통지 신호는 상기 가상 오브젝트를 식별하기 위한 식별 데이터 또는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함하는, 화상 처리 장치.
  3. 제1항에 있어서, 조작의 종료를 나타내는 제2 사용자 입력이 검출된 경우에, 상기 통신부는 상기 조작의 종료를 통지하기 위해 상기 다른 장치에 제2 통지 신호를 송신하는, 화상 처리 장치.
  4. 제3항에 있어서, 상기 제2 통지 신호는 상기 연산부에 의해 산출되는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함하는, 화상 처리 장치.
  5. 제1항에 있어서, 상기 화상 인식부는, 상기 통신부가 다른 장치로부터 상기 제1 통지 신호를 수신할 경우에도, 상기 입력 화상에 출현하는 상기 조작자를 인식하는, 화상 처리 장치.
  6. 제5항에 있어서, 상기 화상 인식부는, 상기 통신부에 의해 수신된 상기 제1 통지 신호가 상기 화상 처리 장치에 의해 표시되어야 할 가상 오브젝트들에 관련되지 않을 경우에는 상기 조작자를 인식하지 않는, 화상 처리 장치.
  7. 제1항에 있어서, 상기 통신부는, 상기 제1 사용자 입력이 검출되고 그 후 상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과로서 상기 조작자가 상기 가상 오브젝트에 접하는 것으로 판정된 경우에 상기 다른 장치에 상기 제1 통지 신호를 송신하는, 화상 처리 장치.
  8. 제1항에 있어서, 상기 통신부는, 상기 제1 통지 신호를 상기 동일한 가상 오브젝트를 표시하는 한 그룹의 장치를 관리하는 정보 처리 장치에 송신하는, 화상 처리 장치.
  9. 제8항에 있어서, 상기 제1 통지 신호는 상기 가상 오브젝트를 식별하기 위한 식별 데이터 또는 상기 가상 오브젝트의 위치를 나타내는 위치 데이터를 포함하고, 상기 동일한 가상 오브젝트를 표시하는 다른 장치에 상기 정보 처리 장치를 통해서 전송되는, 화상 처리 장치.
  10. 제1항에 있어서,
    상기 조작자를 나타내는 조작자 화상을 기억하고 있는 기억부
    를 더 포함하고,
    상기 화상 인식부는 상기 기억부에 기억되어 있는 상기 조작자 화상을 사용하여 상기 입력 화상에 출현하는 상기 조작자를 인식하는, 화상 처리 장치.
  11. 화상 처리 장치에 의해 행해지는 화상 처리 방법으로서,
    실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 단계;
    조작의 개시를 나타내는 제1 사용자 입력을 검출하는 단계;
    조작의 개시를 통지하기 위해, 상기 화상 처리 장치가 조작하려고 하는 가상 오브젝트와 동일한 가상 오브젝트를 표시하는 다른 장치에 제1 통지 신호를 송신하는 단계;
    상기 입력 화상에 출현하며, 상기 가상 오브젝트의 조작에 사용되는 조작자를 인식하는 단계;
    상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 단계; 및
    산출된 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 단계
    를 포함하는, 화상 처리 장치에 의해 행해지는 화상 처리 방법.
  12. 프로그램으로서,
    화상 처리 장치를 제어하는 컴퓨터로 하여금,
    실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부;
    조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함-;
    상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부;
    상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부;
    상기 제1 사용자 입력이 검출된 경우에, 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부
    로서 기능시키기 위한, 프로그램.
  13. 2개 이상의 화상 처리 장치들을 포함하는 화상 처리 시스템으로서,
    상기 화상 처리 장치들 각각은,
    실제 공간의 화상을 촬영하여 생성되는 입력 화상을 취득하는 입력 화상 취득부;
    조작의 개시를 나타내는 제1 사용자 입력이 검출된 경우에, 가상 오브젝트를 조작하는 데 사용되는 조작자를 인식하는 화상 인식부 -상기 조작자는 상기 입력 화상에 출현함- ;
    상기 화상 인식부에 의해 제공되는 상기 조작자의 인식의 결과에 따라, 상기 가상 오브젝트가 표시되어야 할 표시 장치의 화면 상의 위치를 산출하는 연산부;
    상기 연산부에 의해 산출되는 상기 표시 장치의 화면 상의 상기 위치에 상기 가상 오브젝트를 표시시키는 표시 제어부; 및
    상기 제1 사용자 입력이 검출된 경우에, 동일한 가상 오브젝트를 표시하는 다른 장치에 조작의 개시를 통지하기 위한 제1 통지 신호를 송신하는 통신부
    를 포함하고,
    상기 화상 인식부는 상기 통신부가 다른 장치로부터 상기 제1 통지 신호를 수신했을 경우에도 상기 입력 화상에 출현하는 상기 조작자를 인식하는, 화상 처리 시스템.
KR1020110013654A 2010-02-24 2011-02-16 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템 KR20110097639A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010038777A JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム
JPJP-P-2010-038777 2010-02-24

Publications (1)

Publication Number Publication Date
KR20110097639A true KR20110097639A (ko) 2011-08-31

Family

ID=44202161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110013654A KR20110097639A (ko) 2010-02-24 2011-02-16 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템

Country Status (5)

Country Link
US (2) US8773466B2 (ko)
EP (1) EP2360567B1 (ko)
JP (1) JP5499762B2 (ko)
KR (1) KR20110097639A (ko)
CN (1) CN102193625B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503761B1 (ko) * 2012-01-30 2015-03-18 가시오게산키 가부시키가이샤 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체
US11914760B2 (en) 2019-06-19 2024-02-27 Sony Group Corporation Information processing device and information processing method

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5185320B2 (ja) * 2010-05-19 2013-04-17 株式会社バンダイ ゲーム装置
US9146398B2 (en) * 2011-07-12 2015-09-29 Microsoft Technology Licensing, Llc Providing electronic communications in a physical world
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
CN106603688B (zh) * 2011-08-27 2020-05-05 中兴通讯股份有限公司 访问增强现实用户上下文的方法
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
JP6112815B2 (ja) 2012-09-27 2017-04-12 京セラ株式会社 表示装置、制御システムおよび制御プログラム
JP6125785B2 (ja) * 2012-09-27 2017-05-10 京セラ株式会社 表示装置および制御方法
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
CN104704449B (zh) * 2012-10-05 2017-09-12 日本电气方案创新株式会社 用户界面设备和用户界面方法
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
CN107656618B (zh) 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
WO2014147858A1 (ja) * 2013-03-19 2014-09-25 Ｎｅｃソリューションイノベータ株式会社 ３次元ロック解除装置、３次元ロック解除方法及びプログラム
JP5813030B2 (ja) 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP6572893B2 (ja) * 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
WO2016148142A1 (ja) * 2015-03-16 2016-09-22 シャープ株式会社 表示データ処理装置、表示装置、および、プログラム
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
US10133532B2 (en) 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
JP6229089B1 (ja) 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP2017208820A (ja) * 2017-06-06 2017-11-24 京セラ株式会社 発注システム
CN108355347B (zh) * 2018-03-05 2021-04-06 网易（杭州）网络有限公司 交互控制方法、装置、电子设备及存储介质
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技（深圳）有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
CN108919951B (zh) * 2018-06-28 2020-11-20 联想(北京)有限公司 一种信息交互方法及装置
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2020110659A1 (ja) 2018-11-27 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7116220B2 (ja) 2019-10-02 2022-08-09 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP7401245B2 (ja) 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
US11741159B2 (en) * 2019-10-29 2023-08-29 Shmuel Ur Innovation Ltd Digital media authentication
CN111061575A (zh) * 2019-11-27 2020-04-24 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统
JP7139471B2 (ja) * 2021-02-04 2022-09-20 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
JP7333532B2 (ja) 2021-02-04 2023-08-25 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998007129A1 (fr) * 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
EP1871267B1 (en) * 2005-02-22 2018-09-12 Mako Surgical Corp. Haptic guidance system
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP5297113B2 (ja) 2008-08-06 2013-09-25 日本電子材料株式会社 コンタクトプローブの製造方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503761B1 (ko) * 2012-01-30 2015-03-18 가시오게산키 가부시키가이샤 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체
US11914760B2 (en) 2019-06-19 2024-02-27 Sony Group Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
CN102193625A (zh) 2011-09-21
CN102193625B (zh) 2015-08-26
EP2360567A2 (en) 2011-08-24
US20110205243A1 (en) 2011-08-25
US20140267028A1 (en) 2014-09-18
US9746672B2 (en) 2017-08-29
JP2011175439A (ja) 2011-09-08
JP5499762B2 (ja) 2014-05-21
EP2360567B1 (en) 2017-08-02
US8773466B2 (en) 2014-07-08
EP2360567A3 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
KR20110097639A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 화상 처리 시스템
TWI722280B (zh) 用於多個自由度之控制器追蹤
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US9401050B2 (en) Recalibration of a flexible mixed reality device
JP2020531965A (ja) 支援型の拡張現実
JP5656514B2 (ja) 情報処理装置及び方法
Harders et al. Calibration, registration, and synchronization for high precision augmented reality haptics
EP1437645A2 (en) Position/orientation measurement method, and position/orientation measurement apparatus
JP2018511098A (ja) 複合現実システム
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20220090398A (ko) 다중 카메라 보정을 수행하는 방법 및 장치
US20200279401A1 (en) Information processing system and target information acquisition method
US11531401B2 (en) Data replacement apparatus, computing device, and program for user and avatar coordination
CN114332423A (zh) 虚拟现实手柄追踪方法、终端及计算可读存储介质
JP2005351886A (ja) 位置姿勢計測方法および情報処理装置
WO2017163648A1 (ja) 頭部装着装置
US20150268735A1 (en) User interface device and user interface method
WO2018196221A1 (zh) 一种交互方法、设备及系统
US20180364800A1 (en) System for Picking an Object Base on View-Direction and Method Thereof
CN114935975A (zh) 虚拟现实的多用户交互方法、电子设备和可读存储介质
JP7398227B2 (ja) 作業支援システム及びプログラム
JP7288792B2 (ja) 情報処理装置およびデバイス情報導出方法
WO2017163647A1 (ja) 頭部装着装置
JP2018077732A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid