KR20140090159A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20140090159A
KR20140090159A KR20147010448A KR20147010448A KR20140090159A KR 20140090159 A KR20140090159 A KR 20140090159A KR 20147010448 A KR20147010448 A KR 20147010448A KR 20147010448 A KR20147010448 A KR 20147010448A KR 20140090159 A KR20140090159 A KR 20140090159A
Authority
KR
South Korea
Prior art keywords
image
display
positional relationship
information processing
processing apparatus
Prior art date
Application number
KR20147010448A
Other languages
English (en)
Inventor
?이치 가사하라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140090159A publication Critical patent/KR20140090159A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

물체를 포함하는 비디오를 수신하고, 장치와 물체 간의 위치 관계를 판정하고, 장치와 물체 간의 위치 관계가 변화하는 경우에 비디오에 중첩된 화상과 물체 간의 위치 관계를 변화시키도록 구성된 화상 프로세서를 포함하는, 장치.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 개시는 정보 처리 장치, 정보 처리 방법, 및 비일시적 컴퓨터 판독가능 매체 상에 인코드된 프로그램에 관한 것이다.
최근, 현실 화상에 부가적인 정보를 중첩해서 유저에게 제시하는 증강 현실(AR)이라고 불리는 기술이 주목받고 있다. AR 기술에 있어서, 유저에게 제시되는 정보는 아노테이션(annotation)이라고도 불리고, 이 정보는, 예를 들어 텍스트, 아이콘 또는 애니메이션 등의 다양한 형태의 가상 오브젝트로서 가시화된다. 이러한 AR 기술의 예로서, 특허 문헌 1에는 가구 등의 현실 물체를 모방한 가상 오브젝트의 화상을 현실 화상에 중첩해서 표시하여, 가구 등의 배치의 시행을 용이하게 하는 기술이 기재되어 있다.
인용 문헌
특허 문헌
특허 문헌 1: 일본 특허 출원 공개 제2003-256876A호
상기와 같은 AR 기술은, 예를 들어 유저가 파지하는 장치를 사용하여 현실 화상을 촬상하고, 그 화상에 비친 현실 물체에 관련한 가상 오브젝트의 표시를 중첩함으로써 실현된다. 이 경우, 예를 들어, 유저의 이동 또는 장치의 파지의 방법의 변화에 따라 비치고 있는 가상 오브젝트의 자세는 여러가지로 변화한다. 즉, 동일한 현실 물체이어도, 화상에서의 크기 또는 각도는 환경에 따라 변화한다. 그러므로, 동일한 현실 물체를 촬상한 화상을 표시하는 경우라도, 부가적인 정보의 적절한 표시의 방법이 상이한 경우가 있다.
따라서, 현실 물체의 자세에 맞춰서 부가적인 정보를 적절하게 표시할 수 있는, 신규하고 개량된 정보 처리 장치, 정보 처리 방법, 및 비일시적 컴퓨터 판독가능 매체 상에 인코드된 프로그램을 제공하는 것이 바람직하다.
한 실시 형태에서, 본 발명은 물체를 포함하는 비디오를 수신하고, 장치와 물체 간의 위치 관계를 판정하고, 장치와 물체 간의 위치 관계가 변화하는 경우에 비디오에 중첩된 화상과 물체 간의 위치 관계를 변화시키도록 구성된 화상 프로세서를 포함하는 장치를 포함한다.
이상 설명한 바와 같이, 본 개시의 실시 형태들에 따르면, 현실 물체의 자세에 맞춰서 부가적인 정보를 적절하게 표시하는 것이 가능하다.
도 1은 본 개시의 제1 실시 형태에 관한 참고 기술을 도시한 도면.
도 2는 본 개시의 제1 실시 형태에 따른 정보 처리 장치의 기능 구성의 일례를 도시한 블록도.
도 3은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면.
도 4는 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면.
도 5는 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면.
도 6은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에서의 화상 표시 처리의 처리 플로우의 예를 도시한 흐름도.
도 7은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에서의 표시 대상 설정 처리의 처리 플로우의 예를 도시한 흐름도.
도 8은 본 개시의 제1 실시 형태에 따른 대체 선택 및 메시지 표시의 예를 도시한 도면.
도 9는 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면.
도 10은 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면.
도 11은 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면.
도 12는 본 개시의 제3 실시 형태에 따른 검출된 현실 물체와 기기 간의 위치 관계를 도시한 도면.
도 13은 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면.
도 14는 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면.
도 15는 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면.
도 16은 본 개시의 제3 실시 형태에 따른 정보 처리 장치에서의 표시 대상 설정 처리의 처리 플로우의 예를 도시한 흐름도.
도 17은 본 개시의 실시 형태에 따른 정보 처리 장치의 기능 구성의 다른 예를 도시한 블록도.
도 18은 본 개시의 실시 형태에 따른 정보 처리 장치의 기능 구성의 또 다른 예를 도시한 블록도.
도 19는 정보 처리 장치의 하드웨어 구성을 도시한 블록도.
이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태들에 대해서 상세하게 설명한다. 본 명세서 및 첨부 도면에 있어서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는 동일한 참조 번호를 부여하고, 이들 구성 요소에 대한 중복 설명은 생략한다는 점에 주목한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 제1 실시 형태(현실 물체에 대한 표시 위치를 변경하는 예)
2. 제2 실시 형태(표시하는 정보의 양을 변경하는 예)
3. 제3 실시 형태(표시하는 정보의 내용을 변경하는 예)
4. 장치 구성에 관한 다른 실시 형태들
5. 보충
1. 제1 실시 형태
도 1 내지 도 8을 참조하여 본 개시의 제1 실시 형태에 대해서 설명한다. 본 개시의 제1 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 상대적인 위치 관계에 따라 현실 물체에 대한 가상 오브젝트의 표시 위치가 변경된다.
1-1. 참고 기술
우선, 본 실시 형태를 보다 잘 이해하기 위한 참고 기술에 대해서 설명한다. 도 1은 본 개시의 제1 실시 형태에 관한 참고 기술을 도시한 도면이다.
도 1에는 참고 기술에 관한 정보 처리 장치(10)가 도시되어 있다. 정보 처리 장치(10)는 촬상부(도시하지 않음) 및 표시부(12)를 포함하고, 정보 처리 장치(10)는 AR 애플리케이션을 실행한다.
여기서, 표시부(12)에는 정보 처리 장치(10)가 촬상부에 의해 촬상된 현실 물체 obj_r이 비치고 있는 화상에 현실 물체 obj_r에 관련한 가상 오브젝트 obj_v를 중첩한 화상이 표시된다. 도시된 예에서는, 도 1의 (a)에 도시된 바와 같이 현실 물체 obj_r(책)가 정면에서 촬상되는 경우와, 도 1의 (b)에 도시된 바와 같이 현실 물체 obj_r이 경사지게 촬상되는 경우에, 가상 오브젝트 obj_v(책의 내용에 관한 화상)가 다른 형태로 변형되어 표시된다. 즉, 가상 오브젝트 obj_v는 현실 물체 obj_r의 자세의 변화에 의한 외관 형상의 변화에 맞춰서 변형되어 표시된다.
이와 같이, AR 애플리케이션에서는, 가상 오브젝트가 현실 물체의 자세에 맞춰서 변형되어 AR 공간 내에 배치되는 경우가 있다. 이에 의해, 예를 들어, 유저는 가상 오브젝트가 마치 현실 물체의 표면에 비쳐 그 내부에 존재하는 것처럼 인식하므로, 현실 물체와 가상 오브젝트 간의 관계를 용이하게 파악할 수 있다.
그러나, 예시된 예의 도 1의 (b)에 도시된 바와 같이, 현실 물체 obj_r의 자세에 따라 변형된 가상 오브젝트 obj_v가 시인되기 어려운 경우가 있다. 이러한 경우, 가상 오브젝트 obj_v는 적절한 방법으로 표시되어 있다고는 말하기 어렵다.
따라서, 본 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 현실 물체에 대한 가상 오브젝트의 표시 위치를 변경함으로써, 상기와 같은 경우에도, 적절한 방법으로 가상 오브젝트 obj_v를 표시하는 것을 가능하게 한다.
1-2. 장치 구성
이어서, 도 2를 참조하여, 본 실시 형태에 따른 기능 구성에 대해서 설명한다. 도 2는 본 개시의 제1 실시 형태에 따른 정보 처리 장치의 기능 구성의 일례를 도시한 블록도이다.
도 2를 참조하면, 본 실시 형태에 따른 정보 처리 장치(100)는 촬상부(102), 화상 인식부(104), 모델 DB(106), 위치 관계 검출부(108), 선택부(110), 오브젝트 DB(112), 표시 대상 정보 출력부(114), 메시지 정보 출력부(116), 표시 제어부(118), 및 표시부(120)를 포함한다.
본 실시 형태에 있어서, 정보 처리 장치(100)는 스마트폰, 태블릿형 PC(Personal Computer), PDA(Personal Digital Assistant), 휴대용 게임기, 또는 휴대용 음악 플레이어와 같은, 촬상부와 표시부를 포함하는 각 부가 일체로 된 단말 장치로서 설명될 것이다. 그러나, 정보 처리 장치(100)는 노트북형 또는 데스크탑형 PC 등의 다른 정보 처리 장치일 수 있다. 이 경우, 예를 들어, 촬상부 또는 표시부가 다른 부분과 분리되어 설치될 수 있다. 또한, 정보 처리 장치(100)가 복수의 부분으로 나누어져 있는 경우, "정보 처리 장치(100)와 현실 물체 간의 위치 관계" 또는 "정보 처리 장치(100)에 대한 현실 물체의 각도"와 같은 기재에서의 "정보 처리 장치(100)"는 별도의 기재가 없는 한 정보 처리 장치(100)의 촬상부가 설치되는 부분을 나타낸다.
상기의 기능 구성 중, 촬상부(102)는, 예를 들어 정보 처리 장치(100)에 포함된 촬상 장치에 의해 실현된다. 또한, 화상 인식부(104), 위치 관계 검출부(108), 선택부(110), 표시 대상 정보 출력부(114), 메시지 정보 출력부(116), 및 표시 제어부(118)는, 예를 들어 정보 처리 장치(100)의 CPU(Central Processing Unit), RAM(Random Access Memory), 및 ROM(Read Only Memory)이 프로그램에 따라서 동작함으로써 실현된다. 모델 DB(106) 및 오브젝트 DB(112)는, 예를 들어 정보 처리 장치(100)의 내부 또는 외부의 스토리지 장치에 의해 실현된다. 표시부(120)는, 예를 들어 정보 처리 장치(100)에 출력 장치로서 포함되고 또는 정보 처리 장치(100)에 외부 접속 기기로서 접속되는 각종 디스플레이에 의해 실현된다.
<촬상부>
촬상부(102)는 현실의 공간을 촬상하여 화상을 생성한다. 촬상부(102)는 동화상을 촬상할 수 있다. 동화상은 연속한 프레임을 구성하는 복수의 화상에 의해 구성된다. 촬상부(102)는 생성된 화상을 화상 인식부(104) 및 표시 제어부(118)에 제공한다. 이때, 생성된 화상은, 예를 들어 RAM 또는 스토리지 장치에 일시적으로 저장될 수 있다.
<화상 인식부>
화상 인식부(104)는 모델 DB(106)에 저장되어 있는 데이터를 사용하여 물체인식을 실행한다. 모델 DB(106)는 정보 처리 장치(100)에 의해 인식된 대상인 물체의 형상 또는 외관에 관한 모델 데이터가 미리 저장된 데이터베이스이다. 본 실시 형태에 있어서, 정보 처리 장치(100)에 의해 인식된 대상은 현실의 공간에서의 임의의 물체이다. 모델 데이터는 각 물체의 형상을 정의하는 데이터, 각 물체에 붙여지는 소정의 심볼 마크 또는 텍스트 라벨 등의 화상 데이터, 각 물체에 대해서 기존의 화상으로부터 추출된 특징량 세트의 데이터 등을 포함한다.
보다 구체적으로는, 화상 인식부(104)는 촬상부(102)에 의해 촬상된 화상을 입력 화상으로서 사용하여, 입력 화상에 어느 물체가 비치고 있는지를 인식한다. 화상 인식부(104)는, 예를 들어 입력 화상으로부터 추출되는 특징점 세트를 모델 데이터에 의해 정의되는 물체의 형상과 비교한다. 또한, 화상 인식부(104)는 모델 데이터에 의해 정의되는 심볼 마크 또는 텍스트 라벨 등의 화상 데이터를 입력 화상과 비교할 수 있다. 또한, 화상 인식부(104)는 모델 데이터에 의해 정의되는 기존의 물체의 화상의 특징량을 입력 화상으로부터 추출되는 특징량과 비교할 수 있다.
<위치 관계 검출부>
위치 관계 검출부(108)는 화상 인식부(104)에 의해 인식된 물체와 정보 처리 장치(100)(보다 상세하게는, 촬상부(102)) 간의 위치 관계를 검출한다. 본 실시 형태에서는, 물체와 정보 처리 장치(100) 간의 위치 관계로서 정보 처리 장치(100)에 대한 물체의 각도를 사용한다. 이 각도는, 예를 들어 물체에 대해서 미리 설정된 기준 자세로부터의 기울기로서 표현된다. 즉, 본 실시 형태에서는, 위치 관계 검출부(108)가 물체와 정보 처리 장치(100) 간의 위치 관계로서 물체와 정보 처리 장치(100) 간의 자세 관계를 검출한다.
보다 구체적으로는, 위치 관계 검출부(108)는 촬상부(102)에 의해 촬상된 화상을 입력 화상으로서 사용하여, 입력 화상에 비치고 있는 물체의 자세를 검출한다. 여기서, 본 실시 형태에 있어서, 물체의 자세는 모델 DB(106)에 저장된 모델 데이터에서의 모델 좌표계와 입력 화상에 비치고 있는 물체의 좌표계 간의 변환을 나타내는 4행 4열의 동차 변환 행렬(homogeneous transformation matrix)에 의해 통합적으로 표현된다. 위치 관계 검출부(108)는 이 동차 변환 행렬로부터 정보 처리 장치(100)에 대한 물체의 각도를 추출한다.
또한, 위치 관계 검출부(108)에 의해 취득되는 위치 관계의 구체적인 예에 대해서는 후술한다. 위치 관계 검출부(108)에 의해 실행되는 처리는 모델 DB(106)의 참조와 같이 화상 인식부(104)에 의해 실행되는 처리와 공통되기 때문에, 화상 인식부(104)에 의해 실행되는 처리와 병행해서 실행될 수 있다.
<선택부>
선택부(110)는 물체에 관련한 복수 종류의 가상 오브젝트를 포함하는 가상 오브젝트 군으로부터, 위치 관계 검출부(108)에 의해 검출된 위치 관계에 따라, 화상에 중첩되는 표시 대상 오브젝트를 선택한다. 보다 구체적으로, 선택부(110)는 정보 처리 장치(100)에 대한 현실 물체의 각도에 따라, 현실 물체에 대한 표시 위치가 서로 상이한 복수의 가상 오브젝트를 포함하는 가상 오브젝트 군으로부터 가상 오브젝트를 선택한다. 가상 오브젝트는 유저가 시인하기 쉬운 위치에 표시된다. 정보 처리 장치(100)에 대한 현실 물체의 각도는 위치 관계 검출부(108)에 의해 취득된다. 이러한 가상 오브젝트 및 선택부(110)에 의한 가상 오브젝트의 선택의 예에 대해서는 후술한다.
본 실시 형태에 있어서, 가상 오브젝트 군의 데이터는 오브젝트 DB(112)에 저장되어 있다. 오브젝트 DB(112)는 각 현실 물체에 대응하는 가상 오브젝트 군의 데이터가 미리 저장된 데이터베이스일 수 있다. 또한, 오브젝트 DB(112)는 화상 인식부(104)에 의해 인식된 현실 물체에 대응하는 가상 오브젝트 군으로서 외부 장치로부터 다운로드된 것이 일시적으로 저장된 데이터베이스일 수 있다.
또한, 오브젝트 DB(112)는 촬상부(102)에 의해 촬상된 화상에 비치고 있는 현실 물체의 일부 또는 전부를 처리하여 얻어진 가상 오브젝트가 일시적으로 저장된 데이터베이스일 수 있다. 현실 물체의 처리는 처리부(도시하지 않음)에 의해 실행된다. 처리부는 선택부(110)에 의해 이루어진 선택의 결과에 따라서 화상을 처리해서 가상 오브젝트를 생성할 수 있다. 이 경우, 예를 들어, 선택부(110)는 오브젝트 DB(112)에 저장된 "어떤 종류의 가상 오브젝트가 생성가능한가"를 표시하는 정보를 참조한다. 선택부(110)는 또한 표시하는 가상 오브젝트의 종류를 선택하고 처리부에 가상 오브젝트의 생성을 지시한다.
또한, 대체 선택 및 메시지 표시의 예로서 후술하는 바와 같이, 선택된 가상 오브젝트가 화상 영역에 표시가능하지 않은 경우에, 선택부(110)는 선택의 결과에 관계없이 화상 영역에 표시 가능한 가상 오브젝트를 대신 선택할 수 있다.
또한, 선택부(110)는 서로 관련한 복수의 현실 물체에 대해서 동일한 종류의 가상 오브젝트가 선택되도록 선택의 결과를 조정할 수 있다. 이 경우, 예를 들어, 선택부(110)는 각 현실 물체에 관한 위치 관계 검출부(108)의 검출 결과를 평균할 수 있다. 선택부(110)는 이 평균한 결과를 각 현실 물체에 공통인 위치 관계로서 사용할 수 있다. 또한, 선택부(110)는 각 현실 물체에 관한 위치 관계 검출부(108)의 검출 결과를 카운트하고, 보다 많은 현실 물체에서 검출된 검출 결과를 각 현실 물체에 공통인 위치 관계로서 사용할 수 있다. 이에 의해, 예를 들어, 서로 관련한 복수의 현실 물체에 대해서 표시되는 가상적인 오브젝트의 종류를 통일하고, 현실 물체에 대한 가상적인 오브젝트의 통일을 유저에게 나타낼 수 있다.
<표시 대상 정보 출력부>
표시 대상 정보 출력부(114)는 선택부(110)에 의해 선택된 표시 대상 오브젝트의 정보를 촬상부(102)에 의해 촬상된 화상에 중첩해서 표시시키도록 표시 제어부(118)에 출력한다. 여기서, 출력되는 표시 대상 오브젝트의 정보는 가상 오브젝트의 화상 데이터 자체일 수 있거나 또는 가상 오브젝트의 화상 데이터를 별도로 참조하기 위한 ID 등의 식별 정보일 수 있다. 여기서, 가상 오브젝트의 화상 데이터를 출력하는 경우, 표시 대상 정보 출력부(114)는, 예를 들어 현실 물체와 정보 처리 장치(100) 간의 위치 관계에 따라 가상 오브젝트의 중첩 화상을 생성할 수 있다. 위치 관계는 위치 관계 검출부(108)에 의해 검출된다. 표시 대상 정보 출력부(114)는 또한 이 중첩 화상의 정보를 표시 제어부(118)에 출력할 수 있다. 이러한 처리를 위해서, 표시 대상 정보 출력부(114)는 오브젝트 DB(112)를 참조할 수 있다.
<메시지 정보 출력부>
메시지 정보 출력부(116)가 부가적으로 설치된다. 메시지 정보 출력부(116)는 화상에 중첩해서 표시되는 메시지 정보를 생성하고, 메시지 정보 출력부(116)는 표시 제어부(118)에 이 정보를 출력한다. 예를 들어, 후술하는 바와 같이, 촬상부(102)에 의해 촬상된 화상 영역의 제약 때문에 대체 표시 대상 오브젝트가 선택되는 경우에, 메시지 정보 출력부(116)는 촬상부(102)를 이동시켜서 화상 영역을 변화시키는 것을 유저에게 촉진시키는 메시지 정보를 생성하고, 메시지 정보 출력부(116)는 표시 제어부(118)에 이 정보를 출력한다.
<표시 제어부>
표시 제어부(118)는 표시 대상 오브젝트인 가상 오브젝트를 촬상부(102)에 의해 촬상된 화상에 중첩한다. 이 중첩은 표시 대상 정보 출력부(114)로부터 출력된 정보를 사용한다. 표시 제어부(118)는 또한 AR 애플리케이션 화상으로서 이 중첩된 결과를 표시부(120)에 표시시킨다. 이때, 표시 제어부(118)는 화상에 비치고 있는 현실 물체의 위치, 자세 및 크기에 맞춰서 표시 대상 오브젝트가 배치되고 변형된 중첩 화상을 생성할 수 있고, 표시 제어부(118)는 이 중첩 화상을 화상에 중첩할 수 있다. 상기한 바와 같이, 중첩 화상은 표시 대상 정보 출력부(114)에 의해 생성될 수 있다. 중첩 화상을 생성하는 경우, 표시 제어부(118)는, 예를 들어 현실 물체와 정보 처리 장치(100) 간의 위치 관계의 정보를 이용할 수 있다. 위치 관계는 위치 관계 검출부(108)에 의해 검출된다. 메시지 정보 출력부(116)가 설치되는 경우, 표시 제어부(118)는 메시지 정보 출력부(116)로부터 출력된 정보를 더 사용하여 메시지를 화상에 중첩한다.
<표시부>
표시부(120)는 AR 애플리케이션 화상을 유저에게 제시한다. AR 애플리케이션 화상은 표시 제어부(118)에 의해 생성된다. 상기한 바와 같이, 표시부(120)는 정보 처리 장치(100)와 일체 또는 별개로 형성되는 각종 디스플레이 장치에 의해 실현된다. 표시부(120)는, 예를 들어 LCD(Liquid Crystal Display), OLED(Organic Light-Emitting Diode) 또는 PDP(Plasma Display Panel)를 이용한 표시 화면, 또는 유저에 의해 장착되는 시쓰루형(see-through type) 또는 비시쓰루형(non-see-through type)의 HMD(Head Mounted Display)일 수 있다.
이상과 같이, 본 실시 형태에 따른 정보 처리 장치(100)에서는, 현실 물체와 정보 처리 장치(100) 간의 위치 관계에 따라 표시 대상 오브젝트가 선택된다. 또한, 표시 대상 오브젝트는 물체에 관련한 복수 종류의 가상 오브젝트를 포함하는 가상 오브젝트 군으로부터 선택된다. 또한, 여기서, "복수 종류의 가상 오브젝트"는 서로 상이한 복수의 화상 데이터(다시 말하면, 원래의 데이터)에 따라 중첩 화상이 생성되는 가상 오브젝트이다. 복수의 화상 데이터는, 예를 들어 "물체 내부의 공간에 있는 것처럼 보이는 화상" 또는 "물체로부터 돌출된 것처럼 보이는 화상"과 같이, 오브젝트 DB(112)에 저장된다. 또한, "가상 오브젝트"는 상술한 바와 같이 현실 물체에 대한 부가적인 정보(아노테이션)를 나타내는 오브젝트이다.
1-3. 표시 변화의 예
이어서, 도 3 내지 도 5를 참조하여 본 실시 형태에 따른 표시 변화의 예에 대해서 설명한다. 도 3은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면이다. 도 4는 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면이다. 도 5는 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면이다.
도 3은 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제1 상태를 도시하고 있다. 상술한 바와 같이, 본 실시 형태에서는, 정보 처리 장치(100)에 대한 현실 물체의 각도에 따라 표시 대상의 가상 오브젝트의 종류가 선택된다. 도시된 예에서, 제1 상태에서는, 정보 처리 장치(100)에 대한 현실 물체 obj_r(책)의 각도 A1이 비교적 작기 때문에, 현실 물체 obj_r의 내부의 공간에 있는 것처럼 보이는 가상 오브젝트 obj_v1(책의 내용에 관한 화상)가 표시된다. 이하의 설명에서는, 현실 물체 obj_r이 정면시(front view)에 가까운 상태에서 화상에 비치고 있는 경우의 가상 오브젝트의 표시를 "정면 표시(front view display)"라고 말한다.
여기서, 정보 처리 장치(100)에 대한 현실 물체 obj_r의 각도 A는 정보 처리 장치(100)의 촬상부(102)로부터의 시선 방향을 기준으로 사용한 경우 현실 물체 obj_r의 자세의 기준 자세로부터의 자세의 기울기로서 표현될 수 있다. 현실 물체의 기준 자세는, 예를 들어 현실 물체마다 미리 정의된 자세이며, 상기의 모델 좌표계에 따른 현실 물체의 자세일 수 있다. 도시된 예에서의 현실 물체 obj_r(책)에서는, 그 표지가 촬상부(102)에 정면으로 대향하는 자세가 기준 자세로 설정되어 있다. 여기서, 현실 물체 obj_r이 평판 형상이기 때문에, 그 면의 수선과 촬상부(102)로부터의 시선이 이루는 각으로서 각도 A를 정의한다. 또한, 현실 물체 obj_r의 형상은 평판 형상으로 한정되지 않고, 임의의 형상일 수 있다. 따라서, 정보 처리 장치(100)에 대한 현실 물체 obj_r의 각도 A는 도시된 예 이외에도 여러가지 방법으로 정의될 수 있다.
도 4는 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제2 상태를 도시하고 있다. 도시된 예에서, 제2 상태에서는, 정보 처리 장치(100)에 대한 현실 물체 obj_r(책)의 각도 A2가 비교적 크기 때문에, 현실 물체 obj_r로부터 돌출된 것처럼 보이는 가상 오브젝트 obj_v2(책의 내용에 관한 화상)가 표시된다. 이하의 설명에서는, 현실 물체 obj_r이 경사시(oblique view)의 상태에서 화상에 비치고 있는 경우의 가상 오브젝트의 표시를 "경사시 표시(oblique view display)"라고 말한다.
이와 같이, 본 실시 형태에서는, 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계에 따라 현실 물체 obj_r에 대한 표시 위치가 서로 상이한 가상 오브젝트 obj_v1와 가상 오브젝트 obj_v2가 선택적으로 표시된다. 도시된 예에 있어서, 가상 오브젝트 obj_v1와 가상 오브젝트 obj_v2는 현실 물체 obj_r의 면을 기준면으로 사용한 경우 깊이 방향의 위치가 상이하다. 보다 구체적으로는, 현실 물체 obj_r이 정면시에 가까운 상태에서 화상에 비치고 있는 경우에는, 현실 물체 obj_r에서 비치어 그 안에 있는 것처럼 보이는 가상 오브젝트 obj_v1이 표시된다. 한편, 현실 물체 obj_r이 경사시의 상태에서 화상에 비치고 있는 경우에는, 현실 물체 obj_r의 면으로부터 돌출된 것처럼 보이는 가상 오브젝트 obj_v2가 표시된다.
이에 의해, 유저는 화상에 비친 현실 물체 obj_r의 자세가 다양하게 변화하는 경우에도 각각의 자세에 맞춰서, 시인하기 쉽고, 현실 물체 obj_r와의 관계도 파악하기 쉬운 가상 오브젝트 obj_v의 제시를 받을 수 있다. 또한, 여기서, 정면 표시의 가상 오브젝트 obj_v1와 경사시 표시의 가상 오브젝트 obj_v2를 포함하는 가상 오브젝트 군으로부터 표시 대상 오브젝트가 선택되는 예에 대해서 설명했지만, 가상 오브젝트 군에 포함되는 가상 오브젝트는 이들 2종류로 한정되지 않는다. 예를 들어, 더 많은 종류의 가상 오브젝트가 가상 오브젝트 군에 포함되고, 현실 물체와 정보 처리 장치(100) 간의 자세 관계에 따라 더 많은 단계에서 표시 대상 오브젝트가 전환될 수 있다. 또한, 가상과 현실 물체 간의 위치 관계의 변화는 선형 또는 비선형으로 실행될 수 있다.
도 5는 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 변화의 예를 도시하고 있다. 상기한 바와 같이, 본 실시 형태에 있어서, 정보 처리 장치(100)에 의한 가상 오브젝트의 표시는 정보 처리 장치(100)에 대한 현실 물체의 각도에 따라 변화한다. 또한, 여기서 설명되는 예에서는, 정보 처리 장치(100)에 대한 평판 형상의 현실 물체 obj_r의 각도 A는 현실 물체 obj_r의 면의 수선과 정보 처리 장치(100)의 촬상부(102)로부터의 시선이 이루는 각으로서 정의된다. 도 5는 이러한 각도 A와 가상 오브젝트의 정면 표시 및 경사시 표시 간의 관계에 대해서 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계를 2차원 평면상의 한 방향으로만 간략화해서 도시한 도면이다. 당업자에게 명백해진 바와 같이, 실제로는, 3차원 공간상의 임의의 방향에 대해서 마찬가지인 관계가 성립된다.
도시된 예에서는, 정보 처리 장치(100)가 현실 물체 obj_r에 대향하는 경우에, 각도 A=0°이다. 각도 A=0°의 상태에서, 가상 오브젝트의 표시는 도 3에 도시된 각도 A=A1의 경우와 같은 정면 표시이다. 그 상태로부터 서서히 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 기울어져 각도 A가 임계값 T1을 초과하면, 가상 오브젝트의 표시가 도 4에 도시된 각도 A=A2의 경우와 같은 경사시 표시로 전환된다. 한편, 가상 오브젝트의 표시가 경사시 표시인 상태로부터 서서히 정보 처리 장치(100)가 물체 obj_r의 정면에 근접하고 각도 A가 임계값 T2보다 작아지면, 가상 오브젝트의 표시가 정면 표시로 전환된다.
이와 같이, 본 실시 형태에 있어서, 표시 대상 오브젝트가 되는 가상 오브젝트의 종류는 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계에 관한 지표값(각도 A)으로 설정되는 임계값을 사용하여 선택된다. 촬상부(102)가 동화상을 촬상하고 연속한 프레임을 구성하는 각 화상에 대해서 가상 오브젝트의 종류가 선택되는 경우, 상기의 임계값 T1 및 T2와 같이, 그때까지 표시되어 있었던 가상 오브젝트, 즉, 전의 프레임의 화상에서 선택된 가상 오브젝트의 종류에 따라 다른 임계값이 사용될 수 있다. 이렇게, 가상 오브젝트의 선택에 히스테리시스를 가지게 함으로써, 손 떨림 등에 의한 임계값 부근에서의 각도 A의 진동에 의해 가상 오브젝트의 표시가 빈번히 변화함으로 인해 시인성이 저하하는 것을 방지할 수 있다.
1-4. 처리 플로우의 예
이어서, 도 6 및 도 7을 참조하여, 본 실시 형태에 따른 정보 처리 장치의 처리 플로우의 예에 대해서 설명한다. 도 6은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에서의 화상 표시 처리의 처리 플로우의 예를 도시한 흐름도이다. 도 7은 본 개시의 제1 실시 형태에 따른 정보 처리 장치에서의 표시 대상 설정 처리의 처리 플로우의 예를 도시한 흐름도이다.
도 6은 본 실시 형태에 따른 화상 표시 처리를 도시한 흐름도이다. 여기서 설명되는 화상 표시 처리는 정보 처리 장치(100)가 현실의 공간의 화상을 취득하고나서, 그 화상에 가상적인 오브젝트를 중첩해서 표시할 때까지의 일련의 처리이다. 도시된 예에서는, 촬상부(102)가 동화상을 촬상하므로, 화상 표시 처리는 연속한 프레임을 구성하는 화상 각각에 대해서 반복해서 실행된다.
우선, 스텝 S101에서, 촬상부(102)가 화상을 취득한다. 여기서, 취득된 화상은 현실의 공간을 촬상하여 얻어진 화상이며 현실 물체 obj_r이 거기에 비춰 지는 화상이다.
이어서, 스텝 S103에서, 화상 인식부(104)가 취득된 화상에 대해서 물체 인식을 실행한다. 여기서, 화상 인식부(104)는 모델 DB(106)에 저장된 모델 데이터를 사용하여 화상에 비치고 있는 현실 물체 obj_r를 인식한다.
이어서, 스텝 S105에서, 위치 관계 검출부(108)가 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계를 검출한다. 여기서, 위치 관계 검출부(108)는 정보 처리 장치(100)에 대한 현실 물체 obj_r의 각도 A를 검출한다.
이어서, 스텝 S107에서, 선택부(110)가 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계가 전의 프레임의 화상과 비교해서 변화하는지의 여부를 판정한다. 위치 관계는 각도 A에 의해 나타난다. 위치 관계가 변화하는 경우, 선택부(110)는, 스텝 S109에서, 변화 후의 위치 관계에 기초하여 표시 대상 오브젝트를 선택한다. 한편, 위치 관계가 변화하지 않는 경우, 전의 프레임의 화상에 대해서 표시 대상 오브젝트로서 선택된 종류의 가상 오브젝트를 계속해서 표시 대상 오브젝트로서 사용하기 때문에, 선택부(110)는 스텝 S109을 스킵한다.
또한, 스텝 S109에서의 표시 대상 선택 처리에 대해서는 나중에 도 7을 참조하여 상세하게 설명한다.
이어서, 스텝 S111에서, 표시 대상 정보 출력부(114)가 선택부(110)에 의해 선택된 표시 대상 오브젝트의 정보를 표시 제어부(118)에 출력한다.
이어서, 스텝 S113에서, 표시 제어부(118)가 표시 대상 정보 출력부(114)로부터 출력된 표시 대상 오브젝트의 정보에 따라 가상 오브젝트를 화상에 중첩해서 표시부(120)에 표시시킨다. 이에 의해, 선택부(110)에 의해 적절하게 선택된 가상 오브젝트가 중첩된 화상이 AR 애플리케이션 화상으로서 유저에게 제시된다.
도 7은 본 실시 형태에 따른 표시 대상 설정 처리를 도시한 흐름도이다. 여기서 설명되는 표시 대상 설정 처리는 상기한 바와 같은 화상 표시 처리의 스텝 S109에서 실행되는 처리이다. 도시된 예에서는, 촬상부(102)가 동화상을 촬상하므로, 표시 대상 설정 처리도 또한 연속한 프레임을 구성하는 화상 각각에 대해서 실행될 수 있다.
우선, 스텝 S201에서, 선택부(110)는 전의 프레임에서의 가상 오브젝트의 표시가 정면 표시인지 여부를 판정한다. 상기한 바와 같이, 정면 표시는 물체 obj_r이 정면시에 가까운 상태에서 화상에 비치고 있는 경우에 현실 물체 obj_r의 내부의 공간에 있는 것처럼 보이는 가상 오브젝트 obj_v1의 표시이다.
여기서, 전의 프레임에서의 가상 오브젝트의 표시가 정면 표시인 경우, 다음에 선택부(110)는 스텝 S203에서, 연속된 표시 대상의 판정에 사용되는 각도 A의 임계값으로서 임계값 T1을 설정한다. 한편, 전의 프레임에서의 가상 오브젝트의 표시가 정면 표시가 아니면, 즉 표시가 경사시 표시인 경우, 선택부(110)는 스텝 S205에서, 상기의 임계값으로서 임계값 T2을 설정한다. 도 5를 참조하여 설명한 바와 같이, 본 실시 형태에서의 각도 A의 임계값 T1 및 T2은, T2 <T1의 관계를 갖는다. 이에 의해, 히스테리시스를 갖는 표시 대상 오브젝트의 선택이 가능하게 된다.
이어서, 스텝 S207에서, 선택부(110)는 위치 관계 검출부(108)에 의해 검출된 각도 A가 스텝 S203 또는 스텝 S205에서 설정된 임계값 이하인지의 여부를 판정한다.
여기서, 각도 A가 임계값 이하이면, 즉 물체 obj_r이 정면시에 가까운 상태에서 화상에 비치고 있다고 판단되는 경우, 스텝 S209에서, 선택부(110)는 정면 표시의 가상 오브젝트를 표시 대상으로 설정한다. 한편, 각도 A가 임계값 이하가 아니면, 즉 물체 obj_r이 경사시의 상태에서 화상에 비치고 있다고 판단되는 경우, 스텝 S211에서, 선택부(110)는 경사시 표시의 가상 오브젝트를 표시 대상으로 설정한다.
이상에서, 표시 대상 설정 처리가 종료하고, 설정된 표시 대상 오브젝트의 정보가 표시 대상 정보 출력부(114)에 의해 표시 제어부(118)에 출력된다.
1-5. 대체 선택 및 메시지 표시의 예
이어서, 도 8을 참조하여, 본 실시 형태에 따른 대체 선택 및 메시지 표시의 예에 대해서 설명한다. 도 8은 본 개시의 제1 실시 형태에 따른 대체 선택 및 메시지 표시의 예를 도시한 도면이다.
도 8은 대체 선택 및 메시지 표시가 실행되는 경우와 그렇지 않은 경우를 비교하기 위한 도면이다. 도 8의 (a)에 도시된 경우, 현실 물체 obj_r는 경사시의 상태에서 화상에 비치고 있다. 따라서, 현실 물체 obj_r로부터 돌출된 것처럼 보이는 가상 오브젝트 obj_v2가 표시된다.
한편, 도 8의 (b)에 도시된 경우, 현실 물체 obj_r는 도 8의 (a)와 마찬가지로 경사시의 상태에서 화상에 비치고 있다. 그러나, 도 8의 (b)에서는, 현실 물체 obj_r이 화면의 끝 가까이에 비치고 있기 때문에, 도 8의 (a)와 같이 가상 오브젝트 obj_v2를 표시하고자 하면, 가상 오브젝트 obj_v2의 표시 위치가 화상의 유효 영역을 초과한다. 따라서, 선택부(110)는 정보 처리 장치(100)에 대한 현실 물체 obj_r의 각도 A에 대해 얻어진 판정 결과에 관계없이 화상의 유효 영역에 표시 가능한 가상 오브젝트 obj_v1를 표시 대상으로서 선택한다.
이에 의해, 가상 오브젝트의 표시가 화상 영역을 초과함으로 인해 가상 오브젝트가 유저에 의해 시인되지 않게 되는 것이 방지될 수 있다. 그러나, 도 8의 (b)의 상태에서의 가상 오브젝트 obj_v2의 표시는, 예를 들어 그 크기가 현실 물체 obj_r의 면의 기울기에 따라 크게 변형되기 때문에, 반드시 유저가 시인하기 쉬운 상태는 아니다. 또한, 이 상태에서는, 도 8의 (a)와 같이 가상 오브젝트 obj_v2의 표시가 가능하다는 것을 유저에게 알리기는 어렵다.
따라서, 도시된 예에서는, 메시지 정보 출력부(116)에 의해 생성된 정보에 기초하는 메시지 msg를 화상에 중첩해서 표시한다. 메시지 msg는, 예를 들어 "LOOK AT THE OBJECT!"과 같이, 유저에게 현실 물체 obj_r에의 주목을 촉구하고, 그에 따라 화상 영역을 변화시키고 원래 선택되는 가상 오브젝트 obj_v2가 표시가능한 상태로 유도하도록 하는 메시지일 수 있다. 또한, 메시지 정보 출력부(116)는 가상 오브젝트 obj_v1를 중복하지 않도록 조정되는 메시지 msg의 표시 위치를 지정하는 정보를 메시지 정보로서 출력할 수 있다.
상기의 예에서, 예를 들어, 메시지 대신에 아이콘 등의 화상이 표시될 수 있다. 또한, 정보 처리 장치(100)에 포함되는 LED(Light-Emitting Diode) 램프가 점등 또는 점멸하는 것 또는 정보 처리 장치(100)로부터 음성이 출력되는 것 등에 의해 유저에게 통지가 될 수 있다. 즉, 본 실시 형태에서의 메시지 정보 출력부(116)는 대체 표시 대상 오브젝트가 선택되는 경우에 화상 영역을 변화시키라고 유저에게 통지하는 통지부의 일례이다. 이러한 통지는 상기의 예와 같이 메시지 정보 출력부(116), 표시 제어부(118), 및 표시부(120)에 의한 표시의 변화를 통해 이루어질 수 있다. 이러한 통지는 또한 램프 등의 시각적 통지부에 의해 이루어질 수도 있고, 또는 스피커 등의 음성 통지부에 의해 이루어질 수 있다.
이상, 본 개시의 제1 실시 형태에 대해서 설명했다. 본 개시의 제1 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 현실 물체에 대한 가상 오브젝트의 표시 위치가 변경된다. 위치 관계로서 상기의 예에서는 각도가 사용되었지만, 다른 위치 관계가 사용될 수 있다. 예를 들어, 위치 관계로서 현실 물체와 기기 간의 거리가 사용될 수 있다. 이 경우, 예를 들어, 현실 물체와 기기 간의 거리가 소정의 거리보다도 짧아서 현실 물체가 비교적 크게 표시되는 경우에는, 가상 오브젝트가 현실 물체 내부에 표시될 수 있고, 반대로, 물체가 비교적 작게 표시되는 경우에는 가상 오브젝트가 현실 물체로부터 외부로 돌출되어 표시될 수 있다.
본 개시의 제1 실시 형태에 따르면, 예를 들어, 현실 물체와 기기 간의 위치 관계에 따라 각각의 경우에 가장 보기 쉬운 위치에 표시되는 가상 오브젝트를 화상에 중첩시켜서 유저에게 제시하는 것이 가능하게 된다.
2. 제2 실시 형태
계속해서, 도 9 내지 도 11을 참조하여 본 개시의 제2 실시 형태에 대해서 설명한다. 본 개시의 제2 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 가상 오브젝트에 의해 표시되는 정보의 양이 변경된다.
또한, 제2 실시 형태의 구성 중, 이하에 설명하는 부분 이외의 부분은 상기의 제1 실시 형태와 마찬가지이다. 이러한 부분의 구성에 대해서는 이하의 설명에 따라서 제1 실시 형태의 설명을 적절히 대체함으로써 충분히 설명될 수 있는 것이기 때문에, 중복되는 상세한 설명은 생략한다.
여기서는, 도 9 내지 도 11을 참조하여 본 실시 형태에 따른 표시 변화의 예에 대해서 설명한다. 도 9는 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면이다. 도 10은 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면이다. 도 11은 본 개시의 제2 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면이다.
도 9는 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제1 상태를 도시하고 있다. 본 실시 형태에서는, 정보 처리 장치(100)로부터의 현실 물체의 거리에 따라 표시 대상의 가상 오브젝트의 종류가 선택된다. 도시된 예에서의 제1 상태에서는, 정보 처리 장치(100)로부터 현실 물체 obj_r(간판)까지의 거리 d1이 비교적 길고, 화상에 비친 현실 물체 obj_r이 비교적 작기 때문에, 보다 적은 양의 정보를 표시하는 가상 오브젝트 obj_v3("SALE"만 표시)이 표시된다. 이하의 설명에서는, 보다 적은 양의 정보를 표시하는 경우의 가상 오브젝트의 표시를 "개요 표시"라고 말한다.
도 10은 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제2 상태를 도시하고 있다. 도시된 예에서의 제2 상태에서는, 정보 처리 장치(100)로부터 물체 obj_r(간판)까지의 거리 d2가 비교적 짧고, 화상에 비친 물체 obj_r이 비교적 크기 때문에, 보다 많은 양의 정보를 표시하는 가상 오브젝트 obj_v4(기간 또는 장소를 더 표시)가 표시된다. 이하의 설명에서는, 이러한 보다 많은 양의 정보를 표시하는 경우의 가상 오브젝트의 표시를 "상세 표시"라고 말한다.
도 11은 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 변화의 예를 도시하고 있다. 상기한 바와 같이, 본 실시 형태에 있어서, 정보 처리 장치(100)에 의한 가상 오브젝트의 표시는 정보 처리 장치(100)로부터 물체까지의 거리 d에 따라 변화한다. 도 11은 거리 d와 가상 오브젝트의 상세 표시 및 개요 표시 간의 관계에 대해서 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계를 2차원 평면상의 한 방향으로만 간략화해서 도시한 도면이다. 당업자에게 명백해진 바와 같이, 실제로는, 3차원 공간상의 임의의 방향에 대해서 마찬가지인 관계가 성립된다.
도시된 예에서는, 정보 처리 장치(100)가 현실 물체 obj_r에 가장 접근한 상태인 경우에, 거리 d=0이다. 거리 d=0의 상태에서, 가상 오브젝트의 표시는 도 9에 도시된 거리 d=d1의 경우와 같은 상세 표시이다. 그 상태로부터 서서히 정보 처리 장치(100)가 현실 물체 obj_r로부터 이격되고 거리 d가 임계값 L1을 초과하면, 가상 오브젝트의 표시가 도 10에 도시된 거리 d=d2의 경우와 같은 개요 표시로 전환된다. 한편, 가상 오브젝트의 표시가 개요 표시인 상태로부터, 서서히 정보 처리 장치(100)가 현실 물체 obj_r에 근접하여, 거리 d가 임계값 L2보다 작아지면, 가상 오브젝트의 표시가 상세 표시로 전환된다.
이와 같이, 본 실시 형태에 있어서, 표시 대상 오브젝트가 되는 가상 오브젝트의 종류는 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계에 관한 파라미터(거리 d)로 설정되는 임계값을 사용하여 선택된다. 촬상부(102)가 동화상을 촬상하고 연속한 프레임을 구성하는 각 화상에 대해서 가상 오브젝트의 종류가 선택되는 경우, 상기의 임계값 L1 및 L2과 같이, 그때까지 표시되어 있었던 가상 오브젝트, 즉, 전의 프레임의 화상에서 선택된 가상 오브젝트의 종류에 따라 다른 임계값이 사용될 수 있다. 이렇게, 가상 오브젝트의 선택에 히스테리시스를 가지게 함으로써, 손 떨림 등에 의한 임계값 부근에서의 거리 d의 진동에 의해 가상 오브젝트의 표시가 빈번히 변화함으로 인해 시인성이 저하하는 것을 방지할 수 있다.
이상, 본 개시의 제2 실시 형태에 대해서 설명했다. 본 개시의 제2 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 가상 오브젝트에 의해 표시되는 정보의 양이 변경된다. 위치 관계로서 상기의 예에서는 거리가 사용되었지만, 다른 위치 관계가 사용될 수 있다. 예를 들어, 위치 관계로서 기기에 대한 현실 물체의 각도가 사용될 수 있다. 이 경우, 예를 들어, 현실 물체의 면이 거의 정면으로부터 보이므로 표시 면적이 큰 경우에는, 보다 많은 정보를 표시하는 가상 오브젝트가 표시될 수 있고, 반대로, 현실 물체의 면이 경사지게 보이므로 표시 면적이 작은 경우에는, 보다 적은 정보를 표시하는 가상 오브젝트가 표시될 수 있다.
본 개시의 제2 실시 형태에 따르면, 예를 들어, 현실 물체와 기기 간의 위치 관계에 따라 각각의 경우에 가장 보기 쉬운 정보의 양을 효과적으로 표시하는 가상 오브젝트를 화상에 중첩시켜서 유저에게 제시하는 것이 가능하게 된다.
3. 제3 실시 형태
계속해서, 도 12 내지 16을 참조하여 본 개시의 제3 실시 형태에 대해서 설명한다. 본 개시의 제3 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 가상 오브젝트에 의해 표시되는 정보의 종류가 변경된다.
또한, 이 제3 실시 형태의 구성 중, 이하에 설명하는 부분 이외의 부분은 상기의 제1 실시 형태와 마찬가지이다. 이러한 부분의 구성에 대해서는, 이하의 설명에 따라서 제1 실시 형태의 설명을 적절히 대체함으로써 충분히 설명될 수 있는 것이기 때문에, 중복하는 상세한 설명은 생략한다.
3-1. 검출되는 위치 관계의 예
우선, 도 12를 참조하여 본 실시 형태에 따라 검출되는 현실 물체와 기기 간의 위치 관계의 예에 대해서 설명한다. 도 12는 본 개시의 제3 실시 형태에 따라 검출되는 현실 물체와 기기 간의 위치 관계를 도시한 도면이다.
도 12는 본 실시 형태에 있어서 검출되는 위치 관계를 도시한 4개의 예 (a) 내지 (d)를 도시하고 있다. 본 실시 형태에서는, 영상에 비친 현실 물체 obj_r의 회전 각도 B가 정보 처리 장치(100)와 현실 물체 obj_r 간의 위치 관계로서 검출된다. 예를 들어, 도 12의 (a)에 도시된 상태에서는, 정보 처리 장치(100)가 바로 선 상태에서 촬상부(102)가 현실 물체 obj_r를 포함하는 화상을 촬상하고 있다. 도시된 예에서, 이 경우에, 회전 각도 B=0°이다. 여기서, 도 12의 (a)에 도시된 상태로부터 정보 처리 장치(100)가 시계 방향으로 90°회전해서 도 12의 (b)에 도시된 상태가 되면, 촬상부(102)에 의해 촬상되어 표시부(120)에 표시되는 화상에서 현실 물체 obj_r는 도 12의 (a)에 도시된 상태로부터 회전 각도 B=90°만큼 회전한 상태로 표시된다.
또한, 정보 처리 장치(100)가 시계 방향으로 회전해서 도 12의 (c)에 도시된 상태가 되면, 표시부(120)에 표시되는 화상에서 현실 물체 obj_r는 도 12의 (a)에 도시된 상태로부터 회전 각도 B=180°만큼 회전한 상태로 표시된다. 한편, 도 12의 (a)에 도시된 상태로부터 정보 처리 장치(100)가 반시계 방향으로 90°회전해서 도 12의 (d)에 도시된 상태가 되면, 표시부(120)에 표시되는 화상에 서 현실 물체 obj_r는 도 12의 (a)에 도시된 상태로부터 회전 각도 B=-90°만큼 회전한 상태로 표시된다.
본 실시 형태에서는, 정보 처리 장치(100)의 위치 관계 검출부(108)가 상기의 예와 같이 정보 처리 장치(100)에 대한 현실 물체 obj_r의 회전을 현실 물체와 정보 처리 장치(100) 간의 위치 관계로서 검출한다. 보다 구체적으로는, 위치 관계 검출부(108)는 촬상부(102)의 촬상 축에 평행한 축의 주위의 현실 물체 obj_r의 회전을 위치 관계로서 검출한다. 여기서, 촬상부(102)의 촬상 축은, 예를 들어 촬상부(102)의 광학계 중 가장 현실 물체 obj_r 근방 부분에서의 광축으로서 정의될 수 있다.
또한, 본 실시 형태가 상기의 제1 및 제2 실시 형태와 상이한 점 중 하나는 현실 물체와 정보 처리 장치(100) 간의 위치 관계의 변화가 화상에서의 현실 물체의 표시를 실질적으로 변화시키지 않는다는 것이다.
예를 들어, 도 12에 도시된 예에서는, 정보 처리 장치(100)를 기준으로 한 좌표계에서 현실 물체 obj_r의 표시가 회전하고 있다고 말할 수 있다. 그러나, 도 12의 (a) 내지 (d)에 도시된 것과 같은 상태의 변화는 실제로는 유저가 정보 처리 장치(100)를 잡는 법을 바꿈으로써 발생하는 경우가 많다. 이 경우, 표시부(120)에서의 현실 물체 obj_r의 표시의 회전과 역방향으로 정보 처리 장치(100) 자체도 회전하기 때문에, 유저에 의해 시인되는 현실 물체 obj_r는 실질적으로 회전하지 않는다. 예를 들어, 도 12의 (c)에 도시된 예에서, 표시부(120)에 표시되는 현실 물체 obj_r는 회전 각도 B=180°만큼 회전하고 있지만; 정보 처리 장치(100) 자체가 원래의 자세로부터 180°회전한 상태로 유저에 의해 파지되어 있으면, 유저가 시인하는 현실 물체 obj_r의 표시는 도 12의 (a)에 도시된 것과 동일하다.
즉, 본 실시 형태는 현실 물체와 정보 처리 장치(100) 간의 위치 관계의 변화에 의해 현실 물체 또는 가상 오브젝트를 유저가 반드시 시인하기 어려워지는 것이 아닌 경우에서도 본 개시에 관한 기술이 효과적이라는 것을 나타낸다.
3-2. 표시 변화의 예
이어서, 도 13 내지 15를 참조하여 본 실시 형태에 따른 표시 변화의 예에 대해서 설명한다. 도 13은 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제1 상태를 도시한 도면이다. 도 14는 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 제2 상태를 도시한 도면이다. 도 15는 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 의한 가상 오브젝트의 표시의 변화를 도시한 도면이다.
도 13은 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제1 상태를 도시하고 있다. 상술한 바와 같이, 본 실시 형태에서는, 정보 처리 장치(100)에 대한 현실 물체의 회전에 따라 표시 대상의 가상 오브젝트의 종류가 선택된다. 도시된 예에서의 제1 상태에서는, 정보 처리 장치(100)가 현실 물체 obj_r(모니터)에 대하여 가로 배치가 된 상태이다. 이 경우, 현실 물체 obj_r로부터 돌출되도록 현실 물체 obj_r의 표시 내용(상세)이 가상 오브젝트 obj_v5로서 표시된다. 이하의 설명에서는, 이러한 가상 오브젝트의 표시를 "콘텐츠 표시"라고 말한다.
도 14는 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 제2 상태를 도시하고 있다. 도시된 예에서의 제2 상태에서는, 정보 처리 장치(100)가 현실 물체 obj_r(모니터)에 대하여 세로 배치가 된 상태이다. 이 경우, 현실 물체 obj_r로부터 돌출되도록 현실 물체 obj_r의 표시 내용(상세)에 관련한 정보가 가상 오브젝트 obj_v6로서 표시된다. 이하의 설명에서는, 이러한 가상 오브젝트의 표시를 "관련 정보 표시"라고 말한다.
도 15는 본 실시 형태에 따른 정보 처리 장치(100)에 의한 가상 오브젝트의 표시의 변화의 예를 도시하고 있다. 상기한 바와 같이, 본 실시 형태에 있어서, 정보 처리 장치(100)에 의한 가상 오브젝트의 표시는 정보 처리 장치(100)에 대한 현실 물체의 회전에 따라 변화한다. 본 실시 형태에서는, 이 회전 각도에 범위를 설정하고, 이 범위에 따라 가상 오브젝트에 의해 표시되는 정보의 종류를 변경한다.
도시된 예에서는, 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 세로 배치가 된 상태에서, 정보 처리 장치(100)가 바로 서 있는 상태를 기준으로 하여 정보 처리 장치(100)에 대한 현실 물체 obj_r의 회전 각도 B가 검출된다. 검출된 회전 각도 B에 대해서 범위 R1 또는 범위 R2가 설정되어, 회전 각도 B가 이 범위 내에 있는 경우에는 콘텐츠 표시로서 가상 오브젝트가 표시된다. 한편, 회전 각도 B가 이 범위 내에 없는 경우에는, 관련 정보 표시로서 가상 오브젝트가 표시된다.
여기서, 범위 R1 및 범위 R2는 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 가로 배치가 된 상태라고 판단되는 현실 물체 obj_r의 회전 각도의 범위이다. 그로 인해, 범위 R1 및 범위 R2는 모두, 예를 들어 ±90°의 근방의 범위일 수 있다. 또한, 범위 R1는 가상 오브젝트의 표시가 콘텐츠 표시인 경우에 사용되고, 범위 R2는 가상 오브젝트의 표시가 관련 정보 표시인 경우에 사용된다. 즉, 이미 콘텐츠 표시가 되는 상태에서 그 콘텐츠 표시가 계속되는 범위 R2는 관련 정보 표시가 되는 상태로부터 콘텐츠 표시로 전환되는 범위 R1보다도 크다. 이와 같이, 가상 오브젝트의 선택에 히스테리시스를 가지게 함으로써, 손 떨림 등에 의한 범위의 경계 부근에서의 회전 각도 B의 진동에 의해 가상 오브젝트의 표시가 빈번히 변화함으로 인해 시인성이 저하하는 것을 방지할 수 있다.
3-3. 처리 플로우의 예
이어서, 도 16을 참조하여, 본 실시 형태에 따른 정보 처리 장치의 처리 플로우의 예에 대해서 설명한다. 도 16은 본 개시의 제3 실시 형태에 따른 정보 처리 장치에 따른 표시 대상 설정 처리의 처리 플로우의 예를 도시한 흐름도이다.
도 16은 본 실시 형태에서의 표시 대상 설정 처리를 도시한 흐름도이다. 여기서 설명되는 표시 대상 설정 처리는 도 6을 참조하여 설명한 것과 마찬가지의 화상 표시 처리의 스텝 S109에서 실행되는 처리이다. 도시된 예에서는, 촬상부(102)가 동화상을 촬상하므로, 표시 대상 설정 처리도 연속한 프레임을 구성하는 화상 각각에 대해서 실행될 수 있다.
우선, 스텝 S301에서, 선택부(110)는 전의 프레임에서의 가상 오브젝트의 표시가 콘텐츠 표시인지 여부를 판정한다. 상기한 바와 같이, 콘텐츠 표시는 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 가로 배치가 되어 있는 경우의 현실 물체 obj_r의 콘텐츠를 표시하는 가상 오브젝트 obj_v5의 표시이다.
여기서, 전의 프레임에서의 가상 오브젝트의 표시가 콘텐츠 표시인 경우, 선택부(110)는 스텝 S303에서 이어지는 표시 대상의 판정에 사용되는 회전 각도 B의 범위로서 범위 R1를 설정한다. 한편, 전의 프레임에서의 가상 오브젝트의 표시가 콘텐츠 표시가 아니면, 즉 표시가 관련 정보 표시인 경우, 선택부(110)는 스텝 S305에서 상기의 범위로서 범위 R2를 설정한다. 도 15를 참조하여 설명한 바와 같이, 본 실시 형태에서의 회전 각도 B의 범위 R1 및 R2는 범위 R1이 범위 R1보다도 넓은 관계를 갖는다. 이에 의해, 히스테리시스를 갖는 표시 대상 오브젝트의 선택이 가능하게 된다.
이어서, 스텝 S307에서, 선택부(110)는 검출된 현실 물체 obj_r의 회전 각도 B가 스텝 S303 또는 스텝 S305에서 설정된 범위 내에 있는지의 여부를 판정한다.
여기서, 회전 각도 B가 범위 내에 있다고, 즉 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 가로 배치가 되어 있다고 판단되는 경우, 선택부(110)는 스텝 S309에서, 콘텐츠 표시의 가상 오브젝트를 표시 대상으로 설정한다. 한편, 회전 각도 B가 범위 내에 없다고, 즉 정보 처리 장치(100)가 현실 물체 obj_r에 대하여 세로 배치가 되어 있다고 판단되는 경우, 선택부(110)는 스텝 S311에서, 관련 정보 표시의 가상 오브젝트를 표시 대상으로 설정한다.
이상에서, 표시 대상 설정 처리가 종료하고, 여기에서 설정된 표시 대상 오브젝트의 정보가 표시 대상 정보 출력부(114)에 의해 표시 제어부(118)에 출력된다.
이상, 본 개시의 제3 실시 형태에 대해서 설명했다. 본 개시의 제3 실시 형태에서는, 화상에 비친 현실 물체와 화상을 촬상하는 기기 간의 위치 관계에 따라 가상 오브젝트에 의해 표시되는 정보의 종류가 변경된다. 위치 관계로서 상기의 예에서는 회전 각도가 사용되었지만, 다른 위치 관계가 사용될 수 있다. 예를 들어, 위치 관계로서, 기기에 대한 현실 물체의 각도가 사용될 수 있다. 이 경우, 예를 들어, 현실 물체의 면이 거의 정면으로부터 보이고 있는 경우에는, 현실 물체의 콘텐츠가 표시되고, 반대로, 물체의 면이 경사지게 보이고 있는 경우에는, 물체의 콘텐츠에 관련한 정보가 표시될 수 있다.
본 개시의 제3 실시 형태에 따르면, 예를 들어, 현실 물체와 기기 간의 위치 관계를 변화시킴으로써, 현실 물체에 관해서 표시되는 가상 오브젝트에 의해 표시되는 정보의 종류를 변경하는 것이 가능하게 된다. 예를 들어, 위치 관계가 유저에 의해 의도적으로 변화되는 경우, 유저는 기기의 자세의 변화를 표시 내용의 변경의 지시 조작으로서 사용할 수 있다. 또한, 예를 들어, 위치 관계가 우발적으로 변화되는 경우, 유저는 이전에 보이지 않았던 다른 종류의 정보에 접하는 기회를 얻을 수 있다.
4. 장치 구성에 관한 다른 실시 형태들
계속해서, 도 17 및 도 18을 참조하여 장치 구성에 관한 본 개시의 다른 실시 형태들에 대해서 설명한다.
<센서부를 갖는 예>
도 17은 본 개시의 실시 형태에 따른 정보 처리 장치의 기능 구성의 다른 예를 도시한 블록도이다. 도 17을 참조하면, 정보 처리 장치(200)는 촬상부(102), 화상 인식부(104), 모델 DB(106), 위치 관계 검출부(108), 선택부(110), 오브젝트 DB(112), 표시 대상 정보 출력부(114), 메시지 정보 출력부(116), 표시 제어부(118), 및 표시부(120) 외에 센서부(222)를 포함한다.
센서부(222)는 촬상부(102)의 움직임을 계측하는 움직임 센서 군을 포함한다. 움직임 센서는, 예를 들어 촬상부(102)의 가속도를 측정하는 가속도 센서, 기울기 각을 측정하는 자이로 센서, 촬상부(102)가 배향되는 방위를 측정하는 지자기 센서 등일 수 있다. 또한, 센서부(222)는 GPS(Global Positioning System) 신호를 수신해서 장치의 위도, 경도 및 고도를 측정하는 GPS 센서를 포함할 수 있다.
도시된 예에서, 위치 관계 검출부(108)는 센서부(222)에 의해 취득된 촬상부(102)의 움직임에 기초하여 현실 물체와 정보 처리 장치(200)(보다 상세하게는 촬상부(102)) 간의 위치 관계를 검출한다. 예를 들어, 위치 관계 검출부(108)는 촬상부(102)의 가속도 또는 기울기 각의 정보에 기초하여 정보 처리 장치(200)의 자세를 검출한다. 현실 물체의 위치, 현실 물체가 지면 등의 수평면에 있는지, 또는 물체가 벽 등의 연직면에 있는지의 정보가 있으면, 정보 처리 장치(200)의 자세를 검출함으로써 현실 물체와의 위치 관계를 파악하는 것이 가능하다. 또한, 위치 관계 검출부(108)는 도면에 도시되어 있는 바와 같이, 센서부(222)로부터의 정보를 사용하여 위치 관계를 검출할 수 있고, 화상 인식부(104)로부터의 정보를 사용하여 위치 관계를 검출할 수 있다.
<네트워크상의 서버의 예>
도 18은 본 개시의 실시 형태에 따른 정보 처리 장치의 기능 구성의 또 다른 예를 도시한 블록도이다. 도 18을 참조하면, 정보 처리 장치(300)는 화상 인식부(104), 모델 DB(106), 위치 관계 검출부(108), 선택부(110), 오브젝트 DB(112), 표시 대상 정보 출력부(114), 메시지 정보 출력부(116), 및 통신부(324)를 포함한다.
도시된 예에서, 정보 처리 장치(300)는 촬상부(102), 표시 제어부(118), 및 표시부(120)를 포함하지 않는다. 정보 처리 장치(300)는, 예를 들어 네트워크상에 설치된 서버이며, 클라이언트인 장치의 촬상부에 의해 촬상된 화상의 데이터를 입력 화상으로서 통신부(324)를 통해 수신한다. 또한, 정보 처리 장치(300)는 표시 대상 정보 출력부(114)로부터 출력되는 표시 대상 오브젝트의 정보 및 부가적으로 메시지 정보 출력부(116)로부터 출력되는 메시지 정보를 통신부(324)를 통해 상기의 클라이언트에 송신한다. 가상 오브젝트가 중첩된 화상이 생성되고, 그 화상은 송신된 정보를 사용하여 단말 장치의 표시 제어부에서 표시된다.
이와 같이, 본 개시의 실시 형태들에 따른 정보 처리 장치는 반드시 촬상부(102) 또는 표시부(120)를 포함하지 않을 수 있고, 그 구성에는 여러가지 변형이 있다. 예를 들어, 상기의 정보 처리 장치(300)에서, 표시 제어부(118)를 설치하고, 가상 오브젝트가 중첩된 화상을 생성해서 통신부(324)를 통해 클라이언트에 송신할 수 있다. 또한, 정보 처리 장치는 촬상부(102)를 포함하지 않을 수 있지만 표시부(120)를 포함하고, 외부의 장치에 의해 촬상된 화상에 가상적인 오브젝트를 중첩해서 표시할 수 있다. 또한, 정보 처리 장치는 촬상부(102)를 포함하지 않을 수 있지만 표시부(120)를 포함하고, 촬상된 화상에 가상적인 오브젝트를 중첩한 화상을 외부의 장치에 전송할 수 있다.
5. 보충
<하드웨어 구성>
마지막으로, 도 19를 참조하여, 본 개시의 실시 형태에 따른 정보 처리 장치를 실현할 수 있는 정보 처리 장치(900)의 하드웨어 구성에 대해서 설명한다. 도 19는 정보 처리 장치의 하드웨어 구성을 도시한 블록도이다.
정보 처리 장치(900)는 CPU(Central Processing unit)(901), ROM(Read Only Memory)(903), 및 RAM(Random Access Memory)(905)을 포함한다. 또한, 정보 처리 장치(900)는 호스트 버스(907), 브리지(909), 외부 버스(911), 인터페이스(913), 입력 장치(915), 출력 장치(917), 스토리지 장치(919), 드라이브(921), 접속 포트(923), 및 통신 장치(925)를 포함할 수 있다. 정보 처리 장치(900)는 CPU(901) 대신에 또는 이와 함께 DSP(Digital Signal Processor) 등의 처리 회로를 포함할 수 있다.
CPU(901)는 연산 처리 장치 및 제어 장치로서 기능하고, ROM(903), RAM(905), 스토리지 장치(919), 또는 리무버블 기록 매체(927)에 기록된 각종 프로그램에 따라 정보 처리 장치(900) 내의 동작 전반 또는 그 일부를 제어한다. ROM(903)은 CPU(901)가 사용하는 프로그램, 연산 파라미터 등을 기억한다. RAM(905)은 CPU(901)의 실행에 있어서 사용되는 프로그램, 그 실행 동안에 적절히 변화하는 파라미터 등을 일시적으로 기억한다. CPU(901), ROM(903), 및 RAM(905)은 CPU 버스 등의 내부 버스로 구성되는 호스트 버스(907)에 의해 서로 접속되어 있다. 또한, 호스트 버스(907)는 브리지(909)를 통하여 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(911)에 접속되어 있다.
입력 장치(915)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등, 유저에 의해 조작되는 장치이다. 입력 장치(915)는, 예를 들어 적외선 또는 그 밖의 전파를 이용한 리모트 컨트롤 장치일 수 있고, 또는 정보 처리 장치(900)의 조작에 대응한 휴대 전화 등의 외부 접속 기기(929)일 수 있다. 입력 장치(915)는 유저가 입력한 정보에 기초하여 입력 신호를 생성해서 CPU(901)에 출력하는 입력 제어 회로를 포함한다. 유저는 이 입력 장치(915)를 조작함으로써, 정보 처리 장치(900)에 각종 데이터를 입력하거나 정보 처리 장치(900)에 처리 동작을 지시한다.
출력 장치(917)는 취득한 정보를 유저에게 시각적 또는 청각적으로 통지하는 것이 가능한 장치를 포함한다. 출력 장치(917)는, 예를 들어 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 유기 EL(Electro-Luminescence) 디스플레이 등의 표시 장치; 스피커 및 헤드폰 등의 음성 출력 장치; 또는 프린터 장치일 수 있다. 출력 장치(917)는 정보 처리 장치(900)의 처리에 의해 얻어진 결과를 텍스트 또는 화상 등의 영상으로서 출력하거나 음성 또는 음향 등의 음성으로서 출력한다.
스토리지 장치(919)는 정보 처리 장치(900)의 기억부의 일례로서 구성된 데이터 저장용의 장치이다. 스토리지 장치(919)는, 예를 들어 HDD(Hard Disk Drive) 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광자기 기억 디바이스를 포함한다. 이 스토리지 장치(929)는, 예를 들어 CPU(901)가 실행하는 프로그램이나 각종 데이터 또는 외부로부터 취득한 각종 데이터를 포함함다.
드라이브(921)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(927)를 위한 리더/라이터이며, 정보 처리 장치(900)에 내장 또는 외장된다. 드라이브(921)는 장착되어 있는 리무버블 기록 매체(927)에 기록되어 있는 정보를 판독하고, 이 정보를 RAM(905)에 출력한다. 드라이브(921)는 장착되어 있는 리무버블 기록 매체(927)에 정보를 또한 기입한다.
접속 포트(923)는 기기를 정보 처리 장치(900)에 직접 접속하기 위한 포트이다. 접속 포트(923)는, 예를 들어 USB(Universal Serial Bus), IEEE 1394 포트, 또는 SCSI(Small Computer System Interface) 포트일 수 있다. 또한, 접속 포트(923)는 RS-232 포트, 광 오디오 단자, 또는 HDMI(High-Definition Multimedia Interface) 포트일 수 있다. 접속 포트(923)에 외부 접속 기기(929)를 접속할 때, 정보 처리 장치(900)와 외부 접속 기기(929) 사이에서 각종 데이터가 교환될 수 있다.
통신 장치(925)는, 예를 들어 통신 네트워크(931)에 접속하기 위한 통신 디바이스 등을 포함하는 통신 인터페이스이다. 통신 장치(925)는, 예를 들어 유선 또는 무선 LAN(Local Area Network) 또는 Bluetooth(등록 상표) 또는 WUSB(Wireless USB)용의 통신 카드일 수 있다. 또한, 통신 장치(925)는 광통신용의 라우터, ADSL(Asymmetric Digital Subscriber Line)용의 라우터, 또는 각종 통신용의 모뎀일 수 있다. 통신 장치(925)는, 예를 들어 인터넷을 통해 또는 다른 통신 기기 사이에서 TCP/IP 등의 소정의 프로토콜을 사용하여 신호 등을 송수신한다. 또한, 통신 장치(925)에 접속되는 통신 네트워크(931)는 유선 또는 무선에 의해 접속된 네트워크이며, 예를 들어 인터넷, 가정내 LAN, 적외선 통신, 라디오파 통신, 또는 위성 통신이다.
촬상 장치(933)는, 예를 들어 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 센서 및 촬상 센서에의 피사체상의 결상을 제어하기 위한 렌즈 등의 각종의 부재를 사용하여 실 공간을 촬상하고 촬상 화상을 생성하는 장치이다. 촬상 장치(933)는 정지 화상 또는 동화상을 촬상할 수 있다.
센서(935)는, 예를 들어 가속도 센서, 자이로 센서, 지자기 센서, 광 센서, 및 소리 센서 등의 각종의 센서일 수 있다. 센서(935)는 정보 처리 장치(900)의 하우징의 형태 등의 정보 처리 장치(900)의 상태에 관한 정보 및 정보 처리 장치(900)의 주변의 밝기 또는 소음 등의 정보 처리 장치(900)의 주변 환경에 관한 정보를 취득한다. 또한, 센서(935)는 GPS(Global Positioning System) 신호를 수신해서 장치의 위도, 경도 및 고도를 측정하는 GPS 센서를 포함할 수 있다.
정보 처리 장치(900)의 하드웨어 구성의 일례에 대해 설명했다. 상기의 각 구성 요소는 범용적인 부재를 사용하여 구성될 수 있고, 각 구성 요소의 기능에 특화한 하드웨어에 의해 구성될 수도 있다. 이러한 구성은 본 실시 형태들을 실시하는 때의 기술 레벨에 따라서 적절히 변경될 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태들에 대해서 상세하게 설명했지만, 본 개시의 기술적 범위는 이로 한정되지 않는다. 본 개시의 기술 분야에 통상의 지식을 갖는 자이면 청구 범위 또는 그에 상응하는 범위 내에 있는 한 설계 요건 또는 다른 인자에 따라 각종 변형, 조합, 부조합 및 변경을 이루어낼 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위 내에 든다.
(1) 물체를 포함하는 비디오를 수신하고,
장치와 상기 물체 간의 위치 관계를 판정하고,
상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키도록
구성된 화상 프로세서를 포함하는, 장치.
(2) 상기 (1)에 있어서, 상기 화상 프로세서는 상기 물체의 방향과 상기 장치의 방향 간의 각도를 판정하고 상기 각도에 기초하여 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는, 장치.
(3) 상기 (2)에 있어서, 상기 화상 프로세서는 상기 각도가 제1 임계 각도 미만인 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계가 정면시 관계라고 판정하는, 장치.
(4) 상기 (3)에 있어서, 상기 화상 프로세서는 상기 각도가 상기 제1 임계 각도를 초과하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 정면시 관계로부터 경사시 관계로 전환하는, 장치.
(5) 상기 (4)에 있어서, 상기 화상 프로세서는 상기 각도가 제2 임계 각도 미만으로 떨어지는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 경사시 관계로부터 정면시 관계로 전환하는, 장치.
(6) 상기 (5)에 있어서, 상기 제2 임계 각도는 상기 제1 임계 각도보다 낮은, 장치.
(7) 상기 (4)에 있어서, 상기 화상 프로세서는 정면시 관계에서는 상기 물체의 평면에서 상기 비디오에 상기 화상을 중첩하고 경사시 관계에서는 상기 물체 위에서 상기 비디오에 상기 화상을 중첩하는, 장치.
(8) 상기 (1) 내지 상기 (7)에 있어서, 상기 화상 프로세서는 상기 비디오에 상기 화상과 함께 텍스트 메시지를 중첩하는, 장치.
(9) 상기 (8)에 있어서, 상기 화상 프로세서는 상기 화상이 표시 화면에 맞도록 수정되는 경우에 상기 비디오에 상기 화상과 함께 텍스트 메시지를 중첩하는, 장치.
(10) 상기 (9)에 있어서, 상기 화상 프로세서는 상기 표시 화면에 맞도록 상기 화상의 수정을 제거하라는 지시를 제공하는 텍스트 메시지를 중첩하는, 장치.
(11) 상기 (1)에 있어서, 상기 화상 프로세서는 상기 물체와 상기 장치 간의 거리를 판정하고 상기 거리에 기초하여 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는, 장치.
(12) 상기 (11)에 있어서, 상기 화상 프로세서는 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
(13) 상기 (12)에 있어서, 상기 화상 프로세서는 상기 거리가 제1 임계 거리보다 짧은 경우에 부가적인 상세가 표시되도록 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
(14) 상기 (13)에 있어서, 상기 화상 프로세서는 상기 거리가 제2 임계 거리를 초과하는 경우에 부가적인 상세가 삭제되도록 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
(15) 상기 (14)에 있어서, 상기 제2 임계 거리는 상기 제1 임계 거리보다 짧은, 장치.
(16) 상기 (1) 내지 상기 (15)에 있어서, 외부 장치로부터 상기 화상을 수신하도록 구성된 수신기를 더 포함하는, 장치.
(17) 상기 (1) 내지 상기 (16)에 있어서, 상기 비디오에 중첩된 상기 화상을 표시하도록 구성된 디스플레이를 더 포함하는, 장치.
(18) 상기 (1) 내지 상기 (17)에 있어서, 상기 장치의 위치 정보를 측정하도록 구성된 센서를 더 포함하는, 장치.
(19) 물체를 포함하는 비디오를 수신하는 단계,
장치와 상기 물체 간의 위치 관계를 판정하는 단계, 및
상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는 단계
를 포함하는, 방법.
(20) 프로세서 상에 로드될 때, 상기 프로세서로 하여금
물체를 포함하는 비디오를 수신하는 단계,
장치와 상기 물체 간의 위치 관계를 판정하는 단계, 및
상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는 단계
를 포함하는 방법을 실행하게 하는 프로그램이 인코드된, 비일시적 컴퓨터 판독가능 매체.
100, 200, 300: 정보 처리 장치
102: 촬상부
104: 화상 인식부
108: 위치 관계 검출부
110: 선택부
114: 표시 대상 정보 출력부
116: 메시지 정보 출력부
118: 표시 제어부
120: 표시부
222: 센서부
324: 통신부
obj_r: 현실 물체
obj_v: 가상 오브젝트

Claims (20)

  1. 물체를 포함하는 비디오를 수신하고,
    장치와 상기 물체 간의 위치 관계를 판정하고,
    상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키도록
    구성된 화상 프로세서를 포함하는, 장치.
  2. 제1항에 있어서, 상기 화상 프로세서는 상기 물체의 방향과 상기 장치의 방향 간의 각도를 판정하고 상기 각도에 기초하여 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는, 장치.
  3. 제2항에 있어서, 상기 화상 프로세서는 상기 각도가 제1 임계 각도 미만인 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계가 정면시(front view) 관계라고 판정하는, 장치.
  4. 제3항에 있어서, 상기 화상 프로세서는 상기 각도가 상기 제1 임계 각도를 초과하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 정면시 관계로부터 경사시(oblique view) 관계로 전환하는, 장치.
  5. 제4항에 있어서, 상기 화상 프로세서는 상기 각도가 제2 임계 각도 미만으로 떨어지는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 경사시 관계로부터 정면시 관계로 전환하는, 장치.
  6. 제5항에 있어서, 상기 제2 임계 각도는 상기 제1 임계 각도보다 낮은, 장치.
  7. 제4항에 있어서, 상기 화상 프로세서는 정면시 관계에서는 상기 물체의 평면에서 상기 비디오에 상기 화상을 중첩하고 경사시 관계에서는 상기 물체 위에서 상기 비디오에 상기 화상을 중첩하는, 장치.
  8. 제1항에 있어서, 상기 화상 프로세서는 상기 비디오에 상기 화상과 함께 텍스트 메시지를 중첩하는, 장치.
  9. 제8항에 있어서, 상기 화상 프로세서는 상기 화상이 표시 화면에 맞도록 수정되는 경우에 상기 비디오에 상기 화상과 함께 텍스트 메시지를 중첩하는, 장치.
  10. 제9항에 있어서, 상기 화상 프로세서는 상기 표시 화면에 맞도록 상기 화상의 수정을 제거하라는 지시를 제공하는 텍스트 메시지를 중첩하는, 장치.
  11. 제1항에 있어서, 상기 화상 프로세서는 상기 물체와 상기 장치 간의 거리를 판정하고 상기 거리에 기초하여 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는, 장치.
  12. 제11항에 있어서, 상기 화상 프로세서는 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
  13. 제12항에 있어서, 상기 화상 프로세서는 상기 거리가 제1 임계 거리보다 짧은 경우에 부가적인 상세가 표시되도록 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
  14. 제13항에 있어서, 상기 화상 프로세서는 상기 거리가 제2 임계 거리를 초과하는 경우에 부가적인 상세가 삭제되도록 상기 거리에 기초하여 상기 비디오에 중첩된 화상을 변화시키는, 장치.
  15. 제14항에 있어서, 상기 제2 임계 거리는 상기 제1 임계 거리보다 짧은, 장치.
  16. 제1항에 있어서, 외부 장치로부터 상기 화상을 수신하도록 구성된 수신기를 더 포함하는, 장치.
  17. 제1항에 있어서, 상기 비디오에 중첩된 상기 화상을 표시하도록 구성된 디스플레이를 더 포함하는, 장치.
  18. 제1항에 있어서, 상기 장치의 위치 정보를 측정하도록 구성된 센서를 더 포함하는, 장치.
  19. 물체를 포함하는 비디오를 수신하는 단계,
    장치와 상기 물체 간의 위치 관계를 판정하는 단계, 및
    상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는 단계
    를 포함하는, 방법.
  20. 프로세서 상에 로드될 때, 상기 프로세서로 하여금
    물체를 포함하는 비디오를 수신하는 단계,
    장치와 상기 물체 간의 위치 관계를 판정하는 단계, 및
    상기 장치와 상기 물체 간의 위치 관계가 변화하는 경우에 상기 비디오에 중첩된 화상과 상기 물체 간의 위치 관계를 변화시키는 단계
    를 포함하는 방법을 실행하게 하는 프로그램이 인코드된, 비일시적 컴퓨터 판독가능 매체.
KR20147010448A 2011-11-11 2012-09-14 정보 처리 장치, 정보 처리 방법, 및 프로그램 KR20140090159A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011247568A JP6121647B2 (ja) 2011-11-11 2011-11-11 情報処理装置、情報処理方法およびプログラム
JPJP-P-2011-247568 2011-11-11
PCT/JP2012/005904 WO2013069189A1 (en) 2011-11-11 2012-09-14 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
KR20140090159A true KR20140090159A (ko) 2014-07-16

Family

ID=48288980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147010448A KR20140090159A (ko) 2011-11-11 2012-09-14 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (9)

Country Link
US (2) US9928626B2 (ko)
EP (1) EP2777025B1 (ko)
JP (1) JP6121647B2 (ko)
KR (1) KR20140090159A (ko)
CN (1) CN104025158B (ko)
BR (1) BR112014010686A2 (ko)
RU (1) RU2014117673A (ko)
TW (1) TW201337830A (ko)
WO (1) WO2013069189A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
KR102001636B1 (ko) * 2013-05-13 2019-10-01 삼성전자주식회사 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
US9639990B2 (en) * 2013-10-03 2017-05-02 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP6202980B2 (ja) * 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
WO2015072194A1 (ja) 2013-11-13 2015-05-21 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
JP6264972B2 (ja) * 2014-03-18 2018-01-24 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6747292B2 (ja) * 2014-09-19 2020-08-26 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US11150482B2 (en) * 2015-02-25 2021-10-19 Facebook Technologies, Llc Augmented reality content creation
JP6452585B2 (ja) * 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
US10242413B2 (en) * 2015-12-28 2019-03-26 Facebook, Inc. Using three-dimensional virtual object models to guide users in virtual environments
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
US20170270362A1 (en) * 2016-03-18 2017-09-21 Daqri, Llc Responsive Augmented Content
EP3270208B1 (fr) 2016-07-12 2024-03-06 Essilor International Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif
US20180137660A1 (en) * 2016-11-11 2018-05-17 Microsoft Technology Licensing, Llc Responsive customized digital stickers
CN107592520B (zh) * 2017-09-29 2020-07-10 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
WO2019087491A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108833937B (zh) 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
US10368030B1 (en) * 2018-08-01 2019-07-30 Qualcomm Incorporated Optimized histogram computation for adaptive back light algorithm during camera preview and video playback
US11170576B2 (en) * 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
WO2021173147A1 (en) * 2020-02-28 2021-09-02 Google Llc System and method for playback of augmented reality content triggered by image recognition
US11212383B2 (en) * 2020-05-20 2021-12-28 Snap Inc. Customizing text messages in modifiable videos of multimedia messaging application
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2005250950A (ja) 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
EP1814101A1 (en) * 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP5025940B2 (ja) 2005-10-26 2012-09-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
JP4926817B2 (ja) 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
WO2008153599A1 (en) * 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
JP2009119818A (ja) * 2007-11-19 2009-06-04 Rarugo:Kk ファイル用貼付シールセット及びそのシールセットの識別カードに表示される２次元の識別コードの情報を管理する情報処理装置
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
US8412577B2 (en) * 2009-03-03 2013-04-02 Digimarc Corporation Narrowcasting from public displays, and related methods
JP2010231741A (ja) * 2009-03-30 2010-10-14 Nec Corp 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
KR101753801B1 (ko) * 2010-06-10 2017-07-04 엘지디스플레이 주식회사 액정 표시장치 및 구동방법
EP2426641B1 (en) * 2010-09-07 2013-04-17 Sony Computer Entertainment Europe Ltd. System and method of image augmentation
US9001196B2 (en) * 2010-10-05 2015-04-07 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of 3-D shutter glasses to one of a plurality of presentation devices
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
WO2012065146A2 (en) * 2010-11-12 2012-05-18 Wms Gaming, Inc. Integrating three-dimensional elements into gaming environments
TWM412544U (en) * 2011-01-10 2011-09-21 Lingo Ltd Smart charging system
JP5734700B2 (ja) * 2011-02-24 2015-06-17 京セラ株式会社 携帯情報機器および仮想情報表示プログラム
JP5704963B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9952820B2 (en) * 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
JP2013165366A (ja) * 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20130234926A1 (en) * 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20130307855A1 (en) * 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US20140108136A1 (en) * 2012-10-12 2014-04-17 Ebay Inc. Augmented reality for shipping
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
US9366765B2 (en) * 2014-05-16 2016-06-14 Trimble Navigation Limited Handheld GIS data collection device target augmentation

Also Published As

Publication number Publication date
JP2013105253A (ja) 2013-05-30
US20140375691A1 (en) 2014-12-25
CN104025158A (zh) 2014-09-03
TW201337830A (zh) 2013-09-16
EP2777025A4 (en) 2015-06-17
US9928626B2 (en) 2018-03-27
EP2777025A1 (en) 2014-09-17
WO2013069189A1 (en) 2013-05-16
EP2777025B1 (en) 2019-08-07
CN104025158B (zh) 2018-04-03
US20180232924A1 (en) 2018-08-16
JP6121647B2 (ja) 2017-04-26
RU2014117673A (ru) 2015-11-10
BR112014010686A2 (pt) 2017-04-25
US10614605B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
US10614605B2 (en) Information processing apparatus, information processing method, and program for displaying a virtual object on a display
US11195307B2 (en) Image processing apparatus, image processing method, and program
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
US10102674B2 (en) Virtual reality headset connected to a mobile computing device
US9417763B2 (en) Three dimensional user interface effects on a display by using properties of motion
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
TW201346640A (zh) 影像處理裝置及電腦程式產品
CN102859470A (zh) 对象控制装置、对象控制方法、对象控制程序以及集成电路
US8854393B2 (en) Information processing device, information processing method, and program
US11151804B2 (en) Information processing device, information processing method, and program
EP3528024B1 (en) Information processing device, information processing method, and program
WO2021193062A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5446700B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20220253198A1 (en) Image processing device, image processing method, and recording medium
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination