KR101888566B1 - 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템 - Google Patents

Abstract

본 발명은 실제 물체와 관련된 디지털 정보를 제시하는 방법에 관한 것으로, 방법은 실제 물체를 결정하는 단계, 복수의 제시 모드들을 제공하는 단계 - 복수의 제시 모드들은 증강 현실 모드, 및 가상 현실 모드 및 오디오 모드 중 적어도 하나를 포함함 -, 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 제공하는 단계, 카메라에 의해 캡처된 이미지를 고려하여 카메라와 기준 좌표계 사이의 공간적 관계를 결정하는 단계, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계, 및 선택된 제시 모드를 이용하여 디지털 정보의 적어도 하나의 표현을 제시하는 단계를 포함한다.

Description

실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PRESENTING A DIGITAL INFORMATION RELATED TO A REAL OBJECT}

본 발명은 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템에 관한 것이다.

증강 현실(augmented reality, AR)에서, 실제 환경의 비디오 이미지와 같은 실제 환경의 뷰(view)가, 종종 실제 환경과 공간적 관계에 있는 하나 이상의 가상 물체들의 형태인, 디지털 정보의 오버레이와 조합된다. 핸드헬드 증강 현실은 사용자에게 카메라 장착 디바이스를 들게 하여 카메라가 관련 디지털 정보를 갖는 환경 또는 물체를 캡처하도록 요구한다. 실제 환경 또는 물체가 카메라 이미지에서 보이지 않는 경우, 증강 현실 뷰는 디지털 정보를 제공하지 않는다. 소정의 증강 현실 애플리케이션들은 몇 분 또는 심지어 몇 시간이 걸릴 수 있는 태스크에서 사용자들을 지원한다; 예들에는 보행자 내비게이션 및 제품의 유지관리를 위한 매뉴얼이 포함된다. 사용자가 태스크 수행 전체에 걸쳐 디바이스를 잡는 것이 불편할 수 있고, 사용자는 디바이스를 일시적으로 내려 놓거나 그것을 집어넣기를 원할 수 있다. 이 경우, 증강 현실 뷰를 사용할 때, 사용자는 디바이스를 다시 들고 카메라가 다시 물체 또는 환경에 대면할 때까지 그의 또는 그녀의 태스크를 지원하는 디지털 정보를 제공받지 못한다.

사용자 테스트에서 이러한 사용자 경험의 중단으로 인해 사용자들이 그들의 태스크들의 추적을 놓친 것으로 관찰되었다. 본 발명자들은 일부 사용자들이 디바이스를 들고 있을 때의 결과로서 피로를 겪었음에도 불구하고 무언가를 놓칠까봐 두려워 디바이스를 내려 놓지 않았음을 추가로 관찰하였다. 전술된 두 가지 상황 모두는 불만스러운 사용자 경험으로 이어진다.

가장 중요한 문제는 핸드헬드 비디오 시스루(see-through) AR 애플리케이션들이 사용자로 하여금 핸드헬드 디바이스를 계속해서 들고 있도록 요구한다는 것임이 또한 발견되었다. 이것은 후방-대면 카메라가 증강되어야 하는 장면을 캡처해야 할 필요가 있기 때문에 필수적이다. 이것은 - 노인뿐만 아니라 건강한 사용자 양측 모두에 대해 - 핸드헬드 디바이스들이 종종 무겁고 이들의 매끄러운 표면으로 인해 핸드헬드 디바이스들을 오랜 시간 동안 들고 있는 것이 어렵기 때문에 적합하지 않다.

증강 현실 추적 시스템들은 적절한 사용자 기대치들을 설정하는 데 필요한 인지가능한 시간 내에 추적을 놓치는 이벤트를 정확하게 추정하는 과제에 직면해 있다. 그러한 시스템들은 통상 이진 온-오프 스위치들로서 작동한다. 증강 현실의 맥락에서의 표준 접근법들은 주로, 사용자에게 놓친 추적에 대해 통지하고 그 또는 그녀에게 시각적 추적의 복구를 위해 디바이스의 카메라를 실제 물체 또는 환경으로 향하도록 요청하는 경고 대화 상자로 제한된다.

EP 2 579 127 A1호는 모바일 디바이스의 사용자의 머리의 배향을 결정하는 방법을 제안한다. 이 시스템은 모바일 디바이스 및 머리의 배향을 획득하기 위한 디지털 나침반을 포함하는 헤드 마운트(head-mounted) 액세서리 디바이스를 포함한다. 배향은 사용자에게 전달할 콘텐츠를 결정하는 데 이용된다.

WO 2013/058950 A1호는 디바이스 배향(즉, 테이블 상에서 하방 배향에 대면함)을 결정하는 방법을 제안한다. 이어서, 디바이스 배향은 일치되는 알림 프로파일(예컨대, "조용함")을 활성화하는 데 이용된다.

US 2012/0280917 A1호는 디바이스의 센서들(터치, 속도, 광)을 사용하여 사용자의 의도 및/또는 아이덴티티에 기초하여 디바이스 상태(예컨대, 절전 모드)를 조절하는 방법을 제안한다.

US 8 594 744 B2호는 사용자 음성의 샘플링에 기초하여 스피커폰 모드로부터 핸드셋 모드로 모바일 디바이스의 동작 모드를 전환하기 위한 시스템들 및 방법들을 기술한다. 다른 정보 제시 모드로의 전이 이벤트에 대해 추가적인 사용자 입력이 반드시 필요한 것은 아니다. 샘플링은 오로지 (마이크로폰으로 캡처된) 사용자의 음성 데이터에 대해서만 수행된다.

EP 2 327 010 A2호 및 WO 2010/022386 A2호는 가상 카메라, 방향 센서 및 터치 상호작용들을 이용하는 모바일 디바이스 상의 3차원 환경에서의 내비게이션 방법들 및 시스템들을 기술한다.

예컨대, 핸드헬드 디바이스 상에서 주어진 사용자 태스크의 수행 동안, 예를 들어, 핸드헬드 디바이스를 내려 놓을 때, 중단되지 않는(non-interrupted) 사용자 인터페이스 및 경험을 제공할 수 있는 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템을 제공하는 것이 바람직할 것이다.

일 태양에 따르면, 실제 물체와 관련된 디지털 정보를 제시하는 방법이 개시되는데, 방법은 실제 물체를 결정하는 단계, 복수의 제시 모드들을 제공하는 단계 - 복수의 제시 모드들은 증강 현실 모드, 및 가상 현실 모드 및 오디오 모드 중 적어도 하나를 포함함 -, 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 제공하는 단계, 카메라에 의해 캡처된 이미지를 고려하여 카메라와 기준 좌표계 사이의 공간적 관계를 결정하는 단계, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계, 및 선택된 제시 모드를 이용하여 디지털 정보의 적어도 하나의 표현을 제시하는 단계를 포함한다.

다른 태양에 따르면, 실제 물체와 관련된 디지털 정보를 제시하는 방법이 제공되는데, 방법은 실제 물체를 결정하는 단계, 복수의 제시 모드들을 제공하는 단계 - 복수의 제시 모드들은 증강 현실 모드, 및 가상 현실 모드 및 오디오 모드 중 적어도 하나를 포함함 -, 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 제공하는 단계, 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지를 고려하여 사람의 눈과 기준 좌표계 사이의 공간적 관계를 결정하는 단계, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계, 및 선택된 제시 모드를 이용하여 디지털 정보의 적어도 하나의 표현을 제시하는 단계를 포함한다.

다른 태양에 따르면, 실제 물체와 관련된 디지털 정보를 제시하기 위한 시스템이 제공되는데, 시스템은 프로세싱 시스템을 포함하고, 프로세싱 시스템은 실제 물체를 결정하도록, 복수의 제시 모드들을 제공하도록 - 복수의 제시 모드들은 증강 현실 모드, 및 가상 현실 모드 및 오디오 모드 중 적어도 하나를 포함함 -, 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 제공하도록, 카메라에 의해 캡처된 이미지를 고려하여 카메라와 기준 좌표계 사이의 공간적 관계를 결정하도록, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하도록, 그리고 선택된 제시 모드를 이용하여 디지털 정보의 적어도 하나의 표현을 제시하도록 구성된다.

다른 태양에 따르면, 실제 물체와 관련된 디지털 정보를 제시하기 위한 시스템이 제공되는데, 시스템은 프로세싱 시스템을 포함하고, 프로세싱 시스템은 실제 물체를 결정하도록, 복수의 제시 모드들을 제공하도록 - 복수의 제시 모드들은 증강 현실 모드, 및 가상 현실 모드 및 오디오 모드 중 적어도 하나를 포함함 -, 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 제공하도록, 적어도 하나의 카메라에 의해 캡처된 적어도 하나의 이미지를 고려하여 사람의 눈과 기준 좌표계 사이의 공간적 관계를 결정하도록, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하도록, 그리고 선택된 제시 모드를 이용하여 디지털 정보의 적어도 하나의 표현을 제시하도록 구성된다.

특히, (시각적) 증강 현실(AR) 제시를 이용함으로써 카메라와 실제 물체 또는 환경 사이의 현재 공간적 관계가 실제 물체 또는 환경과 연관된 디지털 정보를 제시하는 데 적합한지를 자동으로 결정하는 것이 제안되고, 만약 그렇지 않으면, 사용자들에게 그들의 태스크에서 그들을 지원하는 연관된 디지털 정보를 통신하는 데 더 적합한, (가상 현실(VR) 제시 또는 오디오 제시와 같은) 상이한 정보 제시 모드로 전환하는 것이 제안된다. 본 발명은 AR 제시로부터 다른 정보 제시(예컨대, VR 제시 또는 오디오 제시) 모드로 자동으로 전환함으로써 상기 언급된 결점들을 해결하는 것을 돕는다.

본 명세서 전체에 걸쳐, 용어들 "AR 제시", "AR 제시 모드", "AR 모드", "증강 현실 제시", "증강 현실 제시 모드", 및 "증강 현실 모드"가 호환가능하게 사용된다. 추가로, 본 명세서는 용어들 "VR 제시", "VR 제시 모드", "VR 모드", "가상 현실 제시", "가상 현실 제시 모드", 및 "가상 현실 모드"를 호환가능하게 이용한다. 또한, 용어들 "오디오 제시", "오디오 제시 모드", 및 "오디오 모드"는 본 명세서 전체에 걸쳐 호환가능하게 이용된다.

본 발명이 해결하고자 하는 과제는 핸드헬드 디바이스를 내려 놓거나 그것을 집어넣을 때 중단된 사용자 경험의 갭을 제거하는 것이다. 이것은 예를 들어 디바이스 배향(의 변화)에 기초하여 검출될 수 있다. 이에 따라, 특히 카메라 또는 눈 각각과 실제 물체 사이의 공간적 관계의 적어도 일부에 따라 정보 제시의 모드를 변경함으로써, 연속적인 사용자 경험을 위한 시스템 및 방법이 제안된다. 일반적인 접근법들에 비해 이점은 사용자와의 논리적 접속을 계속해서 유지할 수 있고 주어진 컨텍스트에 대해, 즉, 카메라 또는 눈과 물체 사이의 공간적 관계에 대해 가장 적합한 방식으로 실제 물체와 관련된 디지털 정보를 제시할 수 있다는 것이다.

현재, AR 애플리케이션들(예컨대, AR 브라우저) 및/또는 AR 또는 컴퓨터 비전 소프트웨어 개발 키트들에서, 물체들 또는 환경들이 추적되는지 여부에 대한 상태들이 제공되고, 애플리케이션 개발자는, 예컨대, 원하는 물체 또는 환경이 추적되는 상태에 도달하는 방식을 알려주는 시각적 명령어들을 사용자에게 제공함으로써, 예컨대, "증강 현실 경험을 시작하기 위해 카메라를 잡지 표지쪽으로 향하게 하세요."라고 함으로써, 물체 또는 환경이 추적되지 않는 이벤트에 반응할 수 있다. 본 발명에 따른 AR 애플리케이션 및/또는 AR 또는 컴퓨터 비전 소프트웨어 개발 키트의 향후 버전은, 1) 디지털 정보가 물체의 라이브 비디오 이미지 또는 라이브 뷰(live view)의 상부에 공간적으로 정합되고 렌더링되어 제시될 수 있는 것(AR 모드), 또는 2) 디지털 정보가 스크린 상에 시각적으로 제시될 수 있지만 어떠한 라이브 정합도 없는 것(VR 모드), 또는 3) 디지털 정보가 스크린 상에 시각적으로 제시될 수 없지만, 예컨대 스피커들 또는 헤드폰들에 의해 음향적으로 제시될 수 있는 것(오디오 모드)을 알려주는 상태들을 제공할 수 있다.

애플리케이션 개발자가 이러한 경우들을 수동으로 처리할 수 있거나, 또는 SDK(소프트웨어 개발 키트)는, 예컨대, AR 모드용 3D 모델들, VR 모드용 3D 모델들 또는 2D 이미지들, AR 또는 VR 모드와 조합하여 스크린 상에 인쇄될 수 있는 텍스트 명령어들, 또는 텍스트 음성 변환(text-to-speech) 합성 소프트웨어를 사용하여 오디오 모드에서 사용자에게 판독될 수 있는 텍스트 명령어들을 비롯하여, 상이한 표현들을 포함하는 디지털 정보의 설명을 이해할 수 있다. 디바이스로부터 사용자에게로의 다양한 정보 제시 모드들은 동일할 수 있거나(그들이 동일한 정보를 전달한다는 의미) 또는 그들은 상세사항의 풍부함 측면에서 상이할 수 있다. 상세사항이 적은 모드들은, 유익한 경우, 보다 풍부한 상세사항을 갖는 모드로 전환하도록 사용자에게 권장할 수 있다.

상기 언급된 종래 기술과는 달리, 본 발명에 따른 접근법은 디지털 정보가 관련된 실제 물체와 카메라 사이의 현재 공간적 관계에 기초하여 디지털 정보 제시의 적합한 모드를 결정한다. 본 발명의 방법은, 예컨대, 주어진 사용자 태스크의 수행 동안, 중단되지 않는 사용자 경험을 전달하기 위해 (즉, (비디오 시스루) AR 모드, VR 모드 및 오디오 모드 사이에서 전환하기 위해) 관찰의 컨텍스트에 관해서 사용자가 물체에 관한 디지털 정보를 소비(또는 인지)하는 방식의 변화를 수행할 수 있다. 사용자 태스크들의 예들은 제품의 유지관리를 수행하는 것, 및 특정 목적지로 내비게이션하는 것을 포함한다.

본 발명은 가장 적합한 정보 제시 모드에서 (사용자에게) 실제 물체와 관련된 디지털 정보를 제시한다는 이점을 제공한다. 구체적으로, 이것은 특히 풍부한 정보를 제공하지만 소정의 상황에서만, 즉 카메라와 실제 물체 사이의 소정의 공간적 관계들의 경우에만 적합한 증강 현실 정보 제시 모드를 포함한다. 종래 기술에 비해 본 발명의 이점은, 상황, 즉 카메라와 실제 물체 사이의 공간적 관계가 AR에 적합하지 않더라도 실제 물체와 관련된 디지털 정보를 사용자가 여전히 제공받는다는 것이고, 반면에 종래 기술은 이 경우에 실제 물체와 관련된 디지털 정보의 제시를 중단한다.

AR 사용자 인터페이스들을 위한 적응형 컨텍스트 전환은 유지관리 및 보행자 내비게이션 태스크들에 대해 널리 탐구되어 있지 않다. 도시 순환 내비게이션이 또한 본 발명으로부터 이익을 얻을 수 있다. 본 발명자들은 추적 시스템(즉, 적어도 카메라 센서를 사용하는 것)과, 디지털 정보가 관련된 관찰된 실제 물체 사이의 공간적 관계를 탐구하였다. 실제 물체의 디지털 정보는 주어진 관찰 컨텍스트에서 사용자에게 적합한 방식으로: 즉, 비디오 피드(video feed)에서 중첩된 디스플레이를 통하여 시각적으로(예컨대, 서술적 텍스트, 이미지, 3D 모델, 2D 맵 등의 형태로), 임의의 라이브 카메라 피드 없이 시각적으로, 또는 스피커폰 또는 헤드폰을 통하여 음향적으로 전달된다.

예를 들어, 본 발명에 따른 프로세싱 시스템은 모바일 디바이스(예컨대, 모바일 전화, 웨어러블 컴퓨터, 태블릿 컴퓨터, 또는 종종 랩톱으로 불리는 모바일 컴퓨터) 및/또는 모바일 디바이스와 통신하도록 구성된 서버 컴퓨터 내에 적어도 부분적으로 포함된다. 프로세싱 시스템은 이러한 디바이스들 중 하나의 디바이스 내에만, 예컨대, 모바일 디바이스 내에 또는 서버 컴퓨터 내에 포함될 수 있거나, 또는 예컨대, 지점 대 지점 간 통신(point to point communication)에 의해 또는 네트워크를 통해, 서로 통신하고 있고 분산되어 있는 하나 이상의 프로세싱 디바이스들에 의해 하나 이상의 프로세싱 태스크들이 프로세싱되고 분산되는 분산형 시스템일 수 있다.

실시예에 따르면, 시스템은 카메라 및 디스플레이 디바이스를 포함하는 모바일 디바이스를 포함한다.

본 방법에 대해 본 명세서에서 기술된 실시예들, 태양들 및 예들은 각각의 단계들을 수행하도록 (소프트웨어 및/또는 하드웨어에 의해) 구성되는 프로세싱 시스템에 의해 동일하게 구현될 수 있다. 임의의 사용된 프로세싱 디바이스는 통신 네트워크를 통해, 예컨대, 서버 컴퓨터 또는 지점 대 지점 간 통신을 통해, 하나 이상의 카메라들, 디스플레이들 및/또는 임의의 다른 컴포넌트들과 통신할 수 있다.

다른 태양에 따르면, 본 발명은 또한 본 발명에 따른 방법을 수행하도록 구성된 소프트웨어 코드 섹션들을 포함하는 컴퓨터 프로그램 제품에 관련된다. 특히, 소프트웨어 코드 섹션들은 비일시적인 컴퓨터 판독가능 매체 상에 포함되어 있다. 소프트웨어 코드 섹션들은 본 명세서에 기술된 바와 같은 하나 이상의 프로세싱 디바이스들(예컨대, 마이크로프로세서들)의 메모리 내에 로딩될 수 있다. 임의의 사용된 프로세싱 디바이스들은 본 명세서에 기술된 바와 같이 통신 네트워크를 통해, 예컨대, 서버 컴퓨터 또는 지점 대 지점 간 통신을 통해 통신할 수 있다.

실시예에 따르면, 복수의 제시 모드들은 오디오 모드를 추가로 포함한다. 특히, 오디오 모드는 디지털 정보의 적어도 하나의 표현에 따라 사운드를 생성한다.

실시예에 따르면, 증강 현실 모드는 카메라 또는 사람의 눈 각각과 실제 물체 사이의 공간적 관계의 적어도 일부에 따라 실제 물체의 라이브 뷰에서 디지털 정보의 적어도 하나의 표현을 디스플레이 디바이스 상에서 시각적으로 블렌딩하고, 가상 현실 모드는 디지털 정보의 적어도 하나의 표현 및 실제 물체의 표현을 디스플레이 디바이스 상에 시각적으로 제시하고, 오디오 모드는 디지털 정보의 적어도 하나의 표현에 따라 사운드를 생성한다.

예를 들어, 실제 물체의 라이브 뷰는 카메라에 의해 적어도 하나의 이미지로서 캡처되고, 디스플레이 디바이스는 스크린을 포함하고, 적어도 하나의 이미지는 스크린 상에 디스플레이된다. 다른 예에 따르면, 실제 물체의 라이브 뷰는 사람의 눈에 의해 캡처되고, 디스플레이 디바이스는 반투명 스크린을 포함한다.

실시예에 따르면, 본 발명은 카메라에 의해 캡처된 실제 물체의 적어도 일부의 적어도 하나의 이미지를, 적어도 하나의 이미지의 픽셀 정보에 따라 그리고/또는 카메라가 적어도 하나의 이미지를 캡처할 때 기준 좌표계에 대한 카메라의 포즈에 따라 그리고/또는 수동 입력에 따라 적어도 하나의 중요한 이미지(key image)로서 결정하는 단계를 포함한다.

예를 들어, 실제 물체의 표현은 적어도 하나의 중요한 이미지를 포함한다.

실시예에 따르면, 본 발명은 카메라가 실제 물체의 적어도 일부의 적어도 하나의 이미지를 캡처할 때 기준 좌표계에 대한 카메라의 적어도 하나의 포즈를, 적어도 하나의 이미지의 픽셀 정보에 따라 그리고/또는 적어도 하나의 임계치에 따라 그리고/또는 수동 입력에 따라 적어도 하나의 중요한 포즈(key pose)로서 결정하는 단계를 포함한다.

예를 들어, 실제 물체의 표현은 적어도 하나의 중요한 포즈에 따라 제시된다.

실시예에 따르면, 실제 물체는 카메라에 의해 캡처된 실제 물체의 적어도 일부의 적어도 하나의 이미지에 따라 결정된다.

다른 실시예에 따르면, 실제 물체는 적어도 하나의 수동 입력에 따라 결정된다.

실시예에 따르면, 디지털 정보의 적어도 하나의 표현은 3차원 물체, 삼각 메시, 포인트 클라우드(point cloud), 볼륨 데이터세트, 베지어 곡선(Bezier curve), 스플라인(spline), 표면 성상, 이미지, 사운드, 텍스트, 비디오, 및 애니메이션 중 적어도 하나를 포함한다.

실시예에 따르면, 기준 좌표계는 실제 물체와 연관된다.

다른 실시예에 따르면, 기준 좌표계는 지구 또는 추적 시스템과 연관된다.

예를 들어, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계는 실제 물체의 적어도 일부가 카메라의 시야 내에 있는지를 판정하는 단계, 만약 그렇다면, 증강 현실 모드를 제시 모드로서 선택하는 단계, 그렇지 않으면, 가상 현실 모드 및 오디오 모드 중 적어도 하나를 제시 모드로서 선택하는 단계를 포함한다.

다른 실시예에 따르면, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계는 공간적 관계가 카메라와 실제 물체 사이의 거리가 임계치 미만인 것을 나타내는지를 판정하는 단계, 만약 그렇다면, 증강 현실 모드를 제시 모드로서 선택하는 단계, 그렇지 않으면, 가상 현실 모드 및 오디오 모드 중 적어도 하나를 제시 모드로서 선택하는 단계를 포함한다.

예를 들어, 가상 현실 모드 및 오디오 모드 중 적어도 하나를 제시 모드로서 선택하는 단계는 중력 방향에 대한 카메라의 배향을 결정하는 단계, 및 카메라의 배향에 따라 가상 현실 모드 및 오디오 모드 중 하나를 제시 모드로서 선택하는 단계를 추가로 포함한다.

실시예에 따르면, 가상 현실 모드 및 오디오 모드 중 적어도 하나를 제시 모드로서 선택하는 단계는 하나 이상의 눈의 시선이 디스플레이 디바이스 상에 위치되는지를 판정하는 단계 - 디지털 정보의 적어도 하나의 표현은 증강 현실 모드 또는 가상 현실 모드를 이용하여 디스플레이 디바이스 상에 제시됨 -, 만약 그렇다면, 가상 현실 모드를 제시 모드로서 선택하는 단계, 그렇지 않으면, 오디오 모드를 제시 모드로서 선택하는 단계를 추가로 포함한다.

실시예에 따르면, 카메라와 기준 좌표계 사이의 공간적 관계는 GPS, 나침반, 및/또는 카메라에 부착된 관성 센서에 따라 또는 추적 시스템에 따라 추가로 결정된다.

실시예에 따르면, 카메라와 기준 좌표계 사이의 공간적 관계는 제1 공간적 관계이고, 기준 좌표계는 제1 기준 좌표계이고, 방법은 디스플레이 디바이스와 제2 기준 좌표계 사이의 제2 공간적 관계를 결정하는 단계를 추가로 포함하고, 디지털 정보의 적어도 하나의 표현은 증강 현실 모드 또는 가상 현실 모드를 이용하여 디스플레이 디바이스 상에 제시된다.

예를 들어, 제2 기준 좌표계는 사람의 눈과 연관되고, 제2 공간적 관계는 디스플레이 디바이스에 부착된 카메라에 의해 캡처된 눈의 적어도 하나의 이미지에 따라 결정된다.

다른 실시예에 따르면, 제2 기준 좌표계는 실제 물체와 연관되고, 제2 공간적 관계는 디스플레이 디바이스에 부착된 카메라에 의해 캡처된 실제 물체의 적어도 일부의 적어도 하나의 이미지에 따라 결정된다.

다른 실시예에 따르면, 제2 기준 좌표계는 지구 또는 추적 시스템과 연관되고, 제2 공간적 관계는 추적 시스템 또는 디스플레이 디바이스에 부착된 관성 센서에 따라 결정된다.

실시예에 따르면, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계는 제1 공간적 관계 및 제2 공간적 관계에 따라 제시 모드를 선택하는 단계를 포함한다.

실시예에 따르면, 본 발명은 복수의 제시 모드들 중 하나의 제시 모드가 복수의 제시 모드들 중 다른 하나의 제시 모드보다 디지털 정보의 보다 풍부한 표현을 사용자에게 제공한다는 것을 사용자에게 통지하는 단계, 및 복수의 제시 모드들 중 하나의 제시 모드가 디지털 정보를 보다 풍부한 방식으로 제시하는 데 적합하도록 카메라 또는 눈 각각과 기준 좌표계 사이의 공간적 관계를 변경하기 위해 이동 또는 위치 또는 배향에 관한 명령어를 제공하는 단계를 추가로 포함한다.

예를 들어, 공간적 관계에 따라 복수의 제시 모드들로부터 제시 모드를 선택하는 단계는 제1 공간적 관계 및 제2 공간적 관계에 따라 제시 모드를 선택하는 단계를 포함한다.

예를 들어, 제1 공간적 관계는 시각적 추적에 기초하여 결정되고 카메라와 실제 물체 사이의 관계를 기술한다. 제2 공간적 관계는 예를 들어 관성 센서들로 측정될 수 있고 디스플레이(디바이스)와 지구 사이의 관계를 나타낸다. 제1 공간적 관계는, 증강 현실 제시 모드에 대한 전제 조건일 수 있는, 실제 물체가 카메라 이미지에서 보이는지 여부를 판정하는 데 사용될 수 있다. 이 경우에 제2 공간적 관계는, 디스플레이가 하방에 대면하고 그에 따라 사용자에 의해 관찰될 수 없는지 여부, 또는 그것이 하방에 대면하지 않는지를 나타낼 수 있다. 가상 현실 제시 모드의 적합성은, 예를 들어 디스플레이가 사용자에 의해 관찰가능할 수 있을 것을 요구할 수 있다. 디스플레이(디바이스)와 카메라가 반드시 단단한 방식으로 접속되어 있는 것은 아니라는 것에 유의한다. 따라서, 제1 공간적 관계 및 제2 공간적 관계 둘 모두가, 예컨대 실제 물체와 연관된 동일한 좌표계를 나타낼 수 있지만, 카메라와 디스플레이 디바이스가 관련없이 움직이는 경우에는 여전히 완전히 관련이 없을 수 있다.

예를 들어, 풍부함의 수준은 증강 현실 모드가 가장 풍부한 정보를 갖는 제시 모드인 것으로 수동으로 정의되거나, 또는 풍부함의 수준은 특정 사용 경우 및 각각의 디지털 정보에 대해 독립적으로 정의된다.

실시예에 따르면, 방법은 하기 단계들을 포함한다: 1) 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부를 결정하는 단계, 2) 공간적 관계의 적어도 일부로부터 어떤 정보 제시 모드가 실제 물체와 관련된 디지털 정보를 제공하는 데 적합한지를 판정하는 단계, 및 3) 실제 물체와 관련된 디지털 정보를 결정된 정보 제시 모드에 의해 제시하는 단계. 선택적으로, 2)와 3) 사이에서, 실제 물체와 관련된 디지털 정보의 데이터 표현들의 가용성을 확인하고, 이러한 정보 및 2)의 결과, 즉, 어떤 제시 모드가 적합한지에 기초하여, 3)에서 사용할 모드를 결정하는 추가 단계가 수행될 수 있다.

본 발명의 태양들 및 실시예들이 이제 도면들과 관련하여 기술될 것이다.
도 1은 본 발명의 실시예에 따른 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 예시적인 시나리오들을 도시한다.
도 3은 본 발명의 실시예에 따른 다른 예시적인 시나리오를 도시한다.
도 4는 본 발명의 실시예에 따른 아키텍처의 기본 계층들을 도시한다.
도 5는 본 발명의 실시예에서 디지털 정보의 하부 데이터 표현 계층의 예를 도시한다.
도 6은 적절한 정보 제시 모드의 선택을 위한 실시예에 따른 작업 흐름도를 도시한다.
도 7은 본 발명의 실시예가 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부에 기초하여 증강 현실 제시 모드가 적합한지를 판정할 수 있는 방식의 흐름도를 도시한다.
도 8은 본 발명의 실시예가 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부에 기초하여 가상 현실 제시 모드가 적합한지를 판정할 수 있는 방식의 흐름도를 도시한다.
도 9는 본 발명에 따른 실시예가 카메라가 집어넣어져 있는지 여부를 판정할 수 있는 방식의 흐름도를 도시한다.
도 10은 사람의 눈에 의해 광학 시스루 디스플레이를 통하여 실제 물체가 관찰되는 2개의 시나리오들을 개략적으로 도시하는데, 이 시나리오들에서 디스플레이를 통한 눈의 시야는 각각 실제 물체를 포함하고 포함하지 않는다.

도 1은 본 발명의 실시예에 따른 흐름도를 도시한다. 제1 단계(101)에서, 카메라와 실제 물체(예컨대, 실제 물체와 연관된 기준 좌표계) 사이의 공간적 관계의 적어도 일부가 결정된다. 이어서, 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부는, 어떤 정보 제시 모드가 실제 물체와 관련된 디지털 정보를 제공하는 데 적합한지를 판정하기 위해 단계(102)에서 이용된다. 단계(103)는 실제 물체와 관련된 디지털 정보를 적합한 제시 모드에 의해 제시한다. 본 명세서에서 하기에 설명되는 본 발명의 예시적인 실시예들이 도 2 및 도 3에 도시된다.

디지털 정보는 저작 프로세스에 의해 실제 물체와 연관되거나 그와 관련될 수 있다. 예를 들어, 사용자는 디지털 정보를 실제 물체와 관련시키기 위해 컴퓨터를 사용하여 디지털 정보를 실제 물체의 이미지에 할당할 수 있다. 다른 예에서, 실제 물체는 CAD 모델 또는 이미지 특징부들(예컨대, SIFT 서술자들)의 세트에 의해 나타내질 수 있다. 디지털 정보는 CAD 모델 또는 이미지 특징부들의 세트에 링크될 수 있다. 도 1의 단계(101)는 이용가능한 정보 및 센서들에 따라 그리고 사용 경우에 따라 상이한 방식으로 구현될 수 있다.

카메라와 실제 물체 사이의 공간적 관계가 물리적 거리들 또는 각도들을 포함할 수 있다. 공간적 관계는 이진 정보를 포함할 수 있다. 예를 들어, 공간적 관계는 실제 물체가 카메라의 전방에, 즉, 카메라의 이미지 평면의 전방에 위치되는 것일 수 있다. 공간적 관계는 또한, 피라미드로서 파라미터화될 수 있는, 실제 물체의 적어도 일부가 카메라의 절두체(frustum) 내에 위치되는 것일 수 있다. 유사하게, 공간적 관계는 실제 물체의 적어도 일부가, 구체, 사면체, 정육면체, 팔면체, 피라미드, 원뿔, 원주(cylinder) 또는 임의의 다른 3차원 형상을 포함하는, 카메라의 좌표계에서의 임의의 기하학적 형상, 공간, 또는 반공간 내에 위치되는지 여부에 관한 이진 정보를 나타낼 수 있다. 모든 이러한 예들이, 공간적 관계의 적어도 일부인, 카메라와 실제 물체 사이의 병진(translation)을 나타낸다. 공간적 관계를 정의하기 위한 방식의 다른 예들은, 카메라와 실제 물체 사이의 (1D) 거리(예컨대, 깊이)를 제공하는 것, 또는 예를 들어 밀리미터 또는 미터와 같은 물리적 단위로 주어지는 카메라와 실제 물체 사이의 유클리드 공간(Euclidean space)에서의 3차원 병진을 나타내는 3개의 좌표들 중 적어도 하나를 제공하는 것을 포함한다. 예를 들어, 공간적 관계는 카메라의 높이에 대한 실제 물체의 높이를 기술할 수 있다. 공간적 관계는 또한 배향을 나타낼 수 있다. 예를 들어, 그것은 카메라의 좌표계에서 실제 물체의 배향의 1, 2, 또는 3 자유도를 기술할 수 있다. 그것은 또한, 실제 물체의 좌표계에서 카메라의 배향의 1, 2, 또는 3 자유도를 기술할 수 있다. 예를 들어, 실제 물체가 환경(예컨대, 도시, 빌딩, 공장, 또는 땅)인 경우, 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부는 중력에 대한 카메라의 배향을 포함할 수 있는데, 이는 2 자유도에 관한 정보를 포함하고 관성 센서들로 측정될 수 있다. 추가로, 카메라에 부착된 GPS 센서가 또한, 공간적 관계인, 환경에 대한 카메라의 위치를 결정하는 데 사용될 수 있다. 공간적 관계가 상기 논의된 것 중 아무것 및 그의 임의의 조합을 나타낼 수 있다. 유사하게, 공간적 관계의 적어도 일부가 또한 상기 논의된 것의 임의의 조합을 나타낼 수 있다.

실시예에서, 카메라와 실제 물체 사이의 공간적 관계는 모델 기반 시각적 추적을 이용한 실제 물체의 모델 및 카메라 이미지에 기초하여 결정된다. 이것은, 예를 들어, 카메라 이미지로부터의 포인트 특징부(point feature)들, 특징부 서술자(feature descriptor)들, 특징부 분류기들, 또는 라인 특징부들 및 그의 모델과의 대응물들을 이용하여 구현될 수 있다.

공간적 관계는, 실제 물체가 카메라의 뷰 절두체 내에 적어도 부분적으로 있는지 여부를 판정하는, 다른 실시예에서의 이미지 기반 물체 인식 방법에 기초하여 결정될 수 있다.

다른 실시예에서, 카메라와 실제 물체 사이의 공간적 관계는 깊이 감지 카메라에 의해 제공되는 바와 같은 범위 데이터에 기초하여 결정된다. 실제 물체의 모델이 존재하는 경우, 공간적 관계는 3D 회전과 3D 병진을 조합한 6DoF(DoF: 자유도) 강체 변환(rigid body transformation)으로서 표현될 수 있다.

다른 실시예는 카메라와 실제 물체 사이의 (1D) 거리를 결정한다. 다른 실시예는 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부를 결정하기 위한 임의의 카메라 이미지에 좌우되지 않고, 대신에, 카메라에 부착된 보조 센서들, 예컨대 관성 센서, (3-축) 가속도계, (3-축) 자이로스코프, 전자 나침반, GPS 수신기, 또는 임의의 다른 포지셔닝 시스템, 예를 들어 블루투스에 기초한 포지셔닝 시스템에 의해 제공된 정보를 이용한다. 이러한 경우에, 카메라와 실제 물체 사이의 부분적인 공간적 관계는 병진(의 일부)만, 또는 회전(의 일부)만, 또는 이들 둘의 조합을 포함할 수 있다.

공간적 관계는 회전의 적어도 일부, 병진의 적어도 일부를 포함할 수 있고, 그것은 공간적 관계의 자유도 또는 개별 부분들의 확실성에 관한 정보를 추가로 포함할 수 있다. 특히, 공간적 관계는 적어도 하나 또는 모든 자유도가 어림짐작보다 더 큰 확실성을 가지고 결정될 수 없다는 정보를 포함할 수 있다. 이것은 예를 들어, 시각적 추적이 카메라 이미지에서 물체의 위치를 인식하지 못하기 때문일 수 있다.

카메라와 실제 물체 사이의 공간적 관계의 적어도 일부에 기초하여 적합한 정보 제시 모드가 결정되는 단계(102)는 또한, 디지털 정보가 어떤 표현들로 이용가능한지에 좌우될 수 있고, 그것은 추가적인 센서들의 판독값들뿐만 아니라 사용 경우에 추가로 좌우될 수 있다.

정보 제시 모드들은 상이한 우선순위들을 가질 수 있고, 단계(102)의 실시예는 적어도 부분적으로 알려진 공간적 관계에 따라 적합한 모드들 중에서 최고 우선순위를 갖는 모드를 결정한다.

실시예에서, 단계(102)는 카메라와 실제 물체 사이의 강체 변환의 모든 6 자유도가, 수동으로 정의된 특정 임계치, 예컨대, 확실성 값 0.25 또는 단위 값 0.1 미터 또는 1도보다 높은 확실성 또는 확률로 제공되는 경우에 적합한 증강 현실 제시를 고려한다. 확실성 값의 경우, 일례에서, 그것은 사무실 내부에 있는 것이 100% 확실하다는 것을 지정할 수 있다. 이 경우에 확실성은 1.0이다.

실시예에서, 단계(102)는 실제 물체에 대한 카메라의 배향이 정의된 배향 범위 내에 있는 경우에 적합한 가상 현실 제시를 고려한다. 이러한 정의된 배향 범위는 카메라에 단단히 접속된 디스플레이가 사용자에 의해 관찰될 수 있는 배향들을 나타낼 수 있다. 이것은 도 2a, 도 2b, 도 3a, 및 도 3b의 맥락에서 더 상세하게 설명된다.

단계(102) 및 그의 하위 단계들의 실시예들은 도 6 내지 도 9에서 논의된다.

도 2a는 본 발명의 실시예를 도시한다. 집(201) 및 길(207)을 포함하는 실제 환경(206) 내에, 후방-대면 카메라 및 디스플레이(203)를 갖는 컴퓨터(예컨대, 스마트폰 또는 태블릿 컴퓨터와 같은 모바일 디바이스)를 들고 있는 사용자(202)가 있다. 사용자는 후방-대면 카메라가, 이 예에서는 실제 물체(즉, 실제 환경(206))의 일부인, 집(201)의 적어도 일부를 캡처하도록 컴퓨터를 들고 있다. 실제 물체와 관련된 디지털 정보는 사용자가 목적지에 도달하기 위해 집 앞에서 우회전해야 한다는 것이다. 예를 들어, 하나의 컴퓨터 구현예에서, 내비게이션 정보(예컨대, 목적지에 대한 경로)가 실제 환경과 연관되어 있다. 내비게이션 정보는 컴퓨터에 저장 또는 미리 저장될 수 있거나 또는 주어진 목적지를 갖는 컴퓨터 프로그램에 의해 생성될 수 있다.

실제 물체(206)(즉, 실제 환경) 또는 실제 물체의 일부(즉, 집(201))는 먼저 이미지 인식 알고리즘을 사용하여 카메라(예컨대, 후방-대면 카메라)에 의해 캡처된 집의 적어도 일부의 이미지에 따라 자동으로 결정될 수 있다. 카메라의 위치가, 실제 물체(즉, 실제 환경)를 결정할 수 있는 GPS 센서로부터 획득될 수 있다. 실제 물체는 또한 수동으로, 예컨대 사용자에 의해 제공될 수 있다.

디지털 정보의 다수의 엔티티들이 실제 물체와 연관될 때, 디지털 정보의 다수의 엔티티들 중 적어도 하나가 수동 또는 자동으로 선택되어 사용자에게 제시된다.

본 예에서, 후방-대면 카메라와 집, 즉, 실제 환경(즉, 실제 물체)의 일부 사이의 공간적 관계의 적어도 일부를 결정하기 위해 컴퓨터 상에서 카메라 위치인식(localization) 방법이 수행된다. 카메라 위치인식 방법은 후방-대면 카메라의 이미지들로부터의 정보를 이용할 수 있지만, 그것은 또한 어떠한 카메라도 없이, 예컨대, GPS, 관성 센서들 및/또는 전자 나침반에 기초하여 기능할 수 있다. 공간적 관계의 결정된 적어도 일부에 기초하여, 본 발명의 실시예는 비디오 시스루 증강 현실이 정보 제시의 적합한 형태인 것을 결정한다. 따라서, 후방-대면 카메라에 의해 캡처된 환경의 라이브 이미지(204)뿐만 아니라, 이 예에서 실제 물체와 관련된 디지털 정보의 표현인, 공간적으로 정합된 3D 명령어 요소(205)가 디스플레이 상에 보여진다. 공간적 정합은 집, 및 그에 따라 환경, 즉 실제 물체에 대한 후방-대면 카메라의 공간적 관계의 결정된 적어도 일부에 기초하여 달성된다. 이 경우에 화살표(즉, "우회전"의 표현)인 3D 명령어 요소(205)는 집 앞에서 우회전하도록 사용자에게 알려줌으로써 사용자가 소정의 타깃 목적지로 내비게이션하는 것을 지원한다.

도 2b에 따른 상이한 상황에서, 집(211) 및 길을 포함하는 실제 환경 내에 동일한 사용자(212)가 있다. 사용자는 목에 걸려 있는 후방-대면 카메라 및 디스플레이(213)를 갖는 컴퓨터를 갖고 있다. 이 경우에, 후방-대면 카메라는, 이 예에서 실제 물체의 일부인 집(211)의 어떠한 부분도 캡처하지 못한다. 집에 대한 후방-대면 카메라의 공간적 관계의 적어도 일부를 결정하기 위해 컴퓨터 상에서 카메라 위치인식 방법이 수행된다. 카메라 위치인식 방법은 후방-대면 카메라의 이미지들로부터의 정보를 이용할 수 있지만, 그것은 또한 어떠한 카메라도 없이, 예컨대, GPS 및 관성 센서들에 기초하여 기능할 수 있다. 결정된 부분적인 공간적 관계는 본 발명의 실시예에 의해 프로세싱되어, 적합한 정보 제시 모드를 결정한다. 이 경우에 디지털 정보는 다시 사용자가 집 앞에서 우회전해야 한다는 정보이다. 카메라 이미지가 집의 어떠한 부분도 캡처하지 못하기 때문에, 후방-대면 카메라에 의해 캡처된 환경의 라이브 이미지를 집 가까이에 위치된 공간적으로 정합된 3D 명령어 요소와 함께 디스플레이함으로써 3D 명령어가 보이지 않게 할 것이다. 따라서, (비디오 시스루) 증강 현실은 이 경우에 적합한 정보 제시 모드가 아니다. 게다가, 컴퓨터가 사용자의 목에 걸려 있기 때문에, 사용자는 디스플레이를 관찰할 수 없다. 따라서, 어떠한 시각적 정보 제시 모드도 적합하지 않다. 이것은 예를 들어 도 6에 따라 결정될 수 있다.

다른 실시예에서, 디스플레이와 기준 좌표계 사이의 공간적 관계가 또한 적합한 제시 모드를 결정하기 위한 추가 조건으로서 결정될 수 있다. 이 예에서, 디스플레이와 사용자의 눈 사이의 공간적 관계는 사용자가 디스플레이를 관찰하는지를 나타낸다. 이를 위하여, 디스플레이에 부착된 전방-대면 카메라가 전방-대면 카메라에 의해 캡처된 이미지들에 기초하여 사람의 눈을 검출하기 위해 사용될 수 있다. 전방-대면 카메라의 이미지에서 어떠한 눈도 검출되지 않는 경우, 사용자의 눈은 디스플레이의 전방에 있지 않은 것으로 결정될 수 있고, 이에 따라 사용자는 디스플레이를 관찰할 수 없다.

그러한 상황에서, 본 발명은 명령어 요소(205)에 의해 제시되는 정보에 대응하는 정보를, 본 경우에 오디오 모드인, 상이한 더 적합한 정보 제시 모드에서 제시한다. 헤드폰(214)을 사용하여, 본 발명은 우회전하도록 사용자에게 알려주는 오디오 신호(215)를 사용자에게 제시한다. 이것은 예를 들어 텍스트 음성 변환 소프트웨어를 사용하여 구현될 수 있다.

도 3a는 본 발명의 다른 실시예를 도시한다. 테이블(302) 상에 위치된 실제 물체(301)가 디스플레이(303)를 갖는 컴퓨터(307)의 후방-대면 카메라(306)에 의해 캡처된다. 컴퓨터(307)는 하나 이상의 프로세싱 디바이스들, 예컨대 하나 이상의 마이크로프로세서들을 포함한다. 카메라(306)에 의해 캡처된 이미지는 실제 물체(301)와 컴퓨터(307)의 후방-대면 카메라(306) 사이의 공간적 관계의 적어도 일부를 결정하기 위해 프로세싱된다. 본 발명의 실시예는, 실제 물체가 카메라의 시야(field of view, FOV) 내에 부분적으로 있음, 즉, 카메라 이미지에서 부분적으로 보임을 나타내는 공간적 관계를 고려해 볼 때, 증강 현실 제시 모드가 적합하다고 결정한다.

그 결과, 컴퓨터(307)의 디스플레이(303) 상에, 실제 물체(301)의 적어도 일부를 나타내는 후방-대면 카메라(306)로 캡처된 이미지(304)가 나타나 있다. 실제 물체와 관련된 디지털 정보가 추가로 보이는데, 디지털 정보는 실제 물체(301)와의 공간적 관계(즉, 알려진 포즈)를 갖는 가상 물체(305)이고 카메라 이미지 상에 오버레이되어 보인다. 본 예에서, 실제 물체(301)는 머그잔이고, 가상 물체(305)는 머그잔에 대한 뚜껑이다. 가상 물체는 실제 물체(301)와 컴퓨터(307)의 후방-대면 카메라(306) 사이의 공간적 관계의 결정된 적어도 일부에 기초하여 실제 물체의 이미지와 공간적으로 정합되어 디스플레이된다. 이 예에서, 실제 물체(301)와 후방-대면 카메라(306) 사이의 공간적 관계는 3D 병진 및 3D 회전을 포함하는 6DoF 강체 변환이다. 디지털 정보(즉, 가상 뚜껑(305))의 표현은 이 경우에 예를 들어, 색상, 법선 또는 텍스처 좌표들과 같은 그들의 정점(vertex)들에 할당된 속성들을 잠재적으로 갖는 삼각형들로 구성된 3차원 물체일 수 있다.

도 3b에 도시된 바와 같이, 상이한 상황에서, 본 발명의 다른 실시예가 디스플레이(313) 및 후방-대면 카메라(320)를 갖는 컴퓨터(318)에서 실행되는데, 컴퓨터는 실제 물체(311) 옆에 있는 실제 테이블(312)에 가로놓여 있다. 실제 물체는 후방-대면 카메라의 카메라 이미지에서 캡처되지 않는데, 이는 실제 물체가 카메라의 FOV 내의 위치에 있지 않기 때문이다. 실제 물체와 카메라 사이의 이러한 특정 공간적 관계(즉, 실제 물체가 카메라의 FOV 밖에 있음)는 실제 물체가 카메라 이미지 내에 부분적으로 있는지를 검출하기 위해 이미지 인식 방법에 따라 결정될 수 있다. 따라서, 머그잔인 실제 물체 상에 놓일 수 있는 뚜껑에 대한 설명은, 증강 현실 제시 모드에서 행해지는 바와 같이, 그것을 실제 물체의 적어도 일부를 보여주는 라이브 카메라 이미지와 공간적으로 정합되게 렌더링함으로써 수행될 수는 없다.

본 발명의 일 실시예는 중력 방향에 대한 카메라의 배향 및 실제 물체의 배향에 따라 적합한 제시 모드 및 이러한 특정 공간적 관계를 결정한다. 시각적 물체 검출이 카메라 이미지에 기초하여 카메라에 대한 실제 물체의 위치 및 배향을 결정할 수 없기 때문에, 실제 물체가 중력에 대한 알려진 배향을 갖는다는 것을 고려해 볼 때, 이 경우에 실제 물체에 대한 카메라의 배향만이 알려진다. 이것은 예를 들어 관성 센서들의 판독값들에 기초하여 결정될 수 있다. 추가로, 중력 방향에 대한 실제 물체의 배향은 수동으로 제공되거나 또는 자동으로 결정될 수 있다. 예를 들어, 실제 물체가 앞의 카메라 이미지에서 보이는 경우, 카메라 방향에 대한 실제 물체의 배향은 실제 물체의 카메라 이미지들로부터 결정될 수 있다. 중력 방향에 대한 카메라 배향은 지면 평면을 캡처하는 카메라의 이미지 또는 중력 센서로부터 획득될 수 있다. 따라서, 중력 방향에 대한 실제 물체의 배향은 자동으로 결정될 수 있다.

다른 실시예에서, 카메라와 실제 물체 사이의 공간적 관계는 또한 추적 시스템을 사용함으로써 결정될 수 있다. 예를 들어, 고정된 위치들에(예컨대, 실내 환경에서의 천장 상에) 부착된 여러 광학 카메라들을 포함하는 광학 추적이 광학 추적 시스템의 좌표계에서의 카메라 및 실제 물체의 위치들 및 배향들을 결정하는 데 이용될 수 있다.

실제 물체와 카메라 사이의 공간적 관계의 모든 자유도가 주어진 임계치보다 큰 신뢰도로 알려져 있지는 않기 때문에, 본 발명의 실시예는 증강 현실 제시 모드가 도 3b에서 적합하지 않다고 결정한다. 그러나, 가상 현실 제시 모드가 이 경우에 적합한데, 이는 실제 물체에 대한 카메라의 배향이 디스플레이가 상방에 대면하고 있고 그 결과로서 사용자에게 보여질 수 있다는 것을 나타내기 때문이다.

본 발명의 다른 실시예는 실제 물체가 카메라 이미지 내에 부분적으로 있는지 여부를 검출하기 위해 이미지 인식 또는 추적 방법에 따라 이러한 특정 공간적 관계를 결정한다.

이 예에서, 본 발명은, 라이브 이미지가 아니라 앞서 캡처된 실제 물체의 이미지(314)를 보여준다. 이미지는 또한 실제 물체의 3D 모델의 렌더링일 수 있다. 실제 물체의 이러한 이미지와 함께, 가상 물체(315)가 공간적으로 정합되어 디스플레이되어 있는데, 가상 물체는 머그잔용 뚜껑이고 3차원 물체에 의해 표현되는 실제 물체와 관련된 디지털 정보를 나타낸다. 이러한 가시화에 기초하여, 사용자는, 실제 물체의 라이브 이미지 없이도 물리적으로 존재하지 않는 뚜껑과 테이블 상의 실제 머그잔 사이의 공간적 및 의미적 관계를 이해할 수 있다.

이 예에서, 실제 머그잔과 연관된 가상 뚜껑을 제시하기에 적합한 제시 모드를 결정하기 위한 추가 조건으로서 디스플레이와 지구 사이의 공간적 관계가 이용될 수 있다. 실제 머그잔이 카메라의 절두체 내부에 있지 않는 상황에서, 가상 현실 제시 모드는 디스플레이 스크린이 상방에 대면하고 있을 때 가상 뚜껑을 제시하는 데 이용되도록 결정되는 한편, 오디오 제시 모드는 디스플레이 스크린이 하방에 대면하고 있을 때 가상 뚜껑을 제시하도록 결정된다.

디스플레이 및 후방-대면 카메라(319)를 갖는 디바이스(316)의 배향이 증강 현실 또는 가상 현실 모드들에서 디지털 정보를 제시하는 데 적합하지 않을 때의 이벤트에서, 오디오 모드(317)가 정보 제시를 위해 선택될 것이고 데이터 표현의 적절한 포맷이 선택될 것이다. 예컨대, 텍스트 음성 변환 엔진 또는 이용가능한 어느 것이든 오디오 파일들의 미리 정의된 재생을 이용하여, 오디오 포맷의 명령어들이 사용자에게 주어질 것이다.

도 4는 기술된 발명의 실시예에 따른 아키텍처의 기본 계층들의 개요를 설명한다. 애플리케이션 계층(401)은 실행된 사용 경우의 하부 로직을 포함한다. 정보 제시 계층(402)은 디지털 정보(예컨대, "우회전" 또는 "뚜껑을 덮다")에 대한 여러 정보 제시 모드들을 포함한다. 본 발명자들은 하기의 세트를 정의하였다: 1) AR(증강 현실) 모드: 디지털 정보가 실제 물체의 라이브 뷰의 상부에 공간적으로 정합되고 렌더링되어 제시될 수 있는 것, 및 2) VR(가상 현실) 모드: 디지털 정보가 스크린 상에 시각적으로 제시될 수 있지만 라이브 뷰와의 어떠한 라이브 정합도 없는 것, 및 3) 오디오 모드: 디지털 정보가 스크린 상에 시각적으로 제시될 수 없지만 음향적으로 (예컨대, 스피커 또는 헤드폰에 의해) 제시될 수 있는 것. 디지털 정보에 대한 상이한 정보 제시 모드들은 디지털 정보의 상이한 종류의 데이터 표현을 요구할 수 있다. 데이터 표현 계층(403)은 텍스트 정보, 오디오 파일, 2D 정적 이미지, 비디오 클립, 3D 모델을 포함하지만 이들로 제한되지 않는 디지털 정보의 상이한 표현을 포함한다. 디지털 정보의 표현들은 애플리케이션의 설계 시간 동안 다수의 저작 툴들 및 방법들을 통하여 정적으로 지정될 수 있거나, 또는 적절한 콘텐츠 전달 서비스로의 통신 요청을 통하여 동적으로 생성될 수 있다. 본 발명자들은 또한 3D 모델 생성을 위해 이용될 수 있는 다수의 3D 재구성 기법들(즉, 클레이 모델링(clay modeling) 등)을 통하여 동적 정보 획득을 구상한다.

도 5는 본 발명의 실시예에서 디지털 정보의 하부 데이터 표현 계층(403)의 예를 도시한다. 예를 들어, 우회전에 대한 디지털 정보(501)는 상이한 표현들로 저장될 수 있다. 제1 표현(502)에서, 정보는 철자가 "우회전하라!"인 문자열, 즉 문자들의 시퀀스에 의해 표현될 수 있다. 이러한 표현은 예를 들어 디스플레이 상에 인쇄될 수 있거나 또는 그것은 어떤 정보 제시 모드가 적합한지에 따라 텍스트 음성 변환 소프트웨어를 사용하여 음독될 수 있다. 이 예에서 제2 표현(503)은 사람에 의해 말해진 우회전하기 위한 명령어의 기록을 나타내는 디지털 오디오 파일이다. 제3 표현(504)은 우측으로 구부러져 있는 2차원 또는 3차원 화살표이다. 이러한 표현은 예를 들어 AR 모드가 적합한 정보 제시 모드인 경우 라이브 카메라 이미지와 공간적으로 정합되어 보여지도록 하기 위해 이용될 수 있다. 그것은 라이브가 아닌 실제 물체의 이미지와 조합하여 가상 현실 모드에서 추가로 이용될 수 있다.

나사를 풀기 위한 명령어의 디지털 정보(511)는 예를 들어 문자열 "나사를 풀어라"(512)에 의해, 손으로 나사를 푸는 방법을 보여주는 디지털 비디오 시퀀스(513)에 의해, 또는 잠재적으로 애니메이션들을 갖는 나사드라이버(screwdriver)의 디지털 3D 모델(514)에 의해 표현될 수 있다.

상이한 정보 제시 모드들은 디지털 정보의 상이한 표현들을 요구할 수 있다. 상이한 정보 제시 모드들은 카메라와 실제 물체 사이의 공간적 관계를 상이하게 제약할 수 있다. 상이한 정보 제시 모드들은 상세사항의 상이한 풍부함을 가질 수 있다. 본 발명의 실시예는, 사용자에게 제시될 디지털 정보의 이용가능한 표현들에 의존할 뿐만 아니라 카메라와 실제 물체 사이의 현재 공간적 관계와 일치하는, 최고 풍부한 상세사항을 갖는 정보 제시 모드를 자동으로 결정할 수 있다.

예시적인 실시예:

1) 실제 물체에 대한 카메라의 포즈들을 산출, 즉, 실제 물체를 추적한다.

2) 실제 물체를 추적하면서 마지막 유효 포즈들을 저장한다.

3) 추적을 놓친 때에 정보를 전달하기 위한 대안적인 제시 모드를 제공한다.

a. 사용 경우: 유지관리(도 3b 참조). 일단 추적을 놓치면(예컨대, 디바이스가 테이블(312) 상에 배치되면), VR 모드로 전환하고 추적되는 물체(311)의 3D 모델(314)을 불러오고, 추적으로부터의 마지막 유효 포즈들 중 하나를 사용하여 가상 물체를 렌더링한다. 이러한 사용 경우에서 실제 물체는 유지관리되도록 요구되는 머그잔이다. 가상 물체는, 유지관리를 요구하는 실제 물체에 정합되는 뚜껑의 3D 모델(315)이다.

b. 사용 경우: 보행자 내비게이션(도 2b 참조). 일단 추적을 놓치면(예컨대, 사용자가 디바이스를 가방 안에 넣거나, 또는 그것을 어깨(213)에 끈으로 매면), 본 방법은 헤드셋(214)을 통해 오디오 내비게이션 지시 모드(215)를 불러온다(텍스트 음성 변환 엔진이 요구될 수 있음). 예를 들어, 참조문헌[1]에 개시된 바와 같은 디지털 맵들([1]: http://books.google.de/books?hl=en&lr=&id=6Zuj0cWns8EC&oi=fnd&pg=PA3&ots=9vqwof0oL&sig=Px8cBodCFHXO-uCFKYaogWHOApg#v=onepage&q&f=false)이, 사용자가 디바이스(예컨대, 카메라를 지면으로 향하게 함)와 계속 상호 작용하는 경우에 추적을 놓친 때의 대안으로서 사용될 수 있다. 이러한 사용 경우에서 실제 물체는 실제 환경, 예컨대 환경(예컨대, 도시)(211)의 적어도 일부이다. 환경과 연관된 디지털 정보는 집 앞에서 우회전하라는 정보 또는 환경의 맵 또는 그 맵의 일부일 수 있다. 디지털 정보의 표현은 목적지에 도착하기 위해 필요한 보조 정보(215), 예컨대 텍스트 음성 변환 소프트웨어를 사용하여 판독되는 텍스트이다.

4) 3)에서 정보를 제시하는 동안 카메라를 계속 작동시키고 배경에서의 추적을 시도한다.

5) 일단 추적이 다시 초기화되면, 정보 제시의 증강 현실 모드로 전환한다.

본 발명의 일 실시예는 실제 물체의 관찰 시에 이용가능한 추가 디바이스들(예컨대, 스마트 와치, 헤드 마운트 디바이스 등)의 사용을 포함한다. 이러한 웨어러블 디바이스들은 실제 물체에 관한 시청각적 정보를 전달할 수 있을 뿐만 아니라, 온보드(on-board) 카메라 센서를 활용하여, 실제 물체에 관한 디지털 정보와 상호작용하기 위해 기술된 시스템의 주요 참여자가 될 수 있다. 하나 초과의 카메라 장착 디바이스가 존재하는 경우, 본 발명의 실시예는 그들 각각에 대해, 카메라와 실제 물체 사이의 공간적 관계에 따라 어떤 정보 제시 모드가 적합한지를 판정한다. 이어서, 제2 단계는 어떤 디바이스가 보다 풍부한 정보 제시 모드를 제공할 수 있는지를 결정하고, 이어서 그에 따라 제시 우선순위를 할당한다. 예를 들어, 사용자는 실제 물체의 관찰 동안 카메라를 양측 모두 장착한 태블릿 컴퓨터 및 스마트 와치를 소유한다. 방법은 일단 공간적 관계들이 결정되었다면 각각의 디바이스에 대해 정보 제시 모드를 선택할 것이다. 태블릿에 대해 정보 제시의 가상 현실 모드가 선택되고 스마트 와치에 대해 증강 현실 모드가 선택되는 경우, 이 경우에 스마트 와치인, 최고 풍부한 상세사항을 갖는 디바이스에게 선호도가 주어질 것이다. 또한, 상이한 디바이스들은, 예컨대 그들의 디스플레이의 크기에 따라 상이한 우선순위들을 할당하여서, 증강 현실 모드가 2개의 디바이스들에 대해 적합한 경우에, 보다 큰 디스플레이를 갖는 디바이스가 정보 제시를 위해 사용되도록 할 수 있다.

본 발명의 실시예에 따른 가능한 구현 단계들(유지관리 사용 경우):

1) 사용자는 수행할 사용자 태스크를 결정한다(예컨대, 유지관리).

2) 추적 시스템은 카메라와 실제 물체 사이의 공간적 관계를 결정하려고 한다.

3) 일단 추적 시스템이 성공하면, 디지털 정보가 실제 물체에 정합된다.

4) AR 모드가 실제 물체 및 선택된 사용자 태스크와 관련된 디지털 정보를 제시하기 위해 사용되도록 결정된다.

5) 일단 제시 모드가 결정되면, 주어진 제시 모드에 대해 디지털 정보의 표현이 선택된다(예컨대, 현재 구현예에서 디지털 정보의 3D 모델이 로딩되고 있음).

6) 추적 시스템은 추적이 성공적인 동안 마지막 N(=1, 2, 3, 4,...)개의 포즈들을 저장한다.

7) 일단 추적을 놓치면(즉, 실제 물체가 카메라 이미지에서 보이지 않으면), 시스템은 본 발명의 실시예를 실행하여 적합한 제시 모드를 결정한다(즉, 현재 구현예에서, 그것은 일부 서술적 명령어들을 갖는 VR 모드로 전환한다).

8) 디지털 정보(3D 모델)는 단계 6에서 기록된 추적 포즈 N을 이용하여 위치결정된다.

9) 일단 추적이 다시 초기화되면, 이러한 구현예는 단계 3에서부터 다시 시작한다.

다른 실시예에서, 애플리케이션은 증강 현실 제시 모드에 있는 동안 포즈들(즉, 카메라와 기준 좌표계 사이의 공간적 관계들)을 저장할 뿐만 아니라 카메라 (중요한) 이미지들도 저장한다. 이러한 중요한 이미지들은 그들이 실제 물체의 적어도 일부를 표현하기 위해, 즉, 실제 물체(의 적어도 일부)의 표현으로서 나중에 가상 현실 제시 모드에서 디스플레이될 수 있도록 저장된다. 상이한 접근법들이 어떤 카메라 이미지들을 저장할지를 결정하는 데 이용될 수 있다. 예를 들어, 새로운 카메라 이미지는 오직, 유사한 외관을 갖는 이미 저장된 (중요한) 이미지들의 세트 내에 다른 이미지가 전혀 없는 경우에만 저장된다. 예를 들어, 새로운 카메라 이미지는 오직, 새로운 이미지와 저장된 이미지들의 세트 내의 모든 이미지들 사이의 유사도가 특정 임계치 미만인 경우에만 저장된 이미지들의 세트에 추가된다. 2개의 이미지들 사이의 유사도는 예를 들어 그들 사이의 (정규화된) 교차 상관관계로서 정의될 수 있다. 유사도는 2개의 이미지들의 구배 방향들 또는 강도에 대한 히스토그램들의 교차 상관관계에 기초하여 추가로 산출될 수 있다. 유사도는, SIFT와 같은 접근법들을 이용하여 두 이미지들에서의 국부적 이미지 특징부들을 검출하고 기술한 후에, 그들의 거리가 특정 임계치 미만일 경우 2개의 이미지들로부터의 특징부들의 모든 조합들을 매칭들로서 고려할 때 매칭들의 수에 기초하여 추가로 산출될 수 있다. 새로운 이미지를 세트에 추가하는 시기를 결정하기 위한 임계치는 수동으로 한번 제공될 수 있거나, 또는 그것은 세트 내의 이미지들 사이의 유사도들에 따라 적응할 수 있다. 다른 실시예에서, 새로운 카메라 이미지는 오직, 유사한 카메라 포즈로 촬영된 이미 저장된 이미지들 내에 다른 이미지가 전혀 없는 경우에만 저장된다. 2개의 카메라 포즈들의 유사도는 예를 들어 2개의 포즈들 사이의 배향의 차이 및 병진의 차이에 기초하여 산출될 수 있다.

다른 실시예는 카메라 포즈에 기초하여 카메라 이미지가 가상 현실 제시 모드에서의 나중 사용을 위해 저장되어야 하는지 여부 및 실제 물체가 카메라 이미지에서 어떻게 보이는지를 추가로 결정한다. 예를 들어, 이미지는 오직, 실제 물체의 적어도 일부분(예컨대 50%)이 이미지에서 보이는 경우에만 중요한 이미지로서 저장된다. 다른 예에서, 이미지는 오직, 실제 물체가 이미지 내에서 적어도 최소 면적을 차지하는 경우에만 중요한 이미지로서 저장된다. 이것은 예를 들어 500개의 픽셀들일 수 있거나, 또는 그것은 카메라 이미지의 일부분, 즉, 25%일 수 있다. 다른 실시예에서, 카메라 포즈에 기초하여 카메라 이미지가 가상 현실 제시 모드에서의 나중 사용을 위해 저장되어야 하는지 여부 및 실제 물체와 관련된 디지털 정보가 카메라 이미지 상에 어떻게 중첩될지가 추가로 결정된다. 예를 들어, 실시예는 오직, 디지털 정보의 적어도 일부가 카메라 이미지와 공간적으로 정합되어 중첩되면 보이는 경우에만 가상 현실 모드에서 사용되도록 이미지를 저장할 것이다.

실시예에 따른 가능한 구현 단계들(여기서는: GPS를 사용한 보행자 내비게이션):

1) 사용자는 내비게이션할 원하는 목적지를 선택 또는 입력한다.

2) 디바이스의 디스플레이에 부착된 카메라가 시작되고, 제1 이미지가 캡처되어 사용자에게 제시된다.

3) 추적 시스템은 디바이스의 위치 업데이트를 위해 리스너(listener)와 함께 초기화된다.

4) 초기화 시에, 원하는 최종 목적지에 대응하는 디지털 보조 정보(POI 물체)가 스크린 상에 인출된다.

5) (예컨대, GPS로부터의) 제1 위치 업데이트 시에, 디바이스의 현재 위치가 식별되고, 최종 목적지까지의 거리가 계산되어 POI 상에 디스플레이된다.

6) (잠재적으로, 서버와의 통신을 수반하는 제3자 라우팅 서비스를 이용하여) 디바이스의 현재 위치와 요청된 최종 목적지 사이의 턴 바이 턴 경로(turn-by-turn route)가 계산된다.

7) 경로는 경로의 단일 구간에 대응하는 여러 극미한 웨이포인트(atomic waypoint)로 나눠진다.

8) 각각의 웨이포인트로부터 진행하는 방법을 나타내는 (예컨대, 텍스트 표현 포맷의) 필요한 디지털 명령어들을 포함하는, 중간 POI들이 각각의 웨이포인트에 대해 생성된다.

9) 모든 인출된 프레임 상에서, 알고리즘이 중력에 대한 디바이스의 배향을 확인한다:

a. 카메라의 광학 축이 중력 방향과 직각에 가까우면, 증강 현실 모드가 적합하고, 라이브 뷰와 함께 시(청)각적 포맷의 명령어들이 사용자에게 제시될 것이다.

b. 증강 현실 모드가 적합하지 않은 경우(예컨대, 디바이스가 가방 안에 집어넣어져 있기 때문에), 오디오 정보 제시 모드가 내비게이션을 진행하도록 선택될 것이다.

10) 다음 위치 업데이트 시에, 모든 웨이포인트들까지의 현재 거리가 계산될 것이고, 일단 사용자가 가장 가까운 웨이포인트까지 X 미터 근처 내에 있으면 명령어들이 적절한 정보 제시 모드에서 사용자에게 주어질 것이다.

도 6은 적절한 정보 제시 모드의 선택을 위한 실시예에 따른 작업 흐름도를 도시한다. 단계(606)에 따른 모드는 보다 풍부한 정보 제시 경험을 제공하는 어떠한 다른 모드들(603 또는 605)도 주어진 컨텍스트에 적합하지 않을 때의 이벤트에서 폴백(fallback) 모드로서 선택될 것이다. 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부(601)에 기초하여, 단계(602)는 증강 현실 제시 모드가 적합한 정보 제시 모드인지 여부를 판정한다. 이것은 예를 들어 도 7에 도시된 실시예에 따라 구현될 수 있다. AR 모드가 적합하다면, 그것이 이용된다(단계(603)). 그렇지 않으면, 단계(604)는 공간적 관계(601)를 고려해 볼 때 가상 현실 제시 모드가 적합한지를 판정한다. 만약 그렇다면, VR 제시 모드가 이용된다(단계(605)). 그렇지 않으면, 오디오 제시 모드가 이용된다(단계(606)). AR 제시 모드(603)와 VR 제시 모드(605) 둘 모두가 청각적 출력을 포함할 수 있다는 것에 유의한다.

도 7은 본 발명의 실시예가 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부(701)에 기초하여 증강 현실 제시 모드가 적합한지를 판정할 수 있는 방식의 흐름도를 도시한다. 결정 블록(702)은 도 6에서의 602의 실시예에 대응한다. 첫째로, 단계(703)에서 701이 병진의 적어도 일부를 포함하는지가 확인된다. 이것이 그러한 경우가 아니라면(705), 결정 블록(702)은 AR 제시 모드가 적합하지 않다(710)라는 결론에 이른다. 그렇지 않으면(704), 단계(706)에서 701의 배향 부분이 AR 제시 모드에 적합한지가 추가로 평가된다. 701의 배향 부분은, 물체의 좌표계에서의 방향을 나타내는 적어도 하나의 벡터를 카메라의 좌표계로 변환하는 것을 가능하게 한다. 이어서, 706의 실시예가 카메라 좌표계에서 표현된 방향을 나타내는 기준 벡터 및 임계치를 정의할 것이고, 706은 물체 좌표계로부터 카메라 좌표계로 변환된 벡터와 기준 벡터 간의 스칼라 곱이 임계치를 초과하여 단계(706)가 "예"를 생성하는 것을 요구할 것이다. 기준 벡터들과 임계치들의 다수의 쌍들이 이용될 수 있다.

예를 들어, 실제 물체가 환경의 적어도 일부인 경우, 관심대상인 벡터는 중력 벡터일 수 있다. 이 경우에 카메라와 실제 물체 사이의 공간적 관계는 중력에 대한 카메라의 절대 배향을 측정하는, 카메라에 부착된 관성 센서들에 기초할 수 있다. 이것은 물체 좌표계에서 정의된 벡터(즉, 중력 벡터)를 카메라의 좌표계로 변환하는 것을 허용한다.

이제, 예를 들어, 가상 현실 제시 모드가 오직, 카메라가 (환경의 일부이고 따라서 실제 물체의 일부인) 바닥을 바라보고 있는 경우에만 적합하다면, 기준 벡터 및 임계치의 다음의 정의들이 이용될 수 있다. 카메라 좌표계에서의 기준 벡터는 카메라의 주축에 평행한 벡터일 수 있다. 카메라 좌표계에서의 중력의 배향을 나타내는 벡터와 기준 벡터 둘 모두가 단위 길이를 갖는다고 가정한다. 임계치를 0.9로 정의하고, 기준 벡터와 변환된 벡터 간의 스칼라 곱이 이러한 임계치를 초과하도록 강제하는 것은 이어서 다음을 의미한다. 카메라 주축과 바닥의 법선(즉, 중력 벡터) 사이의 각도가, 대략 26도인, cos^-1(0.9) 도 미만이다.

다른 예에서, 증강 현실 제시 모드는 오직, 카메라가 실제 물체에 대한 수직 모드(portrait mode)인(즉, 수평 모드(landscape mode)가 아님) 경우에만 적합하다. 이것은 다음과 같이 구현될 수 있다. 카메라 좌표계에서의 기준 벡터는 카메라의 이미징 센서의 보다 긴 측에 평행한 벡터로서 정의되고, 물체 좌표들로부터 카메라 좌표들로 변환된 벡터는 다시 이전 예에서와 같이 중력 벡터이다. 이제, 임계치가 0.7071로 선택되는 경우, 이는 2개의 벡터들 사이의 45도의 각도에 대응하고, 조건은 오직 카메라가 수직 배향이며 수평 배향이 아닌 경우에만 참이다.

다른 예에서, 실제 물체는 개방된 도어를 갖는 차고(즉, 일 면이 없는 정육면체)이고, 디지털 정보는 차고 내부의 (가상) 차량이다. 이 경우에, 도어를 통하여 차고 내를 들여다보는 것을 허용하지 않는 임의의 카메라 배향은 증강 현실 제시 모드에 적합하지 않은 것으로 간주될 수 있다. 카메라와 실제 물체 사이의 공간적 관계는 이 예에서 시각적 카메라 추적에 기초하여 결정될 수 있고, 풀(full) 6DoF 카메라 포즈를 포함한다. 물체 좌표계에서의 벡터는 개방된 도어를 통하여 차고 내부를 향하고 있고, 그것은 둘 사이의 공간적 관계를 고려해 볼 때 카메라 좌표계로 변환될 수 있다. 카메라 좌표계에서의 기준 벡터는 카메라의 주축에 평행한 것으로 정의되고, 임계치는 이 예에서 0.8로 정의될 수 있다. 그 결과, 이 예에서, 증강 현실 제시 모드는 오직, 카메라 배향이 개방된 도어를 통하여 차고 내를 들여다보는 것을 허용하는 경우, 즉, 카메라의 주축과 도어 내부를 향하는 벡터 사이의 각도가 약 37도 미만 - 이는 변환된 단위 벡터와 기준 단위 벡터의 스칼라 곱이 0.8 초과인 것에 대응함 - 인 경우에만 적합하다. 임계치를 수동으로 정의하는 대신에, 그것은 또한, 한번 제공되거나 온라인으로 추정될 수 있는, 초점 길이와 같은 고유 카메라 파라미터들에 따라 정의될 수 있다.

배향이 적합하지 않은 경우(709), 결정 블록(702)은 "아니오"(710)로 복귀한다. 그렇지 않으면, 결정 블록(707)은 "예"(708)로 복귀한다.

도 8은 본 발명의 실시예가 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부(801)에 기초하여 가상 현실 제시 모드가 적합한지를 판정할 수 있는 방식의 흐름도를 도시한다. 결정 블록(802)은 도 6에서의 604의 실시예에 대응한다. 첫째로, 단계(803)에서 801의 배향 부분이 VR 제시 모드에 적합한지가 확인된다. 801의 배향 부분은, 물체의 좌표계에서의 적어도 하나의 벡터를 카메라의 좌표계로 변환하는 것을 가능하게 한다. 이어서, 단계(803)의 실시예가 카메라 좌표계에서 표현된 기준 벡터 및 임계치를 정의할 것이고, 단계(803)는 물체 좌표계로부터 카메라 좌표계로 변환된 벡터와 기준 벡터 간의 스칼라 곱이 임계치를 초과하여 단계(803)가 "예"를 생성하는 것을 요구할 것이다. 기준 벡터들과 임계치의 다수의 쌍들이 이용될 수 있다. 이러한 설명은, 예를 들어, 디스플레이가 카메라와 마주하여 대면하고 있고 디스플레이가 오직 상부 반구체에 대면하는 경우에만 사용자에게 보인다는 가정 하에, 카메라가 하부 반구체와 대면하고 있을 때에 "예"로 복귀하기만 하는 803을 야기할 수 있다. 배향이 적합하지 않은 경우(805), 결정 블록(802)은 "아니오"(810)로 복귀한다. 그렇지 않으면(804), 카메라가 집어넣어져 있는지가 확인된다. 블록(806)의 실시예가 도 9에 상세하게 나타나 있다. 카메라가 집어넣어져 있지 않은 경우(807), 결정 블록(802)은 "예"로 복귀하는데, 즉, VR 모드가 적합하다. 그렇지 않으면(809), 그것은 "아니오"로 복귀하는데, 810은 VR 모드가 적합하지 않음을 의미한다.

도 9는 카메라가 집어넣어져 있는지 여부를 판정하기 위한 실시예(901)를 설명한다. 결정 블록(902)은 카메라를 포함하는 디바이스의 스크린(즉, 디스플레이)이 꺼져 있는지 여부를 확인한다. 디스플레이는 사용자에 의해 수동으로 꺼질 수 있거나 또는 유휴 기간 후에 디바이스의 운영 체제에 의해 자동으로 꺼짐으로 전환될 수 있다. 903 "예"의 이벤트에서, 결정 블록(901)은 "예"(910)로 복귀하고, 카메라가 집어넣어져 있다고 결론내릴 수 있다. 이에 따라, 본 발명의 실시예(도 8에 도시됨)에 따르면, VR 모드가 적합하지 않음을 의미하는 단계(809)가 실행될 것이다. 스크린이 켜져 있는 이벤트에서, 904 "아니오"를 진행하여, 근접 센서가 장기간(예컨대, 30초) 동안 인근 물체를 계속해서 검출하는지 여부를 판정하기 위한 결정 블록(905)으로 간다. 이것은 디바이스가 물체(예컨대, 포켓 또는 가방)의 내부에 놓여 있을 수 있다는 표시를 제공해 줄 수 있고 근접 센서가 의도하지 않게 손가락으로 가려질 때의 임의의 상황들을 배제할 수 있다. 이벤트 906 "예"에서, 카메라가 집어넣어져 있다고 결론내릴 수 있다. 그리하여, 도 8에 도시된 실시예에 따라, 단계(809)가 실행될 것이고 VR 모드는 적합하지 않으며, 그렇지 않으면 단계(907)를 진행하여, 현재 모션이 임의의 모션 패턴과 매칭하는지 여부를 판정하기 위한 결정 블록(908)을 실행한다. 모션은 이에 따라 적어도 2개의 시점들에서 측정된 카메라와 실제 물체 사이의 공간적 관계의 적어도 일부를 나타낸다.

실제 물체에 대한 카메라의 모션은 실제 물체에 대한 적어도 2개의 위치들 사이의 카메라의 이동을 나타낸다. 물체가 (지구에 대해) 정적인 경우, 실제 물체에 대한 카메라의 모션은 지구에 대한 카메라의 모션과 동일하다. 물체가 (지구에 대해) 동적인 경우, 실제 물체에 대한 카메라의 모션은 지구에 대한 카메라의 모션과는 상이하다.

관성 센서, (3축) 가속도계, (3축) 자이로스코프, 또는 디바이스 위치 또는 배향에 관한 정보를 제공하는 다른 보조 센서로부터의 (융합된) 센서 데이터가 존재할 수 있다. 지도식(supervised) 기계 학습 기법들을 이용하여, 디바이스가 포켓, 가방 또는 지갑 내에 담겨 있는 것에 대응하는 모션 패턴들이 학습될 수 있다. 이것은 그러한 상황들을 나중에 식별하고 그들을 관심대상이 아닌 임의의 이벤트들(예컨대, 디바이스가 걷기, 달리기 등 도중에 이동될 때)로부터 구별하는 것을 가능하게 한다. 이벤트 910 "예"에서, 결정 블록(901)은 "예"로 복귀하고, 단계(809)가 실행된다. 이것은 모션 패턴이 카메라가 집어넣여져 있음을 나타내는 경우에 VR 모드가 적합하지 않음을 의미한다. 그렇지 않으면, 단계(909)는 카메라가 집어넣어져 있지 않다는 결론을 생성하여, 단계(808), 즉, VR 모드를 실행할 것이다.

상기 실시예들은, 특히 AR 제시 모드 또는 VR 제시 모드를 이용하여 사용자에게 디지털 정보를 제시하기 위해 상이한 종류의 디스플레이들을 사용할 수 있다. 특히, 그들은 LCD 디스플레이들 또는 LED 디스플레이들과 같은 반사형 및 발광형 디스플레이들을 사용할 수 있다. 그러한 디스플레이들은 예를 들어 스마트폰들 또는 태블릿 컴퓨터들과 같은 핸드헬드 디바이스들에서 사용되는데, 여기서 그들은 후방-대면 카메라에 단단히 접속되어 있다. 증강 현실 제시 모드에서, 이러한 디스플레이들은 라이브 카메라 이미지를 보여주고 라이브 카메라 이미지와 오버레이된 실제 물체와 관련된 디지털 정보를 제시하는 데 사용된다. 전술된 실시예들은 사용자가 디스플레이를 통하여 볼 수 있게 하고 이에 따라 디스플레이를 통하여 환경을 광학적으로 보는 반투명 디스플레이들을 추가로 사용할 수 있다. 이것은 증강 현실 제시 모드에서 관심대상인 실제 물체를 보는 것을 포함할 수 있는데, 여기서 디스플레이는 오직 시각적 디지털 정보를 제시하기 위해서만 사용되고 그것은 라이브 카메라 이미지를 제시하지는 않는다. 그러한 디스플레이들은 예들 들어 OLED 또는 LCD 기술에 기초하고, 헤드 마운트 디스플레이들 내에서 종종 발견된다. 많은 경우에, 그러한 헤드 마운트 디스플레이들에 단단히 부착된 카메라가 있고, 이 경우에 그 카메라는 물체에 대한 그의 공간적 관계의 적어도 일부가 결정되게 하는 카메라일 수 있다. 헤드 마운트 디스플레이들이 착용될 때, 사용자의 눈과 디스플레이 사이의 공간적 관계는 통상 대략 일정하다. 그러나, 그것은 사용자가 환경의 어떤 부분을 볼 수 있는지를 결정한다. 광학 시스루 디스플레이, 즉, 반투명 디스플레이가 사용자의 손에 들려 있는 경우, 눈과 실제 물체 사이의 공간적 관계는 물체가 디스플레이를 통하여 (부분적으로) 보여질 수 있는지 여부를 판정하기 위해 중요해질 수 있고, 이어서 이것은 증강 현실 제시 모드가 적합한지 여부를 나타낼 수 있다. 이 경우에, 어떤 제시 모드를 선택할지에 대한 결정은 눈과 적어도 하나의 기준 좌표계 사이의 공간적 관계에 좌우된다. 적어도 하나의 기준 좌표계는 실제 물체의 좌표계 및/또는 (반투명) 디스플레이의 좌표계를 포함할 수 있다.

디스플레이 (디바이스)가 눈으로부터 상이한 거리들에 이미지를 생성할 수 있다. (예컨대, LCD, LED, DLP, CRT, 또는 레이저에 기초한) 비디오 프로젝터가 본 발명의 맥락에서 사용될 수 있는 디스플레이 디바이스이다. 그것은 투사되는 표면에 이미지를 생성하는데, 이는 디스플레이되고 있는 디지털 정보와 연관된 실제 물체의 적어도 일부일 수 있다. 태블릿 컴퓨터들 또는 스마트폰들과 같은 핸드헬드 디바이스들의 경우, 디스플레이 (디바이스)는 사용자의 손에 위치된다. 웨어러블 컴퓨터들은 종종 사용자의 신체에, 예컨대 스마트 와치를 사용할 경우 손목에, 또는 헤드 마운트 디스플레이를 사용할 경우 눈 앞에 부착된 디스플레이들을 갖는다. 본 발명은 사람의 눈에 부착된, 예컨대 콘택트 렌즈의 폼 팩터에서, 안구에 직접 부착된 디스플레이를 추가로 사용할 수 있다. 디스플레이 디바이스는 사용자의 망막 상에 광을 추가로 투사할 수 있다. 그러한 경우에, 디스플레이와 눈 사이의 공간적 관계는 정적일 수 있고, 사용자가 항상 디스플레이를 볼 수 있다고 가정할 수 있다.

용어들 "디스플레이" 및 "디스플레이 디바이스"는 본 명세서 전체에 걸쳐 호환가능하게 사용된다는 것에 유의한다.

가상 현실 제시 모드에서는, 특히 광학 시스루 디스플레이들을 포함하는, 상기 논의된 모든 종류의 디스플레이들이 사용될 수 있다. 이 경우에, 디스플레이를 통하여 실제 물체를 보는 대신에, 실제 물체의 모델 또는 이미지가 디스플레이 상에서 보여질 수 있다.

도 10a는 광학 시스루 디스플레이(1002)를 통하여 사람의 눈(1003)에 의해 관찰되는 실제 물체(1001)를 개략적으로 도시한다. 실제 물체에 연관된 좌표계와 눈 사이의 공간적 관계(1004)가 결정되고, 실제 물체(1001)와 관련된 디지털 정보에 대한 제시 모드의 선택을 위한 기초로서의 역할을 할 수 있다. 특히, 이러한 공간적 관계(1004)는 디스플레이(1002)를 통하여 눈(1003)의 시야(1005)에 영향을 미친다. 도 10a에 존재하는 공간적 관계에서, 실제 물체(1001)는 시야(1005) 내에 위치되므로, 본 발명의 실시예는 디스플레이(1002) 상에 실제 물체(1001)와 관련된 디지털 정보를 제시하기 위한 모드로서 증강 현실 제시 모드를 선택할 수 있다. 일 실시예에서, 디스플레이(1002)에 부착된 제1 카메라가 제1 카메라와 실제 물체 사이의 제1 공간적 관계를 결정하기 위하여 실제 물체(1001)의 이미지를 캡처할 수 있다. 디스플레이(1002)에 부착된 제2 카메라가 제2 카메라와 눈 사이의 제2 공간적 관계를 결정하기 위하여 눈(1003)의 다른 이미지를 캡처할 수 있다. 제1 카메라와 제2 카메라 사이의 제3 공간적 관계가 알려져 있을 수 있다. 이어서, 공간적 관계(1004)는 제1, 제2 및 제3 공간적 관계들에 따라 결정될 수 있다.

도 10b에서, 실제 물체(1011), 광학 시스루 디스플레이(1012) 및 눈(1013)이 도시되어 있다. 다시, 눈과 좌표계 사이의 공간적 관계(1014)가 결정되는데, 여기서 이 경우에 좌표계는 실제 물체(1011)에 연관된다. 이 경우에 이러한 공간적 관계는 디스플레이(1012)를 통한 눈(1013)의 시야(1015)가 실제 물체(1011)의 어떠한 부분도 포함하지 않는다는 것을 나타낸다. 이 경우에, 본 발명의 실시예는 공간적 관계(1014)에 따라 가상 현실 모드를 선택할 것이다.

카메라와 (예컨대, 실제 물체에 연관된) 좌표계 사이의 공간적 관계의 입력에 기초하여 복수의 모드들로부터 어떤 정보 제시 모드를 선택할지를 판정하기 위한 상기 언급된 모든 실시예들은 유사하게, 눈과 (예컨대, 실제 물체 또는 디스플레이에 연관된) 좌표계 사이의 공간적 관계에 기초하여 수행될 수 있다. 이 경우에, 카메라는 눈에 상당한다.

눈과 좌표계 사이의 공간적 관계를 결정하기 위한 방법이 가능한 여러 접근법들이 있다. 일 실시예에서, 눈과 좌표계 사이의 공간적 관계는 카메라에 의해 캡처된 이미지에 기초하여 그리고 카메라 이미지에서의 눈의 위치를 검출함으로써 결정된다. 이것은 예를 들어 동공의 중심 및 각막 반사와 같은 특징들에 기초하여 행해질 수 있다. 카메라 이미지는 가시광 또는 적외선 광을 캡처할 수 있거나, 또는 이 둘의 조합이 사용될 수 있다. 그러한 방법들은 눈과 카메라의 좌표계 사이의 공간적 관계를 생성한다. 카메라의 좌표계와 제2 좌표계 사이의 공간적 관계가 알려져 있다면, 눈과 제2 좌표계 사이의 공간적 관계가 연쇄적으로 결정될 수 있다.

다른 실시예는 카메라와 얼굴 사이의 공간적 관계를 결정하기 위해 얼굴 검출 또는 얼굴 추적 방법을 이용한다. 그레이스케일 포맷 또는 RGB, YUV 또는 임의의 다른 색상 포맷에서의 이미지 상에서 동작하는 임의의 최신의 알고리즘이 사용될 수 있다. 게다가, 예컨대, 수동 또는 능동 스테레오 카메라들 또는 비행시간(time of flight) 카메라들로부터 획득된, 범위 데이터에서 동작하는 알고리즘들이 사용될 수 있다. 검출은 예를 들어 신경망, 서포트 벡터 기계(support vector machine), 또는 기계 학습을 이용한 임의의 다른 접근법에 기초할 수 있다. 카메라의 좌표계와 얼굴 사이의 공간적 관계가 전술된 바와 같은 알고리즘에 따라 결정되었다면, 카메라의 좌표계와 얼굴 내의 눈 사이의 공간적 관계는 얼굴과 얼굴 내의 눈 사이의 알려진 공간적 관계를 고려하여 결정될 수 있다. 이전 예와 유사하게, 카메라의 좌표계와 제2 좌표계 사이의 공간적 관계가 알려져 있다면, 눈과 제2 좌표계 사이의 공간적 관계가 연쇄적으로 결정될 수 있다.

본 발명은 디지털 정보가 카메라(또는 눈)와 실제 물체 사이의 현재 공간적 관계에 따라 선택된 제시 모드에 적합한 표현으로 이용가능하지 않음을 사용자에게 통지하기 위한 방법을 추가로 포함한다. 이 경우에, 시스템은, 카메라(또는 눈)와 실제 물체 사이의 공간적 관계가 변경되어 그에 따라 다른 제시 모드를 선택할 수 있도록 이동 또는 위치 또는 배향에 관한 명령어를 추가로 제공할 수 있다.

추가로, 상이한 제시 모드들은 그들의 제시 우선순위를 나타내는 상이한 가중치들을 가질 수 있는데, 이는 수동으로 주어질 수 있다. 예를 들어, AR 제시 모드는 VR 및 오디오 제시 모드들보다 더 높은 가중치가 주어질 수 있다. VR 제시 모드는 오디오 제시 모드보다 더 높은 가중치가 주어질 수 있다. 2개의 제시 모드들(예컨대, AR 제시 및 VR 제시 모드들)이 공간적 관계에 따라 선택되도록 결정될 때, 더 높은 가중치를 갖는 제시 모드(예컨대, AR 제시 모드)가 디지털 정보를 제시하기 위해 최종적으로 선택될 수 있다.

디지털 정보의 상이한 표현들은 상이한 풍부함의 수준들을 가질 수 있는데, 이는 또한 수동으로 정의될 수 있다.

상이한 제시 모드가 디지털 정보의 보다 풍부한 표현을 사용자에게 제공할 수 있고, 정보 제시 모드가 디지털 정보를 보다 풍부한 방식으로 제시하는 데 적합하도록 카메라(또는 눈)와 실제 물체 사이의 공간적 관계를 변경하기 위해 이동 또는 위치 또는 배향에 관한 명령어를 사용자에게 제공할 수 있다는 것을 사용자에게 통지하기 위한 방법이 본 명세서에 추가로 개시된다. 예를 들어, 제시 모드가 오디오 모드이고 디지털 정보가 정면의 특정 위치를 기술하는 경우, 오디오 모드는 예를 들어, 그 위치가 4층과 5층 사이에 위치되고 그것이 정면의 광고판(billboard)의 좌측에 위치되어 있음을 설명할 수 있는 한편, 증강 현실 모드는 간단히 각각의 위치에 점 또는 십자기호(cross)를 디스플레이함으로써 동일한 정보를 훨씬 더 풍부하고 평이한 방식으로 제시할 수 있다. 이 경우에, 방법은 상이한 정보 제시 모드가 현재 상황에서 보다 풍부한 정보를 제공할 것이고, AR 모드가 적합하도록 카메라를 이동시킬 것을 사용자에게 권장하기 위하여 ("카메라를 광고판쪽을 향해 이동시키거나 또는 카메라를 수평으로 놓아라"라는 음성 커맨드와 같은) 명령어들을 사용자에게 제공할 것이라는 것을 사용자에게 제안할 것이다.

상이한 제시 모드가 디지털 정보의 보다 풍부한 제시를 사용자에게 제공할 수 있음을 사용자에게 통지하는 것은 또한, 공간적 관계들에 따라 유익할 수 있다. 예를 들어, 실제 물체가 차량이며 디지털 정보가 냉각액을 리필하는 방법인 경우(예컨대, 디지털 정보는 냉각액을 리필하는 절차일 수 있음), 태블릿 컴퓨터를 갖는 사용자는 먼저 카메라를 차량의 엔진룸쪽을 향하게 할 수 있고, 증강 현실 제시 모드는 라이브 카메라 이미지 상에 중첩되게 유체를 리필하는 장소를 제시하는 데 이용될 것이다. 태블릿 컴퓨터를 한쪽에 놓아둔 후에, 본 발명의 실시예는 가상 현실 제시 모드로 전환할 것이고, 예컨대 가상 3D 모델로서, 디지털 정보와 중첩되는, 증강 현실 제시 모드 동안 캡처된 엔진룸의 이미지를 보여줄 것이다. 사용자가 그 또는 그녀가 디지털 정보를 따라 하여 냉각 유체를 리필하였음을 확인한 후에, 다음 유지관리 단계, 즉, 다음 디지털 정보는 차량에 연료를 재급유하는 것일 수 있다. 가상 현실 모드는 가상 3D 명령어들과 중첩된 실제 차량의 가상 3D 모델을 제시할 것이지만, 그것은 실제 차량의 카메라 이미지를 제시할 수 없는데, 이는 차량의 관련 부분, 즉 연료 충전제 덮개(fuel filler flap)가 증강 현실 모드에서 아직 캡처되지 않았고 이에 따라 덮개의 카메라 이미지가 존재하지 않기 때문이다.

본 발명의 실시예에 따른 방법은 이제, 태블릿 컴퓨터를 카메라가 연료 충전제 덮개의 적어도 일부를 캡처하는 포즈로 이동시키는 것이 실제 물체의 그리고 이에 따라 디지털 정보의 보다 풍부한 표현을 제시하는 것을 가능하게 할 것임을 사용자에게 통지할 것이다. 따라서, 태블릿 컴퓨터를 이동시키는 것이 증강 현실 뷰를 적합하게 할 것이고, 나중에, 덮개의 적어도 하나의 카메라 이미지(즉, 사진)가 저장된 후에, 또한 가상 현실 모드는 상세사항이 적고 덜 사실적으로 보이는 그것의 3D 모델을 렌더링하는 대신에 차량의 사진을 보여줌으로써 보다 풍부한 표현을 가능하게 할 것이다.

풍부함의 수준은, 증강 현실 모드가 가장 풍부한 정보를 갖는 제시 모드이고, 가상 현실 모드가 두번째로 가장 풍부한 정보를 갖는 제시 모드이고, 오디오 모드가 가장 덜 풍부한 정보를 갖는 제시 모드인 것으로 수동으로 정의될 수 있다. 풍부함은 개별 사용 경우에 추가로 좌우될 수 있으므로, 풍부함의 순서는 각각의 사용 경우 및 각각의 디지털 정보에 대해 독립적으로 정의될 수 있다. 디지털 정보가 예를 들어 노래인 경우, 오디오 모드는, 예를 들어 노래의 가사들 또는 음들을 보여주는 예를 들어 가상 현실 모드보다 노래의 레코드를 재생함으로써 보다 풍부한 제시를 제공할 것이다.

정보 제시:

정보 제시 모드는 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법이다. 정보 제시 모드들은 하기를 포함할 수 있지만 이들로 제한되지 않는다:

1) 증강 현실(AR) 제시: 디지털 정보가 실제 물체의 라이브 뷰 상에 중첩된다. 라이브 뷰는 실제 물체의 라이브 카메라 이미지(비디오 시스루)로서 구현될 수 있거나 또는 그것은 광학 시스루 디스플레이를 통한 실제 물체의 뷰에 기초할 수 있다. 이러한 제시 형태는 디스플레이에 기초한다.

2) 가상 현실 (VR) 제시: 디지털 정보가, 예컨대, 실제 물체의 3D 기하학적 모델, 디지털 비디오, 디지털 사진 또는 이미지의 형태의, 실제 물체의 디지털 시각적 표현과 함께 보여진다. 이러한 제시 형태는 디스플레이에 기초한다.

AR 제시 모드와 VR 제시 모드 둘 모두에서, 디스플레이 디바이스(예컨대, LCD 스크린 또는 반투명 스크린)가 디지털 정보를 디스플레이하는 데 사용된다.

3) 오디오 제시: 디지털 정보가, 예를 들어 헤드폰 또는 확성기를 사용하여, 청각적으로 제시된다. 이러한 정보 제시 모드는 어떠한 디스플레이도 요구하지 않는다.

예를 들어, 도 6에 따른 실시예에 기술된 바와 같이, 정보 제시의 적합한 모드가 선택된다.

표현:

데이터 표현은 실제 물체와 관련된 디지털 정보가 컴퓨터에 저장되는 방식을 나타내는 추상적 개념이다. 데이터 표현의 적합한 포맷이 정보 제시 모드에 기초하여 선택된다. 그것은 각각의 정보 제시 모드에 대해 적어도 하나의 데이터 표현 포맷을 포함한다. 데이터 표현 포맷들의 임의의 조합이 주어진 정보 제시 모드를 강화시키기 위해 이용될 수 있고, 하기를 포함할 수 있지만 이들로 제한되지 않는다:

1) 증강 현실(AR) 제시의 경우, 디스플레이 상에 제시되며 실제 물체와 관련된 디지털 정보의 데이터 표현은 예를 들어 디지털 (애니메이션으로 된) 3D 모델, 디지털 (애니메이션으로 된) 2D 모델, 비디오, 이미지, 텍스트 정보, 또는 오디오 파일일 수 있다.

2) 가상 현실(VR) 제시의 경우, 디스플레이 상에 제시되며 실제 물체와 관련된 디지털 정보의 데이터 표현은 예를 들어 디지털 (애니메이션으로 된) 3D 모델, 디지털 (애니메이션으로 된) 2D 모델, 비디오, 이미지, 텍스트 정보, 또는 오디오 파일일 수 있다.

3) 오디오 제시의 경우, 실제 물체와 관련된 디지털 정보의 데이터 표현은 디지털 사운드 파일, 또는 소프트웨어(예컨대, 텍스트 음성 변환)에 의해 음성으로 변환될 수 있는 텍스트일 수 있다.

다양한 실시예들이 소정의 컴포넌트들을 참조하여 본 명세서에서 기술되지만, 본 명세서에 기술되거나 통상의 기술자에게 명백한 바와 같은, 컴포넌트들의 임의의 다른 구성이 또한, 이러한 실시예들 중 임의의 것을 구현할 때 사용될 수 있다. 본 명세서에서 기술된 바와 같은 디바이스들 또는 컴포넌트들 중 임의의 것은 본 명세서에서 기술된 바와 같은 태스크들의 일부 또는 그 이상을 수행하기 위한 각각의 프로세싱 디바이스(명시적으로 도시되지 않음), 예컨대, 마이크로프로세서일 수 있거나, 이를 포함할 수 있다. 프로세싱 태스크들 중 하나 이상은, 예컨대 각각의 지점 대 지점 간 통신에 의해서 또는 네트워크를 통하여, 예컨대 서버 컴퓨터를 통하여, 서로 통신하고 있는 컴포넌트들 또는 그들의 프로세싱 디바이스들 중 하나 이상에 의해 프로세싱될 수 있다.

Claims (29)

1. 실제 물체와 관련된 디지털 정보를 제시하는 방법으로서,
   카메라와 실제 물체 사이의 공간적 관계를 결정하는 단계,
   복수의 제시 모드들을 획득하는 단계 - 상기 복수의 제시 모드들은 증강 현실 모드 및 적어도 하나의 대안적인 모드를 포함함 -,
   상기 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 획득하는 단계,
   상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하는 단계 - 상기 선택하는 단계는:
   상기 공간적 관계가 미리 결정된 조건을 만족하는지 여부를 판정하는 단계,
   상기 공간적 관계가 상기 미리 결정된 조건을 만족함을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하는 단계, 및
   상기 공간적 관계가 상기 미리 결정된 조건을 만족하지 않음을 판정하는 것에 응답하여, 상기 적어도 하나의 대안적인 모드 중 하나를 상기 제시 모드로서 선택하는 단계
   를 포함함 -, 및
   상기 선택된 제시 모드를 이용하여 상기 디지털 정보의 상기 적어도 하나의 표현을 제시하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 적어도 하나의 대안적인 모드는 가상 현실 모드 및 오디오 모드를 포함하는, 방법.
3. 제2항에 있어서,
   상기 증강 현실 모드는 상기 카메라 또는 사람의 눈 각각과 상기 실제 물체 사이의 공간적 관계의 적어도 일부에 따라 상기 실제 물체의 라이브 뷰(live view)에서 상기 디지털 정보의 상기 적어도 하나의 표현을 디스플레이 디바이스 상에서 시각적으로 블렌딩하고,
   상기 가상 현실 모드는 상기 디지털 정보의 상기 적어도 하나의 표현 및 상기 실제 물체의 표현을 디스플레이 디바이스 상에 시각적으로 제시하고,
   상기 오디오 모드는 상기 디지털 정보의 상기 적어도 하나의 표현에 따라 사운드를 생성하는, 방법.
4. 제1항에 있어서, 상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하는 단계는
   상기 실제 물체의 적어도 일부가 상기 카메라의 시야 내에 있는지 여부를 판정하는 단계, 및
   상기 실제 물체의 상기 적어도 일부가 상기 카메라의 시야 내에 있음을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하는 단계를 포함하는, 방법.
5. 제1항에 있어서, 상기 미리 결정된 조건은 상기 카메라와 상기 실제 물체 사이의 거리가 임계치 미만인 것인, 방법.
6. 삭제
7. 제1항에 있어서, 상기 적어도 하나의 대안적인 모드 중 하나를 선택하는 단계는
   중력 방향에 대한 상기 카메라의 배향을 결정하는 단계, 및
   상기 카메라의 상기 배향에 따라 가상 현실 모드 및 오디오 모드 중 하나를 상기 제시 모드로서 선택하는 단계를 포함하는, 방법.
8. 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 판독가능 코드를 포함하는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 코드는,
   카메라와 실제 물체 사이의 공간적 관계를 결정하기 위한,
   복수의 제시 모드들을 획득하기 위한 - 상기 복수의 제시 모드들은 증강 현실 모드 및 적어도 하나의 대안적인 모드를 포함함 -,
   상기 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 획득하기 위한,
   상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하기 위한 - 상기 선택은:
   상기 공간적 관계가 미리 결정된 조건을 만족하는지 여부를 판정하고,
   상기 공간적 관계가 상기 미리 결정된 조건을 만족함을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하고,
   상기 공간적 관계가 상기 미리 결정된 조건을 만족하지 않음을 판정하는 것에 응답하여, 상기 적어도 하나의 대안적인 모드 중 하나를 상기 제시 모드로서 선택하는 것을 포함함 -, 그리고
   상기 선택된 제시 모드를 이용하여 상기 디지털 정보의 상기 적어도 하나의 표현을 제시하기 위한 것인, 컴퓨터 판독가능 매체.
9. 제8항에 있어서, 상기 적어도 하나의 대안적인 모드는 가상 현실 모드 및 오디오 모드를 포함하는, 컴퓨터 판독가능 매체.
10. 제9항에 있어서,
    상기 증강 현실 모드는 상기 카메라 또는 사람의 눈 각각과 상기 실제 물체 사이의 공간적 관계의 적어도 일부에 따라 상기 실제 물체의 라이브 뷰에서 상기 디지털 정보의 상기 적어도 하나의 표현을 디스플레이 디바이스 상에서 시각적으로 블렌딩하고,
    상기 가상 현실 모드는 상기 디지털 정보의 상기 적어도 하나의 표현 및 상기 실제 물체의 표현을 디스플레이 디바이스 상에 시각적으로 제시하고,
    상기 오디오 모드는 상기 디지털 정보의 상기 적어도 하나의 표현에 따라 사운드를 생성하는, 컴퓨터 판독가능 매체.
11. 제8항에 있어서, 상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하기 위한 상기 컴퓨터 판독가능 코드는
    상기 실제 물체의 적어도 일부가 상기 카메라의 시야 내에 있는지 여부를 판정하기 위한, 그리고
    상기 실제 물체의 상기 적어도 일부가 상기 카메라의 시야 내에 있음을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하기 위한 컴퓨터 판독가능 코드를 포함하는, 컴퓨터 판독가능 매체.
12. 제8항에 있어서, 상기 미리 결정된 조건은 상기 카메라와 상기 실제 물체 사이의 거리가 임계치 미만인 것인, 컴퓨터 판독가능 매체.
13. 삭제
14. 제8항에 있어서, 상기 적어도 하나의 대안적인 모드 중 하나를 선택하기 위한 상기 컴퓨터 판독가능 코드는
    중력 방향에 대한 상기 카메라의 배향을 결정하기 위한, 그리고
    상기 카메라의 상기 배향에 따라 가상 현실 모드 및 오디오 모드 중 하나를 상기 제시 모드로서 선택하기 위한 컴퓨터 판독가능 코드를 포함하는, 컴퓨터 판독가능 매체.
15. 실제 물체와 관련된 디지털 정보를 제시하기 위한 시스템으로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 연결되고, 상기 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 판독가능 코드를 포함하는 메모리를 포함하고,
    상기 컴퓨터 판독가능 코드는 상기 시스템으로 하여금
    카메라와 실제 물체 사이의 공간적 관계를 결정하게 하고,
    복수의 제시 모드들을 획득하게 하고 - 상기 복수의 제시 모드들은 증강 현실 모드 및 적어도 하나의 대안적인 모드를 포함함 -,
    상기 실제 물체와 관련된 디지털 정보의 적어도 하나의 표현을 획득하게 하고,
    상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하게 하고 - 상기 선택은:
    상기 공간적 관계가 미리 결정된 조건을 만족하는지 여부를 판정하고,
    상기 공간적 관계가 상기 미리 결정된 조건을 만족함을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하고,
    상기 공간적 관계가 상기 미리 결정된 조건을 만족하지 않음을 판정하는 것에 응답하여, 상기 적어도 하나의 대안적인 모드 중 하나를 상기 제시 모드로서 선택하는 것을 포함함 -,
    상기 선택된 제시 모드를 이용하여 상기 디지털 정보의 상기 적어도 하나의 표현을 제시하게 하는, 시스템.
16. 제15항에 있어서,
    상기 적어도 하나의 대안적인 모드는 가상 현실 모드 및 오디오 모드를 포함하고,
    상기 증강 현실 모드는 상기 카메라 또는 사람의 눈 각각과 상기 실제 물체 사이의 공간적 관계의 적어도 일부에 따라 상기 실제 물체의 라이브 뷰에서 상기 디지털 정보의 상기 적어도 하나의 표현을 디스플레이 디바이스 상에서 시각적으로 블렌딩하고,
    상기 가상 현실 모드는 상기 디지털 정보의 상기 적어도 하나의 표현 및 상기 실제 물체의 표현을 디스플레이 디바이스 상에 시각적으로 제시하고,
    상기 오디오 모드는 상기 디지털 정보의 상기 적어도 하나의 표현에 따라 사운드를 생성하는, 시스템.
17. 제15항에 있어서, 상기 공간적 관계에 따라 상기 복수의 제시 모드들로부터 제시 모드를 선택하기 위한 상기 컴퓨터 판독가능 코드는
    상기 실제 물체의 적어도 일부가 상기 카메라의 시야 내에 있는지 여부를 판정하기 위한, 그리고
    상기 실제 물체의 상기 적어도 일부가 상기 카메라의 시야 내에 있음을 판정하는 것에 응답하여, 상기 증강 현실 모드를 상기 제시 모드로서 선택하기 위한 컴퓨터 판독가능 코드를 포함하는, 시스템.
18. 제15항에 있어서, 상기 미리 결정된 조건은 상기 카메라와 상기 실제 물체 사이의 거리가 임계치 미만인 것인, 시스템.
19. 삭제
20. 제15항에 있어서, 상기 적어도 하나의 대안적인 모드 중 하나를 선택하기 위한 상기 컴퓨터 판독가능 코드는
    중력 방향에 대한 상기 카메라의 배향을 결정하기 위한, 그리고
    상기 카메라의 상기 배향에 따라 가상 현실 모드 및 오디오 모드 중 하나를 상기 제시 모드로서 선택하기 위한 컴퓨터 판독가능 코드를 포함하는, 시스템.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제

Images