KR101748226B1

KR101748226B1 - 증강 현실 객체를 발견하는 방법, 및 단말

Info

Publication number: KR101748226B1
Application number: KR1020157023037A
Authority: KR
Inventors: 궈칭 리; 쯔하오 진
Original assignee: 후아웨이 디바이스 컴퍼니 리미티드
Priority date: 2013-01-28
Filing date: 2014-01-23
Publication date: 2017-06-16
Also published as: EP2865993A4; US20150104069A1; KR20150108925A; EP2865993B1; JP6123120B2; WO2014114244A1; US9436874B2; CN103968824B; CN103968824A; EP2865993A1; JP2016507746A

Abstract

본 발명은 AR 기술 분야에 적용 가능하며, AR 객체를 발견하는 방법, 및 단말을 제공하며, 상기 방법은: 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정하는 단계; 상기 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득하는 단계; 및 상기 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하는 단계를 포함한다.

Description

증강 현실 객체를 발견하는 방법, 및 단말{METHOD FOR DISCOVERING AUGMENTED REALITY OBJECT, AND TERMINAL}

본 발명의 증강 현실(Augmented Reality, AR) 기술에 관한 것이며, 특히 AR 객체를 발견하는 방법, 및 단말에 관한 것이다.

AR은 사람들이 실제 세계에서 사물과 관련된 정보를 더 직감적으로 그리고 더 생생하게 획득하도록 도와주는 데 사용되는 기술이며, 컴퓨터 시스템이 제공하는 정보를 사용하여 사용자의 실제 세계에 대한 인식을 증강시키는 기술이다. AR을 일반적으로 이동 단말 또는 머리에 장착된 디스플레이 시스템(Head Mounted Display, HMD)을 사용하여 실현된다. 전술한 장치의 하드웨어는 적어도 하나의 카메라 및 하나의 디스플레이 장치를 포함하고, 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 자이로스코프, 및 광센서와 같은, 포지셔닝 시스템 및 다양한 센서를 더 포함할 수 있다.

전술한 장치가 AR 객체를 정확하게 발견하는 데 사용되는 기존의 솔루션에서, AR 객체가 대형의 객체, 예를 들어, 랜드마크 빌딩이면, GPS를 사용하여 사용자가 AR 객체를 발견하게 할 수 있지만, AR 객체가 소형의 객체, 예를 들어, 실내 부스에 있는 수 개의 휴대폰 모델이거나 박물관 안에 있는 수 개의 유물이면, 기존의 솔루션은 사용자가 AR 객체와 비-AR 객체를 정확하게 구별할 수 있게 할 수 없으며, 사용자는 AR 객체의 근처에 가서 주위 환경을 수동으로 사진 촬영하여 AR 객체를 자세히 확인해야 한다.

본 발명의 실시예의 목적은 AR 객체를 발견하는 방법, 및 시스템을 제공하는 것이다. 본 발명의 실시예는 대형의 AR 객체만을 찾을 수 있고 소형의 AR 객체는 정확하게 확인할 수 없는 종래기술의 문제를 해결하고자 하는 것이다.

제1 관점에 따르면, 증강 현실(augmented reality: AR) 객체를 발견하는 방법이 제공되며, 상기 방법은:

미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정하는 단계; 상기 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득하는 단계; 및 상기 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하는 단계를 포함한다.

제1 관점의 제1 가능한 실시 방식에서, 상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정되는 것은: 상기 미리 생성된 내비게이션 루트에 따라 상기 AR 객체의 위치와 상기 단말의 시작 위치 간의 거리를 획득하는 단계; 사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하는 단계; 상기 거리 및 상기 평균 이동 속도에 따라, 상기 단말이 상기 AR 객체의 근처에 도착하는 예상 시간을 계산하는 단계; 및 상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하는 단계를 포함한다.

제1 관점 또는 제1 관점의 제1 가능한 실시 방식을 참조하여, 제2 가능한 실시 방식에서, 상기 방법은: 상기 획득된 픽처가 상기 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 상기 단말의 현재 위치 파라미터를 수집하는 단계; 및 상기 위치 파라미터에 따라 상기 내비게이션 루트를 정정하는 단계를 더 포함한다.

제1 관점의 제2 가능한 실시 방식을 참조하여, 제3 가능한 실시 방식에서, 상기 위치 파라미터는 상기 단말의 현재 위치의 위치 파라미터 정보와 상기 단말의 현재 위치를 나타내는 표식 중 적어도 하나를 포함한다.

제1 관점 또는 제1 관점의 임의의 가능한 실시 방식을 참조하여, 제4 가능한 실시 방식에서, 상기 단말이 상기 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 상기 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하는 단계를 더 포함한다.

제1 관점 또는 제1 관점의 임의의 가능한 실시 방식을 참조하여, 상기 단말의 상태를 판정하는 단계는:

자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하는 단계를 포함한다.

제1 관점의 제4 가능한 실시 방식을 참조하여, 제5 가능한 실시 방식에서, 상기 경고 정보는: 진동, 울림, 또는 발광 중 적어도 하나를 포함한다.

제2 관점에 따르면, 단말이 제공되며, 상기 단말은: 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정하도록 구성되어 있는 상태 판정 유닛; 상기 상태 판정 유닛이 단말이 탐색 상태에 있는 것으로 판정할 때, 카메라를 시작하고 픽처를 획득하도록 구성되어 있는 픽처 획득 유닛; 및 상기 픽처 획득 유닛에 의해 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하도록 구성되어 있는 통지 유닛을 포함한다.

제2 관점의 제1 가능한 실시 방식에서, 상기 상태 판정 유닛은: 상기 미리 생성된 내비게이션 루트에 따라 상기 AR 객체의 위치와 상기 단말의 시작 위치 간의 거리를 획득하도록 구성되어 있는 거리 획득 서브유닛; 사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하도록 구성되어 있는 속도 획득 서브유닛; 상기 거리 획득 서브유닛에 의해 획득된 거리 및 상기 속도 획득 서브유닛에 의해 획득된 평균 이동 속도에 따라, 상기 단말이 상기 AR 객체의 근처에 도착하는 예상 시간을 계산하도록 구성되어 있는 예상 시간 획득 서브유닛; 및 상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하도록 구성되어 있는 판정 서브유닛을 포함한다.

제2 관점 또는 제2 관점의 제1 가능한 실시 방식을 참조하여, 제2 가능한 실시 방식에서, 상기 픽처 획득 유닛에 의해 획득된 픽처가 상기 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 상기 단말의 현재 위치 파라미터를 수집하도록 구성되어 있는 파라미터 수집 유닛; 및 상기 파라미터 수집 유닛에 의해 수집된 위치 파라미터에 따라 상기 내비게이션 루트를 정정하도록 구성되어 있는 정정 유닛을 더 포함한다.

제2 관점의 제2 가능한 실시 방식을 참조하여, 제3 가능한 실시 방식에서, 상기 위치 파라미터는 상기 단말의 현재 위치의 위치 파라미터 정보와 상기 단말의 현재 위치를 나타내는 표식 중 적어도 하나를 포함한다.

제2 관점 또는 제2 관점의 임의의 가능한 실시 방식을 참조하여, 제4 가능한 실시 방식에서, 상기 단말은: 상기 단말이 상기 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 상기 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하도록 구성되어 있는 경고 유닛을 더 포함한다.

제2 관점 또는 제2 관점의 임의의 가능한 실시 방식을 참조하여, 상기 상태 판정 유닛은 구체적으로, 상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하도록 구성되어 있다.

제2 관점의 제4 가능한 실시 방식을 참조하여, 제5 가능한 실시 방식에서, 상기 경고 정보는: 진동, 울림, 또는 발광 중 적어도 하나를 포함한다.

본 발명의 실시예에서, 단말이 탐색 상태에 있는 것으로 판정될 때, 주위 환경의 픽처가 자동으로 획득되고, 이에 의해 픽처로부터 AR 객체와 일치하는 하나 이상의 객체를 추출하며, 마킹 객체가 없는 환경에서 AR 프로세싱 과정의 자동 시작을 실행하여, 소형의 AR 객체를 정확하게 발견하며, 이것은 AR 객체를 발견하는 시간을 대폭 단축한다.

도 1은 본 발명의 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 흐름도이다.
도 2는 본 발명의 실시예에 따라 AR 객체를 발견하는 방법 중 단계 S101의 특정한 실행에 대한 흐름도이다.
도 3은 본 발명의 실시예에 따라 단말이 AR 객체를 발견하는 방법에서 탐색 상태에 있는지를 판정하는 실행에 대한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 흐름도이다.
도 6은 본 발명의 실시예에 따라 AR 객체를 발견하는 단말에 대한 구조 블록도이다.
도 7은 본 발명의 실시예에 따라 AR 객체를 발견하는 단말의 하드웨어에 대한 구조 블록도이다.
도 8은 본 발명의 실시예에 따라 AR 객체를 발견하는 단말의 하드웨어에 대한 블록도이다.

본 발명의 실시예의 목적, 기술적 솔루션, 및 이점을 더 명확하고 더 잘 이해할 수 있도록 하기 위해, 이하에서는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예에 따른 기술적 솔루션에 대해 상세하게 설명한다. 여기에 설명된 특정한 실시예는 본 발명을 설명하기 위해 사용될 뿐이며 본 발명을 제한하려는 것이 아님을 이해해야 한다.

도 1은 본 발명의 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 흐름도이며, 이에 대해 이하에 상세히 설명한다:

단계 S101에서, 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정한다.

단말의 상태를 판정하는 단계는: 자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 단말이 탐색 상태에 있는지를 판정하는 단계를 포함한다.

본 실시예에서, 단말은 입력 명령을 수신함으로써 사용자에 의해 미리 선택된 AR 객체를 획득하고, AR 객체의 위치를 판정하며, 이에 의해 내비게이션 및 포지셔닝 시스템을 사용하여 내비게이션 루트를 생성하며, 단말의 현재 위치(즉 시작 위치) 및 AR 객체의 위치에 따라, 사용자에 의해 미리 선택된 AR 객체의 근처로 사용자가 도착할 수 있게 한다. 내비게이션 및 포지셔닝 시스템으로는 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 글로벌 내비게이션 위성 시스템(Global Navigation Satellite System, GLONASS), 베이두 시스템(Beidou system) 등을 들 수 있으나 이에 제한되지 않는다.

구체적으로, 단말은 단말에 표시된 지도에서 사용자에 의해 선택된 위치를 획득하고; 선택된 위치를 중심으로 AR 객체를 탐색하고, 사용자의 현재 위치를 중심으로, 레이더 지도 상에서의 탐색을 통해 획득된 AR 객체를 표시할 수 있다. 사용자는 레이더 지도를 사용함으로써 하나 이상의 AR 객체를 선택할 수 있고, 이에 의해 내비게이션 루트를 생성하여 사용자가 미리 선택된 하나 이상의 AR 객체의 근처에 도착할 수 있게 한다.

구체적으로, 내비게이션 루트는 사용자에 의해 미리 선택된 이동 방식에 따라 생성될 수 있다. 사용자는 목적지에 도착하는 교통수단, 예를 들어, 걷기, 자전거, 또는 자동차를 미리 선택하며, 이 경우, 단말의 현재 위치는 출발 위치로 사용될 수 있고, 내비게이션 루트는 출발 위치, 목적지, 및 사용자에 의해 미리 선택된 이동 방식에 따라 생성되며, 이에 의해 사용자가 사용자에 의해 선택된 AR 객체의 근처 지역에 도착할 수 있게 한다. 내비게이션 및 포지셔닝 시스템의 위치 정확도 문제로 인해, AR 객체가 소형의 객체일 때, 내비게이션 및 포지셔닝 기능을 사용하여 생성된 내비게이션 루트에 의해 사용자는 AR 객체의 근처에 도착할 수 있을 뿐이지, 사용자가 반드시 AR 객체의 정확한 위치에 도착할 수 있게 하는 것은 아니다.

바람직하게, 단말이 내비게이션 루트를 생성한 후, 예를 들어, 카메라, 자이로스코프, 가속기, 전자식 컴퍼스, 및 GPS와 같이, 단말의 이동 프로세스 동안 사용되지 않아도 되는 컴포넌트 또는 기능 모듈은 일시적으로 작동 불능으로 될 수 있고, 일시적으로 작동 불능으로 되어 있는 컴포넌트 또는 기능 모듈은 단말이 AR 객체의 근처에 도착한 것으로 판정한 후에 다시 작동 가능으로 된다. 내비게이션 및 포지셔닝 시스템은 단말의 이동 프로세스 동안 내비게이션에 사용되지 않으며, 대신 GSM/3G 신호 및 기지국을 정확도가 낮은 내비게이션에 사용하여, 단말의 전력 소모를 줄인다.

본 실시예에서, 내비게이션 및 포지셔닝 시스템을 사용하여 내비게이션 루트를 생성한 후, 단말은 그 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착하였는지를 판정할 수 있다. 구체적으로, 도 2에 도시된 바와 같이, 단계 S101은 구체적으로 다음과 같다:

단계 S201: 미리 생성된 내비게이션 루트에 따라 AR 객체의 위치와 단말의 시작 위치 간의 거리를 획득한다.

단계 S201에서, 단말은 미리 생성된 내비게이션 루트에 따라 AR 객체의 위치와 단말의 시작 위치 간의 거리를 획득한다.

단계 S202에서, 사용자에 의해 미리 선택된 이동 방식에 따라 이동 방식의 평균 이동 속도를 획득한다.

예를 들어, 사용자가 걷기를 선택하면, 걷기의 평균 이동 속도, 예를 들어, 관련 구성 파라미터에 따라 5km/h가 획득될 수 있다. 획득된 평균 이동 속도는 다른 이동 방식에 따라 시스템에서 미리 구성될 수 있으며, 추정값일 수 있다. 마찬가지로, 단말은 사용자가 걸을 때, 달릴 때, 자전거를 탈 때, 또는 다른 방식으로 이동할 때의 속도를 미리 기록할 수 있고, 통계 데이터에 따라 각각의 이동 방식에서의 사용자의 평균 속도를 추정할 수 있다.

단계 S203에서, 거리 및 평균 이동 속도에 따라, 단말이 AR 객체의 근처에 도착하는 예상 시간을 계산한다.

단계 S204에서, 단말이 단말의 시작 위치로부터 시작해서 예상 시간을 이동한 후, AR 객체의 근처에 도착한 것으로 판정한다.

본 실시예에서, 단말은 추정을 통해 획득된 예상 시간에 따라 작업 알람을 설정하여, 단말이 목적지에 가까울 때의 예측된 순간에 작업 알람의 형태로 AR 객체 근처에 있는 사용자에게 알릴 수 있으며, 이에 의해 AR 객체가 출현하였는지에 초점을 맞춰 통지하도록 사용자를 상기시킨다.

바람직하게, 예상 시간은 단말의 실제 이동 상황에 따라 정정될 수 있다. 예를 들어, 사용자는 원래 단말을 소지하고서 AR 객체의 근처에 걸어갈 계획이었으나, 내비게이션 루트 동안 계획을 바꿔 차를 타고 나머지 루트를 가기로 결정한다. 이동 방식이 변경되면, 단말은 이동 프로세스 동안 사용자가 입력한 이동 방식 교체 명령을 수신하고, "걷기"의 이동 방식이 "자동차"의 이동 방식으로 변경되고, 그런 다음 단말은 사용자에 의해 변경된 이동 방식의 평균 이동 속도 및 나머지 루트에 따라 예상 시간을 조정할 수 있다.

단계 S102에서, 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득한다.

본 실시예에서, 단계 S101에서, 단말이 AR 객체의 근처에 도착한 것으로 판정된 후, 일시적으로 작동 불능으로 되어 있는 자이로스코프 및 광센서가 다시 작동 가능으로 되어 단말의 상태 파라미터를 수집할 수 있다. 단말의 상태 파라미터가 사전설정된 조건을 충족하는지를 판정하여, 단말의 현재 상태를 판정하며, 이에 의해 단말이 정상 이동 상태에 있는지 탐색 상태에 있는지를 판정한다. 단말이 탐색 상태에 있는 것으로 판정될 때는, 즉 사용자가 주위 환경에서 AR 객체를 찾기 위해 단말을 사용하여 주위 환경을 현재 확인할 수 있는 것으로 판정한다. 단말의 상태 파라미터가 사전설정된 조건을 충족하는지와 관련된 콘텐츠에 대해서는 본 발명의 후속의 실시예에서 상세히 설명할 것이므로, 이에 대해서는 여기서 설명하지 않는다.

탐색 상태에 있는 것으로 판정된 후, 단말은 카메라를 이미지 프레임을 추출하기 위해 사진을 찍거나 비디오 스트림을 수집할 수 있게 자동으로 작동한다. 사진을 찍거나 비디오 스트림을 획득하는 이러한 동작은 스마트폰 또는 머리 장착 장치와 같은 단말을 사용하여 실행될 수 있다. 또한, 사진 또는 비디오 스트림의 이미지 프레임이 획득되기 전에, 사진 또는 이미지 프레임은 최적화될 수 있는데, 예를 들어, 확대되거나, 휘도가 조정되거나, 콘트라스트가 조정될 수 있다(프로세싱 방법은 전술한 방법을 포함하되 이에 제한되지 않으며, 시각적 콘텐츠의 시각 효과를 향상시키고 시각적 콘텐츠를 볼 수 있게 사람의 눈에 더 적절하게 하는 임의의 방법일 수 있다). 그 후, 이미지 인식 알고리즘을 사용하여 사용자가 초점을 맞출 수 있는 N개의 초점 객체를 픽처로부터 추출하여, 이 N개의 초점 객체가 AR 객체를 포함하는지를 판정하며, 여기서 N은 1보다 크거나 같은 정수이다.

구체적으로, N개의 초점 객체가 픽처로부터 추출될 수 있을 때(N은 1보다 크거나 같은 정수이다), 시스템은 먼저 고속 및 저 정확도 인식 알고리즘을 사용하여 픽처 내의 M개의 초점 객체를 처리하고(M은 1보다 크거나 같은 정수이고, N보다 작거나 같다), 그런 다음 정확도 인식 알고리즘을 사용함으로써 나머지 N-M개의 초점 객체를 확인하여, 초점 객체가 AR 객체를 포함하는지를 판정한다. 본 실시예에서, 고속 및 저 정확도 인식 알고리즘은 비-AR 객체를 AR 객체로 확인할 수 있으나, AR 객체를 비-AR 객체로 확인할 수는 없고, 정확한 인식 알고리즘은 AR 객체 및 비-AR 객체를 정확하게 확인할 수 있으나, 비교적 긴 시간이 걸린다. 그러므로 전술한 처리 방법을 사용함으로써, 전체 처리 시간은 인식 정확도가 보장되는 전제하에 단축된다.

바람직하게, 머리 장착 장치가 AR 객체를 발견하는 장치로서 사용될 때, 머리 장착 장치는 사용자의 시각(angle of view)의 변화를 검출할 수 있기 때문에, 픽처를 획득한 후, 사용자가 현재의 시각을 급히 변경한 것을 발견할 때, 즉 사용자가 초점이 맞춰진 상태에 있는 동안의 시간은 임계값 T보다 작고, 현재 픽처는 더 이상 최적화되지 않고 저장될 뿐이며; 사용자가 초점이 맞춰진 상태에 있는 동안의 시간이 임계값 T보다 크면, 사용자가 현재 시각 내의 객체에 흥미를 두고 있는 것으로 판정하고, 즉 획득된 현재 픽처는 AR 객체를 포함할 것이므로, 후속의 처리가 픽처에서 수행된다.

단계 S103에서, 획득된 픽처가 AR 객체를 포함할 때, AR 객체를 통지한다.

본 발명의 본 실시예에서, 단말이 탐색 상태에 있는 것으로 판정될 때, 주위 환경의 픽처가 자동으로 획득되고, 이에 의해 픽처로부터 AR 객체와 일치하는 하나 이상의 객체를 추출하며, 마킹 객체가 없는 환경에서 AR 프로세싱 과정의 자동 시작을 실행하여, 소형의 AR 객체를 정확하게 발견하며, 이것은 AR 객체를 발견하는 시간을 대폭 단축한다.

전술한 단계 S101 내지 S103 및 단계 S201 내지 S204의 실행 실체는 단말이다는 것에 주목해야 한다.

이하에서는 단말의 상태 파라미터가 본 발명의 본 실시예에 따른 사전설정된 조건을 충족하는지를 판정하는 특정한 실시예를 상세히 설명한다.

본 발명의 실시예에서, 단말의 상태 파라미터는 출발 위치로부터 AR 객체의 근처까지의 단말의 평균 이동 속도를 포함하고, 단말의 현재 이동 속도를 포함하며; 이 경우, 단말이 탐색 상태에 있는지를 판정하는 단계는 구체적으로: 단말의 현재 이동 속도가 평균 이동 속도보다 낮은 차이 값이 사전설정된 임계값보다 큰지를 판정하는 단계이다.

본 실시예에서, 단말의 속도를 모니터링함으로써 그리고 단말의 속도의 변화 상황에 따라, 단말이 탐색 상태에 있는지를 판정한다.

구체적으로, 단말의 평균 이동 속도는 단말이 AR 객체의 근처에 도착하기 전에 이동 시간 및 누적된 실제 이동 거리에 따라 계산을 통해 획득될 수 있거나, 또는 사용자에 의해 미리 선택된 이동 방식의 평균 이동 속도는 직접적으로 획득될 수 있으며; 단말의 현재 이동 속도가 평균 이동 속도보다 낮은 차이 값이 사전설정된 임계값보다 큰지에 따라, 단말의 이동 속도가 확연하게 감소하는지가 판정된다. 단말의 이동 속도가 확연하게 감소하면, 단말이 탐색 상태에 있는 것으로 간주된다.

또한, 바람직하게, 단말의 상태 파라미터는 단말의 사전설정된 기능의 실행 상태를 포함한다.

호출에 일시적으로 응답하거나 또는 단문 메시지 서비스 메시지를 검사하는 것 등 때문에 단말의 이동 속도가 확연하게 감소하는 것으로 간주하면, 단말이 탐색 상태에 있는지를 판정하는 단계는 구체적으로:

단말의 현재 이동 속도가 평균 이동 속도보다 낮은 차이 값이 사전설정된 임계값보다 클 때, 사전설정된 기능이 작동 불능 상태에 있는지를 판정하는 단계이다.

본 실시예에서, 사전설정된 기능은 음성 호출, 단문 메시지 서비스 메시지, 멀티미디어 메시징 서비스, 알람, 및 달력 이벤트와 같은 사전설정된 기능을 포함하되, 이에 제한되지 않는다. 하나 이상의 사전설정된 기능이 사용 중인 것으로 판정되면, 사용자가 추측된 AR 객체에 초점을 맞추고 있기 때문에 단말의 이동 속도는 감소하지 않는 것으로 판정되고, 단말의 이동 속도의 변화의 모니터링이 재개된다. 모든 사전설정된 기능이 작동 불능 상태에 있는 것으로 판정되면, 단말은 탐색 상태에 있는 것으로 판정될 수 있다.

또한, 바람직하게, 단말의 상태 파라미터는 단말의 이동 상태를 더 포함하며, 이 경우, 단말이 탐색 상태에 있는지를 판정하는 단계는 구체적으로:

단말의 현재 이동 속도가 평균 이동 속도보다 낮은 차이 값이 사전설정된 임계값보다 클 때, 단말의 이동 속도가 정지 상태에 있는지를 판정하는 단계이다.

구체적으로, 자이로스코프와 같은 센서를 사용하여, 스마트폰이나 머리 장착 장치가 정지 상태에 있는지를 판정할 수 있다. 단말의 이동 속도가 정지 상태에 있을 때, 사용자가 객체에 초점을 맞추고 있는 것으로 추가로 판정된다.

또한, 단말의 이동 속도가 정지 상태에 있는지를 판정하는 단계는 구체적으로:

단말의 이동 상태가 정지 상태에 있는 동안의 시간이 사전설정된 시간 임계값보다 큰지를 판정하는 단계일 수 있다.

본 실시예에서는, 단말의 이동 상태를 고려하여, 자이로스코프에 의해 수집된 데이터가 단말의 이동 상태가 정지 상태에 있다는 것을 나타낼 때, 단말의 이동 상태가 정지 상태에 있는 동안의 시간이 사전설정된 시간 임계값보다 큰지를 추가로 판정할 수 있다. 사전설정된 시간 임계값보다 낮으면, 단말이 탐색 상태에 있지 않은 것으로 판정되고; 단말의 이동 상태가 정지 상태에 있는 동안의 시간이 사전설정된 시간 임계값보다 클 때까지, 단말이 탐색 상태에 있는 것으로 판정된다.

바람직하게, 단말이 사용자 동공 모니터링 기능을 더 가지고 있으면, 동공의 크기의 변화 상태를 이용하여 사용자가 객체에 시선을 두고 있는지를 확인할 수 있다. 예를 들어, 사용자가 사물에 초점을 맞추고 있으면, 눈의 동공은 팽창한다. 이 방법에서, 단말의 전면 카메라를 사용하여 보조 참조를 위해 사용자의 동공의 크기를 촬영하고, 이에 의해 단말의 상태를 판정하는 정확성을 더 높일 수 있다.

도 3은 본 발명의 실시예에 따라 단말이 AR 객체를 발견하는 방법에서 탐색 상태에 있는지를 판정하는 실행에 대한 흐름도이다. 도 3에 도시된 실시예에서, 단말의 이동 속도가 확연하게 감소한 것으로 판정된 후, 단말의 모든 상태 파라미터가 충족되어야 하는 모든 사전설정된 조건을 참조하여, 단말의 상태를 판정하는 정확도를 도 3에 도시된 실시예를 사용함으로써 최대한으로 높일 수 있다. 당연히, 실제의 판정 프로세스에서, 도 3에 도시된 실시예에서의 단계 S302 및 S303의 실행 순서는 제한되지 않으며, 단계 S302 또는 S303만이 실행될 수도 있고, 이에 대해서는 여기서 일일이 제한되지 않는다. 구체적으로, 도 3에 도시된 바와 같이:
단계 S301에서, 단말의 현재 이동 속도가 평균 이동 속도보다 낮은 차이 값이 사전설정된 값보다 큰지를 판정한다. 값이 사전설정된 값보다 크면, 단계 S302를 실행한다. 값이 사전설정된 값보다 크지 않으면, 단말이 탐색 상태에 있지 않은 것으로 판정한다.

단계 S302에서, 단말의 사전설정된 기능이 작동 불능 상태에 있는지를 판정한다. 예이면, 단계 S303을 실행한다. 그렇지 않으면, 단말이 탐색 상태에 있지 않은 것으로 판정한다.

단계 S303에서, 단말의 이동 상태가 정지 상태에 있는지를 판정한다. 단말의 이동 상태가 정지 상태에 있으면, 단계 S304를 실행한다. 단말의 이동 상태가 정지 상태에 있지 않으면, 단말이 탐색 상태에 있지 않은 것으로 판정한다.

또한, 단계 S303에서, 단말의 이동 상태가 정지 상태에 있는 것으로 판정된 후, 단말의 이동 상태가 정지 상태에 있는 동안의 시간이 사전설정된 시간 임계값보다 큰지를 추가로 판정한다. 단말의 이동 상태가 정지 상태에 있는 동안의 시간이 사전설정된 시간 임계값보다 크면, 단계 S304를 실행한다.

단계 S304에서, 단말이 탐색 상태에 있는 것으로 판정한다.

본 발명의 도 3에 도시된 실시예에서, 단계 S301 이후의 모든 관련 단계가 단말의 센서 또는 관련 검출 장치에 의해 수행되기 때문에, 바람직하게, 단계 S301에서, 단말의 이동 속도가 확연하게 변한 것으로 판정되기 전에, 단말의 센서 또는 관련 검출 장치는 작동 불능 또는 대기 상태에 있을 수 있고; 단계 S301에서 사용자의 이동 속도가 확연하게 변한 것으로 판정된 후, 단말의 센서 또는 관련 검출 장치는 검출을 수행하도록 다시 작동 가능으로 되어, 단말 기기의 전력 소모를 줄일 수 있다.

전술한 단계 S301 및 S304의 실행 본체는 단말일 수 있다는 것에 주목하라.

도 4는 본 발명의 다른 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 과정을 도시한다. 본 발명의 도 1에 도시된 실시예에 기초하여, 본 실시예는 하나 이상의 초점을 맞춘 객체가 AR 객체를 포함하지 않는 것으로 확인되는 상황에 대해 설명한다. 이하에 상세히 설명한다:

단계 S104에서, 획득된 객체가 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용함으로써 단말의 현재 위치 파라미터를 수집한다.

단계 S105에서, 위치 파라미터에 따라 내비게이션 루트를 수집한다.

본 실시예에서, 추출된 초점 객체가 AR 객체를 포함하지 않을 때, 단말이 AR 객체의 근처로 정확하게 안내되는지를 고려한다. 이 경우, 현재 위치의 위치 파라미터가 내비게이션 루트를 정정하도록 수집된다. 구체적으로, 위치 파라미터는 단말의 현재 위치의 GPS 파라미터 및 단말의 현재 위치를 나타내는 표식과 같은 파라미터 정보를 포함하되 이에 제한되지 않으며, 여기서 GPS 파라미터는 현재 위치가 AR 객체의 근처에 위치하는지를 판정하는 데 사용되고, 현재 위치를 나타내는 표식은, 시스템에서, AR 객체의 근처의 표식과 매칭시키는 데 사용되어, 현재 위치가 AR 객체의 근처에 있는지를 판정할 수 있으며, 이에 따라 내비게이션 루트는 잘못된 위치의 경우에 다시 정정되며, 이에 의해 사용자는 전방으로 이동할 수 있게 된다.

사용자가 AR 객체의 근처에 있으나 AR 객체의 특정한 위치를 확인할 수 없는 경우를 고려하면, 도 5는 본 발명의 다른 실시예에 따라 AR 객체를 발견하는 방법을 실행하는 과정을 도시한다. 구체적으로, 단계 S101 이전에, 또는 단계 S103 이후에, 또는 단계 S105 이후에, 방법은 이하를 더 포함한다:

단계 S106: 단말이 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 AR 객체로부터 멀어지는 것으로 결정될 때, 경고 정보를 출력한다.

경고 정보는 다음: 진동, 울림, 또는 발광 중 적어도 하나를 포함하며, 이에 따라 사용자는 현재 환경에서 AR 객체의 특정한 위치를 학습할 수 있고, 추가로 AR 객체를 발견하도록 안내된다.

대안으로, AR 작업 알람을 사용하여 AR 객체의 근처에 도착하였다는 것을 사용자에게 통지하는 데 사용되며, 경고 정보는 AR 작업 알람이 울릴 때 또는 AR 작업 알람이 울리기 전에 또는 AR 작업 알람이 울린 후에 출력되어, AR 객체가 발견되었다는 것을 사용자에게 통지하도록 경고할 수 있다.

도 6은 본 발명의 실시예에 따라 AR 객체를 발견하는 장치에 대한 구조 블록도이다. 단말은 스마트 이동 단말 또는 머리 장착 장치와 같은 AR 단말에 위치할 수 있으며, 본 발명의 도 1 내지 도 5의 실시예에 설명된 방법을 실행하도록 구성되어 있다. 설명을 쉽게 하기 위해, 본 실시예에와 관련된 부분만을 설명한다.

도 6을 참조하면, 단말은:

미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정하도록 구성되어 있는 상태 판정 유닛(61);

상기 상태 판정 유닛(61)이 단말이 탐색 상태에 있는 것으로 판정할 때, 카메라를 시작하고 픽처를 획득하도록 구성되어 있는 픽처 획득 유닛(62); 및

상기 픽처 획득 유닛(62)에 의해 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하도록 구성되어 있는 통지 유닛(63)

을 포함한다.

선택적으로, 상기 상태 판정 유닛(61)은:

상기 미리 생성된 내비게이션 루트에 따라 상기 AR 객체의 위치와 상기 단말의 시작 위치 간의 거리를 획득하도록 구성되어 있는 거리 획득 서브유닛;

사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하도록 구성되어 있는 속도 획득 서브유닛;

상기 거리 획득 서브유닛에 의해 획득된 거리 및 상기 속도 획득 서브유닛에 의해 획득된 평균 이동 속도에 따라, 상기 단말이 상기 AR 객체의 근처에 도착하는 예상 시간을 계산하도록 구성되어 있는 예상 시간 획득 서브유닛; 및

상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하도록 구성되어 있는 판정 서브유닛

을 포함한다.

선택적으로, 상기 상태 판정 유닛(61)은 구체적으로, 상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하도록 구성되어 있다.

선택적으로, 상기 단말은:

상기 픽처 획득 유닛(62)에 의해 획득된 픽처가 상기 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 상기 단말의 현재 위치 파라미터를 수집하도록 구성되어 있는 파라미터 수집 유닛; 및

상기 파라미터 수집 유닛에 의해 수집된 위치 파라미터에 따라 상기 내비게이션 루트를 정정하도록 구성되어 있는 정정 유닛

을 더 포함한다.

선택적으로, 상기 위치 파라미터는 상기 단말의 현재 위치의 위치 파라미터 정보와 상기 단말의 현재 위치를 나타내는 표식 중 적어도 하나를 포함한다.

선택적으로, 상기 단말은:

상기 단말이 상기 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 상기 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하도록 구성되어 있는 경고 유닛

을 더 포함한다.

도 7은 본 발명의 실시예에 따라 AR 객체를 발견하는 장치의 하드웨어에 대한 구조 블록도이다. 단말은 스마트 이동 단말 도는 머리 장착 장치와 같은 단말일 수 있고, 본 발명의 도 1 내지 도 5의 실시예에서 설명된 방법을 실행하도록 구성되어 있다. 설명을 쉽게 하기 위해, 본 실시예와 관련된 부분만을 설명한다.

도 7을 참조하면, 단말은 프로세서(71), 메모리(72), 및 버스(73)를 포함한다. 프로세서(71) 및 메모리(72)는 버스(73)를 사용하여 서로 통신하고; 메모리(72)는 프로그램을 저장하도록 구성되어 있으며; 프로세서(72)는 메모리(72)에 저장되어 있는 프로그램을 실행하도록 구성되어 있다. 실행될 때, 프로그램은:

미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 단말의 상태를 판정하고;

상기 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득하며; 그리고

상기 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하는 데 사용된다.

선택적으로, 상기 단말의 상태를 판정하는 단계는:

자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하는 단계

를 포함한다.

선택적으로, 상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정되는 것은:

미리 생성된 내비게이션 루트에 따라 AR 객체의 위치와 단말의 시작 위치 간의 거리를 획득하는 단계;

사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하는 단계;

상기 거리 및 상기 평균 이동 속도에 따라, 단말이 AR 객체의 근처에 도착하는 예상 시간을 계산하는 단계; 및

상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하는 단계

를 포함한다.

선택적으로, 실행될 때, 프로그램은:

획득된 픽처가 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 단말의 현재 위치 파라미터를 수집하고; 그리고

상기 위치 파라미터에 따라 상기 내비게이션 루트를 정정하는 데

추가로 사용된다.

선택적으로, 실행될 때, 프로그램은:

단말이 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하는 데 추가로 사용된다.

선택적으로, 상기 경고 정보는: 진동, 울림, 또는 발광 중 적어도 하나를 포함한다.

본 발명의 도 6에 도시된 실시예에 기초하여, 도 8은 본 발명의 실시예에 따라 AR 객체를 발견하는 시스템의 하드웨어에 대한 블록도이다. 도 8에 도시된 바와 같이, 본 발명의 도 6의 실시예에 설명된 장치의 관련 기능들은 도 8에 개별적으로 설치된 관련 하드웨어 기능 모듈을 사용하여 실행될 수 있으며, 이에 대해서는 여기서 다시 설명하지 않는다.

전술한 설명은 단지 본 발명의 예시적 실시예에 불과하며, 본 발명을 제한하려는 것이 아니다. 본 발명의 정신 및 원리를 벗어남이 없이 이루어지는 모든 변환, 등가의 대체, 개선은 본 발명의 보호 범위에 있다.

Claims

증강 현실(augmented reality: AR) 객체를 발견하는 방법으로서,
미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 상기 단말의 상태를 판정하는 단계;
상기 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득하는 단계;
이미지 인식 알고리즘을 사용하여 N개의 초점 객체를 상기 픽처로부터 추출하는 단계 - 상기 N은 1보다 크거나 같은 정수임 - ;
고속 및 저 정확도 알고리즘을 사용하여 상기 N개의 초점 객체 중 M개의 초점 객체를 처리하는 단계 - 상기 M은 1보다 크거나 같은 정수이며 N보다 작거나 같음 - ;
정확도 인식 알고리즘을 사용하여 상기 N개의 초점 객체 중 N-M개의 초점 객체를 처리하는 단계;
상기 픽처 내의 상기 N개의 초점 객체 중 상기 N-M개의 초점 객체 및 상기 M개의 초점 객체가 상기 AR 객체를 포함하는지 판정하는 단계; 및
상기 획득된 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하는 단계
를 포함하는 증강 현실 객체를 발견하는 방법.
제1항에 있어서,
상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정되는 것은,
상기 미리 생성된 내비게이션 루트에 따라 상기 AR 객체의 위치와 상기 단말의 시작 위치 간의 거리를 획득하는 단계;
사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하는 단계;
상기 거리 및 상기 평균 이동 속도에 따라, 상기 단말이 상기 AR 객체의 근처에 도착하는 예상 시간을 계산하는 단계; 및
상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하는 단계
를 포함하는, 증강 현실 객체를 발견하는 방법.
제1항 또는 제2항에 있어서,
상기 획득된 픽처가 상기 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 상기 단말의 현재 위치 파라미터를 수집하는 단계; 및
상기 위치 파라미터에 따라 상기 내비게이션 루트를 정정하는 단계
를 더 포함하는 증강 현실 객체를 발견하는 방법.
제3항에 있어서,
상기 위치 파라미터는 상기 단말의 현재 위치의 위치 파라미터 정보와 상기 단말의 현재 위치를 나타내는 표식 중 적어도 하나를 포함하는, 증강 현실 객체를 발견하는 방법.
제1항 또는 제2항에 있어서,
상기 단말의 상태를 판정하는 단계는,
자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하는 단계
를 포함하는, 증강 현실 객체를 발견하는 방법.
제1항 또는 제2항에 있어서,
상기 단말이 상기 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 상기 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하는 단계
를 더 포함하는 증강 현실 객체를 발견하는 방법.
단말로서,
프로세서와 메모리를 포함하고,
상기 프로세서는 상기 메모리에 저장되어 있는 프로그램을 실행하도록 구성되어 있고,
실행될 때, 상기 프로그램은,
미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 상기 단말의 상태를 판정하고;
상기 단말이 탐색 상태에 있는 것으로 판정될 때, 카메라를 시작하고 픽처를 획득하고;
이미지 인식 알고리즘을 사용하여 N개의 초점 객체를 상기 픽처로부터 추출하고 - 상기 N은 1보다 크거나 같은 정수임 - ;
고속 및 저 정확도 알고리즘을 사용하여 상기 N개의 초점 객체 중 M개의 초점 객체를 처리하고 - 상기 M은 1보다 크거나 같은 정수이며 N보다 작거나 같음 - ;
정확도 인식 알고리즘을 사용하여 상기 N개의 초점 객체 중 N-M개의 초점 객체를 처리하고;
상기 픽처 내의 상기 N개의 초점 객체 중 상기 N-M개의 초점 객체 및 상기 M개의 초점 객체가 상기 AR 객체를 포함하는지 판정하고;
상기 픽처가 상기 AR 객체를 포함할 때, 상기 AR 객체를 통지하는 데 사용되는, 단말.
제7항에 있어서,
상기 프로그램은,
상기 미리 생성된 내비게이션 루트에 따라 상기 AR 객체의 위치와 상기 단말의 시작 위치 간의 거리를 획득하고;
사용자에 의해 미리 선택된 이동 방식에 따라, 상기 이동 방식의 평균 이동 속도를 획득하고;
상기 거리 및 상기 평균 이동 속도에 따라, 상기 단말이 상기 AR 객체의 근처에 도착하는 예상 시간을 계산하고;
상기 단말이 상기 단말의 시작 위치로부터 시작하여 상기 예상 시간을 이동한 후, 상기 AR 객체의 근처에 도착하는 것으로 판정하는 데 더 사용되는, 단말.
제7항 또는 제8항에 있어서,
상기 프로그램은,
상기 픽처가 상기 AR 객체를 포함하지 않을 때, 내비게이션 및 포지셔닝 시스템을 사용하여 상기 단말의 현재 위치 파라미터를 수집하고;
상기 위치 파라미터에 따라 상기 내비게이션 루트를 정정하는 데 사용되는, 단말.
제9항에 있어서,
상기 위치 파라미터는 상기 단말의 현재 위치의 위치 파라미터 정보와 상기 단말의 현재 위치를 나타내는 표식 중 적어도 하나를 포함하는, 단말.
제7항 또는 제8항에 있어서,
상기 프로그램은 구체적으로, 상기 미리 생성된 내비게이션 루트 및 단말의 이동 속도에 따라, 미리 선택된 AR 객체의 근처에 도착한 것으로 판정될 때, 자이로스코프 및 사전설정된 기능이 사용되는지에 따라, 상기 단말이 탐색 상태에 있는지를 판정하는 데 사용되는, 단말.
제7항 또는 제8항에 있어서,
상기 프로그램은, 상기 단말이 상기 AR 객체의 근처에서 불규칙적으로 이동하고 최종적으로 상기 AR 객체에서 멀어지는 것으로 판정될 때, 경고 정보를 출력하는 데 사용되는, 단말.