KR20120116478A

KR20120116478A - 궤적 기반 위치 결정을 이용한 이미지 식별

Info

Publication number: KR20120116478A
Application number: KR1020127021156A
Authority: KR
Inventors: 아놀드 제이슨 검; 라이오넬 가린
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-01-12
Filing date: 2011-01-12
Publication date: 2012-10-22
Also published as: CN105608169A; CN102714684A; KR101436223B1; WO2011088135A1; US20110169947A1; CN102714684B; JP5607759B2; EP2524493A1; TW201142633A; JP2013517567A

Abstract

여기서 개시된 대상은 휴대용 모바일 디바이스 (300) 의 이미징 디바이스를 이용하여 타겟 객체 (310, 320, 330) 에 관한 정보를 취득하는 것에 관한 것이다. 그 디바이스의 근사 포지션 및 하나 이상의 회전 각도들이 그것의 아이덴티티를 결정하는데 사용되는 타겟 객체의 위치를 추정하는데 사용된다. 타겟 객체를 설명한느 정보가 그 후 디스플레이될 수도 있다.

Description

궤적 기반 위치 결정을 이용한 이미지 식별{IMAGE IDENTIFICATION USING TRAJECTORY-BASED LOCATION DETERMINATION}

여기서 개시된 대상은 휴대용 모바일 디바이스의 이미징 디바이스를 이용하여 타겟 객체 (target object) 에 관하여 정보를 취득하는 것에 관한 것이다.

셀 전화기 또는 개인 디지털 보조기 (PDA) 와 같은 디지털 카메라를 포함하는 휴대용 모바일 디바이스는, 인기가 계속 증가하고 있다. 그러한 디바이스들은 나중에 보게 될 다수의 사진들을 저장할 수도 있다. 사진들은 사진이 찍힌 시간, 픽셀 사이즈, 개구 (aperture), 및 노출 설정 등에 관한 정보와 함께 저장될 수 있다. 그러나, 사진에서의 객체에 관한 정보가 바람직할 수 있다.

일 구현형태에서, 프로세스는, 휴대용 모바일 디바이스의 근사 포지션을 결정하는 것; 휴대용 모바일 디바이스에 고정되게 장착된 이미징 디바이스를 이용하여 하나 이상의 타겟 객체들의 이미지를 캡쳐링하는 것; 조종에 응답하여 휴대용 모바일 디바이스의 센서들로부터 획득된 측정들에 적어도 부분적으로 기초하여 근사 포지션에 관하여 휴대용 모바일 디바이스의 하나 이상의 회전 각도들을 결정하는 것; 근사 포지션 및 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 하나 이상의 타겟 객체들 중에서 선택되는 선택된 타겟 객체의 위치를 추정하는 것; 선택된 타겟 객체의 추정된 위치 및 캡쳐링된 이미지에 적어도 부분적으로 기초하여 선택된 타겟 객체의 아이덴티티를 수신하는 것; 및 수신된 아이덴티티에 적어도 부분적으로 기초하여 선택된 타겟 객체를 설명하는 정보를 휴대용 모바일 디바이스 상에 디스플레이하는 것을 포함할 수도 있다. 그러나, 이것은 전반에 있어서 개시되고 논의되는 방법들의 단지 특정 예이고, 청구 대상은 이 특정 예에 한정되지 않는다고 이해되어야 한다.

비제한적이며 비망라적인 (non-exhaustive) 특징들이 다음의 도면들과 관련하여 설명될 것이며, 여기서 동일한 참조 부호들은 여러 도면들 전체에 걸쳐 동일한 부분들을 참조한다.
도 1은 일 구현형태에 따른, 이미지 캡쳐링 디바이스 및 타겟 객체를 나타내는 개략도이다.
도 2는 일 구현형태에 따른, 위성 포지셔닝 시스템 (satellite positioning system; SPS) 의 개략도이다.
도 3은 일 구현형태에 따른, 타겟 객체들로 향하게 되는 이미지 캡쳐링 디바이스를 나타내는 개략도이다.
도 4는 일 구현형태에 따른, 타켓 객체들로 향하게 되는 이미지 캡쳐링 디바이스에 결합된 뷰파인더 (viewfinder) 이미지를 표현하는 개략도이다.
도 5는 일 구현형태에 따른, 타겟 객체들을 포함하는 캡쳐링된 이미지를 표현하는 개략도이다.
도 6은 일 구현형태에 따른, 타겟 객체에 관한 정보를 취득하기 위한 프로세스를 도시하는 흐름도이다.
도 7은 일 구현형태에 따른, 타겟 객체를 식별하기 위한 프로세스를 도시하는 흐름도이다.
도 8은 일 구현형태에 따른, 디스플레이를 표현하는 개략도이다.
도 9는 일 구현형태에 따른, 모바일 디바이스의 모션을 감지하고 무선 네트워크와 통신할 수 있는 모바일 디바이스의 개략도이다.

"일 예", "일 특징", "예", "특징" 에 대한 이 명세서 전반에 걸친 기준은 그 특징 및/또는 예와 관련하여 설명된 특정 특징, 구조, 또는 특성이 청구 대상의 적어도 하나의 특징 및/또는 예에 포함된다는 것을 의미한다. 따라서, 이 명세서 전반에 걸친 각종의 장소들에서 "일 예에서" , "예", "일 특징에서" 또는 "특징" 이라는 구의 모습들은 반드시 모두 동일한 특징 및/또는 예를 지칭하는 것은 아니다. 또한, 특정 특징들, 구조들, 또는 특성들은 하나 이상의 예들 및/또는 특징들에서 조합될 수도 있다.

여기서 설명된 구현형태들은, 휴대용 모바일 디바이스 (handheld mobile device; HMD) 에 결합된 디스플레이에 나타난 사진에서의 특정 타겟 객체를 선택한 후, 특정 타겟 객체에 관한 정보를 식별하고 이어서 그 정보를 수신하기 위해 휴대용 모바일 디바이스 (HMD) 를 이용하는 것을 포함한다. 예를 들어, 그러한 타겟 객체는, 단지 몇몇 예를 들자면, 빌딩 또는 조각상을 포함할 수도 있다. HMD의 그러한 디스플레이 및 사용자 인터페이스를 이용하여, 사용자는 캡쳐링된 이미지에서의 몇몇 디스플레이된 타겟 객체들 중에서 특정 타겟 객체를 선택할 수도 있다. 타겟 객체를 선택할 때, HMD는 아래에서 상세히 설명되는 바와 같이, 그러한 선택된 타겟 객체를 식별하는 프로세스를 거칠 수도 있다.

특정 구현형태에서, HMD가 아직 HMD의 메모리에 그러한 정보를 보유하고 있지 않다면, 특정 타겟 객체의 선택은 HMD가 원격 소스로부터 특정 타겟 객체에 관한 정보를 취득하는 결과가 될 수도 있다. 예를 들어 지상의 기지국과 같은 그러한 원격 소스는, 타겟 객체를 식별하는데 사용될 수도 있다. 그러한 원격 소스는, 예를 들어, 그러한 서비스에 가입한 사용자에게 어느 객체들 (예를 들어, 타겟 객체들) 이 관심으로 될 수 있는지를 결정하는 서비스에 의해 생성되고/되거나 보유되는 타겟 객체 정보를 포함하는 데이터베이스를 포함할 수도 있다. 그러한 정보는 타겟 객체에 관한 사실들 및/또는 타겟 객체의 이력을 포함할 수도 있다. 그러한 정보의 적어도 일부분은, 청구 대상이 거기에 한정되지는 않지만, HMD에 결합된 디스플레이에 나타날 수도 있다.

특정 예를 도시한다면, 다수의 대형 박물관은, 특수 휴대용 디바이스를 (예를 들어, 돈을 지불하여) 제공할 수도 있으며, 그러한 디바이스는 작품의 개별 객체에 아주 근접한 동안 그러한 작품의 특정 객체에 관한 정보를 디스플레이하거나 가청으로 말하도록 구성된다. 그러한 경우에, 박물관은 작품의 개별 객체의 근처에서 송신되는 무선 신호들을 통해 그러한 정보를 제공할 수도 있다. 그러나, 위에서 설명된 HMD의 일 구현형태에서, 박물관에 의해 제공되는 특수 휴대용 디바이스는 작품의 그러한 객체들에 관한 정보를 제공할 수 없을 수도 있다. 대신에, 사용자의 개인 HMD (예를 들어, 셀 전화기) 가 박물관과 상호작용 없이 정보를 수집하는데 사용될 수도 있으며, 왜냐하면 그러한 정보는 박물관과는 독립적으로 제공될 수도 있기 때문이다. 예를 들어, 그러한 HMD는, 아래에서 상세히 설명되는 바와 같이, 작품의 선택된 특정 객체에 관한 정보를 식별하고/하거나 수집하기 위해 작품의 객체들의 데이터베이스를 보유하는 서버와 무선으로 통신할 수도 있다. 그러한 경우, 사용자는 작품의 특정 객체에 관한 정보를 원할 수도 있으며, 이때 그 사용자는 그러한 객체의 이미지를 캡쳐링할 수도 있으며, HMD의 디스플레이에서 객체의 이미지를 선택할 수도 있다. 일 특정 구현형태에서, HMD는 선택된 객체에 관한 정보를 이미 저장할 수도 있고, 아니면 HMD는 객체를 식별하기 위해 그리고 그 객체에 관한 정보를 제공하기 위해 기지국에 요청을 송신할 수도 있다. 따라서, HMD는 그 후 기지국으로부터 요청된 정보를 수신할 수도 있으며, HMD는 그 후 사용자에게 그 정보를 디스플레이할 수도 있다. 물론, 그러한 특정 HMD의 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

도 1은 일 구현형태에 따른, HMD (150) 및 타겟 객체 (160) 를 나타내는 개략도이다. 그러한 HMD는 예를 들어, 타겟 객체 (160) 의 이미지를 캡쳐링하는 이미지 캡쳐링 디바이스를 포함할 수도 있다. 타겟 객체 (160) 에 관한 정보는 HMD (150) 에 고정되게 장착된 이미지 캡쳐링 디바이스를 사용함으로써 취득될 수도 있다. 예를 들어, 아래에서 설명되는 바와 같이, HMD (150) 의 포지션 (155) 이 여러 이용가능 포지셔닝 기법들 중의 임의의 하나를 이용하여 결정될 수도 있는 동안, 그러한 이미지 캡쳐링 디바이스는 타겟 객체 (160) 의 이미지를 캡쳐링하도록 포지셔닝될 (조준될) 수도 있다. 또한, HMD (150) 의 하나 이상의 회전 각도들이 결정될 수도 있다. 선택된 타겟 객체의 위치는 HMD의 결정된 포지션 및/또는 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 추정될 수도 있다. 예를 들어, 그러한 회전 각도들은 HMD (150) 와 타켓 객체 (160) 사이의 변위 (displacement; 170) 를 추정하는데 사용될 수도 있다. 또한, 포지션 (155) 및 추정된 변위 (170) 는 타겟 객체 (160) 의 위치를 추정하는데 사용될 수도 있다. 타켓 객체 (160) 의 그러한 추정된 위치 및 캡쳐링된 이미지를 이용하여, 선택된 타겟 객체의 아이덴티티 (identity) 가 결정될 수도 있다. HMD (150) 는 그 후 식별된 타켓 객체 (160) 에 관한 정보를 취득할 수도 있다. HMD (150) 는 그러한 식별된 타겟 객체 및/또는 연관된 정보를 디스플레이하는 디스플레이 디바이스 (도 3) 을 포함할 수도 있다.

그러한 일 구현형태의 예로서, 사용자는, 셀룰러 전화기에 포함된 카메라를 사용자가 정보를 원하는 특정 빌딩을 향하여 조준할 수도 있다. 그러한 셀룰러 전화기는 하나 이상의 포지셔닝 기술들을 이용하여 그 위치를 결정하도록 가능하게 될 수도 있다. 그러한 셀룰러 전화기는 또한 특정 기준 방향 (direction) 에 대하여 셀룰러 전화기의 회전 각도들 중의 하나 이상을 결정하도록 가능하게 될 수도 있다. 예를 들어, 뉴저지, 커니의 브로드웨이 및 실반 거리의 코너에 위치된 사용자는, 카메라를 특정 빌딩으로 조준하면서 북쪽의 10 도 서쪽으로 카메라를 향하게 할 수도 있다. 사용자가 특정 빌딩의 사진을 찍는 경우, 카메라를 포함할 수도 있는 셀룰러 전화기의 그러한 포지션 및/또는 회전 각도들이 사진과 함께 기록될 수도 있다. 그러한 포지션 정보, 하나 이상의 회전 각도들 및/또는 특정 빌딩의 이미지에 적용되는 이미지 인식 프로세스를 이용하여, 그 특정 빌딩의 아이덴티티가 결정될 수도 있다. 그러한 식별을 이용하여, 특정 빌딩에 관한 정보가 디스플레이될 수도 있다. 셀룰러 전화기는 그러한 정보를 포함할 수도 있고/있거나, 그러한 정보가 셀룰러 전화기로부터의 그러한 정보의 요청에 응답하여 지상 기지국으로부터 무선으로 제공될 수도 있다. 물론, 타겟 객체에 관한 정보를 취득하는 그러한 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

일 구현형태에서, HMD의 포지션을 설명하는 포지션 정보는 사용자에 의해 HMD에게 제공될 수도 있고/있거나, 몇몇의 이용가능 포지셔닝 기법들 중의 어느 하나를 이용하여 결정될 수도 있다. 그러한 포지셔닝 기법들의 리스트는, 단지 몇몇 예를 들자면, 위성 포지셔닝 시스템 (SPS), 개인 영역 네트워크 (PAN), 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN), 울트라-광대역 (Ultra-wideband; UWB), AFLT, 디지털 TV, 무선 중계기, RFID, 무선-위치 비컨 (radio-location beacon), 셀 타워 ID, 및/또는 블루투스를 포함할 수도 있다. 일부 포지셔닝 기법들은 다른 포지셔닝 기법들에 비하여 덜 정밀한 포지션 정보를 제공할 수도 있다. 예를 들어, 덜 정밀한 포지션 정보는 HMD의 위치를, 빌딩, 도시 블록, 및 주 (state) 등과 같은 상대적으로 큰 영역 내까지만 지적 (pinpoint) 할 수도 있다. 도시하자면, 포지션 정보는 HMD가 커니 (Kearny) 라는 도시에 위치된다는 것 또는 HMD가 샌프란시스코의 금융 지역의 지하철 역에 또는 그 지하철 역 내에 위치된다는 것을 확립할 수도 있다. 상대적으로 정밀하지 않은 포지션 정보의 그러한 경우, 더욱 정밀한 포지션 정보를 결정하기 위해, HMD는 추가적인 정보, 예컨대 수동으로 입력되는 사용자 입력들, 센서 정보, 및/또는 이미지 인식 기법들을 활용할 수도 있다. 그러한 향상된 포지션 정보는 그 후 그러한 포지션에서 HMD에 의한 이미지에서 캡쳐된 타겟 객체의 아이덴티티를 결정하는데 사용될 수도 있다. 물론, 포지션 정보를 취득하는 그러한 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

다른 일 구현형태에서, 사용자는 타겟 객체 상에 조명된 지점 (spot) 을 생성하기 위해 광빔을 타겟 객체 상으로 향하게 하도록 HMD를 조종 (maneuver) 할 수도 있다. HMD는 이어서 타겟 객체의 캡쳐링된 이미지에서 그러한 조명된 지점을 검출한다. 따라서, 타겟 객체는 검출된 조명된 지점에 적어도 부분적으로 기초하여 선택되고 또한 식별될 수도 있다. 예를 들어, 캡쳐링된 이미지는 다수의 타겟 객체들을 포함할 수도 있으며, 여기서 HMD는 특정 타겟 객체 상에 조명된 지점을 검출함으로써 선택된 타겟 객체를 결정할 수도 있다.

다른 일 구현형태에서, 사용자는 범위 측정 빔 (range-finding beam) 을 타겟 객체 상으로 향하게 하도록 HMD를 조종할 수도 있다. 그러한 HMD는, 사운드, 광, IR 및/또는 RF 에너지를 방출하고 수신하는 방출기 및 수신기, 방출된 에너지가 타겟 객체로 및 타겟 객체로부터 이동하는 때 방출된 에너지의 전파 시간 (propagation time) 을 결정하는 시간 모듈, 및/또는 타겟 객체까지의 거리를 결정하는 프로세서를 포함할 수도 있다. 다른 구현형태에서, 사용자는 적어도 하나의 범위 측정 빔을 타겟 객체 상으로 향하게 하여 그 적어도 하나의 범위 측정 빔의 발산 (divergence) 이 결정될 수도 있다. 결정된 발산으로부터, 타겟 객체까지의 거리가 결정될 수도 있다. 예를 들어, 타겟 객체 상에 더 큰 지점 사이즈는 더 작은 지점 사이즈에 대한 것보다 타겟 객체가 더 멀리 떨어져 있다는 것을 암시할 수도 있다. 따라서, 선택된 타겟 객체의 아이덴티티는, HMD의 위치 및/또는 방위 (orientation), 및 몇몇 기법들 중의 어느 하나를 이용하여 측정된 HMD로부터의 타겟 객체의 결정된 거리에 적어도 부분적으로 기초하여, 결정될 수도 있다. 물론, 타겟 객체를 식별하기 위해 거리를 이용하는 것인 그러한 프로세스는 단지 예이고, 청구 대상은 이에 한정되지 않는다.

도 2는 일 구현형태에 따른, 타겟 객체를 식별하기 위해 서로 통신할 수도 있는 컴포넌트들의 시스템 (207) 을 나타낸다. 특히, HMD (204) 는, 위성 내비게이션 신호들 (210) 을 수신할 수 있고 기지국 (208) 으로/으로부터 무선 통신 신호들 (212) 을 송신/수신할 수 있는 각종 모바일 수신기들 중의 임의의 하나를 포함할 수도 있다. HMD (204) 는 또한 타겟 객체 (260) 와 시각적으로 접촉할 수도 있다. 신호들 (210) 은, 예를 들어, 위성체 (satellite vehicle; SV) 들 (206) 과 같은 기준국 (reference station) 들로부터 및/또는 지상의 비컨 (land-based beacon) 들 또는 기지국 (208) 들과 같은 지상 위치들로부터 송신될 수도 있다. HMD (204) 는, 단지 몇몇 예를 들자면, 모바일 전화기, 휴대용 내비게이션 수신기, 및/또는 개인 디지털 보조기 (PDA) 를 포함할 수도 있다. 위에서 언급된 바와 같이, HMD (204) 는 그것의 포지션을 계산하기 위해 몇몇 기법들을 중 임의의 것을 채용할 수도 있다. 특정 구현형태에서, 그러한 포지셔닝 기법은, 위성들 (206) 및/또는 지상의 기지국들 (208) 로부터 수신되는 무선 신호들 (210) 및/또는 무선 신호들 (212) 각각에 적어도 부분적으로 기초할 수도 있다. 일부 구현형태들에서, HMD (204) 는 음성 및/또는 데이터 통신에 대해 SPS 수신기 및 무선 통신 디바이스 양자를 통합할 수도 있다. 따라서, SPS 시스템의 특정 예가 여기서 설명될 수도 있지만, 그러한 원리들 및 기법들은 다른 위성 포지셔닝 시스템들 또는 지상 포지셔닝 시스템들 예컨대 무선 네트워크에 적용가능할 수도 있다. 물론, 시스템 (207) 의 그러한 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

도 3은 일 구현형태에 따른, 타겟 객체들 (310, 320, 및/또는 330) 로 향하게 되는 HMD (300) 를 나타내는 개략도이다. HMD (300) 는 이미지 캡쳐링 디바이스 (302), 디스플레이 (304), 키패드 (306), 및/또는 안테나 (308) 를 포함할 수도 있다. 그러한 이미지 캡쳐링 디바이스 (예를 들어, 카메라) 는 디스플레이 (304) 에서 뷰파인더 이미지 및/또는 캡쳐링된 이미지를 디스플레이할 수도 있다. HMD (300) 는 아래에서 상세히 설명되는 바와 같이, 하나 이상의 애플리케이션들을 호스팅하는 (host) 특수 목적 프로세서 (도 9) 를 포함할 수도 있다. HMD (300) 는 예를 들어 터치 스크린을 포함할 수도 있는 디스플레이 (304) 및/또는 캐패드 (306) 와 같은 하나 이상의 사용자 인터페이스들을 포함할 수도 있다. 안테나 (308) 는 여러 신호들을, 예컨대 포지셔닝 시스템으로부터, 및/또는 기지국에/으로부터, 송신 및/또는 수신하는 HMD (300) 에 의해 사용되는 송신기/수신기 (도 9) 의 일부분을 포함할 수도 있다. 일 애플리케이션에서, HMD (300) 는, 캡쳐링된 이미지가 어느 특정 타겟 객체에 관해 중심 (center) 에 있도록 향하게 되거나 조준될 수도 있다. 이미지 캡쳐링 디바이스 (300) 에 대한 뷰파인더로서 사용되는 디스플레이 (304) 는, 장면의 어느 부분이 이미지로서 캡쳐링될지를 결정하는데 사용자를 보조할 수도 있는 이미지 경계 또는 시야각 (340) 및 이미지 중심 라인 (350) 을 정의하는 뷰파인더 (도 4) 를 포함할 수도 있다. 예를 들어, 다수의 타겟 객체들 (310, 320, 및/또는 330) 은 시야각 (340) 내에 포함될 수도 있고, 이미지 캡쳐링 디바이스 (300) 는 타겟 객체 (320) 가 캡쳐링된 이미지에서 중심에 놓이도록 조준될 수도 있다. 그러한 타겟 객체들은, 단지 몇몇 예를 들자면, 사람들, 빌딩들, 조각상들, 호수들, 산들, 및/또는 랜드마크들을 포함할 수도 있다. 그러한 타겟 객체들이 이미지에서 캡쳐링될 수도 있지만, 예를 들어 사람들과 같은 타겟 객체들 모두가 여기서 개시된 프로세스들 및/또는 기법들에 의해 식별될 수도 있는 것은 아니다. 예를 들어, 한 사람이 사진 (캡쳐링된 이미지) 을 위해 링컨 기념관 옆에서 포즈를 취할 수도 있다. 그러한 기념물은 아래에서 설명되는 바와 같이 식별될 수도 있지만, 그 사람 및 캡쳐링된 이미지 내의 다른 객체들은 식별될 필요가 없다. 어느 타겟 객체가 식별되어야 될지를 식별하기 위한 프로세스가 아래에서 상세히 설명될 것이다.

도 4는 일 구현형태에 따른, 타겟 객체들 (410, 420, 및 430) 로 향하게 되는 이미지 캡쳐링 디바이스 (300) 와 같은 이미지 캡쳐링 디바이스의 뷰파인더 이미지 (400) 를 표현하는 개략도이다. 위에서 언급된 바와 같이, 그러한 뷰파인더 이미지는 디스플레이 (304) 에 의해 나타날 수도 있다. 시야각 (340) 은 뷰파인더 이미지 (400) 의 에지 (edge) 들을 정의할 수도 있다. 중심선 (350) 은, 예를 들어, 십자선들, 원, 및/또는 사용자에게 이미지 중심을 나타내는 다른 심볼 또는 구성을 포함할 수도 있는 이미지 중심 (460) 을 정의할 수도 있다. 뷰파인더 이미지 (400) 는 광 레벨, 셔터 스피드, 및 찍은 사진들 수 등과 같은 사진 정보 (미도시) 를 포함할 수도 있다. 물론, 그러한 뷰파인더 이미지의 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

도 5는 일 구현형태에 따른, 타겟 객체들 (510, 520, 및 530) 을 포함하는 캡쳐링된 이미지 (500) 를 표현하는 개략도이다. 그러한 타겟 객체들은 예를 들어 라벨들 (515, 525, 및/또는 535) 과 같은 오버레이 (overlay) 되고/되거나 중첩된 객체 지정자들에 의해 라벨링될 (labeled) 수도 있다. 예를 들어, 그러한 라벨들은 타겟 객체들 상에 중첩된 반투명 번호들 및/또는 글자들을 포함할 수도 있다. 그러한 라벨링은 사용자가 복수의 타겟 객체들 중에서 특정 타겟 객체를 선택하는 방법을 제공할 수도 있다. 일 특정 구현형태에서, HMD는 캡쳐링된 이미지에서 포함되는 타겟 객체들 어느 것이 식별가능한지를 결정할 수도 있으며, 따라서 그러한 식별된 타켓 객체들 상으로 라벨들을 배치할 수도 있다. HMD는 이미지 인식 기법을 이용하여 캡쳐링된 이미지를 분석하여 캡쳐링된 이미지 중의 어느 부분들이 타겟 객체를 포함는지 및 어느 부분들이 단순히 배경 이미지들을 포함하는지를 결정할 수도 있다. 예를 들어, 캡쳐링된 이미지는 배경 이미지들로 둘러싸인 캡쳐링된 이미지의 중심 구역에 3 개의 인접하는 조각상들을 포함할 수도 있다. 그러한 경우, 이미지 인식 기법들은 캡쳐링된 이미지의 어느 부분들이 타겟 객체들 (예를 들어, 조각상들) 인지 및 어느 부분들이 단순히 배경 이미지들인지를 결정하는데 사용될 수도 있다. 그러한 타겟 객체들이 그러한 프로세스 동안 성공적으로 식별되는 경우, 그 후 HMD는 위에서 설명된 바와 같이 타겟 객체들을 라벨링할 수도 있다. 다른 구현형태에서, 그러한 라벨들의 부재시에, 사용자는, 예를 들어 특정 타겟 객체들을 선택하기 위해 디스플레이된 캡쳐링된 이미지에서의 특정 타겟 객체로 아이콘 또는 심볼을 내비게이팅 (navigate) 하도록, 마우스 및/또는 터치 패드와 같은 포인팅 디바이스를 통해 특정 타겟 객체를 선택할 수도 있다. 또 다른 구현형태에서, HMD는, 디스플레이된 캡쳐링된 이미지에서의 다수의 타겟 객체들 중에서 어느 타겟 객체가 현재 선택되는지를 표시하기 위해, 디스플레이 디바이스에 선택 표시자 또는 심볼을 디스플레이할 수도 있다. 그러한 표시는, 단지 몇몇 예들을 들자면, 캡쳐링된 이미지의 다른 부분들과 비교하여 선택을 밝게 함으로써, 선택 주위의 프레임을 디스플레이함으로써, 및/또는 선택의 이미지 사이즈를 증가시킴으로써, 현재 선택을 하일라이팅하는 것을 포함할 수도 있다. 사용자는 그 후 디스플레이된 캡쳐링된 이미지에서의 타겟 객체들 중에서 점프하도록 선택 표시자의 일부분을 토클링 (toggle) 할 수도 있다. 예를 들어, 사용자는 하나의 타겟 객체로부터 다음의 타겟 객체로의 각각의 선택 점프를 위해 키 (key) 를 한번 누를 수도 있다. 따라서, 사용자는 그 후, 그러한 선택 표시자의 포지션에 적어도 부분적으로 기초하여, 디스플레이된 캡쳐링된 이미지에서의 하나 이상의 타겟 객체들을 선택할 수도 있다.

도 6은 일 구현형태에 따른, 타겟 객체에 관한 정보를 취득하기 위한 프로세스 (600) 의 흐름도이다. 블록 (610) 에서, 사용자는 이미징 캡쳐링 디바이스를 사용자 정보를 원하는 타겟 객체로 향하게 할 수도 있다. 사용자는, 예를 들어 이미지 중심 (460) 에 의해 표시되는 바와 같이, 그러한 타겟 객체가 뷰파인더 이미지의 적어도 거의 중심에 있도록, 이미지 캡쳐링 디바이스를 조준할 수도 있다. 대안적으로, 사용자는 예를 들어 위에서 설명된 바와 같이 이미지를 캡쳐링하는 것 후에 다수의 타겟 객체들 중에서 그러한 타겟 객체를 선택할 수도 있다. 블록 (620) 에서, HMD는 그 HMD의 포지션을 적어도 근사적으로 결정할 수도 있다. 그러한 결정은 예를 들어 때때로, 계속적으로, 주기적으로, 또는 블록 (630) 에서와 같이 이미지를 캡쳐링하는 것의 결과로, 이루어질 수도 있다. 유사하게, 블록 (640) 에서, HMD는, 예를 들어 때때로, 계속적으로, 주기적으로, 또는 블록 (630) 에서와 같이 이미지를 캡쳐링하는 것의 결과로, 그 HMD의 방위를 결정할 수도 있다. 일 특정 구현형태에서, 그러한 HMD는 하나 이상의 방위 각들을 결정하는 하나 이상의 센서들을 포함할 수도 있다. 예를 들어, 그러한 센서들은, 몇몇 예를 들자면, 가속도계, 자기력계 (magnetometer), 콤파스, 압력 센서, 및/또는 자이로 (gyro) 를 포함할 수도 있다. 따라서, 그러한 센서들은 이미지 캡쳐링 프로세스 동안 HMD의 방향, 고도, 및 경사 등을 측정할 수도 있다. 그러한 센서 정보는 예를 들어, 메모리에 저장될 수도 있고, 캡쳐링된 이미지와 연관될 수도 있다. 물론, 그러한 센서의 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

블록 (650) 에서, 선택된 타겟 객체의 위치가, 선택된 타겟의 이미지를 캡쳐링하는 HMD의 결정된 포지션 및 결정된 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여, 추정될 수도 있다. 예를 들어, HMD는, 선택된 타겟 객체가 수평 위 10 도의 경사에서 HMD의 북쪽의 20 도 서쪽으로 위치되어 있다고 결정할 수도 있다. 그러한 HMD는 또한, 예를 들어, SPS 기술을 통해 결정되는 측지 포지션 (geodetic position) 과 같은 그 HMD의 포지션을 결정할 수도 있다. 일 특정 구현형태에서, 회전 각도들은 HMD와 타겟 객체 사이의 변위를 추정할 수도 있다. 또한, 결정된 HMD 포지션 및 그러한 추정된 변위는 타겟 객체의 위치를 추정하는데 사용할 수도 있다. 블록 (660) 에서, 그러한 위치 추정 및/또는 이미지 인식 프로세스를 이용하여, 선택된 타겟 객체의 아이덴티티가 아래에 더욱 상세히 설명되는 바와 같이 결정될 수도 있다. 블록 (670) 에서, 식별된 선택된 타겟 객체에 관한 정보가 HMD의 디스플레이에 나타날 수도 있다. 물론, 타겟 객체의 아이덴티티를 결정하는 그러한 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

도 7은 일 구현형태에 따른, 캡쳐링된 이미지에서의 타겟 객체를 식별하기 위한 프로세스 (700) 의 흐름도이다. 그러한 프로세스는 예를 들어 도 6에서의 블록 (660) 에서 수행된 프로세스를 포함할 수도 있다. 블록 (710) 에서, HMD의 포지션은 예를 들어 위에서 식별된 몇몇 기법들 중의 어느 하나를 이용하여 결정될 수도 있다. 그러한 포지션 결정은 근사적일 수도 있다. 예를 들어, 프로세스 (700) 에 있어서, HMD가 위치되는 도시, 카운티, 및/또는 구역을 결정하는 것으로 충분할 것이다. 대안적으로, 사용자는, 터치 스크린, 또는 키패드 등을 통해 위치를 입력함으로써 HMD의 위치를 수동으로 제공할 수도 있다.

블록 (720) 에서, HMD는, 그러한 포지션 결정 및/또는 사용자 입력에 적어도 부분적으로 기초하여 기지국으로부터 또는 다른 그러한 지상 엔티티 (entity) 로부터 식별 정보의 데이터베이스를 요청할 수도 있다. 그러한 데이터베이스는 HMD의 현재 위치를 둘러싸는 구역에서의 타겟 객체들에 관한 정보를 포함할 수도 있다. 일 구현형태에서, 위에서 언급된 바와 같이, 어느 객체들이 서비스에 가입한 사용자들에게 관심으로 될 수도 있는지를 결정하는 그러한 서비스에 의해 그러한 정보가 생성되고/되거나 보유될 수도 있다. 예를 들어, 뉴욕 시에 도착한 사용자는 HMD의 1 킬로미터 반경 내의 타겟 객체들에 관한 정보를 다운로드할 수도 있는 HMD를 휴대할 수도 있다. 그러한 반경의 사이즈는 그러한 반경 내의 타겟 객체들의 수 및/또는 HMD의 메모리 용량에 의존할 수도 있으나, 청구 대상은 이에 한정되지 않는다. 예를 들어, 뉴욕 시에서 일 킬로미터의 반경은 아리조나 사막 구역에서의 100 킬로미터의 반경과 동일한 수의 타겟 객체들 (예를 들어, 데이터베이스로 기록된 관심 객체들) 을 포함할 수도 있다. HMD는 타겟 객체 식별을 위해 사용될 현재 HMD 위치의 그러한 정보를 저장할 수도 있다. 식별 정보는, 선택된 타겟 객체를 식별하도록 HMD에 의해 수행될 수도 있는 이미지 인식 프로세스를 위해 사용될 이미지 정보를 포함할 수도 있다. 하나의 그러한 이미지 인식 프로세스는 예를 들어 미국특허출원 공개번호 US2007/0009159 호 (Fan) 에 설명되어 있다. 예를 들어, 그러한 정보는, 예를 들어 포지션 결정에 따라 HMD 근처에 위치되는 랜드마크들, 빌딩들, 조각상들, 및/또는 표지판들의 이미지들을 포함할 수도 있다. 일 특정 구현형태에서, HMD는, 때때로, 주기적으로, HMD의 위치에서의 실질적인 변화의 결과로 (예를 들어, 공항에 도착한 것), 및/또는 이미지를 캡쳐링하는 것의 결과로, 그러한 정보를 요청할 수도 있다. 따라서, 그러한 HMD는 HMD의 현재 위치에 관한 그러한 정보를 계속적으로 저장할 수도 있으며, HMD가 더 이상 위치되지 않는 구역에 관한 오래된 정보를 제거 (purge) 할 수도 있다. 그러한 메모리 업데이트/제거 프로세스는 예를 들어 HMD의 한정된 메모리 사이즈에 적응시킬 수도 있다.

블록 (730) 에서는, 블록 (710) 에서와 같이 HMD의 포지션이 보다 일찍 결정되었더라도, HMD는 그 HMD로 (사진을 찍은) 이미지를 캡쳐링하는 것에 대한 결과로서 그 HMD의 포지션의 결정을 다시 수행할 수도 있다. 또한, 위에서 설명된 바와 같이 기준 방향에 상대적인 HMD의 하나 이상의 각들과 같은 방위가 결정될 수도 있다. 그러나, HMD가 이미 최근 포지션 결정으로부터 취득된 현재 위치 정보를 충분히 포함하는 경우, 그 후 방위가 이미지 캡쳐할 때 결정되도록 블록 (730) 은 스킵되고/되거나 변형될 수도 있다.

블록 (740) 에서, 이미지 인식 프로세스 동안 선택된 타겟 객체의 이미지의 피쳐 (feature) 들이 HMD의 메모리에 저장된 하나 이상의 이미지들의 피쳐들과 비교될 수도 있다. 블록 (745) 에서, 매칭하는 이미지가 발견되는 경우, 그 후 타겟 객체가 식별될 수도 있다. 예를 들어, 선택된 타겟 객체가 자유의 여신상의 이미지를 포함할 수도 있다. 그러한 이미지의 하나 이상의 피쳐들은, 뉴욕시의 구역에서의 랜드 마크들 및 다른 객체들의 다수의 저장된 이미지들의 피쳐들의 데이터베이스와 비교될 수도 있다. 선택된 타겟 객체의 이미지가 알려진 엔티티 (본 예에서의 자유의 여신상) 의 이미지와 매칭하는 경우, 그러면 선택된 타겟 객체가 식별될 수도 있고, 그러한 데이터베이스는 타겟 객체에 관한 정보를 제공할 수도 있다. 다른 한편으로, 매칭이 발견되지 않는 경우, 프로세스 (700) 는 블록 (760) 으로 진행하며, 여기서는 더 큰 데이테베이스에 액세스될 수도 있다. 특정 일 구현형태에서, HMD는, 선택된 타겟 객체의 이미지의 적어도 일부분을 지상국 (land-based station) 또는 HMD로부터 원격인 다른 엔티티로 송신할 수도 있으며, 이미지 인식 프로세스가 그러한 지상국에서 수행될 것을 요청할 수도 있다. 물론, 이미지 정보의 그러한 더 큰 데이터베이스는 다른 모바일 디바이스에 위치될 수도 있으며, 청구 대상은 지상 엔티티에 한정되지 않는다.

블록 (770) 에서, 이미지 인식 프로세스 동안 선택된 타겟 객체의 이미지의 피쳐들이 기지국의 메모리에 저장된 하나 이상의 이미지들의 피쳐들과 비교될 수도 있다. 블록 (775) 에서, 매칭하는 이미지가 발견되는 경우, 그 후 타겟 객체가 식별될 수도 있다. 따라서, 기지국은 식별된 타겟 객체와 연관된 정보를 HMD에 송신할 수도 있다. 다른 한편으로, 매칭이 발견되지 않는 경우, 블록 (790) 에서, 기지국은 타겟 식별 프로세스가 성공적이지 않았다는 것을 나타내는 메시지를 HMD에 송신할 수도 있다. 물론, 식별 프로세스의 그러한 세부사항들은 단지 예들이고, 청구 대상은 이에 한정되지 않는다.

도 8은, 일 구현형태에 따른, 디스플레이 (800) 를 표현하는 개략도이다. HMD는 그러한 디스플레이를 포함할 수도 있으며, 그 디스플레이는 캡쳐링된 이미지의 섬네일 (thumbnail; 810), 선택된 타겟 객체 (830) 를 표시하는 그래픽들 (820), 및/또는 선택된 타겟 객체 (830) 에 관한 정보를 디스플레이하는 윈도우 (840) 를 포함할 수도 있다. 캡쳐링된 이미지의 감축된 사이즈 버전을 포함하는 그러한 섬네일 (810) 은 풀 사이즈 (full-size) 캡쳐링된 이미지에 비하여 더 작은 디스플레이 면적을 차지할 수도 있어, 디스플레이 (800) 로 하여금 윈도우 (840) 를 디스플레이하기 위한 영역을 포함할 수 있게 할 수도 있다. 그러한 방식으로, 디스플레이는, 선택된 타겟 객체 (830) 를 디스플레이하면서, 윈도우 (840) 에서 텍스트로서 디스플레이되는 타겟 객체에 관한 정보를 사용자에게 제공할 수도 있다. 물론, 그러한 디스플레이는 단지 예이고, 청구 대상은 이에 한정되지 않는다.

도 9는 일 구현형태에 따른, 무선 네트워크와 통신하고 디바이스의 모션을 감지할 수 있는 디바이스의 개략도이다. 그러한 디바이스는 이미지 캡쳐링 디바이스를 포함할 수도 있다. 일 특정 구현형태에서, 도 1에 나타낸 HMD (104) 와 같은 HMD는, 의사범위 (pseudorange) 측정들을 결정하기 위한 안테나 (914) 에서 수신된 SPS 신호들을 프로세싱할 수 있고 안테나 (910) 를 통해 무선 통신 네트워크와 통신할 수 있는 디바이스 (900) 를 포함할 수도 있다. 여기서, 무선 송수신기 (906) 는, 데이터, 음성, 및/또는 SMS 메시지들과 같은 기저대역 정보와 함께 RF 캐리어 (carrier) 신호를, RF 캐리어 상으로 변조하고, 그러한 기저대역 정보를 획득하기 위해 변조된 RF 캐리어를 복조하도록 구성될 수도 있다. 안테나 (910) 는 무선 통신 링크를 통해 변조된 RF 캐리어를 송신하고 무선 통신 링크를 통해 변조된 RF 캐리어를 수신하도록 구성될 수도 있다.

기저대역 프로세서 (908) 는, 무선 통신 링크를 통한 송신을 위해 중앙 프로세싱 유닛 (CPU; 902) 으로부터 송수신기 (906) 로 기저대역 정보를 제공하도록 구성될 수도 있다. 여기서, CPU (902) 는, 예를 들어, 환경적 감각 데이터, 모션 센서 데이터, 고도 데이터, (예를 들어, 가속도계로부터의) 가속도 정보, 다른 네트워크들 (예를 들어, 지그비 (ZigBee), 블루투스 (Bluetooth), 와이파이 (WiFi), 피어-투-피어 (peer-to-peer)) 에 대한 근접을 포함할 수도 있는 로컬 인터페이스 (916) 로부터 그러한 기저대역 정보를 획득할 수도 있다. 그러한 기저대역 정보는 또한, 예를 들어 디바이스 (900) 의 위치의 추정 및/또는 예를 들어 의사거리 측정들과 같은 동일한 것을 컴퓨팅하는데 사용될 수도 있는 정보와 같은, 포지션 정보, 및/또는 ES 포지션 정보를 포함할 수도 있다. 그러한 ES 포지션 정보는 또한 위에서 언급된 바와 같이 사용자 입력으로부터 수신될 수도 있다. CPU (902) 는 측정된 모션 데이터에 적어도 부분적으로 기초하여 디바이스 (900) 의 궤적을 추정하도록 구성될 수도 있다. CPU (902) 는 또한 후보 궤적들을 컴퓨팅할 수도 있다. 채널 디코더 (920) 는 기저대역 프로세서 (908) 로부터 수신된 채널 심볼들을 기초 소스 비트들로 디코딩하도록 구성될 수도 있다.

SPS 수신기 (SPS Rx; 912) 는 SV들로부터의 송신들을 수신하고 프로세싱하도록 구성될 수도 있으며, 프로세싱된 정보를 상관기 (918) 에 제공할 수도 있다. 상관기 (1918) 는 수신기 (912) 에 의해 제공된 정보로부터 상관 기능들을 유도하도록 구성될 수도 있다. 상관기 (918) 는 또한 송수신기 (906) 에 의해 제공되는 파일럿 신호들에 관한 정보로부터 파일럿 관련 상관 기능들을 유도하도록 구성될 수도 있다. 이 정보는 디바이스에 의해 무선 통신 네트워크를 취득하는데 사용될 수도 있다.

메모리 (904) 는, 프로세스들, 예들, 구현형태들, 또는 설명되었거나 제안된 이들의 예들 중의 하나 이상을 수행하도록 실행가능한 머신-판독가능 명령들을 저장하도록 구성될 수도 있다. 특수 목적 프로세서를 포함할 수도 있는 CPU (902) 는, 그러한 머신-판독가능 명령들을 액세스하고 실행하도록 구성될 수도 있다. 그러나, 이들은 단지 특정 양태에서 CPU에 의해 수행될 수도 있는 작업의 예들이고, 청구 대상은 이들 각각에 한정되지 않는다. 또한, 메모리 (904) 는 하나 이상의 미리결정된 후보 궤적들을 저장하도록 구성될 수도 있으며, 여기서 CPU (902) 는 추정된 궤도와 그 하나 이상의 미리결정된 후보 궤도들의 비교에 적어도 부분적으로 기초하여 디바이스 (900) 의 위치를 결정하도록 구성될 수도 있다. 특정 구현형태에서, CPU (902) 는 ES 포지션 정보에 적어도 부분적으로 기초하여 그 하나 이상의 미리결정된 후보 궤도들의 수를 감소시키도록 구성될 수도 있다.

일 구현형태에서, 모션 센서 (950) 는 디바이스 (900) 의 모션을 측정하기 위해 하나 이상의 트랜스듀서 (transducer) 들을 포함할 수도 있다. 그러한 트랜스듀서들은 예를 들어, 가속도계, 콤파스, 압력 센서, 및/또는 자이로를 포함할 수도 있다. 디바이스 (900) 의 그러한 모션은 회전 및/또는 병진을 포함할 수도 있다. 하나 이상의 그러한 모션들의 측정들은 메모리 (904) 에 저장될 수도 있으며, 그리하여 저장된 측정들은 예를 들어 위에서 설명된 바와 같이 디바이스 (900) 의 궤적을 결정하는데 사용을 위해 취출 (retrieve) 될 수도 있다.

일 구현형태에서, 이미지 캡쳐링 디바이스 (980) 는, 예를 들어, 전하 결합 디바이스 (CCD) 어레이 및/또는 광 센서들의 CMOS 어레이, 포커싱 광학기구 (focusing optics), 뷰파인더, 및/또는 CPU (902) 및 메모리 (904) 와 통신하는 인터페이싱 전자장치 (interfacing electronics) 를 포함하는 카메라를 포함할 수도 있다. 디스플레이 디바이스 (985) 는, 일부 구현형태들에서, 사용자 상호작용을 위한 수단을 제공하도록 터치 감도가 좋을 수도 있는 액정 디스플레이 (LCD) 를 포함할 수도 있다. 디스플레이 디바이스 (985) 는 이미지 캡쳐링 디바이스 (980) 에 대한 뷰파인더로서 동작할 수도 있지만, 청구 대상은 이에 한정되지 않는다. 이미지들은 메모리 (904) 에 저장되어 저장된 이미지들은 위에서 설명되는 바와 같이 선택된 타겟 객체로서 취출될 수도 있다.

여기서 설명된 방법론은 특정 특징들 및/또는 예들에 따른 애플리케이션들에 따라 결정되는 각종 수단으로 구현될 수도 있다. 예를 들어, 그러한 방법론은 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수도 있다. 예를 들어, 하드웨어 구현형태에 있어서, 프로세싱 유닛은, 하나 이상의 주문형 집적 회로 (ASIC) 들, 디지털 신호 프로세서 (DSP) 들, 디지털 신호 프로세싱 디바이스 (DSPD) 들, 프로그래머블 로직 디바이스 (PLD) 들, 필드 프로그래머블 게이트 어레이 (FPGA) 들, 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 여기에 설명된 기능들을 수행하도록 설계된 다른 디바이스 유닛, 및/또는 이들의 조합에 의해 구현될 수도 있다.

펌웨어 및/또는 소프트웨어 구현형태에서, 방법론들은, 여기서 설명되는 기능들을 수행하는 모듈들 (예를 들어, 절차들, 기능들, 기타 등등) 을 가지고 구현될 수도 있다. 명령들을 유형적으로 포함하는 임의의 머신-판독가능 매체가 여기서 설명된 방법론 등을 구현하는데 사용될 수도 있다. 예를 들면, 소프트웨어 코드들은 메모리에 에를 들어 이동국의 메모리에 저장될 수도 있고, 프로세서에 의해 실행될 수도 있다. 메모리는 프로세서의 내부 또는 프로세서의 외부에서 구현될 수도 있다. 여기서 사용되는 바와 같이 "메모리" 라는 용어는, 임의 타입의 장기, 단기, 휘발성, 비휘발성, 또는 다른 메모리를 가르키며, 임의의 특정 타입의 메모리, 메모리들 개수, 또는 메모리가 저장된 매체 타입에 제한되는 것은 아니다.

무선 단말기와 같은 엔티티는 데이터 및 다른 리소스들을 요청하기 위해 네트워크와 통신할 수도 있다. 셀룰러 전화기, 개인 디지털 보조기 (PDA), 또는 무선 컴퓨터를 포함하는 모바일 디바이스 (MD) 는 그러한 엔티티의 단지 몇몇 예들이다. 그러한 엔티티의 통신은, 통신 네트워크, 회로, 또는 다른 시스템 하드웨어의 리소스들을 청구할 수도 있는 네트워크 데이터를 액세스하는 것을 포함할 수도 있다. 무선 통신 네트워크들에서, 데이터는 네트워크에서 동작하는 엔티티들 중에서 요청되고 교환될 수도 있다. 예를 들어, HMD는 무선 통신 네트워크로부터 데이터를 요청하여, 네트워크 내에서 동작하는 HMD의 포지션을 결정할 수도 있다: 그 네트워크로부터 수신된 데이터는 그러한 포지션 결정에 유익하거나 아니면 바람직할 수도 있다. 그러나, 이들은 특정 양태에서 HMD와 네트워크 사이의 데이터 교환의 단순한 예들이고, 청구 대상은 이들 각각에 한정되지 않는다.

예시적인 특징들이라고 현재 고려되는 것을 도시하고 설명한 동안, 청구 대상을 벗어남 없이, 여러 다른 변형들이 이루어질 수도 있고, 균등물로 대체될 수도 있다는 것을 당업자는 이해할 것이다. 또한, 여기서 설명된 중심 개념을 벗어남 없이 청구 대상의 교시들에 특정 상황을 적응시키도록 다수의 변형들이 이루어질 수도 있다. 따라서, 청구 대상은 개시된 특정 예들에 한정되는 것이 아니라, 그러한 청구 대상은 또한 첨부된 청구항들의 범위 내에 해당하는 모든 양태들, 및 그들의 균등물들을 포함할 수도 있다는 것으로 의도된다.

Claims

휴대용 모바일 디바이스의 근사 포지션 (approximate position) 을 결정하는 단계;
상기 휴대용 모바일 디바이스에 고정되게 장착된 이미징 디바이스를 이용하여 하나 이상의 타겟 객체 (target object) 들의 이미지를 캡쳐링 (capturing) 하는 단계;
조종 (maneuvering) 에 응답하여 상기 휴대용 모바일 디바이스의 센서들로부터 획득된 측정들에 적어도 부분적으로 기초하여 상기 근사 포지션에 관하여 상기 휴대용 모바일 디바이스의 하나 이상의 회전 각도들을 결정하는 단계;
상기 근사 포지션 및 상기 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 객체들 중에서 선택되는 선택된 타겟 객체의 위치를 추정하는 단계;
상기 선택된 타겟 객체의 상기 추정된 위치 및 상기 캡쳐링된 이미지에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체의 아이덴티티 (identity) 를 수신하는 단계; 및
상기 수신된 아이덴티티에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체를 설명하는 정보를 상기 휴대용 모바일 디바이스 상에 디스플레이하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 캡쳐링된 이미지상에 하나 이상의 객체 지정자들을 오버레이 (overlay) 하는 단계; 및
상기 하나 이상의 객체 지정자들의 선택에 기초하여 상기 선택된 타겟 객체를 선택하는 단계를 더 포함하는, 방법.
제 2 항에 있어서,
상기 하나 이상의 객체 지정자들은 상기 하나 이상의 타겟 객체들 중에서 대응하는 타겟 객체들을 각각 오버레이하는, 방법.
제 1 항에 있어서,
상기 캡쳐링된 이미지의 하나 이상의 피쳐 (feature) 들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하는 단계를 더 포함하는, 방법.
제 4 항에 있어서,
상기 캡쳐링된 이미지의 하나 이상의 피쳐들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하는 단계는, 상기 복수의 저장 이미지들을 저장하는 메모리를 포함하는 위치에 상기 캡쳐링된 이미지의 적어도 일부분을 송신하는 단계를 더 포함하며,
상기 위치는 상기 모바일 디바이스로부터 원격인, 방법.
제 1 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하는 단계는, 근접-필드 통신 (NFC) 신호들, 와이파이 (WiFi) 신호들, 블루투스 신호들, 울트라-광대역 (UWB) 신호들, 광역 네트워크 (WAN) 신호들, 디지털 TV 신호들, 및/또는 셀 타워 ID (cell tower ID) 에 적어도 부분적으로 기초하는, 방법.
제 1 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하는 단계는, 상기 모바일 디바이스에서의 하나 이상의 위성 포지셔닝 시스템 (satellite positioning system) 신호들의 취득에 적어도 부분적으로 기초하는, 방법.
제 1 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하는 단계는, 사용자 입력에 적어도 부분적으로 기초하는, 방법.
제 1 항에 있어서,
상기 타겟 객체 상에 조명된 지점을 생성하기 위해 광빔을 상기 타겟 객체 상으로 향하게 하도록 상기 휴대용 모바일 디바이스를 조종하는 단계;
상기 캡쳐링된 이미지에서 상기 조명된 지점을 검출하는 단계; 및
상기 검출된 조명된 지점에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
범위 측정 빔 (range-finding beam) 을 상기 타겟 객체 상으로 향하게 하는 단계;
상기 범위 측정 빔의 이동 시간을 측정하는 단계;
상기 이동 시간에 적어도 부분적으로 기초하여 상기 타겟 객체에 대한 거리를 결정하는 단계; 및
상기 거리에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
적어도 하나의 범위 측정 빔을 상기 타겟 객체 상으로 향하게 하는 단계;
상기 적어도 하나의 범위 측정 빔의 발산 (divergence) 을 측정하는 단계;
상기 발산에 적어도 부분적으로 기초하여 상기 타겟 객체에 대한 거리를 결정하는 단계; 및
상기 거리에 적어도 부분적을 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 센서들은, 가속도계, 자기력계, 콤파스, 압력 센서, 및/또는 자이로를 포함하는, 방법.
휴대용 모바일 디바이스의 근사 포지션 (approximate position) 을 결정하기 위한 수단;
상기 휴대용 모바일 디바이스에 고정되게 장착된 이미징 디바이스를 이용하여 하나 이상의 타겟 객체 (target object) 들의 이미지를 캡쳐링 (capturing) 하기 위한 수단;
조종 (maneuvering) 에 응답하여 상기 휴대용 모바일 디바이스의 센서들로부터 획득된 측정들에 적어도 부분적으로 기초하여 상기 근사 포지션에 관하여 상기 휴대용 모바일 디바이스의 하나 이상의 회전 각도들을 결정하기 위한 수단;
상기 근사 포지션 및 상기 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 객체들 중에서 선택되는 선택된 타겟 객체의 위치를 추정하기 위한 수단;
상기 선택된 타겟 객체의 상기 추정된 위치 및 상기 캡쳐링된 이미지에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체의 아이덴티티 (identity) 를 수신하기 위한 수단; 및
결정된 아이덴티티에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체를 설명하는 정보를 상기 휴대용 모바일 디바이스 상에 디스플레이하기 위한 수단을 포함하는, 장치.
제 13 항에 있어서,
상기 캡쳐링된 이미지상에 하나 이상의 객체 지정자들을 오버레이 (overlay) 하기 위한 수단; 및
상기 하나 이상의 객체 지정자들의 선택에 기초하여 상기 선택된 타겟 객체를 선택하기 위한 수단을 더 포함하는, 장치.
제 14 항에 있어서,
상기 하나 이상의 객체 지정자들은 상기 하나 이상의 타겟 객체들 중에서 대응하는 타겟 객체들을 각각 오버레이하는, 장치.
제 13 항에 있어서,
상기 캡쳐링된 이미지의 하나 이상의 피쳐 (feature) 들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하기 위한 수단을 더 포함하는, 장치.
제 16 항에 있어서,
상기 캡쳐링된 이미지의 하나 이상의 피쳐들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하기 위한 수단은, 상기 복수의 저장 이미지들을 저장하는 메모리를 포함하는 위치에 상기 캡쳐링된 이미지의 적어도 일부분을 송신하기 위한 수단을 더 포함하며,
상기 위치는 상기 모바일 디바이스로부터 원격인, 장치.
제 13 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하기 위한 수단은, 근접-필드 통신 (NFC) 신호들, 와이파이 (WiFi) 신호들, 블루투스 신호들, 울트라-광대역 (UWB) 신호들, 광역 네트워크 (WAN) 신호들, 디지털 TV 신호들, 및/또는 셀 타워 ID (cell tower ID) 에 적어도 부분적으로 기초하는, 장치.
제 13 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하기 위한 수단은, 상기 모바일 디바이스에서의 하나 이상의 위성 포지셔닝 시스템 (satellite positioning system) 신호들의 취득에 적어도 부분적으로 기초하는, 장치.
제 13 항에 있어서,
상기 휴대용 모바일 디바이스의 근사 포지션을 결정하기 위한 수단은, 사용자 입력에 적어도 부분적으로 기초하는, 장치.
제 13 항에 있어서,
상기 타겟 객체 상에 조명된 지점을 생성하기 위해 광빔을 상기 타겟 객체 상으로 향하게 하도록 상기 휴대용 모바일 디바이스를 조종하기 위한 수단;
상기 캡쳐링된 이미지에서 상기 조명된 지점을 검출하기 위한 수단; 및
상기 검출된 조명된 지점에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하기 위한 수단을 더 포함하는, 장치.
제 13 항에 있어서,
범위 측정 빔 (range-finding beam) 을 상기 타겟 객체 상으로 향하게 하기 위한 수단;
상기 범위 측정 빔의 이동 시간을 측정하기 위한 수단;
상기 이동 시간에 적어도 부분적으로 기초하여 상기 타겟 객체에 대한 거리를 결정하기 위한 수단; 및
상기 거리에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하기 위한 수단을 더 포함하는, 장치.
제 13 항에 있어서,
상기 센서들은, 가속도계, 자기력계, 콤파스, 압력 센서, 및/또는 자이로를 포함하는, 장치.
모바일 디바이스로서,
RF 신호들을 수신하는 수신기;
하나 이상의 타겟 객체들의 이미지를 캡쳐링하는 (capture) 이미징 디바이스;
상기 모바일 디바이스의 하나 이상의 회전 각도들을 측정하는 하나 이상의 센서들; 및
RF 환경에서 동작하도록 구성되는 특수 목적 컴퓨팅 디바이스를 포함하며,
상기 특수 목적 컴퓨팅 디바이스는:
상기 RF 신호들에 적어도 부분적으로 기초하여 상기 모바일 디바이스의 근사 포지션 (approximate position) 을 결정하고;
상기 근사 포지션 및 상기 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 객체들 중에서 선택되는 선택된 타겟 객체의 위치를 추정하고;
상기 선택된 타겟 객체의 상기 추정된 위치 및 캡쳐링된 이미지에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체의 아이덴티티 (identity) 를 수신하고;
결정된 아이덴티티에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체를 설명하는 정보를 상기 모바일 디바이스 상의 디스플레이를 위해 프로세싱하도록 RF 환경에서 동작하도록 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는:
상기 캡쳐링된 이미지상에 하나 이상의 객체 지정자들을 오버레이 (overlay) 하고;
상기 하나 이상의 객체 지정자들의 선택에 기초하여 상기 선택된 타겟 객체의 선택을 수신하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 25 항에 있어서,
상기 하나 이상의 객체 지정자들은 상기 하나 이상의 타겟 객체들 중에서 대응하는 타겟 객체들을 각각 오버레이하는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는:
상기 캡쳐링된 이미지의 하나 이상의 피쳐 (feature) 들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 27 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는,
상기 복수의 저장 이미지들을 저장하는 메모리를 포함하는 위치에 상기 캡쳐링된 이미지의 적어도 일부분을 송신함으로써, 상기 캡쳐링된 이미지의 하나 이상의 피쳐들을 상기 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하도록 RF 환경에서 동작하도록 더 구성되며,
상기 위치는 상기 모바일 디바이스로부터 원격인, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는,
근접-필드 통신 (NFC) 신호들, 와이파이 (WiFi) 신호들, 블루투스 신호들, 울트라-광대역 (UWB) 신호들, 광역 네트워크 (WAN) 신호들, 디지털 TV 신호들, 및/또는 셀 타워 ID (cell tower ID) 에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는,
상기 모바일 디바이스에서의 하나 이상의 위성 포지셔닝 시스템 (satellite positioning system) 신호들의 취득에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는,
사용자 입력에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는:
상기 모바일 디바이스로부터 방출되는 광빔에 의해 생성된 상기 타겟 객체의 상기 캡쳐링된 이미지에서 조명된 지점을 검출하고;
상기 검출된 조명된 지점에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 특수 목적 컴퓨팅 디바이스는:
상기 모바일 디바이스로부터 상기 타겟 객체로 방출되는 범위 측정 빔 (range-finding beam) 의 이동 시간을 측정하고;
상기 이동 시간에 적어도 부분적으로 기초하여 상기 타겟 객체에 대한 거리를 결정하고;
상기 거리에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하도록 RF 환경에서 동작하도록 더 구성되는, 모바일 디바이스.
제 24 항에 있어서,
상기 센서들은, 가속도계, 자기력계, 콤파스, 압력 센서, 및/또는 자이로를 포함하는, 모바일 디바이스.
저장된 머신 판독가능 명령들을 포함하는 저장 매체를 포함하는 물품으로서,
상기 머신 판독가능 명령들은, 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우, 상기 특수 목적 컴퓨팅 디바이스가:
휴대용 모바일 디바이스의 근사 포지션 (approximate position) 을 결정하고;
상기 휴대용 모바일 디바이스에 고정되게 장착된 이미징 디바이스를 이용하여 하나 이상의 타겟 객체 (target object) 들의 이미지를 캡쳐링 (capturing) 하고;
조종 (maneuvering) 에 응답하여 상기 휴대용 모바일 디바이스의 센서들로부터 획득된 측정들에 적어도 부분적으로 기초하여 상기 근사 포지션에 관하여 상기 휴대용 모바일 디바이스의 하나 이상의 회전 각도들을 결정하고;
상기 근사 포지션 및 상기 하나 이상의 회전 각도들에 적어도 부분적으로 기초하여 상기 하나 이상의 타겟 객체들 중에서 선택되는 선택된 타겟 객체의 위치를 추정하고;
상기 선택된 타겟 객체의 상기 추정된 위치 및 상기 캡쳐링된 이미지에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체의 아이덴티티 (identity) 를 결정하고;
상기 결정된 아이덴티티에 적어도 부분적으로 기초하여 상기 선택된 타겟 객체를 설명하는 정보를 상기 휴대용 모바일 디바이스 상의 디스플레이를 위해 획득할 수 있게 하도록 구성되는, 저장 매체를 포함하는 물품.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
상기 캡쳐링된 이미지상에 하나 이상의 객체 지정자들을 오버레이 (overlay) 하고;
상기 하나 이상의 객체 지정자들의 선택에 기초하여 상기 선택된 타겟 객체를 선택하도록 더 구성되는, 방법.
제 36 항에 있어서,
상기 하나 이상의 객체 지정자들은 상기 하나 이상의 타겟 객체들 중에서 대응하는 타겟 객체들을 각각 오버레이하는, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
상기 캡쳐링된 이미지의 하나 이상의 피쳐 (feature) 들을 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하도록 더 구성되는, 방법.
제 38 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
상기 복수의 저장 이미지들을 저장하는 메모리를 포함하는 위치에 상기 캡쳐링된 이미지의 적어도 일부분을 송신함으로써, 상기 캡쳐링된 이미지의 하나 이상의 피쳐들을 상기 복수의 저장 이미지들의 하나 이상의 피쳐들과 비교하도록 더 구성되며,
상기 위치는 상기 모바일 디바이스로부터 원격인, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
근접-필드 통신 (NFC) 신호들, 와이파이 (WiFi) 신호들, 블루투스 신호들, 울트라-광대역 (UWB) 신호들, 광역 네트워크 (WAN) 신호들, 디지털 TV 신호들, 및/또는 셀 타워 ID (cell tower ID) 에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 더 구성되는, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우,
상기 모바일 디바이스에서의 하나 이상의 위성 포지셔닝 시스템 (satellite positioning system) 신호들의 취득에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 더 구성되는, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우,
사용자 입력에 적어도 부분적으로 기초하여, 상기 휴대용 모바일 디바이스의 상기 근사 포지션을 결정하도록 더 구성되는, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
상기 모바일 디바이스로부터 방출되는 광빔에 의해 생성된 상기 타겟 객체의 상기 캡쳐링된 이미지에서 조명된 지점을 검출하고;
상기 검출된 조명된 지점에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하도록 더 구성되는, 방법.
제 35 항에 있어서,
상기 머신 판독가능 명령들은, 상기 특수 목적 컴퓨팅 디바이스에 의해 실행되는 경우:
범위 측정 빔 (range-finding beam) 을 상기 타겟 객체 상으로 향하게 하고;
상기 범위 측정 빔의 이동 시간을 측정하고;
상기 이동 시간에 적어도 부분적으로 기초하여 상기 타겟 객체에 대한 거리를 결정하고;
상기 거리에 적어도 부분적으로 기초하여 상기 타겟 객체의 아이덴티티를 더 결정하도록 더 구성되는, 방법.
제 35 항에 있어서,
상기 센서들은, 가속도계, 자기력계, 콤파스, 압력 센서, 및/또는 자이로를 포함하는, 방법.