KR20110102174A

KR20110102174A - 정보 처리 장치, 맵 갱신 방법, 프로그램 및 정보 처리 시스템

Info

Publication number: KR20110102174A
Application number: KR1020110017936A
Authority: KR
Inventors: 겐이찌로 오이; 콴 왕; 고우이찌 마쯔다; 다까유끼 요시가하라
Original assignee: 소니 주식회사
Priority date: 2010-03-09
Filing date: 2011-02-28
Publication date: 2011-09-16
Also published as: US11762887B2; US20230385309A1; US10083188B2; JP5471626B2; US10803098B2; US9014970B2; US10599687B2; US20190005068A1; CN102194367B; US20160371301A1; US20110224902A1; JP2011186808A; RU2011108115A; EP2372582A2; EP2372582A3; US20160163039A1; CN102194367A; EP2372582B1; RU2481625C2; US9449023B2

Abstract

정보 처리 장치가 제공되고, 상기 정보 처리 장치는 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와, 상기 복수의 유저 중 1명의 유저의 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와, 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부를 포함한다.

Description

정보 처리 장치, 맵 갱신 방법, 프로그램 및 정보 처리 시스템{INFORMATION PROCESSING DEVICE, MAP UPDATE METHOD, PROGRAM, AND INFORMATION PROCESSING SYSTEM}

본 발명은 정보 처리 장치, 맵 갱신 방법, 프로그램 및 정보 처리 시스템에 관한 것이다.

실제 공간 내의 물체의 위치를 표현하는 맵을 네트워크를 통해 복수의 유저가 공유하기 위한 다양한 어플리케이션이 실용화되어 있다. 일례로서, 유저가 맵 상의 임의의 위치에 코멘트 또는 사진 등의 정보를 관련시켜, 해당 정보 또는 맵을 다른 유저와 공유할 수 있게 하는 어플리케이션이 존재한다(일본 특허 공개 공보 제2006-209784호 및 "구글 맵" (인터넷 URL: http://maps.google.com/) 참조). 또한, 맵 상의 임의의 위치에 가상의 태그를 관련시켜, 단말기의 카메라 기능을 사용하여 촬상된 화상에 그 태그를 중첩해서 표시하는 어플리케이션도 존재한다("Sekai Camera Support Center" (인터넷 URL: http://support.sekaicamera.com/en) 참조).

일본 특허 공개 공보 제2006-209784호

"구글 맵" (인터넷 URL: http://maps.google.com/) "Sekai Camera Support Center" (인터넷 URL: http://support.sekaicamera.com/en)

그러나, 종래의 맵 공유 어플리케이션에서는, 맵과 관련되어지는 정보는 유저에 의해 자유롭게 갱신될 수 있지만, 맵 자체는 서비스 제공자가 갱신하는 경우를 제외하고는 변화하지 않는다. 그로 인해, 유저가 실제 공간 내의 물체의 위치의 변화를 인식하는 경우에도, 그 변화를 맵에 신속하게 반영하여 다른 유저와 공유하는 것은 곤란하다. 또한, 서비스 제공자에 의해 상세한 맵이 제공되지 않는 사적 공간에서는, 맵 또는 맵과 관련되어지는 정보를 유저 간에 공유하는 것은 곤란하다.

상기를 고려하여, 실제 공간 내의 물체의 위치의 변화가 신속히 유저 간에 공유될 수 있게 하는 신규의 개량된 정보 처리 장치, 맵 갱신 방법, 프로그램 및 화상 처리 시스템을 제공하는 것이 바람직하다.

본 발명의 실시예에 따르면, 정보 처리 장치로서, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와, 상기 복수의 유저 중 1명의 유저의 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와, 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부를 포함하는 정보 처리 장치가 제공된다.

정보 처리 장치는 상기 글로벌 맵에 포함되는 물체의 위치 데이터 및 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵에 대한 상기 로컬 맵의 상대적인 위치를 산출하는 산출부와, 상기 로컬 맵의 상기 상대적인 위치에 따라, 상기 로컬 맵에 포함되는 물체의 위치 데이터를 상기 글로벌 맵의 좌표계의 데이터로 좌표 변환하는 변환부를 더 포함하고, 상기 갱신부는 상기 변환부에 의한 좌표 변환 후의 상기 로컬 맵에 포함되는 물체의 위치 데이터를 사용하여 상기 글로벌 맵을 갱신한다.

상기 정보 처리 장치는 상기 1명의 유저가 소유하는 단말 장치일 수 있다.

상기 글로벌 맵 취득부는 상기 글로벌 맵을 기억하는 서버 장치로부터 상기 글로벌 맵의 적어도 일부분을 취득할 수 있고, 상기 갱신부는 물체들의 위치 데이터를 상기 서버 장치에 송신함으로써 상기 서버 장치의 상기 글로벌 맵을 갱신할 수 있다.

상기 글로벌 맵 취득부는 상기 글로벌 맵 중, 상기 실제 공간 내의 상기 단말 장치의 위치를 포함하는 로컬 영역에 대응하는 일부분을 취득할 수 있다.

상기 글로벌 맵 취득부는 상기 글로벌 맵 중, 상기 단말 장치의 근방에 위치하는 미리 결정된 수의 물체의 위치를 표현하는 일부분을 취득할 수 있다.

상기 로컬 맵 생성부는 촬상 장치를 사용하여 실제 공간을 촬영함으로써 얻어지는 입력 화상과, 하나 이상의 물체의 외관의 특징을 나타내는 특징 데이터에 기초하여 상기 로컬 맵을 생성할 수 있다.

상기 산출부는 상기 글로벌 맵 및 상기 로컬 맵에 공통으로 포함되는 비이동 물체의 위치 데이터에 기초하여 상기 로컬 맵의 상기 상대적인 위치를 산출할 수 있다.

상기 산출부는, 상기 로컬 맵에 포함되는 물체의 위치 데이터를 상기 글로벌 맵의 좌표계의 데이터로 변환할 때, 변환 후의 데이터와 상기 글로벌 맵에 포함되는 물체의 위치 데이터 사이의 차가 전체적으로 보다 작아지도록, 상기 로컬 맵의 상기 상대적인 위치를 산출할 수 있다.

상기 글로벌 맵은 상기 실제 공간 내의 각 물체의 상기 글로벌 맵의 좌표계에서의 위치 데이터와 상기 위치 데이터에 관한 타임 스탬프를 포함할 수 있다.

정보 처리 장치는 유저로부터의 지시에 따라 상기 글로벌 맵을 화면 상에 적어도 부분적으로 가시화하는 표시 제어부를 더 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 정보 처리 장치에 의해 행해지고, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵을 갱신하기 위한 맵 갱신 방법으로서, 상기 글로벌 맵의 적어도 일부분을 취득하는 스텝과, 상기 정보 처리 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 스텝과, 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 스텝을 포함하는 맵 갱신 방법이 제공된다.

본 발명의 다른 실시예에 따르면, 정보 처리 장치를 제어하는 컴퓨터를, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와, 상기 복수의 유저 중 1명의 유저의 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와, 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부로서 기능하게 하는 프로그램이 제공된다.

본 발명의 다른 실시예에 따르면, 정보 처리 시스템으로서, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵을 기억 매체를 사용하여 기억하는 서버 장치와, 상기 복수의 유저 중 1명의 유저가 소유하는 정보 처리 장치를 포함하고, 상기 정보 처리 장치는 상기 서버 장치로부터 상기 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와, 상기 정보 처리 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와, 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부를 포함하는 정보 처리 시스템이 제공된다.

상술된 본 발명의 실시예에 따르면, 실제 공간 내의 물체의 위치의 변화가 신속하게 유저 간에 공유될 수 있게 하는 정보 처리 장치, 맵 갱신 방법, 프로그램 및 화상 처리 시스템을 제공할 수 있다.

도 1은 실시예에 따른 시스템의 개요에 대해 설명하기 위한 개략도이다.
도 2는 글로벌 맵 및 로컬 맵에 포함되는 물체의 위치 데이터에 대해 설명하기 위한 개략도이다.
도 3은 실시예에 따른 서버의 구성의 예를 도시하는 블록도이다.
도 4는 부분 글로벌 맵에 대해 설명하기 위한 설명도이다.
도 5는 실시예에 따른 단말 장치의 구성의 예를 도시하는 블록도이다.
도 6a는 부분 글로벌 맵 취득 처리의 제1 예에 대해 설명하기 위한 설명도이다.
도 6b는 부분 글로벌 맵 취득 처리의 제2 예에 대해 설명하기 위한 설명도이다.
도 6c는 부분 글로벌 맵 취득 처리의 제3 예에 대해 설명하기 위한 설명도이다.
도 7은 실시예에 따른 로컬 맵 생성부의 상세한 구성의 예를 나타내는 블록도이다.
도 8은 실시예에 따른 자기 위치 검출 처리의 흐름의 예를 나타내는 흐름도이다.
도 9는 물체 상에 설정되는 특징점에 대해 설명하기 위한 설명도이다.
도 10은 특징점의 추가에 대해 설명하기 위한 설명도이다.
도 11은 예측 모델의 예에 대해 설명하기 위한 설명도이다.
도 12는 특징 데이터의 구성의 예에 대해 설명하기 위한 설명도이다.
도 13은 실시예에 따른 물체 인식 처리의 흐름의 예를 설명하는 흐름도이다.
도 14a는 실시예에 따른 산출부에 의한 맵 대조(matching) 처리의 예에 대해 설명하는 설명도이다.
도 14b는 실시예에 따른 산출부에 의한 맵 대조 처리의 다른 예에 대해 설명하는 설명도이다.
도 15a는 실시예에 따른 글로벌 맵 갱신 처리의 예에 대해 설명하는 설명도이다.
도 15b는 실시예에 따른 글로벌 맵 갱신 처리의 다른 예에 대해 설명하는 설명도이다.
도 16은 실시예에 따른 맵 관리 서버와 단말 장치 사이의 맵 갱신 처리의 흐름의 예를 나타내는 흐름도이다.
도 17은 실시예에 따른 슈퍼 클라이언트의 구성의 예를 도시하는 블록도이다.
도 18은 부가 정보의 공유의 적용예를 도시하는 개략도이다.

이하에서는 첨부 도면을 참조하여, 본 발명의 적합한 실시예에 대해 상세하게 설명한다. 본 명세서 및 첨부 도면에서는, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는 동일한 참조 부호를 붙이고, 이들 구성 요소에 대한 중복 설명은 생략한다는 것을 알아야 한다.

이하에서는, 아래의 순서에 따라, 본 발명의 양호한 실시예를 설명한다.

1. 시스템의 개요

1-1. 시스템 구성의 예

1-2. 위치 데이터의 예

2. 실시예에 따른 맵 관리 서버의 구성

3. 실시예에 따른 단말 장치의 구성

3-1. 통신 인터페이스

3-2. 촬상부

3-3. 초기화부

3-4. 글로벌 맵 취득부

3-5. 로컬 맵 생성부

3-6. 산출부

3-7. 변환부

3-8. 갱신부

3-9. 표시 제어부

4. 처리의 흐름

5. 변형예

5-1. 슈퍼 클라이언트

5-2. 부가 정보의 공유

6. 정리

<1. 시스템의 개요>

[1-1. 시스템 구성의 예]

우선, 도 1 및 도 2를 참조하여, 본 발명의 실시예에 따른 시스템의 개요에 대해 설명한다. 도 1은 본 발명의 실시예에 따른 화상 처리 시스템(1)의 개요를 도시하는 개략도이다. 도 1을 참조하면, 본 실시예에 따른 화상 처리 시스템(1)은 맵 관리 서버(10), 단말 장치(100a) 및 단말 장치(100b)를 포함한다.

맵 관리 서버(10)는 복수의 유저 사이에서 맵 및 맵에 관련되어지는 정보가 공유되는 것을 허용하기 위한 맵 공유 서비스를 제공하는 정보 처리 장치이다. 맵 관리 서버(10)는 장치의 내부 또는 외부에 데이터베이스를 갖고, 해당 데이터베이스에 후술하는 글로벌 맵을 저장한다. 맵 관리 서버(10)는 전형적으로는 PC(personal computer) 또는 워크스테이션 등의 범용 정보 처리 장치를 사용하여 실현된다.

본 명세서에서, 맵 관리 서버(10)에 의해 관리되는 맵을 글로벌 맵이라 한다. 글로벌 맵은 맵 공유 서비스의 서비스 영역 A_G 전체에 걸쳐 실제 공간 내의 물체의 위치를 표현하는 맵이다.

단말 장치(100a)는 유저 Ua가 소지하는 정보 처리 장치이다. 단말 장치(100b)는 유저 Ub가 소지하는 정보 처리 장치이다. 본 명세서에서, 단말 장치(100a)와 단말 장치(100b)를 구별할 특별한 필요가 없을 경우에는, 참조 부호의 말미의 알파벳을 생략하여 단말 장치(100)로서 총칭한다. 단말 장치(100)는 유선 또는 무선에 의한 통신 접속을 통해 맵 관리 서버(10)와 통신할 수 있다. 단말 장치(100)는 전형적으로는 PC, 스마트폰, PDA(personal digital assistants), 휴대용 음악 플레이어 또는 게임 단말기 등의 임의의 종류의 정보 처리 장치일 수 있다.

단말 장치(100)는 주위의 물체의 위치를 검출 가능한 센서 기능을 갖는다. 그리고, 단말기 장치(100)는 센서 기능을 사용하여 자체 장치의 주위(예를 들어, 영역 A_La 또는 영역 A_Lb 내)의 물체의 위치를 표현하는 로컬 맵을 생성한다. 본 실시예에서는, 센서 기능의 예로서, 외눈 카메라를 사용하여 카메라의 위치 및 자세와 입력 화상에 존재하는 물체의 특징점의 위치를 동시에 추정할 수 있는 SLAM(Simultaneous localization and mapping) 기술을 사용하는 경우를 설명한다.

또한, 단말 장치(100)는 생성된 로컬 맵을 사용하여 맵 관리 서버(10)에 의해 관리되는 글로벌 맵을 갱신하는 갱신 기능과, 최신의 글로벌 맵(또는 과거의 소정의 시점의 글로벌 맵)을 표시하는 표시 기능을 갖는다. 구체적으로, 예를 들어, 유저 Ua는 유저 Ub에 의해 소지되고 있는 단말 장치(100b)에 의해 갱신된 글로벌 맵을 단말 장치(100a)의 화면 상에서 열람할 수 있다. 또한, 예를 들어, 유저 Ub는 유저 Ua에 의해 소지되고 있는 단말 장치(100a)에 의해 갱신된 글로벌 맵을 단말 장치(100b)의 화면 상에서 열람할 수 있다.

[1-2. 위치 데이터의 예]

도 2는 글로벌 맵 및 로컬 맵에 포함되는 물체의 위치 데이터에 대해 설명하기 위한 개략도이다.

도 2는 실제 공간 내에 존재하는 4개의 물체 B1 내지 B4를 나타내고 있다. 물체 B1은 테이블이다. 물체 B2는 커피 컵이다. 물체 B3는 노트 북 PC이다. 물체 B4는 창이다. 물체 B4의 위치는 통상 이동하지 않는다. 본 명세서에서, 이동하지 않는 물체를 비이동 물체 또는 랜드마크라고 한다. 또한, 도 2는 각 물체에 관한 위치 데이터 R1 내지 R4를 나타내고 있다. 위치 데이터 R1 내지 R4는 각각 물체 ID "Obj1" 내지 "Obj4", 위치 "X1" 내지 "X4", 자세 "Ω1" 내지 "Ω4" 및 위치 데이터가 생성되는 시점을 나타내는 타임 스탬프 "YYYYMMDDhhmmss"를 포함한다.

글로벌 맵은 서비스 영역 A_G 전체에 걸쳐 실제 공간 내에 존재하는 물체에 대한, 도 2에 도시된 위치 데이터를 포함하는 데이터 세트이다. 예를 들어, 1개의 전체 건물이 서비스 영역 A_G인 경우에는, 글로벌 맵은 도 2에 예시한 1개의 방 내의 물체뿐만 아니라 다른 방 내의 물체에 관한 위치 데이터도 포함할 수 있다. 글로벌 맵의 위치 데이터의 좌표계는 글로벌 좌표계로서 고정된 방식으로 미리 설정된다.

한편, 로컬 맵은 단말 장치(100)의 주위의 실제 공간 내에 존재하는 물체에 대한, 도 2에 예시한 위치 데이터를 포함하는 데이터 세트이다. 예를 들어, 로컬 맵은 도 2에 예시한 물체 B1 내지 B4에 대한 위치 데이터를 포함할 수 있다. 로컬 맵의 좌표계의 원점의 위치와 좌표축의 방향은 단말 장치(100)의 카메라의 위치 및 모습에 의존할 수 있다. 그로 인해, 로컬 맵의 좌표계는 통상 글로벌 좌표계와는 다르다.

글로벌 맵 또는 로컬 맵에 의해 위치가 표현될 수 있는 물체는 도 2에 도시된 예에 한정되지 않는다는 것을 알아야 한다. 예를 들어, 옥내에 존재하는 물체 대신에, 옥외에 존재하는 건물 또는 차량 등의 물체의 위치 데이터가 글로벌 맵 또는 로컬 맵에 포함될 수 있다. 이러한 경우, 건물은 랜드마크가 될 수 있다.

<2. 실시예에 따른 맵 관리 서버의 구성>

도 3은 본 실시예에 따른 맵 관리 서버(10)의 구성의 예를 도시하는 블록도이다. 도 3을 참조하면, 맵 관리 서버(10)는 통신 인터페이스(20), 글로벌 맵 기억부(30), 부분 글로벌 맵 추출부(40), 갱신부(50) 및 글로벌 맵 배신부(60)를 포함한다.

통신 인터페이스(20)는 맵 관리 서버(10)와 단말 장치(100) 사이의 통신 접속을 중개하는 인터페이스이다. 통신 인터페이스(20)는 무선 통신 인터페이스 또는 유선 통신 인터페이스일 수 있다.

글로벌 맵 기억부(30)는 하드 디스크 또는 반도체 메모리 등의 기억 매체를 사용하여 구성되는 데이터베이스에 상당하고, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 상술된 글로벌 맵을 기억한다. 그리고, 글로벌 맵 기억부(30)는 부분 글로벌 맵 추출부(40)로부터의 요구에 응답하여, 글로벌 맵의 서브 세트인 부분 글로벌 맵을 출력한다. 또한, 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵은 갱신부(50)에 의해 갱신된다. 또한, 글로벌 맵 기억부(30)는 글로벌 맵 배신부(60)로부터의 요구에 응답하여 글로벌 맵의 전체 또는 요구된 일부분을 출력한다.

부분 글로벌 맵 추출부(40)는 통신 인터페이스(20)를 통해 단말 장치(100)의 위치에 관한 정보를 수신하고, 정보에 따라 부분 글로벌 맵을 추출한다. 그리고, 부분 글로벌 맵 추출부(40)는 추출된 부분 글로벌 맵을 통신 인터페이스(20)를 통해 단말 장치(100)에 송신한다. 부분 글로벌 맵은 글로벌 맵의 서브 세트이다. 부분 글로벌 맵은 글로벌 좌표계에서의 단말 장치(100)의 위치의 주위의 로컬 영역 내에 위치되는 물체의 위치를 표현한다.

도 4는 부분 글로벌 맵에 대해 설명하기 위한 설명도이다. 도 4의 좌측에는, 물체 ID가 "Obj1" 내지 "Obj19"인 19개 물체에 관한 위치 데이터를 포함하는 글로벌 맵 M_G가 나타내어지고 있다. 19개 물체는 도 4의 우측에 도시된 서비스 영역 A_G 내에 산재되어 있다. 유저 Ua가 소지하는 단말 장치(100a)의 위치로부터의 거리가 임계값 D 이하인 물체는 물체 B1 내지 B9이다. 이러한 경우, 예를 들어, 물체 B1 내지 B9에 관한 위치 데이터가 유저 Ua를 위한 부분 글로벌 맵 M_G(Ua)를 형성한다. 또한, 유저 Ub가 소지하는 단말 장치(100b)의 위치로부터의 거리가 임계값 D 이하인 물체는 물체 B11 내지 B19이다. 이러한 경우, 예를 들어, 물체 B11 내지 B19에 관한 위치 데이터가 유저 Ub를 위한 부분 글로벌 맵 M_G(Ub)를 형성한다. 임계값 D는 후술하는 로컬 맵의 범위의 대부분이 부분 글로벌 맵에 포함되도록 미리 적절한 값으로 설정된다. 부분 글로벌 맵의 추출에 관한 다른 예에 대해서도 또한 후술한다는 것을 알아야 한다.

갱신부(50)는 단말 장치(100)로부터 통신 인터페이스(20)를 통해 수신되는 물체의 위치 데이터에 기초하여, 글로벌 맵 기억부(30)에 기억되는 글로벌 맵을 갱신한다. 이로써, 실제 공간 내의 물체의 위치의 변화가 글로벌 맵에 신속하게 반영된다. 갱신부(50)에 의한 글로벌 맵 갱신 처리에 대해서도 또한 후술한다.

글로벌 맵 배신부(60)는 단말 장치(100)로부터의 요구에 응답하여, 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵을 단말 장치(100)에 배신한다. 글로벌 맵 배신부(60)로부터 배신되는 글로벌 맵은 단말 장치(100)의 표시 기능에 의해 단말 장치(100)의 화면 상에 가시화된다. 이로써, 유저는 최신의 글로벌 맵(또는 과거의 소정의 시점의 글로벌 맵)을 열람할 수 있다.

<3. 실시예에 따른 단말 장치의 구성>

도 5는 본 실시예에 따른 단말 장치(100)의 구성의 예를 도시하는 블록도이다. 도 5를 참조하면, 단말 장치(100)는 통신 인터페이스(102), 촬상부(110), 초기화부(120), 글로벌 맵 취득부(130), 기억부(132), 로컬 맵 생성부(140), 산출부(160), 변환부(170), 갱신부(180) 및 표시 제어부(190)를 포함한다.

[3-1. 통신 인터페이스]

통신 인터페이스(102)는 단말 장치(100)와 맵 관리 서버(10) 사이의 통신 접속을 중개하는 인터페이스이다. 통신 인터페이스(102)는 무선 통신 인터페이스 또는 유선 통신 인터페이스일 수 있다.

[3-2. 촬상부]

촬상부(110)는, 예를 들어, CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 등의 촬상 소자를 갖는 카메라로서 실현될 수 있다. 촬상부(110)는 단말 장치(100)의 외부에 설치될 수 있다. 촬상부(110)는 도 2에 도시된 바와 같이 물체가 존재하는 실제 공간을 촬영함으로써 취득한 화상을 입력 화상으로서 초기화부(120) 및 로컬 맵 생성부(140)에 출력한다.

[3-3. 초기화부]

초기화부(120)는 촬상부(110)로부터 입력되는 입력 화상을 사용하여 글로벌 좌표계에 단말 장치(100)의 대략 위치를 특정한다(localize). 입력 화상에 기초하는 단말 장치(100)의 위치의 특정(localization)은, 예를 들어, 일본 특허 공개 공보 제2008-185417호에 개시된 기술에 따라 행해질 수 있다. 이러한 경우, 초기화부(120)는 입력 화상을, 기억부(132)에 미리 기억되어 있는 참조용 화상과 대조하고(match), 일치도가 높은 참조용 화상에 대해 높은 스코어를 설정한다. 그리고, 초기화부(120)는 스코어에 기초하여 단말 장치(100)의 위치에 대한 후보의 확률 분포를 산출하고, 산출된 확률 분포에 기초해서 가능한 단말 장치(100)의 위치(가설 확률 분포에서의 확률값이 가장 높은 위치)를 특정한다. 그리고, 초기화부(120)는 특정된 단말 장치(100)의 위치를 글로벌 맵 취득부(130)에 출력한다.

초기화부(120)는 상술한 기술 대신에, GPS(global positioning system) 기능을 사용하여 단말 장치(100)의 위치를 특정할 수 있다. 또한, 초기화부(120)는, 예를 들어, 주위의 무선 엑세스 포인트로부터의 전계 강도(field intensity) 정보에 기초하여 현재 위치를 측정할 수 있는 PlaceEngine 등의 기술을 사용하여 단말 장치(100)의 위치를 특정할 수 있다.

[3-4. 글로벌 맵 취득부]

글로벌 맵 취득부(130)는 통신 인터페이스(102)를 통해 맵 관리 서버(10)에 단말 장치(100)의 위치에 관한 정보를 송신하고, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)에 의해 추출되는 상술된 부분 글로벌 맵을 취득한다. 그리고, 글로벌 맵 취득부(130)는 취득된 부분 글로벌 맵을 기억부(132)에 저장한다.

도 6a는 부분 글로벌 맵 취득 처리의 제1 예에 대해 설명하기 위한 설명도이다. 도 6a를 참조하면, 단말 장치(100)의 글로벌 맵 취득부(130)는 글로벌 좌표계에서의 단말 장치(100)의 위치 좌표를 맵 관리 서버(10)에 송신한다. 그리고, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)는, 예를 들어, 위치 좌표로부터 반경 D[m] 이내에 위치하는 물체에 관한 위치 데이터에 의해 형성된 부분 글로벌 맵을 추출하고, 그 부분 글로벌 맵을 단말 장치(100)에 반송한다. 이에 따라, 글로벌 맵 취득부(130)는 미리 정의된 폭을 갖는 로컬 영역에 대응하는 부분 글로벌 맵을 취득할 수 있다. 로컬 영역은, 예를 들어, 단말 장치(100)의 촬상부(110)에 의해 직접적으로 관측 가능한 폭을 갖는 영역일 수 있다. 이에 의해, 글로벌 맵의 전체를 취득하는 경우에 비해, 단말 장치(100)의 통신 비용 및 처리 비용을 감소할 수 있다.

도 6b는 부분 글로벌 맵 취득 처리의 제2 예에 대해 설명하기 위한 설명도이다. 도 6b를 참조하면, 단말 장치(100)의 글로벌 맵 취득부(130)는 글로벌 좌표계에서의 단말 장치(100)의 위치 좌표를 맵 관리 서버(10)에 송신한다. 그리고, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)는, 예를 들어, 위치 좌표로부터의 거리의 오름 차순으로 n개의 물체에 관한 위치 데이터에 의해 형성되는 부분 글로벌 맵을 추출하고, 이 추출된 부분 글로벌 맵을 단말 장치(100)에 반송한다. 이로써, 글로벌 맵 취득부(130)는 미리 정의된 데이터 수를 포함하는 로컬 영역에 대응하는 부분 글로벌 맵을 취득할 수 있다. 통상적으로, 미리 정의된 데이터 수 n이 크면, 후술하는 산출부(160)에 의한 부분 글로벌 맵과 로컬 맵의 대조를 높은 정밀도로 행할 수 있다. n의 값은 대조의 정밀도와 통신 비용 및 처리 비용 간의 균형(balance)을 고려하여 결정된다(예를 들어, n의 값은 n=100일 수 있다).

도 6c는 부분 글로벌 맵 취득 처리의 제3 예에 대해 설명하기 위한 설명도이다. 도 6c를 참조하면, 단말 장치(100)의 글로벌 맵 취득부(130)는 단말 장치(100)가 위치하는 영역을 식별하기 위한 식별자(이하, 영역 식별자라 함)를 맵 관리 서버(10)에 송신한다. 영역 식별자는, 예를 들어, 단말 장치(100)가 액세스 가능한 무선 엑세스 포인트의 엑세스 포인트 식별자일 수 있다. 또한, 1개의 건물의 전체가 서비스 영역 A_G일 경우, 영역 식별자는 단말 장치(100)가 위치하는 플로어 또는 방을 식별하는 번호일 수 있다. 영역 식별자를 수신하면, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)는 영역 식별자가 나타내는 영역에 포함되는 물체에 관한 위치 데이터에 의해 형성되는 부분 글로벌 맵을 추출하고, 추출된 부분 글로벌 맵을 단말 장치(100)에 반송한다. 이러한 경우, 글로벌 맵의 전체를 취득하는 경우에 비해, 단말 장치(100)의 통신 비용 및 처리 비용을 감소할 수 있다.

[3-5. 로컬 맵 생성부]

로컬 맵 생성부(140)는 촬상부(110)로부터 입력되는 입력 화상 및 기억부(132)에 기억되어 있는 후술하는 특징 데이터에 기초하여 단말 장치(100)에 의해 검출 가능한 주위의 물체의 위치를 표현하는 상술된 로컬 맵을 생성한다. 도 7은 본 실시예에 따른 로컬 맵 생성부(140)의 상세한 구성의 예를 도시하는 블록도이다. 도 7을 참조하면, 로컬 맵 생성부(140)는 자기 위치 검출부(142), 화상 인식부(144) 및 로컬 맵 구축부(146)를 포함한다.

(1) 자기 위치 검출부

자기 위치 검출부(142)는 촬상부(110)로부터 입력되는 입력 화상 및 기억부(132)에 기억되어 있는 특징 데이터에 기초하여, 입력 화상을 촬영하는 카메라의 위치를 동적으로 검출한다. 예를 들어, 촬상부(110)의 카메라가 외눈 카메라인 경우에도, 자기 위치 검출부(142)는 "Real-Time Simultaneous Localization and Mapping with a Single Camera" (Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410)에 개시되어 있는 SLAM 기술을 응용함으로써 카메라의 위치 및 자세, 및 카메라의 촬상면에서의 특징점의 위치를 프레임마다 동적으로 결정할 수 있다.

우선, 도 8을 참조하여, SLAM 기술을 이용하는 자기 위치 검출부(142)에 의한 자기 위치 검출 처리의 전체적인 흐름에 대해 설명한다. 다음, 도 9 내지 도 11을 참조하여, 자기 위치 검출 처리를 상세히 설명한다.

도 8은 SLAM 기술을 이용하는 자기 위치 검출부(142)에 의한 자기 위치 검출 처리의 흐름의 예를 나타내는 흐름도이다. 도 8에서, 자기 위치 검출 처리가 개시되면, 자기 위치 검출부(142)는 우선 상태 변수를 초기화한다(스텝 S102). 본 실시예에서는, 상태 변수는 카메라의 위치 및 자세(회전각), 카메라의 이동 속도 및 각속도, 및 하나 이상의 특징점의 위치를 요소로서 포함하는 벡터이다. 그리고, 자기 위치 검출부(142)는 촬상부(110)로부터 입력 화상을 순차 취득한다(스텝 S112). 스텝 S112에서 스텝 S118까지의 처리는 각 입력 화상(즉, 각 프레임)마다 반복될 수 있다.

스텝 S114에서는, 자기 위치 검출부(142)는 입력 화상에 존재하는 특징점을 추적한다. 예를 들어, 자기 위치 검출부(142)는 기억부(132)에 미리 기억되어 있는 각 특징점의 패치(예를 들어, 특징점을 중심으로 하는 3×3=9 화소의 소 화상)를 입력 화상으로부터 검출한다. 여기서, 검출된 패치의 위치, 즉, 특징점의 위치는 이후에 상태 변수를 갱신할 때 사용된다.

스텝 S116에서는, 자기 위치 검출부(142)는, 예를 들어, 미리 결정된 예측 모델에 기초하여, 다음 프레임의 상태 변수의 예측값을 생성한다. 또한, 스텝 S118에서는, 자기 위치 검출부(142)는 스텝 S116에서 생성된 상태 변수의 예측값과, 스텝 S114에서 검출된 특징점의 위치에 따른 관측값을 사용하여 상태 변수를 갱신한다. 자기 위치 검출부(142)는 스텝 S116 및S118에서의 처리를 확장 칼만(extended Kalman) 필터의 원리에 기초하여 실행한다.

이러한 처리의 결과로서, 프레임마다 갱신되는 상태 변수의 값이 출력된다. 이하에서는, 특징점의 추적(스텝 S114), 상태 변수의 예측(스텝 S116), 상태 변수의 갱신(스텝 S118)의 각 처리의 구성에 대해 보다 구체적으로 설명한다.

(1-1) 특징점의 추적

본 실시예에서, 기억부(132)는 실제 공간 내에 존재할 수 있는 물체에 대응하는 물체의 특징을 나타내는 특징 데이터를 미리 기억하고 있다. 특징 데이터는, 예를 들어, 각 물체의 외관의 특징을 각각 나타내는 하나 이상의 특징점에 관한 소 화상, 즉, 패치를 포함한다. 패치는, 예를 들어, 특징점을 중심으로 하는 3×3=9 화소로 이루어지는 소 화상일 수 있다.

도 9는 물체의 2개의 예, 및 각 물체 상에 설정된 특징점(FPs) 및 패치의 예를 나타내고 있다. 도 9의 좌측 물체는 PC을 표현하는 물체이다(도 5a 참조). 물체 상에는, 특징점 FP1을 포함하는 복수의 특징점이 설정되어 있다. 또한, 특징점 FP1과 관련하여 패치 Pth1이 정의되어 있다. 한편, 도 9의 우측 물체는 캘린더를 표현하는 물체이다(9b 참조). 물체 상에는, 특징점 FP2을 포함하는 복수의 특징점이 설정되어 있다. 또한, 특징점 FP2과 관련하여 패치 Pth2가 정의되어 있다.

촬상부(110)로부터 입력 화상을 취득하면, 자기 위치 검출부(142)는 입력 화상에 포함되어 있는 부분 화상과, 기억부(132)에 미리 기억되어 있는 도 9에 예시된 각 특징점의 패치를 대조한다. 그리고, 자기 위치 검출부(142)는 대조의 결과로서, 입력 화상에 포함되어 있는 각 특징점의 위치(예를 들어, 검출된 패치의 중심 화소의 위치)를 특정한다.

또한, 특징점의 추적(도 8의 스텝 S114)에서, 추적되는 모든 특징점에 관한 데이터를 미리 기억부(132)에 기억할 필요는 없다는 것을 알아야 한다. 예를 들어, 도 10에 도시된 예에서는, 시각 T=t-1에서 4개의 특징점이 입력 화상 내에서 검출된다(10a 참조). 이제, 시각 T=t에서 카메라의 위치 또는 자세가 변화하면, 시각 T=t-1에서 입력 화상에 존재하는 4개의 특징점 중 2개만이 입력 화상 내에 존재한다. 이러한 경우, 자기 위치 검출부(142)는 입력 화상의 특징적인 화소 패턴이 존재하는 위치에 새롭게 특징점을 설정하고, 그 새로운 특징점을 이후의 프레임에 대한 자기 위치 검출 처리에서 사용할 수 있다. 예를 들어, 도 10에 도시된 예에서는, 시각 T=t에서 3개의 새로운 특징점이 물체 상에 설정되어 있다(10b 참조). 이는 SLAM 기술의 일 특징이고, 이에 따르면, 미리 모든 특징점을 설정하는 비용을 감소할 수 있고, 다수의 많은 특징점을 사용하여 처리의 정밀도를 높일 수 있다.

(1-2)상태 변수의 예측

본 실시예에서, 자기 위치 검출부(142)는 확장 칼만 필터를 적용할 상태 변수로서 다음 식에 나타내는 상태 변수 X를 사용한다.

[식 1]

식(1)에서의 상태 변수 X의 제1 요소는 단말 장치(100) 마다 설정되는 로컬 맵 좌표계(x, y, z)에서의 카메라의 3차원 위치를 나타낸다. 로컬 맵 좌표계는, 예를 들어, 초기화 처리 시의 촬상부(110)의 카메라의 위치 및 자세에 따라 설정된다는 것을 알아야 한다. 예를 들어, 로컬 맵 좌표계의 원점은 초기화 처리 시의 카메라의 위치에 있을 수 있다.

[식 2]

또한, 상태 변수의 제2 요소는 카메라의 자세를 나타내는 회전 행렬에 대응하는 요소로서 4원수를 갖는 4차원 벡터 ω이다. 4원수 대신에 오일러(Euler) 각을 사용해서 카메라의 자세를 나타낼 수 있다는 것을 알아야 한다. 또한, 상태 변수의 제3 및 제4 요소는 카메라의 이동 속도 및 각속도를 각각 나타낸다.

또한, 상태 변수의 제5 및 그 이후의 요소는 다음 식에 나타낸 바와 같이, 로컬 맵 좌표계에서의 특징점 FP_i(i=1... N)의 3차원 위치 p_i를 나타낸다. 상술한 바와 같이, 특징점의 수 N은 처리 동안에 변화할 수 있다는 것을 알아야 한다.

[식 3]

자기 위치 검출부(142)는 스텝 S102에서 초기화된 상태 변수 X의 값 또는 이전 프레임에서 갱신된 상태 변수 X의 값에 기초하여, 최신의 프레임에 대해 상태 변수의 예측값을 생성한다. 상태 변수의 예측값은 다음 식에 나타내는 다차원 정규 분포를 따라 확장 칼만 필터의 상태 방정식에 의해 생성된다.

[식 4]

예측 상태 변수

여기서, F는 시스템의 상태 천이에 관한 예측 모델을 나타내고, "a"는 예측 조건을 나타낸다. 또한, w는 가우스 노이즈(Gaussian noise)이며, 예를 들어 모델 근사 오차, 관측 오차 등을 포함할 수 있다. 일반적으로, 가우스 노이즈 w의 평균은 0 이다.

도 11은 본 실시예에 따른 예측 모델의 예에 대해 설명하기 위한 설명도이다. 도 11을 참조하면, 본 실시예에 따른 예측 모델에서의 2개의 예측 조건이 나타내어지고 있다. 우선, 제1 조건으로서, 로컬 맵 좌표계에서의 특징점의 3차원 위치는 변화하지 않는 것으로 한다. 즉, 시각 T에서의 특징점 FP1의 3차원 위치를p_T로 하면, 다음 식의 관계가 성립한다.

[식 5]

다음, 제2 조건으로서, 카메라의 운동은 등속 운동인 것으로 한다. 즉, 시각 T=t-1에서 시각 T=t까지 카메라의 속도 및 각속도에 대해 다음 식의 관계가 성립한다.

[식 6]

이러한 예측 모델 및 식(4)에 나타낸 상태 방정식에 기초하여, 자기 위치 검출부(142)는 최신의 프레임에 관한 상태 변수의 예측값을 생성한다.

(1-3) 상태 변수의 갱신

그리고, 자기 위치 검출부(142)는, 예를 들어, 관측 방정식을 사용하여, 상태 변수의 예측값으로부터 예측되는 관측 정보와, 특징점 추적의 결과로서 얻어지는 실제의 관측 정보 간의 오차를 평가한다. 식(8)에서의 ν는 오차라는 것을 알아야 한다.

[식 7]

관측 정보

예측 관측 정보

여기서, H는 관측 모델을 나타낸다. 예를 들어, 특징점 FP_i의 촬상면(u-v 평면) 상에서의 위치는 다음 식과 같이 정의한다.

[식 8]

FP_i의 촬상면 상에서의 위치

여기서, 카메라의 위치 x, 카메라의 자세 ω 및 특징점 FP_i의 3차원 위치 p_i는 모두 상태 변수 X의 요소로서 주어진다. 그렇다면, 핀 홀 모델에 따라, 특징점 FP_i의 촬상면 상에서의 위치는 다음 식을 사용해서 유도된다.

[식 9]

여기서, λ는 정규화를 위한 파라미터, A는 카메라 내부 파라미터, R_ω은 상태 변수 X에 포함되는 카메라의 자세를 나타내는 4원수 ω에 대응하는 회전 행렬을 나타낸다. 카메라 내부 파라미터 A는 입력 화상을 촬영하는 카메라의 특성에 따라 미리 다음 식과 같이 주어진다.

[식 10]

여기서, f는 초점 거리, θ은 화상축의 직교성(이상값은 90°), k_u는 촬상면의 종축을 따른 스케일(로컬 맵 좌표계에서 촬상면의 좌표계로의 스케일 변화율), k_v는 촬상면의 횡축을 따른 스케일, (u_o, v_o)은 촬상면의 중심 위치를 나타낸다.

따라서, 식(11)을 사용해서 유도되는 예측되는 관측 정보, 즉, 각 특징점의 촬상면상의 위치와, 도 8의 스텝 S114에서의 특징점 추적 결과 간의 오차를 최소한으로 하는 상태 변수 X를 탐색함으로써, 가능한 최신의 상태 변수 X를 얻을 수 있다.

[식 11]

최신의 상태 변수

자기 위치 검출부(142)는 이러한 방식으로 SLAM 기술을 응용해서 동적으로 갱신된 카메라의 위치 x 및 자세 ω를 로컬 맵 구축부(146)에 출력한다.

(2) 특징 데이터

기억부(132)는 실제 공간 내에 존재할 수 있는 물체에 대응하는 물체의 특징을 나타내는 특징 데이터를 미리 기억하고 있다. 도 12는 특징 데이터의 구성의 예에 대해 설명하기 위한 설명도이다.

도 12를 참조하면, 물체 B2에 관한 일례로서의 특징 데이터 FD1이 도시되어 있다. 특징 데이터 FD1은 물체 명칭 FD11, 6 방향으로부터 촬영한 화상 데이터 FD12, 패치 데이터 FD13, 3차원 형상 데이터 FD14 및 온톨러지 데이터 FD15를 포함한다.

물체 명칭 FD11은 "커피 컵 A" 등의 대응하는 물체를 특정할 수 있는 명칭이다.

화상 데이터 FD12는, 예를 들어, 대응하는 물체의 화상을 6 방향(앞, 뒤, 좌, 우, 상, 하)으로부터 촬영하여 얻은 6개의 화상 데이터를 포함한다. 패치 데이터 FD13은 각 물체 상에 설정되는 하나 이상의 특징점 각각에 대해 각 특징점을 중심으로 하는 소 화상의 집합이다. 화상 데이터 FD12 및 패치 데이터 FD13은 후술하는 화상 인식부(144)에 의한 물체 인식 처리를 위해 사용될 수 있다. 또한, 패치 데이터 FD13은 전술된 자기 위치 검출부(142)에 의한 자기 위치 검출 처리를 위해 사용될 수 있다.

3차원 형상 데이터 FD14는 대응하는 물체의 형상을 인식하기 위한 폴리곤 정보 및 특징점의 3차원 위치 정보를 포함한다. 3차원 형상 데이터 FD14는 후술하는 로컬 맵 구축부(146)에 의한 로컬 맵 구축 처리를 위해 사용될 수 있다.

온톨러지 데이터 FD15는, 예를 들어, 로컬 맵 구축부(146)에 의한 로컬 맵 구축 처리를 지원하기 위해 사용될 수 있는 데이터이다. 도 12에 도시된 예에서는, 온톨러지 데이터 FD15는 커피 컵인 물체 B2가, 테이블에 대응하는 물체에 접할 가능성이 높은 것 및 책장에 대응하는 물체에 접할 가능성이 낮은 것을 나타내고 있다.

(3) 화상 인식부

화상 인식부(144)는 기억부(132)에 기억되어 있는 상술한 특징 데이터를 사용해서, 입력 화상에 존재하는 물체 각각이 어느 물체에 대응하는지를 특정한다.

도 13은 화상 인식부(144)에 의한 물체 인식 처리의 흐름의 예를 나타내는 흐름도이다. 도 13을 참조하면, 우선, 화상 인식부(144)는 촬상부(110)로부터 입력 화상을 취득한다(스텝 S212). 다음, 화상 인식부(144)는 입력 화상에 포함되는 부분 화상과, 특징 데이터에 포함되는 각 물체의 하나 이상의 특징점의 패치를 대조하여, 입력 화상에 포함되는 특징점을 추출한다(스텝 S214). 화상 인식부(144)에 의한 물체 인식 처리에 사용되는 특징점과, 자기 위치 검출부(142)에 의한 자기 위치 검출 처리에 사용되는 특징점은 반드시 동일한 것은 아니라는 것을 알아야 한다. 그러나, 양쪽의 처리에 사용되는 특징점이 공통되고 있을 경우에는, 화상 인식부(144)는 자기 위치 검출부(142)에 의한 특징점 추적의 결과를 재이용할 수 있다.

다음, 화상 인식부(144)는 특징점의 추출 결과에 기초하여 입력 화상에 존재하는 물체를 특정한다(스텝 S216). 예를 들어, 어떤 영역 내에서 하나의 물체에 속하는 특징점이 높은 밀도로 추출되었을 경우, 화상 인식부(144)는 그 물체가 그 영역에 존재한다는 것을 인식할 수 있다. 그리고, 화상 인식부(144)는 특정된 물체의 물체 명칭(또는 식별자) 및 그 물체에 속하는 특징점의 촬상면 상에서의 위치를 로컬 맵 구축부(146)에 출력한다(스텝 S218).

(4) 로컬 맵 구축부

로컬 맵 구축부(146)는 자기 위치 검출부(142)로부터 입력되는 카메라의 위치 및 자세, 화상 인식부(144)로부터 입력되는 특징점의 촬상면 상에서의 위치 및 기억부(132)에 기억되어 있는 특징 데이터를 사용하여 로컬 맵을 생성한다. 본 실시예에서, 로컬 맵은 단말 장치(100)의 주위에 존재하는 1개 이상의 물체의 위치 및 자세를 로컬 맵 좌표계를 사용해서 나타내는 위치 데이터의 집합이다. 또한, 로컬 맵에 포함되는 각 위치 데이터는, 예를 들어, 물체에 대응하는 물체 명칭, 그 물체에 속하는 특징점의 3차원 위치 및 그 물체의 형상을 구성하는 폴리곤 정보와 관련될 수 있다. 로컬 맵은, 예를 들어, 화상 인식부(144)로부터 입력되는 특징점의 촬상면 상에서의 위치로부터, 상술한 핀 홀 모델에 따라 각 특징점의 3차원 위치를 구하는 것에 의해 구축될 수 있다.

식(11)에 나타낸 핀 홀 모델의 관계식을 변형하면, 특징점 FPi의 로컬 맵 좌표계에서의 3차원 위치 p_i는 다음 식에 의해 구해질 수 있다.

[식 12]

여기서, d는 카메라와 각 특징점 사이의 로컬 맵 좌표계에서의 거리를 나타낸다. 로컬 맵 구축부(146)는 이러한 거리 d를 물체마다 적어도 4개의 특징점의 촬상면 상에서의 위치 및 이들 특징점 간의 거리에 기초하여 산출할 수 있다. 특징점 간의 거리는 도 12를 참조하여 설명한 특징 데이터에 포함되는 3차원 형상 데이터 FD14로서 미리 기억부(132)에 기억되어 있다. 식(14)에서의 거리 d의 산출 처리에 대해서는 일본 특허 공개 공보 제2008-304268호에 상세하게 설명되어 있다는 것을 알아야 한다.

거리 d가 산출되면, 식(14)에서의 우변의 나머지의 변수는 자기 위치 검출부(142)로부터 입력되는 카메라의 위치 및 자세, 및 화상 인식부(144)로부터 입력되는 특징점의 촬상면 상에서의 위치이며, 이들 모두는 기지의 것들이다. 따라서, 로컬 맵 구축부(146)는 식(14)에 따라 화상 인식부(144)로부터 입력되는 각 특징점에 대해 로컬 맵 좌표계에서의 3차원 위치를 계산한다. 그리고, 로컬 맵 구축부(146)는 산출된 각 특징점의 3차원 위치에 따라 최신의 로컬 맵을 구축한다. 이때, 로컬 맵 구축부(146)는 도 12를 참조하여 설명한 특징 데이터에 포함되는 온톨러지 데이터 FD15을 사용하여 로컬 맵의 데이터의 정확성을 향상시킬 수 있다는 것을 알아야 한다. 그리고, 로컬 맵 구축부(146)는 구축된 로컬 맵을 기억부(132)에 저장하고, 이 로컬 맵을 산출부(160)에 출력한다.

로컬 맵 생성부(140)가 특징 데이터에 포함되는 화상(물체의 각 특징점에 대한 패치 등)을 사용해서 로컬 맵을 생성하는 예에 대해 상술했다는 것을 알아야 한다. 그러나, 각 물체를 식별하기 위한 마커 또는 태그 등의 식별 수단이 물체에 미리 제공되어 있는 경우에는, 로컬 맵 생성부(140)는 그 식별 수단을 사용해서 각 물체를 식별하고, 그 식별 결과를 사용해서 로컬 맵을 생성할 수 있다. 각 물체를 식별하기 위한 식별 수단으로서, 예를 들어, 바코드, QR 코드(등록 상표), RF(Radio Frequency) 태그 등을 사용할 수 있다.

[3-6. 산출부]

산출부(160)는 부분 글로벌 맵에 포함되는 물체의 위치 데이터와 로컬 맵에 포함되는 물체의 위치 데이터를 대조하고, 그 대조의 결과에 기초하여 글로벌 맵에 대한 로컬 맵의 상대적인 위치 및 자세를 산출한다. 부분 글로벌 맵에 대한 로컬 맵의 상대적인 위치 및 자세는 글로벌 좌표계를 기준으로 했을 경우의 로컬 맵 좌표계의 변위와 기울기에 상당한다. 보다 구체적으로는, 산출부(160)는, 예를 들어, 부분 글로벌 맵 및 로컬 맵에 공통으로 포함되는 랜드마크의 위치 데이터에 기초하여 로컬 맵의 상대적인 위치 및 자세를 산출할 수 있다. 대안적으로, 산출부(160)는, 예를 들어, 로컬 맵에 포함되는 물체의 위치 데이터를 글로벌 좌표계의 데이터로 변환했을 경우, 변환된 데이터와 부분 글로벌 맵에 포함되는 물체의 위치 데이터 간의 차가 전체적으로 작아지도록 로컬 맵의 상대적인 위치 및 자세를 산출할 수 있다. 그리고, 산출부(160)는 산출된 로컬 맵의 상대적인 위치 및 자세와 로컬 맵을 변환부(170)에 출력한다.

(제1 방법)

도 14a는 본 실시예에 따른 산출부(160)에 의한 맵 대조 처리의 예에 대해 설명하기 위한 설명도이다.

도 14a는 기억부(132)에 기억되어 있는 부분 글로벌 맵 M_G(Ua)과, 로컬 맵 생성부(140)에 의해 생성되는 로컬 맵 M_La를 개략적으로 도시한다. 부분 글로벌 맵 MG(Ua)는 입방체로 나타내는 9개의 물체를 포함한다. 또한, 로컬 맵 M_La는 구(sphere)로 나타내는 4개의 물체를 포함한다. 이들 물체 중, 물체 B1, B2(B2'), B3 및 B4는 부분 글로벌 맵 M_G(Ua) 및 로컬 맵 M_La에 공통으로 포함된다. 물체 B1, B3 및 B4는 이동하는 것이 드문 비이동 물체, 즉, 랜드마크이다. 따라서, 산출부(160)는, 예를 들어, 로컬 맵의 물체 B1, B3 및 B4의 위치 데이터를 글로벌 좌표계의 데이터로 변환했을 경우, 변환된 데이터와 부분 글로벌 맵에 포함되는 물체 B1, B3 및 B4의 위치 데이터가 서로 일치하도록 로컬 맵의 위치 및 자세를 산출한다.

우선, 산출부(160)는 부분 글로벌 맵 M_G(Ua) 및 로컬 맵 M_La에 공통되는 랜드마크(또는 랜드마크 상의 특징점)의 3쌍을 추출한다. 랜드마크의 3쌍에 대해, 로컬 맵 좌표계에서의 3차원 위치는 w_i(i=1, 2, 3), 글로벌 좌표계에서의 3차원 위치는 X_i이다. 또한, 글로벌 맵 좌표계를 기준으로 했을 경우의 로컬 맵 좌표계의 변위는 ΔX, 로컬 맵 좌표계의 기울기 ΔΩ에 대응하는 회전 행렬이 R_L이면, 다음 방정식이 성립한다.

[식 13]

회전 행렬 R_L은 식(15)을 식(16)으로 변형함으로써 구해질 수 있다.

[식 14]

또한, 회전 행렬 RL의 대신에, 4원수를 사용해서 로컬 맵 좌표계의 회전을 표현한 경우에도, 회전을 나타내는 4원수의 놈(norm)이 1인 것을 이용하여, 회전을 나타내는 4원수(및 이 4원수에 대응하는 회전 행렬)을 산출할 수 있다.

또한, 산출부(160)는 식(15)를 푸는 것에 의해 로컬 맵 좌표계의 변위 ΔX를 산출할 수 있다.

도 14a의 예에서는, 랜드마크가 아닌 물체 B2의 부분 글로벌 맵 M_G(Ua)에서의 위치와, 로컬 맵 M_La에서의 위치(B2')는 상이하다는 것을 알아야 한다. 이는 부분 글로벌 맵 M_G(Ua)의 마지막 갱신 시점에서 로컬 맵 M_La의 생성 시점까지의 기간 동안 물체 B2가 이동한 것을 의미한다.

(제2 방법)

도 14b는 본 실시예에 따른 산출부(160)에 의한 맵 대조 처리의 다른 예에 대해 설명하기 위한 설명도이다.

도 14b는 기억부(132)에 기억되어 있는 부분 글로벌 맵 M_G(Ua)과, 로컬 맵 생성부(140)에 의해 생성되는 로컬 맵 M_La를 개략적으로 도시한다. 부분 글로벌 맵 MG(Ua)는 입방체로 나타내는 9개의 물체를 포함한다. 또한, 로컬 맵 M_La는 구(sphere)로 나타내는 4개의 물체를 포함한다. 이들 물체 중, 물체 B5, B6, B7 및 B8은 부분 글로벌 맵 M_G(Ua) 및 로컬 맵 M_La에 공통으로 포함된다. 따라서, 산출부(160)는, 예를 들어, 이들 물체 B5 내지 B8의 위치 데이터를 글로벌 좌표계의 데이터로 변환했을 경우, 변환된 데이터와 물체 B5 내지 B8의 위치 데이터 간의 차의 총합(예를 들어, 도 14a의 예에서의 거리 E5, E6, E7 및 E8의 합)이 작아지도록 로컬 맵의 위치(로컬 맵 좌표계의 변위 ΔX) 및 자세(로컬 맵 좌표계의 기울기 ΔΩ)를 산출할 수 있다. 예를 들어, 산출부(160)는 공지의 RANSAC(RANdom Sample Consensus) 알고리즘을 응용함으로써, 상술한 차의 총합이 작아지는 가능한 로컬 맵의 위치 및 자세를 산출할 수 있다.

RANSAC 알고리즘은 일반적으로 3차원 위치가 기지의 것인 복수의 점에 대해, 미리 설정된 오차의 범위 내에서 복수의 점을 포함하는 직선 또는 면을 결정하는 알고리즘이다. 본 실시예에서는, 우선, 산출부(160)는 부분 글로벌 맵 M_G(Ua) 및 로컬 맵 M_La에 공통되는 물체(또는 물체 상의 특징점)의 쌍을 복수(적합하게는, 4개 이상) 준비한다. 다음, 산출부(160)는 준비된 복수의 쌍으로부터 랜덤으로 3개의 쌍을 추출한다. 그리고, 산출부(160)는 상술한 식(15)을 푸는 것에 의해 로컬 맵 좌표계의 변위 ΔX 및 로컬 맵 좌표계의 기울기 ΔΩ에 대응하는 회전 행렬 R_L에 대한 후보를 도출한다. 그리고, 산출부(160)는 도출된 후보를 다음 평가식을 사용해서 평가한다.

[식 15]

식(17)에서, j는 물체(또는 물체 상의 특징점)의 각각을 나타낸다는 것을 알아야 한다. 산출부(160)는 식(17)에서의 평가값 ε_j를 미리 결정된 임계값보다 작게 하는 j의 수를 카운트한다. 그리고, 산출부(160)는 카운트 결과가 가장 많아지는 변위 ΔX 및 회전 행렬 R_L을 가능한 로컬 맵의 위치 및 자세로서 결정한다.

(제1 방법과 제2 방법의 조합)

또한, 산출부(160)는, 예를 들어, 로컬 맵에 포함되는 랜드마크의 수에 따라 적합한 대로 상술한 제1 방법과 제2 방법을 사용할 수 있다. 예를 들어, 3개의 랜드마크가 로컬 맵에 포함되는 경우에는 도 14a를 참조하여 설명한 방법을 이용하여, 2개 이하의 랜드마크가 로컬 맵에 포함되는 경우에는 도 14b를 참조하여 설명한 방법을 이용하여 로컬 맵의 상대적인 위치 및 자세를 산출할 수 있다.

[3-7. 변환부]

변환부(170)는 산출부(160)로부터 입력되는 로컬 맵의 상대적인 위치 및 자세에 따라 로컬 맵에 포함되는 물체의 위치 데이터를 글로벌 맵의 좌표계의 데이터로 좌표 변환한다. 구체적으로는, 변환부(170)는 로컬 맵에 포함되는 물체의 3차원 위치(로컬 맵 좌표계)를, 산출부(160)로부터 입력되는 로컬 맵의 기울기 ΔΩ에 대응하는 회전 행렬을 사용해서 회전시킨다. 그리고, 변환부(170)는 산출부(160)로부터 입력되는 로컬 맵의 상대적인 위치(글로벌 좌표계에 대한 로컬 맵 좌표계의 변위 ΔX)를 회전 후의 좌표에 가산한다. 이로써, 로컬 맵에 포함되는 물체의 위치 데이터가 글로벌 맵 좌표계의 데이터로 변환된다. 변환부(170)는 이러한 좌표 변환 후의 로컬 맵에 포함되는 물체의 위치 데이터를 갱신부(180)에 출력한다.

또한, 변환부(170)는 로컬 맵 생성부(140)의 자기 위치 검출부(142)에 의해 검출되는 로컬 맵 좌표계의 카메라의 위치 및 자세를, 산출부(160)로부터 입력되는 로컬 맵의 상대적인 위치 및 자세를 사용하여, 글로벌 맵 좌표계의 데이터로 좌표 변환할 수 있다. 이로써, 초기화부(120)에 의해 특정된 단말 장치(100)의 위치는 초기화 후의 단말 장치(100)의 이동에 따라 갱신될 수 있다. 이 후, 글로벌 맵 취득부(130)는 갱신된 새로운 단말 장치(100)의 위치에 따라, 맵 관리 서버(10)로부터 새로운 부분 글로벌 맵을 취득할 수 있다.

[3-8. 갱신부]

갱신부(180)는 변환부(170)에 의한 좌표 변환 후의 로컬 맵에 포함되는 물체의 위치 데이터를 사용하여, 기억부(132)에 기억되어 있는 부분 글로벌 맵을 갱신한다. 또한, 갱신부(180)는 변환부(170)에 의한 좌표 변환 후의 로컬 맵 또는 갱신된 부분 글로벌 맵을 맵 관리 서버(10)에 송신함으로써, 맵 관리 서버(10)에 기억된 글로벌 맵을 갱신한다. 글로벌 맵의 갱신은 최종적으로 단말 장치(100)의 갱신부(180)로부터 좌표 변환 후의 로컬 맵 또는 갱신 후의 글로벌 맵을 수신한 맵 관리 서버(10)의 갱신부(50)에 의해 행해질 수 있다.

도 15a는 본 실시예에 따른 글로벌 맵 갱신 처리의 예에 대해 설명하기 위한 설명도이다.

도 15a는 갱신 전의 부분 글로벌 맵 M_G(Ua) 및 좌표 변환 후의 로컬 맵 M_La'을 개략적으로 나타내고 있다. 갱신 전의 부분 글로벌 맵 M_G(Ua)은 9개의 물체(Obj1 내지 Obj9)에 관한 위치 데이터를 포함한다. 이들 위치 데이터의 타임 스탬프(stamp)는 일례로서 2010/1/1 23:59:59를 나타낸다. 좌표 변환 후의 로컬 맵 M_La'는 5개의 물체(Obj1 내지 Obj4)에 관한 위치 데이터를 포함한다. 이들 위치 데이터의 타임은 일례로서 2010/1/2 12:00:00를 나타낸다. 이러한 경우, 갱신부(180)는 공통되는 물체(Obj1 내지 Obj4)의 각각에 대해, 부분 글로벌 맵 M_G(Ua)의 위치 데이터를, 보다 최근의 좌표 변환 후의 로컬 맵 M_La'의 위치 데이터로 갱신한다. 또한, 갱신부(180)는 새로운 물체(Obj10)의 위치 데이터를 부분 글로벌 맵 M_G(Ua)에 삽입한다. 그 결과, 새로운 부분 글로벌 맵 M_G(Ua)'이 생성된다.

도 15a의 예에서는 공통되는 물체의 위치 데이터가 새로운 데이터에 의해 갱신되지만, 그 대신에, 공통되는 물체의 구 위치 데이터와 신 위치 데이터를 병존시킬 수 있다는 것을 알아야 한다. 이로써, 최신의 글로벌 맵 뿐만 아니라 과거의 글로벌 맵에 대해서도 시간에 따라 필터링함으로써 추출하는 것이 가능하게 된다. 이러한 경우, 구 위치 데이터는, 예를 들어, 정기적인 처리에 의해 일정한 기간이 경과한 후에 삭제될 수 있다.

도 15b는 본 실시예에 따른 글로벌 맵 갱신 처리의 다른 예에 대해서 설명하는 설명도이다.

도 15b는 갱신 전의 부분 글로벌 맵 M_G(Ua) 및 좌표 변환 후의 로컬 맵 M_La'를 개략적으로 나타낸다. 갱신 전의 부분 글로벌 맵 M_G(Ua)은 물체 B1 내지 B3을 포함하는 7개의 물체를 포함한다. 한편, 좌표 변환 후의 로컬 맵 M_La'은 4개의 물체 B1 내지 B3 및 B12를 포함한다. 이러한 경우, 갱신부(180)는, 예를 들어, 좌표 변환 후의 로컬 맵 M_La'에 대응하는 영역(도 15b에서 파선으로 도시된 영역)에 포함되는 갱신 전의 부분 글로벌 맵 M_G(Ua) 내의 물체를 삭제하고, 이 영역에 포함되는 좌표 변환 후의 로컬 맵 M_La' 내의 물체를 부분 글로벌 맵 M_G(Ua)에 삽입한다. 그 결과, 도 15b의 아래에 도시된 바와 같은 새로운 부분 글로벌 맵 M_G(Ua)'이 생성된다. 이러한 갱신 처리에 의하면, 외관이 동일한 복수의 물체 등의 화상 인식에 의해 구별하기 어려운 복수의 물체의 이동을 적절하게 글로벌 맵에 반영할 수 있다.

도 15b의 예에서도, 1개의 맵 내에 구 위치 데이터와 신 위치 데이터를 병존시킬 수 있다는 것을 알아야 한다. 또한, 부분 글로벌 맵에 포함되는 물체 중에서

랜드마크로서 사용되는 물체는 통상적으로 이동하지 않으므로, 갱신부(180)는 랜드마크의 위치 데이터에 대한 갱신 처리를 스킵할 수 있다.

도 15a 및 도 15b를 참조한 상기 설명은 단말 장치(100)의 갱신부(180)에 의한 부분 글로벌 맵의 갱신 뿐만 아니라, 맵 관리 서버(10)의 갱신부(50)에 의한 글로벌 맵의 갱신에도 마찬가지로 적용될 수 있다. 이 경우, 도 15a 및 도 15b에서의 부분 글로벌 맵은 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵에 대응되고, 도 15a 및 도 15b에서의 좌표 변환 후의 로컬 맵은 단말 장치(100)로부터 맵 관리 서버(10)에 송신되는 부분 글로벌 맵(또는 좌표 변환 후의 로컬 맵)에 대응한다.

[3-9. 표시 제어부]

표시 제어부(190)는 유저로부터의 지시에 따라 맵 관리 서버(10)로부터 글로벌 맵을 다운로드하고, 글로벌 맵을 적어도 부분적으로 가시화해서, 이를 단말 장치(100)의 화면에 출력한다. 구체적으로는, 예를 들어, 표시 제어부(190)는 유저로부터의 지시 입력을 검지하면, 표시 제어부(190)는 글로벌 맵의 송신 요구를 맵 관리 서버(10)의 글로벌 맵 배신부(60)에 송신한다. 이렇다면, 맵 관리 서버(10)의 글로벌 맵 배신부(60)로부터, 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵이 배신된다. 표시 제어부(190)는 이러한 글로벌 맵을 수신하고, 유저가 요망하는 영역(유저가 현재 위치하고 있는 영역 이외의 영역일 수 있음)에서의 물체의 위치를 가시화해서, 이를 화면에 출력한다.

<4. 처리의 흐름>

도 16은 본 실시예에 따른 맵 관리 서버(10)와 단말 장치(100) 사이의 맵 갱신 처리의 흐름의 예를 나타내는 흐름도다.

도 16을 참조하면, 우선, 단말 장치(100)의 초기화부(120)는 촬상부(110)로부터 입력되는 입력 화상을 사용하여 글로벌 좌표계에서의 단말 장치(100)의 위치를 초기화한다(스텝 S302). 초기화부(120)에 의한 초기화 처리는, 예를 들어, 단말 장치(100)의 기동시, 단말 장치(100)에서의 소정의 어플리케이션의 기동 시 등에 행해질 수 있다.

다음, 단말 장치(100)의 글로벌 맵 취득부(130)는 맵 관리 서버(10)에, 글로벌 좌표계에서의 단말 장치(100)의 위치에 관한 정보를 송신한다(스텝 S304). 단말 장치(100)의 위치에 관한 정보는 단말 장치(100)의 글로벌 좌표계에서의 좌표일 수 있고, 또는 대안적으로 단말 장치(100)가 위치하는 영역을 식별하기 위한 영역 식별자일 수 있다.

그리고, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)는 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵의 서브 세트인 단말 장치(100)에 대한 부분 글로벌 맵을 추출한다(스텝 S306).

그리고, 맵 관리 서버(10)의 부분 글로벌 맵 추출부(40)는 단말 장치(100)의 글로벌 맵 취득부(130)에, 단말 장치(100)에 대한 부분 글로벌 맵을 송신한다(스텝 S308).

그리고, 단말 장치(100)의 로컬 맵 생성부(140)는 입력 화상 및 특징 데이터에 기초하여, 주위의 물체의 위치를 표현하는 로컬 맵을 생성한다(스텝 S310). 그 후, 단말 장치(100)의 산출부(160)는 부분 글로벌 맵에 포함되는 물체의 위치 데이터 및 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여, 글로벌 좌표계를 기준으로 하는 로컬 맵의 상대적인 위치 및 자세를 산출한다(스텝 S312). 그리고, 산출부(160)에 의해 산출된 로컬 맵의 상대적인 위치 및 자세에 따라, 변환부(170)는 로컬 맵에 포함되는 물체의 위치 데이터를 글로벌 좌표계의 데이터로 좌표 변환한다.

그리고, 단말 장치(100)의 갱신부(180)는 좌표 변환 후의 로컬 맵에 포함되는 물체의 위치 데이터를 사용하여, 단말 장치(100)의 기억부(132)에 기억되어 있는 부분 글로벌 맵을 갱신한다. 또한, 갱신부(180)는 글로벌 좌표계에서의 단말 장치(100)의 위치를 갱신한다(스텝 S314).

그리고, 단말 장치(100)의 갱신부(180)는 맵 관리 서버(10)의 갱신부(50)에, 갱신된 부분 글로벌 맵을 송신한다(스텝 S316)). 그리고, 맵 관리 서버(10)의 갱신부(50)는 갱신된 부분 글로벌 맵에 포함되는 물체의 위치 데이터를 사용하여, 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵을 갱신한다(스텝 S318).

그 후, 정기적으로 또는 요구에 따라, 로컬 맵의 생성(스텝 S310)에서 글로벌 맵의 갱신(스텝 S318)까지의 처리가 반복된다. 또한, 예를 들어, 단말 장치(100)의 위치가 부분 글로벌 맵의 중심 위치로부터 미리 결정된 거리 이상 이격되는 경우에는, 최신의 단말 장치(100)의 위치에 기초하는 부분 글로벌 맵의 취득(스텝 S304)으로부터의 처리가 행해질 수 있다.

유저는 이러한 맵 갱신 처리에 의해 갱신되는 글로벌 맵을, 맵 관리 서버(10)의 글로벌 맵 배신부(60) 및 단말 장치(100)의 표시 제어부(190)를 통해 제공되는 표시 기능을 사용하여, 단말 장치(100)의 화면 상에서 열람할 수 있다.

<5. 변형예>

[5-1. 슈퍼 클라이언트]

위에서는 맵 관리 서버(10)와 단말 장치(100) 사이에서 맵 갱신 처리가 행해지는 예에 대해서 주로 설명했다. 그러나, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 임의의 유저가 소유하는 단말 장치(100)가 맵 관리 서버(10)와 유사한 글로벌 맵 관리 기능을 가질 수 있다. 그러한 단말 장치를 본 절에서는 슈퍼 클라이언트라 한다.

도 17은 일례로서의 슈퍼 클라이언트(200)의 구성의 예를 도시하는 블록도이다. 도 17을 참조하면, 슈퍼 클라이언트(200)는 통신 인터페이스(210), 서버 처리 모듈(220), 클라이언트 처리 모듈(230) 및 표시 제어부(240)를 포함한다.

통신 인터페이스(210)는 슈퍼 클라이언트(200)와 다른 단말 장치(예를 들어,

도 5에 예시한 단말 장치(100)) 사이의 통신 접속을 중개하는 인터페이스이다. 통신 인터페이스(210)는 무선 통신 인터페이스 또는 유선 통신 인터페이스일 수 있다.

서버 처리 모듈(220)은 상술한 맵 관리 서버(10)와 유사한 글로벌 맵 관리 기능을 갖는 모듈이다. 서버 처리 모듈(220)은 글로벌 맵 기억부(30), 부분 글로벌 맵 추출부(40), 갱신부(50) 및 글로벌 맵 배신부(60)를 포함한다. 서버 처리 모듈(220)은 다른 단말 장치 사이에서 도 16을 참조하여 설명된 바와 같은 맵 갱신 처리를 행하고, 또한 후술하는 클라이언트 처리 모듈(230) 사이에서도 맵 갱신 처리를 행한다.

클라이언트 처리 모듈(230)은 상술한 맵 관리 서버(10)와 유사한 글로벌 맵 갱신 및 열람 등의 기능을 갖는 모듈이다. 클라이언트 처리 모듈(230)은 촬상부(110), 초기화부(120), 글로벌 맵 취득부(130), 기억부(132), 로컬 맵 생성부(140), 산출부(160), 변환부(170) 및 갱신부(180)를 포함한다.

표시 제어부(240)는 유저로부터의 지시에 따라, 서버 처리 모듈(220)의 글로벌 맵 기억부(30)에 기억되어 있는 글로벌 맵을 적어도 부분적으로 가시화해서, 이를 화면에 출력한다. 또한, 표시 제어부(240)는 클라이언트 처리 모듈(230)의 기억부(132)에 기억되어 있는 부분 글로벌 맵 또는 로컬 맵을 가시화해서, 이를 화면에 출력할 수 있다.

상술한 슈퍼 클라이언트(200)와 하나 이상의 단말 장치(100)를 사용하는 것에 의해, 예를 들어, P2P(Peer to Peer)를 사용한 통신 접속을 통해 복수의 유저가 하나의 글로벌 맵을 공유하는 것이 가능하게 된다.

[5-2. 부가 정보의 공유]

단말 장치(100)는, 예를 들어, 촬상부(110)를 사용해서 촬상한 화상 등의 추가 정보를 좌표 데이터와 관련하여 부분 글로벌 맵과 함께 맵 관리 서버(10)에 송신할 수 있다. 그리고, 맵 관리 서버(10)의 글로벌 맵 배신부(60) 및 단말 장치(100)의 표시 제어부(190)를 통해 그 추가 정보를 열람 가능하게 할 수 있으므로, 동적으로 갱신되는 글로벌 맵과 관련되는 추가 정보를 복수의 유저가 공유하는 것이 가능하게 된다. 추가 정보는, 예를 들어, 단말 장치(100)에서 촬상된 실제 화상 또는 화상에 존재하는 문자 등의 인식 결과일 수 있다. 예를 들어, 노상에 주차하고 있는 차의 번호의 판독 결과를 글로벌 맵 내의 차의 위치 데이터와 관련시켜 공유하는 것에 의해, 주차 금지 등의 교통 위반의 검출에 이용될 수 있다(도 18 참조). 또한, 상가의 각 점포에서의 상품의 가격 정보를 글로벌 맵 내의 상품의 위치 데이터와 관련시켜 공유함으로써, 유저에 의한 쇼핑 시의 편리성의 향상 및 상품의 판촉 효과를 기대할 수 있다. 또한, 창고에 있는 재고품의 데이터를 글로벌 맵 내의 상품의 위치 데이터와 관련시켜 공유함으로써, 재고 관리가 용이하게 된다.

<6. 정리>

이상에서는, 도 1 내지 도 18을 참조하여, 본 발명의 일 실시예 및 그 응용예에 대해 설명하였다. 본 실시예에 따르면, 단말 장치(100) 또는 슈퍼 클라이언트(200) 등의 정보 처리 장치에서는, 복수의 유저가 활동하는 실제 공간 내에 존재하는 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분인 부분 글로벌 맵이 취득되고, 이 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵이 생성된다. 그리고, 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여, 상기 부분 글로벌 맵 및 복수의 유저 간에 공유되는 글로벌 맵이 갱신된다. 이로써, 실제 공간 내의 물체의 위치의 변화를 신속하게 유저 간에 공유하는 것이 가능하게 된다. 또한, 로컬 맵 생성 처리에서 검출되는 단말 장치(100)의 주위의 물체의 위치 데이터를 글로벌 맵에 추가할 수 있으므로, 서비스 제공자에 의해 상세한 맵이 제공되지 않는 공간에서도, 물체의 보다 상세한 위치 데이터를 복수의 유저 간에 공유할 수 있다.

본 실시예에 따르면, 부분 글로벌 맵에 포함되는 물체의 위치 데이터 및 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여, 글로벌 좌표계를 기준으로 하는 로컬 맵의 상대적 위치 및 자세가 산출된 후, 그 산출 결과에 따라 좌표 변환된 로컬 맵의 위치 데이터를 사용하여, 상술한 갱신 처리가 행해진다. 따라서, 로컬 맵 좌표계에 제약이 주어지지 않으므로, 유저는 상기 정보 처리 장치를 자유롭게 소지하고, 동적으로 갱신되는 글로벌 맵을 다른 유저와 공유할 수 있다.

또한, 본 실시예에 따르면, 상술된 부분 글로벌 맵은 글로벌 맵을 기억하는 서버 장치로부터 취득된다. 부분 글로벌 맵은 실제 공간 내의 정보 처리 장치의 위치에 관한 정보에 따라 추출되는 글로벌 맵의 서브 세트이다. 따라서, 복수의 유저 간에 글로벌 맵을 공유할 때, 글로벌 맵의 갱신 처리에 대한 통신 비용의 증가가 억제된다.

또한, 본 실시예에 따르면, SLAM 기술을 응용함으로써, 촬상 장치로부터의 입력 화상과, 물체의 외관의 특징을 나타내는 특징 데이터에 기초하여, 로컬 맵이 생성된다. 따라서, 상기 정보 처리 장치에 외눈 카메라만이 제공되는 경우에도, 높은 정밀도로 물체의 위치를 검출하여 글로벌 맵을 갱신할 수 있다.

또한, 본 실시예에 따르면, 글로벌 맵 및 로컬 맵은 실제 공간 내의 물체의 위치 데이터와, 이 위치 데이터에 관한 타임 스탬프를 포함한다. 따라서, 복수의 유저 간의 갱신의 경합을 타임 스탬프의 비교에 의해 방지할 수 있고, 예를 들어, 유저에 의해 지정되는 과거의 위치 데이터를 열람하는 것도 가능하게 된다.

본 명세서에서 설명한 정보 처리 장치(100)에 의한 일련의 처리는 전형적으로 소프트웨어를 사용해서 실현된다. 일련의 처리를 실현하는 소프트웨어를 구성하는 프로그램은, 예를 들어, 각 장치의 내부 또는 외부에 설치되는 기억 매체에 미리 저장될 수 있다. 그리고, 각 프로그램은 RAM(random access memory)에 판독되어, CPU(central processing unit) 등의 프로세서에 의해 실행된다.

이상, 첨부 도면을 참조하여 본 발명의 적합한 실시예에 대해 상세하게 설명했지만, 본 발명은 여기에 한정되지 않는다. 당업자는 첨부된 청구범위 또는 그 균등물의 범위 이내라면 설계 요건들 및 다른 요인에 따라 다양한 변형, 조합, 서브조합 및 변경이 행해질 수 있다는 것을 이해할 것이다.

본 출원은 2010년 3월 9일자로 출원된 일본 특허 출원 제2010-051731호에 개시된 것에 관련된 요지를 포함하고, 그 전체 내용은 본 명세서에 참조로서 원용된다.

10: 맵 관리 서버
100: 단말 장치
110: 촬상부
130: 글로벌 맵 취득부
140: 로컬 맵 생성부

Claims

정보 처리 장치로서,
복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와,
상기 복수의 유저 중 1명의 유저의 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와,
상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 글로벌 맵에 포함되는 물체의 위치 데이터 및 상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵에 대한 상기 로컬 맵의 상대적인 위치를 산출하는 산출부와,
상기 로컬 맵의 상기 상대적인 위치에 따라, 상기 로컬 맵에 포함되는 물체의 상기 위치 데이터를 상기 글로벌 맵의 좌표계의 데이터로 좌표 변환하는 변환부를 더 포함하고,
상기 갱신부는 상기 변환부에 의한 상기 좌표 변환 후의 상기 로컬 맵에 포함되는 물체의 상기 위치 데이터를 사용하여 상기 글로벌 맵을 갱신하는, 정보 처리 장치.
제1항에 있어서,
상기 정보 처리 장치는 상기 1명의 유저가 소유하는 단말 장치인, 정보 처리 장치.
제3항에 있어서,
상기 글로벌 맵 취득부는 상기 글로벌 맵을 기억하는 서버 장치로부터 상기 글로벌 맵의 적어도 일부분을 취득하고,
상기 갱신부는 물체들의 위치 데이터를 상기 서버 장치에 송신함으로써 상기 서버 장치의 상기 글로벌 맵을 갱신하는, 정보 처리 장치.
제4항에 있어서, 상기 글로벌 맵 취득부는 상기 글로벌 맵 중, 상기 실제 공간 내의 상기 단말 장치의 위치를 포함하는 로컬 영역에 대응하는 일부분을 취득하는, 정보 처리 장치.
제4항에 있어서, 상기 글로벌 맵 취득부는 상기 글로벌 맵 중, 상기 단말 장치의 근방에 위치하는 미리 결정된 수의 물체의 위치를 표현하는 일부분을 취득하는, 정보 처리 장치.
제1항에 있어서, 상기 로컬 맵 생성부는 촬상 장치를 사용하여 실제 공간을 촬영함으로써 얻어지는 입력 화상과, 하나 이상의 물체의 외관의 특징을 나타내는 특징 데이터에 기초하여 상기 로컬 맵을 생성하는, 정보 처리 장치.
제2항에 있어서, 상기 산출부는 상기 글로벌 맵 및 상기 로컬 맵에 공통으로 포함되는 비이동 물체의 위치 데이터에 기초하여 상기 로컬 맵의 상기 상대적인 위치를 산출하는, 정보 처리 장치.
제2항에 있어서, 상기 산출부는, 상기 로컬 맵에 포함되는 물체의 상기 위치 데이터를 상기 글로벌 맵의 상기 좌표계의 데이터로 변환할 때, 변환 후의 데이터와 상기 글로벌 맵에 포함되는 물체의 상기 위치 데이터 사이의 차가 전체적으로 보다 작아지도록, 상기 로컬 맵의 상기 상대적인 위치를 산출하는, 정보 처리 장치.
제1항에 있어서, 상기 글로벌 맵은 상기 실제 공간 내의 각 물체의 상기 글로벌 맵의 좌표계에서의 위치 데이터와 상기 위치 데이터에 관한 타임 스탬프를 포함하는, 정보 처리 장치.
제1항에 있어서, 유저로부터의 지시에 따라 상기 글로벌 맵을 화면 상에 적어도 부분적으로 가시화하는 표시 제어부를 더 포함하는, 정보 처리 장치.
정보 처리 장치에 의해 행해지고, 복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵을 갱신하기 위한 맵 갱신 방법으로서,
상기 글로벌 맵의 적어도 일부분을 취득하는 스텝과,
상기 정보 처리 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 스텝과,
상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 스텝을 포함하는, 맵 갱신 방법.
정보 처리 장치를 제어하는 컴퓨터를,
복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와,
상기 복수의 유저 중 1명의 유저의 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와,
상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부로서 기능하게 하는, 프로그램.
정보 처리 시스템으로서,
복수의 유저가 활동하는 실제 공간 내의 물체의 위치를 표현하는 글로벌 맵을 기억 매체를 사용하여 기억하는 서버 장치와,
상기 복수의 유저 중 1명의 유저가 소유하는 정보 처리 장치를 포함하고,
상기 정보 처리 장치는
상기 서버 장치로부터 상기 글로벌 맵의 적어도 일부분을 취득하는 글로벌 맵 취득부와,
상기 정보 처리 장치에 의해 검출 가능한 주위의 물체의 위치를 표현하는 로컬 맵을 생성하는 로컬 맵 생성부와,
상기 로컬 맵에 포함되는 물체의 위치 데이터에 기초하여 상기 글로벌 맵을 갱신하는 갱신부를 포함하는, 정보 처리 시스템.