KR20170015313A

KR20170015313A - 장소 기반 정보 처리 방법 및 장치

Info

Publication number: KR20170015313A
Application number: KR1020167033934A
Authority: KR
Inventors: 수에팅 지앙; 유린 동
Original assignee: 알리바바 그룹 홀딩 리미티드
Priority date: 2014-06-09
Filing date: 2015-06-08
Publication date: 2017-02-08
Also published as: US20150356063A1; EP3152948A1; EP3152948A4; CN105338479B; US20190243888A1; TWI671502B; CN105338479A; EP3474586A1; TW201546420A; JP6753785B2; EP3152948B1; HK1218364A1; WO2015191448A1; EP3474586B1; US10922480B2; JP2017526032A; KR102319621B1

Abstract

장소 기반 정보 처리를 위한 방법 및 장치가 개시된다. 방법은 사용자에 의해 입력된 주석 정보를 수신하는 단계와, 모바일 단말 디바이스의 지리적 위치 정보를 획득하는 단계와, 서버가 지리적 위치 정보에 따라 사용자가 위치된 곳의 장소 정보를 판정하고, 주석 정보 및 장소 정보 간의 대응을 수립하고 저장하여 장소 내의 질의 사용자에게 주석 정보를 제공하도록 주석 정보 및 지리적 위치 정보를 서버에 발신하는 단계를 포함한다. 본 개시에서, 사용자의 "자취"는 장소 내에 유지될 수 있으며, 장소 내의 실제 사정에 좌우되지 않는데, 이는 진짜 종이와 펜을 필요로 하지 않고, 장소의 실제 경관에 영향을 미치지 않는다.

Description

장소 기반 정보 처리 방법 및 장치{PLACE-BASED INFORMATION PROCESSING METHOD AND APPARATUS}

관련 특허 출원에 대한 상호 참조

이 출원은, 이로써 참조에 의해 전체로서 포함되는, "Place-Based Information Processing Method and Apparatus"라는 표제로 2014년 6월 9일에 출원된 중국 특허 출원 제201410253628.2호에 대한 외국 우선권을 주장한다.

기술 분야

본 개시는 모바일 단말 디바이스(mobile terminal device) 내의 애플리케이션의 기술 분야에 관련되고, 특히 장소 기반 정보 처리(placed-based information processing)의 방법 및 장치에 관련된다.

실생활에서, 사람들은 어떤 장소에서 메시지를 남기려는 바람을 흔히 가진다. 예컨대, 식당에서 식사를 하는 경우, 사람들은 대개 몇몇 요리에 대해 논평하거나, 식사 동안의 그들의 기분을 표현하거나, 당일의 의미 있는 사건을 기록하는 등등이다. 따라서, 고객들이 그들의 논평, 기분, 사건 또는 유사한 것을 종이에 쓰고, 그것들을 식당의 벽에 놓아둘 수 있도록, 몇몇 식당 주인은 고객들을 위해 약간의 스티커 및 펜을 제공한다. 그 이후, 식당에서 식사를 하는 고객이 다른 고객에 의해 남겨진 메시지를 볼 수 있거나, 동일한 고객이 동일한 식당에서 먹을 때에 그 자신/그녀 자신에 의해 이전에 남겨진 메시지를 볼 수 있다. 많은 다른 그러한 장소가 있다. 예컨대, 어떤 관광 명소를 방문하는 경우, 때때로 관광객은 그/그녀가 그곳에 가 봤음을 드러내기 위해 메시지를 남기거나 그의/그녀의 이름을 남기기를 바랄 수 있는데, 예컨대, "누군가 여기에 왔었음" 등등이다.

그러나, 식당 주인이 어떤 종이와 펜도 제공하지 않거나 고객들이 그 벽에 놓아둘 수 있게 하지 않는 상황에서, 고객들은 그들이 때맞춰 식당에서 적어두기를 원하는 메시지를 표현할 수가 없다. 관광 명소에 있어서, 경관(scenery) 보호의 목적으로 요즈음에는 명승지에서 어떤 관광객도 보통은 그의/그녀의 이름 등등을 새기지 않을 것이다. 이는, 그러나, "거기에 가 봤음"과 같은 기록을 하려는 관광객의 바람을 충족시키지 못하는 것을 초래한다.

따라서, 사용자가 어떤 장소에서 메시지를 남길 필요가 있는 경우, 적는 장소의 제약을 받지 않고서 사용자가 언제라도 그리고 어디서든 메시지를 남길 수 있도록 어떻게 사용자를 도울지는 당업자에 의해 해결되어야 할 기술적 문제가 된다.

이 개요는 상세한 설명에서 추가로 후술되는 개념들 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 대상물(claimed subject matter)의 모든 중요 특징 또는 필수적 특징을 식별하도록 의도되지 않고, 청구된 대상물의 범위를 정하는 데에서 보조로서 단독으로 사용되도록 의도되지도 않는다. 예를 들면, 용어 "기법"은 위의 맥락에 의해 그리고 본 개시 도처에서 허용되는 대로 디바이스(들), 시스템(들), 방법(들) 및/또는 컴퓨터 판독가능(computer-readable) 명령어를 나타낼 수 있다.

본 개시는 장소 기반 정보 처리의 방법 및 장치를 제공하여서, 구체적 장소 내의 실제 사정에 좌우되지 않고서 사용자의 "자취"가 장소 내에 유지될 수 있는데, 이는 진짜 종이와 펜을 필요로 하지 않고 장소의 실제 경관에 영향을 미치지 않는다.

본 개시는 다음의 해결책들을 제공한다.

장소 기반 정보 처리 방법은, 사용자에 의해 입력된 주석 정보(annotation information)를 수신하는 단계와, 모바일 단말 디바이스가 위치된 지리적 위치(geographical location)의 정보를 획득하는 단계와, 서버로 하여금 위 지리적 위치의 위 정보에 기반하여 위 사용자가 위치된 장소의 정보를 판정하고, 위 주석 정보와 위 장소의 위 정보 간의 대응 관계(correspondence relationship)를 수립하고 저장할 수 있게 하여 위 장소 내의 질의 사용자(querying user)에게 위 주석 정보를 제공하기 위해 위 주석 정보 및 위 지리적 위치의 위 정보를 위 서버에 발신하는 단계를 포함한다.

장소 기반 정보 처리 방법은, 주위의 주석 정보(surrounding annotation information)를 보려는 질의 사용자로부터의 요청을 수신하는 단계와, 위 질의 사용자의 지리적 위치 정보를 획득하는 단계와, 서버로 하여금 위 지리적 위치 정보에 기반하여 위 질의 사용자가 위치된 목표 장소(target place)를 판정하고, 위 목표 장소에 대응하는 주석 정보의 각각의 조목(piece)을 위 주석 정보의 각각의 조목과 장소 정보 간의 사전저장된 대응 관계에 기반하여 판정하고 회신할 수 있게 하기 위해 위 서버에 위 지리적 위치 정보를 발신하는 단계와, 위 질의 사용자에게 위 서버에 의해 회신된 위 주석 정보의 각각의 조목을 제공하는 단계를 포함한다.

장소 기반 정보 처리 방법은, 주석 클라이언트(annotating client)에 의해 업로드된(uploaded) 주석 정보 및 사용자 모바일 단말 디바이스(user mobile terminal device)의 지리적 위치 정보를 수신하는 단계와, 위 지리적 위치 정보에 기반하여 그 사용자가 위치된 장소의 정보를 판정하는 단계와, 주석 정보에 대해 질의하는 요청 내에 포함된 위 지리적 위치 정보에 기반하여 질의 사용자가 있는 목표 장소를 판정하는 것과, 그 질의 클라이언트(querying client)에 위 목표 장소에 대응하는 주석 정보를 그 질의 클라이언트로부터 위 요청을 수신하는 것에 응답하여 회신하는 것을 가능하게 하기 위해 위 주석 정보와 위 장소의 위 정보 간의 대응 관계를 생성하고 저장하는 단계를 포함한다.

장소 기반 정보 처리 방법은, 주석 정보에 대해 질의하기 위해 질의 클라이언트에 의해 발신된 요청을 수신하는 단계(위 요청은 질의 사용자의 지리적 위치 정보를 포함함)와, 위 지리적 위치 정보에 따라 위 질의 사용자가 위치된 목표 장소를 판정하는 단계와, 위 주석 정보와 장소 정보 간의 사전생성된 대응 관계에 기반하여 위 목표 장소에 대응하는 주석 정보를 판정하고, 그것을 위 질의 클라이언트에 회신하는 단계를 포함한다.

장소 기반 정보 처리 장치는, 사용자에 의해 입력된 주석 정보를 수신하는 주석 정보 수신 유닛(annotation information receiving unit)과, 모바일 단말 디바이스의 지리적 위치 정보를 획득하는 제1 지리적 위치 정보 획득 유닛(geographical location information acquisition unit)과, 서버로 하여금 위 지리적 위치 정보에 기반하여 위 사용자가 위치된 장소 정보를 판정하고, 위 주석 정보와 위 장소 정보 간의 대응 관계를 수립하고 저장할 수 있게 하여 위 장소 내의 질의 사용자에게 위 주석 정보를 제공하기 위해 위 주석 정보 및 위 지리적 위치 정보를 위 서버에 발신하는 제1 발신 유닛(sending unit)을 포함한다.

장소 기반 정보 처리 장치는, 주위의 주석 정보를 보기 위해 질의 사용자에 의해 발신된 요청을 수신하는 보기 요청 수신 유닛(view request receiving unit)과, 위 질의 사용자의 지리적 위치 정보를 획득하는 제2 지리적 위치 정보 획득 유닛과, 서버로 하여금 위 지리적 위치 정보에 따라 위 질의 사용자가 위치된 목표 장소를 판정하고, 위 목표 장소에 대응하는 위 주석 정보의 각각의 조목을 위 주석 정보의 각각의 조목과 위 장소의 정보 간의 사전저장된 대응 관계에 따라 판정하고 회신할 수 있게 하기 위해 위 서버에 위 지리적 위치 정보를 발신하는 제2 발신 유닛과, 위 질의 사용자에게 위 서버에 의해 회신된 위 주석 정보의 각각의 조목을 제공하도록 구성된 주석 정보 제공 유닛(annotation information provision unit)을 포함한다.

장소 기반 정보 처리 장치는, 주석 클라이언트에 의해 업로드된 주석 정보 및 사용자 모바일 단말 디바이스의 지리적 위치 정보를 수신하는 정보 수신 유닛(information receiving unit)과, 위 지리적 위치 정보에 따라 그 사용자가 위치된 장소 정보를 판정하는 장소 정보 판정 유닛(place information determination unit)과, 주석 정보에 대해 질의하는 요청 내에 포함된 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소를 판정하는 것과, 그 질의 클라이언트에 위 목표 장소에 대응하는 주석 정보를 그 질의 클라이언트로부터 위 요청을 수신하는 것에 응답하여 회신하는 것을 가능하게 하기 위해 위 주석 정보와 위 장소 정보 간의 대응을 수립하고 저장하는 저장 유닛(storage unit)을 포함한다.

장소 기반 정보 처리 장치는, 주석 정보에 대해 질의하기 위해 질의 클라이언트에 의해 발신된 요청을 수신하는 요청 수신 유닛(request receiving unit)(위 요청은 질의 사용자의 지리적 위치 정보를 전달함)과, 위 지리적 위치 정보에 따라 위 질의 사용자가 위치된 목표 장소를 판정하는 목표 장소 판정 유닛(target place determination unit)과, 위 주석 정보와 장소 정보 간의 사전수립된 대응에 따라 위 목표 장소에 대응하는 주석 정보를 판정하고, 그것을 위 질의 클라이언트에 회신하는 주석 정보 회신 유닛(annotation information returning unit)을 포함한다.

본 개시에 의해 제공되는 실시예들에 따르면, 본 개시는 다음의 기술적 효과를 가진다:

본 개시의 실시예를 사용하여, 사용자는 사용자가 위치된 장소 내에서의 구체적 정보 내용(information content)의 주석(annotation)을 달성하기 위해 모바일 단말 디바이스 내에 설치된 애플리케이션을 활용할 수 있고, 그러한 정보 내용은 텍스트(text)에 제한되지 않고, 또한 사진(picture) 또는 오디오(audio) 등등을 포함할 수 있다. 사용자의 "자취"는 다양한 형태의 정보 내용을 통하여 장소 내에 유지될 수 있으며, 구체적 장소 내의 실제 사정에 좌우되지 않는데, 이는 진짜 종이와 펜을 필요로 하지 않고 장소의 실제 경관에 영향을 미치지 않을 것이다.

분명히, 본 개시를 구현하는 어떤 제품도 반드시 동시에 전술된 이점 모두를 달성하는 것은 아니다.

기존의 기술 또는 본 개시의 실시예에서의 기술적 해결책을 더욱 명확히 설명하기 위하여, 실시예를 예로 드는 예시적 도면이 본 문서 내에 간결하게 소개된다. 분명히, 이하의 설명에서의 도면은 본 개시의 몇몇 실시예를 나타낼 뿐이고, 통상의 기술자는 창조적 노력 없이 그 도면들에 따라 다른 도면을 또한 획득할 수 있다.
도 1은 본 개시에 따른 제1 예시적 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 제1 사용자 인터페이스의 개략도이다.
도 3은 본 개시의 일 실시예에 따른 제2 사용자 인터페이스의 개략도이다.
도 4는 본 개시의 일 실시예에 따른 제3 사용자 인터페이스의 개략도이다.
도 5는 본 개시에 따른 제2 예시적 방법의 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 제4 사용자 인터페이스의 개략도이다.
도 7은 본 개시의 일 실시예에 따른 제5 사용자 인터페이스의 개략도이다.
도 8은 본 개시에 따른 제3 예시적 방법의 흐름도이다.
도 9는 본 개시에 따른 제4 예시적 방법의 흐름도이다.
도 10은 본 개시에 따른 제1 예시적 장치의 개략도이다.
도 11은 본 개시에 따른 제2 예시적 장치의 개략도이다.
도 12는 본 개시에 따른 제3 예시적 장치의 개략도이다.
도 13은 본 개시에 따른 제4 예시적 장치의 개략도이다.

본 개시의 실시예들에서의 기술적 해결책들은 본 개시의 실시예들에서 첨부된 도면을 참조하여 이하에서 명확하고 온전하게 기술될 것이다. 분명히, 기술된 실시예들은 본 개시의 실시예들 중 일부를 나타낼 뿐이고 그 전부를 나타내지는 않는다. 본 개시의 실시예들에 기반하여 통상의 기술자에 의해 획득된 모든 다른 실시예들은 본 개시의 보호 범위에 속한다.

본 개시의 실시예들에서, 어떤 장소 내에, 그/그녀가 표현하기를 원하는 기분, 그/그녀가 공유하기를 원하는 이야기 등등과 같은 정보를 "놓아두고자" 하는 사용자의 바람을 충족시키기 위해 모바일 단말 디바이스(mobile terminal device)(예컨대, 모바일 전화(mobile phone), 태블릿 컴퓨터(tablet computer) 등등과 같은 모바일 단말) 내의 애플리케이션(application)이 개발될 수 있다. 그러므로, 종이나 펜이 그 장소에서 전혀 제공되지 않거나 붙이기와 새기기가 허용되지 않더라도, 사용자는 그/그녀가 거기를 방문하였음을 나타내기 위해 그 장소에 "자취"(trace)를 남길 수 있다. 가상화되며(virtualized) 직접적으로 육안으로는 보이지 않지만, 이 유형의 "자취"는 사용자의 모바일 단말 디바이스를 통하여 볼 수 있는데, 이는 물리적 존재와 균등하며(equivalent) 정보화 시대의 추세와 더 맞다. 예시적인 구현들이 이하에서 상세히 기술된다.

제1 실시예

도 1을 참조하면, 본 개시의 제1 실시예는 우선 장소 기반 정보 처리 방법을 제공하는데, 이는 이하의 방법 블록들을 포함할 수 있다:

S101은 사용자에 의해 입력된 주석 정보(annotation information)를 수신한다.

본 개시의 일 실시예에서, 각각의 방법 블록의 실행 개체(executing entity)는 모바일 단말 디바이스를 위해 개발된 애플리케이션일 수 있고, 애플리케이션은 클라이언트(client) - 서버(server) 아키텍처를 가질 수 있다. 클라이언트는 사용자의 모바일 단말 디바이스 내에 설치될 수 있고, 사용자와 상호작용하기 위해 사용된다. 서버는 후단(backend) 서버에서 작동하고, 데이터베이스 측면과 같은 서비스를 제공한다. 일 구현에서, 애플리케이션은 또한 다른 애플리케이션(들) 내에 통합될(integrated) 수 있다. 예컨대, 본 개시의 실시예들에서의 관련된 기능들은 또한 기존의 인스턴트 메시징(instant messaging) 또는 소셜 네트워킹(social networking) 애플리케이션 등등 내에서 주석될(annotated) 수 있다. 제1 실시예는 클라이언트의 관점에서 본 개시의 실시예들의 해결책을 주로 소개한다.

애플리케이션의 클라이언트 측(client side)에 있어서, 애플리케이션이 어떤 구체적 형태로 존재할 수 있다 하더라도 사용자가 정보 내용(information content)을 주석하기 위한 동작 엔트리(operation entry)가 제공될 수 있다. 예컨대, 도 2를 참조하면, 사용자가 애플리케이션에 들어간 후, 도 2에 도시된 바와 같은 사용자 인터페이스가 사용자에게 디스플레이될 수 있다. 만약 사용자가 사용자 인터페이스 내의 "Leave Your Information"(당신의 정보를 남기세요)을 클릭하는 경우, 도 3에 도시된 바와 같은 사용자 인터페이스에 들어가게 될 수 있다. 정보 내용을 편집하기 위한 편집 인터페이스가 도 3에 도시된 바와 같은 사용자 인터페이스 내에서 사용자에게 제공될 수 있다. 특히, 텍스트 입력 및 음성 입력과 같은 여러 입력 모드가 사용자에게 제공될 수 있다. 다시 말해, 본 개시의 실시예 내에 기술된 주석 정보는 사용자가 위치된 장소에 사용자가 "남길" 필요가 있는 정보를 나타낸다. 이 유형의 정보는 텍스트 및 음성과 같은 다양한 상이한 형태로 존재할 수 있고, 단말 디바이스 내의 애플리케이션을 통해 사용자가 위치된 장소와의 연관 관계(association relationship)를 수립할(establish) 수 있다. 예컨대, 텍스트 내용(text content)을 입력하기 위한 편집 박스(edit box) 및 키보드(keyboard)와 같은 컨트롤이 텍스트 입력/편집 인터페이스 내에 제공될 수 있고, 사진 및 이모티콘과 같은 요소를 추가하기 위한 컨트롤(예컨대, 버튼)이 또한 제공될 수 있다. 사용자가 입력을 완료한 후, 예컨대, 텍스트 "New Arrival! Try this delicious coffee from Vietnam"(신착! 베트남에서 온 이 맛있는 커피를 드셔 보세요)를 입력한 후, 사용자는 사용자 인터페이스 내의 버튼 "Where to put"(놓아둘 곳)을 클릭할 수 있다. 상응하여, 애플리케이션의 클라이언트 측은 사용자에 의해 현재 입력된 정보 내용을 현재의 장소 내에 남겨질 필요가 있는 주석 정보로서 판정할 수 있다.

S102는 모바일 단말 디바이스의 지리적 위치(geographical location)의 정보를 획득한다.

현재의 장소에서 사용자가 주석하기를 바라는 정보 내용을 판정하는 것에 응답하여, 사용자의 현재의 지리적 위치의 정보가 또한 판정될 수 있다. 분명히, 실제 애플리케이션에서, 이 방법 블록(S102)은 또한 방법 블록(S101) 전에 수행될 수 있다. 예컨대, 사용자가 애플리케이션의 클라이언트 측을 액세스하는 한, 사용자의 지리적 위치 정보는 사용자가 구체적 주석 정보를 입력하기 전에 획득될 수 있다.

특히, 지리적 위치 정보를 얻기 위한 많은 상이한 접근법이 존재할 수 있다. 예컨대, 기존의 모바일 단말 디바이스들에는 일반적으로 GPS와 같은 측위(positioing) 시스템이 제공된다. 사용자의 위치의 좌표는 측위 시스템을 통하여 획득될 수 있다. 추가로, 지리적 위치 정보를 판정하는 데에 와이파이(WIFI) 측위 및 통신 기지국 측위와 같은 측위 방법이 또한 사용될 수 있다. 분명히, 일 구현에서, 그의 지리적 위치 정보를 수동으로(manually) 입력하기 위해 동작 엔트리가 사용자에게 또한 제공될 수 있다. 사용자가 GPS 측위 기능을 가능화하지(enable) 않거나 그의 모바일 단말 디바이스에 GPS 측위 기능이 제공되지 않는 경우에, 사용자는 수동으로 그의 지리적 위치 정보를 편집할 수 있다.

S103은 서버로 하여금 지리적 위치 정보에 기반하여 사용자가 위치된 장소의 정보를 판정하고, 이후에 그 장소에 오는 사용자에게 주석 정보를 제공하기 위해 주석 정보와 장소 정보 간의 대응 관계(correspondence relationship)를 수립하고 저장할 수 있게 하기 위해 서버에 주석 정보 및 지리적 위치 정보를 발신한다.

사용자의 지리적 위치 정보 및 주석 정보를 수신할 시, 클라이언트 측은 서버에 이 정보 조목(piece of information)들을 업로드할(upload) 수 있고, 서버는 이 정보 조목들을 저장할 수 있다. 저장하기 전에, 서버는 우선 지리적 위치 정보에 기반하여 사용자가 위치된 장소를 또한 판정할 수 있다. 이에, 저장하는 것이 수행되는 경우, 주석 정보와 장소 간의 대응이 결국 저장되는데, 이로써 장소 기반 정보 주석 및 질의를 구현한다.

본 개시의 실시예들에서의 이른바 "장소"는 일반적으로 식당과 커피숍과 같은 몇몇 실내 장소를 포함할 수 있고, 관광 명소와 같은 실외 장소를 또한 포함할 수 있다. 보통, 그러한 장소의 위치는 바뀌지 않으며 분명한 지역적 경계(regional boundary)를 가진다. 나아가, 이 장소들 내의 장식, 세팅, 대상체 등등의 변화의 확률은 상대적으로 낮다. 이 장소들에 대해, 각각의 장소와 각 지리적 지역 범위(range of geographical region) 간의 대응을 기록하기 위해 미리 지도 데이터베이스(map database)가 생성될 수 있다. 이에, 사용자의 현재의 지리적 위치 정보를 수신하는 것에 응답하여, 그것을 지도 데이터베이스 내에 저장된 각각의 장소의 지역적 범위 정보에 대해서 매치하기(matching)가 수행될 수 있다. 만약 사용자의 현재 위치가 어떤 장소의 범위 내에 있는 것으로 발견되는 경우, 사용자가 현재 그 장소 내에 위치된다는 판정이 행해질 수 있다.

사용자가 현재 위치된 장소의 정보를 판정한 후, 서버는 서버 데이터베이스 내에 주석 정보와 장소 정보 간의 대응을 저장할 수 있다. 이 방식으로, 서버의 데이터베이스에 있어서, 여러 유사한 대응 관계가 저장될 수 있다. 만약 다른 사용자가 나중에 그 장소에 오는 경우, 이 사용자에 의해 그 장소 내에 주석된 정보 내용을 보게 될 수 있다. 예컨대, 그러한 대응 관계는 표 1에 도시된 바와 같이 데이터베이스 내에 저장될 수 있다:

정보 내용의 구체적 형태는 텍스트, 사진, 오디오 등등일 수 있거나, 여러 형태의 조합, 예컨대 텍스트 및 사진일 수 있다. 특히, 예컨대, 사용자가 식당에서 식사를 하고 있는 경우, 사용자는 텍스트의 형태로 그의/그녀의 기분을 표현하고, 동시에 사진을 찍을 수 있다. 이 경우에, 기분을 표현하기 위한 텍스트와, 사진은 사용자가 식당에서 남기기를 원하는 주석 정보와 균등하다.

일 구현에서, 그러한 기능을 사용하는 사용자의 수가 증가함에 따라, 다양한 장소에서 사용자들에 의해 주석되는 정보 내용의 양이 계속해서 증가하여, 데이터베이스의 범위의 계속적인 증가를 초래한다. 이 경우에, 저장된 대응 관계는 대응하는 장소에 따라 또한 관리될 수 있다. 예컨대, 장소에 따라 표가 저장될 수 있으니, 즉, 동일한 장소에서 주석된 정보 내용은 동일한 데이터 표(data table) 내에 저장된다. 상응하여, 상이한 장소들에서 주석된 정보 내용은 상이한 데이터 표들 내에 나타나는데, 각각의 장소가 데이터 표에 대응한다. 이 방식에서, 어떤 장소 내의 사용자에게 다른 사용자에 의해 주석된 정보 내용을 실질적으로 제공하는 경우, 그 장소가 우선 판정될 수 있고, 이후 그 장소에 대응하는 데이터 표가 발견된다. 매치된(matched) 정보 내용이 데이터 표로부터 추출되고 회신될 수 있는데, 이로써 신속한 탐색(quick search)을 가능하게 한다.

위의 구현에서, 사용자가 어떤 장소에서 어떤 주석 정보 조목(piece of annotation information)을 주석한 후, 그 장소에서 사용자에 의해 주석된 주석 정보의 내용(주석 정보를 보는 프로세스를 위한 일 구현이 이하에서 상세히 기술될 것임)은 다른 사용자가 그 장소에 이르는 경우 그의 모바일 단말 디바이스 내에 설치된 본 개시의 실시예의 애플리케이션의 클라이언트 측을 사용하여 그 다른 사용자가 볼 수 있다.

위에서 기술된 바와 같이, 동일한 장소에서 주석된 정보 내용의 양은 시간이 가면서 매우 클 수 있다. 이 경우에, 효과적인 정보 필터링/선택 메커니즘을 어떻게 제공할지와, 그래서 그러한 기능을 어떻게 더 흥미롭게 할 것인지는 더 고려될 필요가 있는 문제가 된다.

따라서, 본 개시의 예시적인 실시예에서, 사용자의 장소 정보와 주석 정보 간의 대응 관계가 기록될 수 있을 뿐만 아니라, 그 장소 내의 구체적인 주석 위치(annotation position)의 정보와 주석 정보 간의 대응 관계가 또한 기록될 수 있다. 예컨대, 어떤 사용자가 어떤 장소 내의 어떤 책상 상에 주석 정보를 표지한다(label). 차후에 주석 정보를 보는 경우, 다른 사용자들 또는 그 사용자는 주석 정보가 그 장소 내의 다른 위치에서 보인다기보다는 책상 위에 있음을 발견할 것이다. 이것은 어떤 장소에서 종이 쪽지를 남기거나 말마디를 새기는 실제 시나리오에 더 가깝다. 일 구현에서, 주석 정보와 구체적 주석 위치 간의 대응 관계가 매우 정확할 수 있거나(예컨대, 특정한 점(particular point)까지의 정확도를 가짐), 특정한 범위(particular range)로 근사적으로 정확할 수 있다. 구체적 구현이 이하에서 상세히 기술된다.

제1 구현

제1 구현에서, 주석 정보의 주석 위치가 특정한 영역 범위로 정확할 수 있다. 위치 정보가 기록된 경우, 주석의 위치 정보는 연관된 배치 위치(placement position)가 위치된 장면 영역(scene area) 내의 이미지 특징 정보(image feature information)를 사용하여 기술될 수 있다. 특히, 사용자에 의해 입력된 그리고 주석될 필요가 있는 정보 내용이 수신된 후, 장소 내에서의 장면 이미지 정보가 수집될 수 있다. 사용자가 놓아두기 동작(put operation)을 트리거한(trigger) 후, 주석 정보 및 현재의 지리적 위치 정보가 업로드된 경우 현재 수집된 이미지 특징 정보가 서버에 또한 업로드될 수 있다. 이 방식에서, 주석 정보와 장소 간의 대응 관계를 기록하는 경우, 서버는 대응하는 이미지 특징 정보를 대응 관계 내에 기록할 수 있다.

예컨대, 장소 내의 장면 이미지 정보를 수집하기 위해서, 사용자의 모바일 단말 디바이스의 이미지 포착 장치(image capturing apparatus)가 자동으로 활성화될(activated) 수 있다. 이 방식에서, 이미지 포착 장치에 의해 포착된 장소 내의 장면의 이미지가 모바일 단말 디바이스의 사용자 인터페이스 내에 나타나고, 사용자 인터페이스 내의 이미지의 내용은 시야각(viewing angle)이 변화함에 따라 계속해서 변화할 것이다. 예컨대, 사용자가 도 3에 도시된 바와 같은 버튼 "Where to put"을 클릭한 후, 이미지 포착 장치가 활성화될 수 있다. 어떤 시점(time point)에서의 디스플레이 상태가 도 4에 도시된 바와 같이 주어질 수 있다. 포착된 이미지를 사용자 인터페이스 내에 디스플레이하는 프로세스에서, 조작가능 대상체(operable object)가 사용자에게 또한 제공될 수 있다. 예컨대, 도 4에 도시된 바와 같은 버튼 "here"(여기)에 있어서, 스크린 내의 그 버튼의 절대 위치(absolute position)는 불변인 채로 있을 수 있다. 사용자가 이미지 포착 장치의 시야각을 변화시킴에 따라, 버튼과 이미지 간의 상대 위치(relative position)가 불변인 채로 있을 수 있다. 시야각의 조절을 완료한 후, 사용자는 버튼을 누를 수 있다. 애플리케이션의 클라이언트 측에는 이 조작가능한 대상체의 동작을 통하여 통지되어, 연관된 위치에 이로써 입력된 정보 내용을 주석한다. 상응하여, 애플리케이션의 클라이언트 측에 있어서, 사용자로부터 주석을 위한 확인 메시지(confirmation message)를 수신한 후, 이미지 포착 장치에 의해 현재 포착된 이미지의 특징 정보가 주석 위치의 이미지 특징 정보로서 추출된다. 주석 위치의 이미지 특징 정보는 이후 서버에 발신될 수 있다.

특히, 이미지 특징 정보를 추출하는 경우, 여러 차원에서의 특징 정보가 추출될 수 있다. 예들은 이미지 내의 각각의 픽셀 지점의 색(color), 이미지 내의 식별가능 대상체(identifiable object)의 형상(shape) 또는 윤곽(contour), 이미지의 텍스처(texture) 및 국부적 특징(local feature) 등등을 포함한다. 이미지 내의 이른바 식별가능 대상체는 일반적으로 이미지 내의 상대적인 규칙적 형상을 가지는 대상체, 예컨대, (디스플레이 디바이스, 컴퓨터, 텔레비전 등등과 같은) 전기 기기, (예컨대, 책상, 의자(chair), 스툴(stool), 게시판(message board)과 같은) 가구, (화병, 장식 등등과 같은) 작품일 수 있고, 또한 조각상, 문, 벽 등등과 같은 구조체(structural construction)일 수 있다. 기존의 이미지 인식 기술에서, 이 유형의 대상체의 형상 및/또는 윤곽의 몇몇 또는 모든 부분은 포착된 이미지로부터 인식될 수 있다. 나아가, 이 유형의 대상체는 보통 다음의 특징을 가진다: (1) 장소 내의 그것의 위치는 일반적으로 바뀌지 않고, (2) 특정 위치 정보를 인식하는 데에서의 상대적인 두드러진 표지 효과(labeling effect)가 내재하며, (3) 정보를 주석하는 경우, 사용자는 실제 세계에서의 습관에 따라 어떤 대상체를 발견하고, 그 대상체 상에 또는 그 옆에 정보를 주석할 수 있다. 예컨대, 카메라를 통해 현재의 장소의 이미지를 보는 경우, 사용자는 장소 내의 컴퓨터의 디스플레이를 발견하며, 따라서 디스플레이의 우측 상단 모서리에 정보 내용을 주석할 수 있다. 유사하게, 사용자는 또한 전기 기기, 기기 또는 작품과 같이 상대적인 규칙적 형상을 가지는 대상체 상에 정보 내용을 주석할 수 있거나, 또한 구조체 상에 주석할 수 있다.

요컨대, 각각의 주석 정보 조목을 위해 주석 위치에서 이미지 특징 정보를 추출하는 경우, 그 주석 정보의 각각의 조목은 이미지 특징 세트(image feature set)에 대응할 수 있으니, 즉, 이미지는 여러 차원에서의 특징들을 사용하여 묘사된다. 이미지 특징 세트가 서버에 업로드된 후, 서버는 표 2에 도시된 바와 같이 그것을 주석 정보와 장소 정보 간의 대응 관계 내로 추가하고 저장할 수 있다.

이 방식에서, 나중에 질의 사용자(querying user)에게 주석 정보를 제공하는 경우, 서버는 장소 정보뿐만 아니라, 주석 정보의 구체적 배치 위치의 이미지 특징 정보도 고려할 수 있다. 예컨대, 그 장소 내에 주석된 정보 내용이 나중에 그 장소를 방문하는 다른 사용자에게 제공되는 경우, 포착된 이미지의 특징 정보를 그 장소 내에서의 정보 내용의 각각의 조목의 주석 위치의 이미지 특징에 대해서 매치하기 위해 그 사용자의 이미지 포착 장치가 우선 시작될 수 있다. 성공적인 매치(successful matching)에 응답하여, 대응하는 정보 내용이 그 사용자에게 제공된다. 다시 말해, 사용자는 동일한 장소 내의 상이한 포착 범위에서 상이한 정보 내용을 볼 수 있다. 구체적 주석 위치 및 포착 범위에 따라 정보 내용을 필터링하거나 선택함으로써, 사용자는 너무 많은 정보를 수신하는 것을 피할 수 있고, 전체 구현 프로세스는 더 흥미롭게 되며 "어떤 위치에서 주석된 '종이 쪽지'를 오직 그 위치에서 볼 수 있는" 실제 세계에서의 실제 시나리오에 더 가깝다.

특히, 차후의 질의 동작을 구현하기 위해서, 서버는 각각의 주석 정보 조목의 이미지 특징 세트를 수신한 후 다양한 차원에서의 이미지 특징에 따라 색인을 생성할 수 있다. 특히, 질의 요청(query request)을 수신한 후, 질의 당사자(querying party)의 이미지 정보 내의 특징이 그 요청으로부터 추출될 수 있고, 이미지 정보의 이미지 특징 세트가, 데이터베이스 내에 기록된 주석 정보의 각각의 조목에 대응하는 이미지 특징 세트에 대해서 매치된다(matched). 매치를 수행하는 경우, 이미지 특징은 다양한 차원에서 개별적으로 매치될 수 있다. 탐색 효율을 개선하기 위해서, 이미지의 특징들의 정보를 추출하는 경우 특징들의 정보는 일차 특징 정보(primary feature information) 및 이차 특징 정보(secondary feature information)로 나뉠 수 있다. 일반적으로, 일차 특징 정보는 단순하고 명백한 정보, 예컨대, 이미지 내의 대상체의 색, 형상 또는 윤곽과 같은 정보이다. 이차 특징 정보는 일반적으로, 텍스처, 국부적 특징 등등을 포함하는 면밀한 정보이다. 이에, 나중에 다른 사용자에게 정보 내용을 제공하는 경우, 정보 내용의 일차 색인(primary index)이 우선 일차 특징 정보에 기반하여 현재의 장소 내에서의 정보 내용의 각각의 조목으로부터 생성될 수 있다. 예비적인 탐색 후에, 이차 색인(secondary index)이 이차 특징 정보에 기반하여 생성된다. 매치된 정보 내용이 결국 탐색하기를 통해 발견된다.

제1 구현은 주석 정보를 그것의 배치 위치가 위치된 장면의 범위까지 정확하게 할 수 있다. 예컨대, 어떤 주석 정보 조목의 이미지 특징 세트가 이미지 A에 대응한다. 질의 사용자가 그것의 이미지 특징의 정보를 업로드하는 경우, 이미지 특징은 이미지 B에 대응한다. 이미지 A 및 이미지 B는 동일하지 않을 수 있지만, 이미지 특징의 측면에서의 유사도는 상대적으로 높다. 이에, 주석 정보는 질의 사용자에게 제공되고, 기타 등등이다. 그러므로, 질의 사용자가 어떤 시계(field of vision) 내의 다수의 주석 정보 조목을 수신할 수 있는데 이는 시계 내의 이미지 특징 세트들 간의 유사도가 어떤 요구사항을 충족하는 한 조건이 충족되는 것으로 간주되기 때문이다. 그러나, 어떤 추가의 위치 정보도 존재하지 않으므로, 조건을 충족시키는 그러한 주석 정보가 질의 사용자에게 디스플레이되는 경우, 주석 정보의 각각의 조목은 질의 사용자의 시계의 범위 내에서 이미지 내에 무작위로(at random) 놓일 수 있다. 다시 말해, 주석 정보는 단지 근사적인 범위에서 디스플레이될 수 있다.

제2 구현

전술한 제1 구현은 주석 정보를 배치하는 위치의 정확도를 어떤 범위까지 달성할 수 있다. 제2 구현에서, 배치 위치의 정확도를 더 개선하기 위해서, 이미지 특징이 저장되는 경우 추가 처리가 수행될 수 있다. 특히, 이미지 특징 추출 동안에 이미지 내의 식별가능 대상체가 추출될 수 있고, 사용자는 대개 상대적으로 두드러진 특징을 가지는 대상체를 선택하며, 주석을 수행할 때 그 대상체의 어떤 위치에 정보를 배치한다. 따라서, 제2 구현에서, 만약 이미지가 이미지 특징 추출을 기반으로 식별가능 대상체를 포함한다고 발견되는 경우, 주석 정보와 식별가능 대상체 간의 연관 관계가 기록되고 서버에 발신될 수 있다. 이 방식에서, 주석 정보, 장소와 이미지 특징 세트 간의 대응 관계가 저장된 경우, 서버는 식별가능 대상체와의 연관 관계를 거기에 추가할 수 있다.

특히, 서버는 아래의 표 3에 도시된 바와 같이 대응 관계를 저장할 수 있다:

위의 대응 관계들이 표 3에 따라 저장된 후, 주석 정보가 질의 사용자에게 제공되는 경우, 주석 정보는 연관된 식별가능 대상체 근처에 디스플레이될 수 있다. 특히, 질의 사용자로부터 요청을 수신하는 것에 응답하여, 질의 사용자에 의해 포착된 이미지 내의 특징을 각각의 주석 정보 조목에 대응하는 각 식별가능 대상체의 이미지 특징에 대해서 매치하고, 매치된 주석 정보 조목(matched piece of annotation information)을 판정하며, 매치된 주석 정보 조목 및 대응하는 식별가능 대상체의 이미지 특징을 질의 클라이언트(querying client)에게 회신하기 위해 우선 제1 구현에서의 다양한 유형의 이미지 특징들이 사용될 수 있다. 질의 클라이언트는 현재 포착된 이미지 내의 식별가능 대상체의 위치를 파악하고(locate), 식별가능 대상체 근처에 각각의 주석 정보 조목을 제공할 수 있다. 예컨대, 사용자가 어떤 장소 내의 어떤 디스플레이 디바이스 근처에 정보 조목을 주석하였다고 가정된다. 다른 사용자의 이미지 포착 장치가 디스플레이 디바이스를 포착하는 경우, 그 주석 정보 조목은 보고 있는 사용자(viewing user)에게 제공될 수 있고 여전히 디스플레이 디바이스 근처에 디스플레이될 수 있다. 분명히, 이 모드에서, 주석 정보가 위치된 식별가능 대상체 내의 구체적 위치는 확정되지(ascertained) 않을 수 있다. 다시 말해, 만약 사용자가 어떤 디스플레이 디바이스의 우측 상단 모서리에 주석 정보를 놓아두면, 주석 정보가 최종적으로 질의 사용자에게 제공될 때 주석 정보는 디스플레이 디바이스의 좌측 하단 모서리에 나타날 수 있는데, 그럼에도 불구하고 이는 여전히 디스플레이 디바이스 근처에 디스플레이된다.

제3 구현

제3 구현에서, 더욱 정확한 측위를 달성하기 위해서, 주석 정보가 업로드되는 경우, 주석 정보와 식별가능 대상체 간의 상대 위치 관계(relative positional relationship)가 또한 판정될 수 있고, 상대 위치 관계의 정보가 서버에 업로드될 수 있다. 이 방식에서, 주석 정보와, 장소와, 연관된 식별가능 대상체의 이미지 특징 간의 대응 관계를 저장하는 경우, 서버는 실질적으로 주석 정보를 질의 사용자에게 제공하는 경우 더욱 정확한 측위와의 매치를 달성하기 위해 상대 위치 관계의 정보를 거기에 추가할 수 있다.

특히, 이미지 내의 식별가능 대상체와 주석 정보 간의 상대 위치 관계를 판정하는 경우, 그 구체적 이미지가 우선 판정될 수 있다. 사용자가 배치 확인(placement confirmation)의 행동을 지정하는 경우, 단말 디바이스의 디스플레이 스크린 상의 배치 지점의 좌표가 또한 기록될 수 있다. 포착된 이미지 내의 각각의 픽셀의 좌표는 디스플레이 스크린의 좌표에 대응한다. 따라서, 디스플레이 스크린 상의 배치 지점의 좌표가 알려져 있는데 이를 아는 것은 포착된 이미지 내의 배치 지점의 구체적 좌표를 확정하는 것과 균등하다. 그러면 포착된 이미지로부터 식별가능 대상체가 판정될 수 있다. 대상체가 보통 여러 픽셀을 차지하므로, 식별가능 대상체의 위치를 나타내도록 여러 픽셀 지점 중에서 어떤 픽셀 지점이 선택될 수 있다. 예컨대, 식별가능 대상체가 위치된 영역을 정의한 후, 그 영역의 중심은 어떤 알고리즘을 사용하여 획득될 수 있고, 그 중심은 식별가능 대상체의 위치를 나타내기 위해 사용된다. 그러면 그 중심을 원점(origin)으로서 사용하여 좌표계(coordinate system)가 수립될 수 있고, 좌표계 내에서의 주석 정보의 좌표가 이미지 내에서의 주석 정보의 위치에 기반하여 판정된다. 이에, 좌표는 이미지 내의 식별가능 대상체와 주석 정보 간의 상대 위치 관계를 나타내는 데에 사용될 수 있고, 표 4에 도시된 바와 같이, 저장을 위해 서버에 발신될 수 있다:

위의 표 2 내의 좌표는 식별가능 대상체의 위치 지점을 원점으로 사용하는 좌표계 하에서 주석 정보 조목이 위치된 각 위치 지점의 좌표를 나타낸다. 식별가능 대상체의 위치는 또한 다른 규칙에 따라 판정될 수 있음에 유의하여야 한다. 예컨대, 위에서 기술된 바와 같이 영역의 중심이 선택될 수 있을 뿐만 아니라, 영역의 좌측 상단 모서리, 우측 하단 모서리 등등도 선택될 수 있다. 그러나, 구체적인 선택 모드는 기껏해야 후속 질의 동안에 사용되는 선택 모드와 부합될 것인데, 이로써 매치의 정확도를 보장한다.

제2 구현을 사용하면, 다른 사용자가 차후에 그 장소에 오고 그 주위에서 주석된 정보 내용을 볼 필요가 있는 경우, 만약 이미지가 그의/그녀의 이미지 포착 장치를 통하여 포착되면 우선 제1 구현에서의 다양한 유형의 이미지 특징을 사용하여 매치가 수행될 수 있다. 성공적인 매치 시에, 이미지 내의 매치된 주석 정보(matched annotation information)의 각각의 조목과 연관된 식별가능 대상체 및 대응하는 좌표 정보가 질의 클라이언트에 회신될 수 있다. 질의 클라이언트는 포착된 이미지 내에서 식별가능 대상체가 위치된 구역 내에서의 식별가능 대상체의 위치 지점을 판정하고, 이후 좌표 정보에 기반하여 주석 정보가 식별가능 대상체 상에서 디스플레이될 필요가 있는 위치를 판정한다. 이 방식에서, 만약 사용자가 어떤 장소 내의 어떤 디스플레이 디바이스 근처에(예컨대, 우측 상단 모서리에) 정보 조목을 주석하면, 다른 사용자의 이미지 포착 장치가 디스플레이 디바이스를 포착하는 경우, 디스플레이 디바이스의 우측 상단 모서리에 표지된 주석 정보는 이 정보 내용 조목(piece of information content)의 주석 위치의 이미지 특징과 이미지 내의 다른 특징 간의 높은 유사도가 비교를 통해 발견되면 사용자가 보도록 여전히 디스플레이 디바이스의 우측 상단 모서리에 제공될 수 있다.

위의 구현에서, 서버는 직접적으로 주석 정보와 장소 간의 대응 관계 내로 클라이언트 측에 의해 업로드된 이미지 특징 정보를 추가한다. 이 방식에서, 사용자가 나중에 주석 정보에 대해 질의하는 경우, 질의 사용자에 의해 업로드된 이미지 정보는 주석 정보의 각각의 조목에 대응하는 이미지 특징 정보에 대해서 매치될 수 있다. 그러나, 전술한 구현들에서, 각각의 주석 정보 조목에 대응하는 이미지 특징 세트는 저장될 필요가 있는데, 이는 서버의 저장 공간을 차지한다. 나아가, 데이터베이스의 크기가 계속해서 증가함에 따라, 탐색에 필요한 시간도 증가하는데, 이는 느린 응답 속도를 초래한다. 추가로, 전술한 구현들에서, 주석 사용자(annotating user)는 무작위로 주석 위치를 선택할 수 있다. 배치 동작의 유연성(flexibility)이 개선되나, 이것은 다음의 결점을 가질 수 있다. 첫째, 만약 사용자에 의해 선택된 주석 위치가 위치된 장면의 이미지가 상당히 독특하지 않은 경우 차후의 매치 동안에 오류가 발생할 수 있다. 예컨대, 사용자가 주석하는 장소가 하얀 벽일 수 있고, 이 경우에, 이미지로부터 추출된 특징은 단순하고, 주석 정보의 주석 위치는 그 이미지 특징에 따라 쉽게 판정될 수 없다. 둘째, 사용자에 의해 포착되고 서버 측에 저장된 이미지에 있어서, 이미지의 품질은 열악할 수 있고 따라서 한편으로는 사용자의 부족한 촬영(photographing) 기량과 같은 요인으로 인해 차후의 매치가 어려울 수 있고, 다른 한편으로는 상이한 사용자들에 의해 사용되는 단말 디바이스들 내에서 픽셀 등등과 같은 요인으로 인해 매치에서 어떤 정확한 결과도 획득되지 않을 수 있다. 위의 요인들에 비추어, 본 개시의 실시예들에서 다른 구현들이 제공되는데, 이들이 아래에 기술된다.

제4 구현

이 구현에서, 서버는 미리 각각의 장소를 위한 모델링(modeling)을 수행하고, 개별적으로 각각의 장소를 위해 이미지 특징 라이브러리(image feature library)를 수립할 수 있다. 각각의 장소를 위한 이미지 특징 라이브러리 내에, 각 장소 내의 하나 이상의 랜드마크 대상체(landmark object)의 이미지 특징이 저장될 수 있다. 랜드마크 대상체는 몇몇 가구 또는 전기 기기 등등일 수 있고, 이들 이미지 특징은 장소 내에서 미리 포착된 랜드마크 대상체의 사진으로부터 추출될 수 있다. 랜드마크 대상체의 사진을 찍는 경우, 대상체들(그 둘레에 사용자가 자신의 주석 정보를 놓아두기를 바랄 수 있음)이 그 장소의 실제 레이아웃(layout)에 기반하여 예측될 수 있고, 그러면 이들 대상체는 그 장소 내의 표상적인 랜드마크 대상체로서 촬영되는데, 이로부터 각 특징이 추출된다. 추출된 이미지 특징들의 각 세트는 각각의 랜드마크 대상체를 나타내는 데에 사용된다. 요컨대, 서버는 표 5에 도시된 바와 같이 미리 랜드마크 대상체의 이미지 특징 라이브러리를 생성할 수 있다:

각각의 장소는 여러 랜드마크 대상체를 가질 수 있고, 각각의 랜드마크 대상체의 이미지 특징은 또한 여러 차원에서의 특징 세트에 의해 나타내어질 수 있다. 이 방식에서, 주석 사용자에 의해 업로드된 주석 정보 및 대응하는 장면의 이미지 특징 정보를 수신하는 것에 응답하여, 서버는 장면의 이미지가 랜드마크 대상체의 이미지 특징(들)과 매치되는 내용을 포함하는지를 우선 판정할 수 있고, 만약 긍정적인 경우, 주석 정보와 연관된 장소 간의 대응 관계를 저장하고 매치된 랜드마크 대상체의 식별자를 대응 관계 내로 추가할 수 있다. 예컨대, 만약 어떤 장소가 책상, 디스플레이스 디바이스 및 에어컨 등등과 같은 랜드마크 대상체를 포함하고, 어떤 사용자가 디스플레이 디바이스 근처에 주석 정보를 놓아둘 필요가 있는 경우, 단말 디바이스의 카메라가 디스플레이 디바이스에 초점을 맞출 수 있다. 클라이언트 측이 주석 정보 및 장소의 이미지 특징을 업로드한 후, 서버는 이미지를 분석하고 이미지가 랜드마크 대상체 - 디스플레이 디바이스를 포함함을 검출한다. 이에, 디스플레이 디바이스에 대응하는 식별자가 이미지 특징 라이브러리로부터 판독되고, 주석 정보와 장소 간의 현재의 대응 관계 내로 추가된다. 일례가 표 6에 도시된다.

차후에 어떤 장소 내의 주석 정보를 보기 위한 요청을 질의 사용자로부터 수신하는 경우, 질의 사용자에 의해 업로드된 이미지가 현재의 장소 내의 어떤 랜드마크 대상체를 포함하는지에 대해 판정이 행해질 수 있다. 만약 포함되는 경우, 매치된 랜드마크 대상체에 대응하는 주석 정보가 연관된 대응 관계로부터 추출되고 질의 사용자에게 회신될 수 있다. 주석 정보가 제공되는 경우, 주석 정보는 또한 랜드마크 대상체 근처에 디스플레이될 수 있다. 볼 수 있는 바와 같이, 위의 표 6에 기록된 대응 관계는 표 3에 기록된 대응 관계와 유사하거나 훨씬 더 나은 효과를 달성할 수 있지만, 전자의 저장 구조가 더 단순한데, 그 대응 관계는 이미지 특징 정보를 저장할 필요가 없으며 연관된 랜드마크 대상체를 저장할 필요가 있을 뿐이다.

이 모드에서, 장소 내의 어느 위치에 주석 정보가 놓일 수 있는지가 미리 정의되는데, 이로써 사용자들의 무작위 주석으로 인해 일어날 수 있는 문제를 방지한다. 추가로, 주석 정보의 각각의 조목에 대해 사용자에 의해 업로드된 이미지 특징 세트는 상응하여 저장될 필요가 없는데, 이로써 저장 공간을 절약한다. 장소에 있어서, 저장된 랜드마크 대상체의 개수는 크지 않고 고정되어서, 장소를 질의하기 위한 요청에 응답하여 이미지 특징 매치(image feature matching)가 수행될 때마다 필요한 작업의 양은 기본적으로 고정된다. 분명히, 이 모드에서, 주석 정보와 랜드마크 대상체 간의 연관 관계만이 판정될 수 있고, 하지만 그들 간의 구체적인 상대 위치 관계가 판정되지 않는다. 따라서, 주석 정보는, 질의 사용자에게 디스플레이되고 있는 경우, 랜드마크 대상체 근처에 무작위로 디스플레이될 수 있으니, 따라서 원래의 배치 위치와는 잠재적으로 불일치한다.

제5 구현

주석 정보와 랜드마크 대상체 간의 더 정확한 상대 위치 관계를 질의 사용자에게 제공하기 위해서, 제3 구현에서의 것과 유사한 접근법이 또한 사용될 수 있다. 다시 말해, 이미지 특징 정보를 업로드하는 프로세스 동안에 식별가능 대상체에 대한 주석 정보 조목의 배치 지점의 좌표가 계산되고, 서버 내에 저장된다. 대안적으로, 이 프로세스를 단순화하기 위해서, 제5 구현은 최적화 방법을 또한 제공한다.

제5 구현은 제4 구현을 기반으로 구현된다. 특히, 각각의 장소를 위한 모델링을 수행하는 프로세스 동안에, 각각의 장소에 대해 랜드마크 대상체의 이미지 특징이 저장될 뿐만 아니라, 선택가능한 주석 지점이 또한 각각의 랜드마크 대상체에 대해 지정되고 이미지 특징 라이브러리 내에 저장될 수 있다. 각각의 주석 지점의 위치가 또한 연관된 랜드마크 대상체의 중심으로서 그러한 위치에 대한 각 주석 지점의 좌표에 의해 나타내어질 수 있다. 이 방식에서, 이미지 특징 라이브러리 내에 저장된 대응 관계는 아래의 표 7에 도시된 바와 같이 주어질 수 있다:

특히, 동일한 장소 내의 동일한 랜드마크 대상체는 여러 선택가능한 주석 지점을 포함할 수 있고, 연관된 랜드마크 대상체에 대한 각각의 주석 지점의 좌표는 이미지 특징 라이브러리 내에 개별적으로 기록된다.

이 방식에서, 주석 사용자로부터 주석 요청을 수신할 시, 주석 사용자에 의해 업로드된 이미지 특징 세트 내에 포함된 랜드마크 대상체가 우선 인식된다. 랜드마크 대상체의 이미지 특징 및 랜드마크 대상체 내의 각각의 선택가능한 주석 지점의 상대 좌표가 주석 클라이언트(annotating client)에 회신된다. 이에, 주석 클라이언트는 회신된 이미지 특징에 기반하여 현재 포착된 이미지 내에 포함된 식별가능 대상체(들)의 위치를 파악하고, 좌표에 따라 식별가능 대상체(들)에 대응하는 각 위치(들)에 선택가능한 주석 지점(들)의 아이콘(들)을 디스플레이하며, 각 선택 동작 엔트리(들)를 제공할 수 있다. 이 방식에서, 주석 사용자는 주석 지점을 선택할 수 있고, 클라이언트 측은 상응하여 서버에 사용자에 의해 선택된 주석 지점의 식별자를 업로드할 수 있어서, 서버는 사용자에 의해 선택된 주석 지점에 대한 정보를 표 8에 도시된 바와 같이 주석 정보, 연관된 장소와 랜드마크 대상체 간의 대응 관계 내로 추가할 수 있다:

주석 정보의 여러 조목이 동일한 장소의 동일한 랜드마크 대상체 근처에 상이한 위치에 표지될 수 있다. 다른 랜드마크 대상체 및 다른 장소의 기록이 위의 표 8에서 생략된다.

이 접근법에서, 주석 정보를 질의하기 위한 차후의 요청을 수신하는 것에 응답하여, 서버는 질의 클라이언트에 의해 업로드된 장면 이미지 정보 내의 매치된 랜드마크 대상체가 존재하는지를 우선 판정할 수 있고, 만약 긍정적인 경우, 랜드마크 대상체와 연관된 각각의 주석 정보 조목 및 대응하는 주석 지점의 좌표 정보를 회신할 수 있다. 이를 수신할 시, 질의 클라이언트는 랜드마크 대상체 정보 및 주석 지점의 좌표 정보에 기반하여 각각의 주석 정보 조목이 디스플레이된 위치를 판정하고, 각각의 주석 정보 조목을 대응하는 위치에서 제공할 수 있다.

볼 수 있는 바와 같이, 이 접근법에서 획득된 주석 위치와 주석 정보 간의 매치의 최종 정확도는 표 4에 도시된 접근법과 유사하거나 훨씬 더 높다. 그러나, 표 8에 도시된 바와 같은 저장 구조가 더 단순하며 구현의 효율을 개선할 수 있다.

다수의 구현이 각각 위에서 상세히 기술된다. 실제 애플리케이션에서, 위의 구현 중 어느 것이든 실제 필요에 따라 선택될 수 있는데, 이는 본 문서 내에 한정되지 않는다.

추가로, 일 구현에서, 정보 내용을 주석하는 동작은 일반적으로 사용자가 로그인한 후에 수행될 수 있다. 이 경우에, 주석 사용자의 신원 정보(identity information)가 또한 서버에 발신될 수 있어서, 서버는 저장을 위해 대응 관계 내로 신원 정보를 추가할 수 있다. 이 방식에서, 데이터베이스는 다음의 정보를 저장한다: 각각의 장소에서 정보 내용의 어떤 조목(들)이 주석되는지, 어느 사용자(들)가 그러한 정보 내용 조목(들)을 주석하는지, 그리고 어느 구체적 위치(들)에서 그러한 조목(들)이 주석되는지. 차후에 정보 내용이 다른 사용자에게 제공되는 경우, 주석 위치 정보가 참조될(referenced) 수 있을 뿐만 아니라, 주석 사용자의 신원 정보에 기반하여 스크리닝(screening)이 또한 수행될 수 있다. 예컨대, 오직 친구만 주석된 정보 내용의 상세사항을 볼 수 있다. 대안적으로, 동일한 선호사항을 가지는 사용자만 정보 내용을 볼 수 있고, 기타 등등이다. 보기(viewing)에 대한 정보는 또한 주석 사용자에게 피드백이 될(fed back) 수 있는데, 예컨대, 사용자에 의해 게재된 주석 정보를 본 친구의 수의 카운트(count) 등등이다. 분명히, 실제 애플리케이션에서, 세팅(setting)은 다음을 포함할 수 있다: 친구가 아닌 사용자가 또한 서로의 주석 정보를 보도록 허용됨. 이 경우에, 보는 이(viewer)의 신원 정보는 또한 주석 사용자에게 디스플레이될 수 있고, 사용자는 그를/그녀를 친구로서 추가하도록 유도될 수 있고, 기타 등등이다.

사용자의 신원 정보가 저장되는 상황 하에서, 데이터베이스 내의 대응 관계는 표 9에 도시된 바와 같이 주어질 수 있다:

요컨대, 본 개시의 실시예를 통해, 사용자는 사용자가 위치된 장소 내에 구체적 정보 내용을 주석하기 위해 그 모바일 단말 디바이스 내에 설치된 애플리케이션을 활용할 수 있다. 이 유형의 정보 내용은 텍스트에 한정되지 않고 또한 사진 또는 음성 등등일 수 있다. 따라서 사용자의 "자취"가 다양한 형태의 정보 내용을 통하여 그 장소에 남겨질 수 있다. 그러한 "자취"는 사용자에 의해 표현된 느낌을 반영하거나 과거의 어떤 순간에 그 장소에서 사용자가 보고 들은 것을 기록할 수 있고, 구체적인 장소에서의 어떤 실제 사정에도 좌우되지 않는데, 이는 진짜 종이와 펜을 필요로 하지 않고 그 장소의 실제 경관에 영향을 미치지 않는다.

제2 실시예

전술한 제1 실시예는 주로 어떻게 정보 내용을 상세히 주석할지의 관점에서 본 개시의 실시예들을 기술한다. 제2 실시예는 주로 어떻게 주석 정보를 질의하는지의 관점을 기술한다. 방법 블록들은 여전히 애플리케이션의 클라이언트 측에 의해 수행된다. 실제 애플리케이션에서, 클라이언트 측은 제1 실시예에서 언급된 클라이언트 측과 동일할 수 있다. 다시 말해, 동일한 클라이언트 측은 장소 내에 정보를 주석하는 기능과, 장소 내에서 다른 사용자의 주석 정보를 보는 기능을 구현할 수 있다.

도 5를 참조하면, 본 개시의 제2 실시예는 장소 기반 정보 처리 방법을 제공하는데, 이는 다음의 방법 블록을 포함할 수 있다:

S501은 주위의 주석 정보를 보기 위한 질의 사용자로부터의 요청을 수신한다.

사용자가 애플리케이션의 클라이언트 측을 시작하는 경우, 클라이언트 측은 현재의 장소 내에서의 주석 정보를 보려는 사용자의 요청을 수신할 수 있다. 분명히, 애플리케이션의 사용자 인터페이스가 액세스된 후, 두 기능의 각 동작 엔트리가 또한 인터페이스 내에 제공될 수 있다. 예컨대, 도 2를 참조하면, "Leave Your Information"의 동작 엔트리를 디스플레이하는 것 외에, "Find Surrounding"(주위를 찾으세요)의 동작 엔트리가 또한 디스플레이될 수 있다. 나아가, 도 2에 도시된 바와 같은 사용자 인터페이스 내에서의 사용자에 의한 "Find Surrounding"의 동작 엔트리의 클릭의 동작은 주위의 정보 내용을 보려는 사용자의 요청으로서 취해질 수 있다.

S502는 질의 사용자의 지리적 위치 정보를 얻는다.

주위의 정보 내용을 보기 위한 요청을 수신하는 것에 응답하여, 사용자의 지리적 위치 정보가 또한 우선 획득될 수 있다. 분명히, 실제 애플리케이션에서, 방법 블록(S502)은 또한 방법 블록(S501) 전에 수행될 수 있다. 구현의 구체적 프로세스는 제1 실시예에서와 유사하며, 본 문서 내에 상세히 기술되지 않는다.

S503은 서버로 하여금 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소(target place)를 판정하고, 장소 정보와 주석 정보의 각 조목 간의 사전저장된 대응 관계에 따라 목표 장소에 대응하는 각각의 주석 정보 조목을 판정하고 회신할 수 있게 하기 위해 서버에 지리적 위치 정보를 발신한다.

사용자들이 정보 내용을 주석하는 경우 각각의 사용자에 의해 주석된 정보 내용과 장소 간의 대응 관계가 서버의 데이터베이스 내에 저장되므로, 서버가 장소에 대응하는 각각의 주석 정보 조목을 획득하고, 그것을 장소의 정보를 판정할 시에 질의 클라이언트 측에 회신할 수 있도록, 현재의 장소 내에 주석된 정보 내용을 보기 위한 요청이 서버에 발신될 수 있다.

S504는 질의 사용자가 보도록 서버에 의해 회신된 각각의 주석 정보 조목을 수신한다.

장소에 대응하는 각각의 주석 정보 조목은, 획득된 후에, 현재의 사용자에게 제공될 수 있다. 특히, 그러한 정보 내용은 많은 상이한 형태로 제공될 수 있다. 예컨대, 정보 내용의 각각의 조목은 직접적으로 제시될 수 있거나, 정보 내용의 각각의 조목의 유도 정보(예컨대, 아이콘 등등인데, 상이한 유형의 주석 정보가 잠재적으로는 상이한 아이콘을 사용함, 예컨대, 음성 주석 정보는 "뿔"의 아이콘에 의해 나타내어질 수 있고, 텍스트 주석 정보는 "타원"의 아이콘에 의해 나타내어질 수 있고, 기타 등등)가 우선 리스트(list)의 형태로 사용자 인터페이스 내에 제공될 수 있다. 사용자가 유도 정보의 어떤 조목을 보기 위해 클릭한 후, 그 유도 정보 조목에 대응하는 정보 내용의 상세사항이 사용자에게 제시된다.

분명히, 만약 데이터베이스가 장소 내의 정보 내용의 구체적 주석 위치 정보를 또한 저장하였으면, 장소 내의 이미지 정보가 또한 우선 포착되고 이후 서버에, 사용자에게 다른 사용자에 의해 장소 내에 주석된 정보 내용을 제공할 때 발신될 수 있다. 장소 내의 주석 정보를 질의하는 경우, 서버는 또한 대응하는 주석 위치에서 이미지 정보에 따라 주석 정보를 발견하고 회신할 수 있다. 예컨대, 만약 서버가 각각의 주석 정보 조목에 대응하는 이미지 특징 정보를 저장하는 경우, 사용자가 현재 위치된 장소 내에서의 각각의 주석 정보 조목의 주석 위치와 연관된 이미지 특징 정보가 데이터베이스로부터 획득될 수 있다. 나아가, 각각의 주석 정보 조목에 대응하는 주석 위치의 이미지 특징 정보에 대해서 현재 포착된 이미지의 특징 정보가 매치된다. 대안적으로, 각각의 주석 정보 조목과 연관된 식별가능 대상체의 이미지 특징 정보가 서버로부터 수신될 수 있고, 각각의 주석 정보 조목은 이에 따라 현재 포착된 장면 이미지 내의 식별가능 대상체 근처에 디스플레이된다. 대안적으로, 각각의 주석 정보 조목과 식별가능 대상체 간의 상대 위치 관계의 정보 및 각각의 주석 정보 조목과 연관된 식별가능 대상체의 이미지 특징 정보가 서버로부터 수신될 수 있다. 이후 각각의 주석 정보 조목은 현재 포착된 장면 이미지 내의 식별가능 대상체에 대응하는 위치에 디스플레이된다.

보고 있는 사용자에게 정보 내용의 구체적 주석 위치의 이미지에 따라 현재 장소 내에 다른 사용자에 의해 주석된 정보 내용을 제공하는 경우, 포착된 이미지 계층(image layer)의 상부에 다른 이미지 계층이 생성될 수 있고, 현재의 시계 내의 주석 정보의 식별자가 이 이미지 계층에 디스플레이된다. 예컨대, 도 6에 도시된 바와 같이, 사용자가 도 2 내의 버튼 "Find Surrounding Information"(주위의 정보를 찾으세요)을 클릭한 후, 모바일 단말 디바이스의 이미지 포착 장치는 자동으로 활성화될 수 있다. 도 6 내의 배경 이미지는 현재의 포착 범위 내의 이미지이고, 그 위에 디스플레이된 식별자 정보(601, 602 및 603)는 그 포착 범위 내에 주석된 정보 내용의 식별자 정보에 대응한다. 만약 사용자가 식별자 정보(601)에 대응하는 식별자 정보를 클릭하는 경우, 대응하는 정보 내용의 상세사항이 제시될 수 있다. 도 7에 도시된 바와 같이, 정보 내용은 주석 사용자의 사용자 이름, 예를 들어 "Rachel"을 포함할 수 있고, 사용자가 장소 내에 주석하는 것은 음성 정보 조목이다. 따라서, 음성 정보를 틀기 위한 재생(playback) 버튼이 상세사항 페이지 내에 또한 제공될 수 있다.

만약 탐색 결과가 유사한 주석 위치를 가지는 이미지를 발견하지 못하는 것(이는 어떤 다른 사용자도 그 사용자의 현재의 포착 범위 내에 정보 내용을 주석하지 않았음과 균등함)에 대응하는 경우, 사용자들에 의해 주석된 정보 내용이 다른 포착 범위 내에서 발견될 수 있기에, 사용자는 이 경우에 포착 각도(capturing angle)를 조절하고 포착 범위를 변경하도록 유도될 수 있다.

추가로, 본 개시의 실시예들에서 제공된 애플리케이션의 각각의 사용자에 있어서, 그이의 계정은 보통 애플리케이션 내에 등록될 수 있고, 그/그녀 자신의 계정을 위한 신원 정보를 사용하여 로그인한 후 정보 내용을 주석하거나 다른 사용자의 정보 내용을 보는 구체적 동작이 수행될 수 있다. 다시 말해, 각각의 사용자에 대해, 그/그녀가 정보 내용의 주석자이든 또는 보는 이이든, 연관된 시스템은 사용자의 신원 정보를 획득하는 것이 가능하다. 추가로, 실제 애플리케이션에서, 사용자들 간에 교우 관계(friendship relationship)가 수립될 수 있다. 따라서, 본 개시의 다른 실시예에서, 정보 내용은 친구들 간에 볼 수 있다. 특히, 어떤 장소에서 사용자에 의해 주석된 정보 내용은 사용자의 친구들만 볼 수 있다. 상응하여, 사용자가 어떤 장소에서 다른 사용자들에 의해 주석된 정보 내용을 볼 필요가 있는 경우, 그 사용자는 그 장소에서 그의/그녀의 친구에 의해 주석된 정보 내용을 볼 뿐일 수 있다. 일 구현에서, 주석된 정보 내용과 장소 정보 간의 대응 관계가 저장되는 경우, 주석 사용자의 신원 정보가 표 3에 도시된 바와 같이 또한 저장될 수 있다. 이 방식에서, 현재의 장소 내에 주석된 정보 내용을 보려는 어떤 사용자의 요청이 수신된 경우, 현재의 사용자의 친구 사용자의 신원 정보가 우선 획득될 수 있고, 사용자가 현재 위치된 장소 내의 각각의 정보 내용 조목의 주석 사용자의 신원 정보가 서버의 데이터베이스로부터 또한 획득된다. 이후 현재의 보고 있는 사용자의 친구 사용자가 그 안에 포함되는지에 대해 판정이 행해진다. 긍정적인 경우, 현재의 장소 내에 현재의 사용자의 친구 사용자에 의해 주석된 정보 내용이 현재의 사용자에게 제공될 수 있다.

제3 실시예

전술한 제1 실시예 및 제2 실시예는 주로 클라이언트 측의 관점에서 본 개시의 기술적 해결책을 기술한다. 서버의 관점으로부터의 해결책이 이하에 기술된다. 제3 실시예에서, 주석 사용자에 의한 주석을 수행하는 프로세스에서의 서버 측의 구현 프로세스의 상세사항이 기술된다.

도 8을 참조하면, 제3 실시예는 장소 기반 정보 처리 방법을 제공하는데, 이는 다음의 방법 블록들을 포함할 수 있다:

S801은 주석 클라이언트 측(annotating client side)에 의해 업로드된 주석 정보 및 사용자 모바일 단말 디바이스의 지리적 위치 정보를 수신한다.

S802는 지리적 위치 정보에 기반하여 사용자가 위치된 장소의 정보를 판정한다.

S803은 주석 정보와 장소 정보 간의 대응 관계를 생성하고 저장하여서, 주석 정보를 질의하기 위해 질의 클라이언트 측에 의해 발신된 요청이 수신되는 경우, 요청 내에 포함된 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소가 판정되고, 목표 장소에 대응하는 주석 정보가 질의 클라이언트 측에 회신된다.

더욱 정확하게 매치를 수행하기 위해 정밀한 주석 위치를 획득하기 위해서, 서버는 주석 클라이언트 측에 의해 업로드된 장소 내의 주석 정보의 주석 위치 정보를 또한 수신하고, 주석 위치 정보를 대응 관계 내로 추가하고 저장한다. 이 방식에서, 주석 정보를 질의하기 위한 요청을 수신한 후, 서버는 질의 클라이언트 측에 의해 업로드된 장면 위치 정보를 목표 장소 내의 각각의 주석 정보 조목에 대응하는 주석 위치 정보에 대해서 매치하고, 매치된 주석 정보를 질의 클라이언트 측에 회신할 수 있다.

일 구현에서, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보일 수 있다. 대안적으로, 주석 정보의 위치가 구체적인 식별가능 대상체 근처의 지점까지 정확할 수 있도록, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지 내에 포함된 식별가능 대상체의 이미지 특징 정보일 수 있다. 대안적으로, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지 내에 포함된 식별가능 대상체의 이미지 특징 정보와, 주석 정보와 식별가능 대상체 간의 상대 위치 관계 정보일 수 있다.

다른 구현에서, 서버는 미리 장소를 위한 제1 이미지 특징 라이브러리를 생성할 수 있다. 제1 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자 및 대응하는 이미지 특징(들)을 저장한다. 이 경우에, 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보가 수신되는 경우, 장소 내의 어떤 랜드마크 대상체가 포함되는지에 대해 판정이 행해질 수 있다. 만약 긍정적인 경우, 그 랜드마크 대상체의 식별자는 장소 내에서의 주석 정보의 주석 위치 정보로서 취해진다.

대안적으로, 미리 장소를 위해 제2 이미지 특징 라이브러리가 생성될 수 있다. 제2 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자 대응하는 이미지 특징(들), 그리고 각 랜드마크 대상체에 대한 각각의 랜드마크 대상체 내의 적어도 하나의 선택가능 주석 지점의 상대 좌표 정보를 저장한다. 이 경우에, 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보가 수신되는 경우, 장소 내의 어떤 랜드마크 대상체가 그 안에 포함되는지에 대해 판정이 행해질 수 있다. 만약 긍정적인 경우, 그 랜드마크 대상체의 이미지 특징(들)과, 주석 지점(들)의 상대 좌표 정보가 회신된다. 주석 클라이언트 측에 의해 업로드된 선택된 주석 지점의 정보를 수신한 후, 랜드마크 대상체의 식별자 및 주석 지점의 정보가 주석 정보의 주석 위치 정보로서 취해진다.

제4 실시예

제4 실시예는 주로 서버 측의 구현을 질의 당사자의 문의를 지원하는 관점에서 상세히 기술한다.

도 9를 참조하면, 제4 실시예는 장소 기반 정보 처리 방법을 제공하는데, 이는 다음의 방법 블록들을 포함할 수 있다:

S901은 질의 클라이언트 측으로부터 주석 정보를 질의하기 위한 요청을 수신하는데, 그 요청은 질의 사용자의 지리적 위치 정보를 포함한다.

S902는 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소를 판정한다.

S903은 주석 정보와 장소 정보 간의 사전수립된 대응 관계에 따라 목표 장소에 대응하는 주석 정보를 판정하고, 그것을 질의 클라이언트 측에 회신한다.

대응 관계는 장소 내의 주석 정보의 주석 위치 정보를 더 포함할 수 있다. 이 경우에, 현재의 장소 내의 질의 사용자의 장면 위치 정보가 또한 획득될 수 있다. 매치된 주석 정보가 이후 주석 정보의 각각의 조목에 대응하는 주석 위치 정보에 기반하여 획득되고, 매치된 주석 정보는 질의 클라이언트 측에 회신되어 질의 클라이언트 측으로 하여금 대응하는 주석 위치에서 주석 정보를 제공할 수 있게 한다.

특히, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보일 수 있다. 이 경우에, 질의 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보가 수신될 수 있고, 수신된 이미지 특징 정보는 매치된 주석 정보를 획득하기 위해 각각의 주석 정보 조목에 대응하는 이미지 특징 정보와 비교된다.

대안적으로, 주석 위치 정보는 장소 내의 식별가능 대상체의 이미지 특징 정보일 수 있다. 이 경우에, 질의 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보가 수신될 수 있다. 그러면 수신된 이미지 특징 정보에 기반하여 식별가능 대상체가 존재하는지에 대해 판정이 행해질 수 있다. 만약 긍정적인 경우, 매치된 주석 정보를 획득하기 위해 식별가능 대상체의 이미지 특징(들)이 각각의 주석 정보 조목에 대응하는 각 식별가능 대상체의 이미지 특징(들)과 비교된다. 식별가능 대상체의 이미지 특징 정보는 주석 클라이언트 측에 의해 업로드될 수 있거나, 서버 측에 의해 미리 생성된 이미지 특징 라이브러리 내에 저장될 수 있고, 연관된 대응 관계가 식별가능 대상체의 식별자를 저장한다.

주석 위치 정보는 장소 내의 식별가능 대상체의 이미지 특징 정보와, 주석 정보와 식별가능 대상체 간의 상대 위치 정보를 또한 포함할 수 있다. 이 경우에, 질의 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보가 수신될 수 있고, 수신된 이미지 특징 정보에 기반하여 식별가능 대상체가 존재하는지에 대해 판정이 행해진다. 만약 긍정적인 경우, 매치된 주석 정보를 획득하기 위해 식별가능 대상체의 이미지 특징(들)이 각각의 주석 정보 조목에 대응하는 각 식별가능 대상체의 이미지 특징(들)과 비교된다. 매치된 주석 정보에 대응하는 식별가능 대상체의 이미지 특징 정보 및 대응하는 상대 위치 관계 정보가 질의 클라이언트 측에 회신된다. 식별가능 대상체의 이미지 특징 정보 및 상대 위치 관계 정보는 주석 클라이언트 측에 의해 업로드될 수 있거나, 서버 측에 의해 미리 수립된 이미지 특징 라이브러리 내에 저장될 수 있다. 연관된 대응 관계는 식별가능 대상체의 식별자 및 주석 지점의 식별자를 저장한다.

전술한 제2, 제3 및 제4 실시예의 구현 상세사항은, 본 문서 내에 상세히 기술되지 않는데, 제1 실시예에서의 설명으로 참조될 수 있음에 유의하여야 한다.

본 개시의 제1 실시예에서 제공된 장소 기반 정보 처리 방법에 대응하여, 본 개시의 일 실시예는 장소 기반 정보 처리 장치(1000)를 또한 제공한다. 도 10을 참조하면, 장치(1000)는 다음을 포함할 수 있다:

사용자에 의해 입력된 주석 정보를 수신하는 주석 정보 수신 유닛(annotation information receiving unit)(1001)과,

모바일 단말 디바이스의 지리적 위치 정보를 획득하는 제1 지리적 위치 정보 획득 유닛(geographical location information acquisition unit)(1002)과,

서버로 하여금 지리적 위치 정보에 기반하여 사용자가 위치된 장소의 정보를 판정하고, 주석 정보와 장소의 정보 간의 대응 관계를 생성 및 저장할 수 있게 하여 장소 내의 질의 사용자에게 주석 정보를 제공하기 위해 서버에 주석 정보 및 지리적 위치 정보를 발신하는 제1 발신 유닛(sending unit)(1003).

일 구현에서, 더욱 정확한 위치에서 주석 정보를 제공하기 위해서, 장치(1000)는 다음을 더 포함할 수 있다:

장소 내에서의 주석 정보의 주석 위치의 정보를 서버에, 저장을 위해 대응 관계 내로 주석 위치의 정보를 추가하기 위해 발신하고, 질의 사용자(그는 장소 내에 있고 그의 시계는 주석 위치를 포함함)에게 주석 위치를 제공하는 주석 위치 정보 발신 유닛(annotation position information sending unit)(1004).

주석 위치 정보 발신 유닛(1004)은 다음을 포함할 수 있다:

사용자에 의해 입력된 주석 정보를 수신하기 전 또는 후에 장소 내의 장면 이미지 정보를 포착하는 장면 이미지 정보 포착 서브유닛(scene image information capturing subunit)(1005)과,

포착된 장면 이미지의 특징 정보를, 주석 확인 메시지(annotation confirmation message)를 수신하는 것에 응답하여 추출하고, 특징 정보를 서버에 주석 위치 정보로서 발신하는 이미지 특징 정보 발신 서브유닛(image feature information sending subunit)(1006).

서버는 수신된 이미지 특징 정보를 저장을 위해 대응 관계 내로 추가한다.

대안적으로, 서버는 미리 장소를 위한 제1 이미지 특징 라이브러리를 생성한다. 제1 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자 및 대응하는 이미지 특징을 저장한다. 장면 이미지의 이미지 특징을 수신한 후, 서버는 장소 내의 어떤 랜드마크 대상체가 그 안에 포함되는지를 판정한다. 만약 긍정적인 경우, 랜드마크 대상체의 식별자가 저장을 위해 대응 관계 내로 추가된다.

대안적으로, 서버는 미리 장소를 위한 제2 이미지 특징 라이브러리를 수립한다. 제2 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자, 대응하는 이미지 특징, 그리고 각 랜드마크 대상체에 대한 각각의 랜드마크 대상체 내의 적어도 하나의 선택가능한 주석 지점의 상대 좌표 정보를 저장한다. 장면 이미지의 이미지 특징을 수신한 후, 서버는 장소 내의 어떤 랜드마크 대상체가 그 안에 존재하는지를 판정한다. 만약 긍정적인 경우, 랜드마크 대상체의 이미지 특징 및 연관된 주석 지점의 상대 좌표 정보가 회신된다.

장치(1000)는 다음을 더 포함할 수 있다:

랜드마크 대상체의 수신된 이미지 특징에 기반하여 현재 포착된 장면 이미지 내의 랜드마크 대상체의 위치를 파악하고, 상대 좌표 정보에 따라 장면 이미지의 상부에 각각의 선택가능한 주석 지점을 디스플레이하는 랜드마크 대상체 위치파악 유닛(landmark object locating unit)(1007)과,

서버로 하여금 랜드마크 대상체의 식별자 및 선택된 주석 지점의 정보를 대응 관계 내로 주석 정보의 주석 위치 정보로서 추가하고 저장할 수 있도록 하기 위해 사용자의 선택 동작을 수신한 후 서버에 선택된 주석 지점에 대한 정보를 발신하는 주석 지점 정보 발신 유닛(annotation point information sending unit)(1008).

다른 구현에서, 주석 위치 정보 발신 유닛(1004)은 다음을 포함할 수 있다:

사용자에 의해 입력된 주석 정보가 수신되기 전 또는 후에 장소 내의 장면 이미지 정보를 포착하는 제1 이미지 정보 포착 서브유닛(image information capturing subunit)(1009)과,

주석 확인 메시지를 수신하는 것에 응답하여 현재 포착된 장면 이미지의 특징 정보를 추출하는 제1 특징 정보 추출 서브유닛(feature information extraction subunit)(1010)과,

특징 정보가 식별가능 대상체의 이미지 특징을 포함하는지를 판정하고, 만약 긍정적인 경우 식별가능 대상체의 이미지 특징을 주석 위치 정보로서 서버에 발신하는 제1 판정 서브유닛(determination subunit)(1011).

대안적으로, 다른 구현에서, 주석 위치 정보 발신 유닛(1004)은 다음을 포함할 수 있다:

사용자에 의해 입력된 주석 정보가 수신되기 전 또는 후에 장소 내의 장면 이미지 정보를 포착하는 제2 이미지 정보 포착 서브유닛(1012)과,

주석 확인 메시지를 수신하는 것에 응답하여 현재 포착된 장면 이미지의 특징 정보를 추출하는 제2 특징 정보 추출 서브유닛(1013)과,

특징 정보가 식별가능 대상체의 이미지 특징을 포함하는지를 판정하는 제2 판정 서브유닛(1014)과,

제2 판정 서브유닛의 판정 결과가 긍정적인 것에 응답하여 주석 정보와 식별가능 대상체 간의 상대 위치 관계 정보를 획득하는 상대 위치 관계 획득 서브유닛(relative positional relationship acquisition subunit)(1015)과,

식별가능 대상체의 이미지 특징 정보 및 상대 위치 관계 정보를 서버에 주석 위치 정보로서 발신하는 발신 유닛(1016).

일 구현에서, 상대 위치 관계 획득 서브유닛(1015)은 장면 이미지 내의 식별가능 대상체를 나타내는 위치 지점의 위치를 판정하고, 사용자의 동작에 따라 단말 디바이스의 디스플레이 스크린 상에서의 주석 정보의 주석 위치 지점의 위치를 판정하며, 좌표계를 수립하기 위해 식별가능 대상체의 위치 지점을 원점으로서 사용하고, 좌표계 내의 주석 위치 지점의 좌표를 판정하며, 좌표를 주석 정보와 식별가능 대상체 간의 상대 위치 관계 정보로서 사용할 수 있다.

실제 애플리케이션에서, 장치(1000)는 다음을 더 포함할 수 있다:

사용자의 신원 정보를 획득하는 사용자 신원 정보 획득 유닛(user identity information acquisition unit)(1017)과,

서버로 하여금 신원 정보를 대응 관계 내로 추가하고 저장할 수 있도록 하기 위해 서버에 사용자의 신원 정보를 발신하는 사용자 신원 정보 발신 유닛(user identity information sending unit)(1018).

일 실시예에서, 장치(1000)는 하나 이상의 프로세서(1019), 입력/출력 인터페이스(1020), 네트워크 인터페이스(1021) 및 메모리(1022)를 더 포함할 수 있다.

메모리(1022)는 컴퓨터 판독가능 매체의 형태, 가령 비영구적인(non-permanent) 저장 디바이스, 랜덤 액세스 메모리(Random-Access Memory: RAM) 및/또는 비휘발성 내부 스토리지(nonvolatile internal storage), 예를 들어 판독 전용 메모리(Read-Only Memory: ROM) 또는 플래시 RAM일 수 있다. 메모리는 컴퓨터 판독가능 매체의 일례이다. 컴퓨터 판독가능 매체는 영구적 또는 비영구적 유형, 탈착가능(removable) 또는 비탈착가능(non-removable) 매체를 포함할 수 있는데, 이는 임의의 방법 또는 기술을 사용하여 정보의 저장을 달성할 수 있다. 정보는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 포함할 수 있다. 컴퓨터 저장 매체의 예는 위상 변화 메모리(Phase-Change Memory: PRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory: SRAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory: DRAM), 다른 유형의 랜덤 액세스 메모리(Random-Access Memory: RAM), 판독 전용 메모리(Read-Only Memory: ROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(Electronically Erasable Programmable Read-Only Memory: EEPROM), 퀵 플래시 메모리(quick flash memory) 또는 다른 내부 저장 기술, 콤팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory: CD-ROM), 디지털 다기능 디스크(Digital Versatile Disc: DVD) 또는 다른 광학 스토리지, 자기 카세트 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스, 또는 임의의 다른 비송신(non-transmission) 매체를 포함하되, 이에 한정되지 않는 것으로서, 이는 컴퓨팅 디바이스에 의해 액세스될 수 있는 정보를 저장하는 데에 사용될 수 있다. 본 문서에서 정의된 바와 같이, 컴퓨터 판독가능 매체는 일시적(transitory) 매체, 예를 들어 변조된 데이터 신호 및 반송파를 포함하지 않는다.

일 실시예에서, 메모리(1022)는 프로그램 유닛(1023) 및 프로그램 데이터(1024)를 포함할 수 있다. 프로그램 유닛(1023)은 장치(1000)의 전술한 실시예들에서 기술된 바와 같은 전술한 유닛들 및/또는 서브유닛들 중 하나 이상을 포함할 수 있다.

본 개시의 제2 실시예에서 제공된 장소 기반 정보 처리 방법에 대응하여, 본 개시의 일 실시예는 장소 기반 정보 처리 장치(1100)를 또한 제공한다. 도 11을 참조하면, 장치(1100)는 다음을 포함할 수 있다:

질의 사용자로부터 주위의 주석 정보를 보기 위한 요청을 수신하는 보기 요청 수신 유닛(view request receiving unit)(1101)과,

질의 사용자의 지리적 위치 정보를 획득하는 제2 지리적 위치 정보 획득 유닛(1102)과,

서버로 하여금 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소를 판정하고, 장소 정보와 주석 정보의 각 조목 간의 사전저장된 대응 관계에 기반하여 목표 장소에 대응하는 주석 정보의 각각의 조목을 판정하고 회신할 수 있게 하기 위해 서버에 지리적 위치 정보를 발신하는 제2 발신 유닛(1103)과,

질의 사용자에게 서버에 의해 회신된 주석 정보의 각각의 조목을 제공하는 주석 정보 제공 유닛(annotation information provision unit)(1104).

서버는 주석 정보의 각각의 조목에 대응하는 주석 위치 정보를 또한 저장한다. 장치(1100)는 다음을 더 포함할 수 있다:

장소 내의 장면 이미지 정보를 포착하고 서버에 발신하여 서버가 이로써 수신된 장면 이미지 정보에 따라 장소 내에 있고 질의 사용자의 시계 내에 있는 주석 정보를 판정하고 회신할 수 있게 하는 이미지 정보 포착 및 발신 유닛(image information capturing and sending unit)(1105).

일 구현에서, 장치(1100)는 다음을 더 포함할 수 있다:

서버에 의해 회신된 주석 정보의 각각의 조목과 연관된 식별가능 대상체의 이미지 특징 정보를 수신하고, 이에 따라 현재 포착된 장면 이미지 내에서 식별가능 대상체 근처에 주석 정보의 각각의 조목을 디스플레이하는 식별가능 대상체 정보 수신 유닛(identifiable object information receiving unit)(1106).

추가로, 장치(1100)는 다음을 더 포함할 수 있다:

서버에 의해 회신된 주석 정보의 각각의 조목과 연관된 식별가능 대상체의 이미지 특징 정보와, 주석 정보의 각각의 조목과 식별가능 대상체 간의 상대 위치 관계 정보를 수신하고, 이에 따라 현재 포착된 장면 이미지 내에서 식별가능 대상체에 대응하는 위치에 주석 정보의 각각의 조목을 디스플레이하는 상대 위치 관계 정보 수신 유닛(relative positional relationship information receiving unit)(1107).

추가로, 장치(1100)는 다음을 더 포함할 수 있다:

서버에 의해 회신된 정보가 매치된 주석 정보를 포함하지 않는 경우 제1 유도 정보(제1 유도 정보는 사용자가 시계를 변경하도록 유도하기 위해 사용됨)를 제공하는 제1 유도 정보 제공 유닛(prompt information provision unit)(1108).

만약 서버가 정보 내용의 주석 사용자의 신원 정보를 더 저장하는 경우, 장치(1100)는 다음을 더 포함할 수 있다:

서버가 질의 사용자의 친구 사용자의 신원 정보를 획득하고, 사용자가 현재 위치된 장소 내의 정보 내용의 각각의 조목의 주석 사용자의 신원 정보를 획득하며, 질의 사용자의 친구 사용자가 존재하는지를 판정할 수 있게 하기 위해 서버에 질의 사용자의 신원 정보를 발신하는 신원 정보 발신 유닛(identity information sending unit)(1109)과,

만약 긍정적인 경우 장소 내의 질의 사용자의 친구 사용자의 주석 정보를 회신하는 회신 유닛(returning unit)(1110).

추가로, 장치(1100)는 다음을 더 포함할 수 있다:

질의 사용자에게 제2 유도 정보(제2 유도 정보는 질의 사용자가 현재의 장소 내에 주석 정보를 남기도록 허용됨을 나타내기 위해 사용됨)를 제공하는 제2 유도 정보 제공 유닛(1111).

일 실시예에서, 장치(1100)는 하나 이상의 프로세서(1112), 입력/출력 인터페이스(1113), 네트워크 인터페이스(1114) 및 메모리(1115)를 더 포함할 수 있다. 메모리(1115)는 전술한 설명 내에 기술된 바와 같은 형태의 컴퓨터 판독가능 매체를 포함할 수 있다.

일 실시예에서, 메모리(1115)는 프로그램 유닛(1116) 및 프로그램 데이터(1117)를 포함할 수 있다. 프로그램 유닛(1116)은 장치(1100)의 전술한 실시예들에서 기술된 바와 같은 전술한 유닛들 및/또는 서브유닛들 중 하나 이상을 포함할 수 있다.

본 개시의 제3 실시예에서 제공된 장소 기반 정보 처리 방법에 대응하여, 본 개시의 일 실시예는 장소 기반 정보 처리 장치를 또한 제공한다. 도 12를 참조하면, 장치(1200)는 다음을 포함할 수 있다:

주석 클라이언트 측에 의해 업로드된 주석 정보 및 사용자 모바일 단말 디바이스의 지리적 위치 정보를 수신하는 정보 수신 유닛(informaiton receiving unit)(1201)과,

지리적 위치 정보에 따라 사용자가 위치된 곳에 대한 장소 정보를 판정하는 장소 정보 판정 유닛(place information determination unit)(1202)과,

주석 정보를 질의하기 위한 요청 내에 포함된 지리적 위치 정보에 기반하여 질의 사용자가 위치된 목표 장소를 판정하는 것과, 질의 클라이언트 측으로부터 요청이 수신되는 수신 시에 질의 클라이언트 측에 목표 장소에 대응하는 주석 정보를 회신하는 것을 가능하게 하기 위해 주석 정보와 장소 정보 간의 대응 관계를 수립하고 저장하는 저장 유닛(storage unit)(1203).

일 구현에서, 장치(1200)는 다음을 더 포함할 수 있다:

주석 클라이언트 측에 의해 업로드된 장소 내의 주석 정보의 주석 위치 정보를 수신하고, 주석 위치 정보를 저장을 위해 대응 관계 내로 추가하며, 질의 사용자(그는 장소 내에 있고 그의 시계는 주석 위치를 포함함)에 주석 정보를 제공하는 주석 위치 정보 수신 유닛(annotation position information receiving unit)(1204).

주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보를 포함한다.

대안적으로, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지 내에 포함된 식별가능 대상체의 이미지 특징 정보를 포함한다.

또 대안적으로, 주석 위치 정보는 주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지 내에 포함된 식별가능 대상체의 이미지 특징 정보와, 주석 정보와 식별가능 대상체 간의 상대 위치 관계 정보를 포함한다.

일 구현에서, 미리 장소에 대해 제1 이미지 특징 라이브러리가 수립될 수 있는데, 제1 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자 및 대응하는 이미지 특징을 저장한다. 주석 위치 정보 수신 유닛(1204)은 다음을 포함할 수 있다:

주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보를 수신하는 제1 이미지 특징 정보 수신 서브유닛(image feature information receiving subunit)(1205)과,

장소 내의 랜드마크 대상체가 이미지 특징 정보 내에 존재하는지를 판정하고, 만약 긍정적인 경우 장소 내의 주석 정보의 주석 위치 정보로서 랜드마크 대상체의 식별자를 설정하는 제1 판정 서브유닛(1206).

대안적으로, 미리 장소를 위해 제2 이미지 특징 라이브러리가 수립되는데, 제2 이미지 특징 라이브러리는 장소 내의 적어도 하나의 랜드마크 대상체의 식별자, 대응하는 이미지 특징, 그리고 각 랜드마크 대상체에 대한 각각의 랜드마크 대상체 내의 적어도 하나의 선택가능한 주석 지점의 상대 좌표 정보를 저장한다. 주석 위치 정보 수신 유닛(1204)은 다음을 포함할 수 있다:

주석 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보를 수신하는 제2 이미지 특징 정보 수신 서브유닛(1207)과,

장소 내의 랜드마크 대상체가 이미지 특징 정보 내에 존재하는지를 판정하고, 만약 긍정적인 경우 랜드마크 대상체의 이미지 특징 및 그것의 주석 지점(들)의 상대 좌표 정보를 회신하는 제2 판정 서브유닛(1208)과,

주석 클라이언트 측에 의해 업로드된 선택된 주석 지점의 정보를 수신하고, 랜드마크 대상체의 식별자 및 주석 지점의 정보를 주석 정보의 주석 위치 정보로서 설정하는 주석 지점 정보 수신 유닛(1209).

일 실시예에서, 장치(1200)는 하나 이상의 프로세서(1210), 입력/출력 인터페이스(1211), 네트워크 인터페이스(1212) 및 메모리(1213)를 더 포함할 수 있다. 메모리(1213)는 전술한 설명 내에 기술된 바와 같은 형태의 컴퓨터 판독가능 매체를 포함할 수 있다.

일 실시예에서, 메모리(1213)는 프로그램 유닛(1214) 및 프로그램 데이터(1215)를 포함할 수 있다. 프로그램 유닛(1214)은 장치(1200)의 전술한 실시예들에서 기술된 바와 같은 전술한 유닛들 및/또는 서브유닛들 중 하나 이상을 포함할 수 있다.

본 개시의 제4 실시예에서 제공된 장소 기반 정보 처리 방법에 대응하여, 본 개시의 일 실시예는 장소 기반 정보 처리 장치를 또한 제공한다. 도 13을 참조하면, 장치(1300)는 다음을 포함할 수 있다:

질의 클라이언트 측으로부터 주석 정보를 질의하기 위한 요청(그 요청은 질의 사용자의 지리적 위치 정보를 포함함)을 수신하는 요청 수신 유닛(request receiving unit)(1301)과,

지리적 위치 정보에 따라 질의 사용자가 위치된 목표 장소를 판정하는 목표 장소 판정 유닛(target place determination unit)(1302)과,

주석 정보와 장소 정보 간의 사전수립된 대응 관계에 따라 목표 장소에 대응하는 주석 정보를 판정하고, 질의 클라이언트 측에 주석 정보를 회신하는 주석 정보 회신 유닛(annotation information returning unit)(1303).

대응 관계는 장소 내의 주석 정보의 주석 위치 정보를 더 포함한다. 장치(1300)는 다음을 더 포함할 수 있다:

현재의 장소 내에서의 질의 사용자의 장면 위치 정보를 획득하는 장면 위치 정보 획득 유닛(scene position information acquisition unit)(1304)과,

매치된 주석 정보를 주석 정보의 각각의 조목에 대응하는 각 주석 위치 정보에 따라 획득하고, 매치된 주석 정보를 질의 클라이언트 측에 회신하여 질의 클라이언트 측으로 하여금 각 주석 위치에 주석 정보를 제공할 수 있게 하는 매치된 주석 정보 획득 유닛(matched annotation information acquisition unit)(1305).

장면 위치 정보 획득 유닛(1304)은 질의 클라이언트 측에 의해 업로드된 장소 내의 장면 이미지의 이미지 특징 정보를 수신할 수 있다.

매치된 주석 정보 획득 유닛(1305)은 수신된 이미지 특징 정보를 주석 정보의 각각의 조목에 대응하는 이미지 특징 정보와 비교하고, 매치된 주석 정보를 획득할 수 있다.

대안적으로, 주석 위치 정보는 장소 내의 식별가능 대상체의 이미지 특징 정보를 포함한다.

매치된 주석 정보 획득 유닛(1305)은 수신된 이미지 특징 정보에 따라 식별가능 대상체가 존재하는지를 판정하여, 만약 긍정적인 경우 식별가능 대상체의 이미지 특징을 주석 정보의 각각의 조목에 대응하는 각 식별가능 대상체의 이미지 특징과 비교하고, 매치된 주석 정보를 획득할 수 있다.

또 대안적으로, 주석 위치 정보는 장소 내의 식별가능 대상체의 이미지 특징 정보와, 주석 정보와 식별가능 대상체 간의 상대 위치 관계 정보를 포함한다.

매치된 주석 정보 획득 유닛(1305)은 수신된 이미지 특징 정보에 따라 식별가능 대상체가 존재하는지를 판정하여, 식별가능 대상체의 이미지 특징을 주석 정보의 각각의 조목에 대응하는 각 식별가능 대상체의 이미지 특징과 비교하고, 매치된 주석 정보를 획득할 수 있다.

이 경우에, 장치(1300)는 매치된 주석 정보에 대응하는 식별가능 대상체의 이미지 특징 정보 및 상대 위치 관계 정보를 질의 클라이언트 측에 또한 회신할 수 있다.

일 실시예에서, 장치(1300)는 하나 이상의 프로세서(1306), 입력/출력 인터페이스(1307), 네트워크 인터페이스(1308) 및 메모리(1309)를 더 포함할 수 있다. 메모리(1309)는 전술한 설명 내에 기술된 바와 같은 형태의 컴퓨터 판독가능 매체를 포함할 수 있다.

일 실시예에서, 메모리(1309)는 프로그램 유닛(1310) 및 프로그램 데이터(1311)를 포함할 수 있다. 프로그램 유닛(1310)은 장치(1300)의 전술한 실시예들에서 기술된 바와 같은 전술한 유닛들 및/또는 서브유닛들 중 하나 이상을 포함할 수 있다.

본 개시의 실시예들을 통해, 사용자는 사용자가 위치된 장소 내의 구체적 정보 내용을 주석하기 위해 그의 모바일 단말 디바이스 내에 설치된 애플리케이션을 활용할 수 있다. 이 유형의 정보 내용은 텍스트에 한정되지 않고 또한 사진 또는 음성 등등일 수 있다. 따라서 사용자의 "자취"가 다양한 형태의 정보 내용을 통하여 그 장소에 남겨질 수 있다. 그러한 "자취"는 사용자에 의해 표현된 느낌을 반영하거나 과거의 어떤 순간에 그 장소에서 사용자가 보고 들은 것을 기록할 수 있고, 구체적인 장소에서의 어떤 실제 사정에도 좌우되지 않는데, 이는 진짜 종이와 펜을 필요로 하지 않고 그 장소의 실제 경관에 영향을 미치지 않는다.

전술한 실시예들의 설명으로부터 당업자는 필요한 일반적인 하드웨어 플랫폼과 함께 소프트웨어를 사용하여 본 개시가 구현될 수 있음을 명확히 이해할 수 있다. 이 이해에 기반하여, 기존의 기술에 기여하는 부분이나 본 개시 내의 기술적 해결책들의 정수는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 본 개시의 실시예의 어떤 부분 또는 실시예 내에 기술된 방법을 수행하도록 (개인용 컴퓨터, 서버, 네트워크 디바이스, 또는 유사한 것일 수 있는) 컴퓨팅 디바이스에 지시하기(instructing) 위한 여러 명령어를 포함하는 판독 전용 메모리(Read-Only Memory: ROM)/랜덤 액세스 메모리(Random Access Memory: RAM), 자기 디스크, 또는 광학 디스크와 같은 저장 매체 내에 저장될 수 있다.

명세서 내의 실시예들은 점차적인 방식으로 기술된다. 실시예들 내의 동일하거나 유사한 부분들에 대해서는 서로에 대해 참조가 행해질 수 있다. 각각의 실시예의 강조는 다른 실시예의 강조와 상이하다. 특별히, 장치들 또는 장치 실시예들은 기본적으로 방법 실시예들과 유사하고 따라서 상대적인 단순한 방식으로 기술된다. 관련 부분에 있어서, 방법 실시예의 부분의 설명에 대해 참조가 행해질 수 있다. 위에서 기술된 시스템들 또는 시스템 실시예들은 단지 예시적이다. 별개의 컴포넌트들로서 기술된 유닛들은 물리적으로 분리될 수 있거나 그렇지 않을 수 있다. 유닛으로서 도시된 컴포넌트는 물리적 유닛일 수 있거나 그렇지 않을 수 있고, 단일 위치에 위치될 수 있거나 여러 네트워크 유닛 간에 분배될 수 있다. 모듈들 중 일부 또는 전부는 실시예의 해결책의 목표를 달성하기 위해 실제의 필요에 따라 선택될 수 있다. 통상의 기술자는 어떤 창조적 노력도 행하지 않고서 실시예들을 이해하고 구현할 수 있다.

본 개시에 의해 제공되는 장소 기반 정보 처리의 방법 및 장치는 위에서 상세히 기술된다. 본 개시의 원리 및 구현을 설명하기 위해 명세서 내에서 구체적 예가 사용된다. 그러나, 전술한 실시예들의 설명은, 그저 본 개시의 방법 및 핵심 사상의 이해를 가능하게 하기 위해 사용된다. 통상의 기술자는 본 개시의 사상에 기반하여 구체적인 구현 및 응용 범위에 대한 수정을 행할 수 있다. 따라서, 명세서의 내용은 본 개시에 대한 한정으로서 해석되어서는 안 된다.

Claims

하나 이상의 컴퓨팅 디바이스에 의해 구현되는 방법으로서,
제1 사용자에 의해 입력된 주석 정보(annotation information)를 수신하는 단계와,
모바일 단말 디바이스의 지리적 위치 정보를 획득하는 단계와,
상기 주석 정보 및 상기 지리적 위치 정보를 서버에 발신하는 단계를 포함하되,
상기 주석 정보 및 상기 지리적 위치 정보를 발신하는 것은 상기 서버로 하여금,
상기 지리적 위치 정보에 적어도 부분적으로 기반하여 상기 제1 사용자가 위치된 장소의 정보를 판정하게 하고,
상기 주석 정보와 상기 장소의 정보 간의 대응 관계를 수립하고 저장하게 하며,
제2 사용자의 시계(field of vision)가 상기 장소를 포함하는 경우, 상기 장소 내의 제2 사용자에게 상기 주석 정보를 제공하게 하는
방법.
제1항에 있어서,
상기 대응 관계 내로 주석 위치 정보를 추가하고 저장하기 위해 상기 서버에 상기 장소 내에서의 상기 주석 정보의 주석 위치 정보를 발신하는 단계를 더 포함하되,
상기 장소 내의 제2 사용자에게 상기 주석 정보를 제공하는 단계는 상기 제2 사용자의 시계가 주석 위치를 포함하는 경우 상기 제2 사용자에게 상기 주석 정보를 제공하는 단계를 포함하는
방법.
제1항에 있어서,
상기 제1 사용자에 의해 입력된 상기 주석 정보를 수신하기 전 또는 후에 상기 장소 내의 장면 이미지(scene image)를 포착하는 단계와,
상기 장면 이미지의 특징 정보를 추출하는 단계와,
상기 대응 관계 내로 주석 위치 정보를 추가하고 저장하기 위해, 상기 서버에 상기 특징 정보를 상기 서버로의 상기 장소 내에서의 상기 주석 정보의 주석 위치 정보로서 발신하는 단계를 더 포함하는
방법.
제3항에 있어서,
적어도 하나의 랜드마크 대상체(landmark object)의 이미지 특징 및 상기 적어도 하나의 랜드마크 대상체 중의 각각의 랜드마크 대상체에 대한 적어도 하나의 선택가능한 주석 지점의 상대 좌표 정보를 상기 서버로부터 수신하는 단계와,
상기 적어도 하나의 랜드마크 대상체의 상기 수신된 이미지 특징에 적어도 부분적으로 기반하여 상기 포착된 장면 이미지 내에서 상기 적어도 하나의 랜드마크 대상체의 위치를 파악하는 단계와,
상기 상대 좌표 정보에 적어도 부분적으로 기반하여 상기 포착된 장면 이미지 상에 각각의 랜드마크 대상체의 상기 적어도 하나의 선택가능한 주석 지점 중의 각각의 선택가능한 주석 지점을 디스플레이하는 단계와,
상기 주석 정보의 주석 위치 정보로서 상기 대응 관계 내로 선택된 주석 지점에 대한 정보 및 상기 선택된 주석 지점과 연관된 랜드마크 대상체의 식별자를 추가하고 저장하기 위해, 상기 서버로의 상기 제1 사용자의 선택 동작을 수신하는 것에 응답하여 상기 서버에 선택된 주석 지점의 정보를 발신하는 단계를 더 포함하는
방법.
제1항에 있어서,
상기 제1 사용자에 의해 입력된 상기 주석 정보를 수신하기 전 또는 후에 상기 장소 내의 장면 이미지를 포착하는 단계와,
상기 장면 이미지의 특징 정보를 추출하는 단계와,
상기 특징 정보가 식별가능 대상체의 이미지 특징을 포함하는지 여부를 판정하는 단계와,
상기 특징 정보가 상기 식별가능 대상체의 이미지 특징을 포함함을 판정하는 것에 응답하여 상기 대응 관계 내로 주석 위치 정보를 추가하고 저장하기 위해, 상기 서버에 상기 식별가능 대상체의 이미지 특징을 상기 서버로의 상기 장소 내에서의 상기 주석 정보의 주석 위치 정보로서 발신하는 단계를 더 포함하는
방법.
제1항에 있어서,
상기 제1 사용자에 의해 입력된 상기 주석 정보를 수신하기 전 또는 후에 상기 장소 내의 장면 이미지를 포착하는 단계와,
상기 장면 이미지의 특징 정보를 추출하는 단계와,
상기 특징 정보가 식별가능 대상체의 이미지 특징을 포함하는지 여부를 판정하는 단계와,
상기 특징 정보가 상기 식별가능 대상체의 이미지 특징을 포함함을 판정하는 것에 응답하여 상기 주석 정보와 상기 식별가능 대상체 간의 상대 위치 관계 정보를 획득하는 단계와,
상기 대응 관계 내로 주석 위치 정보를 추가하고 저장하기 위해, 상기 서버에 상기 식별가능 대상체의 이미지 특징 및 상기 상대 위치 관계 정보를 상기 서버로의 상기 장소 내에서의 상기 주석 정보의 주석 위치 정보로서 발신하는 단계를 더 포함하는
방법.
제1항에 있어서,
상기 제1 사용자에 의해 입력된 상기 주석 정보를 수신하기 전 또는 후에 상기 장소 내의 장면 이미지를 포착하는 단계와,
상기 장면 이미지 내의 식별가능 대상체와 상기 주석 정보 간의 상대 위치 관계 정보를 획득하는 단계를 더 포함하되,
상기 상대 위치 관계 정보를 획득하는 단계는,
상기 장면 이미지 내의 상기 식별가능 대상체를 나타내는 제1 위치 지점을 판정하는 단계와,
상기 사용자의 동작에 적어도 부분적으로 기반하여 상기 단말 디바이스의 디스플레이 스크린 상에서 상기 주석 정보와 연관된 제2 위치 지점을 판정하는 단계와,
수립할 원점(origin)으로서 상기 식별가능 대상체를 나타내는 상기 제1 위치 지점을 갖는 좌표계(coordinate system)를 수립하는 단계와,
상기 좌표계 내에서 상기 주석 정보와 연관된 상기 제2 위치 지점의 좌표를 판정하는 단계와,
상기 주석 정보와 상기 식별가능 대상체 간의 상기 상대 위치 관계 정보로서 상기 좌표계 내에서 상기 주석 정보와 연관된 상기 제2 위치 지점의 좌표를 사용하는 단계를 포함하는
방법.
제1항에 있어서,
상기 제1 사용자의 신원 정보를 획득하는 단계와,
상기 대응 관계 내로 상기 신원 정보를 추가하고 저장하기 위해, 상기 서버에 상기 제1 사용자의 상기 신원 정보를 발신하는 단계를 더 포함하는
방법.
실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 매체로서,
상기 실행가능 명령어는 하나 이상의 프로세서에 의해 실행되는 경우 상기 하나 이상의 프로세서로 하여금,
질의 사용자(querying user)로부터 주위의 주석 정보(surrounding annotation information)를 보기 위한 요청을 수신하는 것과,
상기 질의 사용자의 지리적 위치 정보를 얻는 것과,
서버로 하여금 상기 지리적 위치 정보에 적어도 부분적으로 기반하여 상기 질의 사용자가 위치된 목표 장소(target place)를 판정하게 하고 목표 장소의 정보와 상기 목표 장소에 대응하는 주석 정보의 하나 이상의 조목 간의 사전저장된 대응 관계에 적어도 부분적으로 기반하여 상기 목표 장소에 대응하는 주석 정보의 하나 이상의 조목(piece)을 회신하게 하기 위해 상기 서버에 상기 지리적 위치 정보를 발신하는 것과,
상기 질의 사용자에게 상기 서버로부터 회신된 상기 목표 장소에 대응하는 상기 주석 정보의 하나 이상의 조목을 제공하는 것
을 포함하는 행위를 수행하게 하는
하나 이상의 컴퓨터 판독가능 매체.
제9항에 있어서,
상기 행위는,
상기 목표 장소에 대응하는 상기 주석 정보의 각각의 조목과 연관된 식별가능 대상체의 이미지 특징 정보를 수신하는 것과,
상기 질의 사용자의 단말 디바이스 내에 보여진 장면 이미지 내에서 상기 식별가능 대상체 둘레에 상기 주석 정보의 각각의 조목을 디스플레이하는 것을 더 포함하는
하나 이상의 컴퓨터 판독가능 매체.
제9항에 있어서,
상기 행위는,
상기 목표 장소에 대응하는 상기 주석 정보의 각각의 조목과 연관된 식별가능 대상체의 이미지 특징 정보를 수신하는 것과,
상기 식별가능 대상체와 상기 목표 장소에 대응하는 상기 주석 정보의 각각의 조목 간의 상대 위치 관계 정보를 수신하는 것과,
상기 질의 사용자의 단말 디바이스 내에 보여진 장면 이미지 내에서 상기 식별가능 대상체에 대한 대응 위치에서 상기 목표 장소에 대응하는 상기 주석 정보의 각각의 조목을 디스플레이하는 것을 더 포함하는
하나 이상의 컴퓨터 판독가능 매체.
제9항에 있어서,
상기 행위는 상기 주석 정보의 하나 이상의 조목이 미스매치된 주석 정보(mismatched annotation information)를 포함하는 것에 응답하여 유도 정보(prompt information)를 제공하는 것을 더 포함하되, 제1의 상기 유도 정보는 시계를 변경하도록 상기 질의 사용자에게 지시하는
하나 이상의 컴퓨터 판독가능 매체.
제9항에 있어서,
상기 행위는 상기 질의 사용자의 하나 이상의 친구 사용자(buddy user)의 신원 정보를 얻기 위해 상기 서버에 상기 질의 사용자의 신원 정보를 발신하는 것을 더 포함하되, 상기 목표 장소에 대응하는 상기 주석 정보의 하나 이상의 조목을 남기는 사용자는 상기 하나 이상의 친구 사용자 중의 적어도 하나의 사용자를 포함하는
하나 이상의 컴퓨터 판독가능 매체.
제9항에 있어서,
상기 행위는 상기 장소 내에 새로운 주석 정보를 남기도록 상기 질의 사용자를 유도하기 위해 상기 질의 사용자에게 유도 정보를 제공하는 것을 더 포함하는
하나 이상의 컴퓨터 판독가능 매체.
하나 이상의 프로세서와,
메모리와,
주석 클라이언트 측(annotating client side)에 의해 업로드된 주석 정보 및 사용자 모바일 단말 디바이스의 지리적 위치 정보를 수신하도록 상기 메모리 내에 저장되고 상기 하나 이상의 프로세서에 의해 실행가능한 정보 수신 유닛(information receiving unit)과,
상기 지리적 위치 정보에 적어도 부분적으로 기반하여 사용자가 위치된 곳의 장소 정보를 판정하도록 상기 메모리 내에 저장되고 상기 하나 이상의 프로세서에 의해 실행가능한 장소 정보 판정 유닛(place information determination unit)과,
상기 주석 정보와 상기 지리적 위치 정보 간의 대응 관계를 수립하고 저장하도록 상기 메모리 내에 저장되고 상기 하나 이상의 프로세서에 의해 실행가능한 저장 유닛(storage unit)을 포함하는
장치.
제15항에 있어서,
상기 대응 관계는, 상기 주석 정보에 대해 질의하는 요청 내에 포함된 지리적 위치 정보에 적어도 부분적으로 기반하여 질의 사용자가 위치된 목표 장소를 판정하는 것과, 질의 클라이언트로부터 상기 요청을 수신하는 것에 응답하여 상기 질의 클라이언트에 상기 목표 장소에 대응하는 상기 주석 정보를 회신하는 것을 가능하게 하는
장치.
제15항에 있어서,
주석 지점 정보 수신 유닛을 더 포함하되, 상기 주석 지점 정보 수신 유닛은,
상기 주석 클라이언트 측에 의해 업로드되는 상기 장소 내에서의 상기 주석 정보의 주석 위치 정보를 수신하고,
상기 대응 관계 내로 상기 주석 위치 정보를 추가하고 저장하며,
상기 장소 내의 질의 사용자와 연관된 시계가 주석 위치를 포함하는 것에 응답하여 상기 장소 내의 질의 사용자에게 상기 주석 정보를 제공하는
장치.
제17항에 있어서,
상기 주석 위치 정보는,
상기 주석 클라이언트 측에 의해 업로드되는 상기 장소 내의 장면 이미지의 이미지 특징 정보와,
상기 주석 클라이언트 측에 의해 업로드되는 상기 장소 내의 상기 장면 이미지 내에 포함된 식별가능 대상체의 이미지 특징 정보와,
상기 주석 정보와 상기 식별가능 대상체 간의 상대 위치 관계 정보
중 하나 이상을 포함하는
장치.
제17항에 있어서,
상기 장소를 위해 수립된 이미지 특징 라이브러리(image feature library)를 더 포함하되, 상기 이미지 특징 라이브러리는 상기 장소 내의 적어도 하나의 랜드마크 대상체의 식별자 및 대응하는 이미지 특징을 저장하고,
상기 주석 위치 정보 수신 유닛은,
상기 주석 클라이언트 측에 의해 업로드되는 상기 장소 내의 장면 이미지의 이미지 특징 정보를 수신하는 이미지 특징 정보 수신 서브유닛과,
상기 장소 내의 상기 적어도 하나의 랜드마크 대상체가 상기 이미지 특징 정보 내에 존재하는지 여부를 판정하고, 긍정적(affirmative)인 경우 상기 장소 내에서의 상기 주석 정보의 상기 주석 위치 정보로서 상기 적어도 하나의 랜드마크 대상체의 상기 식별자를 설정하는 판정 서브유닛을 포함하는
장치.
제17항에 있어서,
상기 장소를 위해 수립된 이미지 특징 라이브러리를 더 포함하되, 상기 이미지 특징 라이브러리는 상기 장소 내의 적어도 하나의 랜드마크 대상체의 식별자, 대응하는 이미지 특징, 그리고 상기 랜드마크 대상체에 대한 각각의 랜드마크 대상체와 연관된 적어도 하나의 선택가능한 주석 지점의 상대 좌표 정보를 저장하고,
상기 주석 위치 정보 수신 유닛은,
상기 주석 클라이언트 측에 의해 업로드되는 상기 장소 내의 장면 이미지의 이미지 특징 정보를 수신하는 이미지 특징 정보 수신 서브유닛과,
상기 장소 내의 상기 적어도 하나의 랜드마크 대상체가 상기 이미지 특징 정보 내에 존재하는지를 판정하고, 긍정적인 경우 상기 적어도 하나의 랜드마크 대상체의 이미지 특징 및 상기 적어도 하나의 랜드마크 대상체의 하나 이상의 주석 지점의 상대 좌표 정보를 회신하는 판정 서브유닛과,
상기 주석 클라이언트 측에 의해 업로드되는 선택된 주석 지점의 정보를 수신하고, 상기 주석 정보의 상기 주석 위치 정보로서 상기 적어도 하나의 랜드마크 대상체의 식별자 및 상기 주석 지점의 정보를 설정하는 주석 지점 정보 수신 유닛을 포함하는
장치.