KR20140093974A - 이미지 주석 방법 및 시스템 - Google Patents

Abstract

(a) 발신자가 제 1 모바일 장비(1)로 원본 이미지(21)를 캡쳐하고,
(b) 원본 이미지(21)가 제 1 주석(210)과 함께 발신자의 모바일 장비(1)에 디스플레이되며,
(c) 상기 제 1 주석이 디스플레이된 정보와 함께 상기 모바일 장비의 시간 및 위치를 포함한 제 1 데이터 정보(R1)가 서버(3)로 전송되고,
(d) 발신자는 상기 이미지를 적어도 하나의 제 2 사용자의 제 2 장비(4)로 전송하며,
(e) 이미지(22)가 상기 제 2 장비에 디스플레이되고,
(f) 제 2 주석(211)은 상기 이미지와 조합해 상기 제 2 사용자에 디스플레이되며,
(g) 상기 제 2 주석(211)이 디스플레이된 정보와 함께 상기 제 2 사용자의 장비(1')의 시간 및 위치를 포함한 제 2 데이터 정보(R2)가 서버(3)로 전송되고,
(h) 상기 서버(3)는 상기 이미지가 발신자에 의해 캡쳐된 원본 이미지인지 혹은 제 2 사용자에 디스플레이된 전송된 이미지인지를 상기 위치 및/또는 시간으로부터 판단하는 방법이 제안된다.

Description

이미지 주석 방법 및 시스템{Image annotation method and system}

본 발명은 이미지 상에 증강현실 정보의 디스플레이와 관련해 사용되는 방법에 관한 것이다.

WO2008032203은 휴대장비를 가진 사용자가 이미지, 가령 관심 지점의 이미지를 캡쳐하는 방법에 관한 것이다. 이미지들의 피처들은 인식을 시도하기 위해 소스 이미지와 비교된다; 이미지는 그런 후 태그된다. 이들 태그들은 사용자에 디스플레이되어 사용자는 태그를 클릭 또는 선택해 키워드와 관련된 더 많은 정보를 얻을 수 있다. 상기 출원은 "가상검색서버"로 태그를 전송하는 단계를 더 제안한다. 따라서, 이 참고문헌은 이미지의 자동분류와 관련 있으나, 주석이 이미지의 인식된 피처들 위에 겹치는 증강현실과는 관련 없다.

타루미 에이치 등(Tarumi H et al.)은 “Communication through virtual active objects overlaid onto the real world”, Proceedings of the 3rd international conference on collaborative virtual environments, CVE2000, San Francisco, 2000년, 9월 10-12일에서 제한된 영역 및 제한된 시간주기 내에서만 액세스될 수 있는 SpaceTags라고 하는 가상 객체들을 생성 및 디스플레이하기 위한 시스템을 기술하고 있다. SpaceTags는 최종사용자에 의해 만들어지고 서버로 전송될 수 있다. 이들은 현실 객체들과 관련될 수 있고 증강현실 주석으로 디스플레이될 수 있다.

EP1246080은 정지화면 또는 동영상에 대한 증강현실의 증강정보를 디스플레이하는 방법을 개시하고 있다. 일실시예에서, 산 또는 기타 지도제작 피처들(features)의 이름들이 풍경 뷰(view)에 중첩된다. 또 다른 실시예에서, 그림 전시회에서 방문객들은 모바일 디바이스로 캡쳐된 이 그림의 뷰 위로 디스플레이되는 선택된 그림에 관한 추가 정보를 얻을 수 있다. 뷰의 증강현실 피처들은 추가 주석, 하이라이트 등을 포함할 수 있다.

증강현실은 또한 광고판 또는 뉴스 광고와 같은 광고물들에 주석을 달고, 이 광고와 관련된 추가 컨텐츠들을 고객들에 제공하는 다양한 회사들에 의해 제안된다.

본 발명의 목적은 증강현실에 기반한 신규한 방법을 제안하는 것이다.

본 발명은 더 많은 이미지들이 증강현실 컨텐츠, 즉, 주석과 연관되는 발견에 기초한다. 이들 이미지들 중 일부는 다양한 전자 채널들, 가령, 이메일, MMS, 블로그, 소셜 네트워크 등을 통해 다른 수령인들에게 전송될 것이다. 예컨대, 몇몇 사용자는 산, 그림 또는 광고의 이미지를 다른 사용자들에게 전송하고자 할 수도 있다.

증강현실이 더욱더 편재하게 되면, 이들 수신자들 중 적어도 일부는 그들이 수신한 이들 이미지들이 증강현실 주석들과 관련있는지 체크할 가능성이 있다. 예컨대, 일부 사용자들은 이메일이나 다른 식으로 수신된 이미지를 캡쳐할 것이며, 이 이미지를 증강현실 컨텐츠와 연관시킬 것이다. 증강현실 컨텐츠가 특히 관심 있을 경우에 송신자는 심지어 수신자를 초대해 그렇게 할 수도 있다.

또한, 더욱더 많은 사용자들은 연이어 캡쳐된 이미지들과 매칭하기 위한 증강현실 모델을 만들 것이다. 이들 증강현실 모델들 중 일부는 사적일 것이고, 나머지는 공적이며 모두에 이용될 것이고, 친구나 관련된 사용자들은 그들이 이 모델과 일치하는 이미지를 캡쳐할 경우 추가 컨텐츠에 액세스하게 하기 위해 많은 것들이 가령 소셜 네트워크를 통해 공유되거나 전송될 것이다.

증강현실 컨텐츠 공급자들에 대해 주석 달린 뷰가 발신자가 캡쳐한 원본 뷰인지 또는 수령자가 수신한 이 뷰의 전송된 이미지인지 아는 것이 중요할 수 있음을 알았다. 이는 또한 증강현실 모델이 어떻게 그리고 누구에게 공유되는지 아는 것이 중요할 수도 있다.

부가 컨텐츠 공급자는 이 정보를 필요로 하는 다른 이유들이 있을 수 있다. 예컨대, 몇몇 공급자들은 이들 주석들에 액세스가 금지될 수도 있는 나중 시청자들보다는 제 1 발신자에게 다른 주석들을 제공하고자 할 수 있다. 주석 달린 이미지가 광고에 해당하면, 광고회사는 연이은 뷰들에 대한 것보다 제 1 뷰에 대해 다른 요금을 부과 및/또는 이미지의 바이럴 분포를 나타내기 위한 리포트를 준비하고자 할 수 있다. 몇몇 상황에서, 어떤 수신자에 의해 이 이미지가 디스플레이되었고 주석이 달아졌다는 이미지를 캡쳐해 배포한 사용자에 알리고 싶을 수 있다.

종래 기술에서, 주석이 달린 뷰는 발신자가 캡쳐한 원본 뷰인지 혹은 수신자가 수신한 이 뷰의 전송된 이미지인지를 알기 위한 쉽고 강건한 방법이 없다. 또한, 증강현실 모델이 공유되었는지 알기 위한 쉬운 방법이 없다.

따라서, 본 발명의 일태양에 따르면, 이 정보는

(a) 발신자가 제 1 모바일 장비로 원본 이미지를 캡쳐하고,

(c) 상기 제 1 모바일 장비의 시간 및 위치를 포함한 제 1 데이터 정보가 저장되며,

(d) 발신자는 상기 이미지, 또는 상기 이미지에 해당하는 증강현실 모델을 사용자의 제 2 장비와 공유하고,

(e) 주석달린 이미지가 상기 제 2 장비에 디스플레이되며,

(g) 상기 제 2 장비의 시간 및 위치를 포함한 제 2 데이터 정보가 저장되는 방법으로 이용될 수 있다.

이들 다양한 단계들은 상기 문자로 써진 리스트의 알파벳 순서대로 실행될 수 있다. 대안으로, 이들 다양한 단계들은 다른, 비알파벳 순서대로 실행될 수 있다. 유사한 동일한 단계들은 명세서 내내 동일한 문자로 표시되어 있으며, 이들은 다양한 수준의 세부내용들로 기술되어 있다.

제 1 및 제 2 데이터 정보는 서버에 가령 모든 사용자들의 장비들이 액세스하는 중앙 데이터베이스에 집중적으로 저장될 수 있다. 대안으로, 분산 시스템에서, 제 1 및 제 2 데이터 정보는 사용자의 장비에 저장될 수 있다.

일실시예에서, 사용자는 다른 이용가능한 증강현실 모델을 이용해 주석 달린 이미지를 공유한다. 제 1 및 제 2 데이터 정보는 이들 전송된 이미지들이 디스플레이될 때 해당 사용자의 장비의 시간 및 위치를 포함한다. 대안으로, 제 1 및 제 2 데이터 정보는 이들 이미지들이 전송될 때 해당 사용자의 장비의 시간 및 위치를 포함한다.

이 실시예의 방법은 또한

(b) 원본 이미지가 상기 이미지에 중첩된 제 1 주석과 함께 그리고 이미지의 인식된 피처들과 관련해 발신자의 모바일 장비에 디스플레이되고,

(c) 상기 제 1 데이터 정보는 상기 제 1 주석이 디스플레이된 정보를 포함하며, 상기 제 1 데이터 정보는 저장된 서버로 전송되고,

(d) 발신자는 상기 이미지를 상기 제 2 장비로 전송함으로써 주석 달기 위한 이미지로 상기 이미지를 공유하며,

(e) 상기 전송된 이미지는 상기 제 2 장비에 디스플레이되고,

(f) 제 2 주석은 상기 전송된 이미지와 조합해 상기 제 2 사용자에 디스플레이되며,

(g) 상기 제 2 데이터 정보는 상기 제 2 주석이 디스플레이된 정보를 포함하며, 상기 제 2 데이터 정보는 저장된 서버로 더 전송되고,

(h) 상기 서버는 상기 이미지가 발신자에 의해 캡쳐된 원본 이미지인지 혹은 제 2 사용자에 디스플레이된 전송된 이미지인지를 상기 위치 및/또는 시간으로부터 판단하는 것을 포함할 수 있다.

시간 및 위치는 이미지가 원본 이미지인지 전송된 이미지인지 모든 상황에서 판단하기에 충분하지 않을 수 있다. 그럼에도 불구하고, 캠페인 등의 통계 분석과 같은 많은 애플리케이션에서는, 완벽한 정확도가 요구되지 않고 심지어 항상 신뢰할 수 있는 판단이 극히 유용하지 않을 수 있다. 예컨대 들어 있는 워터마크를 포함한 다른 파라미터들이 더 큰 신뢰도가 요구될 경우 시간 및 위치에 더해 사용될 수 있다.

다른 실시예에서, 사용자는 다른 이미지들에 주석을 달기 위해 수신자들이 나중에 사용하는 증강현실 모델을 공유한다. 제 1 및 제 2 데이터 정보는 증강현실 모델이 공유될 경우 순간에서 사용자 장비의 시간 및 위치를 포함한다. 따라서, 이 실시예의 방법은:

(b) 상기 제 1 데이터 정보는 모델로 사용된 상기 이미지가 발신자에 의해 공유될 경우 상기 제 1 모바일 장비의 상기 시간 및 위치를 포함하며,

(f) 상기 모델을 기초로 하고 다른 이미지 위에 중첩된 제 2 주석이 상기 제 2 사용자에 디스플레이되고,

(f') 제 2 사용자는 제 3 사용자와 상기 모델을 공유하며,

(g) 상기 제 2 데이터 정보는 모델로 사용된 상기 이미지가 제 2 사용자에 의해 공유될 경우 상기 제 2 모바일 장비의 상기 시간 및 위치를 포함하는 것을 포함할 수 있다.

따라서 본 발명은 공유된 이미지 또는 공유된 증강현실 모델을 특히 증강현실 소셜 네트워크에서 계속 추적하는 방법 및 시스템을 제공한다. 이는 주어진 공유된 증강현실 컨텐츠 뿐만 아니라 그 변형의 분산에 대한 정보를 판단할 수 있게 된다.

본 출원에서, "증강현실 모델" 또는 때로 간단히 "모델"이라는 표현은 이미지를 인식하고 증강현실 컨텐츠로 재생하는데 요구되는 데이터 세트를 나타낸다. 증강현실 모델은 2D 또는 3D 또는 장면의 흔한 모델, 또는 장면을 식별하고 캡쳐된 이미지내 해당 피처들과 일치될 수 있는 피처들의 리스트뿐만 아니라 이 모델에서 하나 또는 다수의 엘레먼트들과 관련된 하나 또는 복수의 주석들을 포함할 수 있다.

본 발명의 태양에 따르면, 주석 달린 뷰가 발신자가 캡쳐한 원본 뷰인지 혹은 상기 뷰의 전송된 이미지인지를 판단하는 방법이 제공되고, 상기 방법은

(a) 발신자가 제 1 모바일 장비로 원본 이미지를 캡쳐하는 단계;

(b) 제 1 모바일 장비에 이미지를 디스플레이하는 단계;

(c) 제 1 모바일 장비에 디스플레이된 이미지를 상기 이미지에 디스플레이되는 제 1 주석으로 주석다는 단계;

(d) 제 1 데이터 정보를 서버에 전송하는 단계;

(e) 제 1 모바일 장비로부터 적어도 하나의 다른 장비로 상기 이미지를 전송하는 단계;

(f) 적어도 하나의 다른 장비에 이미지를 수신하고 적어도 하나의 다른 장비에 상기 이미지를 디스플레이하는 단계;

(g) 적어도 하나의 다른 장비에 디스플레이된 이미지를 상기 이미지에 디스플레이되는 제 2 주석으로 주석다는 단계;

(h) 제 2 데이터 정보를 서버로 전송하는 단계; 및

(i) 각각의 장비에 디스플레이된 상기 이미지가 상기 각각의 장비에 의해 캡쳐된 원본 이미지인지 또 다른 장비로부터 상기 각각의 장비에 전송된 이미지인지를 상기 현재 시간 및/또는 위치로부터 판단하기 위해 서버를 동작시키는 단계를 포함하고,

제 1 데이터 정보는 제 1 모바일 장비에 디스플레이된 상기 이미지가 제 1 주석으로 주석 달아진 정보와 함께 상기 제 1 모바일 장비의 현재 시간 및 위치를 포함하며, 제 2 데이터 정보는 적어도 하나의 다른 장비에 디스플레이된 이미지가 상기 제 2 주석으로 주석 달아진 정보와 함께 적어도 하나의 다른 장비의 현재 시간 및 위치를 포함한다.

본 발명의 태양에 따르면, 기준 이미지와 같은 증강현실 모델과 관련된 시간 주기 및/또는 위치를 데이터베이스로부터 검색하고, 상기 증강현실 모델과 일치하는 이미지가 원본 이미지인지 복사본인지 판단하기 위해 이 시간 주기 및/또는 위치를 이용하는 방법이 제공된다. 이미지의 주석은 이 테스트의 결과에 따를 수 있다.

일태양에 따르면, 이미지가 가능하게 취해질 수 있는 가능한 위치 및/또는 시간이 가령 서버에 공지되어 있다. 일 예에서, 서버는 마터호른의 북면의 낮 풍경이 찍힐 수 있는 지리적 영역 및 시간 주기를 알 수 있다. 광고판의 경우, 서버는 각 이미지의 분포 위치 및/또는 계획을 검색하기 위해 데이터베이스에 액세스할 수 있다. 이들 상황에서, 각 원본 이미지는 이미지가 캡쳐될 수 있는 정확한 위치 또는 지리적 위치와 같이 한 위치와 관련될 수 있다. 각 원본 이미지는 또한 이미지가 찍힐 수 있는 동안의 시간 또는 일련의 시간 주기들과 관련될 수 있다. 다른 위치 및/또는 시간 주기와 관련된 이미지는 원래 초기 뷰의 복사본인 것으로 간주된다.

본 발명의 내용에 포함됨.

본 발명은 하기의 특징들과 함께 도시된 몇가지 가능한 실시예들의 설명과 더불어 더 잘 이해될 것이다.
도 1은 발신자에 의한 증강현실 컨텐츠에 액세스를 개략적으로 도시한 것이다.
도 2는 초기 이미지가 전송된 제 2 사용자에 의한 증강현실 컨텐츠로의 제 2 액세스를 개략 도시한 것이다.
도 3은 광고 애플리케이션의 예시적인 경우로 증강현실 애플리케이션용 가격추가 컨텐츠를 준비 및 배포하기 위한 시스템을 개략적으로 강조한 것이다.
도 4는 증강현실 컨텐츠와 관련된 이미지 또는 증강현실모델의 가상 분포를 나타내는 증강현실 소션 네트워크 그래프를 개략 도시한 것이다.
도 5는 중앙 데이터베이스에 저장된 정보를 나타낸 테이블을 도시한 것이다.
도 6-8은 분산 시스템에서 다른 사용자 디바이스들에 저장될 수 있는 로컬 정보를 나타낸 다양한 테이블을 도시한 것이다.
도 9는 2개 증강현실모델 간의 부모/자식 관계를 나타낸 테이블을 도시한 것이다.

본 명세서에서, "모바일 디바이스" 또는 "모바일 장비"는 네트워크를 통해 통신할 수 있는 카메라가 탑재 또는 연결된 휴대폰, 기지국, PDA, 태블릿, 스마트폰과 같은 개인 휴대장치를 의미한다.

도 1은 제 1 사용자에 의한 증강현실 컨텐츠에 대한 액세스를 도시한 것이다. 발신자가 모바일 디바이스를 이용해 주석을 달기 위한 하나 이상의 피처들이 있는 적어도 하나의 엘레먼트(2)를 포함한 장면의 초기 이미지를 캡쳐한다. 이 예에서, 엘레먼트는 광고 포스터(2), 가령, 종이광고 포스터, 또는 전자광고 포스터, 또는 정지화상 또는 동영상 광고 이미지를 디스플레이하는 광고판 디지털 사이니지이다. 디지털 사이니지는 디스플레이 및 로컬 컨트롤러를 포함하고, 상기 로컬 컨트롤러는 비주얼 컨텐츠를 디스플레이하기 위해 통신 네트워크를 통해 서버에 또는 (하드 디스크, USB 스틱 등과 같은) 로컬 데이터 스토리지에 액세스된다. 포스터(2)는 가령, 하나 또는 다수의 이미지 엘레먼트들, 하나의 바코드 또는 데이터 매트릭스, 하나의 로고 등 서로 별개로 주석 달아 질 수 있는 하나 이상의 피처들(20)을 포함할 수 있다. 사용자는 가령 사용자의 모바일 장비에 실행되는 적절한 소프트웨어 애플리케이션을 이용해 자신의 모바일 장비(1)에 (증강현실 컨텐츠) 주석의 디스플레이를 개시한다. 일실시예에서, 애플리케이션은 iOS 운영시스템상에 이용될 수 있는 PixLive 애플리케이션일 수 있다. 일실시예에서, 소프트웨어 애플리케이션은 사용자가 이미지를 캡쳐할 수 있는 이미지 툴을 포함한다; 이 경우, 이미지는 애플리케이션내 툴을 이용해 직접 캡쳐된다. 이미지는 정지화상 또는 동영상일 수 있다.

일실시예에서, 모바일 장비(1)에 있는 애플리케이션은 주석(추가 컨텐츠)을 위한 요청(R1)을 원격 서버(3)로 전송한다. 원격 서버(3)는 가령, 인터넷에 연결된 단일 서버, 다른 상호연결된 장치들의 집결, 클라우드 시스템내 가상 서버일 수 있다. 요청(R1)은 인터넷을 통해 전송될 수 있다. 요청(R1)은 바람직하게는 주석을 달 정지영상 또는 동영상, 또는 원격 서버가 매칭 증강현실모델을 식별하게 하는 적어도 몇몇 피처들을 포함하고 한 세트의 가능한 주석들을 판단한다.

일실시예에서, 원격 서버(3)의 어떤 부분들은 모바일 장비(1) 상에 직접 위치되거나 동작될 수 있다. 특히 주석 모듈(30) 및 모델 데이터베이스(32)는 기준 이미지와 증강 컨텐츠를 인식하는 프로세스의 속도를 높이기 위해 스마트폰에 실행될 수 있다.

일실시예에서, 원격 서버(3)는 컴퓨터 비전 방법을 이용해 수신된 이미지의 컨텐츠를 분석하고 이를 이미 저장되거나 그렇지 않으면 서버(3)에 이용될 수 있는 기준 이미지(32)와 같은 모델과 매치시키는 증강현실 모듈을 포함한다. 서버는 매칭모델과 더불어 캡쳐된 이미지를 더 등록하고, 주석 모듈(30)을 이용해 메시지(A1)를 통해 전송되고 모바일 장비에 디스플레이될 주석 달린 이미지(21)를 준비하며, 상기 장비에서 데이터베이스(31)로부터 추가 컨텐츠, 즉, 주석들(증강현실 엘레먼트들)(210)은 추가되거나 인식된 이미지의 피처들과 관련 있다. 주석(210)은 텍스트, 이미지, 하이라이트, 하이퍼링크, 음성, 비디오 등을 포함할 수 있다. 중첩된 주석들은 캡쳐되거나 수신된 이미지의 상단에 디스플레이되는 텍스트, 이미지, 하이라이트, 하이퍼링크, 비디오 등을 포함할 수 있다.

또 다른 실시에에서, 캡쳐된 이미지의 피처들과 모데르이 기준 피처들의 매칭, 등록 및/또는 검색된 주석과 이미지의 조합이 사용자 모바일 장비(1)에 있는 증강현실모듈에 의해 적어도 부분적으로 실행된다. 증강현실모듈은 사용자의 장비들에 분산 방식으로 저장되고, 가령 한 장비에서 다음 장비로 직접 모델을 전송함으로써 또는 서버(3)내 중앙 스토리지로부터 모델들을 다운로드함으로써 사용자들 간에 공유될 수 있다. 이 경우, 주석을 위한 요청(R1)이 사용자의 장비에 로컬적으로 실행될 수 있다.

모바일 장비(1)에 의해 전송된 요청(R1) 또는 주석을 위한 임의의 연이은 요청은 가령 GPS 모듈과 같은 위성 위치정보 시스템, 및/또는 셀룰러 네트워크에 의해 이전에 전송된 네트워크 위치정보. 및/또는 하나 이상의 비컨들의 상대 위치를 이용해 모바일 장비 그 자체에 의해 판된되는 바와 같이 모바일 장비(1)의 위치를 포함한다. 이 요청(R1)은 또한, 혹은 대안적으로, 이미지가 캡쳐된 시간 및/또는 주석을 달 모델 또는 이미지가 사용자 모바일 장비에 의해 송수신된 시간을 포함한다. 일실시예에서, 시간은 전송되지 않고 사용자 장비에 있는 서버 또는 소프트웨어 모듈은 이미지의 캡쳐 후에 요청(R1)이 실시간으로 전송된 것으로 가정한다; 이 경우, 전송 시간이 내포되어 있다.

이미지(21)에 대한 주석은 상기 시간 및/또는 위치에 의존할 수 있다. 예컨대, 주석(210)의 언어는 수신자가 현재 위치한 영역의 주요 언어에 의존할 수 있다. 선택적으로, 모바일 장비(1) 또는 원격 서버(3)는 주석(210)이 어떤 언어로 디스플레이되어야 할지 선택하게 사용자가 선택할 수 있는 수단을 제공할 수 있다.

서버(3)는 바람직하게는 또한 사용자 또는 사용자 그룹이 증강현실모델의 피처와 관련된 특정 주석에 액세스할 수 있는지 판단하기 위한 사용자 권한 저장 데이터베이스(33)를 포함한다. 일부 컨텐츠는 설명될 바와 같이 종전 구독, 또는 토큰에 의존할 수 있다. 그러므로, 주석의 이용가능성(주석 컨텐츠)(31)은 데이터베이스(33)내 사용자 권한에 의존한다.

도 2에서, 모바일 장비(1)의 사용자는 제 2 장비와 본래의 이미를 공유하거나 이 제 2 장비와 본래 이미지에 대응하는 증강현실모델을 공유하기 위한 소프트웨어 모듈을 이용한다. 이 모듈을 이용해, 모바일 장비의 사용자는 초기에 캡쳐된 이미지 또는 연이은 이미지들과 일치하는 증강현실 기준모델을 제 2 장비(4)로 배포한다. 이 특별한 예에서, 제 2 장비는 랩탑(4)이다; 그러나, 제 2 장비는 임의의 적절한 형태를 취할 수 있음이 이해된다. 가령, PC 또는 휴대폰이나 스마트폰과 같은 또 다른 모바일 디바이스일 수 있다. 모바일 장비(1)는 초기에 캡쳐된 이미지 및/또는 증강현실모델을 복수의 다른 제 2 장비(4)로 연이어 또는 동시에 배포할 수 있음이 또한 이해된다. 제 1 사용자는 모바일 장비를 이용해 엘레먼트의 초기 이미지(이 경우 광고 포스터(2))를 취한다; 초기 이미지는 도 1에 기술되고 예시된 방식으로 주석 달아져, 주석 달린 뷰(20)를 제공한다. 제 1 사용자를 발신자라 하며, 종전에 캡쳐된 이미지 또는 모델의 수신자를 제 2 사용자라 한다. 예에서, 발신자는 모바일 장비(1)로부터 (바람직하게는 주석이 없는) 캡쳐된 이미지를 가령, 이메일, MMS, 블로그 또는 페이스북, 링크에드인(Linkedin), 트위터, 구글+ 등과 같은 증강현실 소셜 네트워크를 이용해 제 2 사용자의 제 2 장비, 즉, 개인용 컴퓨터 또는 랩탑(4)로 전송한다. 증강현실 소셜 네트워크는 증강현실모델 또는 캡쳐된 이미지를 공유하는 증강현실 사용자들의 네트워크이다. 알게 되는 바와 같이, 증강현실 네트워크는 증강현실 소셜 네트워크 그래프로 표현될 수 있다.

일실시예에서, 발신 장비는 초기 이미지를 캡쳐하고 상기 초기 이미지를 전혀 주석없이 캡쳐된 것으로 공유한다. 아직 주석이 달리지 않은 전송된 이미지(22)는 제 2 사용자에 의해 수신되고 그런 후 제 2 사용자의 장비(즉, 랩탑(4))에 디스플레이 된다. 이미 주석 달린 이미지들의 전송을 공유하는 것도 또한 고려될 수 있다.

그런 후 제 2 사용자는 가령, 휴대폰, PDA, 태블릿, 스마트폰 등과 같은 카메라가 달린 제 2 모바일 장비(1')를 이용해 랩탑(4)에 디스플레이된 이미지의 영상을 캡쳐할 수 있다. 대안으로, 랩탑(4)은 가령 인터넷을 통해 전송된 이미지(22)를 제 2 모바일 장비(1')로 전송할 수 있다. 제 2 모바일 장비(1')를 이용해 캡쳐되거나, 랩탑(4)으로부터 제 2 모바일 장비(1')로 전송된 이미지는 예컨대 도 1에 기술되고 예시된 바와 같은 방식으로 수신자의 모바일 장비(1') 상의 적절한 애플리케이션에 의해 주석 달릴 수 있다.

또 다른 실시예에서, 수신자의 랩탑(4)은 수신한 전송 이미지(22)를 직접 주석달 수 있다. 이미지의 주석은 랩탑(4)에 있는 적절한 애플리케이션에 의해 수행된다; 이 경우, 이미지를 캡쳐하기 위한 제 2 모바일 장비(1') 필요 없이 주석이 달린다. 랩탑(4)은 수신한 전송 이미지(22)로부터 주석 달아질 제 2 이미지를 캡쳐하거나 형성할 수 있다; 이 경우, 제 2 이미지는 상기 제 2 이미지가 랩탑(4) 상의 적절한 프로그램이 주석 달기에 적합한 형태로 있는 것을 제외하고 전송 이미지(22)와 동일하다. 제 2 사용자는 또한 랩탑(4)으로부터 주석 달리지 않은 이미지를 적어도 하나의 다른 친구와 전송하거나 그렇지 않으면 공유할 수 있다.

제 2 사용자가 제 2 모바일 장비(1')를 이용해 상기 제 2 모바일 장비(1')가 캡쳐한 이미지의 주석을 달 경우, 제 2 모바일 장비(1')는 (도 1을 참조로 언급되 바와 같이) 제 1 사용자가 이전 요청(R1)을 전송한 같은 방식으로 상기 제 2 모바일 장비(1')로부터 서버(3)로 제 2 데이터 정보를 포함한 제 2 요청(R2)을 전송한다. 제 2 요청(R2)은 제 2 모바일 장비(1')의 위치 및/또는 제 2 모바일 장비가 랩탑(4)에 디스플레이된 이미지의 이미지를 캡쳐한 시간을 포함한다. 분산 시스템에서, 이 제 2 요청(R2)은 또한 제 2 모바일 장비(1')를 포함한 증강현실모델이 이용될 수 있는 임의의 디바이스로 전송될 수 있다.

원격 서버(3), 또는 제 2 모바일 장비(1') 또는 랩탑(4)에 있는 적절한 애플리케이션은 요청(R2)시 수신된 정보로부터 제 2 모바일 장비(1')에 의해 디스플레이될 주석 달린 이미지(A2)를 준비하거나 이 제 2 모바일 장비(1')가 필요로 하는 정보를 제공해 주석 달린 이미지를 준비한다.

양 시나리오에서, 원격 서버(3)는 모바일 장비(1,1')의 위치 및/또는 요청(R1 및 R2)시 수신된 시간에 대한 정보를 검증하고, 이 정보를 이용해 수신된 이미지(R1 및 R2)가 발신자에 의해 전송된 원본 이미지인지 또는 또 다른 사용자로부터 수신된 복사본인지 판단한다. 예컨대, 원격 서버(3)는 각 기준모델(32)이 캡쳐된 위치를 식별하는 데이터베이스에 대한 액세스를 포함하거나 가질 수 있다; 그래서, 가령, 제 1 모바일 장비에 의해 주석이 달린 이미지가 피처로서 에펠탑을 포함하고, 제 1 모바일 장비의 위치가 스위스이면, 원격 서버(3)는 이미지가 원본 이미지가 아닌 것으로, 즉, 이미지는 또 다른 장비로부터 제 1 모바일 장치로 전송된 것으로 결론 낼 수 있다. 다른 한편 제 1 모바일 장비의 위치가 프랑스 파리의 샹드막스이면, 원격 서버(3)는 이미지가 원본 이미지인 것으로 판단할 수 있다.

앞서 언급한 바와 같이, 연이어 캡쳐된 이미지와 매칭시키기 위한 증강현실모델의 공유가 또한 고려될 수 있다. 이 경우, 모바일 장비(1)의 발신자는 증강현실모델을 생성, 검색 또는 편집하고, 이를 이 모델을 직접 또 다른 사용자에게 전송하거나 서버(3)에 있는 데이터베이스(32)에 저장된 이 모델을 다른 사용자들도 이용할 수 있게 함으로써 다른 사용자들과 공유한다.

일실시예에서, 데이터베이스(32)에 있는 적어도 몇몇 증강현실모델들은 위치와 관련 있다. 이 위치는 지리적 지점의 좌표로 표시될 수 있다. 또 다른 실시예에서, 적어도 몇몇 위치들은 더 큰 표면, 가령, 중심과 반경으로 표시된 영역, 또는 셀 또는 셀들로 논리적으로 나누어진 영역내 셀 그룹, 등에 해당한다. 위치는 3D 볼륨에 해당할 수 있다. 이 피처와 관련 없는 위치로부터 취해진 특정 피처의 임의의 이미지는 발신자로부터의 원본이 아니라 전송된 복사본인 것으로 추정될 것이다.

몇몇 증강현실모델은 또한 특정 시간주기와 관련 있을 수 있다. 예컨대, 광고 포스터들은 주로 제한된 시간 주기동안에만 디스플레이되고, 이 주기 후에 전송된 이 포스터로부터 피처의 임의의 이미지는 복사본인 것으로 추정된다. 다른 피처들은 (낮 또는 밤 뷰와 같이) 시각(時刻), (눈 덮인 산과 같은) 한 해의 주기들, 또는 이들을 캡쳐하거나 캡쳐할 수 없는 다른 주기들 또는 주기들의 세트와 관련될 수 있다. 가능한 주기를 벗어나 전송된 피처(가령, 여름에 눈 덮인 산의 이미지 또는 특정 광고 제품에 대한 광고 캠페인이 더 이상 진행되지 않는 주기 동안 광고 포스터의 이미지)는 복사본인 것으로 추정될 것이다.

서버(3)에 의해 수신된 다른 정보는 초기 이미지와 복사본의 뷰를 구별하는데 사용될 수 있다. 예컨대, 서버(3)는 이미지가 원본이 아니라 스크린 카피와 같은 복사본일 가능성이 있음을 판단하기 위해 이미지의 품질, 컬러, 픽셀 크기, (아마도 모니터상의 재현에 의해 야기된) 가능한 왜곡, 광도, 등을 분석할 수 있다. 더욱이, 기술되는 바와 같이, 서버는 원본 이미지를 복사본과 식별하기 위해 이미지의 원본 디스플레이와 다른 장비에 의한 이미지의 나중 디스플레이 간에 워터마크 또는 추가된 임의의 히든 마크를 분석할 수 있다.

도 3은 광고 애플리케이션의 경우 증강현실 사용 케이스들에 대한 부가 컨텐츠를 준비 및 분배하는 시스템을 도시한 것이다. 도 1에 도시된 엘레먼트에 대응하는 동일하거나 유사한 기능인 엘레먼트들은 참조번호가 같다. 도 3에 도시된 시스템은 제품 또는 서비스를 홍보하고자 하는 제품 또는 서비스 공급자(7)를 포함한다; 예컨대, 이는 몇몇 기정의된 위치와 기정의된 시간 주기 동안 광고 포스터(2)가 디스플레이되는 포스터 캠페인을 준비하기 위해 포스터 광고회사(9)를 이용한 마케팅 캠페인을 준비하는 책임을 맡고 있는 마케팅 에이전시이다. 각 포스터에 관한 위치 및 시간 주기가 포스터 광고회사(9)에 의해 관리 및/또는 운영되는 데이터베이스(90)에 저장된다. 예컨대, 데이터베이스(90)는 정확한 위치를 포함한 데이터 레코드 또는 각 특정 피처를 보고 캡쳐할 수 있는 셀과 같은 2D 영역이나 3D 볼륨 뿐만 아니라 특정 피처를 볼 수 있는 동안의 시간 주기, 시간 주기 세트 또는 반복 시간주기를 저장할 수 있다. 포스터 광고의 예에서, 데이터베이스(90)는 가령 각각의 개개의 포스터(2)의 위치, 및 각 개개의 포스터(2)가 위치에 표현되는 시간주기의 스케줄을 나타낼 수 있다. 일실시예에서, 가령 한 포스터가 복수의 디지털 사이니지들 상의 복수의 위치들에서 동시에 디스플레이될 때, 하나 또는 복수의 위치들은 한 피처와 관련 있다. 일실시예에서, 포스터의 위치는 지리적으로 고정되지 않으나 버스, 기차 등과 같은 차량의 이동경로와 관련 있다.

이미지에 주석을 달기 위한 주석 및 기타 부가 컨텐츠가 포스터 광고회사(9)에 의해 및/또는 서버(3)가 액세스할 수 있는 주석 데이터베이스(31)에서 마케팅 에이전시(8)에 의해 저장된다. 모바일 장비(1,1')의 정규 사용자들은 또한 주석을 데이터베이스(31)에 추가할 수 있다.

증강현실모델은 포스터 광고회사(9) 및/또는 마케팅 에이전시(8) 및/또는 데이터베이스(32)내 다른 사용자들에 의해 저장된다. 이들 기준 피처들은 이들 이미지들에 주석을 달기 위해 서버(3)에 의해 나중에 캡쳐된 이미지들과 매치된다.

도 4는 주석과 관련된 이미지의 가능한 가상 분배를 도시한 증강현실 소셜 네트워크 그래프의 일예를 도시한 것이다. 도시된 그래프는 증강현실 사용자들에 해당하는 노드들(A에서 F) 및 사용자들 간에 주석을 달기 위한 증강현실모델 또는 이미지를 공유하는데 사용된 가능한 다양한 채널들에 해당하는 이들 노드들 간에 호들(弧)을 포함한다. 노드 A는 루트, 즉, 만들거나 변경함으로써 새로운 증강현실모델을 먼저 생성하는 네트워크의 노드이다.

이 그래프는 하기의 정보로 기술되고 재구성될 수 있다:

·증강현실 모델 ID

공유모델의 식별

·증강현실 이미지 ID

주석을 달기 위한 공유된 이미지의 식별

·송신자 ID

주석을 달기 위한 모델 또는 이미지를 전송하는 증강현실 사용자의 디바이스 고유 식별

·수신자 ID

주석을 달기 위한 모델 또는 이미지를 수신하는 증강현실 사용자의 디바이스 고유 식별

·타임스템프

주석을 달기 위한 증강현실 모델 또는 이미지가 전송되는 날짜 및 시간

·위치

GPS로 결정된 바와 같은 사용자 위치; 주석을 달기 위한 증강현실 모델 또는 이미지를 공유하거나 수신하는 순간의 셀룰러 현지 시스템 등

·공유 채널

두 사용자들 간에 주석을 달기 위한 증강현실 모델 또는 이미지를 공유하는데 사용되는 채널. 채널의 예로는 이메일, SMS, MMS, 페이스북, 트위터, 블로그 등을 포함할 수 있다.

·코멘트 또는 피드백

주석을 달기 위한 증강현실 모델 또는 이미지에 첨부되는 사용자 코멘트 또는 피드백

주석과 관련된 피처들(20)을 갖는 초기 이미지(2)는 네트워크의 루트(A)에서 사용자의 모바일 장비(1)에 의해 캡쳐된 후, 이메일, 블로그, 페이스북, 트위터, 등과 같은 소셜 네트워크를 통해 다른 사용자들에 가상으로 배포된다. 이 이미지는 원본 이미지이거나 또 다른 소스의 복사본일 수 있다. 각 사용자는 이미지를 다른 사용자들에 더 배포할 수 있고, 다른 사용자들은 그들 모바일 장비로 수신된 이미지에 주석을 달 수 있다. 주석에 대한 요청(R1,R2)이 수신될 때마다 중앙 서버(3)(도 1-3)에 알려지기 때문에, 사용자들 간에 이미지의 배포를 추적할 수 있고 가령 얼마나 많은 사용자들이 발신자(1)에 의해 초기에 캡쳐된 각 이미지를 보고 주석을 다는지 계산할 수 있다. 이 정보는 가령 광고회사(7) 또는 마케팅 에이전시(8)에 이 주석을 보내거나 이미지의 배포를 컨트롤하는데 사용될 수 있다. 증식효과를 이용해 증강현실 주석관 관련된 이미지(원본 또는 기(旣) 복사본)가 바이럴 광고적으로 얼마나 확산되는 지를 나타내기 위해 리포팅 모듈(34)에 의해 리포트가 준비되고 디스플레이될 수 있다.

일실시예에서, 이미지는 다양한 채널 및 MMS, 이메일, 블로그 또는 소셜 네트워크 등의 기여와 같은 다양한 타입의 메시지를 이용해 한 장비에서 다음 장비로 전송된다. 이 경우, 사용자의 모바일 장비에 실행된 애플리케이션은 (예컨대, 이미지가 SMS, MMS, 또는 이메일 등을 이용해 보내졌는지 간에) 이미지의 다른 배포를 위해 사용된 채널에 대해 중앙 서버(3)에 알리도록 구성될 수 있다; 이는 심지어 이미지를 전송하기 위해 각 사용자가 사용한 채널/애플리케이션뿐만 아니라 전송시간 및 날짜를 나타내며 더 상세한 리포트가 준비되게 한다.

일실시예에서, 한 장비에서 다음 장비로 이미지를 전송하는데 사용된 애플리케이션은 가령 바코드, 데이터 매트릭스 또는 워터마크와 같은 코드를 추가 또는 변경함으로써 이미지를 또한 변경한다. 이 추가정보는 전송된 이미지가 뷰로부터의 원본 이미지가 아니라 또 다른 사용자에 의해 전송되었다는 다른 표시로 사용될 수 있다. 이는 또한 한 사용자로부터 다음 사용자로 이미지의 배포를 추적하는데 사용될 수 있고 중앙 서버(3)에 의해 전송 및 사용될 수 있는 가상 배포에 대한 추가 정보를 포함할 수 있다. 더욱이, 주석 및 증강현실 컨텐츠는 이 추가 정보 또는 워터마크에 의존할 수 있어, 다른 사용자들은 그들의 이미지와 관련된 워터마크 또는 다른 코드에 따라 다른 주석을 수신하게 된다.

소정의 피처들은 이들과 관련된 토큰을 가질 수 있다; 예컨대, 포스터는 이와 관련된 토큰을 가질 수 있다. 사용자가 포스터를 나타내는 이미지를 보낼 때마다, 사용자에 토큰이 주어지게 된다. 토큰은 토큰 구조(Token Scheme)의 일부일 수 있어, 기설정된 개수의 토큰들을 수집하면 사용자에게 주어진다. 이 피처는 다른 경우로 도달할 수 없는 시장들에 도달하게 광고를 할 수 있기 때문에 특히 이점적이다; 예컨대, 특정 제품에 대한 포스터 광고 캠페인이 USA에 제한된 경우, 뉴욕에 위치한 사용자는 포스터들 중 하나의 이미지를 캡쳐해 상기 이미지를 임의의 다른 가능한 한 많은 사용자들에 보낼 수 있다. 사용자는 토큰을 얻기 때문에 사용자가 이미지를 전송할 때마다 가능한 한 많은 사용자들에 이미지를 배포하도록 동기부여된다. 사용자는 이미지를 USA 외부에 위치한 사용자들에 전송할 수 있어 이에 따라 포스터 광고 캠페인이 그렇지 않으면 도달하지 못하는 시장에 도달하게 된다. 이미지를 수신한 사용자는 차례로 그들이 수신한 이미지를 다른 사용자들에 보낼 수 있고 이렇게 함으로써 그들에게도 또한 토큰이 주어진다. 일단 사용자가 기설정된 개수의 토큰을 얻으면, 상품, 예컨대, 그들의 모바일 장비에 대한 새로운 애플리케이션을 받기 위해 토큰을 상환할 수 있다. 보상은 공유 네트워크에서 사용자의 레벨을 기초로 할 수 있다; 루트에 또는 루트에 가까운 사용자는 가령 계층에 더 깊거나 루트에 덜 가까운 또 다른 사용자보다 더 큰 보상을 받을 수 있다.

추가로 또는 대안으로, 각 피처는 이들과 관련된 검증 토큰과 같이, 상기 피처의 주석이 디스플레이되는지 여부를 검증하기 위해 상기 서버에 의해 사용되는 코드를 가질 수 있다. 예컨대, 피처가 이와 관련된 토큰을 갖는 미술 갤러리에 있는 그림인 경우, 토큰은 서버가 그림의 원본 이미지에 대해 주석을 제공하게 하나, 서버가 원본 이미지가 아닌 그림들의 이미지, 즉, 또 다른 사용자로부터 수신된 이미지에 대해서는 주석을 제공하지 못하게 한다. 이는 갤러리 입장료를 지불한 사람들만이 그림의 주석 달린 이미지에 대한 권한이 주어지는 것을 보장할 것이다. 토큰은 가령 충실도 프로그램의 일부로서 또는 소셜 네트워크의 특정 페이지 또는 사용자의 친구나 팬들에 배포될 수 있다. 이런 식으로, 사용자는 소셜 네트워크에서 그의 친구들에게 동적으로 토큰을 배포할 수 있고, 이 토큰을 주석 컨텐츠에 액세스를 컨트롤하고 제한하는데 사용한다. 또 다른 실시예에서, 토큰 또는 사용자 권한은 요금을 받는 주석(추가 컨텐츠)의 액세스를 하기 위해 판매 및 구매될 수 있다. 따라서, 코드 또는 검증이 폐쇄그룹의 사용자들에 이용될 수 있다. 코드 또는 토큰은 또한 제 1 사용자에 의해 제 2 사용자 및 연이은 사용자들에 전송될 수 있다.

상술한 바와 같이, 사용자는 주석을 달 이미지의 공유 이외에 증강현실모델을 공유할 수 있다. 이 경우, 도 4에 도시된 그래프와 유사한 그래프가 사용자들 간의 증강현실모델의 전파를 추적하는데 사용될 수 있다. 이는 마케팅 캠페인이 얼마나 성공적인지에 대한 정보를 제공할 수 있다. 그래프의 다른 경로들을 더 가까이 봄으로써, 네트워크를 통한 AR 모델의 히스토리를 정확히 판단하고, 모델이 변경되었는지 또는 어디에서 어떤 채널을 이용해 사람들이 이를 공유했는지와 같은 유용한 통찰을 추출할 수 있다.

그래프의 분지와 관련된 시간은 예컨대 모델이 공유된 시간(및 데이터)일 수 있다. 대안으로, 그래프는 공유된 모델이 실제로 수신자에 의해 사용되는 시간(및 데이터)를 나타낼 수 있다.

획득된 그래프 정보는 특히 미디어, 광고 또는 기술문서와 같은 다른 시장에 대한 증강현실 컨텐츠 공급자에 관한 것이다. 이 정보는 실제로 소정의 사용자를 위해 전송될 증강현실 컨텐츠를 고르는데 사용될 수 있다. 제공된 증강현실 컨텐츠는 다른 사용자들을 위해 별개로 맞춤식일 수 있다. 이 선택은 가령 그래프에서 증강현실 모델 히스토리를 기반으로 할 수 있다: 가령, 광고를 보는 사용자들은 그들이 증강현실모델을 더 많이 공유해 차례로 한층 더 공유될수록 더욱더 많은 할인을 받을 수 있다. 이는 바이럴 광고를 만드는 강력하고 컨트롤가능한 마케팅 도구가 된다. 유사한 예들도 위치, 시간, 공유채널 또는 기타 가용한 정보를 이용해 바이럴 마케팅을 만들 수 있다.

또 다른 애플리케이션은 커뮤니티 공유에 관한 것이다. 예를 들어, 새로운 도시를 방문하는 관광객들은 상호작용 가이드로서 증강현실을 이용할 수 있다. 그들의 모바일 장비로 역사적 건물의 이미지를 캡쳐하는 동시에, 관광객들은 이미지에 중첩된 증강현실 주석으로서 추가 정보를 얻는다. 건물의 특정 부분들에 대한 정보를 공유하고 싶은 관광객들은 이를 직접 건물의 증강현실 모델에 추가할 수 있다. 이런 식으로, 연이은 관광객들이 동일 건물의 이미지를 캡쳐할 때, 이미지에 중첩된 주석으로서 이 추가 컨텐츠를 액세스할 수 있게 된다.

모든 실시예들(주석을 달 이미지들의 공유 또는 증강현실 모델의 공유)에 대해, 중앙형 또는 분산형의 2개 아키텍쳐 디자인들이 고려될 수 있다. 중앙 시스템에서, 증강현실 모델 데이터베이스(32)와 주석 데이터베이스(31)는 중앙 서버(3)에 집중 저장되고 시스템의 모든 사용자들에 공통이다. 따라서, 모든 사용자들에 대해 완성된 데이터베이스 진술을 보장한다. 다른 한편으로 분산형 시스템은 사용자의 장비(1,1')에 증강현실 모델 및 주석을 저장한다; 중앙 서버는 이용할 수 있거나 아닐 수 있다.

도 5는 도 4의 그래프에 대응하고, 그래프의 설명이 어떻게 중앙 데이터베이스에 저장되는지를 나타내며, 가령 주석을 달 증강현실 모델 또는 이미지가 공유되거나 디스플레이될 때마다 업데이트 되는 테이블의 일예이다. 데이터베이스 정보로부터, 해당하는 완전한 네트워크 그래프를 재구성할 수 있다.

이 경우, 중앙 아키텍쳐에서, 모델이 수신자와 공유될 때마다, 중앙 서버(3)로부터 모델 데이터를 다운로드하라는 통지가 이 수신자에 전송될 수 있다. 이런 식으로, 모델이 공유될 때마다 모델을 전송하는 것을 막을 수 있다.

도 6-8은 도 4의 그래프에 해당하고 그래프의 설명이 어떻게 분산 시스템에 저장될 수 있는지를 나타내는 테이블들의 예를 도시한 것이다. 분산 시스템에서, 그래프 정보를 포함한 데이터베이스가 중앙 서버 필요 없이 사용자의 장비에 저장된다. 대표적인 분산 아키텍처는 피어-투-피어(peer-to-peer) 네트워크를 기반으로 할 수 있으며, 각 노드는 데이터를 전송하기 위해 다른 노드들에 대한 클라이언트 또는 서버로서 작동한다. 이는 증강현실 모델 또는 이미지가 두 사용자들 간에 공유될 때마다 전송될 증강현실 모델에 대해 그들 간에 직접 연결이 확립되는 것을 의미한다. 데이터베이스의 버전이 다른 사용자의 장비에 저장되고 연결이 사용자와 설정될 때마다 업데이트된다. 두 명의 연결된 사용자들의 업데이트된 데이터베이스는 그들의 로컬 데이터베이스에 저장된 엔트리의 연합으로 구성된다.

분산 시스템은 각 사용자가 그가 수신한 관련된 증강현실 모델 또는 이미지의 히스토리를 알고 있음을 보장한다. 도 6, 7, 및 8은 각각 도 4의 네트워크에서 사용자(A, B, 및 F)에 각각 저장된 로컬 정보를 나타낸다. 분산 데이터베이스로부터, 사용자는 각 수신된 증강현실 모델의 히스토리를 판단할 수 있다.

모델을 수신한 사용자는 이를 다른 사용자에게 전송하거나 편집하도록 더 선택할 수 있다. 증강현실 모델 편집은 주석을 바꾸거나 기준 이미지를 변경하는 것을 의미할 수 있다. 이는 새로운 증강현실 모델 ID의 속성으로 이끈다.

유사한 방식으로, 주석 달기 위한 이미지를 수신한 사용자는 이를 다르 사용자에게 전송하거나 편집하도록 더 선택할 수 있다. 증강현실 이미지 편집은 기준 이미지를 변경하는 것을 의미할 수 있다. 이는 새로운 증강현실 이미지(ID)의 속성이 된다.

모델, 각 이미지의 변형은 새로운 증강현실 모델, 각 이미지의 생성과 유사하다. 주요 차이는 원본 증강현실 모델 ID, 각 증강현실 이미지 ID(즉, 편집 전)가 저장되는 사실에 있다. 그런 후, 증강현실 모델/이미지들 간에 부모/자식 관계를 재구성할 수 있게 된다. 이 관계는 도 9에 나타낸 바와 같이 부모 모델 ID와 자식 모델 ID를 포함한 데이터베이스의 또 다른 (중앙형 또는 분산형)테이블에 저장된다. 새 엔트리를 제외하고, 증강현실 모델, 각 이미지의 편집시 발생된 모든 다른 정보는 모델/이미지가 새롭게 만들어진 것처럼 같다.

업데이트된 모델을 사용자들에 통보하도록 하는 메카니즘도 또한 시스템에 실행될 수 있다. 사용자는 그런 후 그들의 모델을 업데이트하고 변경을 볼 수 있다. 이는 사용자들 간의 커뮤니티 공유 및 피드백 루프에 대한 문을 개방한다. 이는 사용자 그룹이 업데이트된 버전 및 구 버전을 계속 추적할 수 있는 한편 동일한 증강현실 모델을 계속 공유 및 편집할 수 있는 것을 의미한다. 비밀 또는 개인용도로 몇몇 사용자들에만 통지 또는 필터하는 옵션들도 가용할 수 있다. 이런 식으로, 다른 분야에 공지된 소스 컨트롤 시스템의 아이디어가 증강현실 모델에 적용된다.

상술한 다양한 동작 방법들은 동작을 수행할 수 있는 다양한 하드웨어 및/또는 소프트웨어 구성요소(들), 회로, 및/또는 모듈(들)과 같은 임의의 적절한 수단에 의해 수행될 수 있다. 일반적으로, 본 출원에 기술된 임의의 동작들은 상기 동작을 수행할 수 있는 해당 기능 수단에 의해 수행될 수 있다. 다양한 수단, 논리 블록, 및 모듈은 회로, 주문형 반도체(ASIC), 또는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 현장 프로그래머블 게이트 어레이(FPGA), 또는 기타 프로그래머블 로직 디바이스(PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소 또는 본 명세서에 기술된 기능들을 수행하도록 설계된 그 임의의 조합을 포함하나 이에 국한되지 않는 다양한 하드웨어 및/또는 소프트웨어 구성요소(들), 및/또는 모듈(들)을 포함할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있으나, 대안으로, 프로세서는 임의의 상업적으로 구매가능한 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스의 조합, 예컨대, DSP와 마이크로프로세, 복수의 마이크로프로세서들, DSP 코어와 결부한 하나 이상의 마이크로프로세서들서의 조합, 또는 임의의 다른 이러한 구성으로 실행될 수 있다. 서버는 단일 기계로서, 한 세트의 기계로서, 가상 서버로서, 또는 클라우드 서버로서 실행될 수 있다.

본 명세서에 사용된 바와 같이, "주석"이라는 용어는, 예컨대, 중첩될 수 있거나 그렇지 않으면 이미지에 추가될 수 있는 텍스트, 정지화상, 동영상, 로고, 이미지층, 음향 및/또는 기타 엘레먼트들을 포함한 매우 다양한 가능한 엘레먼트들을 포함한다.

본 명세서에 사용된 바와 같이, "판단하는"이라는 용어는 매우 다양한 액션들을 포함한다. 예컨대, "판단하는"은 계산하는, 컴퓨팅하는, 프로세싱하는, 도출하는, 조사하는, 찾아보는(가령, 테이블에서 찾아보기, 데이터베이스 도는 도 다른 데이터 구조), 알아내는, 평가하는 등을 포함할 수 있다. 또한 "판단하는"은 수신하는(예컨대, 정보 수신), 액세스하는(예컨대, 메모리에 있는 데이터를 액세스하는) 등을 포함할 수 있다. 또한, "판단하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.

본 개시와 연계해 기술된 방법 또는 알고리즘의 단계들은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 그 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 해당기술분야에 공지된 임의의 저장 매체 형태로 있을 수 있다. 사용될 수 있는 저장 매체의 몇몇 예들은 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령어 또는 많은 명령어들을 포함할 수 있고, 다수의 다른 코드 세그먼트들에 걸쳐, 다른 프로그램들 간에 그리고 다수의 저장매체를 가로질러 분포될 수 있다. 소프트웨어 모듈은 실행가능한 명령어, 완전한 프로그램에 사용되는 부분 또는 루틴 또는 라이브러리, 복수의 상호연결된 프로그램들, 많은 스마트폰, 태블릿, 또는 컴퓨터에 의해 실행되는 "앱", 위젯, 플래시 애플리케이션, HTML 코드의 일부 등으로 구성될 수 있다. 저장매체는 프로세서가 저장 매체로부터 정보를 읽고 정보를 저장 매체에 쓸 수 있도록 프로세서에 연결될 수 있다. 대안으로, 저장 매체는 프로세서에 일체로 형성될 수 있다. 데이터베이스는 SQL 데이터베이스, XML 다큐먼트 세트, 의미 데이터베이스, 또는 IP 네트워크를 통해 이용될 수 있는 정보 세트 또는 임의의 기타 적절한 구조를 포함한 데이터의 임의의 구조화된 수집으로 실행될 수 있다.

따라서, 소정의 태양들은 본 명세서에 나타낸 동작을 수행하기 위한 컴퓨터 프로그램 제품들을 포함할 수 있다. 예컨대, 이런 컴퓨터 프로그램 제품은 명령어들이 저장된(및/또는 인코딩된) 컴퓨터 판독가능 매체를 포함할 수 있고, 명령어들은 본 명세서에 기술된 동작을 수행하기 위한 하나 이상의 프로세서들에 의해 실행될 수 있다. 소정의 태양들에 대해, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수 있다.

특허청구범위는 상술한 정확한 구성 및 구성요소들에 국한되지 않는 것을 알아야 한다. 특허청구범위로부터 벗어남이 없이 상술한 방법 및 기기의 배열, 동작 및 세부내용에 있어 다양한 변형, 변화 및 변경들이 이루어질 수 있다.

Claims (27)

1. (a) 발신자가 제 1 모바일 장비(1)로 원본 이미지(21)를 캡쳐하고,
   (c) 상기 제 1 모바일 장비(1)의 시간 및 위치를 포함한 제 1 데이터 정보(R1)가 저장되며,
   (d) 발신자는 상기 이미지, 또는 상기 이미지에 해당하는 증강현실 모델을 사용자의 제 2 장비(4)와 공유하고,
   (e) 주석달린 이미지가 상기 제 2 장비(1')에 디스플레이되며,
   (g) 상기 제 2 장비(1')의 시간 및 위치를 포함한 제 2 데이터 정보(R2)가 저장되는 방법.
2. 제 1 항에 있어서,
   (b) 원본 이미지(21)가 상기 이미지에 중첩된 제 1 주석과 함께 그리고 이미지의 인식된 피처들과 관련해 발신자의 모바일 장비(1)에 디스플레이되고,
   (c) 상기 제 1 데이터 정보(R1)는 상기 제 1 주석이 디스플레이된 정보를 더 포함하며, 상기 제 1 데이터 정보(R1)는 저장된 서버(3)로 전송되고,
   (d) 발신자는 상기 이미지를 상기 제 2 장비(4)로 전송함으로써 주석 달기 위한 이미지로 상기 이미지를 공유하며,
   (e) 상기 전송된 이미지(22)는 상기 제 2 장비에 디스플레이되고,
   (f) 제 2 주석(211)은 상기 전송된 이미지와 조합해 상기 제 2 사용자에 디스플레이되며,
   (g) 상기 제 2 데이터 정보(R2)는 상기 제 2 주석이 디스플레이된 정보를 더 포함하며, 상기 제 2 데이터 정보는 저장된 서버(3)로 더 전송되고,
   (h) 상기 서버(3)는 상기 이미지가 발신자에 의해 캡쳐된 원본 이미지인지 혹은 제 2 사용자에 디스플레이된 전송된 이미지인지를 상기 위치 및/또는 시간으로부터 판단하는 방법.
3. 제 2 항에 있어서,
   상기 제 2 사용자는 카메라를 포함한 제 2 모바일 장비(1')로 제 2 장비에 디스플레이된 상기 이미지를 캡쳐하고, 상기 제 2 사용자에 의해 개시된 상기 제 2 주석(211)의 디스플레이는 상기 제 2 모바일 장비에 의해 실행되는 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   본래, 처음에 캡쳐된 이미지와 관련된 제 1 주석(210)은 임의의 연이은 전송 이미지와 관련된 제 2 주석(211)과 다른 방법.
5. 제 1 항에 있어서,
   발신자는 상기 이미지에 해당하는 증강현실 모델을 사용자의 제 2 장비와 공유하고,
   (b) 상기 제 1 데이터 정보(R1)는 모델로 사용된 상기 이미지가 발신자에 의해 공유될 경우 상기 제 1 모바일 장비(1)의 상기 시간 및 위치를 포함하며,
   (f) 상기 모델을 기초로 하고 다른 이미지 위에 중첩된 제 2 주석(211)이 상기 제 2 사용자에 디스플레이되고,
   (f') 제 2 사용자는 제 3 사용자와 상기 모델을 공유하며,
   (g) 상기 제 2 데이터 정보(R2)는 모델로 사용된 상기 이미지가 제 2 사용자에 의해 공유될 경우 상기 제 2 모바일 장비의 상기 시간 및 위치를 포함하는 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 1 및 제 2 데이터 정보가 중앙 서버(3)에 저장되고 상기 제 1 모바일 장비(1) 및 상기 제 2 장비(1',4)에 액세스할 수 있는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 제 1 및 제 2 데이터 정보가 상기 사용자 장비에 분산식으로 저장되는 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 주석(210,211)은 상기 데이터 정보에서 상기 위치에 의존하므로 상기 위치가 다를 경우 동일한 이미지에 다른 주석들이 중첩되는 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 주석(210,211)은 상기 데이터 정보에서 상기 시간에 의존하므로 상기 시간이 다를 경우 동일한 이미지에 다른 주석들이 중첩되는 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 이미지들과 관련된 코드를 더 포함하고,
    상기 주석(210,211)은 상기 코드가 각각 상기 제 1, 제 2 사용자에 이용될 경우에만 디스플레이되는 방법.
11. 제 10 항에 있어서,
    상기 코드는 폐쇄 사용자 그룹에만 이용될 수 있는 방법.
12. 제 10 항 또는 제 11 항에 있어서,
    상기 코드는 상기 제 1 사용자에 의해 상기 제 2 사용자로 전송되는 방법.
13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 코드는 소셜 네트워크를 통해 사용자에 의해 전송되는 방법.
14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 코드는 소셜 네트워크의 특정 페이지의 모든 팬들에 이용될 수 있는 방법.
15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 이미지에 워터마크를 넣는 단계; 및
    상기 서버(3)로 전송된 상기 데이터 정보에 상기 워터마크에 따른 정보를 포함하는 단계를 더 포함하는 방법.
16. 제 15 항에 있어서,
    다른 사용자에게 상기 이미지의 전송을 위해 상기 워터마크를 변경하는 단계를 더 포함하는 방법.
17. 제 16 항에 있어서,
    상기 서버는 상기 워터마크에 따라 상기 정보로부터 상기 이미지가 발신자가 캡쳐한 원본 이미지인지 또는 제 2 사용자에 디스플레이된 전송된 이미지인지를 판단하는 방법.
18. 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 이미지는 광고(2)의 이미지이고, 상기 서버(3)는
    상기 시간 및/또는 위치를 상기 광고 표현의 공지의 시간 및/또는 위치와 비교하여 상기 주석이 발신자가 캡쳐한 원본 이미지와 관련 있는지 또는 제 2 사용자에 디스플레이된 전송된 이미지와 관련 있는지를 판단하는 방법.
19. 제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
    각 상기 이미지를 지리적 영역과 연관시키는 단계, 및
    상기 제 2 장비(1')의 상기 위치가 상기 지리적 영역의 외부에 있다면 상기 이미지가 전송된 이미지인 것으로 판단하는 단계를 더 포함하는 방법.
20. 제 5 항에 있어서,
    사용자가 수신된 증강현실 모델을 편집해 새로운 증강현실 모델이 되게 하는 단계, 및
    수신된 증강현실 모델과 편집된 증강현실 모델 간의 관계를 저장하는 단계를 더 포함하는 방법.
21. 서버(3)에 의해 실행되고,
    (i) 제 1 주석(210)이 디스플레이되었거나 증강현실 모델이 공유된 정보와 함께 모바일 장비(1)의 시간 및 위치를 포함한 제 1 데이터 정보(R1)를 상기 서버에 수신하는 단계; 및
    (ii) 제 2 주석(211)이 상기 제 2 장비에 의해 디스플레이되었거나 증강현실 모델이 상기 제 2 장비에 이용될 수 있었던 정보와 함께 제 2 장비의 시간 및 위치를 포함한 제 2 데이터 정보(R2)를 상기 서버(3)에 수신하는 단계를 포함하는 방법.
22. 제 21 항에 있어서,
    상기 위치 및/또는 시간으로부터 상기 주석(210,211)이 발신자가 캡쳐한 원본 이미지와 관련 있거나 제 2 사용자에 디스플레이된 전송된 이미지와 관련있는지 판단하는 단계를 더 포함하는 방법.
23. 제 22 항에 있어서,
    상기 이미지는 광고(2) 이미지이고,
    상기 서버(3)는 상기 주석(210,211)이 발신자가 캡쳐한 원본 이미지와 관련 있거나 제 2 사용자에 디스플레이된 전송된 이미지와 관련있는지 판단하기 위해 상기 시간 및/또는 위치를 상기 광고 표현의 알려진 시간 및/또는 위치와 비교하는 방법.
24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 서버(3)는 상기 이미지에 들어 있는 워터마크로부터 상기 이미지가 발신자가 캡쳐한 원본 이미지이거나 제 2 사용자에 디스플레이된 전송된 이미지인지 판단하는 방법.
25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 서버는 토큰을 검증하고, 상기 토큰으로부터 상기 주석이 디스플레이되는지 여부를 판단하는 방법.
26. 비일시적 미디어 지원부에 저장되고, 적어도 하나의 데이터프로세서가 제 1 항 내지 제 25 항 중 어느 한 항에 따른 방법 단계들을 실행하게 하는 명령어들을 포함한 컴퓨터 프로그램 제품.
27. - 원본 이미지를 캡쳐하기에 적합한 카메라 및 상기 이미지를 디스플레이하기 위한 디스플레이를 포함하는 제 1 모바일 장비(1);
    - 상기 이미지의 상단에 주석을 검색하고 중첩시키기 위한 증강현실 모듈;
    - 디스플레이를 포함한 제 2 장비(4);
    - 상기 원본 이미지를 상기 제 2 장비와 공유하거나, 상기 원본 이미지에 해당하는 증강현실 모델을 상기 제 2 장비와 공유하도록 배열된 소프트웨어 모듈;
    - 상기 제 1 모바일 장비(1)의 시간 및 위치와, 상기 이미지가 디스플레이될 경우 혹은 상기 이미지 또는 상기 모델이 공유될 경우 상기 제 2 모바일 장비의 시간 및 위치를 포함하는 제 1 데이터 정보(R1)를 저장하는 저장장치를 포함한 시스템.

Images