KR20150023406A - 캡쳐된 지리적 메타데이터의 향상 방법 - Google Patents

캡쳐된 지리적 메타데이터의 향상 방법 Download PDF

Info

Publication number
KR20150023406A
KR20150023406A KR20147035507A KR20147035507A KR20150023406A KR 20150023406 A KR20150023406 A KR 20150023406A KR 20147035507 A KR20147035507 A KR 20147035507A KR 20147035507 A KR20147035507 A KR 20147035507A KR 20150023406 A KR20150023406 A KR 20150023406A
Authority
KR
South Korea
Prior art keywords
data
elements
captured
captured data
photo
Prior art date
Application number
KR20147035507A
Other languages
English (en)
Inventor
흐르보예 벵코
폴 헨리 디에츠
스티븐 지 라타
케빈 가이스너
스티븐 네이빌 바시체
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20150023406A publication Critical patent/KR20150023406A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

캡쳐된 데이터를 획득하고, 캡쳐된 데이터는 다양한 유형의 캡쳐 혹은 기록된 데이터(예컨대, 이미지 데이터, 오디오 데이터, 비디오 데이터 등) 및/또는 캡쳐 장치의 다양한 양태 및/또는 데이터가 캡쳐된 방식을 설명하는 메타데이터를 포함할 수 있다. 하나 이상의 대체 요소로 교체될 수 있는 캡쳐된 데이터의 하나 이상의 요소가 결정되고, 캡쳐된 데이터로부터 교체 가능한 요소들이 제거되고, 대체 요소들로의 링크가 캡쳐된 데이터에 연계된다. 캡쳐된 데이터를 향상시키기 위한 추가 요소들로의 링크 역시 캡쳐된 데이터에 연계된다. 그 후에 대체 요소 및 추가 요소들로의 링크는 물론 캡쳐된 데이터에 기반하여 향상된 컨텐츠가 구축될 수 있다.

Description

캡쳐된 지리적 메타데이터의 향상 방법{ENHANCING CAPTURED DATA}
요즘 디지털 카메라는 전용 디지털 카메라, 휴대 전화, 컴퓨터, 게임 콘솔 등을 포함한 다양한 유형의 장치에서 찾을 수 있다. 사용자들은 디지털 카메라의 이런 광범위한 이용 가능성을 통해 많은 디지털 사진을 찍을 수 있지만, 여전히 문제는 남아 있다. 그 문제 중 하나로 현재의 디지털 카메라는 일반적으로 기본 기능을 갖는 단순한 이미지 캡쳐 장치라는 점이다. 이는, 사용자가 특정 장면의 시간에 스냅샷인 디지털 사진만을 캡쳐할 수 있기 때문에, 사용자에게 제한적일 수 있다.
본 요약은 아래의 상세한 설명에서 추가로 기술되는 개념들의 선택을 단순화된 형식으로 소개하기 위해 제공되었다. 본 요약은 특허청구된 대상의 핵심 특징 또는 중요 특징을 식별하기 위한 것이 아니며, 특허청구된 대상의 범위를 제한하기 위해 사용되기 위한 것도 아니다.
하나 이상의 양태에 따르면, 환경에 관해 캡쳐된 데이터가 얻어진다. 캡쳐된 데이터에 적어도 부분적으로 기반하여 하나 이상의 추가 요소가 결정되고, 그 하나 이상의 추가 요소로의 링크가 캡쳐된 데이터와 연계되어 추가된다. 하나 이상의 추가 요소 및 캡쳐된 데이터의 적어도 일부를 사용하여 향상된 컨텐츠를 구축할 수 있다.
하나 이상의 양태에 따르면, 교체 가능한 사진 요소와 하나 이상의 대체 사진 요소의 식별을 포함하여 사진의 사진 요소가 대체 가능한지에 관한 결정이 내려진다. 교체 가능한 사진 요소가 사진에서 제거되고, 하나 이상의 대체 사진 요소로의 하나 이상의 링크가 추가되어, 압축된 사진을 생성한다. 교체 가능한 사진 요소 또는 대체 사진 요소에 연계된 추가 요소로의 링크 역시 추가된다. 압축된 사진과, 하나 이상의 대체 사진 요소 및 추가 요소로의 링크를 사용하여 향상된 사진을 구축할 수 있다.
도면 전체에서 유사한 특징을 나타내도록 동일한 숫자가 사용된다.
도 1은 하나 이상의 실시예에 따른 캡쳐된 데이터의 향상 방법을 구현하는 예시적인 시스템을 도시한다.
도 2는 하나 이상의 실시예에 따른 예시적인 데이터 향상 시스템을 도시한다.
도 3은 하나 이상의 실시예에 따른 캡쳐된 데이터를 향상시키기 위한 예시적인 프로세스를 도시하는 순서도이다.
도 4는 하나 이상의 실시예에 따른 캡쳐된 데이터를 향상하기 위한 다른 예시적인 프로세스를 도시하는 순서도이다.
도 5는 하나 이상의 실시예에 따른 캡쳐된 데이터의 향상 방법을 구현하도록 구현될 수 있는 예시적인 컴퓨팅 장치를 도시한다.
본원에서는 캡쳐된 데이터의 향상 방법이 논의된다. 캡쳐된 데이터를 획득하고, 캡쳐된 데이터는 다양한 유형의 기록된 데이터(예컨대, 이미지 데이터, 오디오 데이터, 비디오 데이터 등) 및/또는 캡쳐 장치의 다양한 양태 및/또는 데이터가 기록된 방식을 설명하는 메타데이터를 포함할 수 있다. 하나 이상의 대체 요소(substitute element)로 교체될 수 있는 기록된 데이터의 하나 이상의 요소가 결정된다. 기록된 데이터로부터 교체 가능한 요소들이 제거되고, 대체 요소들로의 링크가 캡쳐된 데이터에 연계된다. 캡쳐된 데이터를 향상시키기 위한 추가 요소들로의 링크 역시 캡쳐된 데이터에 연계된다. 그 후에 대체 요소 및 추가 요소들로의 링크는 물론 기록된 데이터에 기반하여 향상된 컨텐츠가 구축될 수 있다.
도 1은 하나 이상의 실시예에 따른 캡쳐된 데이터의 향상 방법을 구현하는 예시적인 시스템(100)을 도시한다. 시스템(100)은 하나 이상의 재생 장치(104)에 데이터를 캡쳐하여 제공하는 하나 이상의 캡쳐 장치(102)를 포함한다. 재생 장치(104)는 네트워크(108)를 통해 크라우드 소싱(crowd sourcing) 데이터 서비스(106)와 통신한다. 네트워크(108)는 인터넷, 근거리 통신망(LAN), 공중 전화망, 인트라넷, 기타 공공 및/또는 사유 네트워크, 이들의 조합 등을 포함하는 여러 다른 네트워크일 수 있다. 또한 하나 이상의 캡쳐 장치(102)가 네트워크(108)를 통해 크라우드 소싱 데이터 서비스(106) 및/또는 하나 이상의 재생 장치(104)와 선택적으로 통신할 수 있다. 별개의 장치들로 도시되어 있지만, 특정 장치가 캡쳐 장치(102) 및 재생 장치(104) 양쪽 모두가 될 수도 있음을 알아야 한다.
캡쳐 장치(102)는 캡쳐된 데이터에 연계된 환경이라고도 지칭되는 특정 환경에 관한 데이터를 캡쳐한다. 데이터에 관한 또는 데이터가 캡쳐된 환경이란 데이터가 캡쳐될 때의 캡쳐 장치(102)의 환경을 말한다. 이 환경은, 예를 들어, 건물 내부, 외부, 콘서트, 스포츠 행사, 파티 등일 수 있다. 캡쳐 장치(102) 각각은 카메라나 캠코더, 태블릿이나 노트패드 컴퓨터, 휴대 전화 또는 기타 무선 전화, 게임 콘솔, 차량용 컴퓨터, (데이터 캡쳐 이외에 추가 기능을 거의 제공하지 못하는) 전용 데이터 캡쳐 장치 등과 같이 환경에 관한 데이터를 캡쳐할 수 있는 다양한 다른 유형의 임의의 장치일 수 있다. 다른 캡쳐 장치들(102)은 동일하거나 또는 상이한 유형의 장치들일 수 있다.
데이터 캡쳐란 환경에 관한 데이터 및/또는 메타데이터의 기록을 말한다. 환경에 관한 데이터 기록이란 환경 자체의 특징을 기록하거나 감지하는 것을 말한다. 정지 이미지 데이터, 비디오 데이터, 오디오 데이터, 이들의 조합과 같이 환경에 관한 다양한 유형의 데이터 중 어느 하나 이상이 기록될 수 있다. 예를 들어, 캡쳐 장치(102)는 특정 환경의 정지 이미지(예컨대, 사진), 특정 환경에서 감지된 오디오 등을 기록할 수 있다.
환경에 관한 메타데이터의 기록은 캡쳐 장치(102)의 다양한 양태를 설명하는 메타데이터, 데이터가 캡쳐된 방식, 및/또는 환경의 기타 양태의 기록을 말한다. 이런 메타데이터는 환경에 관한 데이터가 기록된 때의 (예컨대, 캡쳐 장치의 나침반이나 기타 방향 부품에서 결정된 대로) 캡쳐 장치의 관점이나 방향을 포함할 수 있다. 이런 메타데이터는 캡쳐 장치의 전세계 위성 항법 시스템(GNSS)이나 기타 위치 확인 부품에 의해 결정된 지리적 위치와 같이, 환경에 관한 데이터가 기록된 때의 캡쳐 장치(및 따라서 환경의) 지리적 위치 역시 포함할 수 있다. 이와 같은 메타데이터는 환경에 관한 데이터가 기록된 날짜 및/또는 시간도 포함할 수 있다. 환경에 관한 데이터가 장치(102)에 의해 기록되는 것과 동시에(또는 환경에 관한 데이터가 장치(102)에 의해 기록되는 임계 시간 내에) 캡쳐 장치(102)가 메타데이터를 기록하는 경우에, 이 메타데이터는 기록된 데이터에 연계되었다고도 한다.
하나 이상의 실시예에서, 사용자의 동의를 수신한 후에만 캡쳐 장치(102)의 지리적 위치가 기록된다. 이런 사용자 동의는 사용자가 지리적 위치의 기록 요청에 대해 동의하는 행동을 취하는 옵트-인 동의일 수 있다. 아니면, 사용자가 지리적 위치가 기록되지 않게 하는 요청에 대해 동의하는 행동을 취하는 옵트-아웃 동의일 수 있다. 사용자가 이런 지리적인 위치 기록을 옵트-아웃하기로 선택하지 않으면, 지리적 위치가 기록된다는 사용자의 동의가 내포된다. 기록된 지리적 위치가 어떻게 기밀로 유지되는지를 사용자에게 설명하는 개인 정보 정책이 사용자에게 디스플레이될 수도 있다. 또한, 장치의 지리적 위치의 기록은 특정 사용자를 식별하는 어떤 개인 정보도 포함할 필요가 없고, 통상적으로도 포함하지 않음을 알아야 한다. 따라서, 특정 사용자에 대한 지리적 위치가 기록되더라도, 그 특정 사용자에 대한 어떤 표식도 기록되지 않는다.
하나 이상의 실시예에서, 캡쳐 장치(102)는 캡쳐 장치의 다양한 양태를 설명하는 메타데이터, 데이터가 캡쳐된 방식, 및/또는 환경의 기타 양태를 기록하지만, 환경에 관한 그 밖의 데이터를 캡쳐하거나 기록하지 않는다. 예를 들어, 캡쳐 장치(102)는 캡쳐 장치의 지리적 위치는 물론 캡쳐 장치의 관점이나 방향(또한 선택적으로 메타데이터가 기록된 날짜 및/또는 시간)도 기록할 수 있지만, 환경의 정지 이미지, 비디오, 및/또는 오디오를 기록하지 않는다. 따라서, 캡쳐 장치(102)는 아래에서 논의되는 바와 같이 캡쳐된 데이터의 향상 기법에 의해 사용될 수 있는 캡쳐 장치의 포지션(및 선택적으로는 관점이나 방향, 날짜 및/또는 시간 등)만을 단순히 기록할 수 있다.
재생 장치(104)는 본원에 논의된 기법을 사용하여 향상시킨 캡쳐된 데이터를 재생하는 장치이다. 캡쳐된 데이터의 요소 또는 부분을 대체 요소 또는 부분으로의 링크로 교체함으로써 캡쳐된 데이터가 향상될 수 있다. 하나 이상의 추가 요소로의 링크를 추가함으로써 캡쳐된 데이터가 향상될 수도 있다. 요소 또는 부분을 대체 요소 또는 부분으로 교체하고, 및/또는 하나 이상의 추가 요소로의 링크를 추가함으로써 캡쳐된 데이터에 기반하여 향상된 컨텐츠가 구축될 수 있다. 캡쳐된 데이터를 향상시키는 이와 같은 기법이 아래에서 추가로 상세하게 논의된다.
각각의 재생 장치(104)는 데스크탑 컴퓨터, 서버 컴퓨터, 랩탑 또는 넷북 컴퓨터, 태블릿 또는 노트패드 컴퓨터, 이동 단말기, 오락 기기, 디스플레이 장치에 통신 가능하게 결합된 셋탑 박스, 텔레비전 또는 기타 디스플레이 장치, 휴대 전화 또는 기타 무선 전화, 게임 콘솔, 차량용 컴퓨터 등을 비롯한 다양한 다른 유형의 장치들일 수 있다. 따라서, 재생 장치(104)는 상당한 메모리와 프로세서 자원을 갖는 완전한 자원 장치(예컨대, 개인용 컴퓨터, 게임 콘솔)에서 제한된 메모리 및/또는 처리 자원을 갖는 저-자원 장치(예컨대, 종래의 셋탑 박스, 텔레비전)까지 이를 수 있다. 다른 재생 장치들(104)은 동일 및/또는 상이한 유형의 장치들일 수 있다.
캡쳐 장치(102)는 하나 이상의 재생 장치(104)에 캡쳐된 데이터와 기록된 메타데이터를 제공한다. 또는, 캡쳐된 데이터가 캡쳐 장치에서 재생될 수 있고, 이 경우에 캡쳐 장치(102)는 또한 재생 장치(104)가 된다. 캡쳐 장치(102)는 네트워크(108)를 통해서, 다른 링크 또는 접속(예컨대, 범용 직렬 버스(USB) 또는 무선 USB 접속과 같은 유선 또는 무선 접속)을 통해서, 이동식 메모리 장치(예컨대, 캡쳐 장치(102)로부터 제거되어 재생 장치(104)에 삽입된 플래시 메모리 장치) 또는 기타 저장 장치를 통해서와 같이 다양한 방식으로 재생 장치에 캡쳐된 데이터와 기록된 메타데이터를 제공할 수 있다.
크라우드 소싱 데이터 서비스(106)는 캡쳐된 데이터를 향상시키는 데 사용되는 데이터를 유지한다. 하나 이상의 실시예에서, 캡쳐 장치(102)에 의해 캡쳐된 데이터가 크라우드 소싱 데이터 서비스(106)에 제공된다. 추가로, 또는 그 대신에, 캡쳐된 데이터를 향상시키는 데 사용되는 데이터가 다른 소스들로부터 서비스(106)에 제공될 수도 있다. 예를 들어, 데이터 수집 또는 라이브러리가 다른 소스들로부터 서비스(106)에 제공될 수 있다. 서비스(106)는 캡쳐된 데이터를 향상시키기 위해 단일 소스로부터의 데이터가 아닌 다수의 소스들로부터 수신된 데이터에 의존하기 때문에 서비스(106)를 크라우드 소싱 서비스라고 한다.
여러 다른 유형의 장치들 중 하나 이상을 사용하여 크라우드 소싱 서비스(106)가 구현된다. 예를 들어, 서비스(106)는 재생 장치(104)와 관련하여 전술한 바와 같이 다양한 유형의 임의의 장치를 사용하여 구현될 수 있다. 서비스(106)는 동일한 및/또는 상이한 유형의 장치들 중 하나 이상을 사용하여 구현될 수 있다.
도 2는 하나 이상의 실시예에 따른 예시적인 데이터 향상 시스템을 도시한다. 시스템(200)은 환경 캡쳐 모듈(202), 링크 삽입 모듈(204), 크라우드 소싱된 데이터 모듈(206), 및 재생 모듈(208)을 포함한다. 특정한 모듈들이 도 2에 도시되어 있지만, 추가 모듈들이 데이터 향상 시스템(200)에 포함될 수 있음을 알아야 한다. 또한, 데이터 향상 시스템(200) 도시된 다수의 모듈들의 기능이 단일 모듈에 결합될 수도 있고, 및/또는 데이터 향상 시스템(200)에 도시된 하나 이상의 모듈의 기능이 다수의 모듈로 분리될 수도 있음을 알아야 한다.
모듈들(202-208)은 하나 이상의 장치에 의해 구현될 수 있다. 하나 이상의 실시예에서, 모듈(202-208)은 각각 다른 장치로 구현된다. 또는, 모듈들(202-208) 중 둘 이상이 동일한 장치에서, 적어도 부분적으로, 구현될 수 있다.
환경 캡쳐 모듈(202)은 도 1의 캡쳐 장치(102)와 같은 캡쳐 장치에 포함되며, 환경에 관한 데이터를 캡쳐한다. 전술한 바와 같이 캡쳐될 수 있는 환경에 관한 다양한 유형의 데이터 및/또는 메타데이터일 수 있는 캡쳐된 데이터(212)가 링크 삽입 모듈(204)에 제공된다. 링크 삽입 모듈(204)은 환경 캡쳐 모듈(202)과 동일한 장치에 포함되거나, 다른 장치에 포함될 수 있다. 캡쳐 모듈(202)은 모듈(204)의 인터페이스를 작동시킬 때, 모듈(204)에 액세스 가능한 장소에 캡쳐된 데이터(212)를 저장할 때, 캡쳐된 데이터(212)를 모듈(204)에 전달하기 위해 이메일을 보내거나 기타 메시징 프로토콜을 사용할 때 등에 파라미터로서 캡쳐된 데이터(212)를 포함하는 것처럼 다양한 방식으로 링크 삽입 모듈(204)에 캡쳐된 데이터(212)를 제공할 수 있다.
링크 삽입 모듈(204)은 데이터 저장소(210)에 저장된 다른 데이터로부터의 요소로 교체될 수 있는 캡쳐된 데이터(212)의 요소들을 식별한다. 모듈(204)이 다른 데이터로부터의 요소에 의해 교체될 수 있다고 식별한 캡쳐된 데이터(212)의 요소(교체 가능한 요소라고도 함)에 대해, 링크 삽입 모듈(204)은 캡쳐된 데이터(212)로부터 교체될 수 있는 요소를 제거하고, 식별된 요소를 교체하는 대체 요소에 (캡쳐된 데이터(212)에 연계되어 있는) 링크를 추가한다. 캡쳐된 데이터(212)가 사진 또는 이미지 데이터를 포함하면 사진 요소로 식별되고, 캡쳐된 데이터(212)가 오디오 데이터를 포함하면 오디오 요소로 식별되는 등 캡쳐된 데이터의 유형에 기반하여 다른 유형의 요소들을 식별할 수 있다.
데이터 저장소(210)는 캡쳐된 데이터를 향상시키는 데 사용되는 데이터를 유지하고, 이는 도 1의 크라우드 소싱 데이터 서비스(106)에 의해 구현될 수 있다. 데이터 저장소(210)에 포함된 데이터는 도 1의 다양한 캡쳐 장치들(102), 그 밖의 데이터 수집 또는 라이브러리 등을 비롯한 다양한 소스로부터 얻을 수 있다.
링크 삽입 모듈(204)은 데이터 저장소(210)의 데이터와 동일하거나 유사한 캡쳐된 데이터의 요소들(부분들이라고도 함)을 식별함으로써 다른 데이터로부터의 요소들에 의해 교체될 수 있는 캡쳐된 데이터(212)의 요소들을 결정한다. 이런 요소들은 패턴 매칭 및/또는 객체 매칭을 실행하는 여러 다양한 임의의 공공 및/또는 사유 기술을 이용하여 식별될 수 있다. 캡쳐된 데이터(212)의 객체 또는 패턴은 이러한 기술을 사용하여 식별되고, 동일하거나 유사한 객체 또는 패턴을 포함하는 데이터 저장소(210)의 그 밖의 데이터가 식별된다. 예를 들어, 캡쳐된 데이터(212)가 사진이면, 모듈(204)에 의해 사진의 빌딩이나 랜드마크가 식별되고, 동일한 빌딩이나 랜드마크를 포함하는 데이터 저장소(210)의 다른 하나 이상의 사진 역시 식별된다.
패턴 매칭 및/또는 객체 매칭은 이미지에서 선 또는 정점(vertex) 위치, 이미지의 색상, 오디오의 음향 패턴 등과 같이 캡쳐된 데이터(212)에 포함된 기록된 데이터의 다양한 요인들을 고려할 수 있다. 패턴 매칭 및/또는 객체 매칭은 캡쳐된 데이터(212)에 포함된 메타데이터의 다양한 요인들도 고려할 수 있다. 예를 들어, 메타데이터의 이런 요인들은 데이터를 캡쳐한 장치의 지리적 위치, 장치가 데이터를 캡쳐한 때의 장치의 관점 또는 방향, 데이터가 캡쳐된 날짜 및/또는 시간 등을 포함할 수 있다.
링크 삽입 모듈(204)이 다른 데이터로부터의 요소에 의해 교체될 수 있다고 식별한 캡쳐된 데이터(212)의 요소에 대해, 링크 삽입 모듈(204)은 교체될 수 있는 식별된 요소를 캡쳐된 데이터(212)에서 제거한다. 이렇게 교체 가능한 요소는 캡쳐된 데이터(212)로부터 다른 방식으로 제거될 수 있다. 하나 이상의 실시예에서, 식별된 요소에 대한 데이터는 전부 “0”인 비트값 또는 전부 “1”인 비트값의 연속과 같이 (보통 고압축률로 압축될 수 있는) 다른 데이터로 교체된다. 예를 들어, 사진(캡쳐된 데이터(212))의 요소가 제거되면, 사진의 데이터에서 그 요소에 포함된 화소들에 대한 데이터는 “0” 또는 “1”의 값으로 교체될 수 있다. 다른 실시예에서, 데이터에서 제거된 요소와 그 대응 위치를 식별하는 표 혹은 기타 기록이 유지될 수 있고, 식별된 요소에 대한 데이터가 단순히 삭제된다. 예를 들어, 사진(캡쳐된 데이터(212))의 요소가 제거되면, 사진의 어떤 화소들이 그 요소에 대응하는지를 식별하는 표 혹은 기타 기록이 유지될 수 있고, 사진의 데이터에서 그 요소에 대응하는 화소들에 대한 데이터가 단순히 제거될 수 있다.
링크 삽입 모듈(204)이 제거한 캡쳐된 데이터(212)의 각각의 요소에 대해서, 링크 삽입 모듈(204)은 그 식별된 요소를 교체하는 대체 요소로의 링크를 캡쳐된 데이터(212)와 연계하여 추가한다. 대체 요소로의 링크는 대체 요소가 저장된 장소 및/또는 대체 요소를 검색할 수 있는 방법을 식별하는 다양한 정보를 포함하여, 아래에서 보다 상세하게 설명되는 바와 같이, 이후에 대체 요소를 검색할 수 있게 된다.
하나 이상의 실시예에서, 대체 요소는 그 자신의 개별 데이터(예컨대, 그 자신의 파일)로 저장되고, 링크는 데이터 저장소(210)에서 그 개별 데이터가 저장된 장소를 나타낸다. 개별 데이터가 저장된 장소의 알림은 파일 경로 이름, URI(uniform resource indicator), 데이터베이스에서의 위치 등과 같이 다른 형태들을 취할 수 있다. 개별 데이터는 다른 장치 또는 서비스에 의해서, 링크 삽입 모듈(204)에 의해서(예컨대, 대체 요소에 의해 교체될 수 있는 요소의 식별에 대한 응답으로, 모듈(204)이 별개의 파일로 그 대체 요소를 저장할 수 있음)와 같이 다른 방식으로 생성될 수 있다.
다른 실시예에서, 대체 요소는 다른 데이터의 일부분으로서 저장되고(예컨대, 다른 데이터를 저장하는 파일의 일부분에 포함됨), 링크는 그 다른 데이터가 데이터 저장소(210)에서 저장된 장소 및 대체 요소가 그 다른 데이터에서 저장된 장소 양쪽 모두를 나타낸다. 그 다른 데이터가 저장된 장소의 알림은 파일 경로 이름, URI, 데이터베이스에서의 위치 등과 같이 다른 형태들을 취할 수 있다. 그 다른 데이터에서 대체 요소가 있는 장소의 알림은 특정 데이터 범위, 특정 화소들에 관련된 데이터 등과 같이 다른 형태들을 취할 수 있다.
교체 가능한 요소가 캡쳐된 데이터(212)에 위치한 장소 역시 알림에 기록되어 있다. 캡쳐된 데이터(212)에서 교체 가능한 요소가 있는 장소의 알림은 특정 데이터 범위, 특정 화소들에 관련된 데이터 등과 같이 다른 형태들을 취할 수 있다. 캡쳐된 데이터(212)에서 교체 가능한 요소가 있는 장소의 이와 같은 알림을 유지함으로써 향상된 컨텐츠를 생성할 때 대체 요소를 추가할 수 있으며, 이는 아래에서 보다 상세하게 논의될 것이다. 캡쳐된 데이터(212)에서 교체 가능한 요소가 있는 장소의 알림은 대체 요소로의 링크의 일부분으로서 저장되거나, 캡쳐된 데이터(212)에 연계된 추가 데이터에 저장되는 등의 다른 방식들로 저장될 수 있다.
대체 요소들에 의해 교체될 수 있는 캡쳐된 데이터(212)의 요소들을 식별하기 위해 사용되는 패턴 매칭 및/또는 객체 매칭 기법은 캡쳐된 데이터(212)의 식별된 요소들과 유사한 대체 요소들을 선택할 수 있음을 알아야 한다. 식별된 요소와 유사한 대체 요소란 식별된 요소와 동일하지는 않지만, 식별된 요소와의 임계 차이보다는 작은 요소를 지칭한다. 이런 임계 차이는 적어도 동일한 임계 부분을 가지고 있거나(예컨대, 적어도 사진의 임계 화소 개수가 동일한 값을 가짐), 적어도 식별된 요소의 임계량 내에 있는 임계 부분을 가지고 있거나(예컨대, 적어도 사진의 임계 화소 개수가 서로 임계량 내에 있음), 서로의 임계 값 내에 있는 스코어를 생성하는 등과 같이 다른 방식들로 결정될 수 있다.
하나 이상의 실시예에서, 교체 가능한 요소와 대체 요소가 동일하지 않은 경우에, 링크 삽입 모듈(204)은 교체 가능한 요소와 대체 요소 간의 차이를 나타내는 변경 데이터를 기록한다. 이런 변경 데이터는 다른 방식들로 기록될 수 있다. 예를 들어, 캡쳐된 데이터(212)가 사진이라면, 변경 데이터는 교체 가능한 요소와 대체 요소의 대응 화소들의 값의 차이일 수 있다. 이런 변경 데이터는 대체 요소로의 링크의 일부분으로서 저장되거나, 캡쳐된 데이터(212)에 연계된 추가 데이터에 저장되는 등 다른 방식들로 저장될 수 있다.
또는, 교체 가능한 요소와 대체 요소가 동일하지 않은 경우에, 링크 삽입 모듈(204)은 교체 가능한 요소와 대체 요소 간의 차이에 관한 변경 데이터를 기록하지 않는다. 따라서, 링크 삽입 모듈(204)은 그 요소의 다른 관점(예컨대, 랜드마크의 낙서가 제거된 관점, 랜드마크 앞에 서 있는 사람들이 제거된 관점 등)에서 이미지의 요소들을 교체할 수 있다. 링크 삽입 모듈(204)은 사용자 인터페이스를 선택적으로 제공할 수 있어서, 모듈(204)이 요소의 다수의 가능한 관점들 중 어떤 관점이 교체 가능한 요소에 대한 대체 요소들로서 사용되어야 하는지를 식별하는 사용자 입력을 수신할 수 있다.
링크 삽입 모듈(204)은 재생 모듈(208)에 링크된 데이터(214)를 제공한다. 링크된 데이터(214)는 교체 가능한 요소들이 제거된 캡쳐 데이터(212)이다. 하나 이상의 실시예에서, 링크된 데이터(214)는 (예컨대, 연계된 메타데이터로서) 교체 가능한 요소를 교체하는 대체 요소로의 링크도 포함하고, 선택적으로는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터도 포함한다. 따라서, 이와 같은 실시예에서, 링크된 데이터(214)는 대체 요소들로의 링크는 물론 (제거된 요소들이 없는) 캡쳐된 데이터(212)(및 선택적으로는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터)도 포함한다.
또는, 링크된 데이터(214)에서 대체 요소들로의 링크 및/또는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터를 포함하는 대신에, 링크된 데이터(214)와 링크의 연계 및/또는 캡쳐된 데이터에 연계된 기타 추가 데이터가 다른 방식으로 유지될 수 있다. 하나 이상의 실시예에서, 링크 및/또는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터는 재생 모듈(208)에 액세스 가능한 표 혹은 그 밖의 기록으로 유지된다. 링크 및/또는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터는 (예컨대, 캡쳐 장치가 배정하거나, 캡쳐된 데이터(212) 자체에 기반하여 생성되는(예를 들어, 캡쳐된 데이터(212)에 기반하여 생성된 해시 값) 등의) 캡쳐된 데이터(212)의 식별자에 기반하는 등과 같이 다른 방식들로 캡쳐된 데이터(212)에 연계된 것으로 식별될 수 있다. 링크 및/또는 캡쳐된 데이터(212)에 연계된 기타 추가 데이터는 데이터 저장소(210)에 저장되거나 또는 다른 서비스나 모듈의 일부분으로서 저장되어, 아래에서 보다 상세하게 논의하는 바와 같이 향상된 컨텐츠를 생성하기 위해 액세스될 수 있다.
링크 삽입 모듈(204)이 다른 대체 요소들로 교체될 수 있는 캡쳐된 데이터(212)의 다수의 요소들을 식별할 수 있다는 점을 알아야 한다. 이 경우에, 다수의 식별된 요소들 각각에 대해서, 모듈(204)은 식별된 요소를 캡쳐된 데이터(212)로부터 제거하고 그 식별된 요소를 교체하는 대체 요소로의 링크를 추가한다.
또한 링크된 대체 요소는 교체된 요소와 다른 해상도를 가질 수 있음을 알아야 한다. 예를 들어, 캡쳐된 데이터(212)가 특정 해상도를 갖는 사진인 경우에, 대체 요소는 더 높은 해상도(예컨대, 매평방 인치당 더 많은 화소)를 갖는 사진에 포함될 수 있다. 따라서, 대체 요소는 교체가 된 식별된 요소에서는 이용 가능하지 않던 추가적인 세부 사항을 가질 수 있다. 이런 추가적인 세부 사항을 통해, 예를 들어, 사용자가 그 후에 향상된 컨텐츠를 볼 때 대체 요소를 줌인하여(zoom in) 교체가 된 식별된 요소에서는 이용할 수 없는 세부 사항들(예컨대, 텍스트, 사람, 아트워크 등)을 볼 수 있게 된다.
또한 링크 삽입 모듈(204)은 하나 이상의 추가 요소로의 링크를 링크된 데이터(214)에 추가할 수 있다. 하나 이상의 실시예에서, 모듈(204)은 교체 가능한 요소들을 제거하고 대체 요소들로의 링크를 추가하는 것에 더해서 하나 이상의 추가 요소로의 링크를 추가한다. 다른 실시예에서, 모듈(204)은 교체 가능한 요소들을 제거하고 대체 요소들로의 링크를 추가하는 대신에 하나 이상의 추가 요소로의 링크를 추가한다. 따라서, 몇몇 실시예에서, 시스템(200)은 캡쳐된 데이터의 요소들을 대체 요소들로 교체하지 않는다.
하나 이상의 추가 요소로의 링크는 데이터 저장소(210)의 데이터로의 링크일 수 있고, 이들 링크는 추가 요소가 저장된 장소 및/또는 추가 요소를 검색할 수 있는 방법을 전술한 바와 같은 대체 요소들로의 링크와 유사하게 다양한 방식으로 식별할 수 있다. 이런 하나 이상의 추가 요소로의 링크는 전술한 바와 같은 대체 요소들로의 링크와 유사하게, 링크된 데이터(214)에 연계된 메타데이터로서 포함되거나 또는 링크된 데이터(214)에 연계될 수 있다.
하나 이상의 추가 요소로의 링크는 캡쳐된 데이터에 다양한 유형의 데이터를 추가함으로써 캡쳐된 데이터(212)를 향상시킨다. 하나 이상의 추가 요소는 캡쳐된 데이터(212)와 동일한 유형의 데이터 및/또는 캡쳐된 데이터(212)와 다른 유형의 데이터일 수 있다.
하나 이상의 실시예에서, 하나 이상의 추가 요소가 캡쳐된 데이터(212)와 동일한 유형의 데이터의 요소들을 포함한다. 예를 들어, 캡쳐된 데이터(212)가 이미지(사진)이면, 하나 이상의 추가 요소는 이미지 데이터를 포함한다. 링크 삽입 모듈(204)은 포함할 추가 요소들을 다양한 방식으로 결정할 수 있다. 하나 이상의 실시예에서, 모듈(204)은 데이터 저장소(210)의 데이터와 동일하거나 유사한 캡쳐된 데이터(212)의 요소들(및/또는 캡쳐된 데이터(212)와 연계된 대체 요소들로의 링크)을 식별하기 위해서 다양한 패턴 매칭 및/또는 객체 매칭 기법을 사용한다. 데이터 저장소(210)의 데이터와 동일하거나 유사한 요소들의 이와 같은 식별은 전술한 바와 같이 다른 데이터의 요소들에 의해 교체될 수 있는 캡쳐된 데이터의 요소들을 식별하는 것과 동일한 방식으로 실행될 수 있다. 추가 요소들은 캡쳐된 데이터의 요소들에 기반하여 식별되거나 및/또는 캡쳐된 데이터(212)와 연계된 대체 요소들에 링크되었으므로, 이들 추가 요소를 캡쳐된 데이터의 요소들 및/또는 대체 요소들과 연계되어 있다고도 한다.
동일한 유형의 추가 요소들은 식별된 요소들보다 추가 데이터 또는 세부 사항을 더 포함하는 요소들일 수 있다. 예를 들어, 캡쳐된 데이터(212)가 식별된 요소로서 특정 랜드마크를 포함하는 사진인 경우에, 추가 요소들은 동일한 랜드마크에 관한 추가 세부사항을 제공하는 사진들일 수 있다. 링크 삽입 모듈(204)은 식별된 요소보다 추가 데이터 혹은 세부 사항을 더 포함하는 추가 요소들을 다양한 방식으로 결정할 수 있다. 하나 이상의 실시예에서, 모듈(204)은 식별된 요소보다 높은 해상도(예컨대, 이미지 데이터에서 매평방 인치당 더 많은 화소, 오디오 데이터에서 더 높은 샘플링 주파수 등)로 캡쳐된 데이터에 포함된 추가 요소가 식별된 요소보다 추가 데이터 혹은 세부 사항을 더 포함하는지를 결정한다. 다른 실시예에서, 모듈(204)은 식별된 요소 및 추가 요소 모두에 대한 요소 해상도를 결정한다. 요소의 해상도란 그 요소에 얼마나 많은 데이터나 세부 사항이 포함되어 있는지(예컨대, 얼마나 많은 화소, 데이터 바이트 수)를 말한다. 모듈(204)은 추가 요소가 식별된 요소보다 높은 요소 해상도를 갖는 경우 추가 요소가 식별된 요소보다 추가 데이터 또는 세부 사항을 더 포함한다고 결정한다.
링크 삽입 모듈(204)은 다수의 추가 요소들이 동일한 식별된 요소보다 추가 데이터 또는 세부 사항을 가지고 있는지를 결정할 수 있다. 이런 경우에, 모듈(204)은 링크된 데이터(214)에 다수의 추가 요소들 중 어느 하나로의 링크, 또는 다수의 추가 요소들 중 다수의 요소들(예컨대, 각각의 요소)로의 링크를 포함할 수 있다.
링크 삽입 모듈(204)은 추가적으로, 혹은 그 대신에, 캡쳐된 데이터(212)와 동일한 유형의 데이터의 하나 이상의 포함할 추가 요소를 다른 방식으로 결정할 수 있다. 하나 이상의 실시예에서, 링크 삽입 모듈(204)은 캡쳐된 데이터(212)의 메타데이터에 기반하여 링크된 데이터(214)에 포함할 하나 이상의 추가 요소를 결정한다. 이 메타데이터는 전술한 바와 같이 캡쳐 장치의 지리적 위치, 캡쳐 장치의 관점 또는 방향, 및 데이터가 캡쳐된 날짜 및/또는 시간을 비롯한 다양한 정보를 포함할 수 있다. 데이터 저장소(210)에 포함된 데이터는 또한 연계된 메타데이터를 포함하고, 이는 캡쳐된 데이터(212)에 연계된 메타데이터와 동일한 정보를 포함할 수 있다. 예를 들어, 데이터 저장소(210)에 포함된 데이터는 데이터를 캡쳐한 때에 데이터를 캡쳐한 장치의 지리적 위치, 데이터를 캡쳐한 때에 데이터를 캡쳐한 장치의 관점 또는 방향, 데이터가 캡쳐된 날짜 및/또는 시간 등을 식별하는 연계된 메타데이터를 가질 수 있다.
링크 삽입 모듈(204)은 캡쳐된 데이터(212)의 메타데이터에 매칭되는 연계된 메타데이터를 갖는 데이터 저장소(210)의 데이터를 식별한다. 메타데이터의 정보가 동일한 경우 또는 서로 임계량 내에 있는 경우 메타데이터가 매칭된다. 예를 들어, 캡쳐된 데이터(212)의 메타데이터가 캡쳐 장치의 지리적 위치를 포함하고, 데이터 저장소(210)의 데이터에 연계된 메타데이터가 지리적 위치를 포함하는 경우, 이들 두 메타데이터의 지리적 위치들이 동일하거나 또는 서로의 임계 거리(예컨대, 10 미터, 50 미터 등) 내에 있으면 이들 두 메타데이터는 매칭된다. 또 다른 예를 들면, 캡쳐된 데이터(212)의 메타데이터가 캡쳐 장치의 방향 역시 포함하고, 데이터 저장소(210)의 데이터에 연계된 메타데이터가 방향을 포함하는 경우, 이들 두 메타데이터의 지리적 위치가 동일하거나 또는 서로의 임계 거리 내에 있고 방향이 동일하거나 또는 서로의 임계량(예컨대, 3 도, 10 도 등) 내에 있으면 이들 두 메타데이터는 매칭된다.
따라서, 링크 삽입 모듈(204)은, 추가 요소들이 캡쳐된 데이터(212)의 요소와 동일하거나 유사한 요소들이 아니더라도, 캡쳐된 데이터(212)를 향상시키는 데이터 저장소(210)의 추가 요소들을 식별할 수 있다. 이와 같은 추가 요소들은, 예를 들어, 이미지 또는 비디오의 시야를 확대하거나, 캡쳐된 오디오를 확대할 수 있다. 예를 들어, 캡쳐된 데이터(212)가 특정 방향을 향해 있는 캡쳐 장치를 가지고 특정 지리적 위치에서 그리고 특정 시간에 캡쳐된 이미지인 경우, 추가 요소는 캡쳐 데이터(212)에 포함되어 있지는 않지만(예를 들어, 이미지를 캡쳐할 때 캡쳐 장치의 시야 밖에 있는 사람, 빌딩, 경치 등), 그 동일한(또는 가까운) 지리적 위치에서 캡쳐되고, 동일한(또는 유사한) 방향을 향하는 캡쳐 장치에 의해 동일한(또는 유사한) 시간에 캡쳐된 환경의 추가 부분들일 수 있다. 따라서, 캡쳐된 데이터(212)가 환경의 그 추가적인 부분들을 포함하지 않더라도, 이는 링크된 데이터(214)에 여전히 포함되어 있을 수 있다.
하나 이상의 실시예에서, 하나 이상의 추가 요소는 캡쳐된 데이터(212)와는 다른 유형의 데이터의 요소들을 포함한다. 예를 들어, 캡쳐된 데이터(212)가 이미지(사진)인 경우, 하나 이상의 추가 요소는 오디오 데이터, 비디오 데이터 등을 포함할 수 있다. 이런 다른 유형의 데이터는 캡쳐 장치(예컨대, 도 1의 캡쳐 장치(102))에 의해 캡쳐될 수 있는 임의의 유형의 데이터이거나, 아니면 다른 유형의 데이터일 수 있다. 예를 들어, 하나 이상의 추가 요소는 텍스트 유형의 데이터(예컨대, 백과 사전 항목 또는 그 밖의 글로 쓴 설명), 그림 유형의 데이터 등일 수 있다. 하나 이상의 추가 요소는 캡쳐 장치에 의해 지원되는 것 이외의 데이터 유형도 포함할 수 있다. 예를 들어, 캡쳐된 데이터(212)가 오디오 데이터를 기록하지 않는 장치에 의해 캡쳐된 경우, 하나 이상의 추가 요소가 오디오 데이터를 포함할 수 있다.
링크 삽입 모듈(204)은 링크된 데이터(214)에 포함할 추가 요소들을 다양한 방식으로 결정할 수 있다. 하나 이상의 실시예에서, 링크 삽입 모듈(204)은 캡쳐된 데이터(212)에 연계된 메타데이터 및 데이터 저장소(210)의 데이터에 연계된 메타데이터에 기반하여 링크된 데이터(214)에 포함할 다른 데이터 유형의 추가 요소들을 결정한다. 링크 삽입 모듈(204)은, 추가 요소들이 캡쳐된 데이터(212)와는 다른 유형의 데이터일지라도, 캡쳐된 데이터(212)와 동일한 데이터 유형의 추가 요소들을 결정하는 것에 관한 앞서의 논의와 유사하게 캡쳐된 데이터(212)에 연계된 메타데이터와 매칭되는 연계된 메타데이터를 갖는 데이터 저장소(210)의 데이터를 식별한다.
따라서, 링크 삽입 모듈(204)은 캡쳐된 데이터(212)에 포함되지 않은 데이터 유형을 제공함으로써 캡쳐된 데이터(212)를 향상시키는 데이터 저장소(210)의 추가 요소들을 식별할 수 있다. 예를 들어, 캡쳐된 데이터(212)가 특정 장소에서 특정 날짜의 특정 시간에 캡쳐된 이미지인 경우, 추가 요소는 캡쳐된 데이터(212)에는 포함되어 있지 않지만 같은 날짜의 같은(또는 유사한) 시간에 동일한(또는 가까운) 지리적 위치에서 캡쳐된 환경에 대한 추가적인 유형의 데이터(예컨대, 오디오 데이터)일 수 있다. 따라서, 캡쳐된 데이터(212)가 이 추가적인 데이터 유형을 포함하지는 않더라도, 이는 링크된 데이터(214)에 여전히 포함되어 있을 수 있다.
또한 링크 삽입 모듈(204)은 캡쳐된 데이터(212)의 메타데이터의 사용에 더해서 또는 그 사용 대신에 링크된 데이터(214)에 포함할 다른 데이터 유형들의 추가 요소들을 다른 방식으로 결정할 수 있다. 하나 이상의 실시예에서, 링크 삽입 모듈(204)은 캡쳐된 데이터(212)에 기반하여 링크된 데이터(214)에 포함할 다른 데이터 유형들의 추가 요소들(또는 캡쳐된 데이터(212)에 연계된 대체 요소로의 링크)을 결정한다. 예를 들어, 모듈(204)은 특정 랜드마크, 특정 사람 등과 같이, 캡쳐된 데이터(212)의 특정 요소들(또는 대체 요소로의 링크)을 식별하기 위해 다양한 패턴 매칭 및/또는 객체 매칭 기법을 사용할 수 있다. 이들 기법은 콘서트, 스포츠 행사 등과 같이 다양한 일반적인 환경 유형을 식별하기 위해 사용될 수도 있다. 데이터 자체에 기반하여 혹은 데이터 저장소(210)의 데이터에 연계된 메타데이터에 포함된 식별된 요소들이나 일반적인 환경 유형의 알림에 기반하여, 데이터 저장소(210)의 데이터에 대한 식별된 요소들이나 또는 일반적인 환경 유형도 식별된다. 캡쳐된 데이터의 요소들에 기반하여 식별되거나 및/또는 캡쳐된 데이터(212)에 연계된 대체 요소들에 링크되기 때문에, 이런 추가 요소들을 캡쳐된 데이터의 요소들 및/또는 대체 요소들에 연계되었다고도 한다.
이 다양한 패턴 매칭 및/또는 객체 매칭 기법들은 (데이터 저장소(210)의 데이터 자체 또는 데이터 저장소(210)의 데이터에 연계된 메타데이터에 기반하여) 데이터 저장소(210)의 데이터의 특정 요소들을 식별하기 위해서 사용될 수 있고, 링크 삽입 모듈(204)은 동일한 특정 요소들을 포함하는 데이터 저장소(210)의 데이터를 식별할 수 있다. 예를 들어, 모듈(204)은 캡쳐된 데이터(212)(예컨대, 스포츠 행사의 이미지 데이터)에 대한 특정 환경 유형을 결정하고, 추가 요소로서 그 동일한 환경 유형을 갖는 데이터 저장소(210)의 다른 유형의 데이터(예컨대, 스포츠 경기의 오디오 데이터)를 식별할 수 있다. 또 다른 예를 들면, 모듈(204)은 캡쳐된 데이터(212)(예컨대, 이미지 및/또는 비디오 데이터)에 대한 특정 랜드마크를 결정하고, 추가 요소로서 그 동일한 특정 랜드마크를 갖는 데이터 저장소(212)의 다른 유형의 데이터(예컨대, 텍스트 설명)를 식별할 수 있다.
링크 삽입 모듈(204)에 의해 결정된 추가 요소들은 다른 데이터의 일부분이거나 또는 다른 데이터 전체일 수 있음을 알아야 한다. 예를 들어, 캡쳐된 데이터(212)는 이미지 혹은 비디오일 수 있고, 추가 요소들은 다른 이미지, 비디오, 및/또는 오디오의 일부분이거나, 아니면 다른 이미지, 비디오, 및/또는 오디오 전체일 수 있다. 추가 요소들은 캡쳐된 데이터(212)에 연계된 메타데이터, 캡쳐된 데이터(212) 자체, 및/또는 대체 요소들에 기반하여, 전술한 바와 같이 다른 방식들로 모듈(204)에 의해 결정될 수 있다. 예를 들어, 모듈(204)은 캡쳐된 데이터(212)가 캡쳐된 시간을 임계 시간(예컨대, 15 초)만큼 선행하는 하나 이상의 이미지를 추가 데이터로서 식별할 수 있다.
또한 환경 캡쳐 모듈(202)은 캡쳐 장치의 다양한 양태들(예컨대, 장치의 지리적 위치, 장치의 방향 또는 관점 등)을 설명하는 메타데이터를 캡쳐하지만, 환경에 관한 그 밖의 데이터를 기록하지 않을 수 있음(예컨대, 이미지를 캡쳐하지 않음, 오디오를 캡쳐하지 않음, 비디오를 캡쳐하지 않음 등)을 알아야 한다. 따라서 캡쳐 모듈(202)은 환경의 특성을 감지하는 환경 센서가 없는(예컨대, 환경의 이미지 또는 오디오를 기록하기 위한 센서가 없는) 장치에 포함되거나, 또는 환경의 특성을 감지하는 환경 센서를 가지고 환경에 관한 데이터의 기록 없이 메타데이터를 기록하는 장치에 포함될 수 있다. 그러나, 메타데이터에 기반하여, 하나 이상의 추가 요소가 링크 삽입 모듈(204)에 의해 결정될 수 있어, 링크된 데이터(214)에 이미지, 오디오, 비디오 등을 추가할 수 있다. 따라서, 캡쳐 장치는 이미지 캡쳐 컴포넌트, 오디오 캡쳐 컴포넌트 등을 포함하지 않고, 단순히 캡쳐 장치의 양태들(예컨대, 지리적 위치 및 장치의 방향이나 관점)을 설명하는 메타데이터를 기록할 수 있다. 데이터 저장소(210)의 이미지 데이터 및/또는 오디오 데이터는 전술한 바와 같이 메타데이터에 기반하여 추가 요소들로서 식별될 수 있고, 추가 요소들로의 링크가 모듈(204)에 의해 링크된 데이터(214)에 추가될 수 있다.
캡쳐된 데이터(212)가 다수의 데이터 유형(예컨대, 비디오 데이터 및 오디오 데이터)을 포함하는 상황이 발생할 수 있다. 링크 삽입 모듈(204)은, 대체 요소들 및/또는 추가 요소들을 결정함으로써, 선택적으로 그들 데이터 유형 중 어느 하나를 교체할 수 있다. 예를 들어, 캡쳐된 데이터에 대한 특정 환경 유형을 식별하기 위해 데이터의 한가지 유형(예컨대, 이미지 데이터 또는 비디오 데이터)이 사용될 수 있고, 동일한 환경 유형을 갖는 추가 요소(예컨대, 오디오 데이터)가 식별될 수 있다. 모듈(204)은 캡쳐된 데이터(212)에서 대응하는 데이터 유형을 추가 요소로의 링크로 교체할 수 있다. 따라서, 예를 들어, 캡쳐된 데이터(212)에서 한가지 데이터 유형(예컨대, 이미지 데이터 또는 비디오 데이터)이 링크된 데이터(214)에 남아 있을 수 있고, 캡쳐된 데이터(212)의 다른 데이터 유형(예컨대, 오디오 데이터)이 추가 요소로의 링크로 교체될 수 있다.
링크된 데이터(214)가 재생 모듈(208)에 제공된다. 링크 삽입 모듈(204)은 모듈(208)의 인터페이스를 작동시킬 때, 모듈(208)에 액세스 가능한 장소에서 데이터(214)를 저장할 때, 데이터(214)를 모듈(208)에 전달하기 위해 이메일을 보내거나 기타 메시징 프로토콜을 사용할 때 파라미터로서 데이터(214)를 포함하는 것과 같이 다양한 방식으로 링크된 데이터(214)를 재생 모듈(208)에 제공할 수 있다. 재생 모듈(208)은 크라우드 소싱된 데이터 모듈(206)로부터 데이터(214)에 링크된 요소들을 요청한다. 전술한 바와 같이, 대체 (및/또는 추가) 요소들이 어디에 저장되는지 및/또는 대체 (및/또는 추가) 요소들을 어떻게 검색할 수 있는지가 그 요소들로의 링크에 의해 식별된다. 크라우드 소싱된 데이터 모듈(206)은 데이터 저장소(210)의 요소들로의 링크를 얻고, 그 요소들로의 링크를 향상 데이터(216)로서 재생 모듈(208)에 제공한다.
재생 모듈(208)은 향상 데이터(216)를 수신하고, 향상된 컨텐츠(218)를 생성하거나 구축하기 위해 링크된 데이터(214)를 향상 데이터(216)와 결합한다. 데이터(214 및 216)는 향상 데이터(216)에 포함된 요소들의 유형에 기반하여 다른 방식들로 결합될 수 있다. 예를 들어, 대체 요소들이 (교체 가능한 요소들이 캡쳐된 데이터(212)에 있던 위치에서) 데이터(214)에 추가될 수 있다. 다른 예를 들면, 추가 요소들이 데이터(214)에 추가될 수 있다. 예를 들어, 사진이 캡쳐된 데이터(212)에 포함되지 않은 추가 부분들을 포함하도록 향상될 수 있거나, 오디오 데이터가 이미지 데이터에 추가될 수 있고, 캡쳐된 오디오가 다른 오디오 데이터로 교체될 수 있거나, 환경에 관해 캡쳐된 다른 데이터가 없는 캡쳐된 메타데이터가 오디오 및/또는 비디오 데이터를 포함하도록 향상될 수 있다. 재생 모듈(208)은 향상된 컨텐츠(218)를 재생(예컨대, 디스플레이 또는 프레젠테이션)할 수 있고, 또는 향상된 컨텐츠(218)를 가지고 다른 행동(예컨대, 특정 저장 장치에 향상된 컨텐츠(218)를 저장, 향상된 컨텐츠(218)를 다른 장치나 모듈로 전송 등)을 취할 수도 있다.
도 3은 하나 이상의 실시예에 따른 캡쳐된 데이터를 향상시키기 위한 예시적인 프로세스(300)를 도시하는 순서도이다. 프로세스(300)는 도 2의 링크 삽입 모듈(204)와 같은 하나 이상의 모듈에 의해 실행되는 방법이나 기법이며, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 프로세스(300)는 일련의 동작으로 도시되어 있으며, 다양한 동작(act)의 작업을 실행하도록 도시된 순서에 국한되지 않는다. 프로세스(300)는 캡쳐된 데이터를 향상시키는 예시적인 프로세스이며, 캡쳐된 데이터의 향상 방법에 관한 추가 논의는 다른 도면과 관련하여 본원에 포함된다.
프로세스(300)에서, 환경에 관한 캡쳐된 데이터가 얻어진다(동작(302)). 전술한 바와 같이, 캡쳐된 데이터는 프로세스(300)를 구현하는 하나 이상의 모듈에 다양한 방식으로 캡쳐되어 제공된다.
하나 이상의 추가 요소가 결정된다(동작(304)). 이런 하나 이상의 추가 요소는 전술한 바와 같이 캡쳐된 데이터에 기반하여 결정된다. 하나 이상의 추가 요소를 용이하게 결정하기 위한 사용자 입력이 선택적으로 수신될 수 있다(예컨대, 추가 요소들을 식별하기 위해 사용할 요인 또는 기법을 나타내는 사용자 입력, 추가 요소들에 대한 데이터 유형을 나타내는 사용자 입력, 다수의 추가 요소들 중 하나 이상의 사용자 선택 등).
하나 이상의 추가 요소로의 하나 이상의 링크가 캡쳐된 데이터와 연계되어 추가된다(동작(306)). 이런 하나 이상의 링크는 전술한 바와 같이 여러 다양한 방식으로 추가될 수 있다.
하나 이상의 추가 요소 및 캡쳐된 데이터의 적어도 일부를 사용하여 향상된 컨텐츠가 구축될 수 있다(동작(308)). 하나 이상의 추가 요소로의 링크를 통해 향상된 컨텐츠가 구축될 수 있다. 전술한 바와 같이, 이와 같은 구축은 하나 이상의 추가 요소와 캡쳐된 데이터의 적어도 일부를 결합하는 것을 포함한다.
도 4는 하나 이상의 실시예에 따른 캡쳐된 데이터를 향상하기 위한 다른 예시적인 프로세스(400)를 도시하는 순서도이다. 프로세스(400)는 도 2의 링크 삽입 모듈(204)와 같은 하나 이상의 모듈에 의해 실행되는 방법이나 기법이며, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 프로세스(400)는 일련의 동작으로 도시되어 있으며, 다양한 동작의 작업을 실행하도록 도시된 순서에 국한되지 않는다. 프로세스(400)는 캡쳐된 데이터를 향상시키는 예시적인 프로세스이며, 캡쳐된 데이터의 향상 방법에 관한 추가 논의는 다른 도면과 관련하여 본원에 포함된다.
프로세스(400)에서, 환경에 관한 캡쳐된 데이터가 얻어진다(동작(402)). 전술한 바와 같이, 캡쳐된 데이터는 프로세스(400)를 구현하는 하나 이상의 모듈에 다양한 방식으로 캡쳐되어 제공된다.
캡쳐된 데이터의 하나 이상의 요소가 하나 이상의 대체 요소와 교체될 수 있는지 여부에 관한 결정이 내려진다(동작(404)). 전술한 바와 같이, 이런 결정은 하나 이상의 교체 가능한 요소 및 하나 이상의 대체 요소의 식별을 포함한다.
압축된 사진을 생성하기 위해 하나 이상의 식별된 교체 가능한 요소가 캡쳐된 데이터로부터 제거된다(동작(406)). 이런 교체 가능한 요소들은 전술한 바와 같이 다른 방식으로 제거될 수 있다.
하나 이상의 대체 요소로의 하나 이상의 링크가 추가된다(동작(408)). 이런 하나 이상의 링크는 캡쳐된 데이터와 연계되어 추가되며, 전술한 바와 같이 여러 다양한 방식으로 추가될 수 있다. 하나 이상의 대체 요소의 결정을 용이하게 하기 위한 사용자 입력이 선택적으로 수신될 수 있다(예컨대, 대체 요소들을 식별하기 위해 사용할 요인 또는 기법을 나타내는 사용자 입력, 다수의 대체 요소들 중 어느 하나의 사용자 선택 등).
하나 이상의 추가 요소 또한 결정된다(동작(410)). 이런 하나 이상의 추가 요소는 캡쳐된 데이터(및/또는 대체 요소들)에 기반하여 결정되고, 전술한 바와 같이 교체 가능한 요소 및/또는 대체 요소와 연계된다. 하나 이상의 추가 요소를 용이하게 결정하기 위한 사용자 입력이 선택적으로 수신될 수 있다(예컨대, 추가 요소들을 식별하기 위해 사용할 요인 또는 기법을 나타내는 사용자 입력, 추가 요소들에 대한 데이터 유형을 나타내는 사용자 입력, 다수의 추가 요소들 중 하나 이상의 사용자 선택 등).
하나 이상의 추가 요소로의 하나 이상의 링크가 추가된다(동작(412)). 이런 하나 이상의 링크는 캡쳐된 데이터와 연계되며, 전술한 바와 같이 여러 다양한 방식으로 추가될 수 있다. 예를 들어, 교체 가능한 요소들이 사진에서 제거되고, 추가 요소들 자체가 사진에 포함되는 대신에 사진을 향상시키는 추가 요소들로의 링크들이 링크됨으로써 사진이 압축된다.
압축된 캡쳐된 데이터 및 하나 이상의 대체 및 추가 요소로의 링크를 사용하여 향상된 컨텐츠가 구축될 수 있다(동작(414)). 하나 이상의 대체 요소 및/또는 하나 이상의 추가 요소로의 링크를 통해 향상된 컨텐츠가 구축될 수 있다. 전술한 바와 같이, 이런 구축은 하나 이상의 추가 요소, 대체 요소, 및 압축된 캡쳐된 데이터의 결합을 포함한다.
본원에서 논의된 캡쳐된 데이터의 향상 기법은 다양한 사용 시나리오를 지원한다. 예를 들어, 사용자는 다양한 랜드마크, 아트워크, 풍경 등의 사진을 찍을 수 있다. 그 사진들의 일부분이 동일한 랜드마크, 아트워크, 풍경 등의 다른 더 높은 해상도의 사진들의 일부분으로 교체될 수 있어, 사용자가 찍은 것보다 더 높은 해상도(및 사용자의 카메라로 찍을 수 있는 것보다 더 높은 해상도)의 사진을 사용자에게 제공할 수 있다. 따라서 사용자는 추가적인 세부 사항을 볼 수 있고, 선택적으로 자신이 찍은 사진에서는 볼 수 없었던 사람, 글, 디자인 등을 보기 위해 사진의 일부분을 줌인할 수 있다. 또한 오디오 데이터가 사진에 추가되어, 그 후에 사진이 디스플레이될 때 오디오가 재생될 수 있다. 따라서, 사용자가 자신의 사진에 이런 오디오를 캡쳐하지 않았더라도, 랜드마크, 아트워크, 풍경 등에 대응하는 오디오 데이터가 사용자에게 프레젠테이션될 수 있다.
캡쳐된 데이터가 사진인 것과 관련하여 다양한 논의가 본원에 포함되었지만, 본원에 논의된 기법은 비디오 데이터와 같이 다양한 다른 유형의 캡쳐된 데이터에도 사용될 수 있음을 알아야 한다. 비디오 데이터는 프레임 시퀀스 혹은 프레임 어레이로 보일 수 있고, 본원에서 논의된 바와 같이 각각의 프레임은 사진으로 처리된다. 본원에서 논의된 기법은 시퀀스 혹은 어레이에서 프레임들 중 다수의 프레임(예컨대, 각각의 프레임)에 적용될 수 있다. 비디오의 특정 프레임에서, 하나 이상의 대체 요소는 다른 사진이나 비디오의 요소, 및/또는 동일한 비디오의 다른 프레임의 요소일 수 있다. 따라서, 비디오에서의 키 프레임들, 및 키 프레임들과 그 다음 프레임들 간의 차이에 기반하여 비디오를 압축하는 대신에, 비디오의 프레임에서의 요소들을 비디오의 다른 프레임들의 또는 다른 장소의 대체 요소들로의 링크로 교체함으로써 비디오가 압축될 수 있다.
다양한 모듈에 의해 수행되는 통신, 수신, 제공, 기록, 저장, 생성, 획득 등과 같은 다양한 행동이 본원에서 논의되었다. 본원에서 특정 모듈이 행동을 수행하는 것으로 설명되는 것은 그 특정 모듈 자체가 행동을 수행하는 것 또는 그 특정 모듈이 행동을 수행하는(또는 그 특정 모듈과 함께 행동을 수행하는) 다른 컴포넌트 또는 모듈을 작동시키거나 액세스하는 것을 포함한다. 따라서, 특정 모듈이 행동을 수행하는 것은 그 특정 모듈 자체가 행동을 수행하거나 및/또는 그 특정 모듈에 의해 작동되거나 액세스되는 다른 모듈이 행동을 수행하는 것을 포함한다.
도 5는 하나 이상의 실시예에 따른 캡쳐된 데이터의 향상 방법을 구현하도록 구성될 수 있는 예시적인 컴퓨팅 장치(500)를 도시한다. 컴퓨팅 장치(500)는 예를 들어, 도 1의 장치(102 또는 104)일 수 있으며, 도 1의 크라우드 소싱 데이터 서비스(106)의 적어도 일부를 구현하거나, 도 2의 하나 이상의 모듈(202-208)을 구현할 수도 있다.
도시된 바와 같은 컴퓨팅 장치(500)는 처리 시스템(502), 하나 이상의 컴퓨터 판독가능 매체(504), 및 서로 통신적으로 연결된 하나 이상의 I/O 인터페이스(506)를 포함한다. 도시되지는 않았지만, 컴퓨팅 장치(500)는 다양한 컴포넌트들을 서로 결합시키는 시스템 버스 또는 기타 데이터 및 명령어 전송 시스템을 더 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, USB, 및/또는 임의의 다양한 버스 아키텍처를 이용하는 프로세서 또는 로컬 버스를 비롯한 임의의 하나 또는 상이한 버스 구조들의 조합을 포함할 수 있다. 컨트롤 및 데이터 라인과 같이 여러 다른 예시들도 고려된다.
처리 시스템(502)은 하드웨어를 사용하여 하나 이상의 동작을 수행하는 기능을 나타낸다. 따라서, 처리 시스템(502)은 프로세서, 기능 블록 등으로 구성될 수 있는 하드웨어 구성요소(508)를 포함하는 것으로 도시된다. 이는 하나 이상의 반도체를 사용하여 형성된 ASIC(application specific integrated circuit) 또는 기타 로직 장치로서의 하드웨어 구현을 포함할 수 있다. 하드웨어 구성요소(508)는 하드웨어 구성요소를 형성하는 물질이나 또는 이용된 처리 메커니즘에 제한되지 않는다. 예를 들어, 프로세서는 반도체(들) 및/또는 트랜지스터(예컨대, 전자 집적 회로(IC))를 포함할 수 있다. 이런 맥락에서, 프로세서 실행 가능 명령어는 전자적으로 실행 가능한 명령어일 수 있다.
컴퓨터 판독가능 매체(504)는 메모리/저장 장치(510)를 포함하는 것으로 도시된다. 메모리/저장 장치(510)는 하나 이상의 컴퓨터 판독가능 매체와 관련된 메모리/저장 용량을 나타낸다. 메모리/저장 장치(510)는 (랜덤 액세스 메모리(RAM)와 같은) 휘발성 매체 및/또는 (판독 전용 메모리(ROM), 플래시 메모리, 광 디스크, 자기 디스크 등의) 비휘발성 매체를 포함할 수 있다. 메모리/저장 장치(510)는 고정식 매체(예컨대, RAM, ROM, 고정 하드 드라이브 등)와 이동식 매체(예컨대, 플래시 메모리, 이동식 하드 드라이브, 광 디스크 등)를 포함할 수 있다. 컴퓨터 판독가능 매체(504)는 후술하는 바와 같이 다양한 다른 방식으로 구성될 수 있다.
입/출력 인터페이스(들)(506)는 사용자가 컴퓨팅 장치(500)에 명령어 및 정보를 입력할 수 있게 하고, 또한 다양한 입/출력 장치를 이용해 정보가 사용자 및/또는 그 밖의 다른 컴포넌트나 장치로 제공되게 하는 기능을 나타낸다. 입력 장치의 예로는 키보드, 커서 제어 장치(예컨대, 마우스), 마이크로폰(예컨대, 음성 또는 기타 음향 입력), 스캐너, 터치 기능(예컨대, 물리적 터치를 탐지하도록 구성된 정전 용량형 또는 기타 센서), 카메라(예컨대, 터치를 포함하지 않는 움직임을 제스처로서 탐지하기 위해 적외선 주파수와 같은 가시 또는 비가시 파장을 이용할 수 있음) 등을 포함한다. 출력 장치의 예로는 디스플레이 장치(예컨대, 모니터 또는 프로젝터), 스피커, 프린터, 네트워크 카드, 촉각 반응 장치 등을 포함한다. 따라서, 컴퓨팅 장치(500)는 사용자 인터랙션을 지원하기 위해 다양한 방식으로 구성될 수 있다.
또한 컴퓨팅 장치(500)는 캡쳐된 데이터 향상 시스템(520)을 포함하고 있다. 캡쳐된 데이터 향상 시스템(520)은 앞서 논의한 바와 같이 데이터 캡쳐, 링크 삽입, 재생용 향상된 컨텐츠 구축, 및/또는 크라우드 소싱된 데이터 제공을 포함하여 캡쳐된 데이터를 향상시키는 다양한 기능을 제공한다. 캡쳐된 데이터 향상 시스템(520)은 예를 들어, 도 2의 하나 이상의 모듈(202-208)일 수 있다.
본원에서는 다양한 기법이 소프트웨어, 하드웨어 구성요소, 또는 프로그램 모듈로서 일반적으로 설명된다. 일반적으로, 이런 모듈은 특정 작업을 실행하거나 특정 추상화 데이터 유형을 구현하는 루틴, 프로그램, 객체, 구성요소, 컴포넌트, 데이터 구조 등을 포함한다. 본원에서 사용된 용어 "모듈" 및 "기능" 및 "컴포넌트"는 일반적으로 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 나타낸다. 본원에 기술된 기법의 특징은 플랫폼 독립적(platform-independent)이며, 이는 기법이 다양한 프로세서를 갖는 다양한 상업용 컴퓨팅 플랫폼 상에서 구현될 수 있음을 의미한다.
설명된 모듈 및 기법의 구현예는 컴퓨터 판독가능 매체에 저장되거나 또는 컴퓨터 판독 가능 매체로 전송될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 장치(500)가 액세스할 수 있는 다양한 매체를 포함할 수 있다. 예를 들어, 그러나 제한 없이, 컴퓨터 판독가능 매체는 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 통신 매체"를 포함할 수 있다.
"컴퓨터 판독가능 저장 매체"는 단순 신호 전송, 반송파, 또는 신호 그 자체와 달리 정보의 영속적(persistent) 및/또는 비-일시적(non-transitory) 저장을 가능하게 하는 매체 및/또는 장치를 지칭할 수 있다. 따라서, 컴퓨터 판독가능 저장 매체는 비-신호 운반(bearing) 매체를 지칭한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 로직 요소/회로, 또는 그 밖의 다른 데이터와 같은 정보의 저장에 적합한 방법 또는 기법으로 구현되는 휘발성 및 비-휘발성, 이동식 및 비-이동식 매체 및/또는 저장 장치 등의 하드웨어를 포함한다. 컴퓨터 판독가능 저장 매체의 예로는, RAM, ROM, EEPROM, 플래시 메모리 또는 그 밖의 다른 메모리 기법, CD-ROM, DVD(digital versatile disk), 또는 기타 광 저장장치, 하드 디스크, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치, 또는 그 밖의 다른 저장 장치, 유형 매체(tangible media) 또는 컴퓨터에 의해 액세스될 수 있는 바람직한 정보를 저장하기에 적합한 제조 물품이 있으며, 다만 이에 제한되지는 않는다.
"컴퓨터 판독가능 통신 매체"는 가령 네트워크를 통해 컴퓨팅 장치(500)의 하드웨어로 명령어를 송신하도록 구성된 신호 운반 매체를 지칭할 수 있다. 일반적으로 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터를 반송파, 데이터 신호 또는 그 밖의 다른 전송 메커니즘을 비롯한 변조 데이터 신호로 구현할 수 있다. 통신 매체는 임의의 정보 전달 매체를 더 포함한다. "변조된 데이터 신호"라는 용어는 신호 내에서 정보를 인코딩하도록 그 특징들 중 하나 이상이 설정 또는 변경된 신호를 의미한다. 예를 들어, 그러나 제한 없이, 통신 매체는 유선 네트워크 또는 직접 배선된 연결과 같은 유선 매체, 및 음향, RF, 적외선 및 그 밖의 다른 무선 매체와 같은 무선 매체를 포함한다.
전술한 바와 같이, 하드웨어 구성요소(508) 및 컴퓨터 판독가능 매체(504)는, 명령어, 모듈, 프로그램 가능한 장치 로직 및/또는 본원에 기술된 기법의 적어도 일부 양태를 구현하기 위해 몇몇 실시예에서 이용할 수 있는 하드웨어로 구성된 고정 장치 로직을 나타낸다. 하드웨어 구성요소(508)는 집적 회로 또는 온-칩 시스템, ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), CPLD(complex programmable logic device), 및 실리콘 또는 기타 하드웨어 장치에서의 기타 구현예의 컴포넌트들을 포함할 수 있다. 이런 맥락에서, 하드웨어 장치는 명령어에 의해 정의되는 프로그램 태스크를 실행하는 프로세싱 장치, 및/또는 하드웨어 구성요소에 의해 구현되는 로직은 물론, 실행을 위한 명령어를 저장하는 데 이용되는 하드웨어 장치, 예컨대, 전술한 컴퓨터 판독가능 저장 매체로서 동작할 수 있다.
본원에 설명된 다양한 기법 및 모듈을 구현하기 위해 전술한 것들의 조합을 이용할 수 있다. 따라서, 소프트웨어, 하드웨어, 또는 프로그램 모듈과 기타 프로그램 모듈은 임의의 형태의 컴퓨터 판독가능 저장 매체에 구현된 하나 이상의 명령어 및/또는 로직으로서 및/또는 하나 이상의 하드웨어 구성요소(508)에 의해 구현될 수 있다. 컴퓨팅 장치(500)는 소프트웨어 및/또는 하드웨어 모듈에 대응하는 특정 명령어 및/또는 기능을 구현하도록 구성될 수 있다. 따라서, 소프트웨어로서 컴퓨팅 장치(500)에 의해 실행될 수 있는 모듈들은 예컨대, 컴퓨터 판독가능 저장 매체 및/또는 처리 시스템의 하드웨어 구성요소(508)를 사용하여 적어도 부분적으로는 하드웨어로 구현될 수 있다. 명령어 및/또는 기능은 본원에 설명된 기법, 모듈, 및 예시를 구현하기 위해 하나 이상의 제조물품(예컨대, 하나 이상의 컴퓨팅 장치(500) 및/또는 처리 시스템(502))으로 실행/동작될 수 있다.
대상이 구조적 특징부 및/또는 방법적 동작에 특정적인 언어로 기술되었지만, 첨부된 특허청구범위에서 정의되는 본 대상은 반드시 전술한 특정 특징부 또는 동작에 한정되는 것은 아님을 알아야 한다. 오히려, 전술한 특정 특징부 및 동작은 특허청구범위를 구현하는 예시적인 형태로서 개시된 것이다.

Claims (10)

  1. 장치의 하나 이상의 프로세서에 의해 실행 시에, 상기 하나 이상의 프로세서로 하여금 방법을 수행하게 하는 다수의 명령어를 저장하는 하나 이상의 컴퓨터 저장 매체로서,
    환경에 관한 캡쳐된 데이터를 얻는 단계,
    상기 캡쳐된 데이터에 적어도 부분적으로 기반하여, 하나 이상의 추가 요소를 결정하는 단계,
    상기 캡쳐된 데이터에 연계된 것으로서, 상기 하나 이상의 추가 요소로의 하나 이상의 링크를 추가하는 단계, 및
    상기 하나 이상의 추가 요소와 상기 캡쳐된 데이터의 적어도 일부분을 사용하여 향상된 컨텐츠를 구축하는 단계
    를 포함하는 컴퓨터 저장 매체.
  2. 제 1 항에 있어서,
    상기 캡쳐된 데이터는, 상기 장치에 의해 상기 캡쳐된 데이터가 캡쳐되었을 때 상기 장치의 지리적 위치를 설명하는 메타데이터는 포함하지만, 상기 캡쳐된 데이터는 상기 지리적 위치에서 캡쳐된 이미지 또는 오디오를 포함하지 않는
    컴퓨터 저장 매체.
  3. 제 2 항에 있어서,
    상기 하나 이상의 추가 요소는 다른 장치에 의해 상기 지리적 위치에서 캡쳐된 이미지를 포함하는
    컴퓨터 저장 매체.
  4. 제 1 항에 있어서,
    상기 방법은 상기 캡쳐된 데이터에서 하나 이상의 요소를 식별하는 단계를 더 포함하고,
    상기 결정 단계는 상기 식별된 하나 이상의 요소에 기반하여, 상기 하나 이상의 추가 요소를 결정하는 단계를 포함하는
    컴퓨터 저장 매체.
  5. 향상된 사진의 압축 방법으로서,
    교체 가능한 사진 요소와 하나 이상의 대체 사진 요소의 식별을 포함하여 사진의 사진 요소가 교체 가능한지 여부를 결정하는 단계,
    압축된 사진을 생성하기 위해 상기 교체 가능한 사진 요소를 제거하는 단계,
    상기 하나 이상의 대체 사진 요소로의 하나 이상의 링크를 추가하는 단계,
    상기 교체 가능한 사진 요소 또는 상기 대체 사진 요소에 연계된 추가 요소로의 링크를 추가하는 단계, 및
    상기 압축된 사진과, 상기 하나 이상의 대체 사진 요소 및 상기 추가 요소로의 링크를 사용하여 향상된 사진을 구축하는 단계
    를 포함하는 압축 방법.
  6. 제 5 항에 있어서,
    상기 결정 단계는
    상기 교체 가능한 사진 요소를 식별하는 단계, 및
    상기 교체 가능한 사진 요소의 대체 사진 요소와의 차이가 임계치와 동일하거나 그보다 작다는 응답에 대응하여 상기 교체 가능한 사진 요소를 교체 가능하다고 결정하는 단계
    를 포함하는 압축 방법.
  7. 제 5 항에 있어서,
    상기 하나 이상의 대체 사진 요소로의 하나 이상의 링크를 추가하는 상기 단계는 각각의 교체 가능한 요소에 대해서, 상기 교체 가능한 사진 요소와 상기 대체 사진 요소 간의 차이를 나타내는 변경 데이터를 저장하는 단계를 더 포함하는
    압축 방법.
  8. 제 5 항에 있어서,
    상기 대체 사진 요소는 상기 교체 가능한 사진 요소보다 더 높은 해상도로 이루어진
    압축 방법.
  9. 제 5 항에 있어서,
    상기 추가 요소는 상기 사진의 시야를 확대하는
    압축 방법.
  10. 제 5 항에 있어서,
    상기 추가 요소는 이미지 데이터와는 다른 유형의 데이터를 포함하는
    압축 방법.
KR20147035507A 2012-06-18 2013-06-04 캡쳐된 지리적 메타데이터의 향상 방법 KR20150023406A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/526,033 2012-06-18
US13/526,033 US20130335594A1 (en) 2012-06-18 2012-06-18 Enhancing captured data
PCT/US2013/044181 WO2013191899A1 (en) 2012-06-18 2013-06-04 Enhancing captured data

Publications (1)

Publication Number Publication Date
KR20150023406A true KR20150023406A (ko) 2015-03-05

Family

ID=48628950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147035507A KR20150023406A (ko) 2012-06-18 2013-06-04 캡쳐된 지리적 메타데이터의 향상 방법

Country Status (7)

Country Link
US (1) US20130335594A1 (ko)
EP (1) EP2862103A1 (ko)
JP (1) JP6300792B2 (ko)
KR (1) KR20150023406A (ko)
CN (1) CN104395903A (ko)
TW (1) TWI591575B (ko)
WO (1) WO2013191899A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058375B2 (en) * 2013-10-09 2015-06-16 Smart Screen Networks, Inc. Systems and methods for adding descriptive metadata to digital content
TWI509426B (zh) * 2014-09-17 2015-11-21 Prophetstor Data Services Inc 用於達成無干擾性資料重建的系統
US10379497B2 (en) * 2015-03-07 2019-08-13 Apple Inc. Obtaining and displaying time-related data on an electronic watch
US11327640B2 (en) 2015-06-05 2022-05-10 Apple Inc. Providing complications on an electronic device
US10572571B2 (en) 2015-06-05 2020-02-25 Apple Inc. API for specifying display of complication on an electronic watch
US10175866B2 (en) 2015-06-05 2019-01-08 Apple Inc. Providing complications on an electronic watch
KR20170010485A (ko) 2015-07-20 2017-02-01 엘지전자 주식회사 단말 장치 및 단말 장치의 제어 방법
CN111163138B (zh) * 2019-12-18 2022-04-12 北京智明星通科技股份有限公司 一种降低游戏期间网络负载的方法、装置和服务器
US20210279766A1 (en) * 2020-03-04 2021-09-09 Peter Garrett Computer-Based System and Method for Providing an Augmented Reality Interface at Real-World Music Festivals

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
WO2001052178A1 (en) * 2000-01-13 2001-07-19 Digimarc Corporation Authenticating metadata and embedding metadata in watermarks of media signals
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US7042470B2 (en) * 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US7444656B2 (en) * 2001-08-02 2008-10-28 Intellocity Usa, Inc. Post production visual enhancement rendering
US20040012601A1 (en) * 2002-07-18 2004-01-22 Sang Henry W. Method and system for displaying a first image as a second image
CN1695329B (zh) * 2002-10-28 2010-05-12 皇家飞利浦电子股份有限公司 用于替换媒体内容项目的设备和方法
US7185284B2 (en) * 2002-12-20 2007-02-27 Motorola, Inc. Method and apparatus for providing a hyperlink indication on a display for an image in a web page
US20060139475A1 (en) * 2004-12-23 2006-06-29 Esch John W Multiple field of view camera arrays
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
EP1905225A4 (en) * 2005-05-13 2010-10-27 Capture Cam Ip Pty Ltd METHOD AND SYSTEM FOR SENDING VIDEO TO A MOBILE TERMINAL
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
CN100562894C (zh) * 2007-03-23 2009-11-25 北京中星微电子有限公司 一种图像合成方法及装置
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
US7973655B2 (en) * 2007-11-27 2011-07-05 Yahoo! Inc. Mobile device tracking and location awareness
US20090193021A1 (en) * 2008-01-29 2009-07-30 Gupta Vikram M Camera system and method for picture sharing based on camera perspective
JP4970302B2 (ja) * 2008-02-14 2012-07-04 富士フイルム株式会社 画像処理装置，画像処理方法及び撮像装置
US8122468B2 (en) * 2008-11-07 2012-02-21 At&T Intellectual Property I, L.P. System and method for dynamically constructing audio in a video program
US8700072B2 (en) * 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
FR2948760A1 (fr) * 2009-07-31 2011-02-04 Trading Corp Consulting Procede et systeme cartographique destines a construire une representation cartographique numerique d'une zone geographique
US9241185B2 (en) * 2009-09-30 2016-01-19 At&T Intellectual Property I, L.P. Apparatus and method for media detection and replacement
CN102063610B (zh) * 2009-11-13 2013-08-28 鸿富锦精密工业（深圳）有限公司 影像辨识系统及方法
EP2389004B1 (en) * 2010-05-20 2013-07-24 Sony Computer Entertainment Europe Ltd. 3D camera and imaging method
US8442716B2 (en) * 2010-10-31 2013-05-14 Microsoft Corporation Identifying physical locations of entities
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images

Also Published As

Publication number Publication date
WO2013191899A1 (en) 2013-12-27
US20130335594A1 (en) 2013-12-19
TW201407533A (zh) 2014-02-16
TWI591575B (zh) 2017-07-11
JP2015523018A (ja) 2015-08-06
JP6300792B2 (ja) 2018-03-28
EP2862103A1 (en) 2015-04-22
CN104395903A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
KR20150023406A (ko) 캡쳐된 지리적 메타데이터의 향상 방법
US9148567B2 (en) Methods and devices for controlling camera image capture
JP6249419B2 (ja) ユーザー介入なくレイアウトに従った画像識別及び編成
JP7420126B2 (ja) システム、管理システム、画像管理方法、及びプログラム
JP2014112302A (ja) 所定領域管理システム、通信方法、及びプログラム
JP6400293B2 (ja) 電子装置でコンテンツを制御する装置及びその方法
US9141190B2 (en) Information processing apparatus and information processing system
CN103141085A (zh) 信息处理设备和信息处理方法
CN113490010A (zh) 基于直播视频的互动方法、装置、设备及存储介质
CN109618192B (zh) 播放视频的方法、装置、系统和存储介质
CN104239388A (zh) 媒体文件管理方法及系统
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
EP3432543A1 (en) Service provision system, service delivery/receipt system, service provision method, and program
US8953050B2 (en) Interaction with electronic device recognized in a scene captured by mobile device
EP3629571A1 (en) Methods and devices for controlling camera image capture
JP2014120878A (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
JP2013182450A (ja) 所在管理プログラム及び所在管理装置
KR102372181B1 (ko) 전자 장치 및 그의 제어 방법
EP3438837A1 (en) Service provision system, service delivery system, service provision method, and program
EP3438838A1 (en) Service providing system, serving receiving system, service providing method and program
JP2014106618A (ja) サーバ装置、端末装置、ａｒコンテンツ提供方法、およびプログラム
KR20120080379A (ko) 디지털 카메라의 이미지 어노테이션 처리 방법 및 장치
JP2012089928A (ja) 画像処理装置、画像処理方法
US9148472B2 (en) Server, electronic device, server control method, and computer-readable medium
EP4436190A1 (en) Display terminal, communication system, and method for displaying

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20141217

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20150331

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180502

Comment text: Request for Examination of Application

PC1202 Submission of document of withdrawal before decision of registration

Comment text: [Withdrawal of Procedure relating to Patent, etc.] Withdrawal (Abandonment)

Patent event code: PC12021R01D

Patent event date: 20190212

WITB Written withdrawal of application