KR101661407B1

KR101661407B1 - 상호작용-기반의 인증을 통한 컨텐츠 활성화, 시스템 및 방법

Info

Publication number: KR101661407B1
Application number: KR1020147026163A
Authority: KR
Inventors: 패트릭 순-시옹
Original assignee: 난트 홀딩스 아이피, 엘엘씨
Priority date: 2012-02-24
Filing date: 2013-02-08
Publication date: 2016-09-29
Also published as: CA2868771C; EP2817757B1; EP2817757A1; AU2013222780A1; EP3239878B1; CN104428781A; EP3413222B1; JP5899333B2; CA2985048A1; IN2014DN07884A; US10432601B2; CN104428781B; EP2817757A4; CN107818243A; EP3413222A1; EP3239878A1; JP2015513734A; AU2013222780B2; KR20150003167A; US20150026785A1

Abstract

다중-모달 인증 및 컨텐츠 배포 시스템, 방법, 및 유스 케이스가 제시된다. 컨텐츠 소비자는 다중 객체들의 다중-모달 디지털 표현을 포착하고 디지털 표현에서 추출되는 특징들 병치를 이용하여 적어도 객체들 일부를 유효한 인증 객체로 인식한다. 인증되면, 인증 에이전트는 병치에 상당하는 연관 컨텐츠에 대한 컨텐츠 접근 수준을 결정한다. 이후 컨텐츠는 컨텐츠 접근 수준에 따라 가능한 보안 가상머신 내에서 전자장치에 제시된다.

Description

상호작용-기반의 인증을 통한 컨텐츠 활성화, 시스템 및 방법{CONTENT ACTIVATION VIA INTERACTION-BASED AUTHENTICATION, SYSTEMS AND METHOD}

본원은 2012.2.24자 출원된 시리얼 번호 61/603049인 미국임시출원의 우선권을 주장한다. 본 발명의 기술분야는 컨텐츠 배포 기술이다.

하기 설명은 본 발명의 이해에 유용한 정보를 포함한다. 본원에 제공되는 어떠한 정보는 본 발명의 선행기술 또는 연관이 있다거나 임의의 특정 또는 암시적 참고 문헌들이 선행기술을 인정하는 것은 아니다.

컨텐츠에 대한 소비자들 요구가 증가하면서 네트워크를 통해 전자장치로 배포되는 컨텐츠 양은 계속하여 늘어난다. 그러나, 컨텐츠 소비자들은 언제나 원하는 컨텐츠를 획득할 자격이 있는 것은 아니다. 또한, 컨텐츠 제공자들은 종종 제공자 권리를 보호하기 위한 컨텐츠 배포 제어가 부족하다. 컨텐츠 요구 및 컨텐츠 권리 간의 충돌은 소비자들 및 제공자들의 불만으로 이어진다. 필요한 기반 구조는 컨텐츠가 항상 존재하는 한편 유효한 인증을 받은 개인들에게만 컨텐츠가 배포되도록 하는 것이다. 흥미롭게도, 일상의 객체들, 또는 상대 객체들이 컨텐츠 제공자들의 권리를 보호하고 소비자의 컨텐츠에 대한 즉시적 충족을 만족시킬 수 있는 방식으로 컨텐츠 활성화를 위한 키로 사용될 수 있다는 것이다. 더욱이, 컨텐츠에 대한 상이한 수준의 접근을 위하여 일상의 객체들이 사용될 수 있고, 이로써 더욱 동적인 객체 상호작용들이 발생될 수 있다.

브랜드와 텔레비전의 사회적 형태를 연결하는 일부 노력이 있었다. 예를들면, Second Screen Networks™ (URL www.secondscreen.com 참고)에 의해 해당 컨텐츠가 텔레비전에 제시될 때 컨텐츠 제공자들은 광고들 사용자의 제2 스크린 (예를들면, 휴대폰)에 전송할 수 있다. 그러나, 이러한 방법은 텔레비전을 벗어난 임의의 시점에서 소비자의 컨텐츠에 대한 요구를 만족시키지 못한다. 또한, Second Screen 방법은 항상 존재하는 컨텐츠의 계층 (layer)에 대한 접근을 제공하는 것이 아니고 소비자를 시스템과 연결한다.

또 다른 노력으로는 개인 정체성을 인증 시스템 일부로 설정하는 것에 기초한 생체 인식 기술을 이용하는 것이다. 예를들면, 2010.9.3자 출원된 Murakami 등의 “생체 인증 시스템”이라는 명칭의 유럽특허출원명세서 EP 2 348 458에는, 생체 인증에 기반하여 사용자 식별을 위한 생체 특징들 이용에 대하여 기술하고 있다. 2011.6.16자 출원된 Matsuyama 등의“식별 장치, 식별 방법, 및 저장 매체”라는 명칭의 미국특허출원공개 2011/0311112에는, 개인 안면의 영상 프레임에서 추출된 특징 데이터에 기반한 개인 식별을 개시한다. 이후 프레임들에서 특정한 특징 데이터가 확인되지 않을 때, 특징 데이터는 이후 프레임들의 안면 영역과 연관된다. 또한 2010.6.1자 출원된 Wechsler 등의 “부분-인식, 확대 및 전달을 이용한 안면 인증”이라는 명칭의 U.S. 특허 8,194,938에는, 개인 안면의 포착 영상 “패치들”과 공지 패치들과의 비교를 통한 개인의 안면 인증이 개시되고, 패치들은 SIFT 또는 Gabor 웨이블릿을 통해 추출된다. 흥미롭게도, 각각의 개시된 기술은 생체 특징들에 대한 선험적 (a priori) 이해가 요구되고 비제한적 등급의 객체들에 대하여는 적용될 수 없다.

단지 선험적 공지 등급의 생체 특징을 식별하는 것에서 벗어난 상이한 등급의 객체들을 식별 또는 인식하는 것과 관련하여 적어도 최소한의 진전 방향을 제공하는 기술이 존재한다. 예를들면, 2002.5.24자 출원된 Yokono의 객체 인식 장치, 객체 인식 방법, 및 로봇 설비” (en)라는 명칭의 일본 특허요약서 JP4164737에는, 로봇 학습 시스템이 개시되고, 여기에서 미지 객체를 영상장치에 대하여 예정 위치에 배치함으로써 로봇은 미지 객체 인식을 학습한다. 또한, 2004.1.15자 출원된 Matsugi 등의 “행동 인식 장치 및 방법, 동물 객체 인식 장치 및 방법, 설비 제어 장치 및 방법, 및 프로그램” (en)이라는 명칭의 일본 특허 요약서 JP2005202653에는, 원시적 특징들에 기반한 객체 인식이 논의된다. 원시적 특징들이 시간 주기에 관찰되어 출력 행동 카테고리를 생성한다.

영상 기반의 인식은 Boncyk 등의 공유 2001.9.5 출원된 U.S. 특허 7016532, “영상 포착 및 식별 시스템 및 프로세스”; 2005.8.15자 출원된 U.S. 특허 7680324, “인터넷 및 기타 검색 엔진들을 위한 검색 기준으로서의 영상-추출 (derived) 정보 이용”; 2006.1.26자 출원된 U.S. 특허 7565008, “데이터 포착 및 식별 시스템 및 프로세스”; 및 2004.3.22자 출원된 U.S. 특허 7477780, “데이터 포착 및 식별 시스템 및 프로세스”를 포함하고, Boncyk는 객체의 영상 데이터로부터 핵심적인 파라미터들을 계산하고, 데이터베이스 중 공지 객체들의 영상들 참조 (look up)를 위하여 파라미터들을 이용한다.

상기 참고문헌들은, 적어도 일부 수준에서는, 객체들을 인식하거나 식별할 수 있지만, 상이한 형태의 데이터 포착에 기반한 사용자 인증 또는 상이한 접근에 의한 컨텐츠 접근 허여에 관하여는 설명하고 있지 않다.

다른 기술들은 사용자들을 인증하기 위한 상이한 데이터 포착 기술에 관한 것이다. 예를들면, 2001.12.4자 출원된 Avni 등의“객체 지도에 기반한 웹 서명 인식 시스템 및 방법”이라는 명칭의 U.S. 특허 6,687,390에는, 사용자가 배경 그래픽 영상에 커서를 조작하기 위하여 컴퓨터에서 포인팅 장치를 이동하는 방법에 기반한 사용자 식별을 검증하는 것에 대하여 개시한다.

또한 비-위조 물리적 객체 인증에 대한 기술이 존재한다. 1998.7.6자 출원된 Kaish 등의“상품 인증 시스템 및 방법”이라는 명칭의 U.S 특허 5,974,150에는, 매체 (예를들면, 종이)에 불규칙 패턴으로 배치되는 다수의 요소들 (예를들면, 통시적 섬유들) 위치를 이용하여 제품이 위조가 아닌 실제라는 것을 인증하는 것을 기술한다. Kaish와 같은 맥락으로, 2009.4.2자 출원된 Fraser의 “인증 방법 및 시스템”이라는 명칭의 U.S. 특허 7,995,196에도, 기재 상에 일조의 요소들 (예를들면, 섬유들)의 물리적 분산 패턴에 기반한 객체 인증 기술이 제공된다. 2010.11.19자 출원된 Gerigk 등의 객체 식별 및 인증을 위한 방법 및 장치”라는 명칭의 U.S. 특허 8,245,922에도, 객체 인증을 기술하고 있다. Gerigk는 전자기선을 산란시키는 코드 영역에서 코드로 객체를 암호화하는 것에 대하여 기술한다. 이러한 참고문헌들은 인증 그 자체에 대하여는 유용성을 제공하지만, 컨텐츠가 상이한 접근 수준을 가질 수 있다는 것에 대하여 예기하지 못한다.

컨텐츠 접근을 제공하는 기술 중 하나는, 2002.10.29자 출원된 Loghmani 등의 “다중-모달 음성-인에이블 컨텐츠 접근 및 전달 시스템”이라는 명칭의 U.S. 특허 7,283,973. Loghmani에 의하면 음성 인식 또는 DTMF 톤을 이용하여 사용자는 전화를 이용한 컨텐츠 접근이 가능하다. 컨텐츠 접근 인증 허여에 관한 더욱 발전된 것은 2003.10.15자 출원된 de Jong의 “디지털 컨텐츠 접근 제어를 위한 권리 로커”라는 명칭의 U.S. 특허 7,380,280에 기술된다. de Jong은 컨텐츠 접근 제한을 위하여 토큰 관리 시스템 방법을 제안한다. 또한, 2007.6.4자 출원된 John 등의 “컨텐츠 접근 제어 방법 및 장치”라는 명칭의 U.S. 특허 7,953,079에는, 컨텐츠 접근 지침 (policy)에 기초한 컨텐츠 접근을 기술하며, 여기에서 컨텐츠는 음성 인식, 문자 인식, 또는 영상 처리 수단을 이용하여 유형별로 분류된다. 또한, 2009.6.30자 출원된 Roberts 등의 “사용자 상호작용에 기반한 미디어 컨텐츠 제시 제어 방법 및 시스템”이라는 명칭의 U.S. 특허출원공개에는, 미디어 컨텐츠와 능동적 또는 수동적으로 상호작용하는지를 판단하기 위한 사용자 모니터링을 논의한다. 상호작용 프로파일에 기반하여 사용자에게 컨텐츠가 제시된다.

따라서 상기 참고문헌들은 인증키로서 객체를 이용한 향상된 보안을 제공하지 않는다. 그러나, 2011.11.29자 출원된 Fondeur 등의“식별 인증을 위한 방법, 및 관련 검증 시스템”이라는 명칭의 국제출원 요약서 WO 2012/085378에는, 개인에 의해 비밀히 선택되는 객체의 영상 포착이 기술되고, 객체 영상은 시스템에 개인을 등록하기 위하여 사용된다. Fonduer는 단지 사용자 등록을 위한 객체 영상 사용에 대하여 언급한 것이고 인증을 위한 상이한 모달리티 (modalities) 이용에 대하여는 제공하지 않는다. 2009.12.28자 출원된 Brown의 “보안 어플리케이션을 위한 인증 토큰의 가상화”라는 명칭의 U.S. 특허출원 2011/0161232은 더욱 진전되었다. Brown은 “선천적인 것 (what-you-have)” 유형의 인증 일부로서 물리적 키들 (예를들면, 차 키들, 집 키들, 등) 또는 기타 물리적 토큰들의 영상들 획득을 논의한다. Brown은 물리적 토큰들의 영상들은 음성 프린트, “선천적인 것” 인증 인자와 조합되어, 더욱 강력한 다중-인자 인증 프로토콜을 생성하는 것에 대하여 설명한다. 그러나, Brown 시스템은 단지 상대적 배열을 고려하지 않는 다중 키들의 이용에 대하여만 설명할 뿐이다.

본원의 모든 공개문헌들은 각각의 공개문헌 또는 특허출원이 특히 및 개별적으로 표기된 정도로 본원에 참고문헌으로 통합된다. 참고문헌에서 정의 또는 사용 용어가 본원의 것과 모순되거나 반대인 경우, 본원에 용어가 적용된다.

일부 실시태양들에서, 본 발명의 실시태양들을 설명하고 청구하기 위하여 사용되는 성분들의 정량, 특성 예컨대 농도, 반응조건 기타 등을 표현하는 수치는 일부 실시예들에서 용어 "약"으로 변경될 수 있다는 것을 이해하여야 한다. 따라서, 일부 실시태양들에서, 명세서 및 청구범위에 제시된 수치 파라미터들은 근사치이고 특정 실시태양에서 달성하고자 하는 바람직한 특성에 따라 달라질 수 있다. 일부 실시태양들에서, 수치 파라미터들은 유의미한 자리수로 해석되고 통상 반올림이 적용된다. 본 발명의 일부 실시태양들에서 제시된 수치적 범위 및 파라미터들은 근사치이고, 특정 실시예들에서 제시된 수치는 구현 가능한 가장 정확한 수치이다. 본 발명의 일부 실시태양들에서 제시된 수치는 시험 측정에서 오는 표준편차로 인하여 불가피한 소정의 오차를 가진다.

도 1은 다중-모달 트랜스미디어 인증 및 컨텐츠 배포 생태계의 개략도이다.
도 2는 환경 내의 인증 객체들을 다른 객체들과 구분하는 인식 플랫폼의 개략도이다.
도 3은 인증 특징 세트들 추출을 위한 객체들의 디지털 표현 분석을 도시한 것이다.
도 4는 상호작용 공간에서 인증 특징 세트들의 병치를 도시한 것이다.
도 5는 인증 특징 세트들의 병치에 기반한 컨텐츠 접근 수준 결정을 도시한 것이다.
도 6은 컨텐츠 활성화 방법을 나타낸 것이다.

본원 및 이하 청구범위에서 “a,” “an,” 및 “the”의 의미는 달리 반대로 표기되지 않는 한 복수의 언급대상을 포함한다. 또한, 본원의 명세서에서 사용되는 “in”의 의미는 달리 반대로 표기되지 않는 한 “in” 및 “on”을 포함한다.

본원에서 수치 범위는 단지 범위에 속하는 개별 수치들 각각을 언급하는 간단한 방법으로 기능할 의도이다. 달리 표기되지 않는 한, 각각의 개별 수치는 본원에서 개별적으로 언급되는 바와 같이 명세서에 통합된다. 본원에 기재된 모든 방법은 달리 표기되지 않거나 문맥 상 반대이지 않는 한 임의의 적합한 순서로 수행될 수 있다. 본원의 실시태양들에 대하여 제공되는 임의의 및 모든 예시 또는 예시적 용어 (예를들면 “예컨대”)는 양호한 발명을 설명할 의도이지 범위를 제한할 의도는 아니다. 명세서에서 어떠한 용어도 발명의 구현에 핵심적인 임의의 비-청구적 요소로 해석되지 않는다.

본 발명의 대안적 요소들 또는 실시태양들의 군을 제한적으로 해석하여서는 아니된다. 각각의 군 멤버는 개별적 또는 다른 멤버 또는 본원의 다른 요소들과 조합될 수 있다. 편의상 및/또는 특허성을 위하여 하나 이상의 군 멤버가 군에서 포함되거나 제거될 수 있다. 이러한 포함 또는 제거가 필요한 경우, 명세서는 변경된 군을 포함하는 것으로 간주되고 청구범위에 사용되는 모든 마쿠쉬 군에 대한 기재를 충족하는 것으로 간주된다.

더욱 이상적인 시스템은 보안 토큰으로서 단지 객체가 존재하는 것이 아니라 서로에 대한 객체들의 병치 (juxtaposition)에 기초하여 다양한 수준의 컨텐츠 접근을 위한 실체 인증 또는 권한 부여 방법을 제공할 수 있다. 하기 제시되는 바와 같이, 이러한 방법은 타당한 거부, 세분된 접근 또는 제어, 또는 기타 접근 수준 특징들을 제공하면서도 컨텐츠 제공자는 컨텐츠에 대한 제어를 유지할 수 있는 이점을 제공한다.

따라서, 컨텐츠 활성화 및 인증 시스템 및 방법에 대한 필요성이 존재한다.

발명의 요약

본 발명은 환경 또는 현장에 있는 실제 객체들이 컨텐츠 접근 획득을 위한 인증 객체들로 고려될 수 있다는 인식에 기초하여 컨텐츠를 활성화할 수 있는 장치, 시스템 및 방법을 제공한다. 본 발명의 일 양태는 컨텐츠 활성화 방법을 포함한다. 전자장치는 컨텐츠 접근이 허용되는 인증 에이전트에 접근할 수 있다. 일부 실시태양들에서, 전자장치는 적어도 하나의 물리적 객체와의 상호작용 (예를들면, 대화, 영상화, 작업, 수행 (playing), 감지, 모니터링, 기타 등)에 대한 다중-모달 (modal) 표현일 수 있는 디지털 표현을 인증 에이전트로서 작동될 수 있는 인식 엔진에 획득한다. 또한 본 방법은 디지털 표현에 기초하여 환경 중에 있는 적어도 두 객체들을 유효한 인증 객체들로서 구분하고, 상기 유효한 인증 객체들은 인증과 무관한 다른 객체들과 구분된다. 또한 본 방법은 유효한 인증 객체들과 유관한 인증 특징 세트들을 추출하고 상기 인증 특징들은 물리적 객체의 디지털 표현에서 결정된다. 예시적 인증 특징들은 영상 또는 오디오 데이터, 스케일 불변 특징 변환 (SIFT) 특징들, 오디오 서명, 위치, 시간, 또는 디지털 표현과 연관된 다른 양태들에서 계산되는 하쉬 코드 (hash code)를 포함한다. 또한 본 방법은 가능한 인증 에이전트에 의해, 상호작용 공간에서 인증 특징 세트들의 서로에 대한 병치 함수로서 컨텐츠 접근 수준을 설정하고, 여기에서 병치 속성들이 컨텐츠 또는 접근 수준 데이터베이스에 대한 인덱스로 사용된다. 이후 인증 에이전트는 전자장치로 하여금 컨텐츠 접근 수준에 따라 컨텐츠를 제시하거나 구현하도록 구성함으로써 물리적 객체와 연관된 컨텐츠를 활성화할 수 있다.

본 발명의 다른 양태는 컨텐츠 배포 시스템을 포함하고, 이는 인증 객체 데이터베이스, 인식 플랫폼 및 인증 에이전트로 구성된다. 바람직하게는 인증 객체 데이터베이스는 다중 인증 요소들을 저장하고, 여기에서 각각의 요소는 실제 또는 가상 객체를 나타내고, 개별적으로 인증키로 사용될 수 있다. 예를들면, 개인은 집의 식물을 인증 요소로 등록할 수 있다. 각각의 인증 요소는 바람직하게는 인증에 사용될 때 유효한 특징들로 간주되는 하나 이상의 인증 특징들을 포함한다; 예를들면 캐릭터 인형 장난감 전면 대 캐릭터 인형 장난감 후면. 인식 플랫폼은 하나 이상의 객체들을 가지는 현장의 디지털 표현을 획득하거나 달리 얻는다. 플랫폼은 디지털 표현을 분석하여 하나 이상의 객체 특징들이 추출될 수 있는 객체들을 식별한다. 또한 플랫폼은, 객체 특징들과 요소의 인증 특징들과의 비교에 기반하여, 현장에 있는 객체들 중 적어도 하나를 사용자와 연관된 인증 요소로 인식한다. 인증 에이전트는 현장에 있는 인증 특징들을 이용하여 컨텐츠 접근 수준을 유도하며, 이것을 이용하여 컨텐츠는 전자장치에 제시되는 것이 허여된다.

본 발명의 또 다른 양태는 제품 정보 획득 방법을 포함한다. 본 방법은 가능한 검색 엔진, 온-라인 소매업자, 또는 기타 서비스로 작동되는 인식 서버로 접근을 제공한다. 인식 서버는 비디오 스트림에서 포착 비디오 프레임을 획득한다. 예를들면, 개개인은 텔레비전 쇼, 상점 또는 영화의 정지 영상을 포착할 수 있고, 상기 정지 영상은 포착 비디오 프레임을 나타낸다. 또한 인식 서버는 프레임과 연관된 특징들을 추출하고 특징들에 기반하여 프레임이 포착된 적어도 하나의 본래 (originating) 비디오 스트림을 식별한다. 비디오 스트림이 식별되면, 또한 본 방법은 식별된 비디오 스트림과 연관된 제품 정보를 제품 데이터베이스에서 획득한다. 제품 정보는 전자장치에 제시된다.

본 발명의 다양한 목적들, 특징부들, 양태들 및 이점들이 유사 도면부호는 유사 구성요소를 표기하는 도면을 참조할 때 바람직한 실시태양들에 대한 하기 상세한 설명으로부터 더욱 명확하여 질 것이다.

컴퓨터/서버 기반의 인증 또는 컨텐츠 배포 시스템에 관한 것이고, 다양한 대안적 구성들이 가능하고 서버, 인터페이스, 시스템, 데이터베이스, 에이전트, 피어 (peer), 엔진, 제어기, 또는 기타 유형의 개별 또는 집합적으로 작동하는 연산 장치들을 포함한 다양한 연산 장치들을 사용한다는 것을 이해하여야 한다. 연산 장치들은 유형의, 비-일시적 컴퓨터 판독 가능한 저장 매체 (예를들면, 하드드라이브, 고체 상태 드라이브, RAM, 플래시, ROM, 기타 등)에 저장되는 소프트웨어 명령들을 실행하는 처리기를 포함한다는 것을 이해할 것이다. 소프트웨어 명령들은 바람직하게는 개시된 장치에 대하여 하기되는 바와 같이 연산 장치로 하여금 역할, 책임 또는 다른 기능을 제공하도록 구성한다. 특히 바람직한 실시태양들에서, 다양한 서버, 시스템, 데이터베이스, 또는 인터페이스는 표준 프로토콜 또는 알고리즘을 이용하여, 가능한 HTTP, HTTPS, AES, 공개-개인 키 교환, 웹 서비스 API, 공지 금융 거래 프로토콜, 또는 기타 전자적 정보 교환 방법으로 데이터를 교환한다. 데이터 교환은 바람직하게는 패킷-교환 네트워크, 인터넷, LAN, WAN, VPN, 또는 다른 유형의 패킷 교환 네트워크를 통해 이루어진다.

개시된 기술은 하나 이상의 컨텐츠 활성화 신호들을 전자장치에 발생시키는 것을 포함하여 유익한 기술적 효과를 제공한다는 것을 이해하여야 한다. 활성화 신호는 전자장치로 하여금 활성된 컨텐츠를 제시하도록 구성한다. 예를들면, 전자장치는 네트워크를 통하여 활성화 신호를 수신하고 이에 응답하여 전자장치는 컨텐츠 접근 수준에 따라 사용자에게 컨텐츠 제시가 허용된 가상머신을 실체화 (instantiate)한다.

본 발명의 많은 예시적 실시태양들이 하기된다. 각각의 실시태양은 발명적 요소들의 단일 조합을 나타내지만, 본 발명은 개시된 요소들의 가능한 모든 조합을 포함한다. 따라서 명시적으로 표기되지 않아도 하나의 실시태양이 요소들 A, B, 및 C를 포함하고, 제2 실시태양이 요소들 B 및 D를 포함하면, 본 발명은 다른 조합 A, B, C, 또는 D을 포함하는 것으로 간주된다.

본원에서 사용되는 바와 같이, 문맥에서 달리 표기되지 않는 한, 용어 "결합"이란 직접 결합 (연결된 두 요소들이 직접 접촉) 및 간접 결합 (적어도 하나의 추가 요소가 두 요소들 사이에 배치)을 포함할 의도이다. 따라서, "와 연결" 및 "에 연결"은 동의어로 사용된다. 본원에 기재된 네트워크 관점에서, "와 연결" 및 "에 연결"은 또한 "와 통신적으로 연결"이란 의미이다.

개관

도 1은 인증 및 컨텐츠 배포 생태계를 도시한 것이다. 도시된 예에서, 현장 (100)과의 다중-모달 상호작용 (105)의 함수로서 사용자 또는 장치 인증에 기반하여 컨텐츠가 활성된다. 일부 실시태양들에서, 다중-모달 상호작용 (105)은 전자장치 (110) (예를들면, 휴대폰, 차량, 기타 등)로부터 하나 이상의 실세계 객체들 (120A, 120B)의 영상 획득을 포함하고, 전자장치 (110)는 출력장치로도 작동한다. 예시적 전자장치는 휴대폰, 태블릿 컴퓨터, 컴퓨터, 게임 콘솔, 차량, 키오스크, 자동판매기, 로봇, 전자제품, 의료 장치, 보안 시스템, 또는 기타 장치를 포함한다. 다중-모달 상호작용 (105)은 광범위한 상호작용들 및 다중-모달 데이터를 포괄한다는 것을 이해하여야 한다. 환경과의 예시적 상호작용들은 스포츠 경기, 도보, 쇼핑, 구매, 영상화, 주변 데이터 수집, 모니터링, 청취, 수행, 작업, 또는 기타 유형의 상호작용을 포함한다. 상호작용 데이터는 상이한 데이터 모달리티들을 포착하는 하나 이상의 센서들에 의해 획득된다. 예시적 모달리티들은 비디오 데이터, 오디오 데이터, 운동감각 데이터, 위치 데이터, 시간 데이터, 압력 데이터, 온도 데이터, 뉴스 데이터, 또는 기타 유형의 데이터를 포함한다. 환경과 연관된 센서 데이터는 전자장치 (110), 예를들면 휴대폰에 있는 센서들, (예를들면, 가속계, 자력계, 나침판, 마이크, GPS, 라디오, 기타 등)을 통해 또는 다른 별개 또는 원격 장치에 있는 센서들 (예를들면, 보안 카메라, 뉴스 소스, 기타 등)를 통해 획득된다.

이하 물리적 환경 내에 있는 하나 이상의 물리적 객체들 (120A - 120B)의 디지털 표현 (141)으로서 영상 데이터를 포착하는 전자장치 (110), 예를들면 휴대폰에 대하여 본 발명을 설명한다. 하기 기술은 소리, 모션 비디오, 생체 데이터, 위치 데이터, 또는 센서들에 의해 포착되거나 또는 달리 데이터 소스에서 획득되는 다른 데이터를 포함한 기타 데이터 모달리티들에도 용이하게 적용될 수 있다는 것을 이해하여야 한다. 또한, 제시된 실시예는 실세계 물리적 객체들 (120A, 120B)에 촛점을 맞춘다. 그러나, 인증 객체들은 또한 연산 시스템에서 구현되는 가상 객체들, 온-라인 게임 세계에서의 가상 객체 예를들면, 증상 현실 객체, 또는 기타 유형의 가상 객체들을 포함할 수 있다.

도시된 실시예에서, 전자장치 (110)는 현장 (100)과의 상호작용 (105)을 반영한 영상으로서 식물 (즉, 객체 120A) 및 운전면허증으로 나타낸 문서 (즉, 객체 120B)를 포함하는 디지털 표현 (141)을 포착한다. 식물 및 운전면허증은 예시적 실세계 객체들을 나타내고 이들은 컨텐츠 (193)를 열거나 또는 컨텐츠 (193) 제어에 접근하기 위한 키로 사용된다. 상호작용 (105)은 단지 영상 포착뿐 아니라 더욱 복잡한 상호작용을 포함한다. 예시적 상호작용 (105)은 정원가꾸기, 치과 약속 이행, 주책 개조 가게에서의 쇼핑, 또는 다른 유형의 다중-모달 상호작용을 포함한다. 각각의 상호작용 (105)은 상호작용 데이터베이스 (미도시)에서 공지 상호작용들과 비교하여 또는 사용자 선택 유형의 상호작용을 통하여 센서 데이터 서명으로 결정된다.

전자장치 (110)는 영상, 또는 다른 디지털 표현 (141)을 획득하고, 필요하다면 데이터를 처리한다. 디지털 표현 (141)은 원시 센서 데이터, 처리 센서 데이터 (예를들면, 영상 파일), 분석 센서 데이터 (예를들면, 데이터 세트로 감축), 또는 디지털 표현 (141)에서 추출된 다른 정보를 포함한다는 것을 이해하여야 한다. 디지털 표현 (141)은 디지털 표현 (141)를 수힌하거나 달리 획득하도록 구성되는 인식 플랫폼 (140)에 제시된다. 디지털 표현은 네트워크 (예를들면, WAN, LAN, 인터넷, 이동통신 네트워크, 기타 등)를 통해 공지 프로토콜들 (예를들면, HTTP, FTP, SSL, SSH, 기타 등), 또는 다른 사적 프로토콜들을 이용하여 인식 플랫폼 (140)으로 전송된다. 일부 실시태양들에서, 전자장치 (110)는 인식 플랫폼 (140)을 포함한다. 또한, 개시된 시스템의 각각의 요소는 생태계에 배분될 수 있는 역할 또는 책임을 가진다는 것을 이해하여야 한다. 예를들면, 인증 에이전트 (180)는 전자장치 (110) 내에 배치되거나 또는 유료 인증 서비스를 제공하는 원격 서버로서 작동될 수 있다. 또한, 단일 요소의 역할 및 책임은 생태계 내의 다중 장치들에 배분될 수 있다. 예를들면 컨텐츠 데이터베이스 (195)는 일부가 전자장치 (110) 내, 인식 플랫폼 (140)에, 또는 심지어는 원격 3자 서비스 (예를들면, 검색 엔진, 쇼핑 사이트, 기타 등)에 배치될 수 있다.

인식 플랫폼 (140)은 디지털 표현 (141)을 수신하고 현장 또는 환경 (100)에 있는 디지털 표현 (141)으로 나타낸 객체들 (120A, 120B) 예를들면 식물 및 운전면허증을 식별한다. 인식 플랫폼 (140)은 디지털 표현 (141)을 분석하여 객체들 (120A, 120B)과 관련된 하나 이상의 특징들 (160)을 추출한다. 일부 실시태양들에서, 특징들 (160)은 객체들 (120A, 120B)과 연관된 객체 속성들을 포함한다. 또한 특징들 (160)은 디지털 표현 (141) 데이터에서 추출되는 속성들을 포함한다. 영상과 관련하여, 특징들 (160)은 스케일 불변 특징 변환 (SIFT), 이진화 강건 불변 스케일 키포인트 (BRISK), 고속 강건 특징들 (SURF), 또는 영상 데이터에서 추출되는 기타 유형의 특징들을 포함한다. 일부 실시태양들에서, 특징들 (160)은 적어도 영상 일부, 또는 디지털 표현 (141)일부, 심지어 다른 모달리티들에서 계산되는 하쉬 수치를 포함한다. 허용되는 하쉬는 인지 하쉬를 포함하고 상기 인지 하쉬 수치는 유사한 컨텐츠에 대하여 유사하다 (URL www.phash.org 참고). 예시적 인지 하쉬들은 고정 길이 MH 영상 하쉬, 이산 코사인 변환 (DCT) 가변 길이 비디오 하쉬, DCT 영상 하쉬, 방사상 영상 하쉬, 히스토그램-기반의 영상 하쉬, 또는 바크 (bark) 오디오 하쉬를 포함한다. 특징들 (160)은 또한 자동 음성 인식 (ASR), 생체 값들 (예를들면, 호흡, 심박수, 혈압, 안면 특징들, 기타 등), 위치 정보 (예를들면, GPS, 삼각측정, 관성이동, 비-GPS 이리튬 데이터, 등), 또는 많은 모달리티들에서 추출되는 다른 속성들에서 생성되는 단어들 또는 용어들을 포함할 수 있다.

또한 특징들 (160)은 디지털 표현으로 나타난 상호작용 데이터 모달리티에 따라 다르다. 추가적인 예시적 객체 특징들 (160)은 시간, 위치, 뉴스 사건, 기후 조건, 온도, 압력, 생체 서명, 음성 또는 오디오 신호들, 또는 기타 유형의 모달리티와 관련되는 정보를 포함한다. 객체 특징들 (160) 유형 또는 객체 특징들 (160) 발생과는 무관하게, 인식 플랫폼 (140)은 객체 특징들 (160)을 이용하여 실세계 객체들 (120A, 120B)의 본질을 결정한다. 일부 실시태양들에서, 인식 플랫폼은 객체 특징들에 기초하여 객체 데이터베이스를 검색하여 객체들 (120A, 120B)을 인식한다. 적합한 객체 인식 기술은 공유 U.S. 특허 7,016,532; 7,477,780; 7,680,324; 7,403,652; 7,565,008; 7,899,243; 7,881,529; 7,899,252; 및 동일한 패밀리에 속하는 다른 것들에서 논의된다.

인식 플랫폼 (140)은 객체 특징들 (160)을 인증 에이전트 (180)로 제공한다. 인증 에이전트 (180)는 객체 특징들 (160), 또는 다른 객체 정보를 이용하여, 디지털 표현 (141)으로 나타난 현장의 객체들을 다른 것들과 구분함으로써 실세계 객체 (120A, 120B)이 진정하게 유효한 인증 객체들인지를 판단한다. 객체 특징들 (160) 또는 추가 정보는 유효한 인증 객체들로 고려되는 객체들에 대한 인증 객체 데이터베이스 (150)에 대하여 질의를 구성하는데 사용된다. 인증 에이전트 (180)는 질의를 이용하여 질의를 만족하는 객체 특징들을 가지는 공지 인증 객체들의 결과 세트를 획득한다. 따라서, 데이터베이스 룩-업이 사용되어 디지털 표현 (141)으로 나타난 객체들을 구분하여 이들이 유효한 인증 객체들인지를 판단한다. 도시된 실시예에서, 하나 이상의 상호작용 (105) 특성들에 대하여 식물 또는 운전면허증 (또는 양자)는 인증 에이전트 (180)에 의해 실제 유효한 인증 객체들로서 검증된다. 예를들면, 식물 및 운전면허증은 사용자 계정 정보, 등록 인증 객체들, 장치 식별자로 결정되는 사용자의 특정 전자장치, 현재 GPS 좌표 또는 위치 데이터에서, 또는 특정 시간대에 있어서 결정되는 특정한 사용자에 대하여 유효할 수 있다. 모든 이러한 인자들, 및 그 이상은, 실세계 객체들 (120A, 120B)이 컨텐츠 활성화를 위한 진정 유효한 인증 객체들인지를 결정하는데 조합될 수 있다. 상기된 바와 같이, 가상 객체들 역시 유사한 기술을 통하여 유효한 인증 객체들을 나타낼 수 있다.

유효한 인증 객체들은 광범위한 객체들을 포함한다. 예시적 2D 객체들은 인쇄 매체 (예를들면, 운전면허증, 여권, 서명, 수표, 문서, 포스터, 광고판, 사진, 구현 영상, 서적, 신문, 잡지, 기타 등), 그림자, 표시화면 (예를들면, 컴퓨터 디스플레이, 텔레비전, 게임 시스템, 전자 광고판, 영화 스크린, 키오스크, 자동판매기, 의료 표시화면, 기타 등)에 구현된 영상, 구현 가상 객체, 신용카드, 또는 기타 대략 평면 객체들을 포함한다. 유효한 인증 객체로 사용 가능한 예시적 3D 객체들은 개인, 안면, 동물, 의류품, 차량, 건물, 장난감, 식물, 연산 장치, 건축물, 음식, 인형, 인쇄된 모델, 로봇, 도구, 또는 실질적인 폭, 깊이, 또는 길이를 가지는 기타 물리적 객체들을 포함한다. 유효한 인증 객체들은 또한 일시적 양태들을 포함한다. 시간 경과에 따라 변하는 예시적 객체들은 구술 단어, 비디오, 음악, 제스처, 장치 (예를들면, 장남감, 로봇, 기타 등)의 연결동작, 또는 시간에 따라 변하는 기타 객체들을 포함한다.

인증 에이전트 (180)가 둘 이상의 물리적 객체 (120A, 120B)가 유효한 인증 객체들에 대응한다고 판단하면, 인증 에이전트 (180)는 특징들 (160), 인증 특징들, 또는 기타 가용 정보의 병치에 기초하여 하나 이상의 컨텐츠 접근 수준 (183)을 판단한다. 접근 수준 (183)은 현재 상호작용 (105)으로 활성되는 컨텐츠 (193) 정도, 컨텐츠에 대한 제어 정도, 또는 환경 (100)에서 컨텐츠 (193)와의 잠재적 장래 상호작용 정도를 판단한다. 접근 수준 (183)은 룩-업 테이블에 기반하여 추출되거나 또는 특징들 (160)이 컨텐츠 접근 수준 (183)과 대응되는 핵심적인 인증 특징들과의 일치 정도에 기초하여 계산된다. 예를들면, 운전면허증이 식물 앞에 있으면, 컨텐츠 (193) 전부가 활성된다. 운전면허증이 식물 뒤에 있으면, 최소한의 컨텐츠 (193)가 활성된다. 이러한 방법으로 컨텐츠 제공자들은 어느 정도의 컨텐츠 (193)가 어떻게 배분되는지를 판단할 수 있다. 또한, 객체 (120B)에 대한 객체 (120A) 위치로 컨텐츠 (193) 접근 방법을 제어할 수 있다. 전기 예를 참조하면, 운전면허증이 식물 앞으로 더욱 이동되면 운전면허증은 영상의 상당 부분을 차지하고, 컨텐츠 (193)는 신속하게 전방 이동되도록 지시된다. 운전면허증이 식물 뒤로 이동되면, 컨텐츠 (193)는 감기도록 지시된다. 이러한 경우, 객체 (120A) 및 객체 (120B) 간의 상호작용 공간에서의 추출된 거리는 재생 속도를 제어하기 위하여 사용될 수 있다.

컨텐츠 접근 수준 (183), 또는 접근 수준 (183) 관련 정보는, 컨텐츠 데이터베이스 (195)에 하나 이상의 컨텐츠 (193) 분량을 저장하는 컨텐츠 서버 (190)로 제공된다. 접근 수준 정보는 컨텐츠 서버 (190)에게 어떠한 컨텐츠 (193) 또는 어느 정도의 컨텐츠 (193)가 전자장치 (110) 사용자 또는 다른 출력장치에 제시되는 지를 알린다. 따라서, 식별된 컨텐츠 (193)는 사용자에 의해 소비되도록 활성된다. 출력장치는 전자장치 (110), 전자제품, 프린터, 로봇, 기계, 차량, 또는 컨텐츠 제시가 가능한 기타 유형의 장치를 포함한다.

일부 실시태양들에서, 컨텐츠 서버 (190)는 신호 또는 명령을 전자장치 (110), 또는 다른 출력장치에 전송하여, 가상머신 (112)을 실체화시킨다. 도시된 실시예에서, 가상머신 (112)은 출력장치, (즉, 전자장치 (110))에 연결되는 바스로서 과장되게 나타낸다. 그러나, 당업자는 가상머신 (112)은 전자장치 (110) 메모리 또는 처리기 내부에 실체화될 수 있다는 것을 이해할 수 있다. 가상머신 (112)은 접근 수준 (183)에 의해 결정되는 하나 이상의 규칙에 따라 컨텐츠 서버 (190), 인증 에이전트 (180), 또는 컨텐츠 제공자의 제어 하에 있다. 이후 컨텐츠 서버 (190)는 컨텐츠 (193)가 출력 전자장치 (110)에 제시되도록 가상머신 (112)을 명령한다. 컨텐츠 서버 (190), 또는 기반구조의 다른 요소들가, 가상머신 (112) 또는 이의 기능을 제어하는 것을 보장함으로써, 컨텐츠 제공자의 권리는 보호되는 한편 컨텐츠 소비자는 유효한 인증 객체 인증을 통해 요구 컨텐츠 (193)를 획득할 수 있다. 가상머신 (112) 실체화 및 컨텐츠 제시 제어에 대한 적합한 기술은 2002.6.10자 출원된 Wise의 “원격 가상 의료 진단 영상화 뷰어”라는 명칭의 U.S. 특허 7,181,617; 2007.1.19자 출원된 Wise의 “원격 데이터 뷰어”라는 명칭의 U.S. 특허 7,685,417; 2008.4.16자 출원된 Wise의 “파일 접근 관리 시스템”이라는 명칭의 U.S. 특허출원공개 2008/0263048; 및 2010.3.12자 출원된 Wise의 “원격 데이터 뷰어”라는 명칭의 U.S. 특허출원공개 2010/0169642에 기재되어 있다.

본 발명은 인증 객체 특징들 (160)에 의해 결정되는 특성들로 가상머신 (112)을 실체화 또는 개시하는 것을 포함한다. 이러한 특징들은 존재하는 또는 구현된 컨텐츠 (193)에 대한 소비자의 접근을 가능하게 한다. 예를들면, 실세계 객체들의 서로에 대한 병치로 인하여 가상머신 (112)은 실체화되고 컨텐츠 소비자는 컨텐츠를 시간-차로 구현할 수 있다 (예를들면, 전방 이동, 감기, 정지, 기타 등).

도 2는 환경 (200) 내의 인증 객체들 (220) 및 비-인증 객체들 (230)을 구분하는 더욱 상세도이다. 개개인은 장치 (210)를 다중 객체들 포함 환경 (200)과 상호작용시킨다. 환경 중 객체들은 하나 이상의 인증 객체들 (220) 또는 비-인증 객체들 (230)을 포함한다. 장치 (210)는 디지털 표현 (241)을 획득하고, 이는 다중-모달 데이터일 수 있는, 환경 (200) 양태들을 나타내는 데이터를 포함한다. 장치 (210)는 디지털 표현 (241)을 통신 링크 (215)를 거쳐 인식 플랫폼 (240)으로 전송한다. 통신 링크 (215)는 인식 플랫폼 (240)이 장치 (210)에 원위에 위치할 때 네트워크 (예를들면, 무선, 유선, 인터넷, PAN, VPN, WAN, 기타 등)를 포함하고, 또는 인식 플랫폼 (240)이 장치 (210) 내부에 위치하면 내부 접속 (예를들면, 버스, 공유 메모리, 레지스터, API, 기타 등)을 포함한다. 인식 플랫폼 (240)은 인증 에이전트, 컨텐츠 서버, 장치 (210), 원격 서비스, 또는 다른 연산 플랫폼과 연결될 수 있다는 것을 이해하여야 한다. 논의를 위하여, 인식 플랫폼 (240)은 인증 에이전트를 포함한다고 간주된다.

인식 플랫폼 (240)은 디지털 표현 (241)에 대하여 하나 이상의 분석 기술을 적용하여 디지털 표현 (241)에서 특징들 (243)을 생성한다. 일부 실시태양들에서, 특징들 (243)은 환경 (200)의 특징들보다는 디지털 표현 (241) 자체의 특성들이다. 예를들면, 영상 데이터가 분석되어 기술자 (descriptor) (예를들면, 색상 균형, 히스토그램, 웨이블릿, SIFT 특징들, BRISK 키포인트, SURF 기술자, ORB 기술자, 기타 등), 모션 데이터 (예를들면, vSLAM, GPS, 기타 등)에서 추출되는 이동 기술자, 오디오 파라미터들 (예를들면, 진폭, 위상, 주파수, 기타 등), 또는 기타 유형의 특징들 (243)을 포함한 영상 특징들을 생성한다. 이러한 특징들은 이후 구분자 (discriminator, 247)에 의해 사용되어 인증 객체들 (220)을 비-인증 객체들 (230)과 구분한다.

일부 실시태양들에서, 구분자 (247)는 질의를 수용하고 질의를 공지 객체 데이터베이스 (250)에 의뢰하는 검색 엔진으로서 작동한다. 질의에 대한 응답으로, 공지 객체 데이터베이스 (250)는 질의를 만족시키는 속성들을 가진 인증 객체들와 관련된 인증 정보의 결과 세트를 제공한다. 공지 객체 데이터베이스 (250)는 가능한 특징들 (243)과 연결된 공통 네임스페이스에 따라 색인되는 인증 객체 정보를 저장하도록 구성된다. 공통 네임스페이스는 가능한 상호작용 공간을 기술하는 방식으로 정의되는 스키마로 고려될 수 있다. 상호작용 공간은 다중-차원 공간이고 각각의 차원은 센서 데이터의 가능한 양식 (form) 또는 모달리티를 나타낸다. 상호작용 공간은 위치 정보 (예를들면, 좌표; X, Y, 또는 Z; 경도, 위도; 기타 등), 시간 정보, 배향 정보, 생체 정보, 또는 기타 상호작용 공간 정보로 정의될 수 있다. 따라서, 인증 객체 정보은 SIFT 특징들 또는, 오디오 서명, 센서 서명, 위치 또는 위치 좌표, 배향 서명, 생체 서명, 사용자 프로파일 정보, 또는 상호작용 공간 내의 기타 양태들의 특징들 군집 기반으로 저장되거나 검색된다.

구분자 (247)는 공지 객체 데이터베이스 (250)로부터 결과 세트를 수신하고 수신된 인증 객체 정보에 따라 환경 (200) 내의 객체들을 구분한다. 구분자 (247)는 특징들 (243), 또는 시스템 또는 디지털 표현 (241)에서의 기타 가용 정보를, 결과 세트의 인증 객체 정보와 비교하여 임의의 공지 객체들을 식별한다. 공지 객체들이 검색되고 상호작용에 대한 유효한 인증 객체들 (249)로 고려되면, 인식 플랫폼 (240)은 각각의 유효한 인증 객체 (249)에 대한 하나 이상의 인증 특징 세트들 (260)을 유도한다.

더욱 구체적인 실시예로서, 장치 (210)가 도 2에 도시된 다중 객체들을 가지는 환경 (200) 영상을 포착하는 상황을 고려한다. 디지털 표현 (241)은 기타 모달리티들보다도 영상 데이터로 구성될 가능성이 높다. 그러나, 논의를 위하여, 본 실시예는 영상 데이터에 촛점을 맞춘다. 인식 플랫폼 (240)은 영상 데이터를 분석하고 영상 데이터와 관련된 다수의 SIFT 또는 BRISK 영상 기술자를 생성한다. 기술자는 구분자 (247)로 전달되고, 여기에서 영상 기술자 함수로서 질의가 생성되고 질의는 공지 객체 데이터베이스 (250)에 제공된다. 질의는 실제 영상 기술자와 기타 정보를 포함할 수 있다. 공지 객체 데이터베이스 (250)는 질의에서 요청되는 적어도 신뢰 수준에서 유사한 영상 기술자를 가지는 선험적 공지 영상화 객체들과 관련된 공지 객체 정보 세트를 리턴한다. 예를들면, 공지 객체 데이터베이스 (250)는 단지 인증 객체들 (220)과 관련 정보를 돌려주거나 또는 인증 객체들 (220) 외의 추가 객체들; 예를들면 비-인증 객체들 (230)과 관련된 정보를 제공할 수 있다. 객체들이 이미 공지되거나 또는 공지 객체 데이터베이스 (250)에 등록된다면 이러한 방법으로 환경 (200) 내 실질적으로 임의의 객체을 인식할 수 있다는 것을 이해할 수 있다. 이러한 방법은 사적 데이터베이스를 가지는 것보다 현존 또는 제3의 객체 데이터베이스들을 활용할 수 있으므로유익하다. 예시적 제3 객체 데이터베이스들은 Google® Goggles™, in8™ Mobile’s iD (see URL www.in8.com/#big-id), Amazon, 또는 기타 제3 객체 데이터베이스들을 포함한다.

계속하여, 구분자 (247)는 제공된 객체 정보를 참조하여, 영상 데이터에 기반하여, 어떤 객체들가 진정 유효한 인증 객체들 (249)인지를 구분한다. 예를들면, 결과 세트에 환경 (200) 내의 모든 객체들이 나타나면, 인증 객체들 (220) 관련 정보는 메타데이터 또는 실제로 유효한 인증 객체들 (249)임을 표기하는 다른 유형의 데이터로 태그를 붙인다. 유효한 인증 객체들 (249)는 인증 객체들 (220), 인증 객체들 (220) 일부, 또는 영상 데이터에 있는 것 외의 다른 객체들; 예를들면 성문에서 식별되는 개인을 포함할 수 있다는 것을 이해하여야 한다.

객체들 구분 방법과 무관하게, 인식 플랫폼 (240)은 특징들 (243) 및 유효한 인증 객체들 (249)로부터 하나 이상의 인증 특징 세트들 (260)을 유도한다. 영상 데이터 및 제시에 실시예에서, 인증 특징 세트들 (260)는 식물에 대응하는 제1 인증 특징 세트 및 운전면허증 (예를들면, 문서)에 대응하는 제2 인증 특징 세트를 포함한다.

도 3은 인증 특징 세트들 (360)을 생성하기 위한 잠재적 분석을 도시한 것이다. 실시예에서, 인증 특징 세트들 (360)은 식물 객체 (349A)에 대응하는 세트 (360A), 문서 객체 (349B)에 대응하는 세트 (360B), 및 오디오 객체 (349C)에 대응하는 세트 (360C)를 포함한다. 각각의 객체 (349A- 349C)는 디지털 표현 (341)에서 하나 이상의 데이터 모달리티로 나타난다. 예를들면 디지털 표현 (341)은 영상 데이터 (예를들면, JPG, PNG, BMP, 정지 영상, 비디오, 기타 등)를 포함하고 이는 객체 (349A, 349B)를 나타낸다. 또한, 디지털 표현 (341)은 오디오 데이터 (예를들면, WAV, MP3, 레코딩, 기타 등)를 포함하고 이는 환경과 연관된 소리를 나타낸다.

디지털 표현 (341) 내의 각각의 데이터 모달리티는 모달리티와 연관된 하나 이상의 분석 기술 (343)에 따라 분석된다. 영상 데이터는 하나 이상의 다음과 같은 기술을 이용하여 분석되고: SIFT, BRISK, SURF, SLAM, vSLAM, 웨이블릿, 광학식 문자 인식 (OCR), 또는 기타 기술, 특징 세트들 (360A, 360B)를 생성한다. 특징 세트들 (360A, 360B)은 원시 추출 특징들 (예를들면, 영상 데이터 또는 상호작용 공간에서 특정한 위치에 있는 기술자) 또는 간접 또는 추론 특징들을 포함할 수 있다는 것을 이해하여야 한다. 간접 또는 추론 특징들은 OCR을 영상 데이터, 또는 메타데이터 또는 객체 룩업에 기반한 태그에 적용하여 획득되는 문자를 포함한다. 예를들면, 특징 세트 (360A)는 식물 객체 (349A)의 유형, 종 또는 속을 명명하는 태그를, 비록 이러한 정보가 영상 데이터에서 문자 형태로 존재하지 않더라도, 포함할 수 있다. 또한, 특징 세트 (360C)는 시간에 대하여 기록된 바와 같이 자동 음성 인식 (ASR) 기술로 재구성되는 단어들을 포함할 수 있다. 각각의 인증 특징 세트들 (360)은 여러 특징들을 가질 수 있다. 인증 특징 세트들 (360)은 특징들 생성에 사용되는 기술에 따라 1, 3, 7, 10 또는 그 이상의 특징들을 가질 수 있다는 것을 이해하여야 한다. 예를들면, 영상-기반의 특징 세트는 백 심지어는 천 개이상의 특징들을 포함할 수 있다. 인증 특징 세트들은 심볼 데이터 (예를들면, 문자, 영문자, 바코드, QR 코드, 매트릭스 코드, 색 코드, 기타 등)를 포함할 수 있지만, 특징 세트는 유효한 인증 객체들와 연관된 심볼 태크에서 유도되는 정보는 부재일 수 있다. 예를들면, 컨텐츠 활성화에 유용하지만 특징 세트는 유효한 인증 객체와 연관된 임의의 바코드 데이터가 부재할 수 있다.

인증 특징 세트들 (360)은 도 3에서 차별적이고 개별적으로 관리되는 객체들로 제시된다. 각각의 세트 (360)는 각자의 객체들 (349A - 349C)를 식별하거나 인증하기 위하여 개별적으로 사용된다. 또한 세트들 (360)는 조합되어 집합적 토큰 또는 키를 생성하여 사용자 또는 요청된 상호작용을 식별 또는 인증한다. 또한 본원에 개시된 바와 같이, 상호작용 공간에서 세트들 (360)의 서로에 대한 병치를 이용하여 컨텐츠를 활성화할 수 있는 풍부한 인증, 허여, 지시, 제어, 또는 관리 시스템을 제공한다.

도 4는 인증 특징 세트들 (460)로 칭하는 다중 인증 특징 세트들 (460A, 460B, 460C)의 병치 객체 (470) 유도 과정이다. 상기된 바와 같이, 인증 특징 세트들 (460)는 상호작용 공간 (400)에 존재한다. 논의를 위하여 상호작용 공간 (400)은 물리적 공간 (즉, X, Y, 축들)으로 도시되고 시간 성분 (즉, t 축)을 가진다. 상호작용 공간 (400)은 추출 정도, 상황 정보, 인구통계, 또는 기타 상호작용과 관련된 양태를 포함한 다른 차원을 가질 수 있다는 것을 이해하여야 한다. 각각의 상호작용 공간 (400)에서 각각의 점은 벡터 또는 N-투플로 나타낸다.

각각의 인증 특징 세트 (460)는 상호작용 공간 내에 존재한다. 예를들면, 세트 (460A)는 영상화 식물 객체 (도 3 참조, 세트 (360A))에서 추출된 하나 이상의 SIFT 특징들을 나타내고, 각각의 특징은 도시된 바와 같이 물리적 공간-시간에서 상대 위치에 해당된다. SIFT 특징들의 위치는 2012.6.7자 출원된 McKinnon의 “깊이 추정 판단, 시스템 및 방법”이라는 명칭의, U.S. 특허출원공개 2012/0163672에 개시된 기술에 가능한 기초한 피사계 심도 (depth of field) 계산으로 결정된다. 특징들 위치는 또한 모션 데이터가 이용 가능하면 vSLAM을 이용하여 추출될 수 있다. 또한, 시간에 대한 위치는 디지털 표현 내의 시간-스탬프, 관찰에 기반한 시간-스탬프, 또는 데이터 도달시간에 기초하여 결정될 수 있다. 상호작용 공간 원점은 포착 장치 (예를들면, GPS, 관성 이동, 기타 등) 위치 데이터, 배경에 대한 포착 장치의 위치 또는 배향, 또는 기타 위치-기반의 정보에서 판단될 수 있다. 따라서, 각각의 특징 세트 (460A, 460B, 460C)는 상호작용 공간 (400)에서 점 또는 위치로 존재한다.

특징 세트들 (460)의 특징 군집은 인증 객체에 대한 군집을 식별함으로써 군으로 처리될 수 있다. 군집들은 상호작용 공간 내에서 하나 이상의 군집분석 기술을 통해 검색되거나 추출된다. 예를들면, 특징 세트들 (460A)는 K-평균 (즉, 센트로이드-기반의 군집화), EM 군집화 (즉, 배포 기반의 군집화), DBSCAN (즉, 밀도 기반의 군집화), CLIQUE 또는 SUBCLU (즉, 고차 데이터에서의 부-공간 군집화), 또는 기타 유형의 군집화 기술을 이용하여 발견될 수 있다. 따라서, 각각의 군집은 유효한 인증 객체와 연결되도록 식별된다. 또한, 군집들은 공간에 걸친 크기를 가질 수 있다; "무게" 중심, 센트로이드, 중심, 수, 폭, 범위, 밀도, 길이, 폭, 주기, 또는 다른 특성. 이러한 특성들은 이후 병치 속성들 판단에사용되고 컨텐츠 접근 수준 판단에 유익하다.

특징 세트들 (460) 간의 병치는 상호작용 공간 (400)의 다양한 양태들 또는 특성들에 기초하여 결정된다. 도시된 실시예에서, 병치는 특징 세트들 (460) 중 하나와 다른 것과의 상대 배향 (461)에 기초하여 결정된다. 특징 세트의 바람직한 방향이 선택되면 (즉, 세트 중 어떠한 요소가 세트 중 바람직한 “최상부” 또는 “상부”로 고려되는 것인지를 판단), 배향은 상호작용 공간 원점에 대한 절대 각도들에 기초하거나, 또는 세트 간의 상대 각도에 기초하여 나타낸다. 배향 (461)은 상호작용 공간 (400)에 대한 오일러 각도 집합으로 나타낼 수 있다. 또한, 병치는 특징 세트들 (460) 간의 상대 위치 (463)에 기초하여 결정될 수 있다. 상대 위치 (463)는 상호작용 공간의 각각의 차원에 해당하는 요소를 가지는 벡터로 나타내고 각각의 요소값은 거리 또는 거리상의 차이를 나타낸다. 3 차원 공간에서, 특징 세트 (460A, 460C) 간 상대 위치 (463)는 V = {X_C ? X_A, Y_C ? Y_A, Z_C ? Z_A}로 나타낸다. 또한 상대 위치는 상호작용 공간 원점에 대한 절대 좌표 상대에 기반하여 나타낸다. 또한, 특징 세트들 (460) 간의 병치는 상대 시간 (465)에 기반할 수 있다. 상대 시간 (465)은 상호작용에 대하여 각각의 특징 세트 (460)가 발생 또는 검출될 때에 기반하여 표현된다. 다른 차원의 상호작용 공간 (400) 역시 특징 세트들 (460) 간의 병치를 계산 또는 유도하기 위하여 사용될 수 있다는 것을 이해하여야 한다.

병치 (470)는 특징 세트들 (460A, 460B, 460C) 각각에서 유도되는 병치 정보 (470A, 470B, 470C)의 집합을 나타낸다. 병치 정보는 현재 관심의 상호작용과 관련되는 병치 속성들의 세트이다. 속성들은 식별된 객체 이름, 특징 세트에서의 관련 특징들 수, 객체들 또는 특징들의 유형, 특징 세트의 센트로이드, 상대값들 또는 위치들, 또는 기타 병치 속성들을 포함한다.

도 5는 인증 에이전트 (580)에 의한, 컨텐츠 (593)에 대한 하나 이상의 접근 수준 (583)의 설정 방법을 도시한 것이다. 도시된 실시예에서, 인증 에이전트 (580)는 접근 수준을 선택하기 위하여 사용되는 질의 또는 다른 기준을 발생시키는 기초로 하나 이상의 병치 (570)를 활용한다. 예를들면, 질의는 객체 식별자 (예를들면, 이름, 브랜드, 유형, GUID, UUID, 시리얼 번호 등) 또는 기타 객체 속성들 및 해당 인증 특징 세트들과 관련된 병치 속성들 (예를들면, 위치, 군집, 군, 배향, 시간, 기타 등)을 포함할 수 있다. 인증 에이전트 (580)는 질의를 인증 데이터베이스 (550)로 전송하고, 이는 병치 (570)에 의해 풀리는 컨텐츠 정보를 돌려준다. 컨텐츠 정보는 하나 이상의 컨텐츠 (593)에 접근할 수 있는 접근 수준 (583)을 포함한다.

접근 수준 (583)은 사용자가 컨텐츠 (593)와 상호작용할 수 있는 정도 또는 수준을 나타낸다. 도시된 바와 같이 컨텐츠 (593)는 컨텐츠 본질에 따라 다중 접근 수준을 포함하고, 각각의 수준은 병치 (570)에 기반하여 활성된다. 예를들면, 컨텐츠 (593)가 휴대폰으로 접근할 수 있는 증상 현실 프로모션 게임을 포함하면, 게임 접근 수준은 유효한 인증 객체들, 음료 캔 및 Lakers® NBA 포스터의 상이한 병치에 의해 결정된다. 사용자가 음료수를 포스터 주위 또는 포스터 특징들 (예를들면, 선수들 사진, 로고, 기타 등) 주위에 놓으면, 사용자는 더 많은 접근이 가능하다. 아마도, Pepsi® 캔을 Kobe Bryant 우측에 놓는 것은 접근 수준 1에 해당하고, 이는 사용자가 단순히 게임 컨텐츠를 관찰 또는 재생할 수 있는 것이다. 사용자가 Coke® 를 Kobe Bryant 우측에 놓으면, 아마도 사용자는 접근 수준 2를 달성하고 무료 쿠폰 또는 프로모션을 받을 수 있다. 캔을 상대 위치로 더욱 이동시키면 더욱 높은 제어를 제공하여 사용자는 컨텐츠를 시간차 시청, 개시 또는 트랜잭션에 참여, 컨텐츠를 복사 또는 기록, 컨텐츠 편집, 컨텐츠 공유, 직간접적으로 컨텐츠와 상호작용, 또는 달리 컨텐츠 접근이 가능하다. 따라서 특히 프로모션이 유효한 인증 객체와 연관될 때 출력장치는 컨텐츠 (593)로서 제품과 관련된 프로모션을 제시할 수 있다. 음료 캔을 예시하였지만, 프로모션은 쿠폰, 상품, 오퍼, 세일, 복권 티켓, 광고, 또는 다른 유형의 프로모션을 포함할 수 있다.

접근 수준 (583)은 제어 수단과 더불어 보안 수단을 나타낸다는 것을 이해하여야 한다. 사용자는 두 객체들을 서로에 대하여 배치하고 은행 계정 풀기 또는 트랜잭션 허여를 위한 토큰으로서 구성을 시스템에 등록한다. 사용자는 제1 배열과 유사하지만, 상이한 접근 수준 (583)에 따라 컨텐츠를 활성시킬 수 있는 제2 배열을 더욱 등록할 수 있다. 예를들면, 운전면허증을 식물 우측에 놓으면 개인의 은행 계정 거래가 활성된다. 그러나, 협박 상황에서는, 트랜잭션 활성화를 모의하는 것이 유리할 수 있다. 아마도 운전면허증을 식물 좌측에 놓으면 악의성 활성화를 기관에 통지하면서 허위 트랜잭션이 활성될 수 있다.

컨텐츠 (593)는 광범위한 컨텐츠모달리티들 또는 들 유형들을 포함한다. 예시적 컨텐츠 유형은 어플리케이션 소프트웨어 또는 모듈, 영상 데이터, 비디오 데이터, 오디오 데이터, 의료 기록, 게임 데이터, 프로모션 데이터, 상품 또는 서비스 정보, 가상 또는 증상 현실 데이터, 지시, 명령, 로봇 명령 또는 지시, 또는 기타 유형의 데이터를 포함한다. 또한 예시적 컨텐츠는 트랜잭션 정보, 오락 정보, 뉴스 정보, 스포츠 정보, 프로모션 정보, 의료 정보, 보안 정보, 게임 정보, 어플리케이션 정보, 건강관리 정보, 사무실 또는 작업자 정보, 또는 기타 유형의 정보를 포함한다. 예시적 모달리티는 청각, 시각, 운동감각, 제스쳐, 후각, 촉각, 미각, 센서 정보, 또는 기타 유형의 모달리티들을 포함한다. 또한 컨텐츠는 다중 유형의 미디어를 포함하고 트랜스-미디어 컨텐츠일 수 있다.

도 6은 개시된 기술에 기반하여 컨텐츠를 활성화하기 위한 방법 (600)을 도시한 것이다. 단계 610는 전자장치가 인증 에이전트에 접근하는 단계를 포함한다. 일부 실시태양들에서, 사용자는 소프트웨어 명령들을 전자장치의 비-일시적 컴퓨터 판독 가능한 메모리에 설치하고 상기 명령들은 처리기를 실행하여 인증 에이전트 서비스를 제공한다. 인증 에이전트는 단독 어플리케이션, 라이브러리의 모듈, 또는 운영 시스템의 일체화 일부로서 기능할 수 있다. 다른 실시태양들에서, 인증 에이전트는 네트워크로 통해 접근되고 이때 하나 이상의 원격 연산 장치들이 인증 에이전트 서비스 접근을 제공한다. 예를들면, 인증 에이전트는 가상화 클라우드-기반 시스템 (예를들면, PaaS, IaaS, SaaS, 기타 등)으로서 작동하는 행위별 수가 서비스로 기능한다. 예시적 전자장치는 스마트폰, 차량, 전자제품, 키오스크, 게임 시스템, 자동판매기, 의료 장치, ATM, 또는 기타 유형의 전자장치를 포함한다.

단계 620는 전자장치가 다수의 객체들을 포함하는 물리적 또는 가상 환경과의 상호작용의 디지털 표현을 획득하는 단계를 포함한다. 전자장치는 하나 이상의 센서들로부터 디지털 표현을 획득한다. 센서들은 전자장치 내부에 또는 일체화될 수 있거나 또는 장치와 원격일 수 있다. 예를들면, 전자장치가 스마트폰으로 구성되는 실시태양에서, 센서들은 일체화 카메라, 가속계, 터치 디스플레이, 마이크, GPS 센서, 무선 송수신기, 또는 다른 센서들을 포함한다. 원격 센서들은 전자장치 외부의 통신 링크를 통해 접근되는 보안 카메라, 기후 센서들, 의료 센서들, 홀 효과 프로브, 또는 다른 감지 장치를 포함한다. 상호작용은 오디오 레코딩, 제품 구매, 영상 포착, 소셜 네트워크에서의 컨텐츠 공유, 전자장치 작동, 게임 플레이, 정원가꾸기, 또는 감지 가능한 기타 유형의 상호작용을 포함한다.

디지털 표현은 다양한 센서들에서 획득되는 환경의 데이터 표현으로 구성된다. 센서들은 광범위한 데이터 모달리티들을 포착할 수 있으므로, 본 방법은 디지털 표현의 일부로서 다중-모달 데이터 획득 단계를 더욱 포함한다. 예를들면, 다중-모달 데이터는 둘 이상의 영상 데이터, 모션 데이터, 오디오 데이터, 온도 데이터, 위치 데이터, 위치 데이터, 배향 데이터, 메타데이터, 화학 데이터, 의료 데이터, 사용자 데이터, 운동감각 데이터, 생체 데이터, 언어 데이터, 가속 데이터, 방위 데이터, 또는 단계 625에 의해 제안된 바와 같은 기타 유형의 데이터를 포함한다.

단계 630은 환경 중 다수의 객체들에서 유효한 인증 객체들로서 디지털 표현에 기반하여 적어도 두 상이한 객체들을 구분하는 단계를 포함한다. 일부 실시태양들에서 인식 플랫폼은 디지털 표현을 분석하여 디지털 신호들을 하나 이상의 속성들 또는 특성들로 변환시키고, 이들을 이용하여 가능한 데이터베이스 룩-업을 통해 이질적인 객체들을 식별 또는 인식한다. 인식 플랫폼은 공지 객체들을 추출 속성들과 매칭시켜 환경 중 다중 객체들을 인식한다. 공지 객체 데이터베이스 또는 인증 객체 등록부에 저장된 객체 정보를 참조하여 인식된객체들은 유효한 인증 객체들 대 비-인증 객체들로 구분된다. 매칭이 발견되고 매칭이 유효한 인증 객체로 등록된 경우, 인식 플랫폼은 인증 에이전트에게 적어도 환경 중 매칭되는 객체들 일부는 유효한 인증 객체들이라는 것을 통지한다. 인식 플랫폼은 전자장치에 배치되거나 또는 네트워크를 통해 인증 에이전트와 연결될 수 있는 원격 서버에 배치될 수 있다는 것을 이해하여야 한다.

단계 640는 디지털 제시로부터 제1 유효한 인증 객체와 연관된 적어도 제1 인증 특징세트, 및 디지털 제시로부터 제2 유효한 인증 객체와 연관된 상이한 제2 인증 특징 세트를 추출하는 단계를 포함한다. 인증 특징 세트들은 추출 속성들 또는 디지털 표현 특성들을 포함하거나, 또는 간접 또는 추론적 특징들을 포함한다. 추출 속성들은 특징들 예컨대영상 기술자 또는 키 포인트, 오디오 신호 특성들, 생체 신호 강도, 또는 기타 이러한 특징들을 포함한다. 간접 또는 추론 특징들은 인식된객체들과 관련된 객체 정보 획득을 통해 획득된다; 네임, 클라스, 브랜드, 정체, 메타데이터, 또는 다른 특성. 또한, 단계 641에서 제안된 바와 같이, 인증 특징 세트들 추출은 상이한 모달리티들; 예를들면 영상 데이터 및 오디오 데이터의 적어도 두 특징 세트들의 추출을 포함한다. 또한, 단계 643에서 특징 세트들 추출은 디지털 표현에서 유효한 인증 객체와 관련된 영상 데이터 (예를들면, SIFT 특징, 영상 특징, 피사체 심도, 기타 등)로부터 영상 특징들의 추출을 포함한다. 또한, 단계 645는 유효한 인증 객체들과 연관된 디지털 표현에서 인증 특징으로서 하쉬 계산을 포함한다.

인증 특징 세트들은 유효한 인증 객체와 연관된 모든 가능한 특징들을 나타낼 필요는 없다는 것을 이해하여야 한다. 오히려, 인증 특징들은 단지 객체 일부와 연관된 특징들; 전, 측, 후 또는 다른 일부를 나타낼 수 있다. 예를들면, 인증 특징 세트는 인증 객체의 단지 일부의 영상 데이터를 포함할 수 있다. 따라서, 단일 인증 객체의 위치, 배향, 대향, 또는 범위는 컨텐츠 활성화에 영향을 준다. 인증 특징들은 1, 2, 7 이상 유형의 특징 데이터를 포함한다. 예시적 특징 데이터는 영상 데이터, 모션 데이터, 오디오 데이터, 온도 데이터, 위치 데이터, 위치 데이터, 배향 데이터, 메타데이터, 사용자 데이터, 운동감각 데이터, 생체 데이터, 언어 데이터, 가속 데이터, 방위 데이터, 또는 기타 유형의 데이터에 기초할 수 있다.

단계 650는 각각의 유효한 인증 객체와 연관된 인증 특징 세트들 간 병치 유도 단계를 포함한다. 병치는 상호작용 공간 내에서 특징 세트들의 위치, 배열, 상대 배치, 또는 다른 구성을 기술하는 병치 속성들을 포함한 구성된 또는 실체화 객체로 고려된다. 3 차원 물리적 공간 및 인증 특징 세트들이 영상 데이터 특징들 (예를들면, SIFT 특징들, BRISK 키 포인트, vSLAM 좌표, 등)을 포함하는 경우, 특징 세트들은 3D 공간내 크기 또는 위치를 가지는 영상 특징들의 군집을 포함할 수 있다. 따라서, 병치는 다중 특징 세트들이 3D 공간내에서 서로 배열되는 방법에 대한 정보를 포함한다. 병치 속성들은 개별 특징들, 특징들의 군집, 또는 특징들의 부-집합으로 정의될 수 있다. 예를들면, 인증 특징들이 다중 영상 특징의 군집을 포함하면, 병치는 3D 공간에서 제1 군집 센트로이드 및 제2 군집 센트로이드 사이 기하 거리로 기술될 수 있다. 상호작용 공간은 물리적 차원 이상의 차원으로 정의되는 다중-차원 공간일 수 있다는 것을 이해하여야 한다. 예시적 추가 차원들은 시간, 사용자 인구통계, 추출된 정서 또는 의도, 사회적 관계, 또는 기타 차원을 포함한다.

병치는 상호작용 공간내에서 인증 특징 세트들의 배열과 관련하여 기술되므로, 병치는 상호작용 공간에서 상대 배치에 기반하여 추출된 속성들을 포함한다는 것을 이해하여야 한다. 따라서, 단계 651은 디지털 표현 내의 해당 유효한 인증 객체들의 상대 위치에서 추출되는 상대 위치 정보 기반의 인증 특징 세트들의 병치를 결정하는 단계를 포함한다. 또한 상대 위치 정보는 인증 특징 세트들로부터 직접 결정될 수 있다. 상대 위치는 물리적 길이 (예를들면, 인치, 피트, 마일, 센티미터, 미터, 킬로미터, 기타 등), 현장들 간의 상대적 차이 (예를들면, 정서 척도), 또는 상호작용 공간내의 기타 상대 측정값일 수 있다. 유사한 맥락에서, 단계 653은 디지털 표현에서 해당 유효한 인증 객체들의 상대 배향 정보에 기반하거나 또는 상호작용 공간내에서 인증 특징 세트들의 상대 배향에서 직접적으로 인증 특징 세트들의 병치 결정 단계를 포함한다. 상대 배향 정보는 기준점 (예를들면, 카메라, 사용자, 지리-위치, 기타 등)에 대한 각도를 포함하거나, 또는 서로에 대한 특징 세트들 대향으로 표현되는 간단한 배향 (예를들면, 위, 아래, 좌, 우, 대향, 기타 등)을 포함한다. 또한, 단계 655는 인증 특징 세트들에 대하여 상대 시간 정보에 기반한 병치 결정 단계를 포함한다. 상대 시간은 제1 특징 세트 출현 또는 제2 특징 세트의 일시적 존재에 대한 변화의 때로 표현된다. 상대 시간 정보는 모션 정보 (예를들면, 겉보기 경로, 속도, 가속, 저크 (jerk), 기타 등), 출현 시간, 소멸 시간, 변경 시간 (예를들면, 특징 세트의 회전, 대향 변화, 이동, 기타 등), 군집에서 특징들의 이동 또는 변화, 또는 기타 시간 관련 정보를 더욱 포함한다.

인증 특징 세트들, 또는 컨텐츠 트리거 기준은, 지리-위치 데이터에 의존될 수 있다는 것을 이해하여야 한다. 지리-위치 데이터는 건물 내 또는 심지어 건물 외부에서의 상호작용 위치를 반영한다. 예를들면, 위치 데이터는 GPS, 또는 비-GPS 기술을 통해 획득된다. 예시적 비-GPS 기술은 환경에 존재하는 시각 특징들에 대한 시각-기반의 지도 (예를들면, SLAM, vSLAM)를 이용하는 것을 포함한다. 또 다른 비-GPS 기술의 예로는 건물을 관통할 수 있는 이리듐 위성 신호들 (예를들면, 1626.104 MHz, 20.32 mS QPSK 버스트, 기타 등) 이용을 포함한다. 이러한 비-GPS 지리-위치 정보는 사용자 인증 또는 컨텐츠 활성화을 위한 병치 속성들에 포함된다.

단계 660는 가능한 인증 에이전트에 의한, 인증 특징 세트들 서로에 대한 병치 함수로서 컨텐츠 접근 수준 설정 단계를 포함한다. 컨텐츠 접근 수준은 병치 속성들과 컨텐츠 접근 방법을 정한 지침 (policy) 또는 규칙 집합에 구속된 속성들을 비교함으로써 결정된다. 예를들면, 컨텐츠가 관련성이 있다고 식별되면, 컨텐츠는 연관된 접근 지침을 가지고 지침은 병치 속성들로 정의된 접근 수준 기준을 나타낸다. 지침은 컨텐츠에 직접, 또는 컨텐츠와는 별개로 구속될 수 있다. 예시로서 (도 5 참고), 인증 에이전트는 접근 수준 데이터베이스와 연결되고 병치 속성들을 이용하여 데이터베이스 표적 질의를 생성한다. 질의에 대한 응답으로, 데이터베이스는 질의에 만족되는 기준을 가지는 접근 수준 또는 지침을 리턴한다.

단계 670은 컨텐츠 접근 수준에 기반하여 가능한 인증 에이전트를 통한 컨텐츠 활성화 단계를 포함한다. 활성화는 상이한 기술로 진행될 수 있다. 일부 실시태양들에서, 컨텐츠 또는 컨텐츠 일부는 표적 출력장치 (예를들면, 전자장치)에 선험적으로 존재하고 장치는 컨텐츠 접근 수준에 기반하여 컨텐츠에 접근이 허여된다. 다른 실시태양들에서, 컨텐츠는 지시 또는 명령을 표적 출력장치에 제공함으로써 추가 동작을 개시하여 활성된다. 추가 동작은 장치에 컨텐츠 다운로드 개시 명령, 금융 거래 수행으로 컨텐츠 구매, 컨텐츠 플레이어 개시, 가상머신 개시, 또는 기타 동작을 포함한다.

컨텐츠 활성화는 단계 675에 의해 제안된 활성화 트리거 기준 함수로서 컨텐츠를 활성화하는 단계를 포함한다. 트리거 기준은 상호작용 공간에서 실제로 어떠한 컨텐츠가 가용한가를 표기하기 위하여 사용된다. 예를들면, 특정한 컨텐츠는 규정된 지리-펜스 내에서 또는 정의된 시간 주기에서만 가용하다. 따라서, 컨텐츠는 1) 트리거 기준에 기초하여 가용되고, 2) 접근 수준에 기초하여 제어된다. 트리거 기준은 상호작용 공간의 속성들 또는 차원들에 기초하여 정의된다. 따라서 활성화 트리거 기준은 절대 또는 상대 시간, 인증 요청수 또는 다른 인증 메트릭스, 인증 특징들 본질 (예를들면, 영상 대 소리), 인증 특징들 외의 인자들 (예를들면, 상황정보, 지리-펜스, 등), 인증 특징들 배제 인자 (즉, 인증 특징들에 의존하지 않음), 또는 기타 인자들에 따라 달라진다.

단계 680은 가능한 인증 에이전트에 의한, 컨텐츠 접근 수준에 따라 컨텐츠를 제시하도록 출력장치 구성단계를 포함한다. 언급된 바와 같이, 출력장치는 하나 이상의 지시를 출력장치로 전송하여 동작을 취하도록 구성된다. 장치 또는 연관 컨텐츠 플레이어를 구성하는 지시는, 컨텐츠 본질에 따라 다르다. 예를들면, 컨텐츠가 미디어 파일 (예를들면, 비디오, 음악, 기타 등)을 포함하면, 지시는 출력장치에 있는 해당 플레이어가 허여된 접근 수준에 기초하여 컨텐츠의 시간차 구현을 제한 또는 가능하게 하는 것이다. 그러나, 컨텐츠가 3D 프린터 파일을 포함하면, 지시는 프린터가 파일로부터 유색 3D 객체 생성을 제한하거나 가능하게 하는 것이다.

일부 실시태양들에서, 출력장치 구성은 단계 681에서 제안되는 바와 같이 가상머신 개시를 위한 출력장치로의 명령을 포함한다. 가상머신은 Java® 가상머신,.NET® 가상머신, Python 가상머신, VMWare® 가상머신, 또는 다른 가상머신을 포함한다. 접근 수준에 기초하여 사용자로부터 컨텐츠가 격리되므로 가상머신 이용은 유익하다. 예를들면, 가상머신이 개시되고 컨텐츠가 보안 메모리 (예를들면, 암호화 메모리, 보안 컨테이너, FIPS-140, 기타 등)에 저장된다. 본 방법은 단계 683, 접근 수준에 따라 컨텐츠 권리에 대한 가상머신 보안화 단계를 더욱 포함한다. 이후 가상머신 제어기 (예를들면, 컨텐츠 제공자)는 사용자로 하여금 컨텐츠 시청을 허용하면서 제어기는 접근 제한을 보장할 수 있다. 컨텐츠 플레이어, 또는 가상머신 내의 컨텐츠는 보안 토큰, 컨텐츠 암호화, 또는 기타 보안 수단 적용에 의해 컨텐츠 또는 플레이어를 잠금으로써 보안화된다. 또한, 단계 685는 접근 수준에 따라 가상머신의 컨텐츠 접근 제한 단계를 포함한다. 상기된 바와 같이, 컨텐츠 제시에 대하여 가상머신은 컨텐츠 플레이어 또는 출력장치 특징들을 잠그도록 지시된다.

실시예들

다음은 본 발명의 다양한 실시태양들을 설명한다.

인증 객체들 기반의 컨텐츠 활성화

본 발명의 일 양태는 인증 객체들 기반의 컨텐츠 활성화를 포함하고, 이는 컨텐츠 활성화 방법을 포함한다. 본 방법은 원하는 컨텐츠에 대하여 사용자, 장치, 또는 다른 실체에게 허여하는 인증 에이전트로의 접근 단계를 포함한다. 접근은 전자장치 인터페이스를 통하여, 휴대폰과의 가능한 인터넷 연결에 의해 제공된다. 일부 실시태양들에서, 인증 에이전트는, 가능한 생태계의 다른 요소들과 함게, 컨텐츠 제공자들 또는 소비자들에게 행위별 수가 서비스 형태로 제공된다.

본 방법은 적어도 하나의 물리적 객체와의 상호작용의 다중-모달 디지털 표현 획득 단계를 포함한다. 다중-모달 디지털 표현은 상기된 바와 같은 다양한 유형의 데이터를 포함하고 현장 또는 물리적 객체와 실체의 상호작용을 반영한다. 디지털 표현은 전자장치 또는 다른 데이터 소스로부터의 데이터를 포함한다는 것을 이해하여야 한다. 상호작용은 물리적 객체의 영상 획득, 물리적 객체 주위에 존재, 물리적으로 객체와 상호작용, 물리적 객체를 모니터링, 또는 기타 유형의 직간접적 상호작용을 포함한다. 다중-모달 디지털 표현에서 예시적 모달리티들은 1, 2 또는 그 이상 유형의 데이터: 영상 데이터, 모션 데이터, 오디오 데이터, 온도 데이터, 위치 데이터, 위치 데이터, 배향 데이터, 메타데이터, 사용자 데이터, 운동감각 데이터, 생체 데이터, 언어 데이터, 가속 데이터, 속도 데이터, 방위 데이터, 기준선 데이터 변화, 또는 기타 유형의 데이터를 포함한다.

상기된 바와 같이, 디지털 표현을 분석하는 알고리즘은 객체 그 자체에 대하여 불가지론이므로 물리적 객체는 임의의 유형의 객체를 포함할 수 있다. 오히려, 알고리즘은 연관 데이터에서 발견되는 특징들 (예를들면, SIFT 특징들, 오디오 특징들, 센서 데이터 서명, 기타 등)을 찾는다. 물리적 객체는 인쇄 매체, 실질적인 3 차원 객체들, 또는 심지어 연산 장치들이 제시하는 구현 영상을 포함한 상이한 유형의 객체들을 포함한다. 예시적 인쇄 매체는 운전면허증, 서명, 포스터, 광고판, 사진, 구현 영상, 서적, 신문, 또는 잡지를 포함한다. 인증 기초로 사용 가능한 예시적 3 차원 객체들은 개인, 안면, 동물, 차량, 건물, 장난감, 식물, 연산 장치, 구조물, 인형, 또는 다른 객체들을 포함한다. 예시적 구현 영상은 컴퓨터 화면, 키오스크, 전자 광고판, 텔레비전, 영화 스크린, 게임 시스템, 또는 기타 유형의 구현 영상들을 포함한다.

인증 특징들은 또한 디지털 표현의 모달리티들에 기반한 상이한 모달리티들을 포함한다. 각 유형의 모달리티는 별개로 또는 함께 처리되어 더욱 특수한 또는 복잡한 인증 경로를 생성한다. 더욱 바람직한 실시태양들에서, 인증 특징들은 적어도 두 종의 상이한 모달리티들, 예를들면 영상 데이터 및 오디오 데이터를 포함한다. 특히 고려되는 인증 특징은 인증 객체 또는 적어도 인증 객체 일부와 연관된 영상 데이터를 포함한다. 일부 실시태양들에서, 인증 특징은 하쉬, 가능한 영상의 인지 하쉬 수치를 포함한다.

본 방법은 또한 상호작용과 연관된 다른 객체들에서 물리적 객체를 인식하는 단계를 포함하고, 상기 물리적 객체는 유효한 인증 객체로서 식별된다. 물리적 객체는 객체 특징들을 포함한 다중-모달 디지털 표현에서 추출된 정보에 기초하여 식별된다. 물리적 객체는 디지털 표현에서 추출된 것과 유사한 객체 특징들을 가지는 인증 객체들을 포함한 인증 객체 데이터베이스을 검색하여 인식된다.

본 방법은 또한 인증 객체와 관련된 다수의 인증 특징들을 추출하는 단계를 포함하고 상기 인증 특징들은 인증 수행을 위한 정량화 수치 또는 파라미터들이다. 예를들면, 인증 특징들은 키들, 가능한 SIFT 특징들, 오디오 특징들, 하쉬 수치들, 영상 또는 영상 데이터 특징, 영상 또는 오디오로부터의 피사체 심도 정보, 또는 디지털 표현 또는 인증 객체 연관 정보에서 추출될 수 있는 기타 유형의 데이터인 키들이다.

물리적 객체와의 상호작용 및 그 결과인 디지털 표현은 도 1에 도시된 바와 같이 다중 인증 객체들과의 상호작용을 포함한다는 것을 이해하여야 한다. 현장의 다중 객체들이 인증 객체들인 경우, 인증 특징들은 객체들 서로에 대한 병치 또는 배열에서 추출될 수 있다. 인증 특징들은 물리적 객체들 배열과 연관된 상대 위치 정보를 포함하거나, 또는 물리적 객체들과 연관된 상대 배향 정보를 포함한다. 예를들면, 인증 객체들이 운전면허증 및 커피잔을 포함하면, 운전면허증에 대한 잔 손잡이 배향은 원하는 접근 수준을 의미할 수 있다. 손잡이가 면허증과 반대로 지향되면, 아마도 최소한의 컨텐츠가 활성될 수 있다. 손잡이가 면허증을 향하면 아마도 완전한 컨텐츠가 활성될 수 있다.

컨텐츠가 활성되기 전 인증은 하나 이상의 인증 특징들의 충분한 존재, 또는 심지어 부재가 필요하다. 일부 상황에서 인증 에이전트는 적어도 3종의 인증 특징들, 또는 심지어 7 이상의 인증 특징들을 요구할 수 있다. 환자가 응급실로 들어간 건강관리 상황을 고려하자. 의사는 환자 (즉, 실세계 3D 객체) 영상을 찍고, 태블릿 컴퓨터에 환자 이름을 말하고, 의사 이름을 말한다. 인식 플랫폼은 영상 및 오디오 데이터 (예를들면, 다중-모달 상호작용의 디지털 표현)을 분석하고 환자 및 음성과 연관된 특징들을 추출한다. 또한, 태블릿의 디지털 표현은 GPS 위치, 시간, 또는 다른 정보를 포함할 수 있다. 추출된 특징들을 이용하여 하나 이상의 인증 객체들을 식별하고, 본 상황에서 인증 객체는 환자 안면을 포함한다. 응답에서, 인증 에이전트는 디지털 표현으로부터 인증 특징 세트 및 인증 객체 정보로부터 정보를 추출한다. 인증 특징들은 (a) 환자 안면의 SIFT 특징들, (b) 의사 음성 패턴, (c) 환자 이름, (d) 의사 이름, (e) 응급실 GPS 좌표, (f) 시간, (g) 개인 안면의 피사체 심도, 또는 (h) 가능한 환자의 운전면허증 또는 건강관리 카드의 영상을 포함한다. 따라서, 다수의 인증 특징들의 군을 이용하여 컨텐츠 접근 수준을 결정한다. 본 실시예에서, 컨텐츠 접근 수준으로 응급 상황에서 의사는 환자의 모든 전자 의료 기록에 접근할 수 있다.

인증 특징들에 기초하여, 본 방법은 컨텐츠 접근 수준 설정 단계를 더욱 포함한다. 컨텐츠 접근 수준은 어떠한, 무슨 어느 정도의 컨텐츠가 컨텐츠 소비자에게 이용될 수 있는지에 대한 표시이다. 컨텐츠는 광범위한 미디어 유형 또는 정보 예컨대 거래 정보, 오락 정보, 뉴스 정보, 스포츠 정보, 프로모션 정보, 의료 정보, 보안 정보, 게임 정보, 어플리케이션 또는 소프트웨어 명령들, 명령 정보, 또는 기타 유형의 데이터를 포함한다.

특히 바람직한 유형의 컨텐츠는 상품, 서비스, 또는 기타 유형의 제품 관련 프로모션 정보를 포함한다. 예를들면, 물리적 객체는 식료품에서 구입될 수 있는 제품이다. 제품 그 자체가 인증 객체이고, 프로모션 정보는 제품 구입에 적용되는 쿠폰, 상품, 광고, 또는 다른 유형의 프로모션 정보를 포함한다.

본 방법은 또한 접근 수준에 따른 컨텐츠 활성화 단계를 포함한다. 활성화는 인증 에이전트에서 발생하거나 또는 컨텐츠를 활성시키는 컨텐츠 서버에 접근 수준을 제공하는 단계를 포함한다. 일부 실시태양들에서, 활성화가 발생되기 전에 추가적인 활성화 트리거 기준이 만족되어야 한다. 예를들면, 활성화 트리거 기은 시스템으로 전송되는 또는 절대 시간에서의 다수의 인증 요청을 필요로 할 수 있다. 아마도 100명의 사용자들이 영화 포스터 영상을 포착할 때만 대화형 스토리 에피소드는 활성된다. 다른 예시적 트리거 기준은 인증 기준 외의 인자들, 또는 인증 기준 배제 인자들을 포함한다. 예를들면, 인증 기준은 하루 중 특정한 시간 또는 뉴스 속보에 따라 달라질 수 있다.

본 방법은 또한 전자장치, 예를들면 휴대폰 또는 태블릿 컴퓨터에, 접근 수준에 따른 컨텐츠 제시가 되도록 구성하는 단계를 포함한다. 상기된 바와 같이, 컨텐츠 제시 또는 구현을 위한 전자장치 구성 단계은 컨텐츠 서버 또는 컨텐츠 제공자 제어하에서 가상머신, 바람직하게는 보안 가상머신을 개시하도록 하기 위한 전자장치로의 명령을 포함한다. 가상머신은 접근 수준에 기초하여 컨텐츠 접근을 제한한다. 이러한 컨텐츠로부터 유익한 예시적 전자장치는 휴대폰, 태블릿 컴퓨터, 컴퓨터, 차량, 키오스크, 자동판매기, 로봇, 전자제품, 의료 장치, 보안 시스템, 게임 콘솔, 또는 기타 유형의 장치를 포함한다.

다중-모달 상호작용의 디지털 표현 분석에 사용되는 알고리즘은 상호작용에 참여되는 객체들 연관 특징들 또는 데이터에서의 특징들을 찾는다. 이러한 특징들은 반드시 영상에서 심볼의 복호화를 포함하거나 필요로 하지 않는다. 따라서, 인증 특징들은 심볼 태크들, 예를들면 바코드로부터 유도되는 상호작용에서의 객체 연관 정보가 없을 수 있다. 복호화 심볼 정보 (예를들면, 문자, 숫자, 바코드, 기타 등)를 사용하면 프로세스를 증가시킬 수 있다.

인증 객체로서 객체 인식에 기반한 인증

본 발명 또 다른 양태는 실제 객체를, 실제로, 인증 객체로 인식하는 것에 기초하여 컨텐츠를 활성화하는 컨텐츠 배포 시스템에 관한 것이다. 도 1에 도시된 바와 같이 배포 시스템은 인증 객체 데이터베이스, 인식 플랫폼, 및 인증 에이전트를 포함한다. 하기 설명은 도 1의 생태계를 상세히 설명한다.

인증 객체 데이터베이스는 특정 사용자들과 결합되고 또한 객체와 관련된 유효한 인증 특징 세트를 가지는 인증 요소들을 저장한다. 유효한 인증 특징들은 필수 특징들 및 연관값들 또는 조건 특징들을 나타낸다. 또한, 상호작용에서 특징들의 존재 또는 부재 및 적합한 특성들을 가질 때 인증 요소들은 인증 특징들이 열고자 하는 컨텐츠에 대한 포인터들 또는 레퍼런스들을 포함한다. 일부 실시태양들에서, 인증 객체 데이터베이스는 인증 객체들을 나타내는 수천, 수백만 또는 그 이상의 영상들을 저장한 영상 데이터베이스 또는 영상 검색 엔진을 포함한다. 본 발명을 적용하기에 적합한 예시적 영상 데이터베이스들은 Google® 영상, TinEye Reverse 영상 검색 엔진™ (URL www.tineye.com 참고), 의료 영상 데이터베이스들, 또는 기타 유형의 영상 데이터베이스들을 포함한다. 일부 실시태양들에서, 영상들은 관련 영상 인증 특징들 (예를들면, SIFT, 피사체 심도, 영상 데이터 특징, 메타데이터, 기타 등)로 색인될 수 있다.

인식 플랫폼은 특히 기타 유형의 모달리티들이 포함된 디지털 표현과 연관 영상 데이터를 처리하도록 구성된다. 인식 플랫폼이 영상 데이터를 획득하면, 영상 중 객체들과 관련된 객체 특징들을 추출한다. 바람직하게는, 인식 플랫폼은 객체 특징들을 이용하여 영상 중 객체들을 다른 객체들과 구분 또는 인식하고 상기 인식된 객체들은 인증 객체들로 고려된다. 인식 플랫폼은 객체 특징들을 인증 객체 데이터베이스에 제공하여 객체 특징들을 하나 이상의 유효한 인증 특징들과 비교하여 영상화 객체들이 진정한 인증 객체들인지를 판단한다. 하나 이상의 인증 요소가 리턴될 수 있다. 이 경우 결과 세트는 객체 특징들이 유효한 인증 특징 세트의 각각 요소를 만족하는 정도에 따라 순서가 정해진다.

인증 에이전트는 영상 특징들, 및 유효한 인증 특징들을 포함한 객체 특징들을 이용하여 상기된 바와 같이 컨텐츠 접근 수준을 결정한다. 인증 에이전트는 해당 인증 요소들의 포인터들 또는 레퍼런스들에 기초하거나 또는 사용자 요청에 기초하여 컨텐츠 접근 수준을 결정한다. 일부 실시태양들에서, 사용자는 컨텐츠 데이터베이스의 컨텐츠 객체들이 필수 인증 요소들을 지정하는 특정한 컨텐츠를 요청할 수 있다. 다른 실시태양들에서, 인증 요소들은 인증 요소에 의해 활성되는 컨텐츠를 지정할 수 있다. 컨텐츠 접근 수준이 인증 에이전트에 의해 설정되면, 인증 에이전트는 컨텐츠 서버에 사용자를 위한 컨텐츠 활성화 허여 권한을 부여한다.

포착된 비디오 스트림으로부터의 제품 정보

본 발명의 또 다른 양태는 제품 정보 획득 방법을 포함한다. 본 방법은 컨텐츠 소비자들이 비디오 스트림 중 비디오 프레임 영상 포착에 기반하여 제품 정보를 활성화하는 특정 실시태양이다. 본 방법은 인식 서버 또는 다른 유형의 인식 플랫폼로의 접근 제공단계를 포함한다. 인식 서버는 예를들면 검색 엔진 서비스로 기능하고, 소비자들은 하나 이상의 영상들을 네트워크 연결을 통해 서비스로 제공한다.

인식 서버는 전자장치 (예를들면, 휴대폰, 차량, 카메라, 태블릿 컴퓨터, 기타 등)로부터 비디오 스트림에서 포착된 비디오 프레임을 획득한다. 용어 “포착된 비디오 프레임”은 적어도 비디오 스트림의 정지 영상을 의미한다. 포착된 비디오 프레임은 비디오 스트림의 하나 이상의 실제 프레임들이고, 가능한 전자장치에서 재생되는 동안 포착된다. 또한, 포착된 비디오 프레임은 전자장치의 카메라 센서로 얻어진 정지 영상, 또는 2 이상의 실제 비디오 프레임들이 서로 이동되는 어느 정도 흐린 정지 영상을 포함한다. 인식 서버는 전자 장치로부터 포착된 비디오 프레임을 네트워크 연결을 통해 획득한다. 비디오 프레임 포착에 사용 가능한 예시적 전자장치는 휴대폰, 게임 시스템, 컴퓨터, 태블릿 컴퓨터, 키오스크, 전자 광고판, 또는 카메라 장착 장치를 포함한다.

포착된 비디오 프레임 본질과 무관하게, 인식 서버는 포착된 비디오 프레임으로부터 하나 이상의 프레임 특징들을 추출한다. 프레임 특징들은 SIFT 특징들, 인지 하쉬 수치들, 히스토그램, 인식 객체들, 또는 상기된 바와 같이 포착된 비디오 프레임에서 유도될 수 있는 기타 특징들을 포함한다.

인식 서버는 프레임 특징들을 이용하여 유사한 특징들을 가지는 공지 비디오 스트림을 식별한다. 예를들면, 인식 서버는 프레임 특징들을 질의로써 공지 비디오 스트림 데이터베이스에 제공한다. 응답으로 비디오 스트림 데이터베이스는 가능한 프레임 대 프레임으로선험적 분석된 하나 이상의 공지 비디오 스트림들을 가지는 결과 세트를 리턴한다. 결과 세트에 있는 비디오들은 하나 이상의 추출 프레임 특징들에 따라 순서가 정해진다. 또한, 결과 세트는 연관 제품 정보를 포함한 본래의 비디오 스트림들에 대한 추가 정보를 포함한다. 예를들면, 개인들은 텔레비전 쇼의 스크린 숏을 인식 서버에 제공한다. 인식 서버는 본래의 텔레비전 쇼를 식별하고 쇼에서 특징화된 또는 쇼 제시 동안에 광고들에 특징화된 제품들 목록을 리턴한다.

또한 본 방법은 제품 정보가 소비자에게 제시되도록 전자장치을 구성하는 단계를 포함한다. 제품 정보, 또는 이와 관련된 기타 유형의 정보는 이름, 브랜드, 모델번호, 구입가격, 거래를 위한 장치 구성 명령들, 또는 기타 유형의 정보를 포함한다.

일부 실시태양들에서, 비디오 스트림들은 포착된 비디오 프레임과 함께 포착되는 오디오 데이터를 더욱 포함한다. 포착된 비디오 프레임이 포착될 때, 프레임과 연관된 오디오 데이터 역시 포착될 수 있다. 인식 서버는 오디오 특징들도 추출하고, 이 또한 비디오 스트림들, 또는 비디오 스트림에서의 위치를 식별하기 위하여 사용될 수 있다.

특히 바람직한 실시태양들에서, 오디오 데이터는 사람 청각을 넘는 소리; 예를들면 초음파 서명을 나타내는 데이터를 포함한다. 따라서, 비디오 스트림은 본래의 스트림, 제품, 방송, 소스 또는 다른 객체 식별에 사용될 수 있는 추가적인 오디오 정보를 포함한다. 이러한 실시태양에서, 인식 서버는 오디오 스트림을 분석하고 주파수 성분들을 추출하고 이는 스트림 또는 스트림 연관 제품 식별에 사용된다.

유스 케이스

하기에는 특정한 마켓에 대하여 본 발명을 추가적으로 설명할 목적으로 특정한 유스 케이스 상황을 기술한다. 각각의 유스 케이스 상황 역시 본 발명으로 이해되어야 한다.

하나의 유스 케이스는 텔레비젼 프로그램에 기초하여 제품 정보를 제공하는 것이다. 소비자가 텔레비젼 프로그램에서 흥미로운 제품 또는 다른 객체를 볼 때, 소비자는 휴대폰을 이용하여 스크린 숏을 포착한다. 또한, 프로그램은 프로그램 양태들 또는 프로그램 내의 제품들 식별을 위한 추가 정보를 가지는 하나 이상의 고주파 신호들, 20KHz 이상의 사운드를 내장한다. 예를들면, 휴대폰은 고주파 오디오 신호들을 포착하고 신호들을 복호하여 임베디드 정보를 추출한다. 휴대폰은 필요하다면 인식 플랫폼으로 작동될 수 있다는 것을 이해하여야 한다. 따라서, 휴대폰은 영상 또는 오디오의 원시 데이터 또는 추출 특징들을 인증 서비스로 전송하고, 이는 비디오 화면와 연관된 제품 정보를 활성화한다. 예를들면, 음악 비디오는 특징 다양한 패션들을 특징화할 수 있다. 휴대폰 사용자는 비디오와 연관된 제품 정보를 요청하여 패션들을 구입할 수 있다.

또 다른 유스 케이스는 정기간행물 또는 포스터와 연관된 컨텐츠를 활성화하는 것이다. 소비자가 하나 이상의 스포트 이벤트 사진들이 있는 잡지를 받는 상황을 고려한다. 소비자는 휴대폰을 이용하여 사진 영상을 포착한다. 사진 영상은 아마도 Gettyimage® (URL www.gettyimages.com 참고)에서 이용될 수 있는 영상들에 기초한 영상 데이터베이스에 대하여 허여된 것일 수 있다. 영상이 분석되고 공지 영상들과 비교된다. 일치되면, 실제 스포츠 이벤트의 실제 비디오 피드, 라이브 또는 녹화가 소비자의 휴대폰으로 전송된다.

유사한 유스 케이스는 포스터 또는 광고판 영상들에 기초한 컨텐츠 활성화를 포함한다. 미지의 곧 있을 이벤트를 광고하는 광고판 또는 포스터 프로모션을 고려한다. 목적은 아마도 영화 개봉 또는 새로운 스마트폰 출시와 같은 미지의 이벤트에 대한 여론 고조 또는 입소문을 일으키는 것이다. 아마도 프로모션은 단순히 몇일 몇시만을 언급하고, 프로모션 포착 영상에 기초하여 동시에 10,000명의 사람들이 활성화를 요청하면 컨텐츠는 활성된다고 언급한다. 그날 및 그 시간에, 10,000명의 요청이 있으면, 컨텐츠는 활성된다. 프로모션 영상들은 활성화 특징들을 포함하고 10,000 명의 요청은 활성화 트리거 기준을 나타낸다는 것을 이해하여야 한다.

또한 포스터는 트랜스-미디어 방송 채널을 나타낼 수 있다. 포스터 영상은 현재 방송되는 컨텐츠를 모든 포스터 뷰어들에게 활성시킬 수 있다. 컨텐츠는 또한 동기화되어 모든 소비자들은 실질적으로 동시에 동일 컨텐츠를 시청하거나 수신할 수 있다. 예를들면, Kobe Bryant 포스터는 매일의 또는 하루종일 갱신된 컨텐츠를 제공한다. 소비자는 포스터 영상을 포착함으로써 컨텐츠를 활성화시키고, 소비자는 라디오 방송국 또는 텔레비전 채널과 유사하게 현재 전파중인 컨텐츠를 수신할 수 있다. 컨텐츠는 스포츠 하일라이트, 뉴스, 블로그 포스팅, 비디오 세그먼트, 실황방송, 실제 게임, 또는 기타 유형의 컨텐츠 기반의 프로그램을 포함할 수 있다.

또 다른 유스 케이스는 쇼핑중인 소비자들에게 쿠폰을 제공하는 것이다. 소비자가 가게를 지나면서 소비자는 가능한 가격 비교를 목적으로 목표 제품 영상을 포착한다. 그러나, 가게는 소비자를 확보하고자 한다. 응답으로, 컨텐츠 서비스로 작동하는 가게는 위치 정보, 영상 특징들, 또는 다른 인자들에 기반하여 가격비교 이벤트를 검출한다. 가격비교 이벤트는 가게로 통지하는 원격 검색 엔진에 의해 검출되거나, 또는 소비자의 휴대폰이 가게의 Wi-Fi 액세스 포인트를 이용한다면 가게 내에서 검출된다. 이벤트 검색 방법과 무관하게, 가게는 제품과 관련된 쿠폰을 활성화하여 소비자를 확보한다. 따라서, 재고 또는 바코드가 있는 전시 제품 태그를 변경하지 않고도 소매업자는 활성된 컨텐츠 형태로 쿠폰을 제공할 수 있다.

다른 유스 케이스는 컴퓨터-기반의 게임이다. 개시된 기반구조로 인하여 요구 컨텐츠 계층을 생성할 수 있고, 상기 컨텐츠는 실세계와 하나 이상의 플레이어들의 상호작용들에 기반하여 활성된다. 예를들면, 컨텐츠는 단일 플레이어의 상호작용이 아닌 다중 게임 플레이어들의 상호작용들에 기반하여 활성된다. 이러한 상황으로 “매직”, “마법”, 또는 대안적 물리학을 지원하는 게임이 가능하다. 아마도 환타지 설정 기반의 증상 현실 게임에서, 팀 플레이어들은 특정한 위치에서 및 객체들과 상호작용하여야 있다. 일부 경우에 플레이어들이 조화롭게 행동하여 의식을 모의하거나, 또는 개별로 행동하여 전투에서 서로를 지원하여야 한다. 플레이어들이 상호작용들의 하나 이상의 디지털 표현들을 포착하면 상기 디지털 표현은 적당한 인증 특징들 또는 트리거 기준를 나타내고, 플레이어들은 새로운 컨텐츠를 활성할 수 있다. Fourth Wall Studios™ (URL fourthwallstudios.com 참고)에서 제공하는 성능은 이러한 게임 플레이 상황에 적용될 수 있다.

건강관리와 연관된 유스 케이스가 있다. 일 예시는 유전자 정보를 이용하여 컨텐츠를 활성화하는 것이다. 예를들면, 개인의 (예를들면, 사람, 애완동물, 동물, 식물, 기타 등) 유전자를 분석하여 개인 유전자 특징들을 결정한다. 유전자 특징 추출을 위한 예시적 기술은 Five3 Genomics™에서 개발된 것을 포함한다. 이후 유전자 특징들은 생성된 유전자 서명 또는 히트맵 영상과 연결된다. 서명 또는 히트맵은 유전자를 나타내는 바코드 또는 QR 코드로 고려된다. 또한 서명 특징들은 유전자 인증 특징들이 된다. 이후 서명은 공개적 인증 객체이고 이는 컨텐츠 활성화에 사용된다. 서명 영상 포착 외에, 가능한 위치 데이터, 위치 데이터, 3D 객체 데이터, 음성 데이터, 또는 다른 인자들의 추가 모달리티들을 요구함으로서 컨텐츠 보안은 더욱 향상된다.

또 다른 건강관리 어플리케이션은 상기된 바와 같이 응급실 컨텐츠 활성화를 포함한다. 아마도 응급실 의사는 개인을 영상화하여 의료 기록을 활성하거나, 또는 운전면허증 또는 건강관리 카드 뒤의 개인의 유전자 서명 또는 히트맵을 영상화한다. 적절한 인증으로, 환자 의료 기록이 활성된다.

또 다른 유스 케이스는 애완동물 식별 시스템을 포함한다. 애완동물 소유자는 애완동물을 본원에 논의된 성능을 제공하는 온-라인 서비스에 등록한다. 소유자는 하나 이상의 애완동물 사진들을 인증 객체들로 제공한다. 시스템은 사진들로부터 인증 특징들을 추출하거나, 또는 애완동물 소유자에게 원하는 인증 특징들 선택 기회를 제공한다. 애완동물 소유자는 쉽게 식별되도록 애완동물 사진을 애완동물 목에 걸어놓는다. 애완동물이 행방불명될 때, 애완동물을 발견한 사람은 애완동물 영상을 찍거나 또는 목에 있는 사진을 획득한다. 영상에서 추출된 특징들을 이용하여 컨텐츠를 활성시킨다. 이러한 특정한 경우, 활성된 컨텐츠는 소유자 연락 정보를 포함하고, 이는 애완동물 발견자에게 제시된다. 추가 컨텐츠는 소유자 정체, 아마도 애완동물과 같이 있는 소유자 비디오 또는 영상이 발견자에게 전송될 수 있다. 또한, 시스템은 소유자 휴대폰에서 컨텐츠를 활성시켜 애완동물 발견자 위치 또는 애완동물을 찾는 방향을 알릴 수 있다.

추가 고려 사항들

본 발명의 다양한 특성을 더욱 설명하기 위하여 하기 추가 고려사항들이 제시된다.

본 발명은 인증 및 컨텐츠 활성화 생태계 관점에서 제시된다는 것을 이해하여야 한다. 생태계 각각의 요소는 시스템 및 통신에서 차별적인 기능 요소로 제시된다. 그러나, 시스템 요소들은 단일 장치로 일치화되거나 (예를들면, 휴대폰) 또는 필요하다면 다중 장치들에 걸쳐 분포된다 (예를들면, 휴대폰, 텔레비전, 및 클라우드 연산 시스템). 전자장치는 인식 플랫폼, 또는 인식 플랫폼 양태들을 포함할 수 있다.

활성된 컨텐츠는 상이한 방식으로 접근될 수 있다. 일부 실시태양들에서, 적절한 인증이 달성되고 컨텐츠 접근 수준이 결정되면 컨텐츠는 단순히 전자장치로 전달된다. 컨텐츠는 컨텐츠 서버로부터 또는 장치로부터 전송된다. 따라서, 컨텐츠 수신 개인은 컨텐츠를 개별적으로 상호작용에 기반하여 상이한 시간에 수신한다. 다른 실시태양들에서, 컨텐츠는 동기화 방식으로 다중 개인들 간에 배분되고 개인들은 동일 컨텐츠를 실질적으로 동일 시간에 수신한다. 예를들면, Kobe Bryant 포스터 예를 다시 참고하면, 각 개인은 방송 컨텐츠를 동시간에 수신한다. 또 다른 환경에서는 활성된 동기화 컨텐츠는 충분한 활성화 트리거 기준 및 관련 활성화 특징들을 가지는 선택된 소수에만 전달된다.

또 다른 고려사항은 동시간에 활성된 컨텐츠를 보는 소비자들 수에 관한 것이다. 수백만, 수십억은 아니더라도 수천 사람들이 동시에, 컨텐츠를 활성화시키면, 기반구조가 다수의 개인들로의 컨텐츠 전송을 지원하여야 한다. 컨텐츠는 활성화 전에 이동-저장되어 최종 전달에 대비한다. 컨텐츠는 네트워크 스위치, 중계 서버, 개인 네트워크 장치 또는 플레이어, 인터넷 서비스 제공자들, 액세스 포인트, 또는 컨텐츠를 위한 다른 충분한 메모리를 가진 것에 이동된다. 예를들면, 의료 기록 또는 유전자 컨텐츠는 National Lambda Rail (see www.nlr.net) 내의 많은 서버들을 따라 저장된다.

수천 사람들을 위한 컨텐츠 활성화는 컨텐츠 제공자들에 대하여 기회를 더욱 제공한다. 수천 사람들이 동시간에 컨텐츠를 활성화하는 소비자들 및 고려되는 생태계 간의 상호작용들은 추적될 수 있다. 개인 제한 정보인 계정 정보에 기초하여 획득되는 개인적 통계는, 컨텐츠 제공자들에게 제공된다.

엄청한 수의 잠재적 인증 특징들 또는 인증 모달리티들 본질로 인하여, 컨텐츠 제공자들 및 소비자들은 많은 가능한 방법으로 인증 요구 사항들을 생성할 수 있다. 이러한 광범위한 가능성들은 타당한 거부 상황을 만들 수 있다. 예를들면, 개인이 인증 인자들을 강요당하면, 최소한의 컨텐츠를 방출하는 인자들 인부만을 노출시킨다. 펜 클립을 가지는 개인 펜이 웨딩 밴드와 병치되는 것이 필요한 인증 특징들의 상황을 고려한다. 펜 클립이 웨딩 밴드를 향하면, 개인의 완전한 컨텐츠가 활성된다. 그러나, 클립이 웨딩 밴드 반대로 향하면, 약간한 변화로, 단지 최소한의 정보가 활성된다. 따라서, 개인은 그럴싸하게 임의의 추가 정보의 존재를 거부하는 방식으로 정보를 노출시킨다. 또한, 펜 및 반지를 다른 배향으로 놓으면 다른 전자장치에서 컨텐츠를 활성시킬 수 있다. 아마도 펜 팁에 반지를 놓으면 문자 메시지 또는 전화 메시지를 경찰서로 보내는 것을 포함한 컨텐츠를 활성화시킬 수 있다.

특히 바람직한 실시태양들은 다중-모달 인증 및 컨텐츠 배포 생태계의 양태, 역할, 또는 책임을 운영 시스템에 통합하는 것이다. 이러한 방법으로 전자장치 사용자는 전용 어플리케이션 다운로드, 새로운 소프트웨어 설치, 또는 장치와의 복잡한 방식으로 상호작용하는 것이 경감될 수 있다. 예를들면, 전자장치가 주변 데이터를 수집하면, 인식 모듈은 장치로 유입되는 주변 데이터 또는 다른 디지털 표현을 분석하고, 전자장치가 발견한 환경 관련 객체들 또는 특징들을 인식한다. 필요하거나 원한다면 운영 시스템은 분석 기능을 원격 서비스로 제거할 수 있다. 또한, 운영 시스템은 관련 컨텐츠를 제시하기 위하여 하나 이상의 가상머신들을 실체화하고, 가능한 실행 소프트웨어를 포함하고, 상기 가상머신은 운영 시스템 또는 원격 컨텐츠 제공자들의 제어하에 남는다.

본원에서 언급된 바와 같이, 컨텐츠는 많은 상이한 양식들을 가진다. 특히 고려되는 컨텐츠는 표적 전자장치가 동작을 취하도록 하는 실행가능한 명령들이다. 예를들면, 소비자는 카메라-장착 휴대용 게임 시스템으로 영화 포스터를 영상화한다. 적절한 인증으로, 영화 제공자는 게임 시스템이 거래 시스템과 연결된 가상머신을 개시하도록 명령한다. 게임 시스템이 구매 인터페이스를 제시하도록 구성되는 명령으로 가상머신이 로딩된다. 사용자가 영화를 구매하면, 영화는 보안 방식으로 가상머신에서 활성된다. 거래는 컨텐츠 명령 수신에 대한 응답으로 취해지는 임의 유형의 동작을 나타낸다. 모든 유형의 동작이 고려될 수 있다.

컨텐츠 제시는 전자장치에서 영상들 구현, 음악 연주, 또는 전자장치의 동작 개시 구성 이상을 포함한다. 일부 실시태양들에서, 컨텐츠 제시는 3 차원 객체들 구성 또는 생성을 포함한다. 예를들면, 컨텐츠는 수지, 플라스틱, 분말 또는 기타 재료로 3D 객체를 구성할 수 있는3D 프린터에 대한 명령을 포함한다. 본 발명에서 사용에 적합한 예시적 3D 프린터는 MakerBot™ (www.makerbot.com 참고), CNC 머신, ZPrinter® (www.zcorp.com 참고), 또는 3 차원 객체를 생성할 수 있는 다른 전자장치를 포함한다. 본 발명은 프린터가 객체를 생성하면서도 컨텐츠 제공자 권리를 유지하도록 외부 소스 제어 하의 3D 프린터 또는 CNC 머신의 가상머신 실체화를 포함한다는 것을 이해하여야 한다.

또한 본 발명은 유효한 인증 객체들의 배열 등록 및 하나 이상의 상호작용들로의 가능한 배열 링크를포함할 수 있다. 유효한 인증 객체들 등록은 하나 이상의 기술을 통해 발생된다. 하나의 잠재적 기술은 상호작용 공간 내의 유효한 인증 객체들 (예를들면, 운전면허증, 장난감, 신발, 제스쳐, 구술 단어들, 기타 등) 배열 및 상호작용 디지털 표현으로서 집합적 객체들 배열 작용 기록을 포함한다. 인증 에이전트는 디지털 표현을 분석하여 관련 인증 특징 세트들을 병치로 편집하고, 이는 다시 인증 데이터베이스에 저장된다. 이후 배열을 생성하는 실체는 병치를 원하는 컨텐츠 또는 동작 (예를들면, 어플리케이션 개시, 거래 수행, 메시지 전송, 기타 등)과 결합시킨다. 또 다른 기술은 각각의 유효한 인증 객체의 디지털 표현를 개별적으로 포착 및 각각의 개별 객체를 등록하는 것이다. 이후 개별 객체들의 서로에 대한 하나 이상의 병치를 포착하고 각각의 병치는 컨텐츠에 연결된다. 예로서 스마트 장치 (예를들면, 휴대폰, 태블릿, 패블릿, 컴퓨터, 키오스크, ATM, 기타 등) 보안 시스템을 고려한다. 사용자는 상이한 모달리티들 데이터 포착을 이용하여 다중 객체들을 등록함으로써 장치에 대한 접근을 잠근다. 아마도 사용자는 웨딩 반지, 구술 단어들, 및 배경 영상에 대한 웨딩 반지 이동의 병치를 요구하여 장치를 잠글 수 있다. 일단 등록되면, 이후 장치는 웨딩 반지, 단어들, 및 배경 관련 인증 특징들의 병치가 검출될 때 풀린다. 따라서, 사용자는 운영 시스템 또는 장치 특징들 (즉, 장치 컨텐츠)에 대한 접근이 허여된다.

본 발명의 개념을 일탈하지 않고 많은 변형이 가능하다는 것은 명백하다. 본 발명은, 따라서, 청구범위를 제외하고는 제한되지 않는다. 또한, 명세서 및 청구범위를 해석할 때, 모든 용어들은 문맥과 일치되는 한 최광의로 해석된다. 특히, 용어 “구성된다” 및 “구성되는” 이란 비-배타적 방식으로 요소들, 성분들 또는 단계들을 언급하는 것이고, 이는 언급된 요소들, 성분들, 또는 단계들이 존재하고 또는 이용되고 명시적으로 언급되지 않은 다른 요소들, 성분들, 또는 단계들과 조합될 수 있다는 것을 의미한다. 명세서 및 청구범위가 A, B, C …. 및 N로 이루어진 군에서 선택되는 적어도 하나를 언급하면, 이는 A 및 N, 또는 B 및 N, 기타 등이 아닌 군에서 단지 하나의 요소를 필요하다는 것으로 해석되어야 한다.

Claims

컨텐츠 활성화 방법에 있어서, 상기 방법은,
전자장치를 인증 에이전트에 접근시키는 단계;
상기 전자장치에 의해, 다수의 물리적 객체들를 포함한 물리적 환경과의 상호작용의 디지털 표현을 획득하는 단계;
상기 전자장치에 의해, 환경 내의 다수의 물리적 객체들로부터 디지털 표현에 기초하여 제1 유효한 인증 객체 및 제2 유효한 인증 객체로서 적어도 두 상이한 객체들을 구분하는 단계;
상기 전자장치에 의해, 디지털 표현으로부터 제1 유효한 인증 객체와 연관되는 제1 인증 특징 세트, 및 디지털 표현으로부터 제2 유효한 인증 객체와 연관되는 제2 인증 특징 세트를 추출하는 단계;
인증 에이전트에 의해, 제2 인증 특징 세트에 대한 제1 인증 특징 세트의 병치 (juxtaposition) 함수로서 컨텐츠 접근 수준을 설정하는 단계;
인증 에이전트에 의해, 컨텐츠 접근 수준에 기초하여 컨텐츠를 활성화하는 단계; 및
컨텐츠 접근 수준에 따라 컨텐츠를 제시하도록 출력장치를 구성하는 단계를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 상기 디지털 표현을 획득하는 단계는, 디지털 표현 일부로서, 영상 데이터, 모션 데이터, 오디오 데이터, 온도 데이터, 위치 데이터, 위치 데이터, 배향 데이터, 메타데이터, 사용자 데이터, 운동감각 데이터, 생체 데이터, 언어 데이터, 가속 데이터, 및 방위 데이터 중 적어도 두 유형의 모달 데이터를 포함하는 다중-모달 데이터 획득 단계를 포함하는, 컨텐츠 활성화 방법.
제2항에 있어서, 제1 인증 특징 세트 추출 단계는 상이한 모달리티들의 적어도 두 특징 세트들을 추출하는 것을 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트 추출 단계는 디지털 표현에서 제1 유효한 인증 객체의 영상 데이터로부터 영상 특징들을 추출하는 것을 포함하는, 컨텐츠 활성화 방법.
제4항에 있어서, 제1 인증 특징 세트는 제1 유효한 인증 객체 일부의 영상 데이터를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트 추출 단계는 제1 유효한 인증 객체와 연관된 디지털 표현에서 인증 특징으로서 하쉬 (hash)를 계산하는 것을 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트는, SIFT 특징, 영상 특징, 및 피사체 심도 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트는, 영상 데이터, 모션 데이터, 오디오 데이터, 온도 데이터, 위치 데이터, 위치 데이터, 배향 데이터, 메타데이터, 사용자 데이터, 운동감각 데이터, 생체 데이터, 언어 데이터, 가속 데이터, 및 방위 데이터 중 적어도 두 유형의 특징 데이터를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 상기 병치 (juxtaposition) 함수로서 컨텐츠 접근 수준을 설정하는 단계는, 디지털 표현에서 제2 유효한 인증 객체에 대한 제1 유효한 인증 객체의 상대 위치에서 추출된 상대 위치 정보에 기반하여 제2 인증 특징 세트에 대한 제1 인증 특징 세트의 병치를 결정하는 단계를 포함하는, 컨텐츠 활성화 방법.
제9항에 있어서, 제1 인증 특징 세트 및 제2 인증 특징 세트로부터 추출되는 상대 위치 정보 함수로서 병치를 결정하는 단계를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 상기 병치 (juxtaposition) 함수로서 컨텐츠 접근 수준을 설정하는 단계는, 디지털 표현에서 제2 유효한 인증 객체에 대한 제1 유효한 인증 객체의 상대 배향에서 추출된 상대 배향 정보에 기반하여 제2 인증 특징 세트에 대한 제1 인증 특징 세트의 병치를 결정하는 단계를 포함하는, 컨텐츠 활성화 방법.
제11항에 있어서, 제1 인증 특징 세트 및 제2 인증 특징 세트로부터 추출되는 상대 배향 정보 함수로서 병치를 결정하는 단계를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 및 제2 유효한 인증 객체들 중 적어도 하나는 인쇄 매체를 포함하는, 컨텐츠 활성화 방법.
제13항에 있어서, 인쇄 매체는, 운전면허증, 여권, 서명, 수표, 문서, 포스터, 광고판, 사진, 구현 영상, 서적, 신문, 및 잡지 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 및 제2 유효한 인증 객체들 중 적어도 하나는 실질적인 3 차원 객체를 포함하는, 컨텐츠 활성화 방법.
제15항에 있어서, 실질적인 3 차원 객체는, 개인, 안면, 동물, 차량, 건물, 장난감, 식물, 연산 장치, 구조물, 음식, 및 인형 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 유효한 인증 객체는 구현 영상을 가지는 연산 장치를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트는 적어도 3종의 인증 특징들을 포함하는, 컨텐츠 활성화 방법.
제18항에 있어서, 제1 인증 특징 세트는 적어도 7종의 인증 특징들을 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 컨텐츠로서 제품 연관 프로모션을 제시하는 단계를 더욱 포함하는, 컨텐츠 활성화 방법.
제20항에 있어서, 제품은 유효한 제1 인증 인증 객체와 연관되는, 컨텐츠 활성화 방법.
제20항에 있어서, 프로모션은, 쿠폰, 상품 (commercial), 오퍼, 판매, 복권, 및 광고 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 컨텐츠는, 트랜잭션 정보, 오락 정보, 뉴스 정보, 스포츠 정보, 프로모션 정보, 의료 정보, 보안 정보, 및 게임 정보 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 컨텐츠 활성화 단계는 활성화 트리거 기준 함수로써 컨텐츠를 활성하는 것을 포함하는, 컨텐츠 활성화 방법.
제24항에 있어서, 활성화 트리거 기준은 절대 시간에 따라 달라지는, 컨텐츠 활성화 방법.
제24항에 있어서, 활성화 트리거 기준은 인증 요청수에 따라 달라지는, 컨텐츠 활성화 방법.
제24항에 있어서, 활성화 트리거 기준은 제1 및 제2 인증 특징 세트 내의 특징들 외의 인자들에 따라 달라지는, 컨텐츠 활성화 방법.
제27항에 있어서, 활성화 트리거 기준은 인증 특징들을 배제한 인자들에 따라 달라지는, 컨텐츠 활성화 방법.
제1항에 있어서, 제1 인증 특징 세트는 유효한 제1 인증 객체와 연관된 심볼 태그에서 추출되는 정보가 결여된, 컨텐츠 활성화 방법.
제29항에 있어서, 인증 특징들은 바코드 데이터가 결여된, 컨텐츠 활성화 방법.
제1항에 있어서, 컨텐츠를 제시하기 위하여 출력장치를 구성하는 단계는 가상머신을 개시하도록 출력장치를 명령하는 것을 포함하는, 컨텐츠 활성화 방법.
제31항에 있어서, 접근 수준에 따라 컨텐츠 권리에 대한 가상머신 보안화를 더욱 포함하는, 컨텐츠 활성화 방법.
제31항에 있어서, 가상머신에 의해, 컨텐츠 접근 수준에 따라 컨텐츠 접근 제한 단계를 더욱 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 전자장치는, 휴대폰, 태블릿 컴퓨터, 컴퓨터, 게임 콘솔, 차량, 키오스크, 자동판매기, 로봇, 전자제품, 의료 장치, 및 보안 시스템 중 적어도 하나를 포함하는, 컨텐츠 활성화 방법.
제1항에 있어서, 전자장치는 출력장치를 포함하는, 컨텐츠 활성화 방법.