KR101650002B1 - 보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리 - Google Patents

보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리 Download PDF

Info

Publication number
KR101650002B1
KR101650002B1 KR1020147033225A KR20147033225A KR101650002B1 KR 101650002 B1 KR101650002 B1 KR 101650002B1 KR 1020147033225 A KR1020147033225 A KR 1020147033225A KR 20147033225 A KR20147033225 A KR 20147033225A KR 101650002 B1 KR101650002 B1 KR 101650002B1
Authority
KR
South Korea
Prior art keywords
data
camera
encoded data
server
augmented
Prior art date
Application number
KR1020147033225A
Other languages
English (en)
Other versions
KR20150013203A (ko
Inventor
토드 하플
기안 프라카시
사우라브 다두
시갈 러츠헤임
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150013203A publication Critical patent/KR20150013203A/ko
Application granted granted Critical
Publication of KR101650002B1 publication Critical patent/KR101650002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/107—Network architectures or network communication protocols for network security for controlling access to devices or network resources wherein the security policies are location-dependent, e.g. entities privileges depend on current location or allowing specific operations only from locally connected terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00214—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/031—Protect user input by software means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 애플리케이션과 같은 카메라 인에이블형 애플리케이션이 보호된 영역에서 실행하는 것을 허용하는 예시적인 시스템은 카메라를 포함하는 제1 디바이스 - 카메라는 디스플레이 및 보안 동작 모드를 포함함 -, 카메라가 보안 모드에 있는 경우 카메라로부터의 이미지 데이터를 인코딩된 데이터로 변환하고 시스템에 저장된 이미지 데이터를 보호하도록 구성된 이미지 처리 모듈, 이미지 처리 모듈로부터의 인코딩된 데이터를 암호화하도록 구성된 암호화 모듈, 및 증강된 인코딩된 데이터를 디스플레이에 안전하게 전송하도록 구성된 보호된 시청각 경로 메커니즘을 포함할 수 있다.

Description

보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리{CONTEXT BASED MANAGEMENT FOR SECURE AUGMENTED REALITY APPLICATIONS}
<우선권 주장>
본 발명은, 그 전체가 본원에 참조로써 포함된, 2012년 7월 13일에 출원된, 미국 특허 출원 번호 13/549,122에 대한 우선권의 이익을 주장한다.
본 개시내용은 일반적으로 카메라들을 원치 않을 수 있는 영역들에서의 증강 현실 애플리케이션의 사용에 관한 것이다.
제조 설비 또는 사업장과 같은 비밀 정보를 포함하는 장소들은 카메라의 사용을 반대하거나 금지할 수 있다. 스마트폰과 같은 전화기에 포함된 카메라들은 이러한 작업을 달성하는 것을 돕기 위해 턴 오프될 수 있다. 전화기 또는 다른 디바이스 상의 카메라를 턴 오프함으로써, 증강 현실 애플리케이션과 같은 카메라 인에이블형 애플리케이션(camera enabled application)이 사용될 수 없다.
도 1은 예시적인 실시예에 따른 시스템의 로직 블록도이다.
도 2는 예시적인 실시예에 따른 방법의 흐름도이다.
도 3은 예시적인 실시예에 따른 방법의 흐름도이다.
도 4는 예시적인 실시예에 따른 이미지 처리 애플리케이션의 흐름도이다.
도 5는 예시적인 실시예에 따른 방법을 구현하는 컴퓨터 시스템의 블록도이다.
이하의 상세한 설명 및 도면들은 본 기술분야의 당업자가 그것들을 실시하는 것을 가능하게 하도록 특정 실시예들을 예시한다. 다른 실시예들은 구조적, 논리적, 전기적, 프로세스 또는 다른 변화들을 포함할 수 있다. 일부 실시예들의 부분들 및 특징들은 다른 실시예들에 포함되거나 다른 실시예들의 것들로 대체될 수 있다. 특허청구범위에 개시된 실시예들은 이러한 특허청구범위의 모든 이용가능한 동등물을 포함할 수 있다.
보호된(예를 들어, 보안) 영역에 있는 경우, 카메라 또는 카메라를 포함하는 다른 디바이스를 턴 오프하는 것은 증강 현실 및 다른 카메라 인에이블형 애플리케이션이 완전하게 동작하는 것을 방지할 것이다. 다수의 경우들에서, 이것은 증강 현실 또는 다른 카메라 인에이블형 애플리케이션의 유용성을 방해할 것이다. 본 발명은, 카메라가 촬영하는 이미지들이 적절한 인증 또는 인가 없이 액세스될 수 없도록 그 이미지들을 보호하는 것 등에 의해, 카메라 및 카메라를 포함하는 디바이스가 온 상태로 유지되는 것을 허용하는 실시예들을 제공한다. 본 명세서에서 사용된 바와 같이, 달리 언급되지 않으면, 카메라라는 용어는, 카메라를 지칭하고 또한 모바일 전화기, 태블릿 컴퓨터, 랩톱 컴퓨터, 또는 카메라를 포함하는 다른 컴퓨팅 디바이스와 같이, 카메라를 포함하는 다른 디바이스들도 지칭한다는 것을 유념한다.
증강 현실(AR) 애플리케이션은 사운드, 비디오, 그래픽, 또는 GPS(위성 항법 장치; Global Positioning System) 데이터와 같은 컴퓨터-생성 센서 입력에 의해 증강된 실세계 환경의 뷰(view)를 제공한다. 예를 들어, 증강 현실 애플리케이션들은 보호된 영역에서 보수 요원이 장비를 수리하는 것을 조력하는데 있어서 유용할 수 있다. 사용자가 카메라를 하나의 장비에 향하게 하면, AR 애플리케이션은 그 장비를 식별하고, 어떤 상이한 부품들이 있는지, 패널들을 어떻게 개봉하는지, 어떤 나사를 제일 먼저 풀어야 하는지 등을 도시하는 그래픽 정보를 그 장비와 오버레이할 수 있다.
일부 예시적인 실시예들은 카메라에 의해 캡처된 이미지들을 보호하고, 보호된 이미지들을 증강되도록 서버에 전송하고, 증강된 이미지들을 서버로부터 수신하고, 보호된 시청각 경로(protected audio visual path, PAVP)를 통해 증강된 이미지들을 보호함으로써 카메라를 온 상태로 유지하는 한편, 보호된 영역에서 증강 현실 애플리케이션이 기능하는 것을 허용하는 것을 포함한다. 일부 실시예들에서, 이미지들은 이미지들이 카메라의 메모리에 평이하게(in the clear) 저장되거나 카메라에 의해 설치되거나 달리 액세스가능하게 되는 것을 방지함으로써 보호될 수 있다. 일부 실시예들에서, 이미지들은 이미지 데이터가 메모리에 저장되기 전에 그 이미지 데이터를 암호화함으로써 보호될 수 있다. 보호된 시청각 경로는, 디스플레이 디바이스와 연관된 하드웨어만이 증강된 이미지들을 나타내는 데이터를 암호해독하는 것을 허용하도록 동작가능할 수 있다.
하나 이상의 실시예의 장점은 디바이스가 보호된 영역 근처에 있는 경우에도 디바이스 상에서 증강 현실 애플리케이션 또는 다른 카메라 인에이블형 애플리케이션이 실행되는 것을 허용하는 것을 포함할 수 있다. 예를 들어, 증강 현실 애플리케이션이 동작하여 통상적으로 카메라가 허용될 수 없는 곳에 위치된 장비를 수리하는 사용자를 돕도록 허용될 수 있다. 증강 현실 애플리케이션은 카메라에 결합된 스크린 상에 디스플레이된 이미지의 객체들에 관한 정보를 제공하도록 동작가능할 수 있다.
도 1은 예시적인 실시예에 따른 시스템(100)의 로직 블록도이다. 시스템(100)은 네트워크(108)에 접속된 디바이스(102) 및 서버(104)를 포함할 수 있다. 네트워크(108)는 로컬 영역 네트워크(Local Area Network), 인터넷, 가상 사설망(virtual private network), 및 다른 그러한 네트워크들과 같은 하나 이상의 유선 및 무선 네트워크를 포함할 수 있다.
디바이스 하드웨어 사이에는 미리구축된(pre-established) 신뢰 관계(trust relationship)가 있을 수 있다(예를 들어, 신뢰된 실행 환경(trusted execution environment, TEE) 또는 보호된 시청각 경로(PAVP)). 디바이스 하드웨어는 암호화 또는 암호해독 키들을 안전하게 교환할 수 있어 서버는 TEE와의 통신 등을 통하여 카메라를 갖는 디바이스로부터 송신된 데이터를 암호해독하는 방법을 알 수 있고 PAVP는 서버에 의해 암호화된 데이터를 암호해독하는 방법을 안다.
디바이스(102)는 카메라(110)가 보안 카메라 모드에 있는 경우, 카메라(110)에 의해 캡처된 이미지 데이터를 보호하는 보안 카메라 모드를 포함할 수 있다. 보안 카메라 모드는 펌웨어, 소스 코드, 하드웨어, 또는 그의 조합에 의해 활성화되거나 구현될 수 있다. 일부 실시예들에서, 카메라(110)와 연관된 펌웨어, 소스 코드, 또는 하드웨어는 보안 카메라 모드를 적어도 부분적으로 구현하기 위해 변경될 수 있다. 일부 실시예들에서, 카메라(110)의 데이터 경로는 카메라(110)에 의해 만들어진 데이터를 보호하기 위해 수정될 수 있다. 일부 실시예들에서, 카메라의 데이터 경로를 수정하는 것은 데이터의 경로를 변경하기 위해 카메라와 연관된 소스 코드, 펌웨어 또는 하드웨어, 또는 그의 조합을 수정하는 것을 포함할 수 있다. 일부 실시예들에서, 카메라(110)에 의해 만들어진 데이터는 이미지 처리 모듈(114)(예를 들어, 이미지 신호 처리 모듈)에 전송되어 인코딩될 수 있다. 데이터를 인코딩하는 것은 렌더링가능한 이미지 또는 비디오 데이터가 되도록 데이터를 수정하는 것을 포함할 수 있다. 일부 실시예들에서, 이미지 처리 모듈(114)은 카메라(110)로부터 수신된 데이터를 디스플레이(122)와 호환가능한 형식으로 수정한다. 일부 실시예들에서, 데이터가 인코딩된 후에, 인코딩된 데이터는 암호화되기 위해 암호화 모듈(116)과 같은 암호화 모듈에 전송될 수 있다. 다른 실시예들에서, 데이터가 인코딩된 후에, 인코딩된 데이터는 신뢰된 실행 환경(124)과 같은 신뢰된 실행 환경에 전송될 수 있다.
디바이스(102)는 태블릿, 휴대용 디지털 보조도구(PDA), 스마트폰, 컴퓨터, 카메라 또는 다른 디바이스일 수 있다. 디바이스(102)는 카메라(110)를 포함할 수 있다. 카메라(110)는 이미지(예를 들어, 동영상 또는 정지 이미지)를 나타내는 데이터를 캡처하고 데이터를 이미지 처리 모듈(114), 암호화 모듈(116), 보호된 시청각 경로(120), 메모리(112), 디스플레이(122) 또는 서버(104)와 같은 서버에 전송하도록 동작가능할 수 있다.
메모리(112)는 카메라(110)로부터 수신된 데이터를 저장하도록 동작가능한 메모리일 수 있다. 메모리(112)는 카메라(110)에 의해 만들어진 데이터의 경로를 변경하는 것 등에 의해 카메라(110)에 의해 만들어진 암호화되지 않은 데이터를 저장하는 것이 방지될 수 있다. 일부 실시예들에서, 메모리(112)는 이미지 처리 모듈(114)와 같은 이미지 처리 모듈에 대한 이미지 처리 모듈 메모리일 수 있다. 그러한 메모리는 디바이스들 및 애플리케이션들이 메모리의 데이터를 액세스하는 것을 방지하도록 구성될 수 있다. 일부 실시예들에서, 분리된 메모리 영역 프로토콜이 이미지 처리 모듈의 메모리와 같은 메모리를 보호할 수 있다. 그러한 실시예들에서, 디바이스(102)는, 캘리포니아, 산타 클라라 소재의 인텔사로부터 이용가능한 Intel® Atom™ SoC와 같은 시스템 온 칩(Soc) 디바이스일 수 있다. 디바이스(102)가 코어 기반 플랫폼 상에서 실행되는 다른 실시예들에서, 메모리는 제약된 어드레스 범위 프로토콜(restricted address range protocol)에 의해 보호될 수 있다. 제약된 어드레스 범위는 pre-BIOS(기본 입력 출력 시스템) 보안 펌웨어에 의해 설정될 수 있다. 데이터는 인가되지 않은 애플리케이션들 또는 디바이스들이 데이터에 액세스하는 것을 방지함으로써 보안 메모리(예를 들어, 분리된 메모리 영역 또는 제약된 어드레스 범위를 갖는 메모리)에 의해 보호될 수 있다.
이미지 처리 모듈(114)은 원시 카메라 데이터(raw camera data)를, JPEG(Joint Photographic Experts Group) 또는 MPEG(Moving Picture Experts Group) 인코딩과 같은 인코딩된 이미지 데이터 또는 인코딩된 비디오 데이터와 같은 인코딩된 데이터로 변환하도록 동작가능할 수 있다. 인코딩된 데이터는, 인코딩된 데이터를 이미지 또는 비디오로서 디스플레이가 제시하는 것을 허용하도록 디스플레이(122)와 같은 디스플레이와 호환가능할 수 있다. 인코딩된 데이터는, 분리된 메모리 영역 또는 제약된 어드레스 범위 프로토콜을 구현하는 것 등에 의해 디바이스의 메모리에 저장되는 것이 방지되거나, 인가되지 않은 디바이스들 또는 애플리케이션들에 의해 액세스되는 것으로부터 보호될 수 있다.
암호화 모듈(116)은 이미지 데이터, 인코딩된 데이터, 또는 증강된 데이터와 같은 데이터를 수신하고, 데이터의 암호화된 버전을 생성하도록 동작가능할 수 있다. 일부 실시예들에서, 카메라(110)는 암호화되기 위해 암호화 모듈(116)에 전송되는 원시 데이터를 생성할 수 있다. 일부 실시예들에서, 암호화된 데이터는, 디바이스(102)의 하드웨어와 같은 카메라와 연관된 하드웨어에 의해 암호해독 키가 인지되는 경우들에 메모리(112)와 같은 로컬 메모리에 저장될 수 있다. 일부 실시예들에서, 암호화된 데이터는 서버에 의해 암호해독 키가 인지되는 경우들에 서버(104)와 같은 서버에 저장될 수 있다. 일부 실시예들에서, 암호해독 키는 오직 메모리 또는 서버에 의해 인지되어 오직 메모리 또는 서버 각각이 암호화된 데이터를 암호해독할 수 있다. 일부 실시예들에서, 암호화 모듈(116)은 그가 수신하는 데이터에 대한 암호해독 기능을 수행하도록 동작가능할 수 있다.
위치 센서(118)는 디바이스(102)가 주어진 시간에 위치한 곳을 대략적으로 판정하도록 동작가능할 수 있다. 일부 실시예들에서, 위치 센서(118)는 GPS 애플리케이션에 결합되어 주어진 시간에서 위치 센서(118)의 대략적 위치를 판정하는데 도움을 준다. 일부 실시예들에서, 위치 센서(118)는 Wi-Fi 애플리케이션에 결합되어 주어진 시간에서 위치 센서(118)의 대략적 위치를 판정하는데 도움을 준다. 이 대략적인 위치는 위치 센서, 따라서, 디바이스 또는 카메라가 보안 영역(예를 들어, 보호된 영역)에 있는지를 판정하기 위해 이용될 수 있다. 보안 영역들은 컴퓨터 판독가능한 로그(log)에서 미리 정의될 수 있다. 보안 영역 로그는 정보 기술(information technology, IT) 관리자 또는 다른 인가된 직원에 의해 정의될 수 있다. 일부 실시예들에서, 디바이스가 보안 영역에 있다고 판정되는 경우, 신뢰된 실행 환경은 카메라를 보안 모드에 둘 수 있다.
PAVP(120)는 그것이 수신하는 데이터를 암호화하도록 구성될 수 있다. PAVP는 디스플레이(122)와 같은 디스플레이 디바이스 또는 그의 연관된 하드웨어만이 데이터를 암호해독하고 콘텐츠를 디스플레이할 수 있도록 디스플레이 디바이스 또는 그의 연관된 하드웨어와만 암호해독 키를 공유하도록 구성될 수 있다. 일부 실시예들에서, PAVP(120)는 서버(104)와 같은 증강 현실 애플리케이션 서버로부터 데이터를 수신하도록 구성될 수 있다. 일부 실시예들에서, PAVP(120)는 메모리(112)와 같은 보안 메모리로부터 데이터를 수신하도록 구성될 수 있다.
디스플레이(122)는 이미지들 또는 비디오들을 디스플레이할 수 있는 스크린일 수 있다. 일부 실시예들에서, 디스플레이는 디스플레이의 입력에서 수신된 데이터를 암호해독하도록 동작가능한 연관된 하드웨어를 포함할 수 있다. 입력에서 수신된 데이터는 보호된 시청각 경로(120)와 같은 PAVP로부터 온 것일 수 있거나, 카메라가 보안 모드 또는 프리뷰 모드에 있지 않은 등의 경우에 이미지 처리 모듈(114)과 같은 이미지 처리 모듈로부터 온 것일 수 있다.
TEE(124)는 이미지 처리 모듈(114)로부터의 인코딩된 이미지 데이터를 암호화하도록 동작가능할 수 있다. 일부 실시예들에서, TEE는 Chaabi 펌웨어, 관리 엔진(management engine, ME) 펌웨어, 또는 다른 TEE 펌웨어를 포함할 수 있다. TEE(124)는 서버(104)와 같은 서버에 암호화된 이미지를 송신할 수 있다. 일부 실시예들에서, 서버(104)는 클라우드 서버를 포함할 수 있다. 일부 실시예들에서, 암호화 모듈(116)은 카메라(110)가 프리뷰 모드에 있는 경우에 데이터를 암호화하기 위해 사용될 수 있고, TEE(124)는 카메라가 보안 모드에 있는 경우에 사용될 수 있다.
서버(104)는 장비를 인식하기 위해 AR 관련 알고리즘들(특징 추출, 데이터베이스를 이용하는 특징 매칭)을 실행할 수 있다. 일부 실시예들에서, 서버(104)는 장비의 방위(orientation)를 또한 인식할 수 있다. 특징 추출 또는 데이터베이스를 이용하는 특징 매칭 알고리즘들은 수신된 이미지를 데이터베이스 내의 승인된 패턴들, 구성들 또는 이미지들과 대조하는 것을 포함할 수 있다. 일부 실시예들에서, 승인된 패턴들, 구성들 또는 이미지들만이 클라우드 서버로부터 카메라에 송신될 수 있다. 이미지가 이미지의 객체들의 승인된 패턴 또는 구성을 포함하지 않으면, 서버(104)는 이미지를 디스플레이되도록 디바이스에 다시 송신하지 않을 수 있다. 일부 실시예들에서, 클라우드 서버는 승인된 이미지들을 디바이스에 다시 송신할 수 있다. 예를 들어, 클라우드 서버는 승인된 이미지들을 디바이스의 PAVP에 송신할 수 있다. 일부 예들에서, 클라우드 서버는 그것이 수신하는 이미지 데이터를 증강 현실 애플리케이션 서버에 재전송(re-direct)할 수 있다. 일부 실시예들에서, 디바이스는, 디바이스가 보안 모드에 있는 경우, 디바이스(102)와 연관된 카메라(110)와 같은 디바이스와 연관된 카메라에 의해 캡처된 이미지들을 클라우드 서버에 저장하도록 허용될 수 있다.
서버(104)는 증강 현실 애플리케이션 서버를 포함할 수 있다. 증강 현실 애플리케이션 서버는 그것이 수신하는 이미지들을 증강하거나 변경하고, 증강되거나 변경된 이미지 또는 원래 이미지와 원래 이미지에 행해지는 증강 또는 변경을 나타내는 증강 데이터를 송신할 수 있다. 일부 실시예들에서, 증강 현실 애플리케이션 서버는 데이터를 디바이스의 PAVP에 송신할 수 있다. 일부 실시예들에서, 디바이스가 보안 영역에 있지 않다는 것을 위치 센서가 TEE에게 나타내는 경우, 증강 현실 애플리케이션은 종료될 수 있다. 즉, 일부 실시예들에서, 증강 현실 애플리케이션은 카메라를 포함하는 디바이스가 지정된 보안 영역 근처에 위치하는 경우에만 기능하도록 허용될 수 있다.
서버(104)는 모바일 디바이스 관리(MDM) 서버로서 구성될 수 있다. MDM 서버는 특정 영역 내의 디바이스(102)와 같은 디바이스 동작과 연관된 정책을 저장하도록 동작가능할 수 있다. 예를 들어, 스마트폰과 연관된 정책은 스마트폰이 보안 모드 또는 프리뷰 모드에 놓일 수 있다는 것을 나타내는 데이터를 포함할 수 있다. 일부 실시예들에서, 신뢰된 실행 환경(124)과 같은 TEE는 서버(104)와 같은 MDM 서버 및 이미지 처리 모듈(114)과 같은 이미지 처리 모듈과 통신할 수 있다. 카메라(110)와 같은 카메라가 턴 온 되는 경우, 이미지 처리 모듈은 이를 TEE에 알려서 카메라가 턴 온 되었음을 서버에 알려줄 수 있다. 위치 센서(118)와 같은 위치 센서는 서버에 위치 데이터를 송신할 수 있다. 그리고 나서, 서버는 구현될 카메라 정책을 위치 데이터를 이용하여 판정할 수 있다. 카메라가 보안 영역에 위치하는 경우, 카메라는 보안 카메라 모드에 놓이거나, 턴 오프되거나, 정상 모드로 유지되거나 프리뷰 모드에 놓일 수 있다.
서버(104)는 암호화된 인코딩된 데이터를 증강 현실 서버에 재전송하도록 구성된 클라우드 서버로서 구성될 수 있다. 일부 실시예들에서, 서버는, 암호화된 인코딩된 데이터를 증강 현실 서버에 재전송하기 전에, 우선 특징 추출 알고리즘을 사용하거나 이미지의 특징들을 승인된 패턴들, 구성들 또는 이미지들과 매칭시킬 수 있다.
일부 실시예들에서, 디바이스(102)와 같은 카메라를 포함하는 디바이스는 프리뷰 모드에 놓이도록 동작가능할 수 있다. 디바이스가 프리뷰 모드에 있는 경우, 카메라는 인코딩된 데이터를 생성하기 위해 이미지 또는 비디오 데이터를 인코딩할 수 있는 이미지 처리 모듈에 이미지 또는 비디오 데이터를 전송할 수 있다. 인코딩된 데이터는, 인코딩된 데이터의 암호화된 버전을 디스플레이 디바이스 또는 그의 연관된 하드웨어에 전송할 수 있는 PAVP에 전송될 수 있다. 이런 방식으로, 카메라는 조명 조건들이 카메라를 사용하기에 충분한지를 확인하거나 카메라가 달리 적절하게 동작하는지를 확인하기 위해 테스트될 수 있다.
따라서, 일부 실시예들에서, 보호된 영역에서 캡처된 이미지/비디오 데이터는 카메라(110)와 같은 카메라에 의해 캡처될 수 있다. 이미지/비디오 데이터는 이미지 처리 모듈(114)과 같은 이미지 처리 모듈 또는 신뢰된 실행 환경(124)과 같은 신뢰된 실행 환경(TEE)를 이용하여 인코딩되거나 암호화될 수 있다. 암호화된 데이터는 서버(104)와 같은 서버에 전송될 수 있다. 이미지 처리 모듈은 인코딩된 것(그러나 평문 텍스트 데이터)을 분리된 메모리 영역(isolated memory region, IMR)에 저장할 수 있다. TEE 또는 암호화 모듈(116)과 같은 암호화 모듈은 인코딩된 데이터를 암호화하고 그것을 시스템 메모리에 둘 수 있다. 디바이스(102)와 같은 디바이스 상에서 실행하는 증강 현실(AR) 애플리케이션은 암호화된 이미지/비디오 데이터를 네트워크(108)와 같은 네트워크를 이용하여 서버에 전송할 수 있다. 서버는 암호화된 이미지/비디오 데이터를 암호해독하고, AR 관련 알고리즘들(예를 들어, 특징 추출, 데이터베이스를 이용하는 특징 매칭)을 실행하여 장비 또는 그의 방위를 인식할 수 있다. AR 관련 알고리즘들은 이미지/비디오 데이터를 증강된 정보와 오버레이(overlay)하고, 이미지/비디오 데이터 및 증강된 정보를 암호화하고, 그것을 디바이스(예를 들어, 카메라를 포함하는 스마트폰)에 전송할 수 있다. 카메라 상의 AR 애플리케이션은 디바이스 및 서버에 접속된 네트워크로부터 암호화된 증강된 이미지/비디오 데이터를 수신할 수 있다. 카메라는 암호화된 증강된 이미지/비디오 데이터를 시스템 메모리에 저장하고, 데이터가 렌더링되어야 한다는 것을 보호된 시청각 경로(120)와 같은 보호된 시청각 경로(PAVP)에 알려줄 수 있다. PAVP 하드웨어는 데이터를 판독하고, 암호해독하고, 증강된 이미지/비디오를 디스플레이(122)와 같은 디스플레이 상에 렌더링할 수 있다.
도 2는 예시적인 실시예에 따른 방법(200)의 흐름도이다. 방법(200)은 카메라의 위치에 기초하여 카메라를 보안 모드에 두는 프로세스의 일부로서 수행될 수 있는 방법의 예이다. 방법(200)은 도 1의 카메라(110)와 같은 카메라가 보호된 영역에 위치하는 것을 판정하는 것(202)을 포함한다. 일부 실시예들에서, 카메라가 보호된 영역에 있는지를 판정하는 것은 디바이스(102)와 같은 카메라를 포함하는 스마트폰이 보호된 영역에 있는지를 판정하는 것을 포함한다. 카메라가 보호된 영역에 있는 때에 또는 그 때쯤에, 카메라는 보안 모드에 놓일 수 있고 카메라에 의해 만들어진 데이터는 보호될 수 있다(204).
일부 실시예들에서, 카메라에 의해 만들어진 데이터는, 카메라가 보호된 영역에 있는 동안 카메라를 포함하는 디바이스에 로컬인, 도 1의 메모리(112)와 같은 메모리에 카메라가 데이터를 평이하게 저장하는 것을 방지(예를 들어, 암호화되지 않은 데이터를 저장하는 것을 방지)함으로써, 보호될 수 있다. 일부 실시예들에서, 카메라가 보호된 영역에 있는 경우(예를 들어, 카메라가 보안 카메라 모드에 있는 경우), 카메라에 의해 만들어진 데이터는, 로컬로 또는 서버에 저장될 수 있기 전에, 도 1의 신뢰된 실행 환경(124) 또는 암호화 모듈(116) 등에 의해 암호화될 수 있다. 일부 실시예들에서, 카메라에 의해 만들어진 데이터는 추가로, 또는 대안적으로 보호된 시청각 경로(120)와 같은 PAVP에 데이터를 전송함으로써 보호될 수 있다.
일부 실시예들에서, 도 1의 서버(104)와 같은 증강 현실 애플리케이션 서버는 카메라가 보안 카메라 모드에 있는 경우 카메라에 의해 만들어진 데이터에 대한 액세스를 허락받을 수 있다(206). 일부 실시예들에서, 디바이스(102)와 같은 카메라는 보호된 영역에 위치하는 제조 장비와 같은 제2 디바이스에 관한 정보를 수신할 수 있다(208). 제2 디바이스에 관한 정보는 카메라로부터 송신되었던 제2 디바이스의 이미지 상에 오버레이될 수 있다.
도 3은 예시적인 실시예에 따른 방법(300)의 흐름도이다. 방법(300)은 정의된 보호된 영역들의 관점에서 카메라와 관련하여 수행될 수 있는 방법의 예이다. 방법(300)은 카메라를 포함하는 디바이스(102)와 같은 디바이스가 보호된 영역에 위치하는 것을 판정하는 것(302)을 포함한다. 디바이스가 보호된 영역에 있는 것을 판정하는 것은 GPS와 같은 위치 센서를 이용하여 디바이스의 위치를 판정하는 것을 포함할 수 있다. 위치는 또한, 다른 위치 판정 프로세스 및 메커니즘 중에서도, 인코딩된 데이터를 포함하는 다른 무선 주파수 신호의 존재, 공지된 WiFi 네트워크에의 접속 등에 의한 다른 방식들로 판정될 수 있다. 보호된 영역에 있는 경우, 디바이스의 카메라가 턴 온되는지에 대해 판정이 이루어질 수 있다. 카메라가 턴 온되는지에 대한 그러한 판정은, 신뢰된 실행 환경(124)과 통신하는 이미지 처리 모듈(114)(양자 모두 도 1에 도시됨)과 같이, TEE와 통신하는 이미지 처리 모듈로 달성될 수 있다. 보호된 영역 내의 카메라에 의해 캡처된 데이터는 인코딩될 수 있다(304). 이미지 처리 모듈(114)과 같은 이미지 처리 모듈은 디스플레이(122)와 같은 디스플레이와 호환가능한 데이터를 만들기 위해 데이터를 인코딩할 수 있다.
그리고 나서, 인코딩된 데이터는 암호화된 인코딩된 데이터를 생성하기 위해 암호화될 수 있다(306). 암호화는 도 1의 암호화 모듈(116)과 같은 암호화 모듈 또는 신뢰된 실행 환경(124)과 같은 TEE로 달성될 수 있다. 암호화된 인코딩된 데이터는 서버(104)와 같은 서버에 송신될 수 있다(308). 일부 실시예들에서, 데이터는 디바이스 및 서버 모두가 접속되는 네트워크를 통해 디바이스로부터 서버에 송신될 수 있다. 이 송신(308)에 응답하여 인코딩된 데이터의 변경되거나 수정된 버전을 포함하는 증강된 데이터가 수신될 수 있다(310). 증강된 데이터는 서버(104)와 같은 증강 현실 서버로 생성될 수 있다. 인코딩된 데이터의 변경되거나 수정된 버전은 증강 데이터를 이용하여 변경되거나 수정된 인코딩된 데이터를 포함할 수 있다. 증강된 데이터의 뷰를 제공하는 렌더링 가능한 비디오 데이터가 출력될 수 있다(312). 비디오 데이터는 디스플레이(122)와 같은 디스플레이 디바이스에 출력될 수 있다.
일부 실시예들에서, 방법(300)은 이미지 데이터(예를 들어, 평문 텍스트 이미지 데이터)가 디바이스의 메모리(112)와 같은 메모리에 저장되는 것을 방지하는 것(314)을 포함할 수 있다. 이미지 데이터가 메모리에 평이하게 저장되는 것을 방지하는 것은 디바이스에 의해 만들어진 데이터의 데이터 경로를 변경하는 것을 포함할 수 있다. 본원에서 사용된 바와 같이, "평이하게(in the clear)"는 시스템 메모리와 같은 보호되지 않은 메모리에 저장되고 암호화되지 않는 것을 의미한다. 일부 맥락에서 평이하게는 평문(cleartext)과 동의어이지만, 평이하게 저장될 데이터에 대해 어떤 실제 텍스트도 요구되지 않는다. 데이터는 텍스트 또는 이미지 데이터와 같은 데이터 유형과 무관하게 평이하게 저장되는 것이 방지될 수 있다. 따라서, 본원에서 사용된 바와 같이, 이미지 데이터가 평이하게 저장되는 것을 방지하는 것은 데이터를 보안 메모리에 저장하는 것 또는 데이터를 비-보안 메모리에 저장하기 전에 암호화하는 것을 포함할 수 있다. 인가되지 않은 애플리케이션들 또는 디바이스들로부터 이미지 데이터를 보호하는 것은 분리된 메모리 영역 또는 제약된 액세스 범위를 구현하는 것을 포함할 수 있다. 일부 실시예들에서, 증강된 데이터 또는 인코딩된 데이터는 증강된 데이터 또는 인코딩된 데이터를 보호하기 위해 보호된 시청각 경로에 전송될 수 있다(316).
일부 실시예들에서, 인코딩된 데이터는 서버(104)와 같은 서버에서 수신될 수 있다. 일부 실시예들에서, 인코딩된 데이터는 인코딩된 데이터를 재생성하기 위해 서버에 의해 암호해독되는 암호화된 인코딩된 데이터일 수 있다. 일부 실시예들에서, 서버는 증강 현실 애플리케이션 서버일 수 있다. 일부 실시예들에서, 서버는 인코딩된 데이터를 변경하거나 수정하는 등에 의해 증강된 데이터를 생성하기 위해 인코딩된 데이터를 증강할 수 있다. 일부 실시예들에서, 증강된 데이터는 디바이스(102)와 같은 디바이스에 전송될 수 있다.
도 4는 예시적인 실시예에 따른 이미지 처리 애플리케이션 흐름(400)의 흐름도이다. 이미지 처리 애플리케이션은 디바이스(102)와 같은 디바이스에 의해 구현될 수 있다. 흐름은 사용자가 카메라가 턴 온 된 채로 보호된 영역으로 진입하는 것으로 시작할 수 있다(402). 일부 실시예들에서, 사용자는 보호된 영역 근처에 있으면서 카메라를 턴 온할 수 있다. 카메라 위치가 확인될 수 있다(404). 카메라 위치는 카메라가 보호된 영역 근처에 있거나(예) 또는 보호된 영역 근처에 있지 않음(아니오)을 나타낼 수 있다. 카메라가 보호된 영역 근처에 있지 않은 경우, 카메라는 정상 모드에서 사용될 수 있다(406). 카메라가 보호된 영역 근처에 있는 경우, 카메라에 대한 보안 위치 정책과 같은 정책이 확인될 수 있다(408). 정책은 카메라가 보안 모드에 놓일 수 있거나(410) 프리뷰 모드에 놓일 수 있음을 나타낼 수 있다. 카메라 정책이 호출될 수 있고 카메라는 보안 모드에 놓일 수 있다. 카메라는 보호된 영역 내의 디바이스와 관련된 문제를 해결하기 위해 보호된 영역에서는 보안 모드에서 사용될 수 있다(412). 증강 현실 애플리케이션이 론칭(launch)될 수 있다(414). 증강 현실 기술자가 컴퓨터를 이용하여 인코딩된 데이터를 증강된 데이터와 오버레이하는 것이 가능할 수 있다. 증강된 데이터는 추후 사용을 위해 서버(104)와 같은 서버에 저장될 수 있다. 증강 현실 애플리케이션에 의해 생성된 증강된 데이터가 보여질 수 있다(416). 사용자가 증강 현실 애플리케이션 사용을 마친 후 또는 카메라 사용을 마친 후, 애플리케이션이 종료될 수 있다.
도 5는 예시적인 실시예에 따른 방법들을 구현하는 컴퓨터 시스템의 블록도이다. 도 5에 도시된 실시예에서, 다른 도면들에서 도시된 서버들 및/또는 원격 클라이언트들 중 임의의 것에 적용가능한 하드웨어 및 동작 환경이 제공된다.
도 5에 도시된 바와 같이, 하드웨어 및 동작 환경의 일 실시예는, 하나 이상의 프로세싱 유닛(521), 시스템 메모리(522), 및 시스템 메모리(522) 내지 프로세싱 유닛(521)을 포함하는 다양한 시스템 컴포넌트들을 동작가능하게 결합하는 시스템 버스(523)를 포함하는 컴퓨터(500)의 형태의 범용 컴퓨팅 디바이스(예를 들어, 개인용 컴퓨터, 워크스테이션, 또는 서버)를 포함한다. 오직 하나의 또는 하나보다 많은 프로세싱 유닛(521)이 있을 수 있고, 컴퓨터(500)의 프로세서는 단일 중앙 프로세싱 유닛(CPU) 또는, 다중 프로세서 또는 병렬 프로세서 환경이라고 지칭되는 복수의 프로세싱 유닛을 포함한다. 다양한 실시예들에서, 컴퓨터(500)는 종래의 컴퓨터, 분산된 컴퓨터, 또는 임의의 다른 유형의 컴퓨터일 수 있다.
시스템 버스(523)는 메모리 버스 또는 메모리 제어기, 주변 버스(peripheral bus), 및 다양한 버스 아키텍처들 중 임의의 아키텍처를 이용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리는 또한 단순히 메모리로서 지칭될 수 있거나, 일부 실시예들에서는, 판독 전용 메모리(ROM)(524) 및 랜덤 액세스 메모리(RAM)(525)를 포함한다. 시동(start-up) 동안에 컴퓨터(500) 내의 구성요소들 사이에서 정보를 전달하는데 도움을 주는 기본 루틴들을 포함하는 기본 입력/출력 시스템(BIOS) 프로그램(526)이 ROM(524)에 저장될 수 있다. 컴퓨터(500)는, 도시되지 않은 하드 디스크로부터의 판독 및 그에 대한 기입을 위한 하드 디스크 드라이브(527), 착탈식 자기 디스크(529)로부터의 판독 및 그에 대한 기입을 위한 자기 디스크 드라이브(528), 및 CD ROM 또는 그외의 광학 매체와 같은 착탈식 광학 디스크(531)로부터의 판독 및 그에 대한 기입을 위한 광학 디스크 드라이브(530)를 더 포함할 수 있다.
하드 디스크 드라이브(527), 자기 디스크 드라이브(528), 및 광학 디스크 드라이브(530)는 각각 하드 디스크 드라이브 인터페이스(532), 자기 디스크 드라이브 인터페이스(533), 및 광학 디스크 드라이브 인터페이스(534)와 결합된다. 드라이브들 및 그들의 연관된 컴퓨터 판독가능한 매체는 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들 및 컴퓨터(500)에 대한 다른 데이터의 비휘발성 저장소를 제공한다. 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는, 자기 카세트, 플래시 메모리 카드들, 디지털 비디오 디스크들, 베르누이 카트리지들, 랜덤 액세스 메모리들(RAM), 판독 전용 메모리들(ROM), 복수 배열 독립 디스크(예를 들어, RAID 저장 디바이스들) 등과 같은 임의의 유형의 컴퓨터 판독가능한 매체가 예시적인 운영 환경에서 사용될 수 있다는 것이 당업자에게는 이해될 것이다.
운영 체제(535), 하나 이상의 애플리케이션 프로그램(536), 다른 프로그램 모듈(537), 및 프로그램 데이터(538)를 포함하는 복수의 프로그램 모듈이 하드 디스크, 자기 디스크(529), 광학 디스크(531), ROM(524) 또는 RAM(525) 상에 저장될 수 있다. 본원에서 설명된 하나 이상의 프로세스 또는 방법을 구현하기 위한 프로그래밍은 어느 하나 또는 임의의 개수의 이러한 컴퓨터 판독가능한 매체 상에 있을 수 있다.
사용자는 키보드(540) 및 포인팅 디바이스(542)와 같은 입력 디바이스를 통해 컴퓨터(500)에 명령들 및 정보를 입력할 수 있다. 다른 입력 디바이스(도시되지 않음)는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이러한 다른 입력 디바이스들은 종종 시스템 버스(523)에 결합되는 직렬 포트 인터페이스(546)를 통해 프로세싱 유닛(521)에 접속되지만, 병렬 포트, 게임 포트, 또는 범용 직렬 버스(universal serial bus)(USB)와 같은 다른 인터페이스들에 의해 접속될 수 있다. 모니터(547) 또는 다른 유형의 디스플레이 디바이스는 또한 비디오 어댑터(548)와 같은 인터페이스를 통해 시스템 버스(523)에 접속될 수 있다. 모니터(547)는 사용자를 위한 그래픽 사용자 인터페이스를 디스플레이할 수 있다. 모니터(547) 이외에도, 컴퓨터들은 통상적으로 스피커들 및 프린터들과 같은 다른 주변 출력 디바이스들(도시되지 않음)을 포함한다.
컴퓨터(500)는 원격 컴퓨터(549)와 같은 하나 이상의 원격 컴퓨터 또는 서버에 대한 로직 접속(logical connection)을 이용하여 네트워킹된 환경에서 동작할 수 있다. 이러한 로직 접속들은 컴퓨터(500) 또는 그의 일부에 결합된 통신 디바이스에 의해 달성된다; 본 발명은 특정 유형의 통신 디바이스로 한정되지 않는다. 비록 메모리 저장 디바이스(550)만이 예시되었지만, 원격 컴퓨터(549)는 다른 컴퓨터, 서버, 라우터, 네트워크 PC, 클라이언트, 피어 디바이스(peer device) 또는 다른 공통 네트워크 노드일 수 있고, 통상적으로 컴퓨터(500)에 관련하여 전술한 구성요소들의 다수 또는 전부를 포함한다. 도 5에 도시된 로직 접속들은 로컬 영역 네트워크(LAN)(551) 및/또는 광역 네트워크(WAN)(552)를 포함한다. 그러한 네트워킹 환경들은, 모든 유형의 네트워크들인, 사무실 네트워크들, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들 및 인터넷에서 흔한 것이다.
LAN-네트워킹 환경에서 사용되는 경우, 컴퓨터(500)는, 통신 디바이스의 일 유형인, 네트워크 인터페이스 또는 어댑터(553)를 통해 LAN(551)에 접속된다. 일부 실시예들에서, WAN-네트워킹 환경에서 사용되는 경우, 컴퓨터(500)는 인터넷과 같은 광역 네트워크(552)를 통한 통신들을 구축하기 위해 모뎀(554)(다른 유형의 통신 디바이스) 또는 임의의 다른 유형의 통신 디바이스, 예를 들어, 무선 트랜시버를 포함한다. 내부에 또는 외부에 있을 수 있는 모뎀(554)은 직렬 포트 인터페이스(546)를 통해 시스템 버스(523)에 접속된다. 네트워킹된 환경에서, 컴퓨터(500)와 관련하여 도시된 프로그램 모듈은 원격 컴퓨터, 또는 서버(549)의 원격 메모리 저장 디바이스(550)에 저장될 수 있다. 도시된 네트워크 접속들은 예시적인 것이고, 하이브리드 파이버-코액셜(hybrid fiber-coax) 접속들, T1-T3 라인들, DSL들, OC-3 및/또는 OC-12, TCP/IP, 마이크로웨이브, 무선 애플리케이션 프로토콜 및 임의의 적절한 스위치들, 라우터들, 아웃렛들 및 전력 라인들을 통한 임의의 다른 전자 매체를 포함하는, 컴퓨터들 사이의 통신 링크를 구축하기 위한 다른 수단 및 통신 디바이스들이 사용될 수 있다는 것이 이해되어야 하며, 이는 본 기술분야의 당업자에게 공지되고 이해되고 있다.
추가적인 언급들 및 예들
예 1에서, 방법은 카메라가 보호된 영역에 위치하는 것을 판정하는 것, 및 카메라가 보호된 영역에 위치하는 경우, 카메라를 카메라에 의해 만들어진 데이터를 보호하는 보안 카메라 모드에 두는 것을 포함한다.
예 2에서, 카메라가 예 1의 보호된 영역에 있는지를 판정하는 것은 카메라를 포함하는 스마트폰이 보호된 영역에 있는 것을 판정하는 것을 포함한다.
예 3에서, 예들 1-2 중 적어도 하나의 예의 카메라에 의해 만들어진 데이터를 보호하는 것은, 카메라가 보호된 영역에 있는 동안에 카메라를 포함하는 제1 디바이스에 로컬인 메모리에 카메라가 데이터를 평이하게(in the clear) 저장하는 것을 방지하는 것을 포함한다.
예 4에서, 예들 1-3 중 적어도 하나의 예의 카메라에 의해 만들어진 데이터를 보호하는 것은 카메라가 보안 카메라 모드에 있는 동안 데이터가 로컬로 저장되기 전에 데이터를 암호화하는 것을 포함한다.
예 5에서, 예들 1-4 중 적어도 하나의 예의 방법은, 카메라가 보안 카메라 모드에 있는 경우, 카메라에 의해 만들어진 데이터에 증강 현실 애플리케이션 서버가 액세스하는 것을 허용하는 것을 포함한다.
예 6에서, 예들 1-5 중 적어도 하나의 예의 방법은, 디바이스에 의해 송신된 제2 디바이스의 이미지 상에 오버레이된 보호된 영역에 위치하는 제2 디바이스에 관한 정보를 디바이스에서 수신하는 것을 포함한다.
예 7에서, 예들 1-6 중 적어도 하나의 예의 카메라에 의해 만들어진 데이터를 보호하는 것은 카메라에 의해 만들어진 데이터를 보호된 시청각 경로에 전송하는 것을 포함한다.
예 8에서, 방법은 보호된 영역 내의 카메라를 포함한 디바이스가 턴 온되어 있는 것을 판정하는 것을 포함한다.
예 9에서, 예들 1-8 중 적어도 하나의 예의 방법은 카메라가 턴 온되어 있는 것을 판정하는 것을 포함한다.
예 10에서, 예들 1-9 중 적어도 하나의 예의 방법은 인코딩된 데이터를 생성하기 위해 보호된 영역 내의 카메라에 의해 캡처된 이미지 데이터를 이미지 처리 모듈을 이용하여 인코딩하는 것을 포함한다.
예 11에서, 예들 1-10 중 적어도 하나의 예의 방법은 암호화된 인코딩된 데이터를 생성하기 위해 인코딩된 데이터를 암호화하는 것을 포함한다.
예 12에서, 예들 1-11 중 적어도 하나의 예의 방법은 암호화된 인코딩된 데이터를 디바이스로부터 서버에 송신하는 것을 포함하고, 디바이스 및 서버는 네트워크에 접속된다.
예 13에서, 예들 1-12 중 적어도 하나의 예의 방법은 증강 데이터를 이용하여 변경되거나 수정된 인코딩된 데이터를 디바이스에서 수신하는 것을 포함한다.
예 14에서, 예들 1-13 중 적어도 하나의 예의 방법은, 디스플레이 디바이스를 이용하여 제시되는 경우, 증강 데이터와 오버레이된 인코딩된 데이터를 포함하는, 증강 데이터를 이용하여 변경되거나 수정된 인코딩된 데이터의 뷰를 제공하는 렌더링 가능한 비디오 데이터를 출력하는 것을 포함한다.
예 15에서, 예들 1-14 중 적어도 하나의 예의 방법은 이미지 데이터가 디바이스의 메모리에 평이하게 저장되는 것을 방지하는 것을 포함한다.
예 16에서, 예들 1-15 중 적어도 하나의 예의 방법은 인코딩된 데이터를 서버에서 수신하는 것을 포함한다.
예 17에서, 예들 1-16 중 적어도 하나의 예의 방법은 인코딩된 데이터의 증강된 버전을 생성하기 위해 인코딩된 데이터를 증강시키는 단계를 포함한다.
예 18에서, 예들 1-17 중 적어도 하나의 예의 방법은 인코딩된 데이터의 증강된 버전을 디바이스에 전송하는 것을 포함한다.
예 19에서, 예들 1-18 중 적어도 하나의 예의 방법은 보호된 시청각 경로(PAVP)를 이용하여 증강된 데이터를 보호하는 것을 포함한다.
예 20에서, 카메라가 예들 1-19 중 적어도 하나의 예의 카메라가 보호된 영역에 있는지를 판정하는 것은 위치 센서를 이용하여 디바이스의 위치를 판정하는 것을 포함한다.
예 21에서, 예들 1-20 중 적어도 하나의 예의 인코딩된 데이터의 증강된 버전을 디스플레이하는 것은 보호된 영역 내의 머신에 관한 정보를 머신의 이미지 상에 오버레이하여 디스플레이하는 것을 포함한다.
예 22에서, 예들 1-21 중 적어도 하나의 예의 방법은 디바이스가 보호된 영역에 있는 것을 판정하는 단계를 포함한다.
예 23에서, 디바이스가 예들 1-22 중 적어도 하나의 예의 보호된 영역에 있는지를 판정하는 것은 위치 센서를 이용하여 디바이스의 위치를 판정하는 것을 포함한다.
예 24에서, 예들 1-23 중 적어도 하나의 예의 방법은 디바이스가 카메라를 포함하는 것을 판정하는 단계를 포함한다.
예 25에서, 시스템은 카메라를 포함하는 제1 디바이스를 포함하고, 카메라는디스플레이 및 보안 동작 모드를 포함한다.
예 26에서, 예들 1-25 중 적어도 하나의 예의 시스템은 카메라가 보안 모드에 있는 경우 카메라로부터의 이미지 데이터를 인코딩된 데이터로 변환하고 시스템에 저장된 이미지 데이터를 보호하도록 구성된 이미지 처리 모듈을 포함한다.
예 27에서, 예들 1-26 중 적어도 하나의 예의 시스템은 이미지 처리 모듈로부터의 인코딩된 데이터를 암호화하도록 구성된 암호화 모듈을 포함한다.
예 28에서, 예들 1-27 중 적어도 하나의 예의 시스템은 증강된 인코딩된 데이터를 디스플레이에 안전하게 전송하도록 구성된 보호된 시청각 경로 메커니즘을 포함한다.
예 29에서, 예들 1-28 중 적어도 하나의 예의 이미지 처리 모듈은 인가되지 않은 애플리케이션들 및 디바이스들이 보안 메모리에 저장된 데이터에 액세스하는 것을 방지함으로써 이미지 데이터를 보호하도록 구성된 보안 메모리를 포함한다.
예 30에서, 예들 1-29 중 적어도 하나의 예의 제1 디바이스는 암호화된 인코딩된 데이터를 송신하도록 구성된다.
예 31에서, 예들 1-30 중 적어도 하나의 예의 시스템은 암호화된 인코딩된 데이터를 암호해독하고 인코딩된 데이터를 증강시켜 증강된 인코딩된 데이터를 생성하도록 구성된 증강 현실 서버를 포함한다.
예 32에서, 예들 1-31 중 적어도 하나의 예의 시스템은 암호화된 인코딩된 데이터를 증강 현실 서버에 재전송(redirect)하도록 구성된 클라우드 서버를 포함한다.
예 33에서, 예들 1-32 중 적어도 하나의 예의 보호된 시청각 경로 메커니즘은 디스플레이만이 증강된 데이터를 암호해독할 수 있도록 증강된 데이터를 암호화하도록 구성된다.
예 34에서, 예들 1-33 중 적어도 하나의 예의 제1 디바이스는 위치 센서를 포함한다.
예 35에서, 예들 1-34 중 적어도 하나의 예의 카메라는, 디바이스가 보호된 영역에 있다는 것을 위치 센서가 나타내고 카메라가 턴 온되어 있는 경우, 보안 동작 모드에 놓인다.
예 36에서, 예들 1-35 중 적어도 하나의 예의 카메라는 프리뷰 모드를 포함한다.
예 37에서, 예들 1-36 중 적어도 하나의 예의 카메라가 프리뷰 모드에 있는 경우, 카메라로부터의 데이터가 이미지 처리 모듈에 전송되고 처리 모듈은 디스플레이와 연관된 하드웨어만이 암호화된 데이터를 암호해독할 수 있도록 데이터를 암호화한다.
예 38에서, 명령어들을 저장하머신 판독가능한 저장 디바이스로서, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 보호된 영역 내의 카메라를 포함한 디바이스가 턴 온되어 있는 것을 판정하는 것을 포함하는 동작들을 수행하게 한다.
예 39에서, 예들 1-38 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 보호된 영역 내의 카메라를 포함한 디바이스가 턴 온되어 있는 것을 판정하는 것을 포함하는 동작들을 수행하게 한다.
예 40에서, 예들 1-39 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 인코딩된 데이터를 생성하기 위해 이미지 처리 모듈을 이용하여 보호된 영역 내의 카메라에 의해 캡처된 이미지 데이터를 인코딩하는 것을 포함하는 동작들을 수행하게 한다.
예 41에서, 예들 1-40 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 암호화된 인코딩된 데이터를 생성하기 위해 인코딩된 데이터를 암호화하는 것을 포함하는 동작들을 수행하게 한다.
예 42에서, 예들 1-41 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 암호화된 인코딩된 데이터를 디바이스로부터 서버에 송신하는 것을 포함하는 동작들을 수행하게 하고, 디바이스 및 서버는 네트워크에 접속된다.
예 43에서, 예들 1-42 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금, 증강 데이터를 이용하여 변경되거나 수정된 인코딩된 데이터의 변경되거나 수정된 버전을 포함하는 증강 데이터를 디바이스에서 수신하는 것을 포함하는 동작들을 수행하게 한다.
예 44에서, 예들 1-43 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은, 머신에 의해 수행되는 경우, 머신으로 하여금, 디스플레이 디바이스를 이용하여 제시되는 경우 증강 데이터와 오버레이된 인코딩된 데이터를 포함하는 증강된 데이터의 뷰를 제공하는 렌더링 가능한 비디오 데이터를 출력하는 것을 포함하는 동작들을 수행하게 한다.
예 45에서, 예들 1-44 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 이미지 데이터 또는 인코딩된 데이터가 디바이스의 메모리에 평이하게 저장되는 것을 방지하는 것을 포함하는 동작들을 수행하게 한다.
예 46에서, 예들 1-45 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은, 머신에 의해 수행되는 경우, 머신으로 하여금 디바이스가 카메라를 포함하는 것을 판정하는 것을 포함하는 동작들을 수행하게 한다.
예 47에서, 예들 1-46 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 증강된 데이터를 보호하기 위해 증강된 데이터 또는 인코딩된 데이터를 보호된 시청각 경로(PAVP)에 전송하는 것을 포함하는 동작들을 수행하게 한다.
예 48에서, 예들 1-47 중 적어도 하나의 예의 머신 판독가능한 저장 디바이스는 명령어들을 저장하고, 명령어들은 머신에 의해 수행되는 경우, 머신으로 하여금 디바이스가 보호된 영역에 있는 것을 판정하는 것을 포함하는 동작들을 수행하게 한다.
이 문서에서, "a 또는 an"이라는 용어는, 특허 문서에서 공통적인 것으로, "적어도 하나" 또는 "하나 이상"의 임의의 다른 예들이나 사용들과 무관하게, 하나 또는 하나보다 많은 것을 포함하도록 사용된다. 이 문서에서, "또는"이라는 용어는 비배타적 논리합(nonexclusive or)을 지칭하기 위해 사용되는 것으로, "A 또는 B"는, 달리 표시되지 않는 한, "A이지만 B는 아닌", "B이지만 A는 아닌", 및 "A와 B"를 포함한다. 이 문서에서, "including" 및 "in which"이라는 용어는 "comprising" 및 "wherein"이라는 각 용어의 평문 영어 등가물(plain-English equivalents)로서 사용된다. 또한, 이하의 특허청구범위에서, "포함하는"("including" 및 "comprising")이라는 용어들은 제약되지 않은(open-ended) 것으로, 즉, 청구항에서 그러한 용어 앞에 나열되는 것들에 부가하여 구성요소들을 포함하는 시스템, 디바이스, 물품, 컴포지션(composition), 포뮬레이션(formulation), 또는 프로세스가 그 청구항의 범주 내에 여전히 들어오는 것으로 간주된다. 더욱이, 후속하는 특허청구범위에서, "제1," "제2," "제3" 등의 용어는 라벨(label)로서 사용되는 것일 뿐이며 그 대상에 수적인 요건을 부여하기 위해 의도된 것은 아니다.
본원에서 설명된 기능들 또는 알고리즘들은 일 실시예에서 소프트웨어로 또는 소프트웨어와 인간 구현 절차들의 조합으로 구현될 수 있다. 소프트웨어는 메모리 또는 다른 유형의 저장 디바이스들과 같은 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 실행가능한 명령어들을 포함할 수 있다. 또한, 그러한 기능들은, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 그의 조합인 모듈들에 대응한다. 다수의 기능들이, 필요하다면 하나 이상의 모듈에서 수행될 수 있으며, 설명된 실시예들은 단지 예들일 뿐이다. 소프트웨어는, 개인용 컴퓨터, 서버, 또는 다른 컴퓨터 시스템과 같은 컴퓨터 시스템 상에서 동작하는 디지털 신호 프로세서, ASIC, 마이크로프로세서, 또는 다른 유형의 프로세서 상에서 실행될 수 있다.
전술한 설명은 예시적인 것으로, 제한적인 것이 아니다. 예를 들어, 전술한 예들(또는 그것의 하나 이상의 양태들)은 서로 조합하여 사용될 수 있다. 전술한 설명을 살펴보면 당업자는 다른 실시예들을 사용할 수 있다. 요약서는 37 C.F.R.§1.72(b)를 준수하도록 제공되어, 독자가 기술적 개시의 본질을 신속하게 확인하도록 한다. 이는 특허청구범위의 범주 또는 의미를 해석하거나 제한하도록 사용되지 않을 것이라는 이해를 가지고 제시된다. 또한, 전술한 상세한 설명에서는, 개시내용을 간소화하기 위해 다양한 특징들이 함께 모아질 수 있다. 이것은 청구되지 않은 개시된 특징이 임의의 청구항에 필수적임을 의도하는 것으로 해석되어서는 아니 된다. 오히려, 발명의 요지는 특정한 개시된 실시예의 모든 특징들보다 적은 것에 있을 수 있다. 따라서, 이하의 특허청구범위는 상세한 설명에 포함되는 것이며, 각각의 청구항은 그 자체로 별도의 실시예이며, 그러한 실시예는 다양한 조합 또는 순열로 서로 조합될 수 있다는 것이 고려된다. 본 발명의 범주는 첨부된 특허청구범위와 함께, 그러한 특허청구범위의 권리가 주어지는 균등물들의 전체 범주를 참조하여 결정되어야 한다.

Claims (28)

  1. 방법으로서,
    카메라가 보호된 영역에 있는 것을 판정하는 단계;
    상기 카메라가 상기 보호된 영역에 있는 경우, 상기 카메라를 보안 카메라 모드에 두고, 상기 카메라에 의해 만들어진 데이터를 보호하는 단계; 및
    상기 카메라가 상기 보안 카메라 모드에 있는 경우 상기 카메라에 의해 만들어진 데이터에 증강 현실 애플리케이션 서버가 액세스하는 것을 허용하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 카메라에 의해 만들어진 데이터를 보호하는 단계는, 상기 카메라가 상기 보호된 영역에 있는 동안 상기 카메라를 포함하는 제1 디바이스에 로컬인 메모리에 상기 카메라가 데이터를 평이하게(in the clear) 저장하는 것을 방지하는 것을 포함하는 방법.
  3. 제1항에 있어서,
    상기 카메라가 상기 보호된 영역에 있는 것을 판정하는 단계는, 상기 카메라를 포함하는 스마트폰이 상기 보호된 영역에 있는 것을 판정하는 것을 포함하는 방법.
  4. 제1항에 있어서,
    상기 카메라에 의해 만들어진 데이터를 보호하는 단계는, 상기 카메라가 상기 보안 카메라 모드에 있는 동안 데이터가 로컬로 저장되기 전에 데이터를 암호화하는 것을 포함하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 카메라를 포함하는 디바이스에서, 상기 디바이스에 의해 송신된 제2 디바이스의 이미지 상에 오버레이된 상기 보호된 영역에 위치하는 상기 제2 디바이스에 관한 정보를 수신하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 카메라에 의해 만들어진 데이터를 보호하는 단계는, 상기 데이터를 상기 카메라의 보호된 시청각 경로에 전송하는 것을 포함하는 방법.
  8. 방법으로서,
    보호된 영역 내의 카메라를 포함한 디바이스가 턴 온되어 있는 것을 판정하는 단계;
    상기 보호된 영역에서 상기 카메라에 의해 캡처된 이미지 데이터를 이미지 처리 모듈을 이용하여 인코딩하여 인코딩된 데이터를 생성하는 단계;
    상기 인코딩된 데이터를 서버에서 수신하는 단계;
    상기 인코딩된 데이터를 암호화하여 암호화된 인코딩된 데이터를 생성하는 단계;
    상기 암호화된 인코딩된 데이터를 상기 디바이스로부터 서버에 송신하는 단계 - 상기 디바이스 및 상기 서버는 네트워크에 접속됨 - ;
    상기 인코딩된 데이터를 증강시켜 증강된 데이터를 생성하는 단계;
    상기 증강된 데이터를 상기 디바이스에 송신하는 단계;
    증강 데이터를 이용하여 변경되거나 수정된 상기 인코딩된 데이터의 변경되거나 수정된 버전을 포함하는 상기 증강된 데이터를 상기 디바이스에서 수신하는 단계; 및
    디스플레이 디바이스를 이용하여 제시되는 경우 증강 데이터와 오버레이된 상기 인코딩된 데이터를 포함하는 상기 증강된 데이터의 뷰를 제공하는 렌더링 가능한(renderable) 비디오 데이터를 출력하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 이미지 데이터 또는 인코딩된 데이터가 상기 디바이스의 메모리에 평이하게 저장되는 것을 방지하는 단계를 더 포함하는 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 증강된 데이터를 상기 서버에서 저장하는 단계를 더 포함하는 방법.
  12. 제8항에 있어서,
    상기 증강된 데이터 또는 인코딩된 데이터를 보호된 시청각 경로(PAVP)에 전송하여 상기 증강된 데이터를 보호하는 단계를 더 포함하는 방법.
  13. 제8항에 있어서,
    상기 디바이스가 상기 보호된 영역에 있는 것을 판정하는 단계를 더 포함하는 방법.
  14. 제13항에 있어서,
    상기 디바이스가 상기 보호된 영역에 있는 것을 판정하는 단계는, 위치 센서를 이용하여 상기 디바이스의 위치를 판정하는 것을 포함하는 방법.
  15. 제8항에 있어서,
    상기 디바이스가 카메라를 포함하는 것을 판정하는 단계를 더 포함하는 방법.
  16. 제8항에 있어서,
    상기 증강된 버전을 디스플레이하는 것은 머신의 이미지 상에 오버레이된 상기 보호된 영역 내의 상기 머신에 관한 정보를 디스플레이하는 것을 포함하는 방법.
  17. 시스템으로서,
    카메라를 포함하는 제1 디바이스 - 상기 카메라는 디스플레이 및 보안 동작 모드를 포함함 - ;
    상기 카메라가 상기 보안 동작 모드에 있는 경우 상기 카메라로부터의 이미지 데이터를 인코딩된 데이터로 변환하고 상기 시스템에 저장된 이미지 데이터를 보호하도록 구성된 이미지 처리 모듈 - 상기 이미지 처리 모듈은 인가되지 않은 애플리케이션들 및 디바이스들이 보안 메모리에 저장된 데이터에 액세스하는 것을 방지함으로써 상기 이미지 데이터를 보호하도록 구성된 상기 보안 메모리를 포함함 - ;
    상기 이미지 처리 모듈로부터의 인코딩된 데이터를 암호화하도록 구성된 암호화 모듈; 및
    증강된 인코딩된 데이터를 상기 디스플레이에 안전하게 송신하도록 구성된 보호된 시청각 경로 메커니즘
    을 포함하는 시스템.
  18. 삭제
  19. 제17항에 있어서,
    상기 디바이스는 상기 암호화된 인코딩된 데이터를 송신하도록 구성되고, 상기 시스템은,
    상기 암호화된 인코딩된 데이터를 암호해독하고 상기 인코딩된 데이터를 증강시켜 상기 증강된 인코딩된 데이터를 생성하도록 구성된 증강 현실 서버
    를 더 포함하는 시스템.
  20. 제19항에 있어서,
    암호화된 인코딩된 데이터를 상기 증강 현실 서버에 재전송하도록 구성된 클라우드 서버를 더 포함하는 시스템.
  21. 제17항에 있어서,
    상기 보호된 시청각 경로 메커니즘은 상기 디스플레이만이 상기 증강된 데이터를 암호해독할 수 있도록 상기 증강된 데이터를 암호화하는 시스템.
  22. 제17항에 있어서,
    상기 제1 디바이스는 위치 센서를 포함하고,
    상기 디바이스가 보호된 영역에 있다는 것을 상기 위치 센서가 나타내고 상기 카메라가 턴 온되어 있는 경우 상기 카메라는 상기 보안 동작 모드에 놓이는 시스템.
  23. 제17항에 있어서,
    상기 카메라는 프리뷰 모드를 포함하고,
    상기 카메라가 상기 프리뷰 모드에 있는 경우, 상기 카메라로부터의 데이터는 상기 이미지 처리 모듈에 전송되고, 상기 이미지 처리 모듈은 상기 디스플레이와 연관된 하드웨어만이 상기 암호화된 데이터를 암호해독할 수 있도록 상기 데이터를 암호화하는 시스템.
  24. 명령어들을 저장한 머신 판독가능한 저장 디바이스로서,
    상기 명령어들은, 머신에 의해 실행되는 경우, 상기 머신으로 하여금,
    보호된 영역 내의 카메라를 포함한 디바이스가 턴 온되어 있는 것을 판정하고;
    상기 디바이스를 보안 카메라 모드에 두고;
    상기 카메라가 상기 보안 카메라 모드에 있는 경우 상기 카메라에 의해 만들어진 데이터에 증강 현실 애플리케이션 서버가 액세스하는 것을 허용하고;
    상기 보호된 영역에서 상기 카메라에 의해 캡처된 이미지 데이터를 이미지 처리 모듈을 이용하여 인코딩하여 인코딩된 데이터를 생성하고;
    상기 인코딩된 데이터를 암호화하여 암호화된 인코딩된 데이터를 생성하고;
    상기 암호화된 인코딩된 데이터를 상기 디바이스로부터 서버에 송신하고 - 상기 디바이스 및 상기 서버는 네트워크에 접속됨 - ;
    증강 데이터를 이용하여 변경되거나 수정된 상기 인코딩된 데이터의 변경되거나 수정된 버전을 포함하는 증강된 데이터를 상기 디바이스에서 수신하고;
    디스플레이 디바이스를 이용하여 제시되는 경우 증강 데이터와 오버레이된 상기 인코딩된 데이터를 포함하는 상기 증강된 데이터의 뷰를 제공하는 렌더링 가능한 비디오 데이터를 출력하는
    것을 포함하는 동작들을 수행하게 하는 머신 판독가능한 저장 디바이스.
  25. 제24항에 있어서,
    상기 명령어들은, 상기 머신에 의해 수행되는 경우, 상기 머신으로 하여금, 상기 이미지 데이터 또는 인코딩된 데이터가 상기 디바이스의 메모리에 평이하게 저장되는 것을 방지하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 포함하는 머신 판독가능한 저장 디바이스.
  26. 제24항에 있어서,
    상기 명령어들은, 상기 머신에 의해 수행되는 경우, 상기 머신으로 하여금, 상기 디바이스가 카메라를 포함하는 것을 판정하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 포함하는 머신 판독가능한 저장 디바이스.
  27. 제24항에 있어서,
    상기 명령어들은, 상기 머신에 의해 수행되는 경우, 상기 머신으로 하여금, 상기 증강된 데이터 또는 인코딩된 데이터를 보호된 시청각 경로(PAVP)에 전송하여 상기 증강된 데이터를 보호하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 포함하는 머신 판독가능한 저장 디바이스.
  28. 제24항에 있어서,
    상기 명령어들은, 상기 머신에 의해 수행되는 경우, 상기 머신으로 하여금, 상기 디바이스가 상기 보호된 영역 내에 있는 것을 판정하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 포함하는 머신 판독가능한 저장 디바이스.
KR1020147033225A 2012-07-13 2013-07-12 보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리 KR101650002B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/549,122 US8743224B2 (en) 2012-07-13 2012-07-13 Context based management for secure augmented reality applications
US13/549,122 2012-07-13
PCT/US2013/050344 WO2014012040A1 (en) 2012-07-13 2013-07-12 Context based management for secure augmented reality applications

Publications (2)

Publication Number Publication Date
KR20150013203A KR20150013203A (ko) 2015-02-04
KR101650002B1 true KR101650002B1 (ko) 2016-08-23

Family

ID=49913685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147033225A KR101650002B1 (ko) 2012-07-13 2013-07-12 보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리

Country Status (6)

Country Link
US (4) US8743224B2 (ko)
EP (1) EP2873227A4 (ko)
JP (1) JP6081586B2 (ko)
KR (1) KR101650002B1 (ko)
CN (2) CN111526115B (ko)
WO (1) WO2014012040A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948659B2 (en) 2012-07-13 2018-04-17 Intel Corporation Context based management for secure augmented reality applications

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354750B2 (en) * 2011-12-23 2019-07-16 Iconic Data Inc. System, client device, server and method for providing a cross-facility patient data management and reporting platform
US9705916B2 (en) * 2012-09-28 2017-07-11 Intel Corporation Integrating wireless input functionality into secure elements
KR20140105343A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 디바이스 및 디바이스에서 복수의 모드를 이용한 데이터의 보안 방법
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
US10192359B2 (en) 2014-01-31 2019-01-29 Empire Technology Development, Llc Subject selected augmented reality skin
US9953462B2 (en) * 2014-01-31 2018-04-24 Empire Technology Development Llc Augmented reality skin manager
WO2015116186A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Evaluation of augmented reality skins
EP3100256A4 (en) 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
US8902318B1 (en) 2014-04-08 2014-12-02 Vysk Communications, Inc. Internal signal diversion with camera shuttering for mobile communication devices
US9147068B1 (en) 2014-04-08 2015-09-29 Vysk Communications, Inc. Internal signal diversion apparatus and method for mobile communication devices
US9721121B2 (en) 2014-06-16 2017-08-01 Green Hills Software, Inc. Out-of-band spy detection and prevention for portable wireless systems
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9800561B2 (en) * 2014-11-06 2017-10-24 Intel Corporation Secure sharing of user annotated subscription media with trusted devices
US9679151B2 (en) * 2015-06-04 2017-06-13 Htc Corporation Method for encrypting on-screen contents, electronic apparatus using the method and recording medium using the method
RU2614930C2 (ru) * 2015-06-05 2017-03-30 Закрытое акционерное общество "Лаборатория Касперского" Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды
US10318746B2 (en) * 2015-09-25 2019-06-11 Mcafee, Llc Provable traceability
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10855566B2 (en) * 2016-09-30 2020-12-01 Sap Se Efficiency and performance in Internet-of-Things scenarios
US10223292B2 (en) 2016-11-28 2019-03-05 Microsoft Technology Licensing, Llc Securing stream buffers
US10268842B2 (en) * 2017-02-21 2019-04-23 Motorola Solutions, Inc. Device for operating a camera in a private mode and a non-private mode
US11187720B2 (en) * 2017-06-16 2021-11-30 Tektronix, Inc. Test and measurement devices, systems, and methods associated with augmented reality
US10515222B2 (en) 2017-11-17 2019-12-24 Blackberry Limited Electronic device including display and method of encrypting information
CN110728714B (zh) * 2018-07-16 2023-06-20 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
US10990699B2 (en) * 2018-08-30 2021-04-27 Citrix Systems, Inc. Computing system providing enterprise mobility management metadata anonymity policy enforcement and related methods
US11335214B2 (en) 2019-02-11 2022-05-17 Andrea G. FORTE Content encryption and in-place decryption using visually encoded ciphertext
KR102364562B1 (ko) 2019-06-28 2022-02-21 한화시스템 주식회사 보안 기능을 갖는 증강현실 장치
KR102104330B1 (ko) 2019-07-03 2020-04-27 한화시스템 주식회사 보안 기능을 갖는 증강현실 장치의 구동 방법
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
US10853513B1 (en) 2019-07-30 2020-12-01 Capital One Services, Llc Data storage using image objects shown in a real-time view
TR202101257A2 (tr) * 2020-02-19 2021-08-23 Havelsan Hava Elektronik San Ve Tic A S Güvenli̇ ve güveni̇li̇r artirilmiş gerçekli̇k uygulamalari geli̇şti̇ri̇lmesi̇ i̇çi̇n bi̇r yöntem
US20210149441A1 (en) * 2020-08-18 2021-05-20 Marko Bartscherer Lid controller hub
US11893551B2 (en) 2021-04-15 2024-02-06 Bank Of America Corporation Information security system and method for augmented reality check generation

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
US20070129012A1 (en) * 2003-04-01 2007-06-07 Iceberg Systems Limited Portable digital devices
JP3938127B2 (ja) * 2003-09-29 2007-06-27 ソニー株式会社 撮像装置
JP2005136535A (ja) * 2003-10-29 2005-05-26 Hitachi Ltd 情報処理装置、携帯電子機器および撮影制限システム
JP4385725B2 (ja) * 2003-10-29 2009-12-16 カシオ計算機株式会社 撮影装置、撮影制限装置およびプログラム
KR20050041345A (ko) * 2003-10-30 2005-05-04 엘지전자 주식회사 이동통신단말기의 카메라 동작제한장치 및 방법
JP2005323143A (ja) * 2004-05-10 2005-11-17 Matsushita Electric Ind Co Ltd カメラシステム、プリント装置、カメラ制御方法、プリント装置制御方法および画像開示方法
JP2006048643A (ja) * 2004-07-08 2006-02-16 Namco Ltd 端末装置、プログラム、情報記憶媒体およびデータ処理方法
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4512763B2 (ja) * 2005-02-02 2010-07-28 株式会社国際電気通信基礎技術研究所 画像撮影システム
KR100640449B1 (ko) * 2005-04-20 2006-10-30 삼성전자주식회사 이동 통신 단말의 부가 기능 제한 방법 및 시스템
ES2347678T3 (es) * 2006-09-01 2010-11-03 Research In Motion Limited Metodo para inhabilitar caracteristicas de un dispositivo de comunicacion movil basandose en la ubicacion, y dispositivo para ello.
US8218015B2 (en) * 2006-09-01 2012-07-10 Research In Motion Limited Method for monitoring and controlling photographs taken in a proprietary area
JP2008172651A (ja) * 2007-01-15 2008-07-24 Dainippon Printing Co Ltd 撮影画像管理システム
US8154608B2 (en) * 2007-11-13 2012-04-10 Olympus Corporation Digital camera security
US8270664B2 (en) * 2007-11-27 2012-09-18 Broadcom Corporation Method and system for utilizing GPS information to secure digital media
US8219144B2 (en) * 2008-01-11 2012-07-10 Alcatel Lucent Disabling of mobile phone camera operation by video-restricted location device
US8559914B2 (en) * 2008-01-16 2013-10-15 M. Kelly Jones Interactive personal surveillance and security (IPSS) system
US20100008265A1 (en) * 2008-07-14 2010-01-14 Carl Johan Freer Augmented reality method and system using logo recognition, wireless application protocol browsing and voice over internet protocol technology
US20100305966A1 (en) * 2009-05-29 2010-12-02 Disruptive Ip, Inc. Robotic Management of Patient Care Logistics
JP5109175B2 (ja) * 2009-10-30 2012-12-26 北川工業株式会社 コンタクト部材および係止部材
JP5728159B2 (ja) * 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR101632203B1 (ko) * 2010-03-17 2016-06-22 삼성전자주식회사 휴대 단말기의 어플리케이션 실행 방법 및 장치
US9100693B2 (en) * 2010-06-08 2015-08-04 Intel Corporation Methods and apparatuses for securing playback content
KR101306777B1 (ko) * 2010-07-14 2013-09-10 서진호 증강 현실 기반의 가상 입력장치 암호화를 이용한 전자거래 보안 방법 및 시스템
AT510352A1 (de) * 2010-09-13 2012-03-15 Smartspector Artificial Perception Engineering Gmbh Kamera für die unkenntlichmachung personenbezogener daten
EP2437220A1 (en) * 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
JP5689180B2 (ja) * 2010-11-18 2015-03-25 チャフー カンパニーリミテッドＣｈａｈｏｏ Ｃｏ．，Ｌｔｄ． 情報認識手段を利用した管渠総合管理システム及び方法
US8625788B2 (en) * 2011-01-05 2014-01-07 Intel Corporation Method and apparatus for building a hardware root of trust and providing protected content processing within an open computing platform
KR101844289B1 (ko) * 2011-07-06 2018-04-02 삼성전자 주식회사 이동통신 시스템에서 위치 정보에 기반한 휴대 단말기의 보안 관리 방법 및 장치
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
US8743224B2 (en) 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948659B2 (en) 2012-07-13 2018-04-17 Intel Corporation Context based management for secure augmented reality applications

Also Published As

Publication number Publication date
CN111526115A (zh) 2020-08-11
CN104350733A (zh) 2015-02-11
WO2014012040A1 (en) 2014-01-16
CN111526115B (zh) 2022-08-23
US20170142127A1 (en) 2017-05-18
KR20150013203A (ko) 2015-02-04
CN104350733B (zh) 2020-01-21
US20160080683A1 (en) 2016-03-17
JP6081586B2 (ja) 2017-02-15
US9948659B2 (en) 2018-04-17
US8743224B2 (en) 2014-06-03
US20140362236A1 (en) 2014-12-11
EP2873227A1 (en) 2015-05-20
JP2015523600A (ja) 2015-08-13
US20140015987A1 (en) 2014-01-16
US9509941B2 (en) 2016-11-29
US9183677B2 (en) 2015-11-10
EP2873227A4 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
KR101650002B1 (ko) 보안 증강 현실 애플리케이션을 위한 컨텍스트 기반 관리
WO2018107729A1 (zh) 基于隐私遮蔽显示图像的方法及装置
CA2434328C (en) Methods and systems for cryptographically protecting secure content
US7380130B2 (en) Methods and systems for authentication of components in a graphics system
US10187389B2 (en) Technologies for supporting multiple digital rights management protocols on a client device
US9800561B2 (en) Secure sharing of user annotated subscription media with trusted devices
CN104581214A (zh) 基于ARM TrustZone系统的多媒体内容保护方法和装置
US20170353745A1 (en) Secure media player
Winkler et al. User-centric privacy awareness in video surveillance
CN101296349A (zh) 影音文件的加密/解密系统及方法
US11409890B2 (en) Video recording apparatus and video recording verification system, and video recording method and video verification method
US11064153B2 (en) Methods and apparatus for encrypting camera media
CN113051542A (zh) 二维码处理方法和设备
CN109429106A (zh) 点播影院专业数字电影放映机播控系统
CN111247785B (zh) 一种拍摄图像处理方法及相关设备
US11876797B2 (en) Multi-factor geofencing system for secure encryption and decryption system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 4