KR20230110816A - 카메라 기능들 api 프레임워크 및 공유 oem 저장소시스템 - Google Patents

카메라 기능들 api 프레임워크 및 공유 oem 저장소시스템 Download PDF

Info

Publication number
KR20230110816A
KR20230110816A KR1020237022808A KR20237022808A KR20230110816A KR 20230110816 A KR20230110816 A KR 20230110816A KR 1020237022808 A KR1020237022808 A KR 1020237022808A KR 20237022808 A KR20237022808 A KR 20237022808A KR 20230110816 A KR20230110816 A KR 20230110816A
Authority
KR
South Korea
Prior art keywords
oem
hardware
app
components
code
Prior art date
Application number
KR1020237022808A
Other languages
English (en)
Inventor
투오 왕
시앙잉 마
웨이징 리우
브렌트 밀스
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230110816A publication Critical patent/KR20230110816A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/36Software reuse
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44521Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)

Abstract

하나 이상의 프로세서를 포함하는 컴퓨팅 디바이스에서 하드웨어 요청을 핸들링하는 방법은, 애플리케이션 서비스 모듈로부터 하드웨어 관련 기능에 대한 요청을 수신하는 것, 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 있는지를 결정하는 것; 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 있다는 결정에 기초하여, 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 OEM 특정 SDK에 제공하는 것; 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 없다는 결정에 기초하여, 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 운영 체제 하드웨어 추상화 계층(hardware abstraction layer)에 제공하는 것을 포함한다.

Description

카메라 기능들 API 프레임워크 및 공유 OEM 저장소 시스템
디지털 이미지들 및 비디오의 사용 증가, 휴대용 컴퓨팅 디바이스들의 가격적정성(affordability), 디지털 저장 매체들의 증가된 용량의 가용성, 및 네트워크 접속들의 대역폭 및 액세스가능성 증가로, 디지털 이미지들 및 비디오는 점점 더 많은 수의 사람들의 일상 생활의 일부가 되었다. 추가적으로, 디바이스 사용자들의 기대는 또한 휴대용 컴퓨팅 디바이스들에서 앱들을 사용하는 경험이 계속해서 더욱 정교해지고 미디어가 풍부(media-rich)하게 될 것이라는 것이다.
반드시 일정한 비율로 그려진 것은 아닌 도면들에서, 같은 번호들은 상이한 도면들에서 유사한 컴포넌트들을 설명할 수 있다. 임의의 특정한 요소 또는 동작의 논의를 쉽게 식별하기 위해, 참조 번호에서의 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 지칭한다. 일부 실시예들은 다음과 같은 첨부 도면들의 도면들에서 제한이 아닌, 예로서 예시되어 있다.
도 1은 카메라 기능들(capabilities) API 프레임워크 및 공유 데이터 저장소(repository)를 제공하기 위한 예시적인 시스템(100)을 도시하는 블록도이다.
도 2는 도 1의 앱의 아키텍처의 예를 도시한다.
도 3은 도 1의 앱의 아키텍처의 대안적인 예를 도시한다.
도 4는 도 1의 앱의 아키텍처의 대안적인 예를 도시한다.
도 5는 모바일 디바이스 상에서 작동하는 앱에서 카메라 또는 다른 하드웨어 API 프레임워크를 구현하는 방법을 예시하는 흐름도이다.
도 6은 하드웨어 API 프레임워크를 개발하고 모바일 디바이스 상에서 작동하는 맞춤형 버전의 앱을 제공하기 위한 공유 저장소를 제공하는 방법을 예시하는 흐름도이다.
도 7은 일부 예들에 따라, 머신으로 하여금 본 명세서에서 논의되는 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템 형태의 머신의 도식적 표현이다.
도 8은 예들이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
다양한 위치들로부터의 다양한 관심을 갖는 사용자들은 다양한 대상들의 디지털 이미지들 또는 비디오를 캡처할 수 있고 캡처된 이미지들 또는 비디오를 인터넷과 같은 네트워크들을 통해 다른 사람들이 이용가능하게 할 수 있다. 컴퓨팅 디바이스들이 광범위한 변화 조건들(예를 들어, 이미지 스케일들, 잡음들, 조명, 움직임, 또는 기하학적 왜곡의 변화들)에서 캡처되는 다양한 객체들 및/또는 특징들에 대한 이미지/비디오 프로세싱 또는 이미지/비디오 강화 동작들을 수행할 수 있게 하는 것은 도전적이고 계산 집약적일 수 있다. 추가적으로, 모바일 디바이스들에서 발견되는 카메라들이 더 정교해지고 다양해짐에 따라, 애플리케이션 개발자들이 OEM의 최근 하드웨어에 의해 제안되는 최근 특징들 및 개선들로 그들의 앱들을 최신으로 유지하는 것이 더 어려워진다. 또한, OEM들은 이러한 특징들로의 액세스를 안드로이드와 같은 모바일 운영 체제에 대한 API들로 포함시키기를 원하지 않을 수 있으며, 이는 경쟁자들이 최근 특징들 및 개선들을 신속하게 채택하는 것을 허용할 수 있다. OEM이 그들의 하드웨어 상에서 작동하는 애플리케이션의 버전에 대한 강화들을 제안하는 능력은 경쟁 우위를 제공할 수 있다.
일 예에서, 하나 이상의 프로세서를 포함하는 컴퓨팅 디바이스에서 하드웨어 요청을 핸들링하는 방법이 제공된다. 방법은 애플리케이션 서비스 모듈로부터 하드웨어 관련 기능에 대한 요청을 수신하는 것; 하드웨어 관련 기능이 OEM 특정(OEM-specific) SDK에 의해 제공될 수 있는지를 결정하는 것, 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 있다는 결정에 기초하여, 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 OEM 특정 SDK에 제공하는 것, 및 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 없다는 결정에 기초하여, 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 운영 체제 하드웨어 추상화 계층(hardware abstraction layer)에 제공하는 것을 포함한다.
결정 단계는 OEM 특정 하드웨어 디바이스에 다운로드된 커스텀 라이브러리(custom library)에 의해 수행될 수 있다. 또한, 애플리케이션 서비스 모듈은 OEM 특정이 아닌 애플리케이션의 부분에 포함될 수 있다.
하드웨어 관련 기능은 컴퓨팅 디바이스의 운영 체제에서 디폴트로 지원될 수 있고 하드웨어 관련 기능에 대한 요청은 디폴트 요청일 수 있으며, 이 경우에 방법은 디폴트 요청에 관련된 커맨드들 및 파라미터들을 OEM 특정 SDK에 제공하는 것을 추가로 포함할 수 있다.
일 예에서, 하나 이상의 프로세서를 포함하는 특정 컴퓨팅 디바이스에 대해 맞춤화되는 애플리케이션을 제공하는 방법이 제공된다. 방법은, 특정 컴퓨팅 디바이스에 의해, 특정 컴퓨팅 디바이스 상에서의 실행을 위해 애플리케이션의 제1 버전을 다운로드하는 것, 애플리케이션에 의해, 특정 컴퓨팅 디바이스에 질의하여 특정 컴퓨팅 디바이스를 식별하는 정보를 획득하는 것, 및 특정 컴퓨팅 디바이스 상에서 실행되는 애플리케이션에 의해, 특정 컴퓨팅 디바이스 상에서 실행될 때 애플리케이션과 함께 사용하기 위한 커스텀 하드웨어 통합 코드(custom hardware integration code)를 다운로드하는 것을 포함한다. 커스텀 하드웨어 통합 코드는 특정한 OEM 또는 특정한 OEM 제공 디바이스에 특정적일 수 있다.
도 1은 카메라(또는 다른 하드웨어) 기능들 API 프레임워크 및 공유 데이터 저장소를 제공하기 위한 예시적인 시스템(100)을 도시하는 블록도이다. 시스템(100)은 모바일 디바이스(104)의 다수의 인스턴스를 포함하며, 이들 각각은, 앱 개발자에 의해 개발된 앱(116)을 포함하는, 다수의 애플리케이션들을 호스팅한다. 각각의 모바일 디바이스(104)는, 네트워크(102)(예를 들어, 인터넷)를 통해, 앱(116)의 인스턴스들을 또한 작동시키는 다른 모바일 디바이스들(104), 및 애플리케이션 서버 시스템(114)에 통신가능하게 결합될 수 있다. 모바일 디바이스(104)는 또한 네트워크를 통해, 앱(116)이 다운로드되어 모바일 디바이스(104) 상에 설치될 수 있는 앱 스토어(112)에 결합될 수 있다. 앱(116)은 모바일 디바이스(104)의 카메라 기능들을 사용하는 모바일 디바이스(104) 상에서 작동할 수 있는 임의의 종류의 앱일 수 있다. 일 예에서, 앱(116)은 메시징 애플리케이션 또는 소셜 네트워킹 애플리케이션이다.
모바일 디바이스(104)는 OEM에 의해 모바일 디바이스(104) 상에 프리로딩(preload)되고, 예를 들어, 모바일 디바이스(104)의 OEM에 의해 포함된 카메라 또는 다른 하드웨어, 운영 체제, 펌웨어 또는 소프트웨어 기능들에 액세스하기 위한 앱(116)에 대한 인터페이스를 제공하는 OEM SDK(128)를 포함한다. 앱(116)은 또한 OEM SDK(128)와 앱(116) 사이에 브리지(bridge)를 제공하는 통합 코드(126)를 포함한다. 통합 코드(126) 및 OEM SDK(128)는 모바일 디바이스가 속하는 모델 또는 제품의 패밀리에 고유하고, 특정한 OEM에 고유하다.
모바일 디바이스는 또한 OS 하드웨어 추상화 계층(130)을 포함한다. 하드웨어 추상화 계층(130)은 OEM들이 구현할 표준 인터페이스를 정의한다. 하드웨어 추상화 계층(130)은 모바일 디바이스(104)의 OS가 상세한 하드웨어 레벨보다는 일반 또는 추상 레벨에서 하드웨어 디바이스와 상호작용할 수 있게 한다. 하드웨어 추상화 계층(130)은, 예를 들어, 상이한 하드웨어 타입들, 예를 들어, 카메라(들), 오디오 컴포넌트들, 블루투스 컴포넌트들, 센서들, 스토리지, 주변 장치들 등에 대응하는 하나 이상의 모듈을 포함할 수 있다.
사용 중에, 앱(116)이 하드웨어 관련 기능 또는 특징을 인보크할 때, 앱(116)은 하드웨어 관련 기능을 달성하거나 하드웨어 관련 특징을 인보크하기 위해 하드웨어 추상화 계층(130) 또는 OEM SDK(128) 중 어느 하나에 호출을 (통합 코드(126)를 통해) 제공할 것이다. OEM SDK(128)는 결과적으로 하드웨어 추상화 계층(130)을 호출하거나 조정할 수 있거나, 관련 있는 하드웨어와 더 직접적으로 상호작용하여, 하드웨어 관련 기능을 달성하거나 특징을 인보크할 수 있다.
애플리케이션 서버 시스템(114)은 앱(116)에 제공되고 앱(116)이 의도된 대로 기능하는 것을 허용하는 다양한 서비스들 및 동작들을 지원한다. 그러한 동작들은 앱(116)에 데이터를 송신하는 것, 그로부터 데이터를 수신하는 것, 및 그에 의해 생성된 데이터를 처리하는 것을 포함한다. 이 데이터는, 예들로서 메시지 콘텐츠, 모바일 디바이스 정보, 지오로케이션(geolocation) 정보, 사용자 생성 미디어, 미디어 증강 및 오버레이들, 메시지 콘텐츠 지속 조건들, 소셜 네트워크 정보, 라이브 이벤트 정보, 로그인 및 프로파일 정보, 친구 그룹들 및 친구 상태들을 포함할 수 있다. 애플리케이션 서버 시스템(114) 및 다른 모바일 디바이스들(104)과의 데이터 교환들은 앱(116)의 사용자 인터페이스들(UI들)을 통해 이용가능한 기능들을 통해 인보크되고 제어된다.
시스템(100)은 또한 OEM SDK(128) 및 OEM 통합 코드(118)를 호스팅하는 OEM 시스템(106)을 포함할 수 있다. OEM SDK(128)는 본 기술분야에 알려진 바와 같이 OEM에 의해 제공되는 디바이스들 상에서의 사용을 위해 OEM에 의해 개발된다. OEM 시스템(106)은 또한, OEM에 의해 제공되는 모바일 디바이스들(104) 상에서 작동할 때, 앱(116)에 포함시키기 위해 앱 개발자에게 제출하기 위해 OEM에 의해 개발되고 있는 후보 OEM 통합 코드(118)를 포함할 수 있다.
시스템(100)은 또한 앱 제공자에 의해 관리되고, 예를 들어 GitHub와 같은 코드 호스팅 플랫폼(code hosting platform) 상에서 호스팅될 수 있는 통합 코드 저장소(108)를 포함한다. 통합 코드 저장소(108)는, OEM들이 OEM 통합 코드(118)의 그들 자신의 고유 버전들을 만들 수 있는(앱 개발자에 의해 제공되는) API를 포함하는 API 저장소(120)를 포함한다. API 저장소(120)의 목적은 API의 가시성을 OEM 개발자들과 공유하는 것이다. API 저장소(120)는 애플리케이션 개발자에 의해 유지되고, OEM들은 판독 허가들만 갖고 기입 허가들은 갖지 않는다. API 저장소(120)에 대한 임의의 업데이트들은 앱 개발자에 의해 제공된다. 앱 개발자에 의해 행해진 API 저장소(120)에 대한 임의의 변경들은 통합 코드 저장소(108)에 게시되고, 앱 개발자에 의해 소유되고 유지되는 앱 개발자 코드 저장소(110)에 유지되는 API 저장소(120)의 참조 버전에서 업데이트된다.
각각의 참여 OEM은 대응하는 OEM 구현 저장소, 예를 들어, OEM 1에 대한 OEM 1 구현 저장소(122), OEM 2에 대한 OEM 2 구현 저장소(124) 등을 가질 것이다. 각각의 OEM 구현 저장소는 앱 개발자 및 각자의 OEM에 의해 공동 유지되고, 각각의 OEM 구현 저장소로의 액세스는 앱 개발자 및 특정한 OEM으로 제한된다. 각각의 OEM 구현 저장소는, 앱 개발자에 의해 제공되고 API 저장소(120)에 유지되는 API의 OEM의 구현인 OEM 통합 코드 라이브러리를 포함한다. OEM 통합 코드(118)의 OEM 구현의 검토 및 승인 시에, 앱 개발자는 승인된 통합 코드를 앱 개발자 코드 저장소(110)로 전송할 수 있고, 여기에서 앱(116)의 커스텀 버전으로 포함될 수 있다.
또한, Android 또는 iOS 상에서 각각 작동하는 모바일 디바이스들(104) 상에서의 다운로드 및 사용을 위한 앱들을 호스팅하는 Google Play 또는 Apple의 App Store와 같은 앱 스토어(112)가 시스템에 포함된다. 앱 개발자는, 승인된 OEM 통합 코드(118)를, 이제 OEM에 의해 제공되는 모바일 디바이스(104)와 함께 사용하도록 맞춰진 앱(116)의 버전에 통합한 후에, 앱(116)의 그 버전을, 그것이 호스팅되고 모바일 디바이스(104)에 의한 다운로드 및 설치에 이용가능한 앱 스토어(112)에 업로드할 수 있다. 대안적으로, 승인된 OEM 통합 코드(118)는 모바일 디바이스(104) 상에 다운로드되고 앱(116)의 일반 버전에 의해 호출될 수 있는 작동가능한 라이브러리(runnable library)로서 제공될 수 있다.
시스템(100)의 사용 시에, OEM은, (앱 개발자의 승인으로) 통합 코드 저장소(108)에 등록한 후, OEM 통합 코드(118)를 개발하는데 사용하기 위해 API 저장소(120)로부터 API를 다운로드한다. 다음으로, OEM은 API 저장소(120)로부터 다운로드된 API로부터, 커스텀 버전인 OEM 통합 코드(118)를 준비한다. 완료 시에, OEM 통합 코드(118)는 OEM 시스템(106)으로부터 통합 코드 저장소(108)로 OEM 구현 저장소, 예를 들어, OEM 1 구현 저장소(122) 또는 OEM 2 구현 저장소(124) 등에 업로드되며, 여기서 검토를 위해 앱 개발자에 의해 다운로드될 수 있다. 대안적으로, OEM 통합 코드(118)는 검토를 위해 OEM 시스템(106)으로부터 직접 앱 개발자 코드 저장소(110)에 업로드된다.
앱 개발자에 의한 OEM 통합 코드(118)의 승인 후에, 승인된 OEM 통합 코드(118)는, OEM에 의해 공급되는 모바일 디바이스들(104) 상에서의 사용을 위해, 앱 개발자에 의해 앱(116)의 커스텀 버전으로, 또는 커스텀 작동가능 라이브러리에 포함된다. 앱(116)의 커스텀 버전 또는 커스텀 작동가능 라이브러리는, OEM 통합 코드(126)가 만들어진 모바일 디바이스들(104)을 식별하는 정보(예를 들어, OEM 명칭, 모델 번호, 패밀리 명칭, 운영 체제 등)를 포함할 것이다. 다음으로, 커스텀 작동가능 라이브러리 또는 앱(116)의 커스텀 버전이, 모바일 디바이스들(104)의 사용자들에 의한 다운로드에 이용가능한 앱 스토어(112)에 업로드된다.
모바일 디바이스(104)의 사용자가 앱(116)의 다운로드를 요청할 때, 모바일 디바이스(104)는 앱 스토어(112)에 질의하고 앱의 일반 버전(116)을 다운로드한다. 앱(116)이 모바일 디바이스(104)에 의해 실행될 때, 앱(116)은 모바일 디바이스(104)를 식별하는 정보(예를 들어, OEM 명칭, 모델 번호, 운영 체제 등)를 획득하기 위해 모바일 디바이스(104)에 질의한다.
다음으로, 앱(116)은 특정한 모바일 디바이스(104)에 대해 맞춤화된 앱(116)에 대한 통합 코드(126)가 있는지를 결정하기 위해 앱 스토어(112)에 질의한다. 그렇다면, 앱(116)에 대한 추가가 앱 스토어(112)에 의해 모바일 디바이스(104)에 제공되어 앱의 일반 버전을 보완 또는 업데이트한다. 일 실시예에서, 추가는 앱 스토어(112)로부터 모바일 디바이스(104)로 동적으로 전달되는 커스텀 작동가능 라이브러리이다. 커스텀 작동가능 라이브러리는 사용 중인 앱(116)의 일반 버전에 의해 인보크될 것이고, 그에 의해 앱(116)의 맞춤화된 버전을 제공할 것이다.
대안적으로, 앱(116)은 특정한 모바일 디바이스(104)에 대해 맞춤화된 통합 코드(126)를 갖는 앱(116)의 버전이 존재하는지를 결정하기 위해 앱 스토어(112)에 질의하고, 이는 이어서 앱(116)의 일반 버전을 대체할 수 있다.
도 2는 도 1의 앱(116)의 아키텍처 및 하드웨어 추상화 계층(130) 및 OEM SDK(128)와의 그의 상호작용의 예를 도시한다. 명료성을 목적으로, 앱(116)의 카메라 서비스 모듈(202) 및 통합 코드(126)만이 예시되어 있다. 앱(116)은 다수의 기능 및 서비스 모듈들을 포함한다는 것이 명백할 것이다.
카메라 서비스 모듈(202)은 카메라 기능 또는 특징을 개시하기 위해, 앱(116)의 다른 모듈들 중 하나, 예를 들어, 사용자 인터페이스 모듈(도시되지 않음)로부터 요청을 수신(예를 들어, SuperNightMode, FaceDetection 등을 인보크)한다. 임의의 관련 파라미터들(예를 들어, 줌 인 또는 줌 아웃, 플래시 온 또는 플래시 오프)과 함께, 이 요청은 프로세싱을 위해 카메라 서비스 모듈(202)로부터 통합 코드(216)로 전달된다.
통합 코드(126)의 예인, 통합 코드(216)는 다수의 카메라 제어 인터페이스를 포함한다. 예시된 바와 같이, 통합 코드(216)는 운영 체제에 표준인 OS 카메라 제어 인터페이스들(206a 내지 206f)의 제1 그룹(204)을 포함한다. 예를 들어, 그룹(204)은 하드웨어 애그노스틱(hardware agnostic) 또는 일반 카메라 제어들(common camera controls)- 예를 들어, 자동포커스 제어, 플래시 설정, 카메라 프리뷰, 사진 촬영, 비디오 기록, 광학 또는 전자 이미지 안정화, 얼굴 검출, 줌 제어 등 -을 제공하는 Google의 Android 카메라1, 카메라2 또는 카메라X 라이브러리들로부터의 카메라 제어 인터페이스들을 포함할 수 있다.
통합 코드(216)는 또한 커스텀 OEM 카메라 제어 인터페이스들(214a 내지 214c)의 그룹(210)을 포함한다. 커스텀 OEM 제어 인터페이스들은, 특징들 또는 기능들의 OEM의 구현에 또는 모바일 디바이스(104)의 하드웨어에 특정적인 카메라 기능들 또는 특징들로의 액세스를 가능하게 하기 위해 애플리케이션 개발자에 의해 설계되고 OEM에 의해 구현되었으며, 통합 코드(216)의 고유하거나 구현 특정인(implementation-specific) 부분을 포함한다. 예를 들어, 그룹(210)은 High Dynamic Range 캡처, 강화된 야간 모드, 카메라가 제스처들에 의해 제어되는 모드, 보케(bokeh) 모드, 하나 이상의 포스트 캡처(또는 "미용(beauty)") 모드, 자동포커스 우선순위가 얼굴들에 주어지는 모드 등과 관련되는 카메라 제어 인터페이스들을 포함할 수 있다.
카메라 서비스 모듈(202)로부터의 요청의 수신 시에, 그룹(204) 또는 그룹(210) 내의 카메라 제어 인터페이스들 중 관련 있는 하나는 적절한 커맨드들 및 파라미터들을 하드웨어 추상화 계층(130)(예를 들어, 도 2의 OS 하드웨어 추상화 모듈(208) 또는 OS 하드웨어 추상화 모듈(212)) 또는 OEM SDK(128) 중 어느 하나로 전달하고, 이는 결과적으로 하드웨어 레벨에서 적절한 커맨드들을 구현한다.
OS 카메라 제어 인터페이스들(206a 내지 206f)의 경우, 관련 있는 커맨드들 및 파라미터들은, 적절하게 OS 하드웨어 추상화 모듈(208) 또는 OS 하드웨어 추상화 모듈(212)로 지향되고, 그에 의해 수신된다. 예를 들어, 유연성을 위해, OS 하드웨어 추상화 모듈(208)은 Android 카메라1일 수 있는 반면 212는 Android 카메라2일 수 있다. 그룹(204) 내의 표준 운영 체제 카메라 제어 인터페이스가 OEM SDK(128)에서 대응하는 OEM 특정 구현을 갖는 경우, 관련 있는 커맨드들 및 파라미터들은 하드웨어 추상화 모듈들 중 하나 대신에 OEM SDK(128)로 지향되고, 그에 의해 수신된다.
커스텀 OEM 카메라 제어 인터페이스(214a 내지 214c)의 경우, 관련 있는 커맨드들 및 파라미터들은 통합 코드(216)에 의해 OEM SDK(128)로 지향되고, 그에 의해 수신되어, 앱(116)이 OEM에 고유하거나 특정적인 커스텀 카메라 기능성에 액세스할 수 있게 한다. 이러한 방식으로, 앱 개발자는, 모바일 디바이스(104)에 특정적이고, OS 표준 또는 일반 카메라 제어들과 상이하거나 이들에 비해 개선될 수 있는 커스텀 OEM 기능들 또는 특징들로부터 이익을 얻을 수 있다. 유사하게, OEM은, OEM의 모바일 디바이스(104)에 특정적이고 경쟁자들의 제안들과 상이한 커스텀 OEM 기능들 또는 특징들을 앱(116)의 사용자들에게 제공함으로써 이익을 얻을 수 있어, 모바일 디바이스(104)의 매력을 강화시킨다.
도 3은 도 1의 앱(116)의 아키텍처 및 OS 하드웨어 추상화 모듈(212) 및 OEM SDK(128)와의 그의 상호작용의 대안적인 예를 도시한다. 이 경우, 앱(116)은 서비스 관리자(302) 및 통합 코드(304)를 포함한다. 카메라 서비스 모듈(202)이 앱(116)의 다른 모듈들 중 하나로부터 요청을 수신할 때, 다음으로 임의의 관련된 파라미터들(예를 들어, 줌 인/아웃, 플래시 온/오프)을 갖는 요청은, 카메라 서비스 모듈(202)로부터 서비스 관리자(302)로 전달된다. 서비스 관리자(302)는 OS에 일반적이다. 예를 들어, 서비스 관리자(302)는 Android 카메라2 API를 검출하고, 특성화하고, 그에 접속하기 위한 시스템 서비스 관리자인 Android 카메라2 관리자일 수 있다. 서비스 관리자(302)는 결과적으로 카메라 서비스 모듈(202)로부터의 요청들을, 보통 발생하는 것처럼 OS 하드웨어 추상화 계층(130) 대신에 통합 코드(304)로 전달한다.
통합 코드(304)는 통합 코드(216)의 단순화된 버전이며, 이는 모바일 디바이스(104)의 OEM의 구현 또는 하드웨어에 특정적인 카메라 기능들 또는 특징들에 대한 임의의 디폴트 카메라 거동들의 부분적 오버라이드(override)를 가능하게 할 수 있다.
즉, OEM 특정 구현을 갖지 않는 서비스 관리자(302)로부터 디폴트 요청을 수신할 때, 관련 있는 커맨드들 및 파라미터들은, OS 하드웨어 추상화 모듈(212)에 의한 디폴트 프로세싱을 위해, 통합 코드(304)에 의해, OS 하드웨어 추상화 모듈(212)로 지향되고, OS 하드웨어 추상화 모듈(212)에 의해 수신된다. 그러나, OEM 특정 구현을 갖는 서비스 관리자(302)로부터 디폴트 요청을 수신할 때, 관련 있는 커맨드들 및 파라미터들은 통합 코드(304)에 의해 OEM SDK(128)로 지향되고, OEM SDK(128)에 의해 수신되어, 앱(116)이 OS 하드웨어 추상화 모듈(212)에서 고려되는 디폴트 카메라 기능성 대신에, OEM에 고유하거나 특정적인 커스텀 카메라 기능성에 액세스할 수 있게 한다.
도 3에서 OEM SDK(128)와 OS 하드웨어 추상화 모듈(212) 사이의 화살표에 의해 예시된 바와 같이, OEM SDK(128)는 또한, 카메라 프리뷰 오픈(open camera preview), 카메라 닫기, 사진 촬영 등과 같은 카메라 동작들을 위해 OS 하드웨어 추상화 모듈(212)을 인보크할 수 있다.
도 3 아키텍처의 이점은 통합 코드(304)가 통합 코드(216)보다 더 간결할 수 있다는 것이다. 추가적으로, OEM들은 서비스 관리자(302) 및 OS 하드웨어 추상화 모듈(212)에 더 친숙할 수 있어서, 잠재적으로, 더 쉬운 구현을 제공할 수 있다. 도 3 아키텍처의 단점은 기존의 서비스 관리자(302) 커맨드들 및 기능들로 제한된다는 것이다.
도 4는 도 1의 앱(116)의 아키텍처 및 OS 하드웨어 추상화 모듈(212) 및 OEM SDK(128)와의 그의 상호작용의 추가적인 대안적인 예를 도시한다. 이것은 도 2 및 도 3의 아키텍처들의 하이브리드 구현이다.
도 4에 도시된 바와 같이, 이 예에서, 앱(116)은 일반적으로 도 2의 통합 코드(216)에 대응하는 통합 코드(402), 및 일반적으로 도 3의 통합 코드(304)에 대응하는 통합 코드(404) 둘 다를 포함한다. 이 경우, 통합 코드(404)는 통합 코드(402)의 서브모듈로서 기능한다.
도 4의 아키텍처는 유연성 및 확장성(scalability)의 관점에서 이점들을 제공할 수 있다. 예를 들어, 통합 코드(304)에 대해 위에서 설명된 바와 같은 모바일 디바이스(104)의 OEM의 구현 또는 하드웨어에 특정적인 카메라 기능들 또는 특징들에 대한 임의의 디폴트 카메라 거동들의 부분적 오버라이드를 제공하는 통합 코드(402)는, 특정한 OEM에 의해 제공되는, 상이한 능력들을 갖는, 상이한 모바일 디바이스들(104)에 걸쳐 수정 없이 또는 거의 수정 없이 재사용가능할 수 있다. 추가적으로, 더 간결한 통합 코드(404)/통합 코드(304)를 사용하여 기존의 카메라 제어 인터페이스들(예를 들어, 그룹(204)으로부터의 OS 카메라 제어 인터페이스(206d))을 오버라이드하는 능력은, 도 2의 아키텍처보다 더 빠른 초기 개발을 제공할 수 있다. 그러한 경우, 앱 개발자에 의해 제공되는 통합 코드(402)는, 어느 정도의 맞춤화(a degree of customization)를 제공하기 위해 OEM에 의해 수정될 필요가 없다.
그러나, 도 4의 아키텍처는 또한 확장성 이점들을 제공한다. OEM은 하나 이상의 커스텀 OEM 카메라 제어 인터페이스, 예를 들어, 도 4에 도시된 바와 같은 OEM 카메라 제어 인터페이스(214b)를 포함하는 통합 코드(402)의 커스텀 버전을 개발할 수 있다. 위에서 설명한 바와 같이, 그러한 커스텀 OEM 제어 인터페이스들은 OEM에 의해 생성되어, 모바일 디바이스(104)의 OEM의 구현 또는 하드웨어에 특정적이고, 통합 코드(404)에 의해 오버라이드될 수 있는 서비스 관리자(302)에서 디폴트 카메라 거동들로서 발견되지 않을 수 있는 카메라 기능들 또는 특징들로의 액세스를 가능하게 한다.
예를 들어, 카메라 서비스 모듈(202)로부터 디폴트 요청을 수신할 때, 관련 있는 커맨드들 및 파라미터들은, 통합 코드(402)에 의해 통합 코드(404)로 지향되고, 통합 코드(404)에 의해 수신된다. 디폴트 커맨드의 OEM 특정 구현이 없는 경우, 통합 코드(404)는 디폴트 기능들 및 거동들을 사용하여 핸들링하기 위해, 커맨드들 및 파라미터들을 OS 하드웨어 추상화 모듈(212)로 전달한다.
그러나, OEM 특정 구현을 갖는 카메라 서비스 모듈(202)로부터 디폴트 요청을 수신할 때, 관련 있는 커맨드들 및 파라미터들은 통합 코드(404)에 의해 OEM SDK(128)로 지향되고, OEM SDK(128)에 의해 수신되어, 앱(116)이 OS 하드웨어 추상화 모듈(212)에서 고려되는 디폴트 카메라 기능성 대신에, OEM에 고유하거나 특정적인 커스텀 카메라 기능성에 액세스할 수 있게 한다. 예를 들어, OS 하드웨어 추상화 모듈(212)이 나이트 모드 캡처 기능을 지원하지만 OEM SDK(128)가 나이트 모드 캡처의 OEM 특정 구현을 갖는 경우, 통합 코드(404)는, 관련 있는 커맨드들 및 파라미터들을, OS 하드웨어 추상화 모듈(212) 대신에 OEM SDK(128)로 지향시킬 것이다.
도 4에서 OEM SDK(128)와 OS 하드웨어 추상화 모듈(212) 사이의 화살표에 의해 예시된 바와 같이, OEM SDK(128)는 또한, 카메라 프리뷰 오픈, 카메라 닫기, 사진 촬영 등과 같은 카메라 동작들을 위해 OS 하드웨어 추상화 모듈(212)을 인보크할 수 있다.
한편, 카메라 서비스 모듈(202)이 OS 하드웨어 추상화 모듈(212)에 의해 지원되지 않는 통합 코드(402)에 요청을 제공하는 경우, 다음으로 통합 코드(402)는 관련 있는 커맨드들 및 파라미터들을 통합 코드(404)에 제공할 것이고, 통합 코드(404)는 결과적으로 관련 있는 커맨드들 및 파라미터를 OEM SDK(128)로 전달할 것이다. 예를 들어, OEM SDK(128)가 디폴트 커맨드에 의해 고려되지 않는 제스처 제어 기능성(예를 들어, OEM 카메라 제어 인터페이스(214b)를 통해 요청됨)을 갖는 경우, 통합 코드(402)는 관련 있는 커맨드들 및 파라미터들을 도 4에 도시된 바와 같이 통합 코드(404)를 통해 OEM SDK(128)로 전달할 것이다.
도 5는 모바일 디바이스(104) 상에서 작동하는 앱(116)에서 카메라 또는 다른 하드웨어 API 프레임워크를 구현하는 방법을 예시하는 흐름도이다. 방법은 동작 502에서 시작하며, 앱은 동작 602에서 하드웨어 관련 기능이 앱(116) 및 모바일 디바이스(104)에 의해 수행될 것을 요청하는 사용자 입력을 수신한다. 사용자 입력은, 예를 들어, 모바일 디바이스의 디스플레이 상에 디스플레이된 앱의 사용자 인터페이스를 통한 하드웨어 관련 기능의 선택, 또는 앱(116)의 UI 서비스 컴포넌트에 의해 수신될 모바일 디바이스(104)의 하나 이상의 버튼의 구동(actuation)일 수 있다. 사용자 입력은, 예를 들어, 위에서 논의된 바와 같은 카메라 기능의 선택일 수 있다.
특정 사용자 입력과 관련되는 커맨드들 및 파라미터들은 UI 서비스 컴포넌트에 의해 앱(116)에 포함된 관련 있는 하드웨어 서비스 모듈에 제공된다. 카메라 기능, 예를 들어, "나이트 모드 인에이블" 또는 "비디오 녹화"의 선택의 경우, 동작 504에 도시된 바와 같이, 적절한 커맨드들 및 파라미터들이 앱 하드웨어 서비스 모듈, 예를 들어, 카메라 서비스 모듈(202)에 제공된다.
앱 하드웨어 서비스 모듈, 예를 들어, 카메라 서비스 모듈(202)에 의한 적절한 커맨드들 및 파라미터들의 수신 시에, 동작 506에서 앱 하드웨어 서비스 모듈은 관련 있는 커맨드들 및 파라미터들을, 모바일 디바이스가 속하는 모델 또는 제품의 패밀리에 특정적이고, 특정한 OEM에 고유한 하드웨어 통합 코드 모듈, 예를 들어, 통합 코드(126)에 제공한다.
하드웨어 통합 코드 모듈에 의한 적절한 커맨드들 및 파라미터들의 수신 시에, 동작 508에서 하드웨어 통합 코드 모듈은, 508에서, 하드웨어 관련 기능이 모바일 디바이스(104)를 제공한 OEM에 의해 제공된 SDK에 의해 핸들링될 수 있는지 여부를 결정한다. 하드웨어 관련 기능이 OEM(예를 들어, OEM SDK(128))에 의해 제공되는 SDK에 의해 핸들링될 수 있는 경우, 동작 510에서 관련 있는 커맨드들 및 파라미터들이 SDK에 제공된다. 하드웨어 관련 기능이 OEM(예를 들어, OEM SDK(128))에 의해 제공되는 SDK에 의해 핸들링될 수 없는 경우, 동작 514에서 관련 있는 커맨드들 및 파라미터들이 운영 체제 하드웨어 추상화 계층, 예를 들어, 하드웨어 추상화 계층(130)에 제공된다.
동작 510에서 OEM SDK에 의한 관련 있는 커맨드들 및 파라미터들의 수신 시에, OEM SDK는, 동작 512에서, OEM SDK에 구체화된 하드웨어 관련 기능의 OEM 특정 커스텀 구현을 사용하여 요청된 하드웨어 관련 기능을 실행한다.
동작 516에서 하드웨어 추상화 계층에 의한 관련 있는 커맨드들 및 파라미터들의 수신 시에, 하드웨어 추상화 계층은, 동작 512에서 하드웨어 추상화 계층에 구체화된 하드웨어 관련 기능의 종래의 또는 표준 구현을 사용하여 요청된 하드웨어 관련 기능을 실행한다.
도 6은 공유 저장소에서 하드웨어 API 프레임워크를 개발하고 모바일 디바이스 상에서 작동하는 앱의 맞춤화된 버전을 제공하기 위한 공유 저장소를 제공하는 방법을 예시하는 흐름도이다.
방법은 동작 602에서 시작하며, 동작 602에서, 앱 개발자가 공유 코드 저장소, 예를 들어, 통합 코드 저장소(108)를 만들고 정의한다. 공유 코드 저장소로의 액세스는 앱 개발자 및 인가된 OEM들에 대한 보안 설정들 및 로그인 요건들에 의해 제한된다.
다음으로, 동작 604에서, 앱 개발자는 공유 코드 저장소 내에 OEM 특정 구현 코드 저장소들, 예를 들어, 통합 코드 저장소(108) 내에 OEM 1 구현 저장소(122), OEM 2 구현 저장소(124) 등을 만든다. 특정한 OEM 특정 구현 코드 저장소로의 판독/기입 액세스는 앱 개발자 및 특정한 OEM에 대한 보안 설정들 및 로그인 요건들에 의해 제한된다.
또한 동작 604에서, 앱 개발자는, 동작 604에서, 공유 코드 저장소 내의 공유 API 저장소, 예를 들어, 통합 코드 저장소(108) 내에 API 저장소(120)를 만든다. OEM들이 API 저장소(120)로의 판독 전용 액세스에 대한 보안 설정들 및 로그인 요건들에 의해 제한되는 반면, 앱 개발자는 판독/기입 액세스를 갖는다.
다음으로, 동작 606에서, 앱 개발자는 앱의 일반 버전에서 사용되는 하드웨어 기능 API를, 모든 인가된 OEM들에 의한 판독 전용 액세스로, 공유 API 저장소에 업로드한다.
다음으로, 동작 608에서, 개별 OEM들은 API를 다운로드하고 맞춤화하여 커스텀 OEM 통합 코드(118)를 생성하고, 이는 그 다음, 특정한 OEM에 대응하는 구현 코드 저장소 또는 앱 개발자 코드 저장소, 예를 들어, 앱 개발자 코드 저장소(110)에 업로드된다.
다음으로, 커스텀 OEM 통합 코드는 앱 개발자에 의해 검토되고, 적절한 경우, 동작 610에서 승인된다. 다음으로, 승인된 OEM 통합 코드는 동작 612에서 앱 스토어(112)에 업로드된다. OEM 통합 코드는 다양한 식별자들, 예를 들어, 앱(116), 모바일 디바이스(104), 운영 체제 등의 식별을 포함하며, 이는 OEM 통합 코드의 관련 버전이 앱(116)에 의해 앱 스토어(112)에 식별되는 것을 허용한다. 단일 앱(116)이 다수의 상이한 OEM들에 의해 제공되는 상이한 모바일 디바이스들 상에서 작동할 수 있고, 따라서 앱(116)과 함께 사용될 수 있는 다수의 상이한 승인된 OEM 통합 코드 버전들이 있을 수 있다는 것이 이해될 것이다.
사용자 요청에 응답하여, 모바일 디바이스(104)는 그 후 동작 614에서 앱 스토어(112)로부터 앱(116)을 다운로드 및 설치한다. 다음으로, 앱(116)은 동작 616에서 식별 정보를 획득하기 위해 모바일 디바이스(104)에 질의한다. 다음으로, 앱(116)은 커스텀 통합 코드가 앱(116)과 모바일 디바이스(104)의 특정 조합에 대해 이용가능한지를 결정하기 위해 동작 616에서 획득된 식별 정보를 사용하여 동작 618에서 앱 스토어(112)에 질의한다. 그렇다면, 앱(116)은 동작 620에서 커스텀 통합 코드(126)를 다운로드 및 포함시키며, 이는 그 후 도 1 내지 도 5를 참조하여 설명된 바와 같이 위에서 앱(116)에 의해 사용된다.
머신 아키텍처
도 7은 머신(700)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(710)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있는 머신(700)의 도식적 표현이다. 예를 들어, 명령어들(710)은 머신(700)으로 하여금 본 명세서에 설명된 방법들 중 임의의 하나 이상을 실행하게 할 수 있다. 명령어들(710)은 일반적인, 비-프로그래밍된 머신(700)을 설명 및 예시된 기능들을 설명된 방식으로 수행하도록 프로그래밍된 특정한 머신(700)으로 변환한다. 머신(700)은 독립형 디바이스로서 동작할 수 있거나 다른 머신들에 결합(예를 들어, 네트워크화)될 수 있다. 네트워크화된 배치에서, 머신(700)은 서버 클라이언트 네트워크(server-client network) 환경에서 서버 머신 또는 클라이언트 머신의 능력으로, 또는 피어-투-피어(peer-to-peer)(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(700)은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(personal computer, PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(set-top box, STB), 개인 휴대 정보 단말기(personal digital assistant, PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트워치), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 다른 스마트 디바이스들, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(700)에 의해 취해질 액션들을 특정하는 명령어들(710)을, 순차적으로 또는 다른 방식으로, 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이에 제한되지 않는다. 또한, 단일 머신(700)만이 예시되어 있을 뿐이지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(710)을 개별적으로 또는 공동으로 실행하는 머신들의 컬렉션을 포함하는 것으로 간주될 것이다. 머신(700)은, 예를 들어, 모바일 디바이스(104) 또는 SDK 서버 시스템의 일부를 형성하는 다수의 서버 디바이스들 중 임의의 하나를 포함할 수 있다. 일부 예들에서, 머신(700)은 또한 클라이언트 및 서버 시스템들 둘 다를 포함할 수 있고, 특정한 방법 또는 알고리즘의 일정한 동작들이 서버 측에서 수행되고 특정한 방법 또는 알고리즘의 일정한 동작들이 클라이언트 측에서 수행된다.
머신(700)은, 버스(740)를 통해 서로 통신하도록 구성될 수 있는, 프로세서들(704), 메모리(706), 및 입력/출력 I/O 컴포넌트들(638)을 포함할 수 있다. 일 예에서, 프로세서들(704)(예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), RFIC(Radio-Frequency Integrated Circuit), 다른 프로세서, 또는 이들의 임의의 적절한 조합)은, 예를 들어, 명령어들(710)을 실행하는 프로세서(708) 및 프로세서(712)를 포함할 수 있다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 둘 이상의 독립된 프로세서(때때로 "코어" 라고도 지칭됨)를 포함할 수 있는 멀티 코어 프로세서들을 포함하도록 의도된다. 도 7은 다수의 프로세서(704)를 도시하지만, 머신(700)은 단일 코어를 갖는 단일 프로세서, 다수의 코어를 갖는 단일 프로세서(예를 들어, 멀티 코어 프로세서), 단일 코어를 갖는 다수의 프로세서, 다수의 코어를 갖는 다수의 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
메모리(706)는 메인 메모리(714), 정적 메모리(716), 및 저장 유닛(718)을 포함하며, 버스(740)를 통해 프로세서들(704)에 둘 다 액세스가능하다. 메인 메모리(706), 정적 메모리(716), 및 스토리지 유닛(718)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(710)을 저장한다. 명령어들(710)은 또한, 머신(700)에 의한 그의 실행 동안, 메인 메모리(714) 내에, 정적 메모리(716) 내에, 저장 유닛(718) 내의 머신 판독가능 매체(720) 내에, 프로세서들(704) 중 적어도 하나 내에 (예를 들어, 프로세서의 캐시 메모리 내), 또는 이들의 임의의 적합한 조합에, 완전히 또는 부분적으로, 상주할 수 있다.
I/O 컴포넌트들(702)은 매우 다양한 컴포넌트들을 포함하여 입력을 수신하고, 출력을 제공하고, 출력을 생산하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등을 할 수 있다. 특정한 머신에 포함되는 특정 I/O 컴포넌트들(702)은 머신의 타입에 의존할 것이다. 예를 들어, 헤드리스 서버 머신은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있는 한편, 모바일 폰들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 수 있다. I/O 컴포넌트들(702)은 도 7에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것이 이해될 것이다. 다양한 예들에서, I/O 컴포넌트들(702)은 사용자 출력 컴포넌트들(726) 및 사용자 입력 컴포넌트들(728)을 포함할 수 있다. 사용자 출력 컴포넌트들(726)은, 시각적 컴포넌트들(예를 들어, PDP(plasma display panel), LED(light-emitting diode) 디스플레이, LCD(liquid crystal display), 프로젝터, 또는 CRT(cathode ray tube)와 같은 디스플레이), 음향 컴포넌트들(예를 들어, 스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 사용자 입력 컴포넌트들(728)은, 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 포토 광학 키보드, 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.
추가적인 예들에서, I/O 컴포넌트들(702)은, 다양한 다른 컴포넌트들 중에서, 생체인식 컴포넌트들(730), 모션 컴포넌트들(732), 환경 컴포넌트들(734), 또는 포지션 컴포넌트들(736)을 포함할 수 있다. 예를 들어, 생체인식 컴포넌트들(730)은 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들, 또는 눈 추적)을 검출하고, 생체신호들(예를 들어, 혈압, 심박수, 체온, 땀, 또는 뇌파들)을 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들 등을 포함한다. 모션 컴포넌트들(732)은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프)을 포함한다.
환경 컴포넌트들(734)은, 예를 들어, 하나 이상의 카메라(정지 이미지/사진 및 비디오 능력들을 가짐), 조명 센서 컴포넌트들(예를 들어, 광도계), 온도 센서 컴포넌트들(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들어, 기압계), 음향 센서 컴포넌트들(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트들(예를 들어, 인근 객체들을 검출하는 적외선 센서들), 가스 센서들(예를 들어, 안전을 위해 유해성 가스들의 농도들을 검출하거나 대기 내의 오염물질들을 측정하기 위한 가스 검출 센서들), 또는 주위 물리적 환경에 대응하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함한다.
카메라들과 관련하여, 모바일 디바이스(104)는, 예를 들어, 모바일 디바이스(104)의 전방 표면 상의 전방 카메라들 및 모바일 디바이스(104)의 후방 표면 상의 후방 카메라들을 포함하는 카메라 시스템을 가질 수 있다. 전방 카메라들은, 예를 들어, 모바일 디바이스(104)의 사용자의 정지 이미지들 및 비디오(예를 들어, "셀피들(selfies)")를 캡처하기 위해 사용될 수 있으며, 이는 이후에 위에 설명된 증강 데이터(예를 들어, 필터들)로 증강될 수 있다. 후방 카메라들은, 예를 들어, 더 전통적인 카메라 모드에서 정지 이미지들 및 비디오들을 캡처하는 데 사용될 수 있으며, 이러한 이미지들은 유사하게 증강 데이터로 증강된다. 전방 및 후방 카메라들에 더하여, 모바일 디바이스(104)는 또한 360° 사진들 및 비디오들을 캡처하기 위한 360° 카메라를 포함할 수 있다.
또한, 모바일 디바이스(104)의 카메라 시스템은, 모바일 디바이스(104)의 전방 및 후방 측들 상에 이중 후방 카메라들(예를 들어, 주된 카메라뿐만 아니라 깊이 센싱(depth-sensing) 카메라 또한), 또는 심지어 삼중, 사중 또는 오중 후방 카메라 구성들을 포함할 수 있다. 이러한 다수의 카메라 시스템들은, 예를 들어, 와이드 카메라, 울트라 와이드 카메라, 텔레포토 카메라, 매크로 카메라, 및 깊이 센서를 포함할 수 있다.
포지션 컴포넌트들(736)은 위치 센서 컴포넌트들(예를 들어, GPS 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들어, 고도계들 또는 고도가 도출될 수 있는 기압을 검출하는 기압계들), 배향 센서 컴포넌트들(예를 들어, 자력계들) 등을 포함한다.
통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트들(702)은, 머신(700)을 각자의 결합 또는 접속들을 통해 네트워크(722) 또는 디바이스들(724)에 결합하도록 동작가능한 통신 컴포넌트들(738)을 추가로 포함한다. 예를 들어, 통신 컴포넌트들(738)은, 네트워크 인터페이스 컴포넌트, 또는 네트워크(722)와 인터페이스하기 위한 다른 적합한 디바이스를 포함할 수 있다. 추가 예들에서, 통신 컴포넌트들(738)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, NFC(Near Field Communication) 컴포넌트들, Bluetooth® 컴포넌트들(예를 들어, Bluetooth® Low Energy), Wi-Fi® 컴포넌트들, 및 다른 양상들을 통해 통신을 제공하기 위한 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(724)은, 다른 머신 또는 임의의 매우 다양한 주변 디바이스(예를 들어, USB를 통해 결합된 주변 디바이스)일 수 있다.
또한, 통신 컴포넌트들(738)은 식별자들을 검출할 수 있거나 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(738)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, UPC(Universal Product Code) 바코드와 같은 1차원 바코드들, QR(Quick Response) 코드와 같은 다차원 바코드들, Aztec 코드, 데이터 매트릭스(Data Matrix), 데이터 글리프(Dataglyph), 맥시코드(MaxiCode), PDF417, 울트라 코드(Ultra Code), UCC RSS-2D 바코드, 및 다른 광학 코드들을 검출하기 위한 광학 센서), 또는 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호들을 식별하기 위한 마이크로폰들)을 포함할 수 있다. 또한, IP(Internet Protocol) 지오로케이션을 통한 위치, Wi-Fi® 신호 삼각측량을 통한 위치, 특정한 위치를 표시할 수 있는 NFC 비컨 신호의 검출을 통한 위치 등과 같은 다양한 정보가 통신 컴포넌트들(738)을 통해 도출될 수 있다.
다양한 메모리들(예를 들어, 메인 메모리(714), 정적 메모리(716), 및 프로세서들(704)의 메모리) 및 저장 유닛(718)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하거나 그에 의해 사용되는 명령어들 및 데이터 구조들(예를 들어, 소프트웨어)의 하나 이상의 세트를 저장할 수 있다. 이러한 명령어들(예를 들어, 명령어들(710))은, 프로세서들(704)에 의해 실행될 때, 다양한 동작들로 하여금 개시된 예들을 구현하게 한다.
명령어들(710)은 송신 매체를 사용하여, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트들(738) 내에 포함된 네트워크 인터페이스 컴포넌트)를 통하여 그리고 몇몇 잘 알려진 전송 프로토콜(예를 들어, HTTP(hypertext transfer protocol)) 중 임의의 하나를 사용하여, 네트워크(722)를 통해 송신 또는 수신될 수 있다. 유사하게, 명령어들(710)은 디바이스들(724)에 대한 결합(예를 들어, 피어-투-피어 결합)을 통해 송신 매체를 사용하여 송신 또는 수신될 수 있다.
소프트웨어 아키텍처
도 8은 본 명세서에 설명된 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어 아키텍처(804)를 예시하는 블록도(800)이다. 소프트웨어 아키텍처(804)는 프로세서들(820), 메모리(826), 및 I/O 컴포넌트들(838)을 포함하는 머신(802)과 같은 하드웨어에 의해 지원된다. 이 예에서, 소프트웨어 아키텍처(804)는, 각각의 계층이 특정한 기능성을 제공하는 계층들의 스택(stack)으로서 개념화될 수 있다. 소프트웨어 아키텍처(804)는 운영 체제(812), 라이브러리들(810), 프레임워크들(808), 및 애플리케이션들(806)과 같은 계층들을 포함한다. 동작적으로, 애플리케이션들(806)은 소프트웨어 스택을 통해 API 호출들(850)을 인보크하고, API 호출들(850)에 응답하여 메시지들(852)을 수신한다.
운영 체제(812)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공한다. 운영 체제(812)는, 예를 들어, 커널(814), 서비스들(816), 및 드라이버들(822)을 포함한다. 커널(814)은 하드웨어와 다른 소프트웨어 계층들 사이에서 추상화 계층(abstraction layer)으로서 작용한다. 예를 들어, 커널(814)은, 다른 기능성 중에서, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워크화, 및 보안 설정들을 제공한다. 서비스들(816)은 다른 소프트웨어 계층들을 위한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(822)은 기저 하드웨어(underlying hardware)를 제어하거나 그와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버들(822)은 디스플레이 드라이버들, 카메라 드라이버들, BLUETOOTH® 또는 BLUETOOTH® Low Energy 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예를 들어, USB 드라이버들), WI-FI® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함할 수 있다.
라이브러리들(810)은 애플리케이션들(806)에 의해 사용되는 공통 저레벨 인프라스트럭처(low-level infrastructure)를 제공한다. 라이브러리들(810)은, 메모리 할당 기능들, 문자열 조작 기능들, 수학 기능들 등과 같은 기능들을 제공하는 시스템 라이브러리들(818)(예를 들어, C 표준 라이브러리)을 포함할 수 있다. 또한, 라이브러리들(810)은, 미디어 라이브러리들(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), 또는 PNG(Portable Network Graphics)와 같은 다양한 미디어 포맷의 프레젠테이션 및 조작을 지원하는 라이브러리들), 그래픽 라이브러리들(예를 들어, 디스플레이 상의 그래픽 콘텐츠에서 2차원(2D) 및 3차원(3D)으로 렌더링하는데 사용되는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예를 들어, 다양한 관계형 데이터베이스 기능들을 제공하기 위한 SQLite), 웹 라이브러리들(예를 들어, 웹 브라우징 기능성을 제공하기 위한 WebKit) 등과 같은 API 라이브러리들(824)을 포함할 수 있다. 라이브러리들(810)은 또한, 많은 다른 API를 애플리케이션들(806)에 제공하기 위한 매우 다양한 기타 라이브러리들(828)을 포함할 수 있다.
프레임워크들(808)은 애플리케이션들(806)에 의해 사용되는 공통 고레벨(high-level) 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들(808)은 다양한 그래픽 사용자 인터페이스(graphical user interface, GUI) 기능들, 고레벨 리소스 관리, 및 고레벨 위치 서비스들을 제공한다. 프레임워크들(808)은 애플리케이션들(806)에 의해 사용될 수 있는 광범위한 다른 API들을 제공할 수 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼에 특정적일 수 있다.
일 예에서, 애플리케이션들(806)은 홈 애플리케이션(836), 연락처 애플리케이션(830), 브라우저 애플리케이션(832), 북 리더 애플리케이션(834), 위치 애플리케이션(842), 미디어 애플리케이션(844), 메시징 애플리케이션(846), 게임 애플리케이션(848), 및 제3자 애플리케이션(840)과 같은 광범위한 분류의 다른 애플리케이션들을 포함할 수 있다. 애플리케이션들(806)은 프로그램들에 정의된 함수들을 실행하는 프로그램들이다. 객체 지향(object-oriented) 프로그래밍 언어들(예를 들어, Objective-C, Java, 또는 C++) 또는 절차적 프로그래밍 언어들(procedural programming language)(예를 들어, C 또는 어셈블리 언어)과 같은, 다양한 방식으로 구조화된, 애플리케이션들(806) 중 하나 이상을 만들기 위해 다양한 프로그래밍 언어들이 이용될 수 있다. 구체적인 예에서, 제3자 애플리케이션(840)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™또는 IOS™소프트웨어 개발 키트(software development kit, SDK)를 사용하여 개발된 애플리케이션)은 IOS™ANDROID™, WINDOWS® Phone, 또는 다른 모바일 운영 체제와 같은 모바일 운영 체제 상에서 작동하는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(840)은 본 명세서에 설명된 기능성을 용이하게 하기 위해 운영 체제(812)에 의해 제공되는 API 호출들(850)을 인보크할 수 있다.
용어설명
"반송파 신호(carrier signal)"는 머신에 의한 실행을 위한 명령어들을 저장, 인코딩, 또는 운반할 수 있는 임의의 무형 매체를 지칭하고, 이러한 명령어들의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형 매체를 포함한다. 명령어들은 네트워크 인터페이스 디바이스를 통해 송신 매체를 사용하여 네트워크를 통해 송신 또는 수신될 수 있다.
"클라이언트 디바이스(client device)"는 통신 네트워크에 인터페이싱하여 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스들로부터 리소스들을 획득하는 임의의 머신을 지칭한다. 클라이언트 디바이스는, 모바일 폰, 데스크톱 컴퓨터, 랩톱, 개인 휴대 정보 단말기(PDA)들, 스마트폰들, 태블릿들, 울트라북들, 넷북들, 랩톱들, 멀티 프로세서 시스템들, 마이크로프로세서 기반 또는 프로그래밍가능 소비자 전자기기들, 게임 콘솔들, 셋톱 박스들, 또는 사용자가 네트워크에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스일 수 있지만, 이에 제한되지 않는다.
"통신 네트워크"는 애드 혹(ad hoc) 네트워크, 인트라넷, 엑스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷, 인터넷의 일부분, PSTN(Public Switched Telephone Network)의 일부분, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 다른 타입의 네트워크, 또는 2개 이상의 이러한 네트워크의 조합일 수 있는 네트워크의 하나 이상의 부분을 지칭한다. 예를 들어, 네트워크 또는 네트워크의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고 결합은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 타입들의 셀룰러 또는 무선 결합일 수 있다. 이 예에서, 결합은 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G를 포함하는 3GPP(third Generation Partnership Project), 4G(fourth generation wireless) 네트워크들, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준 설정 조직들에 의해 정의된 다른 것들, 다른 장거리 프로토콜들, 또는 다른 데이터 전송 기술과 같은, 다양한 타입들의 데이터 전송 기술 중 임의의 것을 구현할 수 있다.
"컴포넌트(Component)"는 기능 또는 서브루틴 호출들, 브랜치 포인트들, API들, 또는 특정한 프로세싱 또는 제어 기능들의 파티셔닝 또는 모듈화를 제공하는 다른 기술들에 의해 정의되는 경계들을 갖는 디바이스, 물리적 엔티티, 또는 로직을 지칭한다. 컴포넌트들은 그들의 인터페이스들을 통해 다른 컴포넌트들과 조합되어 머신 프로세스를 수행할 수 있다. 컴포넌트는 다른 컴포넌트들 및 관련된 기능들 중 특정한 기능을 일반적으로 수행하는 프로그램의 일부와 함께 사용하도록 설계된 패키징된 기능적 하드웨어 유닛일 수 있다. 컴포넌트들은 소프트웨어 컴포넌트들(예를 들어, 머신 판독가능 매체에 구현되는 코드) 또는 하드웨어 컴포넌트들 중 하나를 구성할 수 있다. "하드웨어 컴포넌트"는 일정한 동작들을 수행할 수 있는 유형(tangible) 유닛이고, 일정한 물리적 방식으로 구성 또는 배열될 수 있다. 다양한 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 컴포넌트(예를 들어, 프로세서 또는 프로세서들의 그룹)는 본 명세서에 설명된 바와 같이 일정한 동작들을 수행하도록 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다. 하드웨어 컴포넌트는 또한, 기계적으로, 전자적으로, 또는 이들의 임의의 적합한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 컴포넌트는 일정한 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 컴포넌트는, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은, 특수 목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한, 일정한 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는 일반 목적 프로세서 또는 다른 프로그래밍 가능 프로세서에 의해 실행되는 소프트웨어를 포함할 수 있다. 일단 그러한 소프트웨어에 의해 구성되면, 하드웨어 컴포넌트들은 고유하게 맞춰진 특정 머신들(또는 머신의 특정 컴포넌트들)이 되어 구성된 기능들을 수행하고 더 이상 일반 목적 프로세서들이 아니다. 하드웨어 컴포넌트를 기계적으로, 전용의 영구적으로 구성된 회로에, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)에 구현하기로 하는 결정은, 비용 및 시간 고려사항들에 의해 주도될 수 있다는 것이 이해될 것이다. 따라서, "하드웨어 컴포넌트"(또는 "하드웨어 구현 컴포넌트(hardware-implemented component)")라는 문구는, 일정한 방식으로 동작하거나 본 명세서에 설명된 일정한 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어링됨) 또는 일시적으로 구성되는(예를 들어, 프로그래밍됨) 엔티티인, 유형 엔티티를 포괄하는 것으로 이해되어야 한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그래밍됨) 실시예들을 고려하면, 하드웨어 컴포넌트들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 소프트웨어에 의해 특수 목적 프로세서가 되도록 구성되는 일반 목적 프로세서를 포함하는 경우, 일반 목적 프로세서는 상이한 시간들에서 각각 상이한 특수 목적 프로세서들(예를 들어, 상이한 하드웨어 컴포넌트들을 포함함)로서 구성될 수 있다. 따라서 소프트웨어는, 예를 들어, 하나의 시간 인스턴스에서 특정한 하드웨어 컴포넌트를 구성하고 상이한 시간 인스턴스에서 상이한 하드웨어 컴포넌트를 구성하도록, 특정한 프로세서 또는 프로세서들을 구성한다. 하드웨어 컴포넌트들은 다른 하드웨어 컴포넌트들에게 정보를 제공하고, 그들로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합되어 있는 것으로 간주될 수 있다. 다수의 하드웨어 컴포넌트들이 동시에 존재하는 경우, 2개 이상의 하드웨어 컴포넌트들 중 또는 그들 사이의 신호 송신을 통해(예를 들어, 적절한 회로들 및 버스들을 통해) 통신이 달성될 수 있다. 다수의 하드웨어 컴포넌트가 상이한 시간들에서 구성 또는 인스턴스화되는 실시예들에서, 그러한 하드웨어 컴포넌트들 사이의 통신들은, 예를 들어, 다수의 하드웨어 컴포넌트가 액세스할 수 있는 메모리 구조들 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트가 동작을 수행하고, 그 동작의 출력을 그에 통신가능하게 결합되는 메모리 디바이스에 저장할 수 있다. 추가적인 하드웨어 컴포넌트는, 그 후, 추후에, 메모리 디바이스에 액세스하여 저장된 출력을 검색 및 프로세싱할 수 있다. 하드웨어 컴포넌트들은 또한 입력 또는 출력 디바이스들과 통신을 개시할 수 있고, 리소스(예를 들어, 정보의 컬렉션)에서 동작할 수 있다. 본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 있는 동작들을 수행하도록 일시적으로 구성되거나(예를 들어, 소프트웨어에 의해) 영구적으로 구성되는 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 구성되든지 또는 영구적으로 구성되든지, 그러한 프로세서들은 본 명세서에 설명되는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 컴포넌트들을 구성할 수 있다. 본 명세서에서 사용된 바와 같이, "프로세서 구현 컴포넌트(processor-implemented component)"는 하나 이상의 프로세서를 사용하여 구현되는 하드웨어 컴포넌트를 지칭한다. 유사하게, 본 명세서에서 설명된 방법들은 적어도 부분적으로 프로세서 구현될 수 있으며, 특정한 프로세서 또는 프로세서들은 하드웨어의 일 예이다. 예를 들어, 방법의 동작들 중 적어도 일부가 하나 이상의 프로세서(820) 또는 프로세서 구현 컴포넌트에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서는 또한 "클라우드 컴퓨팅(cloud computing)" 환경에서 또는 "서비스로서의 소프트웨어(software as a service, SaaS)"로서 관련 있는 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는 컴퓨터들의 그룹(프로세서들을 포함하는 머신들의 예들로서)에 의해 수행될 수 있고, 이러한 동작들은 네트워크(예를 들어, 인터넷)를 통해 그리고 하나 이상의 적절한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 동작들 중 일정한 동작의 수행은, 단일 머신 내에 상주할 뿐만 아니라, 다수의 머신들에 걸쳐 배치되는 프로세서들 중에 분산될 수 있다. 일부 예시적인 실시예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들은 단일의 지리적 위치(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜(server farm) 내)에 위치될 수 있다. 다른 예시적인 실시예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들은 다수의 지리적 위치들에 걸쳐 분산될 수 있다.
"컴퓨터 판독가능 저장 매체(computer-readable storage medium)"는 머신 저장 매체들 및 송신 매체들 둘 다를 지칭한다. 따라서, 용어들은 저장 디바이스들/매체들 및 반송파들/변조된 데이터 신호들 둘 다를 포함한다. "머신 판독가능 매체(machine-readable medium)", "컴퓨터 판독가능 매체(computer-readable medium)" 및 "디바이스 판독가능 매체(device-readable medium)"라는 용어들은 동일한 것을 의미하며, 본 개시내용에서 상호교환가능하게 사용될 수 있다.
"머신 저장 매체(machine storage medium)"는 실행가능한 명령어들, 루틴들 및 데이터를 저장하는 단일 또는 다수의 저장 디바이스 및 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및 연관된 캐시들 및 서버들)를 지칭한다. 따라서, 이 용어는 고체 상태 메모리들, 및 프로세서들 내부 또는 외부의 메모리를 포함하는 광학 및 자기 매체를 포함하지만, 이에 제한되지 않는 것으로 간주되어야 한다. 머신 저장 매체들, 컴퓨터 저장 매체들 및 디바이스 저장 매체들의 특정 예들은, 반도체 메모리 디바이스들, 예를 들어, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), FPGA 및 플래시 메모리 디바이스들; 내부 하드 디스크들 및 이동식 디스크들과 같은 자기 디스크들; 광자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 예로서 포함하는 비휘발성 메모리를 포함한다. "머신 저장 매체(machine-storage medium)", "디바이스 저장 매체(device-storage medium)", "컴퓨터 저장 매체(computer-storage medium)"이라는 용어들은 동일한 것을 의미하고 본 개시내용에서 상호교환가능하게 사용될 수 있다. "머신 저장 매체들", "컴퓨터 저장 매체들", 및 "디바이스 저장 매체들"이라는 용어들은 구체적으로 반송파들, 변조된 데이터 신호들, 및 다른 그러한 매체들을 배제하며, 이들 중 적어도 일부는 "신호 매체(signal medium)"라는 용어 하에 커버된다.
"비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer-readable storage medium)"는 머신에 의한 실행을 위해 명령어들을 저장, 인코딩, 또는 운반할 수 있는 유형 매체를 지칭한다.
"신호 매체(signal medium)"는 머신에 의한 실행을 위한 명령어들을 저장, 인코딩, 또는 운반할 수 있는 임의의 무형 매체를 지칭하고, 소프트웨어 또는 데이터의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형 매체들을 포함한다. "신호 매체"라는 용어는 임의의 형태의 변조된 데이터 신호, 반송파 등을 포함하는 것으로 간주되어야 한다. "변조된 데이터 신호(modulated data signal)"라는 용어는 신호에 정보를 인코딩하기 위한 것과 같은 그러한 문제에서 설정 또는 변경된 그것의 특성들 중 하나 이상을 갖는 신호를 의미한다. "송신 매체" 및 "신호 매체"라는 용어들은 동일한 것을 의미하며, 본 개시내용에서 상호교환가능하게 사용될 수 있다.

Claims (6)

  1. 하나 이상의 프로세서를 포함하는 컴퓨팅 디바이스에서 하드웨어 요청을 핸들링하는 방법으로서,
    애플리케이션 서비스 모듈로부터 하드웨어 관련 기능에 대한 요청을 수신하는 단계;
    상기 하드웨어 관련 기능이 OEM 특정(OEM-specific) SDK에 의해 제공될 수 있는지를 결정하는 단계;
    상기 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 있다는 결정에 기초하여, 상기 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 상기 OEM 특정 SDK에 제공하는 단계; 및
    상기 하드웨어 관련 기능이 OEM 특정 SDK에 의해 제공될 수 없다는 결정에 기초하여, 상기 하드웨어 관련 기능에 관련된 커맨드들 및 파라미터들을 운영 체제 하드웨어 추상화 계층(hardware abstraction layer)에 제공하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 결정하는 단계는 OEM 특정 하드웨어 디바이스에 다운로드된 커스텀 라이브러리(custom library)에 의해 수행되는, 방법.
  3. 제1항에 있어서, 상기 하드웨어 관련 기능은 상기 컴퓨팅 디바이스의 운영 체제에서 디폴트로 지원되고 상기 하드웨어 관련 기능에 대한 상기 요청은 디폴트로 요청이고, 상기 방법은,
    상기 디폴트 요청에 관련된 커맨드들 및 파라미터들을 상기 OEM 특정 SDK에 제공하는 단계를 추가로 포함하는, 방법.
  4. 제2항에 있어서, 상기 애플리케이션 서비스 모듈은 OEM 특정이 아닌 애플리케이션의 부분에 포함되는, 방법.
  5. 하나 이상의 프로세서를 포함하는 특정 컴퓨팅 디바이스에 대해 맞춤화되는(customized) 애플리케이션을 제공하는 방법으로서,
    상기 특정 컴퓨팅 디바이스에 의해, 상기 특정 컴퓨팅 디바이스 상에서의 실행을 위해 상기 애플리케이션의 제1 버전을 다운로드하는 단계;
    상기 애플리케이션에 의해, 상기 특정 컴퓨팅 디바이스를 식별하는 정보를 획득하기 위해 상기 특정 컴퓨팅 디바이스에 질의하는 단계; 및
    상기 특정 컴퓨팅 디바이스 상에서 실행되는 상기 애플리케이션에 의해, 상기 특정 컴퓨팅 디바이스 상에서 실행될 때 상기 애플리케이션과 함께 사용하기 위한 커스텀 하드웨어 통합 코드를 다운로드하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 커스텀 하드웨어 통합 코드는 특정한 OEM 또는 특정한 OEM 제공 디바이스에 특정적인, 방법.
KR1020237022808A 2020-12-10 2020-12-10 카메라 기능들 api 프레임워크 및 공유 oem 저장소시스템 KR20230110816A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/135215 WO2022120703A1 (en) 2020-12-10 2020-12-10 Camera capabilities api framework and shared oem repository system

Publications (1)

Publication Number Publication Date
KR20230110816A true KR20230110816A (ko) 2023-07-25

Family

ID=81941444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237022808A KR20230110816A (ko) 2020-12-10 2020-12-10 카메라 기능들 api 프레임워크 및 공유 oem 저장소시스템

Country Status (5)

Country Link
US (1) US11914985B2 (ko)
EP (1) EP4260196A1 (ko)
KR (1) KR20230110816A (ko)
CN (1) CN116635837A (ko)
WO (1) WO2022120703A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074622B (zh) * 2022-12-17 2023-08-29 珠海视熙科技有限公司 多协议控制usb相机的实现方法、装置、设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044408A (en) * 1996-04-25 2000-03-28 Microsoft Corporation Multimedia device interface for retrieving and exploiting software and hardware capabilities
US7085710B1 (en) * 1998-01-07 2006-08-01 Microsoft Corporation Vehicle computer system audio entertainment system
US6993642B2 (en) * 2001-07-24 2006-01-31 Microsoft Corporation Method and system for creating and employing an operating system having selected functionality
US20030184783A1 (en) * 2002-03-28 2003-10-02 Toshiba Tec Kabushiki Kaisha Modular layer for abstracting peripheral hardware characteristics
US20140075567A1 (en) * 2009-01-28 2014-03-13 Headwater Partners I Llc Service Processor Configurations for Enhancing or Augmenting System Software of a Mobile Communications Device
US9576153B2 (en) * 2013-08-23 2017-02-21 Cellco Partnership Device and method for providing information from a backend component to a frontend component by a secure device management abstraction and unification module
US9762676B2 (en) * 2014-09-26 2017-09-12 Intel Corporation Hardware resource access systems and techniques
US11340893B2 (en) * 2015-12-31 2022-05-24 Kony, Inc. Mobile application update preserving changes to the application made by a client

Also Published As

Publication number Publication date
WO2022120703A1 (en) 2022-06-16
US20220188092A1 (en) 2022-06-16
CN116635837A (zh) 2023-08-22
US11914985B2 (en) 2024-02-27
EP4260196A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US11887237B2 (en) Dynamic composite user identifier
US11228546B2 (en) Processing media content in a messaging system
CN107402779B (zh) 用于云和预置应用集成的兼容框架
US11886681B2 (en) Standardizing user interface elements
CN107003872B (zh) 集中客户端应用管理
KR20230020525A (ko) 동적 증강 현실 컴포넌트들
CN117678196A (zh) 隐私安全联合标识协议
US11914985B2 (en) Camera capabilities API framework and shared OEM repository system
KR20230052925A (ko) 차량 인식 시스템
US11349791B2 (en) Adding images via MMS to a draft document
US20210099457A1 (en) Subprofiles for intent on page
KR20230029903A (ko) 병치된 사용자들을 페어링하기 위한 보안 프로토콜
US20230353503A1 (en) Role-based access control system for managing access to resources
US11853768B2 (en) Lockscreen for head-worn augmented reality device
US20230297714A1 (en) Protected data use in third party software applications
US20240061766A1 (en) Contextual test code generation
WO2024036082A1 (en) Automatic quantization of a floating point model