KR101737290B1 - 열 및 전력 관리 - Google Patents

열 및 전력 관리 Download PDF

Info

Publication number
KR101737290B1
KR101737290B1 KR1020167018651A KR20167018651A KR101737290B1 KR 101737290 B1 KR101737290 B1 KR 101737290B1 KR 1020167018651 A KR1020167018651 A KR 1020167018651A KR 20167018651 A KR20167018651 A KR 20167018651A KR 101737290 B1 KR101737290 B1 KR 101737290B1
Authority
KR
South Korea
Prior art keywords
user experience
content
operating parameters
adjusting
resolution
Prior art date
Application number
KR1020167018651A
Other languages
English (en)
Other versions
KR20160099615A (ko
Inventor
희준 박
수만트 마다브 파란즈페
바박 포루탄푸어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160099615A publication Critical patent/KR20160099615A/ko
Application granted granted Critical
Publication of KR101737290B1 publication Critical patent/KR101737290B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N5/23216—
    • H04N5/23241—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • User Interface Of Digital Computer (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

일 예에서, 방법은, 전자 디바이스에 의해, 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정하는 단계를 포함한다. 방법은 또한 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하는 단계를 포함하며, 여기서 조정은 조정으로 인한 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초한다.

Description

열 및 전력 관리{THERMAL AND POWER MANAGEMENT}
본 출원은 2013 년 12 월 20 일에 출원된 미국 가출원 제 61/919,543 호의 혜택을 주장한다.
기술분야
본 개시물은 컴퓨팅 디바이스로 비디오 데이터를 렌더링하기 위한 기법들에 관한 것이다.
모바일 디바이스들은 모바일 전화기들, 태블릿 컴퓨터들, 랩탑 컴퓨터들, 무선 통신 카드들을 갖는 휴대용 컴퓨터들, 개인용 휴대 정보 단말기 (personal digital assistant; PDA) 들, 디지털 카메라들, 비디오 게이밍 디바이스들, 휴대용 미디어 재생기들, 무선 통신 능력들을 갖는 플래시 메모리 디바이스들, 이른바 "스마트" 폰들 및 "스마트" 패드들 또는 태블릿들을 포함하는 무선 통신 디바이스들, 전자책 단말기들, 또는 다양한 다른 형태의 휴대용 디바이스들의 다른 것의 형태를 취할 수도 있다. 모바일 디바이스들은 고-전력 프로세서들, 미디어 컨텐트를 프로세싱하는 능력, 및 클라우드에서 네트워크들과 상호작용하는 역량으로 점점 더 강력해지고 있다. 프로세싱 전력 및 디바이스들의 능력들에서의 진보들은 또한 디바이스들로 하여금 전력을 소비하고/하거나 열기를 발생시키게 할 수도 있다.
본 개시물의 기법들은 사용자 경험의 추정에 응답하여 전자 디바이스의 하나 이상의 동작 파라미터들을 조정하는 것을 포함한다. 예를 들어, 전자 디바이스는 동작 중에 에너지를 소비하고 열기를 생성할 수도 있다. 본 개시물의 양태들에 따르면, 디바이스는 사용자 경험의 추정을 제공하는 사용자 경험 메트릭을 결정할 수도 있다. 디바이스는 목표 전력 이용 제한 또는 온도 제한 아래로 디바이스 동작을 유지하나, 사용자 경험에 대한 영향을 최소화하도록 사용자 경험 메트릭에 기초하여 하나 이상의 동작 파라미터들을 전략적으로 조정할 수 있다.
일 예에서, 방법은, 전자 디바이스에 의해, 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정하는 단계, 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하는 단계를 포함하며, 여기서 조정은 조정으로 인한 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초한다.
다른 예에서, 전자 디바이스는 적어도 하나의 카메라, 및 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정하고, 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하도록 구성된 하나 이상의 프로세서들을 포함하며, 여기서 조정은 조정으로 인한 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초한다.
다른 예에서, 장치는 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정하는 수단, 및 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하는 수단을 포함하며, 여기서 조정은 조정으로 인한 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초한다.
다른 예에서, 비일시적 컴퓨터-판독가능 매체는, 실행되는 경우, 하나 이상의 프로세서들로 하여금, 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정하고, 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하게 하는 저장된 명령들을 가지며, 조정은 조정으로 인한 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초한다.
본 개시물의 하나 이상의 양태들의 세부 사항들이 첨부 도면들 및 아래의 상세한 설명에 개시된다. 본 개시물에서 설명되는 기법들의 다른 특징들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1 은 본 개시물의 기법들을 구현할 수도 있는 예시적인 디바이스들을 도시한다.
도 2 는 본 개시물의 기법들을 구현하도록 구성될 수 있는 디바이스의 예를 도시하는 블록도이다.
도 3 은 본 개시물의 기법들을 구현할 수도 있는 디바이스의 관리 시스템의 일 예를 도시한다.
도 4a 및 도 4b 는 전력 소비, 프레임 레이트, 및 사용자 경험 사이의 관계의 예를 도시한다.
도 5a 및 도 5b 는 전력 소비, 해상도, 및 사용자 경험 사이의 예시적인 관계를 도시한다.
도 6 은 다양한 동작 파라미터들에 대한 사용자 경험의 예시적인 모델을 도시한다.
도 7 은, 본 개시물의 양태들에 따른, 사용자 경험 메트릭에 기초하여 디바이스의 동작 파라미터를 조정하기 위한 예시적인 프로세스를 도시하는 플로차트이다.
도 8 은, 본 개시물의 양태들에 따른, 사용자 경험 메트릭에 기초하여 디바이스의 동작 파라미터를 조정하기 위한 다른 예시적인 프로세스를 도시하는 플로차트이다.
본 개시물의 기법들은 사용자 경험의 추정에 응답하여 전자 디바이스의 하나 이상의 동작 파라미터들을 조정하는 것을 포함한다. 예를 들어, 전자 디바이스는 동작 중에 에너지를 소비하고 열기를 생성할 수도 있다. 본 개시물의 양태들에 따르면, 디바이스는 사용자 경험의 추정을 제공하는 사용자 경험 메트릭을 결정할 수도 있다. 디바이스는 목표 전력 이용 제한 또는 온도 제한 아래로 디바이스 동작을 유지하면서, 사용자 경험에 대한 영향을 최소화하도록 사용자 경험 메트릭에 기초하여 하나 이상의 동작 파라미터들을 전략적으로 조정할 수도 있다.
도 1 은 본 개시물의 기법들을 구현할 수도 있는 예시적인 디바이스들을 도시한다. 일반적으로, 본 개시물의 기법들은 (고 해상도 화상들 및/또는 비디오를 위해 구성될 수도 있는) 적어도 하나의 이미지 센서 및 이미지 프로세서들, 및 전력 및/또는 열 (thermal) 제한을 디바이스들로 구현될 수도 있다. 예를 들어, 디바이스 (20A) 는 전면 이미지 센서 (22A), 후면 이미지 센서 (24A), 디스플레이 (26A), 및 화상-내-화상 (picture-in-picture; PIP) 윈도우 (28A) 를 포함한다. 또한, 디바이스 (20B) 는 전면 이미지 센서 (22B), 후면 이미지 센서 (24B), 디스플레이 (26B), 제 1 PIP 윈도우 (28B), 및 제 2 PIP 윈도우 (30B) 를 포함한다.
디바이스들 (20A 및 20B) 은, 예를 들어, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 태블릿 컴퓨터들, 카메라들, 노트북 (즉, 랩탑) 컴퓨터들, 디지털 미디어 재생기들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스들 등을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 디바이스들 (20A 및 20B) 이 휴대용 디바이스들이긴 하나, 본 개시물의 기법들은 이러한 방식으로 제한되지 않는다. 예를 들어, 다른 양태들에 따르면, 기법들은 데스크탑 컴퓨터들, 셋-탑 박스들, 텔레비젼들, 또는 다른 디바이스들과 함께 이용될 수도 있다.
전면 이미지 센서들 (22A 및 22B) 및 후면 이미지 센서들 (24A 및 24B) 은 이미지들을 캡쳐하도록 구성될 수도 있다. 예를 들어, 전면 이미지 센서들 (22A 및 22B) 및 후면 이미지 센서들 (24A 및 24B) 은 광학 이미지를 전자 신호로 컨버팅하기 위한 임의의 컴포넌트들을 포함할 수도 있다. 예시적인 이미지 센서들은 전하-결합 소자 (charge-coupled device; CCD) 들, 상보성 금속-산화막-반도체 (complementary metal-oxide-semiconductor; CMOS), N-형 금속-산화막-반도체 (N-type metal-oxide-semiconductor; NMOS) 등을 포함한다. 일부 예들에서는, 아래에서 보다 상세히 설명된 바와 같이, 전면 이미지 센서들 (22A 및 22B) 및 후면 이미지 센서들 (24A 및 24B) 은 하나 이상의 카메라 시스템들 또는 서브-시스템들에 포함될 수도 있다.
디스플레이들 (26A 및 26B) 은 액정 디스플레이 (liquid crystal display; LCD), 발광 다이오드 (light emitting diode; LED), 유기 발광 다이오드 (organic light emitting diode; OLED), 또는 사용자에 대한 출력을 발생시킬 수 있는 임의의 다른 유형의 디바이스를 포함할 수도 있다. 일부 예들에서, 디스플레이들 (26A 및 26B) 은 터치-감응 및/또는 존재-감응 디스플레이들로서 구성될 수도 있다.
도 1 에 도시된 예에서, 디바이스 (20A) 는 PIP 윈도우 (28A) 를 포함하고, 디바이스 (20B) 는 PIP 윈도우들 (28B 및 30B) 을 포함한다. 일부 예들에서, PIP 윈도우들은 디스플레이들 (26A 및 26B) 에서 디스플레이되고 있는 다른 컨텐트와 독립적으로 컨텐트를 디스플레이하기 위한 영역들을 제공할 수 있다. 예를 들어, 디바이스들 (20A 및/또는 20B) 은 화상-내-화상 비디오 레코딩을 수행하도록 구성될 수 있다. 이러한 예에서, 디바이스 (20A) 는 디스플레이 (26A) 에 디스플레이되고 있는 이미지들을 레코딩할 수도 있고, 한편 PIP 윈도우 (28A) 는 레코딩된 이미지들을 캡쳐하는 사용자의 이미지를 디스플레이할 수도 있다. 다른 예에서, 디바이스들 (20A 및/또는 20B) 은 게이밍과 연계하여 비디오 화상회의를 수행할 수도 있다. 예를 들어, 디바이스 (20B) 는 디스플레이 (26B) 에 비디오 게임을 출력하면서 또한 PIP 윈도우 (28B) 에 비디오 게임을 하고 있는 사용자의 이미지를 그리고 PIP 윈도우 (30B) 에 (역시 비디오 게임을 하고 있는) 상대방 또는 친구의 이미지를 출력할 수도 있다. 다른 예들이 또한 가능하다.
일부 예들에서, 디바이스들 (20A 및 20B) 은 동작 파라미터들에 근접하거나 동작 파라미터들을 초과할 수도 있다. 예로서, 디바이스들 (20A 및 20B) 이 증가하는 개수의 기능들 (예를 들어, 비디오 캡쳐, 그래픽들 렌더링, 비디오 인코딩/디코딩, 비디오 디스플레이 등) 을 수행함에 따라, 디바이스들 (20A 및 20B) 에 의해 소비되는 전력은 올라갈 수도 있다. 또한, 일부 예들에서, 디바이스들 (20A 및 20B) 의 하나 이상의 컴포넌트들 (예를 들어, 도 2 에 대해 상세히 설명된 바와 같은, 예를 들어, 중앙 프로세싱 유닛 (central processing unit; CPU), 그래픽 프로세싱 유닛 (graphics processing unit; GPU), 카메라 서브-시스템, 디스플레이들 (26A 및 26B) 등) 은 부산물로서 열기를 발생시킬 수도 있다. 일부 예시적인 기능들은 와이드 쿼드 고화질 (wide quad high definition; WQHD) 화상-내-화상 (picture-in-picture; PIP) 비디오 레코딩, 울트라 고화질 (ultra high definition; UHD) 비디오 레코딩, 게이밍 및 비디오 화상회의, 비디오 화상회의와 함께 고-해상도 3-차원 (3D) 그래픽들 렌더링 등을 포함한다.
디바이스들 (20A 및 20B) 은 전력 버짓 (예를 들어, 2 와트) 또는 온도 제한과 같은 동작 파라미터들에 근접하거나 초과할 수도 있다. 일부 예들에서, 예를 들어, 하나 이상의 이미지 프로세서들, 전면 이미지 센서들 (22A 및 22B) 및 후면 이미지 센서들 (24A 및 24B), 및 이미지들을 캡쳐하는 것과 연관된 다른 컴포넌트들의 임의의 조합을 포함하는 카메라 서브-시스템은 전력의 소비 및/또는 열기의 발생에 기여할 수도 있다. 예를 들어, 품질, 성능, 및/또는 동시실행에서의 향상들은 보다 높은 전력 및/또는 온도 비용을 초래할 수도 있다.
본 개시물의 기법들은 사용자 경험의 추정에 응답하여, 디바이스 (20A) 또는 디바이스 (20B) 와 같은 전자 디바이스의 하나 이상의 동작 파라미터들을 조정하는 것을 포함한다. 예를 들어, 본 개시물의 양태들에 따르면, 디바이스들 (20A 또는 20B) 은 사용자 경험의 추정을 제공하는 사용자 경험 메트릭을 결정할 수도 있다. 디바이스들 (20A 또는 20B) 은 목표 전력 이용 제한 또는 온도 제한 아래로 디바이스 동작을 유지하도록 사용자 경험 메트릭에 기초하여 하나 이상의 동작 파라미터들을 전략적으로 조정할 수도 있다. 예를 들어, 본 개시물의 양태들에 따르면, 디바이스들 (20A 또는 20B) 은 사용자 경험 메트릭을 사용하여 여전히 목표 전력 이용 제한 또는 온도 제한을 만족시키면서 사용자 경험에 대한 영향을 최소화하는 방식으로 하나 이상의 동작 파라미터들을 조정할 수도 있다.
도 2 는 본 개시물의 기법들을 구현하도록 구성될 수 있는 디바이스 (40) 의 일 예를 도시하는 블록도이다. 일부 예들에서, 디바이스 (40) 에 대해 도시되고 설명된 하나 이상의 컴포넌트들은 디바이스 (20A) 및/또는 디바이스 (20B) (도 1) 에 포함될 수도 있다.
도 2 에 도시된 예에서, 디바이스 (40) 는 하나 이상의 프로세서들 (44), 프레임 버퍼 (233) 를 가지고 하나 이상의 애플리케이션들 (50) 을 저장하는 메모리 (48), 디스플레이 프로세서 (54), 로컬 디스플레이 (56), 오디오 프로세서 (60), 스피커들 (62), 전송 모듈 (66), 무선 모뎀 (68), 입력 디바이스들 (72), 카메라 시스템(들) (76), 및 열/전력 관리기 (80) 를 포함한다. 다른 예들은 도 2 에 도시된 것보다 많거나 적은 컴포넌트들을 포함할 수도 있다. 또한, 소정의 컴포넌트들이 논의의 목적으로 별도로 설명되나, 도 2 에 대해 도시되고 설명된 일부 컴포넌트들은 고도로 집적되거나 결합되어 단일 컴포넌트를 형성할 수도 있다는 것이 이해되어야 한다.
컴포넌트들 (44, 48, 54, 60, 66, 72, 76, 및 80) 의 각각은 통신 채널들 (82) 을 통해 컴포넌트-간 통신들을 위해 (물리적으로, 통신가능하게, 및/또는 동작가능하게) 상호접속될 수도 있다. 일부 예들에서, 통신 채널들 (82) 은 시스템 버스, 네트워크 접속부, 프로세스간 통신 데이터 구조물, 또는 데이터를 통신하기 위한 임의의 다른 채널을 포함할 수도 있다.
하나 이상의 프로세서들 (44) 은 저장 디바이스 메모리 (48) 에 저장된 명령들을 프로세싱하는 것이 가능할 수도 있다. 프로세서들 (44) 중 하나 이상은 디바이스 (40) 에 대한 중앙 프로세싱 유닛 (CPU) 을 형성할 수도 있다. 프로세서들 (44) 은, 예를 들어, 하나 이상의 프로세서들, DSP 들, ASIC 들, FPGA 들, 이산 로직, 또는 이들의 임의의 조합을 포함할 수도 있다. 일부 예들에서, 프로세서들 (44) 은 고정 기능 로직 및/또는 프로그램가능 로직을 포함할 수도 있고, 소프트웨어 및/또는 펌웨어를 실행할 수도 있다. 상기 기술이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 그 소프트웨어에 대한 명령들을 적절한 비일시적 컴퓨터 판독가능 매체에 저장할 수도 있고, 본 개시물의 기술들을 수행하기 위해 하나 이상의 프로세서들을 이용하는 하드웨어에서 그 명령들을 실행할 수도 있다.
일부 예들에서, 프로세서들 (44) 은 전송, 저장, 및 디스플레이를 위해 A/V 데이터를 인코딩 및/또는 디코딩하도록 구성될 수도 있다. 예를 들어, 프로세서들 (44) 중 하나 이상은 비디오 인코더 또는 비디오 디코더로 동작할 수도 있으며, 둘 중 하나는 결합된 비디오 인코더/디코더 (코덱) 의 일부로서 통합될 수도 있다. 일부 예들에서, 코덱은 다르게는 MPEG-4 라고도 지칭되는 ITU-T H.264 표준, Part 10, 고급 비디오 코딩 (Advanced Video Coding; AVC) 과 같은 비디오 압축 표준, 또는 그러한 표준들의 확장안들에 따라 동작할 수도 있다. 비디오 압축 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 및 고효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 표준을 포함한다.
HEVC 에 대해, 비디오 화상은 루마 샘플 및 크로마 샘플 양자 모두를 포함하는 트리블록들 또는 최대 코딩 유닛 (largest coding units; LCU) 들의 시퀀스로 나눠질 수도 있다. 비트스트림 내의 구문 데이터는 픽셀들의 수의 면에서 최대 코딩 유닛인 LCU 를 정의할 수도 있다. 슬라이스는 코딩 순서에서 다수의 연속적인 트리블록들을 포함한다. 비디오 화상은 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각각의 트리블록은 쿼드트리에 따라 코딩 유닛 (coding unit; CU) 들로 스플릿될 수도 있다.
CU 가 사이즈 구별을 갖지 않는다는 점을 제외하면, CU 는 H.264 표준의 매크로 블록과 유사한 목적을 갖는다. CU 는 코딩 노드 및 코딩 노드와 관련된 변환 유닛 (transform unit; TU) 들 및 예측 유닛 (prediction unit; PU) 들을 포함한다. 일반적으로, PU 는 대응 CU 의 전부 또는 일부에 대응하는 공간 영역을 나타내며, PU 에 대한 기준 샘플을 취출하기 위한 데이터를 포함할 수도 있다.
예를 들어, 공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 기준 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 코딩된다. 인트라-코딩된 블록은 공간적으로 이웃하는 샘플들 및 잔차 데이터로부터 블록이 예측되는 방식을 표시하는 인트라-코딩 모드에 따라 인코딩된다.
HEVC 에서, PU 는 예측과 관련된 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩되는 경우, PU 에 대한 데이터는 PU 에 대응하는 TU 에 대한 인트라-예측 모드를 서술하는 데이터를 포함할 수도 있는, 잔차 쿼드트리 (residual quadtree; RQT) 에 포함될 수도 있다. 다른 예로서, PU 가 인터-모드 인코딩되는 경우, PU 는 PU 에 대한 모션 벡터들을 정의하는 데이터를 포함할 수도 있다.
TU 는 잔차 비디오 데이터에 대해 변환, 예를 들어, 이산 코사인 변환 (discrete cosine transform; DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환의 적용에 후속하는 변환 도메인에서의 계수들을 포함할 수도 있다. 잔차 데이터는 PU 들에 대응하는 예측 값들과 인코딩되지 않은 화상의 픽셀들 사이의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 잔차 데이터를 포함하는 TU 를 형성하고, 그 다음에 TU 들을 변환하여 CU 에 대한 변환 계수들을 생성할 수도 있다.
변환 다음에, 코덱은 변환 계수들의 양자화를 수행할 수도 있다. 양자화는, 변환 계수 블록의 계수들을 나타내기 위해 이용되는 데이터의 양을 최대한 줄이기 위해 변환 계수들이 양자화되어 추가적인 압축을 제공하는 프로세스를 일반적으로 지칭한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 중에 m-비트 값으로 라운드 다운 (round down) 될 수도 있는데, 여기서 n 은 m 보다 더 크다.
코덱은 그 다음에 비디오 인코더는 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2-차원 매트릭스로부터 1-차원 벡터를 생성할 수도 있다. 스캔은 어레이의 전방에 높은 에너지 (및 이에 따라 낮은 주파수) 계수들을 배치하고, 어레이의 후방에 낮은 에너지 (및 이에 따라 높은 주파수) 계수들을 배치하도록 설계될 수도 있다. 1-차원 벡터를 형성하기 위해 양자화된 변환 계수들을 스캔한 후에, 코덱은 1-차원 벡터를 엔트로피 인코딩할 수도 있다. 코덱이 비디오 데이터를 디코딩하는 예들에서, 코덱은 일반적으로 위에서 설명된 프로세스에 역인 프로세스에 따라 비디오 디코딩을 수행할 수도 있다.
도 2 에 도시되지는 않았으나, 일부 양태들에서, 코덱은 오디오 인코더 및 디코더와 함께 제공될 수도 있다. 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어가 또한 제공되어 공통 데이터 스트림 또는 별도의 데이터 스트림들에서 오디오 및 비디오 양자 모두의 인코딩을 처리할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (user datagram protocol; UDP) 에 따를 수도 있다.
도 2 의 메모리 (48) 는, 이로 제한되지는 않으나, 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 자기 랜덤 액세스 메모리 (MRAM), 플래시 메모리 등을 포함한 매우 다양한 휘발성 또는 비휘발성 메모리 중 임의의 메모리를 포함할 수도 있다. 메모리 (48) 는 오디오/비디오 데이터, 뿐만 아니라 다른 종류들의 데이터를 저장하기 위한 컴퓨터-판독가능 저장 매체를 포함할 수도 있다.
일부 예들에서, 메모리 (48) 는 본 개시물에서 설명된 다양한 기법들을 수행하는 것의 일부로서 프로세서 (44) 에 의해 실행되는 애플리케이션들 (50) 을 저장할 수도 있다. 메모리 (48) 는 또한 디바이스 (40) 에 의한 프레젠테이션을 위한 소정의 A/V 데이터를 저장할 수도 있다. 예를 들어, 메모리 (48) 는 전체 A/V 파일을 저장할 수도 있고, 예를 들어, 다른 디바이스 또는 소스로부터 스트리밍된 A/V 파일의 일부분을 단순히 저장하는 보다 작은 버퍼를 포함할 수도 있다. 아무튼, 메모리 (48) 는 데이터가 디바이스 (40) 에 의해 프레젠테이션되기 전에 A/V 데이터를 버퍼링할 수도 있다.
일부 예들에서, 디바이스 (40) 는 A/V 데이터를 로컬로 프로세싱하고 디스플레이할 수도 있다. 특히, 디스플레이 프로세서 (54) 는 로컬 디스플레이 (56) 상에 디스플레이될 비디오 데이터를 프로세싱하기 위한 플랫폼의 일부분을 형성할 수도 있다. 이와 관련하여, 디스플레이 프로세서 (54) 는 (프로세서들 (44) 에 대해 위에서 설명된 바와 같은) 코덱을 포함할 수도 있다. 디스플레이 (56) 는 액정 디스플레이 (LCD), 발광 다이오드 (LED), 유기 발광 다이오드 (OLED), 또는 사용자에게 이해할 수 있는 출력을 발생시킬 수 있는 임의의 다른 유형의 디바이스를 포함할 수도 있다. 또한, 오디오 프로세서 (60) 는 하나 이상의 스피커들 (62) 에 출력하기 위한 오디오 데이터를 프로세싱할 수도 있다.
전송 모듈 (66) 은 네트워크 전송을 위해 인코딩된 A/V 데이터를 프로세싱할 수도 있다. 예를 들어, 인코딩된 A/V 데이터는 네트워크에 걸친 통신을 위해 프로세서들 (44) 에 의해 프로세싱되고 전송 모듈 (66) 에 의해 네트워크 액세스 계층 (Network Access Layer; NAL) 유닛들로 캡슐화될 수도 있다. NAL 유닛들은 네트워크 접속을 통해 다른 디바이스로 모뎀 (68) 에 의해 보내질 수도 있다. 이와 관련하여, 모뎀 (68) 은, 예를 들어, 직교 주파수 분할 멀티플렉싱 (orthogonal frequency division multiplexing; OFDM) 기법들, 시분할 멀티 액세스 (time division multi access; TDMA), 주파수 분할 멀티 액세스 (frequency division multi access; FDMA), 코드 분할 멀티 액세스 (code division multi access; CDMA), 또는 OFDM, FDMA, TDMA 및/또는 CDMA, WiFi, Bluetooth, Ethernet, IEEE 802.11 패밀리 표준들, 또는 임의의 다른 무선 혹은 유선 통신 기법의 임의의 조합을 포함하는 임의의 개수의 통신 기법들에 따라 동작할 수도 있다. 일부 예들에서, 디바이스 (40) 의 모뎀 (68) 은 캡슐화된 데이터 패킷들을 수신할 수도 있고, 캡슐화해제를 위해 캡슐화된 데이터 유닛들을 전송 유닛 (66) 으로 보낸다. 예를 들어, 전송 유닛 (66) 은 NAL 유닛들로부터 데이터 패킷들을 추출할 수도 있고, 프로세서들 (44) 은 데이터 패킷들을 파싱하여 사용자 입력 커맨드들을 추출할 수 있다.
하나 이상의 입력 디바이스들 (72) 은 촉각, 오디오, 또는 비디오 피드백을 통해 사용자로부터 입력을 수신하도록 구성될 수도 있다. 입력 디바이스 (72) 의 예들은 터치 및/또는 존재 감응 스크린, 마우스, 키보드, 음성 반응 시스템, 마이크로폰, 또는 사용자로부터 커맨드를 검출하기 위한 임의의 다른 유형의 디바이스를 포함한다.
그래픽들 프로세싱 유닛 (GPU) (74) 은 그래픽 동작들을 수행하기 위한 하나 이상의 전용 프로세서들을 나타낸다. 즉, 예를 들어, GPU (74) 는 그래픽들을 렌더링하고 GPU 애플리케이션들을 실행하기 위한 고정 기능부 및 프로그램가능한 컴포넌트들을 갖는 전용 하드웨어 유닛일 수도 있다. GPU (74) 는 또한 DSP, 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 등가의 통합 혹은 이산 로직 회로부를 포함할 수도 있다. GPU (74) 가 도 2 의 예에서는 별도의 유닛으로 도시되나, 일부 예들에서, GPU (74) 는 (CPU 와 같은) 하나 이상의 다른 프로세서들 (44) 과 단일 유닛으로 통합될 수도 있다.
카메라 시스템 (76) 은 하나 이상의 이미지 프로세서들, 하나 이상의 이미지 센서들 (예를 들어, CCD 센서들, CMOS 센서들, NMOS 센서들 등), 뿐만 아니라 이미지들을 캡쳐하기 위한 다수의 다른 컴포넌트들을 포함할 수도 있다. 카메라 시스템 (76) 은 이른바 카메라 폰들 또는 비디오 폰들에 대한 하나 이상의 컴포넌트들을 포함할 수도 있다. 일부 예들에서, 카메라 시스템 (76) 은 다수의 이미지 센서들 (예를 들어, 카메라 폰 또는 비디오 폰의 전면 이미지 센서 및 후면 이미지 센서) 을 지원할 수도 있다. 카메라 시스템 (76) 의 그러한 이미지 센서들에 의해 발생된 이미지 스트림들은 하나 이상의 프로세서들에 의해 프로세싱될 수도 있다. 일부 예들에서, 카메라 시스템 (76) 은 GPU (74) 와 연계하여 동작해 소스 비디오로서 컴퓨터 그래픽들-기반 데이터, 또는 라이브 비디오, 아카이브된 비디오, 및/또는 컴퓨터-발생된 비디오의 조합을 발생시킬 수도 있다. 캡쳐된, 사전-캡쳐된, 또는 컴퓨터-발생된 비디오는 (위에서 설명된) 비디오 인코더에 의해 인코딩될 수도 있다.
열/전력 관리기 (80) 는 하나 이상의 컴포넌트들이 하나 이상의 동작 특성 목표들에서 또는 그 아래에서 동작하는 것을 유지하도록 디바이스 (40) 의 하나 이상의 컴포넌트들을 관리할 수도 있다. 일 예에서, 동작 특성 목표는 디바이스 (40) 의 동작 온도를 표시하는 (열 제한 또는 열 임계치라고도 지칭될 수도 있는) 열 목표일 수도 있으며, 동작 특성 목표를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하는 것은 디바이스 (40) 의 적어도 하나의 컴포넌트들의 온도를 열 목표와 동일하게 또는 그보다 적게 유지하도록 디바이스의 적어도 하나의 동작 파라미터를 조정하는 것을 포함한다. 다른 예에서, 동작 특성 목표는 디바이스를 동작시킴으로써 소비된 전력의 양을 표시하는 (전력 버짓 또는 전력 임계치라고도 지칭될 수도 있는) 전력 목표를 포함하며, 동작 특성 목표를 생성하도록 디바이스 (40) 의 적어도 하나의 동작 파라미터를 조정하는 것은 디바이스 (40) 의 하나 이상의 컴포넌트들의 전력 목표와 동일하게 또는 그보다 적게 전력 소비를 유지하도록 디바이스 (40) 의 적어도 하나의 동작 파라미터를 조정하는 것을 포함한다.
하기에서 보다 상세히 설명되는 바와 같이, 열/전력 관리기 (80) 는 사용자 경험 메트릭에 기초하여 디바이스 (40) 의 하나 이상의 동작 파라미터들을 조정할 수도 있다. 예를 들어, 본 개시물의 양태들에 따르면, 디바이스 (40) 는 사용자 경험 메트릭을 사용하여 사용자 경험에 대한 영향을 최소화하나, 동작 특성 목표를 만족시키는 방식으로 하나 이상의 동작 파라미터들을 조정할 수도 있다.
도 3 은 본 개시물의 기법들을 구현할 수도 있는 디바이스의 관리 시스템 (100) 의 일 예를 도시한다. 도 3 의 예에서, 관리 시스템은 시스템 레벨 열 엔진 (102), 시스템 하드웨어 또는 하드웨어 및/또는 소프트웨어의 조합 (104), 프레임 레이트 스케일링 유닛 (108) 및 해상도 스케일링 유닛 (110) 을 갖는 카메라 시스템 (106), 사용자 경험 모델 (112), 전력 모델 (114), 및 열/전력 관리기 (116) 를 포함한다. 하기에서 언급된 바와 같이, 일부 예들에서, 사용자 경험 모델 (112) 및/또는 전력 모델 (114) 은 열/전력 관리기 (116) 또는 관리 시스템 (100) 의 다른 프로세서에 의한 이용을 위한 모델들을 정의하는 메모리에 저장된 데이터일 수도 있다. 다른 예들에서, 관리 시스템 (100) 은 도 3 에 도시된 것들보다 많거나 적은 컴포넌트들을 포함할 수도 있다. 일부 예들에서, 관리 시스템 (100) 은 디바이스 (20A), 디바이스 (20B), 디바이스 (40), 또는 임의의 개수의 다른 전자 디바이스들에 포함될 수도 있다.
시스템 레벨 열 엔진 (102) 은 온도 임계치 아래로 디바이스 (또는 디바이스의 하나 이상의 컴포넌트들) 의 온도를 유지하는 것을 책임질 수도 있다. 일부 예들에서, 시스템 레벨 열 엔진 (102) 은 열/전력 관리기 (116) 에 열 완화 요청 (예를 들어, 디바이스의 하나 이상의 컴포넌트들의 온도를 감소시키기 위한 요청), 및/또는 전력 버짓 제한 (예를 들어, 미리 결정된 전력 소비 제한) 을 발행할 수도 있다 (열 완화 요청 또는 전력 버짓 제한). 시스템 레벨 열 엔진 (102) 은 또한 열/전력 관리기 (116) 로부터 전력 버짓에 대한 증가에 대한 확인응답, 거절, 및/또는 요청을 수신할 수도 있다.
시스템 하드웨어 (시스템 HW) 또는 하드웨어와 소프트웨어의 조합 (104) 은 디바이스의 하드웨어 또는 하드웨어 컴포넌트와 소프트웨어 컴포넌트의 조합을 나타낸다. 하드웨어 및/또는 소프트웨어 (104) 의 예들은 이미지들을 캡쳐하거나 프로세싱하기 위한 하드웨어 및/또는 소프트웨어 (예를 들어, 자동-백색 밸런싱 (Auto-White Balancing, AWB) 피쳐, 자동 초점 (Auto Focus; AF) 피쳐, 얼굴 검출 피쳐, 이미지 센서 프로세서 (Image Sensor Processor; ISP), 얼굴 검출 소프트웨어, 코덱, (고역 통과 필터와 같은) 이미지 프로세싱을 위한 하나 이상의 필터들 등) 를 포함한다. 하드웨어 및/또는 소프트웨어 (104) 는, 일부 예들에서, 열/전력 관리기 (116) 에 이미지 컨텍스트와 같은 정보를 제공할 수도 있다. 이미지 컨텍스트는, 예들로서, 얼굴 또는 피부의 존재를 표시하는 데이터, 캡쳐된 이미지들 또는 비디오에서의 디테일의 레벨을 표시하는 데이터, 캡쳐된 이미지들 또는 비디오에서의 모션을 표시하는 데이터, 캡쳐된 이미지들 또는 비디오의 밝기를 표시하는 데이터, 캡쳐되고 있는 컨텐트에 대한 카메라의 거리 등을 포함할 수도 있다.
일부 예들에서, 카메라 시스템 (106) 은 디바이스 (40) (도 2) 의 카메라 시스템 (76) 과 유사하게 구성될 수 있다. 예를 들어, 카메라 시스템 (106) 은 이미지들을 캡쳐하기 위한 하나 이상의 이미지 프로세서들, 하나 이상의 이미지 센서들 (예를 들어, CCD 센서들, CMOS 센서들, NMOS 센서들 등), 뿐만 아니라 다수의 다른 하드웨어 또는 하드웨어 컴포넌트와 소프트웨어 컴포넌트의 조합을 포함할 수도 있다. 일부 예들에서, 카메라 시스템 (106) 은 다수의 이미지 센서들 (예를 들어, 카메라 폰 또는 비디오 폰의 전면 이미지 센서 및 후면 이미지 센서) 을 지원할 수도 있다. 카메라 시스템 (106) 의 그러한 이미지 센서들은, 일부 예들에서, 관리 시스템 (100) 을 구현하는 디바이스의 컴포넌트들과 물리적으로 분리될 수도 있다 (예를 들어, 디바이스의 시스템 온 칩 (system on chip; SOC) 과 분리될 수도 있다). 카메라 시스템 (106) 의 그러한 이미지 센서들에 의해 발생된 이미지 스트림들은 카메라 시스템 (106) 의 하나 이상의 프로세서들에 의해 프로세싱될 수도 있다.
도 3 의 예에서, 카메라 시스템 (106) 은 또한 프레임 레이트 스케일링 유닛 (108) 및 해상도 스케일링 유닛 (110) 을 포함한다. 프레임 레이트 스케일링 유닛 (108) 은 카메라 시스템 (106) 에 의해 캡쳐되고 있는 비디오의 프레임 레이트를 변화시키도록 동작가능할 수도 있다. 해상도 스케일링 유닛 (110) 은 카메라 시스템 (106) 에 의해 캡쳐된 이미지들의 해상도를 변화시키도록 동작가능할 수도 있다. 일부 예들에서, 하기에서 보다 상세히 설명된 바와 같이, 프레임 레이트 스케일링 유닛 (108) 및 해상도 스케일링 유닛 (110) 은 열/전력 관리기 (116) 로부터 커맨드들을 수신할 수도 있다. 예를 들어, 프레임 레이트 스케일링 유닛 (108) 은 열/전력 관리기 (116) 로부터 특정 프레임 레이트를 표시하는 제어 커맨드들을 수신할 수도 있다. 또한, 해상도 스케일링 유닛 (110) 은 열/전력 관리기 (116) 로부터 특정 해상도를 표시하는 제어 커맨드들을 수신할 수도 있다. 일부 예들에서, 이러한 제어 신호들은, 예를 들어, 다른 프로세서 또는 제어 유닛에 의해 설정된, 기존의 프레임 레이트 및/또는 해상도 설정들을 무효로 하는데 이용될 수도 있다.
사용자 경험 모델 (112) 은 지각된 사용자 경험의 추정치를 제공하는 모델의 일 예를 나타낼 수도 있다. 예를 들어, 사용자 경험 모델 (112) 은 사용자가 카메라 시스템 (76) 에 의해 캡쳐된 이미지들 또는 비디오를 보는 경우 사용자 경험의 경험적 표시를 제공할 수도 있다. 일부 예들에서, 사용자 경험 모델 (112) 은 상대적 사용자 경험의 수치 표시를 발생시킬 수도 있다. 예시의 목적을 위한 예에서, 사용자 경험 모델 (112) 은 미리 결정된 범위의 값들로 수치 스코어를 반환할 수도 있으며, 여기서 범위 내의 가장 낮은 스코어는 최소의 허용 사용자 경험을 나타내고 범위 내의 가장 높은 스코어는 최상의 사용자 경험을 나타낸다. 일부 예들에서, 가장 높은 스코어는 디바이스 및/또는 카메라 시스템 (76) 의 능력들 또는 제한들의 대상이 될 수도 있다 (예를 들어, 일부 디바이스들은 다른 디바이스들보다 높은 스코어를 달성하는 것이 가능할 수도 있다).
이러한 방식으로, 사용자 경험 모델 (112) 은 카메라 시스템 (106) 에 의해 캡쳐되고 있고/있거나 (디바이스 (40) 의 로컬 디스플레이 (56) (도 2) 와 같은) 디바이스의 디스플레이에 프레젠테이션된 이미지들 또는 비디오의 품질 (또는 지각된 품질) 의 추정치를 제공할 수도 있다. 예를 들어, 하기에서 보다 상세히 설명된 바와 같이, 상대적으로 높은 해상도로 캡쳐된 이미지들 또는 비디오는 사용자 경험 모델 (112) 로부터 상대적으로 높은 결과를 초래할 수도 있다. 마찬가지로, 다른 예로서, 상대적으로 높은 프레임 레이트 (예를 들어, 초당 60 프레임 (frames per second; fps), 30 fps, 15 fps 등) 로 캡쳐된 비디오는 사용자 경험 모델로부터 상대적으로 높은 스코어를 초래할 수도 있다.
일부 예들에서는, 하기에서 보다 상세히 설명된 바와 같이, 사용자 경험 모델 (112) 은 사용자 경험에서의 변화를 결정하여 카메라 시스템 (106) 의 하나 이상의 동작 파라미터들과 같은 디바이스의 하나 이상의 동작 파라미터들에 대한 변화들을 초래하도록 구성될 수도 있다. 예를 들어, 사용자 경험 모델 (112) 은 사용자 경험에 대한 예상되는 증가 또는 저하를 결정하여 디바이스의 하나 이상의 동작 파라미터들에 대한 변화를 초래하도록 구성될 수도 있다. 이러한 사용자 경험에서의 변화는, 하기에서 보다 상세히 설명된 바와 같이, 사용자 경험 모델 (112) 델타라고 지칭될 수도 있다.
예시의 목적을 위한 예로서, 사용자 경험 모델 (112) 은 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 프레임 레이트를 변화시킴으로써 생성되는 사용자 경험에서의 변화 (예를 들어, 디바이스의 사용자에 의해 지각되는 바와 같은 품질에서의 변화) 를 결정하도록 구성될 수도 있다. 예를 들어, 카메라 시스템 (106) 의 프레임 레이트를 증가시키는 것은 사용자 경험 모델 (112) 의 결과에서의 증가를 생성할 수도 있다. 다른 예로서, 사용자 경험 모델 (112) 은 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 해상도를 변화시킴으로써 생성되는 사용자 경험에서의 변화 (예를 들어, 디바이스의 사용자에 의해 지각되는 바와 같은 품질에서의 변화) 를 결정하도록 구성될 수도 있다. 이러한 예에서, 카메라 시스템 (106) 의 해상도를 증가시키는 것은 사용자 경험 모델 (112) 의 결과에서의 증가를 생성할 수도 있다.
일부 예들에서, 디바이스의 컴포넌트들과 연관된 동작 파라미터들은 "노브 (knob) 들" 로 지칭될 수도 있다. 예를 들어, 다수의 제어 "노브들" 은 특정 사용자 경험을 제공하는 것과 연관될 수도 있다. 위에서 설명된 프레임 레이트 스케일링 및 해상도 스케일링 노브들에 더해, 다른 노브들은 (예를 들어, 하기의 표 1 에 대해 보다 상세히 설명된 바와 같이) 디바이스의 카메라 시스템 (106) 및/또는 하드웨어 컴포넌트들과 연관된 소프트웨어 기능성을 포함할 수도 있다.
일부 예들에서, 열/전력 관리기 (116) 는 동작 조건들 및/또는 파라미터들의 벡터에 기초하여 사용자 경험 모델 (112) 을 결정할 수도 있다. 예를 들어, 동작 파라미터 벡터 (S) 는 카메라 시스템 (106) 의 프레임 레이트, 카메라 시스템 (106) 의 해상도, 및/또는 다음의 등식들에 따라 사용자 경험 모델이 결정될 수도 있는 다수의 다른 노브들을 포함하여 다수의 동작 파라미터들을 포함할 수도 있다:
S = [FPS, 해상도, 노브1, 노브2, ... 노브N]
Ux = Ux모델(S)
여기서 S 는 동작 파라미터들의 벡터이고, Ux 는 사용자 경험 결과를 나타내고, Ux모델은 동작 파라미터들의 벡터 (S) 에 적용되는 사용자 경험 모델을 나타낸다.
카메라 시스템 (106) 이 하나를 초과하는 이미지 스트림을 발생시키는 하나를 초과하는 이미지 센터를 포함하는 예들에서, 열/전력 관리기 (116) 는 이미지 센서들의 각각에 대한 동작 조건들 및/또는 파라미터들의 벡터에 기초하여 사용자 경험 모델 (112) 을 결정할 수도 있다. 예를 들어, 카메라 시스템 (106) 의 각각의 이미지 스트림은 그 자체의 연관된 노브들의 세트를 가질 수도 있고, 각각의 스트림은 노브들을 이용하여 별도로 제어될 수도 있다. 사용자 경험 모델 (112) 은 이미지 스트림들 모두와 연관된 동작 파라미터들 모두에 기초하여 단일의 사용자 경험 추정치를 결정할 수도 있다.
예시의 목적인 예에서, 카메라 시스템 (106) 의 2 개의 이미지 센서들 (IS1 및 IS2) 은 카메라 시스템 (106) 에 의해 프로세싱되는 각각의 이미지 스트림들을 발생시킨다고 가정한다. 이러한 예에서, 각각의 이미지 스트림 (예를 들어, IS1 과 연관된 제 1 스트림 및 IS2 와 연관된 제 2 이미지 스트림) 은, 하기에서 예시적인 벡터 (S) 로 도시된 바와 같이, 별도의 노브들로 별도로 제어될 수 있다.
S = [IS1 에 대한 FPS, IS1 에 대한 해상도, IS1 에 대한 노브1, IS1 에 대한 노브2, ... IS1 에 대한 노브N, IS2 에 대한 FPS, IS2 에 대한 해상도, IS2 에 대한 노브1, IS2 에 대한 노브2, ... IS2 에 대한 노브N]
또한, 단일 사용자 경험 모델 (112) 은 벡터 (S) 의 파라미터들에 기초하여 결정될 수도 있다. 이러한 예에서, 사용자 경험 (Ux) 은 위의 등식에 대해 설명된 것과 동일한 방식으로 결정될 수도 있다:
Ux = Ux모델(S)
여기서 S 는 이미지 센서들 (IS1 및 IS2) 양자 모두에 대한 동작 파라미터들을 포함하는 동작 파라미터들의 벡터이고, Ux 는 사용자 경험 결과를 나타내고, Ux모델은 동작 파라미터들의 벡터 (S) 에 적용되는 사용자 경험 모델을 나타낸다.
전력 모델 (114) 은 디바이스에 의해 소비되는 전력의 양의 표시를 제공할 수도 있다. 예를 들어, 전력 모델 (114) 은 (예를 들어, CPU, GPU, 카메라 시스템 (106) 등과 같은) 디바이스의 하나 이상의 컴포넌트들에 의해 이용되는 전력의 양의 수치 표시를 제공할 수도 있다. 일부 예들에서는, 하기에서 보다 상세히 설명된 바와 같이, 전력 모델 (114) 은 카메라 시스템 (106) 의 하나 이상의 동작 파라미터들과 같은, 디바이스의 하나 이상의 동작 파라미터들에 대한 변화들로부터 기인하는 디바이스에 의해 소비될 전력의 양에서의 변화를 결정하도록 구성될 수도 있다.
예시의 목적들을 위한 예로서, 전력 모델 (114) 은 전력 절감들의 양 (또는 전력에서의 증가), 예를 들어, 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 프레임 레이트를 변화시킴으로써 생성된, 카메라 시스템 (106) 및/또는 디바이스에 의해 소비된 전력의 양에서의 감소 또는 증가를 결정하도록 구성될 수도 있다. 예를 들어, 카메라 시스템 (106) 의 프레임 레이트를 감소시키는 것은 카메라 시스템 (106) 및/또는 디바이스의 다른 컴포넌트들 (예를 들어, CPU, GPU, 메모리 등) 에 의해 소비된 전력의 양에서의 하락을 초래할 수도 있다. 다른 예에서, 전력 모델 (114) 은 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 해상도를 변화시킴으로써 생성된 전력 절감들 (또는 전력에서의 증가) 의 양을 결정하도록 구성될 수도 있다. 이러한 예에서, 카메라 시스템 (106) 의 해상도를 감소시키는 것은 카메라 시스템 (106) 및/또는 디바이스의 다른 컴포넌트들 (예를 들어, CPU, GPU, 메모리 등) 에 의해 소비된 전력의 양에서의 하락을 초래할 수도 있다.
본원에서 설명된 소정의 예들이 카메라 시스템 (106) 에 대한 변화들에 대해 설명되나, 카메라 시스템 (106) 과 같은 디바이스의 특정 컴포넌트의 하나 이상의 동작 파라미터들을 변화시키는 것은 디바이스의 다수의 컴포넌트들 (예를 들어, CPU, GPU, 메모리 등) 에 영향을 주는 연속적 변화를 초래할 수도 있다는 것이 이해되어야 한다. 이에 따라, 단지 일 예로서, 카메라 시스템 (106) 과 연관된 프레임 레이트를 줄이는 것은 카메라 시스템 (106) 에 의해 소비된 전력의 양에서의 감소를 초래할 뿐만 아니라, CPU 및/또는 메모리와 같은 디바이스의 다른 컴포넌트들에 의해 소비된 전력의 양에서의 감소도 초래할 수도 있다.
전력 모델 (114) 은 또한 디바이스에 의해 발생된 열기의 표시를 제공할 수도 있다. 예를 들어, 통상적으로, 디바이스가 보다 많은 전력을 소비함에 따라, 디바이스에 의해 생성되는 열 에너지 또는 열기의 양은 올라간다. 예를 들어, (CPU, GPU, 카메라 시스템 (106) 등과 같은) 디바이스의 하나 이상의 컴포넌트들이 보다 많은 전력을 인출함에 따라, 부산물로서 하나 이상의 컴포넌트들에 의해 발생되는 열기의 양이 또한 증가한다. 이에 따라, 전력 모델 (114) 은 컴포넌트들의 동작 특성을 변화시킬 시에 디바이스의 컴포넌트들에 의해 생성될 일 양의 열기의 제거를 제공하도록 구성될 수도 있다.
열/전력 관리기 (116) 는 위에서 설명된 정보를 이용하여 카메라 시스템 (106) 을 포함하는 디바이스의 하나 이상의 동작 파라미터들을 조정할 수도 있다. 예를 들어, 하기에서 보다 상세히 설명된 바와 같이, 열/전력 관리기 (116) 는 프레임 레이트 스케일링 유닛 (108) 에 커맨드를 발행함으로써 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 프레임 레이트를, 해상도 스케일링 유닛 (110) 에 커맨드를 발행함으로써 카메라 시스템 (106) 에 의해 캡쳐된 비디오의 해상도를, (도 3 의 예에서 타원으로 나타내어진) 카메라 시스템 (106) 의 다른 유닛들에 커맨드를 발행함으로써 다수의 다른 동작 파라미터들을 조정할 수도 있다.
열/전력 관리기 (116) 는 특정 전력 버짓 및/또는 열 임계치를 유지하도록 하나 이상의 제어 "노브들" 을 조정할 수도 있다. 위에서 설명된 프레임 레이트 스케일링 및 해상도 스케일링 노브들에 더해, 표 1 (하기) 은 열/전력 관리기 (116) 에 의해 조정될 수도 있는 다수의 다른 노브들 (또는 동작 파라미터들) 을 포함한다. 카메라 시스템 (106) 이 하나를 초과하는 센서 및/또는 이미지 프로세서를 포함하는 예들에서, 각각의 이미지 센서 및/또는 이미지 프로세서는 노브들의 세트에 대한 상이한 파라미터 설정들을 가질 수도 있다.
목표
기능		 "노브" 인에이블먼트 메모




SW
(애플리케이션들)

 3A 제어 총 3A 통계 프로세싱을 감소시킨다 통계의 입도를 감소시키는 것은 프로세서 부하를 감소시켜 보다 낮은 전력에 기여할 것이다
3A 제어 프로세싱 FPS 를 감소시킨다 SW 제어 & 통계에 있어서, 통계 프로세싱을 위해 프레임들을 드롭함으로써, 프로세서 전력을 감소시킨다
부가 피쳐들 열 완화 트리거 중의 턴-오프 피쳐들 안면 검출, 또는 깜박거림 감소 등과 같은 추가적인 사용자 선택가능한 피쳐들 및 이미지 품질 향상들을 위한 임의의 다른 프로세싱-후 피쳐가 프로세서 전력 감소를 위해 선택적으로 턴-오프될 수도 있다







HW




 ISP 블록 프로세서 FPS 감소 ISP 오프라인 블록 프로세서 클록을 감소시킨다 본래의 센서 레이트로 ISP & 센서 제어의 스트리밍 프런트-엔드를 계속하며, 메모리 트래픽 & 코어 전력을 절감한다
ISP 스트리밍 프로세서 레이트 제어 프레임 드롭들을 통한 출력 레이트 제어 센서 레이트로 구동하는데 요구되는 통계 & 3A
ISP 스트리밍 프로세서 출력 제어 출력에서 프레임들을 드롭한다 버스 상에서 전력을 감소시키며, 완화 중에 다운스트림 FPS 를 매칭시킨다
ISP 모듈 제어 핫 모듈들을 턴-오프한다 식별된 "핫-모듈들" 은 감소된 기능성 또는 품질의 대가로 코어 전력을 절감하도록 선택적으로 턴 오프될 수 있다.
클록 제어 적당히 빠르게 코어들을 구동한다 ISP 스트리밍 프로세서는 예를 들어 터보 모드들에서보다 느리게 구동할 수 있다
듀얼 ISP (ISP 스트리밍 프로세서) 동작 듀얼-ISP 로 보다 낮은 클록들을 이용한다 프로세싱되는 단일 센서를 갖는 경우, 최상의 토폴로지를 선택적으로 이용하여 보다 낮은 코어 전력을 달성한다.
센서 센서 레이트 제어 자동 프레임 레이트 제어 또는 모드 변화를 통해서 본 개시물에서 설명됨.
본 개시물의 양태들에 따르면, 열/전력 관리기 (116) 는 열 완화 요청 시스템 레벨 열 엔진 (102) 으로부터 (예를 들어, 디바이스 및/또는 디바이스의 하나 이상의 컴포넌트들의 온도를 감소시키기 위한 요청) 을 수신할 수도 있다. 열/전력 관리기 (116) 는 시스템 레벨 열 엔진 (102) 으로부터 디바이스의 컴포넌트들에 대한 전력 이용 제한을 표시하는 전력 버짓 제한 (예를 들어, 전력 이용 임계치) 을 추가적으로 또는 대안으로 수신할 수도 있다.
열/전력 관리기 (116) 는 (카메라 시스템 (106) 과 같은) 디바이스의 컴포넌트들의 하나 이상의 동작 파라미터들을 변화시켜 수신된 열 목표 또는 전력 버짓을 충족시킬 수도 있다. 예를 들어, 열/전력 관리기 (116) 는 디바이스의 하나 이상의 컴포넌트들의 (카메라 시스템 (106) 에 의해 캡쳐된 비디오의 프레임 레이트 또는 해상도, 또는 다양한 다른 "노브들" 과 같은) 하나 이상의 동작 파라미터들을 조정하여 수신된 열 목표 또는 전력 버짓을 충족시킬 수도 있다.
일부 예들에서, 열/전력 관리기 (116) 의 동작은 사용자 경험 모델 (112) 및/또는 전력 모델 (114) 에 의해 영향을 받을 수도 있다. 예를 들어, 하기에서 보다 상세히 설명된 바와 같이, 열/전력 관리기 (116) 는 디바이스의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정할 수도 있다. 일부 예들에서, 사용자 경험 메트릭은 사용자 경험 모델 (112) 로부터 하나 이상의 결과들을 포함할 수도 있다. 또한, 열/전력 관리기 (116) 는, 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초하여, 동작 특성 목표 (예를 들어, 열 목표 또는 전력 버짓) 를 생성하도록 디바이스의 적어도 하나의 동작 파라미터를 조정할 수도 있다.
본 개시물의 양태들에 따르면, 열/전력 관리기 (116) 는 하나 이상의 동작 파라미터들을 선택함으로써 동작 파라미터들을 조정하여 다른 동작 파라미터들을 선택하는 것에 대해 (사용자 경험 모델 (112) 을 이용하여 결정된 바와 같은) 사용자 경험을 최소화하거나 적어도 감소시킬 수도 있다. 또한 또는 대안으로, 열/전력 관리기 (116) 는 하나 이상의 동작 파라미터들을 선택함으로써 동작 파라미터들을 조정하여 동작 파라미터들에서의 변화를 최소화하거나 적어도 증가시킬 수도 있으며, 그렇게 함으로써 다른 동작 파라미터들을 선택하는 것에 대해 (전력 모델 (114) 을 이용하여 결정된 바와 같은) 전력 이용에서의 변화를 증가시키거나 잠재적으로 최대화한다.
일부 예들에서, 열/전력 관리기 (116) 는 사용자 경험에서 가장 작은 변화 (예를 들어, 사용자 경험에서의 감소) 및 전력 소비에서 가장 큰 변화 (예를 들어, 동작 전력에서의 감소) 를 초래하는 최적의 동작 파라미터 조정치를 결정할 수도 있다. 일부 예들에서, 도 7 에 대해 보다 상세히 설명된 바와 같이, (조정에 대한 변화 및 양에 대한 하나 이상의 동작 파라미터들을 식별하는) 최적의 동작 파라미터 조정치는 동작 특성에서의 추정된 변화에 대한 결정된 사용자 경험에서의 추정된 변화의 비율에 기초하여 결정될 수도 있다.
즉, 예시의 목적들을 위한 예에서, 열/전력 관리기 (116) 는 전력 모델 (114) 에서의 델타에 대한 사용자 경험 모델 (112) 에서의 델타의 비율을 결정할 수도 있다. 이러한 예에서, 열/전력 관리기 (116) 는 상대적으로 가장 작은 비율을 생성하는 동작 파라미터(들) 및 조정 양들을 결정할 수도 있다.
일부 예들에서, 열/전력 관리기 (116) 는 카메라 시스템 (106) 에 의해 캡쳐되고 있는 컨텐트와 연관된 컨텍스트에 의해 영향을 받을 수도 있다. 예를 들어, 열/전력 관리기 (116) 는 시스템 하드웨어 또는 하드웨어와 소프트웨어의 조합 (104) 으로부터 카메라 시스템 (106) 에 의해 캡쳐되고 있는 컨텐트에 관한 컨텍스트 정보를 수신할 수도 있다. 예시적인 컨텍스트는 컨텐트에 포함된 얼굴이 있는지 여부, 컨텐트의 색조 및/또는 색상이 있는지 여부 (예를 들어, 컨텐트에 포함된 적어도 일부 피부 톤들이 있는지 여부), 컨텐트가 이동하는지 여부 (예를 들어, 컨텐트와 연관된 움직임의 양), 컨텐트의 밝기, 카메라 시스템 (106) 의 이미지 센서와 컨텐트 사이의 거리, 또는 다양한 다른 컨텐트를 포함할 수도 있다.
열/전력 관리기 (116) 는 컨텍스트에 기초하여 양 (예를 들어, 프레임 레이트, 해상도 등) 을 조정할 뿐만 아니라 선택된 동작 파라미터를 조정하도록 동작 파라미터를 선택할 수도 있다. 단지 예시의 목적들을 위한 예로서, 열/전력 관리기 (116) 는 디바이스와 연관된 전력 소비 및/또는 온도를 감소시키기 위한 요청을 수신한다고 가정한다. 열/전력 관리기 (116) 는 요청을 충족시키기 위해 카메라 시스템 (106) 의 프레임 레이트 및 해상도를 조정한다고 또한 가정한다. 이러한 예에서, 얼굴이 컨텐트에서 검출되면, 열/전력 관리기 (116) 는 (프레임 레이트와 연관된) 부드러운 움직임을 캡쳐하는 것보다 (표현과 같은) 얼굴의 세부사항들을 캡쳐하는 것이 사용자 경험에 더 중요하다는 가정 하에 카메라 시스템 (106) 의 해상도보다 상대적으로 더 많이 카메라 시스템 (106) 의 프레임 레이트를 조정할 수도 있다. 다른 예들이 위에서 언급된 컨텍스트의 임의의 조합을 이용하여 가능하다.
일부 예들에서, 본 개시물의 양태들에 따르면, 열/전력 관리기 (116) 는 컨텍스트에 기초하여 사용자 경험 모델에서의 하나 이상의 동작 파라미터들에 가중 팩터 (예를 들어, FPS 및 해상도에 대한 가중치들) 를 적용할 수도 있다. 예를 들어, 열/전력 관리기 (116) 는 하기의 등식들에 기초하여 사용자 경험 모델 (112) 을 결정할 수도 있다:
S = [FPS, 해상도, 노브1, 노브2, ... 노브N]
Ux = Ux모델(S)
Ux = 가중된합(Ux모델_1(FPS), Ux모델_2(해상도), Ux모델_3(노브1) ...)
여기서 S 는 동작 파라미터들의 벡터이고, Ux 는 사용자 경험 결과를 표현하고, Ux모델은 동작 파라미터들의 벡터 (S) 에 적용되는 사용자 경험 모델을 표현한다. 또한, Ux 는 동작 파라미터들의 가중된 합의 함수이며, 이들의 각각은 그것들의 각각의 사용자 경험 모델들 (Ux모델_1, Ux모델_2, Ux모델_3 등) 과 연관된 가중 팩터를 포함한다.
위에서 언급된 바와 같이, 일부 예들에서, 카메라 시스템 (106) 은 각각의 스트림에 대한 별도의 노브들로 하나를 초과하는 이미지 센서 및 연관된 이미지 스트림을 포함할 수도 있다. 일부 예들에서, 벡터 (S) 는 이미지 스트림들 모두에 대한 노브들을 포함할 수도 있다 (예를 들어, S = [IS1 에 대한 FPS, IS1 에 대한 해상도, IS1 에 대한 노브1, IS1 에 대한 노브2, ...IS1 에 대한 노브N, IS2 에 대한 FPS, IS2 에 대한 해상도, IS2 에 대한 노브1, IS2 에 대한 노브2, ...IS2 에 대한 노브N]). 또한, Ux 는 동작 파라미터들의 가중된 합의 함수일 수도 있으며, 이들의 각각은 그것들 각각의 사용자 경험 모델들과 연관된 가중 팩터를 포함한다 (예를 들어, Ux = 가중된합(UxModel_1(IS1 에 대한 FPS), Ux모델_2(IS1 에 대한 해상도), Ux모델_3(IS1 에 대한 노브1) ... Ux모델_1(IS2 에 대한 FPS), Ux모델_2(IS2 에 대한 해상도), Ux모델_3(IS2 에 대한 노브1) ...).
하기에 보여진 표 2 는 다양한 컨텍스트들에 대한 프레임 레이트 동작 파라미터 및 해상도 동작 파라미터에 대한 잠재적인 가중 팩터들을 예시한다.
예시적인 이미지 컨텍스트 (정보를 제공하는 HW 블록) FPS 에 대한 가중 팩터 해상도에 대한 가중 팩터
(얼굴 검출 블록으로부터) 사용자의 얼굴이 검출됨 낮음 높음
이미지의 상당한 부분이 피부이다 낮음 높음
(HPF 블록으로부터의) 많은 세부사항들 낮음 높음
(비디오 인코더로부터의) 많은 움직임 높음 낮음
낮은 밝기 높음 낮음
(자동-초점으로부터) 가까운 거리 - 팔을 뻗으면 닿는 거리 낮음 높음
위의 예들에서, 가중 팩터들은 사용자 경험에서 상대적으로 작은 저하를 제공하는 한편 또한 동작 파라미터 (및 연관된 전력 인출) 에서의 변화를 최대화하도록 선택될 수도 있다. 컨텍스트가 얼굴의 검출을 포함하는 위의 예들로 돌아가면, 열/전력 관리기 (116) 는 (표현과 같은) 얼굴의 세부사항들을 캡쳐하는 것이 (프레임 레이트와 연관된) 부드러운 움직임을 캡쳐하는 것보다 사용자 경험에 상대적으로 더 중요하다는 가정 하에 카메라 시스템 (106) 의 해상도보다 상대적으로 높게 카메라 시스템 (106) 의 프레임 레이트를 조정할 수도 있다. 이러한 예에서는, 위의 표 1 의 예에서 보여진 바와 같이, 열/전력 관리기 (116) 는 해상도에 대해서는 상대적으로 높은 가중치를 그리고 프레임 레이트에 대해서는 상대적으로 낮은 가중치를 둘 수도 있다. 다른 예들이 위에서 언급된 컨텍스트의 임의의 조합을 이용하여 가능하다.
이에 따라, 동작 시에, 시스템 레벨 열 엔진 (102) 은 열/전력 관리기 (116) 에 열 완화 요청 및/또는 전력 버짓 제한을 발행할 수도 있다. 열/전력 관리기 (116) 는 메시지에 확인응답하거나, 요청을 거절하거나, 추가적인 전력 버짓을 요청할 수도 있다 (확인응답/거절/보다 많은 전력버짓 요청). 또한, 열/전력 관리기 (116) 는 프레임 레이트 (프레임 레이트 스케일링 유닛 (108) 에 발행되는 커맨드), 해상도 (해상도 스케일링 유닛 (110) 에 발행되는 커맨드), 또는 (타원으로 나타내어진) 다른 제어 파라미터들과 같은 동작 파라미터들을 제어하기 위한 커맨드들을 포함하여, 카메라 시스템 (106) 에 제어들 및/또는 무시 명령들을 발행할 수도 있다.
카메라 시스템은 시스템 레벨 열 엔진 (102) 에 온도 피드백 (카메라 시스템 온도 (cam. sys. temp.)) 을, 뿐만 아니라 사용자 경험 모델 (112) 및 전력 모델 (114) 에 동작 파라미터들의 표시를 제공할 수도 있다.
사용자 경험 모델 (112) 은 카메라 시스템 (106) 으로부터의 동작 파라미터들에 기초하여 사용자 경험의 추정치를 나타내는 사용자 경험 메트릭을 결정하는데 이용될 수도 있다. 설명의 목적들을 위해 도 3 의 예에서 별도의 유닛으로 도시되긴 하였으나, 일부 예들에서, 사용자 경험 모델 (112) 은 사용자 경험의 추정치를 제공하기 위해 열/전력 관리기 (116) 에 의해 이용되는 (예를 들어, 하나 이상의 사용자 경험 알고리즘을 포함하는) 데이터일 수도 있다. 다른 예들에서, 사용자 경험 모델 (112) 은 프로그램가능한 또는 고정 기능 하드웨어와 같은 별도의 프로세싱 하드웨어를 포함할 수도 있다. 일부 예들에서, 사용자 경험 메트릭은 수치 값일 수도 있다. 또한, 사용자 경험 모델 (112) 은 열/전력 관리기 (116) 에 사용자 경험의 추정치를 제공할 수도 있고, 동작 파라미터들과 연관된 가중 팩터들을 수신할 수도 있다.
전력 모델 (114) 은 카메라 시스템 (106) 으로부터의 동작 파라미터들에 기초하여 디바이스에 의해 소비되는 전력의 양을 결정할 수도 있다. 다시, 설명의 목적들을 위해 도 3 의 예에서 별도의 유닛으로 도시되긴 했으나, 일부 예들에서, 전력 모델 (114) 은 디바이스에 의해 소비되는 전력의 양의 표시를 제공하기 위해 열/전력 관리기 (116) 에 의해 이용되는 (예를 들어, 전력 소비를 결정하기 위해 하나 이상의 알고리즘을 포함하는) 데이터일 수도 있다. 다른 예들에서, 전력 모델 (114) 은 프로그램가능한 또는 고정 기능 하드웨어와 같은 별도의 프로세싱 하드웨어를 포함할 수도 있다. 전력 모델 (114) 은 카메라 시스템 (106) 의 동작에 기초하여 (예를 들어, CPU, GPU, 카메라 시스템 (106) 등과 같은) 디바이스의 하나 이상의 컴포넌트들에 의해 이용되는 전력의 양의 수치 표시를 제공할 수도 있다. 전력 모델 (114) 은 또한 (또는 대안적으로) 디바이스에 의해 발생된 열기의 표시를 제공할 수도 있다. 전력 모델 (114) 은 열/전력 관리기 (116) 에 전력 (또는 열) 추정치를 제공할 수도 있고, 열/전력 관리자 (116) 로부터 카메라 시스템 설정들의 표시를 수신할 수도 있다.
본 개시물의 양태들에 따르면, 열/전력 관리기 (116) 는, (사용자 경험 모델 (112) 로부터의) 사용자 경험 메트릭 및/또는 (전력 모델 (114) 로부터의) 전력 추정치에 기초하여 카메라 시스템 (106) 의 하나 이상의 동작 파라미터들을 포함하여, 디바이스의 하나 이상의 동작 파라미터들을 조정할 수도 있다. 위에서 언급된 바와 같이, 일부 예들에서, 열/전력 관리기 (116) 는 사용자 경험에 상대적으로 낮은 영향을 주고 전력 소비에는 상대적으로 높은 영향을 주는 하나 이상의 동작 파라미터들을 조정할 수도 있다. 일부 예들에서, 열/전력 관리기 (116) 는, 동작 파라미터들을 조정하는 경우, 시스템 하드웨어 또는 하드웨어와 소프트웨어의 조합 (104) 으로부터 수신된 바와 같은 컨텍스트를 고려할 수도 있다.
위에서 언급된 바와 같이, 본 개시물의 양태들은 어떤 동작 파라미터들이 사용자 경험에 감소된 영향을 주나 전력 소비에는 증가된 영향을 줄 것인지에 기초하여 조정을 위한 동작 파라미터들을 결정하는 것을 포함한다. 일부 예들에서, 열/전력 관리기 (116) 는 사용자 경험에 가장 낮은 영향을 주나 전력 소비에는 가장 높은 영향을 주는 최적의 트레이드오프를 달성하려고 시도할 수도 있다. 일부 예들에서, 사용자 경험 메트릭은 결정을 보조할 수도 있다.
위에서 설명된 사용자 경험 메트릭에 대한 근거는 수확 체감의 원리에서 찾을 수도 있다. 예를 들어, 인간의 감각들은 한계들을 갖는다. 인간은 소정의 지각 한계를 넘어서 이미지들 또는 비디오에 대한 변화들을 지각할 수 없을 수도 있다. 따라서, 일 예로서, 사용자는 시간 프레임 속도 지각 한계 이상으로 프레젠테이션되는 비디오에서의 차이들은 지각할 수 없을 수도 있다. 마찬가지로, 다른 예로서, 사용자는 공간 해상도 지각 한계 이상으로 프레젠테이션되는 비디오에서의 차이들을 지각할 수 없을 수도 있다.
이에 따라, 사용자 경험과 특정 동작 파라미터 사이의 관계는 선형적이지 않을 수도 있다. 즉, 특정 지각적 임계치 이상으로, 프레임 레이트, 해상도, 또는 다양한 다른 동작 파라미터들과 같은 동작 파라미터를 증가시키는 것은 향상된 사용자 경험을 초래하지 않을 수도 있다.
본 개시물의 양태들은 이러한 수학 체감의 원리를 활용한다. 예를 들어, 사용자 경험의 추정치를 결정함으로써, 동작 파라미터들은 사용자 경험에 대한 영향에 기초하여 선택되고 조정될 수도 있다. 이에 따라, 사용자 경험에 대한 영향을 최소화하면서 전력 및/또는 열 절감들이 달성될 수도 있다.
도 4a 및 도 4b 는 전력 소비, 프레임 레이트, 및 사용자 경험 사이의 관계의 일 예를 도시한다. 도 4a 및 도 4b 에 도시된 관계는 해상도 스케일링을 통해 전력 밀도 감소를 초래하도록 구성될 수도 있다. 일반적으로, 도 4a 및 도 4b 에 도시된 점들은 (화살표들로 표시되는) 관계 플롯들에 따른 특정 샘플 지점들을 나타낸다.
예를 들어, 도 4a 는 프레임 레이트 (FPS) 와 전력 소비 (전력) 사이의 관계를 도시한다. 이러한 예에서, (도 1a 내지 도 3 에 대해 위에서 설명된 디바이스들과 같은) 디바이스가 카메라에 의해 캡쳐된 비디오의 프레임 레이트를 증가시킴에 따라, 디바이스의 전력 소비가 또한 증가한다.
도 4b 에 도시된 바와 같이, 디바이스가 프레임 레이트 (FPS) 를 증가시킴에 따라, 사용자 경험이 또한 증가한다. 그러나, 소정의 지점을 넘어서 프레임 레이트 (FPS) 를 증가시키는 것은 사용자 경험에 있어서 거의 이득을 야기하지 않거나 이득이 아예 없다.
감소된 프레임 레이트는 카메라 코어들에서의 활성 전력을 직접적으로 절감할 수도 있다. 또한, 감소된 프레임 레이트는 버스 트래픽으로 인한 전력을 감소시킬 수도 있다. 일부 예들에서, 프레임 레이트를 감소시키는 것은 또한 프로세서 부하 및 디바이스 (예를 들어, 시스템 온 칩 (SoC) 체인) 를 통한 전력 소실을 감소시킬 수도 있다.
본 개시물의 양태들에 따르면, 프레임 레이트는 훌륭한 전력 밀도 관리를 제공하도록 동적으로 제어될 수도 있다. 즉, 프레임 레이트는, 사용자 경험을 고려하여, 프레임 레이트와 전력 소비 사이에 최적의 균형을 이루도록 제어될 수도 있다. 전력 절감들과 프레임 레이트 성능 사이에 맞춤 트레이드오프가 이뤄질 수도 있다.
일부 예들에서, 활성 전력은 카메라 코어 FPS 스케일링 (예를 들어, 프레임 스킵핑) 으로 감소될 수도 있으며, 이는 중간 레벨의 전력 밀도 제어를 제공할 수도 있다. 일부 예들에서, 상대적으로 복잡한 프로그래밍 및 동기화 시퀀스들은 FPS 스케일링과 연관될 수도 있다. 입도 (granular) FPS 제어가 양자화된 단계들에서 수행될 수도 있다 (예를 들어, 해상도: 30 FPS, 29 FPS, 28 FPS, 27 FPS, 또는 보다 작은 입상).
다른 예들에서, 활성 전력은 센서 모드 제어로 감소될 수도 있다 (그러나 센서들이 이러한 피쳐를 지원하지 않을 수도 있다). 일부 예들에서, 센서 모드 제어는 위에서 설명된 FPS 스케일링보다 상대적으로 좋은 전력 밀도 절감들을 제공할 수도 있다.
일부 다른 예들에서, 활성 전력은 센서 FPS (frames per second) 제어 (예를 들어, 자동-프레임 레이트 제어) 로 감소될 수도 있다. 센서들은 블랭킹 간격 스트레치 (blanking interval stretch) 를 통해 자동 프레임 레이트 제어를 지원할 수도 있다. 일부 예들에서, FPS 제어는 위의 예들보다 상당히 높은 전력 밀도 절감들을 제공할 수도 있다. FPS 제어는 간단한 센서 프로그래밍을 통해 평활하고 선형적인 FPS 제어를 제공할 수도 있다.
도 5a 및 도 5b 는 전력 소비, 해상도, 및 사용자 경험 사이의 예시적인 관계를 도시한다. 도 5a 및 도 5b 에 도시된 관계는 해상도 스케일링을 통해 전력 밀도 감소를 초래하도록 구성될 수도 있다. 일반적으로, 도 5a 및 도 5b 에 도시된 점들은 (화살표들로 표시되는) 관계 플롯들에 따른 특정 샘플 지점들을 나타낸다.
예를 들어, 도 5a 는 해상도 (내부 해상도) 와 전력 소비 (전력) 사이의 관계를 도시한다. 이러한 예에서, (도 1a 내지 도 3 에 대해 위에서 설명된 디바이스들과 같은) 디바이스가 카메라에 의해 캡쳐된 비디오의 프레임 레이트를 증가시킴에 따라, 디바이스의 전력 소비가 또한 증가한다.
도 5b 에 도시된 바와 같이, 디바이스가 해상도 (내부 해상도) 를 증가시킴에 따라, 사용자 경험이 또한 증가한다. 그러나, 소정의 지점을 넘어서 해상도를 증가시키는 것은 사용자 경험에서 거의 이득을 야기하지 않거나 어떠한 이득도 야기하지 않는다.
(이미지/비디오 프로세싱 및/또는 코딩과 같은 디바이스 내부의 동작들에 대한) 감소된 중간의 출력 해상도들은 카메라 코어들에서의 활성 전력을 직접적으로 절감할 수도 있다. 중간 해상도 제어는 카메라 파이프라인 내의 흐름들을 활용하고, 내부 버퍼 및/또는 버스 트래픽, 뿐만 아니라 하드웨어 또는 하드웨어와 소프트웨어의 조합의 프로세싱 부하들을 감소시킬 수도 있다. 일부 예들에서, 해상도를 감소시키는 것은 활성 프로세싱 듀티 사이클들 및/또는 대역폭을 감소시킴으로써 전력을 절감하고 전력 밀도를 감소시킬 수도 있다.
완전 동적 해상도 제어는 훌륭한 전력 밀도 관리를 가능하게 할 수도 있다. 즉, 해상도 제어는 전력 절감들 대 성능 (예를 들어, 품질) 에 대한 맞춤 트레이드오프를 제공할 수도 있다.
일부 예들에서, 활성 전력은 카메라 중간 해상도를 조정함으로써 감소될 수도 있다. 내부 카메라 해상도는 애플리케이션 및/또는 사용자가 알기 쉬울 수도 있다. 이미지 품질은 내부 프로세싱을 통해 지각할 수 없는 손실로 복구될 수도 있다. 내부 해상도를 감소시키는 것은 보다 가벼운 트래픽 부하들 및 코어 활성 듀티 사이클들로 인해 상대적으로 큰 전력 절감들을 제공할 수도 있다. 크로마 다운스케일 다음에 크로마 업스케일을 이용하여 보상이 달성될 수도 있다. 일부 예들에서, 이러한 다운스케일 및 업스케일 프로세스는 낮고-가벼운 크로마 잡음 감소에 이용될 수도 있다. 그러나, 본 개시물의 양태들에 따르면, 동일하거나 유사한 프로세스가 전력/열 관리에 이용될 수도 있다.
추가적으로 또는 대안적으로, 활성 전력은 카메라 출력 해상도를 조정함으로써 감소될 수도 있다. 일부 예들에서, 카메라 출력 해상도를 조정하는 것은 출력 해상도를 변화시키기 위한 애플리케이션 개입을 포함할 수도 있다. 카메라 출력 해상도는 전체 이미징 파이프라인 (예를 들어, 카메라-구성-디스플레이 또는 카메라-인코딩) 을 통해 관리될 수도 있다.
도 6 은 다양한 동작 파라미터들에 대한 사용자 경험의 예시적인 모델들을 도시한다. 예를 들어, 위에서 언급된 바와 같이, 사용자 경험과 특정 동작 파라미터 사이의 관계는 선형적이지 않을 수도 있다. 즉, 특정 지각적 임계치 이상으로, 프레임 레이트 (FPS), 해상도, 또는 다양한 다른 동작 파라미터들 (예를 들어, 다른 노브) 과 같은 동작 파라미터를 증가시키는 것은 향상된 사용자 경험을 초래하지 않을 수도 있다.
도 6 의 예는 프로세싱 양 증가에 대한 줄어드는 사용자 경험 리턴을 도시한다. 동작 파라미터들과 줄어드는 사용자 경험 사이의 관계는 (플롯들에 따른 샘플 지점들을 나타내는 점들 및 화살표들을 갖는) 곡선 플롯들로 모델링될 수도 있다. 예를 들어, 도 6 에 도시된 점들은 동작 지점들일 수도 있고, 한편 플롯들은 현재의 동작 지점들에 따라 사용자 경험 (UX) 에 대한 다양한 영향들을 모델링할 수도 있다. 본 개시물의 양태들에 따르면, (도 1 내지 도 3 에 대해 위에서 설명된 디바이스들과 같은) 디바이스는 모델들에 기초하여 사용자 경험 메트릭을 결정할 수도 있다. 위에서 언급된 바와 같이, 일부 예들에서, 디바이스는 사용자 경험 팩터들의 가중된 합을 결정할 수도 있다. 팩터들은, 일부 예들에서, 디바이스의 카메라에 의해 캡쳐되고 있는 컨텐트와 연관된 컨텍스트에 기초하여 가중될 수도 있다.
도 7 은, 본 개시물의 양태들에 따른, 사용자 경험 메트릭에 기초하여 디바이스의 동작 파라미터를 조정하기 위한 예시적인 프로세스를 도시하는 플로차트이다. 도 7 에 도시된 프로세스는 위에서 도 1 내지 도 3 에 대해 도시되고 설명된 디바이스들 및 시스템들에 의해, 또는 다양한 다른 전자 디바이스들에 의해 이행될 수도 있다. 도 7 은 예시의 목적들을 위해 디바이스 (40) (도 2) 에 대해 설명된다.
도 7 에서의 프로세스는 전력 및/또는 온도를 제어하는 것을 언급한다. 일부 예들에서, 도 7 의 프로세스는 (하기에서 언급되는 바와 같이, 대응하는 전력 소비 산출치들 및 전력 버짓과 함께) 전력 소비에만 기초하여 구현될 수도 있다. 다른 예들에서, 도 7 의 프로세스는 (하기에서 언급된 바와 같이, 대응하는 온도 측정치(들) 및 온도 버짓과 함께) 온도에만 기초하여 구현될 수도 있다. 또 다른 예들에서, 도 7 의 프로세스는 전력 소비 및 온도의 조합에 기초하여 구현될 수도 있다. 그러한 예들에서는, 전력 소비 및 온도 양자 모두가 모니터링될 수도 있다. 또한, 전력 버짓 및 온도 버짓 양자 모두가 동작 파라미터들을 조정할 때를 결정하는데 이용될 수도 있다. 즉, 미리 결정된 알고리즘이 전력 소비를 제어하는 것과 온도를 제어하는 것 사이의 우선순위를 명시할 수도 있다.
디바이스 (40) 는 (동작 파라미터라고도 지칭되는) 동작 조건 벡터 (S) 에 디폴트 설정을 적용할 수도 있다 (140). 디바이스 (40) 는 그 다음에 (예를 들어, 이미지 프로세서 또는 카메라 시스템 (76) 의 다른 컴포넌트들과 같은) 디바이스 (40) 의 하나 이상의 컴포넌트들의 전력 소비 (P), 및/또는 디바이스 (40) 의 시스템 온도 (T) 를 결정할 수도 있다 (142). 일부 예들에서, 전력 소비는 디바이스 (40) 의 개개의 컴포넌트들로부터의 다수의 전력 측정치들로 구성될 수도 있다. 마찬가지로, 일부 예들에서, 시스템 온도는 디바이스 (40) 의 개개의 컴포넌트들로부터의 다수의 온도 측정치들로 구성될 수도 있다.
디바이스 (40) 는 전력 소비 (P) 가 미리 결정된 전력 버짓을 초과하는지 여부 및/또는 온도가 미리 결정된 온도 제한 (T) 을 초과하는지 여부를 결정할 수도 있다 (144). 전력 소비 (P) 가 전력 버짓을 초과하고/하거나 온도 (T) 가 온도 제한을 초과하면 (단계 144 의 '예' 분기), 디바이스 (40) 는, 예를 들어, 디바이스 (40) 의 열/전력 관리기 (80) 는, 조정되는 경우에, 최소의 사용자 경험 비율 (델타 UX/델타 P (또는 델타 T)) 을 초래하는, 벡터 (S) 에서의 하나 이상의 동작 파라미터들을 결정할 수도 있다 (146). 예를 들어, 디바이스 (40) 는 사용자 경험에서의 추정된 변화 (델타 사용자 경험), 뿐만 아니라 전력 소비에서의 추정된 변화 (델타 전력, 또는 온도의 경우에는, 델타 온도) 에 기초하여 사용자 경험 비율을 결정할 수도 있다.
위에서 언급된 바와 같이, 디바이스 (40) 는 사용자 경험 메트릭을 이용하여 사용자 경험에서의 변화를 추정할 수도 있으며, 사용자 경험 메트릭은 하나 이상의 사용자 경험 모델들로 구성될 수도 있다. 또한, 디바이스 (40) 는 하나 이상의 전력 또는 온도 모델들을 이용하여 전력 소비 (또는 온도) 에서의 변화를 추정할 수도 있다. 사용자 경험 비율 (예를 들어, 델타 전력 (또는 델타 온도) 으로 나눠지는 델타 사용자 경험) 을 감소시키고 일부 경우들에서는 최소화함으로써, 디바이스 (40) 는 사용자 경험에 상대적을 낮은 영향 (예를 들어, 최소의 영향) 을 주나 전력 (또는 온도) 절감들에는 상대적으로 높은 영향 (예를 들어, 최대 영향) 을 주는 동작 파라미터(들)를 선택할 수도 있다.
디바이스 (40) 는 그 다음에 벡터 (S) 에서 결정된 파라미터(들)를 감소시킬 수도 있다 (148). 또한, 디바이스 (40) 는 시스템에 새로운 동작 조건 벡터 (S) 를 적용함으로써, 디바이스의 하나 이상의 동작 파라미터들을 조정할 수도 있다 (150).
단계 144 로 돌아가서, 전력 소비 (P) 가 전력 버짓보다 낮고/낮거나 온도 (T) 가 온도 제한보다 낮으면 (단계 144 에서 '아니오' 분기), 디바이스 (40) 는, 조정되는 경우, 보다 큰 (예를 들어, 최대) 사용자 경험 비율 (델타 UX/델타 P (또는 델타 T)) 을 초래하는, 벡터 (S) 에서의 하나 이상의 동작 파라미터들을 결정할 수도 있다 (152). 예를 들어, 디바이스 (40) 는 사용자 경험에서의 추정된 변화 (델타 사용자 경험), 뿐만 아니라 전력 소비에서의 추정된 변화 (델타 전력, 또는 온도의 경우에는, 델타 온도) 에 기초하여 사용자 경험 비율을 결정할 수도 있다.
다시, 디바이스 (40) 는 사용자 경험 메트릭을 이용하여 사용자 경험에서의 변화를 추정할 수도 있으며, 사용자 경험 메트릭은 하나 이상의 사용자 경험 모델들로 구성될 수도 있다. 또한, 디바이스 (40) 는 하나 이상의 전력 또는 온도 모델들을 이용하여 전력 소비 (또는 온도) 에서의 변화를 추정할 수도 있다. 사용자 경험 비율 (예를 들어, 델타 전력 (또는 델타 온도) 으로 나눠지는 델타 사용자 경험) 을 증가시킴으로써 (예를 들어, 최대화함으로써), 디바이스는 사용자 경험에는 상대적으로 큰 (예를 들어, 최대) 영향을 주고 전력 (또는 온도) 변화에는 상대적으로 낮은 (예를 들어, 최소의) 영향을 주는 동작 파라미터(들)를 선택할 수도 있다. 즉, 디바이스 (40) 는, 조정되는 경우, 사용자 경험에서의 증가를 초래하나, 디바이스 (40) 의 전력 소비 또는 온도를 대폭적으로 증가시키지는 않는 하나 이상의 동작 파라미터들을 선택한다.
디바이스 (40) 는 그 다음에 벡터 (S) 에서 결정된 파라미터(들)를 증가시킬 수도 있다 (154). 또한, 디바이스 (40) 는 시스템에 새로운 동작 조건 벡터 (S) 를 적용함으로써, 디바이스의 하나 이상의 동작 파라미터들을 조정할 수도 있다 (150).
예를 들어, 시스템에 새로운 동작 조건 벡터 (S) 를 적용함으로써, 디바이스의 하나 이상의 동작 파라미터들을 조정한 후에 (150), 디바이스 (40) 는 사용자 경험 (UX) 이 최소 사용자 경험 임계치보다 큰 지 여부를 결정할 수도 있다 (156). 사용자 경험 (UX) 이 최소치보다 작으면 (단계 156 에서 '아니오' 분기), 디바이스 (40) 는 사용자 경험을 증가시키도록 동작 파라미터들의 추가적인 조정을 위해 단계 142 로 되돌아갈 수도 있다. 사용자 경험 (UX) 이 최소치 이상이면 (단계 156 의 '예' 분기), 디바이스 (40) 는 시스템 레벨 열 엔진으로부터의 추가적인 전력 버짓 또는 온도 제한 증가를 요청하고 허락된다면 버짓 또는 제한을 업데이트할 수도 있다 (158). 다른 예들에서, 디바이스 (40) 는 사용자 경험이 최소 사용자 경험 임계치 아래로 떨어질 때까지 사용자 경험 (UX) 을 계속 모니터링할 수도 있다.
도 7 에 대해 도시되고 설명된 단계들은 단지 일 예로서 제공된다는 것으로 이해되어야 한다. 즉, 도 7 의 방법의 단계들은 반드시 도 7 에 도시된 순서로 수행될 필요는 없고, 보다 적거나, 추가적이거나, 대안적인 단계들이 수행될 수도 있다.
도 8 은, 본 개시물의 양태들에 따른, 사용자 경험 메트릭에 기초하여 디바이스의 동작 파라미터를 조정하기 위한 다른 예시적인 프로세스를 도시하는 플로차트이다. 도 8 에 도시된 프로세스는 위에서 도 1 내지 도 3 에 대해 도시되고 설명된 디바이스들 및 시스템들에 의해, 또는 다양한 다른 전자 디바이스들에 의해 이행될 수도 있다. 도 8 은 예시의 목적들을 위해 디바이스 (40) (도 2) 에 대해 설명된다.
디바이스 (40) 는 전자 디바이스의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험 메트릭을 결정할 수도 있다 (166). 본 개시물의 양태들에 따르면, 디바이스 (40) 는 사용자 경험 메트릭을 자동적으로 결정할 수도 있다. 예를 들어, 디바이스 (40) 는 사용자로부터의 입력 없이 사용자 경험 메트릭을 자동적으로 결정할 수도 있다.
디바이스 (40) 는, 일부 예들에서, 하나 이상의 사용자 경험 팩터들을 발생시키기 위해 디바이스 (40) 의 각각의 동작 파라미터에 사용자 경험 모델을 적용함으로써 사용자 경험 메트릭을 결정할 수도 있다. 디바이스 (40) 는 하나 이상의 사용자 경험 팩터들의 합을 계산할 수도 있다. 일부 예들에서, 합계 사용자 경험 팩터들을 계산하는 것은, 컨텐트와 연관된 컨텍스트에 기초하여, 사용자 경험 팩터들 중 하나 이상에 하나 이상의 가중 팩터들을 적용하여 하나 이상의 가중된 사용자 경험 팩터들을 생성하는 것을 포함할 수도 있다. 디바이스 (40) 는 그 다음에 가중된 사용자 경험 팩터들의 가중된 합을 계산할 수도 있다.
디바이스 (40) 는 또한, 결정된 사용자 경험 메트릭에 대한 추정된 변화에 기초하여, 디바이스의 적어도 하나의 동작 파라미터를 조정하여 동작 특성 목표를 생성한다 (168). 도 3 에 대해 위에서 언급된 바와 같이, 예시적인 동작 파라미터들은 프레임 레이트, 해상도, 디바이스에서 동작하는 소프트웨어 애플리케이션, 카메라, 카메라가 컨텐트를 캡쳐하기 위한 센서 등을 포함하는 카메라 서브-시스템의 하나 이상의 하드웨어 컴포넌트들과 연관된 하나 이상의 동작 파라미터들 중 하나 이상을 포함한다.
본 개시물의 양태들에 따르면, 디바이스 (40) 는 카메라에 의해 캡쳐된 컨텐트의 컨텍스트에 기초하여 동작 파라미터를 조정할 수도 있다. 디바이스 (40) 는 컨텐트가, 예들로서, 컨텐트 내의 얼굴의 존재, 컨텐트 내의 피부 색조의 존재, 컨텐트의 주파수, 컨텐트와 연관된 움직임의 추정치, 컨텐트의 밝기, 컨텐트의 초점 거리 등을 포함하는지 여부에 기초하여 동작 파라미터를 조정할 수도 있다. 예시의 목적들을 위한 예에서는, 조정되고 있는 동작 파라미터들이 해상도 및 프레임 레이트를 포함하는 것으로 가정한다. 이러한 예에서, 디바이스 (40) 는 캡쳐되고 있는 컨텐트에 따라 프레임 레이트보다 많이 (또는 적게) 해상도를 조정할 수도 있다.
일 예에서, 디바이스 (40) 는 컨텍스트로서 얼굴이 캡쳐된 컨텐트 내에 존재하는지 여부를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 제 1 가중 팩터는 제 2 가중 팩터보다 작다.
다른 예에서, 디바이스 (40) 는 컨텍스트로서 피부 톤과 연관된 색조가 캡쳐된 컨텐트 내에 존재하는지 여부를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 제 1 가중 팩터는 제 2 가중 팩터보다 작다.
다른 예에서, 디바이스 (40) 는 컨텍스트로서 캡쳐된 컨텐트의 주파수를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 주파수가 미리 결정된 임계치를 초과하는 경우 제 1 가중 팩터는 제 2 가중 팩터보다 작다.
다른 예에서, 디바이스 (40) 는 컨텍스트로서 캡쳐된 컨텐트에서 움직임의 추정치를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 움직임의 추정치가 미리 결정된 임계치를 초과하는 경우 제 1 가중 팩터는 제 2 가중 팩터보다 크다.
다른 예에서, 디바이스 (40) 는 컨텍스트로서 캡쳐된 컨텐트에서 움직임의 추정치를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 밝기의 추정치가 미리 결정된 임계치를 초과하는 경우 제 1 가중 팩터는 제 2 가중 팩터보다 크다.
다른 예에서, 디바이스 (40) 는 컨텍스트로서 컨텐트의 초점 거리를 결정할 수도 있다. 이러한 예에서, 디바이스 (40) 는 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시킬 수도 있고, 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시킬 수도 있다. 디바이스 (40) 는 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 가중 팩터를 적용할 수도 있으며, 여기서 초점 거리가 미리 결정된 임계치보다 작은 경우 제 1 가중 팩터는 제 2 가중 팩터보다 작다.
일부 예들에서는, 본 개시물의 양태들에 따라, 디바이스는 사용자 경험에 대한 영향을 최소화하도록 동작 파라미터들을 조정할 수도 있다. 또한, 디바이스는 사용자 경험에 대한 파라미터들의 영향에 기초하여 다른 파라미터들에 상대적으로 파라미터들 중 하나 이상을 지능적으로 선택할 수도 있다. 예를 들어, 디바이스는 동작 파라미터들 중 다른 것을 선택하는 것에 상대적으로 사용자 경험 메트릭에서의 감소를 최소화하도록 복수의 동작 파라미터들로부터 하나 이상의 동작 파라미터들을 선택할 수도 있다.
따라서, 일부 예들에서, 동작 특성 목표는 (전력 제한 또는 전력 임계치라고도 지칭될 수도 있는) 미리 결정된 전력 버짓일 수도 있다. 그러한 예들에서, 디바이스 (40) 의 하나 이상의 컴포넌트들의 전력 인출이 미리 결정된 전력 버짓을 초과하는 경우, 디바이스 (40) 는, 조정되는 경우, 복수의 다른 동작 파라미터들에 비해 디바이스 (40) 의 전력 인출에서 가장 큰 변화를 그리고 사용자 경험 메트릭에서는 가장 작은 변화를 초래하는, 복수의 파라미터들 중의 하나 이상의 동작 파라미터들을 결정함으로써 적어도 하나의 동작 파라미터들을 조정할 수도 있다.
마찬가지로, 일부 예들에서, 동작 특성 목표는 (열 제한 또는 열 임계치라고도 지칭될 수도 있는) 미리 결정된 온도 제한일 수도 있다. 그러한 예들에서, 디바이스 (40) 의 하나 이상의 컴포넌트들의 온도가 미리 결정된 온도 제한을 초과하는 경우, 디바이스 (40) 는, 조정되는 경우, 복수의 다른 동작 파라미터들에 비해 디바이스 (40) 의 온도에서 가장 큰 변화를 그리고 사용자 경험 메트릭에서는 가장 작은 변화를 초래하는, 복수의 파라미터들 중의 하나 이상의 동작 파라미터들을 결정함으로써 적어도 하나의 동작 파라미터들을 조정할 수도 있다.
일부 예들에서는, 본 개시물의 양태들에 따라, 디바이스 (40) 는 동작 특성에서의 추정된 변화 대 결정된 사용자 경험에 대한 추정된 변화의 비율에 기초하여 적어도 하나의 동작 파라미터를 조정할 수도 있다.
디바이스 (40) 는, 일부 예들에서, 위에서 언급된 바와 같이, 사용자 경험 팩터들의 가중된 합에 기초하여 적어도 하나의 동작 파라미터를 조정할 수도 있다. 예시의 목적들을 위한 예에서는, 동작 파라미터들이 프레임 레이트 및 해상도를 포함하는 것으로 가정한다. 컨텐트와 연관된 컨텍스트는 컨텐트 내의 얼굴의 존재, 컨텐트 내의 피부 색조의 존재, 컨텐트의 주파수, 컨텐트와 연관된 움직임의 추정치, 컨텐트의 밝기, 컨텐트의 초점 거리 중 적어도 하나를 포함하는 것으로 더 가정된다. 이러한 예에서, 동작 파라미터들의 각각에 사용자 경험 모델을 적용하는 것은 프레임 레이트에 사용자 경험 모델을 적용하여 프레임 레이트 사용자 경험 팩터를 발생시키는 것 및 해상도에 사용자 경험 모델을 적용하여 해상도 사용자 경험 팩터를 발생시키는 것을 포함할 수도 있다. 디바이스 (40) 는 컨텍스트에 기초하여 프레임 레이트 사용자 경험 팩터에는 제 1 가중 팩터를 그리고 해상도 사용자 경험 팩터에는 제 2 의 상이한 가중 팩터를 적용할 수도 있다.
도 8 에 대해 도시되고 설명된 단계들은 단지 일 예로서 제공된다는 것으로 이해되어야 한다. 즉, 도 8 의 방법의 단계들은 반드시 도 8 에 도시된 순서로 수행될 필요는 없고, 보다 적거나, 추가적이거나, 대안적인 단계들이 수행될 수도 있다.
이러한 방식으로, 본 개시물의 기법들은 다른 전력 및/또는 온도 제어 기법들에 비해 하나 이상의 이점들을 제공할 수도 있다. 예를 들어, 디바이스는 통상적으로 온도가 임계치보다 높게 되는 경우 클록 조절 (주파수 제한) 을 수행할 수도 있다. 본 개시물의 양태들에 따르면, 디바이스는 단지 클록 제어 대신에 이미지 캡쳐 해상도/프레임 레이트/다른 제어들 (이미지 작업부하 제어) 을 제어할 수도 있다.
디바이스는 통상적으로 다양한 기능 블록들에 대한 많은 상이한 클록들을 가질 수도 있다. 클록 조절은 몇몇 기능 블록들에 적용되어 오직 부분적 클록 조절 및 부분적 전력 감소만을 달성할 수도 있다 (그리고 일부 기능 블록들에 대해서는 적용되지 않을 수도 있다). 본 개시물의 양태들에 따르면, 디바이스는, 예를 들어, 외부 카메라 센서 모듈, 이미지 프로세싱 컴포넌트들, 및 메모리 판독부/기록부를 포함하는 전체 카메라 시스템 흐름에 비해 복잡한 제어를 가질 수도 있다.
디바이스는 통상적으로 프레임 스킵을 통해 프레임 레이트 제어를 수행할 수도 있다. 본 개시물의 양태들에 따르면, 디바이스는 (예를 들어, 블랭킹 간격 스트레치를 통해 자동 프레임 레이트 제어를 이용하여) 사용자 경험 인식 열 관리기에 대한 보다 간단한 인터페이스들을 통해 보다 미세한 프레임 레이트를 제어할 수도 있으며, 이는 상당히 높은 전력 절감들을 초래할 수도 있다.
디바이스는 통상적으로 전력 또는 온도 과잉들을 조정하는 경우에 사용자 경험에 대한 영향을 고려하지 않을 수도 있다. 본 개시물의 양태들에 따르면, 위에서 설명된 바와 같이, 디바이스는 사용자 경험에 대한 영향을 고려하는 사용자 경험 모델에 기초하여 이미지 해상도/프레임 레이트, 다른 동적 변수들에 대한 저하의 균형을 맞출 수도 있다.
디바이스는 통상적으로 전력 버짓에 대해 소극적으로 제어할 수도 있다 (예를 들어, 전력 버짓 협상이 없을 수도 있다). 본 개시물의 양태들에 따르면, 수량화된 이미지 품질 (예를 들어, 사용자 경험) 해상도/프레임 레이트/다른 동작 파라미터들이 임계치보다 낮아지면, 디바이스는 열 엔진으로부터의 전력 감소 요청을 거절하거나 엘 엔진으로부터 보다 많은 전력 버짓을 요청할 수도 있다.
예에 따라, 본원에서 설명된 임의의 방법들의 소정의 행위들 또는 이벤트들은 상이한 시퀀스로 수행될 수도 있거나, 추가되거나 합병될 수도 있거나, 또는 함께 제거될 수도 있다 (예를 들어, 설명된 모든 행위들 또는 이벤트들이 방법의 실시에 반드시 필요한 것은 아니다) 는 것이 또한 이해되어야 한다. 또한, 소정의 예들에서, 작용들 및 이벤트들은, 순차적으로 수행되는 대신에, 예를 들어, 멀티 스레드 프로세싱, 인터럽트 프로세싱, 또는 멀티 프로세서들을 통해 동시에 수행될 수도 있다.
또한, 하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 하드웨어 기반 프로세싱 유닛에 의해 실행되는 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 송신될 수도 있다. 컴퓨터-판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체들, 또는 예를 들어, 통신 프로토콜에 따라 한 장소로부터 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다.
이러한 방식으로, 컴퓨터-판독가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다. 비제한적인 예로서, 이러한 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 플래시 메모리, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다.
또한, 임의의 접속이 통신 매체를 적절히 칭한다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 통신 매체의 정의 내에 포함된다.
그러나, 컴퓨터-판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적, 유형의 저장 매체들이다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서 디스크 (disk) 는 통상 자기적으로 데이터를 재생하고, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들도 컴퓨터-판독가능 매체들의 범위 내에 또한 포함되어야 한다.
명령들은 하나 이상의 DSP 들, 범용 마이크로프로세서들, ASIC 들, FPGA 들, 또는 다른 등가의 집적 또는 이산 로직 회로부와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 이에 따라, 본원에서 사용된 용어 "프로세서" 는 임의의 앞서 설명된 구조 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 일부 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 또는 통합 코덱에 통합될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 소자들에서 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (integrated circuit; IC), 또는 IC 들의 세트 (예를 들어, 칩셋) 를 포함하여, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시물에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 대신, 상술한 바와 같이, 다양한 유닛들은, 적절한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에 통합되거나 또는 상술한 하나 이상의 프로세서들을 포함하여 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
본 개시물의 여러 양태들이 설명되었다. 이들 및 다른 실시형태들은 하기의 청구항들의 범위 내에 있다.

Claims (33)

  1. 방법으로서,
    전자 디바이스에 의해, 상기 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하는 단계;
    미리 결정된 전력 버짓에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 전력 인출을 결정하는 단계;
    상기 미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하는 단계
    를 포함하고,
    상기 복수의 동작 파라미터들을 조정하는 단계는,
    상기 미리 결정된 전력 버짓을 초과하는 상기 전력 인출에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 전력 인출에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하는 단계; 및
    결정된 상기 하나 이상의 동작 파라미터들을 조정하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 복수의 동작 파라미터들을 조정하는 단계는 상기 컨텐트의 컨텍스트에 기초하여 적어도 하나의 동작 파라미터를 조정하는 단계를 더 포함하는, 방법.
  3. 제 2 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 적어도 하나의 동작 파라미터를 조정하는 단계는 상기 컨텍스트에 기초하여 상기 해상도보다 많이 또는 적게 중 어느 하나로 상기 프레임 레이트를 조정하는 단계를 포함하는, 방법.
  4. 제 2 항에 있어서,
    상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 카메라는 복수의 카메라들을 포함하고,
    상기 디바이스의 복수의 동작 파라미터들을 조정하는 단계는 상기 복수의 카메라들의 각각의 카메라에 대한 적어도 하나의 동작 파라미터를 별도로 조정하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계는 상기 전력 인출에서의 추정된 변화 대 상기 품질 메트릭에 대한 추정된 변화의 비율에 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계를 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 품질 메트릭을 결정하는 단계는,
    복수의 사용자 경험 팩터들을 발생시키기 위해 상기 복수의 동작 파라미터들의 각각에 사용자 경험 모델을 적용하는 단계; 및
    상기 복수의 사용자 경험 팩터들의 합을 계산하는 단계
    를 더 포함하고,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계는 계산된 상기 합에 적어도 부분적으로 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계를 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 복수의 사용자 경험 팩터들의 합을 계산하는 단계는,
    상기 컨텐트와 연관된 컨텍스트에 기초하여, 하나 이상의 가중된 사용자 경험 팩터들을 생성하기 위해 상기 사용자 경험 팩터들 중 하나 이상의 사용자 경험 팩터에 하나 이상의 가중 팩터들을 적용하는 단계; 및
    상기 가중된 사용자 경험 팩터들의 가중된 합을 계산하는 단계
    를 더 포함하고,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계는 계산된 상기 가중된 합에 적어도 부분적으로 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 컨텐트와 연관된 상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하고,
    상기 적어도 하나의 동작 파라미터들의 각각에 상기 사용자 경험 모델을 적용하는 단계는 프레임 레이트 사용자 경험 팩터를 발생시키기 위해 상기 프레임 레이트에 상기 사용자 경험 모델을 적용하고 해상도 사용자 경험 팩터를 발생시키기 위해 상기 해상도에 상기 사용자 경험 모델을 적용하는 단계를 포함하고,
    상기 하나 이상의 가중 팩터들을 적용하는 단계는 상기 프레임 레이트 사용자 경험 팩터에 제 1 가중 팩터를 그리고 상기 해상도 사용자 경험 팩터에 제 2 의 상이한 가중 팩터를 적용하는 단계를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 복수의 동작 파라미터들은 적어도 하나의 카메라, 또는 상기 컨텐트를 캡쳐하는 상기 적어도 하나의 카메라에 대한 적어도 하나의 센서를 포함하는 적어도 하나의 카메라 서브-시스템의 하나 이상의 하드웨어 컴포넌트들과 연관된 하나 이상의 동작 파라미터들, 해상도, 프레임 레이트 중 적어도 2 개를 포함하는, 방법.
  11. 전자 디바이스로서,
    적어도 하나의 카메라; 및
    하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은,
    전자 디바이스에 의해, 상기 전자 디바이스의 상기 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하고;
    미리 결정된 전력 버짓에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 전력 인출을 결정하고;
    상기 미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하도록
    구성되고,
    상기 복수의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은, 상기 미리 결정된 전력 버짓을 초과하는 상기 전력 인출에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 전력 인출에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하고, 결정된 상기 하나 이상의 동작 파라미터들을 조정하도록 구성되는, 전자 디바이스.
  12. 제 11 항에 있어서,
    상기 복수의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은 상기 컨텐트의 컨텍스트에 기초하여 적어도 하나의 동작 파라미터를 조정하도록 구성되는, 전자 디바이스.
  13. 제 12 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 적어도 하나의 동작 파라미터를 조정하기 위해, 상기 하나 이상의 프로세서들은 상기 컨텍스트에 기초하여 상기 해상도보다 많이 또는 적게 중 어느 하나로 상기 프레임 레이트를 조정하도록 구성되는, 전자 디바이스.
  14. 제 12 항에 있어서,
    상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하는, 전자 디바이스.
  15. 제 11 항에 있어서,
    상기 적어도 하나의 카메라는 복수의 카메라들을 포함하고,
    상기 디바이스의 상기 복수의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은 상기 복수의 카메라들의 각각의 카메라에 대한 적어도 하나의 동작 파라미터를 별도로 조정하도록 구성되는, 전자 디바이스.
  16. 제 11 항에 있어서,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은 상기 전력 인출에서의 추정된 변화 대 상기 품질 메트릭에 대한 추정된 변화의 비율에 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하도록 구성되는, 전자 디바이스.
  17. 제 11 항에 있어서,
    상기 품질 메트릭을 결정하기 위해, 상기 하나 이상의 프로세서들은
    복수의 사용자 경험 팩터들을 발생시키기 위해 상기 복수의 동작 파라미터들의 각각에 사용자 경험 모델을 적용하고;
    상기 복수의 사용자 경험 팩터들의 합을 계산하도록
    구성되고,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은 계산된 상기 합에 적어도 부분적으로 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하도록 구성되는, 전자 디바이스.
  18. 제 17 항에 있어서,
    상기 복수의 사용자 경험 팩터들의 합을 계산하기 위해, 상기 하나 이상의 프로세서들은,
    상기 컨텐트와 연관된 컨텍스트에 기초하여, 하나 이상의 가중된 사용자 경험 팩터들을 생성하기 위해 상기 사용자 경험 팩터들 중 하나 이상의 사용자 경험 팩터에 하나 이상의 가중 팩터들을 적용하고;
    상기 가중된 사용자 경험 팩터들의 가중된 합을 계산하도록
    구성되고,
    상기 결정된 하나 이상의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은 계산된 상기 가중된 합에 적어도 부분적으로 기초하여 상기 결정된 하나 이상의 동작 파라미터들을 조정하도록 구성되는, 전자 디바이스.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 컨텐트와 연관된 상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하고,
    상기 적어도 하나의 동작 파라미터들의 각각에 상기 사용자 경험 모델을 적용하기 위해, 상기 하나 이상의 프로세서들은 프레임 레이트 사용자 경험 팩터를 발생시키기 위해 상기 프레임 레이트에 상기 사용자 경험 모델을 적용하고 해상도 사용자 경험 팩터를 발생시키기 위해 상기 해상도에 상기 사용자 경험 모델을 적용하도록 구성되고,
    상기 하나 이상의 가중 팩터들을 적용하기 위해, 상기 하나 이상의 프로세서들은 상기 프레임 레이트 사용자 경험 팩터에 제 1 가중 팩터를 그리고 상기 해상도 사용자 경험 팩터에 제 2 의 상이한 가중 팩터를 적용하도록 구성되는, 전자 디바이스.
  20. 제 11 항에 있어서,
    상기 복수의 동작 파라미터들은 적어도 하나의 카메라, 또는 상기 컨텐트를 캡쳐하는 상기 적어도 하나의 카메라에 대한 적어도 하나의 센서를 포함하는 적어도 하나의 카메라 서브-시스템의 하나 이상의 하드웨어 컴포넌트들과 연관된 하나 이상의 동작 파라미터들, 해상도, 프레임 레이트 중 적어도 2 개를 포함하는, 전자 디바이스.
  21. 장치로서,
    전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하는 수단;
    미리 결정된 전력 버짓에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 전력 인출을 결정하는 수단;
    상기 미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하는 수단
    을 포함하고,
    상기 복수의 동작 파라미터들을 조정하는 수단은,
    상기 미리 결정된 전력 버짓을 초과하는 상기 전력 인출에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 전력 인출에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하는 수단; 및
    결정된 상기 하나 이상의 동작 파라미터들을 조정하는 수단
    을 포함하는, 장치.
  22. 저장된 명령들을 갖는 비일시적 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금,
    전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하게 하고;
    미리 결정된 전력 버짓에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 전력 인출을 결정하게 하고;
    상기 미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하게 하며,
    상기 복수의 동작 파라미터들을 조정하기 위해, 상기 명령들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 미리 결정된 전력 버짓을 초과하는 상기 전력 인출에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 전력 인출에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하게 하고;
    결정된 상기 하나 이상의 동작 파라미터들을 조정하게 하는, 비일시적 컴퓨터-판독가능 저장 매체.
  23. 방법으로서,
    전자 디바이스에 의해, 상기 전자 디바이스의 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하는 단계;
    미리 결정된 온도 제한에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 온도를 결정하는 단계;
    미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하는 단계
    를 포함하고,
    상기 복수의 동작 파라미터들을 조정하는 단계는,
    상기 미리 결정된 온도 제한을 초과하는 결정된 상기 온도에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 디바이스의 상기 하나 이상의 컴포넌트들의 온도에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하는 단계; 및
    결정된 상기 하나 이상의 동작 파라미터들을 조정하는 단계
    를 포함하는, 방법.
  24. 제 23 항에 있어서,
    상기 복수의 동작 파라미터들을 조정하는 단계는 상기 컨텐트의 컨텍스트에 기초하여 적어도 하나의 동작 파라미터를 조정하는 단계를 더 포함하는, 방법.
  25. 제 24 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 적어도 하나의 동작 파라미터를 조정하는 단계는 상기 컨텍스트에 기초하여 상기 해상도보다 많이 또는 적게 중 어느 하나로 상기 프레임 레이트를 조정하는 단계를 포함하는, 방법.
  26. 제 24 항에 있어서,
    상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하는, 방법.
  27. 제 23 항에 있어서,
    상기 적어도 하나의 카메라는 복수의 카메라들을 포함하고,
    상기 디바이스의 복수의 동작 파라미터들을 조정하는 단계는 상기 복수의 카메라들의 각각의 카메라에 대한 적어도 하나의 동작 파라미터를 별도로 조정하는 단계를 포함하는, 방법.
  28. 전자 디바이스로서,
    적어도 하나의 카메라; 및
    하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 전자 디바이스의 상기 적어도 하나의 카메라에 의해 캡쳐된 컨텐트와 연관된 사용자 경험의 추정치를 제공하는 품질 메트릭을 결정하고;
    미리 결정된 온도 제한에 대한 상기 디바이스의 하나 이상의 컴포넌트들의 온도를 결정하고;
    상기 미리 결정된 전력 버짓에 기초하여 상기 디바이스의 복수의 동작 파라미터들을 조정하도록
    구성되고,
    상기 복수의 동작 파라미터들을 조정하기 위해, 상기 하나 이상의 프로세서들은, 상기 미리 결정된 온도 제한을 초과하는 온도에 기초하여, 조정되는 경우, 상기 복수의 동작 파라미터들 중 적어도 하나의 다른 동작 파라미터에 비해 상기 디바이스의 상기 하나 이상의 컴포넌트들의 온도에서 가장 큰 변화 및 상기 품질 메트릭에서 가장 작은 변화를 생성하는 상기 복수의 동작 파라미터들 중의 하나 이상의 동작 파라미터들을 결정하고, 결정된 상기 하나 이상의 동작 파라미터들을 조정하도록 구성되는, 전자 디바이스.
  29. 제 28 항에 있어서,
    상기 복수의 동작 파라미터들을 조정하는 것은 상기 컨텐트의 컨텍스트에 기초하여 적어도 하나의 동작 파라미터를 조정하는 것을 더 포함하는, 전자 디바이스.
  30. 제 29 항에 있어서,
    상기 적어도 하나의 동작 파라미터는 프레임 레이트 및 해상도를 포함하고,
    상기 적어도 하나의 동작 파라미터를 조정하기 위해, 상기 하나 이상의 프로세서들은 상기 컨텍스트에 기초하여 상기 해상도보다 많이 또는 적게 중 어느 하나로 상기 프레임 레이트를 조정하도록 구성되는, 전자 디바이스.
  31. 제 29 항에 있어서,
    상기 컨텍스트는 상기 컨텐트 내의 얼굴의 존재, 상기 컨텐트 내의 피부 색조의 존재, 상기 컨텐트의 주파수, 상기 컨텐트와 연관된 움직임의 추정치, 상기 컨텐트의 밝기, 또는 상기 컨텐트의 초점 거리 중 적어도 하나를 포함하는, 전자 디바이스.
  32. 제 28 항에 있어서,
    상기 적어도 하나의 카메라는 복수의 카메라들을 포함하고,
    상기 디바이스의 복수의 동작 파라미터들을 조정하는 단계는 상기 복수의 카메라들의 각각의 카메라에 대한 적어도 하나의 동작 파라미터를 별도로 조정하는 단계를 포함하는, 전자 디바이스.
  33. 제 1 항에 있어서,
    상기 방법은 상기 전자 디바이스 상에서 실행가능하고,
    상기 전자 디바이스는 무선 통신 디바이스이고,
    상기 무선 통신 디바이스는,
    상기 적어도 하나의 카메라에 의해 캡쳐된 상기 컨텐트를 저장하도록 구성된 메모리;
    상기 메모리에 저장된 상기 컨텐트를 프로세싱하기 위한 명령들을 실행하도록 구성된 프로세서; 및
    상기 컨텐트를 무선으로 송신하도록 구성된 송신기
    를 포함하고,
    상기 무선 통신 디바이스는 셀룰러 전화기이고, 송신되는 상기 컨텐트는 셀룰러 통신 표준에 따라 변조되는, 방법.
KR1020167018651A 2013-12-20 2014-12-08 열 및 전력 관리 KR101737290B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361919543P 2013-12-20 2013-12-20
US61/919,543 2013-12-20
US14/322,746 US9420178B2 (en) 2013-12-20 2014-07-02 Thermal and power management
US14/322,746 2014-07-02
PCT/US2014/069160 WO2015094777A1 (en) 2013-12-20 2014-12-08 Thermal and power management

Publications (2)

Publication Number Publication Date
KR20160099615A KR20160099615A (ko) 2016-08-22
KR101737290B1 true KR101737290B1 (ko) 2017-05-17

Family

ID=53401506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018651A KR101737290B1 (ko) 2013-12-20 2014-12-08 열 및 전력 관리

Country Status (7)

Country Link
US (1) US9420178B2 (ko)
EP (1) EP3085071B1 (ko)
JP (1) JP6203965B2 (ko)
KR (1) KR101737290B1 (ko)
CN (2) CN105814878B (ko)
BR (1) BR112016014300B1 (ko)
WO (1) WO2015094777A1 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9887584B1 (en) 2014-08-21 2018-02-06 Energous Corporation Systems and methods for a configuration web service to provide configuration of a wireless power transmitter within a wireless power transmission system
US9812890B1 (en) 2013-07-11 2017-11-07 Energous Corporation Portable wireless charging pad
US9787103B1 (en) 2013-08-06 2017-10-10 Energous Corporation Systems and methods for wirelessly delivering power to electronic devices that are unable to communicate with a transmitter
US10965164B2 (en) 2012-07-06 2021-03-30 Energous Corporation Systems and methods of wirelessly delivering power to a receiver device
US10124754B1 (en) 2013-07-19 2018-11-13 Energous Corporation Wireless charging and powering of electronic sensors in a vehicle
US10063105B2 (en) 2013-07-11 2018-08-28 Energous Corporation Proximity transmitters for wireless power charging systems
US11502551B2 (en) 2012-07-06 2022-11-15 Energous Corporation Wirelessly charging multiple wireless-power receivers using different subsets of an antenna array to focus energy at different locations
US10992185B2 (en) 2012-07-06 2021-04-27 Energous Corporation Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers
US10256657B2 (en) 2015-12-24 2019-04-09 Energous Corporation Antenna having coaxial structure for near field wireless power charging
US10439448B2 (en) 2014-08-21 2019-10-08 Energous Corporation Systems and methods for automatically testing the communication between wireless power transmitter and wireless power receiver
US9853458B1 (en) 2014-05-07 2017-12-26 Energous Corporation Systems and methods for device and power receiver pairing
US9806564B2 (en) 2014-05-07 2017-10-31 Energous Corporation Integrated rectifier and boost converter for wireless power transmission
US10381880B2 (en) 2014-07-21 2019-08-13 Energous Corporation Integrated antenna structure arrays for wireless power transmission
US9871398B1 (en) 2013-07-01 2018-01-16 Energous Corporation Hybrid charging method for wireless power transmission based on pocket-forming
US10992187B2 (en) 2012-07-06 2021-04-27 Energous Corporation System and methods of using electromagnetic waves to wirelessly deliver power to electronic devices
US9867062B1 (en) 2014-07-21 2018-01-09 Energous Corporation System and methods for using a remote server to authorize a receiving device that has requested wireless power and to determine whether another receiving device should request wireless power in a wireless power transmission system
US10270261B2 (en) * 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9876394B1 (en) 2014-05-07 2018-01-23 Energous Corporation Boost-charger-boost system for enhanced power delivery
KR101780879B1 (ko) * 2013-03-06 2017-09-21 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 전자 게임들에 대한 경험 품질 역제어
US9485425B1 (en) * 2013-08-20 2016-11-01 Pet Time Inc. System that conserves power of a battery-powered streaming video camera
KR102146857B1 (ko) * 2014-04-07 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
US10068703B1 (en) 2014-07-21 2018-09-04 Energous Corporation Integrated miniature PIFA with artificial magnetic conductor metamaterials
KR102189647B1 (ko) * 2014-09-02 2020-12-11 삼성전자주식회사 디스플레이 장치, 시스템 및 그 제어 방법
US10523033B2 (en) 2015-09-15 2019-12-31 Energous Corporation Receiver devices configured to determine location within a transmission field
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US10211685B2 (en) 2015-09-16 2019-02-19 Energous Corporation Systems and methods for real or near real time wireless communications between a wireless power transmitter and a wireless power receiver
US10778041B2 (en) 2015-09-16 2020-09-15 Energous Corporation Systems and methods for generating power waves in a wireless power transmission system
US10199850B2 (en) 2015-09-16 2019-02-05 Energous Corporation Systems and methods for wirelessly transmitting power from a transmitter to a receiver by determining refined locations of the receiver in a segmented transmission field associated with the transmitter
US10186893B2 (en) 2015-09-16 2019-01-22 Energous Corporation Systems and methods for real time or near real time wireless communications between a wireless power transmitter and a wireless power receiver
US10468730B2 (en) * 2015-09-26 2019-11-05 Intel Corporation Battery reliability odometer
US10734717B2 (en) 2015-10-13 2020-08-04 Energous Corporation 3D ceramic mold antenna
US9853485B2 (en) 2015-10-28 2017-12-26 Energous Corporation Antenna for wireless charging systems
US10027180B1 (en) 2015-11-02 2018-07-17 Energous Corporation 3D triple linear antenna that acts as heat sink
US10063108B1 (en) 2015-11-02 2018-08-28 Energous Corporation Stamped three-dimensional antenna
US10027158B2 (en) 2015-12-24 2018-07-17 Energous Corporation Near field transmitters for wireless power charging of an electronic device by leaking RF energy through an aperture
US10079515B2 (en) 2016-12-12 2018-09-18 Energous Corporation Near-field RF charging pad with multi-band antenna element with adaptive loading to efficiently charge an electronic device at any position on the pad
US11863001B2 (en) 2015-12-24 2024-01-02 Energous Corporation Near-field antenna for wireless power transmission with antenna elements that follow meandering patterns
US10038332B1 (en) 2015-12-24 2018-07-31 Energous Corporation Systems and methods of wireless power charging through multiple receiving devices
US10027159B2 (en) 2015-12-24 2018-07-17 Energous Corporation Antenna for transmitting wireless power signals
US10320446B2 (en) 2015-12-24 2019-06-11 Energous Corporation Miniaturized highly-efficient designs for near-field power transfer system
US10008886B2 (en) 2015-12-29 2018-06-26 Energous Corporation Modular antennas with heat sinks in wireless power transmission systems
CN105807873B (zh) * 2016-03-08 2019-03-08 北京小米移动软件有限公司 温度控制方法及装置
US10410313B2 (en) * 2016-08-05 2019-09-10 Qualcomm Incorporated Dynamic foveation adjustment
US10156877B2 (en) 2016-10-01 2018-12-18 Intel Corporation Enhanced power management for support of priority system events
US10923954B2 (en) 2016-11-03 2021-02-16 Energous Corporation Wireless power receiver with a synchronous rectifier
KR102226403B1 (ko) 2016-12-12 2021-03-12 에너저스 코포레이션 전달되는 무선 전력을 최대화하기 위한 근접장 충전 패드의 안테나 존들을 선택적으로 활성화시키는 방법
US10209761B2 (en) * 2017-01-04 2019-02-19 Semiconductor Components Industries, Llc Methods and apparatus for a power management unit
US10680319B2 (en) 2017-01-06 2020-06-09 Energous Corporation Devices and methods for reducing mutual coupling effects in wireless power transmission systems
US10439442B2 (en) 2017-01-24 2019-10-08 Energous Corporation Microstrip antennas for wireless power transmitters
US10684033B2 (en) 2017-01-06 2020-06-16 Johnson Controls Technology Company HVAC system with automated device pairing
US10389161B2 (en) 2017-03-15 2019-08-20 Energous Corporation Surface mount dielectric antennas for wireless power transmitters
US11011942B2 (en) 2017-03-30 2021-05-18 Energous Corporation Flat antennas having two or more resonant frequencies for use in wireless power transmission systems
US20190261000A1 (en) * 2017-04-01 2019-08-22 Intel Corporation Video motion processing including static determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10402932B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US20180329465A1 (en) * 2017-05-11 2018-11-15 Qualcomm Incorporated System and method for intelligent adjustment of an immersive multimedia workload in a portable computing device
US10511097B2 (en) 2017-05-12 2019-12-17 Energous Corporation Near-field antennas for accumulating energy at a near-field distance with minimal far-field gain
US11462949B2 (en) 2017-05-16 2022-10-04 Wireless electrical Grid LAN, WiGL Inc Wireless charging method and system
US10848853B2 (en) 2017-06-23 2020-11-24 Energous Corporation Systems, methods, and devices for utilizing a wire of a sound-producing device as an antenna for receipt of wirelessly delivered power
US11012945B2 (en) * 2017-09-29 2021-05-18 Apple Inc. Devices and methods for power allocation
US10122219B1 (en) 2017-10-10 2018-11-06 Energous Corporation Systems, methods, and devices for using a battery as a antenna for receiving wirelessly delivered power from radio frequency power waves
US11342798B2 (en) 2017-10-30 2022-05-24 Energous Corporation Systems and methods for managing coexistence of wireless-power signals and data signals operating in a same frequency band
US10739838B2 (en) 2017-12-28 2020-08-11 Omnivision Technologies, Inc. Quality-driven dynamic frequency scaling for energy optimization of smart camera systems
US10615647B2 (en) 2018-02-02 2020-04-07 Energous Corporation Systems and methods for detecting wireless power receivers and other objects at a near-field charging pad
CN110233926A (zh) * 2018-03-05 2019-09-13 联发科技股份有限公司 功率管理方法及电子装置
US11159057B2 (en) 2018-03-14 2021-10-26 Energous Corporation Loop antennas with selectively-activated feeds to control propagation patterns of wireless power signals
US11515732B2 (en) 2018-06-25 2022-11-29 Energous Corporation Power wave transmission techniques to focus wirelessly delivered power at a receiving device
US11437735B2 (en) 2018-11-14 2022-09-06 Energous Corporation Systems for receiving electromagnetic energy using antennas that are minimally affected by the presence of the human body
US11539243B2 (en) 2019-01-28 2022-12-27 Energous Corporation Systems and methods for miniaturized antenna for wireless power transmissions
WO2020163574A1 (en) 2019-02-06 2020-08-13 Energous Corporation Systems and methods of estimating optimal phases to use for individual antennas in an antenna array
CN114731061A (zh) 2019-09-20 2022-07-08 艾诺格思公司 使用无线功率发射系统中的功率放大器控制器集成电路来分类和检测异物
US11381118B2 (en) 2019-09-20 2022-07-05 Energous Corporation Systems and methods for machine learning based foreign object detection for wireless power transmission
CN115104234A (zh) 2019-09-20 2022-09-23 艾诺格思公司 使用多个整流器保护无线电力接收器以及使用多个整流器建立带内通信的系统和方法
WO2021055898A1 (en) 2019-09-20 2021-03-25 Energous Corporation Systems and methods for machine learning based foreign object detection for wireless power transmission
US11355966B2 (en) 2019-12-13 2022-06-07 Energous Corporation Charging pad with guiding contours to align an electronic device on the charging pad and efficiently transfer near-field radio-frequency energy to the electronic device
US10985617B1 (en) 2019-12-31 2021-04-20 Energous Corporation System for wirelessly transmitting energy at a near-field distance without using beam-forming control
US11799324B2 (en) 2020-04-13 2023-10-24 Energous Corporation Wireless-power transmitting device for creating a uniform near-field charging area
KR20210141070A (ko) 2020-05-15 2021-11-23 삼성전자주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
EP3934226B1 (en) * 2020-07-03 2022-06-22 Axis AB A camera and a method
US20220353412A1 (en) * 2021-04-30 2022-11-03 Zebra Technologies Corporation Power Manager to Support Less-than-Nominal Conditions in a Machine Vision System
US11916398B2 (en) 2021-12-29 2024-02-27 Energous Corporation Small form-factor devices with integrated and modular harvesting receivers, and shelving-mounted wireless-power transmitters for use therewith

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006506889A (ja) 2002-11-20 2006-02-23 株式会社東芝 減少された電力消費の信号処理方法と装置
JP2007531399A (ja) 2004-03-26 2007-11-01 クゥアルコム・インコーポレイテッド 同期ピコネット間ルーティング

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101029985A (zh) * 2006-03-03 2007-09-05 日本电气株式会社 光源装置,显示装置,终端装置及其控制方法
JP2007322712A (ja) * 2006-05-31 2007-12-13 Sony Corp 像ぶれ補正装置、レンズ装置及び撮像装置
JP2009053244A (ja) * 2007-08-23 2009-03-12 Hoya Corp モード切替システムおよびカメラ
US20100225779A1 (en) 2009-03-06 2010-09-09 Nokia Corporation Method and Device to extend camera battery life
US8503539B2 (en) 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US8941706B2 (en) * 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
CN101976659B (zh) * 2010-09-03 2013-12-11 中兴通讯股份有限公司 一种无外封装晶体装置及其制造方法
US9667280B2 (en) * 2010-09-24 2017-05-30 Qualcomm Incorporated Methods and apparatus for touch temperature management based on power dissipation history
US8996330B2 (en) 2011-01-06 2015-03-31 Qualcomm Incorporated Method and system for managing thermal policies of a portable computing device
US20120262592A1 (en) 2011-04-18 2012-10-18 Qualcomm Incorporated Systems and methods of saving power by adapting features of a device
US20130004071A1 (en) 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
US20130039431A1 (en) 2011-08-12 2013-02-14 Electronics And Telecommunications Research Institute Power-scalable encoding/decoding apparatus and method
KR20140066258A (ko) 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
EP3429124B1 (en) 2011-10-24 2020-10-21 T-Mobile USA, Inc. Optimizing video-call quality of service
CN103959200B (zh) * 2011-12-09 2017-04-19 英特尔公司 自适应图像子系统功率和性能管理
CN202974183U (zh) * 2012-04-16 2013-06-05 泰科电子公司 一种用于感测转轴的角度位置范围的传感器
US9229503B2 (en) * 2012-11-27 2016-01-05 Qualcomm Incorporated Thermal power budget allocation for maximum user experience
US9594411B2 (en) * 2013-02-28 2017-03-14 Qualcomm Incorporated Dynamic power management of context aware services
US9158358B2 (en) 2013-06-04 2015-10-13 Qualcomm Incorporated System and method for intelligent multimedia-based thermal power management in a portable computing device
US9423853B2 (en) * 2013-12-10 2016-08-23 Qualcomm Incorporated System and method for balanced user experience in a multimedia conferencing community
US9342136B2 (en) * 2013-12-28 2016-05-17 Samsung Electronics Co., Ltd. Dynamic thermal budget allocation for multi-processor systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006506889A (ja) 2002-11-20 2006-02-23 株式会社東芝 減少された電力消費の信号処理方法と装置
JP2007531399A (ja) 2004-03-26 2007-11-01 クゥアルコム・インコーポレイテッド 同期ピコネット間ルーティング

Also Published As

Publication number Publication date
EP3085071A1 (en) 2016-10-26
WO2015094777A1 (en) 2015-06-25
US9420178B2 (en) 2016-08-16
US20150181117A1 (en) 2015-06-25
JP2016541206A (ja) 2016-12-28
EP3085071B1 (en) 2020-08-12
JP6203965B2 (ja) 2017-09-27
CN105814878B (zh) 2019-06-11
CN110139035B (zh) 2020-11-03
BR112016014300A2 (pt) 2017-08-08
CN105814878A (zh) 2016-07-27
BR112016014300B1 (pt) 2023-04-18
KR20160099615A (ko) 2016-08-22
CN110139035A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
KR101737290B1 (ko) 열 및 전력 관리
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
US10567775B2 (en) Method and system of hardware accelerated video coding with per-frame parameter control
EP3171596B1 (en) Image compression with adaptive quantization of regions of interest (roi)
KR102330316B1 (ko) 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
KR101836027B1 (ko) 일정 품질 비디오 코딩
JP5942301B2 (ja) 自動露出制御のコンピュータ実装方法、自動露出制御を用いた画像処理のためのシステム、コンピュータ可読媒体を持つ物品、コンピュータ実装方法を実行させる複数の命令を含むプログラム、およびコンピュータ実装方法を実行する手段を備える装置
CN102986211B (zh) 视频编码中的速率控制
US7903733B2 (en) Adaptive filtering to enhance video encoder performance
JP2022133427A (ja) マルチラインフレーム内予測のための方法、装置、及びコンピュータプログラム
JP2017504255A (ja) ビデオコーディングを用いた温度および電力管理
JP5766877B2 (ja) 類似度、視覚的品質、および関心に基づくフレーム符号化選択
JP2018509067A (ja) ほぼ視覚的無損失なビデオ再圧縮
TWI729350B (zh) 基於感知的圖像處理裝置及相關方法
US10360695B1 (en) Method and an apparatus for enabling ultra-low latency compression of a stream of pictures
US9503652B2 (en) Method and apparatus for controlling image generation of image capture device by determining one or more image capture settings used for generating each subgroup of captured images
KR20140104843A (ko) 슈미트 트리거 회로를 이용하는 파워 게이팅 회로, 반도체 집적 회로 및 시스템
JP5153660B2 (ja) 画像処理装置および画像処理方法、ならびにプログラム
JP2011166370A (ja) 映像信号符号化装置及び映像信号符号化方法
JP4700992B2 (ja) 画像処理装置
JP2015008367A (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
US20140321533A1 (en) Single-path variable bit rate video compression
WO2020140889A1 (zh) 量化、反量化方法及装置
JP2012138648A (ja) 画像処理装置及び画像処理プログラム
CN114630123A (zh) 用于低时延视频编码的自适应质量提升

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant