KR20220019170A - 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법 - Google Patents

대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법 Download PDF

Info

Publication number
KR20220019170A
KR20220019170A KR1020200099090A KR20200099090A KR20220019170A KR 20220019170 A KR20220019170 A KR 20220019170A KR 1020200099090 A KR1020200099090 A KR 1020200099090A KR 20200099090 A KR20200099090 A KR 20200099090A KR 20220019170 A KR20220019170 A KR 20220019170A
Authority
KR
South Korea
Prior art keywords
sensor
power
data
unit
face
Prior art date
Application number
KR1020200099090A
Other languages
English (en)
Inventor
정경아
김승훈
김형석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200099090A priority Critical patent/KR20220019170A/ko
Priority to US17/213,683 priority patent/US11729497B2/en
Priority to CN202110579648.9A priority patent/CN114092990A/zh
Publication of KR20220019170A publication Critical patent/KR20220019170A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0008—General problems related to the reading of electronic memory record carriers, independent of its reading method, e.g. power transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10198—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes
    • G06K7/10207—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves setting parameters for the interrogator, e.g. programming parameters and operating modes parameter settings related to power consumption of the interrogator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J9/00—Circuit arrangements for emergency or stand-by power supply, e.g. for emergency lighting
    • H02J9/005—Circuit arrangements for emergency or stand-by power supply, e.g. for emergency lighting using a power saving mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0274—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
    • H04W52/028—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof switching on or off only a part of the equipment circuit blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Sources (AREA)

Abstract

본 발명에 따른 전자 장치는, 전원공급부, 외부 객체에 대한 정보를 포함하는 제1 데이터를 획득하는 제1 센서, 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 획득하는 제2 센서 및 프로세서를 포함하고, 프로세서는 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하고, 상기 판단의 결과를 기반으로 제2 센서로의 전원 공급을 요청하는 제1 제어 요청 신호를 출력하는 데이터처리부, 제1 제어 요청 신호에 응답하여, 제2 센서에 전원을 공급하도록 전원공급부를 제어하는 전원관리부 및 제2 데이터를 기반으로 상기 얼굴 검출 또는 QR 코드 검출을 수행하는 객체검출부를 포함할 수 있다. 데이터처리부 및 객체검출부는 프로세서의 상시 전원 도메인에 포함될 수 있다.

Description

대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법{Processor for object detection in a standby mode, electronic apparatus including the same and operating method thereof}
본 발명은 오브젝트 검출 프로세서에 관한 것으로, 보다 구체적으로, 대기 모드에서 얼굴 검출 또는 QR 코드 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법에 관한 것이다.
최근 들어, 디지털 카메라, 디지털 캠코더, 또는 스마트 폰 등과 같이 이미지 센서를 이용하여 촬영하는 전자 장치의 보급이 활발히 이루어지고 있다. 상술한 전자 장치는 기존의 필름이 아닌 이미지 센서를 이용함으로써 보다 쉽게 사용자들의 일상 생활에서의 모습을 촬영하고 확인할 수 있도록 지원할 수 있다. 또한, 상술한 전자 장치는 사람의 얼굴을 보다 선명하게 촬영하기 위해 사람의 얼굴을 배경이나 사물 등과 구분하는 얼굴 검출 기능을 지원할 수 있다.
이러한 얼굴 검출 기능을 포함한 오브젝트 검출 기능은 사용 대기 상태에서도 활성화될 필요성이 있다. 예를 들어, 사용자가 대기 모드 또는 절전 모드에서 스마트 폰을 동작 시키고자 할 때, 스마트 폰은 별도의 사용자의 입력 없이, 사용자의 얼굴을 검출하여 얼굴 인식 또는 인증 동작으로 넘어갈 수 있다. 그러나 대기 모드에서 이미지 센서 및 얼굴 검출 기능을 항상 활성화시킨다면, 지나치게 많은 전력을 소모할 것이다. 그러므로, 사용 대기 상태에서 오브젝트 검출 기능을 실행할 때 저전력 소모를 위한 방안이 필요하다.
본 발명의 목적은 대기 모드에서 사용자의 입력 없이 상시 얼굴 검출 또는 QR 코드 검출을 수행하기 위한 프로세서, 이를 포함하는 전자 장치를 제공하는데 있다.
또한, 본 발명의 목적은 대기 모드에서 저전력으로 상시 얼굴 검출 또는 QR 코드 검출을 수행하는 전자 장치의 작동 방법을 제공하는데 있다.
본 발명의 실시 예에 따른 전자 장치는, 전원공급부, 외부 객체에 대한 정보를 포함하는 제1 데이터를 획득하는 제1 센서, 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 획득하는 제2 센서 및 프로세서를 포함하고, 프로세서는 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하고, 상기 판단의 결과를 기반으로 제2 센서로의 전원 공급을 요청하는 제1 제어 요청 신호를 출력하는 데이터처리부, 제1 제어 요청 신호에 응답하여, 제2 센서에 전원을 공급하도록 전원공급부를 제어하는 전원관리부 및 제2 데이터를 기반으로 상기 얼굴 검출 또는 QR 코드 검출을 수행하는 객체검출부를 포함할 수 있다. 데이터처리부 및 객체검출부는 프로세서의 상시 전원 도메인에 포함될 수 있다.
본 발명의 실시 예에 따른 전자 장치의 작동 방법은, 프로세서 내부에 계속적으로 전원을 공급받는 상시 전원 도메인을 포함하는 전자 장치의 작동 방법에 있어서, 제1 센서를 통해 외부 객체에 대한 정보를 포함하는 제1 데이터를 획득하는 단계, 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하는 단계, 상기 판단의 결과를 기반으로 제2 센서로의 전원 공급을 요청하는 제1 제어 요청 신호를 출력하는 단계, 제1 제어 요청 신호에 응답하여, 제2 센서로 전원을 공급하는 단계, 제2 센서를 통해 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 획득하는 단계, 제2 데이터를 기반으로 얼굴 검출 또는 QR 코드 검출을 수행하는 단계 및 얼굴 검출 또는 QR 코드 검출의 결과를 기반으로 전원공급부를 제어하는 단계를 포함할 수 있다. 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하는 단계, 제1 제어 요청 신호를 출력하는 단계 및 얼굴 검출 또는 QR 코드 검출을 수행하는 단계는 프로세서의 상시 전원 도메인에서 수행될 수 있다.
본 발명의 실시 예에 따른 어플리케이션 프로세서는, 제1 센서로부터 외부 객체에 대한 정보를 포함하는 제1 데이터를 수신하고, 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하는 데이터처리부, 제2 센서로부터 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 수신하고, 제2 데이터를 기반으로 얼굴 검출 또는 QR 코드 검출을 수행하는 객체검출부 및, 데이터처리부 또는 객체검출부로부터 출력된 제어 요청 신호에 응답하여 전원공급부를 제어하는 전원관리부를 포함할 수 있다. 데이터처리부 및 객체검출부는 전원공급부로부터 상시 전원을 공급받을 수 있다.
본 발명의 실시 예에 따르면, 상시 전원 도메인에 포함된 데이터처리부가 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단함으로써, 대기 모드에서 사용자의 입력 없이 상시 얼굴 검출 또는 QR 코드 검출을 수행할 수 있다.
또한, 본 발명의 실시 예에 따르면, 전원관리부가 상시 전원 도메인에 포함된 데이터처리부 및 객체검출부로부터 수신한 제어 요청 신호를 통해 전원공급부를 제어함으로써, 대기 모드에서도 저전력으로 상시 얼굴 검출 또는 QR 코드 검출을 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록도이다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 작동 방법을 나타내는 순서도이다.
도 3은 도 1에 따른 전원관리부의 작동 방법을 나타내는 순서도이다.
도 4a 및 도 4b는 도 1의 데이터처리부의 블록도이다.
도 5는 도 4a 또는 도 4b에 따른 데이터처리부가 얼굴 검출 필요성을 판단하는 동작을 보여주는 순서도이다.
도 6은 도 1에 따른 객체검출부가 얼굴 검출을 수행하는 동작을 보여주는 순서도이다.
도 7은 도 1의 전자 장치의 작동 방법에 대한 다른 실시 예를 나타내는 순서도이다.
도 8은 본 발명의 실시 예에 따른 신경망처리부가 추가된 전자 장치의 블록도이다.
도 9는 본 발명의 실시 예에 따른 메모리가 추가된 전자 장치의 블록도이다.
도 10 내지 도 11은 본 발명의 실시 예에 따른 전자 장치가 장착된 이동 단말기를 나타내는 도면이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명 또는 도면에서 사용되는 "부(unit)", "엔진(engine)", "모듈(module)" 등의 용어들 또는 도면에 도시된 다양한 동작을 수행하는 기능 블록들은 소프트웨어, 펌웨어, 하드웨어 회로, 또는 그것들의 다양한 조합으로 구현될 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)는 프로세서(110), 전원공급부(120) 및 센서(130)를 포함할 수 있다. 전자 장치(100)는 오브젝트 검출을 위한 기능을 수행할 수 있다. 실시 예에 따르면, 전자 장치(100)는 사용자의 얼굴을 검출하기 위한 기능을 수행할 수 있다. 다른 실시 예에 따르면, 전자 장치(100)는 QR 코드를 검출하기 위한 기능을 수행할 수 있다. 전자 장치(100)는 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크톱 PC(desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나에 포함될 수 있다.
전자 장치(100)는 센서(130)를 통해 외부 객체에 대한 정보를 획득하고, 프로세서(110)를 통해 오브젝트 검출 필요성을 판단할 수 있다. 이 때, 외부 객체에 대한 정보는 영상 정보를 포함하지 않을 수 있고, 이미지 센서 외의 소비 전력이 낮은 다른 센서를 통해 획득될 수 있다. 전자 장치(100)는 오브젝트 검출 필요성에 대한 판단 결과를 기반으로 센서(130)를 통해 외부 객체에 대한 영상 정보를 획득할 수 있다. 이 때, 영상 정보는 이미지 센서(예를 들어, 카메라)를 통해 획득될 수 있다. 전자 장치(100)는 외부 객체에 대한 영상 정보를 기반으로 프로세서(110)를 통해 오브젝트 검출을 수행할 수 있다.
프로세서(110)는 계속적으로 전원을 공급받는 상시 전원 도메인을 포함할 수 있고, 상시 전원 도메인을 통해 오브젝트 검출 필요성에 대한 판단 및 오브젝트 검출을 수행할 수 있다. 전자 장치(100)는 상시 전원 도메인을 포함하는 프로세서(110)의 동작에 의해 사용 모드뿐만 아니라 대기 모드에서도 저전력으로 오브젝트 검출을 수행할 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 전원공급부(120) 및 센서(130)와 전기적으로 연결되어, 전원공급부(120) 및 센서(130)의 동작을 제어할 수 있다. 프로세서(110)는 범용 프로세서(generic-purpose processor)일 수 있다. 예를 들어, 프로세서(110)는 중앙 프로세싱 유닛(Central Processing Unit; CPU) 또는 어플리케이션 프로세서(Application Processor)일 수 있다.
프로세서(110)는, 예를 들어, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(110)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 SoC(system on chip)로 구현될 수 있다. 실시 예에 따르면, 프로세서(110)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(110)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(110)는 메모리에 저장된 프로그램 들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들어, 프로세서(110)는 메모리에 저장된 프로그램들을 실행함으로써 전자 장치(100)의 기능을 제어할 수 있다.
프로세서(110)는 제1 도메인(D1) 및 제2 도메인(D2)을 포함할 수 있다. 제1 도메인(D1)은 전원공급부(120)로부터 선택적으로 전원을 공급받는 비상시 전원 도메인(Not always on domain)일 수 있다. 제2 도메인(D2)은 전원공급부(120)로부터 계속적으로 전원을 공급받는 상시 전원 도메인(Always on domain)을 수 있다. 프로세서(110)는 내부에 전원공급부(120)로부터 상시 전원을 공급받아 온(on)상태를 유지하는 부분인 제2 도메인(D2)을 포함할 수 있다.
프로세서(110)는 사용 모드에서 전원공급부(120)로부터 제1 도메인(D1)에 전원을 공급받을 수 있다. 본 명세서에서 사용 모드는 전자 장치(100) 내의 모든 기능이 활성화된 상태를 의미한다. 사용 모드는 동작 모드로 명명될 수 있다. 예를 들어, 프로세서(110)는 사용 모드에서 다른 유닛(115)을 통해 얼굴 검출(face detection) 기능, 얼굴 인식(face recognition) 기능, 생체 인증(biometric authentication) 기능, QR 코드 검출(QR code detection) 기능 등을 활성화시킬 수 있다. 이 경우, 제1 도메인(D1) 내의 모든 유닛은 전원공급부(120)로부터 전원을 공급받아 온(on) 상태를 유지할 수 있다.
프로세서(110)는 대기 모드에서 전원공급부(120)로부터 제1 도메인(D1)에 최소한의 전원을 공급받거나 전원을 공급받지 않을 수 있다. 본 명세서에서 대기 모드는 전자 장치(100) 내의 기 설정된 최소한의 기능이 활성화된 상태를 의미한다. 대기 모드는 절전 모드로 명명될 수 있다. 예를 들어, 프로세서(110)는 대기 모드에서 오브젝트 검출 기능만을 활성화시킬 수 있다. 이 경우, 제1 도메인(D1) 내의 전원관리부(111)를 제외한 모든 유닛은 전원공급부(120)로부터 전원을 공급받지 못해 오프(off) 상태일 수 있다.
이 ‹š, 전원관리부(111)는 대기 모드에서 전원공급부(120)로부터 최소한의 전원을 공급받을 수 있다. 전원관리부(111)는 대기 모드에서 제2 도메인(D2)으로부터 출력된 신호에 응답하여 제1 도메인(D1)의 전원 온(on)/오프(off)를 제어할 수 있다. 즉, 제1 도메인(D1)은 대기 모드에서 전원공급부(120)로부터 전원관리부(111)의 동작을 위한 일정 전원만을 공급받을 수 있다. 이하 후술하는 제1 도메인 오프(off) 상태는 대기 모드에서 제1 도메인(D1)의 다른 유닛(115)에는 전원이 공급되지 않고 제1 도메인(D1)의 전원관리부(111)에 일정 전원만이 공급된 상태를 의미한다.
프로세서(110)는 사용 모드 및 대기 모드에서 전원공급부(120)로부터 제2 도메인(D2)에 전원을 공급받을 수 있다. 제2 도메인(D2)은 데이터처리부(112) 및 객체검출부(113)를 통해 오브젝트 검출 기능을 수행할 수 있다. 즉, 프로세서(110)는 제2 도메인(D2)을 통해 사용 모드뿐만 아니라 대기 모드에서도 오브젝트 검출 기능을 수행할 수 있다.
이하 명세서에서 설명의 편의를 위해 오브젝트 검출 동작은 얼굴 검출 동작을 기준으로 설명되지만, 이에 한정되는 것은 아니다. 예를 들어, 후술하는 얼굴 검출 동작은 QR 코드 검출 동작으로 이해될 수 있다.
도 1을 참조하면, 프로세서(110)는 전원관리부(111), 데이터처리부(112), 객체검출부(113), 컨트롤러(114) 및 다른 유닛(115)을 포함할 수 있다. 전원관리부(111) 및 다른 유닛(115)은 제1 도메인(D1)에 포함될 수 있고, 데이터처리부(112), 객체검출부(113) 및 컨트롤러(114)는 제2 도메인(D2)에 포함될 수 있다. 프로세서(110)는 제2 도메인(D2)을 통해, 대기 모드에서 사용자의 입력 없이 오브젝트를 검출할 수 있다.
전원관리부(111), 데이터처리부(112), 객체검출부(113), 컨트롤러(114) 및 다른 유닛(115)은 하나 이상의 하드웨어 장치로 구현될 수 있다. 예로서, 전원관리부(111),데이터처리부(112), 객체검출부(113), 컨트롤러(114) 및 다른 유닛(115)은 아래에서 설명될 동작들을 수행하기 위해 하드웨어 회로(예컨대, 아날로그 회로 및 논리 회로 등)로 구현될 수 있다. 예로서, 전원관리부(111), 데이터처리부(112), 객체검출부(113), 컨트롤러(114) 및 다른 유닛(115)은 아래에서 설명될 동작들을 수행하기 위해 프로그램 코드로 구현될 수 있고, 범용 프로세서, 워크스테이션 프로세서, 어플리케이션(Application) 프로세서 등 중 하나에 의해 실행될 수 있다. 예로서, 전원관리부(111), 데이터처리부(112), 객체검출부(113), 컨트롤러(114) 및 다른 유닛(115)은 하나 이상의 프로세서 코어들을 포함하는 전용 회로(예컨대, FPGA(Field Programmable Gate Arrays), ASICs(Application Specific Integrated Circuits) 등) 또는 SoC(System on Chip)를 포함할 수 있다.
전원관리부(111)는 전원공급부(120)와 전기적으로 연결되어 전원공급부(120)를 제어할 수 있다. 전원관리부(111)는 데이터처리부(112), 객체검출부(113), 및 다른 유닛(115) 중 적어도 어느 하나로부터 전원공급부(120)에 대한 제어 요청 신호를 수신할 수 있다. 전원관리부(111)는 제어 요청 신호에 응답하여 전원공급부(120)를 제어할 수 있다. 표 1은 대기 모드 또는 사용 모드에서 전원관리부(111)에 의해 제어되는 다양한 파라미터들을 보여준다.
대기 모드 사용 모드
제2 도메인(D2)의 작동 전압 0.51 volt 이하 0.81 volt 이하
제2 도메인(D2)의 작동 주파수 50MHz 이하 1GHz 이하
다른 유닛(115)에의 전원 공급 차단 공급
제1 센서(131) 작동 상태 ON ON, OFF
제2 센서(132) 작동 상태 ON, 대기 ON, OFF, 대기
제2 데이터(DATA_2) 저장 대상 SRAM SRAM 또는 DRAM
표 1을 참조하면, 전원관리부(111)는 제2 도메인(D2)의 작동 전압 및 작동 주파수를 사용 모드에서 보다 대기 모드에서 더 작아지도록 전원공급부(120)를 제어할 수 있다. 전원관리부(111)는 대기 모드에서 제2 도메인(D2)의 작동 전압을 0.51volt 이하로, 작동 주파수를 50MHz 이하로 유지시킬 수 있다. 전원관리부(111)는 사용 모드에서 제2 도메인(D2)의 작동 전압을 0.81volt 이하로, 작동 주파수를 1GHz 이하로 유지시킬 수 있다. 즉, 전원관리부(111)는 사용 모드에서 보다 대기 모드에서 제2 도메인(D2)의 작동 전압 및 작동 주파수를 더 낮게 유지시킬 수 있다.
전원관리부(111)는 모드에 따라서 다른 유닛(115), 제1 센서(131) 및 제2 센서(132)로의 전원 공급을 제어할 수 있다. 전원관리부(111)는 대기 모드에서 다른 유닛(115)으로의 전원 공급을 차단하고, 사용 모드에서 다른 유닛(115)으로 전원을 공급할 수 있다. 전원관리부(111)는 대기 모드에서 제1 센서(131)에 전원을 공급하고, 사용 모드에서 제1 센서(131)에 전원을 공급하거나 또는 전원 공급을 차단할 수 있다. 전원관리부(111)는 대기 모드에서 제2 센서(132)에 전원을 공급하거나 대기 상태를 유지시킬 수 있고, 사용 모드에서 제2 센서(132)에 전원을 공급하거나, 전원 공급을 차단하거나, 또는 대기 상태를 유지시킬 수 있다. 제2 센서(132)가 획득한 제2 데이터는 대기 모드에서 제2 도메인(D2) 내부의 메모리, 예를 들어 SRAM에 저장될 수 있고, 사용 모드에서 SRAM 또는 프로세서(110) 내부의 메모리, 또는 외부 DRAM에 저장될 수 있다.
전원관리부(111)는 다른 유닛(115)으로부터 대기 모드에서 수행되는 얼굴 검출 기능을 온(on) 요청하는 설정 신호를 수신할 수 있다. 이 경우, 다른 유닛(115)은 입력부 또는 인터페이스부일 수 있다. 입력부 또는 인터페이스부는 사용자로부터 설정 신호를 입력받을 수 있다. 전원관리부(111)는 설정 신호에 응답하여 대기 모드 진입 시 제1 도메인(D1)을 오프(off)하고, 제1 센서(131)를 온(on)하고, 및 제2 센서(132)를 대기(standby) 상태로 변경 또는 유지하도록 전원공급부(120)를 제어할 수 있다. 제2 센서(132)의 대기 상태는 전원공급부(120)로부터 최소한의 전력만을 공급받은 상태로서, 절전 상태 또는 저전력 상태로 사용 대기 중인 상태를 의미할 수 있다.
전원관리부(111)는 데이터처리부(112)로부터 얼굴 검출 필요성에 따른 제1 제어 요청 신호를 수신할 수 있다. 전원관리부(111)는 제1 제어 요청 신호에 응답하여 제2 센서(132)를 온(on)하도록 전원공급부(120)를 제어할 수 있다.
전원관리부(111)는 객체검출부(113)로부터 얼굴 검출 수행에 따른 제2 제어 요청 신호를 수신할 수 있다. 전원관리부(111)는 제2 제어 요청 신호에 응답하여 사용 모드로 진입하도록 전원공급부(120)를 제어할 수 있다.
전원관리부(111)는 객체검출부(113)로부터 얼굴 검출 수행에 따른 제3 제어 요청 신호를 수신할 수 있다. 전원관리부(111)는 제3 제어 요청 신호에 응답하여 제2 센서(132)를 온(on) 상태에서 대기 상태로 변경하도록 전원공급부(120)를 제어할 수 있다.
데이터처리부(112)는 제1 센서(131)로부터 제1 데이터를 수신하고, 제1 데이터에 기반하여 얼굴 검출 필요성을 판단할 수 있다. 예를 들어, 데이터처리부(112)는 거리 센서로부터 사용자까지의 거리에 대한 데이터를 수신하고, 사용자까지의 거리가 설정 거리 이하인 경우 얼굴 검출을 할 필요가 있다고 판단할 수 있다. 예를 들어, 데이터처리부(112)는 조도 센서로부터 조도에 대한 데이터를 수신하고, 조도가 설정값 이하인 경우 얼굴 검출을 할 필요가 있다고 판단할 수 있다. 예를 들어, 데이터처리부(112)는 열 감지 센서로부터 열의 변화에 대한 데이터를 수신하고, 열의 변화가 감지된 경우 얼굴 검출을 할 필요가 있다고 판단할 수 있다.
데이터처리부(112)는 제1 데이터에 기반하여 얼굴 검출을 할 필요가 있다고 판단하면, 전원관리부(111)에 제2 센서(132) 온(on)을 요청하는 제어 요청 신호를 전송할 수 있다. 데이터처리부(112)는 제1 데이터에 기반하여 얼굴 검출을 할 필요가 없다고 판단하면, 계속하여 제1 센서(132)로부터 제1 데이터를 수신할 수 있다.
객체검출부(113)는 제2 센서(132)로부터 제2 데이터를 수신하고, 제2 데이터에 기반하여 얼굴 검출을 수행할 수 있다. 예를 들어, 객체검출부(113)는 이미지 센서로부터 이동 단말기 전면 영상 데이터 또는 후면 영상 데이터를 수신하고, 사용자의 얼굴 검출을 수행할 수 있다. 이하 명세서에서, 객체검출부(113)는 얼굴 검출을 수행하기 위한 얼굴검출부(face detection unit)로 동작하거나, 또는 QR 코드 검출을 수행하기 위한 QR 코드 검출부(QR code detection unit)로 동작할 수 있다.
객체검출부(113)는 제2 데이터에 기반하여 검출된 얼굴이 기 저장된 얼굴 데이터와 일치하는지 여부를 판단할 수 있다. 객체검출부(113)는 검출된 얼굴이 기 저장된 얼굴 데이터와 일치한다면 사용 모드로의 진입을 위한 제어 요청 신호를 생성할 수 있다. 객체검출부(113)는 검출된 얼굴이 기 저장된 얼굴 데이터와 일치하지 않는다면 제2 센서(132)를 대기 상태로 변경하기 위한 제어 요청 신호를 생성할 수 있다.
객체검출부(113)는 컨트롤러(114)에 의해 제어될 수 있다. 컨트롤러(114)는 객체검출부(113)와 연결되어 객체검출부(113)를 제어할 수 있다. 컨트롤러(114)는 제2 도메인(D2) 내에 위치하고, 센서 허브(미도시)의 내부에 위치할 수 있다. 컨트롤러(114)는 CPU로 구현될 수 있다.
전원공급부(120)는 배터리(미도시)와 연결되어 전자 장치(100)에 전원을 공급할 수 있다. 전원공급부(120)는 전원관리부(111)의 제어 신호에 응답하여 전자 장치(100)의 각 구성 요소에 전원을 공급할 수 있다. 전원공급부(120)는 하나 이상의 전원관리 집적회로(power management integrated circuit, PMIC)를 포함할 수 있다. PMIC는 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다.
전원공급부(120)는 제1 PMIC(121), 제2 PMIC(122), 및 제3 PMIC(123) 중 적어도 어느 하나를 포함할 수 있다. 제1 PMIC(121)는 프로세서(110)에 전원을 공급할 수 있다. 제1 PMIC(121)는 제1 도메인(D1)에 선택적으로 전원을 공급할 수 있고, 제2 도메인(D2)에 상시 전원을 공급할 수 있다. 제1 도메인(D1)에의 전원 공급은 제1 도메인(D1) 내의 각 유닛에의 전원 공급을 의미할 수 있고, 제2 도메인(D2)에의 전원 공급은 제2 도메인(D2) 내의 각 유닛에의 전원 공급을 의미할 수 있다.
제2 PMIC(122)는 다른 유닛(115)에 전원을 공급할 수 있다. 제2 PMIC(122)는 제1 도메인(D1)에 전원이 공급되면 제1 PMIC(121)와는 별도로 다른 유닛(115)에 전원을 공급할 수 있다. 다른 유닛(115)은 전력 소모가 큰 기능을 수행할 수 있고, 사용 모드에서 온(on)/오프(off) 제어를 통해 전력 소모를 줄일 수 있다.
제3 PMIC(123)는 센서(130)에 전원을 공급할 수 있다. 제3 PMIC(123)는 얼굴 검출 필요성을 판단하기 위해 제1 센서(131)에 전원을 공급할 수 있고, 얼굴 검출을 수행하기 위해 제2 센서(132)에 전원을 공급할 수 있다. 전원공급부(120)는 제1 PMIC(121), 제2 PMIC(122) 및 제3 PMIC(123)에 한정되지 않고 추가적인 유닛에 전원을 공급하기 위한 제4 PMIC 등을 포함할 수 있다.
센서(130)는 물리량을 계측하거나 전자 장치(100)의 작동 상태를 검출하여, 계측 또는 검출된 정보를 전기 신호로 변환할 수 있다. 센서(130)는, 제1 센서(131) 및 제2 센서(132)를 포함할 수 있다. 제1 센서(131)는 외부 객체에 관한 제1 데이터를 획득할 수 있다. 제1 데이터는 이미지 데이터를 포함하지 않을 수 있다. 즉, 제1 센서(131)는 이미지 센서를 포함하지 않을 수 있다. 예를 들어, 제1 센서(131)는 거리 센서, 자이로 센서, 마그네틱 센서, 가속도 센서, 근접 센서, 생체 센서, 온/습도 센서, 조도 센서, 열 감지 센서, UV(ultra violet) 센서, 및 IR(infrared) 센서 중 적어도 어느 하나를 포함할 수 있다.
제2 센서(132)는 외부 객체에 대한 제2 데이터를 획득할 수 있다. 제2 데이터는 이미지 데이터를 포함할 수 있다. 즉, 제2 센서(132)는 이미지 센서를 포함할 수 있다. 예를 들어, 제2 센서(132)는 CCD, CMOS, 및 IR 광 센서 중 적어도 어느 하나를 포함할 수 있다. 예를 들어, 제2 센서(132)는 카메라를 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 전자 장치의 작동 방법을 나타내는 순서도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 작동 방법은 전원관리부(111), 데이터처리부(112), 객체검출부(113), 제1 센서(131) 및 제2 센서(132)의 동작 및 신호 흐름으로 설명될 수 있다. S101 단계에서, 전원관리부(111)는 설정 신호를 수신할 수 있다. 예를 들어, 전원관리부(111)는 사용자로부터 입력부 또는 인터페이스부를 통해 대기 모드에서 수행되는 얼굴 검출 기능을 온(on)하는 설정 신호를 수신할 수 있다.
S102 단계에서, 전원관리부(111)는 설정 신호 수신 후 대기 모드로 진입할 수 있다. 전원관리부(111)는 일정 조건 하에서 대기 모드로 진입할 수 있다. 예를 들어, 전원관리부(111)는 정해진 시간 동안 전자 장치(100) 내의 어떠한 기능도 활성화되지 않는 경우 대기 모드로의 진입 신호에 응답하여 대기 모드로 진입할 수 있다. 예를 들어, 전원관리부(111)는 배터리의 잔존량이 일정 수준 이하인 경우 대기 모드로의 진입 신호에 응답하여 대기 모드로 진입할 수 있다. 대기 모드로의 진입 신호는 이에 한정되지 않고, 전자 장치(100)의 전력 소모를 줄일 필요가 있는 경우 언제든지 발생될 수 있다.
대기 모드로 진입한 이후에, S103 단계에서, 전원관리부(111)는 제1 센서(131)로 제1 제어 신호(CTRL_1)를 전송할 수 있고, S104 단계에서, 제2 센서(132)로 제2 제어 신호(CTRL_2)를 전송할 수 있다. 제1 제어 신호(CTRL_1)는 제1 센서(131)에 전원을 공급하는 신호이고, 제2 제어 신호(CTRL_2)는 제2 센서(132)를 대기 상태로 변경 또는 유지시키는 신호일 수 있다. 전원관리부(111)는 제1 제어 신호(CTRL_1) 및 제2 제어 신호(CTRL_2)를 전원공급부(120)를 통해 제1 센서(131) 및 제2 센서(132)로 전송할 수 있다.
S105 단계에서, 제1 센서(131)는 제1 제어 신호(CTRL_1)에 응답하여 전원을 온(on)시킬 수 있다. S106 단계에서, 제1 센서(131)는 전원을 공급받아 제1 데이터(DATA_1)를 획득할 수 있다. 제1 데이터(DATA_1)는 외부 객체에 대한 정보를 포함할 수 있다. 제1 데이터(DATA_1)는 외부 객체에 대한 이미지 정보를 포함하지 않을 수 있다. 예를 들어, 제1 데이터(DATA_1)는 외부 객체에 대한 거리 정보, 조도 정보, 열 감지 정보, 온도 정보, 속도 정보, 가속도 정보, 생체 정보, 컬러(color) 정보, 및 압력 정보 중 적어도 어느 하나를 포함할 수 있다.
S107 단계에서, 제2 센서(132)는 제2 제어 신호(CTRL_2)에 응답하여 대기 상태로 진입할 수 있다. 제2 센서(132)의 대기 상태는 절전 상태 또는 저전력 상태로 사용 대기 중의 상태를 의미할 수 있다. 제2 데이터(DATA_2)는 외부 객체에 대한 이미지 정보를 포함할 수 있다.
S108 단계에서, 제1 센서(131)는 제1 데이터(DATA_1)를 데이터처리부(112)에 전송할 수 있다. S109 단계에서, 데이터처리부(112)는 제1 데이터(DATA_1)를 기반으로 얼굴 검출 필요성을 판단할 수 있다.
데이터처리부(112)는 제1 센서(131)의 종류에 따라 서로 다른 조건을 기준으로 얼굴 검출 필요성을 판단할 수 있다. 설명의 편의를 위해, 후술하는 제1 센서(131)는 거리 센서를 가정하여 얼굴 검출 필요성을 판단할 수 있다. 데이터처리부(112)는 제1 센서(131)로부터 전자 장치(100)와 사용자와의 거리 정보를 수신하고, 거리 정보가 기 설정된 거리 이하인 경우 얼굴을 검출할 필요가 있다고 판단할 수 있다.
S110 단계에서, 데이터처리부(112)는 얼굴을 검출할 필요가 있다고 판단하면, 전원공급부(120)에 대한 제1 제어 요청 신호(SIG_1)를 출력할 수 있다. 데이터처리부(112)는 제1 제어 요청 신호(SIG_1)를 전원관리부(111)에 전송할 수 있다. 제1 제어 요청 신호(SIG_1)는 제2 센서(132)의 전원이 온(on)되기 위한 신호일 수 있다. S111 단계에서, 전원관리부(111)는 제1 제어 요청 신호(SIG_1)에 응답하여 전원공급부(120)를 제어할 수 있다.
S112 단계에서, 전원관리부(111)는 제2 센서(132)로 제3 제어 신호(CTRL_3)를전송할 수 있다. 전원관리부(111)는 제3 제어 신호(CTRL_3)를 전원공급부(120)를 통해 제2 센서(132)로 전송할 수 있다. 제3 제어 신호(CTRL_3)는 제2 센서(132)에 전원을 공급하는 신호일 수 있다. 또는 제3 제어 신호(CTRL_3)는 제2 센서(132)에 공급되는 전력량을 늘리는 신호일 수 있다.
S113 단계에서, 제2 센서(132)는 제3 제어 신호(CTRL_3)에 응답하여 전원을 온(on)시킬 수 있다. S114 단계에서, 제2 센서(132)는 전원을 공급받아 제2 데이터(DATA_2)를 획득할 수 있다. 제2 데이터(DATA_2)는 외부 객체에 대한 정보를 포함할 수 있다. 예를 들어, 제2 데이터(DATA_2)는 외부 객체에 대한 이미지 정보를 포함할 수 있다.
S115 단계에서, 제2 센서(132)는 제2 데이터(DATA_2)를 객체검출부(113)에 전송할 수 있다. S116 단계에서, 객체검출부(113)는 제2 데이터(DATA_2)를 기반으로 얼굴 검출을 수행할 수 있다. 객체검출부(113)는 검출된 얼굴 데이터가 기 저장된 얼굴 데이터와 일치하는지 여부를 판단할 수 있다. 객체검출부(113)는 신경망 모델을 기반으로 얼굴 데이터의 일치 여부를 판단할 수 있다.
S117 단계에서, 객체검출부(113)는 검출된 얼굴 데이터가 기 저장된 얼굴 데이터와 일치한다고 판단하면, 전원공급부(120)에 대한 제2 제어 요청 신호(SIG_2)를 출력할 수 있다. 객체검출부(113)는 제2 제어 요청 신호(SIG_2)를 전원관리부(111)에 전송할 수 있다. 제2 제어 요청 신호(SIG_2)는 사용 모드로의 진입을 위한 신호일 수 있다.
S118 단계에서, 전원관리부(111)는 사용 모드로 진입하기 위해 전원공급부(120)를 제어할 수 있다. 전원관리부(111)는 제2 제어 요청 신호(SIG_2)에 응답하여 제1 도메인(D1)에 전원을 공급하도록 전원공급부(120)를 제어할 수 있다. 사용 모드는 제1 도메인(D1)으로의 전원 공급이 완료되면 진입될 수 있다. 사용 모드로 진입 후, 전원관리부(111)는 프로세서(110) 내부의 각각의 유닛에 전원을 공급하거나 차단하도록 전원공급부(120)를 제어할 수 있다.
도 3은 도 1에 따른 전원관리부의 작동 방법을 나타내는 순서도이다.
도 1 및 도 3을 참조하면, 본 발명의 실시 예에 따른 전원관리부(111)는 데이터처리부(112), 객체검출부(113) 및 다른 유닛(115) 중 적어도 어느 하나로부터 제어 요청 신호를 수신하고, 전원공급부(120)를 제어할 수 있다. 전자 장치(100)는 전원관리부(111)가 다른 유닛(115)으로부터 사용자의 설정 신호를 수신하면서 작동할 수 있다.
S210 단계에서, 전원관리부(111)는 설정 신호에 응답하여 대기 모드에서 수행되는 얼굴 검출 기능을 온(on)할 수 있다. S220 단계에서, 전원관리부(111)는 대기 모드 진입 시 제1 센서(131)가 온(on)되도록 전원공급부(120)를 제어할 수 있다. 구체적으로, 전원관리부(111)는 센서(130)에 전원을 공급하는 제3 PMIC(123)를 제어함으로써, 제1 센서(131)에 전원을 공급할 수 있다. 또한, 전원관리부(111)는 대기 모드 진입 시 제2 센서(132)를 대기 상태로 유지 또는 변경할 수 있다. 구체적으로, 전원관리부(111)는 센서(130)에 전원을 공급하는 제3 PMIC(123)를 제어함으로써, 제2 센서(132)를 대기 상태로 유지 또는 변경할 수 있다.
전원관리부(111)는 대기 모드 진입 시 제1 도메인(D1)에 전원을 차단하거나 최소한의 전원만을 공급하도록 전원공급부(120)를 제어할 수 있다. 구체적으로, 전원관리부(111)는 프로세서(110)에 전원을 공급하는 제1 PMIC(121)를 제어함으로써, 제1 도메인(D1)의 전원을 오프(off)시킬 수 있다.
S230 단계에서, 전원관리부(111)는 전원이 공급된 제1 센서(131) 및 데이터처리부(112)를 통해 얼굴 검출 필요성이 확인되면, 제2 센서(132)가 온(on)되도록 전원공급부(120)를 제어할 수 있다. 구체적으로, 전원관리부(111)는 센서(130)에 전원을 공급하는 제3 PMIC(123)를 제어함으로써, 제2 센서(132)에 전원을 공급할 수 있다. 데이터처리부(112)의 얼굴 검출 필요성의 판단 과정은 도 4a 내지 도 5에서 후술한다.
S240 단계에서, 전원관리부(111)는 전원이 공급된 제2 센서(132) 및 객체검출부(113)를 통해 얼굴 검출이 확인되면 사용 모드로 진입할 수 있다. 구체적으로, 전원관리부(111)는 프로세서(110)에 전원을 공급하는 제1 PMIC(121)를 제어함으로써, 제1 도메인(D1)에 전원을 공급할 수 있다. 객체검출부(113)의 얼굴 검출 과정은 도 6에서 후술한다.
S250 단계에서, 전원관리부(111)는 비상시 전원 도메인인 제1 도메인(D1)에 전원이 공급되었는지 확인할 수 있다. 전원관리부(111)는 제1 도메인(D1)으로의 전원 공급이 확인되면, 사용 모드로의 진입을 확정할 수 있다. 전원관리부(111)는 제1 도메인(D1)으로의 전원 공급이 확인되지 않으면, S230 단계로 돌아갈 수 있다.
S260 단계에서, 전원관리부(111)는 다른 유닛(115)에 전원을 공급하도록 전원공급부(120)를 제어할 수 있다. 구체적으로, 전원관리부(111)는 제2 PMIC(122)를 제어함으로써, 다른 유닛(115)에 전원을 공급할 수 있다. 다른 유닛(115)은 후술하는 신경망처리부(Neural Processing Unit, NPU)를 포함할 수 있다. 다른 유닛(115)은 얼굴인식부(face recognition unit), 생체인증부(biometric authentication unit), 통신부(communication unit) 또는 입/출력부 등을 더 포함할 수 있다.
도 4a 및 도 4b는 도 1의 데이터처리부의 블록도이다.
도 1, 도 4a 및 도 4b를 참조하면, 데이터처리부(112)는 하나 이상의 데이터처리 회로 및 메모리를 포함할 수 있다. 각각의 데이터처리 회로는 계층적 구조로 구성되어 서로 다른 정확도 및 전력 소모를 가지고 얼굴 검출 필요성을 판단할 수 있다.
도 4a를 참조하면, 데이터처리부(112a)는 제1 내지 제n 데이터처리 회로들(112a-1~112a-n) 및 메모리(112a-11)를 포함할 수 있다. 제1 데이터처리 회로(112a-1)는 얼굴 검출 필요성에 대해 1차 판단을 수행할 수 있다. 즉, 제1 데이터처리 회로(112a-1)는 메모리(112a-11)에 저장된 제1 데이터(DATA_1)에 기반하여 제1 데이터(DATA_1)가 제1 조건을 만족하는지 여부를 판단할 수 있다.
제2 데이터처리 회로(112a-2)는 1차 판단의 결과가 기준값 이하의 신뢰도를 가지는 경우, 얼굴 검출 필요성에 대해 2차 판단을 수행할 수 있다. 즉, 제2 데이터처리 회로(112a-2)는 메모리(112a-11)에 저장된 제1 데이터(DATA_1)에 기반하여 제1 데이터(DATA_1)가 제2 조건을 만족하는지 여부를 판단할 수 있다. 제2 조건은 제1 조건과 같거나 다를 수 있다. 2차 판단의 정확도 및 전력 소모는 1차 판단의 정확도 및 전력 소모보다 높을 수 있다.
제n 데이터처리 회로(112a-n)는 얼굴 검출 필요성에 대해 n차 판단을 수행할 수 있다. n차 판단의 정확도 및 전력 소모는 n-1차 판단의 정확도 및 전력 소모보다 높을 수 있다. n차 판단의 결과가 기준값을 초과하는 신뢰도를 가지는 경우, 데이터처리부(112a)는 얼굴 검출을 수행할 필요성이 있다고 판단할 수 있다. 데이터처리부(112a)는 얼굴 검출을 수행할 필요성이 있다는 판단을 기반으로 전원관리부(111)에 제1 제어 요청 신호(SIG_1)를 전송할 수 있다.
n차 판단의 결과가 기준값 이하의 신뢰도를 가지는 경우, 데이터처리부(112a)는 얼굴 검출을 수행할 필요성이 없다고 판단할 수 있다. 데이터처리부(112a)는 얼굴 검출을 수행할 필요성이 없다는 판단을 기반으로 새로운 제1 데이터(DATA_1)를 수신할 수 있다.
메모리(112a-11)는 SRAM으로 구성될 수 있다. 메모리(112a-11)는 제1 데이터처리 회로(112a-1), 제2 데이터처리 회로(112a-2) 및 제n 데이터처리 회로(112a-n)와 연결될 수 있다. 즉, 복수의 데이터처리 회로들(112a-1~112a-n)은 메모리(112a-11)를 공유할 수 있다. 데이터처리부(112a)는 메모리(112a-11)를 공유함으로써, 데이터처리부(112a)를 구현하는 하드웨어 모듈의 면적을 줄일 수 있다.
도 4b를 참조하면, 데이터처리부(112b)는 제1 내지 제m 데이터처리 회로들(112b-1~112b-m), 및 제1 내지 제m 메모리(112b-11~112b-mm)를 포함할 수 있다. 제1 내지 제m 데이터처리 회로들(112b-1~112b-m)는 각각 제1 내지 제m 메모리(112b-11~112b-mm)에 저장된 데이터에 기반하여 얼굴 검출 필요성을 판단하는 것 외에 도 4a의 제1 데이터처리 회로(112a-1), 제2 데이터처리 회로(112a-2) 및 제n 데이터처리 회로(112a-n)의 설명이 적용될 수 있다.
제1 메모리(112b-11), 제2 메모리(112b-22) 및 제m 메모리(112b-mm)는 각각SRAM으로 구성될 수 있다. 제1 메모리(112b-11), 제2 메모리(112b-22) 및 제m 메모리(112b-mm)는 각각 제1 데이터처리 회로(112b-1), 제2 데이터처리 회로(112b-2) 및 제m 데이터처리 회로(112b-m)에 연결될 수 있다. 즉, 각각의 데이터처리 회로는 메모리(112b-11, 112b-22, 112b-mm)를 단독으로 소유할 수 있다. 데이터처리부(112b)는 메모리(112b-11, 112b-22, 112b-mm)를 단독으로 소유함으로써, 데이터처리부(112b)의 프로세싱 속도를 높일 수 있다.
도시하지는 않았지만, 복수의 데이터처리 회로 중 일부의 데이터처리 회로는 메모리를 공유하고, 복수의 데이터처리 회로 중 나머지 데이터처리 회로는 메모리를 단독으로 소유할 수 있다.
도 5는 도 4a 또는 도 4b에 따른 데이터처리부가 얼굴 검출 필요성을 판단하는 동작을 보여주는 순서도이다.
도 3 내지 도 5를 참조하면, S230 단계에서, 전원관리부(111)는 제1 센서(131)를 통해 얼굴 검출 필요성이 확인되면 제2 센서(132)에 전원을 공급하도록 전원공급부(120)를 제어할 수 있다. 구체적으로, S231 단계에서, 데이터처리부(112)는 제1 센서(131)로부터 제1 데이터(DATA_1)를 수신할 수 있다. 데이터처리부(112)는 도 4a의 데이터처리부(112a), 도 4b의 데이터처리부(112b) 또는 이 둘의 합성일 수 있다.
이하 설명의 편의를 위해, 데이터처리부(112)는 도 4a와 같이, 메모리를 공유하고, n=3인 데이터처리부(112a)를 가정한다. 하지만 데이터처리부의 메모리 소유 방법 및 데이터처리 회로의 개수는 이에 한정되지 않는다. 도 4a 및 도 5를 참조하면, 데이터처리부(112a)는 제1 데이터처리 회로(112a-1), 제2 데이터처리 회로(112a-2), 제3 데이터처리 회로(112a-3)를 포함할 수 있다.
S232 단계에서, 제1 데이터처리 회로(112a-1)는 제1 데이터(DATA_1)에 기반하여 얼굴 검출 필요성에 대해 1차 판단할 수 있다. S233 단계에서, 제1 데이터처리 회로(112a-1)는 제1 데이터(DATA_1)가 제1 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 제1 데이터(DATA_1)는 전자 장치(100)로부터 사용자까지의 거리일 수 있고, 제1 조건은 그 거리가 제1 기준 이하인지 여부일 수 있다. 제1 데이터처리 회로(112a-1)는 사용자까지의 거리가 제1 기준 이하인지를 판단할 수 있다. 사용자까지의 거리가 제1 기준을 초과하는 경우, 데이터처리부(112a)는 제1 센서(131)로부터 제1 데이터(DATA_1)를 수신하는 과정을 반복할 수 있다. 즉, 제1 데이터처리 회로(112a-1)는 제1 데이터(DATA_1)가 제1 조건을 만족하지 못한다고 판단하면, S231 단계로 돌아갈 수 있다.
S233-1 단계에서, 제1 데이터처리 회로(112a-1)는 제1 데이터(DATA_1)가 제1 조건을 만족한다고 1차 판단하면, 1차 판단 결과의 신뢰도가 기준값을 초과하는지 여부를 판단할 수 있다. 제1 데이터처리 회로(112a-1)는 판단 결과의 신뢰도가 기준값을 초과하면 제1 제어 요청 신호(SIG_1)를 생성할 수 있다. S233-1 단계는 제1 데이터처리 회로(112a-1) 뿐만 아니라 제2 데이터처리 회로(112a-2)에서 수행될 수 있다.
S234 단계에서, 사용자까지의 거리가 제1 기준 이하이면서 1차 판단의 신뢰도가 기준값 이하인 경우, 제2 데이터처리 회로(112a-2)는 제1 데이터(DATA_1)에 기반하여 얼굴 검출 필요성에 대해 2차 판단할 수 있다. S235 단계에서, 제2 데이터처리 회로(112a-2)는 제1 데이터(DATA_1)가 제2 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 제1 데이터(DATA_1)는 전자 장치(100)로부터 사용자까지의 거리일 수 있고, 제2 조건은 그 거리가 제2 기준 이하인지 여부일 수 있다. 제2 데이터처리 회로(112a-2)는 사용자까지의 거리가 제2 기준 이하인지를 판단할 수 있다. 제2 기준은 제1 기준과 같거나 다를 수 있다. 사용자까지의 거리가 제2 기준을 초과하는 경우, 데이터처리부(112a)는 제1 센서(131)로부터 제1 데이터(DATA_1)를 수신하는 과정을 반복할 수 있다. 즉, 제1 데이터처리 회로(112a-1)는 제1 데이터(DATA_1)가 제2 조건을 만족하지 못한다고 판단하면, S231 단계로 돌아갈 수 있다.
S234-1 단계에서, 제2 데이터처리 회로(112a-2)는 제1 데이터(DATA_1)가 제2 조건을 만족한다고 2차 판단하면, 2차 판단 결과의 신뢰도가 기준값을 초과하는지 여부를 판단할 수 있다. 제2 데이터처리 회로(112a-2)는 판단 결과의 신뢰도가 기준값을 초과하면 제1 제어 요청 신호(SIG_1)를 생성할 수 있다. S234-1 단계는 제2 데이터처리 회로(112a-2) 뿐만 아니라 제3 데이터처리 회로(112a-3)에서 수행될 수 있다.
2차 판단에 필요한 제2 데이터처리 회로(112a-2)의 전력 소모량은 1차 판단에 필요한 제1 데이터처리 회로(112a-1)의 전력 소모량 보다 클 수 있다. 하지만 2차 판단의 정확도는 1차 판단의 정확도 보다 높을 수 있다. 데이터처리부(112a)는 전력 소모 및 정확도가 낮은 1차 판단 후 전력 소모 및 정확도가 높은 2차 판단을 수행하는 계층적 구조로 구성됨으로써, 얼굴 검출 과정의 정확도를 높이면서 전력 소모를 최소화할 수 있는 효과가 있다. 이러한 설명은 후술하는 3차 판단에도 적용될 수 있다.
S236 단계에서, 사용자까지의 거리가 제2 기준 이하이면서 2차 판단의 신뢰도가 기준값 이하인 경우, 제3 데이터처리 회로(112a-3)는 제1 데이터(DATA_1)에 기반하여 얼굴 검출 필요성에 대해 3차 판단할 수 있다. S237 단계에서, 제3 데이터처리 회로(112a-3)는 제1 데이터(DATA_1)가 제3 조건을 만족하는지 여부를 판단할 수 있다. 제3 데이터처리 회로(112a-3)는 제1 데이터(DATA_1)가 제3 조건을 만족하지 못한다고 판단하면, S231 단계로 돌아갈 수 있다.
S237-1 단계에서, 제3 데이터처리 회로(112a-3)는 제1 데이터(DATA_1)가 제3 조건을 만족한다고 3차 판단하면, 3차 판단 결과의 신뢰도가 기준값을 초과하는지 여부를 판단할 수 있다. 제3 데이터처리 회로(112a-3)는 3차 판단 결과의 신뢰도가 기준값을 초과한다면, 제1 제어 요청 신호(SIG_1)를 생성할 수 있다. 제3 데이터처리 회로(112a-3)는 3차 판단의 결과가 기준값 이하의 신뢰도를 가지는 경우, 얼굴 검출을 수행할 필요성이 없다고 판단하고 S231 단계로 돌아갈 수 있다. S237-1 단계는 생략될 수 있다. S237-1 단계가 생략되면, 제3 데이터처리 회로(112a-3)는 제1 데이터(DATA_1)가 제3 조건을 만족한다는 3차 판단 결과를 기반으로 제1 제어 요청 신호(SIG_1)를 생성할 수 있다.
S238 단계에서, 전원관리부(111)는 제1 제어 요청 신호(SIG_1)에 응답하여, 제2 센서(132)에 전원을 공급하도록 전원공급부(120)를 제어할 수 있다. 제2 센서(132)는 대기 상태에서 전원 온(on) 상태로 변경될 수 있고, 제2 데이터(DATA_2)를 획득할 수 있다.
도 6은 도 1에 따른 객체검출부가 얼굴 검출을 수행하는 동작을 보여주는 순서도이다.
도 1 및 도 6을 참조하면, S240 단계에서, 전원관리부(111)는 제2 센서(132)를 통해 얼굴 검출이 확인되면 사용 모드에 진입하도록 전원공급부(120)를 제어할 수 있다. 구체적으로, S241 단계에서, 객체검출부(113)는 제2 센서(132)로부터 제2 데이터(DATA_2)를 수신할 수 있다. 객체검출부(113)는 제2 센서(132)로부터 제2 데이터(DATA_2)를 수신하여 저장하는 SRAM을 포함할 수 있다.
S242 단계에서, 객체검출부(113)는 신경망(Neural Network) 모델을 기반으로 얼굴 검출을 수행할 수 있다. 객체검출부(113)는 제2 도메인(D2)에 포함된 컨트롤러(114)에 의해 제어될 수 있다. 객체검출부(113)는 별도의 컨트롤러(114)와 함께 구성되어 얼굴 검출을 수행함으로써, 대기 모드에서도 안정적이고 정확하게 얼굴 검출을 수행할 수 있다.
S243 단계에서, 객체검출부(113)는 신경망 모델을 기반으로 검출된 얼굴 데이터를 분석하여 기 저장된 얼굴 데이터와 일치하는지 여부를 판단할 수 있다. 얼굴 정보를 분석하는 방법은, 카메라 모듈을 통해 촬영중인 이미지에서 적어도 하나의 얼굴 영역을 검출하는 동작과, 검출된 적어도 하나의 얼굴 영역을 세부 촬영하는 동작과, 세부 촬영된 얼굴 영역을 적어도 하나의 분석 항목에 따라 분석하는 동작을 포함할 수 있다.
객체검출부(113)는 분석된 얼굴 데이터가 저장된 데이터와 일치한다고 판단하면, 전원관리부(111)에 사용 모드로의 진입을 요청하는 제2 제어 요청 신호(SIG_2)를 전송할 수 있다. S244 단계에서, 전원관리부(111)는 제2 제어 요청 신호(SIG_2)에 응답하여, 사용 모드로 진입하도록 전원공급부(120)를 제어할 수 있다.
전원관리부(111)는 제1 PMIC(121)를 제어하여 제1 도메인(D1)에 전원을 공급할 수 있다. 사용 모드로의 진입은 비상시 전원 도메인인 제1 도메인(D1)으로의 전원 공급을 의미할 수 있다. 전원관리부(111)는 사용 모드로 진입 후, 필요한 기능에 따라 다른 유닛(115)에 전원이 공급되도록 전원공급부(120)를 제어할 수 있다.
객체검출부(113)는 분석된 얼굴 데이터가 저장된 데이터와 일치하지 않는다고 판단하면, 얼굴 검출에 대한 수행 시간을 체크할 수 있다. S245 단계에서, 객체검출부(113)는 얼굴 검출에 대한 수행 시간이 설정된 수행 시간을 초과하는지 여부를 판단할 수 있다. 얼굴 검출에 대한 수행 시간이 저장된 수행 시간을 초과하지 않는다면, 객체검출부(113)는 얼굴 검출 동작을 반복 수행할 수 있다. 얼굴 검출에 대한 수행 시간이 저장된 수행 시간을 초과한다면, S246 단계에서, 객체검출부(113)는 제2 센서(132)를 온(on) 상태에서 대기 상태로의 변경을 요청하는 제3 제어 요청 신호를 전송할 수 있다. 전원관리부(111)는 제3 제어 요청 신호에 응답하여 제2 센서(132)에 공급되는 전력량을 줄이도록 전원공급부(120)를 제어할 수 있다.
도 7은 도 1의 전자 장치의 작동 방법에 대한 다른 실시 예를 나타내는 순서도이다.
도 1 및 도 7을 참조하면, 전자 장치(100)는 S310 단계 내지 S350 단계의 동작들을 수행할 수 있다. S310 단계 내지 S350 단계의 동작들은 도 2의 S210 단계 내지 S250 단계의 동작들과 유사하며, 이에 대한 상세한 설명은 생략된다.
S360 단계에서, 전원관리부(111)는 신경망처리부에 의한 얼굴 검출 결과에 따라 전원공급부(120)를 제어할 수 있다. 신경망처리부는 사용 모드에서 얼굴 검출을 추가적으로 수행할 수 있다. 신경망처리부는 다른 유닛(115)의 실시 예일 수 있다. 신경망처리부는 제1 도메인의 전원이 온(on)되면 딥러닝 알고리즘에 기반하여 얼굴 검출을 추가적으로 수행할 수 있다. 실시 예에 따라, 신경망처리부는 사용 모드로의 진입 후 별도의 전원을 제공받을 수 있다. 전원관리부(111)는 제2 PMIC(122)를 제어하여 신경망처리부에 전원을 공급할 수 있다.
신경망처리부에서 수행되는 추가적인 얼굴 검출의 정확도는 객체검출부(113)에서 수행되는 얼굴 검출의 정확도 보다 높을 수 있다. 예를 들어, 신경망처리부는 멀티 코어 프로세서로 구현될 수 있다. 또는 신경망처리부는 멀티 서버와 통신할 수 있다. 프로세서(110)는 사용 모드로의 진입 후에, 얼굴 검출을 추가적으로 수행함으로써, 얼굴 검출의 정확도를 높일 수 있다.
도 8은 본 발명의 실시 예에 따른 신경망처리부가 추가된 전자 장치의 블록도이다.
도 8을 참조하면, 본 발명의 실시 예에 따른 전자 장치(200)는 프로세서(210), 전원공급부(220) 및 센서(230)를 포함할 수 있다. 프로세서(210)는 전원관리부(211), 객체검출부(213) 및 NPU(215)를 포함할 수 있다. 프로세서(210)는 전원공급부(220)로부터 선택적으로 전원을 공급받는 제1 도메인(D3) 및 전원공급부(220)로부터 상시 전원을 공급받는 제2 도메인(D4)을 포함할 수 있다. 전원관리부(211) 및 NPU(215)는 제1 도메인(D3)에 포함될 수 있다. 도 8의 전자 장치(200)는 도 1의 전자 장치(100)와 유사하며, 이에 대한 상세한 설명은 생략된다.
객체검출부(213)가 사용자의 얼굴을 검출하여 전원관리부(211)에 제어 요청 신호를 전달하면, 전원관리부(211)는 전원공급부(220)를 제어하여 제1 도메인(D3)을 온(on)시키고 사용 모드로 진입할 수 있다. 사용 모드로의 진입 후, 전원관리부(211)는 전원공급부(220)를 제어하여 NPU(215)에 전원을 공급할 수 있다. 전원이 공급된 NPU(215)는 객체검출부(213)가 수행한 얼굴 검출을 추가적으로 수행할 수 있다. NPU(215)는 딥러닝 알고리즘에 기반하여 얼굴 검출을 수행하고, 검출된 얼굴 데이터가 저장된 얼굴 데이터와 일치하는지 여부를 판단할 수 있다.
NPU(215)는 검출된 얼굴 데이터가 저장된 얼굴 데이터와 일치하지 않는다고 판단하면, 대기 모드로 돌아가도록 전원관리부(211)에 요청할 수 있다. 전원관리부(211)는 전원공급부(220)를 제어하여 대기 모드로 돌아갈 수 있다. 즉, 전원관리부(211)는 제1 도메인(D3)의 전원을 오프(off)하고, 제1 센서(231)의 전원을 온(on)하고, 제2 센서(232)를 대기 상태로 변경하도록 전원공급부(220)를 제어할 수 있다.
도 9는 본 발명의 실시 예에 따른 메모리가 추가된 전자 장치의 블록도이다.
도 9를 참조하면, 본 발명의 실시 예에 따른 전자 장치(300)는 프로세서(310), 전원공급부(320) 및 센서(330)를 포함할 수 있다. 프로세서(310)는 메모리를 포함할 수 있다. 메모리는 SRAM(316) 및 DRAM(317)을 포함할 수 있다. 프로세서(310)는 선택적으로 전원을 공급받는 제1 도메인(D5) 및 상시 전원을 공급받는 제2 도메인(D6)을 포함할 수 있다. DRAM(317)은 제1 도메인(D5)에 포함될 수 있고, SRAM(316)은 제2 도메인(D6)에 포함될 수 있다. 도 9의 전자 장치(300)는 도 1의 전자 장치(100)와 유사하며, 이에 대한 상세한 설명은 생략된다.
SRAM(316)은 대기 모드에서 센서(330)의 데이터를 저장할 수 있다. SRAM(316)은 제1 센서(331)로부터 제1 데이터(DATA_1)를 수신하여 저장할 수 있다. 데이터처리부(312)는 얼굴 검출 필요성을 판단하기 위해 SRAM(316)으로부터 제1 데이터(DATA_1)를 수신할 수 있다. 도 9를 참조하면, SRAM(316)은 데이터처리부(312)와 분리되어 있지만, 실시 예에 따라서 데이터처리부(312) 내에 포함될 수 있다. 즉, SRAM(316)은 도 4a의 메모리(112a-11) 또는 도 4b의 제1 메모리(112b-11) 및 제2 메모리(112b-22)를 포함할 수 있다. 이 경우, 메모리(112a-11, 112b-11, 112b-22)는 하나 또는 둘 이상의 SRAM(316)으로 구현될 수 있다. 데이터처리부(312)는 제1 데이터(DATA_1)를 SRAM(316)에 저장함으로써, 대기 모드에서 저전력으로 얼굴 검출 필요성을 판단할 수 있다.
SRAM(316)은 제2 센서(332)로부터 제2 데이터(DATA_2)를 수신하여 저장할 수 있다. 객체검출부(313)는 얼굴 검출을 수행하기 위해 SRAM(316)으로부터 제2 데이터(DATA_2)를 수신할 수 있다. 도 9를 참조하면, SRAM(316)은 객체검출부(313)와 분리되어 있지만, 실시 예에 따라서 객체검출부(313) 내에 포함될 수 있다. 제2 도메인(D6)은 대기 모드에서 SRAM(316)를 사용하여 데이터를 저장 및 처리함으로써, 빠른 얼굴 검출을 수행할 수 있다.
DRAM(317)은 사용 모드에서 센서(330)의 데이터를 저장할 수 있다. DRAM(317)은 제2 센서(332)로부터 제2 데이터(DATA_2)를 수신할 수 있다. 객체검출부(313)는 사용 모드에서 DRAM(317)을 사용하여 SRAM(316) 보다 많은 데이터를 저장하고 처리할 수 있다. 이 경우, 객체검출부(313)는 SRAM(316)를 캐시 메모리로서 사용할 수 있다.
도 10 내지 도 11은 본 발명의 실시 예에 따른 전자 장치가 장착된 이동 단말기를 나타내는 도면이다.
도 10을 참조하면, 전자 장치(1000)는 어플리케이션 프로세서(1100), 전원공급부(1200), 센서(1300), 카메라(1400), 인터페이스(1500), 메모리(1600), 입력부(1700), 출력부(1700) 및 통신부(1800)를 포함할 수 있다.
어플리케이션 프로세서(1100)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 어플리케이션 프로세서(1100)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 어플리케이션 프로세서(1100)는 도 1의 프로세서(110)에 관한 설명이 적용될 수 있다.
전원공급부(1200)는, 예를 들면, 전자 장치(1000)에 전원을 공급하거나 차단하여 전자 장치(1000)의 전원을 관리할 수 있다. 실시 예에 따르면, 전원공급부(1200)는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 도 1의 전원공급부(120)에 관한 설명이 적용될 수 있다. 배터리 게이지는, 예를 들면, 배터리의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
센서(1300)는, 도 1의 제1 센서(131)에 관한 설명이 적용될 수 있다. 센서 (1300)는, 예를 들면, 거리 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 열 감지 센서, 및 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서(1300)는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 인식 센서를 포함할 수 있다.
센서(1300)는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 실시 예에 따라서, 전자 장치(1000)는 어플리케이션 프로세서(1100)의 일부로서 또는 별도로, 센서(1300)를 제어하도록 구성된 프로세서를 더 포함하여, 어플리케이션 프로세서(1100)가 슬립(sleep) 상태에 있는 동안, 센서(1300)를 제어할 수 있다.
카메라(1400)는, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라(1400)는 도 1의 제2 센서(132)에 관한 설명이 적용될 수 있다.
인터페이스(1500)는, 예를 들면, HDMI(high-definition multimedia interface), USB(universal serial bus), 광 인터페이스(optical interface), 또는 D-sub(D-subminiature)를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스(1500)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
메모리(1600)는, 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 및 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(MultiMediaCard) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(1000)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
입력부(1700)는, 예를 들면, 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key), 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치는 마이크를 통해, 입력 도구에서 발생된 초음파를 검출하여, 상기 검출된 초음파에 대응하는 데이터를 확인할 수 있다.
출력부(1800)는 디스플레이 모듈 및 오디오 모듈을 포함할 수 있다. 디스플레이 모듈은 패널, 홀로그램 장치, 또는 프로젝터를 포함할 수 있다. 패널은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1000)의 내부 또는 외부에 위치할 수 있다. 실시 예에 따르면, 디스플레이 모듈는 패널, 홀로그램 장치 또는 프로젝터를 제어하기 위한 제어 회로를 더 포함할 수 있다.
오디오 모듈은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈은, 예를 들면, 스피커, 리시버, 이어폰, 또는 마이크 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
통신부(1900)는, 통신 인터페이스와 동일 또는 유사한 구성을 가질 수 있다. 통신부(1900)는, 예를 들면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈, NFC 모듈 및 RF(radio frequency) 모듈을 포함할 수 있다. 통신부(1900)는 버스를 더 포함할 수 있다. 버스는 전자장치(1000)에 포함된 구성들을 서로 연결하고, 구성들간 제어신호 또는 데이터 등을 전달하는 회로를 포함할 수 있다.
도 11을 참조하면, 이동 단말기(2000)는 전자 장치(1000)를 포함할 수 있다. 전자 장치(1000)는 이동 단말기(2000) 내부에 장착될 수 있다. 예를 들어, 이동 단말기(2000)의 전면부에는 디스플레이 패널(1810), LED 모듈(1820), 복수의 센서들(1310, 1320, 1330) 및 카메라(1410)가 위치할 수 있다.
디스플레이 패널(1810)은 전자 장치(1000)의 작동 상태를 이미지로서 출력할 수 있다. 디스플레이 패널(1810)은 터치 패널과 하나의 모듈로 구성될 수도 있다. 즉, 디스플레이 패널(1810)은 사용자의 터치 입력으로 대기 모드에서 얼굴 검출 기능을 활성화 시키도록 설정 신호를 입력받을 수 있다.
LED 모듈(1820)은 전자 장치(1000)의 외부로 LED 광을 출력함으로써 전자 장치(1000)의 구동 상태를 표시할 수 있다. 예를 들어, LED 모듈(1820)은 사용 모드에서 Red, Green, 또는 Blue 색상의 LED 광으로, 구동 상태를 표시할 수 있다. 또한, LED 모듈(1820)은 대기 모드에서 작동하지 않을 수 있다.
복수의 센서들(1310, 1320, 1330)은, 근접 센서, 조도 센서, 및/또는 근조도 IR (infrared) 센서일 수 있다. 복수의 센서들(1310, 1320, 1330) 중 적어도 어느 하나의 센서는 영상 데이터가 아닌 제1 데이터를 획득할 수 있다. 어플리케이션 프로세서(1100) 내부의 데이터처리부는 제1 데이터를 수신하고, 제1 데이터에 기반하여 얼굴 검출 필요성을 판단할 수 있다.
데이터처리부가 얼굴을 검출할 필요가 있다고 판단하면, 카메라(1410)가 작동할 수 있다. 카메라(1410)는 영상 데이터를 포함하는 제2 데이터를 획득할 수 있다. 어플리케이션 내부의 객체검출부는 제2 데이터를 수신하고, 제2 데이터에 기반하여 얼굴 검출을 수행할 수 있다.
상술한 바와 같이, 실시 예에 따라 얼굴 검출 동작은 QR 코드 검출 동작으로 이해될 수 있다. 예를 들어, 오브젝트는 QR 코드를 포함할 수 있다. 이 경우, 센서는 QR 코드를 검출하는 센서일 수 있고, 데이터처리부는 대기 모드에서 기 설정 거리 내에 QR 코드가 존재하는지 여부를 확인함으로써 QR 코드 검출 필요성을 판단할 수 있다. 데이터처리부는 QR 코드를 검출할 필요성이 있다고 판단하면 전원관리부를 통해 카메라에 전원 공급을 요청할 수 있다. 객체검출부는 카메라를 통해 이미지 정보를 획득하여 QR 코드의 정보를 검출할 수 있다. 객체검출부는 검출된 QR 코드가 기 저장된 QR 코드 데이터와 일치하는지 여부를 판단할 수 있다. 전원관리부는 검출된 QR 코드에 따라 사용 모드로 진입하거나 다른 유닛에 전원을 공급할 수 있다. 예를 들어, 전원관리부는 결제 요청에 따른 QR 코드의 정보에 기반하여 결제 시스템의 전원을 온(on)시킬 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
전자 장치: 100
프로세서: 110
제1 도메인: D1 제2 도메인: D2
전원관리부: 111 데이터처리부: 112
객체검출부: 113 컨트롤러: 114
다른 유닛: 115
전원공급부: 120
센서: 130
제1 센서: 131 제2 센서: 132

Claims (10)

  1. 전원공급부;
    외부 객체에 대한 정보를 포함하는 제1 데이터를 획득하는 제1 센서;
    상기 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 획득하는 제2 센서; 및
    프로세서를 포함하고,
    상기 프로세서는:
    상기 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하고, 상기 판단의 결과를 기반으로 상기 제2 센서로의 전원 공급을 요청하는 제1 제어 요청 신호를 출력하는 데이터처리부;
    상기 제1 제어 요청 신호에 응답하여, 상기 제2 센서에 전원을 공급하도록 상기 전원공급부를 제어하는 전원관리부; 및
    상기 제2 데이터를 기반으로 상기 얼굴 검출 또는 상기 QR 코드 검출을 수행하는 객체검출부를 포함하고,
    상기 데이터처리부 및 상기 객체검출부는 상기 프로세서의 상시 전원 도메인에 포함되는 전자 장치.
  2. 제1 항에 있어서,
    상기 제1 데이터는 상기 외부 객체에 대한 거리 정보, 조도 정보, 열 감지 정보, 온도 정보, 속도 정보, 가속도 정보, 생체 정보, 컬러(color) 정보, 및 압력 정보 중 적어도 어느 하나를 포함하는 전자 장치.
  3. 제2 항에 있어서,
    상기 프로세서는 상기 상시 전원 도메인을 통해, 대기 모드에서 사용자의 입력 신호 없이 상기 얼굴 검출 또는 상기 QR 코드 검출을 수행하는 전자 장치.
  4. 제1 항에 있어서,
    상기 데이터처리부는:
    상기 얼굴 검출 필요성 또는 상기 QR 코드 검출 필요성에 대해 1차 판단을 수행하는 제1 데이터처리 회로; 및
    상기 얼굴 검출 필요성 또는 상기 QR 코드 검출 필요성에 대해 2차 판단을 수행하는 제2 데이터처리 회로를 포함하고,
    상기 제1 데이터처리 회로의 상기 1차 판단의 결과가 기준값 이하의 신뢰도를 가지는 경우, 상기 제2 데이터처리 회로의 상기 2차 판단을 수행하고,
    상기 1차 판단의 정확도 및 전력 소모는 상기 2차 판단의 정확도 및 전력 소모보다 낮은 전자 장치.
  5. 제1 항에 있어서,
    상기 전원관리부는 상기 상시 전원 도메인의 작동 전압 및 작동 주파수를 사용 모드에서 보다 대기 모드에서 더 작아지도록 상기 전원공급부를 제어하는 전자 장치.
  6. 제1 항에 있어서,
    상기 객체검출부는 신경망(Neural Network) 모델을 기반으로 상기 얼굴 검출 또는 상기 QR 코드 검출을 수행하여, 검출된 얼굴 또는 검출된 QR 코드가 기 저장된 데이터와 일치하는지 여부를 판단하는 전자 장치.
  7. 제6 항에 있어서,
    상기 객체검출부는 상기 검출된 얼굴 또는 상기 검출된 QR 코드가 상기 기 저장된 데이터와 일치한다고 판단하면, 사용 모드로의 진입을 요청하는 제2 제어 요청 신호를 출력하고,
    상기 전원관리부는 상기 제2 제어 요청 신호에 응답하여 상기 프로세서의 비상시 전원 도메인에 전원을 공급하도록 상기 전원공급부를 제어하는 전자 장치.
  8. 제7 항에 있어서,
    상기 비상시 전원 도메인은 딥러닝 알고리즘에 기반하여 추가 얼굴 검출 또는 추가 QR 코드 검출을 수행하는 신경망처리부(Neural Processing Unit)를 포함하고,
    상기 추가 얼굴 검출 또는 상기 추가 QR 코드 검출의 정확도는 상기 얼굴 검출 또는 상기 QR 코드 검출의 정확도 보다 높은 전자 장치.
  9. 제6 항에 있어서,
    상기 객체검출부는 상기 검출된 얼굴 또는 상기 검출된 QR 코드가 상기 기 저장된 데이터와 일지하지 않는다고 판단하면, 상기 제2 센서를 대기 상태로 변경하도록 요청하는 제3 제어 요청 신호를 출력하고,
    상기 전원관리부는 상기 제3 제어 요청 신호에 응답하여 상기 제2 센서에 공급되는 전력량을 줄이도록 상기 전원공급부를 제어하는 전자 장치.
  10. 프로세서 내부에 계속적으로 전원을 공급받는 상시 전원 도메인을 포함하는 전자 장치의 작동 방법에 있어서,
    제1 센서를 통해 외부 객체에 대한 정보를 포함하는 제1 데이터를 획득하는 단계;
    상기 제1 데이터를 기반으로 얼굴 검출 필요성 또는 QR 코드 검출 필요성을 판단하는 단계;
    상기 얼굴 검출 필요성 또는 상기 QR 코드 검출 필요성의 판단 결과를 기반으로 제2 센서로의 전원 공급을 요청하는 제1 제어 요청 신호를 출력하는 단계;
    상기 제1 제어 요청 신호에 응답하여, 상기 제2 센서로 전원을 공급하는 단계;
    상기 제2 센서를 통해 상기 외부 객체에 대한 이미지 정보를 포함하는 제2 데이터를 획득하는 단계;
    상기 제2 데이터를 기반으로 상기 얼굴 검출 또는 상기 QR 코드 검출을 수행하는 단계; 및
    상기 얼굴 검출 또는 상기 QR 코드 검출의 결과를 기반으로 전원공급부를 제어하는 단계를 포함하고,
    상기 얼굴 검출 필요성 또는 상기 QR 코드 검출 필요성을 판단하는 단계, 상기 제1 제어 요청 신호를 출력하는 단계 및 상기 얼굴 검출 또는 상기 QR 코드 검출을 수행하는 단계는 상기 프로세서의 상기 상시 전원 도메인에서 수행되는 전자 장치의 작동 방법.

KR1020200099090A 2020-08-07 2020-08-07 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법 KR20220019170A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200099090A KR20220019170A (ko) 2020-08-07 2020-08-07 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법
US17/213,683 US11729497B2 (en) 2020-08-07 2021-03-26 Processing circuitry for object detection in standby mode, electronic device, and operating method thereof
CN202110579648.9A CN114092990A (zh) 2020-08-07 2021-05-26 用于待机模式下的对象检测的处理电路、电子设备及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099090A KR20220019170A (ko) 2020-08-07 2020-08-07 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법

Publications (1)

Publication Number Publication Date
KR20220019170A true KR20220019170A (ko) 2022-02-16

Family

ID=80114353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099090A KR20220019170A (ko) 2020-08-07 2020-08-07 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법

Country Status (3)

Country Link
US (1) US11729497B2 (ko)
KR (1) KR20220019170A (ko)
CN (1) CN114092990A (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5067282B2 (ja) 2008-06-27 2012-11-07 ソニー株式会社 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム
JP5066133B2 (ja) 2009-05-20 2012-11-07 株式会社日立製作所 情報記録装置、省電力方法
JP2013062777A (ja) 2011-09-15 2013-04-04 Kyocera Corp 携帯端末、省電力制御プログラムおよび省電力制御方法
US8261090B1 (en) 2011-09-28 2012-09-04 Google Inc. Login to a computing device based on facial recognition
KR101349406B1 (ko) 2012-05-15 2014-01-09 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법
JP6062175B2 (ja) 2012-07-25 2017-01-18 京セラ株式会社 携帯端末、省電力制御プログラムおよび省電力制御方法
US9459889B2 (en) 2014-05-19 2016-10-04 Qualcomm Incorporated Systems and methods for context-aware application control
KR102276023B1 (ko) 2014-09-19 2021-07-12 엘지전자 주식회사 이동 단말기 및 그의 움직임 기반의 저전력 구현 방법
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
KR102357965B1 (ko) 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
JP6897010B2 (ja) 2016-05-26 2021-06-30 富士フイルムビジネスイノベーション株式会社 復帰制御装置、画像処理装置及びプログラム
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US10963745B2 (en) 2018-11-21 2021-03-30 Intel Corporation Real time adaptive training face detection for ultra low power always on architecture

Also Published As

Publication number Publication date
US20220046181A1 (en) 2022-02-10
US11729497B2 (en) 2023-08-15
CN114092990A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10860850B2 (en) Method of recognition based on iris recognition and electronic device supporting the same
US9513703B2 (en) Gesture-based waking and control system for wearable devices
EP2879095B1 (en) Method, apparatus and terminal device for image processing
US11954270B2 (en) Electronic device for controlling communication connection with input device and method of controlling same
US20180329527A1 (en) Method and electronic device for charging pen
KR102659414B1 (ko) Em 센서 모듈을 포함하는 전자 장치 및 이의 제어 방법
US10263439B2 (en) Method and apparatus for protecting battery
US10521000B2 (en) Electronic apparatus and battery information providing method thereof
CN106778623A (zh) 一种终端屏幕控制方法、装置及电子设备
CN113906730B (zh) 获得皮肤图像的电子设备及其控制方法
US11157719B2 (en) Electronic device and method for recognizing fingerprint based on drag input
CN111105792A (zh) 语音交互处理方法及装置
US11211032B2 (en) Electronic device for supporting to control auto brightness of display
KR20150041943A (ko) 카메라를 가지는 전자 장치 및 이를 운영하는 방법
US10546551B2 (en) Electronic device and control method thereof
US20230205296A1 (en) Electronic apparatus and response operation method for electronic apparatus
KR20220019170A (ko) 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법
TW202101283A (zh) 光學式指紋感測方法、指紋識別裝置及資訊處理裝置
US11410413B2 (en) Electronic device for recognizing object and method for controlling electronic device
WO2020124389A1 (zh) 一种移动终端中用于识别应用程序的设备及终端
US11517258B2 (en) Electronic device for providing information regarding exercise state based on metabolite information and method thereof
US20100060579A1 (en) Power Management Device for a Wireless Input Device and Related Wireless Input Device
CN110989963B (zh) 唤醒词推荐方法及装置、存储介质
US11899884B2 (en) Electronic device and method of recognizing a force touch, by electronic device
US20240134478A1 (en) Electronic device and method of driving the same

Legal Events

Date Code Title Description
A201 Request for examination