KR20220015039A - 이미지 처리 시스템 - Google Patents

이미지 처리 시스템 Download PDF

Info

Publication number
KR20220015039A
KR20220015039A KR1020200095045A KR20200095045A KR20220015039A KR 20220015039 A KR20220015039 A KR 20220015039A KR 1020200095045 A KR1020200095045 A KR 1020200095045A KR 20200095045 A KR20200095045 A KR 20200095045A KR 20220015039 A KR20220015039 A KR 20220015039A
Authority
KR
South Korea
Prior art keywords
mode
image
processing system
image processing
image sensor
Prior art date
Application number
KR1020200095045A
Other languages
English (en)
Inventor
조태희
손광준
양익석
조광준
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020200095045A priority Critical patent/KR20220015039A/ko
Priority to US17/142,464 priority patent/US20220036045A1/en
Priority to CN202110440412.7A priority patent/CN114092989A/zh
Priority to JP2021094728A priority patent/JP2022027472A/ja
Publication of KR20220015039A publication Critical patent/KR20220015039A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Exposure Control For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

이미지 처리 시스템은, 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지를 처리하는 보조 프로세서; 및 상기 제2모드에서 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 처리하는 메인 프로세서를 포함할 수 있다.

Description

이미지 처리 시스템 {IMAGE PROCECCING SYSTEM}
본 특허 문헌은 이미지 처리 시스템에 관한 것이다.
안면 인식(face recognition) 기술이란 생체인식(biometrics) 분야 중 하나로 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 기계가 자동으로 사람을 식별하고 인증하는 기술이다.
안면 인식 기능은 스마트 폰과 같은 휴대장치 및 컴퓨터 기기의 잠금해제와 같은 용도로 많이 사용된다. 안면 인식 기능을 이러한 용도로의 사용을 위해서는 안면을 인식할 수 있는 이미지 센서가 항상 턴온되어 있어야 하는데, 이미지 센서를 항성 턴온 상태로 두는 것은 많은 전류의 소모를 수반한다. 따라서 언제나 안면 인식을 할 수 있으면서도 이미지 센서 및 이에 수반하는 회로들이 소모하는 전류의 양을 줄일 수 있는 기술이 요구된다.
본 발명의 실시예들은, 언제나 안면(face) 또는 제스처(gesture) 인식을 할 수 있으면서도 적은 전류를 소모하는 이미지 처리 시스템을 제공할 수 있다.
본 발명의 일실시예에 따른 이미지 처리 시스템은, 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지를 처리하는 보조 프로세서; 및 상기 제2모드에서 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 처리하는 메인 프로세서를 포함할 수 있다.
본 발명의 다른 실시예에 따른 이미지 처리 시스템은, 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 및 상기 이미지 센서에 의해 생성된 이미지를 처리하는 프로세서를 포함하고, 상기 프로세서는 상기 제2모드에서 상기 제1모드에서보다 더 많은 전류를 소모하고, 상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지의 처리 결과 안면(face)의 존재가 확인되면, 상기 이미지 센서의 동작 모드를 상기 제2모드로 전환시킬 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 처리 시스템은, 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 및 상기 이미지 센서에 의해 생성된 이미지를 처리하는 프로세서를 포함하고, 상기 프로세서는 상기 제2모드에서 상기 제1모드에서보다 더 많은 전류를 소모하고, 상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지의 처리 결과 제스처(gesture)의 존재가 확인되면, 상기 이미지 센서의 동작 모드를 상기 제2모드로 전환시킬 수 있다.
본 발명의 실시예들에 따르면, 언제나 안면 또는 제스처 인식을 할 수 있으면서도 이미지 처리 시스템의 전류 소모를 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 이미지 처리 시스템(100)의 구성도.
도 2는 제1 내지 제3모드를 설명하기 위한 도면.
도 3은 도 1의 이미지 처리 시스템(100)의 동작 모드 전환을 설명하기 위한 도면.
도 4는 도 1의 이미지 센서(110)의 일실시예 구성도.
도 5는 본 발명의 다른 실시예에 따른 이미지 처리 시스템(500)의 구성도.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 공지의 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
도 1은 본 발명의 일실시예에 따른 이미지 처리 시스템(100)의 구성도이다.
도 1을 참조하면, 이미지 처리 시스템(100)은 이미지 센서(110), 보조 프로세서(120) 및 메인 프로세서(130)를 포함할 수 있다.
이미지 센서(110)는 렌즈(lens)를 통해 들어온 빛을 디지털 신호로 변환해 이미지를 생성할 수 있다. 이미지 센서(110)는 동작 모드들에는 제1 내지 제3모드의 3가지 동작 모드들이 있을 수 있다. 제1모드는 로우 파워(low power) 모드로 제1모드시에 이미지 센서(110)는 가장 적은 전류를 소모하며 가장 낮은 품질의 이미지를 생성할 수 있다. 제2모드는 미드 파워(mid power) 모드로 제2모드시에 이미지 센서(110)는 제1모드보다는 많은 전류를 소모하며 제1모드에서보다는 높은 품질의 이미지를 생성할 수 있다. 제3모드는 하이 파워(high power) 모드로 제3모드시에 이미지 센서(110)는 제2모드보다는 많은 전류를 소모하며 제2모드에서보다는 높은 품질의 이미지를 생성할 수 있다. 도 2는 제1 내지 제3모드를 설명하기 위한 도면이다. 도 2를 참조하면, 제1모드에서는 이미지 센서(110)에서 생성된 이미지가 200*200의 해상도를 가지고 이미지 센서(110)가 1mW의 전류를 소모하는 것을 확인할 수 있다. 또한, 제2모드에서는 이미지 센서(110)에서 생성된 이미지가 1000*1000의 해상도를 가지고 10mW의 전류를 소모하는 것을 확인할 수 있다. 또한, 제3모드에서는 이미지 센서(110)에서 생성된 이미지가 3384*2608의 해상도를 가지고 130mW의 전류를 소모하는 것을 확인할 수 있다. 도 2에 기술된 것과 같이 제1모드에서는 안면(face) 또는 제스처(gesture)의 존재 여부를 확인 가능하게 하는 이미지가 생성될 수 있다. 즉, 제1모드에서는 인식 동작을 수행할 안면 또는 제스처가 존재하는지 정도만 구별 가능하게 하는 이미지가 생성되고, 안면 인식 또는 제스처 인식을 가능하게 할 정도의 이미지는 생성되지 않을 수 있다. 제2모드에서는 안면인식 동작 또는 제스처인식 동작의 수행을 가능하게 할 정도의 이미지가 생성될 수 있다. 그리고 제3모드는 유저가 카메라를 사용하는 모드, 예를 들어 유저가 사진을 찍는 모드,로 이미지 센서(110)의 최대 성능을 발휘하는 모드일 수 있다. 도 2의 숫자들은 상대적인 표현을 위한 예시일 뿐이며, 이러한 숫자들이 도 2의 예시와 달라질 수 있음은 당연하다.
보조 프로세서(120)는 제1모드에서 이미지 센서(110)를 제어하고, 제1모드에서 이미지 센서(110)에 의해 생성된 이미지를 처리할 수 있다. 보조 프로세서(120)는 제1모드에서 이미지 센서(110)에 의해 생성된 이미지를 이용해 안면(face)의 존재여부 또는 제스처의 존재 여부를 확인할 수 있을 정도의 처리가 가능할 정도의 프로세싱 파워를 가지고 있으며, 안면 인식 또는 제스처 인식 동작을 수행하지는 못할 정도의 프로세싱 파워를 가지고 있을 수 있다. 보조 프로세서(120)의 프로세싱 파워가 낮으므로 보조 프로세서의 전류소모 역시 낮은 수준을 유지할 수 있다. 컨트롤 버스(CONTROL_BUS)는 이미지 센서(110)를 제어하기 위한 버스일 수 있으며, 데이터 버스(DATA_BUS)는 이미지 센서(110)에서 생성된 이미지의 전달을 위한 버스일 수 있다. 보조 프로세서(120)에 의해 안면의 존재가 확인되거나 제스처의 존재가 확인된 경우에, 이미지 센서(110)의 동작 모드는 제1모드에서 제2모드로 변경될 수 있다.
메인 프로세서(130)는 제2모드에서 이미지 센서(110)를 제어할 수 있다. 제2모드에서 메인 프로세서(130)는 이미지 센서(110)에 의해 생성된 이미지를 이용해 안면 인식 동작을 수행하거나 제스처 인식 동작을 수행할 수 있다. 안면 인식 동작의 수행 결과 미리 정해진 안면이 인식되는 경우에는, 즉 인증에 성공하는 경우에는, 이미지 처리 시스템(100)을 포함하는 시스템이 언락될 수 있다. 안면 인식 동작의 수행 결과 미리 정해진 안면이 인식되지 않은 경우에 메인 프로세서(130)는 이미지 센서(110)의 동작 모드를 다시 제1모드로 전환시킬 수 있다. 제스처 인식 동작의 수행 결과 미리 정해진 제스처들 중 하나가 인식되는 경우에 메인 프로세서(130)는 해당 제스처에 대응하는 동작이 수행될 수 있도록 이미지 처리 시스템을 포함하는 시스템을 제어할 수 있다. 제스처 인식 동작의 수행 결과 미리 정해진 제스처들 중 하나가 인식되지 않으면 메인 프로세서(130)는 이미지 센서(110)의 동작 모드를 다시 제1모드로 전환시킬 수 있다. 이미지 처리 시스템(100)이 스마트 폰에 포함되는 경우에 메인 프로세서(130)는 스마트 폰의 AP(Application Processor)일수 있다. 또한, 이미지 처리 시스템(100)이 PC에 포함되는 경우에 메인 프로세서(130)는 PC의 CPU(Central Processing Unit)일 수 있다.
메인 프로세서(130)는 제3모드에서도 이미지 센서(110)를 제어할 수 있다. 제3모드는 유저(user)의 지시에 의해 카메라를 사용하는 모드로 이 경우에는 이미지 센서(110)가 최대의 성능으로 동작할 수 있다.
그 밖의 구성들(140)은 이미지 처리 시스템(100)을 포함하는 시스템의 구성들을 나타낸다. 예를 들어, 이미지 처리 시스템(100)이 스마트 폰에 포함되었다면, 그 밖의 구성들(140)은 스마트 폰에서 이미지 처리 시스템(100)을 제외한 구성들을 나타낼 수 있다. 또한, 이미지 처리 시스템(100)이 PC에 포함되었다면 그 밖의 구성들(140)은 PC에서 이미지 처리 시스템(100)을 제외한 구성들을 나타낼 수 있다. 버스(BUS)는 메인 프로세서(130)와 그 밖의 구성들 간의 통신을 위한 버스일 수 있다.
도 1의 이미지 처리 시스템(100)의 구성들(110~130)은 하나 이상의 물리적인 집적회로 칩으로 구현될 수 있다. 예를 들어, 구성들(110~130) 각각이 하나의 집적회로 칩으로 제조되어 이미지 처리 시스템(100)이 3개의 집적회로 칩으로 구현될 수도 있으며, 이미지 센서(110)와 보조 프로세서(120)가 하나의 집적회로 칩으로 제조되고 메인 프로세서(130)가 하나의 집적회로 칩으로 제조되어 이미지 처리 시스템(100)이 2개의 집적회로 칩으로 구현될 수도 있다.
여기서는 이미지 처리 시스템(100)의 안면 인식 동작 및 제스처 인식 동작과 관련하여 설명했는데, 이미지 처리 시스템(100)이 이 두가지 동작 모두를 수행할 수도 있고, 이중 하나의 동작을 수행할 수도 있음은 당연하다.
또한, 여기서는 이미지 처리 시스템(100)의 안면 인식 동작 또는 제스쳐 인식 동작에 본 발명이 적용된 것을 예시했는데, 일반적인 물체 인식(object recognition)에 본 발명이 적용될 수도 있다. 이 경우에 제1모드에서는 물체의 존재 여부를 확인 가능하게 할 정도의 이미지가 생성되고, 물체가 무엇인지를 판별 가능하게 할 정도의 이미지는 생성되지 않을 수 있다. 또한, 제2모드에서는 물체가 무엇인지를 판별 가능하게 할 정도의 이미지가 생성될 수 있다.
도 3은 도 1의 이미지 처리 시스템(100)의 동작 모드 전환을 설명하기 위한 도면이다.
제1모드(310)에서는 이미지 센서(110)가 로우 파워로 동작하고, 보조 프로세서(120)가 이미지 센서(110)를 제어하고 이미지 센서(110)의 이미지를 처리할 수 있다. 제1모드(310)에서는 안면 인식 동작을 수행할 안면이 존재하는지 또는 동작 인식 동작을 수행할 동작이 존재하는지가 감지될 수 있다. 즉, 제1모드에서는 인식 동작을 수행할 필요가 있는지 아닌지의 여부를 감지하기 위한 동작이 수행될 수 있다. 이미지 처리 시스템(100)이 적극적으로 사용되지 않고 있는 상태(예, 대기 상태)에서는 이미지 처리 시스템(100)이 제1모드(310)로 유지될 수 있다. 제1모드(310)의 동작 중에 인식 동작을 수행할 안면 또는 제스처가 존재한다고 판단되면 이미지 처리 시스템(100)의 동작 모드는 제1모드(310)에서 제2모드(320)로 전환될 수 있다(311). 또한, 제1모드(310)의 동작 중에 유저(user)에 의해 카메라 기능의 사용이 요청될 경우에 이미지 처리 시스템(100)의 동작 모드는 제1모드(310)에서 제3모드(330)로 전환될 수 있다(312). 제1모드(310)에서는 이미지 센서(110) 낮은 초당 프레임(fps: frame per second)으로 이미지를 생성할 수 있다.
제2모드(320)에서는 이미지 센서(110)가 미드 파워로 동작하고, 메인 프로세서(130)가 이미지 센서(110)를 제어하고 이미지 센서(110)의 이미지를 처리할 수 있다. 제2모드(320)에서는 안면 인식(face recognition) 동작 또는 제스처 인식(gesture recognition) 동작이 수행될 수 있다. 안면인식 동작의 수행 결과 미리 정해진 안면이 인식되는 경우에, 즉 인증(authentication)에 성공하는 경우에, 이미지 처리 시스템(100) 및 이미지 처리 시스템(100)을 포함하는 시스템(예, 스마트폰 또는 PC 등)이 언락(unlock)될 수 있다. 안면인식 동작의 수행 결과 미리 정해진 안면이 인식되지 않는 경우에는, 이미지 처리 시스템(100)이 언락되지 않을 수 있다. 인증의 성공 여부와 상관 없이, 안면인식 동작의 완료 이후에 이미지 센서(100)의 동작 모드는 제2모드에서 제1모드로 전환될 수 있다(321). 동작 인식 동작의 수행 결과 미리 정해진 동작들 중 하나가 인식되는 경우에 해당 동작이 지시하는 동작이 수행될 수 있다. 동작 인식 동작의 완료 이후에 이미지 센서(100)의 동작 모드는 제2모드에서 제1모드로 전환될 수 있다(321). 또한, 제2모드(320)의 동작 중에 유저에 의해 카메라 기능의 사용이 요청될 경우에 이미지 처리 시스템(100)의 동작 모드는 제2모드(320)에서 제3모드(330)로 전환될 수 있다(322). 제2모드(320)에서 이미지 센서(110)는 제1모드(310) 이상의 초당 프레임(fps)로 이미지를 생성할 수 있다.
제3모드(330)에서는 이미지 센서(110)가 하이 파워로 동작하고, 메인 프로세서(130)가 이미지 센서(110)를 제어하고 이미지 센서(110)의 이미지를 처리할 수 있다. 제3모드(330)에서는 이미지 처리 시스템이 유저에 의해 요청된 카메라 기능을 수행할 수 있다. 제3모드(330)의 동작이 완료된 경우에는, 즉 유저에 의해 요청된 동작을 모두 수행한 이후에는, 이미지 처리 시스템(100)의 동작 모드가 제3모드(330)에서 제1모드(310)로 전환될 수 있다(331). 제3모드(330)의 동작 중 안면 인식 동작 또는 제스처 인식 동작의 수행이 필요한 경우에는, 모드의 변환 없이 제3모드(330)에서 안면 인식 또는 제스처 인식 동작이 수행될 수 있다. 제3모드(330)에서는 이미지 센서(110)에서 높은 품질의 이미지가 생성되고 메인 프로세서(130)가 이미지를 처리하므로, 안면 인식 동작 또는 동작 인식 동작이 수행될 수 있다. 제3모드(330)에서 이미지 센서는 제2모드(320) 이상의 초당 프레임(fps)으로 이미지를 생성할 수 있다.
도 3에는 도시되지 않았지만, 이미지 센서(110)의 동작 모드에는 아이들(idle) 모드가 있을 수 있다. 이 경우 이미지 센서(110)와 보조 프로세서(120)는 비활성화되고, 안면 인식 및 동작 인식 등을 위한 동작은 수행되지 않을 수 있다.
도 4는 도 1의 이미지 센서(110)의 일실시예 구성도이다.
도 4를 참조하면, 이미지 센서(110)는, 픽셀 어레이(410), 로우 디코더(420), 리드 아웃 회로(430) 및 모드 제어부(440)를 포함할 수 있다.
픽셀 어레이(410)는 다수의 로우와 다수의 컬럼으로 배열된 다수의 픽셀들을 포함할 수 있다. 로우 디코더(420)는 픽셀 어레이(410) 내의 픽셀들을 로우 별로 선택하고 선택된 로우의 픽셀들을 제어하기 위한 신호들을 생성할 수 있다. 리드 아웃 회로(430)는 픽셀 어레이(410)에서 로우 디코더(420)에 의해 선택된 로우의 픽셀들로부터 출력되는 픽셀 신호들을 이용해 이미지(IMG)를 생성할 수 있다. 리드 아웃 회로에서 생성된 이미지(IMG)는 데이터 버스(DATA_BUS)를 통해 보조 프로세서(120) 또는 메인 프로세서(130)로 전달될 수 있다.
모드 제어부(440)는 이미지 센서(110)의 동작 모드를 제어할 수 있다. 이미지 센서(110)는 동작 모드에 따라 다른 품질의 이미지(IMG)를 생성할 수 있다. 이미지 품질의 조절은 모드 제어부(440)가 픽셀 비닝(binning) 동작 또는 픽셀 스키핑(skipping) 동작을 조절하는 것에 의해 수행될 수 있다.
모드 제어부(440)는 제3모드에서는 픽셀 비닝 동작과 픽셀 스키핑 동작이 수행되지 않도록 로우 디코더(420)와 리드 아웃 회로(430)를 제어할 수 있다. 그리고 모드 제어부는 제2모드에서는 픽셀 비닝 동작과 픽셀 스키핑 동작 중 적어도 하나의 동작이 수행되도록 로우 디코더(420)와 리드 아웃 회로(430)를 제어할 수 있다. 또한, 모드 제어부(440)는 제1모드에서는 제2모드에서보다 더 많은 픽셀이 픽셀 비닝되거나 픽셀 스키핑되도록 로우 디코더(420)와 리드 아웃 회로(430)를 제어할 수 있다. 예를 들어, 모드 제어부(440)는 제3모드에서는 픽셀 비닝 동작이 수행되지 않고, 제2모드에서는 4개의 픽셀 단위로 비닝 동작이 수행되고, 제1모드에서는 16개의 픽셀 단위로 비닝 동작이 수행되도록 로우 디코더(420)와 리드 아웃 회로(430)를 제어할 수 있다. 모드 제어부(440)로 입력되는 모드 신호(MODE)는 보조 프로세서(120) 또는 메인 프로세서(130)에 의해 설정된 모드를 알려주는 신호로 제어 버스(CONTROL_BUS)를 통해 모드 제어부(440)로 전달될 수 있다. 모드 신호(MODE)는 멀티 비트의 신호일 수 있다.
도 5는 본 발명의 다른 실시예에 따른 이미지 처리 시스템(500)의 구성도이다.
도 5를 참조하면, 이미지 처리 시스템(500)은 이미지 센서(110)와 프로세서(530)를 포함할 수 있다.
도 5의 이미지 처리 시스템(500)에서는 보조 프로세서(120)와 메인 프로세서(130)가 하나의 프로세서(530)로 통합된다. 프로세서(530)는 제1모드, 제2모드 및 제3모드에서 동작하며, 모드에 따라 퍼포먼스가 조절될 수 있다. 즉, 프로세서(530)는 제1모드에서 제3모드로 갈수록 더욱 많은 전류를 소모하고 더욱 강력한 처리 능력을 가질 수 있다.
보조 프로세서(120)와 메인 프로세서(130)가 하나의 프로세서(530)로 통합되었다는 점을 제외하고 이미지 처리 시스템(500)은 이미지 처리 시스템(100)과 동일하게 동작할 수 있다.
본 발명의 기술사상은 상기 바람직할 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 전문가라면 본 발명의 기술사상의 범위 내에서 다양한 실시예가 가능함을 알 수 있을 것이다.
100: 이미지 처리 시스템
110: 이미지 센서
120: 보조 프로세서
130: 메인 프로세서

Claims (22)

  1. 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서;
    상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지를 처리하는 보조 프로세서; 및
    상기 제2모드에서 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 처리하는 메인 프로세서
    를 포함하는 이미지 처리 시스템.
  2. 제 1항에 있어서,
    상기 제1모드에서 상기 보조 프로세서에 의해 안면(face)의 존재가 확인되면, 상기 이미지 처리 시스템의 동작 모드는 상기 제1모드에서 상기 제2모드로 전환되는
    이미지 처리 시스템.
  3. 제 2항에 있어서,
    상기 제2모드에서 상기 메인 프로세서는 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 이용해 안면 인식(face recognition) 동작을 수행하는
    이미지 처리 시스템.
  4. 제 3항에 있어서,
    상기 이미지 센서는
    상기 제1모드에서 상기 제2모드에서보다 더 적은 전력을 소모하는
    이미지 처리 시스템.
  5. 제 3항에 있어서,
    상기 제1품질의 이미지는 상기 제2품질의 이미지보다 낮은 해상도를 가지는
    이미지 처리 시스템.
  6. 제 3항에 있어서,
    상기 메인 프로세서의 상기 안면 인식 동작 결과 미리 정해진 안면이 인식되지 않으면,
    상기 이미지 처리 시스템의 동작 모드는 상기 제2모드에서 상기 제1모드로 전환되는
    이미지 처리 시스템.
  7. 제 3항에 있어서,
    상기 메인 프로세서의 상기 안면 인식 동작 결과 미리 정해진 안면이 인식되면,
    상기 이미지 처리 시스템이 언락(unlock) 상태가 되는
    이미지 처리 시스템.
  8. 제 4항에 있어서,
    상기 이미지 센서는 상기 제2품질보다 높은 제3품질의 이미지를 생성하는 제3모드의 동작을 더 수행하고,
    상기 메인 프로세서는 상기 제3모드에서 상기 이미지 센서에 의해 생성된 상기 제3품질의 이미지를 처리하고,
    상기 제3모드는 상기 언락 상태에서 사용자의 명령에 따라 진입되는
    이미지 처리 시스템.
  9. 제 1항에 있어서,
    상기 제1모드에서 상기 보조 프로세서에 의해 제스처(gesture)의 존재가 확인되면, 상기 이미지 처리 시스템의 동작 모드는 상기 제1모드에서 제2모드로 전환되는
    이미지 처리 시스템.
  10. 제 9항에 있어서,
    상기 제2모드에서 상기 메인 프로세서는 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 이용해 제스처 인식(gesture recognition) 동작을 수행하는
    이미지 처리 시스템.
  11. 제 10항에 있어서,
    상기 메인 프로세서의 상기 제스처 인식 동작 결과 미리 정해진 제스처들 중 하나가 인식되지 않으면,
    상기 이미지 처리 시스템의 동작 모드는 상기 제2모드에서 상기 제1모드로 전환되는
    이미지 처리 시스템.
  12. 제 10항에 있어서,
    상기 메인 프로세서의 상기 제스처 인식 동작 결과 미리 정해진 제스처들 중 하나가 인식되면, 상기 이미지 처리 시스템은 해당 동작이 지시하는 동작을 수행하는
    이미지 처리 시스템.
  13. 제 8항에 있어서,
    상기 이미지 센서는
    상기 제1모드와 상기 제2모드에서 픽셀 비닝(binning) 동작을 수행하고,
    상기 제1모드에서 비닝되는 픽셀의 개수는 상기 제2모드에서 비닝되는 픽셀의 개수보다 많은
    이미지 처리 시스템.
  14. 제 8항에 있어서,
    상기 이미지 센서는
    상기 제1모드와 상기 제2모드에서 픽셀 스키핑(skipping) 동작을 수행하고,
    상기 제1모드에서 스키핑되는 픽셀의 개수는 상기 제2모드에서 스키핑되는 픽셀의 개수보다 많은
    이미지 처리 시스템.
  15. 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 및
    상기 이미지 센서에 의해 생성된 이미지를 처리하는 프로세서를 포함하고,
    상기 프로세서는 상기 제2모드에서 상기 제1모드에서보다 더 많은 전류를 소모하고,
    상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지의 처리 결과 안면(face)의 존재가 확인되면, 상기 이미지 센서의 동작 모드를 상기 제2모드로 전환시키는
    이미지 처리 시스템.
  16. 제 15항에 있어서,
    상기 제2모드에서 상기 프로세서는 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 이용해 안면 인식(face recognition) 동작을 수행하는
    이미지 처리 시스템.
  17. 제 15항에 있어서,
    상기 안면 인식 동작 결과 미리 정해진 안면에 인식되지 않으면, 상기 이미지 센서의 동작 모드는 상기 제1모드로 전환되는
    이미지 처리 시스템.
  18. 제 15항에 있어서,
    상기 안면 인식 동작 결과 미리 정해진 안면이 인식되면, 상기 이미지 처리 시스템이 언락(unlock) 상태가 되는
    이미지 처리 시스템.
  19. 제1품질의 이미지를 생성하는 제1모드와 상기 제1품질보다 높은 제2품질의 이미지를 생성하는 제2모드의 동작을 수행하는 이미지 센서; 및
    상기 이미지 센서에 의해 생성된 이미지를 처리하는 프로세서를 포함하고,
    상기 프로세서는 상기 제2모드에서 상기 제1모드에서보다 더 많은 전류를 소모하고,
    상기 제1모드에서 상기 이미지 센서에 의해 생성된 상기 제1품질의 이미지의 처리 결과 제스처(gesture)의 존재가 확인되면, 상기 이미지 센서의 동작 모드를 상기 제2모드로 전환시키는
    이미지 처리 시스템.
  20. 제 19항에 있어서,
    상기 제2모드에서 상기 프로세서는 상기 이미지 센서에 의해 생성된 상기 제2품질의 이미지를 이용해 제스처 인식 동작을 수행하는
    이미지 처리 시스템.
  21. 제 20항에 있어서,
    상기 제스처 인식 동작 결과 미리 정해진 제스처들 중 하나가 인식되지 않으면, 상기 이미지 센서의 동작 모드는 상기 제1모드로 전환되는
    이미지 처리 시스템.
  22. 제 20항에 있어서,
    상기 제스처 인식 동작 결과 미리 정해진 제스처들 중 하나가 인식되면, 상기 이미지 처리 시스템은 해당 동작이 지시하는 동작을 수행하는
    이미지 처리 시스템.
KR1020200095045A 2020-07-30 2020-07-30 이미지 처리 시스템 KR20220015039A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200095045A KR20220015039A (ko) 2020-07-30 2020-07-30 이미지 처리 시스템
US17/142,464 US20220036045A1 (en) 2020-07-30 2021-01-06 Image processing system
CN202110440412.7A CN114092989A (zh) 2020-07-30 2021-04-23 图像处理系统及其方法
JP2021094728A JP2022027472A (ja) 2020-07-30 2021-06-04 イメージ処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200095045A KR20220015039A (ko) 2020-07-30 2020-07-30 이미지 처리 시스템

Publications (1)

Publication Number Publication Date
KR20220015039A true KR20220015039A (ko) 2022-02-08

Family

ID=80004442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200095045A KR20220015039A (ko) 2020-07-30 2020-07-30 이미지 처리 시스템

Country Status (4)

Country Link
US (1) US20220036045A1 (ko)
JP (1) JP2022027472A (ko)
KR (1) KR20220015039A (ko)
CN (1) CN114092989A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118116117A (zh) * 2022-11-30 2024-05-31 荣耀终端有限公司 人群识别方法、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012968A1 (en) * 2003-07-14 2005-01-20 Dialog Semiconductor Pixel with variable resolution during exposure
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
JP5129683B2 (ja) * 2008-08-05 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法
JP5263092B2 (ja) * 2009-09-07 2013-08-14 ソニー株式会社 表示装置および制御方法
US9785217B2 (en) * 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10861462B2 (en) * 2018-03-12 2020-12-08 Cypress Semiconductor Corporation Dual pipeline architecture for wakeup phrase detection with speech onset detection
US11394860B2 (en) * 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Also Published As

Publication number Publication date
US20220036045A1 (en) 2022-02-03
JP2022027472A (ja) 2022-02-10
CN114092989A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
RU2639648C1 (ru) Способ и устройство распознавания отпечатков пальцев
KR102128468B1 (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US11217146B2 (en) Gray-level compensation method and apparatus, display device and computer storage medium
JP2018160799A (ja) 制御装置、制御方法、プログラム、及び、電子機器システム
US11393418B2 (en) Method, device and system for data transmission, and display device
US11887276B2 (en) Image processing method and display apparatus for adjusting format and resolution of input image in parallel and matrix manner
US9753532B2 (en) Image processing method and image processing apparatus
CN110555334A (zh) 人脸特征确定方法、装置、存储介质及电子设备
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
US10402554B2 (en) Technologies for depth-based user authentication
CN103959763B (zh) 用于基于定向来生成图像的装置和方法
US20220036045A1 (en) Image processing system
EP3646579B1 (en) Configuring image stabilization for still image generation
CN114286003A (zh) 拍摄方法、拍摄装置和电子设备
CN106127166A (zh) 一种增强现实ar图像处理方法、装置及智能终端
US10742876B2 (en) Imaging device, imaging method, and imaging program
US10958833B2 (en) Electronic device for controlling frame rate of image sensor and method thereof
KR20110056616A (ko) 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
US20210152761A1 (en) Electronic device and method for controlling the same
EP4116850A1 (en) Biometric authentication system and electronic device for same
CN115379091B (zh) 感光芯片、电子设备及其控制方法和装置
US12114064B2 (en) Imaging apparatus, power control method, and power control program preliminary class
CN112468725B (zh) 照片拍摄方法、装置、存储介质及移动终端
US20230156337A1 (en) Electronic device having a plurality of lenses and controlling method thereof
EP1396997A2 (en) Image Display System and Display Device