KR102157338B1 - 복수의 센서 기능을 수행하는 전자 장치 및 방법 - Google Patents
복수의 센서 기능을 수행하는 전자 장치 및 방법 Download PDFInfo
- Publication number
- KR102157338B1 KR102157338B1 KR1020130136855A KR20130136855A KR102157338B1 KR 102157338 B1 KR102157338 B1 KR 102157338B1 KR 1020130136855 A KR1020130136855 A KR 1020130136855A KR 20130136855 A KR20130136855 A KR 20130136855A KR 102157338 B1 KR102157338 B1 KR 102157338B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- pixels
- pixel group
- subject
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 130
- 239000000463 material Substances 0.000 claims description 43
- 238000010521 absorption reaction Methods 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 14
- 239000013256 coordination polymer Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002583 angiography Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
본 발명은 전자 장치의 동작 방법에 있어서, 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하는 과정; 상기 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃 하는 과정; 및 상기 리드 아웃 한 픽셀 그룹을 기반으로 적어도 하나의 센서 기능을 수행하는 과정을 그 구성상의 특징으로 하는 복수의 센서 기능을 수행하는 전자 장치 및 방법에 관한 것이다.
Description
본 발명은 복수의 센서 기능을 수행하는 전자 장치 및 방법에 관한 것이다.
정보 통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자 장치는 음성 통화 서비스, 영상 통화 서비스, 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 멀티미디어 서비스를 제공할 수 있다.
본 발명의 다양한 실시 예는 복수의 픽셀로 구성된 센서에서 픽셀의 배열을 달리하여 복수의 센서 기능을 수행하여, 전자 장치의 실장 공간을 확보할 수 있어 경제성을 향상시켜 줄 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 다양한 실시 예는 복수의 픽셀로 구성된 센서에서 물체 인식 기능을 추가로 실행할 수 있어, 사용자의 편의성을 향상시켜 줄 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 실시 예들에 따르면, 전자 장치의 동작 방법에 있어서, 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하는 과정; 상기 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃 하는 과정; 및 상기 리드 아웃 한 픽셀 그룹을 기반으로 적어도 하나의 센서 기능을 수행하는 과정을 그 구성상의 특징으로 한다.
상기 센서는, 적어도 하나의 화이트 픽셀 및 적어도 하나의 IR 픽셀로 구성될 수 있다.
상기 센서는, 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수 있다.
상기 제1 물질 및 상기 제2 물질은, 동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 것일 수 있다.
상기 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하는 과정은, 상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 화이트 픽셀은 감지된 가시광선의 파장의 길이에 따라 얼굴을 감지할 수 있다.
상기 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하는 과정은, 상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 IR 픽셀은 감지된 적외선의 파장의 길이에 따라 피사체가 설정된 거리 내에 위치하고 있음을 감지할 수 있다.
상기 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하는 과정은, 상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 IR 픽셀은 감지된 적외선의 파장의 길이에 따라 홍채를 감지할 수 있다.
상기 픽셀 그룹은, 상기 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성될 수 있다.
상기 적어도 하나의 센서 기능은, 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능 및 제스처 인식 기능 중 적어도 하나의 기능일 수 있다.
상기 리드 아웃 한 픽셀 그룹을 기반으로 물체 인식 기능을 수행하는 과정을 더 포함할 수 있다.
본 발명의 실시 예들에 따르면, 전자 장치에 있어서, 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하고, 상기 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃하고, 상기 리드 아웃 한 픽셀 그룹을 기반으로 적어도 하나의 센서 기능을 수행하는 프로세서; 및 상기 프로세서에서 제어된 데이터를 저장하는 메모리를 그 구성상의 특징으로 한다.
상기 센서는, 적어도 하나의 화이트 픽셀 및 적어도 하나의 IR 픽셀로 구성될 수 있다.
상기 센서는, 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수 있다.
상기 제1 물질 및 상기 제2 물질은, 동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 것일 수 있다.
상기 프로세서는, 상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 화이트 픽셀은 감지된 가시광선의 파장의 길이에 따라 얼굴을 감지할 수 있다.
상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 IR 픽셀은, 감지된 적외선의 파장의 길이에 따라 피사체가 설정된 거리 내에 위치하고 있음을 감지할 수 있다.
상기 프로세서는, 상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 IR 픽셀은 감지된 적외선의 파장의 길이에 따라 홍채를 감지할 수 있다.
상기 픽셀 그룹은, 상기 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성될 수 있다.
상기 적어도 하나의 센서 기능은, 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능 및 제스처 인식 기능 중 적어도 하나의 기능일 수 있다.
상기 프로세서는, 상기 리드 아웃 한 픽셀 그룹을 기반으로 물체 인식 기능을 수행할 수 있다.
본 발명의 다양한 실시 예는 복수의 픽셀로 구성된 센서에서 픽셀의 배열을 달리하여 복수의 센서 기능을 수행하여, 전자 장치의 실장 공간을 확보할 수 있어 경제성을 향상시켜 줄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도.
도 2는 본 발명의 일 실시 예에 따른 하드웨어의 블록도.
도 3은 본 발명의 일 실시 예에 따른 프로그래밍 모듈의 블록도.
도 4는 본 발명의 일 실시 예에 따른 이미지 장치를 개괄적으로 도시한 도면.
도 5는 본 발명의 일 실시 예에 따른 이미지 장치에 포함된 센서부의 구성을 개괄적으로 도시한 도면.
도 6은 본 발명의 일 실시 예에 따른 픽셀 그룹을 도시한 도면.
도 7은 본 발명의 일 실시 예에 따른 센서부에 구비된 화이트 픽셀과 IR 픽셀의 측면도를 도시한 도면.
도 8은 본 발명의 일 실시 예에 따른 복수의 픽셀을 구비하는 픽셀 어레이를 도시한 도면.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 동작 순서를 도시한 순서도.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 방법의 흐름도.
도 2는 본 발명의 일 실시 예에 따른 하드웨어의 블록도.
도 3은 본 발명의 일 실시 예에 따른 프로그래밍 모듈의 블록도.
도 4는 본 발명의 일 실시 예에 따른 이미지 장치를 개괄적으로 도시한 도면.
도 5는 본 발명의 일 실시 예에 따른 이미지 장치에 포함된 센서부의 구성을 개괄적으로 도시한 도면.
도 6은 본 발명의 일 실시 예에 따른 픽셀 그룹을 도시한 도면.
도 7은 본 발명의 일 실시 예에 따른 센서부에 구비된 화이트 픽셀과 IR 픽셀의 측면도를 도시한 도면.
도 8은 본 발명의 일 실시 예에 따른 복수의 픽셀을 구비하는 픽셀 어레이를 도시한 도면.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 동작 순서를 도시한 순서도.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 발명에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 스마트 가전(smart white appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자 등), 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다. 도 1을 참조하면, 전자장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 또는 통신 모듈(160)을 포함할 수 있다.
버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
프로세서(120)는, 예를 들면, 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 프로세서(120) 또는 다른 구성요소들(예: 상기 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 수신되거나 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface, 133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(131)은 미들웨어(132), API(133) 또는 애플리케이션(134)에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(132)는 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(132)는 (다수의) 애플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, (다수의) 애플리케이션들(134) 들 중 적어도 하나의 애플리케이션에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
사용자 입력 모듈(140)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전달할 수 있다. 디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.
통신 모듈(160)은 다른 전자 장치(102)와 전자 장치(100) 간의 통신을 연결할 수 있다. 통신 모듈(160)은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(162)(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)을 지원할 수 있다. 전자 장치(102, 104) 각각은 전자 장치(100)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 하드웨어의 블록도이다. 상기 하드웨어(200)는, 예를 들면, 도 1에 도시된 전자 장치(100)일 수 있다. 도 2를 참조하면, 하드웨어(200)는 하나 이상의 프로세서(210), SIM(subscriber identification module) 카드(214), 메모리(220), 통신 모듈(230), 센서 모듈(240), 사용자 입력 모듈 250, 디스플레이 모듈 260, 인터페이스 270, 오디오 코덱 280, 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298)를 포함할 수 있다.
프로세서(210) (예: 프로세서 120)는 하나 이상의 애플리케이션 프로세서(AP: application processor, 211) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor, 213)를 포함할 수 있다. 프로세서(210)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 2에서는 상기 AP(211) 및 CP(213)가 프로세서(210) 내에 포함된 것으로 도시되었으나, AP(211)와 CP(213)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 일 실시 예에서는 AP(211) 및 CP(213)는 하나의 IC 패키지 내에 포함될 수 있다. 본 발명에서 프로세서(210)는 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지하고, 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃하고, 상기 리드 아웃 한 픽셀 그룹을 기반으로 적어도 하나의 센서 기능을 수행할 수 있다. 또한, 프로세서(210)는, 센서에 구비된 복수의 픽셀 중 적어도 하나의 화이트 픽셀은 감지된 가시광선의 파장의 길이에 따라 얼굴을 감지할 수 있다. 또한, 프로세서(210)는, 리드 아웃 한 픽셀 그룹을 기반으로 물체 인식 기능을 수행할 수 있다.
AP(211)는 운영체제 또는 응용 프로그램을 구동하여 AP(211)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP(211)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 일 실시 예에 따르면, 프로세서(210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
CP(213)는 하드웨어(200)를 포함하는 전자 장치(예: 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP(213)는, 예를 들면, SoC로 구현될 수 있다. 일 실시 예에 따르면, CP(213)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP(213)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, CP(213)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, CP(213)는 통신 모듈(230)의 데이터 송수신을 제어할 수 있다. 도 2에서는, CP(213), 전력관리 모듈(295) 또는 메모리(220) 등의 구성요소들이 AP(211)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, AP(211)가 전술한 구성요소들의 적어도 일부(예: CP(213))를 포함하도록 구현될 수 있다.
일 실시 예에 따르면, AP(211) 또는 CP(213)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP(211) 또는 CP(213)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
SIM 카드(214)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드(214)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(220)는 내장 메모리(222) 또는 외장 메모리(224)를 포함할 수 있다. 메모리(220)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 내장 메모리(222)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 내장 메모리(222)는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 외장 메모리(224)는, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 memorystick 등을 더 포함할 수 있다.
통신 모듈(230)은 무선 통신 모듈(231) 또는 RF 모듈(234)을 포함할 수 있다. 통신 모듈(230)은, 예를 들면, 도 1에 도시된 통신 모듈(160)일 수 있다. 무선 통신 모듈(231)은, 예를 들면, WiFi(233), BT(bluetooth, 235), GPS(237) 또는 NFC(near field communication, 239)를 포함할 수 있다. 예를 들면, 무선 통신 모듈(231)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈(231)은 하드웨어(200)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
RF 모듈(234)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. RF 모듈(234)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈(234)은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), RGB(red, green, blue) 센서(240H), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 센서 모듈(240)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.
사용자 입력 모듈(250)은 터치 패널(touch panel, 252), (디지털) 펜 센서(pen sensor, 254), 키(key, 256) 또는 초음파 입력 장치(258)를 포함할 수 있다. 사용자 입력 모듈(250)은, 예를 들면, 도 1에 도시된 사용자 입력 모듈(140)일 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널(252)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키(256)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 초음파 입력 장치(258)는 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 하드웨어(200)는 통신 모듈(230)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 포함할 수 있다. 디스플레이 모듈(260)은, 예를 들면, 도 1에 도시된 디스플레이 모듈(150)일 수 있다. 패널(262)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 홀로그램(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 제어하기 위한 제어회로를 더 포함할 수 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface, 272), USB(universal serial bus, 274), 프로젝터(276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
오디오 코덱(280)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 코덱(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.
카메라 모듈(291)은 화상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.
전력관리 모듈(295)은 하드웨어 200의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력관리 모듈(295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 일 실시 예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(296)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.
인디케이터(297)는 하드웨어(200) 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. MCU (299)은, 센서 모듈(240)을 제어할 수 있다.
도시되지는 않았으나, 하드웨어(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명에 따른 하드웨어의 전술한 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 프로그래밍 모듈의 블록도이다. 프로그래밍 모듈(300)은 도 1에 도시된 전자 장치(100)(예: 메모리(130))에 포함(예:저장)될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 프로그래밍 모듈(300)은 하드웨어(예: 하드웨어(200))에 구현되어 전자 장치(예: 전자 장치(100))에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제상에서 구동되는 다양한 애플리케이션(예: 애플리케이션(370))을 포함할 수 있다. 예를 들면, 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 프로그래밍 모듈(300)은 커널(310), 미들웨어 (330), API(application programming interface, 360) 또는 애플리케이션(370)을 포함할 수 있다.
커널(310)(예: 커널(131))은 시스템 리소스 매니저(311) 또는 디바이스 드라이버(312)를 포함할 수 있다. 시스템 리소스 매니저(311)는, 예를 들면, 프로세스관리부(313), 메모리관리부(315) 또는 파일시스템 관리부(317) 등을 포함할 수 있다. 시스템 리소스 매니저(311)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 디바이스 드라이버(312)는, 예를 들면, 디스플레이 드라이버(314), 카메라 드라이버(316), 블루투스 드라이버(318), 공유 메모리 드라이버(320), USB 드라이버(322), 키패드 드라이버(324), WiFi 드라이버(326) 또는 오디오 드라이버(328)를 포함할 수 있다. 또한, 일 실시 예에 따르면, 디바이스 드라이버(312)는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.
미들웨어(330)는 애플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 미들웨어(330)는 애플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 기능을 제공할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 미들웨어(330)(예: 미들웨어(132))는 런타임 라이브러리(335), 어플리케이션 매니저(application manager, 341), 윈도우 매니저(window manager, 342), 멀티미디어 매니저(multimedia manager, 343), 리소스 매니저(resource manager, 344), 파워 매니저(power manager, 345), 데이터베이스 매니저(database manager, 346), 패키지 매니저(347), 연결 매니저(connectivity manager, 348), 통지 매니저(notification manager, 349), 위치 매니저(location manager, 350), 그래픽 매니저(graphic manager, 351) 또는 보안 매니저(security manager, 352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 애플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 일 실시 예에 따르면, 런타임 라이브러리(335)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
애플리케이션 매니저(341)는, 예를 들면, 애플리케이션(370) 중 적어도 하나의 애플리케이션의 생명주기(life cycle)를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(344)는 상기 애플리케이션(370) 중 적어도 어느 하나의 애플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(345)는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(346)는 애플리케이션(370) 중 적어도 하나의 애플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 애플리케이션의 설치 또는 업 데이트를 관리할 수 있다.
연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 일 실시 예에 따르면, 전자 장치(예: 전자 장치(100))가 전화 기능을 구비한 경우에는, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.
미들웨어(330)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 발명의 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.
API(360)(예: API(133))는 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 IOS의 경우, 예를 들면, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.
애플리케이션(370)(예: 상기 애플리케이션(134))은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.
프로그래밍 모듈(300)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(260)가 될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는, 예를 들면, 프로세서(210)에 의해 구현(implement) (예: 실행)될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 발명에 따른 프로그래밍 모듈(예: 프로그래밍 모듈(300))의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 또한, 본 발명에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 이미지 장치를 개괄적으로 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명에 따른 전자 장치는 설정된 영역에 이미지 장치(401)를 구비할 수 있다.
먼저, 이미지 장치(401)는 발광 다이오드(Light Emitting Diode) 발광부와 센서부로 구성될 수 있다. 여기서, 발광 다이오드 발광부는 IR(Infrared Ray) 발광 다이오드일 수 있다. 또한, 센서부는 복수의 픽셀을 포함하는 픽셀 어레이로 구성될 수 있다. 보다 구체적으로, 센서부는 복수의 화이트 픽셀(white pixel) 및 복수의 IR 픽셀(Infrared Ray pixel)로 구성될 수 있고, 가시광선(visible ray)의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수도 있다. 또한, 센서부는 동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 제1 물질 및 제2 물질로 구성될 수도 있다.
또한, 이미지 장치(401)는 전자 장치의 전면에 구비되어 복수의 센서 기능을 수행할 수 있다. 보다 구체적으로, 전자 장치의 전면에 구비된 이미지 장치(401)는 센서부를 통하여 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능 및 제스처 인식 기능 등과 같은 복수의 센서 기능을 수행할 수 있다.
또한, 이미지 장치(401)는 전자 장치에 구비된 복수의 카메라의 화각(angle of view)보다 더 넓은 화각(a)을 가질 수 있다. 보다 구체적으로, 이미지 장치(401)는 이미지 장치(401)에 구비된 센서부를 이용하여 다양한 센서 기능을 수행하기 때문에 기존의 카메라의 화각보다 더 넓은 화각(a)의 범위를 가질 수 있다. 상술한 바와 같이, 본 발명에 따른 이미지 장치(401)에는 발광 다이오드 발광부 및 센서부로 구성될 수 있다고 하였으나, 발광 다이오드 발광부는 별도의 위치에 구비될 수도 있어, 이미지 장치(401)에는 센서부로만 구성될 수도 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 장치에 포함된 센서부의 구성을 개괄적으로 도시한 도면이다. 먼저, 본 발명에 따른 센서부는 복수의 센서 기능을 수행하기 위하여, 복수의 화이트 픽셀 및 복수의 IR 픽셀로 구성될 수 있다. 예를 들면, 도 5의(a)에 도시된 바와 같이, 센서부에는 복수의 화이트 픽셀 및 복수의 IR 픽셀이 설정된 조합에 따라 배열될 수 있다. 따라서, 본 실시 예에서 도시된 화이트 픽셀 및 IR 픽셀의 배열은 사용자의 설정에 따라 변화될 수 있다.
여기서, 센서부에 구비된 화이트 픽셀은 감지된 가시광선의 파장의 길이에 따라 얼굴을 감지할 수 있다. 보다 구체적으로, 화이트 픽셀은 약 380nm에서 770nm 사이 대역의 파장의 길이를 감지하여, 감지한 파장의 길이에 따라 얼굴 인식 기능을 수행할 수 있다.
또한, 센서부에 구비된 IR 픽셀은 감지된 적외선의 파장의 길에 따라 피사체가 설정된 거리 내에 위치하고 있음을 감지할 수 있다. 보다 구체적으로, IR 픽셀은 약 0.75μm에서 1mm 사이 대역의 파장의 길이를 감지하여, 감지한 파장의 길에 따라 제스처 인식 기능을 수행할 수 있다.
또한, 센서부에 구비된 IR 픽셀은 감지된 적외선의 파장의 길에 따라 홍채를 감지할 수 있다. 보다 구체적으로, IR 픽셀은 약 0.75μm에서 1mm 사이 대역의 파장의 길이를 감지하여, 감지한 파장의 길에 따라 홍채 인식 기능을 수행할 수 있다.
또 다른 예를 들면, 도 5의(b)에 도시된 바와 같이, 본 발명에 따른 센서부는 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수도 있다. 즉, 센서부는 가시광선에 흡수율이 좋은 재료로 이루어진 제1 물질과 적외선 흡수율이 좋은 재료로 이루어진 제2 물질이 적층되어 있는 구조로 이루어질 수도 있다. 여기서, 센서부를 이루는 제1 물질 및 제2 물질의 적층 순서는 제1 물질이 상층에 위치할 수도 있고, 제2 물질이 상층에 위치할 수도 있다.
또 다른 예를 들면, 도 5의(c)에 도시된 바와 같이, 본 발명에 따른 센서부는 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선 흡수율이 설정된 흡수율 이상인 제2 물질이 동일 픽셀 내에서의 수직 상의 깊이(d1, d2)를 서로 다르게 하여 이루어질 수도 있다. 여기서, 센서부를 이루는 제1 물질 및 제2 물질의 수직 상의 깊이는 제1 물질의 깊이가 제2 물질의 깊이보다 더 깊을 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 픽셀 그룹을 도시한 도면이다. 이하, 본 실시 예에서는 피사체 및 주변 밝기를 감지하는 센서부가 복수의 화이트 픽셀 및 IR 픽셀로 구성되어 있는 경우를 예를 들어 설명하겠다.
먼저, 전자 장치는 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지할 수 있다. 예를 들면, 도 6에 도시된 바와 같이, 전자 장치는 복수의 화이트 픽셀 및 복수의 IR 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나의 감지할 수 있다.
이후, 전자 장치는 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃(readout) 할 수 있다. 여기서, 설정된 픽셀 그룹이란 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성된 것일 수 있다. 예를 들면, 도 6에 도시된 바와 같이, 설정된 픽셀 그룹은 화이트 픽셀이라는 하나의 픽셀로 이루어진 픽셀 그룹(601)일 수 있고, 세 개의 화이트 픽셀과 하나의 IR 픽셀로 이루어진 픽셀 그룹(602)일 수도 있다.
또한, 도 6에는 도시되지 않았지만, 설정된 픽셀 그룹은 필요에 따라 픽셀 수의 증감이 가능하다. 즉, 설정된 픽셀 그룹은 9×9의 픽셀 그룹도 가능하고, 16×16 등의 픽셀 그룹 등도 가능하다.
그러나, 전자 장치에서 얼굴 인식 기능, 홍채 인식 기능 및 근접 인식 기능을 수행하기 위해서, 설정된 픽셀 그룹은 적어도 하나의 화이트 픽셀과 적어도 하나의 IR 픽셀로 배열되는 것이 바람직할 것이다. 왜냐하면, 전자 장치에서 얼굴 인식 기능을 수행하기 위해서는 색상(color)을 검출하지 않는 화이트 픽셀이 필요하고, 홍채 인식 기능 및 근접 인식 기능을 수행하기 위해서는 적외선만을 통과시키는 IR 픽셀이 필요하기 때문이다.
도 7은 본 발명의 일 실시 예에 따른 센서부에 구비된 화이트 픽셀과 IR 픽셀의 측면도를 도시한 도면이다. 이하, 센서부는 화이트 픽셀과 IR 픽셀의 배열로 이루어져 있고, 픽셀 그룹은 화이트 픽셀 3개와 IR 픽셀 1개로 설정된 경우를 예를 들어 설명하겠다.
도 7에 도시된 바와 같이, 전자 장치의 센서부에 배열되어 있는 화이트 픽셀은 필터를 구비하지 않을 수 있다. 보다 구체적으로, 화이트 픽셀은 색상을 검출하지 않기 때문에 화이트 픽셀에 필터가 구비되지 않을 수 있다. 즉, 화이트 픽셀은 필터를 구비하지 않기 때문에, 전자 장치에서 얼굴 인식 기능을 수행하기 위해서는 적어도 하나의 화이트 픽셀이 구비되어야 한다.
또한, 도 7에 도시된 바와 같이, 전자 장치의 센서부에 배열되어 있는 IR 픽셀은 필터를 구비할 수 있다. 보다 구체적으로, IR 픽셀은 적외선만을 통과시키는 필터를 구비하여, 전자 장치에서 홍채 인식 기능 및 근접 인식 기능을 수행할 수 있다. 즉, 전자 장치에서 홍채 인식 기능 및 근접 인식 기능을 수행하기 위해서는 적어도 하나의 IR 픽셀이 구비되어야 한다.
도 8은 본 발명의 일 실시 예에 따른 복수의 픽셀을 구비하는 픽셀 어레이를 도시한 도면이다. 먼저, 전자 장치는 설정된 영역에 위치한 센서부에 적어도 하나의 픽셀 어레이를 구비할 수 있다. 여기서, 전자 장치는 복수의 센서 기능을 수행하기 위하여, 각각의 픽셀 중 적어도 하나의 픽셀로 구성된 픽셀을 설정받을 수 있다.
예를 들면, 도 8의(a)에 도시된 바와 같이, 전자 장치는 얼굴 인식용 픽셀(801), 근접 인식용 픽셀(802) 및 조도 인식용 픽셀(803) 등을 사전에 설정받을 수 있다. 뿐만 아니라, 도 8의(a)에는 도시되지 않았지만, 전자 장치는 홍채 인식용 픽셀 및 제스처 인식용 픽셀 등을 사전에 설정받을 수도 있다.
또한, 전자 장치는 각각의 센서 기능에 따라서 별도의 픽셀이 설정될 수도 있지만, 적어도 하나의 픽셀로 구성된 픽셀 그룹을 설정받을 수도 있다. 예를 들면, 전자 장치는 얼굴 인식 기능을 수행하기 위하여, 얼굴 인식용 픽셀(801)을 포함한 픽셀 그룹을 설정받을 수도 있다. 같은 의미로, 전자 장치는 근접 인식 기능, 조도 인식 기능, 홍채 인식 기능 및 제스처 인식 기능을 수행하기 위하여, 각각의 픽셀을 포함한 픽셀 그룹을 설정받을 수도 있다.
여기서, 전자 장치는 각각의 기능을 수행하는 픽셀 그룹을 중복하여 설정받을 수도 있다. 즉, 전자 장치는 얼굴 인식 기능, 근접 인식 기능, 조도 인식 기능, 홍채 인식 기능 및 제스처 인식 기능 등을 수행하기 위한 픽셀 그룹을 동일하게 설정받을 수도 있다. 따라서, 전자 장치의 센서부에 구비된 하나의 픽셀은 얼굴 인식 기능을 수행하면서, 근접 인식 기능도 수행할 수 있다. 뿐만 아니라, 전자 장치는 센서부에 배열된 픽셀을 설정된 시간마다 재배열할 수도 있고, 특정 이벤트에 따라 재배열할 수도 있다.
또한, 전자 장치는 픽셀 그룹을 리드 아웃 하는 경우, 설정된 센서 기능을 수행하는 각각의 픽셀을 동시에 리드 아웃 할 수도 있고, 순차적으로 리드 아웃 할 수도 있다. 예를 들면, 도 8의(a)에 도시된 바와 같이, 전자 장치는 픽셀 그룹을 리드 아웃 하는 경우, 설정된 센서 기능을 수행하는 각각의 픽셀을 동시에 리드 아웃 할 수도 있다. 또한, 도 8의(b) 내지 (d)에 도시된 바와 같이, 전자 장치는 픽셀 그룹을 리드 아웃 하는 경우, 순차적으로 리드 아웃 할 수도 있다.
또한, 도 8에서는 도시되지 않았지만, 전자 장치는 특정 물체만의 동선을 추적하면서 리드 아웃 하는 기능인 물체 인식 기능(object tracking function)을 수행할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 전자 장치의 동작 순서를 도시한 순서도이다. 먼저, 도 9에 도시된 바와 같이, 전자 장치는 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지할 수 있다(901). 여기서, 전자 장치에 구비된 센서는 복수의 센서 기능을 수행하기 위하여, 복수의 화이트 픽셀 및 복수의 IR 픽셀로 구성될 수 있다. 또 다른 예를 들면, 센서는 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수도 있다. 또 다른 예를 들면, 센서는 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선 흡수율이 설정된 흡수율 이상인 제2 물질이 동일 픽셀 내에서의 수직 상의 깊이를 서로 다르게 하여 이루어질 수도 있다.
이후, 전자 장치는 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성된 설정된 픽셀 그룹을 리드 아웃 할 수 있다(902). 여기서, 설정된 픽셀 그룹이란 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성된 것일 수 있다. 예를 들면, 픽셀 그룹은 화이트 픽셀이라는 하나의 픽셀로 이루어진 픽셀 그룹일 수 있고, 세 개의 화이트 픽셀과 하나의 IR 픽셀로 이루어진 픽셀 그룹일 수도 있다. 또한, 픽셀 그룹은 필요에 따라 픽셀 수의 증감이 가능하다. 즉, 설정된 픽셀 그룹은 9×9의 픽셀 그룹도 가능하고, 16×16 등의 픽셀 그룹 등도 가능하다.
이후, 전자 장치는 리드 아웃 한 픽셀 그룹을 기반으로 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능, 제스처 인식 기능 및 물체 인식 기능 중 적어도 하나의 기능을 수행할 수도 있다(903). 보다 구체적으로, 전자 장치는 전자 장치의 설정된 영역에 위치한 하나의 센서로부터 복수의 센서 기능을 수행할 수 있다. 여기서, 전자 장치는 픽셀 그룹을 리드 아웃 하는 경우, 설정된 센서 기능을 수행하는 각각의 픽셀을 동시에 리드 아웃 할 수도 있고, 순차적으로 리드 아웃 하여 복수의 센서 기능을 수행할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 방법의 흐름도이다. 먼저, 도 10에 도시된 바와 같이, 전자 장치는 복수의 픽셀로 구성된 센서로부터 피사체 및 주변 밝기 중 적어도 하나를 감지할 수 있다(1001). 먼저, 센서는 이미지 장치에 포함되어 구성될 수 있는 있는데, 이미지 장치는 발광 다이오드 발광부를 포함하여 구성할 수 있다. 여기서, 발광 다이오드 발광부는 IR 발광 다이오드일 수 있다. 또한, 센서는 복수의 픽셀을 포함하는 픽셀 어레이로 구성될 수 있다. 보다 구체적으로, 센서는 복수의 화이트 픽셀 및 복수의 IR 픽셀로 구성될 수 있고, 가시광선의 흡수율이 설정된 흡수율 이상인 제1 물질 및 적외선의 흡수율이 설정된 흡수율 이상인 제2 물질로 구성될 수도 있다. 또한, 센서부는 동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 제1 물질 및 제2 물질로 구성될 수도 있다.
이후, 전자 장치는 복수의 픽셀 중 설정된 픽셀 그룹을 리드 아웃 할 수 있다(1002). 여기서, 설정된 픽셀 그룹이란 센서에 구성된 복수의 픽셀 중 적어도 하나의 픽셀로 구성된 것일 수 있다. 예를 들면, 픽셀 그룹은 화이트 픽셀이라는 하나의 픽셀로 이루어진 픽셀 그룹일 수 있고, 세 개의 화이트 픽셀과 하나의 IR 픽셀로 이루어진 픽셀 그룹일 수도 있다. 또한, 픽셀 그룹은 필요에 따라 픽셀 수의 증감이 가능하다. 또한, 전자 장치는 픽셀 그룹을 리드 아웃 하는 경우, 설정된 센서 기능을 수행하는 각각의 픽셀을 동시에 리드 아웃 할 수도 있고, 순차적으로 리드 아웃 할 수도 있다.
이후, 전자 장치는 리드 아웃 한 픽셀 그룹을 기반으로 적어도 하나의 센서 기능을 수행할 수 있다(1003). 보다 구체적으로, 전자 장치는 리드 아웃 한 픽셀 그룹을 기반으로 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능, 제스처 인식 기능 및 물체 인식 기능 중 적어도 하나의 기능을 수행할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 전자 장치 102: 전자 장치
104: 전자 장치 110: 버스
120: 프로세서 130: 메모리
131: 커널 132: 미들웨어
133: 애플리케이션 프로그래밍 인터페이스
140: 사용자 입력모듈 150: 디스플레이 모듈
160: 통신 모듈 162: 네트워크
164: 서버 200: 전자 장치
210: 프로세서 211: 애플리케이션 프로세서
213: 커뮤니케이션 프로세서 214: SIM 카드
220: 메모리 222: 내장 메모리
224: 외장 메모리 230: 통신 모듈
231: 무선 통신 모듈 234: RF 모듈
233: WiFi 235: BT
237: GPS 239: NFC
240: 센서 모듈 240A: 제스처 센서
240B: 자이로 센서 240C: 기압 센서
240D: 마그네틱 센서 240E: 가속도 센서
240F: 그립 센서 240G:근접 센서
240H: RGB 센서 240I: 생체 센서
240J: 온/습도 센서 240K: 조도 센서
240M: UV 센서 250: 사용자 입력모듈
252: 터치 패널 254: 펜 센서
256: 키 258: 울트라 소닉
260: 디스플레이 모듈 262: 패널
264: 홀로그램 270: 인터페이스
272: HDMI 274: USB
276: 프로젝터 278: D-SUB
280: 오디오 코덱 282: 스피커
284: 리시버 286: 이어폰
288: 마이크 291: 카메라 모듈
295: 전력 관리 모듈 296: 배터리
297: 인디케이터 298: 모터
300: 전자 장치 310: 커널
311: 시스템 리소스 매니저 312: 디바이스 드라이버
330: 미들웨어 341: 애플리케이션 매니저
342: 윈도우 매니저 343: 멀티미디어 매니저
344: 리소스 매니저 345: 파워 매니저
346: 데이터베이스 매니저 347: 패키지 매니저
348: 연결 매니저 349: 통지 매니저
350: 위치 매니저 351: 그래픽 매니저
352: 보안 매니저 355: 런타임 라이브러리
360: API 370: 애플리케이션
371: 홈 372: 다이얼러
373:SMS/MMS 374: IM
375: 브라우저 376: 카메라
377: 알람 378: 컨텐트
379: 음성 다이얼 380: 이메일
381: 달력 382: 미디어 플레이어
383: 앨범 384: 시계
401: 이미지 장치 601: 픽셀 그룹
602: 픽셀 그룹 801: 얼굴 인식용 픽셀
802: 근접 인식용 픽셀 803: 조도 인식용 픽셀
104: 전자 장치 110: 버스
120: 프로세서 130: 메모리
131: 커널 132: 미들웨어
133: 애플리케이션 프로그래밍 인터페이스
140: 사용자 입력모듈 150: 디스플레이 모듈
160: 통신 모듈 162: 네트워크
164: 서버 200: 전자 장치
210: 프로세서 211: 애플리케이션 프로세서
213: 커뮤니케이션 프로세서 214: SIM 카드
220: 메모리 222: 내장 메모리
224: 외장 메모리 230: 통신 모듈
231: 무선 통신 모듈 234: RF 모듈
233: WiFi 235: BT
237: GPS 239: NFC
240: 센서 모듈 240A: 제스처 센서
240B: 자이로 센서 240C: 기압 센서
240D: 마그네틱 센서 240E: 가속도 센서
240F: 그립 센서 240G:근접 센서
240H: RGB 센서 240I: 생체 센서
240J: 온/습도 센서 240K: 조도 센서
240M: UV 센서 250: 사용자 입력모듈
252: 터치 패널 254: 펜 센서
256: 키 258: 울트라 소닉
260: 디스플레이 모듈 262: 패널
264: 홀로그램 270: 인터페이스
272: HDMI 274: USB
276: 프로젝터 278: D-SUB
280: 오디오 코덱 282: 스피커
284: 리시버 286: 이어폰
288: 마이크 291: 카메라 모듈
295: 전력 관리 모듈 296: 배터리
297: 인디케이터 298: 모터
300: 전자 장치 310: 커널
311: 시스템 리소스 매니저 312: 디바이스 드라이버
330: 미들웨어 341: 애플리케이션 매니저
342: 윈도우 매니저 343: 멀티미디어 매니저
344: 리소스 매니저 345: 파워 매니저
346: 데이터베이스 매니저 347: 패키지 매니저
348: 연결 매니저 349: 통지 매니저
350: 위치 매니저 351: 그래픽 매니저
352: 보안 매니저 355: 런타임 라이브러리
360: API 370: 애플리케이션
371: 홈 372: 다이얼러
373:SMS/MMS 374: IM
375: 브라우저 376: 카메라
377: 알람 378: 컨텐트
379: 음성 다이얼 380: 이메일
381: 달력 382: 미디어 플레이어
383: 앨범 384: 시계
401: 이미지 장치 601: 픽셀 그룹
602: 픽셀 그룹 801: 얼굴 인식용 픽셀
802: 근접 인식용 픽셀 803: 조도 인식용 픽셀
Claims (20)
- 전자 장치의 동작 방법에 있어서,
복수의 픽셀로 구성된 픽셀 어레이로 형성된 이미지 센서를 이용하여, 피사체 및 전자 장치의 주변(periphery) 중 적어도 하나로부터 광(light)을 수신하는 동작;
상기 복수의 픽셀 중 설정된 픽셀 그룹의 픽셀 값을 리드 아웃(readout) 하는 동작, 복수의 설정된 픽셀 그룹들 중 상기 설정된 픽셀 그룹은 상기 복수의 픽셀들 중 일부분에 포함된 하나 이상의 픽셀들을 포함하고, 상기 이미지 센서를 통해 수신되는 상기 광을 이용하여 수행되는 별개의 기능을 수행하도록 설정됨; 및
상기 리드 아웃된 픽셀 값을 이용하여 상기 설정된 픽셀 그룹에 대응하는 상기 기능을 수행하는 동작을 포함하고,
상기 기능은 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능, 및 제스처 인식 기능 중 하나를 포함하고,
상기 복수의 설정된 픽셀 그룹들 중 적어도 두 개의 픽셀 그룹들은 적어도 하나의 공통 픽셀을 포함하고, 상기 적어도 하나의 공통 픽셀은 상기 적어도 두 개의 설정된 픽셀 그룹들이 각각 수행하도록 설정된 적어도 두 개의 기능을 동시에 수행하도록 설정되는, 방법.
- 제1항에 있어서,
상기 이미지 센서는, 380nm에서 770nm의 파장을 감지하도록 설정되는 적어도 하나의 화이트 픽셀(white pixel)로 형성되는 것을 특징으로 하는 방법.
- 제1항에 있어서,
상기 이미지 센서는, 가시광선(visible ray)의 흡수율이 제1 흡수율 이상인 제1 물질 및 적외선(infrared ray)의 흡수율이 제2 흡수율 이상인 제2 물질을 포함하는 것을 특징으로 하는 방법.
- 제3항에 있어서,
상기 제1 물질 및 상기 제2 물질은,
동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 것을 특징으로 하는 방법.
- 제1항에 있어서,
상기 기능을 수행하는 동작은, 상기 이미지 센서에 구비된 상기 복수의 픽셀들 중 적어도 하나의 화이트 픽셀에 의해 감지되는 가시광선의 파장의 길이에 따라 얼굴을 감지하는 동작을 포함하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 방법.
- 제1항에 있어서,
상기 기능을 수행하는 동작은, 상기 이미지 센서에 구비된 상기 복수의 픽셀들 중 적어도 하나의 적외선(IR) 픽셀에 의해 감지되는 적외선의 파장의 길이에 따라 피사체가 설정된 거리 내에 위치하고 있음을 감지하는 동작을 포함하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 방법.
- 제1항에 있어서,
상기 기능을 수행하는 동작은, 상기 이미지 센서에 구비된 상기 복수의 픽셀들 중 적어도 하나의 적외선 픽셀에 의해 감지되는 적외선의 파장의 길이에 따라 홍채를 감지하는 동작을 포함하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 리드 아웃된 픽셀 값에 기반하여 물체 인식 기능(object tracking function)을 수행하는 동작을 더 포함하는, 방법.
- 전자 장치에 있어서,
데이터가 저장되는 메모리, 및
프로세서를 포함하고, 상기 프로세서는:
복수의 픽셀로 구성된 픽셀 어레이로 형성된 이미지 센서를 이용하여, 피사체 및 전자 장치의 주변(periphery) 중 적어도 하나로부터 광(light)을 수신하고;
상기 복수의 픽셀 중 설정된 픽셀 그룹의 픽셀 값을 리드 아웃(readout)하고, -복수의 설정된 픽셀 그룹들 중 상기 설정된 픽셀 그룹은 상기 복수의 픽셀들 중 일부분에 포함된 하나 이상의 픽셀들을 포함하고, 상기 이미지 센서를 통해 수신되는 상기 광을 이용하여 수행되는 별개의 기능을 수행하도록 설정됨-;
상기 리드 아웃된 픽셀 값을 이용하여 상기 설정된 픽셀 그룹에 대응하는 상기 기능을 수행하고,
상기 기능은 얼굴 인식 기능, 조도 인식 기능, 근접 인식 기능, 홍채 인식 기능, 및 제스처 인식 기능 중 하나를 포함하고,
상기 복수의 설정된 픽셀 그룹들 중 적어도 두 개의 픽셀 그룹들은 적어도 하나의 공통 픽셀을 포함하고, 상기 적어도 하나의 공통 픽셀은 상기 적어도 두 개의 설정된 픽셀 그룹들이 각각 수행하도록 설정된 적어도 두 개의 기능을 동시에 수행하도록 설정되는, 장치.
- 제11항에 있어서,
상기 이미지 센서는, 380nm에서 770nm의 파장을 감지하도록 설정되는 적어도 하나의 화이트 픽셀 로 형성되는 것을 특징으로 하는 장치.
- 제11항에 있어서,
상기 이미지 센서는,
가시광선의 흡수율이 제1 흡수율 이상인 제1 물질 및 적외선의 흡수율이 제2 흡수율 이상인 제2 물질을 포함하는 것을 특징으로 하는 장치.
- 제13항에 있어서,
상기 제1 물질 및 상기 제2 물질은,
동일 픽셀 내에서의 수직 상의 깊이가 서로 다른 것을 특징으로 하는 장치.
- 제11항에 있어서,
상기 이미지 센서에 구비된 상기 복수의 픽셀들 중 적어도 하나의 화이트 픽셀은 감지된 가시광선의 파장의 길이에 따라 얼굴을 감지하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 장치.
- 제11항에 있어서,
상기 이미지 센서에 구비된 복수의 픽셀들 중 적어도 하나의 IR 픽셀은, 감지된 적외선의 파장의 길이에 따라 피사체가 설정된 거리 내에 위치하고 있음을 감지하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 장치.
- 제11항에 있어서,
상기 센서에 구비된 복수의 픽셀 중 적어도 하나의 IR 픽셀은 감지된 적외선의 파장의 길이에 따라 홍채를 감지하고,
상기 피사체를 식별하기 위한 상기 설정된 픽셀 그룹은 상기 피사체가 식별될 때까지 상대적으로 더 큰 픽셀 그룹으로 대체되는 것을 특징으로 하는 장치.
- 삭제
- 삭제
- 제11항에 있어서,
상기 프로세서는, 상기 리드 아웃된 픽셀 값에 물체 인식 기능(object tracking function)을 수행하는 것을 특징으로 하는 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130136855A KR102157338B1 (ko) | 2013-11-12 | 2013-11-12 | 복수의 센서 기능을 수행하는 전자 장치 및 방법 |
| US14/539,463 US20150130708A1 (en) | 2013-11-12 | 2014-11-12 | Method for performing sensor function and electronic device thereof |
| EP20140192772 EP2871834A1 (en) | 2013-11-12 | 2014-11-12 | Method for performing sensor function and electronic device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130136855A KR102157338B1 (ko) | 2013-11-12 | 2013-11-12 | 복수의 센서 기능을 수행하는 전자 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150054430A KR20150054430A (ko) | 2015-05-20 |
| KR102157338B1 true KR102157338B1 (ko) | 2020-09-17 |
Family
ID=52006793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130136855A KR102157338B1 (ko) | 2013-11-12 | 2013-11-12 | 복수의 센서 기능을 수행하는 전자 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150130708A1 (ko) |
| EP (1) | EP2871834A1 (ko) |
| KR (1) | KR102157338B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101872757B1 (ko) * | 2016-04-18 | 2018-06-29 | (주)파트론 | 광학 센서 장치 및 광학 센싱 방법 |
| CN106055174B (zh) * | 2016-05-23 | 2019-03-29 | 京东方科技集团股份有限公司 | 一种触控显示装置 |
| KR101898067B1 (ko) * | 2016-06-22 | 2018-09-12 | (주)파트론 | 광학 센서 모듈 및 광학 센싱 방법 |
| KR102532365B1 (ko) * | 2016-08-23 | 2023-05-15 | 삼성전자주식회사 | 홍채 센서를 포함하는 전자 장치 및 이의 운용 방법 |
| EP3474328B1 (en) | 2017-10-20 | 2021-09-29 | Samsung Electronics Co., Ltd. | Combination sensors and electronic devices |
| FR3137521A1 (fr) * | 2022-07-04 | 2024-01-05 | Valeo Comfort And Driving Assistance | Dispositif de capture d’image et système de surveillance d’un conducteur d’un véhicule |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040125222A1 (en) * | 2002-12-30 | 2004-07-01 | Bradski Gary R. | Stacked semiconductor radiation sensors having color component and infrared sensing capability |
| US20060066738A1 (en) * | 2004-09-24 | 2006-03-30 | Microsoft Corporation | Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4394773A (en) * | 1980-07-21 | 1983-07-19 | Siemens Corporation | Fingerprint sensor |
| US5684294A (en) * | 1996-10-17 | 1997-11-04 | Northern Telecom Ltd | Proximity and ambient light monitor |
| US6028949A (en) * | 1997-12-02 | 2000-02-22 | Mckendall; Raymond A. | Method of verifying the presence of an eye in a close-up image |
| US7894177B2 (en) * | 2005-12-29 | 2011-02-22 | Apple Inc. | Light activated hold switch |
| KR100682898B1 (ko) * | 2004-11-09 | 2007-02-15 | 삼성전자주식회사 | 적외선을 이용한 영상 장치 및 그의 영상 식별 방법 |
| CN103839955B (zh) * | 2007-04-18 | 2016-05-25 | 因维萨热技术公司 | 用于光电装置的材料、系统和方法 |
| US9117119B2 (en) * | 2007-09-01 | 2015-08-25 | Eyelock, Inc. | Mobile identity platform |
| US7915652B2 (en) * | 2008-10-24 | 2011-03-29 | Sharp Laboratories Of America, Inc. | Integrated infrared and color CMOS imager sensor |
| JP4702441B2 (ja) * | 2008-12-05 | 2011-06-15 | ソニー株式会社 | 撮像装置及び撮像方法 |
| KR101652393B1 (ko) * | 2010-01-15 | 2016-08-31 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
| US8379134B2 (en) * | 2010-02-26 | 2013-02-19 | Research In Motion Limited | Object detection and selection using gesture recognition |
| US9225916B2 (en) * | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
| US20120200486A1 (en) * | 2011-02-09 | 2012-08-09 | Texas Instruments Incorporated | Infrared gesture recognition device and method |
| US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| US9703382B2 (en) * | 2011-08-29 | 2017-07-11 | Kyocera Corporation | Device, method, and storage medium storing program with control for terminating a program |
| US9377355B2 (en) * | 2013-02-18 | 2016-06-28 | Eminent Electronic Technology Corp. Ltd. | Optical sensor apparatus and image sensing apparatus integrating multiple functions |
-
2013
- 2013-11-12 KR KR1020130136855A patent/KR102157338B1/ko active IP Right Grant
-
2014
- 2014-11-12 US US14/539,463 patent/US20150130708A1/en not_active Abandoned
- 2014-11-12 EP EP20140192772 patent/EP2871834A1/en not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040125222A1 (en) * | 2002-12-30 | 2004-07-01 | Bradski Gary R. | Stacked semiconductor radiation sensors having color component and infrared sensing capability |
| US20060066738A1 (en) * | 2004-09-24 | 2006-03-30 | Microsoft Corporation | Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2871834A1 (en) | 2015-05-13 |
| KR20150054430A (ko) | 2015-05-20 |
| US20150130708A1 (en) | 2015-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102122476B1 (ko) | 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법 | |
| US9602286B2 (en) | Electronic device and method for extracting encrypted message | |
| CN106060378B (zh) | 用于设置拍摄模块的装置和方法 | |
| KR102147088B1 (ko) | 전자장치에서 수신된 정보를 사용자에게 제공하기 위한 방법 및 장치 | |
| KR102187255B1 (ko) | 전자 장치의 디스플레이 방법 및 그 전자 장치 | |
| US20150130705A1 (en) | Method for determining location of content and an electronic device | |
| KR102157338B1 (ko) | 복수의 센서 기능을 수행하는 전자 장치 및 방법 | |
| KR102134420B1 (ko) | 저전력으로 위치 변화를 측정하는 전자 장치 및 방법 | |
| KR102157858B1 (ko) | 전력 소모를 줄일 수 있는 전자 장치 및 방법 | |
| KR102206053B1 (ko) | 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법 | |
| KR20150051816A (ko) | 메시지 어플리케이션 운영 방법 및 이를 구현하는 전자 장치 | |
| KR102109883B1 (ko) | 컨텐츠 전송 방법 및 전자 장치 | |
| KR102144588B1 (ko) | 센서 모듈 및 이를 구비한 장치 | |
| KR102193704B1 (ko) | 전자 장치의 락 스크린 디스플레이 방법 및 그 전자 장치 | |
| KR102216881B1 (ko) | 전자장치에서 마이크의 감도에 따른 자동 이득 조절 방법 및 장치 | |
| KR102128088B1 (ko) | 전자 장치의 방송 채널 정보 공유 방법 및 그 전자 장치 | |
| US20150063778A1 (en) | Method for processing an image and electronic device thereof | |
| US20150062096A1 (en) | Method for display control and electronic device thereof | |
| KR20150066876A (ko) | 사용자 인터페이스 제어 방법 및 그 전자 장치 | |
| KR20150043894A (ko) | 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법 | |
| KR102137686B1 (ko) | 컨텐츠 무결성 제어 방법 및 그 전자 장치 | |
| KR102241831B1 (ko) | 전자 장치 및 이의 운영 방법 | |
| KR20150117968A (ko) | 입력방향에 따라 기능을 전환하는 전자 장치 및 방법 | |
| KR102213429B1 (ko) | 사운드 제공 방법 및 이를 구현하는 전자 장치 | |
| KR20150026257A (ko) | 액세서리의 정보를 업 데이트하는 전자 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |