KR20220010885A - ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법 - Google Patents

ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20220010885A
KR20220010885A KR1020200089572A KR20200089572A KR20220010885A KR 20220010885 A KR20220010885 A KR 20220010885A KR 1020200089572 A KR1020200089572 A KR 1020200089572A KR 20200089572 A KR20200089572 A KR 20200089572A KR 20220010885 A KR20220010885 A KR 20220010885A
Authority
KR
South Korea
Prior art keywords
image
depth image
control signal
demodulation
motion recognition
Prior art date
Application number
KR1020200089572A
Other languages
English (en)
Inventor
장재형
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020200089572A priority Critical patent/KR20220010885A/ko
Priority to CN202110556955.5A priority patent/CN114035717B/zh
Priority to US17/340,854 priority patent/US11928892B2/en
Publication of KR20220010885A publication Critical patent/KR20220010885A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 일 실시 예에 따른 ToF 센서를 이용한 모션 인식 장치의 동작 방법은, 대상 물체에 대한 거리 정보를 포함하는 깊이(depth) 이미지를 생성하는 단계, 및 상기 깊이 이미지를 분석한 결과에 따라, 상기 대상 물체에 대한 적외선 영상 정보를 포함하는 IR(infrared) 이미지를 생성하는 단계를 포함할 수 있다.

Description

ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법{Apparatus for recognizing motion by using ToF sensor, and method for operating the same}
본 개시는 대상 물체와의 거리를 감지할 수 있는 픽셀을 이용한 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법에 관한 것이다.
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 장치이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
이미지 센서는 크게 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. CCD 이미지 센서는 CMOS 이미지 센서에 비해 잡음(noise)이 적고, 화질이 우수하다. 하지만, CMOS 이미지 센서는 구동 방식이 간편하고 다양한 스캐닝(scanning) 방식으로 구현 가능하다. 또한, CMOS 이미지 센서는 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 용이하고 전력 소모가 매우 낮으며, CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가가 낮다. 최근에는 모바일 기기에 보다 적합한 특성으로 인하여 CMOS 이미지 센싱 장치가 많이 이용되고 있다.
이미지 센서를 이용하여 depth를 측정하는 방식도 많은 연구를 통해 개발 되고 있으며, 보안, 의료기기, 자동차, 게임기, VR/AR, 모바일 기기 등에 수요가 급증하고 있는 추세이다. Depth를 측정하는 방식은 대표적으로 Triangulation, Time of flight, Interferometry 방식이 있으며, 이중 time of flight 방식이 활용 할 수 있는 범위가 넓고 처리속도가 빠르며 비용 면에서도 유리하기 때문에 중요도가 높아지고 있다. ToF (time of flight) 방식은 크게 direct 방식과 in-direct 방식으로 구분 할 수 있으며, 이는 조사된 빛과 반사되어 돌아오는 빛을 이용하여 거리를 구하는 공통적인 원리에서 왕복 시간을 계산하여 거리를 측정하는 direct 방식과 위상 차이를 이용하여 거리를 측정하는 in-direct 방식으로 나누어 지게 된다. Direct 방식의 경우 장거리에 유리하여 자동차등에 많이 사용되고 있으며, In-direct 방식의 경우 거리가 보다 가깝고, 빠른 처리속도가 요구되는 게임기나 모바일 카메라에 이용되고 있다. In-direct 방식의 경우 회로가 간단하고 메모리도 적게 필요하며 비용이 상대적으로 저렴하다는 장점이 있다.
In-direct ToF sensor의 Pixel 종류 중 하나인 CAPD(Current-Assisted Photonic Demodulator)는 substrate 전압을 인가하여 majority current를 이용하여 Pixel 내부에 생성된 전자들을 전계의 포텐셜 차이를 이용하여 검출하는 방식이며, majority current를 이용하기 때문에 전자들을 빠르게 검출 할 수 있으며, 깊게 형성된 전자들까지 검출 할 수 있어 효율 면에서도 우수하다고 볼 수 있다.
본 발명의 기술적 사상은 인식 단계에 따라 모드를 달리하여 동작을 인식할 수 있는 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법을 제공할 수 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시되는 본 발명의 일 실시 예에 따른 ToF 센서를 이용한 모션 인식 장치의 동작 방법은, 대상 물체에 대한 거리 정보를 포함하는 깊이 이미지를 생성하는 단계, 및 상기 깊이 이미지를 분석한 결과에 따라, 상기 대상 물체에 대한 적외선 영상 정보를 포함하는 IR 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 ToF 센서를 이용한 모션 인식 장치는, 제1 내지 제3 동작 모드 각각에 따라 픽셀들을 구동하여 제1 내지 제3 이미지 데이터 각각을 생성하는 이미지 센싱 장치, 상기 제1 내지 상기 제3 이미지 데이터 각각에 기초하여 제1 깊이 이미지, 제2 깊이 이미지 및 IR 이미지 각각을 생성하는 이미지 프로세서, 및 상기 제1 깊이 이미지가 제1 모드 천이 조건을 만족하는지 여부 및 상기 제2 깊이 이미지가 제2 모드 천이 조건을 만족하는지 여부를 판단하고, 상기 IR 이미지에 기초하여 사용자 입력을 판단하는 이미지 분석부를 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 깊이 이미지를 분석하여 모션을 인식할 수 있는 위치로 사용자를 이동시킬 수 있고, IR 이미지를 분석하여 빠른 모션도 정확하게 인식할 수 있다.
또한, 깊이 이미지 또는 IR 이미지를 이용해 모션을 인식하므로, 매우 낮은 조도의 환경에서도, 사용자가 피부색과 유사한 옷을 착용한 경우에도 또는 별도의 인식용 특수 장갑 등의 장비 없이도, 정확하게 모션을 인식할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 ToF 센서를 이용한 모션 인식 장치를 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 ToF 센서를 이용한 모션 인식 장치를 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 센싱 장치의 구성을 개략적으로 도시한 구성도이다.
도 4는 도 3에 도시된 픽셀의 레이아웃을 간략히 나타낸 도면이다.
도 5는 도 4에 도시된 픽셀의 구조를 나타낸 도면이다.
도 6은 제1 또는 제2 동작 모드에서의 이미지 센싱 장치의 동작을 설명하기 위한 타이밍도이다.
도 7은 제3 동작 모드에서의 이미지 센싱 장치의 동작을 설명하기 위한 타이밍도이다.
도 8은 본 발명의 일 실시예에 따른 ToF 센서를 이용한 모션 인식 장치의 동작 방법을 나타낸 흐름도이다.
도 9는 ToF 센서를 이용한 모션 인식 장치를 이용하는 과정의 일 예를 모식적으로 나타낸 도면이다.
도 10은 제1 동작 모드에서 획득되는 제1 깊이 이미지의 일 예를 나타낸 도면이다.
도 11은 제2 동작 모드에서 획득되는 제2 깊이 이미지의 일 예를 나타낸 도면이다.
도 12는 제3 동작 모드에서 획득되는 IR 이미지의 일 예를 나타낸 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 ToF(time of flight) 센서를 이용한 모션 인식 장치를 개략적으로 나타내는 블록도이다.
도 1을 참조하면, ToF 센서를 이용한 모션 인식 장치(10)는 사람의 모션(motion)을 인식하고, 인식 결과에 대응하는 목표 동작을 처리할 수 있다. 여기서, 목표 동작은 수화 언어 해석(interpreting sign language), 보안 해제, 조작 입력 중 적어도 하나일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 또한, 모션 인식 장치(10)는 사람의 손뿐 아니라, 피부가 노출된 임의의 부위를 이용한 동작을 인식할 수 있다.
예를 들어, 모션 인식 장치(10)가 수화 언어 해석을 처리할 수 있는 경우, 모션 인식 장치(10)는 사람의 손 동작에 대응하는 수화 언어를 판단하고, 수화 언어를 시각적으로 또는 청각적으로 출력하거나, 다른 장치로 전달할 수 있다.
또한, 모션 인식 장치(10)가 보안 해제를 처리할 수 있는 경우, 모션 인식 장치(10)는 사람의 동작에 대응하는 모션을 판단하고, 해당 모션과 보안 해제가 가능한 모션을 비교하여, 서로 일치하면 모션 인식 장치(10)에 적용된 보안(예컨대, 화면 잠금, 로그인 등)을 해제할 수 있다.
아울러, 모션 인식 장치(10)가 게임 조작 입력을 처리할 수 있는 경우, 모션 인식 장치(10)는 사람의 동작에 대응하는 조작 입력을 판단하고, 조작 입력에 대응하는 입력 데이터를 실행 중인 프로그램(예컨대, 게임)에 제공할 수 있다.
모션 인식 장치(10)는 하드웨어(hardware) 및 소프트웨어(software)의 조합으로 구성되는 컴퓨팅 장치(computing device)로 구현될 수 있다. 예를 들어, 모션 인식 장치(10)는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone: Personal Communications Services phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000) 등 이동 단말일 수 있고, 이외에도 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA: Personal Digital Assistant), 스마트폰(Smart phone), 왑폰(WAP phone: Wireless application protocol phone), 모바일 게임기(mobile play-station), 태블릿 PC, PC(Personal Computer), 노트북(notebook), 키오스크(kiosk) 장치 등일 수 있다.
모션 인식 장치(10)는 이미지 센싱 장치(100), 이미지 프로세서(200), 이미지 분석부(300), 제어부(400), 근접 센서(410), 터치 스크린(420), 마이크(430) 및 스피커(440)를 포함할 수 있다.
이미지 센싱 장치(100)는 제1 내지 제3 동작 모드 각각에 따라 제1 내지 제3 이미지 데이터를 각각 생성할 수 있다. 여기서, 제1 및 제2 이미지 데이터는 TOF(time of flight) 방식을 이용하여 대상 물체(1)와의 거리를 측정할 수 있도록, 변조광이 대상 물체(1)로부터 반사된 입사광의 위상을 감지한 이미지 데이터를 의미할 수 있다. 한편, 제3 이미지 데이터는 대상 물체(1)의 적외선 영상을 획득할 수 있도록, 적외광이 대상 물체(1)로부터 반사된 입사광의 세기를 감지한 이미지 데이터를 의미할 수 있다.
이미지 센싱 장치(100)는 제1 내지 제3 동작 모드 중 하나의 동작 모드로 동작할 수 있으며, 이미지 센싱 장치(100)의 동작 모드는 이미지 프로세서(200)에 의해 제어될 수 있다. 즉, 이미지 센싱 장치(100)는 이미지 프로세서(200)에 의해 결정된 동작 모드에 따라 동작하여 이미지 데이터(제1 내지 제3 이미지 데이터 중 하나)를 생성할 수 있고, 생성된 이미지 데이터를 이미지 프로세서(200)로 전달할 수 있다.
제1 동작 모드와 제2 동작 모드 각각은 동일 종류의 제1 이미지 데이터와 제2 이미지 데이터를 획득하기 위한 동작 모드이나, 제1 동작 모드와 제2 동작 모드 각각에서의 변조 주파수와 복조 주파수는 상이할 수 있다. 예를 들어, 제1 동작 모드의 변조 주파수는 제2 동작 모드의 변조 주파수보다 작을 수 있다.
제3 동작 모드는 제3 이미지 데이터를 획득하기 위한 동작 모드일 수 있다. 다른 실시예에 따라, 제3 동작 모드는 제3 이미지 데이터뿐 아니라 제4 이미지 데이터도 함께 획득하기 위한 동작 모드일 수 있다. 여기서, 제4 이미지 데이터는 대상 물체(1)의 가시광선 영상을 획득할 수 있도록, 가시광이 대상 물체(1)로부터 반사된 입사광의 세기를 감지한 이미지 데이터일 수 있다.
제1 내지 제3 동작 모드 각각에서 이미지 센싱 장치(100)의 구체적인 동작은 도 6 이하를 참조하여 후술하기로 한다.
이미지 프로세서(200)는 이미지 센싱 장치(100)로부터 수신된 제1 내지 제3 이미지 데이터에 대한 이미지 처리를 수행하여 이미지 분석부(300) 또는 제어부(400)로 전달할 수 있다. 이미지 처리는 대상 물체(1)와의 거리 계산, 이미지 품질을 개선할 수 있는 다양한 처리(예컨대, 디모자이킹(demosaicing), 색조 보정, 화질 보정, 크기 조정, 해상도 조정, 영상 합성 등)를 포함할 수 있다.
이미지 프로세서(200)는 이미지 센싱 장치(100)의 제1 또는 제2 이미지 데이터에 기초하여 대상 물체(1)에 대한 거리 정보를 포함하는 제1 또는 제2 깊이 이미지를 각각 생성할 수 있다. 제1 및 제2 깊이 이미지는 깊이 이미지로 통칭될 수 있다. 또한, 이미지 프로세서(200)는 이미지 센싱 장치(100)의 제3 이미지 데이터에 기초하여 대상 물체(1)에 대한 적외선 영상 정보를 포함하는 IR(infrared) 이미지를 생성할 수 있다.
이미지 프로세서(200)는 제1 내지 제3 동작 모드 각각에서 생성된 제1 깊이 이미지, 제2 깊이 이미지 또는 IR 이미지에 대한 분석을 이미지 분석부(300)에 요청할 수 있고, 이미지 분석부(300)로부터 이미지 분석 결과를 수신할 수 있다. 여기서, 이미지 분석 결과는 제1 깊이 이미지를 분석한 결과에 해당하는 제1 이미지 분석 결과, 제2 깊이 이미지를 분석한 결과에 해당하는 제2 이미지 분석 결과와, IR 이미지를 분석한 결과에 해당하는 제3 이미지 분석 결과를 포함할 수 있다.
이미지 프로세서(200)는 제1 또는 제2 이미지 분석 결과에 따라 이미지 센싱 장치(100)의 동작 모드를 천이시키고, 모드 천이 결과를 제어부(400)로 전달할 수 있다.
이미지 프로세서(200)는 제3 이미지 분석 결과를 제어부(400)로 전달할 수 있다.
이미지 분석부(300)는 이미지 내 객체를 식별하고, 식별된 객체가 무엇인지 인식할 수 있다.
이미지 분석부(300)는 제1 깊이 이미지가 제1 모드 천이 조건을 만족하는지 여부를 판단할 수 있다. 일 실시예에 따라, 제1 모드 천이 조건은 제1 깊이 이미지에서 제1 거리 범위 내에 위치한 제1 객체가 사람 형상에 해당하는지 여부를 의미할 수 있다. 제1 깊이 이미지는 각 픽셀 별 깊이 정보(즉, 대상 물체(1)와의 거리)를 포함하는데, 제1 객체는 서로 인접하면서 제1 거리 범위 이내에 해당하는 깊이 정보를 가진 픽셀들의 집합을 의미할 수 있다. 제1 거리 범위는 이미지 센싱 장치(100)의 화각(field of view; FOV)을 고려하여 사람 형상을 정확하게 인식할 수 있는 거리 범위로 실험적으로 결정된 값일 수 있다.
이미지 분석부(300)는 제1 객체를 식별한 뒤 제1 객체가 사람 형상에 해당하는지 판단함으로써 제1 모드 천이 조건이 충족되는지 여부를 판단할 수 있다.
제1 모드 천이 조건이 충족되면, 이미지 분석부(300)는 '천이 성공'을 나타내는 제1 이미지 분석 결과를 생성할 수 있다. 반대로, 제1 모드 천이 조건이 충족되지 않으면, 이미지 분석부(300)는 '천이 실패'를 나타내는 제1 이미지 분석 결과를 생성할 수 있다. 이미지 프로세서(200)는 '천이 성공'을 나타내는 제1 이미지 분석 결과에 따라 이미지 센싱 장치(100)를 제2 동작 모드로 동작하도록 제어할 수 있다.
이미지 분석부(300)는 제2 깊이 이미지가 제2 모드 천이 조건을 만족하는지 여부를 판단할 수 있다. 일 실시예에 따라, 제2 모드 천이 조건은 제2 깊이 이미지에서 제2 거리 범위 이내에 위치한 제2 객체가 특정 신체부위(예컨대, 손)의 형상에 해당하는지 여부를 의미할 수 있다. 제2 깊이 이미지는 각 픽셀 별 깊이 정보(즉, 대상 물체(1)와의 거리)를 포함하는데, 제2 객체는 서로 인접하면서 제2 거리 범위 이내에 해당하는 깊이 정보를 가진 픽셀들의 집합을 의미할 수 있다. 제2 거리 범위는 이미지 센싱 장치(100)의 화각을 고려하여 사람 손을 정확하게 인식할 수 있는 거리 범위로 실험적으로 결정된 값일 수 있다.
이미지 분석부(300)는 제2 객체를 식별한 뒤 제2 객체가 사람의 특정 신체부위의 형상에 해당하는지 판단함으로써 제2 모드 천이 조건이 충족되는지 여부를 판단할 수 있다.
제2 모드 천이 조건이 충족되면, 이미지 분석부(300)는 '천이 성공'을 나타내는 제2 이미지 분석 결과를 생성할 수 있다. 반대로, 제2 모드 천이 조건이 충족되지 않으면, 이미지 분석부(300)는 '천이 실패'를 나타내는 제2 이미지 분석 결과를 생성할 수 있다. 이미지 프로세서(200)는 '천이 성공'을 나타내는 제2 이미지 분석 결과에 따라 이미지 센싱 장치(100)를 제3 동작 모드로 동작하도록 제어할 수 있다.
이미지 분석부(300)는 제3 동작 모드에서 생성된 IR 이미지에 포함된 제3 객체에 대응하는 사용자 입력을 판단하고, 해당 사용자 입력에 대한 정보를 포함하는 제3 이미지 분석 결과를 생성할 수 있다. IR 이미지는 각 픽셀 별 적외광의 세기 정보를 포함하는데, 사람의 피부는 일정 파장 범위의 적외광에 대해 상대적으로 높은 반사율을 가지므로, 사람의 피부를 촬영한 픽셀의 세기 정보는 기준 값 이상일 수 있다. 제3 객체는 서로 인접하면서 기준 값 이상에 해당하는 세기 정보를 가진 픽셀들의 집합을 의미할 수 있다. 이미지 분석부(300)는 제3 객체를 식별한 뒤 제3 객체에 대응하는 사용자 입력을 판단할 수 있다.
예를 들어, 사용자 입력은 사람의 손 동작에 대응하는 수화 언어, 사람의 동작에 대응하는 모션과 보안 해제가 가능한 모션을 비교한 보안 해제 정보, 사람의 동작에 대응하는 조작 입력 중 적어도 하나를 포함할 수 있다. 이미지 분석부(300)는 하나의 프레임에 해당하는 IR 이미지에 기초하여 사용자 입력을 판단할 수도 있고, 복수의 연속되는 프레임들에 해당하는 IR 이미지에 기초하여 사용자 입력을 판단할 수도 있다. 이는 경우에 따라, 사람의 연속적인 동작들을 인식하여야 사용자 입력을 판단할 수 있기 때문이다.
이미지 분석부(300)는 제1 깊이 이미지에서 제1 객체가 사람 형상에 해당하는지 여부를 판단하는 동작, 제2 깊이 이미지에서 제2 객체가 특정 신체부위(예컨대, 손)의 형상에 해당하는지 여부를 판단하는 동작 및 IR 이미지에서 제3 객체에 대응하는 사용자 입력을 판단하는 동작을, 인공지능(AI; artificial intelligence)의 이미지 인식 기술을 이용해 수행할 수 있다.
일 예로, 이미지 분석부(300)는 CNN(Convolutional Neural Network) 기반의 딥 러닝 알고리즘(deep learning algorithm)을 이용할 수 있으며, 딥 러닝 알고리즘은 이미지를 다양한 패턴으로 분류하고, 패턴형 데이터를 학습하여 새로운 이미지가 주어질 때 이미지 내의 객체가 무엇(예컨대, 사람 형상, 손 형상, 특정 제스처)에 해당하는지 판단할 수 있다.
제어부(400)는 모션 인식 장치(10)의 전반적인 동작을 제어할 수 있고, 모션 인식 장치(10)에 포함된 각 구성의 활성화 및 비활성화를 제어할 수 있다. 특히, 제어부(400)는 모션 인식 장치(10)의 전력 소모를 저감하기 위해 모션 인식 장치(10)의 모드를 대기 모드 또는 정상 모드(normal mode)로 나누어 운용할 수 있다. 여기서, 대기 모드는 모션 인식 장치(10)에서 근접 센서(410), 터치 스크린(420) 및/또는 마이크(430)를 제외한 나머지 구성을 비활성화한 상태를 의미할 수 있다. 정상 모드는 모션 인식 장치(10)에 포함된 구성들이 활성화된 상태를 의미할 수 있다.
정상 모드에서 소정의 시간 동안 사용자 입력이 없을 경우, 제어부(400)는 모션 인식 장치(10)를 대기 모드로 진입시킬 수 있다. 한편, 대기 모드에서 근접 센서(410), 터치 스크린(420) 및/또는 마이크(430)가 미리 정해진 웨이크업 입력(wakeup input)을 수신하여 제어부(400)로 전달할 경우, 제어부(400)는 모션 인식 장치(10)를 정상 모드로 진입시킬 수 있다. 여기서, 근접 센서(410)가 미리 정해진 웨이크업 입력을 수신하는 것은, 근접 센서(410)의 소정의 근접 범위 내에 대상 물체(1)가 위치하여 근접 센서(410)가 대상 물체(1)를 감지하는 것을 의미할 수 있다. 또한, 터치 스크린(420)이 미리 정해진 웨이크업 입력을 수신하는 것은, 터치 스크린(420)에 표시된 메뉴(예컨대, '시작' 버튼)가 사용자에 의해 터치되는 것을 의미할 수 있다. 아울러, 마이크(430)가 미리 정해진 웨이크업 입력을 수신하는 것은, 마이크(430)를 통해 특정 음성 입력(예컨대, '시작해줘')이 입력되는 것을 의미할 수 있다.
제어부(400)는 근접 센서(410), 터치 스크린(420) 및/또는 마이크(430)로부터 웨이크업 입력을 수신하여, 웨이크업 입력에 대응하는 제1 안내 메시지를 터치 스크린(420) 및/또는 스피커(440)로 전달할 수 있다. 또한, 제어부(400)는 이미지 프로세서(200)로부터 제1 및 제2 이미지 분석 결과를 수신하여, 제1 및 제2 이미지 분석 결과 각각에 대응하는 제2 및 제3 안내 메시지를 터치 스크린(420) 및/또는 스피커(440)로 전달할 수 있다.
근접 센서(410)는 미리 정해진 근접 범위 내에 대상 물체(1)가 위치하는지 감지할 수 있다. 예를 들어, 근접 센서(410)는 고주파 발진 센서, 정전 용량 센서, 자기 센서, 유도 센서, 초음파 센서 중 적어도 하나를 포함할 수 있다. 근접 센서(410)는 대상 물체(1)의 감지 결과에 대한 근접 정보를 생성하여 제어부(400)로 전달할 수 있다.
터치 스크린(420)은 사용자의 터치 입력을 감지할 수 있는 터치 패널과, 터치 패널에 오버랩되어 배치되고 사용자에게 제공되는 화면을 출력할 수 있는 디스플레이 패널을 포함할 수 있다. 즉, 터치 스크린(420)은 사용자가 볼 수 있는 화면을 제공함과 동시에, 화면 상에 표시된 메뉴에 대한 사용자 입력을 수신할 수 있다. 터치 스크린(420)은 제1 내지 제3 안내 메시지에 대응하는 텍스트(text) 및/또는 이미지가 표시된 화면을 출력할 수 있다.
마이크(430)는 사용자로부터의 음성 입력을 전기적 신호로 변환하여 음성 정보를 생성하고, 음성 정보를 제어부(400)로 전달할 수 있다.
스피커(440)는 제어부(400)로부터 전달된 제1 내지 제3 안내 메시지에 대응하는 텍스트를 포함하는 음성 정보를 사용자가 들을 수 있도록 출력할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 모션 인식 장치를 개략적으로 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 모션 인식 장치(10')는 서로 물리적으로 독립된 이미지 분석 장치(20)와 메인 제어 장치(30)를 포함할 수 있다.
이미지 분석 장치(20)는 이미지 센싱 장치(100), 이미지 프로세서(200) 및 이미지 분석부(300)를 포함할 수 있다. 한편, 메인 제어 장치(30)는 제어부(400), 근접 센서(410), 터치 스크린(420), 마이크(430) 및 스피커(440)를 포함할 수 있다. 모션 인식 장치(10')의 세부 구성들(100~440) 각각은 도 1에서 설명된 모션 인식 장치(10)의 구성들(100~440) 각각과 그 기능이 실질적으로 동일한 바, 중복되는 설명은 생략하기로 한다.
즉, 도 1의 모션 인식 장치(10)의 구성 중 이미지에 관련된 구성들(100~300)은 이미지 분석 장치(20)에 포함되고, 그 이외의 구성들(400~440)은 메인 제어 장치(30)에 포함될 수 있다.
이미지 분석 장치(20)와 메인 제어 장치(30) 간의 통신은 유/무선 통신 규격에 따라 수행될 수 있다. 예를 들어, 이미지 분석 장치(20)와 메인 제어 장치(30) 간의 통신은 USB(universal serial bus), UFS(universal flash storage) 등의 유선 통신 규격, Wi-Fi, 블루투스(Bluetooth) 등의 무선 통신 규격 등에 따라 수행될 수 있다.
본 발명의 다른 실시예에 따른 모션 인식 장치(10')에 의하면, 이미지 캡쳐 및 이미지 분석 기능을 갖지 않는 메인 제어 장치(30)라도, 외장형 모듈 형태의 이미지 분석 장치(20)를 연결함으로써, 도 1에서 설명된 모션 인식 장치(10)의 모든 동작을 수행할 수 있다.
다른 실시예에 따라, 이미지 분석부(300)는 메인 제어 장치(30)에 포함될 수도 있다.
이하의 설명에서는 모션 인식 장치(10)를 중심으로 설명되나, 실질적으로 동일한 기술적 사상이 모션 인식 장치(10')에도 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 센싱 장치의 구성을 개략적으로 도시한 구성도이다.
도 1을 참조하면, 이미지 센싱 장치(100)는 TOF(time of flight) 방식을 이용하여 대상 물체(1)와의 거리를 측정하거나, 대상 물체(1)에 대한 IR 이미지를 획득할 수 있다. 이러한 이미지 센싱 장치(100)는 광원(110), 렌즈 모듈(120), 픽셀 어레이(130) 및 제어회로(140)를 포함할 수 있다.
광원(110)은 제어회로(140)로부터의 광 변조 신호(MLS)에 응답하여 대상 물체(1)에 광을 조사한다. 광원(110)은 특정 파장 대역의 광(예컨대, 근적외선, 적외선 또는 가시광)을 발광하는 수직 공진 표면 발광 레이저(VCSEL; Vertical Cavity Surface Emitting Laser), 레이저 다이오드(LD; Laser Diode), 발광 다이오드(LED; Light Emitting Diode), 근적외선 레이저(NIR; Near Infrared Laser), 포인트 광원, 백색 램프 및 모노크로메이터(monochromator)가 조합된 단색(monochromatic) 조명원, 또는 다른 레이저 광원의 조합일 수 있다. 예를 들어, 광원(110)은 800㎚ 내지 10000㎚의 파장을 가지는 적외선을 발광할 수 있다. 광원(110)으로부터 조사되는 광은 미리 정해진 변조 주파수로 변조된 변조광일 수 있다. 도 1에서는 설명의 편의를 위해 하나의 광원(110)만을 도시하였으나, 복수의 광원들이 렌즈 모듈(120)의 주변에 배열될 수도 있다.
렌즈 모듈(120)은 대상 물체(1)로부터 반사된 광을 수집하여 픽셀 어레이(130)의 픽셀들(PX)에 집중 시킬 수 있다. 예를 들어, 렌즈 모듈(120)은 유리 또는 플라스틱 표면의 집중 렌즈 또는 다른 원통형 광학 원소를 포함할 수 있다. 렌즈 모듈(120)은 광축을 중심으로 정렬된 복수의 렌즈들을 포함할 수 있다.
픽셀 어레이(130)는 2차원 매트릭스(matrix) 구조로 연속적으로 배열된(예를 들어, 컬럼(column) 방향 및 로우(row) 방향으로 연속적으로 배열된) 복수의 단위 픽셀들(PX)을 포함할 수 있다. 단위 픽셀들(PX)은 반도체 기판에 형성될 수 있으며, 각 단위 픽셀(PX)은 렌즈 모듈(120)을 통해 입사되는 광을 광의 세기에 대응하는 전기 신호로 변환하여 픽셀 신호를 출력할 수 있다. 각 단위 픽셀(PX)은 CAPD(Current-Assisted Photonic Demodulator) 픽셀일 수 있다. 각 단위 픽셀(PX)의 보다 상세한 구조 및 동작에 대해서는 도 4 내지 도 7을 참조하여 후술하기로 한다.
제어 회로(140)는 광원(110)을 제어하여 대상 물체(1)에 광을 조사하고, 픽셀 어레이(130)의 단위 픽셀들(PX)을 구동시켜 대상 물체(1)로부터 반사된 광에 대응되는 픽셀 신호들을 처리하여 디지털 형태의 픽셀 데이터를 생성할 수 있다.
이러한 제어 회로(140)는 로우 드라이버(row driver, 141), 복조 드라이버(demodulation driver, 142), 광원 드라이버(light source driver, 143), 타이밍 컨트롤러(timing controller, 144), 및 리드아웃 회로(readout circuit, 145)를 포함할 수 있다.
로우 드라이버(141)와 복조 드라이버(142)는 구동 회로(driving circuit)으로 통칭될 수 있다.
구동 회로는 타이밍 컨트롤러(144)로부터 출력된 타이밍 신호에 응답하여 픽셀 어레이(130)의 단위 픽셀들(PX)을 구동시킬 수 있다.
구동 회로는 픽셀 어레이(130)의 복수의 로우 라인들(row lines) 중에서 적어도 하나의 로우 라인을 선택 및 제어할 수 있는 제어 신호를 생성할 수 있다. 이러한 제어 신호는 기판 내 홀 전류(hole current)를 발생시키는 복조 제어 신호, 리셋 트랜지스터를 제어하는 리셋 신호, 검출 노드에 축적된 광전하의 전달을 제어하는 전송 신호, 고조도 조건에서 추가적인 정전 용량을 제공하기 위한 플로팅 디퓨전 신호, 선택 트랜지스터를 제어하는 선택 신호 등을 포함할 수 있다.
여기서, 로우 드라이버(141)는 리셋 신호, 전송 신호, 플로팅 디퓨전 신호 및 선택 신호를 생성할 수 있고, 복조 드라이버(142)는 복조 제어 신호를 생성할 수 있다.
광원 드라이버(143)는 타이밍 컨트롤러(144)의 제어에 따라 광원(110)을 구동시킬 수 있는 광 변조 신호(MLS)를 생성할 수 있다. 광원 드라이버(143)는 이미지 센싱 장치(100)의 동작 모드에 따라 광 변조 신호(MLS)의 변조 주파수를 가변하거나, 일정한 레벨을 갖는 광 변조 신호(MLS)를 생성할 수 있다.
제1 동작 모드에서, 광원 드라이버(143)는 제1 변조 주파수를 갖는 광 변조 신호(MLS)를 생성할 수 있다.
제2 동작 모드에서, 광원 드라이버(143)는 제2 변조 주파수를 갖는 광 변조 신호(MLS)를 생성할 수 있다. 제2 변조 주파수는 제1 변조 주파수보다 클 수 있다.
제3 동작 모드에서, 광원 드라이버(143)는 일정한 레벨을 갖는 광 변조 신호(MLS)를 생성할 수 있다.
타이밍 컨트롤러(144)는 이미지 프로세서(200)의 제어에 따라, 로우 드라이버(141), 복조 드라이버(142), 광원 드라이버(143) 및 리드아웃 회로(145)의 동작을 제어하기 위한 타이밍 신호를 생성할 수 있다.
리드아웃 회로(145)는 타이밍 컨트롤러(144)의 제어에 따라 픽셀 어레이(130)로부터 출력되는 픽셀 신호들을 처리하여 디지털 신호 형태의 픽셀 데이터를 생성할 수 있다. 이를 위해, 리드아웃 회로(145)는 픽셀 어레이(130)로부터 출력된 픽셀 신호들에 대해 상관 이중 샘플링(correlated double sampling)을 수행하기 위한 상관 이중 샘플러(CDS: correlated double sampler)를 포함할 수 있다. 또한, 리드아웃 회로(145)는 상관 이중 샘플러로부터의 출력 신호들을 디지털 신호들로 변환하기 위한 아날로그-디지털 컨버터를 포함할 수 있다. 아울러, 리드아웃 회로(145)는 아날로그-디지털 컨버터로부터 출력되는 픽셀 데이터를 임시 저장하고 타이밍 컨트롤러(144)의 제어에 따라 외부로 출력하기 위한 버퍼 회로를 포함할 수 있다. 한편, 픽셀 어레이(130)가 CAPD 픽셀들로 구성됨에 따라, 픽셀 신호를 전달하기 위한 컬럼 라인은 픽셀 어레이(130)의 한 컬럼당 2개씩 구비될 수 있으며, 각 컬럼 라인으로부터 출력되는 픽셀 신호를 처리하기 위한 구성들 역시 각 컬럼 라인에 대응하여 구비될 수 있다.
리드아웃 회로(145)가 생성 및 출력하는 픽셀 데이터는 이미지 센싱 장치(100)의 동작 모드에 따라 다르게 정의될 수 있다. 즉, 리드아웃 회로(145)가 생성 및 출력하는 픽셀 데이터는 제1 내지 제3 동작 모드 각각에서 제1 내지 제3 이미지 데이터로 정의될 수 있다.
광원(110)은 이미지 센싱 장치(100)가 촬영하는 장면을 향해 미리 정해진 변조 주파수로 변조된 변조광을 방사하고, 이미지 센싱 장치(100)는 장면 내의 대상 물체들(1)로부터 반사된 변조광(즉, 입사광)을 감지하여 각 단위 픽셀(PX)마다 픽셀 데이터를 생성할 수 있다. 변조광과 입사광 사이에는 이미지 센싱 장치(100)와 대상 물체(1) 간의 거리에 따른 시간 지연(time delay)이 존재하게 되는데, 이러한 시간 지연은 이미지 센싱 장치(100)가 생성하는 신호와 광원(110)을 제어하는 광 변조 신호(MLS) 간의 위상차(phase difference)로 나타나게 된다. 이미지 프로세서(200)는 이미지 센싱 장치(100)로부터 출력되는 제1 또는 제2 이미지 데이터에 나타난 위상차를 연산하여 각 단위 픽셀(PX)마다의 깊이 정보를 포함하는 제1 또는 제2 깊이 이미지를 생성할 수 있다.
광원(110)은 이미지 센싱 장치(100)가 촬영하는 장면을 향해 일정한 레벨을 갖는 적외광을 방사하고, 이미지 센싱 장치(100)는 장면 내의 대상 물체들(1)로부터 반사된 적외광(즉, 입사광)을 감지하여 각 단위 픽셀(PX)마다 픽셀 데이터를 생성할 수 있다. 이미지 프로세서(200)는 이미지 센싱 장치(100)로부터 출력되는 제3 이미지 데이터에 기초하여 대상 물체(1)의 적외선 영상을 나타내는 IR 이미지를 생성할 수 있다.
다른 실시예에 따라, 이미지 센싱 장치(100)는 대상 물체(1)의 컬러 이미지를 더 획득할 수 있다. 이러한 이미지 센싱 장치(100)는 픽셀 어레이(130) 내에 특정 가시광 파장에 해당하는 광을 선택적으로 투과시키는 컬러 필터를 각각 포함하는 컬러 픽셀들을 포함할 수 있다. 또는, 이미지 센싱 장치(100)는 픽셀 어레이(130)와는 독립적으로 컬러 픽셀들로 구성된 컬러 픽셀 어레이를 포함할 수 있고, 컬러 픽셀 어레이를 구동하고 컬러 픽셀 어레이로부터 출력되는 픽셀 신호를 처리하여 이미지 프로세서(200)로 전달하기 위한 제어 회로를 별도로 구비할 수 있다.
도 4는 도 3에 도시된 픽셀의 레이아웃을 간략히 나타낸 도면이다.
도 4를 참조하면, 픽셀(PX)은 도 3에 도시된 픽셀들(PX) 중 어느 하나일 수 있으며, 설명의 편의상 하나의 픽셀(PX)을 예로 들어 설명하나, 픽셀 어레이(130)에 포함된 임의의 픽셀에 실질적으로 동일한 구조 및 동작이 적용될 수 있다.
픽셀(PX)은 제1 탭(TA)과 제2 탭(TB)을 포함할 수 있다. 본 개시에서는 하나의 픽셀(PX) 내에 2개의 탭들(TA, TB)이 포함되는 것으로 예시하여 설명하나, 본 발명의 범위는 이에 한정되지 않는다. 즉, 하나의 픽셀(PX) 내에 3개 이상의 탭들이 포함될 수 있으며, 이 경우 복수의 탭들은 서로 동일하거나 서로 다른 종류(또는 타이밍)의 복조 제어 신호를 인가받을 수 있다.
제1 탭(TA)과 제2 탭(TB)은 가로 방향을 따라 배열되는 것으로 도시되었으나, 다른 실시예에 따라 세로 방향 또는 사선 방향으로 배치될 수도 있다.
제1 탭(TA)은 제1 제어 노드(CNA) 및 제1 제어 노드(CNA)를 둘러싸는 제1 검출 노드(DNA)를 포함할 수 있다. 도 4에서는 제1 제어 노드(CNA)의 형태가 원형이고, 제1 검출 노드(DNA)의 형태가 링(ring)으로 예시되어 있으나, 본 발명의 범위는 이에 한정되지 않는다. 이러한 제1 검출 노드(DNA)의 링 형태는 제1 제어 노드(CNA)를 가능한 넓은 면적으로 둘러싸도록 하기 위함이며, 이러한 형태를 갖는 제1 검출 노드(DNA)는 제1 제어 노드(CNA)에 의해 형성되는 홀 전류를 따라 이동하는 신호 캐리어를 보다 용이하게 캡쳐할 수 있다.
제1 제어 노드(CNA)와 제1 검출 노드(DNA)는 서로 접하도록 배치되어 반대 도핑을 통한 정션 분리(junction isolation)만을 이용해 물리적으로 분리될 수 있다.
다른 실시예에 따라, 제1 제어 노드(CNA)와 제1 검출 노드(DNA)가 일정 거리 이격되어 배치될 수 있으며, 이 경우, STI(Shallow Trench Isolation) 공정에 의한 트렌치 내에 절연 물질을 갭필(gap-fill)함에 의해 형성되는 절연층에 의해, 제1 제어 노드(CNA)와 제1 검출 노드(DNA)는 물리적으로 서로 분리될 수 있다.
제2 탭(TB)은 제2 제어 노드(CNB) 및 제2 제어 노드(CNB)를 둘러싸는 제2 검출 노드(DNB)를 포함할 수 있다. 제2 제어 노드(CNB) 및 제2 검출 노드(DNB)의 구조는 제1 제어 노드(CNA) 및 제1 검출 노드(DNA)의 구조에 대응되는 바 중복되는 설명은 생략하기로 한다.
도 5에서는 도 4에 도시된 절단선(A-A')을 따라 픽셀(PX)을 절단한 단면을 예시로 픽셀(PX)의 구조 및 동작에 대해 설명하기로 한다.
도 5는 도 4에 도시된 픽셀의 구조를 나타낸 도면이다.
도 5를 참조하면, 픽셀(PX)은 크게 광전 변환 영역(500)과 회로 영역(600)을 포함할 수 있다.
광전 변환 영역(500)은 도 2의 절단선(A-A')을 따라 픽셀(PX)을 절단한 단면을 간략히 나타낸 영역에 해당한다. 비록 도시되지는 않았으나, 광전 변환 영역(500)의 상부면에는 입사되는 광(light) 중 적외선 파장 범위에 해당하는 광을 선택적으로 통과시킬 수 있는 적외선 필터가 배치될 수 있다.
광전 변환 영역(500)은 제1 및 제2 제어 노드(CNA, CNB)와, 제1 및 제2 검출 노드(DNA, DNB)를 포함할 수 있다. 제1 제어 노드(CNA)와 제1 검출 노드(DNA)는 제1 탭(또는 제1 복조 노드)을 구성하고, 제2 제어 노드(CNB)와 제2 검출 노드(DNB)는 제2 탭(또는 제2 복조 노드)을 구성할 수 있다.
제1 및 제2 제어 노드(CNA, CNB)와, 제1 및 제2 검출 노드(DNA, DNB)는 기판 내부에 형성될 수 있다. 예컨대, 기판은 P형 반도체 기판이고, 제1 및 제2 제어 노드(CNA, CNB)는 P형 불순물 영역이고, 제1 및 제2 검출 노드(DNA, DNB)는 N형 불순물 영역일 수 있다.
제1 및 제2 제어 노드(CNA, CNB) 각각은 복조 드라이버(142)로부터 제1 및 제2 복조 제어 신호(CSa, CSb)를 각각 수신할 수 있다. 제1 복조 제어 신호(CSa)와 제2 복조 제어 신호(CSb) 간의 전위차는 입사광에 의해 기판 내에 생성된 신호 캐리어(signal carrier)의 흐름을 제어하는 홀 전류(hole current, HC)를 발생시킨다. 제1 복조 제어 신호(CSa)의 전위가 제2 복조 제어 신호(CSb)의 전위보다 높은 경우, 홀 전류(HC)는 제1 제어 노드(CNA)로부터 제2 제어 노드(CNB)로 흐르게 된다. 제1 복조 제어 신호(CSa)의 전위가 제2 복조 제어 신호(CSb)의 전위보다 낮은 경우, 홀 전류(HC)는 제2 제어 노드(CNB)로부터 제1 제어 노드(CNA)로 흐르게 된다.
제1 및 제2 검출 노드(DNA, DNB) 각각은 홀 전류(HC)의 흐름에 따라 이동하는 신호 캐리어를 캡쳐(capture)하고 축적하는 기능을 수행할 수 있다.
일 실시예에 따라, 제1 및 제2 제어 노드(CNA, CNB) 각각은 도핑 농도가 서로 다른 P형 불순물 영역들을 포함할 수 있다. 일 예로, 기판 내로 도핑 농도가 상대적으로 낮은 P형 불순물 영역(P- 영역)이 주입되고, 동일한 위치에 도핑 농도가 상대적으로 높은 P형 불순물 영역(P+ 영역)이 P- 영역보다 작은 깊이를 갖도록 주입될 수 있다. 한편, 제1 및 제2 검출 노드(DNA, DNB) 각각은 도핑 농도가 서로 다른 N형 불순물 영역들을 포함할 수 있다. 일 예로, 기판 내로 도핑 농도가 상대적으로 낮은 N형 불순물 영역(N- 영역)이 주입되고, 동일한 위치에 도핑 농도가 상대적으로 높은 N형 불순물 영역(N+ 영역)이 N- 영역보다 작은 깊이를 갖도록 주입될 수 있다.
또한, P- 영역의 깊이는 N- 영역의 깊이보다 더 클 수 있다. 이는 홀 전류(HC) 경로의 길이를 줄여 홀 전류(HC)의 흐름을 보다 용이하게 하기 위함이다.
제1 또는 제2 동작 모드에서, 광전 변환 영역(500)의 광전하 캡쳐는 순차적인 시간 구간들인 제1 구간 및 제2 구간에 걸쳐 수행될 수 있다.
제1 구간에서, 픽셀(PX) 내부로 입사된 입사광은 광전 효과에 따라 광전 변환되어, 입사광의 세기에 대응하는 전자 및 정공 쌍을 발생시킬 수 있다. 본 개시에서 입사광의 세기에 대응하여 생성된 전자는 광전하(photocharge)를 의미할 수 있다. 이때, 복조 드라이버(142)는 제1 제어 노드(CNA)에 제1 복조 제어 신호(CSa)를 인가하고, 제2 제어 노드(CNB)에 제2 복조 제어 신호(CSb)를 인가할 수 있다. 여기서, 제1 복조 제어 신호(CSa)의 전압은 제2 복조 제어 신호(CSb)의 전압보다 높을 수 있다. 이때, 제1 복조 제어 신호(CSa)의 전압은 활성화 전압(active voltage), 그리고 제2 복조 제어 신호(CSb)의 전압은 비활성화 전압(inactive voltage)로 각각 정의될 수 있다. 예컨대, 제1 복조 제어 신호(CSa)의 전압은 1.2V이고, 제2 복조 제어 신호(CSb)의 전압은 0V일 수 있다.
제1 복조 제어 신호(CSa)의 전압과 제2 복조 제어 신호(CSb)의 전압 간의 전압 차로 인해 제1 제어 노드(CNA)와 제2 제어 노드(CNB) 사이에 전계가 발생하고, 제1 제어 노드(CNA)로부터 제2 제어 노드(CNB)로 홀 전류(HC)가 흐를 수 있다. 즉, 기판 내의 정공은 제2 제어 노드(CNB) 방향으로 이동하게 되며, 기판 내의 전자는 제1 제어 노드(CNA) 방향으로 이동하게 된다.
입사광의 광량에 대응하여 기판 내에 전자가 발생하며, 발생된 전자는 제1 제어 노드(CNA) 방향으로 이동하게 되어 제1 제어 노드(CNA)에 인접한 제1 검출 노드(DNA)에 의해 캡쳐될 수 있다. 따라서, 기판 내의 전자는 입사광의 광량을 검출하는 신호 캐리어로 이용될 수 있다.
제1 구간에 연속되는 제2 구간에서, 픽셀(PX) 내부로 입사된 입사광은 광전 효과에 따라 광전 변환되어, 입사광의 세기에 대응하는 전자 및 정공 쌍을 발생시킬 수 있다. 이때, 복조 드라이버(142)는 제1 제어 노드(CNA)에 제1 복조 제어 신호(CSa)를 인가하고, 제2 제어 노드(CNB)에 제2 복조 제어 신호(CSb)를 인가할 수 있다. 여기서, 제1 복조 제어 신호(CSa)의 전압은 제2 복조 제어 신호(CSb)의 전압보다 낮을 수 있다. 이때, 제1 복조 제어 신호(CSa)의 전압은 비활성화 전압, 그리고 제2 복조 제어 신호(CSb)의 전압은 활성화 전압으로 각각 정의될 수 있다. 예컨대, 제1 복조 제어 신호(CSa)의 전압은 0V이고, 제2 복조 제어 신호(CSb)의 전압은 1.2V일 수 있다.
제1 복조 제어 신호(CSa)의 전압과 제2 복조 제어 신호(CSb)의 전압 간의 전압차로 인해 제1 제어 노드(CNA)와 제2 제어 노드(CNB) 사이에 전계가 발생하고, 제2 제어 노드(CNB)로부터 제1 제어 노드(CNA)로 홀 전류(HC)가 흐를 수 있다. 즉, 기판 내의 정공은 제1 제어 노드(CNA) 방향으로 이동하게 되며, 기판 내의 전자는 제2 제어 노드(CNB) 방향으로 이동하게 된다.
즉, 입사광의 광량에 대응하여 기판 내에 전자가 발생하며, 발생된 전자는 제2 제어 노드(CNB) 방향으로 이동하게 되어 제2 제어 노드(CNB)에 인접한 제2 검출 노드(DNB)에 의해 캡쳐될 수 있다. 따라서, 기판 내의 전자는 입사광의 광량을 검출하는 신호 캐리어로 이용될 수 있다.
다른 실시예에 따라, 제1 구간과 제2 구간의 순서는 변경될 수도 있다.
제3 동작 모드에서, 광전 변환 영역(500)의 광전하 캡쳐는 일정한 간격으로 반복되는 시간 구간들인 제3 구간에서 수행될 수 있다. 제3 구간에서의 제1 및 제2 복조 제어 신호(CSa, CSb)는 제1 또는 제2 구간에서의 제1 및 제2 복조 제어 신호(CSa, CSb)와 실질적으로 동일할 수 있다. 또한, 반복되는 제3 구간들에서의 제1 및 제2 복조 제어 신호(CSa, CSb) 각각의 전압은 일정할 수 있다. 즉, 제1 또는 제2 동작 모드에서는 제1 및 제2 구간에서 제1 제어 노드(CNA) 및 제2 제어 노드(CNB) 각각에 활성화 전압과 비활성화 전압이 교번적으로 인가됨에 반해, 제3 동작 모드에서는 제3 구간에서 제1 제어 노드(CNA) 및 제2 제어 노드(CNB) 각각에 활성화 전압과 비활성화 전압이 고정적으로 인가될 수 있다. 이는 제1 또는 제2 동작 모드에서는 변조광과 입사광 사이의 위상차를 연산할 수 있도록 광 변조 신호(MLS)와 동기화된 복조 제어 신호들이 제1 및 제2 제어 노드들(CNA, CNB)에 인가되기 때문이다. 반면, 제3 동작 모드에서는 입사광에 따른 IR 이미지를 획득할 수 있도록, 광 변조 신호(MLS)와는 무관하게 입사광에 따른 광전하 캡쳐를 위한 홀 전류를 발생시킬 수 있는 복조 제어 신호들이 제1 및 제2 제어 노드들(CNA, CNB)에 인가되면 족하기 때문이다.
회로 영역(600)은 제1 검출 노드(DNA)와 제2 검출 노드(DNB)에 의해 캡쳐된 광전하를 처리하여 전기 신호로 변환하기 위한 복수의 소자들을 포함할 수 있다. 복수의 소자들에 공급되는 제어 신호들(RST, TRG, FDG, SEL)은 로우 드라이버(141)로부터 공급될 수 있다. 또한, 픽셀 전압(Vpx)은 전원 전압(VDD)일 수 있다.
먼저, 제1 검출 노드(DNA)에 의해 캡쳐된 광전하를 처리하기 위한 소자들에 대해 설명하기로 한다. 회로 영역(600)은 리셋 트랜지스터(RX_A), 전송 트랜지스터(TX_A), 제1 커패시터(C1_A), 제2 커패시터(C2_A), 플로팅 디퓨전 트랜지스터(FDX_A), 드라이브 트랜지스터(DX_A) 및 선택 트랜지스터(SX_A)를 포함할 수 있다.
리셋 트랜지스터(RX_A)는 게이트 전극에 공급되는 리셋 신호(RST)의 로직 하이에 응답하여 액티브 상태가 됨으로써, 플로팅 디퓨전 노드(FD_A)와 제1 검출 노드(DNA)의 전위를 소정의 레벨(즉, 픽셀 전압(Vpx))로 리셋할 수 있다. 또한, 리셋 트랜지스터(RX_A)가 액티브 상태가 될 때, 플로팅 디퓨전 노드(FD_A)의 리셋을 위해 전송 트랜지스터(TX_A)도 동시에 액티브 상태가 될 수 있다.
전송 트랜지스터(TX_A)는 게이트 전극에 공급되는 전송 신호(TRG)의 로직 하이에 응답하여 액티브 상태가 됨으로써, 제1 검출 노드(DNA)에 축적되어 있는 전하를 플로팅 디퓨전 노드(FD_A)로 전송할 수 있다.
제1 커패시터(C1_A)는 플로팅 디퓨전 노드(FD_A)에 연결되어 소정의 정전 용량을 제공할 수 있다.
제2 커패시터(C2_A)는 플로팅 디퓨전 트랜지스터(FDX_A)의 동작에 따라 선택적으로 플로팅 디퓨전 노드(FD_A)에 연결되어 부가적인 소정의 정전 용량을 제공할 수 있다.
제1 커패시터(C1_A)와 제2 커패시터(C2_A) 각각은 예를 들어 MIM(Metal-Insulator-Metal) 커패시터, MIP(Metal-Insulator-Polysilicon) 커패시터, MOS(Metal-Oxide-Semiconductor) 커패시터, 정션(junction) 커패시터 중 적어도 하나로 구성될 수 있다.
플로팅 디퓨전 트랜지스터(FDX_A)는 게이트 전극에 공급되는 플로팅 디퓨전 신호(FDG)의 로직 하이에 응답하여 액티브 상태가 됨으로써, 제2 커패시터(C2_A)를 플로팅 디퓨전 노드(FD_A)에 접속시킬 수 있다.
로우 드라이버(141)는, 예를 들면, 입사광의 광량이 상대적으로 많은 고조도일 때, 플로팅 디퓨전 트랜지스터(FDX_A)를 액티브 상태로 하여, 플로팅 디퓨전 노드(FD_A)와 제2 커패시터(C2_A)을 접속시킬 수 있다. 이에 의해, 고조도의 경우, 플로팅 디퓨전(FD_A)은 보다 많은 광전하를 축적할 수 있어 high dynamic range가 확보될 수 있다.
한편, 입사광의 광량이 상대적으로 적은 저조도일 때에는, 로우 드라이버(141)는 플로팅 디퓨전 트랜지스터(FDX_A)를 인액티브 상태로 하여, 플로팅 디퓨전 노드(FD_A)와 제2 커패시터(C2_A)을 분리시킬 수 있다.
다른 실시예에 따라, 플로팅 디퓨전 트랜지스터(FDX_A)와 제2 커패시터(C2_A)는 생략될 수도 있다.
드라이브 트랜지스터(DX_A)는 드레인 전극이 픽셀 전압(Vpx)에 접속되고 소스 전극이 선택 트랜지스터(SX_A)를 통하여 수직 신호선(SL_A)에 접속됨에 의해, 수직 신호선(SL_A)의 일단에 접속되어 있는 정전류원 회로부(CS_A)의 부하 MOS와 소스 팔로워 회로를 구성할 수 있다. 즉, 드라이브 트랜지스터(DX_A)는 게이트 전극에 접속된 플로팅 디퓨전 노드(FD_A)의 전위에 대응하는 전류를 선택 트랜지스터(SX_A)를 통하여 수직 신호선(SL_A)에 출력할 수 있다.
선택 트랜지스터(SX_A)는 게이트 전극에 공급되는 선택 신호(SEL)의 로직 하이에 응답하여 액티브 상태가 됨으로써, 드라이브 트랜지스터(DX_A)로부터 출력되는 픽셀 신호를 수직 신호선(SL_A)에 출력할 수 있다.
제2 검출 노드(DNB)에 의해 캡쳐된 광전하를 처리하기 위해 회로 영역(600)은 리셋 트랜지스터(RX_B), 전송 트랜지스터(TX_B), 제1 커패시터(C1_B), 제2 커패시터(C2_B), 플로팅 디퓨전 트랜지스터(FDX_B), 드라이브 트랜지스터(DX_B) 및 선택 트랜지스터(SX_B)를 포함할 수 있다. 제2 검출 노드(DNB)에 의해 캡쳐된 광전하를 처리하기 위한 소자들은, 앞서 설명된 제1 검출 노드(DNA)에 의해 캡쳐된 광전하를 처리하기 위한 소자들과는 동작하는 타이밍이 상이할 뿐, 구조 및 동작은 실질적으로 동일하므로 중복되는 설명은 생략하기로 한다.
회로 영역(600)으로부터 수직 신호선(SL_A, SL_B)으로 출력된 각 픽셀 신호는 노이즈 제거 및 아날로그-디지털 변환을 거쳐 영상 데이터로 변환될 수 있다.
도 5에서 리셋 신호(RST), 전송 신호(TRG), 플로팅 디퓨전 신호(FDG) 및 선택 신호(SEL)는 각각 하나의 신호선으로 도시되어 있으나, 제1 검출 노드(DNA)에 의해 캡쳐된 광전하를 처리하기 위한 소자들과 제2 검출 노드(DNB)에 의해 캡쳐된 광전하를 처리하기 위한 소자들이 서로 다른 타이밍에 따라 동작하도록 하기 위해 리셋 신호(RST), 전송 신호(TRG), 플로팅 디퓨전 신호(FDG) 및 선택 신호(SEL) 각각은 복수(예컨대, 2개)의 신호선들을 통해 공급될 수 있다.
제1 또는 제2 동작 모드에서, 이미지 프로세서(200)는 제1 검출 노드(DNA)에 의해 캡쳐된 광전하로부터 획득된 픽셀 데이터와, 제2 검출 노드(DNB)에 의해 캡쳐된 광전하로부터 획득된 픽셀 데이터를 연산하여 위상차를 계산할 수 있고, 각 픽셀에 대응하는 위상차로부터 대상 물체(1)와의 거리를 나타내는 깊이 정보를 연산할 수 있고, 각 픽셀에 대응하는 깊이 정보를 포함하는 깊이 이미지를 생성할 수 있다.
제3 동작 모드에서, 이미지 프로세서(200)는 제1 검출 노드(DNA) 또는 제2 검출 노드(DNB) 중 활성화된(즉, 활성화 전압에 해당하는 복조 제어 신호를 인가받는) 검출 노드에 의해 캡쳐된 광전하로부터 획득된 픽셀 데이터를 수신하여, 각 픽셀에 대응하는 적외광 세기 정보를 포함하는 IR 이미지를 생성할 수 있다.
도 6은 제1 또는 제2 동작 모드에서의 이미지 센싱 장치의 동작을 설명하기 위한 타이밍도이다.
도 6을 참조하면, 제1 또는 제2 동작 모드에서의 변조광(ML), 입사광(IL), 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb)의 일 예가 도시되어 있다.
변조광(ML)은 제어회로(40)에 의해 제어되는 광원(10)에 의해 대상 물체(1)로 조사된 광을 의미할 수 있다. 변조광(ML)은 하이 레벨을 갖는 구간(즉, 광이 조사되는 구간)과 로우 레벨을 갖는 구간(즉, 광이 조사되지 않는 구간)을 교번적으로 갖도록 생성될 수 있다. 변조광(ML)은 앞서 설명된 제1 변조 주파수 또는 제2 변조 주파수를 갖는 광 신호일 수 있다.
입사광(IL)은 기판으로 입사되어 광전 효과를 통해 전자-정공 쌍을 발생시키는 광을 의미할 수 있다. 입사광(IL)은 이미지 센싱 장치(100)와 대상 물체(1) 간의 거리에 따라 달라지는 위상차(θ1)를 가질 수 있다.
변조광(ML)과 입사광(IL) 각각이 갖는 레벨은 광의 세기를 의미할 수 있다.
입사광(IL)에 의해 발생된 전자에 대한 캡쳐가 수행되는 동안 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb) 각각은 비활성화 전압(로우 레벨; L)과 활성화 전압(하이 레벨; H)을 교번적으로 가질 수 있다. 또한, 제1 복조 제어 신호(CSa)는 변조광(ML)과 동일한 위상을 갖는 신호이고, 제2 복조 제어 신호(CSb)는 변조광(ML)과 반대의 위상(또는 180도(π)의 위상차)을 갖는 신호일 수 있다. 따라서, 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb) 각각은 변조광(ML)의 변조 주파수와 동일한 복조 주파수를 가질 수 있다. 제1 동작 모드에서, 변조광(ML)의 제1 변조 주파수는 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb) 각각의 제1 복조 주파수와 동일할 수 있다. 또한, 제2 동작 모드에서, 변조광(ML)의 제2 변조 주파수는 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb) 각각의 제2 복조 주파수와 동일할 수 있다.
본 개시에서는 변조광을 생성하기 위한 광 변조 신호(MLS)와 변조광(ML) 사이의 위상차는 없다고 가정하기로 하며, 이에 따라 광 변조 신호(MLS)와 변조광(ML)은 서로 동일한 위상을 가질 수 있다.
제1 구간(PR1)에서, 제1 복조 제어 신호(CSa)는 활성화 전압을 갖고 제2 복조 제어 신호(CSb)는 비활성화 전압을 가질 수 있다. 이에 따라, 제1 구간(PR1)에서 입사된 입사광(IL)에 의해 발생된 전자는 홀 전류(HC)에 의해 제1 제어 노드(CNA) 방향으로 이동하여 제1 검출 노드(DNA)에 의해 캡쳐될 수 있다. 제1 구간(PR1)에서 제1 검출 노드(DNA)에 의해 캡쳐된 전자는 Q(0)로 정의될 수 있다.
제2 구간(PR2)에서, 제1 복조 제어 신호(CSa)는 비활성화 전압을 갖고 제2 복조 제어 신호(CSb)는 활성화 전압을 가질 수 있다. 이에 따라, 제2 구간(PR2)에서 입사된 입사광(IL)에 의해 발생된 전자는 홀 전류(HC)에 의해 제2 제어 노드(CNB) 방향으로 이동하여 제2 검출 노드(DNB)에 의해 캡쳐될 수 있다. 제2 구간(PR2)에서 제2 검출 노드(DNB)에 의해 캡쳐된 전자는 Q(π)로 정의될 수 있다.
즉, 이미지 센싱 장치(ISD)와 대상 물체(1) 간의 거리에 따라 달라지는 위상차(θ1)를 갖는 입사광(IL)에 의해 생성된 전자들은, 제1 구간(PR1)에서 제1 검출 노드(DNA)에 의해 캡쳐되거나 제2 구간(PR2)에서 제2 검출 노드(DNB)에 의해 캡쳐될 수 있다.
입사광(IL)에 의해 생성되는 총 전자량(total charge)은 Q(0)과 Q(π)의 합으로 정의될 수 있고, 위상차(θ1)가 증가함에 따라 Q(π)는 선형적으로 증가하고 Q(0)는 선형적으로 감소하게 된다. 따라서, Q(0)과 Q(π) 간의 비율 관계에 기초하여 위상차(θ1)가 산출될 수 있으며, 이미지 프로세서(200)는 이미지 센싱 장치(100)와 대상 물체(1) 간의 거리와, 위상차(θ1) 간의 관계에 기초하여 깊이 정보를 획득할 수 있다.
제1 동작 모드의 변조 주파수는 제2 동작 모드의 변조 주파수보다 작을 수 있다. 따라서, 제1 동작 모드에서의 변조광(ML), 제1 및 제2 복조 제어 신호(CSa, CSb) 각각의 주파수(변조 주파수 또는 복조 주파수)는, 제2 동작 모드에서의 변조광(ML), 제1 및 제2 복조 제어 신호(CSa, CSb) 각각의 주파수보다 작을 수 있다.
도 7은 제3 동작 모드에서의 이미지 센싱 장치의 동작을 설명하기 위한 타이밍도이다.
도 7을 참조하면, 제3 동작 모드에서의 변조광(ML), 입사광(IL), 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb)의 일 예가 도시되어 있다.
픽셀 어레이(130)가 광전하 캡쳐를 수행하는 동안, 변조광(ML)은 하이 레벨을 갖는 구간(즉, 광이 조사되는 구간)이 지속될 수 있다. 다른 실시예에 따라, 픽셀 어레이(130)가 광전하 캡쳐를 수행하는 동안, 변조광(ML)은 로우 레벨을 갖는 구간(즉, 광이 조사되지 않는 구간)이 지속될 수 있다. 이는 장면 내에 적외광이 충분히 존재하여 변조광(ML)이 없이도 IR 이미지의 획득이 가능할 수도 있기 때문이다. 이 경우, 광원(110)이 오프됨으로써, 소모 전력이 저감될 수 있다. 변조광(ML)의 조사 여부는 이미지 프로세서(200)에 의해 제어될 수 있다. 이미지 프로세서(200)는 제3 이미지 데이터에서 포화된(saturated) 픽셀 데이터의 비율이 상대적으로 높을 경우에는 변조광(ML)을 조사하지 않을 수 있고, 제3 이미지 데이터에서 포화된 픽셀 데이터의 비율이 상대적으로 낮을 경우에는 변조광(ML)을 조사할 수 있다.
입사광(IL)은 이미지 센싱 장치(100)와 대상 물체(1) 간의 거리에 따라 달라지는 위상차를 갖는 변조 신호가 아닌, 대상 물체(1)에 의해 반사되어 기판 내로 입사되는 임의의 레벨을 갖는 적외광일 수 있다.
제3 구간(PR3)에서, 제1 복조 제어 신호(CSa)는 활성화 전압을 갖고 제2 복조 제어 신호(CSb)는 비활성화 전압을 가질 수 있다. 이에 따라, 제3 구간(PR3)에서 입사된 입사광(IL)에 의해 발생된 전자는 홀 전류(HC)에 의해 제1 제어 노드(CNA) 방향으로 이동하여 제1 검출 노드(DNA)에 의해 캡쳐될 수 있다. 제3 구간(PR3)에서 제1 검출 노드(DNA)에 의해 캡쳐된 전자는 Q(a)로 정의될 수 있다.
제3 구간(PR3) 이후 다음 제3 구간(PR3)이 시작되기 전까지의 구간에서, 제1 복조 제어 신호(CSa) 및 제2 복조 제어 신호(CSb) 각각은 비활성화 전압을 가질 수 있고, 제어 회로(140)는 제1 검출 노드(DNA)에 의해 캡쳐된 전자인 Q(a)에 대응하는 픽셀 데이터를 생성할 수 있다.
즉, 제2 복조 제어 신호(CSb)는 비활성화 전압을 유지할 수 있고, 제1 복조 제어 신호(CSa)는 입사광(IL)에 의해 발생된 광전하를 캡쳐하는 구간(즉, 제3 구간)에서 활성화 전압을 갖고 제3 구간 이외의 구간에서는 비활성화 전압을 가질 수 있다.
다른 실시예에 따라, 제1 복조 제어 신호(CSa)는 비활성화 전압을 유지할 수 있고, 제2 복조 제어 신호(CSb)는 입사광(IL)에 의해 발생된 광전하를 캡쳐하는 구간(즉, 제3 구간)에서 활성화 전압을 갖고 제3 구간 이외의 구간에서는 비활성화 전압을 가질 수 있다.
한편, 특정 구간(예컨대, PR1~PR3)이 시작되는 시점으로부터 다음 특정 구간이 시작되는 시점까지의 시간은, 한 프레임(frame)에 대응하는 이미지 데이터가 생성되는 프레임 시간으로 정의될 수 있다. 제1 및 제2 동작 모드에서의 프레임 시간은 제3 동작 모드에서의 프레임 시간보다 길 수 있다. 이는 제3 동작 모드에서는 사람의 연속된 동작들을 감지하여야 하므로, 사람의 동작을 정확히 감지하기 위해서는 상대적으로 짧은 프레임 시간을 통해 잔상 또는 이미지 래깅(lagging) 현상을 최소화하는 것이 유리하기 때문이다.
이와 같이 상대적으로 짧은 프레임 시간으로 제3 동작 모드가 가능한 이유는, IR 이미지는 각 픽셀 별로 대상 물체와의 거리 계산 없이 생성될 수 있기 때문이다.
이미지 프로세서(200)는 제1 검출 노드(DNA)에 의해 캡쳐된 광전하(Q(a))로부터 획득된 픽셀 데이터를 수신하여, 각 픽셀에 대응하는 적외광 세기 정보를 포함하는 IR 이미지를 생성할 수 있다. 도 7의 예시에서는 3번째 제3 구간(PR3)에서 캡쳐된 광전하(Q(a))에 대응하는 적외광 세기는 4번째 제3 구간(PR3)에서 캡쳐된 광전하(Q(a))에 대응하는 적외광 세기보다 클 수 있다.
도 8은 본 발명의 일 실시예에 따른 ToF 센서를 이용한 모션 인식 장치의 동작 방법을 나타낸 흐름도이다. 도 9는 모션 인식 장치를 이용하는 과정의 일 예를 모식적으로 나타낸 도면이다. 도 10은 제1 동작 모드에서 획득되는 제1 깊이 이미지의 일 예를 나타낸 도면이다. 도 11은 제2 동작 모드에서 획득되는 제2 깊이 이미지의 일 예를 나타낸 도면이다. 도 12는 제3 동작 모드에서 획득되는 IR 이미지의 일 예를 나타낸 도면이다.
도 8 내지 도 12를 참조하면, 본 발명의 일 실시예에 따른 모션 인식 장치의 동작 방법은, 크게는 대상 물체에 대한 거리 정보를 포함하는 깊이 이미지를 생성하는 단계, 깊이 이미지를 분석한 결과에 따라, 대상 물체에 대한 적외선 영상 정보를 포함하는 IR 이미지를 생성하는 단계 및 IR 이미지에 기초하여 모션을 인식하는 단계를 포함할 수 있다. 이하에서는 모션 인식 장치의 동작 방법의 구체적인 단계들에 대해 설명하기로 한다.
또한, 도 8 이하에서 설명되는 본 발명의 일 실시예에서는 모션 인식 장치(10)가 사람의 손에 의한 모션을 감지 및 처리하는 과정에 대해 설명하나, 본 발명의 범위는 이에 한정되지 않고, 사람의 임의의 신체 부위(예컨대, 얼굴, 다리, 몸통 등)를 이용한 모션의 감지 및 처리에도 실질적으로 동일한 기술적 사상이 적용될 수 있다.
대기 모드에서 근접 센서(410), 터치 스크린(420) 및/또는 마이크(430)가 미리 정해진 웨이크업 입력을 수신하여 제어부(400)로 전달할 경우, 제어부(400)는 모션 인식 장치(10)를 정상 모드로 진입시켜 모션 인지 프로세스를 개시할 수 있다(S10). 여기서, 모션 인지 프로세스는 사람의 모션을 인식하고, 인식된 모션에 대응하는 처리를 수행하기 위한 일련의 동작들을 의미할 수 있다.
예를 들어, 도 9에서와 같이 모션 인식 장치(10)를 이용하고자 원거리로부터 접근하는 사람(900)이 근접 센서(410)의 근접 범위 내로 진입하게 되면, 제어부(400)는 근접 센서(410)로부터 웨이크업 입력을 수신하여 모션 인식 장치(10)를 정상 모드로 진입시킬 수 있다.
제어부(400)는 웨이크업 입력에 대응하는 제1 안내 메시지를 터치 스크린(420) 및/또는 스피커(440)로 전달하고, 터치 스크린(420) 및/또는 스피커(440)는 제1 안내 메시지를 시각적으로 및/또는 청각적으로 출력할 수 있다(S20). 예를 들어, 제1 안내 메시지는 “반갑습니다. 인식 장치 앞으로 가까이 와주십시오”일 수 있다.
제어부(400)는 이미지 프로세서(200)를 활성화하고, 이미지 프로세서(200)에 제1 이미지 분석 결과를 요청할 수 있다. 이미지 프로세서(200)는 제1 이미지 분석 결과에 대한 요청에 따라 이미지 센싱 장치(100)를 활성화하고, 이미지 센싱 장치(100)가 제1 동작 모드로 동작하도록 제어할 수 있다.
이미지 센싱 장치(100)는 제1 동작 모드로 동작하여 제1 이미지 데이터를 획득할 수 있다(S30). 제1 동작 모드는 제1 변조 주파수를 갖는 광 변조 신호(MLS)를 생성하고, 제1 변조 주파수와 동일한 제1 복조 주파수에 따라 활성화 전압과 비활성화 전압을 교번적으로 갖고 서로 반대의 위상을 갖는 제1 및 제2 복조 제어 신호에 따라 광전하를 캡쳐하고, 캡쳐된 광전하에 대응하는 픽셀 데이터의 집합인 제1 이미지 데이터를 생성하는 모드를 의미할 수 있다.
이미지 프로세서(200)는 제1 이미지 데이터에 기초하여 대상 물체(1)와의 거리를 나타내는 제1 깊이 이미지를 생성하고, 이미지 분석부(300)에 제1 깊이 이미지의 분석을 요청할 수 있다.
이미지 분석부(300)는 제1 깊이 이미지가 제1 모드 천이 조건을 만족하는지 여부를 판단할 수 있다(S40). 일 실시예에 따라, 제1 모드 천이 조건은 제1 깊이 이미지에서 제1 거리 범위 내에 위치한 제1 객체가 사람 형상에 해당하는지 여부를 의미할 수 있다.
예를 들어, 도 9에서와 같이 사람(910)이 제1 거리 범위(DR1; 예컨대, 0 ~ 2m) 내에 위치할 때까지 S20 단계 내지 S40 단계가 반복적으로 수행될 수 있다.
도 10에는 S40 단계에서 분석되는 제1 깊이 이미지(SC1)의 일 예가 도시되어 있다. 제1 깊이 이미지(SC1)는 각 픽셀 별로 대상 물체와의 거리를 나타내는 깊이 정보를 포함할 수 있다. 도 10에서는 설명의 편의상 대상 물체와의 거리에 따라 제1 깊이 이미지(SC1)의 명암이 달라지는 것으로 가정하기로 한다. 즉, 제1 깊이 이미지(SC1)에서 상대적으로 거리가 가까운 사람은 밝게 표시되고, 상대적으로 거리가 먼 배경은 어둡게 표시될 수 있다.
이미지 분석부(300)는 서로 인접하면서 제1 거리 범위(DR1) 이내에 해당하는 깊이 정보를 가진 픽셀들의 집합인 제1 객체(OB1)를 식별한 뒤 제1 객체(OB1)가 사람 형상에 해당하는지 판단함으로써 제1 모드 천이 조건이 충족되는지 여부를 판단할 수 있다.
제1 모드 천이 조건이 충족되지 않으면(S40의 No), 이미지 분석부(300)는 '천이 실패'를 나타내는 제1 이미지 분석 결과를 생성하여 이미지 프로세서(200)로 전달할 수 있고, S20 단계 내지 S40 단계가 다시 수행될 수 있다.
제1 모드 천이 조건이 충족되면(S40의 Yes), 이미지 분석부(300)는 '천이 성공'을 나타내는 제1 이미지 분석 결과를 생성하여 이미지 프로세서(200)로 전달할 수 있다.
이때, 제1 이미지 분석 결과는 제1 객체가 포함된 픽셀 범위(예컨대, 100~800행 및 200~600열)를 포함할 수 있으며, 이미지 프로세서(200)는 제1 객체가 포함된 픽셀 범위를 기초로 유효 픽셀 범위를 결정할 수 있다. 유효 픽셀 범위는 제1 객체가 포함된 픽셀 범위를 포함하면서 로우 방향 및 컬럼 방향으로 일정한 픽셀 마진(예컨대, 로우 방향으로 300 픽셀, 컬럼 방향으로 200 픽셀)을 더 포함하는 픽셀 범위일 수 있다. 이러한 픽셀 마진은 일반적인 사람의 움직임을 고려하여 실험적으로 결정될 수 있다.
도 10에서, 제1 깊이 이미지(SC1)에서 유효 픽셀 범위에 대응하는 영역을 이미지 픽업 영역(IPA)으로 정의하고, 유효 픽셀 범위 이외의 영역을 배경 영역(BGA)으로 정의하기로 한다.
이미지 프로세서(200)는 이미지 센싱 장치(100)가 이미지 픽업 영역(IPA)에 대응하는 픽셀들만을 활성화하고 배경 영역(BGA)에 대응하는 픽셀들을 비활성화하도록 제어할 수 있다(S50). 여기서, 픽셀을 활성화한다는 것은 픽셀의 구동을 위한 제어 신호를 공급하고, 픽셀로부터 출력되는 픽셀 신호를 처리하여 픽셀 데이터를 생성하는 것을 의미할 수 있다. 반대로, 픽셀을 비활성화한다는 것은 픽셀의 구동을 위한 제어 신호를 공급하지 않거나, 픽셀로부터 출력되는 픽셀 신호를 처리하여 픽셀 데이터를 생성하지 않는 것을 의미할 수 있다. 다른 실시예에 따라, 픽셀을 비활성화한다는 것은 일정 범위(예컨대, 2x4)의 픽셀들의 단위로 동시에 구동되고, 일정 범위의 픽셀들이 하나의 픽셀 신호를 생성하는 것(즉, 비닝 모드(binning mode)로 동작)을 의미할 수 있다.
즉, 이미지 분석이 필요한 이미지 픽업 영역(IPA)에 대응하는 픽셀들만이 활성화되도록 함으로써, 이미지 센싱 장치(100)에서 소모되는 전력이 감소될 수 있다.
이미지 프로세서(200)는 '천이 성공'을 나타내는 제1 이미지 분석 결과를 제어부(400)로 전달할 수 있다. 제어부(400)는 제1 이미지 분석 결과에 대응하는 제2 안내 메시지를 터치 스크린(420) 및/또는 스피커(440)로 전달하고, 터치 스크린(420) 및/또는 스피커(440)는 제2 안내 메시지를 시각적으로 및/또는 청각적으로 출력할 수 있다(S60). 예를 들어, 제2 안내 메시지는 “손을 인식할 수 있도록 손을 앞으로 뻗어 주십시오”일 수 있다.
제어부(400)는 이미지 프로세서(200)에 제2 이미지 분석 결과를 요청할 수 있다. 이미지 프로세서(200)는 제2 이미지 분석 결과에 대한 요청에 따라 이미지 센싱 장치(100)가 제2 동작 모드로 동작하도록 제어할 수 있다.
이미지 센싱 장치(100)는 제2 동작 모드로 동작하여 제2 이미지 데이터를 획득할 수 있다(S70). 제2 동작 모드는 제2 변조 주파수를 갖는 광 변조 신호(MLS)를 생성하고, 제2 변조 주파수와 동일한 제2 복조 주파수에 따라 활성화 전압과 비활성화 전압을 교번적으로 갖고 서로 반대의 위상을 갖는 제1 및 제2 복조 제어 신호에 따라 광전하를 캡쳐하고, 캡쳐된 광전하에 대응하는 픽셀 데이터의 집합인 제2 이미지 데이터를 생성하는 모드를 의미할 수 있다.
여기서, 제2 변조 주파수(예컨대, 100MHz)는 제1 변조 주파수(예컨대, 20MHz)보다 클 수 있다. 이는 변조 주파수가 높을수록 이미지 센싱 장치(100)가 정확하게 감지할 수 있는 거리 범위가 이미지 센싱 장치(100)에 가까워지기 때문이다. 즉, 전체적인 사람의 형상을 감지하는데 상대적으로 낮은 제1 변조 주파수가 이용되고, 사람이 앞으로 뻗은 손의 형상을 감지하는데 상대적으로 높은 제2 변조 주파수가 이용될 수 있다.
이미지 프로세서(200)는 제2 이미지 데이터에 기초하여 대상 물체(1)와의 거리를 나타내는 제2 깊이 이미지를 생성하고, 이미지 분석부(300)에 제2 깊이 이미지의 분석을 요청할 수 있다.
이미지 분석부(300)는 제2 깊이 이미지가 제2 모드 천이 조건을 만족하는지 여부를 판단할 수 있다(S80). 일 실시예에 따라, 제2 모드 천이 조건은 제2 깊이 이미지에서 제2 거리 범위 내에 위치한 제2 객체가 특정 신체 부위의 형상에 해당하는지 여부를 의미할 수 있다.
예를 들어, 도 9에서와 같이 사람(920)의 손이 제2 거리 범위(DR2; 예컨대, 0.3 ~ 1m) 내에 위치할 때까지 S60 단계 내지 S80 단계가 반복적으로 수행될 수 있다.
도 11에는 S80 단계에서 분석되는 제2 깊이 이미지(SC2)의 일 예가 도시되어 있다. 제2 깊이 이미지(SC2)는 각 픽셀 별로 대상 물체와의 거리를 나타내는 깊이 정보를 포함할 수 있다. 한편, 제2 깊이 이미지(SC2)는 S50 단계에서 비활성화된 픽셀들에 대응하는 배경 영역(BGA)을 포함하지 않고, 활성화된 픽셀들에 대응하는 이미지 픽업 영역(IPA)을 포함할 수 있다.
도 11에서는 설명의 편의상 대상 물체와의 거리에 따라 제2 깊이 이미지(SC2)의 명암이 달라지는 것으로 가정하기로 한다. 즉, 제2 깊이 이미지(SC1)에서 상대적으로 거리가 가장 가까운 손은 가장 밝게 표시되고, 상대적으로 거리가 먼 사람의 얼굴 및 몸통은 손보다 어둡게 표시되고, 상대적으로 거리가 가장 먼 배경은 얼굴 및 몸통보다 어둡게 표시될 수 있다.
이미지 분석부(300)는 서로 인접하면서 제2 거리 범위(DR2) 이내에 해당하는 깊이 정보를 가진 픽셀들의 집합인 제2 객체(OB2)를 식별한 뒤 제2 객체(OB2)가 특정 신체부위(예컨대, 손)의 형상에 해당하는지 판단함으로써 제2 모드 천이 조건이 충족되는지 여부를 판단할 수 있다.
제2 모드 천이 조건이 충족되지 않으면(S80의 No), 이미지 분석부(300)는 '천이 실패'를 나타내는 제2 이미지 분석 결과를 생성하여 이미지 프로세서(200)로 전달할 수 있고, S60 단계 내지 S80 단계가 다시 수행될 수 있다.
제2 모드 천이 조건이 충족되면(S80의 Yes), 이미지 분석부(300)는 '천이 성공'을 나타내는 제2 이미지 분석 결과를 생성하여 이미지 프로세서(200)로 전달할 수 있다.
이미지 프로세서(200)는 '천이 성공'을 나타내는 제2 이미지 분석 결과를 제어부(400)로 전달할 수 있다. 제어부(400)는 제2 이미지 분석 결과에 대응하는 제3 안내 메시지를 터치 스크린(420) 및/또는 스피커(440)로 전달하고, 터치 스크린(420) 및/또는 스피커(440)는 제3 안내 메시지를 시각적으로 및/또는 청각적으로 출력할 수 있다(S90). 예를 들어, 제3 안내 메시지는 “원하시는 모션을 실행하여 주십시오”일 수 있다.
제어부(400)는 이미지 프로세서(200)에 제3 이미지 분석 결과를 요청할 수 있다. 이미지 프로세서(200)는 제3 이미지 분석 결과에 대한 요청에 따라 이미지 센싱 장치(100)가 제3 동작 모드로 동작하도록 제어할 수 있다.
이미지 센싱 장치(100)는 제3 동작 모드로 동작하여 제3 이미지 데이터를 획득할 수 있다(S100). 제3 동작 모드는 일정한 레벨을 갖는 광 변조 신호(MLS)를 생성하고, 활성화 전압과 비활성화 전압을 교번적으로 갖는 제1 복조 제어 신호, 및 비활성화 전압을 갖는 제2 복조 제어 신호에 따라 광전하를 캡쳐하고, 캡쳐된 광전하에 대응하는 픽셀 데이터의 집합인 제3 이미지 데이터를 생성하는 모드를 의미할 수 있다.
이미지 프로세서(200)는 제3 이미지 데이터에 기초하여 대상 물체에 대한 적외선 영상을 나타내는 IR 이미지를 생성하고, 이미지 분석부(300)에 IR 이미지의 분석을 요청할 수 있다.
이미지 분석부(300)는 IR 이미지에 포함된 제3 객체에 대응하는 사용자 입력을 판단하고, 해당 사용자 입력에 대한 정보를 포함하는 제3 이미지 분석 결과를 생성할 수 있다(S110).
도 12에는 S110 단계에서 분석되는 IR 이미지(SC3)의 일 예가 도시되어 있다. IR 이미지(SC3)는 각 픽셀 별 적외광의 세기 정보를 포함할 수 있는데, 사람의 피부는 적외광에 대해 사람의 체온보다 낮은 물체에 비해 상대적으로 높은 반사율을 가지므로, 사람의 피부를 촬영한 픽셀의 세기 정보는 기준 값 이상일 수 있다. 따라서, 사람의 피부에 대응하는 손, 팔 및 얼굴은 제3 객체(OB3)에 해당할 수 있다. 한편, IR 이미지(SC3)는 S50 단계에서 비활성화된 픽셀들에 대응하는 배경 영역(BGA)을 포함하지 않고, 활성화된 픽셀들에 대응하는 이미지 픽업 영역(IPA)을 포함할 수 있다.
도 12에서는 설명의 편의상 적외광의 세기 정보에 따라 IR 이미지(SC3)의 명암이 달라지는 것으로 가정하기로 한다. 즉, IR 이미지(SC3)에서 사람의 피부에 대응하는 제3 객체(OB3)는 가장 밝게 표시되고, 상대적으로 낮은 온도를 갖는 옷은 손보다 어둡게 표시되고, 상대적으로 가장 낮은 온도를 갖는 배경은 옷보다 어둡게 표시될 수 있다.
다른 실시예에 따라, 이미지 분석부(300)는 제3 객체(OB3)에 대응하는 컬러 정보를 이미지 프로세서(200)로부터 제공받아, IR 이미지(SC3)와 합성할 수 있다. 이는 앞서 도 1에서 설명된 바와 같이, 이미지 프로세서(200)가 제4 이미지 데이터를 이미지 센싱 장치(100)로부터 전달받아 컬러 이미지를 생성할 수 있기 때문이다. 이 경우, 이미지 분석부(300)는 제3 객체(OB3)의 명암, 채도 및 색상에 대한 정보를 획득할 수 있어, 제3 객체(OB3)에 대응하는 사용자 입력을 보다 정확하게 생성할 수 있다.
이미지 분석부(300)는 제3 객체(OB3)를 식별한 뒤 제3 객체(OB3)에 대응하는 사용자 입력을 인공지능의 이미지 인식 기술(예컨대, CNN 기반의 딥 러닝 알고리즘)을 이용해 판단하고, 제3 이미지 분석 결과를 생성할 수 있다. 여기서, 제3 이미지 분석 결과는 제3 객체(OB3)에 대응하는 사용자 입력을 포함할 수 있으며, 제3 이미지 분석 결과는 모션 분석 결과로도 불릴 수 있다.
만일, 이미지 분석부(300)가 제3 객체(OB3)를 식별하지 못하거나 제3 객체(OB3)에 대응하는 사용자 입력을 판단할 수 없는 경우, 이미지 프로세서(200)의 제어에 따라 S90 내지 S110 단계가 다시 수행될 수 있다.
이미지 분석부(300)는 하나의 프레임에 해당하는 IR 이미지에 기초하여 사용자 입력을 판단할 수도 있고, 복수의 연속되는 프레임들에 해당하는 IR 이미지에 기초하여 사용자 입력을 판단할 수도 있다.
예를 들어, 도 12와 같은 IR 이미지(SC3)가 촬영된 후, 사람의 오른손이 위아래로 움직이는 IR 이미지가 연속적으로 촬영되는 경우, 이미지 분석부(300)는 제3 객체(OB3)에 대응하는 사용자 입력을 '감사'의 수화 언어로 판단할 수 있다.
이미지 분석부(300)는 제3 이미지 분석 결과를 이미지 프로세서(200)를 통해 제어부(400)로 전달하고, 제어부(400)는 사용자 입력에 대응하는 목표 동작을 처리할 수 있다(S110). 예를 들어, 제어부(400)는 '감사'의 수화 언어를 터치 스크린(420) 및/또는 스피커(440)을 이용하여 시각적으로 및/또는 청각적으로 출력하거나, 통신모듈(미도시)을 이용해 다른 장치로 전달할 수 있다.
본 발명의 일 실시예에 따른 모션 인식 장치(10)에 의하면, 깊이 이미지를 분석하여 모션을 인식할 수 있는 위치로 사용자를 이동시킬 수 있고, IR 이미지를 분석하여 빠른 모션도 정확하게 인식할 수 있다.
또한, 깊이 이미지 또는 IR 이미지를 이용해 모션을 인식하므로, 매우 낮은 조도의 환경에서도, 사용자가 피부색과 유사한 옷을 착용한 경우에도 또는 별도의 인식용 특수 장갑 등의 장비 없이도, 정확하게 모션을 인식할 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (19)

  1. 대상 물체에 대한 거리 정보를 포함하는 깊이(depth) 이미지를 생성하는 단계; 및
    상기 깊이 이미지를 분석한 결과에 따라, 상기 대상 물체에 대한 적외선 영상 정보를 포함하는 IR(infrared) 이미지를 생성하는 단계를 포함하는 ToF(time of flight) 센서를 이용한 모션 인식 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 깊이 이미지는 제1 깊이 이미지 및 제2 깊이 이미지를 포함하고,
    상기 깊이 이미지를 생성하는 단계는,
    제1 동작 모드에 따라 픽셀들을 구동하여 상기 제1 깊이 이미지를 생성하는 단계; 및
    상기 제1 깊이 이미지가 제1 모드 천이 조건을 만족하는 경우, 제2 동작 모드에 따라 상기 픽셀들을 구동하여 상기 제2 깊이 이미지를 생성하는 단계를 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 IR 이미지를 생성하는 단계는,
    상기 제2 깊이 이미지가 제2 모드 천이 조건을 만족하는 경우, 제3 동작 모드에 따라 상기 픽셀들을 구동하여 상기 IR 이미지를 생성하는 단계를 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 픽셀들 각각은 기판 내에 홀 전류를 발생시키고 입사광에 의해 생성되어 상기 홀 전류에 의해 이동하는 광전하를 캡쳐하는 CAPD(current-assist phase detection) 픽셀인 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  5. 제3항에 있어서,
    상기 픽셀들 각각은, 제1 복조 제어 신호 및 제2 복조 제어 신호를 각각 수신하여 홀 전류를 발생시키는 제1 제어 노드 및 제2 제어 노드를 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 제1 동작 모드에서, 상기 제1 복조 제어 신호와 상기 제2 복조 제어 신호 각각은 제1 복조 주파수에 따라 활성화 전압과 비활성화 전압을 교번적으로 갖는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 제2 동작 모드에서, 상기 제1 복조 제어 신호와 상기 제2 복조 제어 신호 각각은 제2 복조 주파수에 따라 상기 활성화 전압과 상기 비활성화 전압을 교번적으로 갖고,
    상기 제2 복조 주파수는 상기 제1 복조 주파수보다 큰 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  8. 제5항에 있어서,
    상기 제3 동작 모드에서, 상기 제1 복조 제어 신호와 상기 제2 복조 제어 신호 중 하나는 비활성화 전압을 갖고, 상기 제1 복조 제어 신호와 상기 제2 복조 제어 신호 중 다른 하나는 활성화 전압과 상기 비활성화 전압을 교번적으로 갖는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  9. 제2항에 있어서,
    상기 제1 모드 천이 조건은, 상기 제1 깊이 이미지에서 제1 거리 범위 내에 위치한 제1 객체가 사람 형상에 해당하는지 여부인 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 제1 깊이 이미지가 상기 제1 모드 천이 조건을 만족하는 경우, 상기 제1 객체가 포함된 이미지 픽업 영역과는 다른 배경 영역에 대응하는 픽셀들을 비활성화하는 단계를 더 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  11. 제3항에 있어서,
    상기 제2 모드 천이 조건은, 상기 제2 깊이 이미지에서 제2 거리 범위 내에 위치한 제2 객체가 특정 신체부위에 해당하는지 여부인 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  12. 제1항에 있어서,
    상기 IR 이미지에 기초하여 모션을 인식하는 단계를 더 포함하고,
    상기 IR 이미지에 기초하여 모션을 인식하는 단계는,
    상기 IR 이미지에 포함된 제3 객체를 식별하는 단계; 및
    CNN(Convolutional Neural Network) 기반의 딥 러닝 알고리즘(deep learning algorithm)을 이용하여 상기 제3 객체에 해당하는 사용자 입력을 판단하는 단계를 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 사용자 입력에 대응하는 목표 동작을 처리하는 단계를 더 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 목표 동작은 수화 언어 해석, 보안 해제, 조작 입력 중 적어도 하나를 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  15. 제1항에 있어서,
    상기 IR 이미지는 복수의 연속되는 프레임들에 해당하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  16. 제1항에 있어서,
    상기 깊이 이미지를 생성하는 단계 이전에, 미리 정해진 웨이크업 입력에 따라 상기 모션 인식 장치를 대기 모드로부터 정상 모드로 진입시키는 단계를 더 포함하는 ToF 센서를 이용한 모션 인식 장치의 동작 방법.
  17. 제1 내지 제3 동작 모드 각각에 따라 픽셀들을 구동하여 제1 내지 제3 이미지 데이터 각각을 생성하는 이미지 센싱 장치;
    상기 제1 내지 상기 제3 이미지 데이터 각각에 기초하여 제1 깊이 이미지, 제2 깊이 이미지 및 IR 이미지 각각을 생성하는 이미지 프로세서; 및
    상기 제1 깊이 이미지가 제1 모드 천이 조건을 만족하는지 여부 및 상기 제2 깊이 이미지가 제2 모드 천이 조건을 만족하는지 여부를 판단하고, 상기 IR 이미지에 기초하여 사용자 입력을 판단하는 이미지 분석부를 포함하는 ToF 센서를 이용한 모션 인식 장치.
  18. 제17항에 있어서,
    상기 제1 깊이 이미지가 상기 제1 모드 천이 조건을 만족하는 경우, 상기 이미지 프로세서는 상기 이미지 센싱 장치를 상기 제2 동작 모드로 동작하도록 제어하는 ToF 센서를 이용한 모션 인식 장치.
  19. 제17항에 있어서,
    상기 제2 깊이 이미지가 상기 제2 모드 천이 조건을 만족하는 경우, 상기 이미지 프로세서는 상기 이미지 센싱 장치를 상기 제3 동작 모드로 동작하도록 제어하는 ToF 센서를 이용한 모션 인식 장치.
KR1020200089572A 2020-07-20 2020-07-20 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법 KR20220010885A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200089572A KR20220010885A (ko) 2020-07-20 2020-07-20 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법
CN202110556955.5A CN114035717B (zh) 2020-07-20 2021-05-21 使用tof传感器的动作识别设备及其操作方法
US17/340,854 US11928892B2 (en) 2020-07-20 2021-06-07 Motion recognition apparatus using ToF sensor and method for operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200089572A KR20220010885A (ko) 2020-07-20 2020-07-20 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220010885A true KR20220010885A (ko) 2022-01-27

Family

ID=79293457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200089572A KR20220010885A (ko) 2020-07-20 2020-07-20 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법

Country Status (3)

Country Link
US (1) US11928892B2 (ko)
KR (1) KR20220010885A (ko)
CN (1) CN114035717B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647815A (zh) * 2023-12-07 2024-03-05 杭州隆硕科技有限公司 一种半透明障碍物激光测距方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890813B2 (en) * 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
CN102547172B (zh) * 2010-12-22 2015-04-29 康佳集团股份有限公司 一种遥控电视机
CN102999152B (zh) * 2011-09-09 2016-06-29 康佳集团股份有限公司 一种手势动作识别方法和系统
KR20130100524A (ko) * 2012-03-02 2013-09-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
US9983779B2 (en) * 2013-02-07 2018-05-29 Samsung Electronics Co., Ltd. Method of displaying menu based on depth information and space gesture of user
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
JP6422306B2 (ja) 2014-11-04 2018-11-14 キヤノン株式会社 撮像装置及びその制御方法
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
CN108351964B (zh) 2015-12-08 2019-10-18 松下知识产权经营株式会社 图像识别装置及图像识别方法
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
CN106504283A (zh) * 2016-09-26 2017-03-15 深圳奥比中光科技有限公司 信息播放方法、装置及系统
CN107357356A (zh) * 2017-07-04 2017-11-17 北京有初科技有限公司 微型投影电脑和利用手势控制微型投影电脑翻页的方法
CN109508670B (zh) * 2018-11-12 2021-10-12 东南大学 一种基于红外摄像头的静态手势识别方法
CN109710071B (zh) * 2018-12-26 2022-05-17 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
US11272156B2 (en) * 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Spatial correlation sampling in time-of-flight imaging
CN110221732B (zh) * 2019-05-15 2022-11-08 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
KR20210056149A (ko) * 2019-11-08 2021-05-18 삼성전자주식회사 깊이 영상 생성 방법 및 깊이 영상 생성 장치

Also Published As

Publication number Publication date
US20220019777A1 (en) 2022-01-20
CN114035717B (zh) 2024-06-28
CN114035717A (zh) 2022-02-11
US11928892B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
KR101896666B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101887988B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US10374115B2 (en) Microfluidic system and method for driving the same
US20170264836A1 (en) Image sensors with electronic shutter
US20170146657A1 (en) Imaging sensor with shared pixel readout circuitry
KR20140056986A (ko) 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
CN108304803B (zh) 光检测电路、光检测方法和显示装置
US9348462B2 (en) Gesture detection and recognition based upon measurement and tracking of light intensity ratios within an array of photodetectors
US11323638B2 (en) Method of correcting dynamic vision sensor (DVS) events and image sensor performing the same
KR20110033567A (ko) 거리 센서를 포함하는 이미지 센서
WO2016019116A1 (en) Image sensors with electronic shutter
KR20210114786A (ko) 이미지 센서
US11928892B2 (en) Motion recognition apparatus using ToF sensor and method for operating the same
US11417137B2 (en) Fingerprint detection module, electronic device, detection method and apparatus, and storage medium
KR20210074654A (ko) 이미지 센싱 장치
US11284029B2 (en) Active pixel sensor array, display panel and electronic device
KR20210064687A (ko) 이미지 센서
US20220223639A1 (en) Image sensing device
US20230336883A1 (en) Solid-state imaging device and electronic apparatus
US20220278163A1 (en) Image sensing device
EP4005477A1 (en) Biological information measuring apparatus and electronic device including the same
JP2017208699A (ja) 制御装置、制御方法、およびプログラム
US20210406506A1 (en) Texture image acquisition method, texture image acquisition circuit and display panel
TW202201768A (zh) 光學感測裝置、具有光學感測裝置的飛時測距感測器、具有光學感測裝置的行動裝置以及光偵測方法
CN115328328A (zh) 显示模组、显示设备及指纹检测方法、装置、存储介质

Legal Events

Date Code Title Description
A201 Request for examination