KR20150120124A - 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 - Google Patents
다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 Download PDFInfo
- Publication number
- KR20150120124A KR20150120124A KR1020140045941A KR20140045941A KR20150120124A KR 20150120124 A KR20150120124 A KR 20150120124A KR 1020140045941 A KR1020140045941 A KR 1020140045941A KR 20140045941 A KR20140045941 A KR 20140045941A KR 20150120124 A KR20150120124 A KR 20150120124A
- Authority
- KR
- South Korea
- Prior art keywords
- sensing
- sides
- vision sensor
- motion
- dynamic vision
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims description 188
- 238000001514 detection method Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
다이내믹 비전 센서는 광 강도 변화를 센싱하여 타임 스탬프 단위의 이벤트를 출력하는 센싱 픽셀들을 포함하는 센싱 픽셀 어레이, 및 센싱 픽셀 어레이를 제어하는 제어부를 포함한다. 이 때, 센싱 픽셀들 각각은, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 제 2 방향(이 때, 제 2 방향은 제 1 방향에 수직함)으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함한다.
Description
본 발명은 반도체 장치에 관한 것이다. 보다 상세하게는, 본 발명은 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치에 관한 것이다.
최근, 모바일 컨버전스(mobile convergence)가 진행됨에 따라, 전자 기기(예를 들어, 스마트폰 등)는 소정의 센싱 기능을 수행하는 다양한 센서들을 포함하고 있다. 특히, 사용자가 전자 기기에 대한 접촉 없이도 전자 기기를 제어할 수 있도록 하는 유저 인터페이스가 주목받음에 따라, 전자 기기에는 사용자 모션 인식, 접근 탐지 등을 수행하는 다이내믹 비전 센서(dynamic vision sensor)까지 포함되고 있다. 일반적으로, 다이내믹 비전 센서는 타임 스탬프(time-stamp) 단위로 피사체 중에서 움직임이 발생한 부분을 센싱하여 이벤트들을 출력한다. 따라서, 다이내믹 비전 센서는 광 강도(light intensity) 변화를 센싱하여 이벤트를 출력하는 센싱 픽셀들을 포함하는데, 이러한 센싱 픽셀들은 이미지 센서의 단위 픽셀들에 비해 구성 요소가 많을 뿐만 아니라 내부 구성이 복잡하기 때문에, 제한된 사이즈 내에서 해상도(resolution)를 증가시키기 어렵다는 문제점을 가지고 있다.
본 발명의 일 목적은 제한된 사이즈 내에서 해상도를 증가시킬 수 있는 다이내믹 비전 센서를 제공하는 것이다.
본 발명의 다른 목적은 상기 다이내믹 비전 센서를 포함하는 동작 인식 장치를 제공하는 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 다이내믹 비전 센서는 광 강도 변화를 센싱하여 타임 스탬프(time-stamp) 단위의 이벤트를 출력하는 복수의 센싱 픽셀들을 포함하는 센싱 픽셀 어레이, 및 상기 센싱 픽셀 어레이를 제어하는 제어부를 포함할 수 있다. 이 때, 상기 센싱 픽셀들 각각은, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 상기 제 1 방향에 수직한 제 2 방향으로 엇갈려(staggered) 마주보는 제 1 변들 및 상기 제 2 방향으로 연장되고 상기 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함할 수 있다.
일 실시예에 의하면, 상기 이벤트는 상기 광 강도 변화가 발생한 시간 정보 및 상기 광 강도 변화가 발생한 위치 정보 중에서 적어도 하나 이상을 포함할 수 있다.
일 실시예에 의하면, 상기 제 1 방향의 이벤트 검출 거리는 인접 센싱 픽셀들 간의 상기 제 2 변들의 거리에 상응하고, 상기 제 2 방향의 이벤트 검출 거리는 상기 인접 센싱 픽셀들 간의 상기 제 1 변들의 거리에 상응할 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들은 상기 센싱 픽셀 어레이 내에서 상기 제 1 방향과 상기 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치될 수 있다.
일 실시예에 의하면, 상기 제 1 방향은 상기 센싱 픽셀 어레이의 X축 방향에 상응하며, 상기 제 2 방향은 상기 센싱 픽셀 어레이의 Y축 방향에 상응할 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각에서, 상기 제 1 변들 각각의 길이와 상기 제 2 변들 각각의 길이는 서로 동일할 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각에서, 상기 제 1 변들 각각의 길이와 상기 제 2 변들 각각의 길이는 서로 상이할 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각에서, 상기 제 1 변들이 상기 기울어진 n각형 형상의 중심에 대해 서로 점대칭을 이루고, 상기 제 2 변들도 상기 기울어진 n각형 형상의 상기 중심에 대해 서로 점대칭을 이룰 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각의 수광 소자는 상기 기울어진 n각형 형상의 상기 중심을 포함하는 중심 영역에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각의 수광 소자는 상기 기울어진 n각형 형상의 상기 중심을 포함하는 중심 영역에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각의 수광 소자는 상기 제 1 변들 또는 상기 제 2 변들 근처에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각의 수광 소자는 상기 제 1 변들 또는 상기 제 2 변들 근처에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 모션 인식 장치는 광 강도 변화를 센싱하여 타임 스탬프(time-stamp) 단위의 이벤트를 출력하는 복수의 센싱 픽셀들을 포함하는 센싱 픽셀 어레이, 상기 센싱 픽셀 어레이를 제어하는 제어부, 및 상기 이벤트에 기초하여 움직임 영역을 분석함으로써 모션 정보(motion information)를 생성하는 모션 정보 생성부를 포함할 수 있다. 이 때, 상기 센싱 픽셀들 각각은, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 상기 제 1 방향에 수직한 제 2 방향으로 엇갈려(staggered) 마주보는 제 1 변들 및 상기 제 2 방향으로 연장되고 상기 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함할 수 있다.
일 실시예에 의하면, 상기 이벤트는 상기 광 강도 변화가 발생한 시간 정보 및 상기 광 강도 변화가 발생한 위치 정보 중에서 적어도 하나 이상을 포함할 수 있다.
일 실시예에 의하면, 상기 제 1 방향의 이벤트 검출 거리는 인접 센싱 픽셀들 간의 상기 제 2 변들의 거리에 상응하고, 상기 제 2 방향의 이벤트 검출 거리는 상기 인접 센싱 픽셀들 간의 상기 제 1 변들의 거리에 상응할 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들은 상기 센싱 픽셀 어레이 내에서 상기 제 1 방향과 상기 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치될 수 있다.
일 실시예에 의하면, 상기 센싱 픽셀들 각각에서, 상기 제 1 변들이 상기 기울어진 n각형 형상의 중심에 대해 서로 점대칭을 이루고, 상기 제 2 변들도 상기 기울어진 n각형 형상의 상기 중심에 대해 서로 점대칭을 이룰 수 있다.
일 실시예에 의하면, 상기 모션 정보 생성부는 상기 움직임 영역을 분석하여 상기 제 1 방향의 움직임과 관련된 제 1 모션 벡터와 상기 제 2 방향의 움직임과 관련된 제 2 모션 벡터를 도출할 수 있다.
일 실시예에 의하면, 상기 모션 정보 생성부는 상기 제 1 모션 벡터와 상기 제 2 모션 벡터에 기초하여 상기 제 1 방향과 상기 제 2 방향 사이의 제 3 방향의 움직임과 관련된 제 3 모션 벡터를 도출할 수 있다.
일 실시예에 의하면, 상기 모션 정보 생성부는 상기 제 1 모션 벡터, 상기 제 2 모션 벡터 및 상기 제 3 모션 벡터를 기 설정된 알고리즘을 기초로 분석하여 사용자 모션에 상응하는 상기 모션 정보를 생성할 수 있다.
본 발명의 실시예들에 따른 다이내믹 비전 센서는, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지고 센싱 픽셀 어레이 내에서 제 1 방향(예를 들어, X축 방향)과 제 1 방향에 수직한 제 2 방향(예를 들어, Y축 방향)으로 서로 엇갈려 인접하게 반복적으로 배치되는 센싱 픽셀들(이 때, 센싱 픽셀들 각각은 제 1 방향으로 연장되고 제 2 방향으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 가짐)을 포함함으로써, 제한된 사이즈 내에서 해상도를 효과적으로 증가시킬 수 있다.
본 발명의 실시예들에 따른 동작 인식 장치는 상기 다이내믹 비전 센서를 포함함으로써 사용자 모션을 보다 정확하게 인식할 수 있다.
다만, 본 발명의 효과는 상술한 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 다이내믹 비전 센서를 나타내는 블록도이다.
도 2는 도 1의 다이내믹 비전 센서에 구비된 센싱 픽셀 어레이 내부의 센싱 픽셀들의 배치를 나타내는 도면이다.
도 3a는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 일 예를 나타내는 도면이다.
도 3b는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 다른 예를 나타내는 도면이다.
도 3c는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 또 다른 예를 나타내는 도면이다.
도 4는 도 1의 다이내믹 비전 센서가 제 1 방향의 움직임을 검출하는 과정을 나타내는 순서도이다.
도 5a 및 도 5b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 1 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 6은 도 1의 다이내믹 비전 센서가 제 2 방향의 움직임을 검출하는 과정을 나타내는 순서도이다.
도 7a 및 도 7b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 2 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 8은 도 1의 다이내믹 비전 센서가 제 3 방향의 움직임을 검출하는 과정을 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따른 모션 인식 장치를 나타내는 블록도이다.
도 10은 도 9의 모션 인식 장치에 구비된 다이내믹 비전 센서의 일 예를 나타내는 도면이다.
도 11은 도 9의 모션 인식 장치에 의해 사용자 모션이 인식되는 예들을 나타내는 도면이다.
도 12는 본 발명의 실시예들에 따른 전자 기기를 나타내는 블록도이다.
도 13은 도 12의 전자 기기가 스마트폰으로 구현된 일 예를 나타내는 도면이다.
도 14는 도 12의 전자 기기가 모션 인식 장치를 이용하여 잠금 해제 동작을 수행하는 일 예를 나타내는 순서도이다.
도 15는 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 2는 도 1의 다이내믹 비전 센서에 구비된 센싱 픽셀 어레이 내부의 센싱 픽셀들의 배치를 나타내는 도면이다.
도 3a는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 일 예를 나타내는 도면이다.
도 3b는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 다른 예를 나타내는 도면이다.
도 3c는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 또 다른 예를 나타내는 도면이다.
도 4는 도 1의 다이내믹 비전 센서가 제 1 방향의 움직임을 검출하는 과정을 나타내는 순서도이다.
도 5a 및 도 5b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 1 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 6은 도 1의 다이내믹 비전 센서가 제 2 방향의 움직임을 검출하는 과정을 나타내는 순서도이다.
도 7a 및 도 7b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 2 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 8은 도 1의 다이내믹 비전 센서가 제 3 방향의 움직임을 검출하는 과정을 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따른 모션 인식 장치를 나타내는 블록도이다.
도 10은 도 9의 모션 인식 장치에 구비된 다이내믹 비전 센서의 일 예를 나타내는 도면이다.
도 11은 도 9의 모션 인식 장치에 의해 사용자 모션이 인식되는 예들을 나타내는 도면이다.
도 12는 본 발명의 실시예들에 따른 전자 기기를 나타내는 블록도이다.
도 13은 도 12의 전자 기기가 스마트폰으로 구현된 일 예를 나타내는 도면이다.
도 14는 도 12의 전자 기기가 모션 인식 장치를 이용하여 잠금 해제 동작을 수행하는 일 예를 나타내는 순서도이다.
도 15는 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서는 중복된 설명을 생략하기로 한다.
도 1은 본 발명의 실시예들에 따른 다이내믹 비전 센서를 나타내는 블록도이고, 도 2는 도 1의 다이내믹 비전 센서에 구비된 센싱 픽셀 어레이 내부의 센싱 픽셀들의 배치를 나타내는 도면이다.
도 1 및 도 2를 참조하면, 다이내믹 비전 센서(100)는 센싱 픽셀 어레이(120) 및 제어부(140)를 포함할 수 있다. 일반적으로, 다이내믹 비전 센서(100)는 피사체 중에서 움직임이 발생한 부분을 센싱하여 타임 스탬프 단위의 이벤트들을 출력하기 때문에, 타임 스탬프 기반 센서(time-stamp based sensor) 또는 이벤트 기반 센서(event based sensor)로 명명될 수 있다.
센싱 픽셀 어레이(120)는 광 강도 변화를 센싱하여 타임 스탬프 단위의 이벤트를 출력하는 센싱 픽셀(130)들을 포함할 수 있다. 이 때, 타임 스탬프 단위의 이벤트는 광 강도 변화가 발생한 시간 정보 및 광 강도 변화가 발생한 위치 정보 중에서 적어도 하나 이상을 포함할 수 있다. 따라서, 다이내믹 비전 센서(100)를 구비한 전자 기기(예를 들어, 모션 인식 장치 등)는 센싱 픽셀 어레이(120)의 센싱 픽셀(130)들이 출력하는 타임 스탬프 단위의 이벤트에 기초하여 모션 정보를 생성할 수 있다. 제어부(140)는 센싱 픽셀 어레이(120)에 제어 신호들(CTLS)을 제공하여 센싱 픽셀 어레이(120)를 제어할 수 있다. 한편, 도 2에 도시된 바와 같이, 센싱 픽셀 어레이(120)의 센싱 픽셀(130)들 각각은 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가질 수 있다. 또한, 각 센싱 픽셀(130)은 제 1 방향(FIRST DIRECTION)으로 연장되고 제 2 방향(SECOND DIRECTION)으로 엇갈려 마주보는 제 1 변들(FS-1, FS-2) 및 제 2 방향(SECOND DIRECTION)으로 연장되고 제 1 방향(FIRST DIRECTION)으로 엇갈려 마주보는 제 2 변들(SS-1, SS-2)을 포함할 수 있다. 이 때, 제 1 방향(FIRST DIRECTION)은 제 2 방향(SECOND DIRECTION)에 수직한다. 따라서, 다이내믹 비전 센서(100)는 센싱 픽셀 어레이(120)에 포함된 센싱 픽셀(130)들의 제 1 변들(FS-1, FS-2)과 제 2 변들(SS-1, SS-2)에 기초하여 타임 스탬프 단위의 이벤트들을 출력할 수 있다.
센싱 픽셀(130)들은 센싱 픽셀 어레이(120) 내에서 제 1 방향(FIRST DIRECTION)과 제 2 방향(SECOND DIRECTION)으로 서로 엇갈려 인접하게 반복적으로 배치될 수 있다. 한편, 도 2에는 각 센싱 픽셀(130)이 기울어진 육각형 형상을 갖는 것으로 도시되어 있으나, 각 센싱 픽셀(130)의 형상이 육각형 형상으로 한정되지는 않는다. 예를 들어, 각 센싱 픽셀(130)은 제 1 방향(FIRST DIRECTION)으로 연장되고 제 2 방향(SECOND DIRECTION)으로 엇갈려 마주보는 제 1 변들(FS-1, FS-2) 및 제 2 방향(SECOND DIRECTION)으로 연장되고 제 1 방향(FIRST DIRECTION)으로 엇갈려 마주보는 제 2 변들(SS-1, SS-2)을 갖는 임의의 다각형 형상을 가질 수 있다. 일 실시예에서, 제 1 방향(FIRST DIRECTION)은 센싱 픽셀 어레이(120)의 X축 방향에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)은 센싱 픽셀 어레이(120)의 Y축 방향에 상응할 수 있다. 이 경우, X축 방향의 움직임은 제 1 방향(FIRST DIRECTION)의 움직임으로 결정될 수 있고, Y축 방향의 움직임은 제 2 방향(SECOND DIRECTION)의 움직임으로 결정될 수 있다. 다른 실시예에서, 제 1 방향(FIRST DIRECTION)은 센싱 픽셀 어레이(120)의 X축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)은 센싱 픽셀 어레이(120)의 Y축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있다. 이 경우, X축 방향의 움직임은 제 1 방향(FIRST DIRECTION)의 움직임을 기초로 소정의 각도를 고려하여 결정될 수 있고, Y축 방향의 움직임은 제 2 방향(SECOND DIRECTION)의 움직임을 기초로 소정의 각도를 고려하여 결정될 수 있다.
또한, 도 2에 도시된 바와 같이, 각 센싱 픽셀(130)에서, 제 1 변들(FS-1, FS-2) 각각의 길이와 제 2 변들(SS-1, SS-2) 각각의 길이는 서로 동일할 수 있다. 다만, 실시예에 따라, 각 센싱 픽셀(130)에서, 제 1 변들(FS-1, FS-2) 각각의 길이와 제 2 변들(SS-1, SS-2) 각각의 길이는 서로 상이할 수도 있다. 나아가, 도 2에 도시된 바와 같이, 각 센싱 픽셀(130)에서, 제 1 변들(FS-1, FS-2)이 기울어진 n각형 형상의 중심(CT)에 대해 서로 점대칭을 이루고, 제 2 변들(SS-1. SS-2)도 기울어진 n각형 형상의 중심(CT)에 대해 서로 점대칭을 이룰 수 있다. 다시 말하면, 제 1 방향(FIRST DIRECTION)으로 연장된 제 1 변들(FS-1, FS-2)이 제 2 방향(SECOND DIRECTION)으로 엇갈려 마주보기 때문에, 상측의 제 1 변(FS-1)을 기울어진 n각형 형상의 중심(CT)을 기준으로 180도 만큼 회전시키는 경우, 하측의 제 1 변(FS-2)에 포개어질 수 있다. 마찬가지로, 제 2 방향(SECOND DIRECTION)으로 연장된 제 2 변들(SS-1, SS-2)이 제 1 방향(FIRST DIRECTION)으로 엇갈려 마주보기 때문에, 좌측의 제 2 변(SS-1)을 기울어진 n각형 형상의 중심(CT)을 기준으로 180도 만큼 회전시키는 경우, 우측의 제 2 변(SS-2)에 포개어질 수 있다. 따라서, 센싱 픽셀 어레이(120) 내에서 센싱 픽셀(130)들의 제 1 변들(FS-1, FS-2)은 제 1 방향(FIRST DIRECTION)으로 일직선으로 정렬(즉, ALIGN1으로 표시)될 수 있고, 센싱 픽셀(130)들의 제 2 변들(SS-1, SS-2)은 제 2 방향(SECOND DIRECTION)으로 일직선으로 정렬(즉, ALIGN2로 표시)될 수 있다.
한편, 각 센싱 픽셀(130)은 수광 소자를 포함할 수 있다. 이 때, 수광 소자는 포토다이오드(photodiode)일 수 있으나, 수광 소자의 종류가 이에 한정되는 것은 아니다. 일 실시예에서, 각 센싱 픽셀(130)의 수광 소자는 기울어진 n각형 형상의 중심(CT)을 포함하는 중심 영역에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다. 다른 실시예에서, 각 센싱 픽셀(130)의 수광 소자는 기울어진 n각형 형상의 중심(CT)을 포함하는 중심 영역에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다. 또 다른 실시예에서, 각 센싱 픽셀(130)의 수광 소자는 각 센싱 픽셀(130)의 제 1 변들(FS-1, FS-2) 또는 각 센싱 픽셀(130)의 제 2 변들(SS-1, SS-2) 근처에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다. 예를 들어, 각 센싱 픽셀(130)의 수광 소자는 모든 센싱 픽셀(130)들에서 상측의 제 1 변(FS-1) 근처에 배치되거나, 하측의 제 1 변(FS-2) 근처에 배치되거나, 좌측의 제 2 변(SS-1) 근처에 배치되거나, 또는 우측의 제 2 변(SS-2) 근처에 배치될 수 있다. 또 다른 실시예에서, 각 센싱 픽셀(130)의 수광 소자는 각 센싱 픽셀(130)의 제 1 변들(FS-1, FS-2) 또는 각 센싱 픽셀(130)의 제 2 변들(SS-1, SS-2) 근처에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다. 예를 들어, 각 센싱 픽셀(130)의 수광 소자는 센싱 픽셀(130)들마다 상측의 제 1 변(FS-1) 근처, 하측의 제 1 변(FS-2) 근처, 좌측의 제 2 변(SS-1) 근처, 또는 우측의 제 2 변(SS-2) 근처에 선택적으로 배치될 수 있다.
이와 같이, 센싱 픽셀 어레이(120) 내에서 센싱 픽셀(130)들의 제 1 변들(FS-1, FS-2)이 제 1 방향(FIRST DIRECTION)으로 일직선으로 정렬(즉, ALIGN1으로 표시)되고, 센싱 픽셀(130)들의 제 2 변들(SS-1, SS-2)이 제 2 방향(SECOND DIRECTION)으로 일직선으로 정렬(즉, ALIGN2로 표시)되기 때문에, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 좌측의 제 2 변들(SS-1, SS-1)의 거리 또는 우측의 제 2 변들(SS-2, SS-2)의 거리에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 상측의 제 1 변들(FS-1, FS-1)의 거리 또는 하측의 제 1 변들(FS-2, FS-2)의 거리에 상응할 수 있다. 이 때, 센싱 픽셀(130)들의 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리는 동일 면적의 사각형 형상을 가진 종래의 센싱 픽셀들의 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리보다 짧고, 센싱 픽셀(130)들의 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리는 동일 면적의 사각형 형상을 가진 종래의 센싱 픽셀들의 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리보다 짧다. 즉, 다이내믹 비전 센서(100)는 기울어진 n각형 형상을 가지고 센싱 픽셀 어레이(120) 내에서 제 1 방향(FIRST DIRECTION)과 제 2 방향(SECOND DIRECTION)으로 서로 엇갈려 인접하게 반복적으로 배치되는 센싱 픽셀(130)들을 포함(이 때, 각 센싱 픽셀(130)은 제 1 방향(FIRST DIRECTION)으로 연장되고 제 2 방향(SECOND DIRECTION)으로 엇갈려 마주보는 제 1 변들(FS-1, FS-2) 및 제 2 방향(SECOND DIRECTION)으로 연장되고 제 1 방향(FIRST DIRECTION)으로 엇갈려 마주보는 제 2 변들(SS-1, SS-2)을 가짐)함으로써, 제한된 사이즈 내에서 해상도를 효과적으로 증가시킬 수 있다.
도 3a는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 일 예를 나타내는 도면이고, 도 3b는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 다른 예를 나타내는 도면이며, 도 3c는 도 2의 센싱 픽셀들 각각에서 수광 소자가 위치하는 또 다른 예를 나타내는 도면이다.
도 3a 내지 도 3c를 참조하면, 센싱 픽셀 어레이(120)에 구비된 센싱 픽셀(130)들 각각에서 수광 소자(PD)가 위치하는 다양한 예들이 도시되어 있다. 이 때, 수광 소자(PD)는 포토다이오드일 수 있으나, 수광 소자(PD)의 종류가 이에 한정되는 것은 아니다. 상술한 바와 같이, 각 센싱 픽셀(130)은 기울어진 n각형 형상을 가짐으로써 종래의 센싱 픽셀과 동일한 면적(예를 들어, 20um * 20um 이상)에서도 높은 해상도를 구현할 수 있다.
일 실시예에서, 도 3a 및 도 3b에 도시된 바와 같이, 각 센싱 픽셀(130)의 수광 소자(PD)는 기울어진 n각형 형상의 중심(CT)을 포함하는 중심 영역에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다. 따라서, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 좌측의 제 2 변들(SS-1, SS-1)의 거리 또는 우측의 제 2 변들(SS-2, SS-2)의 거리에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 상측의 제 1 변들(FS-1, FS-1)의 거리 또는 하측의 제 1 변들(FS-2, FS-2)의 거리에 상응할 수 있다. 다른 실시예에서, 각 센싱 픽셀(130)의 수광 소자(PD)는 기울어진 n각형 형상의 중심(CT)을 포함하는 중심 영역에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다. 이 경우, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리와 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리는 보다 짧아질 수 있으나, 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 함께 고려해야 하는 센싱 픽셀(130)들의 행(row)의 개수와 열(column)의 개수가 증가될 수 있다. 예를 들어, 도 3a 및 도 3b에서는, 제 1 방향(FIRST DIRECTION)의 움직임을 검출하기 위해 2행의 센싱 픽셀(130)들만 함께 고려해도 충분할 수 있고, 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 2열의 센싱 픽셀(130)들만 함께 고려해도 충분할 수 있다. 그러나, 각 센싱 픽셀(130)의 수광 소자(PD)가 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치되는 경우에는, 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 함께 고려해야 하는 센싱 픽셀(130)들의 행의 개수와 열의 개수는 각각 3개 이상일 수 있다.
또 다른 실시예에서, 도 3에 도시된 바와 같이, 각 센싱 픽셀(130)의 수광 소자(PD)는 각 센싱 픽셀(130)의 제 1 변들(FS-1, FS-2) 또는 각 센싱 픽셀(130)의 제 2 변들(SS-1, SS-2) 근처에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 동일한 지점에 배치될 수 있다. 예를 들어, 각 센싱 픽셀(130)의 수광 소자(PD)는 모든 센싱 픽셀(130)들에서 상측의 제 1 변(FS-1) 근처에 배치되거나, 하측의 제 1 변(FS-2) 근처에 배치되거나, 좌측의 제 2 변(SS-1) 근처에 배치되거나, 또는 우측의 제 2 변(SS-2) 근처에 배치될 수 있다. 다만, 도 3에서는 각 센싱 픽셀(130)의 수광 소자(PD)가 좌측의 제 2 변(SS-1) 근처(또는, 하측의 제 1 변(FS-2) 근처)에 배치된 것으로 도시되어 있다. 따라서, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 좌측의 제 2 변들(SS-1, SS-1)의 거리 또는 우측의 제 2 변들(SS-2, SS-2)의 거리에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리는 인접 센싱 픽셀(130)들 간의 상측의 제 1 변들(FS-1, FS-1)의 거리 또는 하측의 제 1 변들(FS-2, FS-2)의 거리에 상응할 수 있다. 또 다른 실시예에서, 각 센싱 픽셀(130)의 수광 소자(PD)는 각 센싱 픽셀(130)의 제 1 변들(FS-1, FS-2) 또는 각 센싱 픽셀(130)의 제 2 변들(SS-1, SS-2) 근처에 배치될 수 있고, 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치될 수 있다. 이 경우, 상술한 바와 같이, 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 함께 고려해야 하는 센싱 픽셀(130)들의 행의 개수와 열의 개수가 증가될 수 있다.
도 4는 도 1의 다이내믹 비전 센서가 제 1 방향의 움직임을 검출하는 과정을 나타내는 순서도이고, 도 5a 및 도 5b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 1 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 4 내지 도 5b를 참조하면, 다이내믹 비전 센서(100)는 센싱 픽셀(130)의 제 2 변들(SS-1, SS-2)에 기초하여 제 1 방향(FIRST DIRECTION)의 움직임을 검출할 수 있다. 구체적으로, 다이내믹 비전 센서(100)에서는, 제 1 센싱 픽셀(130-1)이 제 1 방향(FIRST DIRECTION)의 움직임에 따른 광 강도 변화를 센싱(S120)한 후, 제 1 센싱 픽셀(130-1)과 인접한 제 2 센싱 픽셀(130-2)이 제 1 방향(FIRST DIRECTION)의 움직임에 따른 광 강도 변화를 센싱(S140)할 수 있다. 한편, 도 5a에 도시된 사각형 형상의 종래의 센싱 픽셀과 도 5b에 도시된 기울어진 육각형 형상의 센싱 픽셀(130)의 면적은 서로 동일하다.
도 5a에 도시된 바와 같이, 종래의 센싱 픽셀은 사각형 형상을 가지며, 사각형 형상 내부에 수광 소자가 배치된다. 따라서, 종래의 다이내믹 비전 센서에서는, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리(CED)가 하나의 센싱 픽셀의 좌측의 변으로부터 상기 센싱 픽셀에 제 1 방향(FIRST DIRECTION)으로 인접한 다른 센싱 픽셀의 좌측의 변까지의 거리에 상응할 수 있다. 반면에, 도 5b에 도시된 바와 같이, 각 센싱 픽셀(130)은 기울어진 육각형 형상을 가지며, 기울어진 육각형 형상 내부에 수광 소자(PD)가 배치된다. 따라서, 다이내믹 비전 센서(100)에서는, 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리(PED)가 제 1 센싱 픽셀(130-1)의 좌측의 제 2 변(SS-1)으로부터 제 2 센싱 픽셀(130-2)의 좌측의 제 2 변(SS-1)까지의 거리에 상응할 수 있다. 즉, 도 5a에 도시된 사각형 형상의 종래의 센싱 픽셀과 도 5b에 도시된 기울어진 육각형 형상의 센싱 픽셀(130)은 면적이 서로 동일함에도 불구하고, 다이내믹 비전 센서(100)의 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리(PED)는 종래의 다이내믹 비전 센서의 제 1 방향(FIRST DIRECTION)의 이벤트 검출 거리(CED)보다 짧아지게 된다. 그 결과, 다이내믹 비전 센서(100)는 제한된 사이즈 내에서 높은 해상도를 구현할 수 있다. 한편, 도 5b에는 제 1 센싱 픽셀(130-1)이 제 k(단, k는 1이상의 정수) 행(R(k))을 구성하고, 제 2 센싱 픽셀(130-2)이 제 k+1 행(R(k+1))을 구성하는 것으로 도시되어 있는데, 이것은 다이내믹 비전 센서(100)에서 제 1 방향(FIRST DIRECTION)의 움직임을 검출하기 위해 2행의 센싱 픽셀(130)들이 함께 고려되고 있음을 보여주는 것이다. 그러나, 상술한 바와 같이, 각 센싱 픽셀(130)의 수광 소자(PD)가 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치되는 경우, 제 1 방향(FIRST DIRECTION)의 움직임을 검출하기 위해 함께 고려해야 하는 센싱 픽셀(130)들의 행의 개수는 증가될 수 있다.
도 6은 도 1의 다이내믹 비전 센서가 제 2 방향의 움직임을 검출하는 과정을 나타내는 순서도이고, 도 7a 및 도 7b는 도 1의 다이내믹 비전 센서가 종래의 다이내믹 비전 센서에 비해 제 2 방향으로 높은 해상도를 갖는 일 예를 나타내는 도면들이다.
도 6 내지 도 7b를 참조하면, 다이내믹 비전 센서(100)는 센싱 픽셀(130)의 제 1 변들(FS-1, FS-2)에 기초하여 제 2 방향(SECOND DIRECTION)의 움직임을 검출할 수 있다. 구체적으로, 다이내믹 비전 센서(100)에서는, 제 1 센싱 픽셀(130-1)이 제 2 방향(SECOND DIRECTION)의 움직임에 따른 광 강도 변화를 센싱(S220)한 후, 제 1 센싱 픽셀(130-1)과 인접한 제 2 센싱 픽셀(130-2)이 제 2 방향(SECOND DIRECTION)의 움직임에 따른 광 강도 변화를 센싱(S240)할 수 있다. 한편, 도 7a에 도시된 사각형 형상의 종래의 센싱 픽셀과 도 7b에 도시된 기울어진 육각형 형상의 센싱 픽셀(130)의 면적은 서로 동일하다.
도 7a에 도시된 바와 같이, 종래의 센싱 픽셀은 사각형 형상을 가지며, 사각형 형상 내부에 수광 소자가 배치된다. 따라서, 종래의 다이내믹 비전 센서에서는, 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리(CED)가 하나의 센싱 픽셀의 하측의 변으로부터 상기 센싱 픽셀에 제 2 방향(SECOND DIRECTION)으로 인접한 다른 센싱 픽셀의 하측의 변까지의 거리에 상응할 수 있다. 반면에, 도 7b에 도시된 바와 같이, 각 센싱 픽셀(130)은 기울어진 육각형 형상을 가지며, 기울어진 육각형 형상 내부에 수광 소자(PD)가 배치된다. 따라서, 다이내믹 비전 센서(100)에서는, 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리(PED)가 제 1 센싱 픽셀(130-1)의 하측의 제 1 변(FS-2)으로부터 제 2 센싱 픽셀(130-2)의 하측의 제 1 변(FS-2)까지의 거리에 상응할 수 있다. 즉, 도 7a에 도시된 사각형 형상의 종래의 센싱 픽셀과 도 7b에 도시된 기울어진 육각형 형상의 센싱 픽셀(130)은 면적이 서로 동일함에도 불구하고, 다이내믹 비전 센서(100)의 제 2 방향(SECOND DIRECTION)의 이벤트 검출 거리(PED)는 종래의 다이내믹 비전 센서의 제 2 방향(FIRST DIRECTION)의 이벤트 검출 거리(CED)보다 짧아지게 된다. 그 결과, 다이내믹 비전 센서(100)는 제한된 사이즈 내에서 높은 해상도를 구현할 수 있다. 한편, 도 7b에는 제 1 센싱 픽셀(130-1)이 제 k 열(C(k))을 구성하고, 제 2 센싱 픽셀(130-2)이 제 k+1 열(C(k+1))을 구성하는 것으로 도시되어 있는데, 이것은 다이내믹 비전 센서(100)에서 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 2열의 센싱 픽셀(130)들이 함께 고려되고 있음을 보여주는 것이다. 그러나, 상술한 바와 같이, 각 센싱 픽셀(130)의 수광 소자(PD)가 센싱 픽셀(130)들마다 기울어진 n각형 형상 내에서 상이한 지점에 배치되는 경우, 제 2 방향(SECOND DIRECTION)의 움직임을 검출하기 위해 함께 고려해야 하는 센싱 픽셀(130)들의 열의 개수는 증가될 수 있다.
도 8은 도 1의 다이내믹 비전 센서가 제 3 방향의 움직임을 검출하는 과정을 나타내는 도면이다.
도 8을 참조하면, 다이내믹 비전 센서(100)의 센싱 픽셀 어레이(120)의 촬상면 상에서 제 1 지점(SP)으로부터 제 2 지점(DP)까지의 움직임이 발생하는 경우, 다이내믹 비전 센서(100)가 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임을 검출하고, 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임에 기초하여 제 3 방향의 움직임(즉, 대각선 방향의 움직임)을 판단하는 일 예가 도시되어 있다.
구체적으로, 도 8에 도시된 바와 같이, 다이내믹 비전 센서(100)에 의해 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임이 검출되면, 제 1 방향(FIRST DIRECTION)의 움직임과 관련된 제 1 모션 벡터(XDS)와 제 2 방향(SECOND DIRECTION)의 움직임과 관련된 제 2 모션 벡터(YDS)가 도출될 수 있다. 이후, 제 1 방향(FIRST DIRECTION)의 움직임과 관련된 제 1 모션 벡터(XDS)와 제 2 방향(SECOND DIRECTION)의 움직임과 관련된 제 2 모션 벡터(YDS)에 대한 벡터 연산에 의해 제 1 방향(FIRST DIRECTION)과 제 2 방향(SECOND DIRECTION) 사이의 제 3 방향의 움직임과 관련된 제 3 모션 벡터(AFS)가 도출될 수 있다. 그러므로, 다이내믹 비전 센서(100)는 제 1 방향(FIRST DIRECTION)의 움직임과 제 2 방향(SECOND DIRECTION)의 움직임만 검출함으로써, 제 3 방향의 움직임을 자동적으로 검출할 수 있다. 일 실시예에서, 제 1 방향(FIRST DIRECTION)은 센싱 픽셀 어레이(120)의 X축 방향에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)은 센싱 픽셀 어레이(120)의 Y축 방향에 상응할 수 있다. 이 경우, X축 방향의 움직임은 제 1 방향(FIRST DIRECTION)의 움직임으로 결정될 수 있고, Y축 방향의 움직임은 제 2 방향(SECOND DIRECTION)의 움직임으로 결정될 수 있다. 다른 실시예에서, 제 1 방향(FIRST DIRECTION)은 센싱 픽셀 어레이(120)의 X축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있고, 제 2 방향(SECOND DIRECTION)은 센싱 픽셀 어레이(120)의 Y축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있다. 이 경우, X축 방향의 움직임은 제 1 방향(FIRST DIRECTION)의 움직임을 기초로 소정의 각도를 고려하여 결정될 수 있고, Y축 방향의 움직임은 제 2 방향(SECOND DIRECTION)의 움직임을 기초로 소정의 각도를 고려하여 결정될 수 있다.
도 9는 본 발명의 실시예들에 따른 모션 인식 장치를 나타내는 블록도이고, 도 10은 도 9의 모션 인식 장치에 구비된 다이내믹 비전 센서의 일 예를 나타내는 도면이고, 도 11은 도 9의 모션 인식 장치에 의해 사용자 모션이 인식되는 예들을 나타내는 도면이다.
도 9 내지 도 11을 참조하면, 모션 인식 장치(300)는 센싱 픽셀 어레이(120), 제어부(140) 및 모션 정보 생성부(200)를 포함할 수 있다. 이 때, 센싱 픽셀 어레이(120)와 제어부(140)는 다이내믹 비전 센서(100)를 구성할 수 있다. 상술한 바와 같이, 다이내믹 비전 센서(100)는 피사체 중에서 움직임이 발생한 부분을 센싱하여 타임 스탬프 단위의 이벤트(EVT)들을 출력하기 때문에, 타임 스탬프 기반 센서 또는 이벤트 기반 센서로 명명될 수 있다.
센싱 픽셀 어레이(120)는 광 강도 변화(UMS)를 센싱하여 타임 스탬프 단위의 이벤트(EVT)를 출력하는 센싱 픽셀(SP)들을 포함할 수 있다. 예를 들어, 각 센싱 픽셀(SP)은 광 강도 변화(UMS)가 발생하면, 광 강도 변화(UMS)를 기 설정된 임계값(threshold value)과 비교하고, 광 강도 변화(UMS)가 기 설정된 임계값보다 큰 경우 이벤트(EVT)를 출력할 수 있다. 이 때, 상기 이벤트(EVT)는 광 강도 변화(UMS)가 발생한 시간 정보 및 광 강도 변화가 발생한 위치 정보 중에서 적어도 하나 이상을 포함할 수 있다. 제어부(140)는 센싱 픽셀 어레이(120)에 제어 신호들(CTLS)을 제공하여 센싱 픽셀 어레이(120)를 제어할 수 있다. 센싱 픽셀 어레이(120)의 센싱 픽셀(SP)들 각각은 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가질 수 있다. 또한, 센싱 픽셀 어레이(120)의 센싱 픽셀(SP)들 각각은 제 1 방향으로 연장되고 제 2 방향으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함할 수 있다. 이 때, 제 1 방향은 제 2 방향에 수직한다. 따라서, 다이내믹 비전 센서(100)는 센싱 픽셀 어레이(120)에 포함된 센싱 픽셀(SP)들의 서로 수직하는 제 1 변들과 제 2 변들에 기초하여 이벤트(EVT)들을 출력할 수 있다.
도 10에 도시된 바와 같이, 센싱 픽셀 어레이(120) 내에서 센싱 픽셀(SP)들은 제 1 방향(예를 들어, X축 방향)과 제 2 방향(예를 들어, Y축 방향)으로 서로 엇갈려 인접하게 반복적으로 배치될 수 있다. 이 때, 각 센싱 픽셀(SP)은 수광 소자(예를 들어, 포토다이오드)를 포함할 수 있다. 실시예에 따라, 광 강도 변화들의 시간적 또는 공간적인 관계 정보까지 도출하기 위해 소정의 센싱 픽셀(SP)들이 묶여 센싱 필드(sensing field)(SPR)를 구성할 수도 있다. 도 10에는 센싱 필드(SPR)가 기울어진 3*3 매트릭스(matrix) 형태를 갖는 것으로 도시되어 있으나, 센싱 필드(SPR)의 형태는 이에 한정되지는 않는다. 예를 들어, 센싱 필드(SPR)은 기울어진 q*r 매트릭스 형태(단, q과 r은 1보다 큰 정수)를 가질 수 있다. 한편, 각 센싱 픽셀(SP)에서, 제 1 변들 각각의 길이와 제 2 변들 각각의 길이는 서로 동일할 수 있다. 다만, 실시예에 따라, 각 센싱 픽셀(SP)에서, 제 1 변들 각각의 길이와 제 2 변들 각각의 길이는 서로 상이할 수도 있다. 각 센싱 픽셀(SP)에서, 제 1 변들이 기울어진 n각형 형상의 중심에 대해 서로 점대칭을 이루고, 제 2 변들도 기울어진 n각형 형상의 중심에 대해 서로 점대칭을 이룰 수 있다. 이에, 센싱 픽셀 어레이(120) 내에서 센싱 픽셀(SP)들의 제 1 변들이 제 1 방향으로 일직선으로 정렬되고, 센싱 픽셀(SP)들의 제 2 변들이 제 2 방향으로 일직선으로 정렬될 수 있다. 일 실시예에서, 제 1 방향은 센싱 픽셀 어레이(120)의 X축 방향에 상응할 수 있고, 제 2 방향은 센싱 픽셀 어레이(120)의 Y축 방향에 상응할 수 있다. 다른 실시예에서, 제 1 방향은 센싱 픽셀 어레이(120)의 X축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있고, 제 2 방향은 센싱 픽셀 어레이(120)의 Y축 방향에 소정의 각도만큼 회전한 방향에 상응할 수 있다.
모션 정보 생성부(200)는 센싱 픽셀 어레이(120)로부터 스탬프 단위의 이벤트(EVT)를 입력받고, 상기 이벤트(EVT)에 기초하여 움직임 영역을 분석함으로써 모션 정보(MI)를 생성할 수 있다. 구체적으로, 모션 정보 생성부(200)는 상기 이벤트(EVT)에 기초하여 제 1 방향의 움직임과 관련된 제 1 모션 벡터 및 제 2 방향의 움직임과 관련된 제 2 모션 벡터를 도출할 수 있다. 예를 들어, 제 1 방향이 X축 방향이고 제 2 방향이 Y축 방향이라고 가정하면, 모션 정보 생성부(200)는 X축 방향의 움직임과 관련된 제 1 모션 벡터 및 Y축 방향의 움직임과 관련된 제 2 모션 벡터를 도출할 수 있다. 따라서, 모션 정보 생성부(200)는 제 1 방향의 움직임과 관련된 제 1 모션 벡터 및 제 2 방향의 움직임과 관련된 제 2 모션 벡터에 기초하여 제 1 방향과 제 2 방향 사이의 제 3 방향의 움직임(즉, 대각선 방향의 움직임)과 관련된 제 3 모션 벡터를 도출할 수 있다. 예를 들어, 제 1 방향이 X축 방향이고 제 2 방향이 Y축 방향이라고 가정하면, 모션 정보 생성부(200)는 X축 방향과 Y축 방향의 사이의 임의 방향의 움직임과 관련된 모션 벡터를 도출할 수 있다. 이후, 모션 정보 생성부(200)는 제 1 방향의 움직임과 관련된 제 1 모션 벡터, 제 2 방향의 움직임과 관련된 제 2 모션 벡터 및 제 3 방향의 움직임과 관련된 제 3 모션 벡터를 기 설정된 알고리즘을 기초로 분석하여 사용자 모션에 상응하는 모션 정보(MI)를 생성할 수 있다.
도 11에 도시된 바와 같이, 사용자 모션은 센싱 픽셀 어레이(120)의 촬상면에 대해 공간 좌표(즉, X-Y-Z 좌표) 상에서 분석될 수 있다. 이 때, 센싱 픽셀 어레이(120)의 촬상면에 평행한 좌표 평면을 X-Y 평면으로 가정하면, X-Y 평면에서 사용자의 손이 상하 방향, 좌우 방향 또는 대각선 방향으로 움직이는 것은 평면 방향(PLANE-DIRECTION)의 사용자 모션으로 명명될 수 있고, 센싱 픽셀 어레이(120)의 촬상면에 수직 방향으로 사용자의 손이 움직이는 것은 Z축 방향(Z-DIRECTION)의 사용자 모션으로 명명될 수 있으며, X-Y 평면에서 사용자의 손이 회전하는 것은 회전 방향(R-DIRECTION)의 사용자 모션으로 명명될 수 있다. 그러므로, 모션 정보 생성부(200)는 제 1 방향의 움직임과 관련된 제 1 모션 벡터, 제 2 방향의 움직임과 관련된 제 2 모션 벡터 및 제 3 방향의 움직임과 관련된 제 3 모션 벡터를 기 설정된 알고리즘을 기초로 분석함으로써, 평면 방향(PLANE-DIRECTION)의 사용자 모션, Z축 방향(Z-DIRECTION)의 사용자 모션 및/또는 회전 방향(R-DIRECTION)의 사용자 모션을 나타내는 모션 정보(MI)를 생성할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 사용자 모션의 종류가 이에 한정되는 것은 아니다.
이와 같이, 다이내믹 비전 센서(100)는 기울어진 n각형 형상을 가지고 센싱 픽셀 어레이(120) 내에서 제 1 방향과 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치되는 센싱 픽셀(SP)들을 포함(이 때, 각 센싱 픽셀(SP)은 제 1 방향으로 연장되고 제 2 방향으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 가짐)할 수 있다. 따라서, 제 1 방향의 이벤트 검출 거리는 인접 센싱 픽셀(SP)들 간의 좌측의 제 2 변들의 거리 또는 우측의 제 2 변들의 거리에 상응할 수 있고, 제 2 방향의 이벤트 검출 거리는 인접 센싱 픽셀들 간의 상측의 제 1 변들의 거리 또는 하측의 제 1 변들의 거리에 상응할 수 있다. 이 때, 센싱 픽셀(SP)들의 제 1 방향의 이벤트 검출 거리는 동일 면적의 사각형 형상을 가진 종래의 센싱 픽셀들의 제 1 방향의 이벤트 검출 거리보다 짧고, 센싱 픽셀(SP)들의 제 2 방향의 이벤트 검출 거리는 동일 면적의 사각형 형상을 가진 종래의 센싱 픽셀들의 제 2 방향의 이벤트 검출 거리보다 짧다. 그 결과, 다이내믹 비전 센서(100)는 제한된 사이즈 내에서 해상도를 효과적으로 증가시킬 수 있고, 다이내믹 비전 센서(100)를 포함하는 모션 인식 장치(300)는 사용자 모션을 보다 정확하게 인식할 수 있다.
도 12는 본 발명의 실시예들에 따른 전자 기기를 나타내는 블록도이고, 도 13은 도 12의 전자 기기가 스마트폰으로 구현된 일 예를 나타내는 도면이다.
도 12 및 도 13을 참조하면, 전자 기기(500)는 어플리케이션 프로세서(510), 모션 인식 장치(520), 적어도 하나 이상의 센서 모듈(530), 복수의 기능 모듈들(540-1, …, 540-k), 메모리 모듈(550), 입출력 모듈(560) 및 전력 관리 집적 회로(power management integrated circuit; PMIC)(570)를 포함할 수 있다. 이 때, 모션 인식 장치(520)는 도 9의 모션 인식 장치(300)에 상응할 수 있다. 한편, 도 13에 도시된 바와 같이, 전자 기기(500)는 스마트폰으로 구현될 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 전자 기기(500)는 컴퓨터, 노트북, 디지털 카메라, 비디오 캠코더, 휴대폰, 스마트폰, 비디오폰, 스마트패드, 타블렛 PC, MP3 플레이어 등으로 구현될 수도 있다.
어플리케이션 프로세서(510)는 전자 기기(500)의 전반적인 동작을 제어할 수 있다. 즉, 어플리케이션 프로세서(510)는 모션 인식 장치(520), 센서 모듈(530), 기능 모듈들(540-1, …, 540-k), 메모리 모듈(550), 입출력 모듈(560), 전력 관리 집적 회로(570) 등을 제어할 수 있다. 실시예에 따라, 어플리케이션 프로세서(510)는 제 1 클럭 신호에 기초하여 동작하는 메인 프로세서(즉, 고성능 프로세서) 및 제 1 클럭 신호보다 낮은 동작 주파수를 갖는 제 2 클럭 신호에 기초하여 동작하는 서브 프로세서(즉, 저성능 프로세서)를 구비할 수 있다. 이 경우, 전자 기기(500)의 액티브(active) 모드에서 어플리케이션 프로세서(510)의 메인 프로세서만 동작하거나 또는 어플리케이션 프로세서(510)의 메인 프로세서와 서브 프로세서가 함께 동작하고, 전자 기기(500)의 슬립(sleep) 모드에서는 어플리케이션 프로세서(510)의 서브 프로세서만 동작할 수 있다. 예를 들어, 전자 기기(500)의 액티브 모드에서는 어플리케이션 프로세서(510)의 메인 프로세서 또는 어플리케이션 프로세서(510)의 메인 프로세서와 서브 프로세서가 모션 인식 장치(520), 센서 모듈(530), 기능 모듈들(540-1, …, 540-k), 메모리 모듈(550), 입출력 모듈(560), 전력 관리 집적 회로(570) 등을 제어할 수 있다. 반면에, 전자 기기(500)의 슬립 모드에서는 어플리케이션 프로세서(510)의 서브 프로세서가 전자 기기(500)의 일부 구성 요소들(예를 들어, 모션 인식 장치(520), 센서 모듈(530) 등)을 제어할 수 있다.
모션 인식 장치(520)는 사용자 모션을 인식할 수 있다. 이를 위하여, 모션 인식 장치(520)는 광 강도 변화를 센싱하여 타임 스탬프 단위의 이벤트를 출력하는 센싱 픽셀들을 포함하는 센싱 픽셀 어레이, 센싱 픽셀 어레이를 제어하는 제어부, 및 타임 스탬프 단위의 이벤트에 기초하여 움직임 영역을 분석함으로써 모션 정보를 생성하는 모션 정보 생성부를 포함할 수 있다. 이 때, 센싱 픽셀 어레이와 제어부는 다이내믹 비전 센서를 구성할 수 있다. 한편, 센싱 픽셀 어레이에서, 각 센싱 픽셀은 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 제 1 방향에 수직한 제 2 방향으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함할 수 있다. 이와 같이, 다이내믹 비전 센서는 기울어진 n각형 형상을 가지고 센싱 픽셀 어레이 내에서 제 1 방향과 제 1 방향에 수직한 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치되는 센싱 픽셀들을 포함함으로써 제한된 사이즈 내에서 해상도를 효과적으로 증가시킬 수 있다. 또한, 상기 다이내믹 비전 센서를 포함하는 모션 인식 장치(520)는 사용자 모션을 보다 정확하게 인식할 수 있다. 다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다.
센서 모듈(530)은 다양한 센싱 동작들을 수행할 수 있다. 이 때, 센서 모듈(530)은 회전 각속도를 측정하는 자이로 센서 모듈, 속도 및 운동량을 측정하는 가속도 센서 모듈, 나침반 역할을 수행하는 지자계 센서 모듈, 고도를 측정하는 기압계 센서 모듈, 동작 인식, 접근 탐지, 광원 구별 등을 수행하는 제스쳐-근접-조도-RGB 센서 모듈, 온도 및 습도를 측정하는 온도-습도 센서 모듈, 사용자가 전자 기기(500)를 손에 쥐었는지를 판단하는 그립 센서 모듈 등을 포함할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 센서 모듈(530)의 종류는 이에 한정되지 않는다. 복수의 기능 모듈들(540-1, ..., 540-k)은 전자 기기(500)의 다양한 기능들을 수행할 수 있다. 예를 들어, 전자 기기(500)는 통신 기능을 수행하기 위한 통신 모듈(예를 들어, CDMA(code division multiple access) 모듈, LTE(long term evolution) 모듈, RF(radio frequency) 모듈, UWB(ultra wideband) 모듈, WLAN(wireless local area network) 모듈, WIMAX(worldwide interoperability for microwave access) 모듈 등), 카메라 기능을 수행하기 위한 카메라 모듈 등을 포함할 수 있다. 실시예에 따라, 전자 기기(500)는 GPS(global positioning system) 모듈, 마이크 모듈, 스피커 모듈 등을 더 포함할 수 있다. 다만, 전자 기기(500)에 구비되는 복수의 기능 모듈들(540-1, ..., 540-k)의 종류는 이에 한정되지 않는다.
메모리 모듈(550)은 전자 기기(500)의 동작에 필요한 데이터들을 저장할 수 있다. 이 때, 메모리 모듈(550)은 어플리케이션 프로세서(510) 내에 구비될 수도 있다. 예를 들어, 메모리 모듈(550)은 DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory) 장치, DRAM(Dynamic Random Access Memory) 장치, SRAM(Static Random Access Memory) 장치, 모바일 DRAM 장치 등과 같은 휘발성 메모리 장치 및/또는 EPROM(Erasable Programmable Read-Only Memory) 장치, EEPROM(Electrically Erasable Programmable Read-Only Memory) 장치, 플래시 메모리(Flash Memory) 장치, PRAM(Phase Change Random Access Memory) 장치, RRAM(Resistance Random Access Memory) 장치, NFGM(Nano Floating Gate Memory) 장치, PoRAM(Polymer Random Access Memory) 장치, MRAM(Magnetic Random Access Memory) 장치, FRAM(Ferroelectric Random Access Memory) 장치 등과 같은 비휘발성 메모리 장치를 포함할 수 있다. 실시예에 따라, 메모리 모듈(550)은 솔리드 스테이트 드라이브(solid state drive; SSD), 하드 디스크 드라이브(hard disk drive; HDD), 씨디롬(CD-ROM) 등을 더 포함할 수도 있다. 입출력 모듈(560)은 표시 기능을 수행하기 위한 표시 모듈, 터치 입력 기능을 수행하기 위한 터치 센서 모듈 등을 포함할 수 있다.
도 14는 도 12의 전자 기기가 모션 인식 장치를 이용하여 잠금 해제 동작을 수행하는 일 예를 나타내는 순서도이다.
도 14를 참조하면, 전자 기기(500)는 모션 인식 장치(520)를 이용하여 잠금 해제 동작을 수행할 수 있다. 구체적으로, 전자 기기(500)는 사용자 모션들을 순차적으로 인식(S310)한 후, 사용자 모션들을 코드로 변환(S320)할 수 있다. 즉, 전자 기기(500)는 사용자 모션들을 코드화할 수 있다. 다음, 전자 기기(500)는 상기 코드가 기 설정된 패스워드(password)와 일치하는지 여부를 확인(S330)할 수 있다. 이 때, 상기 코드가 기 설정된 패스워드와 일치하는 경우, 전자 기기(500)는 전자 기기(500)의 잠금 상태를 해제(S340)할 수 있다. 반면에, 상기 코드가 기 설정된 패스워드와 일치하지 않는 경우, 전자 기기(500)는 전자 기기(500)의 잠금 상태를 유지(S350)할 수 있다. 일 실시예에서, 전자 기기(500)는 상기 코드의 시퀀스(sequence) 및/또는 타이밍(timing)을 기 설정된 패스워드의 시퀀스 및/또는 타이밍과 비교함으로써 상기 코드가 기 설정된 패스워드와 일치하는지 여부를 확인할 수 있다. 다른 실시예에서, 전자 기기(500)는 다이내믹 프로그래밍 매칭(Dynamic Programming Matching; DP matching)을 수행함으로써 상기 코드가 기 설정된 패스워드와 일치하는지 여부를 확인할 수 있다. 또 다른 실시예에서, 전자 기기(500)는 히든 마르코프 모델(Hidden Markov Model; HMM)을 이용함으로써 상기 코드가 기 설정된 패스워드와 일치하는지 여부를 확인할 수 있다. 다만, 이것은 예시적인 것에 불과한 것으로서, 상기 코드와 기 설정된 패스워드를 비교하는 방식은 이에 한정되지 않는다.
도 15는 본 발명의 실시예들에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 15를 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 입출력 허브(1020), 입출력 컨트롤러 허브(1030), 그래픽 카드(1040) 및 모션 인식 장치(1050)를 포함할 수 있다. 이 때, 모션 인식 장치(1050)는 도 9의 모션 인식 장치(300)에 상응할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들을 수행할 수 있다. 예를 들어, 프로세서(1010)는 마이크로프로세서 또는 중앙 처리 장치일 수 있다. 프로세서(1010)는 하나의 코어(core)를 포함하거나, 복수의 코어들을 포함할 수 있다. 예를 들어, 프로세서(1010)는 코어의 개수에 따라 듀얼 코어 프로세서, 쿼드 코어 프로세서, 헥사 코어 프로세서 등으로 명명될 수 있다. 실시예에 따라, 프로세서(1010)는 내부 또는 외부에 캐시 메모리(cache memory)를 더 포함할 수 있다. 입출력 허브(1020)는 그래픽 카드(1040)와 같은 장치들과 프로세서(1010) 사이의 데이터 전송을 관리할 수 있다. 입출력 허브(1020)는 다양한 방식의 인터페이스를 통하여 프로세서(1010)에 연결될 수 있다. 예를 들어, 입출력 허브(1020)와 프로세서(1010)는 프론트 사이드 버스(Front Side Bus; FSB), 시스템 버스(System Bus), 하이퍼트랜스포트(HyperTransport), 라이트닝 데이터 트랜스포트(Lightning Data Transport; LDT), 퀵패스 인터커넥트(QuickPath Interconnect; QPI), 공통 시스템 인터페이스(Common System Interface; CSI) 등의 다양한 표준의 인터페이스로 연결될 수 있다. 나아가, 입출력 허브(1020)는 주변 장치들과의 다양한 인터페이스들을 제공할 수 있다. 예를 들어, 입출력 허브(1020)는 가속 그래픽 포트(Accelerated Graphics Port; AGP) 인터페이스, 주변 구성 요소 인터페이스 익스프레스(Peripheral Component Interface Express; PCIe), 통신 스트리밍 구조(Communications Streaming Architecture; CSA) 인터페이스 등을 제공할 수 있다.
그래픽 카드(1040)는 AGP 또는 PCIe를 통하여 입출력 허브(1020)와 연결될 수 있다. 그래픽 카드(1040)는 영상을 표시하기 위한 디스플레이를 제어할 수 있다. 그래픽 카드(1040)는 이미지 데이터 처리를 위한 내부 프로세서 등을 포함할 수 있다. 실시예에 따라, 입출력 허브(1020)는 입출력 허브(1020)의 외부에 위치한 그래픽 카드(1040)를 대신하여 내부에 그래픽 장치를 포함할 수도 있다. 이 때, 입출력 허브(1020)에 포함되는 그래픽 장치는 집적 그래픽(integrated graphics)으로 명명될 수 있다. 입출력 컨트롤러 허브(1030)는 다양한 시스템 인터페이스들이 효율적으로 동작하도록 데이터 버퍼링 및 인터페이스 중재를 수행할 수 있다. 입출력 컨트롤러 허브(1030)는 내부 버스를 통하여 입출력 허브(1020)와 연결될 수 있다. 예를 들어, 입출력 허브(1020)와 입출력 컨트롤러 허브(1030)는 다이렉트 미디어 인터페이스(Direct Media Interface; DMI), 허브 인터페이스, 엔터프라이즈 사우스브릿지 인터페이스(Enterprise Southbridge Interface; ESI), PCIe 등을 통하여 서로 연결될 수 있다. 입출력 컨트롤러 허브(1030)는 주변 장치들과의 다양한 인터페이스들을 제공할 수 있다. 예를 들어, 입출력 컨트롤러 허브(1030)는 범용 직렬 버스(Universal Serial Bus; USB) 포트, 직렬 ATA(Serial Advanced Technology Attachment; SATA) 포트, 범용 입출력(General Purpose Input/Output; GPIO), 로우 핀 카운트(Low Pin Count; LPC) 버스, 직렬 주변 인터페이스(Serial Peripheral Interface; SPI), PCI, PCIe 등을 제공할 수 있다.
모션 인식 장치(1050)는 사용자 모션을 인식할 수 있다. 이를 위하여, 모션 인식 장치(1050)는 광 강도 변화를 센싱하여 타임 스탬프 단위의 이벤트를 출력하는 센싱 픽셀들을 포함하는 센싱 픽셀 어레이, 센싱 픽셀 어레이를 제어하는 제어부, 및 타임 스탬프 단위의 이벤트에 기초하여 움직임 영역을 분석함으로써 모션 정보를 생성하는 모션 정보 생성부를 포함할 수 있다. 이 때, 센싱 픽셀 어레이와 제어부는 다이내믹 비전 센서를 구성할 수 있다. 한편, 센싱 픽셀 어레이에서, 각 센싱 픽셀은 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 제 1 방향에 수직한 제 2 방향으로 엇갈려 마주보는 제 1 변들 및 제 2 방향으로 연장되고 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함할 수 있다. 이와 같이, 다이내믹 비전 센서는 기울어진 n각형 형상을 가지고 센싱 픽셀 어레이 내에서 제 1 방향과 제 1 방향에 수직한 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치되는 센싱 픽셀들을 포함함으로써 제한된 사이즈 내에서 해상도를 효과적으로 증가시킬 수 있다. 또한, 다이내믹 비전 센서를 포함하는 모션 인식 장치(1050)는 사용자 모션을 보다 정확하게 인식할 수 있다. 다만, 이에 대해서는 상술한 바 있으므로, 그에 대한 중복되는 설명은 생략하기로 한다. 한편, 실시예에 따라, 컴퓨팅 시스템(1000)은 개인용 컴퓨터(personal computer), 서버 컴퓨터(server computer), 워크스테이션(workstation), 노트북(laptop) 등과 같은 임의의 컴퓨팅 시스템일 수 있다.
본 발명은 다이내믹 비전 센서 및 이를 포함하는 모든 전자 기기에 다양하게 적용될 수 있다. 예를 들어, 본 발명은 컴퓨터, 노트북, 디지털 카메라, 비디오 캠코더, 휴대폰, 스마트폰, 비디오폰, 스마트패드, 타블렛(tablet) PC, MP3 플레이어, 차량용 네비게이션 등에 적용될 수 있다.
이상에서는 본 발명의 예시적인 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 다이내믹 비전 센서
120: 센싱 픽셀 어레이
130: 센싱 픽셀 140: 제어부
200: 모션 정보 생성부 300: 모션 인식 장치
500: 전자 기기 600: 컴퓨팅 시스템
130: 센싱 픽셀 140: 제어부
200: 모션 정보 생성부 300: 모션 인식 장치
500: 전자 기기 600: 컴퓨팅 시스템
Claims (10)
- 광 강도 변화를 센싱하여 타임 스탬프(time-stamp) 단위의 이벤트를 출력하는 복수의 센싱 픽셀들을 포함하는 센싱 픽셀 어레이; 및
상기 센싱 픽셀 어레이를 제어하는 제어부를 포함하고,
상기 센싱 픽셀들 각각은, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 상기 제 1 방향에 수직한 제 2 방향으로 엇갈려(staggered) 마주보는 제 1 변들 및 상기 제 2 방향으로 연장되고 상기 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함하는 다이내믹 비전 센서. - 제 1 항에 있어서, 상기 이벤트는 상기 광 강도 변화가 발생한 시간 정보 및 상기 광 강도 변화가 발생한 위치 정보 중에서 적어도 하나 이상을 포함하는 다이내믹 비전 센서.
- 제 2 항에 있어서, 상기 제 1 방향의 이벤트 검출 거리는 인접 센싱 픽셀들 간의 상기 제 2 변들의 거리에 상응하고, 상기 제 2 방향의 이벤트 검출 거리는 상기 인접 센싱 픽셀들 간의 상기 제 1 변들의 거리에 상응하는 다이내믹 비전 센서.
- 제 1 항에 있어서, 상기 센싱 픽셀들은 상기 센싱 픽셀 어레이 내에서 상기 제 1 방향과 상기 제 2 방향으로 서로 엇갈려 인접하게 반복적으로 배치되는 다이내믹 비전 센서.
- 제 4 항에 있어서, 상기 센싱 픽셀들 각각에서, 상기 제 1 변들이 상기 기울어진 n각형 형상의 중심에 대해 서로 점대칭을 이루고, 상기 제 2 변들도 상기 기울어진 n각형 형상의 상기 중심에 대해 서로 점대칭을 이루는 다이내믹 비전 센서.
- 제 5 항에 있어서, 상기 센싱 픽셀들 각각의 수광 소자는 상기 기울어진 n각형 형상의 상기 중심을 포함하는 중심 영역에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 동일한 지점에 배치되는 다이내믹 비전 센서.
- 제 5 항에 있어서, 상기 센싱 픽셀들 각각의 수광 소자는 상기 기울어진 n각형 형상의 상기 중심을 포함하는 중심 영역에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 상이한 지점에 배치되는 다이내믹 비전 센서.
- 제 5 항에 있어서, 상기 센싱 픽셀들 각각의 수광 소자는 상기 제 1 변들 또는 상기 제 2 변들 근처에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 동일한 지점에 배치되는 다이내믹 비전 센서.
- 제 5 항에 있어서, 상기 센싱 픽셀들 각각의 수광 소자는 상기 제 1 변들 또는 상기 제 2 변들 근처에 배치되고, 상기 센싱 픽셀들마다 상기 기울어진 n각형 형상 내에서 상이한 지점에 배치되는 다이내믹 비전 센서.
- 광 강도 변화를 센싱하여 타임 스탬프(time-stamp) 단위의 이벤트를 출력하는 복수의 센싱 픽셀들을 포함하는 센싱 픽셀 어레이;
상기 센싱 픽셀 어레이를 제어하는 제어부; 및
상기 이벤트에 기초하여 움직임 영역을 분석함으로써 모션 정보(motion information)를 생성하는 모션 정보 생성부를 포함하고,
상기 센싱 픽셀들 각각은, 기울어진 n각형(단, n은 4이상의 짝수) 형상을 가지며, 제 1 방향으로 연장되고 상기 제 1 방향에 수직한 제 2 방향으로 엇갈려(staggered) 마주보는 제 1 변들 및 상기 제 2 방향으로 연장되고 상기 제 1 방향으로 엇갈려 마주보는 제 2 변들을 포함하는 모션 인식 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140045941A KR20150120124A (ko) | 2014-04-17 | 2014-04-17 | 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 |
| US14/583,836 US20150302710A1 (en) | 2014-04-17 | 2014-12-29 | Dynamic vision sensors and motion recognition devices including the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140045941A KR20150120124A (ko) | 2014-04-17 | 2014-04-17 | 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150120124A true KR20150120124A (ko) | 2015-10-27 |
Family
ID=54322484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140045941A KR20150120124A (ko) | 2014-04-17 | 2014-04-17 | 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20150302710A1 (ko) |
| KR (1) | KR20150120124A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180025631A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 데이터 출력 장치 |
| US10083349B2 (en) | 2016-01-22 | 2018-09-25 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| US10346506B2 (en) | 2016-08-02 | 2019-07-09 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| CN111247801A (zh) * | 2017-09-28 | 2020-06-05 | 苹果公司 | 用于事件相机数据处理的系统和方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10198660B2 (en) * | 2016-01-27 | 2019-02-05 | Samsung Electronics Co. Ltd. | Method and apparatus for event sampling of dynamic vision sensor on image formation |
| KR102013935B1 (ko) | 2017-05-25 | 2019-08-23 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 시스템 |
| KR102578417B1 (ko) | 2018-03-14 | 2023-09-14 | 소니 어드밴스드 비주얼 센싱 아게 | 직접 메모리 제어를 갖는 이벤트-기반 비전 센서 |
| US11140349B2 (en) | 2018-09-07 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel |
| KR20200055202A (ko) * | 2018-11-12 | 2020-05-21 | 삼성전자주식회사 | 제스처에 의해 트리거 되는 음성 인식 서비스를 제공하는 전자 장치 및 그 동작 방법 |
| US11694304B2 (en) * | 2019-11-26 | 2023-07-04 | Samsung Electronics Co., Ltd. | Jointly learning visual motion and confidence from local patches in event cameras |
| US11330211B2 (en) | 2019-12-02 | 2022-05-10 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions |
| CN112308087B (zh) * | 2020-11-03 | 2023-04-07 | 西安电子科技大学 | 基于动态视觉传感器的一体化成像识别方法 |
| CN112989925B (zh) * | 2021-02-02 | 2022-06-10 | 豪威芯仑传感器(上海)有限公司 | 一种识别手部滑动方向的方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4077120B2 (ja) * | 1999-07-01 | 2008-04-16 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
| US7375892B2 (en) * | 2003-10-09 | 2008-05-20 | Micron Technology, Inc. | Ellipsoidal gapless microlens array and method of fabrication |
| US7138620B2 (en) * | 2004-10-29 | 2006-11-21 | Silicon Light Machines Corporation | Two-dimensional motion sensor |
| WO2006068746A2 (en) * | 2004-11-19 | 2006-06-29 | Silicon Light Machines Corporation | Dense multi-axis array for motion sensing |
| JP4631723B2 (ja) * | 2006-01-27 | 2011-02-16 | ソニー株式会社 | 固体撮像装置 |
| KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
| JP2015109314A (ja) * | 2013-12-03 | 2015-06-11 | 株式会社東芝 | 固体撮像装置 |
-
2014
- 2014-04-17 KR KR1020140045941A patent/KR20150120124A/ko not_active Application Discontinuation
- 2014-12-29 US US14/583,836 patent/US20150302710A1/en not_active Abandoned
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10083349B2 (en) | 2016-01-22 | 2018-09-25 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| US10346506B2 (en) | 2016-08-02 | 2019-07-09 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| KR20180025631A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 데이터 출력 장치 |
| US10649544B2 (en) | 2016-09-01 | 2020-05-12 | Samsung Electronics Co., Ltd. | Data output device |
| CN111247801A (zh) * | 2017-09-28 | 2020-06-05 | 苹果公司 | 用于事件相机数据处理的系统和方法 |
| CN111247801B (zh) * | 2017-09-28 | 2022-06-14 | 苹果公司 | 用于事件相机数据处理的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150302710A1 (en) | 2015-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150120124A (ko) | 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 | |
| US9805184B2 (en) | Method of unlocking an electronic device based on motion recognitions, motion recognition unlocking system, and electronic device including the same | |
| US9135802B2 (en) | Hardware attitude detection implementation of mobile devices with MEMS motion sensors | |
| US9146624B2 (en) | Method for managing screen orientation of a portable electronic device | |
| US10914773B2 (en) | Resolution adjustment for capacitive touch sensor | |
| US20150141080A1 (en) | Object Detection and Characterization | |
| US20140306910A1 (en) | Id tracking of gesture touch geometry | |
| US11582410B2 (en) | Dynamic vision sensor and image processing device including the same | |
| JP2018523089A (ja) | 適応可能な深度検知システム | |
| TW201820077A (zh) | 移動設備及求取移動設備姿態之方法 | |
| SE536902C2 (sv) | Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt | |
| US20230217123A1 (en) | Vision sensor, image processing device including the same, and operating method of the vision sensor | |
| JP2016529577A (ja) | モバイル・デバイスのための動きをトリガとするアクション | |
| CN102289343A (zh) | 信息处理设备和信息处理设备的操作方法 | |
| US10827120B1 (en) | Optical image stabilization device and communication method thereof with enhanced serial peripheral interface communication efficiency | |
| TW202316329A (zh) | 用於實施量子碼之經校正解碼器 | |
| US20150293598A1 (en) | Method for processing information and electronic device | |
| JP6434136B2 (ja) | 電子デバイスのためのデュアル磁力計を使用する仮想ジャイロスコープ | |
| US11994934B2 (en) | Failure prediction method and device for a storage device | |
| TW201610764A (zh) | 準確定位器具之技術 | |
| US9824455B1 (en) | Detecting foreground regions in video frames | |
| US11017856B1 (en) | Soft reset for multi-level programming of memory cells in non-Von Neumann architectures | |
| CN111077999B (zh) | 一种信息处理方法、设备及系统 | |
| US20180089458A1 (en) | Data access device and apparatus comprising same | |
| US10606419B2 (en) | Touch screen control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |