KR20210132372A - 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법 - Google Patents

광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법 Download PDF

Info

Publication number
KR20210132372A
KR20210132372A KR1020200050646A KR20200050646A KR20210132372A KR 20210132372 A KR20210132372 A KR 20210132372A KR 1020200050646 A KR1020200050646 A KR 1020200050646A KR 20200050646 A KR20200050646 A KR 20200050646A KR 20210132372 A KR20210132372 A KR 20210132372A
Authority
KR
South Korea
Prior art keywords
reference image
image
object recognition
information
sensor
Prior art date
Application number
KR1020200050646A
Other languages
English (en)
Inventor
송문규
송성욱
김태의
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200050646A priority Critical patent/KR20210132372A/ko
Priority to US17/145,544 priority patent/US11551467B2/en
Priority to CN202110393573.5A priority patent/CN113642373A/zh
Publication of KR20210132372A publication Critical patent/KR20210132372A/ko

Links

Images

Classifications

    • G06K9/00026—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G06K9/0004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1394—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using acquisition arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Input (AREA)

Abstract

광학적 객체 인식을 위한 참조 영상 획득 방법에서, 디스플레이 패널에 포함되는 복수의 광원들 중 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치되는 일부 광원들을 구동한다. 일부 광원들을 구동한 상태에서, 객체 인식 센서를 이용하여 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 제1 객체에 대한 광학적 객체 인식을 위한 제1 참조 영상을 획득한다. 일부 광원들을 구동한 상태에서, 적어도 하나의 환경 센서를 이용하여 일부 광원들이 구동되고 있는 주변 환경에 대한 적어도 하나의 제1 환경 정보를 획득한다. 제1 참조 영상 및 제1 참조 영상에 대한 제1 환경 정보를 함께 저장한다.

Description

광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법{METHOD OF OBTAINING REFERENCE IMAGE FOR OPTICAL OBJECT RECOGNITION AND METHOD OF PERFORMING OPTICAL OBJECT RECOGNITION USING THE SAME}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 광학적 객체 인식을 위한 참조 영상 획득 방법 및 상기 참조 영상 획득 방법을 이용한 광학적 객체 인식 방법에 관한 것이다.
전자 장치의 개인 인증에 있어서 불변성(invariability)과 유일성(uniqueness)이 뛰어난 사용자의 생체 정보를 이용하는 것이 일반화되고 있다. 생체 정보의 이용 중에서도 지문 인식은 간단한 구현 방법 및 탁월한 식별력 때문에 다른 수단에 비해 가장 주목되고 일반화된 인증 수단이 되고 있다.
광학적 지문 인식은 손가락의 지문에 의해 반사되는 광에 기초하여 지문 이미지를 획득하는 방식이다. 지문의 융(ridge)에서의 반사광과 지문의 골(valley)에서의 반사광의 차이에 기초하여 손가락의 지문 이미지를 획득한다. 최근에는 지문 인식뿐만 아니라 다양한 객체들에 의해 반사되는 광에 기초하여 객체 이미지를 획득하는 광학적 객체 인식이 연구되고 있다.
본 발명의 일 목적은 효율적인 광학적 객체 인식을 지원하기 위한 참조 영상 획득 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 참조 영상 획득 방법을 이용한 효율적인 광학적 객체 인식 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 디스플레이 패널에 포함되는 복수의 광원들 중 상기 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치되는 일부 광원들을 구동한다. 상기 일부 광원들을 구동한 상태에서, 객체 인식 센서를 이용하여 상기 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 제1 객체에 대한 광학적 객체 인식을 위한 제1 참조 영상을 획득한다. 상기 일부 광원들을 구동한 상태에서, 적어도 하나의 환경 센서를 이용하여 상기 일부 광원들이 구동되고 있는 주변 환경에 대한 적어도 하나의 제1 환경 정보를 획득한다. 상기 제1 참조 영상 및 상기 제1 참조 영상에 대한 상기 제1 환경 정보를 함께 저장한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 광학적 객체 인식 방법에서, 디스플레이 패널에 포함되는 복수의 광원들 중 상기 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치되는 일부 광원들을 구동한다. 상기 일부 광원들을 구동한 상태에서, 객체 인식 센서 및 적어도 하나의 환경 센서를 이용하여 제1 객체를 포함하지 않는 복수의 참조 영상들 및 상기 복수의 참조 영상들에 대응하는 복수의 환경 정보들을 획득한다. 상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서 및 상기 적어도 하나의 환경 센서를 이용하여 상기 제1 객체를 포함하는 제1 영상 및 상기 제1 영상에 대응하는 현재 환경 정보를 획득한다. 상기 현재 환경 정보 및 상기 복수의 환경 정보들에 기초하여 상기 복수의 참조 영상들 중 제1 참조 영상을 선택한다. 상기 제1 영상 및 상기 제1 참조 영상에 기초하여 상기 제1 객체에 대한 제1 유효 영상을 획득한다.
상기와 같은 본 발명의 실시예들에 따른 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법에서는, 광학적 객체 인식 수행 시에 이용되는 객체 없는 영상(즉, 참조 영상)을 효과적으로 획득하며, 특히 객체 없는 영상과 객체를 포함하는 영상의 노이즈, 간섭 등의 특성이 일치하도록 객체 없는 영상과 객체를 포함하는 영상을 동일한 환경에서 획득하거나 동일한 환경에서 연속적으로 획득된 복수의 영상들 중에서 객체 없는 영상과 객체를 포함하는 영상을 선택하도록 한다. 따라서, 객체 없는 영상을 이용하여 순수한 객체에 대한 정보를 강건하게 복원할 수 있고, 효율적인 광학적 객체 인식을 지원 및 수행할 수 있다.
도 1은 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 전자 장치를 나타내는 평면도이다.
도 3은 도 2의 전자 장치가 A-A'에 의해 절단된 일 예를 나타내는 단면도이다.
도 4는 도 2의 전자 장치의 일 예를 나타내는 블록도이다.
도 5a, 5b, 5c 및 5d는 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 설명하기 위한 도면들이다.
도 6 및 7은 도 1의 광학적 객체 인식을 위한 참조 영상 획득 방법의 구체적인 예를 나타내는 순서도들이다.
도 8a, 8b, 8c, 8d, 8e, 8f 및 8g는 도 7의 디스플레이 패널 또는 전자 장치가 비사용 상태인지 확인하는 동작을 설명하기 위한 도면들이다.
도 9는 도 1의 광학적 객체 인식을 위한 참조 영상 획득 방법의 구체적인 다른 예를 나타내는 순서도이다.
도 10은 도 9의 오염된 영상인지 확인하는 단계의 일 예를 나타내는 순서도이다.
도 11a, 11b, 11c, 11d 및 12는 도 10의 오염된 영상인지 확인하는 동작을 설명하기 위한 도면들이다.
도 13은 도 9의 오염된 영상인지 확인하는 단계의 다른 예를 나타내는 순서도이다.
도 14는 도 13의 오염된 영상인지 확인하는 동작을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 나타내는 순서도이다.
도 16은 본 발명의 실시예들에 따른 광학적 객체 인식 방법을 나타내는 순서도이다.
도 17은 도 16의 제1 참조 영상을 선택하는 단계의 일 예를 나타내는 순서도이다.
도 18은 도 16의 제1 유효 영상을 획득하는 단계의 일 예를 나타내는 순서도이다.
도 19a 및 19b는 본 발명의 실시예들에 따른 광학적 객체 인식 방법을 설명하기 위한 도면들이다.
도 20은 본 발명의 실시예들에 따른 전자 장치를 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 나타내는 순서도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법은, 복수의 광원들을 포함하는 디스플레이 패널, 상기 복수의 광원들에 의해 제공되는 광을 이용하여 광학적 객체 인식을 수행하는 객체 인식 센서, 및 주변 환경에 대한 환경 정보를 획득하는 적어도 하나의 환경 센서를 포함하는 전자 장치에 의해 수행된다. 상기 전자 장치의 구체적인 구조에 대해서는 도 2 내지 4를 참조하여 후술하도록 한다.
본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 상기 디스플레이 패널에 포함되는 상기 복수의 광원들 중 일부 광원들을 구동한다(단계 S100). 상기 일부 광원들은 상기 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치된다. 실시예에 따라서, 상기 일부 광원들은 모두 동일한 계조 값을 가지도록 발광할 수도 있고 서로 다른 계조 값들을 가지도록 발광할 수도 있다.
상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서를 이용하여 상기 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 제1 객체에 대한 광학적 객체 인식을 위한 제1 참조 영상을 획득한다(단계 S200). 도 1의 실시예에서는 1장의 영상만이 참조 영상으로 획득될 수 있다. 예를 들어, 상기 일부 광원들 모두는 실질적으로 동시에 턴온될 수 있다. 상기 일부 광원들로부터 발생된 광은 상기 객체 인식 윈도우로 방출되어 상기 객체 인식 윈도우 상의 임의의 객체에 의해 반사되고, 상기 반사광은 상기 객체 인식 센서에 제공되며, 따라서 상기 객체 인식 센서는 상기 반사광에 기초하여 상기 객체 인식 윈도우 및/또는 상기 임의의 객체에 대응하는 영상을 획득할 수 있다.
일 실시예에서, 상기 제1 참조 영상은 상기 제1 객체를 포함하지 않는 영상일 수 있다. 일반적으로 디스플레이 패널 및 터치 센서 패널을 포함하는 패널은 다층의 배선, 전극 등의 패턴들을 포함하는 복잡한 내부 구조를 가지며, 객체 인식 윈도우 내의 광원들이 발광된 상태에서 임의의 객체가 객체 인식 윈도우 상에 배치되는 경우에, 객체 인식 윈도우를 통하여 수신되는 반사광은 객체에 대한 정보 및 패널의 내부 구조(예를 들어, bottom view)에 대한 정보를 포함하게 된다. 따라서, 순수한 객체에 대한 정보만을 획득하기 위해서는, 간섭 성분인 패널의 내부 구조에 대한 정보만을 먼저 획득하고, 이후에 객체에 의해 획득되는 영상 신호에서 상기 간섭 성분을 제거하기 위한 보정(compensation)을 수행하여야 한다. 상기 제1 참조 영상은 상기 간섭 성분을 나타내며, 보상(calibration) 영상 또는 데이터라고 부를 수 있다.
일 실시예에서, 상기 제1 객체는 지문을 포함하는 사용자의 손가락이며, 이 경우 상기 객체 인식 윈도우 및 상기 객체 인식 센서는 지문 인식 윈도우 및 지문 인식 센서일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 상기 제1 객체는 사용자 인증 및 보안을 위한 얼굴, 홍채 등과 같은 생체 정보를 포함하는 객체이거나 그 밖에 인식하고자 하는 다양한 객체들 중 하나일 수 있다.
상기 일부 광원들을 구동한 상태에서, 상기 적어도 하나의 환경 센서를 이용하여 상기 일부 광원들이 구동되고 있는 주변 환경에 대한 적어도 하나의 제1 환경 정보를 획득한다(단계 S300). 상기 제1 환경 정보는 상기 제1 참조 영상을 획득하는 시점에서의 상기 주변 환경에 대한 환경 정보를 나타낼 수 있다.
일 실시예에서, 상기 제1 환경 정보는 온도 정보, 습도 정보, 압력 정보, 움직임 정보, 시간 정보, 공간 정보, 조도 정보, 가속도 정보, 진동 정보, 외부 힘 정보, 충격 정보 중 적어도 하나를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 상기 제1 환경 정보는 그 밖에 다양한 환경 정보들 및/또는 디스플레이 설정 정보들 중 적어도 하나를 더 포함할 수 있다.
상기 제1 참조 영상 및 상기 제1 참조 영상에 대한 상기 제1 환경 정보를 함께 저장한다(단계 S400). 이에 따라, 도 16을 참조하여 후술하는 것처럼, 유효 영상 획득 시에 상기 제1 환경 정보를 고려하여 상기 제1 참조 영상을 선택할 수 있다.
본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서는, 객체를 포함하는 영상에서 객체 없는 영상을 감산하여 순수한 객체에 대한 정보만을 획득하는 광학적 객체 인식 수행 시에 이용되는 객체 없는 영상(즉, 참조 영상)을 효과적으로 획득하며, 특히 객체 없는 영상과 객체를 포함하는 영상의 노이즈, 간섭 등의 특성이 일치하도록 객체 없는 영상과 객체를 포함하는 영상을 동일한 환경에서 획득하도록 한다. 상술한 것처럼, 객체 없는 영상 획득 시에 환경 정보를 함께 획득하고 저장함으로써, 객체 없는 영상을 이용하여 순수한 객체에 대한 정보를 강건하게 복원할 수 있고, 효율적인 광학적 객체 인식을 지원할 수 있다.
한편, 도 1은 단계 S200이 S300보다 먼저 수행되는 것처럼 도시하였으나, 본 발명은 이에 한정되지 않으며, 단계 S200 및 S300은 실질적으로 동시에 수행되거나 단계 S300이 단계 S200보다 먼저 수행될 수도 있다.
도 2는 본 발명의 실시예들에 따른 전자 장치를 나타내는 평면도이다.
도 2를 참조하면, 전자 장치(100)는 사용자와 인터페이싱하기 위해 패널(110)을 포함할 수 있다. 사용자는 패널(110)을 통해 전자 장치(100)로부터 출력되는 정보를 볼 수 있고, 패널(110)을 통해 전자 장치(100)로 신호를 입력할 수 있다. 예를 들어, 패널(110)은 사용자에게 시각 정보를 출력하기 위한 디스플레이 패널, 사용자의 터치 입력을 감지하기 위한 터치 센서 패널 등을 포함할 수 있다.
객체 인식 윈도우(ORW)가 패널(110) 상에 제공될 수 있다. 도 3을 참조하여 후술하는 것처럼, 객체 검출에 이용되는 객체 인식 센서는 객체 인식 윈도우(ORW)의 위치에 공간적으로(spatially) 대응하도록 배치될 수 있다. 도 2 및 이후의 도면에서 객체 인식 윈도우(ORW)를 사각형으로 도시하였으나, 객체 인식 윈도우(ORW)의 형상은 실시예에 따라서 변경될 수 있다.
일 실시예에서, 전자 장치(100)는 휴대폰(mobile phone), 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), 노트북(laptop computer), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 카메라(digital camera), 캠코더(camcorder), 휴대용 게임 콘솔(portable game console), 음악 재생기(music player), 동영상 재생기(video player), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 드론(drone) 등의 임의의 모바일 시스템일 수 있다.
본 발명의 실시예들은 객체 검출에 이용되는 인터페이스를 제공할 수 있다. 지문 검출의 경우를 예시하면, 사용자가 패널(110)로 접촉(contact) 또는 근접(proximity)함에 따라, 지문 검출의 기능이 수행될 수 있다. 본 발명의 실시예들에 따르면, 객체 검출에 이용되는 인터페이스 및 센서가 전자 장치(100) 상의 면적을 패널(110)과 공유할 수 있기 때문에, 전자 장치(100) 상에서 추가 면적을 요구하지 않을 수 있다. 따라서, 전자 장치(100)의 크기가 감소하거나, 남는 면적이 다른 목적에 이용될 수 있다.
도 3은 도 2의 전자 장치가 A-A'에 의해 절단된 일 예를 나타내는 단면도이다.
도 3을 참조하면, 객체 인식 모드에서 패널(110)의 일부 영역에 객체 인식 윈도우(ORW)가 디스플레이될 수 있다. 패널(110)은 디스플레이 패널(111) 및 터치 센서 패널(115)을 포함할 수 있다.
디스플레이 패널(111)은 복수의 광원들(112)을 포함할 수 있다. 예를 들어, 도 4를 참조하여 후술하는 것처럼, 복수의 광원들(112)은 디스플레이 패널(111)에 포함되는 복수의 픽셀들에 포함될 수 있다. 복수의 광원들(112) 중 객체 인식 윈도우(ORW)에 대응하도록 배치되는 일부 광원들(113)만이 상기 객체 인식 모드에서 실질적으로 동시에 구동될 수 있다. 도 3에서는 구동되어 발광 중인 광원들(113)을 빗금 표시하였다.
객체 인식 센서(130)는 객체 인식 윈도우(ORW)와 수직 방향으로 중첩되도록 패널(110)의 하부에 배치될 수 있다. 다시 말하면, 패널(110)은 영상이 표시되는 제1 면 및 상기 제1 면에 대향하는 제2 면을 포함하고, 객체 인식 센서(130)는 패널(110)의 상기 제2 면의 하부에 배치될 수 있다.
객체 인식 센서(130)는 렌즈(132) 및 이미지 센서(134)를 포함할 수 있다. 렌즈(132)는 패널(110)의 하부에(즉, 패널(110)과 이미지 센서(134) 사이에) 배치되며, 객체 인식 윈도우(ORW)를 통하여 수신되는 상기 반사광을 집광할 수 있다. 이미지 센서(134)는 렌즈(132)의 하부에 배치되며, 렌즈(132)에 의해 집광된 상기 반사광에 기초하여 상기 일부 영역 상의 객체에 대한 영상 신호를 발생할 수 있다. 실시예에 따라서, 렌즈(132)는 생략될 수 있다.
예를 들어, 도 3에 도시된 것처럼 사용자가 객체 인식 윈도우(ORW)에 손가락(10)을 대는 지문 검출의 경우를 예시하면, 객체 인식 윈도우(ORW) 내의 광원들(113)로부터 생성된 광이 지문에 의해 반사되고 지문의 반사광이 객체 인식 센서(130)로 제공된다. 객체 인식 센서(130)는 이러한 지문의 반사광에 기초하여 상기 지문에 대한 영상 신호(즉, 지문 이미지)를 캡쳐할 수 있다.
다른 예에서, 객체 인식을 위한 참조 영상을 획득하는 경우를 예시하면, 객체 인식 윈도우(ORW) 상에 객체가 배치되지 않거나 참조 영상의 획득이 용이하도록 굴곡 없이 평평한 임의의 흰색 또는 검정색 물체가 객체 인식 윈도우(ORW) 상에 배치되고, 객체 인식 윈도우(ORW) 내의 광원들(113)로부터 생성된 광에 기초한 반사광이 객체 인식 센서(130)로 제공된다. 객체 인식 센서(130)는 이러한 반사광에 기초하여 참조 영상에 대한 영상 신호(즉, 패널(110)의 내부 구조를 나타내는 이미지)를 캡쳐할 수 있다.
도시하지는 않았으나, 객체 인식 센서(130)는 이미지 센서(134)로 제공되는 반사광의 주파수 특성 및/또는 편광 특성을 조절하기 위한 필터를 더 포함할 수 있다.
도 4는 도 2의 전자 장치의 일 예를 나타내는 블록도이다.
도 4를 참조하면, 전자 장치(100)는 패널(110) 및 객체 인식 센서(130)를 포함한다. 패널(110)은 디스플레이 패널(111) 및 터치 센서 패널(115)을 포함할 수 있다. 전자 장치(100)는 디스플레이 드라이버(120), 터치 컨트롤러(125), 프로세서(140), 메모리(150) 및 환경 센서(160)를 더 포함할 수 있다.
터치 센서 패널(115)은 객체(예를 들어, 사용자의 손가락)의 접촉 또는 근접을 감지할 수 있다. 터치 센서 패널(115)은 객체의 접촉 또는 근접에 응답하여 감지 신호를 생성할 수 있다. 터치 센서 패널(115)은 행(row)들 및 열(column)들을 따라 형성되는 복수의 감지 커패시터들(CS)을 포함할 수 있다. 각 감지 커패시터의 커패시턴스 값은 객체의 접촉 또는 근접에 응답하여 가변(vary)할 수 있다.
터치 컨트롤러(125)는 터치 센서 패널(115)의 동작을 제어할 수 있다. 터치 컨트롤러(125)는 터치 센서 패널(115)로부터 출력되는 감지 신호에 기초하여, 객체의 접촉 또는 근접에 관한 동작을 처리할 수 있다. 예를 들어, 터치 컨트롤러(125)는 복수의 감지 커패시터들(CS)의 커패시턴스 값의 가변에 기초하여, 객체의 접촉 또는 근접을 인식할 수 있다. 예를 들어, 감지 신호가 특정 어플리케이션의 실행 또는 동작과 관련되는 경우, 터치 컨트롤러(125)는 특정 어플리케이션이 실행되거나 동작하도록 프로세서(140)로 명령을 출력할 수 있다.
디스플레이 패널(111)은 사용자를 위해 시각 정보를 출력한다. 디스플레이 패널(111)은 영상을 표시하기 위해, 열들 및 행들을 따라 배열되는 복수의 픽셀들(PX)을 포함할 수 있다. 각 픽셀은 영상을 형성하는 특정 색상의 빛을 방출(emit)할 수 있다. 복수의 픽셀들(PX)이 함께 빛을 방출함에 따라, 디스플레이 패널(111)은 의도된 이미지를 표시할 수 있다.
일 실시예에서, 디스플레이 패널(111)은 전계발광 디스플레이 패널일 수 있다. 전계발광 디스플레이 패널은 전자와 정공의 재결합에 의하여 빛을 발생하는 발광 다이오드(Light Emitting Diode; LED) 또는 유기 발광 다이오드(Organic Light Emitting Diode; OLED)를 이용하여 빠른 응답 속도와 낮은 소비전력으로 구동될 수 있다. 일반적으로 백라이트 유닛으로부터 광을 공급받는 액정 디스플레이 장치와는 다르게, 전계발광 디스플레이 장치는 픽셀들(PX)이 자체 발광하며, 객체 인식 윈도우(ORW)(또는 객체 인식 윈도우(ORW'))를 통하여 수신되는 반사광이 픽셀들(PX) 사이의 공간(이격 또는 틈)을 통하여 디스플레이 패널(111) 하부의 객체 인식 센서(130)에 제공될 수 있다. 이에 따라, 픽셀들(PX)에 포함되는 발광 다이오드들 또는 유기 발광 다이오드들이 본 발명의 실시예들에 따른 디스플레이 패널에 포함되는 광원들에 대응할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 디스플레이 패널(111)은 객체 인식 윈도우(ORW')를 통하여 수신되는 반사광이 객체 인식 센서(130)에 제공될 수 있는 구조를 가지는 임의의 디스플레이 패널일 수 있다.
디스플레이 드라이버(120)는 디스플레이 패널(111)의 동작을 제어하고 디스플레이 패널(111)을 구동할 수 있다. 예를 들어, 디스플레이 드라이버(120)는 프로세서(140)의 명령에 응답하여, 의도된 이미지가 표시되도록 디스플레이 패널(111)의 각 픽셀을 적절하게 구동할 수 있다. 예를 들어, 디스플레이 드라이버(120)는 객체 인식 윈도우(ORW')에 대응하는 픽셀들이 빛을 방출하도록, 디스플레이 패널(111)을 부분적으로(partially) 구동할 수 있다. 도시하지는 않았으나, 디스플레이 드라이버(120)는 데이터 드라이버, 스캔 드라이버, 타이밍 컨트롤러, 감마 회로 등을 포함할 수 있다.
터치 센서 패널(115) 상의 각 좌표는 디스플레이 패널(111) 상의 각 좌표와 매칭될 수 있다. 예를 들어, 디스플레이 패널(111)은 특정 영역(P) 상에 인터페이스 정보를 표시할 수 있다. 사용자는 표시된 인터페이스 정보를 통해 명령을 입력하기 위해, 터치 센서 패널(115) 상의 특정 영역(Q)으로 접촉 또는 근접할 수 있다. 여기서, 특정 영역(Q)의 좌표는 특정 영역(P)의 좌표와 매칭될 수 있다. 따라서, 특정 영역(Q)으로의 접촉 또는 근접은 특정 영역(P)에 표시된 인터페이스 정보와 관련하여 처리될 수 있다.
일 실시예에서, 터치 센서 패널(115)은 디스플레이 패널(111)과 별개로 구현될 수 있다. 예를 들어, 도 4에 도시된 것처럼 터치 센서 패널(115)은 디스플레이 패널(111)의 위에 놓일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 실시예에 따라서 디스플레이 패널(111)이 터치 센서 패널(115)의 위에 놓일 수도 있고, 터치 센서 패널(115) 및 디스플레이 패널(111)은 하나의 패널로 구현될 수도 있다.
객체 인식 센서(130)는 객체 검출에 이용될 수 있다. 객체 인식 센서(130)는 객체 인식 윈도우(ORW) 상의 객체에 관한 영상 신호를 생성/출력할 수 있다. 지문 검출의 경우를 예시하면, 객체 인식 센서(130)는 객체 인식 윈도우(ORW)로 접촉 또는 근접하는 손가락의 지문과 관련되는 영상 신호를 획득하기 위해 동작할 수 있다. 도 3을 참조하여 상술한 것처럼, 객체 인식 센서(130)는 렌즈(132) 및 이미지 센서(134)를 포함할 수 있다. 실시예에 따라서, 렌즈(132)는 생략될 수 있다.
객체 인식 센서(130)는 광학적 객체 인식 동작을 수행할 수 있다. 예를 들어, 객체 인식 센서(130)에 포함되는 이미지 센서(134)는 빛에 응답하여 전류를 생성할 수 있는 포토다이오드(photodiode)를 포함할 수 있다.
도 2를 참조하여 상술한 것처럼, 객체 인식 윈도우(ORW)가 패널(110) 상에, 예를 들어 터치 센서 패널(115) 상에 제공될 수 있다. 또한, 객체 인식 윈도우(ORW')가 객체 인식 윈도우(ORW)에 대응하여 디스플레이 패널(111) 상에 제공될 수 있다. 객체 인식 센서(130)는 객체 인식 윈도우(ORW) 및 객체 인식 윈도우(ORW')의 위치에 공간적으로 대응하도록 디스플레이 패널(111)의 하부에 배치될 수 있다.
일 실시예예서, 객체 인식 윈도우(ORW)의 위치는 터치 센서 패널(115) 상의 좌표와 관련될 수 있고, 객체 인식 윈도우(ORW')의 위치는 디스플레이 패널(111) 상의 좌표와 관련될 수 있다. 또한, 객체 인식 윈도우(ORW) 및 객체 인식 윈도우(ORW') 각각의 위치 및 크기는 객체 인식 센서(130)의 배치에 의존하여 변경 또는 수정될 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(140)는 전자 장치(100)의 기능들을 제공하기 위해 다양한 산술/논리 연산을 수행/처리할 수 있다.
프로세서(140)는 디스플레이 드라이버(120), 터치 컨트롤러(125), 객체 인식 센서(130), 메모리(150) 및 환경 센서(160)와 통신하고 동작을 제어하며 동작들과 관련되는 명령, 요청, 응답 등을 처리할 수 있다. 예를 들어, 프로세서(140)는 터치 센서 패널(115)을 통해 입력되는 사용자 명령을 이해하기 위해 터치 컨트롤러(125)로부터 수신되는 명령을 처리하고, 디스플레이 패널(111) 상에 의도된 이미지를 표시하기 위해 디스플레이 드라이버(120)로 다양한 정보를 제공하고, 객체 인식 센서(130)가 객체 영상 및/또는 참조 영상에 관한 신호를 생성하도록 디스플레이 패널(111) 및 객체 인식 센서(130)의 동작 타이밍/시퀀스를 제어하고, 객체 인식 센서(130)로부터 출력된 신호에 기초하여 객체 영상 및/또는 참조 영상에 관한 정보를 생성/분석하고, 환경 센서(160)로부터 주변 환경에 관한 정보를 수신/분석하며, 관련 데이터를 메모리(150)에 저장하거나 메모리(150)로부터 로딩할 수 있다.
일 실시예에서, 프로세서(140)는 다양한 연산을 수행하기 위해 하나 이상의 전용 회로(Special-purpose Circuit)들(예를 들어, FPGA(Field Programmable Gate Array), ASICs(Application Specific Integrated Circuits) 등)을 포함할 수 있다. 예를 들어, 프로세서(140)는 다양한 연산을 수행할 수 있는 하나 이상의 프로세서 코어들을 포함할 수 있다. 예를 들어, 프로세서(140)는 범용 프로세서, 전용 프로세서 또는 어플리케이션 프로세서(Application Processor)로 구현될 수 있다.
환경 센서(160)는 전자 장치(100)가 구동되는 주변 환경에 대한 환경 정보를 수집할 수 있다. 예를 들어, 환경 센서(160)는 참조 영상 획득 시에 상기 환경 정보를 수집하거나, 비사용 상태를 확인하기 위해 상기 환경 정보를 수집하거나, 주기적 또는 간헐적으로 상기 환경 정보를 수집할 수 있다.
일 실시예에서, 환경 센서(160)는 온도 센서, 습도 센서, 압력 센서, 움직임 센서, 시간 센서, 공간 센서, 조도 센서, 가속도 센서, 진동 센서, 외부 힘(mechanical stress) 센서, 충격(shock) 센서 중 적어도 하나를 포함할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 환경 센서(160)는 방사선(radiation) 센서, 먼지(dust) 센서, 전기적 스트레스(electrical stress) 센서 등과 같이 환경 정보를 수집하는 적어도 하나의 센서를 더 포함할 수 있다.
상세하게 도시하지는 않았으나, 환경 센서(160)를 제어하기 위한 센서 제어 회로가 프로세서(140)에 포함되거나 프로세서(140)와 별개로 구현될 수 있다. 예를 들어, 상기 센서 제어 회로는 센서의 종류 및 설정을 결정하는 파라미터 조정부, 센서의 동작을 관장하는 제어부, 및 이들로부터 값을 입력받아 센서를 온/오프 시키는 트리거부를 포함할 수 있다.
메모리(150)는 전자 장치(100)의 동작과 관련된 데이터를 저장할 수 있다. 예를 들어, 메모리(150)는 본 발명의 실시예들에 따른 참조 영상 획득 방법을 수행하기 위한 참조 영상, 환경 정보 등을 저장할 수 있다.
일 실시예에서, 메모리(150)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 임의의 휘발성 메모리, 및 플래시 메모리(flash memory), PRAM(phase change random access memory), RRAM(resistance random access memory), NFGM(nano floating gate memory), PoRAM(polymer random access memory), MRAM(magnetic random access memory), FRAM(ferroelectric random access memory) 등과 같은 임의의 비휘발성 메모리 중 적어도 하나를 포함할 수 있다.
실시예에 따라서, 디스플레이 드라이버(120), 터치 컨트롤러(125), 객체 인식 센서(130), 프로세서(140), 메모리(150) 및 환경 센서(160) 각각은 별개의 회로들/모듈들/칩들로 구현될 수도 있고, 디스플레이 드라이버(120), 터치 컨트롤러(125), 객체 인식 센서(130), 프로세서(140), 메모리(150) 및 환경 센서(160) 중 몇몇은 기능에 따라 하나의 회로/모듈/칩으로 결합되거나 여러 회로/모듈/칩들로 더 분리될 수 있다.
전자 장치(100)는 도 1을 참조하여 상술한 참조 영상 획득 방법을 수행할 수 있다. 예를 들어, 디스플레이 패널(111) 및 디스플레이 드라이버(120)는 도 1의 단계 S100을 수행하고, 객체 인식 센서(130)는 도 1의 단계 S200을 수행하고, 환경 센서(160)는 도 1의 단계 S300을 수행하며, 메모리(150)는 도 1의 단계 S400을 수행할 수 있다. 또한, 전자 장치(100)는 도 15를 참조하여 후술하는 참조 영상 획득 방법 및/또는 도 16을 참조하여 후술하는 광학적 객체 인식 방법을 수행할 수 있다.
실시예에 따라서, 전자 장치(100)의 구성요소들 중 적어도 일부는 생략될 수 있다. 예를 들어, 터치 검출이 불필요한 경우에 터치 센서 패널(115) 및 터치 컨트롤러(125)는 생략될 수 있다.
도 5a, 5b, 5c 및 5d는 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 설명하기 위한 도면들이다.
이하에서는 지문 인식에 기초하여 본 발명의 실시예들을 상세하게 설명하도록 한다. 다만, 본 발명은 이에 한정되지 않으며, 다양한 객체들 중 하나를 인식하기 위해 이용될 수 있다.
도 5a는 객체 없이(즉, 사용자의 손가락 없이) 또는 참조 영상 획득을 위해 이용되는 객체에 의해 반사되는 광에 기초하여 획득된 영상을 나타낸다. 객체 인식 센서(130)에 의해 획득된 도 1의 참조 영상에 대응할 수 있으며, 디스플레이 패널의 내부 구조에 대한 정보만을 포함할 수 있다.
도 5b는 객체(즉, 지문)에 의해 반사되는 광에 기초하여 획득된 영상을 나타낸다. 마찬가지로 객체 인식 센서(130)에 의해 획득되며, 지문에 대한 정보 및 디스플레이 패널의 내부 구조에 대한 정보를 모두 포함할 수 있다.
도 5c 및 5d는 도 5a 및 5b의 영상들을 이용하여 획득되는 순수한 객체(즉, 지문) 영상을 나타낸다. 예를 들어, 지문이 없는 순수한 간섭 성분만을 포함하는 도 5a의 영상을 먼저 획득하고, 이후에 지문 및 간섭 성분을 모두 포함하는 도 5b의 영상을 획득하며, 상기 간섭 성분을 제거하기 위한 보정을 수행하여 순수한 지문 영상을 획득할 수 있다. 예를 들어, 도 5b의 영상과 도 5a의 영상 사이의 차분을 구하는 간단한 면 감산 형태로 구현될 수 있다.
도 5c에 도시된 것처럼, 간섭 성분이 완전히 제거된 순수한 지문 영상을 획득할 수 있다. 하지만 도 5d에 도시된 것처럼, 경우에 따라서 순수한 지문 영상에서 간섭 성분이 완전히 제거되지 않고 잔차(residual) 성분(RES)이 남아 있을 수 있다. 예를 들어, 온도/압력에 따라 간섭 성분이 달라질 수 있으며, 특히 도 5b의 영상 내의 간섭 성분에 변형(예를 들어, rotation, scaling, translation 등)이 발생하여, 도 5a의 영상 내의 간섭 성분과 공간적으로 불일치하는 경우에 잔차 성분(RES)이 발생할 수 있다.
따라서, 이러한 잔차 성분(RES)을 최소화하기 위하여, 도 1을 참조하여 상술한 것처럼 지문을 포함하는 영상과 동일한 환경에서 참조 영상을 획득하거나, 도 15를 참조하여 후술하는 것처럼 연속적으로 획득된 복수의 영상들 중에서 적어도 하나를 참조 영상으로 획득할 수 있다.
도 6 및 7은 도 1의 광학적 객체 인식을 위한 참조 영상 획득 방법의 구체적인 예를 나타내는 순서도들이다. 이하 도 1과 중복되는 설명은 생략한다.
도 6을 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 터치 센서 패널을 이용하여 사용자의 터치 입력을 센싱할 수 있다(단계 S500). 예를 들어, 단계 S500은 도 4의 터치 센서 패널(115) 및 터치 컨트롤러(125)에 의해 수행될 수 있다.
상기 터치 입력이 센싱된 경우에(단계 S500: 예), 단계 S100, S200, S300 및 S400을 수행하여 상기 일부 광원들을 구동하고 상기 제1 참조 영상 및 상기 제1 환경 정보를 획득 및 저장할 수 있다. 단계 S100, S200, S300 및 S400은 도 1을 참조하여 상술한 것과 실질적으로 동일할 수 있다.
한편, 상기 터치 입력이 센싱되지 않은 경우에는(단계 S500: 아니오), 상기 제1 참조 영상을 획득하지 않고 프로세스가 종료될 수 있다.
도 7을 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 상기 디스플레이 패널 또는 상기 전자 장치가 비사용(unused) 상태인지 확인할 수 있다(단계 S600). 상기 비사용 상태는 상기 디스플레이 패널 또는 상기 전자 장치가 비활성화된 상태(즉, 켜져 있지 않은 상태)를 나타내며, 유휴(idle) 상태, 파워 다운(power down) 상태 등으로 부를 수 있다.
일 실시예에서, 상기 디스플레이 패널에 포함되는 상기 복수의 광원들의 구동 여부에 기초하여 상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인지 확인할 수 있다. 예를 들어, 상기 복수의 광원들 중 기준 개수 이상의 광원들이(예를 들어, 상기 객체 인식 윈도우에 대응하도록 배치되는 상기 일부 광원들을 제외한 대부분의 광원들이) 발광하지 않고 턴 오프되어 있는 경우에, 상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인 것으로 판단할 수 있다. 이 경우, 단계 S600은 도 4의 디스플레이 패널(111) 및 프로세서(140)에 의해 수행될 수 있다.
다른 실시예에서, 상기 적어도 하나의 환경 센서를 이용하여 상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인지 확인할 수 있다. 예를 들어, 상기 적어도 하나의 환경 센서는 가속도 센서를 포함하며, 상기 가속도 센서에 의해 획득된 가속도 정보를 이용하여 상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인 것으로 판단할 수 있다. 이 경우, 단계 S600은 도 4의 환경 센서(160) 및 프로세서(140)에 의해 수행될 수 있다.
상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인 경우에(단계 S600: 예), 단계 S100, S200, S300 및 S400을 수행하여 상기 일부 광원들을 구동하고 상기 제1 참조 영상 및 상기 제1 환경 정보를 획득 및 저장할 수 있다. 일반적으로 상기 비사용 상태는 상기 전자 장치가 주머니, 가방 등에 들어있거나 야간 등과 같이 외광이 거의 없는 저조도 환경일 수 있으며, 이러한 저조도 환경에서 획득되는 참조 영상은 간섭 성분인 디스플레이 패널의 내부 구조에 대한 정보를 가장 잘 나타낼 수 있다. 단계 S100, S200, S300 및 S400은 도 1을 참조하여 상술한 것과 실질적으로 동일할 수 있다.
한편, 상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태가 아닌 경우에는(단계 S600: 아니오), 상기 제1 참조 영상을 획득하지 않고 프로세스가 종료될 수 있다.
도 8a, 8b, 8c, 8d, 8e, 8f 및 8g는 도 7의 디스플레이 패널 또는 전자 장치가 비사용 상태인지 확인하는 동작을 설명하기 위한 도면들이다. 도 8a, 8b, 8c, 8d, 8e, 8f 및 8g에서, 수평 축은 시간을 나타내고, 수직 축은 가속도 센서의 출력 값을 나타낸다.
도 8a는 3방향 가속도 센서로부터 획득된 연속 데이터를 나타낸다. 도 8b, 8c, 8d, 8e, 8f 및 8g는 도 8a의 데이터에 기초하여 전자 장치의 현재 상태를 판단한 결과를 나타내는 도면들이다. 도 8b는 정적(static) 상태, 도 8c는 전자 장치의 사용자가 앉아있는(sitting) 상태, 도 8d는 사용자가 전자 장치를 손에 들고 있는(hand) 상태, 도 8e는 전자 장치의 사용자가 걷고 있는(walking) 상태, 도 8f는 전자 장치의 사용자가 계단을 오르내리는(stairs) 상태, 도 8g는 전자 장치의 사용자가 뛰고 있는(running) 상태를 나타낸다.
도시된 것처럼, 전자 장치의 움직임에 따라 획득되는 가속도 센서의 데이터를 종합하여, 사용자가 전자 장치를 사용 중이지 않은 상태를 상기 비사용 상태로 판단하고, 상기 비사용 상태에서 사용자의 불편함 없이 참조 영상에 대한 간헐적 촬영을 진행할 수 있다. 필요한 경우 광학 기기 등의 추가적인 센서를 이용하여 상태 판단의 정확도를 향상시킬 수 있다.
도 9는 도 1의 광학적 객체 인식을 위한 참조 영상 획득 방법의 구체적인 다른 예를 나타내는 순서도이다.
도 9를 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 단계 S100, S200, S300 및 S400은 도 1을 참조하여 상술한 것과 실질적으로 동일할 수 있다.
단계 S300에서 획득된 상기 제1 참조 영상이 오염된 영상인지 확인할 수 있다(단계 S700). 예를 들어, 상기 오염된 영상은 광학적 객체 인식의 대상인 상기 제1 객체가 아닌 다른 객체(예를 들어, 상기 전자 장치가 가방에 들어있는 경우에 가방의 고유 무늬 등)를 포함하는 영상일 수도 있고, 상기 디스플레이 장치의 광원이 아닌 외부 광원의 정보를 포함하는 영상일 수도 있다.
상기 제1 참조 영상이 상기 오염된 영상이 아닌 경우에(단계 S700: 아니오), 단계 S400을 수행하여 상기 제1 참조 영상 및 상기 제1 환경 정보를 저장할 수 있다. 상기 제1 참조 영상이 상기 오염된 영상인 경우에(단계 S700: 예), 상기 제1 참조 영상을 저장하지 않고 폐기하며(단계 S750), 이 때 상기 제1 환경 정보도 함께 폐기할 수 있다. 예를 들어, 후술하는 것처럼 상기 다른 객체가 포함되어 있는 영상은 주파수 성분을 분석하여 제거하고 상기 외부 광원이 포함되어 있는 영상은 히스토그램을 분석하여 제거할 수 있다.
한편, 도 6, 7 및 9를 참조하여 상술한 실시예들 중 2개 이상을 조합하여 본 발명의 실시예들에 따른 참조 영상 획득 방법을 수행할 수도 있다.
도 10은 도 9의 오염된 영상인지 확인하는 단계의 일 예를 나타내는 순서도이다.
도 9 및 10을 참조하면, 상기 제1 참조 영상이 상기 오염된 영상인지 확인하는데 있어서(단계 S700), 상기 제1 참조 영상에 대한 공간적 신호 처리 기법(또는 공간 영역 물체 검출 기법)을 수행하여 제1 값을 획득할 수 있다(단계 S710). 예를 들어, 상기 공간적 신호 처리 기법은 픽셀 값 또는 계조 값을 직접 사용하는 방식을 나타낼 수 있다. 예를 들어, 상기 제1 값은 조도 기반의 통계적 수치(예를 들어, 분산 값(variance))일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 다양한 기법이 사용될 수 있다.
상기 제1 값 및 미리 정해진 제1 문턱 값(또는 임계 값)에 기초하여 상기 제1 참조 영상이 상기 오염된 영상인지 판단할 수 있다. 구체적으로, 상기 제1 값이 상기 제1 문턱 값보다 작거나 같은 경우에(단계 S720: 아니오), 상기 제1 참조 영상을 정상적인 참조 영상으로 판단할 수 있고(단계 S730), 상기 제1 값이 상기 제1 문턱 값보다 큰 경우에(단계 S720: 예), 상기 제1 참조 영상을 상기 오염된 영상으로 판단할 수 있다(단계 S740). 예를 들어, 상기 오염된 영상은 외부 광원의 정보를 포함하는 영상이며, 상기 외부 광원이 포함되어 있는 영상은 히스토그램을 분석하여 제거할 수 있다. 일반적으로 외부 광원에 의해 오염된 영상은 디스플레이 광원이 물체에 반사된 값에 비해 매우 높은 픽셀 값을 가지고 있게 되며, 획득한 영상의 값들을 살펴보면 히스토그램에서 특정 값 이상을 가지는 픽셀이 다수 존재하게 되므로, 임계값 이상의 픽셀 수가 발견되는 경우 외부 광원에 의해 오염된 영상이라고 판단할 수 있다.
도 11a, 11b, 11c, 11d 및 12는 도 10의 오염된 영상인지 확인하는 동작을 설명하기 위한 도면들이다.
도 11a 및 11b를 참조하면, 도 11a는 노이즈 및 간섭이 모두 포함된 참조 영상이며, 도 11b는 도 11a에 대한 차분 및 신호 처리 필터를 통과한 결과를 나타내는 영상이다. 도 11a 및 11b의 영상 모두 외부 광원이 선명하게 촬영되어 상기 외부 광원에 의해 오염된 영상임을 알 수 있다.
도 11c 및 11d를 참조하면, 도 11c는 노이즈 및 간섭이 모두 포함된 참조 영상이며, 도 11d는 도 11c에 대한 차분 및 신호 처리 필터를 통과한 결과를 나타내는 영상이다. 도 11a 및 11b와 다르게 외부 광원이 차단되어 있으며, 따라서 도 11c의 참조 영상은 노이즈 및 간섭만이 잘 나타나 있음을 알 수 있다.
도 12를 참조하면, 도 11a의 영상과 도 11c의 영상에 대해 도 10의 단계 S710을 수행한 결과를 나타낸다. 도 12의 그래프에서, 수평 축(FRAME)은 영상의 프레임 번호를 나타내고, 수직 축(SV)은 상기 제1 값(예를 들어, 조도 기반의 분산 값)을 나타낸다. 제1 프레임 영상(F1) 및 제2 프레임 영상(F2)은 각각 도 11a의 영상 및 도 11c의 영상을 나타낸다.
도 12에 도시된 것처럼, 제1 프레임 영상(F1)에 대한 공간적 신호 처리 기법을 수행하여 획득된 값(SV11)은 제1 문턱 값(TH1)보다 크며, 따라서 도 11a의 영상을 상기 오염된 영상으로 판단할 수 있다. 제2 프레임 영상(F2)에 대한 공간적 신호 처리 기법을 수행하여 획득된 값(SV12)은 제1 문턱 값(TH1)보다 작으며, 따라서 도 11c의 영상을 상기 정상적인 참조 영상으로 판단할 수 있다.
도 13은 도 9의 오염된 영상인지 확인하는 단계의 다른 예를 나타내는 순서도이다.
도 9 및 13을 참조하면, 상기 제1 참조 영상이 상기 오염된 영상인지 확인하는데 있어서(단계 S700), 상기 제1 참조 영상에 대한 주파수 신호 처리 기법(또는 주파수 변환 영역 물체 검출 기법)을 수행하여 제2 값을 획득할 수 있다(단계 S715). 예를 들어, 상기 주파수 신호 처리 기법은 웨이브렛(wavelet) 변환, 푸리에(Fourier) 변환 등과 같이 픽셀 값 또는 계조 값을 주파수 대역으로 변환하여 사용하는 방식을 나타낼 수 있다. 예를 들어, 상기 제2 값은 푸리에 변환의 결과 값일 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 다양한 기법이 사용될 수 있다.
상기 제2 값 및 미리 정해진 제2 문턱 값에 기초하여 상기 제1 참조 영상이 상기 오염된 영상인지 판단할 수 있다. 구체적으로, 상기 제2 값이 상기 제2 문턱 값보다 작거나 같은 경우에(단계 S725: 아니오), 상기 제1 참조 영상을 정상적인 참조 영상으로 판단할 수 있고(단계 S730), 상기 제2 값이 상기 제2 문턱 값보다 큰 경우에(단계 S720: 예), 상기 제1 참조 영상을 상기 오염된 영상으로 판단할 수 있다(단계 S740). 상기 제2 문턱 값은 상기 제1 문턱 값과 다를 수 있다. 예를 들어, 상기 오염된 영상은 상기 제1 객체가 아닌 다른 객체를 포함하는 영상이며, 상기 다른 객체가 포함되어 있는 영상은 주파수 성분을 분석하여 제거할 수 있다. 일반적으로 물체 공간 주파수 대역의 신호 세기가 임계값 이상일 경우 물체가 포함된 영상으로 구분되며, 이러한 영상에는 실제로 사용자의 물체가 측정되는 경우와 물체 신호 외의 유분이 물체 형태로 남아있는 부분을 포함할 수 있다.
도 14는 도 13의 오염된 영상인지 확인하는 동작을 설명하기 위한 도면이다.
도 14를 참조하면, 도 11a의 영상과 도 11c의 영상에 대해 도 13의 단계 S715를 수행한 결과를 나타낸다. 도 14의 그래프에서, 수평 축(FRAME)은 영상의 프레임 번호를 나타내고, 수직 축(FTV)은 상기 제2 값(예를 들어, 푸리에 변환의 결과 값)을 나타낸다.
도 14에 도시된 것처럼, 제1 프레임 영상(F1)에 대한 주파수 신호 처리 기법을 수행하여 획득된 값(FTV11)은 제2 문턱 값(TH2)보다 크며, 따라서 도 11a의 영상을 상기 오염된 영상으로 판단할 수 있다. 제2 프레임 영상(F2)에 대한 주파수 신호 처리 기법을 수행하여 획득된 값(FTV12)은 제2 문턱 값(TH2)보다 작으며, 따라서 도 11c의 영상을 상기 정상적인 참조 영상으로 판단할 수 있다.
한편, 도 10 및 13을 별개의 예로 설명하였으나, 본 발명은 이에 한정되지 않으며, 도 10 및 13의 예들을 조합하여 본 발명의 실시예들에 따른 참조 영상 획득 방법을 수행할 수도 있다. 예를 들어, 상기 제1 참조 영상에 대한 상기 공간적 신호 처리 기법을 수행하여 상기 제1 값을 획득하고, 상기 제1 참조 영상에 대한 상기 주파수 신호 처리 기법을 수행하여 상기 제2 값을 획득하며, 상기 제1 값, 상기 제1 문턱 값, 상기 제2 값 및 상기 제2 문턱 값 모두에 기초하여 상기 제1 참조 영상이 상기 오염된 영상인지 판단할 수 있다.
한편, 본 발명의 실시예들에 따라 참조 영상을 획득하는데 있어서, 참조 영상은 1장의 영상만을 사용하는 것이 아닌 FIR(Finite Impulse Response) 또는 IIR(Infinite Impulse Response) 형태의 신호 처리를 수행하여 업데이트할 수 있다. FIR 형태는 정해진 수의 물체가 없는 영상을 저장하고 이용하여 하나의 고성능 물체가 없는 영상을 획득할 수 있으며, IIR 형태는 새로운 물체가 없는 영상이 들어올 때마다 하나의 고성능 물체가 없는 영상을 업데이트하여 사용할 수 있다. FIR의 경우 특정 환경의 물체가 없는 영상을 취합하여 해당 특정 환경에 최적화된 영상을 획득할 수 있으며, IIR의 경우 누적된 정보를 이용하여 업데이트가 느리나 광범위하게 적용할 수 있다.
도 15는 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법을 나타내는 순서도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 15를 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서, 단계 S2100은 도 1의 단계 S100과 실질적으로 동일할 수 있다.
상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서를 이용하여 상기 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 복수의 영상들을 연속적으로 획득한다(단계 S2200). 1장의 영상을 획득하는 도 1의 실시예와 다르게, 상기 객체 인식 센서는 상기 반사광에 기초하여 상기 객체 인식 윈도우 및/또는 임의의 객체에 대응하는 여러 장의 영상들을 연속적으로 획득할 수 있다.
상기 복수의 영상들 중 적어도 하나를 제1 객체에 대한 광학적 객체 인식을 위한 제1 참조 영상으로 획득하고(단계 S2300), 상기 일부 광원들을 구동한 상태에서 상기 적어도 하나의 환경 센서를 이용하여 상기 일부 광원들이 구동되고 있는 주변 환경에 대한 적어도 하나의 제1 환경 정보를 획득하며(단계 S2400), 상기 제1 참조 영상 및 상기 제1 환경 정보를 함께 저장한다(단계 S2500). 이에 따라, 상기 복수의 영상들 중 가장 적합한 또는 최적의 참조 영상을 선택할 수 있다. 단계 S2400 및 S2500은 도 1의 단계 S300 및 S400과 실질적으로 동일할 수 있다.
일 실시예에서, 상기 제1 참조 영상은 상기 제1 객체를 포함하지 않는 영상일 수 있다. 이 때, 상기 복수의 영상들은 상기 제1 객체를 포함하는 제1 영상을 포함하며, 상기 제1 참조 영상은 연속적으로 획득된 상기 복수의 영상들 중 상기 제1 영상의 직전 또는 직후에 획득된 영상일 수 있다. 일반적으로 상기 제1 영상과 동일한 환경에서 획득된 가장 적합한 참조 영상은 상기 제1 영상이 촬영되기 직전 또는 직후에 촬영된 영상일 수 있다.
한편, 도 15의 실시예에서 도 6의 단계 S500, 도 7의 단계 S600 및 도 9의 단계 S700 중 적어도 하나가 추가될 수도 있다.
본 발명의 실시예들에 따른 광학적 객체 인식을 위한 참조 영상 획득 방법에서는, 객체를 포함하는 영상에서 객체 없는 영상을 감산하여 순수한 객체에 대한 정보만을 획득하는 광학적 객체 인식 수행 시에 이용되는 객체 없는 영상(즉, 참조 영상)을 효과적으로 획득하며, 특히 동일한 환경에서 연속적으로 획득된 복수의 영상들 중에서 객체 없는 영상과 객체를 포함하는 영상을 선택하도록 한다. 따라서, 객체 없는 영상을 이용하여 순수한 객체에 대한 정보를 강건하게 복원할 수 있고, 효율적인 광학적 객체 인식을 지원할 수 있다.
도 16은 본 발명의 실시예들에 따른 광학적 객체 인식 방법을 나타내는 순서도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 16을 참조하면, 본 발명의 실시예들에 따른 광학적 객체 인식 방법에서, 단계 S3100은 도 1의 단계 S100과 실질적으로 동일할 수 있다.
상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서 및 상기 적어도 하나의 환경 센서를 이용하여 제1 객체를 포함하지 않는 복수의 참조 영상들 및 상기 복수의 참조 영상들에 대응하는 복수의 환경 정보들을 획득한다(단계 S3200). 단계 S3200은 도 1의 단계 S200, S300 및 S400을 포함할 수 있다. 실시예에 따라서, 상기 복수의 참조 영상들은 모두 다른 환경 조건에서 획득되거나 일부는 동일한 환경 조건에서 획득될 수 있고, FIR 또는 IIR 형태의 신호 처리를 수행하여 동일한 환경 조건에서 획득된 참조 영상들을 하나로 통합 및/또는 업데이트할 수도 있다.
상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서 및 상기 적어도 하나의 환경 센서를 이용하여 상기 제1 객체를 포함하는 제1 영상 및 상기 제1 영상에 대응하는 현재 환경 정보를 획득하고(단계 S3300), 상기 현재 환경 정보 및 상기 복수의 환경 정보들에 기초하여 상기 복수의 참조 영상들 중 제1 참조 영상을 선택하며(단계 S3400), 상기 제1 영상 및 상기 제1 참조 영상에 기초하여 상기 제1 객체에 대한 제1 유효 영상을 획득한다(단계 S3500). 상기 복수의 참조 영상들 중 상기 제1 영상에 가장 적합한 하나를 상기 제1 참조 영상으로 선택하며, 이에 따라 효율적인 광학적 객체 인식을 수행할 수 있다.
도 17은 도 16의 제1 참조 영상을 선택하는 단계의 일 예를 나타내는 순서도이다.
도 16 및 17을 참조하면, 상기 제1 참조 영상을 선택하는데 있어서(단계 S3400), 상기 복수의 환경 정보들 중 상기 현재 환경 정보와 일치하는 환경 정보가 존재하는지 확인할 수 있다(단계 S3410).
상기 현재 환경 정보와 일치하는 제1 환경 정보가 존재하는 경우에(단계 S3410: 예), 상기 제1 환경 정보를 선택할 수 있다(단계 S3420). 상기 현재 환경 정보와 일치하는 환경 정보가 존재하지 않는 경우에(단계 S3410: 아니오), 상기 복수의 환경 정보들 중 상기 현재 환경 정보와 가장 가까운 제2 환경 정보를 선택할 수 있다(단계 S3430). 상기 선택된 환경 정보에 대응하는 참조 영상을 상기 제1 참조 영상으로 선택할 수 있다(단계 S3440).
한편, 복수의 참조 영상들을 포함하는 경우에 기초하여 설명하였으나, 본 발명은 이에 한정되지 않으며, 하나의 참조 영상을 포함하는 경우에도 적용될 수 있다. 이 경우 단계 S3400의 선택 동작은 생략될 수 있다.
도 18은 도 16의 제1 유효 영상을 획득하는 단계의 일 예를 나타내는 순서도이다.
도 16 및 18을 참조하면, 상기 제1 유효 영상을 획득하는데 있어서(단계 S3500), 상기 제1 영상에서 상기 제1 참조 영상을 감산하여 상기 제1 유효 영상을 획득할 수 있다(단계 S3510).
도 19a 및 19b는 본 발명의 실시예들에 따른 광학적 객체 인식 방법을 설명하기 위한 도면들이다.
도 19a 및 19b를 참조하면, 차분 및 신호 처리 필터를 통과한 결과를 나타내는 영상들이다. 도 19a는 객체 영상과 다른 환경(예를 들어, 온도 차이가 많이 나는 환경)에서 획득된 참조 영상을 이용한 결과이고, 도 19b는 본 발명의 실시예들에 따라 객체 영상과 동일한 환경에서 획득된 참조 영상을 이용한 결과이다.
도 19a에는 격자무늬의 간섭이 매우 심하게 나타나는 반면에, 도 19b에는 간섭과 노이즈가 제거되어 지문만 선명히 남아있게 된다. 이러한 영상의 정확성은 지문 인식에서 있어서 지문의 융과 골을 구분하는 영향을 미치게 된다. 도 19a의 경우 간섭과 노이즈가 지문과 상관없이 발생하여 여러 개의 선을 형성하고 있는데 이러한 선과 지문의 접점이 지문의 특성으로 오인되게 하여 지문 매칭의 성능을 현저하게 떨어뜨리고 다른 지문으로 오인될 수 있다. 이에 비하여, 도 19b의 경우 환경요건 변화에 적응된 월등한 지문 영상을 획득할 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다. 예를 들어, 상기 컴퓨터로 판독 가능한 매체는 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
도 20은 본 발명의 실시예들에 따른 전자 장치를 나타내는 블록도이다.
도 20을 참조하면, 전자 장치(1000)는 프로세서(1010), 메모리 장치(1020), 객체 인식 센서(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 디스플레이 장치(1060)를 포함할 수 있다. 전자 장치(1000)는 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 시스템들과 통신할 수 있는 여러 포트(port)들을 더 포함할 수 있다.
프로세서(1010)는 전자 장치(1000)의 전반적인 동작을 제어하고, 운영 체제, 어플리케이션 등을 실행할 수 있다. 메모리 장치(1020)는 전자 장치(1000)의 동작에 필요한 데이터들을 저장할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 터치패드, 터치스크린, 마우스, 리모트 컨트롤러 등과 같은 입력 수단, 및 스피커, 프린터 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 장치(1000)의 동작에 필요한 파워를 공급할 수 있다.
디스플레이 장치(1060)는 디스플레이 패널 및 터치 센서 패널을 포함한다. 상기 디스플레이 패널, 상기 터치 센서 패널, 객체 인식 센서(1030), 프로세서(1010) 및 메모리 장치(1020)는 각각 도 4의 디스플레이 패널(111), 터치 센서 패널(115), 객체 인식 센서(130), 프로세서(140) 및 메모리(150)에 대응하며, 본 발명의 실시예들에 따른 참조 영상 획득 방법 및 광학적 객체 인식 방법을 수행할 수 있다.
본 발명의 실시예들은 디스플레이 패널 및 객체 인식 센서를 포함하고 광학적 객체 인식 기능을 수행하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 PC(Personal Computer), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, IoE(Internet of Everything) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 드론(drone) 등과 같은 전자 시스템에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

  1. 디스플레이 패널에 포함되는 복수의 광원들 중 상기 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치되는 일부 광원들을 구동하는 단계;
    상기 일부 광원들을 구동한 상태에서, 객체 인식 센서를 이용하여 상기 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 제1 객체에 대한 광학적 객체 인식을 위한 제1 참조 영상을 획득하는 단계;
    상기 일부 광원들을 구동한 상태에서, 적어도 하나의 환경 센서를 이용하여 상기 일부 광원들이 구동되고 있는 주변 환경에 대한 적어도 하나의 제1 환경 정보를 획득하는 단계; 및
    상기 제1 참조 영상 및 상기 제1 참조 영상에 대한 상기 제1 환경 정보를 함께 저장하는 단계를 포함하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  2. 제 1 항에 있어서,
    상기 제1 참조 영상은 상기 제1 객체를 포함하지 않는 영상인 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  3. 제 1 항에 있어서,
    상기 제1 환경 정보는 온도 정보, 습도 정보, 압력 정보, 움직임 정보, 시간 정보, 공간 정보, 조도 정보, 가속도 정보, 진동 정보, 외부 힘 정보, 충격 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  4. 제 1 항에 있어서,
    터치 센서 패널을 이용하여 사용자의 터치 입력을 센싱하는 단계를 더 포함하고,
    상기 터치 입력이 센싱된 경우에, 상기 일부 광원들을 구동하고 상기 제1 참조 영상 및 상기 제1 환경 정보를 획득 및 저장하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  5. 제 1 항에 있어서,
    상기 디스플레이 패널 또는 상기 디스플레이 패널을 포함하는 전자 장치가 비사용 상태인지 확인하는 단계를 더 포함하고,
    상기 디스플레이 패널 또는 상기 전자 장치가 상기 비사용 상태인 경우에, 상기 일부 광원들을 구동하고 상기 제1 참조 영상 및 상기 제1 환경 정보를 획득 및 저장하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  6. 제 1 항에 있어서,
    상기 제1 참조 영상이 오염된 영상인지 확인하는 단계; 및
    상기 제1 참조 영상이 상기 오염된 영상인 경우에, 상기 제1 참조 영상을 저장하지 않고 폐기하는 단계를 더 포함하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  7. 제 6 항에 있어서, 상기 제1 참조 영상이 상기 오염된 영상인지 확인하는 단계는,
    상기 제1 참조 영상에 대한 공간적 신호 처리 기법을 수행하여 제1 값을 획득하는 단계; 및
    상기 제1 값 및 미리 정해진 제1 문턱 값에 기초하여 상기 제1 참조 영상이 상기 오염된 영상인지 판단하는 단계를 포함하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  8. 제 6 항에 있어서, 상기 제1 참조 영상이 상기 오염된 영상인지 확인하는 단계는,
    상기 제1 참조 영상에 대한 주파수 신호 처리 기법을 수행하여 제2 값을 획득하는 단계; 및
    상기 제2 값 및 미리 정해진 제2 문턱 값에 기초하여 상기 제1 참조 영상이 상기 오염된 영상인지 판단하는 단계를 포함하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  9. 제 1 항에 있어서,
    상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서를 이용하여 상기 객체 인식 윈도우를 통하여 수신되는 반사광에 기초하여 복수의 영상들을 연속적으로 획득하는 단계를 더 포함하고,
    상기 복수의 영상들 중 적어도 하나를 상기 제1 참조 영상으로 선택하여 획득 및 저장하는 것을 특징으로 하는 광학적 객체 인식을 위한 참조 영상 획득 방법.
  10. 디스플레이 패널에 포함되는 복수의 광원들 중 상기 디스플레이 패널의 일부 영역인 객체 인식 윈도우에 대응하도록 배치되는 일부 광원들을 구동하는 단계;
    상기 일부 광원들을 구동한 상태에서, 객체 인식 센서 및 적어도 하나의 환경 센서를 이용하여 제1 객체를 포함하지 않는 복수의 참조 영상들 및 상기 복수의 참조 영상들에 대응하는 복수의 환경 정보들을 획득하는 단계;
    상기 일부 광원들을 구동한 상태에서, 상기 객체 인식 센서 및 상기 적어도 하나의 환경 센서를 이용하여 상기 제1 객체를 포함하는 제1 영상 및 상기 제1 영상에 대응하는 현재 환경 정보를 획득하는 단계;
    상기 현재 환경 정보 및 상기 복수의 환경 정보들에 기초하여 상기 복수의 참조 영상들 중 제1 참조 영상을 선택하는 단계; 및
    상기 제1 영상 및 상기 제1 참조 영상에 기초하여 상기 제1 객체에 대한 제1 유효 영상을 획득하는 단계를 포함하는 광학적 객체 인식 방법.
KR1020200050646A 2020-04-27 2020-04-27 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법 KR20210132372A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200050646A KR20210132372A (ko) 2020-04-27 2020-04-27 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법
US17/145,544 US11551467B2 (en) 2020-04-27 2021-01-11 Method of obtaining reference image for optical object recognition and method of performing optical object recognition using the same
CN202110393573.5A CN113642373A (zh) 2020-04-27 2021-04-13 获得参考图像的方法和执行光学对象识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050646A KR20210132372A (ko) 2020-04-27 2020-04-27 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법

Publications (1)

Publication Number Publication Date
KR20210132372A true KR20210132372A (ko) 2021-11-04

Family

ID=78222494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050646A KR20210132372A (ko) 2020-04-27 2020-04-27 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법

Country Status (3)

Country Link
US (1) US11551467B2 (ko)
KR (1) KR20210132372A (ko)
CN (1) CN113642373A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019131001A1 (ja) * 2017-12-28 2019-07-04 コネクテックジャパン株式会社 画像取得装置およびそれを備える表示装置
KR102206223B1 (ko) * 2018-10-08 2021-01-22 주식회사 만도 데이터 처리 방법, 데이터 처리 장치 및 차량 제어 시스템
CN117789261A (zh) * 2024-01-18 2024-03-29 斯佰特仪(北京)科技有限公司 一种人体手掌特征图像采集装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US19749A (en) 1858-03-30 Improvement in harvesters
US8605960B2 (en) 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US9274553B2 (en) 2009-10-30 2016-03-01 Synaptics Incorporated Fingerprint sensor and integratable electronic display
US9704013B2 (en) 2014-03-21 2017-07-11 Sony Mobile Communications Inc. Electronic device with display-based fingerprint reader
CN104318205A (zh) 2014-09-29 2015-01-28 上海箩箕技术有限公司 信息检测显示装置及其检测方法和显示方法
CN107004130B (zh) 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US11010588B2 (en) 2015-06-18 2021-05-18 Shenzhen GOODIX Technology Co., Ltd. Large-sensing-area under-display optical sensor
US10437974B2 (en) 2015-06-18 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US10410037B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
CN107580709B (zh) 2015-06-18 2021-02-12 深圳市汇顶科技股份有限公司 具有光学感应能力的多功能指纹传感器
US10410033B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-LCD screen optical sensor module for on-screen fingerprint sensing
US10146981B2 (en) * 2015-09-10 2018-12-04 Qualcomm Incorporated Fingerprint enrollment and matching with orientation sensor input
US10635878B2 (en) 2015-10-23 2020-04-28 Shenzhen GOODIX Technology Co., Ltd. Optical fingerprint sensor with force sensing capability
EP3248141A4 (en) 2015-11-02 2018-01-03 Shenzhen Goodix Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing against fingerprint spoofing
US10325134B2 (en) * 2015-11-13 2019-06-18 Fingerprint Cards Ab Method and system for calibration of an optical fingerprint sensing device
US9934418B2 (en) 2015-12-03 2018-04-03 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector
EP3254235B1 (en) 2016-01-31 2023-07-12 Shenzhen Goodix Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
KR20180005588A (ko) 2016-07-06 2018-01-16 삼성전자주식회사 디스플레이 패널의 광원들을 이용한 지문 센서, 지문 센서 패키지 및 지문 센싱 시스템
US20180012069A1 (en) 2016-07-06 2018-01-11 Samsung Electronics Co., Ltd. Fingerprint sensor, fingerprint sensor package, and fingerprint sensing system using light sources of display panel
KR20180081356A (ko) * 2017-01-06 2018-07-16 삼성전자주식회사 지문 이미지의 왜곡을 처리하는 방법 및 장치
US10614283B2 (en) 2017-03-07 2020-04-07 Shenzhen GOODIX Technology Co., Ltd. Devices with peripheral task bar display zone and under-LCD screen optical sensor module for on-screen fingerprint sensing
US10614279B2 (en) 2017-06-02 2020-04-07 Samsung Electronics Co., Ltd. Apparatus and method for driving fingerprint sensing array provided in touchscreen, and driver integrated circuit for driving the touchscreen including the fingerprint sensing array
US20180348949A1 (en) 2017-06-02 2018-12-06 Samsung Electronics Co., Ltd. Touch controller for driving touch screen including fingerprint sensing array, driving integrated circuit, and method of operating touch screen device including the same
KR20180132496A (ko) 2017-06-02 2018-12-12 삼성전자주식회사 광학식 지문 센서의 동작 방법, 이를 포함하는 전자 장치의 동작 방법 및 디스플레이 장치
US20180349669A1 (en) 2017-06-02 2018-12-06 Samsung Electronics Co., Ltd. Operating method of optical fingerprint sensor, operating method of electronic device including the optical fingerprint sensor, and display device including the optical fingerprint sensor
CN107728979A (zh) * 2017-09-30 2018-02-23 联想(北京)有限公司 一种处理方法及电子设备
WO2020051801A1 (en) * 2018-09-12 2020-03-19 Fingerprint Cards Ab Reconstruction of fingerprint subimages
CN109389071A (zh) * 2018-09-29 2019-02-26 京东方科技集团股份有限公司 指纹检测方法与指纹图像补偿方法及装置、电子装置
CN110543851B (zh) * 2018-11-30 2022-10-21 神盾股份有限公司 具有指纹感测功能的电子装置以及指纹图像处理方法
US11074467B2 (en) * 2019-12-05 2021-07-27 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of transparent fake object overlays with optical sensing modules

Also Published As

Publication number Publication date
CN113642373A (zh) 2021-11-12
US20210334501A1 (en) 2021-10-28
US11551467B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
KR20210132372A (ko) 광학적 객체 인식을 위한 참조 영상 획득 방법 및 이를 이용한 광학적 객체 인식 방법
US20180349669A1 (en) Operating method of optical fingerprint sensor, operating method of electronic device including the optical fingerprint sensor, and display device including the optical fingerprint sensor
KR20210061572A (ko) 광학적 객체 인식을 위한 참조 영상 획득 방법, 이를 이용한 광학적 객체 인식 방법 및 이를 수행하는 전자 장치
US10963665B2 (en) Method of setting light sources in display panel for optical fingerprint recognition and method of performing optical fingerprint recognition using the same
KR101534588B1 (ko) 표시 촬상장치, 및 물체의 검출 방법
US20080055266A1 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
EP3686769B1 (en) Fingerprint information acquisition method and fingerprint recognition device
US9874943B2 (en) Optical navigation device with enhanced tracking speed
KR102502541B1 (ko) 생체 센서의 전극들 중에서 선택된 전극을 이용하여 생체 정보를 획득하는 전자 장치 및 제어 방법
JP2008250950A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
US11610424B2 (en) Systems and methods for registering a fingerprint based on an optical fingerprint recognition
US20220335869A1 (en) Electronic device including display and method for measuring movement distance of display
KR20200093916A (ko) 디스플레이의 배면에 조도 센서가 실장된 전자 장치 및 상기 조도 센서를 이용하여 조도를 측정하는 방법
KR102448803B1 (ko) 수중 상태에서 압력 센서를 이용하여 사용자 입력을 획득하는 전자 장치 및 상기 전자 장치를 제어하는 방법
CN112805663A (zh) 电子装置及其姿势识别方法
JP2006243927A (ja) 表示装置
US9760177B1 (en) Color maps for object tracking
CN109164917B (zh) 电子设备控制方法、存储介质及电子设备
KR20180030376A (ko) 광학 기반 지문 검출을 제공하기 위해 빛을 방출하는 디스플레이를 포함하는 전자 장치
US11347353B2 (en) Method of performing half-shutter function using optical object recognition and method of capturing image using the same
CN109492520B (zh) 显示设备及其生物特征检测方法
US11341771B2 (en) Object identification electronic device
US9704056B2 (en) Computing hierarchical computations for computer vision calculations
JP4964849B2 (ja) 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
US20220374147A1 (en) Electronic device including touch sensor ic and operation method for same

Legal Events

Date Code Title Description
A201 Request for examination