KR102090332B1 - 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법 - Google Patents

카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법 Download PDF

Info

Publication number
KR102090332B1
KR102090332B1 KR1020180044884A KR20180044884A KR102090332B1 KR 102090332 B1 KR102090332 B1 KR 102090332B1 KR 1020180044884 A KR1020180044884 A KR 1020180044884A KR 20180044884 A KR20180044884 A KR 20180044884A KR 102090332 B1 KR102090332 B1 KR 102090332B1
Authority
KR
South Korea
Prior art keywords
image
biometric
lighting environment
unit
vehicle
Prior art date
Application number
KR1020180044884A
Other languages
English (en)
Other versions
KR20190121508A (ko
Inventor
유미영
이재형
강민구
Original Assignee
옥타코 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옥타코 주식회사 filed Critical 옥타코 주식회사
Priority to KR1020180044884A priority Critical patent/KR102090332B1/ko
Publication of KR20190121508A publication Critical patent/KR20190121508A/ko
Application granted granted Critical
Publication of KR102090332B1 publication Critical patent/KR102090332B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845
    • G06K9/00228
    • G06K9/00604
    • G06K9/2027
    • G06K9/4661
    • G06T5/006
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257
    • H04N5/247

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

본 발명은 일반적으로 스마트 단말을 이용하여 외부 환경에 노출된 사람, 예컨대 차량 운전자에 대해 홍채인식, 얼굴인식, 졸음운전 검출 등과 같은 생체인식 처리을 수행하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 핀테크, 모바일 지급결제, 온라인 금융결제의 본인 인증을 하거나 졸음운전을 검출하기 위해 차량 거치형 스마트 단말을 이용하여 차량 내부에서 생체인식을 수행하는 경우에 외부 조명환경에 의해 생체인식이 영향받지 않도록 예컨대 차량 외부에 부착된 여러 카메라에서 실시간으로 얻어지는 카메라 다중영상 분석을 통해 조명환경 보상을 수행하여 생체인식의 성능을 유지하는 조명환경 보상 기반의 생체인식 처리 기술에 관한 것이다. 본 발명에 따르면 차량을 둘러싼 불균일한 외부 조명환경에도 불구하고 생체인식 성능을 일정하게 유지하는 것이 가능하여 일반 사용자들이 실내외를 가리지 않고 어디에서든지 생체인식을 통해 핀테크, 모바일 지급결제, 온라인 금융결제 등을 원활하게 수행하는 것이 가능하고 차량 내에서 활용되는 경우에 졸음운전을 안정적으로 검출하여 안전운전을 제고할 수 있는 장점이 있다.

Description

카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법 {biometric processing method using light environment compensation by multi-video analysis of multiple camera videos}
본 발명은 일반적으로 스마트 단말을 이용하여 외부 환경에 노출된 사람, 예컨대 차량 운전자에 대해 홍채인식, 얼굴인식, 졸음운전 검출 등과 같은 생체인식 처리을 수행하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 핀테크, 모바일 지급결제, 온라인 금융결제의 본인 인증을 하거나 졸음운전을 검출하기 위해 차량 거치형 스마트 단말을 이용하여 차량 내부에서 생체인식을 수행하는 경우에 외부 조명환경에 의해 생체인식이 영향받지 않도록 예컨대 차량 외부에 부착된 여러 카메라에서 실시간으로 얻어지는 카메라 다중영상 분석을 통해 조명환경 보상을 수행하여 생체인식의 성능을 유지하는 조명환경 보상 기반의 생체인식 처리 기술에 관한 것이다.
최근들어 정보통신 기술이 발전하고 스마트폰이 널리 보급되면서 모바일 지급결제서비스 시장이 빠르게 발전하고 있으며, 대표적으로는 미국의 애플페이와 안드로이드페이, 중국의 알리페이와 위쳇페이 등이 모바일 결제서비스를 제공하고 있다. 한국에서도 삼성페이 등 20개 이상의 업체가 모바일 결제서비스를 출시하였고, 모바일 모바일 결제규모는 국내는 2015년 2분기 5조 7,200억 원, 전 세계 모바일 결제규모는 2015년 현재 4,500억 달러에 이르며 조만간 인터넷 결제규모를 능가할 것으로 예측되어지고 있다.
모바일 환경에서 핀테크, 모바일 지급결제, 온라인 금융결제를 하려면 본인확인을 수행해야 한다. 종래에는 아이핀(I-PIN)이나 공인인증서와 함께 비밀번호를 조합하여 본인확인을 처리하는 것이 일반적이다. 그런데, 이러한 방식은 구조적으로 보안이 취약할 뿐만 아니라 플러그인이나 여러 앱을 추가 설치해야 하고 작은 키패드를 통해 비밀번호를 입력해야 하는 등 여러가지 불편함이 있다. 특히, 최근의 조사에 따르면 가장 많이 사용된 비밀번호가 123456이며 두번째로 많이 쓰인 비밀번호는 password일 정도로 보안에 대한 인식이 낮고, 그로 인해 76%가 패스워드를 도난당한 경험이 있을 정도로 보안이 취약하다.
이에, 본인확인 기술로서 최근에는 얼굴인식, 홍채인식, 지문인식 등과 같은 생체인식 기술이 활발하게 검토되고 있다. 현재로서는 지문인식 기술이 가장 널리 사용되고 있으나 지문인식은 접촉 방식으로만 활용 가능하기 때문에 비접촉으로 본인을 확인하는 것이 바람직한 환경에는 적용이 곤란하다. 이러한 환경에서는 홍채인식이나 얼굴인식 기술이 적합한데, 이들 기술은 조명환경에 영향을 크게 받기 때문에 실내에서만 적용 가능하고 운행중인 차량이나 외부 공간에서는 인식 정확도가 떨어져서 실제 활용하기에는 부적합하다.
한편, 교통사고의 주요 원인은 운전자 부주의 또는 졸음운전 때문인 것으로 파악되고 있다. 예를 들어, 운전 중에 주위 경치나 보행자, 다른 운전자들을 구경하거나 피로에 의한 잠깐의 졸음운전, 카스테레오 조작, SNS 메세지 확인 및 입력 등에 따른 운전자의 주의 부족을 들 수 있다.
또한, 고령화로 인해 노인 운전자의 수 또한 증가하고 있으며, 운전 중 쇼크 발생 등과 같은 건강 이상으로 인한 사고 또한 증가하고 있다. 운전자가 운전 중에 졸고 있거나 건강 상태에 이상이 발생한 경우에 이를 빠른 시간에 파악하여 경고함으로써 자동차 사고를 미연에 방지할 필요가 있다.
이에, 운전자 상태를 모니터링하는 기술에 대한 니즈가 증가하고 있다. 이러한 운전자 모니터링 기술로는 운전자에게 여러가지 센서를 부착하거나 운전자 촬영 영상을 외부 관제센터로 제공하여 관찰하도록 하거나 적외선 카메라로 운전자를 촬영하여 바이탈 상태를 모니터링하거나 카메라 영상을 통해 운전 자세를 모니터링하는 등의 방식이 제시되었다.
이중에서 운전자의 상태를 가장 확실하게 확인할 수 있는 방법은 외부 관제센터에서 관찰하는 것인데, 이는 시스템 구축 비용과 운영 비용이 지나치게 많이 소요된다는 문제점이 있어서 비현실적이다. 비용을 감안한다면 카메라를 이용하여 차량 내부에서 문제를 해결하는 쪽으로 검토하는 것이 현실적이다. 그러나, 카메라 영상을 이용하는 방식은 아직까지는 모니터링 결과에 대한 신뢰도가 낮아서 본격적으로 활용할 수 있는 수준이 되지 못하고 있다.
이에, 운행 중인 차량 등의 외부 공간에서 카메라 촬영영상을 이용하여 홍채인식, 얼굴인식, 졸음운전 검출 등과 같은 생체인식을 수행함에 있어서 조명환경과 같은 외부 요인에 의한 외란(disturbance)를 걸러내고 생체인식의 신뢰도를 높일 수 있는 생체인식 처리 기술이 요망된다.
본 발명의 목적은 일반적으로 스마트 단말을 이용하여 외부 환경에 노출된 사람, 예컨대 차량 운전자에 대해 홍채인식, 얼굴인식, 졸음운전 검출 등과 같은 생체인식 처리을 수행하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 핀테크, 모바일 지급결제, 온라인 금융결제의 본인 인증을 하거나 졸음운전을 검출하기 위해 차량 거치형 스마트 단말을 이용하여 차량 내부에서 생체인식을 수행하는 경우에 외부 조명환경에 의해 생체인식이 영향받지 않도록 예컨대 차량 외부에 부착된 여러 카메라에서 실시간으로 얻어지는 카메라 다중영상 분석을 통해 조명환경 보상을 수행하여 생체인식의 성능을 유지하는 조명환경 보상 기반의 생체인식 처리 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명에 따른 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법은, 촬영영상 수신부(110)가 주변에 상이한 방향으로 배치된 복수의 카메라(11 ~ 14)로부터 복수의 촬영영상(21 ~ 24)을 수신하는 제 1 단계; 다중영상 생성부(120)가 그 수신된 복수의 촬영영상(21 ~ 24)에 대하여 각자 카메라 배치 방향에 대응하는 위치에 해당 촬영영상을 배치하여 단일의 다중영상(25)을 생성하는 제 2 단계; 이미지 스캐닝 분석부(130)가 다중영상(25)을 이미지 스캐닝 분석하여 다중영상에 대한 영상 속성의 배치 분포를 획득함으로써 조명환경의 불균일성을 식별하는 제 3 단계; 생체 이미지 획득부(140)가 생체인식 대상자에 대한 생체 이미지를 획득하는 제 4 단계; 생체 이미지 보정부(150)가 그 식별된 조명환경의 불균일성을 보상하도록 생체 이미지를 보정하는 제 5 단계; 생체인식 처리부(160)가 그 보정된 생체 이미지로부터 생체인식 처리를 수행하는 단계;를 포함하여 구성된다.
본 발명에서 생체인식은 얼굴인식, 홍체인식, 졸음운전 검출 중 하나 이상을 포함하여 구성될 수 있다.
또한, 본 발명에서 제 3 단계는, 조도 방향성 분석부(131)가 화이트/블랙의 그레이 레벨에 기초하여 조도 방향성을 분석하는 단계; 광량 방향성 분석부(132)가 화이트/블랙의 블러링에 기초하여 광량 방향성을 분석하는 단계;를 포함하여 구성될 수 있다.
또한, 본 발명에서 제 5 단계는, 손상 이미지 제거부(151)가 그 식별된 조명환경의 불균일성에서 미리 설정된 임계범위를 벗어나는 불균일성을 갖는 방향에 대응하는 이미지 부분을 생체 이미지로부터 제거하는 단계; 조도 방향성 보상부(152)가 조도 방향성에 역으로 대응하여 생체 이미지를 보상하는 단계; 광량 방향성 보상부(153)가 광량 방향성에 역으로 대응하여 생체 이미지를 보상하는 단계;를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명에 따르면 차량을 둘러싼 불균일한 외부 조명환경에도 불구하고 생체인식 성능을 일정하게 유지하는 것이 가능하여 일반 사용자들이 실내외를 가리지 않고 어디에서든지 생체인식을 통해 핀테크, 모바일 지급결제, 온라인 금융결제 등을 원활하게 수행하는 것이 가능하고 차량 내에서 활용되는 경우에 졸음운전을 안정적으로 검출하여 안전운전을 제고할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 생체인식 처리 시스템을 자동차 분야에 적용한 예를 개념적으로 나타내는 도면.
[도 2]는 본 발명에 따른 스마트 단말을 홍체인식 동글을 이용하여 구현하는 예를 나타내는 도면.
[도 3]은 본 발명에서 생체인식 에이전트부의 내부 기능적 구성을 나타내는 블록도.
[도 4]는 본 발명에서 카메라 다중영상의 일 예를 나타내는 도면.
[도 5]는 본 발명에 따른 생체인식 처리 방법의 전체 프로세스를 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 생체인식 처리 시스템을 자동차 분야에 적용한 예를 개념적으로 나타내는 도면이다.
본 발명에 따른 생체인식 처리 시스템은 주변의 조명환경에 의한 영향을 억제함으로써 얼굴인식, 홍체인식, 졸음운전 검출 등과 같은 생체인식의 성능을 높일 수 있도록 구성된 것이다. 구체적으로는 생체인식 처리를 수행하는 장치 주변으로 방향을 서로 달리하여 여러 대의 카메라를 설치하고 이들로부터 획득된 영상에 대한 다중영상 분석을 통해 외부의 조명환경을 식별하고, 그 외부 조명환경에 따른 영향을 보상하면서 생체인식 처리를 수행한다.
홍채인식을 예로 들어 설명하면, 사람의 안구에 형성되어 있는 홍채패턴(iris pattern) 그 자체는 항상 일정하지만 주변 환경, 특히 조명환경에 따라 동공의 크기가 많이 변하는 경우에는 동일한 홍채라 할지라도 이로부터 얻어진 홍채데이터(iris code)가 서로 상이하게 얻어진다. 인간의 홍채가 항상 움직이기 때문에 홍채와 동공의 중심을 산출하는데 어려움이 있으며, 홍채를 추출하는 각도에 따라 데이터가 서로 다를 수 있다. 이러한 홍채의 특성을 감안하여 어떠한 조명환경에서도 홍채인식을 안정적으로 처리할 수 있는 기술을 제시한다.
얼굴인식이나 졸음운전 검출 등의 경우에도 카메라로 촬영한 영상에서 얼굴의 특징이나 운전자의 동공 움직임 등을 살펴보는데 주변 조명환경에 따라서 촬영 영상에 큰 변화가 발생할 수 있기 때문에 그로 인한 영향을 최대한 제거하고 안정적으로 얼굴인식과 졸음운전 검출을 하려는 것이다.
[도 1]은 본 발명에 따른 생체인식 처리 시스템을 자동차 분야에 적용한 예를 개념적으로 나타내는 도면이다.
차량(10)의 전후좌우로 4대의 카메라(11 ~ 14)를 설치하고 이로부터 4방향의 촬영영상(21 ~ 24)이 얻어진다. 이들 4방향 촬영영상(21 ~ 24)을 차량 내에 거치되어 있는 스마트 단말(101)로 제공한다. 스마트 단말(101)에 설치되어 있는 생체인식 에이전트부(100)가 이들 촬영영상(21 ~ 24)에 대한 다중영상 분석을 통해 조명환경을 식별하고 이를 반영하여 생체인식 처리를 수행한다.
본 발명에서는 일반적인 조명환경, 예컨대 얼마나 밝은지 어두운지에 관한 내용이 아니라 조명환경의 불균일성을 식별하고 이를 생체인식 처리에 반영한다. 사용자가 외부에 노출되어 있는 경우에는 밝고 어두운 지점이 나뉘어져 있고 태양광이 비치는 방향에 따라 밝게 빛나는 면과 그늘진 면이 존재한다. 이러한 것들은 모두 생체인식 카메라나 이미지 센서의 반영되어 생체인식 결과에 영향을 미치게 되는데 본 발명은 이를 극복하려는 것이다.
[도 2]는 본 발명에 따른 스마트 단말(101)을 스마트폰(102)과 홍체인식 동글(103)을 이용하여 구현한 예를 나타내는 도면이다.
[도 1]에서 나타낸 바와 같이 스마트 단말(101)은 카메라 촬영영상의 분석 기능과 생체인식 처리 기능을 모두 갖추어야 하는데, 이를 위해서는 특수하게 제작된 고성능 디바이스가 요구된다.
하지만, [도 2]에서와 같이 생체인식 기능을 전용 동글 디바이스, 예컨대 핀테크 및 금융결제용 홍채인증 동글(103)로 구현하고 디지털 인터페이스(예: USB)를 통해 이 홍채인식 동글(103)을 스마트폰(102)에 연결하는 경우에는 스마트 단말(101)을 상대적으로 저렴하게 구현할 수 있다. 이때, 생체인식 에이전트부(100)는 스마트폰(102)에 안드로이드 앱(Android Appp)의 형태로 다운로드 설치될 수도 있고 홍채인식 동글(103)에 펌웨어 형태로 미리 설치될 수도 있다.
[도 2]를 참조하면 홍채인식 동글(103)은 생체인식 대상자의 홍채 이미지를 얻기 위한 생체인식 카메라(104, 105)와 적외선 LED(106)를 구비할 수 있다. 이때, 생체인식 카메라(104, 105)는 고해상도(예: 2592 x 1944)의 적외선 카메라(예: 피크 850 ㎛ 대역)로 구성될 수 있는데, 적외선 LED(106)는 생체인식 카메라(104, 105)를 위해 생체인식 대상자에게 적외선을 조사한다.
[도 3]은 본 발명에서 생체인식 에이전트부(100)의 내부 기능적 구성을 나타내는 블록도이다. 본 발명에서 생체인식 에이전트부(100)는 스마트 단말(101)에 예컨대 전용 프로그램으로 설치되거나 응용 앱으로 다운로드된다. [도 3]을 참조하면 생체인식 에이전트부(100)는 촬영영상 수신부(110), 다중영상 생성부(120), 이미지 스캐닝 분석부(130), 생체 이미지 획득부(140), 생체 이미지 보정부(150), 생체인식 처리부(160)를 포함하여 구성된다.
이하에서는, 생체인식 에이전트부(100)를 구성하는 각 기능적 구성요소에 대해서 구체적으로 살펴본다.
먼저, 촬영영상 수신부(110)는 생체인식을 처리하는 장치, 즉 스마트 단말(101)의 주변에 상이한 방향으로 배치된 복수의 카메라(11 ~ 14)로부터 복수의 촬영영상(21 ~ 24)을 수신한다. [도 1]에서는 차량(10)의 전후좌우에 설치된 4대의 카메라(11 ~ 14)로부터 4방향 촬영영상(21 ~ 24)을 수신하였다.
다중영상 생성부(120)는 촬영영상 수신부(110)에서 수신된 복수의 촬영영상(21 ~ 24)에 대하여 각자 카메라 배치 방향에 대응하는 위치에 해당 촬영영상을 배치하여 단일의 다중영상(25)을 생성한다. [도 4]는 다중영상 생성부(120)가 생성한 카메라 다중영상의 일 예를 나타내는 도면이다. [도 4]를 참조하면, 4방향 촬영영상(21 ~ 24)을 적절히 스케일 다운한 후에 4방향 카메라(11 ~ 14)의 각자 배치 방향에 맞게 4방향 촬영영상(21 ~ 24)을 배치하고 단일 영상으로 합성함으로써 다중영상(25)을 생성하였다.
이미지 스캐닝 분석부(130)는 다중영상 생성부(120)에서 생성된 다중영상(25)을 가로 및 세로 스캐닝하면서 이미지 분석함으로써 영상 속성(image attributes), 예컨대 명도나 블러링 정도가 다중영상(25) 내에서 어떻게 배치되어 있는지 분포에 관한 정보를 획득한다.
다중영상(25)을 생성함에 있어서 다중영상 생성부(120)는 4방향 카메라(11 ~ 14)의 배치 방향에 따라 4방향 촬영영상(21 ~ 24)을 배치하였으며 다중영상(25) 내에서의 영상 속성의 배치 분포는 스마트 단말(101)이 놓여진 현실 공간에서의 외부 조명환경에 대응된다. 따라서, 이미지 스캐닝 분석부(130)가 다중영상(25)으로부터 획득한 영상 속성의 배치 분포로부터 스마트 단말(101)이 놓여진 현실 공간에서의 조명환경의 불균일성을 식별할 수 있다.
[도 3]을 참조하면, 이미지 스캐닝 분석부(130)는 조도 방향성 분석부(131)와 광량 방향성 분석부(132)를 구비한다.
먼저, 조도 방향성 분석부(131)는 다중영상(25)를 구성하는 각각의 프레임 이미지를 가로 및 세로 스캐닝하면서 화이트/블랙의 그레이 레벨(gray-level)을 분석함으로써 전후좌우에서 밝음과 어두움의 분포를 식별한다. 이를 통해 조도 방향성 분석부(131)는 스마트 단말(101)이 놓여진 현실 공간에서 어느 쪽이 더 밝고 어느 쪽이 더 어두운지에 관한 정보, 즉 조도(intensity of illumination)의 방향성 정보를 획득하게 된다.
광량 방향성 분석부(132)는 다중영상(25)를 구성하는 각각의 프레임 이미지를 가로 및 세로 스캐닝하면서 화이트/블랙의 블러링(blurring) 정도를 분석함으로써 전후좌우에서 강한 빛이 있는 방향, 주로 태양광이 비추는 방향을 식별한다. 일반적으로 카메라로 촬영을 할 때에 매우 강한 빛이 내리비추면 다수의 감응 셀(예: CCD 센서)이 세추레이션(saturation)되면서 해당 영상 부분이 블러링되는 현상이 발생하는데, 이 현상을 이용하려는 것이다. 광량 방향성 분석부(132)는 다중영상(25)에서 화이트/블랙의 블러링이 발생하는 방향을 탐색하며 이를 통해 스마트 단말(101)이 놓여진 현실 공간에서 강한 빛이 비추어지는 방향에 관한 정보, 즉 광량의 방향성 정보를 획득하게 된다.
생체 이미지 획득부(140)는 생체인식 카메라(104, 105)를 통해 생체인식 대상자에 대한 생체 이미지를 획득한다. 생체 이미지 획득부(140)의 구체적인 구현 기술은 생체인식의 종류에 따라 결정되는데, 본 발명은 생체인식 그 자체에 관한 것은 아니므로 이에 관한 구체적인 설명은 생략한다.
생체 이미지 보정부(150)는 이미지 스캐닝 분석부(130)가 식별한 조명환경의 불균일성을 보상하도록 생체 이미지 획득부(140)가 획득한 생체 이미지를 보정 이미지 처리한다. 스마트 단말(101)이 차량(10)에 의해 어느 정도 보호된 공간 안에 있다고 하더라도 생체 이미지 획득부(140)가 획득한 생체 이미지에는 아무래도 조명환경의 불균일성이 반영되어 있을 것이고, 이로 인해 생체인식 성능이 저하될 우려가 있다. 이에, 생체 이미지 보정부(150)는 조명환경의 불균일성을 보상하는 방향으로 생체 이미지를 보정해주는 것이다.
[도 3]을 참조하면, 생체 이미지 보정부(150)는 손상 이미지 제거부(151), 조도 방향성 보상부(152), 광량 방향성 보상부(153), 조명 레벨 보상부(154)를 포함하여 구성된다.
먼저, 손상 이미지 제거부(151)는 미리 설정된 임계범위를 벗어나는 불균일성을 갖는 방향에 대응하는 생체 이미지 부분을 제거한다. 조도가 너무 낮거나 혹은 반대로 너무 높은 방향, 그리고 블러링이 너무 심한 방향에서는 제대로된 생체 이미지를 기대할 수 없다. 이러한 방향으로는 생체 이미지에 정상적인 정보가 거의 남아있지 않기에 어떠한 방식으로든 이미지 처리를 하더라도 생체인식 오류를 유발할 가능성이 크기 때문에 아예 제거한다.
조도 방향성 보상부(152)는 조도의 방향성에 역으로 대응하도록 생체 이미지를 보상 이미지 처리한다. 예를 들어, 조도의 방향성에 역방향으로 생체 이미지의 각 픽셀 혹은 픽셀블록에 대해 명도를 조정한다.
광량 방향성 보상부(153)는 광량의 방향성에 역으로 대응하도록 생체 이미지를 보상 이미지 처리한다. 일반적으로는 태양광의 직접 조사에 의해 카메라 또는 이미지 센서에서 세추레이션 현상이 발생하는 경우 혹은 반대로 눈썹 등의 그림자로 인해 부분적으로 검어진 경우에 해당하므로 그 정도에 따라 픽셀블록을 제거하거나 노이즈 제거 처리하거나 가상으로 윤곽선을 그려주거나 혹은 다른 영역에서 복사해오는 등의 이미지 처리를 수행한다.
조명 레벨 보상부(154)는 전체적인 조도 레벨에 대응하도록 생체 이미지를 보상 이미지 처리한다. 일반적으로는 전체적인 밝기 정도를 고려하여 생체 이미지를 전반적으로 밝게 만들거나 어둡게 만든다. 또한, 외부 조도와 내부 조도의 차이에 비추어 스마트 단말(101)과 생체인식 대상자와의 거리에 따른 조도 변화의 경향을 짐작하여 생체 이미지를 추가 처리할 수 있다. 이때, 조도 레벨은 스마트 단말(101)에 내장된 조도 센서(미도시)를 활용하여 획득할 수 있다.
생체인식 처리부(160)는 생체 이미지 보정부(150)가 조명환경의 불균일성을 보상하도록 전술한 바와 같이 보정 이미지 처리한 이후의 생체 이미지에 의하여 생체인식 처리를 수행한다. 생체인식 처리부(160)의 구체적인 구현 기술은 생체인식의 종류에 따라 결정되는데, 본 발명은 생체인식 그 자체에 관한 것은 아니므로 이에 관한 구체적인 설명은 생략한다.
[도 5]는 본 발명에서 생체인식 에이전트부(100)가 수행하는 생체인식 처리 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S100) : 먼저, 촬영영상 수신부(110)가 스마트 단말(101)의 주변에 상이한 방향을 촬영하도록 배치되어 있는 복수의 카메라(11 ~ 14)로부터 복수의 촬영영상(21 ~ 24)을 수신한다.
단계 (S110) : 다중영상 생성부(120)는 그 수신된 복수의 촬영영상(21 ~ 24)에 대하여 각자 카메라 배치 방향에 대응하는 위치에 해당 촬영영상을 배치하여 [도 4]와 같은 단일의 다중영상(25)을 생성한다.
단계 (S120) : 이미지 스캐닝 분석부(130)가 다중영상(25)을 가로 및 세로 스캐닝하면서 이미지 분석함으로써 영상 속성의 배치 분포를 획득함으로써 조명환경의 불균일성을 식별한다. 이는 스마트 단말(101)을 둘러싼 주변의 조명환경이 얼마나 그리고 어떻게 불균일한지를 나타내는 정보이다.
본 발명에서 이미지 스캐닝 분석부(130)는 화이트/블랙의 그레이 레벨을 분석함으로써 전후좌우에서 밝음과 어두움의 분포, 즉 조도의 방향성을 획득한다. 또한, 화이트/블랙의 블러링 정도를 분석함으로써 전후좌우에서 강한 빛이 있는 방향, 즉 광량의 방향성을 획득한다. 앞서 단계 (S110)에서 카메라(11 ~ 14)의 배치 방향에 따라 복수의 촬영영상(21 ~ 24)을 배치하였으므로 다중영상(25)으로부터 획득한 조도의 방향성 및 광량의 방향성은 스마트 단말(101)이 놓여진 현실 공간에서의 조명환경의 불균일성에 대응하는 정보이다.
단계 (S130) : 생체 이미지 획득부(140)는 생체인식 카메라(104, 105)를 통해 생체인식 대상자에 대한 생체 이미지를 획득한다.
단계 (S140) : 생체 이미지 보정부(150)는 이미지 스캐닝 분석부(130)가 식별한 조명환경의 불균일성을 보상하도록 생체 이미지 획득부(140)가 획득한 생체 이미지를 보정 이미지 처리한다. 생체 이미지 획득부(140)가 획득한 생체 이미지는 조명환경의 불균일성이 반영되어 있을 것이고, 이로 인해 생체인식 성능이 저하될 우려가 있기 때문에, 생체 이미지 보정부(150)는 조명환경의 불균일성을 보상하는 방향으로 생체 이미지를 보정해준다.
본 발명에서 생체 이미지 보정부(150)는 미리 설정된 임계범위를 벗어나는 불균일성을 갖는 방향에 대응하는 생체 이미지 부분을 제거한다. 조도가 너무 낮거나 혹은 반대로 너무 높은 방향, 그리고 블러링이 너무 심한 방향에서는 제대로된 생체 이미지를 기대할 수 없기에 아예 제거하는 것이다.
또한, 생체 이미지 보정부(150)는 조도의 방향성에 역으로 대응하도록 생체 이미지를 보상 이미지 처리한다. 예를 들어, 조도의 방향성에 역방향으로 생체 이미지의 각 픽셀 혹은 픽셀블록에 대해 명도를 조정한다.
또한, 생체 이미지 보정부(150)는 광량의 방향성에 역으로 대응하도록 생체 이미지를 보상 이미지 처리한다. 일반적으로는 태양광의 직접 조사에 의해 카메라 또는 이미지 센서에서 세추레이션 현상이 발생하는 경우 혹은 반대로 눈썹 등의 그림자로 인해 부분적으로 검어진 경우에 해당하므로 그 정도에 따라 픽셀블록을 제거하거나 노이즈 제거 처리하거나 가상으로 윤곽선을 그려주거나 혹은 다른 영역에서 복사해오는 등의 이미지 처리를 수행한다.
또한, 생체 이미지 보정부(150)는 전체적인 조도 레벨에 대응하도록 생체 이미지를 보상 이미지 처리한다. 일반적으로는 전체적인 밝기 정도를 고려하여 생체 이미지를 전반적으로 밝게 만들거나 어둡게 만든다. 외부 조도와 내부 조도의 차이에 비추어 스마트 단말(101)과 생체인식 대상자와의 거리에 따른 조도 변화의 경향을 짐작하여 생체 이미지를 추가 처리할 수 있다.
단계 (S150) : 마지막으로, 생체인식 처리부(160)는 생체 이미지 보정부(150)가 조명환경의 불균일성을 보상하도록 보정 이미지 처리한 이후의 생체 이미지에 의하여 생체인식 처리를 수행한다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
10 : 차량
11, 12, 13, 14 : 4방향 카메라
21, 22, 23, 24 : 4방향 촬영영상
25 : 다중영상
101 : 스마트 단말
102 : 스마트폰
103 : 홍채인식 동글
104, 105 : 생체인식 카메라
106 : 적외선 LED
100 : 생체인식 에이전트부
110 : 촬영영상 수신부
120 : 다중영상 생성부
130 : 이미지 스캐닝 분석부
131 : 조도 방향성 분석부
132 : 광량 방향성 분석부
140 : 생체 이미지 획득부
150 : 생체 이미지 보정부
151 : 손상 이미지 제거부
152 : 조도 방향성 보상부
153 : 광량 방향성 보상부
154 : 조명 레벨 보상부
160 : 생체인식 처리부

Claims (6)

  1. 특정 구조물 내의 사용자에 대하여 외부 조명환경의 영향을 제거하면서 생체 인식을 처리하는 방법으로서,
    촬영영상 수신부(110)가 상기 구조물 외부의 서로 상이한 방향을 바라보도록 설치되어 있는 복수의 카메라(11 ~ 14)로부터 복수 방향에 대한 촬영영상(21 ~ 24)을 실시간으로 수신하는 제 1 단계;
    다중영상 생성부(120)가 상기 수신된 복수 방향의 촬영영상(21 ~ 24)에 대하여 각자 카메라 설치 방향에 대응하는 위치에 해당 촬영영상(21 ~ 24)을 배치하여 단일의 다중영상(25)을 생성하는 제 2 단계;
    이미지 스캐닝 분석부(130)가 상기 생성된 다중영상(25)을 구성하는 각각의 프레임 이미지를 가로 및 세로 스캐닝하면서 이미지 분석하여 명도 및 블러링 정도를 포함하는 영상 속성이 상기 다중영상(25) 내에서 어떻게 배치되어 있는지에 관한 배치 분포를 획득하는 제 3A 단계;
    상기 이미지 스캐닝 분석부(130)가 상기 다중영상(25)에서 상기 획득된 영상 속성의 배치 분포에 기초하여 상기 구조물 내의 사용자가 놓여진 현실 공간에서 외부 조명환경의 불균일성을 식별하는 제 3B 단계;
    생체 이미지 획득부(140)가 생체인식 대상자에 대한 생체 이미지를 획득하는 제 4 단계;
    생체 이미지 보정부(150)가 상기 식별된 조명환경의 불균일성을 보상하도록 상기 생체 이미지를 보정하는 제 5 단계;
    생체인식 처리부(160)가 상기 보정된 생체 이미지로부터 생체인식 처리를 수행하는 단계;
    를 포함하여 구성되고,
    상기 제 3A 단계는,
    상기 이미지 스캐닝 분석부(130)가 상기 생성된 다중영상(25)을 구성하는 각각의 프레임 이미지를 가로 및 세로 스캐닝하면서 상기 다중영상(25) 내에서 블러링(blurring) 정도를 분석하는 단계;
    를 포함하여 구성되고,
    상기 제 3B 단계는,
    상기 이미지 스캐닝 분석부(130)가 상기 다중영상(25)에서 상기 블러링이 발생하는 방향을 탐색함으로써 상기 구조물 내의 사용자가 놓여진 현실 공간에서 강한 빛이 비추어지는 방향에 관한 정보인 광량 방향성을 식별하는 단계;
    를 포함하여 구성되고,
    상기 제 5 단계는,
    상기 생체 이미지 보정부(150)가 상기 생체 이미지에 대해 상기 광량 방향성에 역으로 대응하여 노이즈 제거 처리, 가상 윤곽선 드로잉, 다른 영역으로부터의 복사 중 하나 이상을 수행하여 보상 처리하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법.
  2. 청구항 1에 있어서,
    상기 제 3A 단계는,
    상기 이미지 스캐닝 분석부(130)가 상기 생성된 다중영상(25)을 구성하는 각각의 프레임 이미지를 가로 및 세로 스캐닝하면서 상기 다중영상(25) 내에서 그레이 레벨(gray-level)을 분석하는 단계;
    를 포함하여 구성되고,
    상기 제 3B 단계는,
    상기 이미지 스캐닝 분석부(130)가 상기 다중영상(25)에서 밝음과 어두움의 분포를 식별함으로써 상기 구조물 내의 사용자가 놓여진 현실 공간에서 어느 쪽이 더 밝고 어느 쪽이 더 어두운지에 관한 정보인 조도 방향성을 식별하는 단계;
    를 더 포함하여 구성되고,
    상기 제 5 단계는,
    상기 생체 이미지 보정부(150)가 상기 조도 방향성에 역으로 대응하여 상기 생체 이미지의 각 픽셀 혹은 픽셀블록에 대해 명도를 조정하여 보상 처리하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법.
  3. 삭제
  4. 청구항 2에 있어서,
    상기 제 5 단계는,
    상기 생체 이미지 보정부(150)가 상기 식별된 조명환경의 불균일성에서 미리 설정된 임계범위를 벗어나는 불균일성을 갖는 방향에 대응하는 이미지 부분을 상기 생체 이미지로부터 제거하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법.
  5. 청구항 4에 있어서,
    상기 생체인식은 얼굴인식, 홍체인식, 졸음운전 검출 중 하나 이상을 포함하여 구성되는 것을 특징으로 하는 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법.
  6. 하드웨어와 결합되어 청구항 1, 2, 4 및 5 중 어느 하나의 항에 따른 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
KR1020180044884A 2018-04-18 2018-04-18 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법 KR102090332B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180044884A KR102090332B1 (ko) 2018-04-18 2018-04-18 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044884A KR102090332B1 (ko) 2018-04-18 2018-04-18 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법

Publications (2)

Publication Number Publication Date
KR20190121508A KR20190121508A (ko) 2019-10-28
KR102090332B1 true KR102090332B1 (ko) 2020-04-23

Family

ID=68421871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044884A KR102090332B1 (ko) 2018-04-18 2018-04-18 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법

Country Status (1)

Country Link
KR (1) KR102090332B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056859A (ja) * 1999-08-19 2001-02-27 Toshiba Corp 顔画像認識装置および通行制御装置
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム
KR101488647B1 (ko) 2014-10-30 2015-02-04 권오형 모바일 단말의 가상 조명 동작방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3107628B2 (ja) * 1992-01-23 2000-11-13 トヨタ自動車株式会社 光学式形状認識装置
JP6442209B2 (ja) * 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056859A (ja) * 1999-08-19 2001-02-27 Toshiba Corp 顔画像認識装置および通行制御装置
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム
KR101488647B1 (ko) 2014-10-30 2015-02-04 권오형 모바일 단말의 가상 조명 동작방법 및 장치

Also Published As

Publication number Publication date
KR20190121508A (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
JP6257840B2 (ja) ライブ性分析のためのシステムおよび方法
US9152850B2 (en) Authentication apparatus, authentication method, and program
EP2784723B1 (en) Method, system and computer program for comparing images
US20180012094A1 (en) Spoofing attack detection during live image capture
CN113892254A (zh) 显示器下方的图像传感器
US20110150303A1 (en) Standoff and mobile fingerprint collection
KR20180014624A (ko) 홍채 인증 시스템 및 방법
US10891479B2 (en) Image processing method and system for iris recognition
CN111225157B (zh) 追焦方法及相关设备
US11709372B2 (en) Object localization system
CN109255282B (zh) 一种生物识别方法、装置和系统
US20200184197A1 (en) Facial recognition method
JP6540322B2 (ja) 被写体判定方法、プログラム及び被写体判定装置
CN108875545B (zh) 确定人脸图像的光线状态的方法、装置、系统和存储介质
KR102090332B1 (ko) 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법
US11928795B2 (en) Filtering pulse-width modulated (PWM) noise from a fingerprint image captured with an optical under-display fingerprint sensor (UDFPS)
CN111699493B (zh) 基于逆反射的反欺骗面部id感测
CN114387674A (zh) 活体检测方法、系统、设备、存储介质及程序产品
KR20170123257A (ko) 화상 처리 방법 및 화상 처리 장치
CN111200709A (zh) 设定照相机系统的光源的方法、照相机系统及车辆
ES2947414T3 (es) Evaluación de la condición de los objetos del mundo real
CN215987334U (zh) 一种获取皮肤纹路图像的模组以及电子设备
CN112989866B (zh) 对象识别方法、装置、电子设备和可读存储介质
CN112906440A (zh) 一种活体识别的防破解方法
JP2004280383A (ja) 認証装置、認証方法、及びコンピュ−タ読み取り可能な記憶媒体、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant