KR102279867B1 - 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치 - Google Patents

조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치 Download PDF

Info

Publication number
KR102279867B1
KR102279867B1 KR1020200066295A KR20200066295A KR102279867B1 KR 102279867 B1 KR102279867 B1 KR 102279867B1 KR 1020200066295 A KR1020200066295 A KR 1020200066295A KR 20200066295 A KR20200066295 A KR 20200066295A KR 102279867 B1 KR102279867 B1 KR 102279867B1
Authority
KR
South Korea
Prior art keywords
image
light
illumination
region
unit
Prior art date
Application number
KR1020200066295A
Other languages
English (en)
Inventor
박보건
안원석
김대현
이상원
Original Assignee
주식회사 슈프리마아이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈프리마아이디 filed Critical 주식회사 슈프리마아이디
Priority to KR1020200066295A priority Critical patent/KR102279867B1/ko
Priority to EP21177248.8A priority patent/EP3920135B1/en
Priority to US17/337,288 priority patent/US11393075B2/en
Application granted granted Critical
Publication of KR102279867B1 publication Critical patent/KR102279867B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • G06T5/004
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 명세서에는 수광부, 대상체에 광을 조사하는 제1 조명부, 상기 제1 조명부와 상이한 위치에 배치되고, 상기 대상체에 광을 조사하는 제2 조명부, 상기 제1 조명부 또는 상기 제2 조명부로부터 상기 대상체에 광이 조사된 경우 상기 대상체로부터 되돌아오는 광을 수광하는 수광부, 상기 수광부에서 수광된 광에 기초한 이미지를 획득하고, 상기 획득된 이미지를 처리하는 이미지 처리부를 포함하고, 상기 이미지 처리부는, 상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제1 이미지를 획득하고, 상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하고, 상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 제3 이미지를 생성하되, 상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하고, 상기 유사도를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하고,상기 가중치 함수를 기초로 상기 제1 이미지 및 상기 제2 이미지를 합성하는 이미지 생성 장치가 제공될 수 있다.

Description

조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치{A METHOD FOR GENERATING AN IMAGE THAT LIGHT NOISE IS REMOVED AND AN IMAGE GENERATING DEVICE USING THE METHOD FOR GENERATING AN IMAGE}
본 출원은 조명 노이즈 제거 및 방법에 관한 것으로 보다 상세하게는 복수의 조명장치를 각각 조사하여 획득한 복수의 이미지에 대하여, 조명 노이즈 영역을 제거하기 위한 이미지합성 영역 및 가중치를 설정하고, 이미지합성 영역 및 가중치를 이용하여 조명 노이즈가 제거된 이미지를 획득하는 방법 및 장치에 관한 것이다.
자동출입국 심사대는 2008년 인천공항에 국내 최초로 설치되어, 현재 전국 8개 공항 및 항만에 약 170여 대가 설치되어 운영되고 있다. 자동출입국 심사대는 사전에 여권정보와 바이오정보를 기기에 등록하면 신원확인이 가능한 첨단 출입국심사시스템이다. 여권정보를 통한 신원확인의 경우, 판독기에 올려진 여권의 인적사항면은 빠르게 스캔되어 사전 여권정보와 일치여부를 확인하는 절차를 거치게 된다.
자동출입국 심사는 대면심사보다 빠르고 간단하지만 한편으로는 그 목적이 신원확인이라는 점에서 보안상의 허점에 대해서 무시할 수 없기 때문에, 위와 같은 과정에서 신속하지만 정확한 신원확인이 이루어져야 한다.
그러나 여권 및 주민등록증과 같은 신원확인 증명서류는 보안 및 보관상의 이유로 겉면이 투명한 재질로 코팅되어 있는 경우가 대부분이다. 이는 스캔장치에 필수적으로 구비되어 있는 조명장치에 의해 신원확인 증명서류의 스캔본에 조명 노이즈를 발생시킨다.
일 실시 예에 따라 해결하고자 하는 과제는 이미지에서 조명 노이즈가 발생한 일부 영역의 이미지를 추출하는 것이다.
일 실시 예에 따라 해결하고자 하는 과제는 이미지에서 이미지합성을 통해 자연스럽게 조명 노이즈를 제거하기 위하여 이미지합성 영역을 획득하는 것이다.
일 실시 예에 따라 해결하고자 하는 과제는 이미지에서 이미지합성을 통해 자연스럽게 조명 노이즈를 제거하기 위하여 이용되는 가중치를 획득하는 것이다.
본 명세서에서는 수광부, 대상체에 광을 조사하는 제1 조명부, 상기 제1 조명부와 상이한 위치에 배치되고, 상기 대상체에 광을 조사하는 제2 조명부, 상기 제1 조명부 또는 상기 제2 조명부로부터 상기 대상체에 광이 조사된 경우 상기 대상체로부터 되돌아오는 광을 수광하는 수광부, 상기 수광부에서 수광된 광에 기초한 이미지 데이터를 획득하고, 상기 획득된 이미지 데이터를 처리하는 이미지 처리부를 포함하고, 상기 이미지 처리부는, 상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제1 이미지를 획득하고, 상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하고, 상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하되, 상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하고, 상기 유사도를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하고, 상기 가중치 함수를 기초로 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하는 이미지 생성 장치를 제공할 수 있다.
본 발명의 일 실시 예에 따르면 이미지에서 조명 노이즈가 발생한 일부 영역의 이미지를 추출하는 방법 및 장치가 제공될 수 있다.
본 발명의 일 실시 예에 따르면 이미지에서 이미지합성을 통해 자연스럽게 조명 노이즈를 제거하기 위하여 이미지합성 영역을 획득하는 방법 및 장치가 제공될 수 있다.
본 발명의 일 실시 예에 다르면 이미지에서 이미지합성을 통해 자연스럽게 조명 노이즈를 제거하기 위하여 이용되는 가중치를 획득하는 방법 및 장치가 제공될 수 있다.
도 1은 일 실시 예에 따르는 이미지의 조명 노이즈를 제거하기 위한 이미지 생성 장치의 구성도이다.
도 2는 일 실시 예에 따라 조명 노이즈를 제거하는 전체 과정을 나타내는 흐름도이다.
도 3은 일 실시 예에 따라 제1 이미지 및 제2 이미지를 획득하는 단계를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따라 조명 노이즈 영역을 추출하는 단계를 설명하기 위한 도면이다.
도 5는 제1 방법에 기초한 일 실시 예에 따라 합성 영역을 설정하고, 합성 영역을 기초로 가중치 함수를 결정하는 단계를 설명하기 위한 도면이다.
도 6은 제1 방법에 기초한 일 실시 예에 따라 직선형 가중치 함수와 sigmoid형 가중치 함수를 설명하기 위한 도면이다.
도 7은 제1 방법에 기초한 일 실시 예에 따라 가중치 함수를 이용하여 이미지를 합성하는 단계를 설명하기 위한 도면이다.
도 8는 제2 방법에 기초한 일 실시 예에 따라 가중치 함수를 이용하여 이미지를 합성하는 단계를 설명하기 위한 도면이다.
도 9는 제2 방법에 기초한 일 실시 예에 따라 가중치 함수를 이용하여 이미지를 합성하는 단계를 설명하기 위한 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 명세서에서는 수광부, 대상체에 광을 조사하는 제1 조명부, 상기 제1 조명부와 상이한 위치에 배치되고, 상기 대상체에 광을 조사하는 제2 조명부, 상기 제1 조명부 또는 상기 제2 조명부로부터 상기 대상체에 광이 조사된 경우 상기 대상체로부터 되돌아오는 광을 수광하는 수광부, 상기 수광부에서 수광된 광에 기초한 이미지 데이터를 획득하고, 상기 획득된 이미지 데이터를 처리하는 이미지 처리부를 포함하고, 상기 이미지 처리부는, 상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제1 이미지를 획득하고, 상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하고, 상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하되, 상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하고, 상기 유사도를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하고, 상기 가중치 함수를 기초로 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 제1 조명부와 상기 제2 조명부는 상기 수광부를 중심으로 대칭인 곳에 위치하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 대상체를 수용하는 대상체 수용부를 더 포함하고, 상기 제1 조명 노이즈 영역은 상기 대상체 수용부의 제1 영역에 대하여 상기 제1 조명부에 의해 조사된 광에 의해 발생되고, 상기 제2 조명 노이즈 영역은 상기 대상체 수용부의 제2 영역에 대하여 상기 제2 조명부에 의해 조사된 광에 의해 발생되고, 상기 제1 조명부와 상기 제1 영역 사이의 거리는 상기 제1 조명부와 상기 제2 영역 사이의 거리보다 짧고, 상기 제2 조명부와 상기 제2 영역 사이의 거리는 상기 제2 조명부와 상기 제1 영역 사이의 거리보다 짧은 이미지 생성 장치를 제공할 수 있다.
또한, 상기 이미지 처리부는 상기 제1 조명 노이즈 영역을 기초로 상기 제1 조명 노이즈 영역을 포함하는 제1 합성 영역을 획득하고, 상기 유사도, 상기 제1 조명 노이즈 영역의 경계 및 상기 제1 합성 영역의 경계를 기초로 하여 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 상기 가중치 함수를 결정하는
이미지 생성 장치를 제공할 수 있다.
또한, 상기 이미지 처리부는 상기 제1 이미지의 상기 제1 조명 노이즈 영역과 상기 제2 이미지의 상기 제2 조명 노이즈 영역의 유사도를 획득하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 이미지 처리부는 상기 제1 조명 노이즈 영역을 포함하지 않는 상기 제1 이미지의 제1 일부영역 및 상기 제2 조명 노이즈 영역을 포함하지 않는 상기 제2 이미지의 제2 일부영역의 유사도를 획득하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 이미지 처리부는 상기 유사도에 더하여 상기 제1 이미지의 일부 영역의 경계 및 상기 제2 이미지의 일부 영역의 경계를 더 기초로 하여 상기 가중치 함수를 획득하되, 상기 제1 이미지의 일부 영역은 상기 제1 조명 노이즈 영역을 포함하지 않고, 상기 제2 이미지의 일부 영역은 상기 제2 조명 노이즈 영역을 포함하지 않는 이미지 생성 장치.
또한, 상기 이미지 처리부는 상기 유사도, 상기 제1 조명 노이즈 영역의 경계 및 상기 제2 조명 노이즈 영역의 경계를 기초로 하여 상기 가중치 함수를 획득하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 이미지 처리부는 상기 유사도를 기초로 획득한 값이 미리 정해진 값 이하일 때, 상기 가중치 함수가 일차 함수를 포함하도록 결정하고,
상기 유사도를 기초로 획득한 상기 값이 상기 미리 정해진 값 이상일 때, 상기 가중치 함수가 시그모이드(sigmoid) 함수를 포함하도록 결정하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 수광부는 상기 되돌아오는 광을 기초로 픽셀값을 포함하는 이미지 데이터를 획득하고, 상기 이미지 데이터를 상기 이미지 처리부에 전송하고, 상기 이미지 처리부는 획득한 상기 이미지 데이터를 기초로 이미지를 획득하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 수광부는 상기 제1 조명부에서 상기 대상체에 조사한 광을 기초로 픽셀값을 포함하는 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터를 상기 이미지 처리부에 전송하고, 상기 수광부는 상기 제2 조명부에서 상기 대사체에 조사한 광을 기초로 픽셀값을 포함하는 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터를 상기 이미지 처리부에 전송하고, 상기 이미지 처리부는 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 기초로 이미지를 획득하는 이미지 생성 장치를 제공할 수 있다.
또한, 상기 수광부는 상기 제1 이미지 데이터를 획득할 경우, 상기 제1 이미지 데이터 중 상기 대상체의 미리 정해진 제1 서브 영역에 대응되는 제1 서브 이미지 데이터를 획득하고, 상기 제1 서브 이미지 데이터를 상기 이미지 처리부에 전송하고, 상기 제2 이미지 데이터를 획득할 경우, 상기 제2 이미지 데이터 중 상기 대상체의 미리 정해진 제2 서브 영역에 대응되는 제2 서브 이미지 데이터를 획득하고, 상기 제2 서브 이미지 데이터를 상기 이미지 처리부에 전송하고, 상기 이미지 처리부는 상기 제1 서브 이미지 데이터 및 상기 제2 서브 이미지 데이터를 기초로 이미지를 획득하는 이미지 생성 장치를 제공할 수 있다.
본 명세서에서는 제1 조명부를 이용하여 대상체에 광을 조사하는 단계, 상기 제1 조명부와 상이한 위치에 배치되는 제2 조명부를 이용하여 상기 대상체에 광을 조사하는 단계, 상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초하여 제1 이미지를 획득하는 단계, 상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하는 단계, 상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하는 단계, 상기 유사도를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하는 단계 및 상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 가중치 함수를 이용하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 제3 이미지를 생성하는 단계를 포함하는 이미지 생성 방법을 제공할 수 있다.
또한, 상기 방법을 실행시키도록 구현되는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 명세서에서 제공되는 이미지의 이미지 생성 장치 및 방법은 본 장치가 이미지를 획득할 때 조명에 의해서 이미지에 발생한 조명 노이즈를 제거하는 장치 및 방법에 관한 기술이다.
조명 노이즈란 문서와 같은 대상체에 조명을 조사한 뒤 반사한 빛을 수광하여 이미지를 획득했을 때, 문서의 재질, 조명의 세기, 이미지로부터 조명까지의 거리 및 방향 등에 의해 이미지를 구성하는 픽셀의 픽셀값이 포화된 값을 갖는 것을 의미할 수 있다. 구체적으로, 픽셀값이 미리 정해진 임계값보다 큰 경우, 상기 픽셀값은 포화된 값을 갖는 것으로 판단될 수 있다.
여기서, 포화여부의 기준이 되는 상기 임계값은 백색(full white)의 대상체에 대하여 조명을 조사한 뒤 반사한 빛을 수광하여 이미지를 획득했을 때, 상기 이미지를 구성하는 픽셀의 최대 픽셀값을 기초로 하여 결정될 수 있다.
조명 노이즈는 조명 반사, 글래어, 빛 번짐을 의미할 수도 있다. 조명 노이즈가 발생한 이미지의 일부 영역이 글씨 또는 사진을 포함하는 경우, 글씨 또는 사진이 나타내는 정보는 조명 노이즈에 의해 식별이 불가능할 수 있다. 예를 들어, 조명 노이즈가 발생한 이미지가 여권을 촬영하여 획득한 이미지이고, 획득한 이미지에 표시된 여권 소유자의 얼굴 이미지에 조명 노이즈가 발생한 경우, 획득한 이미지를 이용하여 여권 소유주의 얼굴을 식별하는 것이 불가능 할 수 있다.
이미지 생성 장치는 이미지에 발생한 조명 노이즈를 제거함으로써, 원본 문서에 포함된 글씨, 사진 등의 정보가 식별 가능한 이미지를 생성할 수 있다. 또한 이미지 생성 장치는 이미지에 발생한 조명 노이즈를 제거함으로써, 원본 문서에 가까운 이미지를 획득할 수 있다. 경우에 따라 이미지가 선명하게 표시되어야 할 정보 및 인물의 사진을 포함할 때, 이미지 생성 장치는 조명 노이즈를 제거하여 상기 정보 및 인물의 사진이 식별 및 인식되지 않는 상황을 방지할 수 있다.
예를 들어, 공항의 자동 출입국 심사대에서 여권, 주민등록증, 운전면허증과 같은 증명서에 대한 이미지를 획득하고 획득한 이미지를 신분확인에 이용될 수 있다. 이 때, 상기와 같은 증명서는 보안 및 보관을 위해 대부분 투명하거나 매끈한 재질로 표면이 코팅되어 있을 수 있다. 따라서 신분확인을 목적으로 조명을 이용하여 증명서에 대한 이미지를 획득하는 경우, 조명이 대상체에 조사하는 빛의 반사에 의해 상기 이미지에 조명 노이즈가 발생할 수 있다. 이 때, 조명 노이즈 제거는 이미지에 발생한 조명 노이즈를 제거하기 위하여 밝기, 색상값, 채도값, 명도값 등의 픽셀값을 보정함으로써 보다 정확하게 문서 소유자의 신분을 확인할 수 있다.
일 실시 예에 따른 이미지 생성 장치는 복수의 조명부와 수광부를 포함할 수 있다. 복수의 조명부는 수광부를 중심으로 각각 다른 곳에 위치할 수 있다. 복수의 조명부는 서로 다른 시점에 동일한 대상체에 광을 조사하고, 수광부 대상체로부터 돌아오는 광을 기초로 복수의 이미지 데이터를 획득할 수 있다. 상기 복수의 이미지 데이터를 기초로 획득된 복수의 이미지는 각각 다른 위치에 조명 노이즈를 포함할 수 있다.
이미지 생성 장치는 복수의 이미지 각각에 대하여 조명 노이즈가 발생한 영역을 추출할 수 있다. 이미지 생성 장치는 추출한 조명 노이즈 영역을 기초로 하여 합성 영역을 설정할 수 있다. 이미지 생성 장치는 조명 노이즈 영역 및/또는 합성 영역을 기초로 하여 가중치를 설정할 수 있다. 여기서, 가중치는 조명 노이즈 영역 및/또는 합성 영역의 픽셀값을 보정하기 위한 가중치를 의미할 수 있다.
이미지 생성 장치는 조명 노이즈 영역을 구성하는 픽셀의 픽셀값을 비교하여 합성에 이용되는 가중치 함수의 형태를 결정할 수 있다.
구체적으로, 이미지 생성 장치는 복수의 이미지의 픽셀값을 히스토그램으로 각각 표현할 수 있다. 이미지 생성 장치는 각각의 히스토그램을 비교함으로써, 유사도를 획득할 수 있다. 또한, 이미지 생성 장치는 상기 유사도에 따라 합성에 이용되는 가중치의 형태를 결정하고, 상기 형태를 기초로 하여 가중치 함수를 획득할 수 있다. 이때, 가중치 함수의 형태는 1차 직선함수, sigmoid 형태를 포함하는 함수, tanh 형태를 포함하는 함수 중 하나의 함수로 결정될 수 있다.
이미지 생성 장치는 획득한 가중치 함수를 이용하여 복수의 이미지를 합성함으로써 조명 노이즈 영역 및/또는 합성 영역의 픽셀값을 보정할 수 있다. 이미지 생성 장치는 조명 노이즈 영역 및/또는 합성 영역의 픽셀값을 보정함으로써 조명 노이즈가 제거된 이미지를 획득할 수 있다.
도 1은 일 실시 예에 따르는 이미지의 조명 노이즈를 제거하기 위한 이미지 생성 장치의 구성도이다.
이하에서는, 일 실시 예에 따르는 도 1을 참조하여 이미지 생성 장치의 구성의 기능에 대하여 설명하도록 한다.
일 실시 예에 따른 이미지의 이미지 생성 장치는 빛을 수신하는 수광부(101), 대상체에 빛을 비추기 위한 조명부(102), 이미지에 관한 처리를 수행하는 이미지 처리부(103) 및 수광부(101), 조명부(102) 및 이미지 처리부(103)로 구성될 수 있다.
수광부(101)는 대상체의 이미지를 획득하기 위하여 대상체로부터 반사된 빛을 수신하고, 수신한 빛을 기초로 이미지에 관한 데이터 또는 이미지를 생성 및 획득할 수 있다.
수광부(101)는 디지털 이미지 센서, 카메라, 광센서 중 적어도 하나를 포함할 수 있다. 또한, 상기 디지털 이미지 센서, 카메라, 광센서는 CMOS, CCD를 포함할 수 있다. 수광부(101)는 대상체가 반사되는 빛을 수광할 수 있다. 수광부(101)는 대상체가 반사되는 빛을 수광하여 데이터를 획득할 수 있고, 획득한 데이터를 기초로 하여 이미지를 생성할 수도 있다.
수광부(101)는 대상체로부터 반사되는 빛을 기초로 대상체의 전체 영역에 대응되는 이미지에 관한 데이터 또는 상기 전체 영역에 대응되는 이미지를 생성 및 획득할 수 있다. 또한, 수광부(101)는 대상체로부터 반사되는 빛을 기초로 대상체의 일부 영역에 대응되는 이미지에 관한 데이터 또는 상기 일부 영역에 대응되는 이미지를 생성 및 획득할 수 있다. 여기서, 상기 일부 영역은 수광부(101)를 기준으로 대상체의 왼쪽 영역 또는 오른쪽 영역을 의미할 수 있다.
수광부(101)가 이미지를 생성 및 획득하는데 소요되는 시간은 이미지의 크기가 커짐에 따라 증가할 수 있다. 따라서, 이미지를 생성 및 획득하는 단계에서 수광부(101)는 합성에 이용되는 이미지의 일부 영역만을 생성 및 획득함으로써 이미지 획득 및 생성에 소요되는 시간을 단축할 수 있다.
수광부(101)는 프로세서를 포함할 수 있다. 수광부(101)는 프로세서를 통해 상기 획득한 데이터를 기초로 하여 이미지를 생성할 수 있다. 수광부(101)는 프로세서를 통해 상기 획득한 데이터를 기초로 하여 이미지를 생성하고, 생성한 이미지를 가공하는 이미지 처리를 수행할 수도 있다. 예를 들어, 수광부(101)는 상기 획득한 데이터를 기초로 하여 이미지를 생성하고, 생성한 이미지의 일부 영역만을 추출하는 가공을 수행할 수 있다.
수광부(101)는 대상체에서 반사되는 빛을 수광하여 획득한 데이터를 이미지 처리부(103)로 전송할 수 있다. 또한 수광부(101)는 상기 획득한 데이터를 기초로 하여 생성한 이미지를 이미지 처리부(103)로 전송할 수도 있다. 구체적으로 수광부(101)는 대상체의 전체 영역에 대응되는 이미지에 관한 데이터 또는 상기 전체 영역에 대응되는 이미지를 이미지 처리부(103)로 전송할 수 있다. 또한 대상체의 일부 영역에 대응되는 이미지에 관한 데이터 또는 상기 일부 영역에 대응되는 이미지를 이미지 처리부(103)로 전송할 수 있다.
데이터 또는 이미지를 전송할 때의 속도는 데이터 또는 이미지의 크기에 반비례할 수 있다. 따라서, 이미지에 관한 데이터 또는 이미지를 전송하는 단계에서 합성에 이용되는 일부 영역의 이미지에 관한 데이터 또는 일부 영역의 이미지만을 전송하는 경우, 이미지 처리에 소요되는 시간을 단축할 수 있다.
수광부(101)는 수광부(101)의 중심선과 대상체가 위치하는 대상체 수용부의 중심선이 나란하도록 위치될 수 있다. 또한, 수광부(101)는 수광부(101)의 중심선과 복수의 조명부(102) 사이의 중심선이 나란하도록 위치될 수 있다.
조명부(102)는 대상체에 빛을 조사하기 위한 광원을 포함할 수 있다.
조명부(102)는 LED, 백열등, 형광등 중 적어도 하나를 포함할 수 있다. 이 외에도 조명부(102)는 대상체에 빛을 비출 수 있는 다양한 종류의 광원을 포함할 수 있음은 물론이다.
조명부(102)는 복수개일 수 있다. 복수의 조명부(102)는 서로 다른 곳에 위치할 수 있다. 예를 들어, 복수의 조명부(102)가 두 개인 경우, 수광부(101)를 중심에 두고 대칭인 곳에 위치할 수 있다. 예를 들어 두 개의 조명부(102)는 수광부(101)의 왼쪽과 오른쪽에 대칭으로 위치할 수 있다. 이로써, 이미지 생성 장치(100)가 복수의 조명부(102)를 각각 이용하여 획득한 복수의 이미지는 서로 다른 위치에 조명 노이즈가 나타날 수 있다.
복수의 조명부(102)는 소정의 시간동안 각각 다른 시점에 대상체를 비출 수 있다. 구체적으로, 복수의 조명부(102)가 제1 조명부 및 제2 조명부를 포함하는 경우, 제1 조명부가 대상체를 비추고 소정의 시간 이후에 제2 조명부가 대상체를 비출 수 있다. 또한, 제1 조명부는 대상체를 비추고 수광부(101)는 대상체로부터 반사되는 빛을 수광한 뒤 소정의 시간 이후에 제2 조명부가 대상체를 비출 수 있다. 이로써, 이미지 생성 장치(100)는 소정의 시간동안 동일한 대상체에 대하여 서로 다른 위치에 조명 노이즈가 나타난 복수의 이미지를 획득할 수 있다.
한 개의 조명부(102)는 복수의 광원을 포함할 수 있다. 예를 들어 한 개의 조명부(102)는 복수의 LED를 포함할 수 있다. 다른 예를 들어, 조명부(102)는 복수의 LED의 배열을 포함할 수 있다.
조명부(102)가 복수의 광원을 포함하는 경우, 복수의 광원은 동시에 켜질 수 있고, 순차적으로 켜질 수도 있다.
조명부(102)가 제1 LED, 제2 LED 및 제3 LED를 포함하고 상기 3개의 LED가 대상체의 가로축 또는 세로축과 나란하게 일렬로 배열된 경우, 이미지 생성 장치(100)가 제1 LED, 제2 LED 및 제3LED를 소정의 시간구간 동안 순차적으로 켜지도록 제어한다면 가로축 또는 세로축을 따라 대상체에 비추는 빛의 세기를 골고루 분산시킬 수 있다. 조명 노이즈는 빛의 세기가 강할수록 더 넓은 면적에 발생하기 때문에, 이미지 생성 장치(100)는 순차적으로 광원이 on/off되도록 제어함으로써 조명 노이즈 발생 영역을 감소시킬 수 있다.
상기 복수의 광원이 순차적으로 켜지는 일 실시예에 따르면, 조명부(102)가 3개의 광원(제1 광원, 제2 광원, 제3 광원)의 배열로 구성되는 경우, 가장 왼쪽에 위치하는 제1 광원이 가장 먼저 켜지고, 순차적으로 제2 광원 및 제3 광원이 켜지도록 제어될 수 있다. 또한 상기 순서는 반대로 동작할 수도 있다.
구체적으로 예를 들면, 조명부(102)가 제1 광원, 제2 광원 및 제3 광원을 포함하고, 제1 광원이 켜진 상태에서 제2 광원이 켜지고, 제1광원 및 제2 광원이 켜진 상태에서 제3 광원이 켜지도록 제어될 수 있다.
다른 예를 들면, 조명부(102)가 제1 광원, 제2 광원 및 제3 광원을 포함하고, 제1 광원이 켜졌다가 꺼지면서 또는 꺼지고 난 뒤 제2 광원이 켜지고, 제2 광원이 꺼지면서 또는 꺼지고 난 뒤 제3 광원이 켜졌다가 꺼지도록 제어될 수 있다.
여기서, 조명부(102)가 포함하는 복수의 광원은 1차원 배열 또는 2차원 배열 등 다양한 배열로 배치될 수 있다. 또한 이미지 생성 장치(100)는 조명부(102a)가 포함하는 복수의 광원의 on/off 순서 및 시간, 다양한 밝기를 갖도록 제어할 수 있다.
이미지 처리부(103)는 대상체로부터 반사되는 빛을 기초로 하여 이미지를 생성 또는 획득하고, 상기 이미지에 대하여 조명 노이즈를 제거하기 위한 동작을 수행할 수 있다.
이미지 처리부(103)는 적어도 하나의 프로세서를 포함할 수 있다. 이미지 처리부(103)는 수광부(102)가 대상체에 반사되는 빛을 수광하여 획득한 데이터를 수신할 수 있고, 또한 상기 데이터를 기초로 하여 생성된 이미지를 수신할 수도 있다. 이미지 처리부(103)는 수광부(102)로부터 빛을 수광하여 획득한 데이터를 수신한 경우, 상기 데이터를 기초로 하여 이미지를 생성할 수 있다.
이미지 처리부(103)는 생성 또는 획득한 이미지에 나타난 조명 노이즈를 제거할 수 있다. 구체적으로, 이미지 처리부(103)는 생성 또는 획득한 복수의 이미지에 발생한 조명 노이즈 영역을 추출할 수 있다. 또한 이미지 처리부(103)는 추출한 조명 노이즈 영역을 기초로 하여 가중치 함수를 획득할 수 있다. 또한 이미지 처리부(103)는 획득한 가중치 함수를 이용하여 복수의 이미지를 합성함으로써 조명 노이즈를 제거할 수 있다.
이하 본 명세서에서 표시되는 제1 이미지 및 제2 이미지는 수광부(101) 또는 이미지 처리부(103)에 의해서 생성 또는 획득된 동일한 대상체에 대한 복수의 이미지인 것으로 정의한다. 또한, 제1 이미지는 수광부(101)의 왼쪽에 위치하는 제1 조명부가 대상체에 비추어 질 때 반사되는 빛을 수광하여 획득한 이미지이고, 제2 이미지는 수광부(101)의 오른쪽에 위치하는 제2 조명부가 대상체에 비추어질 때 반사되는 빛을 수광하여 획득한 이미지인 것으로 정의한다. 다만, 전술한 바와 같이 복수의 조명부는 그 개수가 2개로 한정되는 것은 아니며 3개 이상의 조명부로 구성될 수 있다. 또한, 본 명세서에서 표시되는 제1 조명부 및 제2 조명부의 위치는 수광부(101)를 중심으로 각각 왼쪽 및 오른쪽 영역에 상이하게 위치될 수 있고, 반드시 수광부(101)과 동일선상의 왼쪽 및 오른쪽으로 한정되지 아니한다.
이미지 처리부(103)는 추출한 조명 노이즈 영역을 기초로 하여 국부적 또는 전역적인 합성에 따라 조명 노이즈를 제거할 수 있다.
이미지 처리부(103)는 제1 방법에 따라 제1 이미지에 발생한 조명 노이즈의 위치와 대응되는 위치에 있는 제2 이미지의 일부 영역을 제1 이미지에 국부적으로 합성하여 제1 이미지에 발생할 조명 노이즈를 제거할 수 있다. 구체적으로, 이미지 처리부(103)는 제 1 이미지에 발생한 조명 노이즈를 기초로 하여 획득한 가중치 함수를 이용하여 제1 이미지에 발생한 조명 노이즈의 위치와 대응되는 위치에 있는 제2 이미지의 일부영역을 제1 이미지에 합성함으로써 조명 노이즈가 제거된 제1 이미지를 획득할 수 있다. 또한, 이미지 처리부(103) 전술한 제1 이미지의 조명 노이즈를 제거하는 방법과 동일한 방법을 이용하여 조명 노이즈가 제거된 제2 이미지를 획득할 수도 있음은 물론이다.
이미지 처리부(103)는 제1 방법에 따라 제1 이미지 및 제2 이미지를 합성하기 위한 가중치 함수를 획득할 수 있다. 가중치 함수를 획득하는 방법에 관하여는 이하 상세히 후술하도록 한다.
이미지 처리부(103)는 제1 방법에 따라 조명 노이즈가 제거된 제1 이미지 및 제2 이미지를 이용하여 제3 이미지를 획득할 수도 있다. 구체적으로 상기 제1 이미지에서 조명 노이즈가 제거된 제1 이미지의 왼쪽영역과 상기 제2 이미지에서 조명 노이즈가 제거된 제2 이미지의 오른쪽 영역의 이미지를 합성하여 제3 이미지를 획득할 수도 있다. 제1 이미지는 수광부의 왼쪽에 위치하는 제1 조명부를 이용하여 획득한 이미지이므로, 제1 이미지의 오른쪽 영역은 제1 이미지의 왼쪽 영역과 비교했을 때 밝기의 정도가 비교적 낮을 수 있다. 따라서, 이미지 처리부(103)는 이미지에 발생한 조명 노이즈를 제거하여 이미지가 포함하는 글자, 사진 등의 정보가 정확하게 식별되도록 하는 것이 목적인 바, 제1 이미지의 전체 영역에서 비교적 밝기의 정도가 높아 정보 식별이 용이한 왼쪽 영역만을 추출하고, 제2 이미지의 전체 영역에서는 비교적 밝기의 정도가 높아 정보 식별이 용이한 오른쪽 영역만을 추출하여 추출된 두 개의 이미지를 합성함으로써 밝기가 균일하고 이미지가 포함하는 정보의 식별이 용이한 제3 이미지를 획득할 수 있을 것이다.
이미지 처리부(103)는 제2 방법에 따라 조명 노이즈가 발생하지 않거나 적게 발생한 제1 이미지의 일부 영역 및 조명 노이즈가 발생하지 않거나 적게 발생한 제2 이미지의 일부 영역을 이용하여 조명 노이즈가 제거된 제3 이미지를 획득할 수 있다. 구체적으로, 제1 이미지의 오른쪽 영역 및 제2 이미지의 왼쪽 영역은 조명과의 거리를 고려했을 때 조명 노이즈가 발생하지 않거나, 이미지가 포함하는 정보의 식별이 가능한 정도의 적은 조명 노이즈만을 포함할 수 있다. 따라서, 이미지 처리부(103)는 제2 방법에 따라, 제1 이미지의 오른쪽 영역 및 상기 제2 이미지의 왼쪽 영역을 이용하여 조명 노이즈가 제거된 제3 이미지를 획득할 수 있다.
이미지 처리부(103)는 제2 방법에 따라 제1 이미지 및 제2 이미지를 합성하기 위한 가중치 함수를 획득할 수 있다. 가중치 함수를 획득하는 방법에 관하여는 이하 상세히 후술하도록 한다.
또한, 상기 전술한 제1 이미지 및 제2 이미지의 왼쪽 영역 및 오른쪽 영역은 이미지의 중심선을 기준으로 왼쪽 영역 및 오른쪽 영역으로 한정되는 것은 아니고 왼쪽 영역은 중심선을 기준으로 이미지의 오른쪽 영역을 더 포함할 수 있고, 오른쪽 영역 또한 중심선을 기준으로 이미지의 왼쪽 영역을 더 포함할 수도 있다.
이하에서는 일 실시 예에 따른 도2 내지 도9를 참조하여, 이미지 생성 장치가 획득한 복수의 이미지를 합성하여 조명 노이즈가 제거된 이미지를 생성하는 과정에 대해서 상세히 설명한다.
도 2는 일 실시 예에 따라 조명 노이즈를 제거하는 전체 과정을 나타내는 흐름도이다.
일 실시 예에 따르는 도2를 참조하면, 조명 노이즈가 제거된 이미지 생성 방법은 제1 조명부를 이용하여 제1 이미지를 획득하는 단계(S101), 제2 조명부를 이용하여 제2 이미지를 획득하는 단계(S102), 제1 이미지 및 제2 이미지의 조명 노이즈 영역을 추출하는 단계(S103), 제1 이미지 및 제2 이미지 각각의 조명 노이즈 영역을 기초로 합성 영역을 설정하는 단계(S104), 이미지의 합성을 위한 가중치 함수를 결정하는 단계(S105) 및 가중치 함수를 이용하여 조명 노이즈를 제거하는 단계(S106)를 포함할 수 있다.
각 단계에 대한 상세한 설명은 도 3 내지 도 9를 참조하여 후술하도록 한다.
도 3은 일 실시 예에 따라 제1 이미지 및 제2 이미지를 획득하는 단계를 설명하기 위한 도면이다.
일 실시예에 따르는 도3을 참조하면, 제1 조명부를 이용하여 제1 이미지를 획득하는 단계에서 이미지 생성 장치(100)는 대상체로부터 반사되는 빛을 수광하고, 수광한 빛을 기초로 제1 이미지(200)를 획득할 수 있다.
구체적으로, 제1 조명부(102a)가 대상체를 비추고 수광부(101)는 대상체로부터 반사되는 빛을 수광하여 제1 이미지(200)의 기초가 되는 데이터를 획득할 수 있다. 여기서, 수광부(101)는 상기 제1 이미지(200)의 기초가 되는 데이터를 획득하여 제1 이미지(200)를 생성할 수 있다. 또한, 수광부(101)는 상기 제1 이미지(200)의 기초가 되는 데이터를 획득하고, 상기 제1 이미지(200)의 기초가 되는 데이터를 이미지 처리부(103)로 전송하고, 이미지 처리부(103)는 수신한 제1 이미지(200)의 기초가 되는 데이터를 이용하여 제1 이미지를 생성할 수 있다.
이미지 생성 장치(100)는 대상체 수용부(104)에 대상체가 놓일 때 대상체로부터 반사되는 빛을 수광할 수 있다. 구체적으로, 이미지 생성 장치(100)는 대상체 수용부(104)에 대상체가 놓이는 것을 감지하여 제1 조명부(102a)를 대상체에 비추고 대상체로부터 반사되는 빛을 수광할 수 있다.
또한, 이미지 생성 장치(100)는 제1 조명부(102a)의 동작에 따라 대상체로부터 반사되는 빛을 수광할 수 있다. 구체적으로 이미지 생성 장치(100)는 제1 조명부(102a)가 대상체에 빛을 비추고 난 후 소정의 시간 이내에 대상체로부터 반사되는 빛을 수광할 수 있다.
이미지 생성 장치(100)는 제1 조명부(102a)를 이용하여 대상체의 왼쪽 영역 또는 오른쪽 영역의 이미지만을 생성 또는 획득할 수 있다. 또한, 이미지 생성 장치(100)는 제1 조명부(102a)를 이용하여 제1 이미지(200)를 생성 또는 획득하고, 생성 또는 획득한 제1 이미지(200)를 왼쪽 또는 오른쪽 영역만 잘라내는 가공을 수행할 수도 있다.
일 실시예에 따르는 도3을 참조하면, 제2 조명부를 이용하여 제2 이미지를 획득하는 단계에서 이미지 생성 장치(100)는 대상체로부터 반사되는 빛을 수광하고, 수광한 빛을 기초로 제2 이미지를 획득할 수 있다.
구체적으로, 제2 조명부(102b)가 대상체를 비추고 수광부(101)는 대상체로부터 반사되는 빛을 수광하여 제1 이미지(200)의 기초가 되는 데이터를 획득할 수 있다. 여기서, 수광부(101)또는 이미지 처리부(103)는 제1 이미지(200)의 기초가 되는 데이터를 이용하여 제1 이미지(200)를 생성 또는 획득할 수 있다.
이 때, 제2 조명부(102b)는 제1 조명부(102a)와 상이한 곳에 위치할 수 있다. 여기서, 수광부(101)와 제1 조명부(102a)까지의 거리는 수광부(101)와 제2 조명부(102b)까지의 거리와 동일 또는 유사할 수 있다. 또한, 수광부(101)를 중심으로 제1 조명부(102a)와 제2 조명부(102b)는 대칭일 수 있다.
본 명세서에서, 제2 조명부(102b)를 이용하여 획득한 제2 이미지(300)는 제1 이미지(200)와 동일한 대상체에 대하여 획득한 이미지를 의미한다.
여기서, 제2 조명부(102b)를 이용하여 획득한 제2 이미지(300)는 동일한 대상체에 대한 제1 이미지가 획득되기 소정의 시간 이전 또는 소정의 시간 이후에 획득된 이미지일 수 있다. 제2 이미지가 제1 이미지 이후에 획득되는 이미지인 경우, 이미지 생성 장치(100)는 제1 조명부(102a)의 동작에 따라 제2 이미지를 획득할 수 있다.
일 실시예에 따르면 이미지 생성 장치(100)는 제1 조명부(102a)가 off되고 소정의 시간 뒤에 제2 조명부(102b)를 이용하여 제2 이미지(300)를 생성 또는 획득할 수 있다. 또한, 이미지 생성 장치(100)는 제1 이미지를 획득 또는 생성하고 소장의 시간 뒤에 제2 조명부(102b)를 이용하여 제2 이미지(300)를 생성 또는 획득할 수도 있다.
다른 실시예에 따르면 이미지 생성 장치(100)는 대상체 수용부(104)에 대상체가 놓이는 것을 감지하여, 감지한 때로부터 제1 소정의 시간 후에 제1 조명부(102a)를 대상체에 비추어 대상체로부터 반사되는 빛을 수광하고, 제1 소정의 시간보다는 긴 제2 소정의 시간 이후에 제2 조명부(102b)를 대상체에 비추어 대상체로부터 반사되는 빛을 수광할 수 있다.
다른 실시예에 따르면 이미지 생성 장치(100)는 제2 조명부(102b)의 동작에 따라 대상체로부터 반사되는 빛을 수광할 수 있다. 구체적으로 이미지 생성 장치(100)는 제2 조명부(102b)가 대상체에 빛을 비추고 난 후 소정의 시간 이내에 대상체로부터 반사되는 빛을 수광할 수 있다.
이미지 생성 장치(100)는 제2 조명부(102b)를 이용하여 대상체의 왼쪽 영역 또는 오른쪽 영역의 이미지만을 생성 또는 획득할 수 있다. 또한, 이미지 생성 장치(100)는 제2 조명부(102b)를 이용하여 제2 이미지(300)를 생성 또는 획득하고, 생성 또는 획득한 제2 이미지(300)를 왼쪽 또는 오른쪽 영역만 잘라내는 가공을 수행할 수도 있다.
이미지 생성장치(100)는 조명 노이즈를 제거하는 방법에 따라 이미지의 일부영역만을 이용할 수 있다. 예를 들어, 조명 노이즈가 이미지의 왼쪽에 발생한 경우, 이미지 생성 장치(100)는 조명 노이즈가 발생한 왼쪽 영역을 조명 노이즈 제거를 위한 이미지 합성에 이용할 수 있다.
또한, 조명 노이즈가 이미지 왼쪽에 발생한 경우, 이미지 생성 장치(100)는 조명 노이즈가 발생하지 않은 오른쪽 영역을 조명 노이즈 제거를 위한 이미지 합성에 이용할 수도 있다.
도 4는 일 실시 예에 따라 조명 노이즈 영역을 추출하는 단계를 설명하기 위한 도면이다.
일 실시 예에 따른 도4를 참조하면 제1 이미지 및 제2 이미지의 조명 노이즈 영역 추출하는 단계에서 이미지 생성 장치(100)는 제1 이미지(200) 및 제2 이미지(300)로부터 조명 노이즈가 발생한 이미지의 일부 영역을 조명 노이즈 영역(203)으로서 추출할 수 있다(S103). 구체적으로 이미지 생성 장치(100)는 제1 이미지(200) 및 제2 이미지(300)로부터 조명 노이즈가 발생한 픽셀을 포함하는 이미지의 일부 영역을 조명 노이즈 영역(203)으로서 추출할 수 있다.
이하 도4를 참조하여 서술하는 조명 노이즈 영역(203)을 추출하는 방법은 제1 이미지(200) 및 제2 이미지(300) 각각에 대하여 공통으로 적용될 수 있으므로, 제1 이미지(200)의 조명 노이즈 영역을 추출하는 방법을 중심으로 설명한다.
전술한 바와 같이 픽셀값이 미리 정해진 임계값보다 큰 경우, 상기 픽셀값은 포화된 값을 갖는 것으로 판단될 수 있다.
여기서, 포화여부의 기준이 되는 상기 임계값은 백색(full white)의 대상체에 대하여 조명을 조사한 뒤 반사한 빛을 수광하여 이미지를 획득했을 때, 상기 이미지를 구성하는 픽셀의 최대 픽셀값을 기초로 하여 결정될 수 있다.
조명 노이즈 발생의 판단 기준이 되는 임계값이 정해진 경우, 이미지 생성 장치(100)는 상기 임계값을 초과하는 픽셀을 조명 노이즈가 발생한 조명 노이즈 픽셀(201)로서 추출할 수 있다.
임계값으로 정해지는 경우, 이미지 생성 장치(100)는 밝기의 정도가 상기 임계값을 초과하는 픽셀을 조명 노이즈가 발생한 조명 노이즈 픽셀(201)로서 추출할 수 있다.
이미지 생성 장치(100)는 획득한 이미지에 대하여 Red 색상 채널의 픽셀값(이하, IR로 표시한다)이 Red색상 채널의 임계 픽셀값(이하, Rth로 표시한다)보다 크거나 같고, Green 색상 채널의 픽셀값(이하, IG로 표시한다)이 Green 색상 채널의 임계 픽셀값(이하, Rth, Gth 및 Bth로 표시한다)보다 크거나 같고, Blue 색상 채널의 픽셀값(이하, IB로 표시한다)이 Blue 색상 채널의 임계 픽셀값(이하, Bth로 표시한다)보다 크거나 같은 픽셀을 조명 노이즈 픽셀(201)로서 추출할 수 있다.
구체적으로, 이미지 생성 장치(100)는 획득한 이미지에 대하여 IR≥Rth, IR>Rth, IG≥Gth, IG>Gth, IB≥Bth, IB>Bth 를 적어도 하나 이상 만족하거나 또는 모두 만족하는 픽셀을 조명 노이즈 픽셀(201)로서 추출할 수 있다. 여기서, 대상체가 조명에 가까울수록 밝은 세기의 빛이 대상체에 비추어지기 때문에, 수광부(101)의 왼쪽에 위치하는 제1 조명부(102)를 이용하여 획득한 제1 이미지(200)는 주로 왼쪽영역에서 많은 수의 조명 노이즈 픽셀(201)이 추출될 수 있다. 또한, 수광부(101)의 오른쪽에 위치하는 제2 조명부(102)를 이용하여 획득한 제2 이미지(300)는 주로 오른쪽영역에서 조명 노이즈 픽셀(201)이 추출될 수 있다.
일 실시예에 따르는 도4를 참조하면, 이미지 생성 장치(100)는 조명 노이즈 픽셀(201)에 대하여 클러스터링을 수행할 수 있다. 여기서, 클러스터링은 복수의 픽셀 중 특성값이 동일 또는 유사한 일부 픽셀들을 하나의 집합으로 분류하는 이미지 처리 기법을 의미할 수 있다. 여기서, 특성값은 픽셀이 갖는 RGB채널의 색상값(IR, IG, IB)을 의미할 수 있다. 또한, 특성값은 픽셀이 갖는 밝기, 명도, 채도의 강도를 의미할 수도 있다.
구체적으로, 이미지 생성 장치(100)는 하나의 이미지가 포함하는 모든 픽셀 중 IR>Rth, IG>Gth 및 IB>Bth를 만족하는 픽셀을 조명 노이즈 픽셀(201)로서 추출하고, 복수의 조명 노이즈 픽셀(201) 중 소정 거리 이내에 있는 픽셀들을 클러스터링을 통해 하나의 픽셀 집합으로 분류할 수 있다.
여기서, 이미지 생성 장치(100)는 K-means clustering 또는 Mean Shift Gaussian Mixture Model의 알고리즘을 이용하여 상기 클러스터링을 수행할 수 있다. 다만, 클러스터링 수행 방법은 상기 기재된 알고리즘으로 한정되지 않고, 이미지 처리의 기술분야에서 사용되는 일반적인 알고리즘이 모두 적용될 수 있음은 물론이다.
이와 같이 분류된 집합은 하나의 이미지상에서 한 개일 수 있고 또한 복수 개일 수 있다.
여기서, 클러스터링을 통해 분류된 픽셀 집합이 한 개인 경우 이미지 생성 장치(100)는 상기 픽셀 집합에 대하여 조명 노이즈를 제거하기 위한 과정을 수행할 수 있다.
또한 클러스터링을 통해 분류된 집합이 복수 개인 경우 이미지 생성 장치(100)는 상기 집합 중 가장 많은 수의 픽셀을 포함하는 픽셀 집합(202)에 대하여 조명 노이즈를 제거하기위한 과정을 수행할 수 있다.
일반적으로, 클러스터링 된 픽셀 집합(202) 가운데 가장 많은 수의 픽셀을 포함하거나 가장 넓은 면적을 갖는 픽셀 집합이 이미지가 포함하는 글자, 사진 등의 정보 식별을 방해하는 요인으로 작용할 수 있기 때문에, 이와 같이 클러스터링을 통해 분류된 픽셀 집합 중 가장 많은 수의 픽셀을 포함하거나 가장 넓은 면적을 갖는 픽셀 집합(202)에 대하여서만 조명 노이즈를 제거하는 과정을 수행하는 것이 효율적일 수 있다.
또한, 클러스터링을 통해 분류된 집합이 복수 개인 경우 이미지 생성 장치(100)는 상기 집합 가운데 가장 넓은 면적을 갖는 집합(202)에 대하여 조명 노이즈를 제거하기 위한 과정을 수행할 수도 있다.
또한, 클러스터링을 통해 분류된 집합이 복수 개인 경우 이미지 생성 장치(100)는 상기 집합 가운데 소정의 면적 이상의 면적을 갖는 집합(202)에 대하여 조명 노이즈를 제거하기 위한 과정을 수행할 수도 있다.
이미지 생성 장치(100)는 픽셀 집합(202)의 경계가 이루는 형태를 근사화하여 조명 노이즈 영역(203)을 설정할 수 있다. 일반적으로, 조명 노이즈가 발생한 영역의 경계는 불규칙한 형태를 가질 수 있다. 따라서, 조명 노이즈가 발생한 영역의 경계의 형태와 유사하거나 또는 사각형, 삼각형, 원형, 다각형 등 일정한 형태의 경계를 갖는 영역으로 근사화할 수 있다.
예를 들어, 이미지 생성 장치(100)는 convex hull 알고리즘을 이용하여 상기 조명 노이즈가 발생한 영역의 경계를 추출하고, 상기 경계를 기초로 하여 minimum bounding box를 추출하는 방법에 따라 상기 근사화를 수행할 수 있다.
예를 들어, 이미지 생성 장치(100)는 상기 근사화 방법에 따라 조명 노이즈가 발생한 픽셀을 포함하는 픽셀 집합(202)의 외곽의 경계가 직사각형과 유사한 형태를 띄는 경우, 이미지 생성 장치(100)는 상기 픽셀 집합(202)의 일부 또는 전부를 포함하고 상기 픽셀 집합(202)합과 유사한 넓이를 갖는 직사각형을 경계로 갖는 이미지의 일부 영역을 조명 노이즈 영역(203)으로 설정할 수 있다.
전술한 바와 같이 제1 이미지(200)의 조명 노이즈 영역(203)을 추출 또는 설정하는 방법은 동일한 단계에 따라 제2 이미지(300)의 조명 노이즈 영역을 추출 또는 설정하는 방법으로 이용될 수도 있다. 또한 전술한 바와 같이 제2 이미지(200)의 조명 노이즈 영역(303)은 제2 이미지(300)의 오른쪽 영역에서 주로 나타날 수 있다.
이하에서는 조명 노이즈를 제거하는 제1 방법 및 제2 방법을 구분하여 설명하도록 한다.
제1 방법은 조명 노이즈가 발생한 영역을 중심으로 국부적으로 이미지를 합성하여 조명 노이즈를 제거하는 방법을 의미한다.
제2 방법은 조명 노이즈가 발생한 이미지 전체 영역에 대하여 전역적으로 이미지를 합성하여 조명 노이즈를 제거하는 방법을 의미한다.
제1 방법과 제2 방법은 조명 노이즈를 제거하기 위한 합성에 이용되는 가중치 함수를 결정하는 방법에 차이점이 존재한다. 따라서, 도 5 내지 도 7을 제1 방법에 따라 이미지 생성 장치(100)가 조명 노이즈를 제거하는 방법에 관하여 설명하고, 도 8 내지 도 9를 참조하여 제2 방법에 따라 이미지 생성 장치(100)가 조명 노이즈를 제거하는 방법에 관하여 차이점을 중심으로 설명한다.
도 8 내지 도 9를 참조한 제2 방법에 관한 설명에서 사용되는 도면부호는 도 5 내지 도 7에서 사용되는 도면부호와 지칭하는 대상이 동일하며, 정의가 다른 용어 및 그 지칭하는 대상이 다른 도면부호에 관하여는 도 8 내지 도 9를 참조한 설명에서 별도로 정의한다.
도5 내지 도7을 참조하여 설명하는 따라 제1 방법에 따라 국부적으로 조명 노이즈를 제거하는 방법은 제1 이미지(200)의 조명 노이즈를 제거하는 방법을 중심으로 설명한다. 이 방법은 제2 이미지(300)의 조명 노이즈를 제거할 때에도 동일하게 적용될 수 있다.
도 5는 일 실시 예에 따라 합성 영역을 설정하고, 합성 영역을 기초로 가중치 함수를 결정하는 단계를 설명하기 위한 도면이다.
도 5를 참조하면 이미지 생성 장치는 조명 노이즈 영역을 기초로 하여 국부적인 합성을 위한 합성 영역을 설정할 수 있다(S104).
제1 합성 영역(204)은 조명 노이즈를 제거하기 위한 합성을 위하여 제1 조명 노이즈 영역(203)을 기초로 하여 설정된 영역을 의미할 수 있다.
동일한 대상체에 대한 제1 이미지(200) 및 제2 이미지(300)는 서로 다른 곳에 위치하는 제1 조명부(102a) 및 제2 조명부(102b)를 이용하여 획득되기 때문에, 제1 이미지(200)의 왼쪽 영역과 제2 이미지(300)의 왼쪽 영역의 밝기는 상이할 수 있다.
제1 이미지(200)의 조명 노이즈를 제거하기 위하여, 제 1 이미지(200)의 조명 노이즈 영역과 대응되는 위치에 있는 제2 이미지(300)의 일부 영역을 원본 그대로 제1 이미지(200)에 합성하여 합성된 이미지를 획득하는 경우, 제1 이미지(200)의 왼쪽 영역의 밝기와 제2 이미지(300)의 왼쪽 영역의 밝기 차이로 인하여 합성된 이미지에서 조명 노이즈 영역(203)의 경계선이 나타나는 문제가 발생할 수 있다.
이 때, 조명 노이즈 영역보다 넓은 합성 영역을 설정하고, 조명 노이즈 영역의 경계부터 합성 영역의 경계까지 제1 이미지의 픽셀값에서 제2 이미지의 픽셀값으로 점진적으로 변화하도록 가중치함수를 설정한다면, 위와 같이 경계선이 나타나는 문제를 해결할 수 있다.
구체적으로, 이미지 생성 장치(100)는 제1 조명 노이즈 영역(203)을 기초로 제1 합성 영역(204)을 설정하고, 제1 조명 노이즈 영역(203)의 경계와 제1 합성 영역(204) 경계의 사이의 영역에 위치하는 픽셀의 픽셀값이 제1 이미지(200)의 픽셀값과 제2 이미지(300)의 픽셀값이 각각 소정의 비율의 합이 되도록 가중치 함수를 결정할 수 있다. 예를 들어, 제1 조명 노이즈 영역(203)의 경계와 제1 합성 영역(204) 경계의 사이의 영역에 위치하는 픽셀의 픽셀값이 (제1 이미지의 픽셀값)*0.7 + (제2 이미지의 픽셀값)*0.3 = (합성된 이미지의 픽셀값)이 되도록 가중치 함수를 결정할 수 있다. 이미지 생성 장치(100)는 제1 합성 영역(204)의 경계로부터 제1 조명 노이즈 영역(203)의 경계까지 이동할 때, 픽셀값이 제1 이미지의 픽셀값에서 제2 이미지(300)의 픽셀값으로 점진적으로 변화하도록 가중치 함수를 결정할 수 있다. 이로써 이미지 생성 장치(100)는 자연스러운 합성을 통하여 조명 노이즈가 제거된 이미지를 생성할 수 있다.
이미지 생성 장치(100)는 설정한 제1 이미지(200)에서 설정한 조명 노이즈 영역(203)을 기초로 하여, 제1 합성 영역(204)을 설정할 수 있다.
여기서, 이미지 생성 장치(100)는 제1 합성 영역(204)이 조명 노이즈 영역(203)를 포함하도록 설정할 수 있다.
또한, 이미지 생성 장치(100)는 제1 합성 영역(204)의 형태를 조명 노이즈 영역(203) 동일 또는 유사한 형태로 설정할 수 있다.
또한, 이미지 생성 장치(100)는 제1 합성 영역(204)의 면적이 조명 노이즈 영역(203) 면적의 일정비율이 되도록 설정될 수 있다. 예를 들어, 제1 합성 영역(204)은 조명 노이즈 영역(203) 면적의 1.5배의 면적을 갖도록 설정될 수 있다.
또한, 이미지 생성 장치(100)는 제1 합성 영역(204)의 경계가 조명 노이즈 영역(203)의 경계로부터 소정의 거리만큼 떨어지도록 설정할 수 있다.
또한, 이미지 생성 장치(100)는 제1 합성 영역(204)과 조명 노이즈 영역(203)이 동일한 중심점을 갖도록 설정될 수 있다.
일 실시 예에 따르는 도 5를 참조하면 이미지 생성 장치(100)는 제1 방법에 따르는 국부적인 합성을 위하여 합성 영역을 기초로 하는 가중치 함수를 획득할 수 있다(S105).
이미지 생성 장치(100)는 조명 노이즈가 존재하는 제1 이미지(200)의 조명 노이즈 영역(203) 및 제1 합성 영역(204)을 기초로 하여 제1 방법에 따른 국부적인 합성을 위한 가중치 함수 f(x) 및 f(y)를 설정할 수 있다. 가중치 함수를 설정하는 기준 및 방법은 f(x)를 중심으로 후술되지만, f(y) 및 f(x,y)에도 동일하게 적용될 수 있음은 물론이다.
가중치 함수 f(x)의 x축은 제1 이미지(200)의 가로축 또는 세로축 상의 픽셀의 위치를 의미할 수 있다. 또한, 가중치 함수 f(x)의 z축은 가중치를 의미할 수 있다. 이 때, 가중치는 0~1 범위의 값으로 나타날 수 있다.
설명의 편의를 위하여 도 5에서 제1 이미지(200)의 경계를 가중치 함수 f(x)의 x축 상에서 p0 및 p5로 표시하도록 한다. 또한, 제1 합성 영역(204)과 조명 노이즈가 발생하지 않은 영역 사이의 경계를 가중치 함수 f(x)의 x축상에서 p1 및 p4로 표시하도록 한다. 또한, 제1 합성 영역(204)과 조명 노이즈 영역(203)의 경계를 가중치 함수 f(x)의 x축상에서 p2 및 p3으로 표시하도록 한다.
일 실시예에 따라 가중치 함수 f(x)를 이용하여 합성된 이미지의 픽셀값 함수 F(x)는 하기 수식 1로 표현될 수 있다.
[수식 1]
F(x) = (1-f(x))*A + f(x)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
이미지 생성 장치(100)는 조명 노이즈가 발생하지 않은 영역과 대응되는 p0≤x≤p1 및 p4≤x≤p5 (또는, p0<x<p1 및 p4<x<p5)에서 가중치 함수의 함수값 f(x)가 0이 되도록 설정할 수 있다. 이미지 생성 장치(100)는 [수식1]에 따라 p0≤x≤p1 및 p4≤x≤p5 (또는, p0<x<p1 및 p4<x<p5)에 위치하는 제1 이미지(200)의 픽셀값에 1-f(x) = 1(∵f(x)=0)의 가중치를 곱할 수 있다. 또한, 이미지 생성 장치(100)는 [수식1]에 따라 p0≤x≤p1 및 p4≤x≤p5 (또는, p0<x<p1 및 p4<x<p5)에 위치하는 제2 이미지(300)의 픽셀값에 f(x) = 0의 가중치를 곱할 수 있다. 이로써, 이미지 생성 장치는 p0≤x≤p1 및 p4≤x≤p5 (또는, p0<x<p1 및 p4<x<p5)에 위치하는 합성된 이미지의 픽셀값이 제1 이미지의 픽셀값이 되도록 가중치 함수를 설정할 수 있다.
이미지 생성 장치(100)는 제1 합성 영역(204)의 경계와 조명 노이즈 영역(203)의 경계 사이에 위치하는 영역에 대응되는 p1≤x≤p2 및 p3≤x≤p4 (또는, p1<x<p2 및 p3<x<p4)에서 가중치 함수의 함수값 f(x)가 0과 1 사이의 값을 포함하도록 설정할 수 있다. 이로써, 이미지 생성 장치(100)는 [수식1]에 따라 대응되는 p1≤x≤p2 및 p3≤x≤p4 (또는, p1<x<p2 및 p3<x<p4)에 위치하는 제1 이미지(200)의 픽셀값에 0<1-f(x)<1(∵0<f(x)<1)의 가중치를 곱할 수 있다. 또한, 이미지 생성 장치(100)는 [수식1]에 따라 대응되는 p1≤x≤p2 및 p3≤x≤p4 (또는, p1<x<p2 및 p3<x<p4)에 위치하는 제2 이미지(200)의 픽셀값에 0<f(x)<1의 가중치를 곱할 수 있다. 이로써, 이미지 생성 장치(100)는 제1 이미지의 픽셀값과 제2 이미지의 픽셀값이 각각 소정의 비율만큼 합성된 이미지의 픽셀값에 반영되도록 가중치 함수를 결정할 수 있다.
이미지 생성 장치(100)는 조명 노이즈 영역(203)과 대응되는 p2≤x≤p3 (또는, p2<x<p3)에서 가중치 함수의 함수값 f(x)가 1을 포함하도록 설정할 수 있다. 이미지 생성 장치(100)는 [수식1]에 따라 p2≤x≤p3 (또는, p2<x<p3)에 위치하는 제1 이미지(200)의 픽셀값에 1-f(x) = 0(∵f(x)=1)의 가중치를 곱할 수 있다. 또한, 이미지 생성 장치(100)는 [수식1]에 따라 p2≤x≤p3(또는, p2<x<p3)에 위치하는 제2 이미지(300)의 픽셀값에 f(x) = 1의 가중치를 곱할 수 있다. 이로써, 이미지 생성 장치는 p0≤x≤p1 및 p4≤x≤p5 (또는, p0<x<p1 및 p4<x<p5)에 위치하는 합성된 이미지의 픽셀값이 제1 이미지의 픽셀값이 되도록 가중치 함수를 설정할 수 있다.
즉 제1 방법에 따르는 이미지 생성 장치는(100), 제1 이미지(200)의 조명 노이즈 영역(203)에 대응하는 제2 이미지의 일부 영역을 제1 이미지에 합성함으로써 제1 이미지(200)의 조명 노이즈를 제거할 수 있다.
도 5는 또한, 3차원 가중치 함수의 예시를 설명하기 위한 그래프를 도시한다.
일 실시예에 따르는 도 5를 참조하면, 이미지 생성 장치(100)는 제1 이미지(200)의 가로축을 따라 획득한 가중치 함수 f(x) 및 세로축을 따라 획득한 가중치 함수 f(y)를 기초로 하여 3차원 가중치 함수 z = f(x,y)를 획득할 수 있다.
이미지 생성 장치(100)는 3차원 가중치 함수 z = f(x, y)를 기초로 제1 방법에 따라 제1 이미지(200)와 제2 이미지(300)를 합성하여 제1 이미지(200)의 조명 노이즈를 제거할 수 있다.
도 6은 직선형 가중치 함수와 sigmoid형 가중치 함수를 설명하기 위한 도면이다.
일 실시 예에 따르는 도 6을 참조하면, 이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(200)과 제2 이미지(200)의 조명 반사 영역(200)의 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수 있다(S105). 구체적으로, 이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(200)의 픽셀값과 제2 이미지(200)의 조명 반사 영역(200)의 픽셀값의 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수 있다(S105). 설명의 편의를 위해 가중치 함수 f(x)를 중심으로 가중치 함수의 유형을 결정하는 방법에 대하여 설명하며, 이 방법은 가중치 함수 f(y) 및 f(x,y)의 유형을 결정할 때에도 동일하게 적용될 수 있다.
도 5에 도시된 바와 같이, 이미지 생성 장치(100)는 제1 합성 영역(204)의 경계와 조명 노이즈 영역(203)의 경계 사이에 위치하는 영역에 대응되는 p1≤x≤p2 및 p3≤x≤p4 (또는, p1<x<p2 및 p3<x<p4)에서 가중치 함수의 함수값 f(x)가 0과 1 사이의 값을 포함하도록 설정할 수 있다. 또한, 이미지 생성 장치(100)는 p1≤x≤p2 및 p3≤x≤p44, 가중치 함수 f(x)가 (p1,0)과 (p2,1)을 지나는 직선 함수 및 (p3,1)과 (p4,0)을 지나는 직선 함수를 포함하도록 설정할 수 있다.
다만, 조명 노이즈 제거를 위해 합성에 이용되는 제1 이미지(200) 및 제2 이미지(300)의 픽셀값 분포의 유사도가 낮을 때, 도 5에 도시된 바와 같이 가중치 함수 f(x)가 (p1,0)과 (p2,1)을 지나는 직선 함수 및 (p3,1)과 (p4,0)을 지나는 직선 함수를 포함하는 유형의 함수(이하, 직선형 함수라고 한다)로 설정된다면, 합성된 이미지에 블러(blur)가 나타남으로써 이미지에 표시된 글자 및 사진 등이 포함하는 정보가 식별 불가능해지는 문제가 발생할 수 있다.
구체적으로, 이미지 생성 장치(100)는 서로 다른 곳에 위치하는 제1 및 제2 조명부(102a, 102b)를 이용하여 각각 제1 이미지(200) 및 제2 이미지(300)를 획득하기 때문에, 제1 이미지(200)의 픽셀값과 제2 이미지(300)의 픽셀값의 분포는 상이할 수 있다.
일 실시 예에 따라 p1≤x≤p2 및 p3≤x≤p4에서 가중치 함수 f(x)가 모두 0과 1 사이의 값을 갖는 직선형 함수인 경우, [수식1]에 따라 합성된 이미지의 픽셀값 F(x)= (제1 이미지의 픽셀값)*(1-f(x)) + (제2 이미지의 픽셀값)*f(x)는 p1≤x≤p2 및 p3≤x≤p4에서 제1 이미지의 픽셀값 및 제2 이미지의 픽셀값의 분포와 유사도가 낮은 분포를 갖게 된다. 예를 들어 p1≤x≤p2 및 p3≤x≤p4를 만족하는 일 지점 x=a에서 f(a) = 0.7인 경우, [수식1]에 따라 F(a)= (제1 이미지의 픽셀값)*0.3 + (제2 이미지의 픽셀값)*0.7는 제1 이미지의 픽셀값 및 제2 이미지의 픽셀값과 모두와 차이가 큰 픽셀값으로 나타난다.
이와 같이 합성된 이미지의 픽셀값이 제1 이미지(200) 및 제2 이미지(300) 픽셀값의 분포와 다른 픽셀값을 갖게되고, 이러한 픽셀값을 갖는 픽셀 수가 많아진 다면 이는 합성된 이미지 상에서 블러(blur)로 나타날 수 있다. 또한, 이미지 상의 블러(blur)는 이미지가 포함하는 사진 및 글자의 경계를 흐리게 만들어, 상기 사진 및 글자가 포함하는 정보는 식별할 수 없게 된다.
따라서 이미지 생성 장치(100)는 제1 이미지(200)의 픽셀과 제2 이미지(300)의 픽셀값 분포의 유사도가 작을 때, 제1 이미지의 픽셀값과의 차이 및 제2 이미지의 픽셀값과의 차이가 큰 픽셀값 F(x)를 갖는 픽셀의 수를 감소시키고 제1 이미지의 픽셀값 및 제2 이미지의 픽셀값에 가까운 픽셀값 F(x)를 갖는 픽셀의 수를 증가시킴으로써 블러(blur)가 나타나지 않도록 할 수 있다.
일 실시예에 따르는 이미지 생성 장치(100)는 제1 조명 노이즈 영역(203)과 제2 조명 노이즈 영역(303) 각각의 픽셀값 분포의 유사도가 작은 경우, 도 6의 (b)에 도시된 바와 같이 sigmoid 형의 함수를 가중치 함수로 설정할 수 있다.
구체적으로 상기 유사도가 작은 경우 가중치 함수가 도 8의 (a)와 p1≤x≤p2 및 p3≤x≤p4에서 sigmoid형태를 갖는 가중치 함수(이하, sigmoid형 함수라고 한다)로 결정된다면, 합성된 이미지에서 p1≤x≤pa, pb≤x≤p2, p3≤x≤pc 및 pd≤x≤p4에 대응되는 위치에 있는 복수의 픽셀은 제1 이미지(200)의 원본 픽셀값 또는 제2 이미지의(300)의 원본 픽셀값에 가까운 픽셀값을 가질 수 있으므로, 블러(Blur)가 나타나는 문제를 예방할 수 있다.
이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(203)과 제1 이미지의 조명 반사 영역(203)과 대응되는 위치에 있는 제2 이미지의 일부 영역의 픽셀값 분포에 대한 유사도를 획득하고, 획득한 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수 있다.
또한, 이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(203)과 제1 이미지의 전체 영역과 및 제2 이미지의 전체 영역의 픽셀 밝기의 분포에 대한 유사도를 판단하고, 판단한 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수도 있다.
여기서, 상기 픽셀값 분포는 히스토그램으로 표시될 수 있다. 이 때, 히스토그램의 가로축은 픽셀의 밝기를 의미할 수 있고, 세로축은 해당 밝기를 갖는 픽셀의 수 또는 전체 픽셀수에 대하여 해당 밝기를 갖는 픽셀의 비율을 의미할 수 있다.
여기서, 유사도는 0과 1사이의 값을 갖는 상관계수로 표시될 수 있다. 이 때, 0은 유사도가 낮음을 의미하고, 1은 유사도가 높음을 의미할 수 있다.
일 실시예에 따르는 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 초과의 값을 가질 때, 가중치 함수를 sigmoid형 함수로 결정할 수 있다.
예를 들어, 이미지 생성 장치(100)는 상관계수가 0이상 0.5 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다.
다른 실시예에 따르는 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이상의 값을 갖고 제2 소정의 값 미만의 값을 가질 때, 가중치 함수를 sigmoid형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제2 소정의 값 이상의 값을 가질 때, 가중치 함수를 tanh형 함수로 결정할 수도 있다.
도 7은 제1 방법에 기초한 일 실시 예에 따라 가중치 함수를 이용하여 이미지를 합성하는 단계를 설명하기 위한 도면이다.
일 실시예에 따르는 도 7을 참조하면, 이미지 생성 장치(100)는 획득한 가중치 함수를 이용하여 조명 노이즈를 제거할 수 있다(S106).
구체적으로, 이미지 생성 장치(100)는 획득한 가중치 함수 f(x)를 이용하여 전술한 [수식 1]에 따라, 제1 이미지(200)와 제2 이미지(300)를 합성함으로써 제1 이미지(200)의 조명 노이즈가 제거된 합성 이미지를 획득할 수 있다. 이 때, 합성된 이미지의 픽셀값은 F(x)로 나타낼 수 있다.
또한, 이미지 생성 장치(100)는 획득한 가중치 함수 f(y)를 이용하여 하기 [수식 2]에 따라, 제1 이미지(200)와 제2 이미지(300)를 합성함으로써 제1 이미지(200)의 조명 노이즈가 제거된 합성 이미지를 획득 할 수 있다. 이 때, 합성된 이미지의 픽셀값은 F(y)로 나타낼 수 있다.
[수식 2]
F(y) = (1-f(y))*A + f(y)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
이미지 생성 장치(100)는 [수식1] 및 [수식2]에 따라 제1 이미지(200) 및 제2 이미지(300)를 국부적으로 합성하여 제1 이미지(200) 상에 나타난 조명 노이즈를 제거할 수 있다.
또한, 이미지 생성 장치(100)는 획득한 가중치 함수 f(x) 또는 f(y)를 기초로 하여 3차원 가중치 함수 z = f(x,y)를 획득하고, 획득한 f(x,y)를 이용하여 [수식3에 따라 제1 이미지(200) 및 제2 이미지(300)를 국부적으로 합성하여 제1 이미지(200) 상에 나타난 조명 노이즈를 제거할 수 있다.
[수식 3]
F(x,y) = (1-f(x,y))*A + f(x,y)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
제1 이미지(200) 조명 노이즈 영역(203)에 적용되는 가중치 함수 f(x), f(y) 또는 f(x,y)는 p2≤x≤p3 및 p2≤y≤p3 (또는, p2<x<p3 및 p2<y<p3)에서 1에 가까운 값을 갖기 때문에, 제1 이미지(200)의 픽셀값에는 0에 가까운 값이 곱해지고 제2 이미지(300)의 픽셀값에는 1에 가까운 값이 곱해진다. 따라서, 합성된 이미지 상에서 p2≤x≤p3 및 p2≤y≤p3 (또는, p2<x<p3 및 p2<y<p3)에 대응되는 영역은, 제2 이미지(300)의 원본에 가까운 이미지가 나타날 수 있다. 이 때, 제2 이미지(300)상에서 p2≤x≤p3 및 p2≤y≤p3 (또는, p2<x<p3 및 p2<y<p3)에 대응되는 영역은 조명 노이즈가 발생하지 않은 영역일 수 있다. 즉, 제1 이미지(200)의 조명 노이즈 영역(203)이 이에 대응되는 위치에 있는 제2 이미지(300)의 대응 영역(305)으로 대체됨으로써 제1 이미지(200) 상의 조명 노이즈가 제거되는 결과를 낳게 된다.
또한, p1≤x≤p2, p3≤y≤p4, p1≤y≤p2 및 p3≤y≤p4 (또는, p1<x<p2, p3<s<p4, p1<y<p2 및 p3<y<p4)에 대응되는 합성된 이미지는, 제1 이미지(200)의 픽셀값과 제2 이미지(300)의 픽셀값이 각각 소정의 비율만큼 반영되므로, 전술한 바와 같이 이미지 생성 장치(100)는 보다 자연스러운 합성을 통해 조명 노이즈를 제거할 수 있다.
이미지 생성 장치(100)는 전술한 제1 방법에 따라 제2 이미지의 조명 노이즈를 제거할 수도 있다.
일 실시 예에 따르면, 이미지 생성 장치(100)는 제1 방법에 따라 조명 노이즈가 제거된 제1 이미지(200)의 왼쪽 영역과 제1 방법에 따라 조명 노이즈가 제거된 제2 이미지(300)의 오른쪽 영역을 기초로 하여 제3 이미지를 획득할 수도 있다.
이미지 생성 장치(100)는 수광부(101)의 왼쪽에 위치한 제1 조명부(102a)를 이용하여 제1 이미지(200)를 획득하기 때문에, 제1 이미지(200)는 제1 방법에 따라 조명 노이즈를 제거한 후에도 왼쪽 영역이 오른쪽 영역보다 밝을 수 있다.
또한, 이미지 생성 장치(100)는 수광부(101)의 오른쪽에 위치한 제2 조명부(102b)를 이용하여 제2 이미지(200)를 획득하기 때문에, 제2 이미지(200)는 제2 방법에 따라 조명 노이즈를 제거한 후에도 오른쪽 영역이 왼쪽 영역보다 밝을 수 있다.
이미지 생성 장치(100)는 제1 방법에 따라 조명 노이즈가 제거된 제1 이미지의 왼쪽 영역과 밝기가 유사한 제1 방법에 따라 조명 노이즈가 제거된 제2 이미지의 오른쪽 영역을 합성함으로써 밝기가 균일한 제3 이미지를 획득할 수도 있다.
일 실시 예에 따르는 도 8을 참조하여 전역적인 합성에 따라 이미지의 조명 노이즈를 제거하기 위한 제2 방법에 관하여 설명한다.
제2 방법에 따르는 이미지 생성 장치(100)는 제1 이미지(200)에서 조명 노이즈가 발생하지 않은 일부 영역과 제2 이미지(300)에서 조명 노이즈가 발생하지 않은 일부 영역을 합성함으로써 조명 노이즈가 나타나지 않은 제3 이미지를 획득할 수 있다.
구체적으로, 제1 이미지(200)는 수광부(101)의 왼쪽에 위치하는 제1 조명부(102a)를 이용하여 획득되기 때문에, 제1 이미지(200)의 오른쪽 영역은 조명 노이즈가 나타나지 않을 수 있다. 또는 제1 이미지(200)의 오른쪽 영역은 왼쪽 영역과 비교했을 때 적은 양의 조명 노이즈만이 나타날 수 있다.
제2 이미지(300)는 수광부(101)의 오른쪽에 위치하는 제2 조명부(102b)를 이용하여 획득되기 때문에, 동일한 원리에 따라 제2 이미지(300)의 왼쪽 영역은 조명 노이즈가 나타나지 않거나 왼쪽 영역과 비교했을 때 적은 양의 노이즈만이 나타날 수 있다.
따라서, 제2 방법에 따르는 이미지 생성 장치(100)는 수광부(101)의 왼쪽에 위치하는 제1 조명부(102a)를 이용하여 획득한 제1 이미지(200)의 오른쪽 영역 및 수광부(101)의 오른쪽에 위치하는 제2 조명부(102b)를 이용하여 획득한 제2 이미지(200)의 왼쪽 영역을 합성함으로써 조명 노이즈가 나타나지 않거나 비교적 적게 나타나는 제3 이미지를 획득할 수 있다.
다만, 복수의 조명부(102)의 위치에 따라 제2 방법에 따르는 합성에 이용되는 제1 이미지 및 제2 이미지의 일부 영역의 위치는 달라질 수 있으며, 반드시 오른쪽 영역 또는 왼쪽 영역으로 한정되지 아니한다. 예를 들어, 수광부(101)를 기준으로 두 개의 조명부가 상하로 위치하는 경우, 획득한 이미지의 위쪽 영역 또는 아래쪽 영역이 합성에 이용될 수 있음은 물론이다.
제2 방법에 따르는 조명 노이즈가 제거된 이미지 생성 방법은 제1 방법에 따르는 제1 이미지를 획득하는 단계(S101), 제2 조명부를 이용하여 제2 이미지를 획득하는 단계(S102), 제1 및 제 2 이미지의 조명 노이즈 영역을 추출하는 단계(S103)가 동일하게 적용될 수 있다. 또한, 제2 방법에서는 조명 노이즈 영역을 기초로 합성 영역을 설정하는 단계(S104)는 수행되지 않는 바, 이하 제2 방법에 따라 합성을 위한 가중치 함수를 결정하는 단계(S105) 및 가중치 함수를 이용한 조명 노이즈를 제거하는 단계(S106)을 중심으로 설명하도록 한다.
일 실시 예에 따른 도 8을 참조하면, 제2 방법에 따르는 이미지 생성 장치(100)는 합성을 위한 가중치 함수를 결정하는 단계에서 제1 이미지(200)의 제1 조명 노이즈 영역(203) 및 제2 이미지(300)의 제2 조명 노이즈 영역(303)을 기초로 하여 가중치 함수 f(x)를 설정할 수 있다. 이 때, 가중치 함수 f(x)의 x축은 제1 이미지(200)의 가로축 상의 픽셀의 위치를 의미할 수 있다. 또한, 가중치 함수 f(x)의 z축은 가중치 함수의 함수값을 의미할 수 있다.
이 때, 제 2방법에 따르는 이미지 생성 장치(100)는 제1 방법에 따르는 이미지 생성 장치(100)와 같이 가중치 함수 f(y) 및 f(x, y)를 획득할 수도 있다. 또한, 제2 방법에 다르는 이미지 생성 장치(100)는 가중치 함수 f(y) 및 f(x, y)를 기초로 하여 조명 노이즈가 제거된 이미지를 생성할 수도 있다.
일 실시 예에 따르는 도 8을 참조하면, 제1 및 제2 이미지의 경계를 가중치 함수의 x축 상에서 p0 및 p5로 표시할 수 있다. 또한, 제1 조명 노이즈 영역(203)의 경계를 가중치 함수의 x축 상에서 p1 및 p2로 표시할 수 있다. 또한, 제2 조명 노이즈 영역(303)의 경계를 가중치 함수의 x축 상에서 p3 및 p4로 표시할 수 있다.
이미지 생성 장치(100)는 조명 노이즈가 발생하지 않은 영역과 대응되는 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5)에서 가중치 함수의 함수값 f(x)가 0에서 1사이의 값을 포함하도록 설정할 수 있다.
이하 가중치를 이용한 조명 노이즈를 제거하는 단계(S106)에서 상세히 후술하겠지만, 가중치 함수 f(x)를 이용하여 합성된 이미지의 픽셀값을 나타내는 함수 F(x)는 하기 [수식4]에 따르는 값을 가질 수 있다.
[수식 4]
F(x) = (1-f(x))*A + f(x)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
따라서, 이미지 생성 장치(100)는 제1 이미지(200)상에서 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5)에 대응되는 픽셀값에 0보다 크고 1보다 작은 가중치 1-f(x)을 곱함으로써, 제1 이미지의 픽셀값이 1보다 작은 소정의 비율만큼 합성된 이미지의 픽셀값에 반영되도록 가중치 함수를 결정할 수 있다. 이 때, 제2 이미지(300)상에서 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5)에 대응되는 픽셀에 0보다 크고 1보다 작은 가중치 f(x)를 곱함으로써, 제2 이미지의 픽셀값 역시 1보다 작은 소정의 비율만큼 합성된 이미지의 픽셀값에 반영되도록 가중치 함수를 결정할 수 있다.
이미지 생성 장치(100)는 제1 조명 노이즈 영역(203)과 대응되는 p1≤x≤p2 (또는, p1<x<p2) 에서 가중치 함수의 함수값 f(x)가 1을 포함하도록 설정할 수 있다.
따라서, 이미지 생성 장치(100)는 제1 이미지(200)상에서 p1≤x≤p2 (또는, p1<x<p2)에 대응되는 픽셀값에 가중치 1-f(x) = 0(∵f(x)=1)을 곱할 수 있다. 또한, 이미지 생성 장치(100)는 제2 이미지(200)상에서 p1≤x≤p2 (또는, p1<x<p2)에 대응되는 픽셀값에 가중치 f(x)=1을 곱할 수 있다. 이로써, 이미지 생성 장치는 상에서 p1≤x≤p2 (또는, p1<x<p2)에 위치하는 합성된 이미지의 픽셀값이 제1 이미지의 픽셀값이 되도록 가중치 함수를 설정할 수 있다.
이미지 생성 장치(100)는 제1 조명 노이즈 영역(203)과 대응되는 p3≤x≤p3 (또는, p3<x<p4) 에서 가중치 함수의 함수값 f(x)가 0을 포함하도록 설정할 수 있다.
따라서, 이미지 생성 장치(100)는 제1 이미지(200)상에서 p3≤x≤p4 (또는, p3<x<p4)에 대응되는 픽셀값에 가중치 1-f(x)=1(∵f(x)=0)을 곱할 수 있다. 또한, 이미지 생성 장치(100)는 제2 이미지(200)상에서 p3≤x≤p4 (또는, p3<x<p4)에 대응되는 픽셀값에 가중치 f(x)=0을 곱할 수 있다. 이로써, 이미지 생성 장치는 상에서 p3≤x≤p4 (또는, p3<x<p4)에 위치하는 합성된 이미지의 픽셀값이 제2 이미지의 픽셀값이 되도록 가중치 함수를 설정할 수 있다.
일 실시예에 따르는 도 8을 참조하면, 이미지 생성 장치(100)는 획득한 가중치 함수를 이용하여 조명 노이즈를 제거할 수 있다(S106).
구체적으로, 이미지 생성 장치(100)는 획득한 가중치 함수 f(x)를 이용하여 전술한 수식 4에 따라, 제1 이미지(200)와 제2 이미지(300)를 합성함으로써 제1 이미지(200)의 조명 노이즈가 제거된 합성 이미지를 획득할 수 있다. 이 때, 합성된 이미지의 픽셀값은 F(x)로 나타낼 수 있다.
또한, 이미지 생성 장치(100)는 획득한 가중치 함수 f(x) 또는 f(y)를 기초로 하여 3차원 가중치 함수 z = f(x,y)를 획득하고, 획득한 f(x,y)를 이용하여 수식3에 따라 제1 이미지(200) 및 제2 이미지(300)를 국부적으로 합성하여 제1 이미지(200) 상에 나타난 조명 노이즈를 제거할 수 있다.
결과적으로, 제2 방법에 따르는 이미지 생성 장치(100)는 제1 이미지의 조명 노이즈를 이에 대응되는 위치에 있는 제2 이미지로 대체함으로써 제거하고, 제2 이미지의 조명 노이즈를 이에 대응되는 위치에 있는 제1 이미지로 대체함으로써 제거할 수 있다.
또한, 도 8은 가중치 함수 f(x)만을 도시하고 있으나, 제1 방법에 따르는 도 5에 도시된 바와 같이 제2 방법에 따르는 이미지 생성 장치 역시 이미지의 세로축에 따라 가중치 함수 f(y)를 설정하고, 하기 수식 5에 따라 이미지의 조명 노이즈를 제거할 수 있다.
[수식 5]
F(y) = (1-f(y))*A + f(y)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
또한, 제2 방법에 따르는 이미지 생성 장치(100)도 제1 이미지(200)의 가로축을 따라 획득한 가중치 함수 f(x) 및 세로축을 따라 획득한 가중치 함수 f(y)를 기초로 하여 3차원 가중치 함수 z = f(x,y)를 획득하고, 하기 수식 6에 따라 이미지의 조명 노이즈를 제거할 수 있다.
[수식 6]
F(x,y) = (1-f(x,y))*A + f(x,y)*B
여기서, A는 제1 이미지(200)의 픽셀값을 의미할 수 있고, B는 제2 이미지(300)의 픽셀값을 의미할 수 있다.
도 9는 제2 방법에 따르는 직선형 가중치 함수와 sigmoid형 가중치 함수를 설명하기 위한 도면이다.
일 실시 예에 따르는 도 9를 참조하면, 일 실시 예에 따르는 이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(200)과 제2 이미지(200)의 조명 반사 영역(200)의 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수 있다(S105).
일 실시 예에 따르는 도 8에 도시된 바와 같이, 이미지 생성 장치(100)는 제1 이미지(200)의 경계와 제1 조명 노이즈 영역(203)의 경계의 사이에 위치하는 영역, 제1 조명 노이즈 영역(203)의 경계와 제2 조명 노이즈 영역(303)의 경계의 사이에 위치하는 영역 및 제2 조명 노이즈 영역(303)과 제2 이미지(300)의 경계의 사이에 위치하는 영역에 대응되는 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5)에서 가중치 함수의 함수값 f(x)가 0과 1 사이의 값을 포함하도록 설정할 수 있다. 또한, 이미지 생성 장치(100)는 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5) 일 때, 가중치 함수 f(x)가 (p0,1)과 (p1,0)을 지나는 직선 함수, (p2,0)과 (p3,1)을 지나는 직선 함수 및 (p4,1)과 (p5,0)을 지나는 직선 함수를 포함하도록 설정할 수 있다.
다만 p0≤x≤p1, p2≤x≤p3 및 p4≤x≤p5 (또는, p0<x<p1 및 p2<x<p3 및 p4<x<p5)일 때, 가중치 함수 f(x)가 항상 직선 함수를 포함하는 유형의 함수(이하, 직선형 함수라고 한다)로 설정된다면 제1 방법에서 이미지 상에 블러(blur)가 나타나는 경우에 대하여 전술한 것과 동일한 원리에 따라 합성된 이미지에 블러(blur)가 나타남으로써 이미지에 표시된 글자 및 사진 등이 포함하는 정보가 식별 불가능해지는 문제가 발생할 수 있다. 따라서 이러한 문제를 해결하기 위해, 이미지 생성 장치(100)는 제1 이미지(200) 및 제2 이미지(300)의 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수 있다.
또한, 이미지 생성 장치(100)는 제1 이미지(200)의 조명 반사 영역(203)과 제1 이미지의 전체 영역과 및 제2 이미지의 전체 영역의 픽셀 밝기의 분포에 대한 유사도를 판단하고, 판단한 유사도를 기초로 하여 가중치 함수의 유형을 결정할 수도 있다.
여기서, 상기 픽셀 밝기의 분포는 히스토그램으로 표시될 수 있다. 이 때, 히스토그램의 가로축은 픽셀의 밝기를 의미할 수 있고, 세로축은 해당 밝기를 갖는 픽셀의 수 또는 전체 픽셀수에 대하여 해당 밝기를 갖는 픽셀의 비율을 의미할 수 있다.
여기서, 유사도는 0과 1사이의 값을 갖는 상관계수로 표시될 수 있다. 이 때, 0은 유사도가 낮음을 의미하고, 1은 유사도가 높음을 의미할 수 있다.
일 실시예에 따르는 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 초과의 값을 가질 때, 가중치 함수를 sigmoid형 함수로 결정할 수 있다.
예를 들어, 이미지 생성 장치(100)는 상관계수가 0이상 0.5 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다.
다른 실시예에 따르는 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이하의 값을 가질 때, 가중치 함수를 직선형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제1 소정의 값 이상의 값을 갖고 제2 소정의 값 미만의 값을 가질 때, 가중치 함수를 sigmoid형 함수로 결정할 수 있다. 또한, 이미지 생성 장치(100)는 상관계수가 제2 소정의 값 이상의 값을 가질 때, 가중치 함수를 tanh형 함수로 결정할 수도 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 이미지 생성 장치
101 수광부
102 조명부
103 이미지 처리부
104 대상체 수용부
200 제1 이미지
203 제1 조명 노이즈 영역
204 제1 합성 영역
300 제2 이미지
303 제2 조명 노이즈 영역
304 제2 합성 영역

Claims (14)

  1. 이미지를 생성하는 장치에 있어서,
    수광부;
    대상체에 광을 조사하는 제1 조명부;
    상기 제1 조명부와 상이한 위치에 배치되고, 상기 대상체에 광을 조사하는 제2 조명부;
    상기 제1 조명부 또는 상기 제2 조명부로부터 상기 대상체에 광이 조사된 경우 상기 대상체로부터 되돌아오는 광을 수광하는 수광부;
    상기 수광부에서 수광된 광에 기초한 이미지 데이터를 획득하고, 상기 획득된 이미지 데이터를 처리하는 이미지 처리부
    를 포함하고,
    상기 이미지 처리부는,
    상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제1 이미지를 획득하고,
    상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하고,
    상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하되,
    상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하고,
    상기 유사도, 상기 제1 이미지의 일부 영역의 경계 및 상기 제2 이미지의 일부 영역의 경계를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하고,
    상기 가중치 함수를 기초로 상기 제1 이미지 및 상기 제2 이미지를 합성하여 이미지를 생성하는,
    이미지 생성 장치.
  2. 제 1항에 있어서,
    상기 제1 조명부와 상기 제2 조명부는 상기 수광부를 중심으로 대칭인 곳에 위치하는
    이미지 생성 장치.
  3. 제 1항에 있어서,
    상기 대상체를 수용하는 대상체 수용부를 더 포함하고,
    상기 제1 조명 노이즈 영역은 상기 대상체 수용부의 제1 영역에 대하여 상기 제1 조명부에 의해 조사된 광에 의해 발생되고,
    상기 제2 조명 노이즈 영역은 상기 대상체 수용부의 제2 영역에 대하여 상기 제2 조명부에 의해 조사된 광에 의해 발생되고,
    상기 제1 조명부와 상기 제1 영역 사이의 거리는 상기 제1 조명부와 상기 제2 영역 사이의 거리보다 짧고,
    상기 제2 조명부와 상기 제2 영역 사이의 거리는 상기 제2 조명부와 상기 제1 영역 사이의 거리보다 짧은
    이미지 생성 장치.
  4. 제 1항에 있어서,
    상기 이미지 처리부는
    상기 제1 조명 노이즈 영역을 기초로 상기 제1 조명 노이즈 영역을 포함하는 제1 합성 영역을 획득하고,
    상기 유사도, 상기 제1 조명 노이즈 영역의 경계 및 상기 제1 합성 영역의 경계를 기초로 하여 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 상기 가중치 함수를 결정하는
    이미지 생성 장치.
  5. 제 4항에 있어서,
    상기 이미지 처리부는
    상기 제1 이미지의 상기 제1 조명 노이즈 영역과 상기 제2 이미지의 상기 제2 조명 노이즈 영역의 유사도를 획득하는
    이미지 생성 장치.
  6. 제 5항에 있어서,
    상기 이미지 처리부는
    상기 제1 조명 노이즈 영역을 포함하지 않는 상기 제1 이미지의 제1 일부영역 및 상기 제2 조명 노이즈 영역을 포함하지 않는 상기 제2 이미지의 제2 일부영역의 유사도를 획득하는
    이미지 생성 장치.
  7. 제 1항에 있어서,
    상기 이미지 처리부는
    상기 제1 이미지의 일부 영역은 상기 제1 조명 노이즈 영역을 포함하지 않고, 상기 제2 이미지의 일부 영역은 상기 제2 조명 노이즈 영역을 포함하지 않는
    이미지 생성 장치.
  8. 제 1항에 있어서,
    상기 이미지 처리부는
    상기 유사도, 상기 제1 조명 노이즈 영역의 경계 및 상기 제2 조명 노이즈 영역의 경계를 기초로 하여 상기 가중치 함수를 획득하는
    이미지 생성 장치.
  9. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
    상기 이미지 처리부는
    상기 유사도를 기초로 획득한 값이 미리 정해진 값 이하일 때, 상기 가중치 함수가 일차 함수를 포함하도록 결정하고,
    상기 유사도를 기초로 획득한 상기 값이 상기 미리 정해진 값 이상일 때, 상기 가중치 함수가 시그모이드(sigmoid) 함수를 포함하도록 결정하는
    이미지 생성 장치.
  10. 제 1항에 있어서,
    상기 수광부는 상기 되돌아오는 광을 기초로 픽셀값을 포함하는 이미지 데이터를 획득하고, 상기 이미지 데이터를 상기 이미지 처리부에 전송하고,
    상기 이미지 처리부는 획득한 상기 이미지 데이터를 기초로 이미지를 획득하는
    이미지 생성 장치.
  11. 제 1항에 있어서,
    상기 수광부는 상기 제1 조명부에서 상기 대상체에 조사한 광을 기초로 픽셀값을 포함하는 제1 이미지 데이터를 획득하고,
    상기 제1 이미지 데이터를 상기 이미지 처리부에 전송하고,
    상기 수광부는 상기 제2 조명부에서 상기 대상체에 조사한 광을 기초로 픽셀값을 포함하는 제2 이미지 데이터를 획득하고,
    상기 제2 이미지 데이터를 상기 이미지 처리부에 전송하고,
    상기 이미지 처리부는 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 기초로 이미지를 획득하는
    이미지 생성장치.
  12. 제 11항에 있어서,
    상기 수광부는
    상기 제1 이미지 데이터를 획득할 경우, 상기 제1 이미지 데이터 중 상기 대상체의 미리 정해진 제1 서브영역에 대응되는 제1 서브 이미지 데이터를 획득하고, 상기 제1 서브 이미지 데이터를 상기 이미지 처리부에 전송하고,
    상기 제2 이미지 데이터를 획득할 경우, 상기 제2 이미지 데이터 중 상기 대상체의 미리 정해진 제2 서브영역에 대응되는 제2 서브 이미지 데이터를 획득하고, 상기 제2 서브 이미지 데이터를 상기 이미지 처리부에 전송하고,
    상기 이미지 처리부는 상기 제1 서브 이미지 데이터 및 상기 제2 서브 이미지 데이터를 기초로 이미지를 획득하는
    이미지 생성 장치.
  13. 제1 조명부를 이용하여 대상체에 광을 조사하는 단계;
    상기 제1 조명부와 상이한 위치에 배치되는 제2 조명부를 이용하여 상기 대상체에 광을 조사하는 단계;
    상기 제1 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초하여 제1 이미지를 획득하는 단계;
    상기 제2 조명부에서 광이 조사된 경우 상기 대상체로부터 되돌아오는 광에 기초한 제2 이미지를 획득하는 단계;
    상기 제1 이미지와 상기 제2 이미지의 유사도를 획득하는 단계;
    상기 유사도, 상기 제1 이미지의 일부 영역의 경계 및 상기 제2 이미지의 일부 영역의 경계를 기초로 상기 제1 이미지와 상기 제2 이미지를 합성하기 위한 가중치 함수를 결정하는 단계; 및
    상기 제1 이미지 중 상기 제1 조명부에서 조사된 광에 의한 제1 조명 노이즈 영역 및 상기 제2 이미지 중 상기 제2 조명부에서 조사된 광에 의한 제2 조명 노이즈 영역 중 적어도 하나의 영역의 픽셀값을 보정하기 위하여 상기 가중치 함수를 이용하여 상기 제1 이미지 및 상기 제2 이미지를 합성하여 제3 이미지를 생성하는 단계를 포함하는,
    이미지 생성 방법.
  14. 제 13항에 기재된 방법을 실행시키도록 구현되는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020200066295A 2020-06-02 2020-06-02 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치 KR102279867B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200066295A KR102279867B1 (ko) 2020-06-02 2020-06-02 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치
EP21177248.8A EP3920135B1 (en) 2020-06-02 2021-06-01 Method for generating an image with light noise removed and a device for generating an image using the method thereof
US17/337,288 US11393075B2 (en) 2020-06-02 2021-06-02 Method for generating an image that light noise is removed and a device for generating an image using the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200066295A KR102279867B1 (ko) 2020-06-02 2020-06-02 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치

Publications (1)

Publication Number Publication Date
KR102279867B1 true KR102279867B1 (ko) 2021-07-21

Family

ID=76269580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200066295A KR102279867B1 (ko) 2020-06-02 2020-06-02 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치

Country Status (3)

Country Link
US (1) US11393075B2 (ko)
EP (1) EP3920135B1 (ko)
KR (1) KR102279867B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074725A (ja) * 2008-09-22 2010-04-02 Canon Inc 撮像装置及び撮像装置の制御方法
JP2017103763A (ja) * 2015-11-20 2017-06-08 株式会社リコー 画像読取装置、画像形成装置および画像読取方法
JP2019041233A (ja) * 2017-08-25 2019-03-14 キヤノン株式会社 発光画像合成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US8180168B2 (en) * 2007-01-16 2012-05-15 Hewlett-Packard Development Company, L.P. One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
KR101337042B1 (ko) * 2008-10-21 2013-12-05 엘지디스플레이 주식회사 터치패널 표시장치 및 그의 구동방법
JP5531865B2 (ja) * 2010-09-03 2014-06-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
WO2013161940A1 (ja) * 2012-04-27 2013-10-31 日本電気株式会社 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
KR20140081693A (ko) * 2012-12-21 2014-07-01 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법
DE102014113256A1 (de) * 2014-09-15 2016-03-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
US9563957B1 (en) * 2015-07-02 2017-02-07 Yesvideo, Inc. 2D/3D image scanning and compositing
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 画像投影システムおよび画像投影方法
US10346953B2 (en) * 2016-08-23 2019-07-09 Microsoft Technology Licensing, Llc Flash and non-flash images in flash artifact removal
EP3826528A4 (en) * 2018-07-25 2022-07-27 Natus Medical Incorporated REAL TIME REMOVAL OF IR LED REFLECTIONS FROM AN IMAGE
CN109118466B (zh) * 2018-08-29 2021-08-03 电子科技大学 一种红外图像与可见光图像融合的处理方法
US10607077B1 (en) * 2019-10-28 2020-03-31 EyeVerify Inc. Identity authentication using an inlier neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074725A (ja) * 2008-09-22 2010-04-02 Canon Inc 撮像装置及び撮像装置の制御方法
JP2017103763A (ja) * 2015-11-20 2017-06-08 株式会社リコー 画像読取装置、画像形成装置および画像読取方法
JP2019041233A (ja) * 2017-08-25 2019-03-14 キヤノン株式会社 発光画像合成装置

Also Published As

Publication number Publication date
EP3920135B1 (en) 2024-07-17
US11393075B2 (en) 2022-07-19
US20210374914A1 (en) 2021-12-02
EP3920135A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
Salvador et al. Shadow identification and classification using invariant color models
US7974467B2 (en) Image-taking system
US7206449B2 (en) Detecting silhouette edges in images
US7218792B2 (en) Stylized imaging using variable controlled illumination
US9332156B2 (en) Glare and shadow mitigation by fusing multiple frames
US20160321825A1 (en) Measuring apparatus, system, and program
US8743426B2 (en) Image enhancement methods
JP2002305667A (ja) 色調不良を自動的に補正する方法および装置
JP3907433B2 (ja) 背景トレーニングを用いるデジタルイメージング装置
CN112633181B (zh) 数据处理方法、系统、装置、设备和介质
TR201807589T4 (tr) Bir sahnenin arka planı ile ön planının ayırımı için yöntem ve bir sahnenin görüntülerinde bir arka planın değiştirilmesi için yöntem.
CN114519808A (zh) 图像融合方法、装置及设备、存储介质
JP2016009474A (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
CN113111811A (zh) 一种目标判别方法和系统
JP2009163714A (ja) 標識判定装置および標識判定方法
KR102279867B1 (ko) 조명 노이즈를 제거한 이미지 생성 방법 및 상기 이미지 생성 방법을 이용한 이미지 생성 장치
JP5979008B2 (ja) 画像処理装置、画像処理方法及びプログラム
Karthik et al. Image quality assessment based outlier detection for face anti-spoofing
Kleber et al. Mass digitization of archival documents using mobile phones
JP2005184787A (ja) 画像処理方法及び画像処理装置
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
WO2021193013A1 (ja) 特徴情報生成装置、硬貨識別装置、特徴情報生成システム、特徴情報生成方法及び特徴情報生成プログラム
US20240185562A1 (en) Method for detecting an object in a search image, method for generating a pattern vector, and use of a method for determining a position and/or orientation of a security element of a banknote
KR101460686B1 (ko) 홀로그램 처리기능을 가지는 스캔 장치 및 스캔 방법
EP3893147B1 (en) Liveliness detection using a device comprising an illumination source

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant