KR20150072667A - 디지털 영상 처리 장치 및 그 제어 방법 - Google Patents

디지털 영상 처리 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20150072667A
KR20150072667A KR1020130160066A KR20130160066A KR20150072667A KR 20150072667 A KR20150072667 A KR 20150072667A KR 1020130160066 A KR1020130160066 A KR 1020130160066A KR 20130160066 A KR20130160066 A KR 20130160066A KR 20150072667 A KR20150072667 A KR 20150072667A
Authority
KR
South Korea
Prior art keywords
eyes
information
image data
unit
gaze direction
Prior art date
Application number
KR1020130160066A
Other languages
English (en)
Inventor
박성우
양홍식
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020130160066A priority Critical patent/KR20150072667A/ko
Priority to US14/218,415 priority patent/US20150178589A1/en
Publication of KR20150072667A publication Critical patent/KR20150072667A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 디지털 영상 처리 장치는, 입력된 영상을 이미지(image) 데이터로 제공하는 이미지 입력부, 상기 이미지 데이터에서 복수의 안구 정보를 검출하여 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 안구 이미지 판단부, 상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 시선 방향 산출부, 상기 눈의 개수 및 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하는 재촬영 판단부 및 상기 이미지 데이터를 출력하는 이미지 출력부를 포함할 수 있다.

Description

디지털 영상 처리 장치 및 그 제어 방법 {APPARATUS AND METHOD FOR DIGITAL PICTURING IMAGE}
본 발명은 디지털 영상 처리 장치 및 그 제어 방법에 관한 것이다.
통상적으로 디지털 영상 처리 장치란, 디지털 영상 처리 장치, PDA(personal digital assistant), 폰 카메라, PC 카메라 등의 영상을 처리하거나 동작 인식 센서를 사용하는 모든 장치를 포함한다. 이러한 디지털 영상 처리 장치는 원하는 영상을 촬상 소자를 통하여 입력받고, 입력된 영상을 영상 표시소자에 표시하여 보여주고, 사용자의 촬영 선택에 의하여 영상을 이미지 파일로 저장하고, 저장된 이미지 파일을 프린트한다.
이때, 만족할만한 단체 사진을 위해서 사용자는 상기 디지털 영상 처리 장치를 이용하여 여러 장의 이미지를 촬영한 후 임의적으로 이미지를 합성하거나, 또는 만족할만한 단체 사진을 촬영할 때까지 계속적으로 촬영을 반복하는 방법을 이용할 수 있다.
다만, 상술한 이미지 합성 방법은 이미지 합성 프로그램이 기설치된 장치에 따로 이미지 데이터를 이동시켜야하는 번거로움이 있으며, 촬영을 반복하는 방법 역시 효율적이지 못하다.
하기의 선행기술문헌인 특허문헌 1은 복수의 인물에 대한 이미지 생성 장치 및 방법에 관한 것으로서, 본 발명과는 달리 피촬영자 수를 입력받고, 촬영된 이미지에서 안구 정보를 검출하여 눈의 개수 및 시선 방향을 산출하여 재촬영 여부를 결정하는 내용에 대해서는 개시되어 있지 않다. 특히, 복수의 광원을 이용하여 시선 방향을 판단하는 내용에 대해서는 구체적으로 기재되어 있지 않다.
한국 공개특허공보 제10-2011-0006878호
본 발명의 과제는 종래 기술의 문제점을 해결하기 위한 것으로서, 입력된 영상을 이미지 데이터로 제공하고, 상기 이미지 데이터에서 안구 정보를 이용하여 눈의 개수 및 복수의 시선 방향 정보를 검출하여 재촬영 여부를 판단하는 디지털 영상 처리 장치 및 그 제어 방법을 제안한다. 또한, 상기 디지털 영상 처리 장치 및 그 제어 방법은 복수의 광원을 통해 안구 정보 각각에 생성되는 반사광 패턴을 이용하여 복수의 시선 방향 정보를 판단할 수 있다.
본 발명의 제1 기술적인 측면에 따른 디지털 영상 처리 장치는, 입력된 영상을 이미지(image) 데이터로 제공하는 이미지 입력부; 상기 이미지 데이터에서 복수의 안구 정보를 검출하여 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 안구 이미지 판단부; 상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 시선 방향 산출부; 상기 눈의 개수 및 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하는 재촬영 판단부; 및 상기 이미지 데이터를 출력하는 이미지 출력부; 를 포함할 수 있다.
또한, 상기 이미지 데이터를 저장하는 메모리부; 를 더 포함할 수 있다.
또한, 상기 안구 이미지 판단부는, 상기 이미지 데이터에서 복수의 안구 정보를 검출하는 안구 정보 검출부; 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 눈 개수 판단부; 사용자로부터 피촬영자수를 입력받는 사용자 입력부; 및 상기 검출된 눈의 개수가 2N(N은 1 이상의 자연수)개가 아니라면 상기 이미지 데이터에서 상기 복수의 안구 정보를 재검출하도록 상기 안구 정보 검출부를 제어하는상기 눈의 개수가 상기 피촬영자수와 대응되지 않는 경우라면 상기 피촬영자수를 사용자로부터 재입력 받도록 상기 사용자 입력부를 제어하는 안구 이미지 제어부; 를 포함할 수 있다.
또한, 사전에 설정된 밝기로 외부에 복수의 광원을 제공하는 복수의 발광부;를 더 포함할 수 있다.
또한, 상기 시선 방향 산출부는, 상기 복수의 발광부로부터 제공되는 복수의 광원에 의해 상기 복수의 안구 정보 각각에 생성되는 반사광 패턴을 이용하여 상기 복수의 시선 방향 정보를 판단할 수 있다.
또한, 상기 시선 방향 산출부는, 상기 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보와 비교하여, 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단할 수 있다.
또한, 상기 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 눈 감음 판단부; 를 더 포함할 수 있다.
본 발명의 제2 기술적인 측면에 따른 디지털 영상 처리 방법은, 입력된 영상을 이미지 데이터로 제공하는 단계; 상기 이미지 데이터에서 복수의 안구 정보를 검출하고, 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 단계; 상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 단계; 및 상기 눈의 개수 및 상기 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하여 상기 영상을 재촬영하거나 상기 이미지 데이터를 출력하는 단계; 를 포함할 수 있다.
또한, 상기 이미지 데이터를 저장하는 단계; 를 더 포함할 수 있다.
또한, 상기 눈의 개수를 판단하는 단계는, 사용자로부터 피촬영자수를 입력받는 단계; 상기 이미지 데이터에서 상기 복수의 안구 정보를 검출하는 단계; 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 단계; 상기 눈의 개수가 2N(N은 1 이상의 자연수)개인지 여부 및 상기 눈의 개수가 상기 피촬영자수에 대응되는지를 판단하는 단계; 및 상기 눈의 개수가 2N개가 아니라면 상기 이미지 데이터에서 상기 복수의 안구 정보를 재검출하며, 상기 눈의 개수가 상기 피촬영자수에 대응되지 않는 경우라면 상기 사용자로부터 피촬영자수를 재입력받는 단계; 를 포함할 수 있다.
또한, 복수의 시선 방향 정보를 판단하는 단계는, 사전에 설정된 밝기로 외부에 복수의 광원을 제공하는 단계; 상기 복수의 광원에 의해 상기 복수의 안구 정보 각각에 생성되는 반사광 패턴을 확인하는 단계; 및 상기 반사광 패턴에 따라 상기 복수의 시선 방향 정보를 판단하는 단계; 를 포함할 수 있다.
또한, 제11항에 있어서, 상기 재촬영 여부를 판단하는 단계는, 상기 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보를 비교하여 시선 방향 일치도를 판단하는 단계; 및 상기 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단하는 단계; 를 포함할 수 있다.
또한, 상기 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 단계; 를 더 포함할 수 있다.
본 발명에 따른 디지털 영상 처리 장치 및 그 제어 방법은, 단체 사진 촬영 과정에서 촬영자가 촬영 대상자들의 시선 방향, 눈감음 여부 등을 판단하지 않아도 되므로 촬영 시간이 단축될 수 있으며, 사용자 편의성이 증대될 수 있다. 또한, 복수의 광원을 이용하여 복수의 시선 방향을 산출함으로써, 보다 정확한 촬영 대상자들의 시선 방향 정보를 판단할 수 있다.
도1은 본 발명의 일 실시예에 따른 디지털 영상 처리 장치를 나타낸 블록도이다.
도2는 도1에 도시한 디지털 영상 처리 장치의 구성 중 안구 이미지 판단부를 보다 상세히 도시한 블록도이다.
도3은 도1에 도시한 디지털 영상 처리 장치를 보다 상세하게 나타낸 블록도이다.
도4는 본 발명의 일 실시예에 따른 디지털 영상 처리 장치의 제어 방법을 나타낸 순서도이다.
도5는 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 복수의 안구 정보 검출 및 눈 개수 판단 방법을 보다 상세히 나타낸 순서도이다.
도6은 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 복수의 시선 방향 정보 판단 방법을 보다 상세히 나타낸 순서도이다.
도7은 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 재촬영 여부 판단 방법을 보다 상세히 나타낸 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 디지털 영상 처리 장치를 나타낸 블록도이다.
도1을 참조하면, 본 발명에 따른 디지털 영상 처리 장치는, 이미지 입력부(100), 이미지 처리부(200), 이미지 출력부(300) 및 메모리부(400)를 포함할 수 있다.
상기 이미지 입력부(100)는 입력된 영상을 이미지 데이터로 제공할 수 있다. 이때, 상기 이미지 입력부(100)는 일 실시예로써 카메라 모듈이 될 수 있으며, 카메라 모듈을 통해 입력된 영상을 이미지 데이터로 출력하여 상기 이미지 처리부(200)로 제공할 수 있다.
상기 이미지 처리부(200)는 상기 이미지 데이터에서 복수의 안구 정보를 검출할 수 있으며, 상기 복수의 안구 정보로부터 눈의 개수를 판단할 수 있다. 또한, 상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단할 수 있다. 이후, 검출한 눈의 개수 및 복수의 시선 방향 정보에 따라 재촬영 여부를 판단할 수 있으며, 재촬영이 필요없는 경우라면, 상기 이미지 데이터를 이미지 출력부(300)로 제공할 수 있다.
상기 이미지 출력부(300)는 이미지 처리부(200)로부터 제공받은 이미지 데이터를 외부로 출력할 수 있다. 이때, 상기 이미지 출력부(300)의 일 실시예로는 디스플레이 장치 등이 될 수 있다.
한편, 상기 메모리부(400)는 상기 이미지 출력부(300)가 최종적으로 이미지 데이터를 출력하기 이전에, 최종 이미지 데이터를 저장할 수 있다. 또한, 상기 이미지 입력부(100)로부터 제공되는 이미지 데이터를 저장할 수도 있다.
상기 이미지 처리부(200)에 대해 보다 상세히 설명하면, 상기 이미지 처리부(200)는 안구 이미지 판단부(210), 시선방향 산출부(220) 및 재촬영 판단부(230)를 포함할 수 있다.
상기 안구 이미지 판단부(210)는 이미지 입력부(100)로부터 제공받은 이미지 데이터에서 복수의 안구 정보를 검출하여 상기 복수의 안구 정보로부터 눈의 개수를 판단할 수 있다. 이는 도2를 참조하여 설명하기로 한다.
도2는 도1에 도시한 디지털 영상 처리 장치의 구성 중 안구 이미지 판단부(210)를 보다 상세히 도시한 블록도이다.
상기 안구 이미지 판단부(210)는 이미지 데이터에서 복수의 안구 정보를 검출하는 안구 정보 검출부(211), 복수의 안구 정보로부터 눈의 개수를 판단하는 눈 개수 판단부(212), 상기 검출된 눈의 개수가 2N(N은 1 이상의 자연수)개가 아니라면 상기 피촬영자수를 사용자로부터 재입력 받도록 상기 사용자 입력부를 제어하고, 상기 눈의 개수가 상기 피촬영자수와 대응되지 않는 경우라면 상기 이미지 데이터에서 상기 복수의 안구 정보를 재검출하도록 상기 안구 정보 검출부를 제어하는 안구 이미지 제어부(214)를 포함할 수 있다.
즉, 이미지 입력부(100)로부터 제공된 이미지 데이터를 안구 이미지 판단부(210)의 구성 중 안구 정보 검출부(211)르 제공할 수 있다. 상기 안구 정보 검출부(211)에서는 먼저 복수의 안구 정보를 검출할 수 있다. 이때, 복수의 안구 정보를 검출하기 위해서는 입력된 이미지 데이터로부터 얼굴 영역을 우선 검출할 수 있으며, 추출된 얼굴 영역을 기준으로 얼굴의 중심부를 찾아, 얼굴의 위치를 판단할 수 있다. 이에 대해서는 이미 공지된 내용이 많으므로 상세한 설명은 생략하기로 한다.
또한, 안구 정보 검출부(211)로부터 제공된 복수의 안구 정보에 대응하여 눈 개수 판단부(2121)에서는 눈의 개수를 검출할 수 있다. 이때, 눈의 개수를 검출하기 위해서는 눈의 각 특징이 되는 부분의 위치 정보를 통할 수 있다. 이를 통해 복수의 안구 정보로부터 눈의 개수를 판단할 수 있다.
한편, 본 발명에 따른 디지털 영상 처리 장치는, 상기 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 눈 감음 판단부를 더 포함할 수 있다. 상기 눈 감음 판단부는, 눈동자 부분의 명암비를 비교하여 눈이 감겼는지를 판별할 수 있으며 또는 검정 동자 영역과 횐 동자 영역의 영역 비율을 측정하여 눈이 감겼는지 여부를 판별할 수 있다.
한편, 사용자 입력부(213)는 사용자로부터 피촬영자수를 입력받을 수 있다. 이때, 사용자는 본 발명인 디지털 영상 처리 장치를 사용하는 촬영자일 수 있다.
즉, 촬영자는 사용자 입력부(213)를 통해 현재 피촬영자의 수를 입력할 수 있으며, 입력된 피촬영자수를 안구 이미지 제어부(214)로 제공할 수 있다.
안구 이미지 제어부(214)는 먼저 눈 개수 판단부(212)로부터 검출된 복수의 눈의 개수가 2N개인지를 판단할 수 있다. 이때, N은 1 이상의 자연수일 수 있다.
즉, 상기 안구 이미지 제어부(214)는 눈의 개수가 2N개가 아니라면, 상기 복수의 안구 정보를 이미지 데이터로부터 재검출하도록 상기 안구 정보 검출부(211)를 제어할 수 있다.
또는, 상기 안구 이미지 제어부(214)는 상기 눈의 개수가 상기 피촬영자수와 대응되지 않는 경우라면 상기 피촬영자수를 사용자로부터 재입력 받도록 사용자 입력부(213)를 제어할 수 있다.
또한, 이와는 달리 상기 안구 이미지 제어부(214)는 눈의 개수가 2N개가 아닌 경우에도 상기 피촬영자수를 사용자로부터 재입력 받도록 사용자 입력부(213)를 제어할 수 있으며, 상기 안구 이미지 제어부(214)는 상기 눈의 개수가 상기 피촬영자수와 대응되지 않는 경우라도, 상기 복수의 안구 정보를 이미지 데이터로부터 재검출하도록 상기 안구 정보 검출부(211)를 제어할 수 있다.
도3은 도1에 도시한 디지털 영상 처리 장치를 보다 상세하게 나타낸 블록도이다.
도3을 참조하여, 시선 방향 산출부(220) 및 재촬영 판단부(230)에 대하여 구체적으로 설명하기로 한다.
도3에 따르면, 본 발명에 따른 디지털 영상 처리 장치는, 복수의 발광부(500)를 더 포함할 수 있다. 다만, 도3에는 복수의 발광부(500)의 개수가 2개인 것을 예로 들어 도시하였으며, 이에 따라 상기 복수의 발광부(500)는 제1 및 제2 발광부(510, 520)로 이루어질 수 있다.
상기 제1 및 제2 발광부(510, 520)는 각각 사전에 설정된 밝기로 외부에 복수의 광원을 제공할 수 있다. 상기 제1 및 제2 발광부(510, 520)는 이미지 입력부(100)와 일정 거리 이격되어 설치될 수 있다.
한편, 사람의 눈은 약 24mm정도의 구 형태이며, 미간 거리는 약 35mm인 점을 감안하여, 제1 및 제2 발광부(510, 520)가 각각 피촬영자에 광원을 제공할 수 있으며, 이 경우, 상기 시선 방향 산출부(220)는, 구의 반사 법칙에 따라 피촬영자의 눈에서 반사되는 두 개 이상의 광원의 패턴을 특정하여 눈의 위치를 찾은 후 반사광 또는 홍채의 중심을 이용하여 눈의 시선을 계산할 수 있다.
이를 통해 상기 시선 방향 산출부(220)에서는 복수의 안구 정보에 대응되는 복수의 시선 방향 정보를 검출할 수 있다. 이후, 시선 방향 산출부(220)는 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보를 비교하여 시선 방향 일치도를 판단할 수 있다. 즉, 일반적으로 눈에서 반사되는 두 개 이상의 광원의 패턴을 특정시킨 데이터를 메모리부(400)에 사전에 저장시킬 수 있으며, 저장된 데이터와 상기 시선 방향 정보를 비교하여 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단할 수 있다. 또한, 상기 시선 방향 산출부(220)는 산출된 결과를 재촬영 판단부(230)로 제공할 수 있다.
재촬영 판단부(230)는 안구 이미지 판단부(210)로부터 제공되는 눈의 개수와 시선 방향 산출부(220)로부터 제공되는 시선 방향 일치도에 따라 재촬영 여부를 결정할 수 있다.
만약 재촬영하는 것으로 결정되는 경우라면, 현재 이미지 데이터를 메모리부(400)에 저장할 수 있으며, 이미지 입력부(100)를 통해 새로운 이미지 데이터를 제공받을 수 있다. 한편, 재촬영하는 것으로 결정되지 않는 경우라면, 상기 재촬영 판단부(230)는 최종 이미지 데이터를 상기 메모리부(400)에 제공하여 저장하도록 할 수 있으며, 이미지 출력부(300)로 제공하여 외부로 도출되는 화면으로 상기 최종 이미지 데이터를 출력하도록 할 수 있다.
도4는 본 발명의 일 실시예에 따른 디지털 영상 처리 장치의 제어 방법을 나타낸 순서도이다.
도4를 참조하면, 본 발명에 따른 디지털 영상 처리 장치의 제어 방법은, 이미지를 촬영하여 영상을 입력하는 단계(S50), 입력된 영상을 이미지 데이터로 제공하는 단계(S100), 상기 이미지 데이터에서 복수의 안구 정보를 검출하고, 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 단계(S200), 상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 단계(S300) 및 상기 눈의 개수 및 상기 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하는 단계(S400) 및 재촬영하지 않는 경우라면 상기 이미지 데이터를 출력하는 단계(S500)를 포함할 수 있다.
한편, 본 발명에 따른 디지털 영상 처리 장치의 제어 방법은, 이미지 데이터를 출력하기 이전에, 최종 이미지 데이터를 저장하는 단계를 더 포함할 수 있다.
도5는 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 복수의 안구 정보 검출 및 눈 개수 판단 방법(S300)을 보다 상세히 나타낸 순서도이다.
도5를 참조하면, 사용자로부터 피촬영자 수를 입력받는 단계(S210), 상기 이미지 데이터에서 상기 복수의 안구 정보를 검출하는 단계(S220), 상기 복수의 안구 정보에 따른 눈의 개수를 판단하는 단계(S230), 눈의 개수가 2N(N은 1 이상의 자연수)개인지를 판단하는 단계(S231) 및 피촬영자수에 눈의 개수가 대응되는지를 판단하는 단계(S232)를 포함할 수 있다.
이때, 상술한 바와 같이 눈의 개수가 2N(N은 1 이상의 자연수)개인지 판단하는 단계(S231)에서 2N개가 아니라면 이미지 데이터에서 복수의 안구 정보를 재검출할 수 있으며, 또는 도면에는 도시되지 않았지만, 피촬영자수를 사용자로부터 재입력 받을 수도 있다. 또한, 피촬영자수에 눈의 개수가 대응되는지를 판단하는 단계(S232)에서 대응되지 않는 경우라면, 피촬영자수를 사용자로부터 재입력 받을 수도 있으며 또는, 이미지 데이터에서 복수의 안구 정보를 검출할 수도 있다.
또한, 본 발명에 따른 디지털 영상 처리 장치의 제어 방법은 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 단계를 더 포함할 수 있다.
도6은 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 복수의 시선 방향 정보 판단 방법(S300)을 보다 상세히 나타낸 순서도이다.
도6을 참조하면, 사전에 설정된 밝기로 외부에 복수의 광원을 제공하는 단계(S310), 상기 복수의 광원에 의해 상기 복수의 안구 정보 각각에 생성되는 반사광 패턴을 확인하는 단계(S320) 및 반사광 패턴에 따라 시선 방향 정보를 판단하는 단계(S330)를 포함할 수 있다. 각 단계에 대해서는 이미 설명한 바와 동일하므로 생략하기로 한다.
도7은 도4에 도시한 디지털 영상 처리 장치의 제어 방법 중 재촬영 여부 판단 방법(S400)을 보다 상세히 나타낸 순서도이다.
재촬영 여부를 판단하는 단계(S400)는, 상기 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보를 비교하여 시선 방향 일치도를 판단하는 단계(S410) 및 상기 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단하는 단계(S420)를 포함할 수 있으며, 임계값 이하인 경우라면, 사용자는 재촬영을 선택할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 이미지 입력부
200: 이미지 처리부
210: 안구 이미지 판단부
220: 시선방향 산출부
230: 재촬영 판단부
300: 이미지 출력부
400: 메모리부
510: 제1 발광부
520: 제2 발광부

Claims (13)

  1. 입력된 영상을 이미지(image) 데이터로 제공하는 이미지 입력부;
    상기 이미지 데이터에서 복수의 안구 정보를 검출하여 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 안구 이미지 판단부;
    상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 시선 방향 산출부;
    상기 눈의 개수 및 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하는 재촬영 판단부; 및
    상기 이미지 데이터를 출력하는 이미지 출력부; 를 포함하는 디지털 영상 처리 장치.
  2. 제1항에 있어서,
    상기 이미지 데이터를 저장하는 메모리부; 를 더 포함하는 디지털 영상 처리 장치.
  3. 제1항에 있어서, 상기 안구 이미지 판단부는,
    상기 이미지 데이터에서 복수의 안구 정보를 검출하는 안구 정보 검출부;
    상기 복수의 안구 정보로부터 눈의 개수를 판단하는 눈 개수 판단부;
    사용자로부터 피촬영자수를 입력받는 사용자 입력부; 및
    상기 검출된 눈의 개수가 2N(N은 1 이상의 자연수)개가 아니라면 상기 이미지 데이터에서 상기 복수의 안구 정보를 재검출하도록 상기 안구 정보 검출부를 제어하는상기 눈의 개수가 상기 피촬영자수와 대응되지 않는 경우라면 상기 피촬영자수를 사용자로부터 재입력 받도록 상기 사용자 입력부를 제어하는 안구 이미지 제어부; 를 포함하는 디지털 영상 처리 장치.
  4. 제1항에 있어서,
    사전에 설정된 밝기로 외부에 복수의 광원을 제공하는 복수의 발광부; 를 더 포함하는 디지털 영상 처리 장치.
  5. 제4항에 있어서, 상기 시선 방향 산출부는,
    상기 복수의 발광부로부터 제공되는 복수의 광원에 의해 상기 복수의 안구 정보 각각에 생성되는 반사광 패턴을 이용하여 상기 복수의 시선 방향 정보를 판단하는 디지털 영상 처리 장치.
  6. 제1항에 있어서, 상기 시선 방향 산출부는,
    상기 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보와 비교하여, 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단하는 디지털 영상 처리 장치.
  7. 제1항에 있어서,
    상기 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 눈 감음 판단부; 를 더 포함하는 디지털 영상 처리 장치.
  8. 입력된 영상을 이미지 데이터로 제공하는 단계;
    상기 이미지 데이터에서 복수의 안구 정보를 검출하고, 상기 복수의 안구 정보로부터 눈의 개수를 판단하는 단계;
    상기 복수의 안구 정보 각각에 대응되는 복수의 시선 방향 정보를 판단하는 단계; 및
    상기 눈의 개수 및 상기 복수의 시선 방향 정보에 따라 재촬영 여부를 판단하여 상기 영상을 재촬영하거나 상기 이미지 데이터를 출력하는 단계; 를 포함하는 디지털 영상 처리 장치의 제어 방법.
  9. 제8항에 있어서,
    상기 이미지 데이터를 저장하는 단계; 를 더 포함하는 디지털 영상 처리 장치의 제어 방법.
  10. 제8항에 있어서, 상기 눈의 개수를 판단하는 단계는,
    사용자로부터 피촬영자수를 입력받는 단계;
    상기 이미지 데이터에서 상기 복수의 안구 정보를 검출하는 단계;
    상기 복수의 안구 정보로부터 눈의 개수를 판단하는 단계;
    상기 눈의 개수가 2N(N은 1 이상의 자연수)개인지 여부 및 상기 눈의 개수가 상기 피촬영자수에 대응되는지를 판단하는 단계; 및
    상기 눈의 개수가 2N개가 아니라면 상기 이미지 데이터에서 상기 복수의 안구 정보를 재검출하며, 상기 눈의 개수가 상기 피촬영자수에 대응되지 않는 경우라면 상기 사용자로부터 피촬영자수를 재입력받는 단계; 를 포함하는 디지털 영상 처리 장치의 제어 방법.
  11. 제8항에 있어서, 복수의 시선 방향 정보를 판단하는 단계는,
    사전에 설정된 밝기로 외부에 복수의 광원을 제공하는 단계;
    상기 복수의 광원에 의해 상기 복수의 안구 정보 각각에 생성되는 반사광 패턴을 확인하는 단계; 및
    상기 반사광 패턴에 따라 상기 복수의 시선 방향 정보를 판단하는 단계; 를 포함하는 디지털 영상 처리 장치의 제어 방법.
  12. 제11항에 있어서, 상기 재촬영 여부를 판단하는 단계는,
    상기 복수의 시선 방향 정보와 사전에 설정된 시선 방향 정보를 비교하여 시선 방향 일치도를 판단하는 단계; 및
    상기 시선 방향 일치도가 사전에 설정된 임계값 이상인지를 판단하는 단계; 를 포함하는 디지털 영상 처리 장치의 제어 방법.
  13. 제8항에 있어서,
    상기 복수의 안구 정보를 이용하여 눈 감음 여부를 판단하는 단계; 를 더 포함하는 디지털 영상 처리 장치의 제어 방법.

KR1020130160066A 2013-12-20 2013-12-20 디지털 영상 처리 장치 및 그 제어 방법 KR20150072667A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130160066A KR20150072667A (ko) 2013-12-20 2013-12-20 디지털 영상 처리 장치 및 그 제어 방법
US14/218,415 US20150178589A1 (en) 2013-12-20 2014-03-18 Apparatus for processing digital image and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160066A KR20150072667A (ko) 2013-12-20 2013-12-20 디지털 영상 처리 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20150072667A true KR20150072667A (ko) 2015-06-30

Family

ID=53400379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160066A KR20150072667A (ko) 2013-12-20 2013-12-20 디지털 영상 처리 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US20150178589A1 (ko)
KR (1) KR20150072667A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136759A (ja) * 2017-02-22 2018-08-30 セコム株式会社 監視システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079883A (ja) * 2015-10-23 2017-05-18 富士通株式会社 視線検出システム、視線検出方法、および視線検出プログラム
EP3588444A4 (en) * 2017-02-24 2020-02-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP7538647B2 (ja) * 2020-07-27 2024-08-22 キヤノン株式会社 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654974B2 (ja) * 2006-05-23 2011-03-23 富士フイルム株式会社 撮影装置および撮影方法
US8482626B2 (en) * 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US20110205383A1 (en) * 2010-02-24 2011-08-25 Research In Motion Limited Eye blink avoidance during image acquisition in a mobile communications device with digital camera functionality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136759A (ja) * 2017-02-22 2018-08-30 セコム株式会社 監視システム

Also Published As

Publication number Publication date
US20150178589A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
KR101714349B1 (ko) 생체 인증 장치와 그 생체 영상 출력제어 방법
US10587795B2 (en) System for producing compliant facial images for selected identification documents
CN109740491B (zh) 一种人眼视线识别方法、装置、系统及存储介质
KR101665130B1 (ko) 복수의 인물에 대한 이미지 생성 장치 및 방법
US9521310B2 (en) Method and apparatus for focusing on subject in digital image processing device
JPWO2018030515A1 (ja) 視線検出装置
US20090091650A1 (en) Digital camera capable of appropriately discriminating the face of a person
JP6631951B2 (ja) 視線検出装置及び視線検出方法
KR20100075167A (ko) 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법
KR20150072667A (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP2016036390A (ja) 情報処理装置、焦点検出方法、および焦点検出プログラム
JP2017227725A5 (ko)
US8090253B2 (en) Photographing control method and apparatus using strobe
CN112153363A (zh) 用于3d角膜位置估计的方法和系统
JP2015026880A (ja) 撮像装置
JP2012217524A (ja) 視線測定装置および視線測定プログラム
JP6241107B2 (ja) 視線方向検出装置および視線方向検出方法
US20220079484A1 (en) Evaluation device, evaluation method, and medium
JP7423005B2 (ja) 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置
JP2008021121A (ja) 瞳孔検出装置および虹彩認証装置ならびに瞳孔検出方法
US8502904B2 (en) Digital photographic apparatus and method for controlling the same that provide vision correction
JP2015002476A (ja) 撮像処理装置
US10609311B2 (en) Method and device for increasing resolution of an image sensor
US20220239836A1 (en) Image processing device, control method thereof, imaging apparatus, and program storage medium
JP2024005833A (ja) 制御装置およびその制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application