KR101204046B1 - 눈 시선 측정을 위한 방법 및 장치 - Google Patents

눈 시선 측정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101204046B1
KR101204046B1 KR1020107013935A KR20107013935A KR101204046B1 KR 101204046 B1 KR101204046 B1 KR 101204046B1 KR 1020107013935 A KR1020107013935 A KR 1020107013935A KR 20107013935 A KR20107013935 A KR 20107013935A KR 101204046 B1 KR101204046 B1 KR 101204046B1
Authority
KR
South Korea
Prior art keywords
eye
digital image
value
image acquisition
lens
Prior art date
Application number
KR1020107013935A
Other languages
English (en)
Other versions
KR20100112560A (ko
Inventor
플로린 나누
피터 코르코란
코스민 스탄
Original Assignee
디지털옵틱스 코포레이션 유럽 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털옵틱스 코포레이션 유럽 리미티드 filed Critical 디지털옵틱스 코포레이션 유럽 리미티드
Publication of KR20100112560A publication Critical patent/KR20100112560A/ko
Application granted granted Critical
Publication of KR101204046B1 publication Critical patent/KR101204046B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Abstract

이미지 내에서 잠재적인 결함을 검출하는 방법 및 기기로서, 한 시점에서 디지털 이미지를 획득하고; 이미지 획득 데이터를 저장하는 단계로, 상기 이미지 획득 데이터는 렌즈에 대한 광원의 위치, 광원으로부터 상기 렌즈까지의 거리, 상기 렌즈의 초점 길이, 디지털 이미지 획득 기기 상의 한 포인트로부터 한 피사체까지의 거리, 주변 광의 양 또는 플래시 강도 중의 적어도 하나를 포함하는, 저장 단계; 동적인 신체 측정 (anthropometric) 데이터를 판별하는 단계로, 상기 동적인 신체 측정 데이터는 상기 시점에서 캡쳐된 상기 이미지 내에 표현된 하나 이상의 인간들에 관한, 동적으로 변화하는 하나 이상의 인간 신체 측정치들을 포함하는, 판별 단계; 및 상기 이미지 획득 데이터 및 상기 동적 신체 측정 데이터를 적어도 부분적으로 기반으로 하여 교정 동작의 방침을 결정하는 단계를 포함한다. 방법의 단계들과 기기 수단은 눈의 시선 각도를 판별하기 위해서 제공될 수 있을 것이다.

Description

눈 시선 측정을 위한 방법 및 장치 {METHODS AND APPARATUSES FOR EYE GAZE MEASUREMENT}
본 발명은 일반적으로는 디지털 이미지 프로세싱에 관한 것이며, 더 상세하게는 디지털 사진에서의 오류 교정에 관한 것이다.
이 섹션에서 설명되는 접근 방법들은 추구될 수 있을 접근 방법들이지만, 반드시 이전에 고안되었거나 추구되었던 접근 방법들일 필요는 없다. 그러므로, 다르게 표시되지 않는다면, 이 섹션에서 설명되는 접근 방법들은 단지 이 섹션에서 포함되었다는 이유만으로 종래 기술로서 자격을 부여한 것으로 가정되어서는 안 된다.
많은 휴대용 카메라들 상의 플래시들은 이미지를 캡쳐하는데 있어서 달갑지 않은 결함들을 초래할 수 있다. 가장 일반적인 결함들 중의 하나는 "적목 (red-eye)" 현상으로, 이는 플래시가 촬영 피사체의 눈 내부에서 반사되어 사진에서 붉은 점과 같이 나타나며, 그 경우에 그 촬영 피사체의 눈의 검은 동공 (pupil)은 보통과 같이 나타난다. 이렇게 부자연스럽게 작렬하는 붉은 눈은 혈관들로 가득찬 망막 뒤의 혈관 막으로부터의 내부 반사로 인한 것이다. 이런 바람직하지 않은 결함은 부분적으로는 카메라의 플래시와 그 카메라의 렌즈 사이의 작은 각도로 인해서 초래되는 것으로 널리 이해된다. 내장된 플래시 기능을 구비한 카메라의 소형화로 인해서, 상기 적목 현상은 오늘날의 많은 더 작은 휴대용 카메라에서 아주 현저할 수 있다.
상기 적목 결함은 "프리-플래시 (pre-flash)"를 이용하는 것과 같이 홍채로 하여금 상기 동공의 개구를 줄이도록 하여 최소화될 수 있으며, 상기 프리-플래시는 사진을 찍을 플래시 직전에 플래시를 터뜨리거나 조명을 하여 홍채가 닫히도록 하는 것과 관련된다. 불행하게도, 프리-플래시는 플래시를 이용하여 사진을 촬영하기 전 0.2 내지 0.6초 이전에 발생하며, 이는 사람인 피사체의 반응 시간 내의 쉽게 분리할 수 있는 시간 구간이다. 결과적으로, 상기 피사체는 그 프리-플래시가 실제로 사진을 찍는 것으로 착각할 수 있을 것이며 그래서 실제로 사진을 찍을 시점에는 덜 바람직한 자세를 취할 수 있을 것이며, 또는, 사진 촬영의 피사체에게 프리-플래시에 의한 촬영이라는 것을 통보할 수 있을 것이며, 그렇게 되면 보통은 그 사진에 촬영될 피사체의 자발성을 일부라도 잃게된다. 그러므로, 프리-플래시를 사용하는 것은 적목 현상을 줄이는데 어쨌든 도움을 될 수 있을 것이지만, 다른 쪽으로는 이미지들에 부정적으로 영향을 미칠 수 있다.
디지털 카메라 및 컴퓨터에서의 디지털 이미지 소프트웨어의 출현으로, 캡쳐된 이미지를, 카메라에 외장인 또는 카메라에 합체된 마이크로프로세서-기반의 기기들을 이용하여 프로세싱하여 플래시로 인한 눈 결함들을 제거하기 위한 기술들은 평범한 것이 되고 있다. 상기 마이크로프로세서-기반의 기기들에 의해 수행되는 대부분의 알고리즘은 아주 기본적인 것이다. 예를 들면, 공통 결함 제거 알고리즘은 결함 후보들을 식별하기 위해, 형상들의 범위 내의 하나의 형상을 형성하는 칼라 스펙트럼 내의 픽셀들을 위한 디지털 이미지를 바라보는 것과 결부된다. 잠재적인 결함들의 후보들을 식별하기 위해 알고리즘들이 사용하는 형상 범위를 좁히고 그리고 상기 칼라 스펙트럼을 좁히기 위한 기술들이 존재하지만, 존재하는 그런 기술들은 매우 제한되어 있으며, 그리고 많은 경우들에서, 그 기술들은 결과는 긍정으로 나왔지만 틀린 결과인 경우 (false-positive)가 회피되도록 하기 때문에 그 기술들은 결과가 긍정이며 이는 맞는 결과인 경우 (true-positive)가 손실되도록 할 것 같으며, 이는 그런 기술들이 사람의 눈들에서의 생리학적인 변화들 또는 이미지가 캡쳐되는 상태들을 고려하지 않기 때문이다. 그러므로, 본 발명이 속한 기술 분야에서 플래시로 인한 개선된 눈 결함 탐지와 교정 알고리즘에 대한 필요가 존재한다.
본 발명의 목적은 플래시로 인한 결함을 탐지하여 제거할 수 있는 개선된 눈 결함 탐지와 교정 알고리즘을 제공할 수 있는 방법 및 장치를 제공하는 것이다.
본 발명을 이용하여, 플래시로 인해서 발생할 수 있는 사진 상에서의 결함들을 효과적으로 탐지하여 교정할 수 있다.
칼라 도면에 관한 선언
본 발명 또는 출원 파일은 적어도 하나의 칼라 도면을 포함한다. 칼라 도면(들)을 포함한 이 특허 또는 출원 명세서의 공개문의 사본들은 요청을 하고 그리고 적절한 비용을 지불하면 관계 기관에 의해 제공될 것이다.
본 발명은 첨부된 도면들에서 예로서 도시되지만, 그러나 한정하기 위한 것은 아니다.
도 1a 내지 도 1d는 캡쳐된 디지털 이미지들에서 발생할 수 있는 플래시로 인한 공통의 눈 결함들의 예를 보여준다.
도 2는 본 발명의 방법을 구현하는 모습들을 예시하는 흐름도이다.
도 3a 및 도 3b는 휴대용 디지털 이미지 획득 기기들에 대한 두 가지의 가능한 구성들을 도시한다.
도 4a - 4b는 반-적목 결함들의 변이들을 보여준다.
도 5는 플래시가 렌즈의 오른쪽에, 렌즈의 왼쪽에, 렌즈의 아래쪽에, 렌즈의 상단에, 렌즈의 상단 오른쪽에, 렌즈의 상단 왼쪽에, 렌즈의 아래 왼쪽에, 또는 렌즈의 아래의 오른쪽에 있을 때에 발생하는 다양한 반-적목 현상을 보여준다.
도 6a - 6b는 플래시로부터 렌즈까지의 거리가 2 cm 그리고 5 cm일 때의 적목 결함들에 대한 공통의 칼라 스펙트럼을 보여준다.
도 7은 주변 광의 함수로서의 동공의 크기의 곡선을 보여준다.
도 8a - 8c는 다양한 각도들의 눈 시선을 하는 눈들을 보여준다.
도 9는 한 쌍의 눈에 대한 눈 시선 각도들을 보여준다.
도 10은 휴대용 이미지 획득 기기의 블록도이다.
다음의 설명에서, 설명의 목적으로, 본 발명에 대한 완전한 이해를 제공하기 위해 수많은 특정한 상세 내용들이 제시된다. 그러나 본 발명은 이런 특정한 상세 내용들 없이도 수행될 수 있을 것이라는 것이 명백할 것이다. 다른 예들에서, 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 기기들은 블록 도면으로 도시된다.
개관 (OVERVIEW)
도 1a 내지 도 1d는 캡쳐된 디지털 이미지들 내에서 발생할 수 있는 플래시로 인한 공통적인 눈 결함들의 예들을 보여준다. 도 1a는 눈이 적목 현상을 나타내는 디지털 이미지를 보여준다. 도 1b는 눈이 금색-눈 (golden-eye) 현상을 나타내는 디지털 이미지를 보여준다. 도 1c는 눈이 반-적목 (half-red eye)을 나타내는 디지털 이미지를 보여준다. 도 1d는 한 눈이 적목 현상을 나타내며 그리고 다른 눈은 금색-눈 현상을 나타내는 디지털 이미지를 보여준다. 본 발명의 모습들은, 캡쳐된 디지털 이미지들로부터 이런 결함들을 제거하기 위한 알고리즘들을 개선하는 것에 관련된다.
2004.2.4.에 출원된 "IMAGE MODIFICATION BASED ON RED-EYE FILTER ANALYSIS" 제목의 미국 특허 번호 7,352,394 는 디지털 이미지들로부터 도 1a - 1d에 도시된 것과 같은 결함들을 제거하기 위한 기술들을 설명한다.
본 발명의 기술들은 이미지가 캡쳐되거나 획득될 때에 이미지 획득 데이터를 저장하는 것을 포함하고 그리고 도 1a 내지 도 1d에 도시된 것들과 같은 잠재적인 결함들을 어떻게 교정하는가를 결정하는데 있어서 상기 이미지 획득 데이터를 사용하는 것을 포함한다. 이미지 획득 데이터의 예들은 렌즈에 대한 플래시의 위치, 플래시로부터 렌즈까지의 거리, 렌즈의 초점 길이, 이미지 획득 기기 상의 한 포인트로부터 사진이 찍히는 피사체까지의 거리, 주변 광 (light)의 양 및 플래시 강도 (intensity)를 포함할 수 있다. 상기 이미지 획득 데이터는 캡쳐 이후에 상기 이미지를 어떻게 처리하는가에 대한 행동 방침을 결정하는데 있어서 사용될 수 있다. 예를 들면, 예를 들면 커다란 주변 광 (light)과 같은 특정 획득 상태에 대응하는 이미지 획득 데이터는 복수의 결함 교정 알고리즘들로부터의 어떤 알고리즘의 서브세트를 특정 이미지에 적용하는가를 결정하게 할 수 있을 것이며 또는 특정한 결함 교정 알고리즘에 의해 사용될 파라미터들을 결정하게 할 수 있을 것이다.
본 발명의 추가의 기술들은 복수의 결함 교정 알고리즘들로부터의 어떤 알고리즘의 서브세트를 특정 이미지에 적용하는가를 결정하기 위해 동적인 신체 측정 (anthropometric) 데이터를 판별하기 위해서 또는 특정한 결함 교정 알고리즘에 의해 사용될 파라미터들을 결정하기 위해서 이미지 획득 데이터를 이용하는 것을 포함할 수 있다. 본 발명의 추가의 기술들은 복수의 결함 교정 알고리즘들로부터의 어떤 알고리즘의 서브세트를 특정 이미지에 적용하는가를 결정하기 위해서 또는 특정한 결함 교정 알고리즘에 의해 사용될 파라미터들을 결정하기 위해서 동적인 신체 측정 (anthropometric) 데이터와 결합하여 이미지 획득 데이터를 사용하는 것을 또한 포함할 수 있다.
도 2는 본 발명의 모습들을 구현하는 방법을 예시하는 흐름도를 보여준다. 상기 방법은 카메라 또는 스마트폰과 같은 휴대용 이미지 획득 기기를 이용하여 디지털 이미지를 획득 (블록 210)하는 것을 포함한다. 상기 방법은 상기 캡쳐된 디지털 이미지와 연관된 이미지 획득 데이터를 저장하고 (블록 220) 그리고 상기 캡쳐된 이미지와 연관된 동적인 신체 측정 데이터를 결정한다 (블록 230). 상기 동적인 신체 측정 데이터는 상기 획득된 디지털 이미지의 내용으로부터 판별된 또는 본 발명이 속한 기술 분야에서 알려진 다른 방식에서 판별된 상기 이미지 획득 데이터로부터 유도될 수 있다. 상기 이미지 획득 데이터 및 동적인 신체 측정 데이터를 기반으로 하여, 상기 디지털 이미지 상에서 교정 행동을 수행해야 하는가의 여부 및 그 교정 동작을 어떻게 수행해야 하는가에 대해서 결정될 수 있다 (블록 240).
본 발명의 하나의 잠재적인 실시예는, 한 시점에서 디지털 이미지를 획득하고, 그 시각에서의 상태를 기술 (describe)하는 이미지 획득 데이터를 저장하고, 상기 디지털 이미지에서 눈의 시선 각도를 판별하고 그리고 상기 이미지 획득 데이터 및 상기 눈 시선 각도를 적어도 부분적으로 기반으로 하여 행동 방침을 결정하는 단계들을 포함하는 방법을 수행하도록 프로세스를 프로그램하는 내장 코드를 구비한, 프로세서-독출 가능한 하나 또는 그 이상의 매체를 포함할 수 있다.
본 발명의 다른 잠재적인 실시예는, 이미지가 획득될 때에 주변 광 (light)을 나타내는 값을 한 시점에서 검출하는 단계, 상기 값을 상기 이미지와 연관하여 저장하는 단계 그리고 상기 값을 적어도 부분적으로 기반으로 하여 행동 방침을 결정하는 단계를 포함하는 방법을 수행하도록 프로세스를 프로그램하는 내장 코드를 구비한, 프로세서-독출 가능한 하나 또는 그 이상의 매체를 포함할 수 있다.
본 발명의 다른 잠재적인 실시예는, 렌즈에 대한 광원의 위치를 나타내는 값을 저장하는 단계, 상기 값을 이용하여 반-적목 결함에 대한 예상되는 방위를 식별하고 그리고 상기 예상되는 방위를 적어도 부분적으로 기반으로 하여 상기 이미지 내의 결함 후보들을 식별하는 단계를 포함하는 방법을 수행하도록 프로세스를 프로그램하는 내장 코드를 구비한, 프로세서-독출 가능한 하나 또는 그 이상의 매체를 포함할 수 있다.
본 발명의 다른 잠재적인 실시예는, 디지털 이미지를 한 시점에서 획득하는 단계; 이미지 획득 데이터를 저장하는 단계로, 상기 이미지 획득 데이터는 렌즈에 대한 광원의 위치, 광원으로부터 상기 렌즈까지의 거리, 상기 렌즈의 초점 길이, 디지털 이미지 획득 기기 상의 한 포인트로부터 한 피사체까지의 거리, 주변 광의 양 또는 플래시 강도 중의 적어도 하나를 포함하는, 저장 단계; 동적인 신체 측정 (anthropometric) 데이터를 판별하는 단계로, 상기 동적인 신체 측정 데이터는 상기 시점에서 캡쳐된 상기 이미지 내에 표현된 하나 이상의 인간에 관한, 동적으로 변화하는 하나 이상의 인간 신체 측정치를 포함하는, 판별 단계; 및 상기 이미지 획득 데이터 및 상기 동적 신체 측정 데이터를 적어도 부분적으로 기반으로 하여 교정 동작의 방침을 결정하는 단계를 포함하는, 방법을 수행하도록 프로세스를 프로그램하는 내장 코드를 구비한, 프로세서-독출 가능한 하나 또는 그 이상의 매체를 포함할 수 있다.
본 발명의 다른 잠재적인 실시예는, 렌즈, 디지털 이미지를 캡쳐하는 장치, 이미지 캡쳐 동안에 조명을 제공하는 광원 및 프로세서가 방법을 수행하도록 프로그램하는 내장 코드를 구비한 프로세서-독출 가능한 매체 상에 저장된 동작들을 수생하는 로직을 포함하는 휴대용 디지털 이미지 획득 기기를 포함한다.
이미지 획득 데이터 (IMAGE ACQUISITION DATA)
본 발명의 기술들은 캡쳐된 디지털 이미지와 연관된 다양한 유형의 이미지 획득 데이터를 휴대용 디지털 획득 기기 상의 메모리와 같은 메모리에 저장한다. 상기 이미지 획득 데이터는, 예를 들면, 이미지 파일과 연관된 메타데이터로서 저장될 수 있다. 이미지 획득 데이터의 예들은 렌즈에 대한 플래시의 위치, 플래시로부터 렌즈까지의 거리, 렌즈의 초점 길이, 사진 찍히는 피사체까지의 거리, 주변 광의 양 및 플래시 강도를 포함하지만, 그런 것들로 꼭 한정되지는 않는다.
저장될 수 있는 이미지 획득 데이터의 한가지 유형은 디지털 이미지를 캡쳐하는 렌즈에 대한 플래시의 위치이다. 도 3a 및 도 3b는 휴대용 디지털 이미지 획득 기기들의 두 가지 가능한 구성들 (300a, 300b)을 예시한다. 도 3b의 휴대용 이미지 획득 기기 (300b)에서 플래시 (301b)가 렌즈 (302b)의 바로 위에 위치하는 것에 비해, 도 3a의 휴대용 디지털 이미지 획득 기기 (300a)에서, 플래시 (301a)는 렌즈 (302a)의 옆에 위치한다. 예를 들면 프로파일 사진을 촬영할 때에 도 300a 및 도 300b의 상기 휴대용 디지털 획득 기기들이 90도 회전하면, 도 3a에서의 플래시 (301a)는 상기 렌즈 (302b)의 옆에 위치할 것이다. 나중에 더 상세하게 설명되는 것과 같이, 플래시에 대한 렌즈의 상대적인 위치를 아는 것은 눈 결함 현상의 특정 유형들을 식별하는 것을 도울 수 있다. 예를 들면, 렌즈의 측면에 위치한 플래시는 도 4a 중의 하나와 같은 반-적목 현상을 더 생기게 할 것 같으며, 반면에 상기 렌즈의 위에 위치한 플래시는 도4b에서 보여진 것과 같은 반-적목 현상을 생기게 할 것 같다.
저장될 수 있는 다른 유형의 이미지 획득 데이터는 렌즈와 플래시 사이의 거리이다. 예를 들면, 도 3a에서, 렌즈 (302a)와 플래시 (301a) 사이의 거리는 점선 (303a)에 의해 표시되며, 그리고 도3b에서, 렌즈 (302a)와 플래시 (301a) 사이의 거리는 점선 (303b)에 의해 표시된다. 상기 다양한 결함 교정 알고리즘을 실행시키는 특정 기기의 구성에 따라서, 상기 플래시와 상기 렌즈 사이의 거리는 일정할 수 있을 것이며, 그 경우에 상기 거리는 이미지를 획득할 때마다 매번 동적으로 계산될 필요 없이 기기 설계자에 의해 저장될 수 있다. 움직일 수 있는 렌즈들이나 플래시들 또는 외장 렌즈들이나 플래시들을 위한 연결 메커니즘을 구비한 휴대용 디지털 획득 기기들에서, 상기 거리는 이미지를 획득할 때마다 동적으로 계산될 수 있을 것이다.
저장될 수 있는 다른 유형의 이미지 획득 데이터는 사진이 촬영되는 순간에 상기 휴대용 디지털 이미지에 의해 측정된 주변 광 (ambient lighting)이다. 상기 측정은 광 정보를 광 값 또는 노출 값을 나타내는 값과 같은 전자적인 코딩으로 변환할 수 있는 전하 결합 소자 (charge-coupled device (CCD)) 센서 또는 상보성 금속 산화막 반도체 (complimentary metal-oxide semiconductor (CMOS)) 센서와 같은 광 센서에 의해 수행될 수 있다.
저장될 수 있는 다른 유형의 이미지 획득 데이터는 렌즈의 초점 길이이다. 대부분의 디지털 이미지 획득 기기들은 가변의 초점 길이를 가지는 렌즈들을 구비한다. 본 발명의 기술들은 포스트-캡쳐 (post-capture) 이미지 분석에서 사용될 초점 길이를 나타내는 값을 저장하는 것을 포함한다. 저장될 수 있는 다른 유형의 이미지 획득 데이터는 렌즈와 같은 휴대용 디지털 획득 기기 상에서의 한 포인트와 사진 찍히는 피사체 사이의 거리이다. 대부분의 디지털 이미지 획득 기기들은 자동 초점 메커니즘을 구비하여 사용하기 위한 거리 분석기를 포함한다. 본 발명의 기술들은 포스트-캡쳐 이미지 분석에 사용될, 상기 기기 상의 하나의 포인트와 피사체와의 사이의 거리를 나타내는 값을 저장하는 것을 포함한다.
어느 결함 현상을 찾아야 할 것인가를 결정하기 위해 이미지 획득 데이터를 이용 (USING IMAGE ACQUISITION DATA TO DETERMINE WHICH DEFECT PHENOMENON TO LOOK FOR)
본 발명의 기술들은 어떤 결함 현상을 찾아야 하는지를 결정하는 것을 돕기 위해 이미지 획득 데이터를 이용하는 것을 포함한다. 렌즈에 대한 플래시의 위치를 표시하는 획득 데이터는, 예를 들면, 특정 결함들의 방위 (orientation)를 판별하기 위해 사용될 수 있다. 예를 들면, 플래시가 렌즈 위에 위치하면 반-적목의 황색을 띤 부분은 눈의 하단 부분에 있을 것이며, 그 반대의 경우도 성립한다. 플래시가 렌즈의 왼쪽에 위치하면, 상기 반-적목의 황색을 띤 부분은 눈의 오른쪽 부분에 있을 것이며, 그 반대의 경우도 성립할 것이다. 도 5는 플래시가 렌즈의 오른쪽에 (501), 렌즈의 왼쪽에 (502), 렌즈의 아래쪽에 (503), 렌즈의 상단에 (504), 렌즈의 상단 오른쪽에 (505), 렌즈의 상단 왼쪽에 (506), 렌즈의 아래 왼쪽에 (507), 또는 렌즈의 아래의 오른쪽 (508)에 있을 때에 발생하는 다양한 반-적목 현상을 보여준다.
이 정보는 반-적목의 예상되는 적색-황색 그레디언트 (gradient)를 판별하기 위해 사용될 수 있으며, 이는 결과가 긍정으로 나왔지만 틀린 결과인 경우 (false positive)들을 탐지하는 것을 줄이기 위해 사용될 수 있다. 특정 형상을 형성하여 반-적목을 나타내는 황색/적색 칼라 그룹의 픽셀들을 탐지하여 반-적목들을 탐지하는 알고리즘들이 존재한다. 결과가 긍정으로 나왔지만 틀린 결과인 경우들을 식별하기 위해, 반-적목을 나타내는 그룹의 적색-황색 그레디언트는 예상되는 적색-황색 그레디언트와 비교될 수 있다. 예를 들면, 탐지된 그룹들은 왼쪽에서 오른쪽으로 또는 위에서 밑으로의 적색-황색 그레디언트를 가지지만 예상되는 적색-황색 그레디언트는 오른쪽으로부터 왼쪽이며, 그래서 오른쪽으로부터 왼쪽이 아닌 그레디언트들의 그룹들은 반-적목이 아닌 것으로서 식별될 수 있으며, 그러므로 변경되지 않는다. 오른쪽으로부터 왼쪽으로의 적색-황색 그레디언트를 가진 상기 탐지된 그룹들은 결함을 교정하기 위해 이미지 변경을 겪을 수 있다.
본 발명의 기술들은 잠재적인 결함의 칼라 스펙트럼을 판별하기 위해 이미지 획득 데이터를 이용하는 것을 또한 포함한다. 예를 들면, 상기 렌즈와 플래시 사이의 거리는 적목 결함들의 칼라 스펙트럼에 영향을 끼친다. 도 6a는 플래시로부터 렌즈까지의 거리가 2 cm일 때의 적목 결함들에 대한 공통적인 칼라 스펙트럼을 보여주며, 도 6b는 플래시로부터 렌즈까지의 거리가 5 cm일 때에 캡쳐된 이미지들에서의 결과 결함들을 보여준다. 특정 결함에 대한 예상되는 칼라들의 스펙트럼을 알면, 알고리즘들이 정밀하게 될 수 있다. 예를 들면, 형상들의 범위 내의 칼라들의 스펙트럼을 찾기 위해 구성된 적목 제거 알고리즘에서, 찾는 칼라들의 스펙트럼은 상기 이미지 획득 데이터를 기반으로 하여 좁혀질 수 있으며, 그러므로 긍정의 결과이지만 그것은 틀린 결과인 경우의 회수를 줄어들게 한다.
동적인 신체 측정 데이터를 결정하기 위해 이미지 획득 데이터를 사용 (USING IMAGE ACQUISITION DATA TO DETERMINE DYNAMIC ANTHROPOMETRIC DATA)
신체 측정 (anthropometry)은 신체 측정의 분류 및 비교에서 사용하기 위해 사람의 몸을 측정하는 연구로서 정의되는 것이 일반적이다. 눈 간격에 대한 눈 폭의 비율 또는 머리 크기에 대한 눈의 크기의 비율과 같은 통계적인 신체 측정 데이터는, 이미지에서 탐지된 다른 인간 객체에 대한 분석을 기반으로 하여, 객체가 눈인가의 여부에 관한 훌륭한 표시를 제공할 수 있다. 그러나, 많은 신체 측정 데이터는 동적이며 그래서 이미지가 캡쳐된 상태들에 따라서 달라질 것이다. 예를 들면, 동공의 크기는 고정된 것이 아니며 빛의 함수로서 변경되어 그리고 눈의 시선 (eye gaze)은 피사체가 자신의 눈들을 어떻게 움직이는가를 기반으로 하여 변경된다.
본 발명의 기술들은 동공 크기와 같은 동적인 신체 측정 데이터를 추정하고 또는 결정하기 위해 이미지 획득 데이터를 사용하는 것을 포함한다. 동공 크기는 이미지가 캡쳐되는 순간의 주위의 광 (light) 상태들을 기술하는 이미지 획득 데이터를 기반으로 하여 합리적으로 추정될 수 있다. 동공 크기는 피사체를 바라보는 시야에서의 광의 양의 함수로서 변경된다는 것이 알려져 있다. 도 7은 그런 변이의 일 예를 예시하는 곡선이다. 주변 광을 나타내는 탐지된 값과 추정된 동공 크기 사이의 관계는 디지털 이미지 획득 기기 상에서 저장될 수 있으며 그래서 주변 광의 양이 알려지면, 피사체 상에서 (on-subject) 추정된 동공의 크기가 판별될 수 있다.
그러면 피사체 상에서의 동공의 추정된 크기는 결함 교정 알고리즘들로 다양한 방식들로 구현될 수 있다. 예를 들면, 플래시로 인한 눈 결함들은 플래시로부터 시작되어 망막에서 반사된 그리고 렌즈에 도달한 광으로 인한 것이다. 그러므로, 상기 플래시, 망막 및 렌즈 사이의 각도가 충분하게 작으면, 상기 광은 상기 렌즈에 도달할 수 없을 것이며 그래서 어떤 눈 결함도 생기지 않는다. 이는 피사체가 카메라에 아주 가깝게 있거나 또는 피사체의 동공이 매우 수축된 때에 발생하는 것이 보통이다. 플래시로 인한 결함들은 밝은 일광에서는 거의 나타나지 않으며, 이는 부분적으로는 망막이 아주 많이 수축하기 때문이다. 본 발명의 기술들은 이런 사실들을 플래시로 인한 눈 결점들을 탐지하고 교정하는데 있어서 사용하는 것을 포함한다. 비록 임계 각도 (critical angle)는 눈 색깔과 같은 특정 생리적인 특성들에 따라서 약간 변하지만, 건강한 성인들의 보통의 상한 한계들이 추정될 수 있다. 예를 들면, 카프카스 사람들에 대한 상한 한계는 대략 3도이다. 주어진 피사체 상 동공 크기와 플래시부터 렌즈까지의 거리에 대해, 눈에서의 결함이 나타날 수 있을 카메라와 피사체 사이의 최소 거리 (임계 거리라고도 언급된다)가 존재한다. 기본적인 기하 계산을 이용하여, 임계 거리 (critical distance)를 구하기 위해서 다음의 공식이 사용될 수 있다.
임계 거리 = (FlashLensDistance - 피사체 상에서의 동공 크기) / [2 atan (임계 각도/2)]
상기에서 설명된 것과 같이, FlashLensDistance 는 플래시와 렌즈 사이의 거리로, 이는 기기 설계자에 의해 저장되거나 또는 이미지 캡쳐하는 순간에 동적으로 계산되는 것 중의 어느 하나일 수 있다. 추정된 임계 각도 및 추정된 피사체-상에서의 동공 크기를 이용하여 임계 거리가 계산될 수 있다. 상기 임계 거리 및 상기 렌즈와 피사체 사이의 거리를 적어도 부분적으로 기반으로 하여, 행동 방침이 결정될 수 있다. 예를 들면, 상기 이미지 획득 데이터에 저장된 상기 렌즈와 상기 피사체 사이의 거리에 대한 값이 상기 결정된 임계 거리에 대한 문턱값보다 더 작으면, 상기 캡쳐된 이미지에 적용될 어떤 교정 알고리즘도 필요하지 않다. 필요하지 않은 결함 교정 알고리즘을 실행시키지 않는 것은 사용자 시간을 절약하게 하며, 촬영과 다음 촬영 사이의 시간을 줄여주며 그리고 전력 소비를 줄어들게 한다. 필요하지 않은 결함 교정 알고리즘을 실행시키지 않는 것은 결과가 긍정이지만 틀린 결과인 경우를 식별하고 그리고 변경되어서는 안 되는 이미지의 일부를 변경하는 알고리즘의 어떤 기회도 또한 제거한다.
또한 피사체 상에서의 (on-subject) 동공 크기에 관련된 동적인 신체 측정 데이터는 이미지 내 (in-image)의 동공 크기를 추정하는 것을 판별하기 위해, 렌즈 초점 길이와 같은 다른 이미지 획득 데이터와 함께 사용될 수 있다. 그러면 상기 추정된 이미지 내 동공 크기는 최대 결함 크기를 설정하는 알고리즘들 내에서 사용될 수 있다. 후보의 결함이 실제의 결함인가 또는 결과가 긍정으로 나왔지만 틀린 결과인 경우인가를 판별하는데 도움을 주기 위해 많은 알고리즘들이 예상되는 최대의 결함 크기들을 활용한다. 플래시로 인한 결함을 나타내는 후보 결함은 그렇지 않다면, 그 후보 결함이 크기의 면에서 상기 예상되는 최대 결함 크기보다 더 크면 상기 후보 결함이 인간의 눈이나 또는 동공과 같이 눈의 일부를 실제로 묘사하지 않는다는 가정 하에 상기 후보 결함은 변경되지 않을 것이다. 대부분의 기기들은 절대 최대 값들을 활용하여 모든 가능한 상황들이 커버되고 그리고 결함들을 놓치지 않도록 한다. 본 발명의 일 실시예에서 설명된 것과 같은 이미지 획득 데이터와 신체 측정 데이터에 의해 결정된 이미지 내의 추정된 동공 크기는 상기 이미지가 캡쳐된 때의 상태들을 기반으로 하여 절대 최대값이 줄어들도록 하며, 그래서 결함 교정 알고리즘에 의해 검출된, 결과가 긍정이며 맞는 결과인 경우의 회수를 줄이지 않으면서도 특정 결함 교정 알고리즘에 의해 검출된, 결과가 긍정이지만 틀린 결과인 경우의 회수를 크게 줄어들게 한다.
이미지 획득 데이터를 눈 시선 측정치들과 결합하여 이용 (USING IMAGE ACQUISITION DATA IN CONJUNCTION WITH EYE GAZE MEASUREMENTS)
본 발명의 기술들은 특정 유형의 결함이 존재할 것인가의 가능성을 판별하기 위해, 이미지 획득 데이터를 눈-응신 측정치들과 같은 다르게 판별된 동적인 신체 측정 데이터와 결합하여 이용하는 것을 또한 포함한다. 눈 시선 (eye gaze)은, 예를 들면, 능동적인 외관 모델 (Active Appearance Model (AAM))을 검출된 얼굴 영역 상에 겹침으로써 측정될 수 있다. 전체적인 눈 시선을 판별하기 위해 상기 AAM들로부터 눈의 회전과 얼굴 회전이 측정될 수 있다. 이런 눈-시선 정보는 특히, 이미지에 적목 필터들을 적용하는 것이나 또는 쌍을 이룬 두 개의 적목 후보들 사이에서의 차이들을 일치시키는 것에 관한 유리한 정보를 제공할 수 있다.
눈의 서로 다른 영역들이 서로 다른 유형의 결함들을 초래할 수 있다. 예를 들면, 많은 양의 혈관들을 포함하고 있는 망막은 적목 결함을 초래할 수 있을 것이며, 혈관들을 포함하고 있지 않은 다른 영역들은 백색 또는 황색-눈 결함을 일으킬 수 있을 것이다. 눈의 시선 각도를 판별함으로써, 이미지 캡쳐 동안에 렌즈로 광을 거꾸로 반사할 눈의 영역이 판별될 수 있다. 그 정보로 무장하여, 적목 필터가 적용되어야 하는가 아닌가의 여부, 적목 필터에 추가로 필터가 적용되어야만 하는가의 여부 등이 결정될 수 있다.
도 8a는 눈-시선이 렌즈로 직접 향하고 플래시는 눈에 작은 각도로 진입하여 망막의 혈관들을 자극하며, 그러므로 적목 결함을 초래할 수 있는 조건을 생성하는 경우인 보통의 경우를 예시한다. 도 8b는 눈의 축이 플래시와 직접적으로 정렬되며 피사체의 눈-시선은 (상기 이미지 획득 기기의 관점에서) 약간 왼쪽이며 그러나 플래시는 망막의 후면 상으로 바로 도달하는 것을 보여주며, 상기 플래시는 여전히 망막의 혈관들을 자극하여 잠재적으로 적목 결함으로 이끈다. 도 8c에서, 시선 각도는 왼쪽으로 몇 도 더 확대되며, 그리고 이제 플래시는 망막 영역과 마주보는 눈의 맹점 영역 상에 직접 입사한다.
상기 맹점은 축에서 몇 도 정도 벗어나는 경향이 있으며 그리고 상기 망막이 아닌 다른 유형의 결함을 초래한다. 측정된 눈-시야 각도, 맹점 오프셋 및 카메라로부터 피사체까지의 거리 사이의 관계를 더욱 정밀하게 측정하는 것은 도 9에서 주어진다.
맹점 오프셋은 A2으로, 이는 특정한 사람에 대해서는 일정할 수 있으며, 평균값들을 기반으로 하여 추정될 수 있다. 눈-시선 각도는 A1이며, 피사체까지의 거리는 D이다. 플래시와 카메라 렌즈 사이의 간격은 S (도시되지 않음)이다. S 및 D에 대한 값들은 저장된 이미지 획득 데이터로부터 얻을 수 있다.
Figure 112010040469503-pct00001
그리고,
Figure 112010040469503-pct00002
또는, 상기 눈-시선 각도 A1은 S, D 및 A2와 다음의 식과 같은 관계가 있다.
Figure 112010040469503-pct00003
tan-1(S/D) 항목에 대한 예시의 값들의 테이블이 아래에서 주어지며, 그 경우 tan-1(S/D) 항목은 렌즈로부터 플래시까지의 거리의 상기 눈-시선 각도에 대한 각도의 기여분 (각도로 표시된)을 나타낸다.
D S=0.025m S=0.05m S=0.075m S=0.15m
1 미터 1.43 2.86 4.29 8.53
2 미터 0.72 1.43 2.15 4.29
3 미터 0.48 0.95 1.43 2.86
상기 이미지 획득 데이터를 눈 시선 측정과 결합함으로써, 특정 유형의 필터들을 언제 적용하는가를 결정할 수 있다. 예를 들면, 전체 눈 시선이 특정 양보다 더 크기 때문에, 플래시가 망막이 아닌 영역에 영향을 줄 것 같다는 것을 눈 시선 측정 및 이미지 획득 데이터가 표시하면, 표준의 적목 필터들을 보충하기 위해 추가의 황색-눈 필터 또는 금색-눈 필터가 적용될 수 있을 것이다. 눈 시선 측정들은 획득된 메인 이미지 상에서 수행될 수 있을 것이며, 또는 (상기 메인 이미지 상에서의 눈 시선 측정을 예측하거나 정제하기 위해) 미리 보기 (preview) 이미지들의 시퀀스 상에서 수행될 수 있을 것이다.
본 발명의 기술들은 한 눈에는 첫 번째 결함이 있고 두 번째 눈은 다른 결함이 있는 경우에 플래시-눈 쌍들을 분석하는 것을 돕기 위해 눈 시선 측정들을 이용하는 것을 또한 포함한다. 이에 대한 이유들은 도 9로부터 볼 수 있으며, 도 9는 두 눈들을 분리하는 거리 때문에 한 눈 쌍에 대한 눈 시선 각도들 (A1, A2)이 약간 서로 다르다는 것을 보여주는 도면이다. 눈 시선 각도에서의 1-2 도 이상의 차이는 눈-쌍의 각 눈에서 서로 다른 형상의 결함들이 발생하는 것을 초래할 수 있다. 눈들의 쌍이 두 눈 모두에 적목 결함이 있어야 하는지, 어느 것도 적목 결함이 없는지 또는 하나의 눈에는 적목 결함이 있고 다른 눈에는 어떤 다른 결함이 있는지 여부를 예측하기 위해 눈 시선 측정 및 이미지 획득 데이터를 사용함으로써, 결함 탐지 알고리즘들은, 결과는 긍정이지만 틀린 결과인 경우를 제거하도록 개선될 수 있다. 예를 들면, 알고리즘이
양 눈이 적목 결함을 나타내지만, 눈 시선 각도와 이미지 획득 데이터는 어느 눈에도 적목 결함이 없거나 또는 한 하나의 눈에만 적목 결함이 있는 것으로 표시하는 눈들의 후보 쌍을 탐지하면, 이미지를 올바르지 않게 변경하지 않으면서 상기 후보 쌍은, 결과가 긍정이지만 그것은 틀린 결과인 경우로 식별될 수 있다. 상기 눈 시선 측정은 본 개시에서 언급된 것과는 다른 기술들을 포함하는 이미지 프로세싱 기술들을 대신하거나 또는 그 기술들과 결합하여 사용될 수 있다.
구현 메커니즘들 - 하드웨어 개관 (IMPLEMENTATION MECHANISMS - HARDWARE OVERVIEW)
도 10은 본 발명의 실시예가 구현될 수 있을 이미지 획득 기기 (1000)를 예시하는 블록도이다. 상기 이미지 획득 기기 (1000)는 렌즈 (1022) 및 이미지 캡쳐 동안에 조명을 제공하기 위한 광원 (1024)을 포함하는 이미지 캡쳐 장치 (1020)을 구비할 수 있다. 상기 이미지 캡쳐 장치 (1020)는 상기 기기 (1000) 상의 한 포인트와 피사체 사이의 거리를 판별하기 위한 거리 분석기 (1028)를 더 포함할 수 있다. 상기 이미지 캡쳐 장치 (1020)는 광 정보를 전자적인 인코딩으로 변환하는, 예를 들면, CCD, CMOS 또는 어떤 다른 오브젝트일 수 있는 광 센서 (1026)를 또한 포함할 수 있다. 상기 이미지 캡쳐 장치 (1020)는 이미지 획득 동안에 상기 렌즈 (1020)의 파라미터들을 모니터하기 위한 메커니즘 (1029)을 더 포함할 수 있다. 획득 동안의 렌즈에 관련된 파라미터들은, 촬영 심도 (depth of field)를 주로 결정하는 렌즈 구경 (aperture) 또는 f-값 (f-stop), 이미지의 확대를 결정하는 초점 길이 (focal length) 및 렌즈 (1022)가 초점을 맞추는 대상물들까지의 거리를 결정하는 초점 맞추는 거리 (focusing distance)를 포함할 수 있다.
상기 이미지 획득 기기 (1000)는 정지 (still) 이미지 캡쳐 기능을 가진 비디오 카메라, 스마트폰, 휴대용 카메라, 개인용 컴퓨터 등에 연결된 렌즈와 같이 단일 기기 내에 포함될 수 있을 것이다. 대안으로, 상기 이미지 획득 기기 (1000)의 여러 부분들은, 일부 부품들은 개인용 컴퓨터 상에 그리고 일부 부품들은 휴대용 디지털 카메라에 구비하는 것과 같이, 여러 기기들 사이에 분포될 수 있을 것이다. 이미지 획득 기기 (1000)는 버스 (1002) 또는 정보를 전달하기 위한 다른 통신 메커니즘 그리고 버스 (1002)와 연결되어 정보를 처리하는 프로세서 (1004)를 포함한다. 이미지 획득 기기 (1000)는 버스 (1002)에 연결되어 정보와 프로세서 (1004)에 의해 실행될 명령어들을 저장하는, 랜덤 액세스 메모리 ("RAM")나 다른 동적인 저장 기기와 같은 메인 메모리 (1006)를 또한 포함한다. 메인 메모리 (1006)는 프로세서 (1004)에 의해 실행될 명령어들의 실행 동안에 임시 변수들이나 다른 중간 정보를 저장하기 위해 또한 사용될 수 있을 것이다. 이미지 획득 기기 (1000)는 버스 (1002)에 연결되어 정적인 정보와 프로세서 (1004)용의 명령어들을 저장하는 읽기 전용 메모리 ("ROM") (1008) 또는 다른 정적인 저장 기기를 또한 포함한다. 자기 디스크 또는 광학 디스크와 같은 저장 기기 (1010)가 정보 및 명령어들을 저장하기 위해 제공되어 버스 (1002)에 연결된다.
이미지 획득 기기 (1000)는 버스 (1002)를 경유하여 액정 디스플레이 (LCD)와 같은 디스플레이 (1002)로 연결되어, 정보 또는 이미지들을 사용자에게 제공한다. 키들을 포함하는 입력 기기 (1004)는 버스 (1002)에 연결되어 프로세서 (1004)로 정보 및 명령 선택들을 전달한다. 프로세서 (1004)로 정보 및 명령 선택들을 전달하는 다른 유형의 사용자 입력 기기들, 예를 들면, 마우스, 트랙볼, 스타일러스 또는 커서 방향 키들과 같은 커서 제어기 (1016) 또한 디스플레이 (1012) 상에서 프로세서 (1004)로 정보 및 명령 선택들을 전달하기 위한 용도로 커서 움직임을 제어하기 위해 또한 사용될 수 있다.
여기에서 사용되는 "컴퓨터로 읽을 수 있는 매체"의 용어는 실행을 위해 프로세서 (1004)로 명령어들을 제공하는데 관여하는 임의의 매체를 언급하는 것이다. 그런 매체는 비휘발성 매체 및 휘발성 매체를 포함하는 많은 형상들을 가질 수 있을 것이지만, 그런 것들로 한정되지는 않는다. 비휘발성 매체는, 예를 들면, 저장 기기 (1010)와 같은 광학 디스크나 자기 디스크를 포함한다. 휘발성 매체는 메인 메모리 (1006)와 같은 동적인 메모리를 포함한다.
컴퓨터로 읽을 수 있는 매체의 공통적인 형상들은, 예를 들면, 플로피 디스크, 플레서블 디스크, 하드 디스크, 자기 테이프 또는 어떤 다른 자기 매체, CD-ROM. 어떤 다른 자기 매체, 펀치 카드, 종이 테이프, 구멍의 패턴들을 구비한 어떤 다른 물리적인 매체, RAM, PROM 및 EPROM, 플래시-EPROM, 어떤 다른 메모리 칩이나 카트리지, 이하에서 설명되는 것과 같은 반송파, 컴퓨터가 읽을 수 있는 어떤 다른 매체를 포함한다. 컴퓨터로 읽을 수 있는 매체의 어떤 단일의 유형 또는 조합도, 하나 또는 그 이상의 프로세서들에 의해 실행될 때에 상기 프로세서들로 하여금 본 발명의 기술들에 대응하는 단계들을 수행하도록 하는 명령어들을 저장하기 위해 사용될 수 있다.
확장 및 대안 (EXTENSIONS AND ALTERNATIVES)
본원의 설명에서, 어떤 프로세스 단계들이 특정의 순서로 제시되었으며, 어떤 단계들을 식별하기 위해 알파벳 및 숫자 라벨들이 사용될 수 있을 것이다. 본원의 설명에서 특별하게 선언하지 않았다면, 본 발명의 실시예들은 그런 단계들을 수행하는 어떤 특정 순서에 꼭 제한되지는 않는다. 특히, 상기 라벨들은 단계들을 편리하게 식별하기 위해 사용되는 것이며, 그런 단계들을 수행하기 위한 특정한 순서를 규정하거나 요청하려는 의도는 아니다.

Claims (28)

  1. 휴대용 디지털 이미지 획득 기기로서:
    렌즈;
    디지털 이미지 캡쳐 장치;
    이미지 캡쳐 동안에 조명을 제공하는 광원; 및
    프로세서;를 포함하며,
    상기 프로세서는,
    디지털 이미지를 획득하고;
    이미지를 획득하는 시점에서의 이미지 획득 상태를 기술하는 (describe) 이미지 획득 데이터를 저장하는, 동작들을 수행하고,
    상기 프로세서는,
    렌즈의 축에 상대적인, 상기 디지털 이미지 내의 눈의 시선 각도를 판별하고;
    이미지 획득 데이터 및 눈의 시선 각도를 적어도 기반으로 하여 행동 방침을 결정하고;
    눈의 시선 각도가 미리 정해진 값보다 더 큰가의 여부를 판별하도록 설정되며,
    이 경우 상기 행동 방침은, 눈의 시선 각도가 상기 미리 정해진 값보다 더 크다고 판별한 것에 응답하여, 적목 (red-eye) 결함 후보들이 아닌 플래시-눈 (flash-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함함을 특징으로 하는, 휴대용 디지털 이미지 획득 기기.
  2. 제1항에 있어서,
    상기 프로세서는 소프트웨어 명령어들을 실행시키는 멀티-코어 프로세서를 포함하는, 휴대용 디지털 이미지 획득 기기.
  3. 제1항에 있어서,
    상기 행동 방침은, 눈의 시선 각도가 상기 미리 정해진 값보다 더 크다고 판별한 것에 응답하여,
    황색-눈 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하고; 또는
    금색-눈 (golden-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 동작들 중의 적어도 하나를 수행하는 것을 포함하는, 휴대용 디지털 이미지 획득 기기.
  4. 제3항에 있어서,
    상기 이미지 획득 데이터는,
    상기 휴대용 디지털 이미지 획득 기기로부터 피사체 (subject)까지의 거리 및
    상기 광원과 렌즈 사이의 간격을 포함하며, 그리고
    상기 미리 정해진 값은 상기 거리와 간격을 적어도 기반으로 하여 정해지는, 휴대용 디지털 이미지 획득 기기.
  5. 제1항에 있어서,
    상기 프로세서는 눈의 시선 각도가 미리 정해진 값보다 더 작은가의 여부를 판별하도록 더 설정되며,
    이 경우 상기 행동 방침은, 눈의 시선 각도가 미리 정해진 값보다 작다고 판별한 것에 응답하여, 적목 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함하는, 휴대용 디지털 이미지 획득 기기.
  6. 제1항에 있어서,
    상기 프로세서는,
    첫 번째 눈 및 두 번째 눈을 포함하는 눈들의 쌍을 상기 디지털 이미지에서 식별하고;
    디지털 이미지를 획득할 때의 플래시로 인해서 유도되며, 적목, 반-적목, 금색-눈 결함을 포함하는, 제1 유형의 결함이 존재하는 것 같다는 것을 상기 첫 번째 눈의 눈 시선 각도가 표시하는가를 판별하고;
    상기 제1 유형의 결함을 포함하는 상기 디지털 이미지 내의 눈 영역, 얼굴 영역이나 다른 신체 영역에 관련된 디지털 이미지 결함을 포함하는 제2 유형의 결함이 존재하는 것 같다는 것을 상기 두 번째 눈의 눈 시선 각도가 표시하는가를 판별하고;
    상기 디지털 이미지가 상기 제1 유형의 결함을 포함하는가의 여부를 판별하기 위해 상기 디지털 이미지를 분석하고; 그리고
    상기 디지털 이미지가 상기 제2 유형의 결함을 포함하는가의 여부를 판별하기 위해 상기 디지털 이미지를 분석하도록,
    더 설정되는, 휴대용 디지털 이미지 획득 기기.
  7. 제1항에 있어서,
    이미지를 획득하는 시점에서의 이미지 획득 상태를 기술하는 이미지 획득 데이터를 저장하는 것은,
    상기 시점에서의 주변 광 (light)을 나타내는 값을 검출하고; 그리고
    그 값을 저장하는; 동작들을 포함하며,
    상기 휴대용 디지털 이미지 획득 기기의 상기 프로세서는,
    상기 주변 광을 나타내는 값을 상기 디지털 이미지와 연관시키고;
    상기 주변 광을 나타내는 값을 적어도 기반으로 하여 상기 행동 방침을 결정하도록 더 설정된, 휴대용 디지털 이미지 획득 기기.
  8. 제7항에 있어서,
    상기 프로세서는 상기 값이 문턱값 (threshold value)보다 더 큰가의 여부를 판별하도록 더 설정되며,
    이 경우 상기 값이 상기 문턱값보다 더 크면 상기 행동 방침은 상기 디지털 이미지를 변경하지 않는 것을 포함하는, 휴대용 디지털 이미지 획득 기기.
  9. 제7항에 있어서,
    상기 프로세서는 상기 값이 문턱값 (threshold value)보다 더 작은가의 여부를 판별하도록 더 설정되며,
    이 경우 상기 값이 상기 문턱값보다 더 작으면 상기 행동 방침은 플래시-눈 (flash-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함하는, 휴대용 디지털 이미지 획득 기기.
  10. 제7항에 있어서, 상기 프로세서는,
    이미지 캡쳐 장치와 피사체 사이의 거리를 나타내는 제2 값을 결정하며;
    상기 제2 값을 저장하며;
    상기 값을 이용하여 피사체-상의 동공 크기를 판별하며;
    상기 피사체-상의 동공 크기 및 상기 제2 값을 이용하여 임계 거리를 결정하며; 그리고
    상기 임계 거리를 적어도 기반으로 하여 상기 디지털 이미지 상에서 결함 후보들에 대한 교정 행동을 수행하는가의 여부를 결정하도록,
    더 설정되는, 휴대용 디지털 이미지 획득 기기.
  11. 제7항에 있어서, 상기 프로세서는,
    디지털 이미지 캡쳐 장치와 피사체 사이의 거리를 나타내는 제2 값을 결정하고;
    렌즈 초점 길이를 나타내는 제3 값을 결정하고;
    상기 제2 값 및 상기 제3 값을 저장하고;
    상기 값, 상기 제2 값 및 상기 제3 값을 이용하여 이미지-내 동공 크기를 판별하고; 그리고
    상기 이미지-내 동공 크기를 적어도 기반으로 하여 상기 디지털 이미지에서의 결함들을 식별하도록,
    더 설정되는, 휴대용 디지털 이미지 획득 기기.
  12. 제1항에 있어서, 상기 프로세서는,
    상기 렌즈에 대한 상기 광원의 위치를 나타내는 값을 저장하고;
    상기 광원의 위치를 나타내는 값을 이용하여 반-적목 (half-red eye) 결함의 예상되는 방위 (orientation)를 식별하고; 그리고
    상기 예상되는 방위를 적어도 기반으로 하여 상기 디지털 이미지에서 결함 후보들을 식별하도록,
    더 설정되는, 휴대용 디지털 이미지 획득 기기.
  13. 제11항에 있어서,
    결함들을 식별하는 것은 상기 이미지-내 동공 크기와 같거나 또는 더 작은 크기의 결함들만을 찾기 위해서 상기 디지털 이미지를 검색하는 것을 포함하는, 휴대용 디지털 이미지 획득 기기.
  14. 제1항에 있어서,
    상기 이미지 획득 데이터는,
    렌즈에 대한 광원의 위치, 광원으로부터 렌즈까지의 거리, 렌즈의 초점 거리, 디지털 이미지 획득 기기 상의 한 포인트로부터 피사체까지의 거리, 주변 광의 양 또는 플래시 강도 중의 적어도 하나를 포함하며; 그리고
    상기 기기의 상기 프로세서는,
    상기 디지털 이미지 내에 표현된 하나 이상의 인간들의, 상기 눈의 시선 각도를 포함하는 동적으로 변하는 하나 이상의 인간 신체 측정치들을 포함하는, 동적인 신체 측정 (anthropometric) 데이터를 판별하며; 그리고
    상기 이미지 획득 데이터 및 상기 동적 신체 측정 데이터를 적어도 기반으로 하여 결함 후보들에 대한 교정 행동의 방침을 결정하도록,
    더 설정되는, 휴대용 디지털 이미지 획득 기기.
  15. 렌즈;
    디지털 이미지 캡쳐 장치;
    이미지 캡쳐 동안에 조명을 제공하는 광원; 및
    프로세서;를 포함하는 디지털 이미지 획득 기기를 이용하여 눈의 시선 측정을 하는 방법으로서,
    디지털 이미지를 획득하는 단계;
    디지털 이미지를 획득하는 시점에서의 이미지 획득 상태를 기술하는 (describe) 이미지 획득 데이터를 저장하는 단계;
    렌즈의 축에 상대적인, 상기 디지털 이미지 내의 눈의 시선 각도를 판별하는 단계;
    이미지 획득 데이터 및 눈의 시선 각도를 적어도 기반으로 하여 행동 방침을 결정하고;
    눈의 시선 각도가 미리 정해진 값보다 더 큰가의 여부를 판별하는 단계를 포함하며,
    상기 행동 방침은, 눈의 시선 각도가 상기 미리 정해진 값보다 더 크다고 판별한 것에 응답하여, 적목 (red-eye) 결함 후보들이 아닌 플래시-눈 (flash-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함함을 특징으로 하는, 눈의 시선 측정 방법.
  16. 제15항에 있어서,
    상기 행동 방침은, 눈의 시선 각도가 상기 미리 정해진 값보다 더 크다고 판별한 것에 응답하여,
    황색-눈 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하고; 또는
    금색-눈 (golden-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 동작들 중의 적어도 하나를 수행하는 것을 포함하며,
    상기 행동 방침은, 눈의 시선 각도가 미리 정해진 값보다 작다고 판별한 것에 응답하여, 적목 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함하며,
    상기 이미지 획득 데이터는,
    상기 디지털 이미지 획득 기기로부터 피사체 (subject)까지의 거리 및
    상기 광원과 렌즈 사이의 간격을 포함하며, 그리고
    상기 미리 정해진 값은 상기 거리와 간격을 적어도 기반으로 하여 정해지는, 눈의 시선 측정 방법.
  17. 제15항에 있어서,
    이미지를 획득하는 시점에서의 이미지 획득 상태를 기술하는 이미지 획득 데이터를 저장하는 단계는,
    상기 시점에서의 주변 광 (light)을 나타내는 값을 검출하는 단계; 그리고
    그 값을 저장하는 단계;를 포함하며,
    상기 방법은,
    상기 주변 광을 나타내는 값을 상기 디지털 이미지와 연관시키는 단계; 및
    상기 주변 광을 나타내는 값을 적어도 기반으로 하여 상기 행동 방침을 결정하는 단계를 더 포함하는, 눈의 시선 측정 방법.
  18. 제17항에 있어서,
    상기 방법은 상기 값이 문턱값 (threshold value)보다 더 큰가의 여부를 판별하는 단계를 더 포함하며,
    상기 값이 상기 문턱값보다 더 크면 상기 행동 방침은 상기 디지털 이미지를 변경하지 않는 것을 포함하며,
    상기 값이 상기 문턱값보다 더 작으면 상기 행동 방침은 플래시-눈 (flash-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함하는, 눈의 시선 측정 방법.
  19. 제17항에 있어서, 상기 방법은,
    이미지 캡쳐 장치와 피사체 사이의 거리를 나타내는 제2 값을 결정하는 단계;
    상기 제2 값을 저장하는 단계;
    상기 값을 이용하여 피사체-상의 동공 크기를 판별하는 단계;
    상기 피사체-상의 동공 크기 및 상기 제2 값을 이용하여 임계 거리를 결정하는 단계; 그리고
    상기 임계 거리를 적어도 기반으로 하여 상기 디지털 이미지 상에서 결함 후보들에 대한 교정 행동을 수행하는가의 여부를 결정하는 단계를 더 포함하는, 눈의 시선 측정 방법.
  20. 제17항에 있어서, 상기 방법은,
    디지털 이미지 캡쳐 장치와 피사체 사이의 거리를 나타내는 제2 값을 결정하는 단계;
    렌즈 초점 길이를 나타내는 제3 값을 결정하는 단계;
    상기 제2 값 및 상기 제3 값을 저장하는 단계;
    상기 값, 상기 제2 값 및 상기 제3 값을 이용하여 이미지-내 동공 크기를 판별하는 단계; 그리고
    상기 이미지-내 동공 크기를 적어도 기반으로 하여 상기 디지털 이미지에서의 결함들을 식별하는 단계를 더 포함하는, 눈의 시선 측정 방법.
  21. 제15항에 있어서,
    상기 이미지 획득 데이터는,
    렌즈에 대한 광원의 위치, 광원으로부터 렌즈까지의 거리, 렌즈의 초점 거리, 디지털 이미지 획득 기기 상의 한 포인트로부터 피사체까지의 거리, 주변 광의 양 또는 플래시 강도 중의 적어도 하나를 포함하며; 그리고
    상기 방법은,
    상기 디지털 이미지 내에 표현된 하나 이상의 인간들의, 상기 눈의 시선 각도를 포함하는 동적으로 변하는 하나 이상의 인간 신체 측정치들을 포함하는, 동적인 신체 측정 (anthropometric) 데이터를 판별하는 단계; 그리고
    상기 이미지 획득 데이터 및 상기 동적 신체 측정 데이터를 적어도 기반으로 하여 결함 후보들에 대한 교정 행동의 방침을 결정하는 단계를 더 포함하는, 눈의 시선 측정 방법.
  22. 렌즈;
    디지털 이미지 캡쳐 장치;
    이미지 캡쳐 동안에 조명을 제공하는 광원; 및
    프로세서;를 포함하는 휴대용 디지털 이미지 획득 기기에서 동작할 수 있는 프로그램을 저장한, 컴퓨터로 읽을 수 있는 매체로서,
    상기 프로그램은 상기 프로세서에 의해서 실행되면, 상기 휴대용 디지털 이미지 획득 기기로 하여금,
    디지털 이미지를 획득하는 단계;
    이미지를 획득하는 시점에서의 이미지 획득 상태를 기술하는 (describe) 이미지 획득 데이터를 저장하는 단계;
    렌즈의 축에 상대적인, 상기 디지털 이미지 내의 눈의 시선 각도를 판별하는 단계;
    이미지 획득 데이터 및 눈의 시선 각도를 적어도 기반으로 하여 행동 방침을 결정하는 단계;
    눈의 시선 각도가 미리 정해진 값보다 더 큰가의 여부를 판별하는 단계;를 실행하도록 하며,
    이 경우 상기 행동 방침은, 눈의 시선 각도가 상기 미리 정해진 값보다 더 크다고 판별한 것에 응답하여, 적목 (red-eye) 결함 후보들이 아닌 플래시-눈 (flash-eye) 결함 후보들을 식별하기 위해서 상기 디지털 이미지를 분석하는 것을 포함함을 특징으로 하는, 컴퓨터로 읽을 수 있는 매체.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020107013935A 2008-01-30 2009-01-30 눈 시선 측정을 위한 방법 및 장치 KR101204046B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2455108P 2008-01-30 2008-01-30
US61/024,551 2008-01-30
PCT/EP2009/051081 WO2009095481A2 (en) 2008-01-30 2009-01-30 Methods and apparatuses for eye gaze measurement

Publications (2)

Publication Number Publication Date
KR20100112560A KR20100112560A (ko) 2010-10-19
KR101204046B1 true KR101204046B1 (ko) 2012-11-23

Family

ID=40521544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107013935A KR101204046B1 (ko) 2008-01-30 2009-01-30 눈 시선 측정을 위한 방법 및 장치

Country Status (8)

Country Link
US (4) US8212864B2 (ko)
EP (2) EP2165523B1 (ko)
JP (2) JP5140163B2 (ko)
KR (1) KR101204046B1 (ko)
CN (1) CN102017599B (ko)
AT (1) ATE505907T1 (ko)
DE (1) DE602009001078D1 (ko)
WO (1) WO2009095481A2 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US20090263015A1 (en) * 2008-04-17 2009-10-22 Guoyi Fu Method And Apparatus For Correcting Underexposed Digital Images
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US20110216157A1 (en) 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
US8363085B2 (en) 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
WO2012040196A1 (en) * 2010-09-20 2012-03-29 Amo Development Llc System and methods for mitigating changes in pupil size during laser refractive surgery to maintain ablation centration
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US8947501B2 (en) 2011-03-31 2015-02-03 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
US8493460B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
WO2013136053A1 (en) 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
CN104798364B (zh) 2012-06-07 2018-08-17 数位光学欧洲有限公司 Mems快速对焦照相机模块
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
JP5652886B2 (ja) 2012-11-28 2015-01-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
US9081264B2 (en) 2012-12-31 2015-07-14 Digitaloptics Corporation Auto-focus camera module with MEMS capacitance estimator
US10402846B2 (en) 2013-05-21 2019-09-03 Fotonation Limited Anonymizing facial expression data with a smart-cam
US20160111062A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Ambient light-based image adjustment
US11232316B2 (en) 2016-06-28 2022-01-25 Intel Corporation Iris or other body part identification on a computing device
US11115604B2 (en) * 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus

Family Cites Families (343)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB841609A (en) 1958-08-01 1960-07-20 Ralph Austin Rusca Carding apparatus
US4285588A (en) 1980-07-24 1981-08-25 Eastman Kodak Company Apparatus and method for minimizing red-eye in flash photography
DE3269741D1 (en) * 1982-12-11 1986-04-10 Hell Rudolf Dr Ing Gmbh Process and device for the copying retouching in the electronic colour picture reproduction
US4646134A (en) * 1984-03-21 1987-02-24 Sony Corporation Apparatus for encoding image signal
JPS61131990A (ja) 1984-11-30 1986-06-19 Sony Corp ビデオテツクス画像作成装置
US4777620A (en) 1985-02-20 1988-10-11 Elscint Ltd. Data compression system
US5568187A (en) 1987-09-10 1996-10-22 Canon Kabushiki Kaisha Image pickup apparatus including distance measurement
GB8725465D0 (en) 1987-10-30 1987-12-02 Linx Printing Tech Ink jet printers
US5400113A (en) * 1988-03-16 1995-03-21 Nikon Corporation Control device for preventing red-eye effect on camera
JPH0264532A (ja) * 1988-08-30 1990-03-05 Nikon Corp 撮影情報を記録可能なカメラおよび被写体情報を可視化する情報出力装置
JP3205989B2 (ja) 1988-09-22 2001-09-04 日本電気株式会社 情報処理システム
JP2572826B2 (ja) * 1988-11-25 1997-01-16 オリンパス光学工業株式会社 赤目予報装置付カメラ
US5202720A (en) * 1989-02-02 1993-04-13 Minolta Camera Kabushiki Kaisha Photographic camera with flash unit
US5016107A (en) 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
JPH02306228A (ja) 1989-05-22 1990-12-19 Minolta Camera Co Ltd 外部記憶装置に情報を記録するカメラ
US5164833A (en) 1989-11-15 1992-11-17 Konica Corporation Electronic viewfinder
US5130789A (en) 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
JP2859351B2 (ja) * 1990-02-07 1999-02-17 三菱電機株式会社 半導体装置の製造方法
US5164831A (en) 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
US5335072A (en) 1990-05-30 1994-08-02 Minolta Camera Kabushiki Kaisha Photographic system capable of storing information on photographed image data
US5719951A (en) * 1990-07-17 1998-02-17 British Telecommunications Public Limited Company Normalized image feature processing
KR920005598A (ko) 1990-08-29 1992-03-28 오가 노리오 디지탈 전자스틸카메라
JP2748678B2 (ja) 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
KR930007065B1 (ko) * 1991-01-30 1993-07-26 삼성전자 주식회사 전자카메라시스템에 있어서 재생시 화면편집장치
US5249053A (en) 1991-02-05 1993-09-28 Dycam Inc. Filmless digital camera with selective image compression
JP3528184B2 (ja) 1991-10-31 2004-05-17 ソニー株式会社 画像信号の輝度補正装置及び輝度補正方法
JP2962012B2 (ja) 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
US5426478A (en) * 1991-12-26 1995-06-20 Olympus Optical Co., Ltd. Camera with a built-in strobe having a gripping section and a finger intrusion prevention screen
JPH05224271A (ja) * 1992-02-13 1993-09-03 Ricoh Co Ltd 画像処理装置
JP2500726B2 (ja) 1992-06-12 1996-05-29 日本電気株式会社 上まぶた領域、目頭・目尻・上まぶた領域及び目の構造の検出方法及び装置
JP2673146B2 (ja) 1992-08-04 1997-11-05 インターナショナル・ビジネス・マシーンズ・コーポレイション 電子フラッシュの発光タイミングを決定する方法及びカメラシステム
JPH0678320A (ja) * 1992-08-25 1994-03-18 Matsushita Electric Ind Co Ltd 色調整装置
US5649238A (en) * 1992-09-14 1997-07-15 Nikon Corporation Camera having built-in flash light emitting device for improving picture quality and method thereof
US5974189A (en) 1993-05-24 1999-10-26 Eastman Kodak Company Method and apparatus for modifying electronic image data
US5432863A (en) 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
JPH07226911A (ja) * 1994-02-15 1995-08-22 Eastman Kodak Japan Kk 電子スチルカメラ
US5781650A (en) 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5537516A (en) 1994-03-15 1996-07-16 Electronics For Imaging, Inc. Method for calibrating a color printer using a scanner for color measurements
JP2931755B2 (ja) 1994-04-14 1999-08-09 株式会社東芝 データ再生装置、データエンコード装置、データエンコード方法及びデータ再生システム
DE69518578T2 (de) 1994-05-18 2001-04-26 Sharp Kk Kartenartige Kamera mit Bildverarbeitungsfunktion
JP3444552B2 (ja) 1994-05-24 2003-09-08 オリンパス光学工業株式会社 カメラシステム
US5568194A (en) 1994-05-31 1996-10-22 Asahi Kogaku Kogyo Kabushiki Kaisha Adjusting a white balance in a camera using a flash
US5572596A (en) 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
ATE252403T1 (de) 1994-10-14 2003-11-15 Bird Products Corp Ausatmungsventil
JP2630923B2 (ja) 1994-12-05 1997-07-16 日本アイ・ビー・エム株式会社 画像認識方法及び装置
JP3400888B2 (ja) * 1995-03-29 2003-04-28 大日本スクリーン製造株式会社 カラー画像の色変更方法
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US6172706B1 (en) * 1995-04-19 2001-01-09 Canon Kabushiki Kaisha Video camera with automatic zoom adjustment based on distance between user's eyes
US5805745A (en) 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
JP3426060B2 (ja) 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5850470A (en) 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
JP3420405B2 (ja) 1995-09-20 2003-06-23 キヤノン株式会社 撮像装置
US6104839A (en) 1995-10-16 2000-08-15 Eastman Kodak Company Method and apparatus for correcting pixel values in a digital image
US5862218A (en) * 1996-04-04 1999-01-19 Fotonation, Inc. Method and apparatus for in-camera image marking and authentication
US6891567B2 (en) * 1998-06-26 2005-05-10 Fotonation Holdings, Llc Camera messaging and advertisement system
US6433818B1 (en) 1998-11-06 2002-08-13 Fotonation, Inc. Digital camera with biometric security
US6510520B1 (en) * 1998-06-26 2003-01-21 Fotonation, Inc. Secure storage device for transfer of digital camera data
WO1997030375A1 (en) 1996-02-13 1997-08-21 Obsidian Imaging, Inc. Method and apparatus for configuring a camera through external means
US6295378B1 (en) 1996-02-29 2001-09-25 Sanyo Electric Co., Ltd. Handwriting stroke information encoder which encodes handwriting stroke information by sampling
US5862217A (en) * 1996-03-28 1999-01-19 Fotonation, Inc. Method and apparatus for in-camera encryption
US5708866A (en) * 1996-05-02 1998-01-13 Eastman Kodak Company Camera selects unused flash bulb farthest from taking lens to reduce red-eye effect when camera-to-subject distance within near range
US5678073A (en) 1996-05-29 1997-10-14 Eastman Kodak Company Multiple taking lenses, equal number flash bulbs, camera with flash-lens sequencing to reduce red-eye
JP2907120B2 (ja) 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
US5991456A (en) 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
US5847714A (en) 1996-05-31 1998-12-08 Hewlett Packard Company Interpolation method and apparatus for fast image magnification
JP3037140B2 (ja) * 1996-06-13 2000-04-24 日本電気オフィスシステム株式会社 デジタルカメラ
US6195127B1 (en) * 1996-07-18 2001-02-27 Sanyo Electric Co., Ltd. Digital camera, having a flash unit, which determines proper flash duration through an assessment of image luminance and, where needed, a preliminary flash emission
US6028611A (en) * 1996-08-29 2000-02-22 Apple Computer, Inc. Modular digital image processing via an image processing chain
US20030118216A1 (en) 1996-09-04 2003-06-26 Goldberg David A. Obtaining person-specific images in a public venue
JP3791635B2 (ja) * 1996-10-22 2006-06-28 富士写真フイルム株式会社 画像再生方法、画像再生装置、画像処理方法および画像処理装置
US5818975A (en) 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US6125213A (en) 1997-02-17 2000-09-26 Canon Kabushiki Kaisha Image processing method, an image processing apparatus, and a storage medium readable by a computer
US5761550A (en) 1997-02-20 1998-06-02 Kancigor; Barry Telescoping flash unit for a camera
US6441854B2 (en) 1997-02-20 2002-08-27 Eastman Kodak Company Electronic camera with quick review of last captured image
US6573927B2 (en) * 1997-02-20 2003-06-03 Eastman Kodak Company Electronic still camera for capturing digital image and creating a print order
US6249315B1 (en) 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
JP3222091B2 (ja) * 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
US6204858B1 (en) * 1997-05-30 2001-03-20 Adobe Systems Incorporated System and method for adjusting color data of pixels in a digital image
US6381345B1 (en) * 1997-06-03 2002-04-30 At&T Corp. Method and apparatus for detecting eye location in an image
US6009209A (en) 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US7724282B2 (en) * 1997-07-15 2010-05-25 Silverbrook Research Pty Ltd Method of processing digital image to correct for flash effects
US5991594A (en) 1997-07-21 1999-11-23 Froeber; Helmut Electronic book
US6151403A (en) 1997-08-29 2000-11-21 Eastman Kodak Company Method for automatic detection of human eyes in digital images
US5892837A (en) * 1997-08-29 1999-04-06 Eastman Kodak Company Computer program product for locating objects in an image
US6252976B1 (en) 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6292574B1 (en) 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6266054B1 (en) 1997-11-05 2001-07-24 Microsoft Corporation Automated removal of narrow, elongated distortions from a digital image
US5949904A (en) 1997-11-06 1999-09-07 International Business Machines Corporation Method, apparatus and computer program product for querying by image colors using JPEG image format
JPH11215358A (ja) 1997-11-14 1999-08-06 Canon Inc 画像処理装置及びその制御方法、及び画像処理システム
US6035072A (en) * 1997-12-08 2000-03-07 Read; Robert Lee Mapping defects or dirt dynamically affecting an image acquisition device
JPH11175699A (ja) * 1997-12-12 1999-07-02 Fuji Photo Film Co Ltd 画像処理装置
US6268939B1 (en) 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
US7508444B1 (en) * 1998-01-22 2009-03-24 Eastman Kodak Company Electronic camera with quick view and quick erase features
US6278491B1 (en) 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image
JP3657769B2 (ja) 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
US6298166B1 (en) 1998-03-30 2001-10-02 Seiko Epson Corporation Image transformations in the compressed domain
US6192149B1 (en) * 1998-04-08 2001-02-20 Xerox Corporation Method and apparatus for automatic detection of image target gamma
US6631208B1 (en) 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
US6275614B1 (en) 1998-06-26 2001-08-14 Sarnoff Corporation Method and apparatus for block classification and adaptive bit allocation
JP2000050062A (ja) 1998-07-31 2000-02-18 Minolta Co Ltd 画像入力装置
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6285410B1 (en) * 1998-09-11 2001-09-04 Mgi Software Corporation Method and system for removal of flash artifacts from digital images
US6134339A (en) 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US6233364B1 (en) 1998-09-18 2001-05-15 Dainippon Screen Engineering Of America Incorporated Method and system for detecting and tagging dust and scratches in a digital image
JP2000115539A (ja) * 1998-09-30 2000-04-21 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置及び記録媒体
JP3607509B2 (ja) * 1998-10-08 2005-01-05 株式会社リコー オートフォーカス装置
US6036072A (en) * 1998-10-27 2000-03-14 De Poan Pneumatic Corporation Nailer magazine
JP3291259B2 (ja) 1998-11-11 2002-06-10 キヤノン株式会社 画像処理方法および記録媒体
US6621867B1 (en) 1998-11-16 2003-09-16 Hitachi America, Ltd Methods and apparatus for detecting edges within encoded images
US6473199B1 (en) 1998-12-18 2002-10-29 Eastman Kodak Company Correcting exposure and tone scale of digital images captured by an image capture device
US6396599B1 (en) 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6396963B2 (en) 1998-12-29 2002-05-28 Eastman Kodak Company Photocollage generation and modification
US6438264B1 (en) 1998-12-31 2002-08-20 Eastman Kodak Company Method for compensating image color when adjusting the contrast of a digital color image
US6421468B1 (en) 1999-01-06 2002-07-16 Seiko Epson Corporation Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation
US6047138A (en) * 1999-02-05 2000-04-04 Eastman Kodak Company Camera with control to prevent pre-flash light emission for reducing red-eye effect, when camera-to-subject distance beyond range of pre-flash light emission
AUPP898499A0 (en) 1999-03-02 1999-03-25 University Of Queensland, The Method for image texture analysis
US6300935B1 (en) 1999-04-20 2001-10-09 Agilent Technologies, Inc. Image interpolation circuit architecture and method for fast bi-cubic interpolation of image information
US6614471B1 (en) 1999-05-10 2003-09-02 Banctec, Inc. Luminance correction for color scanning using a measured and derived luminance value
US6393148B1 (en) 1999-05-13 2002-05-21 Hewlett-Packard Company Contrast enhancement of an image using luminance and RGB statistical metrics
US6967680B1 (en) 1999-05-28 2005-11-22 Microsoft Corporation Method and apparatus for capturing images
US7019778B1 (en) 1999-06-02 2006-03-28 Eastman Kodak Company Customizing a digital camera
DE60009283T2 (de) 1999-06-02 2005-03-10 Eastman Kodak Co. Anpassung einer digitalbildübertragung
US6937997B1 (en) 1999-06-02 2005-08-30 Eastman Kodak Company Configuring and purchasing imaging devices
US6707950B1 (en) * 1999-06-22 2004-03-16 Eastman Kodak Company Method for modification of non-image data in an image processing chain
JP2001016447A (ja) 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
US6516147B2 (en) 1999-12-20 2003-02-04 Polaroid Corporation Scene recognition method and system using brightness and ranging mapping
AU2001236694A1 (en) 2000-02-03 2001-12-17 Applied Science Fiction Method and system for self-service film processing
JP3729017B2 (ja) 2000-03-27 2005-12-21 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US7053933B2 (en) 2000-04-04 2006-05-30 Canon Kabushiki Kaisha Image pickup apparatus having an automatic mode control
EP1962511A3 (en) 2000-04-05 2010-10-27 Sony United Kingdom Limited Audio and/or video generation apparatus and method using a list of content items
JP2001339675A (ja) 2000-05-25 2001-12-07 Sony Corp 情報処理装置および情報処理方法
JP3927353B2 (ja) 2000-06-15 2007-06-06 株式会社日立製作所 比較検査における画像の位置合せ方法、比較検査方法及び比較検査装置
US20020019859A1 (en) * 2000-08-01 2002-02-14 Fuji Photo Film Co., Ltd. Method and system for contents data processing service
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US6718051B1 (en) 2000-10-16 2004-04-06 Xerox Corporation Red-eye detection method
KR100378351B1 (ko) 2000-11-13 2003-03-29 삼성전자주식회사 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치
US6429924B1 (en) 2000-11-30 2002-08-06 Eastman Kodak Company Photofinishing method
EP1211881A1 (en) 2000-12-04 2002-06-05 Fuji Photo Film Co., Ltd. Image processing method and device
US7304677B2 (en) * 2000-12-13 2007-12-04 Eastman Kodak Company Customizing a digital camera based on demographic factors
SE0004741D0 (sv) * 2000-12-21 2000-12-21 Smart Eye Ab Image capturing device with reflex reduction
US6847377B2 (en) 2001-01-05 2005-01-25 Seiko Epson Corporation System, method and computer program converting pixels to luminance levels and assigning colors associated with luminance levels in printer or display output devices
EP1229398A3 (en) 2001-01-12 2002-10-16 Seiko Epson Corporation Method of and apparatus for controlling the image density of a toner image
JP4167401B2 (ja) 2001-01-12 2008-10-15 富士フイルム株式会社 ディジタル・カメラおよびその動作制御方法
EP1227659A1 (de) 2001-01-19 2002-07-31 GRETAG IMAGING Trading AG Farbmodellierung eines Fotobildes
EP1229486A1 (en) 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic image pattern detection
EP1229734A1 (en) 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
JP4666274B2 (ja) 2001-02-20 2011-04-06 日本電気株式会社 カラー画像処理装置及びその方法
US7216289B2 (en) 2001-03-16 2007-05-08 Microsoft Corporation Method and apparatus for synchronizing multiple versions of digital data
JP2002287017A (ja) 2001-03-28 2002-10-03 Fuji Photo Optical Co Ltd 撮影レンズのピント状態検出装置
US7155070B2 (en) 2001-03-29 2006-12-26 Fotomedia Technologies, Llc Visual cell phone notification of processed film images
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6751348B2 (en) 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7174034B2 (en) 2001-04-13 2007-02-06 Seiko Epson Corporation Redeye reduction of digital images
US20020172419A1 (en) 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
US7031523B2 (en) 2001-05-16 2006-04-18 Siemens Corporate Research, Inc. Systems and methods for automatic scale selection in real-time imaging
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
JP2003030647A (ja) 2001-07-11 2003-01-31 Minolta Co Ltd 画像処理装置、画像処理方法、及びプログラム
US6516154B1 (en) * 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
JP2003036438A (ja) * 2001-07-25 2003-02-07 Minolta Co Ltd 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US20030039402A1 (en) 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust
JP2003066298A (ja) * 2001-08-28 2003-03-05 Pentax Corp レンズ光軸調整装置
EP1293933A1 (de) * 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
EP1288858A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
EP1288860A1 (de) * 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
EP1288859A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
GB2379819B (en) * 2001-09-14 2005-09-07 Pixology Ltd Image processing to remove red-eye features
US7262798B2 (en) * 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7133070B2 (en) 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
JP4294896B2 (ja) * 2001-09-26 2009-07-15 富士フイルム株式会社 画像処理方法および装置並びにそのためのプログラム
JP4076057B2 (ja) * 2001-09-26 2008-04-16 富士フイルム株式会社 画像データ送信方法、デジタルカメラおよびプログラム
US7324246B2 (en) 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US7433089B2 (en) 2001-09-27 2008-10-07 Fujifilm Corporation Image processor
JP2003107365A (ja) 2001-09-28 2003-04-09 Pentax Corp 撮影機能を有する観察装置
US6501911B1 (en) 2001-10-12 2002-12-31 Eastman Kodak Company Hybrid cameras that download electronic images with reduced metadata and methods
US6496655B1 (en) 2001-10-12 2002-12-17 Eastman Kodak Company Hybrid cameras having optional irreversible clearance of electronic images with film unit removal and methods
US6505003B1 (en) * 2001-10-12 2003-01-07 Eastman Kodak Company Hybrid cameras that revise stored electronic image metadata at film unit removal and methods
US20040027593A1 (en) * 2001-10-12 2004-02-12 David Wilkins Techniques for resolution independent rendering of images
US6614995B2 (en) 2001-11-28 2003-09-02 Sunplus Technology Co., Ltd. Apparatus and method for compensating auto-focus of image capture device by utilizing red-eye eliminating function
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
WO2003049424A1 (fr) * 2001-12-03 2003-06-12 Nikon Corporation Appareil electronique, camera electronique, dispositif electronique, appareil d'affichage d'image et systeme de transmission d'image
US7688349B2 (en) 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7162102B2 (en) 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
US7289664B2 (en) 2002-01-17 2007-10-30 Fujifilm Corporation Method of detecting and correcting the red eye
JP4275344B2 (ja) 2002-01-22 2009-06-10 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
GB2384639B (en) 2002-01-24 2005-04-13 Pixology Ltd Image processing to remove red-eye features
GB2385736B (en) 2002-02-22 2005-08-24 Pixology Ltd Detection and correction of red-eye features in digital images
KR20040088518A (ko) 2002-02-22 2004-10-16 픽솔로지 소프트웨어 리미티드 디지털 화상에서 적목 특징의 검출 및 보정
US20030161506A1 (en) 2002-02-25 2003-08-28 Eastman Kodak Company Face detection computer program product for redeye correction
JP2003289474A (ja) 2002-03-27 2003-10-10 Canon Inc 画像処理装置、撮像装置、画像処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
US20040017481A1 (en) * 2002-04-11 2004-01-29 Olympus Optical Co., Ltd. Digital camera, image pickup method, and image format conversion method
US7155058B2 (en) 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
DE60318351T2 (de) * 2002-05-21 2008-12-11 Fujifilm Corp. Ratschlaggebende Vorrichtung, Ausdruck und Speichermedium mit Programm
US6892029B2 (en) * 2002-06-06 2005-05-10 Olympus Optical Co., Ltd. Strobe light emitting apparatus and camera
JP4532813B2 (ja) * 2002-08-02 2010-08-25 富士フイルム株式会社 ストロボ装置及びカメラ
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7397969B2 (en) 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
JP2004104940A (ja) * 2002-09-11 2004-04-02 Nidec Copal Corp モータ駆動装置
EP1404113A1 (de) * 2002-09-24 2004-03-31 Agfa-Gevaert AG Verfahren zur automatischen Bearbeitung digitaler Bilddaten
US20040126086A1 (en) 2002-09-30 2004-07-01 Fuji Photo Film Co., Ltd. Image recording apparatus
AU2003279235A1 (en) 2002-10-09 2004-05-04 Diane Wallace System and method for effectively performing a white balance procedure for electronic cameras
US20040114829A1 (en) 2002-10-10 2004-06-17 Intelligent System Solutions Corp. Method and system for detecting and correcting defects in a digital image
GB0225425D0 (en) 2002-10-31 2002-12-11 Hewlett Packard Co Production of interface devices for controlling a remote device
US20040093432A1 (en) 2002-11-07 2004-05-13 Eastman Kodak Company Method and system for conducting image processing from a mobile client device
DE60327004D1 (de) 2002-12-11 2009-05-14 Fujifilm Corp Bildaufnahmevorrichtung
US7394969B2 (en) 2002-12-11 2008-07-01 Eastman Kodak Company System and method to compose a slide show
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
EP1431810A1 (de) 2002-12-16 2004-06-23 Agfa-Gevaert AG Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten
US7181082B2 (en) 2002-12-18 2007-02-20 Sharp Laboratories Of America, Inc. Blur detection system
JP4178949B2 (ja) 2002-12-27 2008-11-12 富士ゼロックス株式会社 画像処理装置、画像処理方法、およびそのプログラム
FR2850181B1 (fr) 2003-01-16 2005-07-08 Canon Europa Nv Procede et dispositif de gestion d'images
US7180545B2 (en) 2003-01-31 2007-02-20 Hewlett-Packard Development Company, L.P. System and method for redeye strobe mode control
JP4072071B2 (ja) 2003-02-13 2008-04-02 富士フイルム株式会社 顔画像補正方法および装置、並びに顔画像補正プログラム
JP2004274720A (ja) 2003-02-18 2004-09-30 Fuji Photo Film Co Ltd データ変換装置、およびデータ変換プログラム
JP2004253970A (ja) 2003-02-19 2004-09-09 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム
EP1453290A1 (de) 2003-02-28 2004-09-01 Agfa-Gevaert AG Verfahren und Vorrichtung zum automatischen Erzeugen von Abzügen fotografischer, digitaler Bilddaten
US20040196503A1 (en) 2003-04-07 2004-10-07 Eastman Kodak Company Index print having a correction indicator thereon and a method of making the index print
US7116820B2 (en) 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7224850B2 (en) 2003-05-13 2007-05-29 Microsoft Corporation Modification of red-eye-effect in digital image
JP4186699B2 (ja) 2003-05-16 2008-11-26 株式会社ニコン 撮像装置および画像処理装置
US7343028B2 (en) 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
JP2004350130A (ja) 2003-05-23 2004-12-09 Fuji Photo Film Co Ltd デジタルカメラ
JP4192681B2 (ja) 2003-05-29 2008-12-10 ソニー株式会社 表示装置及びその製造方法
JP4136793B2 (ja) 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
US20040252217A1 (en) 2003-06-12 2004-12-16 Battles Amy E. System and method for analyzing a digital image
US7532234B2 (en) 2003-06-19 2009-05-12 Microsoft Corporation Automatic analysis and adjustment of digital images upon acquisition
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7362368B2 (en) 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US20060093238A1 (en) 2004-10-28 2006-05-04 Eran Steinberg Method and apparatus for red-eye detection in an acquired digital image using face recognition
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7536036B2 (en) 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
WO2007142621A1 (en) 2006-06-02 2007-12-13 Fotonation Vision Limited Modification of post-viewing parameters for digital images using image region or feature information
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7336821B2 (en) * 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
EP1499111B1 (en) * 2003-07-15 2015-01-07 Canon Kabushiki Kaisha Image sensiting apparatus, image processing apparatus, and control method thereof
JP2005039715A (ja) * 2003-07-18 2005-02-10 Pentax Corp 赤目軽減ブラケット撮影モードを有するデジタルカメラ
JP2005045497A (ja) * 2003-07-28 2005-02-17 Fuji Photo Film Co Ltd 画像処理装置及び画像処理システム
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US20050140801A1 (en) 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US6912298B1 (en) 2003-08-11 2005-06-28 Adobe Systems Incorporation Object detection using dynamic probability scans
US8238696B2 (en) * 2003-08-21 2012-08-07 Microsoft Corporation Systems and methods for the implementation of a digital images schema for organizing units of information manageable by a hardware/software interface system
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
US7310443B1 (en) 2003-09-17 2007-12-18 Sonic Solutions, Inc. Automatic red eye detection and correction in digital images
JP2005094571A (ja) * 2003-09-19 2005-04-07 Fuji Photo Film Co Ltd 赤目補正機能を有するカメラ
JP2005092759A (ja) * 2003-09-19 2005-04-07 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム
US7835572B2 (en) 2003-09-30 2010-11-16 Sharp Laboratories Of America, Inc. Red eye reduction technique
US7369712B2 (en) 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
IES20040604A2 (en) 2003-09-30 2005-06-15 Fotonation Vision Ltd Statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7590305B2 (en) * 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US7295233B2 (en) 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7412105B2 (en) 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US20050078191A1 (en) 2003-10-14 2005-04-14 Hewlett-Packard Development Company Lp System and method to allow undoing of certain digital image modifications
JP4431949B2 (ja) 2003-10-27 2010-03-17 ノーリツ鋼機株式会社 赤目補正方法及びこの方法を実施する装置
JP4345622B2 (ja) 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
US20050134719A1 (en) 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
JP4145246B2 (ja) 2004-01-15 2008-09-03 オリンパス株式会社 画像処理方法、画像処理装置及びプログラム
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
US20050163498A1 (en) 2004-01-28 2005-07-28 Battles Amy E. User interface for automatic red-eye removal in a digital image
JP2005215634A (ja) 2004-02-02 2005-08-11 Fujinon Corp 発光装置及び撮影装置
US7684642B2 (en) 2004-03-03 2010-03-23 Eastman Kodak Company Correction of redeye defects in images of humans
WO2005087994A1 (de) 2004-03-18 2005-09-22 Maschinenfabrik Rieter Ag Reinigungsschacht.
JP4373828B2 (ja) 2004-03-22 2009-11-25 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005310124A (ja) 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目検出装置、プログラムおよびプログラムを記録した記録媒体
JP2005309409A (ja) 2004-03-25 2005-11-04 Fuji Photo Film Co Ltd 赤目防止装置、プログラムおよびプログラムを記録した記録媒体
US7995239B2 (en) 2004-03-29 2011-08-09 Fujifilm Corporation Image output apparatus, method and program
JP4505362B2 (ja) 2004-03-30 2010-07-21 富士フイルム株式会社 赤目検出装置および方法並びにプログラム
US20050220346A1 (en) 2004-03-30 2005-10-06 Fuji Photo Film Co., Ltd. Red eye detection device, red eye detection method, and recording medium with red eye detection program
US7657060B2 (en) * 2004-03-31 2010-02-02 Microsoft Corporation Stylization of video
JP4320272B2 (ja) 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
US7620242B2 (en) 2004-04-06 2009-11-17 Fujifilm Corporation Particular-region detection method and apparatus, and program therefor
JP2005310068A (ja) 2004-04-26 2005-11-04 Noritsu Koki Co Ltd 白目補正方法及びこの方法を実施する装置
US20050276481A1 (en) 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
JP4801933B2 (ja) * 2004-06-14 2011-10-26 富士フイルム株式会社 画像処理装置およびその方法ならびに画像処理プログラム
KR100702397B1 (ko) 2004-06-14 2007-04-02 후지필름 가부시키가이샤 화상처리시스템, 그 방법 및 화상처리 프로그램을 기록한 컴퓨터판독가능한 기록매체
JP4078334B2 (ja) 2004-06-14 2008-04-23 キヤノン株式会社 画像処理装置および画像処理方法
JP3748267B2 (ja) * 2004-06-16 2006-02-22 ソニー株式会社 撮像装置
US7627146B2 (en) * 2004-06-30 2009-12-01 Lexmark International, Inc. Method and apparatus for effecting automatic red eye reduction
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
WO2006011635A1 (en) 2004-07-30 2006-02-02 Canon Kabushiki Kaisha Image processing method and apparatus, image sensing apparatus, and program
JP4757559B2 (ja) 2004-08-11 2011-08-24 富士フイルム株式会社 被写体の構成要素を検出する装置および方法
EP1628494A1 (en) * 2004-08-17 2006-02-22 Dialog Semiconductor GmbH Intelligent light source with synchronization with a digital camera
US8000505B2 (en) * 2004-09-01 2011-08-16 Eastman Kodak Company Determining the age of a human subject in a digital image
US7725355B2 (en) * 2004-09-03 2010-05-25 Canon Kabushiki Kaisha Information processing apparatus and method for managing order data of on-line orders, program for the same
US20060066628A1 (en) * 2004-09-30 2006-03-30 Microsoft Corporation System and method for controlling dynamically interactive parameters for image processing
JP4378258B2 (ja) 2004-10-14 2009-12-02 富士フイルム株式会社 画像補正装置およびその制御方法
CA2568633C (en) * 2004-10-15 2008-04-01 Oren Halpern A system and a method for improving the captured images of digital still cameras
JP4383399B2 (ja) 2004-11-05 2009-12-16 富士フイルム株式会社 検出対象画像検索装置およびその制御方法
US7444017B2 (en) 2004-11-10 2008-10-28 Eastman Kodak Company Detecting irises and pupils in images of humans
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
KR100682906B1 (ko) 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7337399B2 (en) 2005-01-03 2008-02-26 Infoprint Solutions Company Apparatus, system, and method for editing a region of a document intersecting multiple content component types in a single operation
US20060204052A1 (en) 2005-03-11 2006-09-14 Fuji Photo Film Co., Ltd. Method, apparatus, and program for detecting red eye
JP2006281663A (ja) 2005-04-01 2006-10-19 Canon Inc 画像処理パラメータ値の設定方法
US7831067B2 (en) * 2005-05-16 2010-11-09 Cisco Technology, Inc. Methods and apparatus for automated, multi-level red eye correction
JP2006338377A (ja) 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
US7907786B2 (en) * 2005-06-06 2011-03-15 Xerox Corporation Red-eye detection and correction
US20060280375A1 (en) 2005-06-08 2006-12-14 Dalton Dan L Red-eye correction method and apparatus with user-adjustable threshold
JP4498224B2 (ja) 2005-06-14 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
US7574069B2 (en) 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
JP4429241B2 (ja) 2005-09-05 2010-03-10 キヤノン株式会社 画像処理装置及び方法
US7747071B2 (en) 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
JP4416724B2 (ja) * 2005-11-07 2010-02-17 キヤノン株式会社 画像処理方法およびその装置
JP4626493B2 (ja) 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US7567707B2 (en) 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
JP4554547B2 (ja) * 2006-03-31 2010-09-29 富士フイルム株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2007305030A (ja) 2006-05-15 2007-11-22 Fujifilm Corp 赤目処理方法および装置ならびにプログラム
US7965875B2 (en) * 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
EP2050043A2 (en) 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
KR101049188B1 (ko) 2007-03-05 2011-07-14 테쎄라 테크놀로지스 아일랜드 리미티드 사진에서의 눈동자 결함의 2단계 검출
US8391596B2 (en) * 2007-10-17 2013-03-05 Qualcomm Incorporated Effective red eye removal in digital images without face detection
US7747160B2 (en) * 2008-01-04 2010-06-29 Sony Ericsson Mobile Communications Ab Intelligent red eye removal
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus

Also Published As

Publication number Publication date
EP2227002B1 (en) 2016-06-29
EP2165523B1 (en) 2011-04-13
JP2011509584A (ja) 2011-03-24
WO2009095481A3 (en) 2009-10-29
US9137425B2 (en) 2015-09-15
US20120105687A1 (en) 2012-05-03
US20130194461A1 (en) 2013-08-01
CN102017599A (zh) 2011-04-13
JP5530503B2 (ja) 2014-06-25
EP2227002A3 (en) 2010-10-06
EP2227002A2 (en) 2010-09-08
KR20100112560A (ko) 2010-10-19
JP2013062860A (ja) 2013-04-04
US20130194462A1 (en) 2013-08-01
US8212864B2 (en) 2012-07-03
EP2165523A2 (en) 2010-03-24
WO2009095481A2 (en) 2009-08-06
CN102017599B (zh) 2014-09-03
ATE505907T1 (de) 2011-04-15
DE602009001078D1 (de) 2011-05-26
US20090189998A1 (en) 2009-07-30
US8525898B2 (en) 2013-09-03
JP5140163B2 (ja) 2013-02-06

Similar Documents

Publication Publication Date Title
KR101204046B1 (ko) 눈 시선 측정을 위한 방법 및 장치
US7751615B2 (en) Image processing apparatus and image processing method for changing color of pupil in photographic image
US8170294B2 (en) Method of detecting redeye in a digital image
JP4196714B2 (ja) デジタルカメラ
IES20070820A2 (en) Method for improved red eye detection in ISO images
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US9501691B2 (en) Method and apparatus for detecting blink
WO2006116744A1 (en) Method and apparatus for incorporating iris color in red-eye correction
CN108093170B (zh) 用户拍照方法、装置及设备
JP2009123081A (ja) 顔検出方法及び撮影装置
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
WO2018142692A1 (ja) 撮像装置、および画像処理装置
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN108760245A (zh) 光学元件检测方法和装置、电子设备、可读存储介质
JP2017157043A (ja) 画像処理装置、撮像装置、及び、画像処理方法
CN107370940B (zh) 图像获取方法、装置及终端设备
CN102655565B (zh) 防红眼人像拍摄系统及方法
CN108335278B (zh) 图像的处理方法、装置、存储介质及电子设备
KR100783482B1 (ko) 여권 사진 촬영이 가능한 디지털 영상촬영장치, 방법, 및그 기록매체
TWI455043B (zh) 防紅眼人像拍攝系統及方法
JP2008160279A (ja) 撮像装置および撮像方法
JP2004312388A (ja) 画像処理システム

Legal Events

Date Code Title Description
A201 Request for examination
G170 Re-publication after modification of scope of protection [patent]
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151105

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191107

Year of fee payment: 8