KR20090007779A - 디지털 영상들의 개선된 전경/배경 분리 - Google Patents

디지털 영상들의 개선된 전경/배경 분리 Download PDF

Info

Publication number
KR20090007779A
KR20090007779A KR1020087029351A KR20087029351A KR20090007779A KR 20090007779 A KR20090007779 A KR 20090007779A KR 1020087029351 A KR1020087029351 A KR 1020087029351A KR 20087029351 A KR20087029351 A KR 20087029351A KR 20090007779 A KR20090007779 A KR 20090007779A
Authority
KR
South Korea
Prior art keywords
digital image
region
regions
foreground
map
Prior art date
Application number
KR1020087029351A
Other languages
English (en)
Other versions
KR101266817B1 (ko
Inventor
에란 스테인버그
피터 코어코란
유리 프릴루트스키
페트로넬 비기오이
알렉세이 포소신
미하이 씨우크
아드리안 잠피르
아드리안 카파타
Original Assignee
포토네이션 비젼 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포토네이션 비젼 리미티드 filed Critical 포토네이션 비젼 리미티드
Publication of KR20090007779A publication Critical patent/KR20090007779A/ko
Application granted granted Critical
Publication of KR101266817B1 publication Critical patent/KR101266817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

장면의 디지털 영상에서 개선된 전경/배경 분리를 제공하는 방법이 개시된다. 이 방법은 디지털 영상 내에 전경 또는 배경 중의 하나로서 잠정적으로 정의된 하나 이상의 영역들을 포함하는 제1맵을 제공하는 단계; 및 디지털 영상의 관심 영역에 상응하는 피사체 프로파일을 제공하는 단계를 포함한다. 잠정적으로 정의된 영역들은 이 영역들 중의 어느 것이 상기 프로파일 영역과 교차하는지를 결정하기 위해 피사체 프로파일과 비교된다. 맵에서 영역들 중의 하나 이상의 정의는 비교에 근거하여 변경된다.

Description

디지털 영상들의 개선된 전경/배경 분리{Improved foreground/background separation in digitl images}
본 발명은 디지털 영상에서 개선된 전경/배경 분리를 제공하기 위한 방법 및 장치를 제공한다.
우선권
이 출원은 2006년 5월 3일자로 출원된 미국 임시 특허출원번호 60/746,363과 2007년 5월 3일자로 출원된 미국 특허출원번호 11/744,020에 대한 미국 특허법 제119조 하의 우선권을 주장한다.
초점 맵(focus map)은 예를 들면, 참조로 여기에 통합되는 Masahiro Watanabe와 Shree K. Nayar에 의한 "Rational Filters for Passive Depth from Defocus"(1995)에서 개시된 바와 같은 탈초점 유래 깊이(depth from defocus; DFD) 알고리즘을 사용하여 구축될 수 있다. 기본 아이디어는 주어진 장면의 깊이 맵이 동일한 장면의 2개의 영상으로부터 이론적으로 계산될 수 있다는 것이다. 이상적으로는, DFD 맵을 계산하기 위해, 원격중심(telecentric) 렌즈가 사용되고, 단지 초점만이 2개의 영상 획득물 사이에서 변화한다. 이것은 현존하는 디지털 카메라들에는 일반적으로 맞지 않다.
전경을 배경에서 분리하기 위한 다른 기법은 미국 특허출원공개번호 2006/0285754에서 개시되어 있는데, 이것은 본 출원과 동일한 양수인에게 양도되고 참조에 의해 여기에 통합된다. 여기에서는, 장면의 플래시 및 비-플래시 영상들 사이의 노출 레벨들의 차이는 전경/배경 맵을 제공하기 위해 사용된다. 플래시/비-플래시 기반 기법을 뛰어넘는 탈초점 유래 깊이를 사용하는 기법의 주요한 이점은, 탈초점 유래 깊이가 장면 조명과는 독립해 있고 그래서 옥외용 잘 조명된 장면들에 대해 유리할 수 있다는 것이다.
전경을 배경에서 분리하기 위한 추가의 기법은 미국 특허출원번호 60/773,714과 11/573,713에 개시되어 있으며, 이것들은 이로써 참조에 의해 통합된다. 여기서, 다른 초점 거리들에서 취해진 장면의 영상들의 상응하는 영역들 사이의 고주파 계수들에서의 차이는 전경/배경 맵을 제공하기 위해 사용된다. 다시 이 경우, 전경/배경 맵은 장면 조명에 독립해 있고 그래서 이 기법은 옥외 또는 잘 조명되는 장면들에 대해 유용할 수 있다.
어느 경우에나, 전경/배경 맵은 위의 기법들 중의 각각에 의해 생성될 수 있거나 또는 정말로 임의의 다른 기법이 정확하게 일을 할 수 있지도 모른다. 따라서 디지털 영상에서 전경/배경 분리의 개선된 방법들을 제공하는 것이 소망된다.
하나의 방법이 한 장면의 디지털 영상에서 전경/배경 분리를 제공하기 위해 제공된다. 주요 디지털 영상 내에서 하나 이상의 영역을 포함하는 제1맵이 제공된다. 각 영역은 공통 특성의 하나 이상의 화소를 가진다. 피사체 프로파일이 주요 디지털 영상의 관심 영역에 상응하게 제공된다. 영역들 중의 하나 이상은 영역들 중의 어느 것이 프로파일 영역과 교차하는지를 결정하기 위해 피사체 프로파일과 비교된다. 영역들 중의 하나 이상은 비교에 근거하여 전경 영역으로서 지정된다.
제1맵을 제공하는 것은 영상의 각 영역을 전경 또는 배경으로서 정의하는 것을 잠정적으로 포함하여도 좋다. 하나 이상의 영역은 전경으로서 잠정적으로 정의된 적어도 하나의 영역을 포함한다.
지정하는 것은 전경 영역을 피사체 프로파일과 비교하는 것을 포함하여도 좋다. 피사체 프로파일을 실질적으로 교차하지 않는 전경 영역에 응답하여, 상기 전경 영역의 지정은 배경 영역으로 변경된다.
제1맵을 제공하는 것은 동일한 장면의 명목상의 둘 이상의 영상의 비교에 근거하여도 좋다. 비교되는 영상들 중의 하나 이상은 주요 영상의 낮은 해상도 버전을 포함하여도 좋다. 비교되는 영상들 중의 하나 이상은 주요 디지털 영상을 포함하여도 좋다. 비교되는 둘 이상의 영상은 정렬되어도 좋고 및/또는 해상도에서 일치되어도 좋다. 비교되는 영상들 중의 하나 이상은 주요 디지털 영상이 캡처되기 바로 전 또는 후에 캡처되어도 좋다.
상기 제1맵을 제공하는 것은 장면의 각각 초점이 다른 명목상의 둘 이상의 영상을 제공하는 것을 포함하여도 좋다. 이 방법은 영상들로부터 주요 디지털 영상의 화소들을전경이나 배경으로서 표시하는 초점 심도 맵을 계산하는 것을 포함하여도 좋다. 초점 심도 맵은 흐림화되어도 좋다. 이 방법은 흐림화된 맵을 영역들을 전경이나 배경으로서 표시하는 중간 초점 맵으로 문턱분할(thresholding)하는 것을 포함하여도 좋다. 상기 중간 초점 맵 내의 영역들은 제1맵을 제공하도록 채워져도 좋다.
제1맵을 제공하는 것은 장면의 각각 초점이 다른 명목상의 둘 이상의 영상을 제공하는 것을 포함하여도 좋다. 영상들에서 상응하는 영역들의 고주파 계수들은 영역들이 전경인지 배경인지를 결정함으로써 제1맵을 제공하도록 비교되어도 좋다.
제1맵을 제공하는 것은 장면의 명목상 다른 노출 레벨들의 둘 이상의 영상들을 제공하는 것을 포함하여도 좋다. 영상들에서 상응하는 영역들의 휘도 레벨들은 상기 영역들이 전경인지 배경인지를 결정함으로써 상기 제1맵을 제공하도록 비교되어도 좋다.
여기에 기술된 방법들 중의 어느 것이라도 주요 디지털 영상의 내용에 따라 피사체 프로파일을 선택하도록 구성되는 디지털 영상 획득 기기에서 사용가능하거나 및/또는 이 기기는 피사체 프로파일이 사람의 윤곽을 포함하는 초상 모드에서 동작하도록 구성되어도 좋다. 윤곽은 다수의 선택가능한 윤곽들 중의 하나를 포함하여도 좋고 및/또는 주요 디지털 영상의 내용에 근거하여 다수의 윤곽으로부터 자동 선택되어도 좋다.
여기에 기술된 방법들 중의 어느 것이라도 주요 디지털 영상과 연관하여 제1맵을 수신하도록 구성된 범용 컴퓨터에서 사용가능하여도 좋고 및/또는 주요 디지털 영상과 연관하여 장면의 명목상의 하나 이상의 부가 영상을 수신하도록 구성되어도 좋고 및/또는 하나 이상의 부가 영상과 주요 디지털 영상의 조합으로부터 제1맵을 계산하도록 구성되어도 좋다.
피사체 프로파일을 제공하는 것은 얼굴을 포함한 영상의 적어도 하나의 영역을 결정하는 것을 포함하여도 좋다. 배향(orientation)이 얼굴에 대해 결정되어도 좋다. 피사체 프로파일은 배향에 따라 주요 영상에서 얼굴과 얼굴 아래쪽의 개별 영역을 포함하도록 정의되어도 좋다.
제1맵을 제공하는 것은 또한 주요 디지털 영상의 적어도 하나의 영역을 색 공간에서 분석하여 영역들 내의 색 분포를 결정하는 것을 포함하여도 좋다. 색 분포는 다수의 독특한 색 피크들을 가져도 좋다. 영역들은 화소의 색의 색 피크들에 대한 근접성에 근거하여 세그먼트화되어도 좋다.
비교하는 것은, 상기 피사체 프로파일을 교차하는 각각의 영역에 대해 기준 반사율 특성을 계산하는 것과, 피사체 프로파일을 교차하지 않는 각각의 영역에 대해 반사율 특성을 계산하는 것을 포함하여도 좋다. 비-교차(교차하지 않는) 영역 반사율 특성은 비-교차 영역에 대해 색에서 상응하는 영역을 위한 기준 반사율 특성과 비교되어도 좋다. 비-교차 영역은 이 비-교차 영역 반사율 특성이 기준 반사율 특성의 문턱 내에 있다고 결정될 때 전경으로서 지정될 수 있다.
제2의 영상이 장면에서 명목상 제공될지도 모른다. 반사율 특성들은 주요 영상과 제2의 영상에서의 상응하는 영역들 사이에서 휘도 레벨들의 차이의 함수로서 계산되어도 좋다.
주요 영상은 스트림의 영상들 중의 하나의 영상이어도 좋다. 주요 영상의 적어도 하나의 영역의 결정은 주요 영상 전에 획득된 스트림의 적어도 하나의 영상에서 얼굴을 검출하는 것을 포함하여도 좋다. 얼굴은 주요 영상에서 얼굴 영역을 결정하기 위해 영상들의 스트림을 통하여 추적되어도 좋다.
추가의 방법이 장면의 디지털 영상에서 전경/배경 분리를 위해 제공된다. 제1맵이 주요 디지털 영상 내에서 전경 또는 배경 중의 하나로서 잠정적으로 정의된 하나 이상의 영역을 포함하게 제공된다. 영역들 중의 하나 이상은 그 영역의 화소들 내의 휘도 분포를 결정하기 위해 분석된다. 하나를 넘는 독특한 휘도 피크를 가지는 영역에 대한 휘도 분포에 응답하여, 그 영역은 휘도 피크들에 대한 화소 휘도들의 근접성에 근거하여 하나를 넘는 부-영역으로 나누어진다. 이 방법은 분할에 근거하여 맵에서 하나 이상의 부-영역의 지정을 변경하는 것을 더 포함한다.
이 방법은 주요 디지털 영상의 관심 영역에 상응하는 피사체 프로파일을 제공하는 것을 포함하여도 좋다. 적어도 하나의 잠정적으로 정의된 영역은 이 영역이 피사체 프로파일과 교차하는지를 결정하기 위해 피사체 프로파일과 비교되어도 좋다. 이 방법은 비교에 근거하여 맵에서 하나 이상의 영역 또는 부-영역의 지정을 변경하는 것을 더 포함하여도 좋다.
제1맵을 제공하는 것은 디지털 영상의 하나 이상의 영역을 색 공간에서 분석하여 그 영역 내의 색 분포를 결정하는 것을 포함하여도 좋다. 색 분포는 다수의 독특한 색 피크를 가져도 좋다. 영역들은 화소 색의 색 피크들에 대한 근접성에 근거하여 세그먼트화되어도 좋다. 분석된 영역들은 제1맵 내에서 전경으로서 잠정적으로 정의되어도 좋다. 디지털 영상은 LAB 공간에 제공되어도 좋고, 색 공간은 화소들에 대해 [a,b] 값들을 포함하여도 좋고 휘도는 화소들을 위한 L 값들을 포함하여도 좋다.
추가의 방법이 장면의 디지털 영상에서 개선된 전경/배경 분리를 위해 제공된다. 주요 디지털 영상이 획득될 수 있다. 상기 주요 영상의 적어도 하나의 영역은 얼굴을 포함하도록 결정되고 이 얼굴의 배향이 결정된다. 전경 영역이 얼굴을 포함한 영상에서 정의되고, 얼굴 아래의 개별 영역 또한 배향에 따라서 정의된다.
장치가 장면의 디지털 영상에서 개선된 전경/배경 분리를 제공하기 위해 제공된다. 이 장치는 프로세서와 여기의 위와 아래에서 설명되는 방법들 중의 어느 것을 수행하도록 장치를 제어하게끔 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서-판독가능 매체를 구비한다.
본 발명의 실시예들이 첨부 도면들을 참조하여 이제 설명될 것인데, 도면들 중에서,
도 1a는 피사체의 정초점(in-focus) 영상을 보이며;
도 1b는 이 영상을 위한 DFD 맵을 보이며; 그리고
도 1c는 본 발명의 바람직한 실시예에 따라 부분적으로 처리된 도 1b의 DFD 맵을 보이며;
도 2는 본 발명의 바람직한 실시예에 따라 전경/배경 분리를 개선하는 방법의 흐름도를 보이며;
도 3a는 도 1a의 영상의 전경 영역들의 제1 색 세그먼트화된 버전 보이며;
도 3b는 피사체를 위한 프로파일을 보이며;
도 3c는 본 발명의 실시예에 따라 도 3a의 영역과 도 3b의 프로파일을 조합 한 결과를 보이며; 그리고
도 3d는 도 3c의 영상의 식별된 전경 영역들을 위한 영상 정보를 보이며;
도 4a는 피사체의 다른 정초점 영상을 보이며;
도 4b는 이 영상의 DFD 맵을 보이며;
도 4c는 이 영상의 전경 영역들의 제1 색 세그먼트화된 버전을 보이며;
도 4d는 본 발명의 실시예에 따라 프로파일을 도 4c의 영역과 결합한 결과를 보이며;
도 5a는 피사체의 다른 정초점 영상을 보이며;
도 5b는 이 영상의 전경 영역들의 제1 색 세그먼트화된 버전을 보이며;
도 5c는 본 발명의 실시예에 따라 처리될 때 영상의 전경 영역들의 추가 개선된 색 세그먼트화된 버전을 보이며;
도 6a-6c는 도 5a에서 식별된 영역들을 위한 휘도 히스토그램들을 보이며;
도 7은 디지털 영상들에서 전경-배경 분리의 대체 세그먼트화 방법을 도시하는 흐름도이며;
도 8은 도 7의 방법에 따라 처리된 영상으로 식별된 영역을 보이며; 그리고
도 9는 디지털 영상들에서 전경-배경 분리의 추가 대체 세그먼트화 방법을 도시하는 흐름도이다.
본 발명은 디지털 영상의 전경/배경 세그먼트화에 대한 요구가 있는 곳에서 사용된다. 그렇게 해야하는 많은 이유가 있지만, 특히, 전경 또는 배경 중의 하나 를 전경 또는 배경 중의 다른 하나로부터 분리하여 후처리할 필요가 있는 경우에 유용하다. 예를 들면, 적목(red-eye) 검출 및 정정을 위해, 완전한 영상을 가로지르기보다는 전경 영역들에 있는 적목(red-eye) 결함들만을 탐색하고 및/또는 정정하는 것이 계산적으로 더 효율적일 수 있다. 대신에, 영상의 배경 영역들에만 흐림화(blurring)를 적용하는 것이 바람직할 수도 있다. 그래서, 전경이 배경으로부터 더 효과적으로 분리될 수 있을수록, 영상 후처리의 결과들은 더 양호하게 된다.
바람직한 실시예에서, 개선된 전경/배경 세그먼트화는 디지털 카메라 화상 처리 소프트웨어, 하드웨어 또는 펌웨어 내에서 구현된다. 이 세그먼트화는 영상 획득 시간에; 카메라 유휴 시간 동안 실행되는 백그라운드 프로세스로; 또는 영상 후처리 소프트웨어와의 사용자 상호작용에 응답하여 수행될 수 있다. 그럼에도 불구하고 본 발명은 범용 컴퓨터에서 실행되는 영상 처리 소프트웨어 내에서 오프라인으로 동등하게 구현될 수 있을 것이다.
어느 경우에나, 바람직한 실시예에서, 카메라를 조작하는 사용자는, 예를 들면, 초상(portrait) 모드 그리고 옵션으로는 특정 유형의 초상 모드, 예를 들면, 클로즈업, 중거리 촬영(mid-shot), 전신상(full length) 또는 그룹을 선택한다. 초상 모드에서, 카메라는 주요 영상을 획득하거나 정말로는 카메라는 주요 영상 장면의 일반적으로 시퀀스를 이루는 미리보기 또는 뒤에-보기(post-view) 영상들 중의 하나를 획득한다. 일반적으로 말하면, 이들 미리보기 및 뒤에-보기 영상들은 주요 영상보다 낮은 해상도의 것들이다. 위에서 약술된 바와 같이, 영상 획득 후 얼마간의 시간에서, 영상 처리 소프트웨어는 주요 영상 또는 미리보기/뒤에보기 영상들 중의 하나에 대해 초기 전경/배경 맵을 계산한다.
바람직한 실시예는 DFD 지도인 초기 맵의 관점에서 기술될 것이지만, 본 발명은 위에서 약술된 바와 같은 초기 전경/배경 맵 중의 어느 형식에라고 적용가능하다는 것이 인정될 것이다. 실시예에서, 세그먼트화 프로세스는 초기 맵으로부터 최종 전경/배경 맵을 제공하는데, 최종 전경/배경 맵에서 전경 영역(들)은 이상적으로는 요구된 대로 추가의 영상 처리에서 사용될 수 있는 영상 피사체를 담고 있다.
도 1a는 피사체(사람)(10)를 포함하는 장면의 정초점 영상을 보이고 도 1b는 결과적인 DFD 맵을 보인다. DFD 맵은 일반적으로 다음과 같은 점에서 많은 문제를 가진다:
- 피사체 근처에 있지만 깊이(심도)들이 다른 셔터틀(12)과 같은 대상들은 정초점(통상적이지만 바람직한 것은 아님)이고 그처럼 전경 대상들로서 잘못 분류될 수 있으며; 그리고
- DFD 맵은 매우 잡음이 많다, 즉, 그것이 평활 상태로부터 멀리 떨어져서 있다.
지금 도 2를 참조하면, 최종 전경/배경 맵을 제공하는 DFD 맵의 전경/배경 세그먼트화 처리가 보이고 있다.
예를 들면 도 1b에 보인 바와 같은 초기 DFD 맵(20)은 먼저 단계 22에서 평활화되거나 흐림화된다. 도 1b의 DFD 맵은 흰색 영역들이 전경으로서 분류되고 흑색 영역들이 배경으로서 분류되는 이진 형식이다. 맵을 평활화(smoothing)/흐림 화(blurring) 하는 것은 전경 영역들을 일반적으로 더 밝은 것으로 표시하고 배경 영역들을 일반적으로 더 어두운 것으로 표시하는 경향이 있을 것이다.
문턱(threshold)이 그때, 단계 24에서, 단계 22로부터의 평활화된 계속 가치있는 영상에 적용된다. 이것은 초기 DFD 맵(20)보다는 크고 매끄러운 연속된 영역들을 일반적으로 가지는 이진 맵을 제공한다.
그러면 단계 24에서 얻어지는 이진 맵의 영역들은 단계 26에서 큰 영역 내에서 작은 영역을 제거하기 위해 채워진다. 도 1a의 초기 영상에 대해, 도 1c에 보인 바와 같은 초기 전경/배경 맵이 생성된다. 여기서 전경은 흰색으로서 보이고 배경은 흑색으로서 보인다. 이 맵에서, 전경 피사체 영역(14)과 배경에 있어야 하는 영역(16) 사이에 어떠한 구별도 없다는 것을 알게 될 것이다.
도 1c의 영상에서 배경으로서 분류된 화소들은 추가의 처리로부터 배제되고 영상들의 나머지 영역들은 잠정적인 전경 영역들로서 간주된다.
영상의 나머지는 단계 30에서 어떤 적당한 기법을 사용하여 색에 의해 세그먼트화된다. 바람직한 실시예에서, D.Comaniciu & P. Meer의 "Mean Shift: A Robust Approach toward Feature Space Analysis"" IEEE Trans, Pattern Analysis Machine Intell., Vol 24, No. 5, 603-619, 2002에 근거한 "평균 시프트(mean shift)" 알고리즘이 채용된다. 일반적으로, 이 기법은 색 공간(color space)에서 이산 피크들을 식별하는 것과 이들 피크들에 대한 영역들의 근접성에 따라 영상을 레이블된 영역들로 세그먼트화하는 것에 관계가 있다
이 기법이 RGB 공간에서 수행될 수 있지만, 계산상의 복잡도를 위하여, 바람 직한 실시예는 전경 영역(14, 16) 화소들의 LAB 공간 버전으로부터 [a,b] 매개변수들에 대해 동작한다. 이것은 RGB 공간에서 캡처된 영상에 대해, 후보 전경 영역들을 위한 화소들만이 LAB 공간 속으로 변환될 필요가 있다는 것을 의미한다. 어쨌든, 이 [a,b] 기반 세그먼트화는 휘도(LAB 공간의 L) 독립적이라는 점에 유의할 필요가 있다. 이 세그먼트화는 도 3a에 보인 바와 같은 맵을 생성하는데, 이 맵에서 다른 음영진(shaded) 영역들(30(a)...(30(f) 등)은 일반적으로 주어진 [a,b] 색 조합으로 된 영역을 나타낸다.
본 발명에 따른 전경/배경 세그먼트화의 제1 개량예에서, 획득된 영상에 상응하는 초상 템플릿이 도 3b처럼 제공된다. 이 템플릿은 피사체의 프로파일(32)을 포함한다. 특정한 프로파일의 정확한 크기는 피사체의 예상되는 크기에 따라 획득된 영상을 위한 초점 거리에 따라 가변될 수 있다. 도 3b에 보인 프로파일(32)이 피사체의 중거리 촬영인 한, 윤곽은 피사체의 예상되는 자세에 따라 가변될 수 있다는 것을 알게 될 것이다. 이것은 사용자에 의해 수동으로 적당한 초상 모드를 선택하는 것에 의해 들어갈 수 있거나, 또는 어쩌면 영상 처리 소프트웨어에 의해 예측될 수 있다. 그래서, 프로파일은 복수 개의 자세 중의 하나에서는 얼굴 사진 윤곽 또는 완전한 신체 윤곽일 수 있거나, 또는 실제로 그룹 초상의 경우에는 그룹의 윤곽일 수 있다.
어느 경우든, 단계 30에서 제공된 색 세그먼트들은 프로파일(32)과 상당한 정도로 겹쳐지는 색 영역들만을 보유하도록 프로파일(32)과 결합된다. 그래서, 도 3a에 관해서, 특히 영역들(30(b), 30(c) 및 30(e))이 전경 맵으로부터 제거되는 한 편, 특히 영역들(30(a), 30(d) 및 30(f))은 유지됨을 알 수 있다. 전경 영역들의 최종 집합은 도 3c에서 음영진 것으로 보이는데, 최종 배경 영역은 흑색으로 표시되어 있다. 그러나, 도 3d로부터 영역(30(a))의 부-영역(30(g))과 같은 일부 영역들은 여전히 그것들이 그렇게 되어야 하는 대로 정확히 세그먼트화되지 않은 채로 있다는 것을 알 수 있다.
부-영역들인 30(g)(1) 및 30(g)(2)은 그것들이 유사한 [a,b]를 가질 것이기 때문에, 특성들이 전경 영역으로서 분류되었던 영역(30(a))에 포함되었지만, 부-영역(30(g)(2))은 배경으로서 더 적절하게 분류되어야 한다는 것을 알 수 있다.
전경의 부분들이 여러 가지 이유로 전경 맵으로부터 (부당하게) 제거될 수 있다는 것이 인정된다. 예를 들어, 도 3d에서, 피사체의 오른손이 초상 프로파일(32)과 겹쳐지지 않았기 때문에 전경 맵으로부터 제거되었다는 것을 알 수 있다.
단계 22-34의 세그먼트화의 다른 예는 도 4에 관해서 예시된다. 도 4a는 정초점 영상을 보이고 도 4b는 그 영상에 대한 DFD 맵을 보인다. 도 4c는 단계 30의 색 세그먼트화 후의 세그먼트화된 맵을 보인다. 도 4d는 영상을 위해 선택된 초상 템플릿(32)에 상당히 겹쳐져 있지 않은 40(a), 40(b)와 같은 영역들의 제거 후의 최종 전경/배경 맵을 보이고 있다.
이 경우에 색 세그먼트화가 피사체의 머리털(헤어)을 발코니의 가장자리인 영역 40(c)에서 분리하지 않았기 때문에, 발코니 가장자리는 전경 영역들로서 최종 맵에 부당하게 포함되었다.
다른 추가의 예에서, 도 5a는 피사체의 정초점 영상을 보이고 도 5b는 색 세 그먼트화인 단계 30 후이지만 전경 영역들을 프로파일(32)과 결합하기 전의 전경/배경 맵을 보인다. 2개의 세그먼트화 인조잡상(artifacts)이 이 단계에서 보일 수 있는데: 피사체의 티셔츠(50)와 뒤의 TV(52)는 단일 영역으로 세그먼트화되며; 그리고 마찬가지로, 피사체의 얼굴 및 머리털의 반(54)은 단일 영역으로 병합된다. 후자의 결함은 (우연히) 최종 결과들에 영향을 미치지 않을 것인데, 머리털과 얼굴 양쪽이 이상적으로는 최종 전경 맵에 포함되기 때문이다. 반면에, 티셔츠(50)를 TV(52)에서 분리하지 않는 것은 후자를 전경 맵에서 (부당하게) 유지하는 결과를 초래한다.
본 발명에 따른 전경/배경 세그먼트화의 제2 개량예에서, 전경 영역들은 단계 36에서 휘도에 따라 분석된다. 이 단계는 단계 34에 부가하여, 독립하여, 또는 전 또는 후에 수행될 수 있다. 바람직한 실시예에서, 이 분석은 전경 영역(14, 16)의 화소들의 LAB 공간 버전에 대해 다시 수행되고 그래서 아래에서 더 상세히 설명되는 바와 같이 화소들을 위한 L 값들만을 유익하게 사용할 수 있다.
단계 36에서, 관심 영상의 영역들에 있는 화소들의 세기는 한 영역의 휘도 분포가 단봉형(unimodal)인지 쌍봉형(bimodal)인지를 결정하기 위해 분석된다. 그러면, 이것은 영상의 영역들 내의 다른 휘도 부-영역들에 단봉형 또는 쌍봉형 문턱분할(thresholding)을 적용하는 것에 의해 양호하게 분리된 전경/배경 영역들을 난해한 영상들이 가지는 것을 허용한다.
도 5의 경우, 티셔츠/TV(52/50) 및 머리털/얼굴 쌍(54) 양쪽은 휘도에서 심하게 다르다. 단계 36에서, 각각의 세그먼트화된 전경 영역의 휘도 히스토그램은 계산된다. 도 6은 티셔츠/TV(52/50)를 포함하는 영역 #1; 머리털/얼굴(54)을 포함하는 영역 #2; 및 전형적인 단봉형 분포를 보이는 영역 #3의 휘도 히스토그램들을 보인다. 도 6으로부터 알 수 있는 바와 같이, 추가로 세그먼트화되어야 하는 영역들(즉, 영역 #1 및 #2)의 휘도 히스토그램들은 쌍봉형인 반면, 다른 것(영역 #3)은 그렇지 않다.
영역이 2개를 넘는 영역들로 분리되어야 함을 표시하는 다봉형(multi-modal) 히스토그램들이 또한 영역에 대해 발견될 수도 있다는 것에 주의해야 한다. 그러나, 그런 분포의 예는 매우 드물 것 같다.
휘도에서 그런 쌍봉형 분포를 나타내는 영역들이 이상적으로는 추가로 세그먼트화되어야 한다면, 주어진 히스토그램을 단봉형이나 쌍봉형으로서 편리하게 분류하는 것이 유용하다. 도 6을 참조하면, 바람직한 실시예에서, 이 분류는 다음을 포함한다:
(i) 히스토그램을 흐림화/평활화하여 인조잡상을 감소하는 것;
(ii) 히스토그램에서 최대 휘도(60)를 찾는 것;
(iii) 최대 좌표(잘못된 극대들의 검출을 피하기 위해) 근처에서 도 6a의 주어진 폭의 간격(62)을 버리는 것;
(iv) 다음 최대(64)를 찾는 것;
(v) 2개의 극대들의 각각으로부터, 모드 검출 절차가 실행되어 상응하는 모드 - 도 6b의 각 극대 주변의 종(bell)형 분포(66)를 찾는 것;
(vi-a) 만일 양쪽의 발견된 모드가 히스토그램의 상당한 부분을 포함한다면 (즉, 만일 각각이 관심 영역들로부터 20%를 넘는 화소들을 포함하는 휘도 레벨들의 간격에 걸치면), 히스토그램은 쌍봉형으로 선언되고, 2개의 극대들 사이의 간격에서의 최소 값(68)은 영역을 2개의 부-영역으로 분할하기 위한 문턱으로서 사용되는 것; 그렇지 않으면,
(vi-b) 히스토그램은 단봉형이라고 말해지고, 변경되지 않는 것.
도 5c는 최종 세그먼트화의 결과를 나타내는데, 이 도면에서 티셔츠/TV의 그리고 머리털/얼굴 쌍의 정확한 분리를 볼 수 있다. 단봉형으로 간주된 영역들은 변경되지 않는다.
본 발명을 사용하면, 난해한 영상들, 즉 피사체에 매우 가까이 위치된 배경을 갖는 영상들의 경우에서조차도, 정초점 피사체의 많은 부분이 배경으로부터 정확히 분리될 수 있다. 배경의 부분들이 전경으로부터 분리될 수 없거나 또는 그 반대가 되는 경우에도, 인조잡상은 쉽게 커지지 않고, 최종 맵은 영상의 추가 후처리를 위해 더 유용하게 될 수 있다.
본 발명을 구현할 때 고려될 필요가 있는 다음의 많은 실제적인 문제들이 있다:
초기 맵이 DFD 맵에서 도출될 때, 정초점 및 탈초점(out-of-focus) 영상들 사이의 축척 인자(scaling factor)는 알려질 필요가 있을 것이다. 이것은 그것이 자동적으로 계산될 수 없으므로 영상 획득 시에 카메라 구성으로부터 액세스 가능할 필요가 있다. 그것(축척 인자)은 획득된 영상에 대한 초점 거리를 아는 것으로부터 도출가능하고, 그래서 카메라 프로듀서에 의해 획득된 영상을 가지고서 이용 할 수 있게 되어야 한다.
초기 맵이 DFD 맵에서 도출되는 경우, 2개의 영상들을 획득할 시기들 사이의 시간에 따라 영상들 사이에는 얼마간의 시프팅이 일어날 수 있다는 것도 알 수 있을 것이다. 피사체가 배경에 관해서 현저하게 움직일 수 있거나, 또는 전체 장면이 카메라 변위 때문에 이동(shift)될 수도 있다는 것을 알 수 있을 것이다. 이같이 DFD 맵을 생성하기 전에 영상들 사이의 적합한 정렬이 수행되어야 한다.
앞서 지적된 바와 같이, 본 발명은 전체 해상도의 영상들이나 그런 영상들의 서브-샘플링된 버전들, 이를테면 미리보기 또는 뒤에보기 영상들을 사용하여 구현될 수 있다. 전체 해상도 DFD 맵을 제공하는 이중 전체 해상도 영상 획득이 실행 가능하지 않다고 카메라 프로듀서가 결정하는 경우에 후자(뒤에보기 영상)가 사실 필요할지도 모른다. 그럼에도 불구하고, 전체 해상도 및 미리보기/뒤에보기를 포함하는 한 쌍, 또는 전경/배경을 위한 한 쌍의 미리보기/뒤에보기 조차도 그런 쌍을 사용하면, 매핑은 계산 효율의 관점에서 충분할 수 있고 또한 바람직할 수 있다.
DFD 맵을 계산하기 위해 장면의 플래시 및 비-플래시(non-flash) 영상들을 섞는 것은 적합하지 않을지도 모른다는 것도 알 수 있을 것이다. 이같이, 주요 영상이 플래시로 획득되는 경우, 비-플래시 미리보기 및 뒤에-보기 영상들은 주요 영상에 관한 해상도에서의 차이에도 불구하고 전경/배경 맵을 제공하기 위해 사용될지도 모른다.
본 발명의 또 다른 추가의 양태에서는, 디지털 영상들에서 전경-백그러운드 분리를 위한 추가의 개선된 세그먼트화 방법이 제공된다.
도 1 내지 6의 실시예들에서, 초상 프로파일(32)은 영상에 대해 컬러 세그먼트들과의 비교를 위해 데이터베이스에 저장된다.
그러나, 영상에서 하나 이상의 얼굴의 위치 및 배향을 검출하고, 각각의 얼굴 영역에, 개별 영역, 바람직하게는 얼굴의 배향에 의해 표시된 바와 같은 얼굴 영역 아래의 세로부분(column)을 포함하는 개별 영역을 부가하는 것에 의해, 대체 프로파일이 제공될 수 있다는 것이 확인되었다. 앞서와 같이, 각 얼굴 영역과 관련된 세로부분을 포함하는 프로파일은 전경 화소들만을 포함한다고 가정될 수 있다.
이 프로파일이 도 1 내지 6의 프로파일(들)(32) 대신에 사용될 수 있지만, 이 가정된 전경 세로부분(들)에서 제공된 정보는 아래에서 더 상세히 설명되는 바와 같전경과 배경으로의 개선된 영상 분리를 제공하는데 사용될 수도 있다.
도 7을 이제 참조하면, 이 실시예의 흐름도가 제공된다.
영상이 얻어진다(700). 앞서와 같이, 이 영상은 미리- 또는 뒤에- 보기 영상일 수 있거나 획득된 주요 영상의 다운-샘플링된 버전을 포함할 수 있다.
얼굴이 획득된 영상에서 검출되거나, 또는 만일 얼굴이 획득된 영상을 포함하는 영상들의 스트림의 이전 영상에서 검출된다면, 얼굴 영역은 획득된 영상 내에서 얼굴 위치와 그것의 배향을 결정하기 위해 추적된다(710). 위치 및 배향의 검출뿐 아니라 검출된 얼굴의 추적은 바람직하게는 2006년 8월 11일자로 출원된 미국 특허출원번호 60/746,363에 개시된 바와 같이 실행된다.
검출된/추적된 얼굴의 배향은 얼굴의 방향에서 검출된 얼굴 아래의 영역을 결정하는데 사용되고 결합된 얼굴 영역 및 관련된 영역은 전경 화소들만을 담도록 가정되는 프로파일 템플릿을 제공한다(720).
도 8을 이제 참조하면, 도 5a의 영상에 상응하는 획득된 영상(10)은 피사체를 포함하고 피사체의 얼굴은 영역(80) 내에 놓이도록 검출되고 및/또는 추적된다. 얼굴의 배향이 주어지면, 얼굴 영역(80)을 유계하고(bounding) 얼굴 영역(80)의 하단으로부터 영상의 가장자리로 연장하는 영역(82)이 정의된다.
많은 별개의 대상들이 영역(82) 내에 있거나 이 영역과 교차한다는 것을 알 수 있다. 예에서, 이들 대상은 피사체의 셔츠(A), 피사체의 얼굴 우측 목(B), 피사체의 얼굴 좌측(C) 및 피사체의 머리털(D)을 유계하는 영역들을 포함할지도 모른다.
바람직하게는, 이들 대상은 컬러 대상 검출 기법 이를테면 컬러 위자드(Color Wizard), 에지 검출, 또는 컬러 또는 그레이 레벨 영상들에 적용되는 다른 영역 분리 기법들에 의해 단계 730에서 세그먼트화될 수 있는데 이런 기법들은 도 1 내지 도 6의 실시예들에 관해 기술된 것들을 포함하지만 그런 것들로 한정되지는 않는다. 현 실시예에서, 단계 730에서 식별되고 영역(82) 내에 있거나 이 영역과 교차하는 각각의 대상(A, ..., D)은 (적어도 그것이 영역(82)과 교차하는 한에서) 전경 영역인 것으로 지정된다(740).
바람직하게는, 영역(82)과 교차하는 각 전경 대상은 대상의 휘도 분포가 위에서 기술된 바와 같은 단봉형인지 쌍봉형인지를 결정하는 단계 750에서 추가로 휘도 분석을 받는다. 단봉형 또는 쌍봉형 문턱분할을 영역(82)과 교차하는 대상들 내의 서로 다른 휘도 부-영역들에 적용하면 전경/배경 대상들의 양호한 분리를 이끌 어 낼 수 있다. 그래서, 앞서 전경으로서 식별된 대상들은, 전경 대상으로서 식별되는 부-대상(sub-object)과 배경 대상으로서 식별되는 부-대상을 이제 포함할 수 있다.
다시, 이 분석은 바람직하게는 전경 대상 화소들의 LAB 공간 버전에 대해 수행되고, 그래서 화소들을 위한 L 값들만을 유익하게 사용할 수 있다.
영역(82) 내에 있지 않거나 이 영역과 교차하지 않는, 단계 740에서 그리고 옵션으로는 750에서 식별되는 어느 대상(또는 부-대상)이라도, 배경 대상으로서 지정된다(760). 이런 식으로, 영상은 전경과 배경 대상들로서 나누어진다.
본 발명의 이 실시예에서, 전경/배경 세그먼트화는 영역(82)을 포함하는 영상의 제한된 부분에 대해서만 실행된다. 본 발명의 다른 추가의 양태에서 완전한 디지털 영상들의 전경-배경 분리를 위한 추가로 개량된 방법이 제공된다.
도 9를 지금 참조하면, 이 실시예의 흐름도가 제공되어 있다.
동일한 장면의 명목상의 제1 및 제2 영상들이 얻어진다(900, 950). 앞서와 같이, 이들 영상은 미리보기나 뒤에보기 영상들일 수 있거나 또는 획득된 주요 영상의 다운-샘플링된 버전을 포함할 수 있다. 이 실시예를 위해, 영상들 중의 하나는 플래시로 취해지고 다른 하나가 플래시 없이 취해져 영상들 사이의 노출 레벨들 사이의 차이를 제공한다.
이 영상들은 정렬되며(미도시), 그래서, 단계 900 내지 950(도 7의 단계 700 내지 단계 750과 상응)에서 식별된 대상 세그먼트들은 단계 905에서 획득된 영상의 세그먼트들과 상응한다고 가정된다.
단계 940/950에서 식별된 전경 대상들이 컬러에 의해 세그먼트화되는 경우, 각각의 대상은 다수의 특정 색 특성들 예컨대 LAB 공간에서의 유사한 AB 값들 중의 하나를 가지는 다수의 화소를 포함한다.
도 9의 실시예는 각각의 전경 대상 색 조합이 동일한 색 조합을 갖는 어느 전경 대상의 예상되는 거동(behavior)을 나타내는 연관된 평균 반사율 특성(k)을 가진다는 가정에 근거한다. 그러므로, 영상 내의 임의의 대상의 평균 반사율 특성(k)을 동일한 색 조합을 가지는 식별된 전경 대상의 평균 반사율 특성(k)과 비교함으로써, 대상은 전경 또는 배경으로서 식별될 수 있다.
이 실시예에서, 얼굴 검출/추적이 수행되었던 획득된 영상은 그래서 장면의 제2의 영상과 비교되어 다음 수학식에 따라 정렬된 영상들에서 각 대상에 대한 평균 반사율 특성(k)을 결정하며(960):
Figure 112008082631316-PCT00001
여기서 L Flash 는 플래시 영상에 있는 대상의 휘도이고 L Non - Flash 는 비-플래시 영상에 있는 상응하는 대상의 휘도이다. 만일 k의 값이 k>0이면, 대상은 반사성이고 만일 k<0이면, 대상은 비 반사성인데, 이 상황들은 간섭이나 노이즈 때문에 발생할 수 있다.
각각의 라벨 없는(unlabeled) 대상, 즉 식별된 전경 대상과 동일한 색 조합을 가지며 영역(82)과 교차하지 않거나 이 영역 내에 없는 대상들의 경우, 그 평균 반사율 특성(k)은 연관된 전경 대상의 평균 반사율 특성으로부터 도출된 문턱 값(Kth)과 비교된다(단계 970). 그래서 예를 들면, 도 8에서 문턱 값(Kth)이 각각의 대상(A, ..., D)에 대한 평균 반사율 특성(k)의 70%로서 계산되고 반사율 특성(k)은 각각의 라벨 없는 대상에 대해 계산된다. 각각의 라벨 없는 대상을 위한 반사 게수(k)는 라벨 없는 대상과는 색에서 상응하는 대상들(A 내지 D) 중의 어느 하나의 대상의 문턱 값(Kth)과 비교된다.
그래서, 현 실시예에서, 만일 라벨 없는 대상이 연관된 전경 대상의 대략 70%를 넘는 평균 반사율 특성(k)을 가지면, 그것은 전경 객체로서 식별된다(980). 그렇지 않으면, 그것은 배경 대상으로서 식별된다(990).
라벨 없는 대상이 식별된 전경 대상들 중의 어느 것의 색 조합에 상응하지 않는 색 조합을 갖는 화소들을 포함하는 경우에, 그 색의 대상들을 위한 문턱 값(kth)은 식별된 전경 대상들, 예컨대, 가장 유사한 색 조합들을 가지는 대상들(A, ..., D)의 반사율 특성(들)의 함수로서 추정될 수 있다.
도 7 및 도 9의 실시예들에서 대상 또는 부-대상의 모두는 전경 대상이라고 간주되는 부분과 교차한다. 이들 실시예의 변형에서, 단계 940/950에서 식별된 영역(82)을 교차하는 전경 영역들은 그것들의 평균 반사율 특성(k)에 근거한 추가의 휘도 분석을 추가로 받는다.
따라서, 영역(82) 내에서 대상을 완전히 가로지르는 각각의 부-영역은 전경 대상으로 확인된다. 지금 반사율 특성은 영역(82) 밖에 있는 대상의 각 화소에 대해 계산된다. 영역(82)으로부터 성장하면, 부-영역에 이웃하는 대상의 화소들은 영 역(82)의 대상의 부-영역의 반사율 특성과 화소 단위로 비교된다. 다시, 화소 값이 반사율 특성(k)의 문턱 비율, 말하자면 70%보다 위에 있는 경우, 그것은 전경 화소인 것으로 확인된다. 부-영역은 그러므로 대상의 모든 화소들이 전경으로서 확인되기까지나 아니면 성장하는 부-영역에 이웃하는 모든 화소들이 배경으로서 분류되기까지 성장된다. 그러면 성장된 여역 내의 평활화 및 홀 채움(holl filling)이 뒤따른 후 전경/배경 맵이 완성된다.

Claims (32)

  1. 한 장면의 디지털 영상에서 전경(foreground)/배경(background) 분리를 제공하는 방법에 있어서,
    주요 디지털 영상 내에 하나 이상의 영역들을 포함하는 제1맵을 제공하는 단계로서, 각각의 영역이 공통 특성의 하나 이상의 화소들을 가지는 단계;
    상기 주요 디지털 영상의 관심 영역에 상응하는 피사체 프로파일을 제공하는 단계;
    상기 하나 이상의 영역들 중의 어느 것이 상기 프로파일 영역과 교차하는지를 결정하기 위해 하나 이상의 상기 영역들과 상기 피사체 프로파일을 비교하는 단계; 및
    상기 비교에 근거하여 하나 이상의 상기 영역들을 전경 영역으로서 지정하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 제1맵을 제공하는 단계는 영상의 각각의 영역을 전경 또는 배경으로서 잠정적으로 정의하는 단계를 포함하고 상기 하나 이상의 영역들은 전경으로서 잠정적으로 정의된 적어도 하나의 영역을 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 지정하는 단계는,
    전경 영역을 상기 피사체 프로파일과 비교하는 단계; 및
    상기 피사체 프로파일을 실질적으로 교차하지 않는 상기 전경 영역에 응답하여, 상기 전경 영역을 배경 영역으로 지정을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 제1맵을 제공하는 단계는 상기 장면의 명목상 둘 이상의 영상들의 비교에 근거하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 비교되는 상기 둘 이상의 영상들 중의 하나 이상은 상기 주요 디지털 영상의 낮은 해상도 버전을 포함하는 것을 특징으로 하는 방법.
  6. 제4항에 있어서, 비교되는 상기 둘 이상의 영상들 중의 하나는 상기 주요 디지털 영상을 포함하는 것을 특징으로 하는 방법.
  7. 제4항에 있어서, 비교되는 상기 둘 이상의 영상들을 정렬하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제4항에 있어서, 비교되는 상기 둘 이상의 영상들의 해상도들을 일치시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제4항에 있어서, 상기 둘 이상의 영상들 중의 적어도 하나는 상기 주요 디지털 영상이 캡처되기 직전이나 캡처된 직후에 캡처되는 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 제1맵을 제공하는 단계는,
    상기 장면의 각각 초점이 다른 명목상의 둘 이상의 영상을 제공하는 단계;
    상기 영상들로부터 상기 주요 디지털 영상의 화소들을 전경이나 배경으로서 표시하는(indicating) 초점 심도(depth of focus) 맵을 계산하는 단계;
    상기 초점 맵을 흐림화하는 단계;
    상기 흐림화된 맵을 영역들을 전경이나 배경으로서 표시하는 중간 초점 맵으로 문턱분할(thresholding)하는 단계; 및
    상기 중간 초점 맵 내의 영역들을 채워서 상기 제1맵을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제1항에 있어서, 상기 제1맵을 제공하는 단계는,
    상기 장면의 각각 초점이 다른 명목상의 둘 이상의 영상을 제공하는 단계; 및
    상기 영상들에서 상응하는 영역들의 고주파 계수들을 비교하여 상기 영역들이 전경인지 배경인지를 결정함으로써 상기 제1맵을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서, 상기 제1맵을 제공하는 단계는,
    상기 장면의 명목상 다른 노출 레벨들의 둘 이상의 영상을 제공하는 단계; 및
    상기 영상들에서 상응하는 영역들의 휘도 레벨들을 비교하여 상기 영역들이 전경인지 배경인지를 결정함으로써 상기 제1맵을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제1항에 있어서, 상기 방법은 디지털 영상 획득 기기에서 사용가능하며, 상기 디지털 영상 획득 기기는 상기 디지털 영상의 내용에 따라 상기 피사체 프로파일을 선택하도록 구성되는 것을 특징으로 하는 방법.
  14. 제1항에 있어서, 상기 방법은 디지털 영상 획득 기기에서 사용가능하며, 상기 디지털 영상 획득 기기는 초상(portrait)에서 동작하도록 구성되고 상기 피사체 프로파일은 사람의 윤곽(outline)을 포함하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서, 상기 윤곽은 다수의 사용자 선택가능 윤곽 중의 하나를 포함하는 것을 특징으로 하는 방법.
  16. 제14항에 있어서, 상기 윤곽은 상기 주요 디지털 영상의 내용에 근거하여 복수 개의 윤곽으로부터 자동으로 선택되는 것을 특징으로 하는 방법.
  17. 제1항에 있어서, 상기 방법은 상기 주요 디지털 영상과 연관되는 상기 제1맵을 수신하도록 구성된 범용 컴퓨터에서 사용가능한 것을 특징으로 하는 방법.
  18. 제1항에 있어서, 상기 주요 디지털 영상과 연관되는 상기 장면의 명목상의 하나 이상의 부가 영상을 수신하도록 구성되고 상기 하나 이상의 부가 영상 및 상기 주요 디지털 영상의 어떤 결합으로부터 상기 제1맵을 계산하도록 구성된 범용 컴퓨터에서 상기 방법이 사용가능한 것을 특징으로 하는 방법.
  19. 제1항에 있어서, 상기 피사체 프로파일을 제공하는 단계는,
    상기 영상에서 얼굴을 포함하는 적어도 하나의 영역을 결정하는 단계;
    상기 주요 디지털 영상 내에서 상기 적어도 하나의 얼굴의 배향을 결정하는 단계;
    상기 배향에 따라 상기 피사체 프로파일을 상기 주요 디지털 영상의 상기 적어도 하나의 얼굴 영역 및 상기 얼굴 영역 아래의 개별 영역을 포함하는 것으로서 정의하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서, 상기 제1맵을 제공하는 단계는,
    색 공간에서 주요 디지털 영상의 적어도 하나의 영역을 분석하여 상기 영역들 내의 색 분포를 결정하는 단계로서, 상기 색 분포는 복수 개의 독특한 색 피크 를 가지는 단계; 및
    상기 색 피크들에 대한 화소의 색의 근접성에 기초하여 상기 영역들을 세그먼트화하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제20항에 있어서, 상기 비교하는 단계는,
    상기 피사체 영역과 교차하는 각각의 영역에 대해, 기준 반사율 특성을 계산하는 단계;
    상기 피사체 프로파일과 교차하지 않는 각 영역에 대해, 반사율 특성을 계산하는 단계; 및
    비-교차 영역의 반사율 특성을 비-교차 영역에 색이 대응하는 영역에 대한 상기 기준 반사율 특성과 비교하는 단계를 포함하고,
    상기 지정하는 단계는 비-교차 영역의 반사율 특성이 상기 기준 반사율 특성의 문턱 내에 있도록 결정될 때 상기 비-교차 영역을 전경으로서 지정하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제21항에 있어서, 상기 장면의 명목상의 제2의 영상을 제공하는 단계; 및
    상기 주요 디지털 영상 및 제2의 영상에서의 상응하는 영역들 사이의 다른 휘도 레벨들의 함수로서 상기 반사율 특성들을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제19항에 있어서, 상기 주요 디지털 영상은 한 스트림의 영상들 중의 하나의 영상이고 얼굴을 포함하는 상기 주요 디지털 영상의 적어도 하나의 영역을 결정하는 단계는,
    상기 주요 디지털 영상 전에 획득된 상기 스트림의 적어도 하나의 영상에서 얼굴을 검출하는 단계; 및
    상기 얼굴을 상기 스트림의 영상들을 통해 추적하여 상기 주요 디지털 영상에서 상기 얼굴 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 한 장면의 디지털 영상에서 전경/배경 분리를 제공하는 방법에 있어서,
    주요 디지털 영상 내의 전경 또는 배경 중의 하나로서 잠정적으로 정의된 하나 이상의 영역을 포함하는 제1맵을 제공하는 단계;
    상기 영역들 중의 하나 이상을 분석하여 영역의 화소들 내에서의 휘도 분포를 결정하는 단계;
    하나를 넘는 독특한 휘도 피크를 가지는 영역에 대한 휘도 분포에 응답하여, 상기 휘도 피크에 대한 화소 휘도의 근접성에 근거하여 상기 영역을 하나를 넘는 부-영역들로 분할하는 단계; 및
    상기 맵에서 상기 분할에 근거하여 상기 부-영역들의 지정을 변경하는 단계를 포함하는 방법.
  25. 제24항에 있어서,
    상기 주요 디지털 영상의 관심 영역에 상응하는 피사체 프로파일을 제공하는 단계;
    상기 제1맵의 상기 영역들 또는 부-영역들 중의 어느 것이 상기 프로파일 영역과 교차하는 지를 결정하기 위해 상기 하나 이상의 잠정적으로 정의된 영역들 중의 적어도 일부의 영역들을 상기 피사체 프로파일을 비교하는 단계; 및
    상기 비교에 근거하여 상기 영역들 또는 부-영역들 중의 하나 이상의 지정을 변경하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  26. 제24항에 있어서, 상기 제1맵을 제공하는 단계는
    색 공간에서 디지털 영상의 적어도 일부 영역들을 분석하여 상기 영역들 내의 색 분포를 결정하는 단계로서, 상기 색 분포는 복수 개의 독특한 색 피크를 가지는 단계; 및
    상기 색 피크들에 대한 화소 색의 근접성에 근거하여 상기 영역들을 세그먼트화하는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 제26항에 있어서, 상기 분석된 영역들은 상기 제1맵 내에서 전경으로서 잠정적으로 정의된 영역들인 것을 특징으로 하는 방법.
  28. 제26항에 있어서, 상기 디지털 영상은 LAB 공간에서 제공되고 상기 색 공간은 화소들에 대한 [a,b] 값들을 포함하고 상기 휘도는 화소들에 대한 L 값들을 포 함하는 것을 특징으로 하는 방법.
  29. 한 장면의 디지털 영상에서 개선된 전경/배경 분리를 제공하는 방법에 있어서,
    주요 디지털 영상을 획득하는 단계;
    상기 주요 디지털 영상에서 얼굴을 포함하는 적어도 하나의 영역을 결정하는 단계;
    상기 주요 디지털 영상 내에서 상기 적어도 하나의 얼굴의 배향을 결정하는 단계; 및
    상기 배향에 따라 상기 영상에서 상기 적어도 하나의 얼굴 영역 및 상기 얼굴 영역 아래의 개별 영역을 포함하는 상기 영상의 전경 영역을 정의하는 단계를 포함하는 방법.
  30. 한 장면의 디지털 영상에서 개선된 전경/배경 분리를 제공하기 위한 장치로서, 프로세서와,
    주요 디지털 영상을 획득하는 단계;
    상기 주요 디지털 영상 내에 전경 또는 배경 중의 하나로서 잠정적으로 정의되는 하나 이상의 영역을 포함하는 제1맵을 제공하는 단계로서, 각각의 영역은 공통 특성을 갖는 하나 이상의 화소를 가지는 단계;
    상기 주요 디지털 영상의 관심 영역에 상응하는 피사체 프로파일을 제공하는 단계;
    상기 영역들 중의 어느 것이 상기 프로파일 영역과 교차하는지를 결정하기 위해 상기 하나 이상의 잠정적으로 정의된 영역들 중의 적어도 일부를 상기 피사체 프로파일과 비교하는 단계; 및
    상기 비교에 근거하여 상기 맵에서 상기 영역들 중의 하나 이상의 영역에 대한 지정을 전경 영역으로 변경하는 단계를 포함하는 방법을 수행하도록 상기 장치를 제어하게끔 상기 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서-판독가능 매체를 포함하는 장치.
  31. 한 장면의 디지털 영상에서 전경/배경 분리를 제공하기 위한 장치로서, 프로세서와,
    주요 디지털 영상을 획득하는 단계;
    상기 주요 디지털 영상 내에 전경 또는 배경 중의 하나로서 잠정적으로 정의되는 하나 이상의 영역들을 포함하는 제1맵을 제공하는 단계;
    하나 이상의 상기 영역들을 분석하여 영역의 화소들 내의 휘도 분포를 결정하는 단계;
    하나를 넘는 독특한 휘도 피크를 가지는 영역에 대한 상기 휘도 분포에 응답하여, 상기 휘도 피크들에 대한 화소 휘도의 근접성에 근거하여 상기 영역을 하나를 넘는 부-영역으로 분할하는 단계; 및
    상기 분할에 근거하여 상기 맵에서 상기 부-영역들 중의 적어도 하나에 대한 지정을 변경하는 단계를 포함하는 방법을 수행하도록 상기 장치를 제어하게끔 상기 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서-판독가능 매체를 포함하는 장치.
  32. 한 장면의 디지털 영상에서 전경/배경 분리를 제공하기 위한 장치로서, 프로세서와,
    주요 디지털 영상을 획득하는 단계;
    상기 주요 디지털 영상의 얼굴을 포함하는 적어도 하나의 영역을 결정하는 단계;
    상기 얼굴의 배향을 결정하는 단계; 및
    상기 배향에 따라 상기 주요 디지털 영상에서 상기 영상의 상기 얼굴 및 상기 얼굴 아래의 개별 영역을 포함하는 전경 영역을 정의하는 단계를 포함하는 방법을 수행하도록 상기 장치를 제어하게끔 상기 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서-판독가능 매체를 포함하는 장치.
KR1020087029351A 2006-05-03 2008-12-01 디지털 영상들의 개선된 전경/배경 분리 KR101266817B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74636306P 2006-05-03 2006-05-03
US60/746,363 2006-05-03
PCT/US2007/068190 WO2007131140A2 (en) 2006-05-03 2007-05-03 Improved foreground / background separation in digital images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127000843A Division KR101277229B1 (ko) 2006-05-03 2007-05-03 디지털 영상들의 개선된 전경 배경 분리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090007779A true KR20090007779A (ko) 2009-01-20
KR101266817B1 KR101266817B1 (ko) 2013-05-23

Family

ID=37491944

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127000843A KR101277229B1 (ko) 2006-05-03 2007-05-03 디지털 영상들의 개선된 전경 배경 분리 장치 및 방법
KR1020087029351A KR101266817B1 (ko) 2006-05-03 2008-12-01 디지털 영상들의 개선된 전경/배경 분리

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127000843A KR101277229B1 (ko) 2006-05-03 2007-05-03 디지털 영상들의 개선된 전경 배경 분리 장치 및 방법

Country Status (7)

Country Link
US (4) US8363908B2 (ko)
EP (1) EP2016530A4 (ko)
JP (1) JP5087614B2 (ko)
KR (2) KR101277229B1 (ko)
CN (1) CN101443791B (ko)
IE (1) IES20060564A2 (ko)
WO (1) WO2007131140A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127869A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 디지털 이미지 안정화 방법, 장치 및 시스템

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7685341B2 (en) 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8180173B2 (en) * 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US7694048B2 (en) * 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8649604B2 (en) 2007-03-05 2014-02-11 DigitalOptics Corporation Europe Limited Face searching and detection in a digital image acquisition device
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
EP2158754A1 (en) 2008-01-18 2010-03-03 Fotonation Vision Limited Image processing method and apparatus
US8326029B1 (en) * 2008-03-21 2012-12-04 Hewlett-Packard Development Company, L.P. Background color driven content retrieval
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
JP5299173B2 (ja) * 2009-08-26 2013-09-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US8872887B2 (en) 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US8363085B2 (en) 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8687888B2 (en) * 2010-11-18 2014-04-01 Casio Computer Co., Ltd. Region specification method, region specification apparatus, recording medium, server, and system
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
EP2490151A1 (en) 2011-02-17 2012-08-22 Nagravision S.A. Method and device to speed up face recognition
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
KR20120069331A (ko) 2010-12-20 2012-06-28 삼성전자주식회사 영상의 전경과 배경을 분리하는 방법
US8587666B2 (en) 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
US8587665B2 (en) 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Fast rotation estimation of objects in sequences of acquired digital images
US8705894B2 (en) 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
JP2012215852A (ja) * 2011-03-25 2012-11-08 Semiconductor Energy Lab Co Ltd 画像処理方法、表示装置
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
US8493460B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
KR101870902B1 (ko) 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
WO2013136053A1 (en) 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
WO2014072837A2 (en) 2012-06-07 2014-05-15 DigitalOptics Corporation Europe Limited Mems fast focus camera module
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
WO2014031086A1 (en) 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9256803B2 (en) * 2012-09-14 2016-02-09 Palo Alto Research Center Incorporated Automatic detection of persistent changes in naturally varying scenes
US9055207B2 (en) 2012-12-31 2015-06-09 Digitaloptics Corporation Auto-focus camera module with MEMS distance measurement
US9330718B2 (en) * 2013-02-20 2016-05-03 Intel Corporation Techniques for adding interactive features to videos
US9025868B2 (en) 2013-02-27 2015-05-05 Sony Corporation Method and system for image processing to determine a region of interest
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
KR102150661B1 (ko) * 2013-09-23 2020-09-01 에스케이 텔레콤주식회사 객체를 검출하기 위한 전처리 장치 및 방법
CN103533245B (zh) * 2013-10-21 2018-01-09 努比亚技术有限公司 拍摄装置及辅助拍摄方法
KR20150077184A (ko) 2013-12-27 2015-07-07 삼성전자주식회사 의료 영상의 병변 유사도 판단 장치 및 방법
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
WO2015189343A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Methods and systems for color processing of digital images
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
CN104573629A (zh) * 2014-12-05 2015-04-29 深圳市海云天科技股份有限公司 一种脸部图像采集方法及系统
CN104751405B (zh) * 2015-03-11 2018-11-13 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
CN104751407B (zh) * 2015-03-11 2019-01-25 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10091436B2 (en) 2015-05-13 2018-10-02 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling the same
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102372711B1 (ko) * 2015-10-13 2022-03-17 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
CN105744173B (zh) * 2016-02-15 2019-04-16 Oppo广东移动通信有限公司 一种区分图像前后景区域的方法、装置及移动终端
US20180020167A1 (en) * 2016-05-10 2018-01-18 Production Resource Group, Llc Multi Background Image Capturing Video System
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US10089721B2 (en) 2016-09-08 2018-10-02 Sony Corporation Image processing system and method for object boundary smoothening for image segmentation
US10380756B2 (en) * 2016-09-08 2019-08-13 Sony Corporation Video processing system and method for object detection in a sequence of image frames
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10586308B2 (en) * 2017-05-09 2020-03-10 Adobe Inc. Digital media environment for removal of obstructions in a digital image scene
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
KR102066412B1 (ko) 2017-08-11 2020-01-15 (주) 인터마인즈 전경 영상 추출 장치 및 방법
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
CN107665482B (zh) * 2017-09-22 2021-07-23 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN107610124B (zh) * 2017-10-13 2020-03-31 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN107832766B (zh) * 2017-10-30 2021-07-23 北京小米移动软件有限公司 高光区域的确定方法、装置、设备和存储介质
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10878596B2 (en) 2018-11-29 2020-12-29 International Business Machines Corporation Object oriented image normalization
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
US11107098B2 (en) * 2019-05-23 2021-08-31 Content Aware, Llc System and method for content recognition and data categorization
US11315291B1 (en) 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4683496A (en) 1985-08-23 1987-07-28 The Analytic Sciences Corporation System for and method of enhancing images using multiband information
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5086314A (en) 1990-05-21 1992-02-04 Nikon Corporation Exposure control apparatus for camera
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US5063448A (en) 1989-07-31 1991-11-05 Imageware Research And Development Inc. Apparatus and method for transforming a digitized signal of an image
US5063446A (en) * 1989-08-11 1991-11-05 General Electric Company Apparatus for transmitting auxiliary signal in a TV channel
EP0440786A1 (en) 1989-08-28 1991-08-14 Eastman Kodak Company A computer based digital image noise reduction method based on overlapping planar approximation
US5046118A (en) * 1990-02-06 1991-09-03 Eastman Kodak Company Tone-scale generation method and apparatus for digital x-ray images
FR2673793B1 (fr) 1991-03-05 1993-05-07 Thomson Video Equip Procede et dispositif permettant d'obtenir une information de profondeur dans le champ vu par un dispositif de prise de vue.
US5164993A (en) 1991-11-25 1992-11-17 Eastman Kodak Company Method and apparatus for automatic tonescale generation in digital radiographic images
US5345313A (en) 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5329379A (en) 1992-10-22 1994-07-12 International Business Machines Corporation System and method of measuring fidelity of decompressed video signals and images
GB9321372D0 (en) 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5504846A (en) 1993-12-16 1996-04-02 International Business Machines Corporation Method and apparatus for improved area demarcation in bit mapped image derived from multi-color bit mapped image
US5621868A (en) 1994-04-15 1997-04-15 Sony Corporation Generating imitation custom artwork by simulating brush strokes and enhancing edges
US5757376A (en) 1994-12-02 1998-05-26 Sony Corporation Method of producing image data and associated recording medium
EP0727760A3 (en) 1995-02-17 1997-01-29 Ibm Product size detection system
US5724456A (en) 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5812787A (en) 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US6005582A (en) 1995-08-04 1999-12-21 Microsoft Corporation Method and system for texture mapping images with anisotropic filtering
US5880737A (en) 1995-08-04 1999-03-09 Microsoft Corporation Method and system for accessing texture data in environments with high latency in a graphics rendering system
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5999189A (en) 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5990904A (en) 1995-08-04 1999-11-23 Microsoft Corporation Method and system for merging pixel fragments in a graphics rendering system
US5844627A (en) 1995-09-11 1998-12-01 Minerya System, Inc. Structure and method for reducing spatial noise
US6122408A (en) 1996-04-30 2000-09-19 Siemens Corporate Research, Inc. Light normalization method for machine vision
US6956573B1 (en) 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6125213A (en) 1997-02-17 2000-09-26 Canon Kabushiki Kaisha Image processing method, an image processing apparatus, and a storage medium readable by a computer
AUPO525897A0 (en) 1997-02-24 1997-03-20 Redflex Traffic Systems Pty Ltd Digital image processing
US5949914A (en) 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US5878152A (en) 1997-05-21 1999-03-02 Cognex Corporation Depth from focal gradient analysis using object texture removal by albedo normalization
US6295367B1 (en) 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6225974B1 (en) 1997-06-19 2001-05-01 Electronics For Imaging, Inc. Gamut correction with color separation and methods and apparatuses for performing same
US6018590A (en) * 1997-10-07 2000-01-25 Eastman Kodak Company Technique for finding the histogram region of interest based on landmark detection for improved tonescale reproduction of digital radiographic images
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6061476A (en) * 1997-11-24 2000-05-09 Cognex Corporation Method and apparatus using image subtraction and dynamic thresholding
JP4698831B2 (ja) 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US6744471B1 (en) 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US6069982A (en) 1997-12-23 2000-05-30 Polaroid Corporation Estimation of frequency dependence and grey-level dependence of noise in an image
JP3930504B2 (ja) 1998-01-07 2007-06-13 株式会社東芝 物体抽出装置
US6483521B1 (en) 1998-02-02 2002-11-19 Matsushita Electric Industrial Co., Ltd. Image composition method, image composition apparatus, and data recording media
US6850236B2 (en) 1998-02-17 2005-02-01 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter in response to user input and/or sensor input
JP2000102040A (ja) 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6278434B1 (en) 1998-10-07 2001-08-21 Microsoft Corporation Non-square scaling of image data to be mapped to pixel sub-components
JP2000209425A (ja) 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2000175052A (ja) 1998-12-07 2000-06-23 Xerox Corp ピクセルマップ表現の処理方法及び装置
US6546117B1 (en) 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
JP3849834B2 (ja) 1999-02-02 2006-11-22 富士写真フイルム株式会社 オートホワイトバランス制御方法
US6920250B1 (en) 1999-03-04 2005-07-19 Xerox Corporation Additive model for efficient representation of digital documents
US6577621B1 (en) * 1999-06-22 2003-06-10 Ericsson Inc. System and method for providing high-speed local telecommunications access
US6198505B1 (en) 1999-07-19 2001-03-06 Lockheed Martin Corp. High resolution, high speed digital camera
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6631206B1 (en) 1999-08-30 2003-10-07 University Of Washington Image filtering in HSI color space
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
US6704456B1 (en) 1999-09-02 2004-03-09 Xerox Corporation Automatic image segmentation in the presence of severe background bleeding
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6577762B1 (en) 1999-10-26 2003-06-10 Xerox Corporation Background surface thresholding
US7103357B2 (en) 1999-11-05 2006-09-05 Lightsurf Technologies, Inc. Media spooler system and methodology providing efficient transmission of media content from wireless devices
US6538656B1 (en) 1999-11-09 2003-03-25 Broadcom Corporation Video and graphics system with a data transport processor
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
DE19958553A1 (de) 1999-12-04 2001-06-07 Luratech Ges Fuer Luft Und Rau Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
US6804408B1 (en) 1999-12-22 2004-10-12 Eastman Kodak Company Method for enhancing a digital image with noise-dependent control of texture
EP1113671A3 (en) 1999-12-28 2007-04-11 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus and image coding apparatus
CA2646789A1 (en) 1999-12-28 2001-07-05 Sony Corporation Signal processing device and method, and recording medium
GB2358098A (en) 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
JP2001298659A (ja) 2000-02-08 2001-10-26 Canon Inc 撮像装置、画像処理システム、撮像方法、及び記憶媒体
US6807301B1 (en) 2000-02-25 2004-10-19 Fujitsu Limited Image production controlling device, image producing device, image production controlling method, and a storage medium
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
CA2309002A1 (en) 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
US6593925B1 (en) 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7212668B1 (en) 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
EP1185112B1 (en) * 2000-08-25 2005-12-14 Fuji Photo Film Co., Ltd. Apparatus for parallax image capturing and parallax image processing
JP2002077591A (ja) 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002094812A (ja) 2000-09-12 2002-03-29 Canon Inc 画像処理方法、装置および記録媒体
JP3395770B2 (ja) 2000-09-29 2003-04-14 ミノルタ株式会社 デジタルスチルカメラ
JP2002158893A (ja) 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
EP1382017B1 (en) * 2000-12-22 2018-08-22 Hewlett-Packard Development Company, L.P. Image composition evaluation
US6989859B2 (en) 2000-12-22 2006-01-24 Eastman Kodak Company Camera having user interface ambient sensor viewer adaptation compensation and method
EP1220182A3 (en) 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
US6847377B2 (en) 2001-01-05 2005-01-25 Seiko Epson Corporation System, method and computer program converting pixels to luminance levels and assigning colors associated with luminance levels in printer or display output devices
US6670963B2 (en) 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US6756993B2 (en) 2001-01-17 2004-06-29 The University Of North Carolina At Chapel Hill Methods and apparatus for rendering images using 3D warping techniques
CA2373707A1 (en) 2001-02-28 2002-08-28 Paul Besl Method and system for processing, compressing, streaming and interactive rendering of 3d color image data
US7031523B2 (en) 2001-05-16 2006-04-18 Siemens Corporate Research, Inc. Systems and methods for automatic scale selection in real-time imaging
JP4596213B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100859381B1 (ko) * 2001-06-15 2008-09-22 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
JP4729812B2 (ja) * 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
GB2377333A (en) 2001-07-07 2003-01-08 Sharp Kk Segmenting a pixellated image into foreground and background regions
US20050058322A1 (en) * 2003-09-16 2005-03-17 Farmer Michael E. System or method for identifying a region-of-interest in an image
US6577821B2 (en) 2001-07-17 2003-06-10 Eastman Kodak Company Camera having oversized imager and method
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US7650044B2 (en) 2001-07-30 2010-01-19 Cedara Software (Usa) Limited Methods and systems for intensity matching of a plurality of radiographic images
US20030039402A1 (en) 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7324246B2 (en) 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US20030063795A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. Face recognition through warping
JP2003107365A (ja) 2001-09-28 2003-04-09 Pentax Corp 撮影機能を有する観察装置
JP3999505B2 (ja) 2001-11-30 2007-10-31 オリンパス株式会社 カメラ
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US7092584B2 (en) 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US20030161506A1 (en) 2002-02-25 2003-08-28 Eastman Kodak Company Face detection computer program product for redeye correction
AU2003213651A1 (en) 2002-02-27 2003-09-09 Cdm Optics, Inc. Optimized image processing for wavefront coded imaging systems
JP4169522B2 (ja) 2002-03-22 2008-10-22 株式会社リコー 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体
US20030184671A1 (en) 2002-03-28 2003-10-02 Robins Mark N. Glare reduction system for image capture devices
US7149974B2 (en) * 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
US7081892B2 (en) 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
GB0212367D0 (en) 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
US20040208385A1 (en) 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
JP3903870B2 (ja) 2002-07-29 2007-04-11 オムロンエンタテインメント株式会社 写真プリント装置制御方法、写真プリント装置制御プログラム、写真プリント装置制御プログラムを記録した記録媒体、写真プリント装置、および、プリント媒体ユニット
WO2004017088A2 (en) 2002-08-15 2004-02-26 Lc Technologies, Inc. Motion clutter suppression for image-subtracting cameras
CH695973A5 (de) 2002-08-16 2006-10-31 Alstom Technology Ltd Rotor für eine elektrische Maschine.
US7397969B2 (en) 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
AU2003286453A1 (en) 2002-10-15 2004-05-04 David J. Mcintyre System and method for simulating visual defects
JP4222013B2 (ja) 2002-12-02 2009-02-12 カシオ計算機株式会社 画像修正装置、文字認識方法及び画像修正プログラム
JP3904560B2 (ja) 2003-01-09 2007-04-11 オリンパス株式会社 デジタルカメラ
DE602004015173D1 (de) * 2003-01-21 2008-09-04 Canon Kk Bildaufnahmegerät und Bildaufnahmesystem
JP2004236235A (ja) 2003-01-31 2004-08-19 Canon Inc 撮影装置
US7295720B2 (en) 2003-03-19 2007-11-13 Mitsubishi Electric Research Laboratories Non-photorealistic camera
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7103227B2 (en) 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
US7218792B2 (en) 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
US7359562B2 (en) 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
US7102638B2 (en) 2003-03-19 2006-09-05 Mitsubishi Eletric Research Labs, Inc. Reducing texture details in images
JP4232498B2 (ja) 2003-03-24 2009-03-04 富士ゼロックス株式会社 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US20050017968A1 (en) 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
US20050031224A1 (en) 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US20050140801A1 (en) 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
JP4127675B2 (ja) 2003-12-09 2008-07-30 株式会社リコー 画像処理装置
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
JP4320272B2 (ja) 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
US7657060B2 (en) 2004-03-31 2010-02-02 Microsoft Corporation Stylization of video
US7317843B2 (en) 2004-04-01 2008-01-08 Microsoft Corporation Luminance correction
US8265378B2 (en) 2004-04-15 2012-09-11 Dolby Laboratories Licensing Corporation Methods and systems for converting images from low dynamic to high dynamic range
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US20050243176A1 (en) 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
US7653255B2 (en) 2004-06-02 2010-01-26 Adobe Systems Incorporated Image region of interest encoding
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP2006080632A (ja) 2004-09-07 2006-03-23 Ricoh Co Ltd デジタルスチルカメラ印刷システムおよびデジタルスチルカメラおよび印刷装置およびデジタルスチルカメラ印刷システムの制御方法およびデジタルスチルカメラ印刷システムのプログラム
EP1779322B1 (en) 2004-11-10 2008-01-09 Fotonation Vision Limited A digital image acquisition system having means for determining a camera motion blur function
JP2006140594A (ja) 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
US7860332B2 (en) 2005-01-07 2010-12-28 Hewlett-Packard Development Company, L.P. Method and system for determining an indication of focus of an image
JP4646797B2 (ja) 2005-02-01 2011-03-09 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006338377A (ja) 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
US20060280375A1 (en) 2005-06-08 2006-12-14 Dalton Dan L Red-eye correction method and apparatus with user-adjustable threshold
JP4498224B2 (ja) 2005-06-14 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
US7574069B2 (en) 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
JP4717562B2 (ja) 2005-09-02 2011-07-06 キヤノン株式会社 画像処理装置及び方法
US7747071B2 (en) 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
US7469071B2 (en) 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
KR101159830B1 (ko) 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127869A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 디지털 이미지 안정화 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US20130208979A1 (en) 2013-08-15
KR20120032524A (ko) 2012-04-05
US20070269108A1 (en) 2007-11-22
US9117282B2 (en) 2015-08-25
WO2007131140A3 (en) 2008-12-04
US20160078630A1 (en) 2016-03-17
US8358841B2 (en) 2013-01-22
KR101277229B1 (ko) 2013-06-26
JP2009536417A (ja) 2009-10-08
US9684966B2 (en) 2017-06-20
US20100329549A1 (en) 2010-12-30
IES20060564A2 (en) 2006-11-01
KR101266817B1 (ko) 2013-05-23
WO2007131140A2 (en) 2007-11-15
US8363908B2 (en) 2013-01-29
JP5087614B2 (ja) 2012-12-05
CN101443791B (zh) 2012-05-30
EP2016530A2 (en) 2009-01-21
EP2016530A4 (en) 2012-05-02
CN101443791A (zh) 2009-05-27

Similar Documents

Publication Publication Date Title
KR101266817B1 (ko) 디지털 영상들의 개선된 전경/배경 분리
US8290267B2 (en) Detecting redeye defects in digital images
JP3862140B2 (ja) ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス
EP1918872B1 (en) Image segmentation method and system
US8170350B2 (en) Foreground/background segmentation in digital images
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
WO2010012448A2 (en) Automatic face and skin beautification using face detection
JP3814353B2 (ja) 画像分割方法および画像分割装置
US9672447B2 (en) Segmentation based image transform
JP3860540B2 (ja) エントロピーフィルタ及び該フィルタを用いた領域抽出法
CN112070771A (zh) 基于hs通道的自适应阈值分割方法、装置和存储介质
IE20060564U1 (en) Improved foreground / background separation
IES84400Y1 (en) Improved foreground / background separation
IE20080340U1 (en) Detecting red-eye defects in digital images
IES84986Y1 (en) Detecting red-eye defects in digital images

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
A107 Divisional application of patent
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160509

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 7