KR20140138046A - 픽처를 처리하기 위한 방법 및 디바이스 - Google Patents

픽처를 처리하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20140138046A
KR20140138046A KR1020140060346A KR20140060346A KR20140138046A KR 20140138046 A KR20140138046 A KR 20140138046A KR 1020140060346 A KR1020140060346 A KR 1020140060346A KR 20140060346 A KR20140060346 A KR 20140060346A KR 20140138046 A KR20140138046 A KR 20140138046A
Authority
KR
South Korea
Prior art keywords
template
background
layer
picture
color
Prior art date
Application number
KR1020140060346A
Other languages
English (en)
Inventor
파브리스 위르방
크리스뗄 샤마레
요안 바브예
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140138046A publication Critical patent/KR20140138046A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

픽처를 처리하기 위한 방법이 개시된다. 본 발명에 따른 방법은:
- 상기 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 단계(10);
- 상기 배경 계층에 대한 배경 색 조화 템플릿을 선택하는 단계(12);
- 배경 계층과 상기 적어도 또 다른 계층 사이의 거리에 따라 배경 색 조화 템플릿으로부터 각각의 적어도 또 다른 계층에 대한 하나의 색 조화 템플릿을 결정하는 단계(14);
- 대응하는 색 조화 템플릿을 이용하여 각각의 세그먼팅된 계층의 색들을 매핑함으로써 픽처를 처리하는 단계(16)
를 포함한다.

Description

픽처를 처리하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING A PICTURE}
본 발명은 픽처(picture)를 처리하기 위한 방법 및 디바이스와 관련된다. 더 자세하게는, 픽처 처리 방법은 조화 색들(harmonious colors)의 템플릿을 이용하여 픽처의 색들을 매핑하는 것을 포함한다.
지각 경험을 개선하기 위해 픽처들에서 또는 픽처들의 몇몇 부분들에서 색들을 보정하는 것이 알려져 있다. 예로서, 고 채도 색들(saturated colors)을 가진 픽처들은 이러한 고 채도 색들을 제거하고 그에 따라 지각 경험을 개선하기 위해 유리하게 처리된다.
Cohen-Or로부터의 제목이 "Color Harmonization(색 조화)"인 문서는 조화 템플릿들
Figure pat00001
에 기초하여 픽처들을 조화시키기 위한 방법을 교시한다. 이러한 색 조화의 템플릿들은 도 1에 묘사된다. 이 방법은 여러 결점들을 갖는다. 첫째로, 이것은 완전 자동이 아니고, "민감한" 지역들(전형적으로 그들의 고유 색을 잃으면 부자연스럽게 보이는 피부 또는 하늘)에 대한 수작업 주석을 요구한다. 둘째로, 색 매핑은 매우 기초적이다. 이것은 템플릿에서 가우스 필터 제약 조건을 적용함으로써 최초 픽처의 색상표(color palette)를 매핑한다. 셋째로, 전체 픽처 또는 이 픽처의 선택 부분이 동일 방식으로 조화되는데, 즉 동일 템플릿이 이용된다.
본 발명의 목적은 종래 기술의 단점들 중 적어도 하나를 극복하는 것이다.
그러므로, 픽처를 처리하기 위한 방법이 개시된다. 처리 방법은 다음을 포함한다:
픽처를 배경 계층(background layer) 및 적어도 또 다른 계층이 되도록 세그먼팅하는 단계;
배경 계층에 대한 배경 색 조화 템플릿(background template of color harmony)을 선택하는 단계 - 템플릿은 예를 들어 조화 색들의 적어도 하나의 섹터에 의해 색상 휠(hue wheel) 주위에서 정의됨 -;
배경 계층과 적어도 또 다른 계층 사이의 거리에 따라 배경 색 조화 템플릿으로부터 각각의 적어도 또 다른 계층에 대한 하나의 색 조화 템플릿을 결정하는 단계; 및
대응하는 색 조화 템플릿을 이용하여 각각의 세그먼팅된 계층들의 색들을 매핑함으로써 픽처를 처리하는 단계.
제1 실시예에 따라, 배경 계층과 적어도 또 다른 계층 사이의 거리에 따라 배경 템플릿으로부터 각각의 적어도 또 다른 계층에 대한 하나의 템플릿을 결정하는 단계는 거리에 기초하여 배경 템플릿의 각각의 섹터의 사이즈를 증가시키는 단계를 포함하고, 증가된 사이즈의 섹터들을 가진 템플릿은 적어도 또 다른 계층에 대한 템플릿이다.
본 발명의 특정한 특징에 따라, 거리에 기초하여 배경 템플릿의 각각의 섹터의 사이즈를 증가시키는 단계는:
배경 계층과 적어도 또 다른 계층 사이의 거리를 계산하는 단계;
하기 수학식에 따라 배경 템플릿의 각각의 섹터에 대한 증가된 사이즈를 계산하는 단계를 포함하는데,
Figure pat00002
,
여기서,
Figure pat00003
는 증가된 사이즈이고,
Figure pat00004
는 배경 템플릿에서의 섹터들의 수이고,
Figure pat00005
는 배경 계층과 전경 계층(foreground layer) 사이의 거리이다.
변형 실시예에 따라, 배경 계층과 적어도 또 다른 계층 사이의 거리에 따라 배경 템플릿으로부터 각각의 적어도 또 다른 계층에 대한 하나의 템플릿을 결정하는 단계는 그 사이즈 및 각도가 거리로부터 계산되는 단일 섹터를 포함하는 중간 템플릿(intermediate template)을 결정하는 단계 및 배경 템플릿과 중간 템플릿의 합집합(union)으로서 적어도 또 다른 계층에 대한 템플릿을 결정하는 단계를 포함한다.
본 발명의 특정한 특징에 따라, 중간 템플릿의 단일 섹터의 사이즈는 다음과 같이 계산된다:
Figure pat00006
,
여기서,
Figure pat00007
는 배경 계층과 적어도 또 다른 계층 사이의 거리이고, S는 배경 계층의 섹터들의 사이즈들의 합이고,
Figure pat00008
는 배경 계층과 전경 계층 사이의 거리이다.
본 발명의 한 양태에 따라, 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 것은 픽처에서의 각각의 픽셀 또는 픽셀들의 그룹의 깊이 값(depth value)을 결정하는 것과 깊이 값들에 기초하여 픽처를 세그먼팅하는 것을 포함한다.
변형예에 따라, 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 것은 픽처에서의 각각의 픽셀 또는 픽셀들의 그룹의 모션 값(motion value)을 결정하는 것과 모션 값들에 기초하여 픽처를 세그먼팅하는 것을 포함한다.
본 발명의 특정한 특징에 따라, 배경 계층과 적어도 또 다른 계층 사이의 거리는 배경에 대한 모션 또는 깊이 값들의 평균과 적어도 또 다른 계층에 대한 모션 또는 깊이 값들의 평균 사이의 차이와 동일하다.
프로그램이 컴퓨터상에서 실행될 때 본 발명에 따른 처리 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 추가로 개시된다.
프로세서로 하여금 적어도 본 발명에 따른 처리 방법의 단계들을 적어도 수행하도록 하기 위한 명령어들이 저장되어 있는 프로세서 판독가능 매체가 또한 개시된다.
픽처를 처리하기 위한 디바이스가 개시되는데, 이 처리 디바이스는:
픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하기 위한 수단;
배경 계층에 대한 배경 템플릿을 선택하기 위한 수단 - 템플릿은 조화 색 값들의 적어도 하나의 섹터를 정의함 -;
배경 계층과 적어도 또 다른 계층 사이의 거리에 따라 배경 템플릿으로부터 각각의 적어도 또 다른 계층에 대한 하나의 템플릿을 결정하기 위한 수단; 및
대응하는 템플릿들을 이용하여 픽처의 색들을 매핑함으로써 픽처를 처리하기 위한 수단
을 포함한다.
처리 디바이스는 처리 방법의 단계들을 실행하도록 구성된다.
본 발명의 다른 특징들 및 이점들은 그 실시예들의 몇몇에 대한 하기 설명으로 보여질 것인데, 이 설명은 도면들과 연계하여 이루어진다.
- 도 1은 종래 기술에서 정의된 바와 같은 8개의 조화 색 템플릿을 묘사한다;
- 도 2는 상이한 각도들을 가진 V 유형 조화 템플릿을 묘사한다;
- 도 3은 본 발명에 따른 처리 방법의 흐름도를 묘사한다;
- 도 4는 두 개의 픽셀 A 및 B의 색상 휠 및 매핑 방향들을 나타낸다; 및
- 도 5는 본 발명에 따른 처리 디바이스를 묘사한다.
조화 색 템플릿 또는 색 조화 템플릿은 예를 들어, 동시에 존재할 때 전체적 조화 효과를 표현하는/반영하는 것으로서 간주되는 HSV 값들(색상, 채도 및 명도)의 세트이다. 도 1에 묘사된 10 개의 조화 색 템플릿
Figure pat00009
은 그러한 색 조화의 템플릿들의 예들이다. 템플릿 O는 호 길이(arc-length) 360°를 갖는 단 하나의 색 범위를 포함한다. 이 템플릿은 예를 들어 무지개를 포함하는 픽처와 같이 모든 색상들을 동등하게 포함하는 프레임들을 조화시키지 않기 위해 이용된다. 각각의 조화 색 템플릿
Figure pat00010
은 상이한 부분들/섹터들로 만들어진다. 조화 색들은 이들이 동일 섹터에 있다면 근접하고(close) 마주보는 섹터에 있다면 보색적(complementary)이다. 템플릿들 J 및 L은 직교 조화 색상들(orthogonal harmonious hues)을 다룬다. 각각의 섹터는 도 2에 묘사된 것처럼 각도
Figure pat00011
와 사이즈 w에 의해 정의된다. 조화 색 템플릿은 색상 휠 주위로 회전될 수 있다. 그러므로 조화 색 템플릿
Figure pat00012
은 템플릿 유형 m 및 각도
Figure pat00013
에 의해 정의된다.
도 3은 본 발명의 특정적이고 비제한적 실시예에 따른 처리 방법의 흐름도를 묘사한다. 방법 단계들의 일부는 선택 사항이다. 하기 방법이 동일 처리를 연속 프레임들에 적용함으로써 비디오 소스로 확장될 수 있다는 것을 알 수 있다.
단계 10에서, 픽처는 배경 계층 및 적어도 또 다른 계층, 예를 들어 배경 계층 및 전경 계층이 되도록 세그먼팅된다. 보다 일반적으로, 픽처는 k가 0 내지 N-1일 때에, N 계층들
Figure pat00014
가 되도록 세그먼팅된다. 배경은 예를 들어 인덱스 k=0의 계층인 한편, 전경 계층은 인덱스 k=N-1의 계층이다.
예로서, 깊이 값은 픽처에서의 각각의 픽셀 또는 픽셀들의 그룹에 대해 계산된다. 그러므로, N 계층들이 되도록 세그먼팅된 깊이 맵이 획득된다. N=2 이면 이후 배경 계층 및 전경 계층이 획득된다. 깊이 맵은 예를 들어 (N-1) 임계값들
Figure pat00015
로 임계값이 정해지는데, 여기서 r은 0 내지 N-2이고 maxDepth는 깊이 맵에서의 최대 깊이 값이다. 깊이 맵은 (예를 들어 Kinect® 유형에 대한) 깊이 센서를 이용하여 획득될 수 있다. 변형 예에서, 깊이 맵은 2009년 5월 14일에 공표된 국제 출원 WO 2009/061305에 개시된 방법에 의해 획득될 수 있다. 그러나, 본 발명은 깊이 맵을 획득하기 위한 이러한 특정 방법들로만 제한되지 않는다는 것을 알 것이다.
변형 예에서, 깊이 맵은 블러 맵(blur map)에 의해 대체될 수 있다. 예시적으로, 블러 맵은 ICCVG 2012에 공표된 "Image and Video Saliency Models Improvement by Blur Identification "라는 제목의 Baveye 등으로부터의 문서의 섹션 2.2에 개시된 대로 결정될 수 있다. 블러 맵은 이후 N 계층이 되도록 세그먼팅된다. N=2이면 이후 배경 계층 및 전경 계층이 획득된다(블러의 관점에서 볼 때, 배경 계층은 가장 블러가 없는(blurriest) 지역이다). 블러 맵은 예를 들어 (N-1) 임계값
Figure pat00016
로 임계값이 정해지는데, 여기서 r은 0 내지 N-2이고 maxBlur는 블러 맵에서 최대 블러 값이다. 그러나 본 발명은 블러 맵를 획득하기 위한 이런 특정 방법에만 제한되지는 않는다는 것을 알 것이다.
변형 예에 따라, 모션 값은 픽처에서 각각의 픽셀 또는 픽셀들의 그룹에 대해 계산된다. 그러므로, N 계층이 되도록 세그먼팅된 모션 맵이 획득된다. N=2이면 이후 배경 계층 및 전경 계층이 (모션의 관점에서 볼 때) 획득된다. 2002년 컴퓨터 비전의 국제 저널에 공표된 "hierarchical estimation and segmentation of dense motion fields "라는 제목의 Memin 등으로부터의 문서에 개시된 방법이 이용될 수 있다. 변형 예는 지배적 모션을 결정하는 것을 포함한다. 1996년 8월에 PAMI vol.18 n
Figure pat00017
8에서의 IEEE 트랜잭션에 공표된 "Compact representations of videos through dominant and multiple motion estimation " 이라는 제목의 Sawhney 등으로부터의 문서가 지배적 모션을 결정하기 위한 방식을 섹션 2.2에서 개시한다. 배경은 지배적 모션을 갖는 픽셀들의 세트로 구성된다. 다시 말하면, 픽셀의 모션이 지배적 모션이면, 이 픽셀은 배경에 속하는 것으로 간주된다. (N-1) 기타 계층은 Kmean 알고리즘을 사용하여 모션 속력으로 세그먼팅된다. 배경의 모션 속력으로부터 가장 멀리 떨어진 모션 속력을 가진 계층이 전경으로 간주된다. 그러나 본 발명이 모션 맵을 획득하기 위한 이러한 특정 방법들로만 제한되지 않는다는 것을 알 것이다.
단계 12에서, 배경 템플릿
Figure pat00018
가 배경 계층에 대해 선택된다. 더 자세하게는, 배경 템플릿 유형 b 및 배경 템플릿 각도
Figure pat00019
가 결정된다. 도 1에 묘사되고 Cohen-Or로부터의 "Color Harmonization"에서 정의된 템플릿들
Figure pat00020
중 하나가
Figure pat00021
만큼의 회전을 적용받아 선택된다. 그러므로, 템플릿 유형이 선택될 뿐만 아니라, 각도를 가진 템플릿 유형도 선택된다. 유형 O의 템플릿들은 이 선택 동안 이용되지 않는다.
최초 픽처의 배경 계층의 색 히스토그램 M이 하나의 템플릿을 선택하는 것을 돕기 위해 하기 정의된 것과 같이 HSV 공간에서 계산된다. 이것은 채도 및 명도에 의해 가중된 정규화된 색상 분포이다:
Figure pat00022
j는 보통 0부터 360까지 변화하는데, 반드시 그런 것은 아니다.
이후, 색상 분포 M에 가장 잘 맞는 적절한 템플릿 유형 b 및 연관된 각도
Figure pat00023
가 각각의 템플릿 유형 m 및 각각의 각도
Figure pat00024
에 대해 계산된 쿨백-라이블러 발산(Kullback-Leibler divergence)을 최소화함으로써 선택된다:
Figure pat00025
여기서,
Figure pat00026
는 각도
Figure pat00027
에 대한 템플릿 m의 분포이다.
Figure pat00028
는 분포의 빈(bin) j를 나타낸다. 여기서
Figure pat00029
는 M의 근사, 기술, 또는 조화된 모델을 전형적으로 나타낸다. 분포
Figure pat00030
는 HSV 값들의 각각의 섹터들/부분들에서 균일하고 다른 곳에서는 널(null)일 수 있거나 또는 범프 함수(bump function)일 수 있다. 본 발명은 분포가 정의되는 방식에 의해 제한되지 않는다. 변형 예에 따르면, 템플릿
Figure pat00031
및 연관된 각도
Figure pat00032
는 이것이 색상 분포 M과 매칭하도록, 즉, 쿨백-라이블버 발산
Figure pat00033
이 임계값 미만이 되도록 선택되는데, 여기서
Figure pat00034
. 이 경우에, 템플릿은 반드시 색상 분포 M 에 가장 잘 맞는 것이 될 필요는 없지만, 색상 분포 M에 근접한 것이다.
단계 14 에서, 템플릿은 각각의 기타 층들
Figure pat00035
에 대해 결정된다. 템플릿은 배경 계층과 기타 계층
Figure pat00036
사이에서 계산되는 거리
Figure pat00037
에 따라 배경 템플릿으로부터 결정된다.
템플릿은 배경 템플릿의 사이즈를 증가시킴으로써, 더 자세하게는 템플릿의 각각의 섹터의 사이즈
Figure pat00038
를 증가시킴으로써 현재 층
Figure pat00039
에 대해 결정된다. 이 경우에, 각도는 변하지 않은 채 남아 있다. 각각의 템플릿의 각각의 섹터의 사이즈
Figure pat00040
은 Cohen 등으로부터의 문서에서 정확히 정의된다. 예를 들어, 유형 i의 템플릿의 섹터의 사이즈는 18°이다. 이런 확장 아이디어는 현재 계층으로부터 배경까지의 "거리"로 각각의 섹터의 사이즈
Figure pat00041
를 가중하여 사이즈가 배경으로부터 전경 계층까지 점진적으로 증가하도록 하는 것이다. 배경 템플릿에서의 모든 섹터들의 사이즈는 다음과 같이 증가된다:
Figure pat00042
여기서,
Figure pat00043
는 증가된 사이즈이고,
Figure pat00044
는 배경 템플릿에서의 섹터들의 수이고,
Figure pat00045
는 전경 계층과 배경 계층(즉, 가장 가까운 층, 즉,
Figure pat00046
) 사이의 거리이다. 예로서, 거리
Figure pat00047
는 배경 픽셀들의 깊이/속력 값들의 평균
Figure pat00048
과 현재 계층 픽셀들의 깊이/속력 값들의 평균
Figure pat00049
사이의 차이로서 정의되고,
Figure pat00050
는 배경 픽셀들의 깊이/속력 값들의 평균
Figure pat00051
와 전경 계층 픽셀들의 깊이/속력 값들의 평균
Figure pat00052
사이의 차이로서 정의된다.
Figure pat00053
,
Figure pat00054
및
Figure pat00055
값들이 정확하지 않고 및 배경이 인덱스 k=0의 계층이고 전경 계층이 계층
Figure pat00056
인 경우에, 계산 잡음에 덜 민감한 또 다른 거리를 이용하는 것이 가능하다. 이 변형 예에 따라, 사이즈는 다음과 같이 계산된다:
Figure pat00057
섹터 확장은 현재 계층에서의 픽셀들의 상당한 수의 색상 값들이 확장된 템플릿에 포함되지 않으면 덜 효율적이다. 사실상, 확장의 목적은 전경 계층들에서 색들을 보존하는 것이다. 그러나, 현재 계층에서의 픽셀들의 상당한 수의 색상 값들이 확장된 템플릿에 포함되지 않으면, 이들은 템플릿에서 시프트될 필요가 있다. 결과적으로, 대응하는 전경 계층들은 광범위하게 수정된다. 하기 변형 예는 이 문제를 해결한다.
변형 예에 따르면, 템플릿은 현재 계층에 대해 계산된 각도
Figure pat00058
및 유형
Figure pat00059
의 중간 템플릿 및 배경
Figure pat00060
의 템플릿의 합집합으로서 현재 계층
Figure pat00061
에 대해 결정된다. 이 중간 템플릿
Figure pat00062
는 하나의 섹터로만 구성되지만 그것의 사이즈
Figure pat00063
은 이전 변형 예에서와 같이 현재 계층으로부터 배경까지의 "거리"에 좌우되는데, 또한
Figure pat00064
에서의 섹터(들)의 사이즈(들)에도 좌우된다. 일단 사이즈가 계산되면, 각도
Figure pat00065
는 다음과 같이 현재 계층의 픽셀들에 대해 템플릿
Figure pat00066
에 대해서만 계산된 쿨백-라이블러 발산을 최대화하는 각도로서 결정된다:
Figure pat00067
. 변형 예에 따라, 각도
Figure pat00068
는 통합된 템플릿이 최대한 2개의 섹터를 가지도록 제약이 주어진다. 그러므로, 통합된 템플릿은 도 1에 묘사된 8 개의 최초 템플릿에 가장 가깝다. 배경에 대해 계산된 템플릿이 2 개의 섹터를 가진다면, 각도
Figure pat00069
는 템플릿
Figure pat00070
가
Figure pat00071
의 섹터의 경계부들 중 하나의 다음에 배치되도록 결정된다. 템플릿
Figure pat00072
는 다음과 같이 정의된다:
Figure pat00073
및
Figure pat00074
이면
Figure pat00075
;
그렇지 않은 경우
Figure pat00076
및
Figure pat00077
여기서
Figure pat00078
은
Figure pat00079
의 제1 섹터의 사이즈이고,
Figure pat00080
는 제2 섹터의 사이즈이다.
변형 예 모두는 더 이상 조화 템플릿이 아닌 템플릿을 변형시킨다. 그러나,
Figure pat00081
는 이 단계 동안 바뀌지 않는다. 이것은 색상들이 배경에 대한 중심과 동일한 중심 근처에서 수축(contract)되는 동안 픽셀 매핑 처리에서 더 많은 융통성을 제공하는데, 이는 색 단일성을 가져온다.
기타 계층들의 템플릿이 이런 배경 계층에 대한 자신들의 상대적 거리에 따라 배경 템플릿으로부터 결정되기 때문에, 오브젝트들은 배경 내로 더 잘 통합된다. 게다가 계층들은 점차적으로 조화된다. 오브젝트들의 중요한 색들은, 배경 템플릿이 중간 계층들에서의 픽셀들에 대해 계산된 템플릿
Figure pat00082
와 합체되기 때문에, 제2 변형 예에서 고려된다.
단계 16에서, 최초 픽처의 픽셀들은 대응하는 템플릿 내로 매핑되는데, 즉, 배경의 픽셀들은 배경 템플릿을 이용하여 매핑되고, 계층
Figure pat00083
의 픽셀들은 이런 계층
Figure pat00084
에 대해 단계 14에서 결정된 템플릿을 이용하여 매핑된다. 더 자세하게는, 특이점들(outliers)(이들이 선택된 템플릿 바깥에 있다는 점에서 그러함)은 색상 매핑 함수들을 적용함으로써 조화 섹터(들) 내로 매핑되거나 그에 근접하게 된다.
시그모이드 함수(sigmoid function)가 각각의 픽셀 p의 색상을 매핑하는데 사용된다:
Figure pat00085
여기서, C(p)는 p와 관련된 섹터의 중심 색상이고, w는 템플릿 섹터의 호-폭이고,
Figure pat00086
는 색상 휠상의 호-길이 거리를 지칭하고, Sgn은 매핑의 방향과 관련된 부호이다. 픽셀은 예를 들어 가장 가까운 섹터 측상에 매핑된다. 도 4에 묘사된 것처럼, 픽셀 A는 섹터의 우측이 가장 가까운 측이기 때문에 예를 들어 섹터의 우측상에 매핑되는 한편, 픽셀 B는 섹터의 좌측상에 매핑된다. 색상 휠이 방향성을 가지므로, Sgn은 매핑의 방향 및 휠의 방향성이 반대 방향일 때(픽셀 A의 경우) 양의 값이고, 그렇지 않은 경우에는(픽셀 B의 경우) Sgn은 음의 값이다. 본 발명에 따라, 주어진 픽셀에 대한 매핑의 방향은 반드시 픽셀이 섹터의 가장 가까운 측으로 매핑되도록 결정되지는 않는다. 이런 시그모이드는 픽셀 매핑을 위한 좋은 속성들을 갖는다. 극한 값에서의 이것의 점근선(asymptote)은 템플릿에서 픽셀들을 자동 클램핑하고 그것의 중앙 섹션(정상 거동)은 거의 선형이고, 따라서 섹터의 중심에서 색상들이 바뀌지 않는다. 제안된 매핑 함수는 조화 섹터들의 중심에서의 최초 색상 값들을 보장하고, 템플릿 바깥의 색상 값들을 더 강하게 압축(compress)한다. 조화 색들(harmonic colors)은 보존되고 비 조화 색상들만이 수정된다.
그러나 피부 및 하늘 지역들은 상기에 개시된 픽셀 매핑 단계 16에서 수정될 때 자연스럽지 않다. 사실상, 비슷한 색들을 갖는 두 개의 이웃하는 픽셀이 반대 방향들로 및 결과적으로 동일 섹터의 반대 측들로 또는 다른 섹터들로 매핑될 수 있기 때문에 몇몇 아티팩트들이 이런 단계 동안 생성될 수 있다. 또 다른 실시예에 따라, 이러한 아티팩트들을 제거하기 위해, 최초 픽처의 세그먼테이션 맵이 선택 사항인 단계 15에서 결정되고 그리고 세그먼테이션 맵의 동일 세그먼팅된 지역에서의 모든 픽셀들이 매핑의 동일 방향으로 및 따라서 동일 섹터에서 매핑되는 것을 보장하기 위해 단계 16 동안 이용된다. 매핑의 이런 방향은 예를 들어 주어진 세그먼팅된 지역에서 이러한 픽셀들에 대부분 할당된 방향이다. 매핑의 이런 방향은 그것의 세그먼팅된 지역의 매핑의 방향을 각각의 픽셀과 연관시키는 방향 매핑 맵에 예를 들어 저장된다. 세그먼테이션 맵은 근접한 색들을 갖는 최초 이미지에서의 상이한 영역들을 정의한다. 그러한 맵을 제공하는 임의의 방법이 이용될 수 있다. 그와 같은 알고리즘의 예는 2009년 이미지 처리의 IEEE 트랜잭션들에서 공표된 "learning color names for real world applications"이라는 제목의 Van de Weijer 등으로부터의 문서에 개시된다. 색 조화를 위해, 색 세그먼테이션의 공간 특징은 강제적이지 않다. 그러므로, 히스토그램 세그먼테이션 기법은 인기있는 K-means방법과 같이, 여기에 적당하다. 그러나, 그와 같은 히스토그램 세그먼테이션은 하기 제약 조건들을 준수하여야 한다:
- 이것은 감독되지 않아야 하는데, 이는 색 클러스터들의 최종 수가 파라미터가 되어서는 안 된다는 것을 의미한다. 실제로, 색 조화는 의미있는 색들의 부정확한 수에 매우 민감할 것이다.
- 히스토그램 세그먼테이션 기법은 히스토그램의 작은 모드들을 세그먼팅할 수 있어야 한다. 다시 말하면, 색 특이점들로 보여질 수 있었던 작은 영역들은 분리된 모드들로서 검출되어야 한다.
이러한 요구 사항을 만족시키기 위해, ACoPa(Automatic Color Palette) 로서 지칭되고 이미지 처리에 대한 IEEE 트랜잭션, 16(1):253-261,2007에 공표된 "A nonparametric approach for histogram segmentation "이라는 제목의 문서에 개시된 Delon 등의 작업에 기초하여 구축되는 색 세그먼테이션 방법이 제시된다. 이런 색 세그먼테이션 기법은 색 히스토그램 모드들의 콘트라리오(contrario) 분석에 기초한다. 의미있는 히스토그램 모드들의 통계적 추정이 수행된다. H, 이후 S, 이후 V 공간에서의 모드들의 계층적 추정 대신에, 각각의 성분의 히스토그램 분해가 독립적으로 수행된다. 획득한 모드들은 획득된 모든 모드들로부터 조합되고, 픽셀들의 매우 제한된 그룹을 가진 세그먼트들은 폐기된다. 최종적으로, 이러한 히스토그램들 모드들에 기초하여, K-means 후처리가 Lab 색 공간에서 표현되는 사전을 이용하여 지각적으로 비슷한 모드들을 그룹으로 만드는데 사용된다.
이 세그먼테이션 기법은 최초 버전보다 대략 10배 더 빠르다. 게다가, 이것은 무채색 픽셀(achromatic pixel)들을 더 효율적으로 다룬다. 비공간적 알고리즘을 사용하는 것은 동일 색들을 갖는 모든 픽셀들을 그들의 위치에 대한 사전 지식 없이 취급하는 것을 허용한다.
이런 세그먼테이션은 완전하지 않고, 자신들의 색들이 원래 근접해 있는 반면 각각의 지역이 상이한 매핑 방향을 갖는다면 몇몇 아티팩트들이 세그먼팅된 지역들의 경계부들에 나타날 수 있다. 이러한 아티팩트들은 반대 방향들로의 색상 매핑을 겪는 세그먼팅된 지역들의 변경(frontier)들에만 나타난다.
또 다른 실시예에 따라, 상기 문제를 극복하기 위해 평균 필터(average filter) 덕분에 경계부들에서 픽셀들을 블러링하는 후처리 단계가 그러므로 적용된다. 관심 대상인 변경(frontier)들은 블러링될 픽셀들을 식별하는 마스크를 얻기 위해 방향 매핑 맵에 대해 적용되는 그래디언트 필터 덕분에 검출된다. 마스크는 단계 16에서 획득된 수정된 색상 픽처에서의 대응하는 픽셀들을 블러링하는 데에 사용된다. 블러링될 픽셀들의 수는 소스 픽처의 이런 위치에서의 블러링의 양에 의존한다. 사실상 원래 날카로운 지역들은 블러링될 필요가 없는데, 이는 혼란스러울 수 있다. 블러링의 양은 예를 들어, IEEE International Conference on Multimedia & Expo, IEEE Press, pp. 17-20, 2004에, "Blur detection for digital images using wavelet transform”이라는 제목의 H. Tong, M. Li 등으로부터의 문서에 개시된 방법에 기초하여 계산된다.
도 5는 특정한 및 비 제한적 실시예에 따른 처리 디바이스(2)의 예시적 아키텍처를 나타낸다. 처리 디바이스는 예를 들어 태블릿, PDA 또는 셀 전화기일 수 있다. 처리 디바이스(2)는 데이터 및 어드레스 버스(24)에 의해 함께 링크된 하기 요소들을 포함한다:
- 예를 들어, DSP(즉 Digital Signal Processor)인 마이크로프로세서(21)(또는 CPU);
- 하나 또는 몇 개의 메모리들(22), 예를 들어 RAM(즉 Random Access Memory) 및/또는 ROM(Read Only Memory);
- 하나 또는 몇 개의 입/출력 인터페이스(들)(25), 예를 들어 키보드, 마우스; 및
- 배터리(26).
도 3의 각각의 이러한 요소들은 당업자에게 잘 알려져 있고, 추가로 기술되지 않을 것이다. 처리 디바이스(2)는 처리된 픽처들을 표시하기 위한 스크린과 같은 디스플레이 수단을 포함할 수 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 "레지스터"는 작은 용량(몇 개의 비트)의 지역 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. 특별한 실시예에 따라, 본 발명에 따른 처리 방법의 알고리즘들은 ROM(22)에 저장된다. RAM(23)은 CPU(21)에 의해 실행되고 처리 디바이스(2)의 스위치 온 후에 업로딩되는 프로그램을 레지스터에 포함한다. 스위치 온될 때, CPU(21)는 프로그램을 RAM에 업로드하고, 대응하는 명령어들을 실행한다. 처리될 픽처들은 입/출력 인터페이스들(25) 중 하나상에서 수신된다. 입/출력 인터페이스(25) 중 하나는 본 발명에 따라 처리된 픽처들을 전송하기 위해 적응된다.
변형 예들에 따라, 본 발명에 부합하는 처리 디바이스들(2)은 순수 하드웨어 실현에 따라, 예를 들어 전용 컴포넌트(예를 들어, ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration)) 또는 디바이스 내에 통합된 여러 개의 전자 컴포넌트의 형태로 또는 심지어 하드웨어 요소들과 소프트웨어 요소들의 혼합의 형태로 구현된다.

Claims (13)

  1. 픽처(picture)를 처리하는 방법으로서,
    상기 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 단계(10);
    상기 배경 계층에 대한 배경 색 조화 템플릿(background template of color harmony)을 선택하는 단계(12);
    상기 배경 계층과 상기 적어도 또 다른 계층 사이의 거리에 따라 상기 배경 색 조화 템플릿으로부터 각각의 상기 적어도 또 다른 계층에 대한 하나의 색 조화 템플릿을 결정하는 단계(14);
    대응하는 색 조화 템플릿을 이용하여 각각의 세그먼팅된 계층의 색들을 매핑함으로써 상기 픽처를 처리하는 단계(16)
    를 포함하는 픽처 처리 방법.
  2. 제1항에 있어서, 각각의 색 조화 템플릿은 조화 색들의 적어도 하나의 섹터에 의해 색상 휠(hue wheel) 주위에 정의되는 픽처 처리 방법.
  3. 제2항에 있어서, 상기 배경 계층과 상기 적어도 또 다른 계층 사이의 거리
    Figure pat00087
    에 따라 상기 배경 색 조화 템플릿으로부터 각각의 상기 적어도 또 다른 계층에 대한 하나의 템플릿을 결정하는 단계는 상기 거리에 기초하여 상기 배경 색 조화 템플릿의 각각의 섹터의 사이즈
    Figure pat00088
    를 증가시키는 단계를 포함하고, 증가된 사이즈의 섹터들을 가진 상기 색 조화 템플릿은 상기 적어도 또 다른 계층에 대한 색 조화 템플릿인 픽처 처리 방법.
  4. 제3항에 있어서, 상기 거리
    Figure pat00089
    에 기초하여 상기 배경 색 조화 템플릿의 각각의 섹터의 사이즈
    Figure pat00090
    를 증가시키는 단계는,
    하기 수학식에 따라 상기 배경 색 조화 템플릿의 각각의 섹터에 대한 상기 증가된 사이즈를 계산하는 단계를 포함하고,
    Figure pat00091

    여기서,
    Figure pat00092
    는 상기 증가된 사이즈이고,
    Figure pat00093
    는 상기 배경 색 조화 템플릿에서의 섹터들의 수이고,
    Figure pat00094
    는 상기 배경 계층과 전경 계층 사이의 거리인 픽처 처리 방법.
  5. 제2항에 있어서, 상기 배경 계층과 상기 적어도 또 다른 계층 사이의 거리
    Figure pat00095
    에 따라 상기 배경 색 조화 템플릿으로부터 각각의 상기 적어도 또 다른 계층에 대한 하나의 색 조화 템플릿을 결정하는 단계는 그 사이즈 및 각도가 상기 거리로부터 계산되는 단일 섹터를 포함하는 중간 색 조화 템플릿을 결정하는 단계 및 상기 배경 색 조화 템플릿과 상기 중간 색 조화 템플릿의 합집합으로서 상기 적어도 또 다른 계층에 대한 색 조화 템플릿을 결정하는 단계를 포함하는 픽처 처리 방법.
  6. 제5항에 있어서, 상기 중간 색 조화 템플릿의 단일 섹터의 사이즈
    Figure pat00096
    은 다음과 같이 계산되고,
    Figure pat00097

    여기서, S는 상기 배경 계층의 섹터들의 사이즈들의 합이고,
    Figure pat00098
    는 상기 배경 계층과 전경 계층 사이의 거리인 픽처 처리 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 단계는 상기 픽처에서의 각각의 픽셀 또는 픽셀들의 그룹에 대한 깊이 값을 결정하는 단계 및 상기 깊이 값들에 기초하여 상기 픽처를 세그먼팅하는 단계를 포함하는 픽처 처리 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 픽처는 비디오에 속하고, 상기 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하는 단계는 상기 픽처에서의 각각의 픽셀 또는 픽셀들의 그룹의 모션 값을 결정하는 단계 및 상기 모션 값들에 기초하여 상기 픽처를 세그먼팅하는 단계를 포함하는 픽처 처리 방법.
  9. 제7항 또는 제8항에 있어서, 상기 배경 계층과 상기 적어도 또 다른 계층 사이의 거리는 상기 배경에 대한 모션 또는 깊이 값들의 평균과 상기 적어도 또 다른 계층에 대한 모션 또는 깊이 값들의 평균 사이의 차이와 동일한 픽처 처리 방법.
  10. 프로그램이 컴퓨터상에서 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 처리 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
  11. 프로세서로 하여금 적어도 제1항 내지 제9항 중 어느 한 항에 따른 처리 방법의 단계들을 수행하도록 하기 위한 명령어들이 저장되어 있는 프로세서 판독가능 매체.
  12. 픽처를 처리하는 디바이스로서,
    상기 픽처를 배경 계층 및 적어도 또 다른 계층이 되도록 세그먼팅하기 위한 수단(21, 22, 23, 24, 25, 26);
    상기 배경 계층에 대한 배경 색 조화 템플릿을 선택하기 위한 수단(21, 22, 23, 24, 25, 26);
    상기 배경 계층과 상기 적어도 또 다른 계층 사이의 거리에 따라 상기 배경 색 조화 템플릿으로부터 각각의 상기 적어도 또 다른 계층에 대한 하나의 색 조화 템플릿을 결정하기 위한 수단(21, 22, 23, 24, 25, 26);
    대응하는 색 조화 템플릿을 이용하여 상기 각각의 세그먼팅된 계층의 색들을 매핑함으로써 상기 픽처를 처리하기 위한 수단(21, 22, 23, 24, 25, 26)
    을 포함하는 처리 디바이스.
  13. 제12항에 있어서, 상기 디바이스는 제1항 내지 제9항 중 어느 한 항에 따른 처리 방법의 단계들을 실행하도록 구성되는 처리 디바이스.
KR1020140060346A 2013-05-23 2014-05-20 픽처를 처리하기 위한 방법 및 디바이스 KR20140138046A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13305665.5A EP2806401A1 (en) 2013-05-23 2013-05-23 Method and device for processing a picture
EP13305665.5 2013-05-23

Publications (1)

Publication Number Publication Date
KR20140138046A true KR20140138046A (ko) 2014-12-03

Family

ID=48578978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140060346A KR20140138046A (ko) 2013-05-23 2014-05-20 픽처를 처리하기 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US9930220B2 (ko)
EP (2) EP2806401A1 (ko)
JP (1) JP2014230283A (ko)
KR (1) KR20140138046A (ko)
CN (1) CN104182988A (ko)
TW (1) TW201503056A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
CN113763486B (zh) * 2020-06-01 2024-03-01 北京达佳互联信息技术有限公司 主色调提取方法、装置、电子设备及存储介质
CN112233195A (zh) * 2020-10-15 2021-01-15 北京达佳互联信息技术有限公司 调色方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092573B2 (en) 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
GB0221144D0 (en) * 2002-09-12 2002-10-23 Snell & Wilcox Ltd Image processing using vectors
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
ATE546951T1 (de) 2007-11-09 2012-03-15 Thomson Licensing System und verfahren zur tiefenabbildungsextraktion unter verwendung von auf regionen basierender filterung
WO2009093294A1 (ja) * 2008-01-24 2009-07-30 Panasonic Corporation 画像信号処理装置及び画像信号処理プログラム
CN101520845B (zh) * 2008-02-29 2011-11-30 富士通株式会社 彩色文档图像的分层方法和装置
US8059911B2 (en) * 2008-09-30 2011-11-15 Himax Technologies Limited Depth-based image enhancement
US8254679B2 (en) * 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
WO2011124271A1 (en) * 2010-04-09 2011-10-13 Tomtom International B.V. Method of generating a route
ES2388413B1 (es) * 2010-07-01 2013-08-22 Telefónica, S.A. Método para la clasificación de videos.
CN101964911B (zh) * 2010-10-09 2012-10-17 浙江大学 一种基于gpu的视频分层方法
CN102306384B (zh) * 2011-08-26 2013-04-10 华南理工大学 一种基于单幅图像的颜色恒常性处理方法
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9154732B2 (en) * 2012-04-09 2015-10-06 Futurewei Technologies, Inc. Visual conditioning for augmented-reality-assisted video conferencing
RU2013135506A (ru) * 2013-07-29 2015-02-10 ЭлЭсАй Корпорейшн Процессор изображений, сконфигурированный для эффективной оценки и исключения информации фона в изображениях

Also Published As

Publication number Publication date
EP2806401A1 (en) 2014-11-26
JP2014230283A (ja) 2014-12-08
US9930220B2 (en) 2018-03-27
TW201503056A (zh) 2015-01-16
EP2806403A1 (en) 2014-11-26
US20140348421A1 (en) 2014-11-27
CN104182988A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
CN109493350B (zh) 人像分割方法及装置
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
KR20150031241A (ko) 이미지의 색 조화를 위한 장치 및 방법
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
US11651477B2 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
Wu et al. VisionISP: Repurposing the image signal processor for computer vision applications
Krig et al. Image pre-processing
Diana Andrushia et al. Saliency-based image compression using Walsh–Hadamard transform (WHT)
US9401027B2 (en) Method and apparatus for scene segmentation from focal stack images
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN113034358A (zh) 一种超分辨率图像处理方法以及相关装置
US9305603B2 (en) Method and apparatus for indexing a video stream
WO2014208963A1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
CN116012232A (zh) 图像处理方法、装置及存储介质、电子设备
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
Cheng et al. Towards real-world hdrtv reconstruction: A data synthesis-based approach
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN113591838B (zh) 目标检测方法、装置、电子设备和存储介质
Chaczko et al. A preliminary investigation on computer vision for telemedicine systems using OpenCV
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
Sari et al. An Approach For Stitching Satellite Images In A Bigdata Mapreduce Framework
Vinay et al. FLIME—Fast Low Light Image Enhancement for Real-Time and Low-Compute Environments Using a Data-Centric Approach
CN117593230A (zh) 一种图像数据增强方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination