KR20150032176A - 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램 - Google Patents

컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20150032176A
KR20150032176A KR20140120118A KR20140120118A KR20150032176A KR 20150032176 A KR20150032176 A KR 20150032176A KR 20140120118 A KR20140120118 A KR 20140120118A KR 20140120118 A KR20140120118 A KR 20140120118A KR 20150032176 A KR20150032176 A KR 20150032176A
Authority
KR
South Korea
Prior art keywords
color
frame
template
frames
global
Prior art date
Application number
KR20140120118A
Other languages
English (en)
Inventor
크리스텔 샤마렛
요안 바베예
파브리스 유반
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150032176A publication Critical patent/KR20150032176A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6075—Corrections to the hue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

컬러 비디오 처리 방법(200)은:
- 컬러 비디오의 프레임들의 시퀀스의 각각의 프레임 내의 배경으로부터 객체를 마킹하는 단계(202);
- 적어도 2개의 연속 프레임을 선택하는 단계(214);
- 상기 선택된 프레임들의 상기 배경들로부터 글로벌 컬러 템플릿을 결정하는 단계(216); 및
- 각각의 선택된 프레임에 대해 그리고 상기 마킹된 객체의 컬러들에 대해, 조화로운 컬러가 오리지널 컬러보다 상기 글로벌 컬러 템플릿에 더 가깝게 되도록, 상기 글로벌 컬러 템플릿에 따라 조화로운 컬러를 결정하는 단계(218)
를 포함한다.

Description

컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램{COLOR VIDEO PROCESSING SYSTEM AND METHOD, AND CORRESPONDING COMPUTER PROGRAM}
본 발명은, 특히, 시청자에게 시각적으로 매력적인 컬러 비디오를 생성하기 위한 컬러 비디오 처리에 관한 것이다.
컬러 비디오의 장면 내의 일부 객체들은 그들의 로컬 콘트라스트, 조명 변화에 따라 매우 현저할 (시각적으로 매력적일) 수 있으며, 따라서 그들은 전체 장면에 잘 맞지 않는다.
그러나, 그러한 객체의 직접적인 (프레임 기반) 조화는 그가 유발할 시각적 불일치로 인해 가능하지 않다. 따라서, 본 발명은 그러한 객체가 장면 내에서 더 이상 조화롭지 않은 것으로 검출될 때 객체 조화를 시간적으로 유연하게 하는 것을 제안한다.
이러한 문제를 극복하기 위하여, 논문 "Color Harmonization for Videos ", N. Sawant and N. J. Mitra, Indian Conference on Computer Vision, Graphics and Image Processing, 2008은 조화롭고 시청자에게 즐거운 비디오 시퀀스를 생성하기 위한 기술들을 설명하고 있다.
간단한 접근법에서, 비디오의 프레임들은 개별적으로 조화롭게 된다. 그러나, 이러한 솔루션은 프레임 간의 시각적 불일치를 유발한다.
다른 접근법에서, 프레임들은 개별적이 아니라 그룹들로 처리된다. 공통 컬러 템플릿이 결정되고, 프레임들은 그들의 컬러들이 공통 컬러 템플릿에 가까워지도록 처리된다.
이러한 방법은 전체 프레임들을 처리하는 단점을 가지며, 이는 프레임들의 글로벌 컬러 사상을 바꿀 수 있다. 따라서, 조화롭게 된 프레임은 오리지널 프레임과 상당히 다르다.
게다가, 특허 출원 공보 US 2010/092085 A1은 프레임들의 시퀀스를 조화롭게 하기 위한 방법을 설명하고 있다. 각각의 프레임이 전경과 배경으로 분할된다. 이어서, 프레임들의 전경들 중에서 기준 전경이 선택되며, 나머지 전경들은 기준 전경과 조화롭게 된다. 유사하게, 프레임들의 배경들 중에서 기준 배경이 선택되며, 나머지 배경들은 이 기준 배경과 조화롭게 된다.
이러한 방법은 각각의 프레임 내에서의, 즉, 프레임의 전경과 배경 사이에서의 조화를 고려하지 않는 단점을 갖는다.
따라서, 프레임 간의 일관성과 더불어 오리지널 컬러 비디오에 충실하게 유지함으로써 컬러 비디오의 프레임들의 시퀀스의 각각의 프레임을 조화롭게 할 수 있는 컬러 비디오 처리 방법이 필요하다.
- 프레임들의 시퀀스의 각각의 프레임 내의 배경으로부터 객체를 마킹하는 단계;
- 적어도 2개의 연속 프레임을 선택하는 단계;
- 상기 선택된 프레임들의 상기 배경들로부터 글로벌 컬러 템플릿을 결정하는 단계; 및
- 각각의 선택된 프레임에 대해 그리고 상기 마킹된 객체의 컬러들에 대해, 조화로운 컬러가 오리지널 컬러보다 상기 글로벌 컬러 템플릿에 더 가깝게 되도록, 상기 글로벌 컬러 템플릿에 따라 조화로운 컬러를 결정하는 단계
를 포함하는 컬러 비디오 처리 방법이 제안된다.
옵션으로서, 상기 객체를 마킹하는 단계는 상기 객체를 둘러싸는 윈도를 정의하는 단계를 포함한다.
옵션으로서, 각각의 프레임 내의 배경으로부터 객체를 마킹하는 단계는:
- 제1 프레임에 이어지는 상기 시퀀스의 각각의 프레임에 대해, 이전 프레임(들)으로부터 상기 객체를 추적하고, 상기 추적된 객체를 마킹하는 단계를 포함한다.
옵션으로서, 상기 방법은 상기 시퀀스의 각각의 프레임에 대해:
- 상기 프레임의 각각의 픽셀을 돌출 값과 연관시키는 단계;
- 상기 돌출 값들로부터 상기 마킹된 객체의 매력을 결정하는 단계;
- 상기 마킹된 객체의 상기 매력이 상기 마킹된 객체가 조화롭다는 것을 지시하는 조건을 충족시키는지를 결정하는 단계 - 상기 조건은 이하에서 "조화 조건(harmony condition)"으로 지칭됨 -; 및
- 상기 마킹된 객체의 상기 매력이 상기 조화 조건을 충족시키지 못하는 경우, 상기 배경으로부터 프레임 컬러 템플릿을 결정하는 단계 - 상기 프레임은 이하에서 "비조화 프레임(non-harmonious frame)"으로 지칭됨 -;
를 더 포함하고,
각각의 선택된 프레임은 비조화 프레임이고, 상기 글로벌 컬러 템플릿은 상기 선택된 프레임들의 상기 컬러 템플릿으로부터 결정된다.
옵션으로서, 상기 매력은 상기 마킹된 객체의 상기 픽셀들의 상기 돌출 값들의 평균 및 편차를 포함한다.
옵션으로서, 상기 조화 조건은: 상기 평균이 사전 정의된 평균 임계치보다 작고, 상기 편차가 사전 정의된 편차 임계치보다 작은 것을 포함한다.
옵션으로서, 적어도 2개의 연속 프레임을 선택하는 단계는:
- 연속 비조화 프레임들의 수가 적어도 2와 동일한 사전 정의된 임계치 이상인지를 결정하는 단계; 및
- 그러한 경우에, 상기 연속 비조화 프레임들을 선택하는 단계
를 포함한다.
옵션으로서, 프레임의 상기 배경으로부터 프레임 컬러 템플릿을 결정하는 단계는:
- 사전 정의된 컬러 템플릿들 중에서 하나를 선택하는 단계 - 각각의 사전 정의된 컬러 템플릿은 순환 컬러 시퀀스 내의 적어도 하나의 컬러 범위를 지시함 -;
- 프레임 템플릿 시프트를 결정하는 단계; 및
- 상기 프레임 컬러 템플릿을 획득하기 위해 상기 선택된 사전 정의된 컬러 템플릿의 각각의 컬러 범위에 상기 프레임 템플릿 시프트를 적용하는 단계
를 포함한다.
옵션으로서, 상기 글로벌 컬러 템플릿을 결정하는 단계는:
- 사전 정의된 컬러 템플릿들 중에서 하나를 선택하는 단계 - 각각의 사전 정의된 컬러 템플릿은 순환 컬러 시퀀스 내의 적어도 하나의 컬러 범위를 지시함 -;
- 글로벌 템플릿 시프트를 결정하는 단계; 및
- 상기 글로벌 컬러 템플릿을 획득하기 위해 상기 선택된 사전 정의된 컬러 템플릿의 각각의 컬러 범위에 상기 글로벌 템플릿 시프트를 적용하는 단계
를 포함한다.
옵션으로서, 상기 선택된 프레임들의 상기 프레임 컬러 템플릿들로부터 상기 글로벌 컬러 템플릿을 결정하는 단계는:
- 선택된 프레임의 사전 정의된 컬러 템플릿을 선택하는 단계; 및
- 상기 선택된 프레임들의 상기 프레임 템플릿 시프트들로부터 상기 글로벌 템플릿 시프트를 결정하는 단계
를 포함한다.
옵션으로서, 상기 글로벌 템플릿 시프트는 상기 프레임 템플릿 시프트들의 평균이다.
옵션으로서, 사전 정의된 컬러 템플릿을 선택하는 단계는:
- 상기 선택된 프레임들의 상기 프레임 컬러 템플릿들을 획득하기 위해 가장 많이 사용된 상기 사전 정의된 컬러 템플릿을 선택하는 단계를 포함한다.
컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 본 발명에 따른 컬러 비디오 처리 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 더 제안된다.
- 프레임들의 시퀀스의 각각의 프레임 내의 배경으로부터 객체를 마킹하기 위한 컴포넌트;
- 적어도 2개의 연속 프레임을 선택하기 위한 컴포넌트;
- 상기 선택된 프레임들의 상기 배경들로부터 글로벌 컬러 템플릿을 결정하기 위한 컴포넌트; 및
- 각각의 선택된 프레임에 대해 그리고 상기 마킹된 객체의 컬러들에 대해, 조화로운 컬러가 오리지널 컬러보다 상기 글로벌 컬러 템플릿에 더 가깝게 되도록, 상기 글로벌 컬러 템플릿에 따라 조화로운 컬러를 결정하기 위한 컴포넌트
를 포함하는 컬러 비디오 처리 시스템이 더 제안된다.
이하, 본 발명의 일 실시예가 단지 예시적으로 그리고 첨부 도면들을 참조하여 설명될 것이다.
도 1은 컬러 비디오 처리 시스템을 나타낸다.
도 2는 예를 들어 도 1의 컬러 비디오 처리 시스템에 의해 수행되는 컬러 비디오 처리 방법을 나타낸다.
도 3은 도 2의 컬러 비디오 처리 방법에서 사용될 수 있는 사전 정의된 컬러 템플릿들을 나타낸다.
도 4는 도 2의 컬러 비디오 처리 방법을 수행하는 간단한 예를 나타낸다.
이하, 도 1을 참조하여, 본 발명의 일 실시예를 형성하는 컬러 비디오 처리 시스템(100)이 설명될 것이다.
컬러 비디오 처리 시스템(100)은, 중앙 처리 유닛(104), 메모리(106), 및 예를 들어 디스플레이 장치, 키보드 및 마우스를 포함하는 사람-컴퓨터 인터페이스(108)를 포함하는 컴퓨터(102)를 포함한다.
컬러 비디오 처리 시스템(100)은 메모리(106)에 저장된 컴퓨터 프로그램(110)을 더 포함한다. 컴퓨터 프로그램(110)은 컴퓨터(102), 구체적으로 중앙 처리 유닛(104)에 의해 실행될 때 컴퓨터(102)로 하여금 도 2를 참조하여 설명될 컬러 비디오 처리 방법을 수행하게 하는 명령어들을 포함한다.
컬러 비디오 처리 시스템(100)은 메모리(106)에 저장된 컬러 비디오(112)를 더 포함한다. 컬러 비디오(112)는 사람-컴퓨터 인터페이스(108)의 디스플레이 장치와 같은 디스플레이 장치 상에 하나씩 표시되도록 의도되는 연속 프레임들을 포함한다. 각각의 프레임은 픽셀들을 포함하며, 각각의 픽셀은 컬러를 갖는다. 설명되는 예에서, 픽셀의 컬러는 색조 값에 의해 표현된다.
이하, 도 2를 참조하여, 도 1의 컬러 비디오 처리 시스템(100)에 의해 수행되고 본 발명의 일 실시예를 형성하는 컬러 비디오 처리 방법(200)이 설명될 것이다. 설명되는 예에서, 컴퓨터 프로그램(110)의 명령어들을 실행하는 컴퓨터(102)에 의해 아래의 단계들이 수행된다.
컴퓨터(102)는 컬러 비디오(112)의 프레임들의 시퀀스의 각각의 프레임에 대해 제1 패스를 수행한다. 프레임들의 시퀀스는 전체 컬러 비디오(112)일 수 있다. 제1 패스는 아래의 단계들을 포함한다.
단계 202 동안, 컴퓨터(102)는 프레임 내의 배경으로부터 객체를 마킹한다.
설명되는 예에서, 단계 202는 객체를 둘러싸는 윈도, 예를 들어 직사각 윈도를 정의하는 단계를 포함한다. 더구나, 설명되는 예에서, 단계 202는 시퀀스의 제1 프레임에 대해, 컴퓨터(102)가 사용자로부터 사람-컴퓨터 인터페이스(108)를 통해 객체를 마킹하기 위한 지시를 수신하는 단계, 및 제1 프레임에 이어지는 시퀀스의 각각의 프레임에 대해, 컴퓨터(102)가 하나 또는 여러 개의 이전 프레임(들)으로부터 객체를 자동 추적하고, 추적된 객체를 자동 마킹하는 단계를 포함한다. 그러한 구현의 일례가 논문 "An Iterative Image Registration Technique with an Application To Stereo Vision ", B.D. Lucas and T. Kanade, Joint Conference on Artificial Intelligence, pages 674 to 679, 1981에 설명되어 있다. 이 논문은 그들을 신뢰성 있게 추적하기에 충분한 텍스처를 갖는 희박한 특징 포인트 세트를 자동으로 검출하는 "KLTalgorithm"을 설명하고 있다. 이어서, 각각의 포인트에 대해, 현재의 특징 포인트 위치 및 변환된 위치에 중심을 갖는 윈도들 사이의 합-제곱-차이 부동성(sum-squared-difference dissimilarity)을 최소화하는 변환을 추정함으로써, 검출된 포인트들이 추적된다.
단계 204 동안, 컴퓨터(102)는 프레임의 각각의 픽셀과 돌출 값을 연관시킴으로써 프레임에 대한 돌출 맵을 결정한다. 이것은 예를 들어 특허 출원 공보 EP 1 695 288에서 설명된 방법에 따라 수행될 수 있다. 설명된 방법은 가장 시각적으로 매력적인 픽셀들이 0 내지 255의 값을 갖도록 묘사되는 돌출 맵을 생성한다. 이것은 시각 시스템의 모델화에 기초한다.
단계 206 동안, 컴퓨터(102)는 마킹된 객체의 돌출 값들로부터, 즉 설명되는 예에서 객체를 둘러싸는 윈도 내의 픽셀들로부터 마킹된 객체(MO)의 매력을 결정한다. 더구나, 설명되는 예에서, 마킹된 객체(MO)의 매력의 결정은 배경의 돌출 값들에 관계없이, 즉 그러한 값들의 고려 없이 수행된다.
설명되는 예에서, 마킹된 객체의 매력은 마킹된 객체의 픽셀들의 돌출 값들의 평균 및 편차를 포함한다.
단계 208 동안, 컴퓨터(102)는 마킹된 객체(MO)의 매력이 마킹된 객체(MO)가 프레임에서 조화롭다는 것을 지시하는 조건을 충족시키는지를 결정하며, 조건은 이하에서 "조화 조건"으로 지칭된다.
설명되는 예에서, 조화 조건은: 평균이 사전 정의된 평균 임계치보다 작고, 편차가 사전 정의된 편차 임계치보다 작은 것을 포함한다.
단계 210 동안, 마킹된 객체(MO)의 매력이 조화 조건을 충족시키지 못하는 경우, 컴퓨터(102)는 마킹된 객체의 컬러들에 관계없이 프레임의 배경으로부터 프레임 컬러 템플릿(FCT)을 결정한다. 일반적으로, 컬러 템플릿은 컬러 시퀀스 내의 적어도 하나의 컬러 범위를 지시한다. 설명되는 예에서, 컬러 시퀀스는 순환적이다. 프레임은 모든 그의 컬러들이 컬러 템플릿 내로 한정될 때, 즉 모든 그의 컬러들이 컬러 템플릿의 컬러 범위에 속할 때 조화로운 것으로 추정된다. 이하, 조화 조건을 충족시키지 못하는 매력을 갖는 마킹된 객체(MO)를 포함하는 프레임은 "비조화 프레임"으로 지칭된다.
설명되는 예에서, 단계 210은 먼저 사전 정의된 컬러 템플릿들(PCT들) 중에서 하나를 선택하고, 후술하는 바와 같이, 선택된 사전 정의된 컬러 템플릿(PCT)의 각각의 컬러 범위가 시프트되도록 의도되는 값인 프레임 템플릿 시프트(FTS)를 결정하는 단계를 포함한다.
설명되는 예에서, 사전 정의된 컬러 템플릿(PCT)을 선택하고, 프레임 템플릿 시프트(FTS)를 결정하는 단계는 예를 들어 HSV(Hue-Saturation-Value) 공간에서 프레임의 배경의 컬러 히스토그램을 결정하는 단계를 포함한다. 예를 들어, 컬러 히스토그램은 (HSV 컬러 모델과 관련하여) 채도 및 명도에 의해 가중화된 정규화된 색조 분포와 동일하다. 설명되는 예에서, 컬러 히스토그램은 아래의 식으로부터 계산된다.
Figure pat00001
여기서, M = [Mi]는 S*V의 값들(u, v)에 의해 한정되는 각각의 빈(i)에 대한 값 Mi를 포함하는 컬러 히스토그램이고, S[x,y]는 프레임 내의 위치 [x,y]에 위치하는 픽셀의 채도이고, V[x,y]는 위치 [x, y]에 위치하는 픽셀의 명도이고, (x,y)는 위치 [x,y]에 위치하는 픽셀을 나타낸다.
사전 정의된 컬러 템플릿(PCT)을 선택하고, 프레임 템플릿 시프트(FTS)를 결정하는 단계는 모든 사전 정의된 컬러 템플릿(PCT) 및 모든 가능한 템플릿 시프트에 걸쳐 함수를 최소화함으로써 컬러 히스토그램에 가장 잘 대응하는 사전 정의된 컬러 템플릿(PCT) 및 관련된 프레임 템플릿 시프트(FTS)를 선택하는 단계를 더 포함한다. 설명되는 예에서, 함수는 쿨백-라이블러 발산(Kullback-Leibler divergence)이다.
Figure pat00002
여기서, Pi(m,α)는 템플릿 시프트(α)에 대한 사전 정의된 컬러 템플릿(PCT)(m)의 균일 분포이며, 이 균일 분포는 예를 들어 아래 식에 의해 정의된다:
Figure pat00003
여기서, wm은 템플릿(m)의 고려되는 컬러 범위의 길이이다.
설명되는 예에서, 단계 210은 결정된 프레임 템플릿 시프트(FTS)를 선택된 사전 정의된 컬러 템플릿(PCT)의 각각의 컬러 범위에 적용하여 프레임 컬러 템플릿(FCT)을 획득하는 단계를 더 포함한다.
단계 212 동안, 마킹된 객체(MO)의 매력이 조화 조건을 충족시키는 경우, 컴퓨터(102)는 적어도 2와 동일한 사전 정의된 임계치(N) 이상인 수의 이전 연속 비조화 프레임들이 존재하는지를 결정한다.
단계 214 동안, 이전 연속 비조화 프레임들의 수가 사전 정의된 임계치보다 큰 경우, 컴퓨터(102)는 단계 216으로부터 시작하여 설명되는 바와 같이 이전 연속 비조화 프레임들을 선택하여 그들의 컬러들을 조화롭게 한다. 이하에서, 그러한 연속 비조화 프레임들은 "선택된 프레임들"로서 지칭된다. 그렇지 않은 경우, 컴퓨터(102)는 이전 연속 비조화 프레임들의 컬러들을 조화롭게 하지 않는다.
연속 비조화 프레임들이 선택되는 경우, 컴퓨터(102)는 아래의 단계들을 포함하는 제2 패스를 수행한다.
단계 216 동안, 컴퓨터(102)는 선택된 프레임들의 마킹된 객체들(MO들)의 컬러들에 관계없이 선택된 프레임들의 배경들로부터 글로벌 컬러 템플릿(GCT)을 결정한다.
설명되는 예에서, 단계 216은 사전 정의된 컬러 템플릿들(PCT들), 예를 들어 단계 210의 PCT들 중에서 하나를 선택하는 단계, 및 글로벌 컬러 템플릿(GCT)을 획득하기 위해 선택된 사전 정의된 컬러 템플릿(PCT)의 범위(들)에 적용되는 글로벌 템플릿 시프트(GTS)를 결정하는 단계를 포함한다.
설명되는 예에서, 글로벌 컬러 템플릿(GCT)은 선택된 프레임들의 프레임 컬러 템플릿들(FCT들)로부터 결정된다.
설명되는 예에서, 단계 216은 사전 정의된 컬러 템플릿(PCT)을 선택하는 단계를 포함하며, 선택된 프레임들 중 하나의 프레임의 프레임 컬러 템플릿(FCT)이 사전 정의된 컬러 템플릿으로부터 획득된다. 설명되는 예에서, 선택은 선택된 프레임들의 프레임 컬러 템플릿들(FCT들)을 획득하기 위해 가장 자주 사용된 사전 정의된 컬러 템플릿(PCT)을 선택함으로써 수행된다.
설명되는 예에서, 단계 216은 선택된 프레임들의 프레임 템플릿 시프트들(FTS들)로부터 글로벌 템플릿 시프트(GTS)를 결정하는 단계를 더 포함한다. 예를 들어, 글로벌 템플릿 시프트(GTS)는 선택된 프레임들의 프레임 템플릿 시프트들(FTS들)의 평균이다.
단계 218 동안, 각각의 선택된 프레임에 대해, 컴퓨터(102)는 마킹된 객체(MO)의 컬러들에 대해, 오리지널 컬러보다 글로벌 컬러 템플릿(GCT)에 더 가까운 이하에서 "조화로운 컬러"로서 지칭되는 컬러를 결정한다. 바람직하게는, 조화로운 컬러들은 글로벌 컬러 템플릿(GCT) 내에, 즉 그의 컬러 범위(들) 중 하나 내에 위치한다.
설명되는 예에서, 단계 218은 선택된 프레임의 마킹된 객체(MO)에 대해 컬러 세그먼트화를 수행하는 단계를 포함한다. 컬러 세그먼트화 동안, 마킹된 객체(MO)는 세그먼트들로 분할되며, 각각의 세그먼트는 컬러 유사 조건에 따라 서로 가까운 컬러들을 갖는 픽셀들을 다시 그룹화한다. 컬러 세그먼트화의 일례가 "Learning Color Names for Real - World Applications ". J. van de Weijer et al, IEEE Transactions in Image Processing, 2009에서 발견될 수 있다.
설명되는 예에서, 단계 218은 마킹된 객체(MO)의 각각의 세그먼트를 글로벌 컬러 템플릿(GCT)의 하나의 범위, 예를 들어 컬러 근접 조건에 따라 가장 가까운 범위와 연관시키는 단계를 더 포함한다. 예를 들어, 각각의 세그먼트는 세그먼트의 픽셀들의 컬러들의 평균에 가장 가까운 범위와 연관된다.
설명되는 예에서, 단계 218은 마킹된 객체(MO)의 각각의 픽셀에 대해, 픽셀의 오리지널 컬러보다 픽셀이 속하는 세그먼트와 관련된 글로벌 컬러 템플릿(GCT)의 범위에 더 가까운 조화로운 컬러를 결정하는 단계를 더 포함한다. 특정한 비한정적인 실시예에서, 픽셀의 오리지널 컬러는 단계 218에서 조화로운 컬러에 따라 변경된다. 예를 들어, 픽셀의 오리지널 컬러는 조화로운 컬러에 의해 대체된다. 예를 들어, 조화로운 컬러의 결정은 조화 함수라고 하는 함수를 각각의 픽셀의 컬러에 적용함으로써 수행된다. 바람직하게는, 조화 함수는 컬러의 시그모이드(sigmoid) 함수이다. 이러한 방식으로, 픽셀의 컬러가 컬러 범위로부터 멀 때, 시그모이드 함수를 선택하는 것이 가능하며, 따라서 그의 점근적 거동은 컬러 범위 내의, 예를 들어 컬러 범위의 가장 가까운 에지에 있는 조화로운 컬러를 제공한다. 더구나, 픽셀의 컬러가 컬러 범위 내에 있을 때, 시그모이드 함수를 선택하여 컬러의 선형 변경을 얻는 것이 가능하며, 이는 컬러 조화에 자연스런 느낌을 제공한다.
설명되는 예에서, 조화 함수는 선택된 프레임들 내의 프레임의 위치를 지시하는 파라미터를 포함하며, 따라서 모든 것들이 동일한 경우에, 선택된 프레임들의 시퀀스를 따라 동일한 컬러가 점점 더 많이 변경된다. 예를 들어, 처음 선택된 프레임의 컬러는 나중에 선택된 프레임 내의 동일 컬러보다 덜 변경될 것이다. 픽셀의 오리지널 컬러를 변경하는 단계는 오리지널 컬러를 조화로운 컬러로 대체하는 단계를 포함한다.
설명되는 예에서, 조화 함수는 다음과 같다:
Figure pat00004
여기서, H'(p)는 픽셀(p)의 조화로운 컬러이고, H(p)는 픽셀(p)의 색조 값이고, C(p)는 p가 속하는 세그먼트와 관련된 컬러 범위의 중앙 색조 값이고, w는 컬러 범위의 글로벌 컬러 템플릿(GCT)의 컬러 시퀀스를 따르는 길이고, ∥ ∥는 H(p)와 C(p) 사이의 글로벌 컬러 템플릿(GCT)의 컬러 시퀀스를 따르는 거리를 나타내고, t는 선택된 프레임들의 시퀀스 내의 선택된 프레임의 위치이고, Tv는 선택된 프레임들의 수 이하인 사전 결정된 임계치이다.
설명되는 예에서, 단계 218은 옵션으로서, 마킹된 객체(MO)의 각각의 픽셀을 그의 오리지널 컬러와 그의 조화로운 컬러 간의 차이와 동일한 컬러 변경 값과 연관시킴으로써 컬러 변경 맵을 결정하는 단계를 포함한다. 컬러 변경 맵은 나중 단계에서 마킹된 객체(MO)의 픽셀의 오리지널 컬러를 대응하는 조화로운 컬러로 대체하는 데에 유리하게 사용될 수 있다.
도 3을 참조하면, 9개의 사전 결정된 컬러 템플릿(PCT)의 일례가 도시된다. 설명되는 예에서, 컬러는 색조 값에 의해 표현된다. 더구나, 각각의 컬러 템플릿은 색조 값들의 원을 포함하는 색조 휠로서 표현되며, 여기서 컬러 범위(들)는 원 섹터(들)(해칭됨)로서 표현된다. 이러한 방식으로, 컬러들을 휠 상의 각도들에 의해 표현하는 것이 가능하다. 적색, 청색 및 녹색의 위치들은 제1의 사전 정의된 컬러 템플릿 상에 지시되며, 다른 사전 정의된 컬러 템플릿들에서 유사한 위치에 있다. 이러한 3개의 위치의 각 쌍 사이에서, 컬러는 제1 위치의 컬러로부터 제2 위치의 컬러로 점차 변한다.
"i 타입" 컬러 템플릿으로 지칭되는 제1의 사전 정의된 컬러 템플릿은 30도보다 작은, 예를 들어 20도의 호 길이를 갖는 하나의 컬러 범위만을 포함한다.
"V 타입" 컬러 템플릿으로 지칭되는 제2의 사전 정의된 컬러 템플릿은 60도와 120도 사이, 예를 들어 90도의 호 길이를 갖는 하나의 컬러 범위만을 포함한다.
"L 타입" 컬러 템플릿으로 지칭되는 제3의 사전 정의된 컬러 템플릿은 30도보다 작은, 예를 들어 20도의 호 길이를 갖는 제1 컬러 범위 및 60도와 120도 사이, 예를 들어 90도의 호 길이를 갖고 제1 컬러 범위로부터 +90도만큼 시프트된 제2 컬러 범위인 2개의 컬러 범위만을 포함한다(시프트는 그들의 2등분선들 사이에서 고려된다).
"J 타입" 컬러 템플릿으로 지칭되는 제4의 사전 정의된 컬러 템플릿은 30도보다 작은, 예를 들어 20도의 호 길이를 갖는 제1 컬러 범위 및 60도와 120도 사이, 예를 들어 90도의 호 길이를 갖고 제1 컬러 범위로부터 -90도만큼 시프트된 제2 컬러 범위인 2개의 컬러 범위만을 포함한다(시프트는 그들의 2등분선들 사이에서 고려된다).
"I 타입" 컬러 템플릿으로 지칭되는 제5의 사전 정의된 컬러 템플릿은 2개의 컬러 범위만을 포함하며, 양 컬러 범위는 30도보다 작은, 예를 들어 20도의 호 길이를 갖고, 제2 컬러 범위는 제1 컬러 범위로부터 180도만큼 시프트된다(시프트는 그들의 2등분선들 사이에서 고려된다).
"T 타입" 컬러 템플릿으로 지칭되는 제6의 사전 정의된 컬러 템플릿은 120도와 240도 사이, 예를 들어 180도의 호 길이를 갖는 하나의 컬러 범위만을 포함한다.
"Y 타입" 컬러 템플릿으로 지칭되는 제7의 사전 정의된 컬러 템플릿은 60도와 120도 사이, 예를 들어 90도의 호 길이를 갖는 제1 컬러 범위 및 30도보다 작은, 예를 들어 20도의 호 길이를 갖고 제1 컬러 범위로부터 180도만큼 시프트된 제2 컬러 범위인 2개의 컬러 범위만을 포함한다(시프트는 그들의 2등분선들 사이에서 고려된다).
"X 타입" 컬러 템플릿으로 지칭되는 제8의 사전 정의된 컬러 템플릿은 2개의 컬러 범위만을 포함하며, 양 컬러 범위는 60도와 120도 사이, 예를 들어 90도의 호 길이를 갖고, 제2 컬러 범위는 제1 컬러 범위로부터 180도만큼 시프트된다(시프트는 그들의 2등분선들 사이에서 고려된다).
"O 타입" 컬러 템플릿으로 지칭되는 제9의 사전 정의된 컬러 템플릿은 360도의 호 길이를 갖는 하나의 컬러 범위만을 포함한다. "O 타입" 컬러 템플릿은 모든 색조들을 포함하는 프레임들을 동등하게 조화롭게 하지 않기 위해 예를 들어 무지개 픽처들을 포함하는 프레임과 유사하다.
이하, 도 4를 참조하여 도 2의 컬러 비디오 처리 방법(200)을 수행하는 간단한 예가 설명될 것이다.
프레임들의 시퀀스는 프레임 A, B, C 및 D로부터 시작하는 것으로 가정한다.
컴퓨터(102)는 프레임 A에 대해 단계 202 내지 206을 수행하고, 프레임 A 내의 마킹된 객체(MO(A))의 매력이 조화 조건을 충족시키는 것으로 결정한다(단계 208). 이어서, 컴퓨터(102)는 2와 동일한 것으로 가정되는 사전 정의된 임계치(N) 이상인 수의 이전 연속 비조화 프레임들이 존재하지 않는 것으로 (이전 프레임이 없는 것으로) 결정한다(단계 212).
이어서, 컴퓨터(102)는 프레임 B에 대해 단계 202 내지 206을 수행하고, 이어서 프레임 B 내의 마킹된 객체(MO(B))의 매력이 조화 조건을 충족시키지 못하는 것으로 결정한다(단계 208). 결과적으로, 컴퓨터(102)는 프레임 B에 대한 프레임 컬러 템플릿(FCT(B))을 결정한다(단계 210). 프레임 컬러 템플릿(FCT(B))은 +90도의 컬러 템플릿 시프트(CTS)를 갖는 X 타입의 사전 정의된 컬러 템플릿(PCT)으로부터 획득된 것으로 가정된다.
이어서, 컴퓨터(102)는 프레임 C에 대해 단계 202 내지 206을 수행하고, 이어서 프레임 C 내의 마킹된 객체(MO(C))의 매력이 조화 조건을 충족시키지 못하는 것으로 결정한다(단계 208). 결과적으로, 컴퓨터(102)는 프레임 C에 대한 프레임 컬러 템플릿(FCT(C))을 결정한다(단계 210). 프레임 컬러 템플릿(FCT(C))은 +180도의 프레임 템플릿 시프트(FTS)를 갖는 X 타입의 사전 정의된 컬러 템플릿(PCT)으로부터 획득된 것으로 가정된다.
이어서, 컴퓨터(102)는 프레임 D에 대해 단계 202 내지 206을 수행하고, 프레임 D 내의 마킹된 객체(MO(D))의 매력이 조화 조건을 충족시키는 것으로 결정한다(단계 208). 결과적으로, 컴퓨터(102)는 2와 동일한 수인 2개의 비조화 프레임, 즉 프레임 B 및 C가 프레임 D에 선행하는 것으로 결정한다(단계 212). 결과적으로, 컴퓨터(102)는 프레임 B 및 C를 선택하여 이들을 조화시킨다(단계 214).
이어서, 컴퓨터(102)는 프레임 컬러 템플릿들(FCT(B), FCT(C))로부터 글로벌 컬러 템플릿(GCT)을 결정한다(단계 216). 양 프레임 컬러 템플릿들(FCT(B), FCT(C))은 X 타입의 사전 정의된 컬러 템플릿으로부터 획득되며, 따라서 글로벌 컬러 템플릿(GCT)을 결정하기 위해 X 타입의 사전 정의된 컬러 템플릿이 선택된다. 또한, 글로벌 템플릿 시프트(GTS)는 양 컬러 템플릿 시프트들(CTS(B), CTS(C))의 평균, 즉 (90도 + 180도)/2 = +135도로서 결정된다. 따라서, 결과적인 글로벌 컬러 템플릿(GCT)은 +135도 및 +315도에 각각 중심을 갖는 2개의 컬러 범위(R1, R2)를 포함한다. 이하에서, 이 2개의 컬러 범위는 90도의 길이를 각각 갖는 것으로 가정된다.
이어서, 프레임들(B, C) 각각에 대해, 컴퓨터(102)는 마킹된 객체(MO)의 각각의 픽셀의 조화로운 컬러를 결정한다(단계 218). 설명되는 예에서, 컴퓨터(102)는 양 프레임들(B, C)의 컬러 세그먼트화를 수행한다. 프레임 B의 세그먼트화는 컬러 범위(R1)와 관련된 세그먼트를 포함하는 것으로 가정한다. 컬러 범위(R1)의 중심은 +135도이다.
따라서, 이러한 세그먼트의 각각의 픽셀은 이전의 조화 함수에 따라 조화롭게 되며, 여기서 C(p) = +135도, w = 90도, t = 1(프레임 B는 선택된 프레임들 {B, C}의 시퀀스의 제1 프레임)이고, Tv는 2와 동일한 것으로 가정되며, 이는 다음을 제공한다:
Figure pat00005
유사한 동작들이 프레임들(B, C)의 다른 세그먼트들에 대해 수행된다.
이어서, 컴퓨터(102)는 프레임 D에 이어지는 프레임들에 대해 컬러 비디오 처리 방법(200)을 계속 수행한다.
컬러 비디오(112)의 모든 프레임들이 처리되면, 컴퓨터(102)는 예를 들어 사람-컴퓨터 인터페이스(108)의 디스플레이 장치와 같은 디스플레이 장치 상에 표시되는 처리된 컬러 비디오를 생성한다.
본 발명은 전술한 실시예로 한정되는 것이 아니라 첨부된 청구항들에 의해 정의된다. 사실상 이 분야의 기술자에게는 전술한 실시예에 대하여 변경들이 적용될 수 있다는 것이 명백할 것이다.
예를 들어, 컴퓨터(102)가 컬러 비디오 처리 방법(200)의 각각의 단계를 수행하게 하도록 의도되는 프로그램 명령어들은 하드웨어 컴포넌트에 의해 완전히 또는 부분적으로 대체될 수 있다.
더구나, 프레임들은 2D 픽처들로 한정되는 것이 아니라 예를 들어 3D 픽처들일 수도 있다.
더구나, 픽셀의 컬러는 RVB 값들과 같은 다른 양 또는 여러 다른 양들로 대체될 수 있다.
더구나, 하나가 아닌 여러 개의 객체가 마킹될 수 있고, 전술한 방법에 따라 컬러가 조화로워질 수 있다.
게다가, 첨부된 청구항들에서 사용되는 용어들은 전술한 실시예들의 요소들로 한정되는 것으로 이해되지 않아야 하며, 이 분야의 기술자가 그의 일반 지식을 이용하여 도출할 수 있는 모든 등가의 요소들을 포함하는 것으로 이해되어야 한다.

Claims (16)

  1. 컬러 비디오 처리 방법(200)으로서,
    - 프레임들의 시퀀스의 각각의 프레임 내의 배경으로부터 객체를 마킹하는 단계(202);
    - 적어도 2개의 연속 프레임들을 선택하는 단계(214);
    - 상기 선택된 프레임들의 상기 배경들로부터 글로벌 컬러 템플릿을 결정하는 단계(216); 및
    - 각각의 선택된 프레임에 대해 그리고 상기 마킹된 객체의 컬러들에 대해, 조화로운 컬러(harmonized color)가 오리지널 컬러보다 상기 글로벌 컬러 템플릿에 더 가깝게 되도록, 상기 글로벌 컬러 템플릿에 따라 조화로운 컬러를 결정하는 단계(218)
    를 포함하는 컬러 비디오 처리 방법(200).
  2. 제1항에 있어서,
    상기 마킹된 객체의 상기 컬러들을 상기 대응하는 조화로운 컬러들에 따라 변경하는 단계를 더 포함하는 컬러 비디오 처리 방법(200).
  3. 제1항 또는 제2항에 있어서,
    상기 객체를 마킹하는 단계(202)는 상기 객체를 둘러싸는 윈도를 정의하는 단계를 포함하는 컬러 비디오 처리 방법(200).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    각각의 프레임 내의 배경으로부터 객체를 마킹하는 단계(202)는:
    - 제1 프레임에 이어지는 상기 시퀀스의 각각의 프레임에 대해, 이전 프레임(들)으로부터 상기 객체를 추적하고, 상기 추적된 객체를 마킹하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 시퀀스의 각각의 프레임에 대해:
    - 상기 프레임의 각각의 픽셀을 돌출 값과 연관시키는 단계(204);
    - 상기 돌출 값들로부터 상기 마킹된 객체의 매력을 결정하는 단계(206);
    - 상기 마킹된 객체의 상기 매력이 상기 마킹된 객체가 조화롭다는 것을 지시하는 조건을 충족시키는지를 결정하는 단계(208) - 상기 조건은 이하에서 "조화 조건"으로 지칭됨 -; 및
    - 상기 마킹된 객체의 상기 매력이 상기 조화 조건을 충족시키지 못하는 경우, 상기 배경으로부터 프레임 컬러 템플릿을 결정하는 단계(210) - 상기 프레임은 이하에서 "비조화 프레임"으로 지칭됨 -;
    를 더 포함하고,
    각각의 선택된 프레임은 비조화 프레임이고, 상기 글로벌 컬러 템플릿은 상기 선택된 프레임들의 상기 컬러 템플릿들로부터 결정되는 컬러 비디오 처리 방법(200).
  6. 제5항에 있어서,
    상기 매력은 상기 마킹된 객체의 상기 픽셀들의 상기 돌출 값들의 평균 및 편차를 포함하는 컬러 비디오 처리 방법(200).
  7. 제6항에 있어서,
    상기 조화 조건은, 상기 평균이 사전 정의된 평균 임계치보다 작고, 상기 편차가 사전 정의된 편차 임계치보다 작은 것을 포함하는 컬러 비디오 처리 방법(200).
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    적어도 2개의 연속 프레임을 선택하는 단계는:
    - 연속 비조화 프레임들의 수가 적어도 2와 동일한 사전 정의된 임계치 이상인지를 결정하는 단계; 및
    - 그러한 경우에, 상기 연속 비조화 프레임들을 선택하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  9. 제5항 내지 제8항 중 어느 한 항에 있어서,
    프레임의 상기 배경으로부터 프레임 컬러 템플릿을 결정하는 단계(210)는:
    - 사전 정의된 컬러 템플릿들 중에서 하나를 선택하는 단계 - 각각의 사전 정의된 컬러 템플릿은 순환 컬러 시퀀스 내의 적어도 하나의 컬러 범위를 지시함 -;
    - 프레임 템플릿 시프트를 결정하는 단계; 및
    - 상기 프레임 컬러 템플릿을 획득하기 위해 상기 선택된 사전 정의된 컬러 템플릿의 각각의 컬러 범위에 상기 프레임 템플릿 시프트를 적용하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 글로벌 컬러 템플릿을 결정하는 단계(216)는:
    - 사전 정의된 컬러 템플릿들 중에서 하나를 선택하는 단계 - 각각의 사전 정의된 컬러 템플릿은 순환 컬러 시퀀스 내의 적어도 하나의 컬러 범위를 지시함 -;
    - 글로벌 템플릿 시프트를 결정하는 단계; 및
    - 상기 글로벌 컬러 템플릿을 획득하기 위해 상기 선택된 사전 정의된 컬러 템플릿의 각각의 컬러 범위에 상기 글로벌 템플릿 시프트를 적용하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  11. 제9항 또는 제10항에 있어서,
    상기 선택된 프레임들의 상기 프레임 컬러 템플릿들로부터 상기 글로벌 컬러 템플릿을 결정하는 단계는:
    - 선택된 프레임의 사전 정의된 컬러 템플릿을 선택하는 단계; 및
    - 상기 선택된 프레임들의 상기 프레임 템플릿 시프트들로부터 상기 글로벌 템플릿 시프트를 결정하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  12. 제11항에 있어서,
    상기 글로벌 템플릿 시프트는 상기 프레임 템플릿 시프트들의 평균인 컬러 비디오 처리 방법(200).
  13. 제11항 또는 제12항에 있어서,
    사전 정의된 컬러 템플릿을 선택하는 단계는:
    - 상기 선택된 프레임들의 상기 프레임 컬러 템플릿들을 획득하기 위해 가장 많이 사용된 상기 사전 정의된 컬러 템플릿을 선택하는 단계
    를 포함하는 컬러 비디오 처리 방법(200).
  14. 컴퓨터 프로그램(110)으로서,
    컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제13항 중 어느 한 항의 컬러 비디오 처리 방법(200)을 수행하게 하는 명령어들
    을 포함하는 컴퓨터 프로그램(110).
  15. 컬러 비디오 처리 시스템(100)으로서,
    - 프레임들의 시퀀스의 각각의 프레임 내의 배경으로부터 객체를 마킹하도록 구성되는 컴포넌트;
    - 적어도 2개의 연속 프레임을 선택하도록 구성되는 컴포넌트;
    - 상기 선택된 프레임들의 상기 배경들로부터 글로벌 컬러 템플릿을 결정하도록 구성되는 컴포넌트; 및
    - 각각의 선택된 프레임에 대해 그리고 상기 마킹된 객체의 컬러들에 대해, 조화로운 컬러가 오리지널 컬러보다 상기 글로벌 컬러 템플릿에 더 가깝게 되도록, 상기 글로벌 컬러 템플릿에 따라 조화로운 컬러를 결정하도록 구성되는 컴포넌트
    를 포함하는 컬러 비디오 처리 시스템(100).
  16. 제15항에 있어서,
    상기 마킹된 객체의 상기 컬러들을 상기 대응하는 조화로운 컬러들에 따라 변경하도록 구성되는 컴포넌트를 더 포함하는 컬러 비디오 처리 시스템(100).
KR20140120118A 2013-09-16 2014-09-11 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램 KR20150032176A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13306258.8A EP2849425A1 (en) 2013-09-16 2013-09-16 Color video processing system and method, and corresponding computer program
EP13306258.8 2013-09-16

Publications (1)

Publication Number Publication Date
KR20150032176A true KR20150032176A (ko) 2015-03-25

Family

ID=49274582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140120118A KR20150032176A (ko) 2013-09-16 2014-09-11 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20150077639A1 (ko)
EP (2) EP2849425A1 (ko)
JP (1) JP6408314B2 (ko)
KR (1) KR20150032176A (ko)
CN (1) CN104463838A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
EP2814248A1 (en) * 2013-06-10 2014-12-17 Thomson Licensing Method and device for processing a video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
KR102329862B1 (ko) 2015-02-10 2021-11-23 삼성전자주식회사 영상의 컬러 변환 방법 및 전자 장치
US9483839B1 (en) * 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
CN105488819B (zh) * 2015-12-04 2018-09-18 小米科技有限责任公司 颜色模板的生成方法、图像处理方法及装置
CN106373084B (zh) * 2016-08-30 2020-09-18 北京奇艺世纪科技有限公司 一种特效推荐方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11288454A (ja) * 1998-04-01 1999-10-19 Nippon Telegr & Teleph Corp <Ntt> 映像画面色調整合方法及び装置ならびに記録媒体
EP1544792A1 (en) 2003-12-18 2005-06-22 Thomson Licensing S.A. Device and method for creating a saliency map of an image
JP4704253B2 (ja) * 2005-04-13 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US8254679B2 (en) 2008-10-13 2012-08-28 Xerox Corporation Content-based image harmonization
CN101694717B (zh) * 2009-10-22 2012-11-07 北京交通大学 一种自动式的图像颜色协调化方法和系统
US20120127198A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background

Also Published As

Publication number Publication date
EP2849425A1 (en) 2015-03-18
JP2015057698A (ja) 2015-03-26
EP2849426A1 (en) 2015-03-18
US20150077639A1 (en) 2015-03-19
JP6408314B2 (ja) 2018-10-17
CN104463838A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
KR20150032176A (ko) 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램
US8213711B2 (en) Method and graphical user interface for modifying depth maps
Li et al. Video object cut and paste
TWI467516B (zh) 色彩特徵擷取方法
CN104364825B (zh) 增强现实辅助视频会议的视觉调节
US8078006B1 (en) Minimal artifact image sequence depth enhancement system and method
US8515172B2 (en) Segmentation of image data
US8698796B2 (en) Image processing apparatus, image processing method, and program
US8160390B1 (en) Minimal artifact image sequence depth enhancement system and method
Zollmann et al. Image-based ghostings for single layer occlusions in augmented reality
JP2019525515A (ja) マルチビューシーンのセグメンテーションおよび伝播
JP2015522198A (ja) 画像に対する深度マップの生成
US9100642B2 (en) Adjustable depth layers for three-dimensional images
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
RU2718423C2 (ru) Способ определения карты глубин для изображения и устройство для его осуществления
CA2286365A1 (en) Methods and apparatus for changing a color of an image
US9179078B2 (en) Combining multiple video streams
CN110136166A (zh) 一种多路画面的自动跟踪方法
WO2021083802A1 (en) An image processing method for setting transparency values and color values of pixels in a virtual image
CN111988657A (zh) 一种广告插入方法及装置
AU2006345533B2 (en) Multi-tracking of video objects
CN113436284A (zh) 一种图像处理方法、装置、计算机设备和存储介质
CA2674104C (en) Method and graphical user interface for modifying depth maps
Jeong et al. Real-time video re-coloring algorithm considering the temporal color consistency for the color-blind
CN112308938B (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid