KR20090058425A - 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법 - Google Patents

자동 감정 탐지를 이용한 영상 향상 시스템 및 방법 Download PDF

Info

Publication number
KR20090058425A
KR20090058425A KR1020070125194A KR20070125194A KR20090058425A KR 20090058425 A KR20090058425 A KR 20090058425A KR 1020070125194 A KR1020070125194 A KR 1020070125194A KR 20070125194 A KR20070125194 A KR 20070125194A KR 20090058425 A KR20090058425 A KR 20090058425A
Authority
KR
South Korea
Prior art keywords
image
parameter
score
input image
input
Prior art date
Application number
KR1020070125194A
Other languages
English (en)
Other versions
KR101390202B1 (ko
Inventor
한 빙
피터 보드로기
박두식
곽영신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070125194A priority Critical patent/KR101390202B1/ko
Priority to US12/166,676 priority patent/US8224106B2/en
Publication of KR20090058425A publication Critical patent/KR20090058425A/ko
Application granted granted Critical
Publication of KR101390202B1 publication Critical patent/KR101390202B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

자동 감정 탐지를 이용한 영상 향상 시스템 및 방법이 개시된다. 영상 향상 시스템은 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지하는 감정 스케일 탐지부 및 상기 감정 스케일에 따라 선택된 영상 모드를 고려하여 상기 입력 영상의 화질을 향상 시키는 영상 향상부를 포함한다.
영상 파라미터, 감정 스케일, 영상 모드, Z 스코어

Description

자동 감정 탐지를 이용한 영상 향상 시스템 및 방법 {SYSTEM AND METHOD FOR ENHANCEMENT IMAGE USING AUTOMATIC EMOTION DETECTION}
본 발명은 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법에 관한 것으로, 구체적으로 영상의 영상 파라미터에 대한 Z 스코어를 이용하여 감정 스케일을 탐지하고, 감정 스케일에 따른 영상 모드를 선택하여 영상의 화질을 향상시키는 시스템 및 방법에 관한 것이다.
일반적으로 영상 재생 기기는 다양한 장르의 영상을 재생한다. 재생되는 영상에 대한 반응은 감정으로 나타난다. 즐거운 영상에 대해서 인간은 긍정적인 감정이 발생하고, 무서운 영상에 대해서는 부정적인 감정이 발생한다.
감정은 마음속에서 무의식적으로 발생하는 육체적 또는 정신적인 반응을 의미한다. 감정은 다음과 같이 정의될 수 있다. "감정은 신경/호르몬 시스템을 매개로 하는 객관적이고 주관적인 요소간의 상호작용의 복잡한 집합이다. 감정은 즐겁거나 즐겁지 않은 느낌들을 불러 일으킬 수 있다."
종래에는 카테고리화된 영상의 장르를 정의하고, 영상 기기가 재생하는 영상의 장르에 최적화된 설정을 시청자가 수동으로 조절하는 것이었다. 이러한 방법 은 장르에 맞는 설정을 시청자가 수동으로 조절하는 불편함이 있었다. 그리고, 동일한 장르에 대해 획일화된 설정을 영상에 적용함으로써, 영상의 특정 장면이 나타내는 영상 요소를 반영하지 못하는 문제점이 존재하였다.
본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 시스템은 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지하는 감정 스케일 탐지부 및 상기 감정 스케일에 따라 선택된 영상 모드를 고려하여 상기 입력 영상의 화질을 향상 시키는 영상 향상부를 포함한다.
이 때, 감정 스케일 탐지부는 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 영상 파라미터 계산부 및 영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 Z 스코어 계산부를 포함한다.
이 때, 영상 파라미터 계산부는 계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행할 수 있다.
이 때, 영상 향상부는 상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 영상 모드 선택부 및 상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 영상 요소 조절부를 포함한다.
본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 방법은 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지하는 단계 및 상기 감정 스케일에 따라 선택된 영상 모드를 고려하여 상기 입력 영상의 화질을 향상 시키는 단계를 포함한다.
영상의 감정 스케일을 자동으로 탐지하는 상기 단계는 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 단계 및 영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 단계를 포함한다.
입력 영상을 화질을 향상 시키는 상기 단계는 상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 단계 및 상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 단계를 포함한다.
본 발명에 따르면, 입력 영상의 영상 파라미터에 대한 Z 스코어를 이용하여 자동으로 감정을 탐지함으로써 영상을 통해 느끼는 인간의 감정을 효과적으로 영상에 반영할 수 있는 영상 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 영상 통계 데이터인 Z 스코어를 통해 감정 스케일을 계산하여 사람마다 느끼는 감정의 차이를 최소화하고 신뢰도를 보장함으로 인간의 감정을 객관적으로 영상 향상에 적용할 수 있는 영상 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 감정 스케일에 따라 영상 모드를 선택하고, 선택된 영상 모드를 고려하여 영상 요소를 조절함으로써 입력 영상의 모드에 적절하게 대응하는 영상 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 다양한 영상 파라미터를 계산하여 영상 향상에 적용함으로써 영상 파라미터를 통한 인간의 감정을 수학적으로 정확하게 반영할 수 있는 영 상 향상 시스템 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 시스템의 구성을 도시한 블록 다이어그램이다. 도 1을 참조하면, 영상 향상 시스템(101)은 감정 스케일 탐지부(102) 및 영상 향상부(103)을 포함한다.
감정 스케일 탐지부(102)는 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지한다. 예를 들어, 본 발명에 따르면, 영상의 한 장면을 구성하는 픽셀값을 분석하여 해당 장면의 감정 스케일을 자동으로 탐지할 수 있다.
여기서, 감정 스케일은 적어도 하나의 감정들을 식별하기 위한 감정적인 카테고리 데이터라고 할 수 있다. 즉, 감정 스케일은 입력 영상의 한 장면에 대해 인간이 느끼는 감정을 수학적인 데이터로 나타낸 것을 의미한다. 나중에 언급하듯이, 감정 스케일은 입력 영상의 각 프레임을 구성하는 픽셀값을 통해 계산된 영상 파라미터를 통해 탐지될 수 있다.
감정적인 카테고리 라벨들은 긍정적인 것과 부정적인 것으로 구분될 수 있다. 예를 들어, 긍정적인 라벨은 즐거움(amusement), 행복함(happiness), 활발(excitement), 관심(interest), 갈망(desire), 호기심(curious), 평화로 움(peaceful), 호의(affection) 등을 포함하고, 부정적인 라벨은 두려움(fear), 슬픔(sadness), 역겨움(disgust), 화남(anger), 불쌍함(pity), 겁먹음(scared), 충격(shock) 등을 포함한다.
영상 향상부(103)는 감정 스케일에 따라 선택된 영상 모드를 고려하여 입력 영상의 화질을 향상 시킨다. 즉, 영상 향상부(103)는 감정 스케일을 통해 영상 모드를 선택하고, 영상 모드에 따라 영상 요소를 조절하여 영상의 화질을 향상시킨다. 감정 스케일 탐지부(102)와 영상 향상부(103)에 대해서는 각각 도 2와 도 3을 통해 구체적으로 설명하겠다.
도 2는 본 발명의 일실시예에 따른 영상 향상 시스템의 감정 스케일 탐지부를 구체적으로 도시한 블록 다이어그램이다. 도 2를 참조하면, 감정 스케일 탐지부(102)는 영상 파라미터 계산부(201)와 Z 스코어 계산부(202)를 포함한다.
영상 파라미터 계산부(201)는 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산한다. 이 때, 영상 파라미터는 입력 영상의 각 프레임에 대한 물리적인 특징을 나타내는 수학적인 파라미터를 의미할 수 있다. 영상 파라미터는 1개 이상이 될 수 있으며, 파라미터의 집합 형태로 구성될 수 있다. 예를 들면, 영상 파라미터는 평균 밝기값(average luminance) 또는 푸리에 스펙트럼(Fourier spectrum) 등을 포함한다.
일반적으로 입력 영상은 각 프레임마다 RGB(Red Green Blue) 색공간에서의 픽셀값들로 구성되어 있다. 영상 파라미터는 RGB 색공간의 픽셀값뿐만 아니라 YCbCr, HSV, sRGB, CIECAM02, CIEL*a*b, CIEXYZ, YUV 등의 색공간의 픽셀값을 통해 계산될 수 있다. 도 2에서 볼 수 있듯이, 영상 파라미터 계산부(201)는 입력 영상의 픽셀값을 이용하여 영상 파라미터인 V1, V2 ... Vn을 계산할 수 있다.
일례로, 영상 파라미터 계산부(201)는 계산하고자 하는 영상 파라미터를 고려하여 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행할 수 있다. 즉, 영상 파라미터 계산부(201)는 계산하고자 하는 영상 파라미터를 고려하여 RGB 색공간을 YCbCr, HSV, sRGB, CIECAM02, CIEL*a*b, CIEXYZ, YUV 등의 색공간으로 색공간 변환을 수행할 수 있다. 구체적인 영상 파라미터의 종류와 계산 알고리즘에 대해서는 도 4를 통해 설명된다.
Z 스코어 계산부(202)는 복수 개의 장르에 대한 영상 통계 데이터를 이용하여 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산한다. 이 때, Z 스코어 계산부(202)는 다양한 영상의 영상 파라미터의 평균과 표준 편차를 이용하여 Z 스코어를 계산할 수 있다. Z 스코어는 통계 분석을 위해 사용되는 표준 점수를 의미한다. 이 때, 영상 통계 데이터는 표준 정규 분포를 따르는 것으로 가정된다. 일례로, Z 스코어는 다음 수학식 1에 의해 계산될 수 있다.
Figure 112007087380478-PAT00001
(j=1, 2, ..., n)
여기서,
Figure 112007087380478-PAT00002
는 각 영상 파라미터에 대한 Z 스코어를 의미하고,
Figure 112007087380478-PAT00003
는 계 산된 각 영상 파라미터를 의미한다.
Figure 112007087380478-PAT00004
와
Figure 112007087380478-PAT00005
는 다양한 영상에 대한 영상 파라미터의 값을 통계적인 수치로 나타낸 영상 통계 데이터를 의미한다.
Figure 112007087380478-PAT00006
와
Figure 112007087380478-PAT00007
는 각각 영상 파라미터에 대한 평균과 표준편차를 의미한다.
Figure 112007087380478-PAT00008
와
Figure 112007087380478-PAT00009
는 대응하는 영상 파라미터에 대해 미리 복수 개의 영상을 통해 통계적으로 추출된 데이터라고 할 수 있다.
Figure 112007087380478-PAT00010
와
Figure 112007087380478-PAT00011
는 감정 스케일 데이터베이스(203)에 미리 저장되어 추후에 Z 스코어를 계산할 때 사용될 수 있다. 도 2를 참조하면, 영상 파라미터 계산부(201)를 통해 계산된 영상 파라미터(V1, V2 ... Vn) 각각은 Z 스코어 Z1, Z2 ... Zn에 대응된다.
그러면, 감정 스케일 탐지부(102)는 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터의 Z 스코어를 이용하여 입력 영상의 감정 스케일을 탐지할 수 있다. 일례로, 감정 스케일 탐지부(102)는 다음 수학식 2를 통해 입력 영상의 감정 스케일을 탐지할 수 있다.
Figure 112007087380478-PAT00012
여기서,
Figure 112007087380478-PAT00013
는 계산된 Z 스코어,
Figure 112007087380478-PAT00014
는 적어도 하나의 미리 지정된 감정 스케일 k(k=1,..,i)에 대한 영상 파라미터의 평균 Z 스코어를 의미하며,
Figure 112007087380478-PAT00015
는
Figure 112007087380478-PAT00016
의 유클리디안 거리(Euclidean distance)로 감정 스케일을 의미한다.
이 때, 감정 스케일 탐지부(102)는 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터 각각의 평균 Z 스코어 사이의 차이를 판단하고, 상기 차이가 최소인 감정 스케일을 입력 영상의 감정 스케일로 탐지할 수 있다. 즉,
Figure 112007087380478-PAT00017
가 최소인 감정 스케일 k가 입력 영상의 감정 스케일로 탐지될 수 있다.
예를 들어, 행복, 지루함, 놀람, 슬픔, 화남, 기쁨의 감정 스케일을 나타내는 영상 파라미터 각각의 평균 Z 스코어가 각각 1, 8, 10, 4, 7, 3이라고 할 때, 계산된 Z 스코어가 3.5라고 가정하자. 감정 스케일 탐지부(102)는 입력 영상의 감정 스케일을 기쁨으로 탐지할 수 있다.
도 3은 본 발명의 일실시예에 따른 영상 향상 시스템의 영상 향상부를 구체적으로 도시한 블록 다이어그램이다. 도 3을 참조하면, 영상 향상부(103)는 영상 모드 선택부(301) 및 영상 요소 조절부(302)를 포함한다.
영상 모드 선택부(301)는 감정 스케일에 따라 입력 영상의 영상 모드를 선택한다. 예를 들면, 입력 영상의 특정 장면은 감정 스케일에 따라 다양한 감정 중 어느 하나가 선택될 수 있다.
영상 요소 조절부(302)는 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 입력 영상의 영상 요소(image factor)를 조절한다. 일례로, 영상 요소 조절 파라미터는 (-)값과 (+)값을 가질 수 있으며, 미리 설정한 범위의 상수를 의미할 수 있다. 이 때, 영상 요소는 입력 영상의 밝기(lightness), 콘트라스트(contrast) 및 채도(saturation)가 포함될 수 있다. 상기 언급한 영상 요소는 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.
본 발명의 일실시예에 따르면, 영상 요소 조절부(302)는 하기 수학식 3을 통해 입력 영상의 영상 요소인 콘트라스트를 조절할 수 있다.
Figure 112007087380478-PAT00018
여기서,
Figure 112007087380478-PAT00019
,
Figure 112007087380478-PAT00020
는 현재 픽셀의 출력 및 입력 R, G, B 중 어느 하나를 나타내고,
Figure 112007087380478-PAT00021
는 수정된 평균 밝기값을 나타낸다. 이 때,
Figure 112007087380478-PAT00022
이 0 미만인 경우 0을 나타내고, 255를 초과하는 경우, 255를 나타낸다. 그리고,
Figure 112007087380478-PAT00023
가 0과 255 범위에 속하는 경우,
Figure 112007087380478-PAT00024
의 값 그대로를 나타낸다. 각 상수는 시스템의 구성에 따라 변경될 수 있다.
본 발명의 일실시예에 따르면, 영상 요소 조절부(302)는 하기 수학식 4를 통해 입력 영상의 영상 요소인 밝기를 조절할 수 있다.
Figure 112007087380478-PAT00025
여기서,
Figure 112007087380478-PAT00026
,
Figure 112007087380478-PAT00027
는 현재 픽셀의 출력 및 입력 R, G, B 중 어느 하나를 나타내고, p는 영상 요소 조절 파라미터를 나타낸다.
Figure 112007087380478-PAT00028
이 0 미만인 경우 0을 나타내고, 255를 초과하는 경우, 255를 나타낸다. 그리고,
Figure 112007087380478-PAT00029
가 0과 255 범위에 속하는 경우,
Figure 112007087380478-PAT00030
의 값 그대로를 나타낸다.
본 발명의 일실시예에 따르면, 영상 요소 조절부(302)는 하기 수학식 5를 통해 입력 영상의 영상 요소인 채도를 조절할 수 있다.
Sout=Sin+p (p:양수)
(p: 음수)
여기서, p는 영상 요소 조절 파라미터를 나타내며, 수학식 5에서 볼 수 있 듯이, p의 값에 따라 채도를 조절하는 과정이 달라진다.
Figure 112007087380478-PAT00032
는 R, G, B 각각의 값을 의미한다. 각 상수는 시스템의 구성에 따라 변경될 수 있다.
도 4는 본 발명의 일실시예에 따른 영상 파라미터의 일례를 도시한 도면이다.
이미 언급했듯이, 영상 향상 시스템의 영상 파라미터 계산부(201)는 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산할 수 있다. 도 4에 도시된 영상 파라미터의 종류는 일례에 불과하고, 시스템의 종류에 따라 변경될 수 있다. 또한, 영상 파라미터를 계산하는 방법에 대해서 하기 방법에 의해 한정되는 것은 아니다. 도 4의 V1 에서 V15는 영상 파라미터 계산부(201)가 계산한 영상 파라미터(V1, V2 ... Vn)에 대응된다.
이하에서, 도 4에 기재된 각각의 영상 파라미터를 계산하는 방법에 대해 구체적으로 언급하기로 한다.
1. Average luminance (평균 밝기값)
일례로, 영상 파라미터 계산부(201)는 하기 수학식 6를 통해 영상 파라미터인 평균 밝기값을 계산할 수 있다.
Figure 112007087380478-PAT00033
Y=a+ b*R +c*G +d*B
여기서,
Figure 112007087380478-PAT00034
는 평균 밝기값, n과 m은 영상의 가로와 세로의 사이즈, i와 j는 픽셀의 위치를 나타낸다. 그리고, Y는 입력 영상의 R,G,B 값을 밝기값으로 변환하는 값이며, a,b,c,d는 각각 상수를 나타낸다. i와 j는 각각 픽셀의 가로 및 세로 위치를 나타낸다.
2.Noiseness(노이즈)
일례로, 영상 파라미터 계산부(201)는 하기 수학식 7을 통해 영상 파라미터인 노이즈를 계산할 수 있다.
Figure 112007087380478-PAT00035
Figure 112007087380478-PAT00036
여기서, k는 커널의 사이즈, i와 j는 픽셀의 가로와 세로 위치를 나타낸다. p는 R, G, B의 dac(digital-to-analog converter)값을 의미한다. STD는 표준 편차(standard deviation)을 의미한다. max는 최대값을 결정하는 함수이다.
3. average saturation(평균 채도)
일례로, 영상 파라미터 계산부(201)는 하기 수학식 8을 통해 영상 파라미터인 평균 채도값을 계산할 수 있다.
Figure 112007087380478-PAT00037
여기서,
Figure 112007087380478-PAT00038
는 입력 영상의 프레임 별 평균 채도값, n과 m은 영상의 가로와 세로의 사이즈, i와 j는 픽셀의 위치를 나타낸다. S는 (i,j)에 위치한 픽셀의 채도값을 의미한다.
4. Global Contrast (전역 콘트라스트)
일례로, 영상 파라미터 계산부(201)는 하기 수학식 9을 통해 영상 파라미터인 전역 콘트라스트를 계산할 수 있다.
Figure 112007087380478-PAT00039
여기서,
Figure 112007087380478-PAT00040
은 전역 콘트라스트를 나타내고,
Figure 112007087380478-PAT00041
는 입력 영상의 프레임 별 전체적인 평균 밝기값보다 큰 밝기값을 가진 픽셀들의 평균 밝기값,
Figure 112007087380478-PAT00042
는 입력 영상의 프레임 별 전체적인 평균 밝기값보다 작은 밝기값을 가진 픽셀들의 평균 밝기값을 의미한다.
5. Global Saturation Contrast
일례로, 영상 파라미터 계산부(201)는 하기 수학식 10을 통해 영상 파라미터인 전역 채도 콘트라스트를 계산할 수 있다.
Figure 112007087380478-PAT00043
여기서,
Figure 112007087380478-PAT00044
는 전역 채도 콘트라스트를 나타내고,
Figure 112007087380478-PAT00045
는 입력 영상의 프레임 별 전체적인 평균 채도값보다 큰 채도값을 가진 픽셀들의 평균 채도 값,
Figure 112007087380478-PAT00046
는 입력 영상의 프레임 별 전체적인 평균 채도값보다 작은 채도값을 가진 픽셀들의 평균 채도값을 의미한다.
6. Color Balance (컬러 밸런스)
일례로, 영상 파라미터 계산부(201)는 하기 수학식 11을 통해 영상 파라미터인 컬러 밸런스를 계산할 수 있다.
Figure 112007087380478-PAT00047
Figure 112007087380478-PAT00048
Figure 112007087380478-PAT00049
여기서, 컬러 밸런스는 입력 영상이 따듯한 느낌인지 차가운 느낌인지를 반 영한다. 일례로, 컬러 밸런스는 sRGB 색공간 변환을 이용하여 픽셀들의 CIE 1931의 3자극치(tristmulus)값을 수학적으로 평균한 후 평균 색좌표 x, y (chromaticity)와 가장 가까운 색온도를 의미한다.
p는 입력 픽셀의 R, G, B 값을 나타내고, a,b,c,d,e,f,g,h,i는 각각 상수를 의미한다. 일례로, a,b,c,d,e,f,g,h,i는 각각 41.24, 35.76, 18.05, 21.26, 71.52, 7.22, 1.93, 11.92, 95.05를 나타낼 수 있다.
Figure 112007087380478-PAT00050
는 n*m 사이즈의 입력 영상의 평균 X, Y, Z를 의미한다. t는 상수이다.
입력 영상의 색온도는 하기 수학식 12를 만족해야 한다.
Figure 112007087380478-PAT00051
Figure 112007087380478-PAT00052
,
Figure 112007087380478-PAT00053
여기서, T는 온도를 의미하며,
Figure 112007087380478-PAT00054
와
Figure 112007087380478-PAT00055
는 입력 영상의 색온도를 의미한다. 그리고,
Figure 112007087380478-PAT00056
,
Figure 112007087380478-PAT00057
,
Figure 112007087380478-PAT00058
는 각각 X, Y, Z의 평균을 의미한다.
7. Chromatic Highlights (채도 하이라이트)
높은 입력값을 가지는 입력 영상에 대해 높은 채도값을 가지는 영역이 나타날 수 있다. 일례로, 채도 하이라이트를 계산하는 방법은 다음과 같다.
(1) 입력 영상의 R, G, B의 각 채널에 대한 히스토그램을 생성한다.
(2) 각 채널에 대해 상위 1%에 속하는 픽셀들을 추출한다.
(3) 각 채널에 대해 단계(2)에서 구한 값은 흰색으로 하고, 나머지는 블랙으로 하여 바이너리 영상 (B&W image)를 생성한다.
(4) 바이너리 이미지에서 흰색 오브젝트의 사이즈를 측정한다.
(5) 오브젝트의 사이즈를 리턴하고, 우세한 색상(dominant hue)을 평균 HSV 값으로부터 추출한다.
8. Highlights (하이라이트)
하이라이트는 높은 입력 값을 가지는 영상에서 나타날 수 있다. 하이라이트를 구하는 과정은 다음과 같다.
(1) 입력 영상의 R, G, B의 각 채널에 대한 히스토그램을 생성한다.
(2) 각 채널에 대해 상위 1%에 속하는 픽셀들을 추출한다.
(3) 모든 채널에서 상위 1%에 속하는 픽셀들은 흰색으로 하고, 나머지는 블랙으로 하여 바이너리 영상 (B&W image)를 생성한다.
(4) 바이너리 이미지에서 흰색 픽셀에 대한 수직적인 STD와 수평적인 STD를 결정한다.
(5)
Figure 112007087380478-PAT00059
(여기서,
Figure 112007087380478-PAT00060
는 수직적인 STD를 의미하고,
Figure 112007087380478-PAT00061
는 수평적인 STD를 의미하며, STD는 표준편차를 의미한다.) 값을 돌려준다. 이 때, 흰색 영역이 전체 영상의 1% 미만인 경우 STD는 0을 가진다.
9. Sharpness(선명도)
입력 영상에 대해 R, G, B 각 채널에 대해 DCT(Discrete cosine Transformation)가 수행되는데, 이 때 영상에 있어서 높은 주파수 영역은 제거된다. DCT된 이미지에 대해서 만약 고조파의 진폭이 기준치(=32)보다 크다면 입력 영상은 선명하다고 할 수 있다. 일례로, 영상 파라미터 계산부(201)는 하기 수학식 13을 통해 샤프니스를 계산할 수 있다.
Figure 112007087380478-PAT00062
여기서, c는 입력 영상의 각 픽셀 중 DCT된 이미지의 32보다 큰 고조파 성분의 숫자를 나타낸다.
Figure 112007087380478-PAT00063
는 DCT된 영상의 사이즈를 의미한다.
10. Sharpness Block (선명도 블록)
선명도 블록은 영상의 블러한(blurred) 영역과 샤프한 영역의 관계를 나타낸다. 선명도 블록은 하기 수학식 14를 통해 계산될 수 있다.
Figure 112007087380478-PAT00064
여기서,
Figure 112007087380478-PAT00065
는 샤프한 세그먼트의 숫자,
Figure 112007087380478-PAT00066
는 블러한 세그먼트의 숫자를 나타낸다. 일례로, 영상은 n*n 크기의 세그먼트로 분할될 수 있다.
11. Speed of darkening/lightening (명암의 전환 속도)
명암의 전환속도는 영상에서 밝은 곳과 어두운 곳의 변화 비율을 의미한다. 명암의 전환 속도는 하기 수학식 15를 통해 계산될 수 있다.
Figure 112007087380478-PAT00067
Figure 112007087380478-PAT00068
여기서,m(i)는 i에 대한 평균 밝기를 의미하며,
Figure 112007087380478-PAT00069
는 m(i)의 수치적인 미분계수를 의미한다. 또한, i는 클립에서의 샘플의 숫자를 의미한다. 클립이 어두운 곳을 포함한다면, M은 음수가 되고, 클립이 밝은 곳을 포함한다면, M은 양수가 된다. n은 샘플의 길이를 의미한다.
12. Speed of saturation (채도 변환 속도)
채도 변환 속도는 상기 수학식 15에서 밝기 대신 시간에 따른 평균 채도값으로 대체한 수식을 통해 계산될 수 있다.
13. Speed of Object (물체의 이동 속도)
물체의 이동 속도는 입력 영상에서 물체의 움직임에 대한 속도를 의미한다. 정지 영상에서는 계산되기 힘들다. 그리고 영상 파라미터 계산부(201)는 다음 과정을 통해 물체의 이동 속도를 계산할 수 있다.
(1) 영상을 백그라운드(background)와 포그라운드(foreground)로 분리하고, 물체를 탐지한다.
(2) 움직임이 있는 세그먼트는 흰색으로 하고, 움직임이 없는 나머지는 블 랙으로 하여 바이너리 영상을 생성한다.
(3) 물체의 크기가 미리 정의된 사이즈보다 크다면 물체의 히스토그램을 생성한다.
(4) 누적 히스토그램 생성 후 다음 프레임에서, 비슷한 누적 히스토그램이 탐색되면, 물체는 이동한 것으로 간주될 수 있다.
(5) 속도는 그 움직임의 크기로부터 계산될 수 있다.
14. Speed of Camera motion (카메라 움직임 속도)
영상에서 카메라 움직임의 속도를 측정할 수 있다.
15. Skin Contrast (피부색 콘트라스트)
피부색 콘트라스트는 영상에 나타난 인물의 피부톤을 통해 측정될 수 있다. 피부톤이 측정되는 과정은 전역 콘트라스트를 계산하는 과정과 동일하다.
(1) 디스플레이가 sRGB 색공간으로 영상을 표시함을 가정한다. 감마 값을 통해 CIEXYZ 값이 먼저 결정되고, sRGB가 행렬을 통해 XYZ로 변환된다. (과정은 컬러 밸런스를 계산하는 과정을 참고한다)
(2) 그러면, sRGB 변환 행렬의 열의 합계를 이용하여 CIE L*a*b 값이 결정된다.
(3) 만약 L*이 30보다 클 때, 색상(hue)은 18과 80사이의 값을, 채도(Cab*)는 10에서 30값으로 결정되면, 그 픽셀은 피부톤으로 고려되고, 나머지는 무시된 다.
만약 피부톤을 나타내는 픽셀들 중 특정 값보다 낮은 밝기값과 높은 밝기값의 평균의 차이가 미리 설정한 기준치보다 큰 경우 입력 영상은 거친 피부톤을 포함하여 작은 경우 부드러운 피부톤을 포함한다고 판단될 수 있다.
도 5는 본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 방법을 도시한 순서도이다.
본 발명의 일실시예에 따른 영상 향상 방법은 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지한다(S501).
본 발명의 일실시예에 따른 영상 향상 방법은 감정 스케일에 따라 선택된 영상 모드를 고려하여 입력 영상의 화질을 향상시킨다(S502).
영상의 감정 스케일을 자동으로 탐지하는 단계(S501)는 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 단계(S503) 및 영상 통계 데이터를 이용하여 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 단계(S504)를 포함한다.
적어도 하나의 영상 파라미터를 계산하는 단계(S503)는 계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행할 수 있다.
이 때, 영상 파라미터는 입력 영상의 각 프레임에 대한 수학적인 파라미터 인 것을 특징으로 한다.
영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 단계(S504)는 다양한 영상의 영상 파라미터의 평균과 표준 편차를 이용하여 Z 스코어를 계산할 수 있다.
이 때, 영상의 감정 스케일을 자동으로 탐지하는 단계(S501)는 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터의 Z 스코어를 이용하여 입력 영상의 감정 스케일을 탐지할 수 있다.
이 때, 영상의 감정 스케일을 자동으로 탐지하는 (S501) 단계는 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터 각각의 평균 Z 스코어 사이의 차이를 판단하고, 상기 차이가 최소인 감정 스케일을 입력 영상의 감정 스케일로 탐지할 수 있다.
입력 영상을 화질을 향상 시키는 단계(S502)는 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 단계(S505) 및 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 단계(S506)를 포함한다.
입력 영상의 영상 모드를 선택하는 단계(S505)는 미리 설정한 감정 스케일에 대응하는 영상 모드에 기초하여 상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택할 수 있다.
입력 영상의 영상 요소를 조절하는 단계(S506)는 상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 입력 영상의 밝기, 콘트라스트 및 채도를 조절 할 수 있다.
본 발명의 일실시예에 따른 영상 향상 방법은 단계(S503), 단계(S504), 단계(S505) 및 단계(S506)을 포함한다.
도 5에서 설명되지 않는 부분은 도 1 내지 도 4의 내용을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 영상 향상 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하 다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 시스템의 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 영상 향상 시스템의 감정 스케일 탐지부를 구체적으로 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 영상 향상 시스템의 영상 향상부를 구체적으로 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 영상 파라미터의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 자동 감정 탐지를 이용한 영상 향상 방법을 도시한 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
101: 영상 향상 시스템
102: 감정 스케일 탐지부
103: 영상 향상부

Claims (24)

  1. 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지하는 감정 스케일 탐지부; 및
    상기 감정 스케일에 따라 선택된 영상 모드를 고려하여 상기 입력 영상의 화질을 향상 시키는 영상 향상부
    를 포함하는 영상 향상 시스템.
  2. 제1항에 있어서,
    상기 감정 스케일 탐지부는,
    입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 영상 파라미터 계산부; 및
    영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 Z 스코어 계산부
    를 포함하는 영상 향상 시스템.
  3. 제2항에 있어서,
    상기 영상 파라미터 계산부는,
    계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행하는 것을 특징으로 하는 영상 향 상 시스템.
  4. 제2항에 있어서,
    상기 영상 파라미터는,
    입력 영상의 각 프레임에 대한 물리적 특징을 나타내는 수학적인 파라미터인 것을 특징으로 하는 영상 향상 시스템.
  5. 제2항에 있어서,
    상기 Z 스코어 계산부는,
    다양한 영상들의 영상 파라미터의 평균과 표준 편차를 이용하여 Z 스코어를 계산하는 것을 특징으로 하는 영상 향상 시스템.
  6. 제2항에 있어서,
    상기 감정 스케일 탐지부는,
    상기 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터의 Z 스코어를 이용하여 상기 입력 영상의 감정 스케일을 탐지하는 것을 특징으로 하는 영상 향상 시스템.
  7. 제1항에 있어서,
    상기 영상 향상부는,
    상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 영상 모드 선택부; 및
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 영상 요소 조절부
    를 포함하는 영상 향상 시스템.
  8. 제7항에 있어서,
    상기 영상 모드 선택부는,
    미리 설정한 감정 스케일에 대응하는 영상 모드에 기초하여 상기 입력 영상의 영상 모드를 선택하는 것을 특징으로 하는 영상 향상 시스템.
  9. 제7항에 있어서,
    상기 영상 요소 조절부는,
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 밝기(lightness), 콘트라스트(contrast) 및 채도(saturation)를 조절하는 것을 특징으로 하는 영상 향상 시스템.
  10. 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 영상 파라미터 계산부
    영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 Z 스코어 계산부
    상기 Z 스코어를 통해 탐지된 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 영상 모드 선택부; 및
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 영상 요소 조절부
    를 포함하는 영상 향상 시스템.
  11. 제10항에 있어서,
    상기 영상 파라미터 계산부는,
    계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행하는 것을 특징으로 하는 영상 향상 시스템.
  12. 입력 영상의 각 프레임을 구성하는 픽셀값을 분석하여 영상의 감정 스케일을 자동으로 탐지하는 단계; 및
    상기 감정 스케일에 따라 선택된 영상 모드를 고려하여 상기 입력 영상의 화질을 향상 시키는 단계
    를 포함하는 영상 향상 방법.
  13. 제12항에 있어서,
    영상의 감정 스케일을 자동으로 탐지하는 상기 단계는,
    입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 단계; 및
    영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 단계
    를 포함하는 영상 향상 방법.
  14. 제13항에 있어서,
    적어도 하나의 영상 파라미터를 계산하는 상기 단계는,
    계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행하는 것을 특징으로 하는 영상 향상 방법.
  15. 제13항에 있어서,
    상기 영상 파라미터는,
    입력 영상의 각 프레임에 대한 물리적인 특징을 나타내는 수학적인 파라미터인 것을 특징으로 하는 영상 향상 방법.
  16. 제13항에 있어서,
    영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 상기 단계는,
    다양한 영상들의 영상 파라미터의 평균과 표준 편차를 이용하여 Z 스코어를 계산하는 것을 특징으로 하는 영상 향상 방법.
  17. 제13항에 있어서,
    영상의 감정 스케일을 자동으로 탐지하는 상기 단계는,
    상기 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터의 Z 스코어를 이용하여 상기 입력 영상의 감정 스케일을 탐지하는 것을 특징으로 하는 영상 향상 방법.
  18. 제17항에 있어서,
    영상의 감정 스케일을 자동으로 탐지하는 상기 단계는,
    상기 계산된 Z 스코어와 적어도 하나의 미리 지정된 감정 스케일에 대한 영상 파라미터 각각의 평균 Z 스코어 사이의 차이를 판단하고, 상기 차이가 최소인 감정 스케일을 상기 입력 영상의 감정 스케일로 탐지하는 것을 특징으로 하는 영상 향상 방법.
  19. 제12항에 있어서,
    입력 영상을 화질을 향상 시키는 상기 단계는,
    상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 단계; 및
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영 상의 영상 요소(image factor)를 조절하는 단계
    를 포함하는 영상 향상 방법.
  20. 제19항에 있어서,
    입력 영상의 영상 모드를 선택하는 상기 단계는,
    미리 설정한 감정 스케일에 대응하는 영상 모드에 기초하여 상기 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 것을 특징으로 하는 영상 향상 방법.
  21. 제19항에 있어서,
    입력 영상의 영상 요소를 조절하는 상기 단계는,
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 밝기, 콘트라스트 및 채도를 조절하는 것을 특징으로 하는 영상 향상 방법.
  22. 입력 영상의 픽셀값을 이용하여 적어도 하나의 영상 파라미터를 계산하는 단계;
    영상 통계 데이터를 이용하여 상기 영상 파라미터 각각에 대한 Z 스코어(Z score)를 계산하는 단계;
    상기 Z 스코어를 통해 탐지된 감정 스케일에 따라 상기 입력 영상의 영상 모드를 선택하는 단계; 및
    상기 영상 모드에 따른 영상 요소 조절 파라미터를 이용하여 상기 입력 영상의 영상 요소(image factor)를 조절하는 단계
    를 포함하는 영상 향상 방법.
  23. 제22항에 있어서,
    적어도 하나의 영상 파라미터를 계산하는 상기 단계는,
    계산하고자 하는 영상 파라미터를 고려하여 상기 입력 영상의 픽셀값에 대해 색공간 변환(color space conversion)을 수행하는 것을 특징으로 하는 영상 향상 방법.
  24. 제12항 내지 제23항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020070125194A 2007-12-04 2007-12-04 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법 KR101390202B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070125194A KR101390202B1 (ko) 2007-12-04 2007-12-04 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법
US12/166,676 US8224106B2 (en) 2007-12-04 2008-07-02 Image enhancement system and method using automatic emotion detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070125194A KR101390202B1 (ko) 2007-12-04 2007-12-04 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090058425A true KR20090058425A (ko) 2009-06-09
KR101390202B1 KR101390202B1 (ko) 2014-04-29

Family

ID=40675783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070125194A KR101390202B1 (ko) 2007-12-04 2007-12-04 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법

Country Status (2)

Country Link
US (1) US8224106B2 (ko)
KR (1) KR101390202B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184869B2 (en) * 2008-05-30 2012-05-22 Hewlett-Packard Development Company, L.P. Digital image enhancement
US9449521B2 (en) 2009-11-11 2016-09-20 Erik Dahlkvist Method for using virtual facial and bodily expressions
US20120023135A1 (en) * 2009-11-11 2012-01-26 Erik Dahlkvist Method for using virtual facial expressions
US9134816B2 (en) 2009-11-11 2015-09-15 Erik Dahlkvist Method for using virtual facial and bodily expressions
US20130083052A1 (en) * 2011-09-30 2013-04-04 Erik Dahlkvist Method for using virtual facial and bodily expressions
US8606733B2 (en) * 2009-12-07 2013-12-10 Xerox Corporation System and method for classification and selection of color palettes
WO2012029460A1 (ja) * 2010-08-31 2012-03-08 株式会社日立メディコ 画像再構成方法及び装置
US8965822B2 (en) 2011-05-11 2015-02-24 Ari M. Frank Discovering and classifying situations that influence affective response
US20130097176A1 (en) * 2011-10-12 2013-04-18 Ensequence, Inc. Method and system for data mining of social media to determine an emotional impact value to media content
US9015084B2 (en) 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
US9277375B2 (en) 2012-09-28 2016-03-01 Nokia Technologies Oy Method and apparatus relating to a mood state of a user
CN104202604B (zh) * 2014-08-14 2017-09-22 深圳市腾讯计算机系统有限公司 视频增强的方法和装置
US10949461B2 (en) 2016-04-18 2021-03-16 International Business Machines Corporation Composable templates for managing disturbing image and sounds
CN109191398B (zh) * 2018-08-29 2021-08-03 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0734474U (ja) * 1993-12-09 1995-06-23 富士通テン株式会社 液晶表示装置
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
KR100296059B1 (ko) 1998-09-14 2001-11-05 김홍석 영상표시기의감성색채조절방법
JP2005012285A (ja) 2003-06-16 2005-01-13 Sharp Corp 動画像処理装置、動画像処理プログラムおよび記録媒体
US20050168595A1 (en) * 2004-02-04 2005-08-04 White Michael F. System and method to enhance the quality of digital images
JP2005235066A (ja) 2004-02-23 2005-09-02 Seiko Epson Corp 画像補正装置および方法ならびにプログラム
KR100682994B1 (ko) 2004-11-04 2007-02-15 한국전자통신연구원 영상 사실감 예측 장치 및 그 방법
JP4696548B2 (ja) 2004-12-14 2011-06-08 セイコーエプソン株式会社 自動画像補正装置及び電子機器
KR100767853B1 (ko) 2005-11-28 2007-10-17 엘지전자 주식회사 영상표시기기의 색상 제어장치 및 방법
KR20070091853A (ko) * 2006-03-07 2007-09-12 삼성전자주식회사 영상 적응적인 색 재현 장치 및 방법
JP4432054B2 (ja) * 2006-06-20 2010-03-17 富士フイルム株式会社 撮像装置及び方法
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US20080091515A1 (en) * 2006-10-17 2008-04-17 Patentvc Ltd. Methods for utilizing user emotional state in a business process
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity

Also Published As

Publication number Publication date
KR101390202B1 (ko) 2014-04-29
US8224106B2 (en) 2012-07-17
US20090141983A1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
KR101390202B1 (ko) 자동 감정 탐지를 이용한 영상 향상 시스템 및 방법
KR101520069B1 (ko) 관심 영역 기반 영상 처리 장치 및 방법
Liu et al. CID: IQ–a new image quality database
JP3880553B2 (ja) 画像処理方法および装置
US8290252B2 (en) Image-based backgrounds for images
WO2004077816A2 (en) Digital image exposure correction
JP2004194342A (ja) 映像の色特性に関するユーザーの選好性データの生成方法及び装置、これを利用した映像色選好特性の変換方法及び装置
US20190362202A1 (en) Image processing apparatus, display system, image processing method and storage medium
JP4687673B2 (ja) カラー画像のモノトーン化処理
JP5457652B2 (ja) 画像処理装置およびその方法
US9087385B2 (en) Method for improving images captured underwater
US20090303349A1 (en) Image processing apparatus and method of image processing
JP2006091980A5 (ko)
US20100097482A1 (en) Image processing apparatus, image processing method,image processing computer program product and camera
KR101394363B1 (ko) 영상의 색상 변환 장치 및 방법
JP4001079B2 (ja) カラー画像のモノトーン化処理
US20130155193A1 (en) Image quality evaluation apparatus and method of controlling the same
JP2009512924A (ja) カラー品質制御のための方法、システム、およびデバイス
KR102160247B1 (ko) 전자 장치 및 이의 제어 방법
US20140198256A1 (en) Image processing apparatus and associated method
JP2010130157A (ja) マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、および、マルチスペクトル画像処理プログラム
JP2008312177A (ja) 映像階調変換装置、映像階調変換方法、映像階調変換プログラム
JP4578398B2 (ja) 画像補正装置および方法，ならびに画像補正プログラム
JP5069599B2 (ja) 映像変換装置、映像変換方法および映像変換プログラム
JP4838224B2 (ja) 諧調変換装置および方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 6