KR101329136B1 - 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 - Google Patents

영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 Download PDF

Info

Publication number
KR101329136B1
KR101329136B1 KR1020070127164A KR20070127164A KR101329136B1 KR 101329136 B1 KR101329136 B1 KR 101329136B1 KR 1020070127164 A KR1020070127164 A KR 1020070127164A KR 20070127164 A KR20070127164 A KR 20070127164A KR 101329136 B1 KR101329136 B1 KR 101329136B1
Authority
KR
South Korea
Prior art keywords
foreground image
image
immersion
contrast threshold
foreground
Prior art date
Application number
KR1020070127164A
Other languages
English (en)
Other versions
KR20090060029A (ko
Inventor
카이다 찌아오
이호영
홍지영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070127164A priority Critical patent/KR101329136B1/ko
Priority to US12/061,921 priority patent/US8295539B2/en
Publication of KR20090060029A publication Critical patent/KR20090060029A/ko
Application granted granted Critical
Publication of KR101329136B1 publication Critical patent/KR101329136B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상 시퀀스 디스플레이에 대한 몰입감 향상(immersive enhancement) 방법 및 시스템을 개시한다. 몰입감 향상 시스템은, 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부, 상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부를 포함한다.
명도(brightness or lightness), 채도(saturation or chroma), 색조(hue), 망막, 이심률(eccentricity)

Description

영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및 시스템{METHDO AND SYSTEM OF IMMERSIVE ENHANCEMENT FOR VIDEO SEQUENCE DISPLAYING}
본 발명은 이동 정보에 기초하여 영상 시퀀스 디스플레이에 대한 몰입감 향상(immersive enhancement)을 처리하는 방법 및 시스템에 관한 것이다.
몰입감(immersive)이란 현실성(realism), 관련성(involvement) 및 존재감(being there) 등을 포함하는 인간의 감각의 종류로서, 인간은 TV, 프로젝터나 영화와 같은 디스플레이의 크기가 클수록 더 큰 몰입감을 가질 수 있게 되고, 더 큰 호감을 느끼게 된다. 이러한 몰입감을 향상(enhancement)시키기 위한 종래기술로는 이차원 정지 이미지의 몰입감을 발생시키는 방법이 있다. 이러한 종래기술은 입력되는 이차원 정지 이미지의 전경 이미지와 배경 이미지간의 차이에 기초하여 전경 이미지나 배경 이미지의 명도, 채도 또는 색조를 변경하여 몰입감을 발생시킨다.
본 발명은 입력 영상의 프레임마다 전체 이미지에서의 전경 이미지에 대한 위치 또는 영역을 통해 상기 전경 이미지의 이동 정보를 얻고, 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감을 향상시키는 몰입감 향상 방법 및 시스템을 제공한다.
본 발명은 인간의 망막 이심율(human retinal eccentricity) 및 반영 망막 크기(reflected retina size)에 영향을 주는 상기 위치 및 상기 영역에 기초하여 상기 전경 이미지의 대비 또는 채도를 향상시킴으로써 상기 입력영상에 대한 몰입감을 향상시키는 몰입감 향상 방법 및 시스템을 제공한다.
본 발명의 일실시예에 따른 몰입감 향상 시스템은, 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부, 상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부를 포함한다.
본 발명의 일측면에 따르면, 상기 전경 이미지 확인부는, 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부, 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부 및 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 전경 이미지 특성 추출부는, 상기 프레임 의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 위치 확인부, 상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 영역 확인부 및 상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 명도 및 채도 계산부를 포함할 수 있다. 이때, 상기 전경 이미지의 위치 및 영역은 망막 이심률에 대응하는 각도(degree)의 단위로 계산될 수 있다.
본 발명의 일측면에 따르면, 상기 대비 스레시홀드 확인부는, 상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인할 수 있다.
본 발명의 일측면에 따르면, 상기 몰입감 향상 처리부는, 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시키는 대비 향상부를 포함할 수 있고, 상기 대비 향상부는, 시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시킬 수 있다.
본 발명의 일실시예에 따른 몰입감 향상 시스템은, 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인하는 이동 정보 확인부 및 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리하는 몰입감 향상 처리부를 포함한다.
본 발명의 일실시예에 따른 몰입감 향상 방법은, 입력 영상의 프레임마다 전경 이미지를 확인하는 단계, 상기 전경 이미지의 특성을 추출하는 단계, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 있어서, 몰입감 향상 방법을 설명하기 위한 흐름도이다.
단계(S101)에서 몰입감 향상을 처리하는 몰입감 향상 시스템은 입력 영상에 대한 칼라 스페이스(color space)를 변환한다. 상기 입력 영상에 대한 칼라 스페이스는 RGB(Red, Green, Blue) 디지털 신호로서 인간의 시각 체계와 연관되지 않고, 따라서 직접적으로 몰입감을 발생시키는데 이용될 수 없다. 즉, 상기 몰입감을 발생시키기 위해서는 인간의 시각 체계의 최종 출력으로서 표현되는 명도, 채도 및 색조와 같이 인간의 지각 특성이 이용될 수 있다.
상기 RGB 디지털 신호를 상기 세 가지 인간의 지각 특성으로 변환하는데 이용되는 많은 칼라 스페이스가 존재한다. 예를 들어, 'CIECAM02'는 정확한 칼라 출현 예측에 주로 이용되고, 'CIELAB'는 칼라 또는 이미지의 차이를 평가하는데 주로 이용된다. 또한, 'HSV'는 칼라 디자인 및 간단한 산업적 응용에 주로 이용된다. 본 발명의 일실시예에서는 상기 RGB 디지털 신호를 상기 세 가지 인간의 지각 특성으로 변환하기 위한 모든 칼라 스페이스가 적용될 수 있다. 이때, 표 1에서와 같이 각각의 칼라 스페이스에는 서로 다른 이름과 상기 세 가지 인간의 지각 특성에 대한 서로 다른 약어가 적용될 수 있다.

칼라 스페이스

명도

채도

색조

CIECAM02

Lightness(J)
Choma(C)
Hue(H)

CIELAB

Lightness(L)
Choma(C)
Hue(H)

HSV

Brightness(B or V)
Saturation(S)
Hue(H)
상기 'CIECAM02'는 수학적 모델이나 및 실험적 평가를 위해 이용되어 왔기 때문에 본 발명의 일실시예에서는 상기 약어 'J', 'C' 및 'H'를 상기 명도, 채도 및 색조 각각에 대응하여 이용한다. 이용되는 서로 다른 모델에서 스케일링 파라미터들 또는 스레시홀드(threshold)는 비록 구조와 방정식이 동일하게 제시되었다 해도 차이점을 가질 수 있다. 상기 'CIECAM02' 또는 상기 'CIELAB'에서 상기 RGB 디지털 신호와 CIE 비색법(CIE XYZ)간의 관계에 기초하는 장치 캐릭터리세이션(characterization)이 수행될 필요가 있다. 서로 다른 디스플레이들을 위해 서로 다른 방법들이 이용될 수 있다. 이때, 가장 공통된 두 개의 방법으로서 GOG 모델과 PLCC 모델이 있다. 상기 GOG 모델은 주로 CRT(Cathode-Ray Tube) 디스플레이와 같이 선형 또는 파워 감마 곡선을 갖는 장치에서 주로 이용될 수 있고, 상기 PLCC 모델은 LCD 또는 OLED 모바일 디스플레이와 같이 불균형한 개뮤트 곡선(gamut curve)을 갖는 장치에서 이용될 수 있다.
단계(S102)에서 상기 몰입감 향상 시스템은 입력 영상의 프레임마다 전경 이미지를 확인한다. 이는 상기 프레임에서 상기 전경 이미지와 배경 이미지를 분리함으로써 수행될 수 있다. 상기 배경 이미지는 더 균일하고 낮은 주파수를 갖는 반면, 상기 전경 이미지는 복잡하고 높은 주파수를 갖는다. 따라서, 상기 입력 영상의 프레임 차이가 백그라운드나 움직이는 객체인 전경 이미지 중 하나를 확인하기 위한 요소로서 고려될 수 있다. 이를 위해, 상기 몰입감 향상 시스템은 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하고, 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출한 후 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)함으로써 상기 전경 이미지를 확인할 수 있다.
상기 프레임은 서로 다른 색조와 채도에 기반하여 서로 다른 칼라의 범위로 나누어질 수 있다. 따라서, 상기 몰입감 향상 시스템은 우선 전체 이미지에서의 각각의 칼라 범위에 포함된 픽셀의 비율(예를 들어, 백분율)을 계산하고, 상기 각각의 칼라 범위에 대한 평활도를 계산한다. 즉, 상기 칼라 정보에 기초하여 계산된 비율과 상기 평활도에 기초하여 상기 칼라 영역이 배경 이미지인지 여부를 판단할 수 있다. 또한, 상기 몰입감 향상 시스템은 배경 이미지로 판단된 칼라 범위에 대해 배경 칼라를 할당한다. 예를 들어, 배경 이미지로 판단된 칼라 범위를 모두 검은색으로 변경함으로써 상기 배경 칼라를 할당할 수 있다. 마지막으로 상기 몰입감 향상 시스템은 상기 배경 이미지의 경계를 평활한다.
도 2는 원본 이미지와 칼라 정보에 기초하여 전경 이미지를 분리한 이미지의 일례이다. 즉, 원본 이미지(210)의 움직이는 객체인 전경 이미지(211)와 배경 이미지(212) 중 배경 이미지(212)에 해당하는 칼라 범위를 찾아 칼라 범위에 대해 배경 칼라를 할당할 수 있고, 그 결과 이미지(220)와 같이 전경 이미지(221)에는 변화가 없고 배경 이미지(222)의 칼라를 상기 배경 칼라로 변경되었음을 알 수 있다. 도 2에서 결과 이미지(220)의 빗금은 배경 이미지(222)의 칼라가 상기 배경 칼라로 변경되었음을 나타낸다.
단계(S103)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성을 추출한다. 본 발명의 일실시예에서는 단계(S102)에서 확인된 전경 이미지에 대한 몰입감 향상을 위해 네 가지 특성을 이용한다.
첫 번째 특성은 상기 전경 이미지의 위치로서 이는 상기 프레임에 대한 전체 영역에서 상기 전경 이미지의 위치를 나타낸다. 이때, 상기 전경 이미지의 중심 위치는 상기 전경 이미지에서 각각의 픽셀의 위치에 대한 평균을 이용하여 계산될 수 있고, 일례로 하기 수학식 1과 같이 표현될 수 있다.
Figure 112007088360613-pat00001
여기서, 상기 'x' 및 상기 'y'는 상기 전경 이미지에 포함된 픽셀의 수직 그리고 수평 위치를, 상기 '
Figure 112007088360613-pat00002
' 및 상기 '
Figure 112007088360613-pat00003
'는 상기 전경 이미지의 중심 위치를, 상기 'iF'는 상기 전경 이미지가 포함하는 전체 픽셀의 수를 각각 의미할 수 있다.
상기 전경 이미지의 위치는 사람의 망막 이심률과 직접적으로 관련되기 때문에 상기 중심 위치는 하기 수학식 2를 통해 각도(degree)의 단위로 표현될 수 있다.
Figure 112007088360613-pat00004
여기서, 상기 '
Figure 112007088360613-pat00005
' 및 상기 '
Figure 112007088360613-pat00006
'는 전체 영역의 중심 위치를 상기 'P'는 상기 각도의 단위로 표현된 상기 전경 이미지의 중심 위치를 각각 의미할 수 있다. 상기 수학식 2에 따라, 상기 전경 이미지의 중심이 상기 전체 영역의 중심과 동일한 경우 상기 전경 이미지의 중심 위치는 0˚의 값을 가질 수 있고, 상기 전경 이미지가 상기 전체 영역의 경계에 존재하는 경우, 상기 전경 이미지의 중심 위치는 90˚의 값을 가질 수 있다.
도 3은 인간 눈의 망막에 대한 일례이고, 도 4는 각도의 단위로 표현된 전경 이미지의 위치에 대한 일례이다. 즉, 전체 이미지(401)에서 전경 이미지의 중심 위치는 각도로서 나타내어 진다. 예를 들어, 점선으로 표시된 원(402 내지 404)은 상기 중심 위치가 각각 30˚, 60˚ 및 90˚인 경우 가능한 위치를 나타내고 있고, 이러한 상기 중심 위치의 각도는 도 3에서 망막에 표시된 각도와 대응될 수 있다.
두 번째 특성은 상기 전경 이미지의 영역(area)으로서 사람 눈의 망막에 반 영된 이미지의 크기와 직접적인 관련이 있다. 따라서, 상기 영역 또한 각도의 단위로 표현될 수 있고, 일례로 하기 수학식 3과 같이 표현될 수 있다.
Figure 112007088360613-pat00007
여기서, 상기 'iF'는 상술한 바와 같이 상기 전경 이미지의 전체 픽셀 수를 의미할 수 있고, 상기 'i'는 상기 전체 영역의 전체 픽셀 수를 의미할 수 있다. 이 경우, 상기 전경 이미지의 영역 'A'는 0˚부터 90˚까지 커버할 수 있고 만약, 상기 영역 'A'가 상기 전체 영역을 커버한다면, 상기 영역 'A'는 90˚의 값을 갖게 된다.
세 번째 및 마지막 특성은 상기 전경 이미지에 대한 평균 명도 및 평균 채도로서 상기 전경 이미지가 포함하는 모든 픽셀의 명도와 채도에 대한 각각의 평균을 통해 계산될 수 있다. 일례로 상기 평균 명도 및 상기 평균 채도는 하기 수학식 4와 같이 계산될 수 있다.
Figure 112007088360613-pat00008
여기서, 상기 'J'는 픽셀의 명도를, 상기 '
Figure 112007088360613-pat00009
'는 상기 평균 명도를 각각 의미할 수 있고, 상기 'C'는 픽셀의 채도를, 상기 '
Figure 112007088360613-pat00010
'는 상기 평균 채도를 각각 의미할 수 있다.
이와 같은 상기 네 가지 특성은 이후 단계(S104) 및 단계(S105)에서 상기 전경 이미지를 향상시키기 위해 이용될 수 있다.
단계(S104)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인한다. 사람 눈의 대비 민감도(contrast sensitivity)가 망막 이심률 및 반영 망막 크기와 높은 관계가 있음은 잘 알려져 있다. 이때, 상기 대비 스레시홀드는 상기 반영 망막 크기가 증가함에 따라 선형적으로 증가하고, 고정된 영역에서 망막 이심률이 증가할수록 선형적으로 감소한다. 따라서, 본 발명의 일실시예에서 상기 전경 이미지의 위치와 영역을 상기 망막 이심률 및 반영 망막 크기로 각각 나타낼 수 있다.
상기 전경 이미지의 다양한 위치 및 영역에 대한 사람 눈의 반응성은 스케일링 팩터(scaling factor) 'KA' 및 'KP'에 의해 표현될 수 있다. 이 경우, 상기 대비 스레시홀드 'KC', 상기 'KA' 및 상기 'KP'는 하기 수학식 5 내지 하기 수학식 7과 같이 각각 계산 또는 표현될 수 있다.
Figure 112007088360613-pat00011
Figure 112007088360613-pat00012
Figure 112007088360613-pat00013
여기서, 상기 'A'는 상기 전경 이미지의 영역을, 상기 'P'는 상기 전경 이미지의 위치를 각각 의미할 수 있다. 또한, 상기 'αA', 상기 'βA', 상기 'αP' 및 상기 'βP'는 기선정된 실수로서, 일례로 상기 'αA' 및 상기 'βA'는 0.9626 및 0.00374의 값을, 상기 'αP' 및 상기 'βP'는 1.5374 및 -0.00374의 값을 가질 수 있다.
또한, 상기 10˚의 값은 대비 프로세싱을 위한 스레시홀드로 설정될 수 있다. 상기 전경 이미지의 영역이 10˚보다 작으면 프로세싱되지 않고, 상기 전경 이미지의 중심 위치가 10˚ 이내에 위치하면 향상의 최대치에 도달하게 된다.
도 5는 인간 눈의 반응성에 대해 전경 이미지의 위치와 대비 스레시홀드간의 연관성을 설명하기 위한 일례이고, 도 6은 인간 눈의 반응성에 대해 전경 이미지의 영역과 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
상기 도 5 내지 상기 도 6은 상기 수학식 6 및 상기 수학식 7에 의해 설명될 수 있다. 여기서, 그래프(500)에서 x-축은 각도의 단위로 표현된 상기 전경 이미지의 위치를, y-축은 상기 스케일링 팩터 중 'KP'의 값을 각각 의미하고, 그래프(600)에서 x-축은 각도의 단위로 표현된 상기 전경 이미지의 영역을, y-축은 상기 스케일링 팩터 중 'KA'의 값을 각각 의미할 수 있다. 즉, 꺽인선(501)은 상기 위치가 스레시홀드 10˚를 기점으로 상기 스케일링 팩터 'KP'의 값에 선형적으로 반비례하고, 꺽인선(601)은 상기 영역이 상기 스레시홀드 10˚를 기점으로 상기 스케일링 팩터 'KA'의 값에 선형적으로 비례함을 나타낸다.
단계(S105)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리한다.
이때, 상기 몰입감 향상 시스템은 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상할 수 있고, 이를 위해 시그모이달 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상할 수 있다. 상기 시그모이달(sigmoidal) 함수는 상기 전경 이미지에 수행되는 명도에 대한 대비 향상은 어두운 칼라를 더 어둡게, 그리고 밝은 칼라를 더 밝게 만드는 동일한 명도 향상의 현상에 기반한다. 이러한 상기 시그모이달 함수는 하기 수학식 8에서와 같이 두 개의 팩터 'x0' 및 시그마(Sigma)에 의해 제어될 수 있고, 본 발명의 일실시예에서는 상기 'x0'로서 상기 평균 명도를, 상기 시그마로서 상기 전경 이미지의 위치 및 영역에 의존하는 상기 대비 스레시홀드를 각각 이용한다.
Figure 112007088360613-pat00014
상기 수학식 8에서 상기 'Si'는 평균 'x0' 및 표준 편차 'Σ'에 대한 누적 표준 정규 분포(cumulative normal distribution)를, 상기 'm'은 최대 명도값을 각각 나타낼 수 있다. 여기서 상기 'i'는 0 ≤ i ≤ m의 범위를 가지며, 입력 명도 'Jin'값에 대해 대비 향상된 출력 명도 'Jout'는 수학식 8의 두 번째 식과 같이 입력 명도값에서의 상기 누적 표준 분포값을 통해 최대 명도값 'Lmaxout' 및 최소 명도값 'Lminout'으로 정규화하여 최종적으로 구해지게 된다. 이 경우, 상기 명도의 대비 향상 후 상기 전경 이미지의 각각의 픽셀에 대한 명도 'Jin'은 상기 전경 이미지의 위치, 영역 및 평균 명도에 기초하여 명도 'Jout'으로 향상된다. 도 7은 명도 대비 향상을 설명하기 위한 일례이다. 그래프(700)에서 x-축은 입력되는 명도를, y-축은 출력되는 명도를 각각 의미한다. 즉, 곡선(701)은 평균 명도(702)를 기점으로 상기 입력되는 명도가 평균 명도(702) 이하인 경우, 상기 출력되는 명도는 더 낮아지고, 상기 입력되는 명도가 평균 명도(702) 이상인 경우, 상기 출력되는 명도는 더 높아진다. 즉, 어두운 색은 더 어두워지고, 밝은 색은 더 밝아지도록 향상됨을 확인할 수 있다.
또한, 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하고, 상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상할 수 있다. 칼라 크기 효과는 사람의 눈에서의 칼라 자극이 고정된 위치에서 반영 망막 크기가 증가할수록 선형적으로 증가되는 반면, 고정된 크기에서 망막 이심률이 증가할수록 선형적으로 감소됨을 나타낸다. 본 발명의 일실시예에서는 사람 눈의 반응성을 시뮬레이션하기 위해 상기 전경 이미지에 포함된 픽셀 각각의 채도를 상기 전경 이미지의 위치, 영역 및 칼라 정보에 기초하여 향상시킬 수 있다. 이때, 상기 채도 스케일 'KS'은 하기 수학식 9와 같이 정의될 수 있다.
Figure 112007088360613-pat00015
여기서, 상기 '
Figure 112007088360613-pat00016
'는 이미지에서 중립색(neutral color)을 보호하기 위해 이용된 것으로, 상기 전경 이미지의 평균 채도를 의미할 수 있다. 또한, 상기 수학식 6 및 상기 수학식 7을 통해 설명한 상기 'KA' 및 상기 'KP'는 상기 전경 이미지의 영역 및 위치에 대한 사람 눈의 반응성을 표현할 수 있다.
이와 같이 상기 채도 스케일이 확인되면, 상기 몰입감 향상 시스템은 상기 채도 스케일에 기초하여 상기 평균 채도를 향상할 수 있다. 이를 위해, 일례로 상기 전경 이미지가 포함하는 각각의 픽셀을 위한 채도 향상을 위해 하기 수학식 10과 같이 표현되는 선형 함수가 이용될 수 있다.
Figure 112007088360613-pat00017
여기서, 상기 'Cout' 및 상기 'Cin'은 입력되는 채도 및 출력되는 채도를 각각 의미할 수 있고, 상기 'KS'는 상기 수학식 9를 통해 설명한 바와 같이 채도 향상을 위한 상기 채도 스케일을 의미할 수 있다. 도 8은 채도 향상을 설명하기 위한 일례이다. 그래프(800)에서 x-축은 입력되는 채도를, y-축은 출력되는 채도를 각각 나타낸다. 이때, 직선(801)과 직선(802)은 각각 채도 향상 전과 후의 결과로서, 중립색의 채도가 크기 효과에 의해 변하지 않기 때문에 점(0, 0)에 강제된다.
단계(S106)에서 상기 몰입감 향상 시스템은 출력 영상에 대한 칼라 스페이스를 변환한다. 상기 몰입감 향상 시스템은 상기 전경 이미지가 향상된 후, 상기 전경 이미지의 각각의 픽셀을 위한 향상된 명도, 채도 및 보존된 색조를 얻을 수 있다. 이때, 향상된 전경 이미지와 보존된 배경 이미지를 결합함으로써 각각의 개별 프레임에 대한 새로운 향상 이미지를 얻을 수 있다. 즉, 상기 출력 영상을 얻을 수 있다. 이때, 상기 몰입감 향상 시스템은 상기 출력 영상에 대한 칼라 스페이스 를 변환하여 기존의 입력 영상과 같은 RGB 디지털 신호로 변환할 수 있다.
도 9는 본 발명의 일실시예에 있어서, 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 9에 도시된 바와 같이 몰입감 향상 시스템(900)은 칼라 스페이스 변경부(910), 전경 이미지 확인부(920), 전경 이미지 특성 추출부(930), 대비 스레시홀드 확인부(940) 및 몰입감 향상 처리부(950)를 포함한다.
칼라 스페이스 변경부(910)는 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환한다. 이때, 칼라 스페이스 변경부(910)는 RGB에 기반한 칼라 스페이스와 인간의 지각 특성에 기반한 칼라 스페이스간의 변환을 처리하고, 상기 지각 특성은 명도, 채도 및 색조 중 적어도 하나를 포함할 수 있다.
상기 입력 영상에 대한 칼라 스페이스는 RGB(Red, Green, Blue) 디지털 신호로서 인간의 시각 체계와 연관되지 않고, 따라서 직접적으로 몰입감을 발생시키는데 이용될 수 없다. 즉, 상기 몰입감을 발생시키기 위해서는 인간의 시각 체계의 최종 출력으로서 표현되는 명도, 채도 및 색조와 같이 인간의 지각 특성이 이용될 수 있다. 따라서, 칼라 스페이스 변경부(910)는 상기 RGB 디지털 신호의 칼라 스페이스를 상기 인간의 지각 특성에 대한 칼라 스페이스로 변경하고, 몰입감이 향상된 상기 출력 영상의 칼라 스페이스를 다시 원래의 RGB 디지털 신호의 칼라 스페이스로 변경할 수 있다.
전경 이미지 확인부(920)는 입력 영상의 프레임마다 전경 이미지를 확인한다. 이때, 전경 이미지 확인부(920)는 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부(미도시), 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부(미도시) 및 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부(미도시)를 포함할 수 있다.
상기 프레임은 서로 다른 색조와 채도에 기반하여 서로 다른 칼라의 범위로 나누어질 수 있다. 따라서, 전경 이미지 확인부(920)는 우선 전체 이미지에서의 각각의 칼라 범위에 포함된 픽셀의 비율(예를 들어, 백분율)을 계산하고, 상기 각각의 칼라 범위에 대한 평활도를 계산한다. 즉, 상기 칼라 정보에 기초하여 계산된 비율과 상기 평활도에 기초하여 상기 칼라 영역이 배경 이미지인지 여부를 판단할 수 있다. 또한, 전경 이미지 확인부(920)는 배경 이미지로 판단된 칼라 범위에 대해 배경 칼라를 할당한다. 예를 들어, 배경 이미지로 판단된 칼라 범위를 모두 검은색으로 변경함으로써 상기 배경 칼라를 할당할 수 있다. 마지막으로 전경 이미지 확인부(920)는 상기 배경 이미지의 경계를 평활한다.
전경 이미지 특성 추출부(930)는 상기 전경 이미지의 특성을 추출한다. 이때, 전경 이미지 특성 추출부(930)는 상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하고, 상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인할 수 있다. 또한, 상기 전경 이미지의 평균 명도 및 평균 채도를 계산할 수 있다. 이러한 상기 전경 이미지의 위치 및 영역은 망막 이심률에 대응하는 각도의 단위로 계산될 수 있다.
대비 스레시홀드 확인부(940)는 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인한다. 이때, 대비 스레시홀드 확인부(940)는 상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위 치 및 영역에 기초하여 상기 대비 스레시홀드를 확인할 수 있다.
몰입감 향상 처리부(950)는 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리한다. 이때, 몰입감 향상 처리부는 상기 입력 영상에 대한 몰입감 향상을 처리하기 위해 도 9에 도시된 바와 같이 대비 향상부(951), 채도 스케일 확인부(952) 및 채도 향상부(953)를 포함할 수 있다.
대비 향상부(951)는 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시킬 수 있다. 이때, 대비 향상부(951)는 시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상할 수 있다. 일례로, 상기 전경 이미지가 포함하는 픽셀 각각의 명도는 상기 평균 명도 이하인 경우 낮아지고, 상기 평균 명도 이상인 경우 높아질 수 있다.
채도 스케일 확인부(952)는 상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하고, 채도 향상부(953)는 상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시킨다. 칼라 크기 효과는 사람의 눈에서의 칼라 자극이 고정된 위치에서 반영 망막 크기가 증가할수록 선형적으로 증가되는 반면, 고정된 크기에서 망막 이심률이 증가할수록 선형적으로 감소됨을 나타낸다. 따라서, 채도 향상부(953)는 사람 눈의 반응성을 시뮬레이션하기 위해 상기 전경 이미지에 포함된 픽셀 각각의 채도를 상기 전경 이미지의 위치, 영역 및 칼라 정보에 기초하여 향상시킬 수 있다. 즉, 채도 스케일 확인부(952)는 상기 전경 이미지의 특성 중 상기 전경 이미지의 위치 및 영역에 기초하여 상기 채도 스케일을 확인하고, 채도 향상부(953)는 상기 채도 스케일 및 입력되는 채도에 기초하여 출력되는 채도를 계산함으로써 상기 전경 이미지의 채도를 향상시킬 수 있다.
도 10은 본 발명의 일실시예에 있어서, 다른 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 10에 도시된 바와 같이 몰입감 향상 시스템(1000)은 이동 정보 확인부(1010) 및 몰입감 향상 처리부(1020)를 포함할 수 있다.
이동 정보 확인부(1010)는 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인한다. 이를 위해, 이동 정보 확인부(1010)는 도 10에 도시된 바와 같이 위치 확인부(1011) 및 영역 확인부(1012)를 포함할 수 있다.
위치 확인부(1011)는 상기 프레임마다 상기 전경 이미지가 포함하는 픽셀의 위치에 기초하여 상기 전경 이미지의 위치를 확인하고, 영역 확인부(1012)는 상기 프레임마다 상기 전경 이미지의 픽셀 수에 대한 전체 픽셀 수의 비율에 기초하여 상기 전경 이미지의 영역을 확인한다. 이때, 상기 위치 및 상기 영역은 각도의 단위로 표현될 수 있다.
몰입감 향상 처리부(1020)는 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리한다. 몰입감 향상 처리부(1020)는 대비 스레시홀드 계산부(1021), 대비 향상부(1022), 채도 스케일 확인부(1023) 및 채도 향상부(1024)를 포함할 수 있다.
대비 스레시홀드 계산부(1021)는 상기 위치 및 상기 영역에 기초하여 대비 스레시홀드를 계산하고, 대비 향상부(1022)는 상기 위치, 상기 영역 및 상기 대비 스레시홀드에 기초하여 상기 전경 이미지의 명도에 대한 대비를 향상시킨다.
채도 스케일 확인부(1023)는 상기 위치 및 상기 영역에 기초하여 채도 스케일을 확인하고, 채도 향상부(1024)는 상기 채도 스케일에 기초하여 상기 전경 이미지의 채도를 향상시킨다.
이상과 같이 본 발명을 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명하였으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 몰입감 향상 방법을 설명하기 위한 흐름도이다.
도 2는 원본 이미지와 칼라 정보에 기초하여 전경 이미지를 분리한 이미지의 일례이다.
도 3은 인간 눈의 망막에 대한 일례이다.
도 4는 각도의 단위로 표현된 전경 이미지의 위치에 대한 일례이다.
도 5는 인간 눈의 반응성에 대해 전경 이미지의 위치와 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
도 6은 인간 눈의 반응성에 대해 전경 이미지의 영역과 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
도 7은 명도 대비 향상을 설명하기 위한 일례이다.
도 8은 채도 향상을 설명하기 위한 일례이다.
도 9는 본 발명의 일실시예에 있어서, 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 10은 본 발명의 일실시예에 있어서, 다른 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
900: 몰입감 향상 시스템
910: 칼라 스페이스 변경부
920: 전경 이미지 확인부
930: 전경 이미지 특성 추출부
940: 대비 스레시홀드 확인부
950: 몰입감 향상 처리부

Claims (22)

  1. 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부;
    상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부;
    상기 전경 이미지의 상기 추출된 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부; 및
    상기 대비 스레시홀드 및 상기 전경 이미지의 상기 추출된 특성에 기초하여 상기 전경 이미지의 대비를 향상시킴으로써, 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부
    를 포함하고,
    상기 전경 이미지의 상기 추출된 특성은 복수이고,
    상기 대비 스레시홀드는 상기 전경 이미지의 상기 복수의 추출된 특성들 각각에 대해 상이하게 변화하는, 몰입감 향상 시스템.
  2. 제1항에 있어서,
    상기 전경 이미지 확인부는,
    상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부;
    상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부; 및
    상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부
    를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  3. 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부;
    상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부
    를 포함하고,
    상기 전경 이미지 특성 추출부는,
    상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 위치 확인부;
    상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 영역 확인부; 및
    상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 명도 및 채도 계산부
    를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  4. 제3항에 있어서,
    상기 전경 이미지의 위치 및 영역은 망막 이심률(human retinal eccentricity)에 대응하는 각도(degree)의 단위로 계산되는 것을 특징으로 하는 몰입감 향상 시스템.
  5. 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부;
    상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부
    를 포함하고,
    상기 대비 스레시홀드 확인부는,
    상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기(reflected retina size)에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인하는 것을 특징으로 하는 몰입감 향상 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 전경 이미지의 상기 대비의 향상은 시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시키는 것을 특징으로 하는 몰입감 향상 시스템.
  8. 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부;
    상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부
    를 포함하고,
    상기 몰입감 향상 처리부는,
    상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하는 채도 스케일 확인부; 및
    상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시키는 채도 향상부
    를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  9. 제8항에 있어서,
    상기 채도 스케일 확인부는,
    상기 전경 이미지의 특성 중 상기 전경 이미지의 위치 및 영역에 기초하여 상기 채도 스케일을 확인하는 것을 특징으로 하는 몰입감 향상 시스템.
  10. 제9항에 있어서,
    상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 칼라 스페이스 변환부;
    를 더 포함하는 몰입감 향상 시스템.
  11. 제10항에 있어서,
    상기 칼라 스페이스 변환부는,
    RGB(Red, Green, Blue)에 기반한 칼라 스페이스와 인간의 지각 특성(human perceptual attribute)에 기반한 칼라 스페이스간의 변환을 처리하고,
    상기 지각 특성은 명도, 채도 및 색조 중 적어도 하나를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  12. 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인하는 이동 정보 확인부; 및
    대비 스레시홀드 및 상기 이동 정보에 기초하여 상기 전경 이미지의 대비를 향상시킴으로써 상기 입력 영상에 대한 몰입감 향상을 처리하는 몰입감 향상 처리부
    를 포함하고,
    상기 대비 스레시홀드는 상기 전경 이미지의 상기 이동 정보에 대해 상이하게 변화하는 몰입감 향상 시스템.
  13. 제12항에 있어서,
    상기 이동 정보 확인부는,
    상기 프레임마다 상기 전경 이미지가 포함하는 픽셀의 위치에 기초하여 상기 전경 이미지의 위치를 확인하는 위치 확인부; 및
    상기 프레임마다 상기 전경 이미지의 픽셀 수에 대한 전체 픽셀 수의 비율에 기초하여 상기 전경 이미지의 영역을 확인하는 영역 확인부
    를 포함하고,
    상기 위치 및 상기 영역은 각도의 단위로 표현되는 것을 특징으로 하는 몰입감 향상 시스템.
  14. 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인하는 이동 정보 확인부; 및
    상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리하는 몰입감 향상 처리부
    를 포함하고,상기 이동 정보는 상기 전경 이미지의 위치 및 영역에 대한 정보를 포함하고,
    상기 몰입감 향상 처리부는,
    상기 위치 및 상기 영역에 기초하여 대비 스레시홀드를 계산하는 대비 스레시홀드 계산부; 및
    상기 위치, 상기 영역 및 상기 대비 스레시홀드에 기초하여 상기 전경 이미지의 명도에 대한 대비를 향상시키는 대비 향상부
    를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  15. 제12항에 있어서,
    상기 이동 정보는 상기 전경 이미지의 위치 및 영역에 대한 정보를 포함하고,
    상기 몰입감 향상 처리부는,
    상기 위치 및 상기 영역에 기초하여 채도 스케일을 확인하는 채도 스케일 확인부; 및
    상기 채도 스케일에 기초하여 상기 전경 이미지의 채도를 향상시키는 채도 향상부
    를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
  16. 입력 영상의 프레임마다 전경 이미지를 확인하는 단계;
    상기 전경 이미지의 특성을 추출하는 단계;
    상기 전경 이미지의 상기 추출된 특성에 기초하여 대비 스레시홀드를 확인하는 단계; 및
    상기 대비 스레시홀드 및 상기 전경 이미지의 상기 추출된 특성에 기초하여 상기 전경 이미지의 대비를 향상시킴으로써 상기 입력 영상의 몰입감 향상을 처리하는 단계
    를 포함하고,
    상기 전경 이미지의 상기 추출된 특성은 복수이고,
    상기 대비 스레시홀드는 상기 전경 이미지의 상기 복수의 특성들 각각에 대해 상이하게 변화하는, 몰입감 향상 방법.
  17. 입력 영상의 프레임마다 전경 이미지를 확인하는 단계;
    상기 전경 이미지의 특성을 추출하는 단계;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계
    를 포함하고,
    상기 전경 이미지의 특성을 추출하는 상기 단계는,
    상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 단계;
    상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 단계; 및
    상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 단계
    를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
  18. 입력 영상의 프레임마다 전경 이미지를 확인하는 단계;
    상기 전경 이미지의 특성을 추출하는 단계;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계
    를 포함하고,
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 상기 단계는,
    상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인하는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
  19. 삭제
  20. 제16항에 있어서,
    상기 전경 이미지의 상기 대비의 향상은 시그모이달 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시키는 것을 특징으로 하는 몰입감 향상 방법.
  21. 입력 영상의 프레임마다 전경 이미지를 확인하는 단계;
    상기 전경 이미지의 특성을 추출하는 단계;
    상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계; 및
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계
    를 포함하고,
    상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 상기 단계는,
    상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하는 단계; 및
    상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시키는 단계
    를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
  22. 제16항에 있어서,
    상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 단계
    를 더 포함하고,
    상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 상기 단계는,
    RGB에 기반한 칼라 스페이스와 인간의 지각 특성에 기반한 칼라 스페이스간의 변환을 처리하는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
KR1020070127164A 2007-12-07 2007-12-07 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 KR101329136B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070127164A KR101329136B1 (ko) 2007-12-07 2007-12-07 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템
US12/061,921 US8295539B2 (en) 2007-12-07 2008-04-03 Method and system of immersive sensation enhancement for video sequence displaying

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070127164A KR101329136B1 (ko) 2007-12-07 2007-12-07 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템

Publications (2)

Publication Number Publication Date
KR20090060029A KR20090060029A (ko) 2009-06-11
KR101329136B1 true KR101329136B1 (ko) 2013-11-14

Family

ID=40721710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070127164A KR101329136B1 (ko) 2007-12-07 2007-12-07 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템

Country Status (2)

Country Link
US (1) US8295539B2 (ko)
KR (1) KR101329136B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621710B2 (en) 2016-02-12 2020-04-14 Samsung Electronics Co., Ltd. Display device and display method therefor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348601B1 (ko) * 2008-01-31 2014-01-16 삼성전자주식회사 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법
US11557265B2 (en) 2020-11-13 2023-01-17 Samsung Electronics Co., Ltd. Perceptual color enhancement based on properties of responses of human vision system to color stimulus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003154B1 (en) * 2000-11-17 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Adaptively processing a video based on content characteristics of frames in a video
JP2007226553A (ja) * 2006-02-23 2007-09-06 Mitsubishi Electric Corp 画像合成装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
DE10204500A1 (de) * 2002-02-03 2003-08-14 Fraunhofer Ges Forschung Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen
US7033025B2 (en) * 2002-05-17 2006-04-25 Virtocc, Inc. Interactive occlusion system
KR20070068729A (ko) 2005-12-27 2007-07-02 엘지전자 주식회사 이동통신 단말기 및 이미지 데이터 표시방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003154B1 (en) * 2000-11-17 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Adaptively processing a video based on content characteristics of frames in a video
JP2007226553A (ja) * 2006-02-23 2007-09-06 Mitsubishi Electric Corp 画像合成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621710B2 (en) 2016-02-12 2020-04-14 Samsung Electronics Co., Ltd. Display device and display method therefor

Also Published As

Publication number Publication date
US20090147986A1 (en) 2009-06-11
US8295539B2 (en) 2012-10-23
KR20090060029A (ko) 2009-06-11

Similar Documents

Publication Publication Date Title
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
Smith et al. Apparent greyscale: A simple and fast conversion to perceptually accurate images and video
KR101437195B1 (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
US8538147B2 (en) Methods and appartuses for restoring color and enhancing electronic images
CN107705264B (zh) 一种图像处理方法、电子设备以及具有存储功能的装置
WO2019092463A1 (en) Video image processing
CN113344836B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
CN113132696B (zh) 图像色调映射方法、装置、电子设备和存储介质
CN113301408B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
US8290262B2 (en) Color processing apparatus and method thereof
KR101329136B1 (ko) 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템
US20160345887A1 (en) Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program
WO2022120799A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN109523469B (zh) 图像缩放方法和装置
CN109348219B (zh) 一种不同结构下图像转换的方法及图像转换装置
Lee et al. Contrast-preserved chroma enhancement technique using YCbCr color space
CN108174183A (zh) 一种基于物联网的vr影像数据控制系统
TW201032578A (en) Method for enhancing image contrast
EP3503017A1 (en) Method and display device
Mehmood et al. Perceptual Tone Mapping Model for High Dynamic Range Imaging
Dash et al. Texture classification using Laws’ filter in various color spaces
Safibullaevna et al. Processing Color Images, Brightness and Color Conversion
Choudhury et al. Comparing common still image quality metrics in recent High Dynamic Range (HDR) and Wide Color Gamut (WCG) representations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171019

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181024

Year of fee payment: 6