KR20090060029A - 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 - Google Patents
영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 Download PDFInfo
- Publication number
- KR20090060029A KR20090060029A KR1020070127164A KR20070127164A KR20090060029A KR 20090060029 A KR20090060029 A KR 20090060029A KR 1020070127164 A KR1020070127164 A KR 1020070127164A KR 20070127164 A KR20070127164 A KR 20070127164A KR 20090060029 A KR20090060029 A KR 20090060029A
- Authority
- KR
- South Korea
- Prior art keywords
- foreground image
- image
- immersion
- saturation
- contrast
- Prior art date
Links
- 238000007654 immersion Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000006872 improvement Effects 0.000 claims description 53
- 230000002207 retinal effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 239000003623 enhancer Substances 0.000 claims description 14
- 210000001525 retina Anatomy 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000005476 size effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- ZGVCLZRQOUEZHG-UHFFFAOYSA-N sigmodal Chemical group CCCC(C)C1(CC(Br)=C)C(=O)NC(=O)NC1=O ZGVCLZRQOUEZHG-UHFFFAOYSA-N 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
영상 시퀀스 디스플레이에 대한 몰입감 향상(immersive enhancement) 방법 및 시스템을 개시한다. 몰입감 향상 시스템은, 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부, 상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부를 포함한다.
명도(brightness or lightness), 채도(saturation or chroma), 색조(hue), 망막, 이심률(eccentricity)
Description
본 발명은 이동 정보에 기초하여 영상 시퀀스 디스플레이에 대한 몰입감 향상(immersive enhancement)을 처리하는 방법 및 시스템에 관한 것이다.
몰입감(immersive)이란 현실성(realism), 관련성(involvement) 및 존재감(being there) 등을 포함하는 인간의 감각의 종류로서, 인간은 TV, 프로젝터나 영화와 같은 디스플레이의 크기가 클수록 더 큰 몰입감을 가질 수 있게 되고, 더 큰 호감을 느끼게 된다. 이러한 몰입감을 향상(enhancement)시키기 위한 종래기술로는 이차원 정지 이미지의 몰입감을 발생시키는 방법이 있다. 이러한 종래기술은 입력되는 이차원 정지 이미지의 전경 이미지와 배경 이미지간의 차이에 기초하여 전경 이미지나 배경 이미지의 명도, 채도 또는 색조를 변경하여 몰입감을 발생시킨다.
본 발명은 입력 영상의 프레임마다 전체 이미지에서의 전경 이미지에 대한 위치 또는 영역을 통해 상기 전경 이미지의 이동 정보를 얻고, 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감을 향상시키는 몰입감 향상 방법 및 시스템을 제공한다.
본 발명은 인간의 망막 이심율(human retinal eccentricity) 및 반영 망막 크기(reflected retina size)에 영향을 주는 상기 위치 및 상기 영역에 기초하여 상기 전경 이미지의 대비 또는 채도를 향상시킴으로써 상기 입력영상에 대한 몰입감을 향상시키는 몰입감 향상 방법 및 시스템을 제공한다.
본 발명의 일실시예에 따른 몰입감 향상 시스템은, 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부, 상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부를 포함한다.
본 발명의 일측면에 따르면, 상기 전경 이미지 확인부는, 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부, 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부 및 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 전경 이미지 특성 추출부는, 상기 프레임 의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 위치 확인부, 상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 영역 확인부 및 상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 명도 및 채도 계산부를 포함할 수 있다. 이때, 상기 전경 이미지의 위치 및 영역은 망막 이심률에 대응하는 각도(degree)의 단위로 계산될 수 있다.
본 발명의 일측면에 따르면, 상기 대비 스레시홀드 확인부는, 상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인할 수 있다.
본 발명의 일측면에 따르면, 상기 몰입감 향상 처리부는, 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시키는 대비 향상부를 포함할 수 있고, 상기 대비 향상부는, 시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시킬 수 있다.
본 발명의 일실시예에 따른 몰입감 향상 시스템은, 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인하는 이동 정보 확인부 및 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리하는 몰입감 향상 처리부를 포함한다.
본 발명의 일실시예에 따른 몰입감 향상 방법은, 입력 영상의 프레임마다 전경 이미지를 확인하는 단계, 상기 전경 이미지의 특성을 추출하는 단계, 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계 및 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 있어서, 몰입감 향상 방법을 설명하기 위한 흐름도이다.
단계(S101)에서 몰입감 향상을 처리하는 몰입감 향상 시스템은 입력 영상에 대한 칼라 스페이스(color space)를 변환한다. 상기 입력 영상에 대한 칼라 스페이스는 RGB(Red, Green, Blue) 디지털 신호로서 인간의 시각 체계와 연관되지 않고, 따라서 직접적으로 몰입감을 발생시키는데 이용될 수 없다. 즉, 상기 몰입감을 발생시키기 위해서는 인간의 시각 체계의 최종 출력으로서 표현되는 명도, 채도 및 색조와 같이 인간의 지각 특성이 이용될 수 있다.
상기 RGB 디지털 신호를 상기 세 가지 인간의 지각 특성으로 변환하는데 이용되는 많은 칼라 스페이스가 존재한다. 예를 들어, 'CIECAM02'는 정확한 칼라 출현 예측에 주로 이용되고, 'CIELAB'는 칼라 또는 이미지의 차이를 평가하는데 주로 이용된다. 또한, 'HSV'는 칼라 디자인 및 간단한 산업적 응용에 주로 이용된다. 본 발명의 일실시예에서는 상기 RGB 디지털 신호를 상기 세 가지 인간의 지각 특성으로 변환하기 위한 모든 칼라 스페이스가 적용될 수 있다. 이때, 표 1에서와 같이 각각의 칼라 스페이스에는 서로 다른 이름과 상기 세 가지 인간의 지각 특성에 대한 서로 다른 약어가 적용될 수 있다.
| 칼라 스페이스 | 명도 | 채도 | 색조 |
| CIECAM02 | Lightness(J) | Choma(C) | Hue(H) |
| CIELAB | Lightness(L) | Choma(C) | Hue(H) |
| HSV | Brightness(B or V) | Saturation(S) | Hue(H) |
상기 'CIECAM02'는 수학적 모델이나 및 실험적 평가를 위해 이용되어 왔기 때문에 본 발명의 일실시예에서는 상기 약어 'J', 'C' 및 'H'를 상기 명도, 채도 및 색조 각각에 대응하여 이용한다. 이용되는 서로 다른 모델에서 스케일링 파라미터들 또는 스레시홀드(threshold)는 비록 구조와 방정식이 동일하게 제시되었다 해도 차이점을 가질 수 있다. 상기 'CIECAM02' 또는 상기 'CIELAB'에서 상기 RGB 디지털 신호와 CIE 비색법(CIE XYZ)간의 관계에 기초하는 장치 캐릭터리세이션(characterization)이 수행될 필요가 있다. 서로 다른 디스플레이들을 위해 서로 다른 방법들이 이용될 수 있다. 이때, 가장 공통된 두 개의 방법으로서 GOG 모델과 PLCC 모델이 있다. 상기 GOG 모델은 주로 CRT(Cathode-Ray Tube) 디스플레이와 같이 선형 또는 파워 감마 곡선을 갖는 장치에서 주로 이용될 수 있고, 상기 PLCC 모델은 LCD 또는 OLED 모바일 디스플레이와 같이 불균형한 개뮤트 곡선(gamut curve)을 갖는 장치에서 이용될 수 있다.
단계(S102)에서 상기 몰입감 향상 시스템은 입력 영상의 프레임마다 전경 이미지를 확인한다. 이는 상기 프레임에서 상기 전경 이미지와 배경 이미지를 분리함으로써 수행될 수 있다. 상기 배경 이미지는 더 균일하고 낮은 주파수를 갖는 반면, 상기 전경 이미지는 복잡하고 높은 주파수를 갖는다. 따라서, 상기 입력 영상의 프레임 차이가 백그라운드나 움직이는 객체인 전경 이미지 중 하나를 확인하기 위한 요소로서 고려될 수 있다. 이를 위해, 상기 몰입감 향상 시스템은 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하고, 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출한 후 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)함으로써 상기 전경 이미지를 확인할 수 있다.
상기 프레임은 서로 다른 색조와 채도에 기반하여 서로 다른 칼라의 범위로 나누어질 수 있다. 따라서, 상기 몰입감 향상 시스템은 우선 전체 이미지에서의 각각의 칼라 범위에 포함된 픽셀의 비율(예를 들어, 백분율)을 계산하고, 상기 각각의 칼라 범위에 대한 평활도를 계산한다. 즉, 상기 칼라 정보에 기초하여 계산된 비율과 상기 평활도에 기초하여 상기 칼라 영역이 배경 이미지인지 여부를 판단할 수 있다. 또한, 상기 몰입감 향상 시스템은 배경 이미지로 판단된 칼라 범위에 대해 배경 칼라를 할당한다. 예를 들어, 배경 이미지로 판단된 칼라 범위를 모두 검은색으로 변경함으로써 상기 배경 칼라를 할당할 수 있다. 마지막으로 상기 몰입감 향상 시스템은 상기 배경 이미지의 경계를 평활한다.
도 2는 원본 이미지와 칼라 정보에 기초하여 전경 이미지를 분리한 이미지의 일례이다. 즉, 원본 이미지(210)의 움직이는 객체인 전경 이미지(211)와 배경 이미지(212) 중 배경 이미지(212)에 해당하는 칼라 범위를 찾아 칼라 범위에 대해 배경 칼라를 할당할 수 있고, 그 결과 이미지(220)와 같이 전경 이미지(221)에는 변화가 없고 배경 이미지(222)의 칼라를 상기 배경 칼라로 변경되었음을 알 수 있다. 도 2에서 결과 이미지(220)의 빗금은 배경 이미지(222)의 칼라가 상기 배경 칼라로 변경되었음을 나타낸다.
단계(S103)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성을 추출한다. 본 발명의 일실시예에서는 단계(S102)에서 확인된 전경 이미지에 대한 몰입감 향상을 위해 네 가지 특성을 이용한다.
첫 번째 특성은 상기 전경 이미지의 위치로서 이는 상기 프레임에 대한 전체 영역에서 상기 전경 이미지의 위치를 나타낸다. 이때, 상기 전경 이미지의 중심 위치는 상기 전경 이미지에서 각각의 픽셀의 위치에 대한 평균을 이용하여 계산될 수 있고, 일례로 하기 수학식 1과 같이 표현될 수 있다.
여기서, 상기 'x' 및 상기 'y'는 상기 전경 이미지에 포함된 픽셀의 수직 그리고 수평 위치를, 상기 '
' 및 상기 '
'는 상기 전경 이미지의 중심 위치를, 상기 'iF'는 상기 전경 이미지가 포함하는 전체 픽셀의 수를 각각 의미할 수 있다.
상기 전경 이미지의 위치는 사람의 망막 이심률과 직접적으로 관련되기 때문에 상기 중심 위치는 하기 수학식 2를 통해 각도(degree)의 단위로 표현될 수 있다.
여기서, 상기 '
' 및 상기 '
'는 전체 영역의 중심 위치를 상기 'P'는 상기 각도의 단위로 표현된 상기 전경 이미지의 중심 위치를 각각 의미할 수 있다. 상기 수학식 2에 따라, 상기 전경 이미지의 중심이 상기 전체 영역의 중심과 동일한 경우 상기 전경 이미지의 중심 위치는 0˚의 값을 가질 수 있고, 상기 전경 이미지가 상기 전체 영역의 경계에 존재하는 경우, 상기 전경 이미지의 중심 위치는 90˚의 값을 가질 수 있다.
도 3은 인간 눈의 망막에 대한 일례이고, 도 4는 각도의 단위로 표현된 전경 이미지의 위치에 대한 일례이다. 즉, 전체 이미지(401)에서 전경 이미지의 중심 위치는 각도로서 나타내어 진다. 예를 들어, 점선으로 표시된 원(402 내지 404)은 상기 중심 위치가 각각 30˚, 60˚ 및 90˚인 경우 가능한 위치를 나타내고 있고, 이러한 상기 중심 위치의 각도는 도 3에서 망막에 표시된 각도와 대응될 수 있다.
두 번째 특성은 상기 전경 이미지의 영역(area)으로서 사람 눈의 망막에 반 영된 이미지의 크기와 직접적인 관련이 있다. 따라서, 상기 영역 또한 각도의 단위로 표현될 수 있고, 일례로 하기 수학식 3과 같이 표현될 수 있다.
여기서, 상기 'iF'는 상술한 바와 같이 상기 전경 이미지의 전체 픽셀 수를 의미할 수 있고, 상기 'i'는 상기 전체 영역의 전체 픽셀 수를 의미할 수 있다. 이 경우, 상기 전경 이미지의 영역 'A'는 0˚부터 90˚까지 커버할 수 있고 만약, 상기 영역 'A'가 상기 전체 영역을 커버한다면, 상기 영역 'A'는 90˚의 값을 갖게 된다.
세 번째 및 마지막 특성은 상기 전경 이미지에 대한 평균 명도 및 평균 채도로서 상기 전경 이미지가 포함하는 모든 픽셀의 명도와 채도에 대한 각각의 평균을 통해 계산될 수 있다. 일례로 상기 평균 명도 및 상기 평균 채도는 하기 수학식 4와 같이 계산될 수 있다.
여기서, 상기 'J'는 픽셀의 명도를, 상기 '
'는 상기 평균 명도를 각각 의미할 수 있고, 상기 'C'는 픽셀의 채도를, 상기 '
'는 상기 평균 채도를 각각 의미할 수 있다.
이와 같은 상기 네 가지 특성은 이후 단계(S104) 및 단계(S105)에서 상기 전경 이미지를 향상시키기 위해 이용될 수 있다.
단계(S104)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인한다. 사람 눈의 대비 민감도(contrast sensitivity)가 망막 이심률 및 반영 망막 크기와 높은 관계가 있음은 잘 알려져 있다. 이때, 상기 대비 스레시홀드는 상기 반영 망막 크기가 증가함에 따라 선형적으로 증가하고, 고정된 영역에서 망막 이심률이 증가할수록 선형적으로 감소한다. 따라서, 본 발명의 일실시예에서 상기 전경 이미지의 위치와 영역을 상기 망막 이심률 및 반영 망막 크기로 각각 나타낼 수 있다.
상기 전경 이미지의 다양한 위치 및 영역에 대한 사람 눈의 반응성은 스케일링 팩터(scaling factor) 'KA' 및 'KP'에 의해 표현될 수 있다. 이 경우, 상기 대비 스레시홀드 'KC', 상기 'KA' 및 상기 'KP'는 하기 수학식 5 내지 하기 수학식 7과 같이 각각 계산 또는 표현될 수 있다.
여기서, 상기 'A'는 상기 전경 이미지의 영역을, 상기 'P'는 상기 전경 이미지의 위치를 각각 의미할 수 있다. 또한, 상기 'αA', 상기 'βA', 상기 'αP' 및 상기 'βP'는 기선정된 실수로서, 일례로 상기 'αA' 및 상기 'βA'는 0.9626 및 0.00374의 값을, 상기 'αP' 및 상기 'βP'는 1.5374 및 -0.00374의 값을 가질 수 있다.
또한, 상기 10˚의 값은 대비 프로세싱을 위한 스레시홀드로 설정될 수 있다. 상기 전경 이미지의 영역이 10˚보다 작으면 프로세싱되지 않고, 상기 전경 이미지의 중심 위치가 10˚ 이내에 위치하면 향상의 최대치에 도달하게 된다.
도 5는 인간 눈의 반응성에 대해 전경 이미지의 위치와 대비 스레시홀드간의 연관성을 설명하기 위한 일례이고, 도 6은 인간 눈의 반응성에 대해 전경 이미지의 영역과 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
상기 도 5 내지 상기 도 6은 상기 수학식 6 및 상기 수학식 7에 의해 설명될 수 있다. 여기서, 그래프(500)에서 x-축은 각도의 단위로 표현된 상기 전경 이미지의 위치를, y-축은 상기 스케일링 팩터 중 'KP'의 값을 각각 의미하고, 그래프(600)에서 x-축은 각도의 단위로 표현된 상기 전경 이미지의 영역을, y-축은 상기 스케일링 팩터 중 'KA'의 값을 각각 의미할 수 있다. 즉, 꺽인선(501)은 상기 위치가 스레시홀드 10˚를 기점으로 상기 스케일링 팩터 'KP'의 값에 선형적으로 반비례하고, 꺽인선(601)은 상기 영역이 상기 스레시홀드 10˚를 기점으로 상기 스케일링 팩터 'KA'의 값에 선형적으로 비례함을 나타낸다.
단계(S105)에서 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리한다.
이때, 상기 몰입감 향상 시스템은 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상할 수 있고, 이를 위해 시그모이달 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상할 수 있다. 상기 시그모이달(sigmoidal) 함수는 상기 전경 이미지에 수행되는 명도에 대한 대비 향상은 어두운 칼라를 더 어둡게, 그리고 밝은 칼라를 더 밝게 만드는 동일한 명도 향상의 현상에 기반한다. 이러한 상기 시그모이달 함수는 하기 수학식 8에서와 같이 두 개의 팩터 'x0' 및 시그마(Sigma)에 의해 제어될 수 있고, 본 발명의 일실시예에서는 상기 'x0'로서 상기 평균 명도를, 상기 시그마로서 상기 전경 이미지의 위치 및 영역에 의존하는 상기 대비 스레시홀드를 각각 이용한다.
상기 수학식 8에서 상기 'Si'는 평균 'x0' 및 표준 편차 'Σ'에 대한 누적 표준 정규 분포(cumulative normal distribution)를, 상기 'm'은 최대 명도값을 각각 나타낼 수 있다. 여기서 상기 'i'는 0 ≤ i ≤ m의 범위를 가지며, 입력 명도 'Jin'값에 대해 대비 향상된 출력 명도 'Jout'는 수학식 8의 두 번째 식과 같이 입력 명도값에서의 상기 누적 표준 분포값을 통해 최대 명도값 'Lmaxout' 및 최소 명도값 'Lminout'으로 정규화하여 최종적으로 구해지게 된다. 이 경우, 상기 명도의 대비 향상 후 상기 전경 이미지의 각각의 픽셀에 대한 명도 'Jin'은 상기 전경 이미지의 위치, 영역 및 평균 명도에 기초하여 명도 'Jout'으로 향상된다. 도 7은 명도 대비 향상을 설명하기 위한 일례이다. 그래프(700)에서 x-축은 입력되는 명도를, y-축은 출력되는 명도를 각각 의미한다. 즉, 곡선(701)은 평균 명도(702)를 기점으로 상기 입력되는 명도가 평균 명도(702) 이하인 경우, 상기 출력되는 명도는 더 낮아지고, 상기 입력되는 명도가 평균 명도(702) 이상인 경우, 상기 출력되는 명도는 더 높아진다. 즉, 어두운 색은 더 어두워지고, 밝은 색은 더 밝아지도록 향상됨을 확인할 수 있다.
또한, 상기 몰입감 향상 시스템은 상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하고, 상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상할 수 있다. 칼라 크기 효과는 사람의 눈에서의 칼라 자극이 고정된 위치에서 반영 망막 크기가 증가할수록 선형적으로 증가되는 반면, 고정된 크기에서 망막 이심률이 증가할수록 선형적으로 감소됨을 나타낸다. 본 발명의 일실시예에서는 사람 눈의 반응성을 시뮬레이션하기 위해 상기 전경 이미지에 포함된 픽셀 각각의 채도를 상기 전경 이미지의 위치, 영역 및 칼라 정보에 기초하여 향상시킬 수 있다. 이때, 상기 채도 스케일 'KS'은 하기 수학식 9와 같이 정의될 수 있다.
여기서, 상기 '
'는 이미지에서 중립색(neutral color)을 보호하기 위해 이용된 것으로, 상기 전경 이미지의 평균 채도를 의미할 수 있다. 또한, 상기 수학식 6 및 상기 수학식 7을 통해 설명한 상기 'KA' 및 상기 'KP'는 상기 전경 이미지의 영역 및 위치에 대한 사람 눈의 반응성을 표현할 수 있다.
이와 같이 상기 채도 스케일이 확인되면, 상기 몰입감 향상 시스템은 상기 채도 스케일에 기초하여 상기 평균 채도를 향상할 수 있다. 이를 위해, 일례로 상기 전경 이미지가 포함하는 각각의 픽셀을 위한 채도 향상을 위해 하기 수학식 10과 같이 표현되는 선형 함수가 이용될 수 있다.
여기서, 상기 'Cout' 및 상기 'Cin'은 입력되는 채도 및 출력되는 채도를 각각 의미할 수 있고, 상기 'KS'는 상기 수학식 9를 통해 설명한 바와 같이 채도 향상을 위한 상기 채도 스케일을 의미할 수 있다. 도 8은 채도 향상을 설명하기 위한 일례이다. 그래프(800)에서 x-축은 입력되는 채도를, y-축은 출력되는 채도를 각각 나타낸다. 이때, 직선(801)과 직선(802)은 각각 채도 향상 전과 후의 결과로서, 중립색의 채도가 크기 효과에 의해 변하지 않기 때문에 점(0, 0)에 강제된다.
단계(S106)에서 상기 몰입감 향상 시스템은 출력 영상에 대한 칼라 스페이스를 변환한다. 상기 몰입감 향상 시스템은 상기 전경 이미지가 향상된 후, 상기 전경 이미지의 각각의 픽셀을 위한 향상된 명도, 채도 및 보존된 색조를 얻을 수 있다. 이때, 향상된 전경 이미지와 보존된 배경 이미지를 결합함으로써 각각의 개별 프레임에 대한 새로운 향상 이미지를 얻을 수 있다. 즉, 상기 출력 영상을 얻을 수 있다. 이때, 상기 몰입감 향상 시스템은 상기 출력 영상에 대한 칼라 스페이스 를 변환하여 기존의 입력 영상과 같은 RGB 디지털 신호로 변환할 수 있다.
도 9는 본 발명의 일실시예에 있어서, 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 9에 도시된 바와 같이 몰입감 향상 시스템(900)은 칼라 스페이스 변경부(910), 전경 이미지 확인부(920), 전경 이미지 특성 추출부(930), 대비 스레시홀드 확인부(940) 및 몰입감 향상 처리부(950)를 포함한다.
칼라 스페이스 변경부(910)는 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환한다. 이때, 칼라 스페이스 변경부(910)는 RGB에 기반한 칼라 스페이스와 인간의 지각 특성에 기반한 칼라 스페이스간의 변환을 처리하고, 상기 지각 특성은 명도, 채도 및 색조 중 적어도 하나를 포함할 수 있다.
상기 입력 영상에 대한 칼라 스페이스는 RGB(Red, Green, Blue) 디지털 신호로서 인간의 시각 체계와 연관되지 않고, 따라서 직접적으로 몰입감을 발생시키는데 이용될 수 없다. 즉, 상기 몰입감을 발생시키기 위해서는 인간의 시각 체계의 최종 출력으로서 표현되는 명도, 채도 및 색조와 같이 인간의 지각 특성이 이용될 수 있다. 따라서, 칼라 스페이스 변경부(910)는 상기 RGB 디지털 신호의 칼라 스페이스를 상기 인간의 지각 특성에 대한 칼라 스페이스로 변경하고, 몰입감이 향상된 상기 출력 영상의 칼라 스페이스를 다시 원래의 RGB 디지털 신호의 칼라 스페이스로 변경할 수 있다.
전경 이미지 확인부(920)는 입력 영상의 프레임마다 전경 이미지를 확인한다. 이때, 전경 이미지 확인부(920)는 상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부(미도시), 상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부(미도시) 및 상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부(미도시)를 포함할 수 있다.
상기 프레임은 서로 다른 색조와 채도에 기반하여 서로 다른 칼라의 범위로 나누어질 수 있다. 따라서, 전경 이미지 확인부(920)는 우선 전체 이미지에서의 각각의 칼라 범위에 포함된 픽셀의 비율(예를 들어, 백분율)을 계산하고, 상기 각각의 칼라 범위에 대한 평활도를 계산한다. 즉, 상기 칼라 정보에 기초하여 계산된 비율과 상기 평활도에 기초하여 상기 칼라 영역이 배경 이미지인지 여부를 판단할 수 있다. 또한, 전경 이미지 확인부(920)는 배경 이미지로 판단된 칼라 범위에 대해 배경 칼라를 할당한다. 예를 들어, 배경 이미지로 판단된 칼라 범위를 모두 검은색으로 변경함으로써 상기 배경 칼라를 할당할 수 있다. 마지막으로 전경 이미지 확인부(920)는 상기 배경 이미지의 경계를 평활한다.
전경 이미지 특성 추출부(930)는 상기 전경 이미지의 특성을 추출한다. 이때, 전경 이미지 특성 추출부(930)는 상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하고, 상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인할 수 있다. 또한, 상기 전경 이미지의 평균 명도 및 평균 채도를 계산할 수 있다. 이러한 상기 전경 이미지의 위치 및 영역은 망막 이심률에 대응하는 각도의 단위로 계산될 수 있다.
대비 스레시홀드 확인부(940)는 상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인한다. 이때, 대비 스레시홀드 확인부(940)는 상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위 치 및 영역에 기초하여 상기 대비 스레시홀드를 확인할 수 있다.
몰입감 향상 처리부(950)는 상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리한다. 이때, 몰입감 향상 처리부는 상기 입력 영상에 대한 몰입감 향상을 처리하기 위해 도 9에 도시된 바와 같이 대비 향상부(951), 채도 스케일 확인부(952) 및 채도 향상부(953)를 포함할 수 있다.
대비 향상부(951)는 상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시킬 수 있다. 이때, 대비 향상부(951)는 시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상할 수 있다. 일례로, 상기 전경 이미지가 포함하는 픽셀 각각의 명도는 상기 평균 명도 이하인 경우 낮아지고, 상기 평균 명도 이상인 경우 높아질 수 있다.
채도 스케일 확인부(952)는 상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하고, 채도 향상부(953)는 상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시킨다. 칼라 크기 효과는 사람의 눈에서의 칼라 자극이 고정된 위치에서 반영 망막 크기가 증가할수록 선형적으로 증가되는 반면, 고정된 크기에서 망막 이심률이 증가할수록 선형적으로 감소됨을 나타낸다. 따라서, 채도 향상부(953)는 사람 눈의 반응성을 시뮬레이션하기 위해 상기 전경 이미지에 포함된 픽셀 각각의 채도를 상기 전경 이미지의 위치, 영역 및 칼라 정보에 기초하여 향상시킬 수 있다. 즉, 채도 스케일 확인부(952)는 상기 전경 이미지의 특성 중 상기 전경 이미지의 위치 및 영역에 기초하여 상기 채도 스케일을 확인하고, 채도 향상부(953)는 상기 채도 스케일 및 입력되는 채도에 기초하여 출력되는 채도를 계산함으로써 상기 전경 이미지의 채도를 향상시킬 수 있다.
도 10은 본 발명의 일실시예에 있어서, 다른 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다. 도 10에 도시된 바와 같이 몰입감 향상 시스템(1000)은 이동 정보 확인부(1010) 및 몰입감 향상 처리부(1020)를 포함할 수 있다.
이동 정보 확인부(1010)는 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인한다. 이를 위해, 이동 정보 확인부(1010)는 도 10에 도시된 바와 같이 위치 확인부(1011) 및 영역 확인부(1012)를 포함할 수 있다.
위치 확인부(1011)는 상기 프레임마다 상기 전경 이미지가 포함하는 픽셀의 위치에 기초하여 상기 전경 이미지의 위치를 확인하고, 영역 확인부(1012)는 상기 프레임마다 상기 전경 이미지의 픽셀 수에 대한 전체 픽셀 수의 비율에 기초하여 상기 전경 이미지의 영역을 확인한다. 이때, 상기 위치 및 상기 영역은 각도의 단위로 표현될 수 있다.
몰입감 향상 처리부(1020)는 상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리한다. 몰입감 향상 처리부(1020)는 대비 스레시홀드 계산부(1021), 대비 향상부(1022), 채도 스케일 확인부(1023) 및 채도 향상부(1024)를 포함할 수 있다.
대비 스레시홀드 계산부(1021)는 상기 위치 및 상기 영역에 기초하여 대비 스레시홀드를 계산하고, 대비 향상부(1022)는 상기 위치, 상기 영역 및 상기 대비 스레시홀드에 기초하여 상기 전경 이미지의 명도에 대한 대비를 향상시킨다.
채도 스케일 확인부(1023)는 상기 위치 및 상기 영역에 기초하여 채도 스케일을 확인하고, 채도 향상부(1024)는 상기 채도 스케일에 기초하여 상기 전경 이미지의 채도를 향상시킨다.
이상과 같이 본 발명을 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명하였으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 몰입감 향상 방법을 설명하기 위한 흐름도이다.
도 2는 원본 이미지와 칼라 정보에 기초하여 전경 이미지를 분리한 이미지의 일례이다.
도 3은 인간 눈의 망막에 대한 일례이다.
도 4는 각도의 단위로 표현된 전경 이미지의 위치에 대한 일례이다.
도 5는 인간 눈의 반응성에 대해 전경 이미지의 위치와 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
도 6은 인간 눈의 반응성에 대해 전경 이미지의 영역과 대비 스레시홀드간의 연관성을 설명하기 위한 일례이다.
도 7은 명도 대비 향상을 설명하기 위한 일례이다.
도 8은 채도 향상을 설명하기 위한 일례이다.
도 9는 본 발명의 일실시예에 있어서, 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 10은 본 발명의 일실시예에 있어서, 다른 몰입감 향상 시스템의 내부 구성을 설명하기 위한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
900: 몰입감 향상 시스템
910: 칼라 스페이스 변경부
920: 전경 이미지 확인부
930: 전경 이미지 특성 추출부
940: 대비 스레시홀드 확인부
950: 몰입감 향상 처리부
Claims (22)
- 입력 영상의 프레임마다 전경 이미지를 확인하는 전경 이미지 확인부;상기 전경 이미지의 특성을 추출하는 전경 이미지 특성 추출부;상기 전경 이미지의 특성에 기초하여 대비 스레시홀드(contrast threshold)를 확인하는 대비 스레시홀드 확인부; 및상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상(immersive enhancement)을 처리하는 몰입감 향상 처리부를 포함하는 몰입감 향상 시스템.
- 제1항에 있어서,상기 전경 이미지 확인부는,상기 입력 영상의 배경 이미지에 대해 칼라 정보 및 평활도 정보를 검출하는 정보 검출부;상기 칼라 정보에 기초하여 상기 배경 이미지의 경계를 검출하는 경계 검출부; 및상기 평활도 정보에 기초하여 상기 경계를 평활(smooth)하는 경계 평활부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제1항에 있어서,상기 전경 이미지 특성 추출부는,상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 위치 확인부;상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 영역 확인부; 및상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 명도 및 채도 계산부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제3항에 있어서,상기 전경 이미지의 위치 및 영역은 망막 이심률(human retinal eccentricity)에 대응하는 각도(degree)의 단위로 계산되는 것을 특징으로 하는 몰입감 향상 시스템.
- 제1항에 있어서,상기 대비 스레시홀드 확인부는,상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기(reflected retina size)에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제1항에 있어서,상기 몰입감 향상 처리부는,상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시키는 대비 향상부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제6항에 있어서,상기 대비 향상부는,시그모이달(sigmoidal) 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시키는 것을 특징으로 하는 몰입감 향상 시스템.
- 제1항에 있어서,몰입감 향상 처리부는,상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하는 채도 스케일 확인부; 및상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시키는 채도 향상부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제8항에 있어서,상기 채도 스케일 확인부는,상기 전경 이미지의 특성 중 상기 전경 이미지의 위치 및 영역에 기초하여 상기 채도 스케일을 확인하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제9항에 있어서,상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 칼라 스페이스 변환부;를 더 포함하는 몰입감 향상 시스템.
- 제10항에 있어서,상기 칼라 스페이스 변환부는,RGB(Red, Green, Blue)에 기반한 칼라 스페이스와 인간의 지각 특성(human perceptual attribute)에 기반한 칼라 스페이스간의 변환을 처리하고,상기 지각 특성은 명도, 채도 및 색조 중 적어도 하나를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 입력 영상의 프레임간에 전경 이미지의 이동 정보를 확인하는 이동 정보 확인부; 및상기 이동 정보에 기초하여 상기 입력 영상에 대한 몰입감 향상을 처리하는 몰입감 향상 처리부를 포함하는 몰입감 향상 시스템.
- 제12항에 있어서,상기 이동 정보 확인부는,상기 프레임마다 상기 전경 이미지가 포함하는 픽셀의 위치에 기초하여 상기 전경 이미지의 위치를 확인하는 위치 확인부; 및상기 프레임마다 상기 전경 이미지의 픽셀 수에 대한 전체 픽셀 수의 비율에 기초하여 상기 전경 이미지의 영역을 확인하는 영역 확인부를 포함하고,상기 위치 및 상기 영역은 각도의 단위로 표현되는 것을 특징으로 하는 몰입감 향상 시스템.
- 제12항에 있어서,상기 이동 정보는 상기 전경 이미지의 위치 및 영역에 대한 정보를 포함하고,상기 몰입감 향상 처리부는,상기 위치 및 상기 영역에 기초하여 대비 스레시홀드를 계산하는 대비 스레시홀드 계산부; 및상기 위치, 상기 영역 및 상기 대비 스레시홀드에 기초하여 상기 전경 이미지의 명도에 대한 대비를 향상시키는 대비 향상부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 제12항에 있어서,상기 이동 정보는 상기 전경 이미지의 위치 및 영역에 대한 정보를 포함하고,상기 몰입감 향상 처리부는,상기 위치 및 상기 영역에 기초하여 채도 스케일을 확인하는 채도 스케일 확인부; 및상기 채도 스케일에 기초하여 상기 전경 이미지의 채도를 향상시키는 채도 향상부를 포함하는 것을 특징으로 하는 몰입감 향상 시스템.
- 입력 영상의 프레임마다 전경 이미지를 확인하는 단계;상기 전경 이미지의 특성을 추출하는 단계;상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 단계; 및상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 단계를 포함하는 몰입감 향상 방법.
- 제16항에 있어서,상기 전경 이미지의 특성을 추출하는 상기 단계는,상기 프레임의 전체 영역에서 상기 전경 이미지의 위치를 확인하는 단계;상기 전체 영역에서 상기 전경 이미지에 해당하는 영역을 확인하는 단계; 및상기 전경 이미지의 평균 명도 및 평균 채도를 계산하는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
- 제16항에 있어서,상기 전경 이미지의 특성에 기초하여 대비 스레시홀드를 확인하는 상기 단계는,상기 전경 이미지의 특성 중 망막 이심률 및 반영 망막 크기에 영향을 주는 상기 전경 이미지의 위치 및 영역에 기초하여 상기 대비 스레시홀드를 확인하는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
- 제16항에 있어서,상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 상기 단계는,상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시키는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
- 제19항에 있어서,상기 대비 스레시홀드 및 상기 전경 이미지의 특성에 기초하여 상기 전경 이미지의 대비를 향상시키는 상기 단계는,시그모이달 함수에 기초하여 상기 전경 이미지의 평균 명도에 대한 대비를 향상시키는 것을 특징으로 하는 몰입감 향상 방법.
- 제16항에 있어서,상기 전경 이미지의 특성 또는 상기 대비 스레시홀드에 기초하여 상기 입력 영상의 몰입감 향상을 처리하는 상기 단계는,상기 전경 이미지의 특성에 기초하여 채도 스케일을 확인하는 단계; 및상기 채도 스케일에 기초하여 입력된 전경 이미지의 평균 채도를 향상시키는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
- 제16항에 있어서,상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 단계를 더 포함하고,상기 입력 영상 또는 출력 영상에 대한 칼라 스페이스를 변환하는 상기 단계는,RGB에 기반한 칼라 스페이스와 인간의 지각 특성에 기반한 칼라 스페이스간의 변환을 처리하는 단계를 포함하는 것을 특징으로 하는 몰입감 향상 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070127164A KR101329136B1 (ko) | 2007-12-07 | 2007-12-07 | 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 |
| US12/061,921 US8295539B2 (en) | 2007-12-07 | 2008-04-03 | Method and system of immersive sensation enhancement for video sequence displaying |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070127164A KR101329136B1 (ko) | 2007-12-07 | 2007-12-07 | 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090060029A true KR20090060029A (ko) | 2009-06-11 |
| KR101329136B1 KR101329136B1 (ko) | 2013-11-14 |
Family
ID=40721710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070127164A KR101329136B1 (ko) | 2007-12-07 | 2007-12-07 | 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8295539B2 (ko) |
| KR (1) | KR101329136B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101348601B1 (ko) * | 2008-01-31 | 2014-01-16 | 삼성전자주식회사 | 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017138672A1 (ko) | 2016-02-12 | 2017-08-17 | 삼성전자 주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
| US11557265B2 (en) * | 2020-11-13 | 2023-01-17 | Samsung Electronics Co., Ltd. | Perceptual color enhancement based on properties of responses of human vision system to color stimulus |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5109425A (en) * | 1988-09-30 | 1992-04-28 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Method and apparatus for predicting the direction of movement in machine vision |
| AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| US7003154B1 (en) * | 2000-11-17 | 2006-02-21 | Mitsubishi Electric Research Laboratories, Inc. | Adaptively processing a video based on content characteristics of frames in a video |
| DE10204500A1 (de) * | 2002-02-03 | 2003-08-14 | Fraunhofer Ges Forschung | Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen |
| US7033025B2 (en) * | 2002-05-17 | 2006-04-25 | Virtocc, Inc. | Interactive occlusion system |
| KR20070068729A (ko) | 2005-12-27 | 2007-07-02 | 엘지전자 주식회사 | 이동통신 단말기 및 이미지 데이터 표시방법 |
| JP2007226553A (ja) * | 2006-02-23 | 2007-09-06 | Mitsubishi Electric Corp | 画像合成装置 |
-
2007
- 2007-12-07 KR KR1020070127164A patent/KR101329136B1/ko active IP Right Grant
-
2008
- 2008-04-03 US US12/061,921 patent/US8295539B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101348601B1 (ko) * | 2008-01-31 | 2014-01-16 | 삼성전자주식회사 | 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101329136B1 (ko) | 2013-11-14 |
| US8295539B2 (en) | 2012-10-23 |
| US20090147986A1 (en) | 2009-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101366596B1 (ko) | 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법 | |
| Smith et al. | Apparent greyscale: A simple and fast conversion to perceptually accurate images and video | |
| KR101437195B1 (ko) | 코딩된 화상 및 영상에서 블록 아티팩트 검출 | |
| US8538147B2 (en) | Methods and appartuses for restoring color and enhancing electronic images | |
| CN107705264B (zh) | 一种图像处理方法、电子设备以及具有存储功能的装置 | |
| CN102867295B (zh) | 一种彩色图像颜色校正方法 | |
| WO2019092463A1 (en) | Video image processing | |
| US9947258B2 (en) | Image processing method and image processing apparatus | |
| JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
| CN113132696B (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
| CN108711142B (zh) | 图像处理方法及图像处理装置 | |
| CN109523469B (zh) | 图像缩放方法和装置 | |
| CN113344836A (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN105913460A (zh) | 一种肤色检测方法及装置 | |
| CN102567969B (zh) | 一种彩色图像边缘检测方法 | |
| CN113301409A (zh) | 视频合成方法、装置、电子设备和可读存储介质 | |
| CN101329762A (zh) | 基于内容相关图像尺寸调整的保真度评测方法 | |
| KR101329136B1 (ko) | 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템 | |
| US20160345887A1 (en) | Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program | |
| KR20070090224A (ko) | 전자 색 이미지 채도 처리 방법 | |
| Lee et al. | Contrast-preserved chroma enhancement technique using YCbCr color space | |
| US20240046836A1 (en) | Image processing methods and apparatuses, electronic devices and storage media | |
| CN109348219B (zh) | 一种不同结构下图像转换的方法及图像转换装置 | |
| TW201032578A (en) | Method for enhancing image contrast | |
| EP3503017A1 (en) | Method and display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20071207 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20120208 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20071207 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130419 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20130830 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20131107 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20131108 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20161018 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20161018 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171019 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171019 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181024 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181024 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20201019 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211025 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20221021 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231020 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241021 Start annual number: 12 End annual number: 12 |