KR20060112677A - 비디오 컨텐츠의 서브샘플링으로 파생되고 렌더링되지 않은컬러 공간을 통해 맵핑된 주변광 - Google Patents
비디오 컨텐츠의 서브샘플링으로 파생되고 렌더링되지 않은컬러 공간을 통해 맵핑된 주변광 Download PDFInfo
- Publication number
- KR20060112677A KR20060112677A KR1020067013183A KR20067013183A KR20060112677A KR 20060112677 A KR20060112677 A KR 20060112677A KR 1020067013183 A KR1020067013183 A KR 1020067013183A KR 20067013183 A KR20067013183 A KR 20067013183A KR 20060112677 A KR20060112677 A KR 20060112677A
- Authority
- KR
- South Korea
- Prior art keywords
- ambient light
- color
- color space
- extracting
- rendered
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 9
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 77
- 239000003086 colorant Substances 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000975 dye Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000001795 light effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 241000519995 Stachys sylvatica Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- UYTPUPDQBNUYGX-UHFFFAOYSA-N guanine Chemical compound O=C1NC(N)=NC2=C1N=CN2 UYTPUPDQBNUYGX-UHFFFAOYSA-N 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 235000019688 fish Nutrition 0.000 description 2
- 235000013312 flour Nutrition 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000012860 organic pigment Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000005881 Calendula officinalis Nutrition 0.000 description 1
- 241000692870 Inachis io Species 0.000 description 1
- 240000009125 Myrtillocactus geometrizans Species 0.000 description 1
- 235000009781 Myrtillocactus geometrizans Nutrition 0.000 description 1
- 240000007817 Olea europaea Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 240000000785 Tagetes erecta Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 150000004056 anthraquinones Chemical class 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- ZYGHJZDHTFUPRJ-UHFFFAOYSA-N benzo-alpha-pyrone Natural products C1=CC=C2OC(=O)C=CC2=C1 ZYGHJZDHTFUPRJ-UHFFFAOYSA-N 0.000 description 1
- XJHABGPPCLHLLV-UHFFFAOYSA-N benzo[de]isoquinoline-1,3-dione Chemical class C1=CC(C(=O)NC2=O)=C3C2=CC=CC3=C1 XJHABGPPCLHLLV-UHFFFAOYSA-N 0.000 description 1
- 229910052948 bornite Inorganic materials 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 235000001671 coumarin Nutrition 0.000 description 1
- 150000004775 coumarins Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 150000002979 perylenes Chemical class 0.000 description 1
- 230000004310 photopic vision Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 239000003755 preservative agent Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000004296 scotopic vision Effects 0.000 description 1
- 238000012882 sequential analysis Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 150000005075 thioxanthenes Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
- H04N5/58—Control of contrast or brightness in dependence upon ambient light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
Abstract
주변광원에 의해 모방될 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리하는 단계는, 비디오 신호로부터 컬러 정보를 추출하는 단계와 주변광원을 구동하기 위해 제 2 렌더링된 컬러 공간을 형성하기 위해 3자극 원색 행렬을 사용하여 렌더링되지 않은 컬러 공간을 통해 컬러 정보를 변환하는 단계를 포함한다. 프레임으로 비디오 신호를 디코딩하면 비트스트림 로드를 감소시키기 위해, 평균 또는 다른 컬러 정보를 선택된 스크린 영역에서 추출하는 것처럼, 선택된 프레임으로부터 오직 컬러 정보만을 사용하여 인터프레임 보간 프로세스를 이용할 수 있으며, 부정적 감마 정정은 번쩍거리거나 부적절한 색도와 휘도를 방지하는 것을 돕는다.
Description
본 발명은, 예컨대, 비디오 디스플레이로부터의 비디오 컨텐츠에 일반적으로 기초한, 또는 이와 연관된, 복수의 광원을 사용해 주변광 효과를 생성하고 설정하는 것에 관한 것이다. 더 구체적으로, 본 발명은 서브샘플링된 비디오로부터 실시간으로 선택된 컬러 정보를 추출하고, 비디오 주변으로부터 복수의 주변광원을 구동하는 것을 허용하는 주변으로 컬러 맵핑 변환을 수행함으로써 복수의 주변광원을 구동하거나 설정하는 방법에 관한 것이다.
엔지니어들은 시청 스크린 및 프로젝션 영역을 확대하고, 실제와 같은 3D 효과를 위해 음향을 변조하고, 더 넓은 비디오 컬러 전영역(gamut), 해상도 및 예컨대, 고화질(HD) 디지털 TV 및 비디오 시스템에서의 화면비를 향상시킴으로써 감각적인 경험으로 얻어진 소비적 비디오 컨텐츠의 확장을 오랫동안 추구해왔다. 게다가, 필름, TV 및 비디오 제작사들은 또한 컬러, 장면 삭제, 시야각, 주변 장면, 및 컴퓨터-지원 그래픽 표현을 잘 사용함으로써, 시각/청각 수단을 사용하여 시청자의 경험에 영향을 주고자 했다. 이것은 또한 연극 무대 조명도 포함한다. 조명 효과 는, 예를 들어, 원하는 구조로 인코딩된 적절한 장면 스크립트로 프로그래밍된 기기 또는 컴퓨터의 도움으로 대개 스크립팅(script)되고-비디오 또는 재생 장면과 동기화되고- 재생된다.
종래 기술의 디지털 도메인에서, 기획되지 않거나 스크립팅되지 않은 장면을 포함해, 장면의 빠른 변화에 대해 조명을 자동으로 적응시키는 것은, 현재 시스템을 사용하여 요구된 큰 고대역 비트 스트림의 오버헤드로 인해 많은 부분에 조화롭게 편성하는 것이 쉽지 않았다.
필립스(네덜란드)와 다른 회사들은 비디오 디스플레이로부터 따로 분리된 광원을 사용해, 일반적 가정용 또는 업무용 애플리케이션을 위한 비디오 컨텐츠를 향상시키기 위해 주변 또는 주변광을 변경하기 위한, 그리고, 많은 애플리케이션을 위해, 일부 종류의 고급 스크립팅 또는 원하는 조명 효과를 인코딩하기 위한 수단을 개시하였다.
비디오 디스플레이 또는 텔레비전에 추가된 주변광은 시청자의 피로감을 줄이고 리얼리즘과 경험의 깊이를 개선하기 위해 보여져왔다.
감각적 경험은 자연스럽게 인간의 시각의 양상들의 작용이며, 이것은 컬러와 광 효과의 감각을 창출하기 위해 상당히 복잡한 감각 및 신경 기관을 사용한다. 인간은 아마도 천만가지의 다른 색상을 구별할 수 있을 것이다. 인간의 눈에는, 컬러-수신 또는 사진과 같은 시각의 경우, 상당한 부분이 중복되는, 최대 445, 535 및 565nm의 파장 피크치를 가진 흡수 분포(absorption distributions)를 지닌 원추세포이라고 하는 대략 2백만개의 감각체(sensory bodies)의 집합 세 개가 존재한다. 이들 세 가지 콘 유형은 소위 삼자극 체계(tristimulus system)를 형성하며 역사적인 이유로 인해 B(청색), G(녹색) 및 R(적색)이라고 한다; 피크(peak)는 예컨대, 일반적으로 사용된 RGB 형광체(phosphor)와 같이, 디스플레이에서 사용된 임의의 원색들에 대응할 필요는 없다. 또한 로드(rod)라고 하는 암소시(scotopic vision), 또는 소위 야간 시야 기관에 대한 상호작용이 존재한다. 인간의 눈은 일반적으로 1억2천만개의 로드를 가지며, 이것은 시각적인 경험, 특히 홈 시어터에서와 같은 낮은 광 상태에 경우, 영향을 미친다.
컬러 비디오는 인간의 시각의 원리에 근거하며, 인간 시각의 잘 알려진 3원색 및 반대 채널 이론은 원래 또는 의도된 이미지에 높은 충성도를 가지는 원하는 컬러 및 효과를 보기 위해 눈에 영향을 미치는 방법에 대한 이해에 결합되었다. 대부분의 컬러 모델 및 공간에서, 3차원 또는 좌표들이 인간의 시각적 경험을 설명하기 위해 사용된다.
컬러 비디오는 절대적으로 조건등색(metamerism)에 의존하며, 이것은 원하는 컬러 및 특성의 실제광보다는, 작은 수의 기준 자극(stimuli)을 사용하여 컬러 인지의 생성을 허용한다. 이렇게 하여, 컬러의 전영역은 전세계의 비디오 재생에 사용된 잘 알려진 RGB(적색, 녹색, 청색) 삼원색 체계와 같은, 기준 자극의 제한된 수를 사용하여 인간의 머릿속에서 재생된다. 예컨대, 거의 모든 비디오 디스플레이가 각 픽셀 또는 화소에서 적색 및 녹색광의 대략 같은 양을 생성함으로써 노란 장면광(scene light)을 보여준다는 사실은 잘 알려져 있다. 픽셀들은 그들이 대한(subtend) 입방각과 관련하여 작으며, 눈은 노란색으로 인식하게 된다; 실제로 방송되고 있는 녹색 또는 적색은 인식하지 않는다.
비디오 재생을 위한 컬러를 설명하고 지정하기 위해 사용하는 잘 알려진 CIE(Commission Internationale de l'Eclairage) 컬러 좌표 시스템을 포함해, 많은 컬러 모델과 컬러 지정 방법이 존재한다. 임의의 수의 컬러 모델은 CIE L*U*V*(CIELUV) 또는 CIE L*a*b(CIELAB) 체계와 같은, 렌더링되지 않은 반대 컬러 공간에 응용을 포함하는, 순간적인 발명을 사용하여 이용될 수 있다. 1931년에 설립된 CIE는, 모든 컬러 관리 및 재생을 위한 재단이며, 그 결과는 세 개의 좌표, x, y 및 z를 사용하는 색환표(chromaticity diagram)이다. 최대 밝기에서 이러한 3차원 체계의 플롯은 일반적으로 x 및 y의 항으로 컬러를 설명하기 위해 사용되며, 1931 x,y 색환표라고 하는, 이 플롯은, 인간이 인지하는 모든 컬러를 설명할 수 있다고 믿어진다. 이것은 컬러 재생과는 대조적으로, 조건등색을 사용하여 눈과 두뇌를 속인다. 많은 컬러 모델 또는 공간은 3원색 또는 형광체, 특히 Adobe RGB, NTSC RGB 등을 사용함으로써 컬러를 복제하기 위해 오늘날 사용된다.
그러나, 이들 삼자극(tristimulus) 체계를 사용하여 비디오 시스템에 의해 보여진 모든 가능한 컬러의 범위는 제한된다는 사실에 주목하는 것이 중요하다. NTSC(National Television Standards Committee; 국가 TV 표준 위원회) RGB 체계는 비교적 넓은 범위의 이용가능한 컬러를 구비하지만, 이 체계는 오직 인간이 인식하는 모든 컬러의 절반만을 재생할 수 있다. 많은 청색 및 보라색, 청록색, 및 오렌지/적색은 종래의 비디오 시스템의 이용가능한 범위를 사용해 적절히 렌더링되지 않는다.
게다가, 인간의 시각 체계는 그 이해가 임의의 비디오 시스템을 설계하는데 필요한 인식과 보상의 품질이 부여된다. 인간의 컬러는 외관의 여러 모드, 그 중에서 특히, 물체 모드 및 조명 모드에서 발생할 수 있다.
물체 모드에서, 광 자극은 광원에 의해 조명된 물체로부터 반사된 광으로 인식된다. 조명 모드에서, 광 자극은 광원으로 보여 진다. 조명 모드는 다른 자극보다 훨씬 더 밝은 복잡한 필드에서의 자극을 포함한다. 이것은 밝기 또는 휘도가 자극이 물체 모드에 있는 것처럼 보이도록 장면 또는 시계(field of view)의 전체 밝기 이하인, 비디오 디스플레이와 같은 광원인 것으로 알려진 자극을 포함하지 않는다.
현저하게, 물체 모드에서만 나타나는 많은 컬러가 있는데, 그 중에서도, 갈색, 올리브색, 적갈색(maroon), 회색 및 베이지 살색이 있다. 예를 들어, 갈색-컬러의 신호등과 같이, 광의 갈색 조명원으로서 사용되는 경우는 없다.
이러한 이유로, 주변광은 물체 컬러의 추가를 시도하는 비디오 시스템에 대한 주변광의 보충은 밝은 직접 광원을 사용하여 그렇게 할 수 없다. 가까운 범위에서 밝은 적색 및 녹색광원의 조합은 갈색 또는 적갈색을 재생할 수 없으며, 이것은 선택의 폭을 상당히 제한한다. 변화하는 강도와 채도에서, 오직 무지개 스펙트럼 컬러만이, 밝은 광원의 직접 관찰을 통해 재생될 수 있다. 이것은 색조 관리에 특별히 주의하여 광원으로부터 낮은 강도의 휘도 출력을 제공하기 위해, 주변광 체계에 대한 미세 제어의 필요성을 강조한다. 이러한 미세 제어는 본 데이터 아키텍처 하에서 빠르게 변화하는 미묘한 주변광을 허용하는 방식으로 현재 다루어지고 있지 않다.
비디오 재생은 많은 형태를 취할 수 있다. 스펙트럼 컬러 재생은 원래 자극의 스펙트럼 전력 분포의 정확한 재생을 허용하지만, 이것은 3가지 원색을 사용하는 임의의 비디오 재생에서 실현가능하지 않다. 정확한 컬러 재생은 인간의 시각 3자극치(tristimulus values)를 복제하고, 원본에 대한 조건등색(metameric) 매칭을 생성할 수 있지만, 화상 및 원래 장면에 대한 전체 시청 조건은 유사한 외관을 얻기 위해 유사해야 한다. 화상 및 원래 장면에 대한 전체 조건은 화상의 대변각(angular subtense), 주변의 휘도 및 채도, 그리고 빛(glare)을 포함한다. 정확한 컬러 재생이 종종 달성될 수 없는 한 가지 이유는 컬러 모니터에서 생성될 수 있는 최대 휘도의 제한이다.
측색(colorimetric) 컬러 재생은 삼자극치가 원래 장면에서의 그것에 비례하는 유용한 대안을 제공한다. 채도 좌표는 정확히 재생되지만, 비례적으로 휘도가 감소된다. 측색 컬러 재생은, 원본 및 재생된 기준 흰색이 동일한 채도를 가지며, 시청 조건이 동일하고 비디오 시스템이 통일성의 전체 감마를 가진다고 가정하면, 비디오 시스템에 유익한 참조 표준이다. 채도와 휘도가 원래 장면과 매치하는 동일한 컬러 재생은 비디오 디스플레이에서 생성된 제한된 휘도로 인해 달성될 수 없다.
실용되고 있는 대부분의 비디오 재생은 대응 컬러 재생의 달성을 시도하며, 재생된 컬러는 재생한 것과 같은 평균 휘도 레벨과 이와 동일한 기준 흰색 채도를 생성하기 위해 조명된 경우 원래 장면에서의 컬러의 외관과 동일한 외관을 갖는다. 그러나, 많은 사람들은 디스플레이 시스템을 위한 궁극적 목적은 실제로 선호되는 컬러 재생이며, 시청자의 선호 설정은 컬러 충성도(color fidelity)에 영향을 준다고 주장한다. 예를 들어, 선탠한 피부색은 평균적인 실제 피부색이 선호되며, 하늘은 파란색이, 잎사귀는 실제 색보다 더 녹색인 것이 선호된다. 대응 컬러 재생이 디자인 표준으로 수용되었다고 해도, 살색과 같은 일부 컬러들은 다른 컬러보다 더 중요한데, 이것은 NTSC 비디오 표준과 같은 많은 재생 시스템에서 특별 취급 대상이다.
장면광을 재생함에 있어서, 흰색 균형을 이루기 위한 색채 조정은 중요하다. 적절히 조정된 카메라와 디스플레이를 사용해, 흰색과 중간 회색은 일반적으로 CIE 표준 일광 발광체(illuminant) D65의 채도로 재생된다. 흰색 표면을 항상 동일한 채도로 재생함으로써, 시스템은 인간의 시각 체계를 흉내내고, 이것은 본질적으로 인식을 적응시켜 흰색 표면이, 발광체의 채도와 무관하게, 항상 동일하게 보이도록 하고, 흰색 종이가 해변에서 맑은 날에 발견되었든지, 또는 백열등이 켜진 실내 장면이든지, 흰색으로 보이도록 한다. 컬러 재생에서, 흰색 균형 조정은 대개 R,G,B 채널에 대한 이득 제어에 의해 이루어진다.
일반적인 컬러 수신기의 광출력은 일반적으로 선형적이지 않지만, 인가된 비디오 전압에 대한 전력-법(power-law) 관계를 따른다. 광출력은 전력 감마까지 증가된 비디오-구동 전압에 비례하며, 이 때 감마는 일반적으로 CRT(cathode ray tube; 음극선관)의 경우 2.5이고, 다른 유형의 광원의 경우 1.8이다. 이 계수에 대한 보상은 카메라 비디오 처리 증폭기에서 세 가지 원색 감마 정정기를 통해 이루어져서, 인코딩되고, 전송되며, 디코딩된 원색 비디오 신호는 사실 R,G,B가 아닌, R1/(,G1/(,B1/(이다. 측색 컬러 재생은 비디오 재생(카메라, 디스플레이 및 임의의 감마-조정 전자 기기를 포함)에 대한 전체 감마가 통일될 것을 요구하지만, 대응 컬러 재생이 시도될 때에는, 주변의 휘도가 우선한다. 예를 들어, 희미한 주변은 약 1.2의 감마를 요구하며, 어두운 주변은 최적 컬러 재생을 위해 약 1.5의 감마를 요구한다. 감마는 RGB 컬러 공간에 대해 중요한 구현 이슈이다.
대부분의 컬러 재생 인코딩은 RGB,ROMM RGB, Adobe RGB 98, Apple RGB와 같은 표준 RGB 컬러 공간 및 NTSC 표준에서 사용된 것과 같은 비디오 RGB 공간을 사용한다. 일반적으로, 이미지는 센서 또는 소스 디바이스 공간에 캡쳐되며, 이것은 디바이스 및 이미지가 특정된다. 이는 렌더링되지 않은 이미지 공간으로 변환될 수 있으며, 이는 원본의 측색을 설명하는 표준 컬러 공간이다(정의 부분 참조)
그러나, 비디오 이미지는 소스 디바이스 공간에서 렌더링된 이미지 공간으로 거의 항상 직접적으로 변환되며(정의 부분 참조), 이것은 비디오 디스플레이와 같은 일부 실제 또는 가상 출력 디바이스의 컬러 공간을 설명한다. 대부분의 기존 표준 RGB 컬러 공간은 렌더링된 이미지 공간이다. 예를 들어, 카메라와 스캐너로 생성된 소스 및 출력 공간은 CIE-기반 컬러 공간이 아니며, 카메라 또는 스캐너의 스펙트럼 민감성 및 다른 특성으로 한정된 스펙트럼 공간이다.
렌더링된 이미지 공간은 실제 또는 가상 디바이스 특성의 측색에 기초한 디바이스-특정 컬러 공간이다. 이미지는 렌더링된 이미지 공간 또는 렌더링되지 않은 이미지 공간에서 렌더링된 공간으로 변환될 수 있다. 이들 변환의 복잡성은 변화하며, 복잡한 이미지 의존적 알고리즘을 포함할 수 있다. 변환은 전환가능하지 않을 수 있고, 원래 장면 인코딩의 일부 정보는 특정 디바이스의 동적 범위와 전영역에 맞추기 위해 폐기되거나 압축된다.
디지털 스틸 카메라의 컬러 특성화(characterization)에 가장 많이 사용되는, ISO 17321에서 정의한 ISO RGB인 표준이 되는 과정 중에 있는 렌더링되지 않은 오직 하나의 RGB 컬러 공간이 현재 존재한다. 오늘날 대부분의 애플리케이션에서, 이미지는 비디오 신호를 포함해, 기록 보존(achiving) 또는 데이터 전송을 위한 렌더링된 컬러 공간으로 변환된다. 하나의 렌더링된 이미지 또는 컬러 공간에서 다른 것으로 변환하면 심각한 이미지 결함을 초래할 수 있다. 2개의 디바이스 사이에서 매칭되지 않은 전영역과 흰색 지점이 더 많이 존재할수록, 부정적 효과는 더 강해진다.
종래의 주변광 디스플레이 시스템에서의 한 가지 문제점은 적절한 측색(colorimetry)과 외관을 부여하기 위해 렌더링된 3자극치를 비디오로부터 주변광원의 그것으로 변환하기 위한 동기적 실시간 작동을 제공하기 위해 주어진 특정한 방법이 없다는 것이다. 예를 들어, LED 주변광원으로부터의 출력은 제한되거나 스큐잉된(skewed) 컬러 전영역과 함께 종종 번쩍거리며, 색조 및 크로마(chroma)는 측정과 재생이 어렵다. 예를 들어, Akashi 등의 미국 특허 6,611,297은 주변광에서의 리얼리즘을 다루지만, 어떠한 특정한 방법도 정확하고 유쾌한 색도를 보장하기 위해 주어지지 않으며, Akash의 297의 교시는 비디오를 실시간으로 분석하는 것을 설명하고 있지 않지만, 오히려 스크립트 또는 그 등가물을 필요로 한다.
더욱이, 비디오 컨텐츠로부터의 감마 정정된 컬러 공간을 사용하여 주변광원의 설정하면 종종 번쩍거리고, 밝은 컬러를 초래한다. 종래 기술에서 더 심각한 문제는 실시간 비디오 컨텐츠의 기능으로서 주변광원을 구동하고, 양호한 컬러 매칭이 요구되는 원하는 신속하게 변화하는 주변광 주변에 맞추도록 요구되는 대량의 전송된 정보이다.
그러므로, 일반적인 3자극 비디오 디스플레이 시스템과 연관해 주변광에 의해 생성된 가능한 전영역의 컬러를 확장시키는 것이 유리하다. 광 레벨의 기능으로서 다른 컬러의 상대적 휘도에서의 변화와 같이, 사람의 눈의 특성을 이용하는 것이 바람직한데, 이것은 사람의 시각의 효과, 민감도 및 다른 특수성을 보상하는 좋은 이점을 사용하는 주변광 시스템을 이용해 비디오 사용자에게 전송된 컬러 및 광의 특성을 변조하거나 변경함으로써 이루어진다.
또한 감마-야기된 왜곡 효과가 없는 양질의 대기를 생성하는 것도 유리하다. 평균 또는 특성화된 컬러값을 인코딩하는 경제적인 데이터 스트림을 사용하여 선택된 비디오 영역으로부터 발생한 모방(emulative) 주변광을 제공하기 위한 방법을 제공할 수 있으면 더 바람직하다. 또한 이러한 데이터스트림의 필요한 크기를 더 감소시키는 것이 더 바람직하다.
비디오 재생을 포함해, 비디오 및 텔레비전 엔지니어링, 압축 기술, 데이터 전송 및 인코딩, 인간의 시각, 컬러 과학 및 인지, 컬러 공간, 측색 및 이미지 렌더링에 관한 정보는, 본 명세서에 그 전문이 병합된 다음 참고 문헌에서 찾을 있다: 참고[1] Physics Today, 1992년 12월호, 제 45판, 제 12번 p.24-29에 게재된, Alan R. Robertson의 컬러 인지; 참고[2] John Wiley & Sons, Inc., New Yorkⓒ2001의 Kurt Nassau의 컬러 물리학 및 화학, 제2개정판; 참고[3] John Wiley & Sons, Inc., New Yorkⓒ2000의 Roy S. Berns의 컬러 기술의 원리, 제3개정판; 참고[4] McGraw-Hill, New Yorkⓒ2003의 Jerry Whitaker와 K.Blair Benson의 비디오 및 텔레비전 엔지니어링의 표준 핸드북, 제4개정판.
본 발명은 인터프레임 보간 프로세스를 사용하여, 주변광원에 의해 모방될 렌더링된 컬러 공간에 인코딩된 비디오 컨텐츠를 추출하고 처리하기 위한 방법에 관한 것이며, 이 방법은 [1] 비디오 신호를 프레임 세트로 디코딩하고, 오직 선택된 추출 프레임으로부터 컬러 정보를 추출하며, 보간된 프레임을 얻기 위해 상기 추출 프레임 사이에서 인터프레임 보간을 수행함으로써, 상기 렌더링된 컬러 공간에 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 상기 비디오 신호로부터 상기 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 파생되는, 컬러 정보 추출 단계; [2] 컬러 정보를 렌더링되지 않은 컬러 공간으로 변환하는 단계; [3] 컬러 정보를 렌더링되지 않은 컬러 공간에서 주변광원을 구동하는 것을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 변환하는 단계를 포함한다.
단계 [1]은 추가적으로 비디오 신호를 프레임 세트로 디코딩하는 단계; 추출 영역으로부터의 적어도 하나의 컬러 정보 추출을 포함하는, 컬러 정보로부터의 평균 컬러 추출 단계; 추출 영역과 인접한 주변광원으로부터 주변광을 브로드캐스팅(broadcast)하기 위해 컬러 정보의 추출을 사용하는 단계를 포함한다. 더욱이, 주변광 유닛에 제공된 제 2 렌더링된 컬러 공간에 대한 감마 정정을 수행할 수 있다.
단계 [2] 및 [3]은 추가적으로 제 1 및 제 2 삼자극 원색 행렬을 사용하여 렌더링된 컬러 공간과 제 2 렌더링된 컬러 공간의 원색들을 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 및 렌더링된 컬러 공간의 원색, 제 1 3자극 행렬, 및 제 2 3자극의 역(inverse) 행렬의 행렬 곱셈을 통해 컬러 정보를 제 2 렌더링된 컬러 공간으로의 변환을 유도하는 단계를 포함할 수 있다.
렌더링되지 않은 컬러 공간은 CIE XYZ; ISO 표준 17321에 정의된 ISO RGB; Photo YCC; 및 CIE LAB 중에 하나가 될 수 있으며, 단계 [1],[2] 및 [3]은 제 2 렌더링된 컬러 공간에서 컬러 정보를 사용하는 비디오 디스플레이로부터 또는 그 주변에서 주변광 브로드캐스팅을 하는, 비디오 신호와 실질적으로 동기적일 수 있다.
다른 방법은 주변광원에 의해 모방된 렌더링된 컬러 공간으로부터의 경계 영역 비디오 컨텐츠를 추출하고 처리하며 인터프레임 보간 프로세스를 사용하기 위해 개시되며, 이 방법은:
[1] 비디오 신호를 프레임 세트로 디코딩하고, 오직 선택된 추출 프레임으로부터 컬러 정보를 추출하고, 보간된 프레임을 얻기 위해 상기 추출 프레임 사이의 인터프레임 보간을 수행함으로써, 상기 렌더링된 컬러 공간으로 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 상기 비디오 신호로부터 상기 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새롭게 파생되는, 컬러 정보 추출 단계; [2] 각 개별 프레임에서 추출 영역으로부터의 컬러 정보로부터의 평균 컬러를 추출하는 단계; [3] 평균 컬러를 렌더링되지 않은 컬러 공간으로 변환하는 단계; [4] 평균 컬러를 렌더링되지 않은 컬러 공간에서 주변광원의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 변환하는 단계; 및 [5] 추출 영역에 인접한 주변광원으로부터의 주변광을 브로드캐스팅하기 위해 평균 컬러를 사용하는 단계를 포함한다. 단계 [1],[2],[3],[4], 및 [5]는 비디오 신호와 실질적으로 동기적일 수 있다.
더욱이, 측색 추정치를 사용하여, 주변광원에 의해 모방된 렌더링된 컬러 공간으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하며 인터프레임 보간 프로세스를 이용하기 위한 방법이 개시되며, 이 방법은: [1] 비디오 신호를 프레임 세트로 디코딩하고 오직 선택된 추출 프레임으로부터 컬러 정보를 추출하며, 보간된 프레임을 얻기 위해 상기 추출 프레임 사이의 인터프레임 보간을 수행함으로써, 상기 렌더링된 컬러 공간에 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 상기 비디오 신호로부터 상기 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 파생되는, 컬러 정보 추출 단계; [2] 각 개별 프레임에서 추출 영역으로부터의 컬러 정보로부터 측색 추정치를 추출하는 단계; [3] 측색 추정치를 렌더링되지 않은 컬러 공간으로 변환하는 단계; [4] 측색 추정치를 렌더링되지 않은 컬러 공간에서 주변광원의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 변환하는 단계; 및 [5] 추출 영역에 인접한 주변광원으로부터 주변광(L4)을 브로드캐스팅하기 위해 측색 추정치를 사용하는 단계를 포함한다.
도 1은 본 발명에 따른 컬러 정보 추출 영역과 6개의 주변광원으로부터의 주변광의 관련 브로드캐스팅을 나타내는 비디오 디스플레이의 단순화된 정면도.
도 2는 다수의 주변광원으로부터의 주변광이 본 발명을 사용하여 생성된 방안의 평면도(부분 개략도 및 부분 단면도).
도 3은 컬러 정보를 추출하고 주변광원의 구동을 허용하기 위해 컬러 공간 변환을 행하기 위한 본 발명에 따른 시스템을 도시한 도면.
도 4는 비디오 추출 영역으로부터 평균 컬러 정보를 계산하기 위한 식을 도시한 도면.
도 5는 렌더링된 원색 RGB를 렌더링되지 않은 컬러 공간 XYZ로 변환하기 위한 종래 기술의 행렬식을 도시한 도면.
도 6과 도 7은 비디오 및 주변광 렌더링된 컬러 공간 각각을, 렌더링되지 않은 컬러 공간으로 매핑하기 위한 행렬식을 도시한 도면.
도 8은 렌더링되지 않은 컬러 공간 XYZ로부터 주변광 3자극치 R'G'B'를 파생시키기 위해 알려진 역행렬을 사용한 해법을 도시한 도면.
도 9 내지 도 11은 흰색 포인트 방법을 사용하여 3자극 원색 행렬 M의 종래 기술에 따른 유도식을 도시한 도면.
도 12는 주변 브로드캐스팅을 위한 감마 정정 단계를 추가적으로 포함하는, 도 3에 도시된 것과 유사한 시스템을 도시한 도면.
도 13은 본 발명에 사용된 일반 변환 프로세스에 대한 개략도.
도 14는 본 발명에 의해 사용된 주변광원에 대한 변환 행렬 계수를 얻기 위한 프로세스 단계를 도시한 도면.
도 15는 본 발명을 사용하여 추정된 비디오 추출과 주변광 재생을 위한 프로세스 단계를 도시한 도면.
도 16은 본 발명에 따른 비디오 프레임 추출의 개략도.
도 17은 본 발명에 따른 생략된 크로미넌스 평가를 위한 프로세스 단계를 도시한 도면.
도 18은 프레임 디코더를 이용하고, 프레임 추출 비율을 설정하고, 주변광원을 구동하기 위한 출력 계산을 수행하는 도 3과 도 12에 도시된 추출 단계를 도시한 도면.
도 19 및 도 20은 본 발명을 위한 컬러 정보 추출 및 처리를 위한 프로세스 단계를 도시한 도면.
다음 정의는 본 명세서 전체에 사용된다.
- 주변광원- 첨부된 청구항에서, 임의의 광 생성 회로 또는 이에 따라 사용을 위한 광 스크립트 코드를 디코딩하는데 필요한 구동기를 포함한다.
- 주변 공간- 비디오 디스플레이 유닛 외부의 임의 및 모든 중요한 본체 또는 대기 또는 공간을 의미한다.
- 평균 컬러- 첨부된 청구항에서, 수치적 평균 이외에 평균 특성화를 포함하 며, 채도 및 휘도의 오프셋을 포함해, 비디오 컨텐츠의 기능적 또는 운영자-한정된 특성화를 포함한다.
- 크로미넌스- 주변광원을 구동한다는 주변에서, 생성된 광의 컬러 특성을 지정하는 기계적, 수치적 또는 물리적 방법을 가리키며, NTSC 또는 PAL 텔레비전 방송에서 사용된 것과 같은 특정 방법을 의미하지 않는다.
- 컬러 정보- 크로미넌스 및 휘도 중에 하나 또는 이들 모두, 또는 기능적으로 등가의 수량을 포함한다.
- 컴퓨터- 알려진 아키텍처를 이용하는 CPU와 같은, 모든 프로세서뿐만 아니라, 디지털 광학 디바이스, 또는 동일한 기능을 수행하는 아날로그 전자 회로와 같이, 코딩, 디코딩, 판독, 처리, 설정 코드나 변경 코드의 실행을 허용할 수 있는 임의의 인텔리전트 디바이스를 포함한다.
- 제어된 운영 파라미터- 휘도, 크로미넌스 또는, 전송 각도 또는 측광기(goniophotometric) 지수와 같은 광 특성 지수와 같이, 물리량 또는 물리 변수의 표시로서 인코딩된 파라미터를 나타낸다.
- 고니오크로매틱(goniochromatic)- 무지개색(iridescence)에 의해 생성된 것같이, 시야각 또는 관찰각의 함수로서 다른 컬러 또는 색도를 부여하는 품질을 뜻한다.
- 측광기(goniophotometric)- 진주광택이 나거나(pearlescent), 번쩍이거나(sparkling) 역반사체(retroreflective) 현상에서 발견된 것과 같이, 시야각 또는 관찰각의 함수로서 다른 광 밀도, 투과 및/또는 컬러를 부여하는 품질을 뜻한 다.
- 보간- 2개의 알려진 값의 세트 사이에 값을 설정하기 위한 함수적 규칙뿐만 아니라, 2개의 값 세트 사이의 선형적 또는 수학적 보간을 포함한다.
-광 특성- 넓은 의미에서, 광 투과 또는 반사의 정도와 같이, 휘도 및 크로미넌스 이외의 모든 서술자(descriptor)를 포함하여, 주변광원에 의해 생성된 것과 같은 광의 속성의 임의의 내역; 또는 주변광원을 관찰할 때 컬러, 번쩍임 또는 다른 알려진 현상이 시야각의 함수로서 생성되는 정도를 포함하여, 측광기 품질의 임의의 내역; 포인팅(Poynting) 또는 다른 전파 벡터를 지정함으로써 가능한 방향성을 포함하는, 광출력 방향; 입체각 또는 입체각 배분 함수와 같은, 광의 각 배분의 내역을 뜻한다. 또한 요소 픽셀 또는 램프 위치와 같은, 주변광원 상의 위치를 지정하기 위한 좌표(들)를 포함한다.
- 휘도- 임의의 밝기 파라미터 또는 크기, 세기, 또는 등가의 크기를 나타내며, 광 생성 또는 측정의 특정 방법, 또는 정신-생물학적 해석을 의미하지 않는다.
- 렌더링된 컬러 공간- 센서로부터 캡쳐되거나, 소스 또는 디스플레이 디바이스에 특정된 이미지 또는 컬러 공간을 나타내고, 이것은 디바이스 및 이미지-특정적이다. 대부분의 RGB 컬러 공간은 렌더링된 이미지 공간이며, 비디오 디스플레이(D)를 구동하는데 사용된 비디오 공간을 포함한다. 첨부된 청구항에서, 비디오 디스플레이와 주변광원(88)에 특정된 컬러 공간 모두는 렌더링된 컬러 공간이다.
- 컬러 정보를 렌더링되지 않은 컬러 공간으로 변환- 첨부된 청구항에서, 렌더링되지 않은 컬러 공간으로의 직접 변환 또는 렌더링되지 않은 컬러 공간(예, 도 8에 도시된 것 같은, (M2)-1)으로 변환을 통해 얻어진 3자극 원색 행렬의 역행렬을 사용하는 것에서 파생된 혜택의 사용을 포함한다.
- 렌더링되지 않은 컬러 공간- 표준 CIE XYZ; ISO 17321 표준에 정의된 것과 같은, ISO RGB; Photo YCC; 및 CIE LAB 컬러 공간을 사용하여 원래 이미지 측색을 설명하는 것과 같은 표준 또는 비-디바이스-특정 컬러 공간을 나타낸다.
- 비디오- 광 생성을 위한 에너지를 필요로 하는 능동 디바이스인지, 사무실 건물의 창문처럼, 이미지 정보를 전달하는 임의의 투과형 매체인지, 이미지 정보가 원격으로 유도되는 광 가이드인지와 무관하게, 임의의 시각 또는 광 생성 디바이스를 가리킨다.
- 비디오 신호- 임의의 오디오 부분을 포함하는, 비디오 디스플레이 유닛을 제어하기 위해 전송된 신호 또는 정보를 가리킨다. 그러므로, 비디오 컨텐츠 분석은 오디오 부분에 대한 가능한 오디오 컨텐츠 분석을 포함하는 것으로 고려된다. 일반적으로, 비디오 신호는 임의의 수의 알려진 변조 기술을 사용하는 무선 주파수 신호; 아날로그 및 양자화된 아날로그 파형을 포함하는 전자 신호; 펄스-폭 변조, 펄스-수 변조, 펄스-위치 변조, PCM(pulse code modulation; 펄스 코드 변조) 및 펄스 진폭 변조를 사용하는 것과 같은, 디지털(전자) 신호; 또는 음향(acoustic) 신호, 오디오 신호 및 광학 신호와 같은 다른 신호와 같이, 모두 디지털 기술을 사용할 수 있는, 임의의 유형의 신호를 포함할 수 있다. 컴퓨터-기반 애플리케이션에서와 같이, 다른 정보 사이에서 또는 이과 함께 단지 순차적으로 배치되는 데이터 도 역시 사용될 수 있다.
본 발명에 따른 비디오 컨텐츠로부터 파생된 주변광은 원하는 경우, 원래 비디오 장면 광의 채도에 대한 높은 정도의 충실도를 허용하면서도, 필요한 계산상의 부담이 낮은 주변광에 대한 재량의 정도의 한정성을 높은 정도로 유지한다. 이는 작은 컬러 전영역 및 감소된 휘도 공간을 가진 주변광원이 비교적 큰 컬러 전영역 및 휘도 응답 곡선을 가진 더 진보된 광원으로부터 비디오 장면광을 모방하는 것을 허용한다. 주변광에 대한 가능한 광원은 LED(Light Emitting Diodes) 및 관련 반도체 레디에이터; 비-반도체 유형을 포함한 전계 발광 디바이스; 할로겐 또는 진보된 화학을 사용한 변형된 유형을 포함한, 백열등; 형광등 및 네온등을 포함한 이온 방전 램프; LCD 또는 다른 광 변조기를 사용함으로써 변조된 광원; 기능상 디스플레이와 닮은 어레이를 포함한, 광발광성 이미터, 또는 임의의 수의 알려진 제어가능한 광원을 포함하여, 임의의 수의 알려진 광 디바이스를 포함할 수 있다.
이제 도 1을 참조하면, 본 발명에 따른 비디오 디스플레이(D)의 단순화된 전면도가 예시적으로 도시된다. 디스플레이(D)는 NTSC, PAL 또는 SECAM 방송 표준과 같이, 렌더링된 컬러 공간 또는 Adobe RGB와 같이, 렌더링된 RGB 공간으로부터 비디오 컨텐츠를 디코딩하는 임의의 다수의 알려진 디바이스일 수 있다. 디스플레이(D)는 그 경계가 임의로 미리 한정된 컬러 정보 추출 영역(R1,R2,R3,R4,R5,R6)을 포함하며, 이들은, 예를 들어, 디스플레이(D)가 장착된 벽(미도시)에 부분적인 광 확산에 의해, 도시된 것처럼 주변광(L1,L2,L3,L4,L5,L6)을 생성하고 브로드캐스팅하는 후면-장착된 제어가능한 주변광 유닛(미도시)을 통해서와 같이, 특징적인 주 변광(A8)을 생성할 목적을 위한 특징을 갖는다. 대안적으로, 도시된 것 같은 디스플레이 프레임(Df)은 그 자체가 또한 시청자에 대해 바깥 쪽(미도시)을 포함해, 유사한 방법으로 광을 디스플레이하는 주변광 유닛을 포함할 수 있다. 원하는 경우, 각 컬러 정보 추출 영역(R1-R6)은 그 자체에 인접한 주변광에 영향을 줄 수 있다. 예를 들어, 컬러 정보 추출 영역(R4)은 도시된 것처럼 주변광(L4)에 영향을 줄 수 있다.
이제 도 2를 참조하면, 방 또는 주변 공간(AO)의 평면도(부분 개략도 및 부분 단면도)가 도시되며 여기서 다수의 주변광원으로부터의 주변광은 본 발명을 사용해 생성된다. 주변 공간(AO)은 비디오 디스플레이(D)를 시청할 수 있도록 배열된 도시된 것과 같은 의자와 테이블(7)이 배치되어 있다. 주변 공간(AO)에는 또한, 도시된 광 스피커(1-4), 도시된 소파 또는 의자 밑에 보조광뿐만 아니라, 디스플레이(D) 주변에 배열된 특수 모방 주변광 유닛 세트, 즉, 도 1에 도시된 것 같은 주변광(Lx)을 생성하는 중앙광을 포함해, 본 발명을 사용해 선택적으로 제어되는 복수의 주변광 유닛이 배열된다. 이들 주변광 유닛 각각은 도면에서 그림자처럼 도시된 주변광(A8)을 방출할 수 있다.
본 발명과 협력하여, 비디오 디스플레이(D)로부터 유도되지만, 실제로 이로써 브로드캐스팅되지 않는 컬러 또는 색도를 가진 주변광 유닛으로부터 주변광을 생성할 수 있다. 이것은 사람의 눈과 시각 체계의 특성의 이용을 허용한다. 다양한 가시파장(visible wavelength)에 대한 검출 민감도를 부여하는, 인간의 시각 체계의 휘도 기능은 광 레벨의 기능으로 변화한다는 것이 주목되어야 한다.
예를 들어, 로드에 의존하는 암소시 또는 야간 시야는 청색과 녹색에 더 민감한 경향이 있다. 콘을 사용하는 광소시(photopic vision)는 적색과 노란색과 같은 더 긴 파장광을 검출하는데 더 알맞다. 어두운 홈 시어터 주변에서, 광 레벨의 기능으로서 다른 컬러의 관련 휘도의 이러한 변화는 주변 공간에서 비디오 사용자에게 전송된 컬러를 변조하거나 변경함으로써 다소 중화될 수 있다. 이것은 광 변조기(미도시)를 사용하여 광 스피커(1-4)와 같은 주변광 유닛의 광을 어둡게 하거나 광을 주변에 전파시키기 전에 더 변조시키기 위해 광 스피커에 추가된 부품, 즉, 광발광(photoluminescent) 에미터를 사용함으로써 행해질 수 있다. 광발광 에미터는 광원으로부터의 인입된 광으로부터 여기(excitation)를 흡수하거나 수용한(undergoing) 다음 이 광을 더 높은 요구된 파장으로 재방출함으로써 컬러 변환을 행한다. 형광 안료와 같은, 광발광 에미터에 의한 이러한 여기와 재방출은, 원래 비디오 이미지 또는 광원에 원래 존재하지 않고, 아마도 디스플레이(D)의 작동에 내재된 컬러의 범위 또는 컬러 전영역에서도 존재하지 않는 새로운 컬러의 렌더링을 허용할 수 있다. 이것은 주변광(Lx)의 원하는 휘도가, 매우 어두운 장면에서와 같이 낮을 때, 그리고 원하는 인지 레벨이 광 변조없이 일반적으로 이뤄진 것보다 더 높을 때 도움이 될 수 있다.
새로운 컬러의 생성은 새롭고 흥미로운 시각 효과를 제공할 수 있다. 예시적인 예로서, 이용가능한 형광 안료가 잘 알려진(참고 [2] 참조), 헌터 오렌지(hunter's orange)라는 컬러와 같은, 오렌지색 광의 생성을 들 수 있다. 주어진 예는 형광의 일반적 현상 및 이와 관련된 현상과 반대로서, 형광색을 포함한다. 형 광 오렌지 또는 다른 형광색 염료를 사용하면 낮은 광 상태에 특히 유용할 수 있으며, 이 상태에서 적색 및 오렌지색을 강하게 하면 긴 파장에 대한 암소시의 감소된 민감도를 중화시킬 수 있다.
주변광 유닛에 사용될 수 있는 형광 염료는 페릴렌(Perylenes), 나프탈리마이드(Naphthalimides), 쿠마린(Coumarins), 티오잔텐(Thioxanthenes), 안트라퀴논(Anthraquinones), 티오인디고이드(Thioindigoids)와 같은 염료 등급, 그리고 미국, 오하이오주, 클리브랜드, Day-Glo Color Corporation이 제조한 것과 같은, 독점적 염료 등급으로 알려진 염료를 포함한다. 이용가능한 컬러는 아파치 옐로우(Apache Yellow), 티크리스 옐로우(Tigris Yellow), 사바나 옐로우(Savannah Yellow), 포코노 옐로우(Pocono Yellow), 모호크 옐로우(Mohawk Yellow), 포토맥 옐로우(Potomac Yellow), 매리골드 오렌지(Marigold Orange), 오타와 레드(Ottawa Red), 볼가 레드(Volga Red), 새몬 핑크(Salmon Pink), 및 컬럼비아 블루(Columbia Blue)를 포함한다. 이들 염료 등급은 알려진 공정을 사용하여, PS, PET 및 ABS와 같은, 합성수지에 결합될 수 있다.
형광 염료 및 물질은 동일한 색도의 비형광 물질에 보다 상당히 밝도록 만들어질 수 있으므로, 시각적 효과를 향상시켰다. 형광색을 생성하기 위해 사용된 전통적인 유기 안료의 소위 지속성 문제는 지난 20년 동안 상당 부분 해결되었는데, 이것은 기술적 진보가 직사광선에 노출된 상태에서 7-10년 동안 생생한 색감을 유지하는 내구성있는 형광 안료를 개발하였기 때문이다. 이들 안료는 그러므로 자외선 유입이 최소화된 홈 시어터 주변에서 거의 파괴할 수 없다.
대안적으로, 형광 광안료(photopigment)가 사용될 수 있으며, 이것은 단순히 단파장광을 흡수하고, 이 광을 적색 또는 오렌지색과 같은 더욱 긴 파장으로 재방출함으로써 작용한다. 기술적으로 진보된 비유기(inorganic) 안료, 즉, 예를 들어, 청색과 보라색과 같은, 400-440nm 광의 가시광을 사용하여 여기를 행하는 안료는 이제 쉽게 이용가능하다.
측광기 및 고니오크로매틱 효과는 시야각의 함수로서 다른 광 컬러, 세기 및 특성을 만들기 위해 유사하게 전개될 수 있다. 이 효과를 실현하기 위해, 주변광 유닛(1-4 및 SL 및 Lx)은 알려진 측광기 소자(미도시)를 단독으로 또는 결합하여 사용할 수 있으며, 그 예로는, 금속 및 진주 광택이 나는 투과성 착색제(colorant); 잘 아려진 회절성 또는 박막 방해 효과를 사용한, 예를 들어, 물고기 비늘 에센스(fish scale essence)를 사용한 무지개 빛깔의(iridescent) 물질; 얇은 구아닌(guanine) 플레이크; 또는 방부제가 함유된 2-아미노히폭산틴(2-aminohypoxanthine)이 있다. 미세한 가루로 만든 운모 또는 다른 물질을 사용한 산란기(diffuser)가 사용될 수 있으며, 기타 물질의 예로는 산화물층, 반동광(bornite) 또는 공작 광석(peacock ore)으로 만들어진 진주 빛깔이 나는 물질; 금속 플레이크, 유리 플레이크, 또는 플라스틱 플레이크; 미립자 물질; 오일; 가루 유리 및 가루 플라스틱이 있다.
이제 도 3을 참조하면, 주변광원의 구동을 허용하기 위해 컬러 정보를 추출하고 컬러 공간 변환을 행하기 위한 본 발명에 따른 시스템이 도시된다. 제 1 단계로서, 컬러 정보는 알려진 기술을 사용하여 비디오 신호(AVS)로부터 추출된다.
비디오 신호(AVS)는 MPEG 인코딩, 오디오 PCM 인코딩 등을 위해 사용된 것 같은 알려진 디지털 데이터 프레임 또는 패킷을 포함할 수 있다. 가변 길이 데이터 패킷을 구비한 프로그램 스트림, 또는 데이터 패킷을 균등하게 분할하는 전송 스트림과 같은 데이터 패킷을 위한 알려진 인코딩 방식, 또는 단일 프로그램 전송 스트림과 같은 다른 방식을 사용할 수 있다. 대안적으로, 본 개시에서 주어진 기능적 단계 또는 블록은 비동기적 프로토콜을 포함하여, 컴퓨터 코드 및 다른 통신 표준을 사용하여, 모방될 수 있다.
일반적인 예로서, 도시된 비디오 신호(AVS)는 도시된 하드 디스크(HD)에 그리고 이로부터 선택된 컨텐츠를 기록하고 전송하기 위한 알려진 방법을 사용하여, 가능하게 컨텐츠 유형의 라이브러리 또는 도시된 메모리(MEM)에 저장된 다른 정보를 사용하여, 도시된 비디오 컨텐츠 분석(CA)을 행할 수 있다. 이것은, 선택된 비디오 컨텐츠의 독립적, 병렬적, 직접적, 지연적, 지속적, 주기적 또는 비주기적 전송을 허용할 수 있다. 이 비디오 컨텐츠로부터 컬러 정보의 구동과 같은 도시된 특성 추출(FE)을 수행할 수 있다. 이 컬러 정보는 여전히 렌더링된 컬러 공간으로 인코딩된 다음, 도시된 RUR 맵핑 변환 회로(10)를 사용하여 CIE XYZ와 같은 렌더링되지 않은 컬러 공간으로 변환된다. RUR은 본 명세서에서 원하는 변환 유형, 즉, 렌더링-비렌더링-렌더링(Rendered-Unrendered-Rendered)을 나타내며, 따라서 RUR 맵핑 변환 회로(10)는 또한 도시된 상기 주변광원(들)(88)의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 컬러 정보를 더 변환한다.
RUR 맵핑 변환 회로(10)는 동일한 기능을 행하는 소프트웨어를 사용하는 컴 퓨터 시스템에 기능적으로 장착될 수 있지만, 데이터 전송 프로토콜로 전송된 디코딩 패킷화된 정보를 디코딩하는 경우, 비디오 렌더링된 컬러 공간 계수 등을 상관시키거나 제공하는 정보를 포함하거나, 이를 포함하기 위해 업데이트된 회로(10) 내의 메모리(미도시)가 있을 수 있다. 이러한 새롭게 생성된 제 2 렌더링된 컬러 공간은 주변광원(88)(도 1 및 도 2에 도시됨)을 구동하기에 적합하며, 그 구동이 요구되며, 도시된 주변광 생성 회로(18)로 알려진 인코딩을 사용하여 제공된다. 주변광 생성 회로(18)는 RUR 맵핑 변환 회로(10)로부터 제 2 렌더링된 컬러 공간 정보를 취한 다음, 가능하게 도시된 주변광(제 2 렌더링된) 컬러 공간 LUT를 참고한 후 실제 주변광 출력 제어 파라미터(예, 인가된 전압)를 개발할 임의의 사용자 인터페이스 및 임의의 결과 선호설정 메모리(모두 U2로 표시됨)로부터 임의의 입력을 담당한다. 주변광 생성 회로(18)에 의해 생성된 주변광 출력 제어 파라미터는 도시된 주변광원(88)을 직접 제어하거나 제공하기 위해 램프 인터페이스 구동기(D88)에 제공되며, 이것은 도 1 및 도 2에 도시된 것처럼 이전에 언급한 주변광 스피커(1-4) 또는 주변 중앙광(Lx)과 같이, 개별 주변광 유닛(1-N)을 포함할 수 있다.
계산상 부담을 줄이기 위해, 비디오 신호(AVS)로부터 삭제된 컬러 정보는 생략되거나 제한될 수 있다. 도 4를 참조하면, 비디오 추출 영역으로부터의 평균 컬러 정보를 계산하기 위한 식이 도시된다. 이하 설명된 것처럼, 비디오 신호(AVS)에서 비디오 컨텐츠는 시간 순의 일련의 비디오 프레임을 포함할 것이 생각되지만, 반드시 그럴 필요는 없다. 각 비디오 프레임 또는 등가의 시간 블록에 대해, 각 추출 영역(예, R4)으로부터 평균 또는 다른 컬러 정보를 추출할 수 있다. 각 추출 영 역은 100X376 픽셀과 같이, 특정 크기를 갖도록 설정될 수 있다. 평균 추출 전에 추출 영역(R1-R6)에 대한 결과 전체 데이터(gross data)로서, 예를 들어, 25 프레임/초의 프레임 속도를 가정하면(8 비트 컬러를 지정하기 위해 오직 1 바이트만 필요하다고 가정하면) 각 비디오 RGB 3자극 원색에 대해 6x100x376x25 또는 5.64백만 바이트/초가 될 것이다. 이 데이터 스트림은 매우 크며 RUR 맵핑 변환 회로(10)에서 취급이 어려울 수 있어서, 각 추출 영역(R1-R6)에 대한 평균 컬러의 추출은 특성 추출(FE) 중에 수행될 수 있다. 특히, 도시된 것처럼 m x n 픽셀의 각 추출 영역에서 각 픽셀에 대해 RGB 컬러 채널값(예, Rij)을 합계할 수 있으며, 도시한 것처럼, 각 RGB 원색(예, 적색의 경우 Ravg)에 대한 평균에 도달하도록 픽셀 m x n의 수로 나눌 수 있다. 따라서 각 RGB 컬러 채널에 대해 이 합계를 반복하면, 각 추출 영역에 대한 평균은 세 조(triplet), 즉, 
가 될 수 있다. 동일한 절차는 모든 추출 영역(R1-R6)에 대해 그리고 각 RGB 컬러 채널에 대해 반복된다. 추출 영역의 수와 크기는 도시된 것과 다를 수 있으며, 원하는 것을 적용할 수 있다.
RUR 맵핑 변환 회로(10)에 의해 컬러 맵핑 변환을 행하는 다음 단계는 도 5에 도시된 것처럼, 알려진 3자극 원색 행렬을 사용하여 예시적으로 도시되고 표현될 수 있으며, 이 경우 벡터(R,G,B)를 가진 렌더링된 3자극 컬러 공간은 Xr,max, Yr,max, Zr,max와 같은 요소를 가진 3자극 원색 행렬(M)을 사용하여 변환되며, 이 때 Xr,max는 최대 출력에서 R 원색의 3자극치이다.
디바이스-독립적 공간을 렌더링된 컬러 공간에서 렌더링되지 않은 컬러 공간으로의 변환은 이미지 및/또는 디바이스 특정적일 수 있으며(알려진 선형화(linearization), 픽셀 재구성(필요한 경우)), 흰색 지점 선택 단계가 수행될 수 있으며, 행렬 변환이 후속된다. 이러한 경우, 단순히 렌더링되지 않은 컬러 공간 측색으로의 변환을 위해 렌더링된 비디오 출력 공간을 시작 지점으로 채용하기 위해 선택한다. 렌더링되지 않은 이미지는 시청가능하게 또는 인쇄가능하게 만들기 위해 추가적 변환을 거쳐야 하며, RUR 변환은 제 2 렌더링된 컬러 공간으로의 변환을 수반한다.
제 1 가능한 단계로서, 도 6과 도 7은 비디오 렌더링된 컬러 공간(원색 R,G,B로 표시)과 주변광 렌더링된 컬러 공간(R',G',B'로 표시)을 도시된 것처럼 렌더링되지 않은 컬러 공간(X,Y,Z)으로 맵핑하기 위한 행렬식을 나타내며, 이 때 3자극 원색 행렬(M1)은 비디오 RGB를 렌더링되지 않은 XYZ로 변환하며, 3자극 원색 행렬(M2)은 주변광원 R'G'B'을 도시된 것처럼 렌더링되지 않은 XYZ 컬러 공간으로 변환한다. 렌더링된 컬러 공간(RGB 및 R'G'B') 모두를 도 8에 도시된 것처럼 등식화하면 제 1 및 제 2 3자극 원색 행렬(M1,M2)을 사용하여 렌더링된 (비디오) 컬러 공간의 원색 RGB 및 R'G'B 및 제 2 렌더링된 (주변) 컬러 공간을 상기 렌더링되지 않은 컬러 공간으로의 행렬 변환(RUR 맵핑 변환); 및 렌더링된 비디오 컬러 공간의 RGB 원색, 제 1 3자극 행렬(M1) 및 제 2 3자극 행렬의 역행렬(M2)-1의 행렬 곱셈을 통해 컬러 정보를 제 2 렌더링된 컬러 공간(R'G'B')으로의 변환 유도를 허용한다. 알려진 디스플레이 디바이스에 대한 3자극 원색 행렬이 쉽게 이용가능한 반면, 주변광원에 대한 3자극 원색 행렬은 당업자에 의해서 알려진 흰색 지점 방법을 사용하여 결정될 수 있다.
도 9 내지 도 11을 참조하면, 흰색 지점 방법을 사용하여 일반화된 3자극 원색 행렬(M)의 종래 기술의 유도가 도시된다. 도 9에서, SrXr와 같은 수는 최대 출력에서 각 (주변광원) 원색의 3자극치를 나타내며, Sr는 흰색 지점 증폭을 나타내며, Xr는 (주변) 광원에 의해 생성된 원색광의 색도를 나타낸다. 흰색 지점 방법을 사용하여, 행렬식은 도시된 광원 색도 행렬의 알려진 역행렬을 사용하여 흰색 지점 기준값의 벡터와 Sr을 등식화한다. 도 11은 Xw와 같은 흰색 지점 기준값이 흰색 지점 증폭 또는 휘도와 광원 색도의 곱이라는 것을 연상시키기 위한 대수학적 조작이다. 전체적으로, 3자극치(X)는 색도(x)와 같게 설정되고; 3자극치(Y)는 색도(y)와 같게 설정되고; 3자극치(Z)는 1-(x+y)와 같게 설정되도록 정의된다. 알려진 것처럼, 제 2 렌더링된 주변광원 컬러 공간에 대한 컬러 원색 및 기준 흰색 컬러 성분은 컬러 분광계(spectrometer)를 사용하는 것과 같이, 알려진 기술을 사용하여 획득될 수 있다.
제 1 렌더링된 비디오 컬러 공간에 대한 유사한 수를 알 수 있다. 예를 들 어, 오늘날 스튜디오 모니터는 북미, 유럽 및 일본에서 조금씩 다른 표준을 가지고 있는 것으로 알려져 있다. 그러나, 고화질 텔레비전(HDTV)을 위한 원색에 대한 국제적인 합의가 도출되었으며, 이들 원색은 스튜디오 비디오, 컴퓨팅 및 컴퓨터 그래픽에서의 오늘날 모니터를 근접하게 대표하고 있다. 이 표준은 공식적으로 ITU-R 권고 BT.709로 표시되며, 이것은 요구된 파라미터를 포함하며, 이 때 RGB에 대한 관련 3자극 원색 행렬(M)은:
0.640 0.300 0.150 ITU-R BT.709에 대한 행렬 M
0.330 0.600 0.060
0.030 0.100 0.790
이며 흰색 지점값은 또한 알려져 있다.
이제 도 12를 참조하면, 도 3에 도시된 것과 유사한 시스템이 도시되며, 주변 브로드캐스팅을 위한 도시된 특성 추출 단계(FE) 이후에 감마 정정 단계(55)를 추가적으로 포함한다. 대안적으로, 감마 정정 단계(55)는 RUR 맵핑 변환 회로(10)와 주변광 생성 회로(18)에 의해 수행된 단계들 사이에서 수행될 수 있다. LED 주변광원에 대한 최적의 감마 값은 1.8인 것으로 알려졌으며, 따라서 일반적 비디오 컬러 공간 감마인 2.5를 중화시키기 위한 음의 감마 정정이 알려진 수학식을 사용해 발견된 정확한 감마 값으로 수행될 수 있다.
일반적으로, 임의의 적절한 알려진 소프트웨어 플랫폼을 통해 수행된 기능적 블록이 될 수 있는, RUR 맵핑 변환 회로(10)는 도 13에 도시된 것과 같은 일반적인 RUR 변환을 수행하며, 이 때 도시된 개략도는 비디오 RGB와 같은 렌더링된 컬러 공 간을 포함하는 비디오 신호(AVS)를 취하며, 이를 CIE XYZ와 같은 렌더링되지 않은 컬러 공간으로 변환한 다음; 제 2 렌더링된 컬러 공간(주변광원 RGB)으로 변환한다. 이러한 RUR 변환 이후에, 주변광원(88)은 도시된, 신호 처리와는 별도로, 구동될 수 있다.
도 14는 본 발명에 의해 사용된 주변광원에 대한 변환 행렬 계수를 얻기 위한 프로세스 단계를 도시하며, 이 때 단계들은 도시된 것처럼, 주변광 유닛(들)을 구동하는 단계; 및 종래 기술에 도시된 것같이 출력 선형도 점검 단계를 포함한다. 주변광원 원색이 안정적인 경우(왼쪽 화살표에 안정 원색으로 도시됨), 컬러 분광계를 사용하여 변환 행렬 계수를 획득할 수 있는 반면; 주변광원 원색이 안정적이지 않은 경우(오른쪽 화살표에 불안정 원색으로 도시됨), 이전에 주어진 감마 정정을 리셋할 수 있다(감마 곡선 리셋으로 도시됨).
일반적으로, 반드시 그런 것은 아니지만, R4와 같은 추출 영역에서 모든 픽셀로부터 컬러 정보를 추출하는 것이 바람직하며, 대신, 원하는 경우, 선택된 픽셀을 폴링(poll)하면 평균 컬러의 더 빠른 추정, 또는 추출 영역 컬러 특성화의 더 빠른 생성이 일어나도록 할 수 있다. 도 15는 본 발명을 사용한 추정된 비디오 추출과 주변광 재생을 위한 프로세스 단계를 도시하며, 이 때 단계들은 [1] (비디오 RGB와 같이, 렌더링된 컬러 공간으로부터) 비디오 재생의 측색 추정치 준비 단계; [2] 렌더링되지 않은 컬러 공간으로 변환 단계; 및 [3] 주변 재생에 대한 측정 추정치 변환 단계(LED RGB와 같이 제 2 렌더링된 컬러 공간)를 포함한다.
비디오 프레임으로부터의 비디오 컨텐츠의 추출 및 처리를 지원하는데 필요 한 요구된 데이터 비트스트림은(아래의 도 18 참조) 비디오 프레임의 현명한 서브샘플링에 의해 본 발명에 따라 감소될 수 있다는 사실이 발견되었다는 것이 주목되어야 한다. 이제 도 16을 참조하면, 본 발명에 따른 비디오 프레임 추출의 개략도가 도시된다. NTSC, PAL 또는 SECAM 표준에 의해 지정된 개별 비월(interlaced) 또는 비-비월(non-interlaced) 비디오 프레임과 같은 일련의 개별 연속적인 비디오 프레임(F), 즉 프레임(F1, F2, F3 등)이 도시된다. 컨텐츠 분석 및/또는 선택된 연속 프레임(예, 프레임(F1, FN))으로부터의 특성 추출(예, 컬러 정보 추출)을 수행함으로써, 데이터 로드 또는 오버헤드를 절감하면서, 수용가능한 주변광원 응답성, 리얼리즘 및 충성도를 유지할 수 있다. N=10이면 양호한 결과를 가져오는데, 즉, 10개의 연속적인 프레임 중 1개의 프레임을 서브샘플링하면 효과가 나타날 수 있다는 것이 발견되었다. 이것은 낮은 처리 오버헤드의 프레임 추출 사이에 리프레시 기간(P)을 제공하며, 이 기간 동안 인터프레임 보간 프로세스는 디스플레이(D)에서 크로미넌스 변화의 시간 경과의 적절한 근사(approximation)를 제공할 수 있다. 선택된 프레임(F1 및 FN)은 도시된 것처럼 추출되며(EXTRACT) G2,G3,G4로 도시된 크로미넌스 파라미터에 대한 중간 보간된 값은 주변광원(88)에 대한 이전에 언급된 구동 프로세tm를 알리기 위해 필요한 컬러 정보를 제공한다. 이것은 프레임(2 내지 N-1) 전체에서 동일한 컬러 정보를 간단히 고정시키거나 유지할 필요성을 제거한다. 보간된 값은 추출된 프레임(F1 및 FN) 사이의 전체 크로미넌스 차이가 보간된 프레임(G) 상에 확산된 경우와 같이, 선형적으로 결정될 수 있다. 대안적으로, 함 수는 추출된 프레임(F1 및 FN) 사이의 크로미넌스 차이를 임의의 다른 방법으로 확산시켜서, 추출된 컬러 정보의 시간 경과의 더 높은 순서의 근사에 맞출 수 있다.
도 17은 본 발명에 따른 생략된 크로미넌스 평가에 대한 프로세스 단계를 도시한다. 프레임 추출의 더 높은 순차 분석은 다른 경우에 가능한 것 보다 더 긴 리프레시 기간(P)과 더 큰 N일 수 있다. 프레임 추출 중에, 또는 추출 영역(Rx)에서 선택된 픽셀의 잠정적 폴링 중에, 도시된 것과 같은 생략된 크로미넌스 평가를 행할 수 있으며, 이것은 왼쪽에 도시된 것처럼, 다음 프레임 추출에서의 지연을 야기시키거나 오른쪽에 도시된 것처럼, 전체 프레임 추출의 개시를 초래할 것이다. 어떠한 경우라도, 보간이 진행되며, 지연된 다음 프레임 추출은 고정되거나 증가된 크로미넌스 값이 사용되도록 한다. 이것은 비트스트림 또는 대역폭 오버헤드에 대해 더욱 경제적인 작동을 제공할 수 있다.
도 18은 도 3과 도 12의 맨 위 부분을 도시하며, 이 경우 대안적인 추출 단계가 도시되고 이에 따라 프레임 디코더(FD)가 사용되며, 추출 영역(예,R1)으로부터 영역 정보가 도시된 것처럼 단계(33)에서 추출된다. 추가적인 프로세스 또는 성분 단계(35)는 크로미넌스 차이를 평가하는 단계, 및 나타난 것처럼, 비디오 프레임 추출 속도를 설정하기 위해 이 정보를 사용하는 단계를 포함한다. 도 4의 평균화 단계처럼, 출력 계산(00)을 수행하는 다음 프로세스 단계는, 도시된 것처럼, 주변광 및 이전에 도시된 생성 회로(18)로의 데이터 전송 이전에 수행된다.
도 19에 도시된 것처럼, 본 발명을 위한 컬러 정보 추출 및 처리를 위한 일 반적인 프로세스 단계는 비디오 신호(AVS)를 획득하는 단계; 선택된 비디오 프레임(이전에 언급한 F1 및 FN와 같이)으로부터 영역 (컬러) 정보를 추출하는 단계; 선택된 비디오 프레임 사이에 보간하는 단계; RUR 맵핑 변환; 선택적 감마 정정; 및 이 정보를 주변광원(88)을 구동하기 위해 사용하는 단계를 포함한다. 도 20에 도시된 것처럼, 2개의 추가적인 프로세스 단계는 선택된 프레임으로부터 정보의 영역 추출이후에 삽입될 수 있으며: 선택된 프레임(F1 및 FN) 사이의 크로미넌스 차이의 평가를 수행할 수 있고, 미리 설정된 표준에 따라서, 나타난 것처럼 새로운 프레임 추출 속도를 설정할 수 있다. 따라서, 연속적인 프레임(F1 및 FN) 사이의 크로미넌스 차이가 크거나, 급격히 증가하거나(예, 큰 제 1 도함수(derivative)), 크로미넌스 차이 이력에 기초하는 것처럼 일부 다른 표준을 충족시키는 경우, 프레임 추출 속도를 증가시킬 수 있으며, 따라서 리프레시 기간(P)을 감소시킬 수 있다. 그러나, 연속적인 프레임(F1 및 FN) 사이의 크로미넌스 차이가 작고, 안정되거나 급격히 증가하지 않거나(예, 작거나 0인 절대적 제 1 도함수), 크로미넌스 차이 이력에 기초한 것과 같이, 일부 다른 표준을 충족시키는 경우, 요구된 필요한 데이터 비트스트림 상에 저장할 수 있으며 프레임 추출 속도를 감소시킬 수 있으며, 따라서 리프레시 기간(P)이 증가된다.
일반적으로, 주변광원(88)은 희게 하거나(frosted) 광택을 낸(glazed) 표면; 리브(ribbed) 유리 또는 플라스틱을 가진 램프 구조나 개구 구조를 사용함으로써; 또는 개별 광원을 둘러싸는 금속 구조를 사용함으로써, 반투명 또는 다른 현상뿐만 아니라 광 혼합을 생성하기 위하 다양한 산란기 효과를 구현할 수 있다. 재미있는 효과를 제공하기 위해, 임의의 수의 알려진 산란 또는 분산 물질 또는 현상이 사용될 수 있으며, 여기에는 작고 떠 있는 입자로부터 분산을 이용해 얻어진 것; 어두운(clouded) 플라스틱 또는 레진, 콜로이드, 에멀전, 또는 예를 들어, 1:m보다 작은, 1-5:m 이하의 알약을 사용한 선구 물질이 포함되며, 장수명 유기 혼합물; 겔; 및 졸(sol), 당업자에 알려진 제조물 및 제작물이 포함된다. 분산 현상은 주변광의 청색을 강화하기 위한 청색 제조를 위한 것과 같은 가시 파장에 대한 레일리(Rayleigh) 분산을 포함하도록 공작될 수 있다. 생성된 컬러는, 예를 들어, 특정 영역에서의 전체적으로 청색의 색조를 띄거나, 맨 위 부분에 청색 광이 생성되도록(주변광 L1 또는 L2), 부분적 색조와 같이, 부분적으로 한정될 수 있다.
주변 램프에는 또한 램프 구조 내부에 형성되거나, 이와 결합하거나 이에 삽입될 수 있는 원통형 프리즘 또는 렌즈와 같은 측광기 소자가 장착될 수 있다. 이것은 생성된 광의 특성이 시청자의 위치의 함수로서 변경하는 특수 효과를 허용할 수 있다. 다른 광 형태 및 형상이 사용될 수 있으며, 여기에는, 직사각형, 삼각형 또는 불규칙한 형태의 프리즘 또는 형태가 포함되며, 이들은 주변광 유닛에 배치되거나 이에 결합될 수 있다. 그 결과는 등방성 출력을 얻기보다는, 얻어진 효과가 무한히 변화될 수 있으며, 그 예로는 주변 벽, 물체, 및 주변광원 주변에 배치된 표면 상에 비춰진 재밌는 광, 광의 유형이 어두운 방에서 장면 요소, 컬러 및 비디오 디스플레이 유닛 상의 세기의 변화로서 보여지도록 한다. 이 효과는 시청자가 홈 시어터를 볼 때 의자에서 일어나거나 시청 위치를 이동하면, 광 특성을 시청자 위치의 함수로서 매우 민감하게 변화시키는 시어터 주변광이 될 수 있다.(예, 청색의 불꽃, 이후 적색 광). 사용될 수 있는 측광기 요소의 수와 유형은 거의 제한이 없으며, 플라스틱, 유리를 포함하며, 광학 효과는 스코어링(scoring) 및 조심스럽게 파괴적인 제조 기법으로부터 생성된다. 주변 램프는 다른 시어터 효과에 대해, 고유하고, 심지어 교환가능하게 만들어질 수 있다. 이들 효과는 측광기 요소를 통과하도록 허용된 광의 양을 변경함으로써, 또는 주변광 유닛의 다른 부분(예, 보조 램프 또는 LED 그룹을 사용)을 조명함으로써 변조가능할 수 있다.
이렇게 하여, 도 1에 도시된 것처럼 추출 영역(R3)을 모방하기 위해 L3에서 생성된 주변광은 도시된 것처럼 움직이는 물고기같이, 해당 영역에서 현상의 인지적 연장을 제공하는 색도를 가질 수 있다. 이것은 시각적 경험을 배가할 수 있으며 적절하고 번쩍거리지 않거나 적절하지 않게 잘못 매칭되지 않은 색조를 제공할 수 있다.
비디오 신호(AVS)는 물론 디지털 데이터스트림이 될 수 있으며 동기화 비트 및 연결 비트; 패리티 비트; 에러 코드; 인터리빙(interleaving); 특수 변조; 버스트 헤더, 및 주변광 효과의 설명(예, "번개 폭풍", "일출" 등)과 같은 원하는 메타데이터를 포함하며 당업자는 주어진 기능적 단계들은 본 명세서에서 단지 예시적이며 명료함을 위해, 종래의 단계 또는 데이터를 포함하지 않는다는 점을 인식할 것이다.
도 3과 도 12에 도시된 것처럼 사용자 인터페이스 및 선호 설정 메모리는 시스템 비헤이비어(behavior)에 관한 선호 설정을 변경하는데 사용될 수 있으며, 그 예로는 컬러 충성도의 정도를 원하는 비디오 디스플레이(D)의 비디오 컨텐츠로 변경하는 것; 현란함(flamboyance)을 변경하는 것이 있으며, 상기 정도는 형광색 또는 전영역 외의 컬러가 주변 공간에 브로드캐스팅되는 정도 또는 주변광이 얼마나 빨리 또는 크게 비디오 컨텐츠 내의 변화에 반응하는지 정도를 포함하며, 이것은 광 스크립트 명령 컨텐츠 내의 변화의 세기 또는 다른 품질을 과장함으로써 이루어진다. 이것은 특정 특성의 영화 또는 컨텐츠에 대한 완화된 톤을 만들 수 있는 진보된 컨텐츠 분석을 포함할 수 있다. 컨텐츠 내에 많은 어두운 장면을 포함하는 비디오 컨텐츠는 주변광원(88)의 비헤이비어에 영향을 줄 수 있으며, 브로드캐스팅 주변광이 흐려지도록 하는 반면, 현란하거나 밝은 톤은 많은 살색 또는 밝은 장면(태양 아래 해변, 사바나의 호랑이 등)과 같이, 특정 다른 컨텐츠에 대해 사용될 수 있다.
본 명세서에서 당업자가 본 발명을 실행할 수 있도록 설명이 주어진다. 많은 구성이 본 교시를 사용하여 가능하며 본 명세서에 주어진 구성과 배열은 오직 예시적이다. 실제로, 교시되고 청구된 방법은, 엔터테인먼트 센터 또는 홈 시어터 센터와 같이, 더 큰 시스템의 일부로 나타날 수 있다.
본 명세서에서 예시적으로 교시된 기능과 계산은 소프트웨어 또는 기계 코드를 사용하여 기능적으로 재생되거나 모방될 수 있으며, 당업자는 본 명세서에서 교시된 인코딩과 디코딩이 관리되는 방법과 상관없이 이들 교시를 사용할 수 있다는 것은 잘 알려져 있다.
당업자는, 이들 교시에 기초해, 본 명세서에서 교시되고 청구된 장치 및 방 법을 변경할 수 있으며 따라서, 예를 들어, 특정 애플리케이션, 및 예시적인 목적으로 선택된 것들과 거의 공통점이 없을 수 있는 생성 시스템에 맞추기 위해 단계 또는 데이터 구조를 재배열할 수 있다.
위의 예를 사용하여 개시된 본 발명은 전술한 특성의 오직 일부만을 사용하여 실행될 수 있다. 또한, 본 명세서에서 교시되고 청구된 어떠한 것도 다른 구조 또는 기능적 요소의 추가를 배제하지 않는다.
명백하게, 본 발명의 많은 변경과 변형은 전술한 교시의 견지에서 가능하다. 따라서, 첨부된 청구항의 범위 내에서, 본 발명은 본 명세서에서 구체적으로 설명되거나 제안된 것 이외의 것으로 실행될 수 있다는 것이 이해될 것이다.
본 발명은, 예컨대, 비디오 디스플레이로부터의 비디오 컨텐츠에 일반적으로 기초한, 또는 이와 연관된, 복수의 광원을 사용해 주변광 효과를 생성하고 설정하는 것에 이용가능하다.
Claims (20)
- 주변광원(88)에 의해 모방될 비디오 컨텐츠를, 인터프레임 보간 프로세스를 사용하여, 추출하고 처리하기 위한 방법으로서,[1] 비디오 신호를 프레임(F) 세트로 디코딩하고, 오직 선택된 추출 프레임(F1,FN)으로부터 상기 컬러 정보를 추출하며, 보간된 프레임(G2,G3 +)을 얻기 위해 상기 추출 프레임 사이의 인터프레임 보간을 수행함으로써, 상기 렌더링된 컬러 공간에서 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호(AVS)로부터 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 유도되는, 컬러 정보 추출 단계를 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서,[2] 상기 컬러 정보를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[3] 상기 컬러 정보를 상기 렌더링되지 않은 컬러 공간으로부터 상기 주변광원을 구동하는 것을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1]은 상기 컬러 정보로부터 평균 컬러(RAVG)를 추출하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1]은 추출 영역(R1)으로부터 상기 컬러 정보의 적어도 하나의 추출을 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 4항에 있어서, 단계 [1]은 상기 추출 영역에 인접한 상기 주변광원으로부터 주변광(L4)을 브로드캐스팅하기 위한 상기 컬러 정보의 상기 추출을 사용하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1]은 추출 프레임 사이에 크로미넌스 차이를 평가하는 단계; 및 상기 크로미넌스 차이에 기초해 프레임 추출 비율을 설정하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 상기 제 2 렌더링된 컬러 공간에 대한 감마 정정을 수행하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 단계 [2]와 단계 [3]은 제 1 및 제 2 삼자극 원색 행렬(M1, M2)을 사용하여 상기 렌더링된 컬러 공간과 제 2 렌더링된 컬러 공간의 원색(RGB,R'G'B')을 상기 렌더링되지 않은 컬러 공간으로 행렬 변환시키는 단계; 상기 렌더링된 컬러 공간의 상기 원색 상기 제 1 삼자극 행렬, 상기 제 2 삼자극 행렬의 역행렬(M2)-1을 행렬 곱셈함으로써 상기 컬러 정보를 상기 제 2 렌더링된 컬러 공간(R'G'B')으로 변환을 유도하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 8항에 있어서, 상기 렌더링되지 않은 컬러 공간은 CIE XYZ; ISO 표준 17321에 정의된 ISO RGB; Photo YCC; 및 CIE LAB 중 하나인, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 8항에 있어서, 단계 [1]은 평균 컬러(RAVG)를 상기 컬러 정보로부터 추출하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 10항에 있어서, 단계 [1]은 추출 영역(R1)으로부터 상기 컬러 정보를 적어도 하나 추출하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 11항에 있어서, 단계 [1]은 상기 추출 영역에 인접한 상기 주변광원으로부터 주변광(L4)을 브로드캐스팅하기 위한 상기 컬러 정보의 상기 추출을 사용하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 단계 [1],[2] 및 [3]은 상기 비디오 신호(AVS)와 실질적으로 동기가 맞춰지는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 상기 제 2 렌더링된 컬러 공간에서 상기 컬러 정보를 사용하여 상기 주변광원으로부터 주변광(L1)을 브로드캐스팅하는 단계를 더 포함하는, 주변광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 인터프레임 보간 프로세스를 사용하여 주변광원(88)에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하기 위한 방법 으로서[1] 비디오 신호를 프레임(F) 세트로 디코딩하고, 오직 선택된 추출 프레임(F1,FN)으로부터 컬러 정보를 추출하며, 보간된 프레임(G2,G3+)을 얻기 위해 상기 추출 프레임 사이의 인터프레임 보간을 수행하여, 상기 비디오 컨텐츠의 적어도 일부를 상기 렌더링된 컬러 영역에서 인코딩하는 상기 비디오 신호(AVS)로부터 상기 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 파생되는, 컬러 정보 추출 단계;[2] 상기 개별 프레임 각각에서 추출 영역(R1)으로부터의 상기 컬러 정보로부터 평균 컬러(RAVG)를 추출하는 단계;[3] 상기 평균 컬러를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[4] 상기 평균 컬러를 상기 렌더링되지 않은 컬러 공간으로부터 상기 주변광원을 구동하는 것을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계;[5] 상기 추출 영역에 인접한 상기 주변광원으로부터 주변광(L4)을 브로드캐스팅하기 위해 상기 평균 컬러를 사용하는 단계를 포함하는, 인터프레임 보간 프로세스를 사용하여 주변광원에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 15항에 있어서, 단계 [1],[2],[3],[4] 및 [5]는 상기 비디오 신호(AVS)와 실질적으로 동기가 맞춰지는, 인터프레임 보간 프로세스를 사용하여 주변광원에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 15항에 있어서, 단계 [3] 및 [4]는 제 1 및 제 2 3자극 원색 행렬(M1,M2)을 사용하여 상기 렌더링된 컬러 공간과 제 2 렌더링된 컬러 공간의 원색(RGB,R'G'B')을 상기 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 상기 렌더링된 컬러 공간의, 상기 원색 상기 제 1 삼자극 행렬, 및 상기 제 2 삼자극 행렬(M2)-1의 역행렬의 행렬 곱셈을 통해 상기 컬러 정보를 상기 제 2 렌더링된 컬러 공간(R'G'B')으로 변환을 유도하는 단계를 더 포함하는, 인터프레임 보간 프로세스를 사용하여 주변광원에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 측색 추정치를 사용하여, 주변광원(88)에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하며, 인터프레임 보간 프로세스를 이용하기 위한 방법으로서,[1] 비디오 신호를 프레임(F) 세트로 디코딩하고 오직 선택된 추출 프레임(F1, FN)으로부터 컬러 정보를 추출하며, 보간된 프레임(G2,G3+)을 얻기 위해 상기 추출 프레임 사이에 인터프레임 보간을 수행하여, 상기 비디오 컨텐츠의 적어도 일부를 상기 렌더링된 컬러 공간에서 인코딩하는 상기 비디오 신호(AVS)로부터 상기 컬러 정보를 추출하는 단계로서, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 파생된, 컬러 정보 추출 단계;[2] 상기 개별 프레임 각각에서 추출 영역(R1)으로부터의 상기 컬러 정보로부터 측색 추정치를 추출하는 단계;[3] 상기 측색 추정치를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[4] 상기 측색 추정치를 상기 렌더링되지 않은 컬러 공간에서 상기 주변광원을 구동하는 것을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계;[5] 상기 추출 영역에 인접한 상기 주변광원으로부터 주변광(L4)을 브로드캐스팅하기 위해 상기 측색 추정치를 사용하는 단계를 포함하는, 측색 추정치를 사용하여, 주변광원(88)에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하며, 인터프레임 보간 프로세스를 이용하기 위한 방법.
- 제 18항에 있어서, 단계 [1],[2],[3],[4] 및 [5]는 상기 비디오 신호(AVS)와 실질적으로 동기가 맞춰지는, 측색 추정치를 사용하여, 주변광원에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하며, 인 터프레임 보간 프로세스를 이용하기 위한 방법.
- 제 18항에 있어서, 단계 [3] 및 단계 [4]는 제 1 및 제 2 삼자극 원색 행렬(M1,M2)을 사용하여 상기 렌더링된 컬러 공간과 제 2 렌더링된 컬러 공간의 원색(RGB,R'G'B')을 상기 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 상기 렌더링된 컬러 공간의 상기 원색, 상기 제 1 삼자극 행렬, 및 상기 제 2 삼자극 행렬(M2)-1의 역행렬의 행렬 곱셈을 통해, 상기 컬러 정보를 상기 제 2 렌더링된 컬러 공간(R'G'B')로의 변환을 유도하는 단계를 더 포함하는, 측색 추정치를 사용하여, 주변광원에 의해 모방될 렌더링된 컬러 공간(RGB)으로부터 경계 영역 비디오 컨텐츠를 추출하고 처리하며, 인터프레임 보간 프로세스를 이용하기 위한 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US53424504P | 2004-01-05 | 2004-01-05 | |
| US60/534,245 | 2004-01-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20060112677A true KR20060112677A (ko) | 2006-11-01 |
Family
ID=34794254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067013183A KR20060112677A (ko) | 2004-01-05 | 2005-01-05 | 비디오 컨텐츠의 서브샘플링으로 파생되고 렌더링되지 않은컬러 공간을 통해 맵핑된 주변광 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20070091111A1 (ko) |
| EP (1) | EP1704728A1 (ko) |
| JP (1) | JP2007521775A (ko) |
| KR (1) | KR20060112677A (ko) |
| CN (1) | CN1906951A (ko) |
| WO (1) | WO2005069639A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230051310A (ko) * | 2020-11-09 | 2023-04-17 | 루머스 리미티드 | Ar 시스템에서의 컬러 보정된 역반사 |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101123194B1 (ko) * | 2004-01-06 | 2012-03-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 환경광 스크립트 명령 인코딩 |
| WO2008010158A1 (en) * | 2006-07-17 | 2008-01-24 | Koninklijke Philips Electronics N.V. | Determining an ambient parameter set |
| CN101548551B (zh) * | 2006-12-08 | 2011-08-31 | 皇家飞利浦电子股份有限公司 | 环境照明 |
| JP2010522960A (ja) * | 2007-03-29 | 2010-07-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自然光模倣システム及びユーザ・インタフェース |
| US8374880B2 (en) | 2007-04-24 | 2013-02-12 | Koninklijke Philips Electronics N.V. | System for automatically creating a lighting atmosphere based on a keyword input |
| WO2008142639A1 (en) * | 2007-05-22 | 2008-11-27 | Koninklijke Philips Electronics N.V. | An ambience lighting system for a display device and a method of operating such ambience lighting system |
| TWI366169B (en) * | 2007-05-23 | 2012-06-11 | Novatek Microelectronics Corp | Thermal compensation device for display device |
| US7956831B2 (en) * | 2007-05-30 | 2011-06-07 | Honeywell Interntional Inc. | Apparatus, systems, and methods for dimming an active matrix light-emitting diode (LED) display |
| US7773099B2 (en) * | 2007-06-28 | 2010-08-10 | Mitsubishi Electric Research Laboratories, Inc. | Context aware image conversion method and playback system |
| CN101388205B (zh) * | 2007-09-10 | 2011-08-24 | 联想(北京)有限公司 | 显示装置控制方法及系统 |
| US8395638B2 (en) * | 2007-11-29 | 2013-03-12 | Datacolor Holding Ag | Method and apparatus for calibrating a display-coupled color measuring device |
| JP2011522388A (ja) * | 2008-06-04 | 2011-07-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 環境照明システム、表示装置、照明変化を生成する方法及びデータサービスを提供する方法 |
| EP2144432A1 (en) * | 2008-07-08 | 2010-01-13 | Panasonic Corporation | Adaptive color format conversion and deconversion |
| KR101614337B1 (ko) | 2008-12-19 | 2016-04-21 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자기기의 구동방법 |
| EP2394263B1 (en) * | 2009-02-06 | 2021-05-05 | Semiconductor Energy Laboratory Co, Ltd. | Method for driving display device |
| JP5517685B2 (ja) * | 2009-04-14 | 2014-06-11 | キヤノン株式会社 | 画像処理装置および方法 |
| WO2012094309A2 (en) * | 2011-01-04 | 2012-07-12 | Ppg Industries Ohio, Inc. | Web-based architectural color selection system |
| TWI436338B (zh) * | 2011-01-14 | 2014-05-01 | Univ Nat Taiwan Science Tech | 用於顯示設備的背後打光補償系統及方法 |
| CN102937511B (zh) * | 2011-08-16 | 2016-09-28 | 上海广茂达光艺科技股份有限公司 | 基于led景观灯现场视频图像的光效检验方法 |
| KR101305249B1 (ko) * | 2012-07-12 | 2013-09-06 | 씨제이씨지브이 주식회사 | 다면 상영 시스템 |
| US8928812B2 (en) | 2012-10-17 | 2015-01-06 | Sony Corporation | Ambient light effects based on video via home automation |
| US8576340B1 (en) | 2012-10-17 | 2013-11-05 | Sony Corporation | Ambient light effects and chrominance control in video files |
| US8928811B2 (en) | 2012-10-17 | 2015-01-06 | Sony Corporation | Methods and systems for generating ambient light effects based on video content |
| EP2797314B1 (en) | 2013-04-25 | 2020-09-23 | Samsung Electronics Co., Ltd | Method and Apparatus for Displaying an Image |
| JP6070524B2 (ja) * | 2013-12-04 | 2017-02-01 | ソニー株式会社 | 表示パネル、駆動方法、および電子機器 |
| US9600904B2 (en) * | 2013-12-30 | 2017-03-21 | Samsung Electronics Co., Ltd. | Illuminating a virtual environment with camera light data |
| US20150289338A1 (en) * | 2014-04-08 | 2015-10-08 | Revolution Display, Inc. | Automatic chroma key background generator with incident key lighting |
| CN105632412B (zh) * | 2015-01-20 | 2018-05-01 | 常州市武进区半导体照明应用技术研究院 | 提供背景光显示和同步播放视频的方法及其装置和系统 |
| JP6493664B2 (ja) * | 2015-03-04 | 2019-04-03 | パナソニックＩｐマネジメント株式会社 | 照明制御装置、照明システム、及びプログラム |
| CN106341929B (zh) * | 2015-07-07 | 2019-01-25 | 芋头科技（杭州）有限公司 | 一种灯光与显示内容融合的方法 |
| ITUB20155237A1 (it) * | 2015-11-06 | 2017-05-06 | Salvatore Lamanna | Cartellone pubblicitario |
| US10842003B2 (en) * | 2016-04-08 | 2020-11-17 | Signify Holding B.V. | Ambience control system |
| WO2017182365A1 (en) * | 2016-04-22 | 2017-10-26 | Philips Lighting Holding B.V. | Controlling a lighting system |
| CN107517510B (zh) * | 2016-06-16 | 2020-03-17 | 深圳市思考力科技有限公司 | 一种屏幕显示方法、装置和系统 |
| US10490160B2 (en) | 2016-09-22 | 2019-11-26 | Apple Inc. | Light sensor with spectral sensing and color matching function channels |
| CN108701365B (zh) * | 2017-08-29 | 2022-05-31 | 广东虚拟现实科技有限公司 | 光点识别方法、装置以及系统 |
| JP7080399B2 (ja) * | 2018-11-01 | 2022-06-03 | シグニファイ ホールディング ビー ヴィ | ビデオ及びオーディオの重みに依存したビデオ及びオーディオ情報に基づく光効果の決定 |
| CN109636863B (zh) * | 2018-12-03 | 2022-10-21 | 新视家科技(北京)有限公司 | 一种色彩空间转换电路 |
| JP7312842B2 (ja) | 2019-02-13 | 2023-07-21 | シグニファイ ホールディング ビー ヴィ | コンテンツにおける検出された遷移後の平均色に基づく光効果の決定 |
| CN112020186B (zh) * | 2019-05-13 | 2022-03-18 | Tcl科技集团股份有限公司 | 室内灯光调节方法、装置及终端设备 |
| CN110310356B (zh) * | 2019-06-26 | 2023-06-02 | 北京奇艺世纪科技有限公司 | 一种场景渲染方法和装置 |
| CN114245906A (zh) * | 2019-08-22 | 2022-03-25 | 昕诺飞控股有限公司 | 基于动态性水平的比较来选择图像分析区域 |
| EP3820133A1 (en) * | 2019-11-06 | 2021-05-12 | Koninklijke Philips N.V. | A system for performing image motion compensation |
| CN115599324B (zh) * | 2022-12-09 | 2023-05-19 | 杭州宏华数码科技股份有限公司 | 用于控制数码呈色设备进行呈色的方法、设备和介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3571497A (en) * | 1968-05-08 | 1971-03-16 | Battelle Development Corp | Light pump for enhancing subjective color |
| JPH0812793B2 (ja) * | 1988-12-12 | 1996-02-07 | 松下電器産業株式会社 | 光色可変形照明装置 |
| JPH0676958A (ja) * | 1992-08-26 | 1994-03-18 | Matsushita Electric Works Ltd | 可変色照明装置 |
| JPH06267664A (ja) * | 1993-03-10 | 1994-09-22 | Toshiba Lighting & Technol Corp | テレビ用照明システム |
| US6611297B1 (en) * | 1998-04-13 | 2003-08-26 | Matsushita Electric Industrial Co., Ltd. | Illumination control method and illumination device |
| US6564108B1 (en) * | 2000-06-07 | 2003-05-13 | The Delfin Project, Inc. | Method and system of auxiliary illumination for enhancing a scene during a multimedia presentation |
| US7071897B2 (en) * | 2001-07-18 | 2006-07-04 | Hewlett-Packard Development Company, L.P. | Immersive augmentation for display systems |
-
2005
- 2005-01-05 US US10/583,643 patent/US20070091111A1/en not_active Abandoned
- 2005-01-05 KR KR1020067013183A patent/KR20060112677A/ko not_active Application Discontinuation
- 2005-01-05 JP JP2006546468A patent/JP2007521775A/ja active Pending
- 2005-01-05 CN CNA2005800019149A patent/CN1906951A/zh active Pending
- 2005-01-05 WO PCT/IB2005/050055 patent/WO2005069639A1/en not_active Application Discontinuation
- 2005-01-05 EP EP05702585A patent/EP1704728A1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230051310A (ko) * | 2020-11-09 | 2023-04-17 | 루머스 리미티드 | Ar 시스템에서의 컬러 보정된 역반사 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005069639A1 (en) | 2005-07-28 |
| US20070091111A1 (en) | 2007-04-26 |
| JP2007521775A (ja) | 2007-08-02 |
| EP1704728A1 (en) | 2006-09-27 |
| CN1906951A (zh) | 2007-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101044709B1 (ko) | 주변광원에 의해 모방될 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리하기 위한 방법 | |
| KR101117591B1 (ko) | 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계 | |
| US8063992B2 (en) | Dominant color extraction for ambient light derived from video content mapped through unrendered color space | |
| KR20060112677A (ko) | 비디오 컨텐츠의 서브샘플링으로 파생되고 렌더링되지 않은컬러 공간을 통해 맵핑된 주변광 | |
| US7894000B2 (en) | Dominant color extraction using perceptual rules to produce ambient light derived from video content | |
| WO2006003624A1 (en) | Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences | |
| EP1704729B1 (en) | Ambient light script command encoding | |
| WO2007026283A2 (en) | Ambient lighting derived from video content using adaptive extraction regions | |
| Heckaman et al. | 18.3: Rendering digital cinema and broadcast tv content to wide gamut display media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |