KR101170408B1 - 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출 - Google Patents

렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출 Download PDF

Info

Publication number
KR101170408B1
KR101170408B1 KR1020067027959A KR20067027959A KR101170408B1 KR 101170408 B1 KR101170408 B1 KR 101170408B1 KR 1020067027959 A KR1020067027959 A KR 1020067027959A KR 20067027959 A KR20067027959 A KR 20067027959A KR 101170408 B1 KR101170408 B1 KR 101170408B1
Authority
KR
South Korea
Prior art keywords
color
rendered
dominant
color space
extraction
Prior art date
Application number
KR1020067027959A
Other languages
English (en)
Other versions
KR20070038989A (ko
Inventor
스리니바스 구타
마크 제이. 엘팅
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070038989A publication Critical patent/KR20070038989A/ko
Application granted granted Critical
Publication of KR101170408B1 publication Critical patent/KR101170408B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 주변 광원에 의해 에뮬레이션 될 렌더링된 컬러 공간에서 인코딩된 비디오 콘텐츠를 추출하고 처리하는 것에 관한 것으로, 비디오 신호로부터 지배적인 컬러 정보를 추출하는 단계와, 주변 분포를 위한 제 2의 렌더링된 컬러 공간을 형성하기 위해 3자극 1차 행렬을 사용하여 렌더링되지 않은 컬러 공간을 통해 컬러 정보를 변환하는 단계를 포함한다. 단계들은 가능한 컬러 상태를 감소시키거나 수퍼픽셀을 형성하기 위해 저장하는 것에 의해 할당된 컬러 분포를 형성하도록 렌더링된 컬러 공간을 양자화하는 단계와, 픽셀 색도의 모드, 중앙값, 평균 또는 가중치가 부여된 평균을 사용하여 지배적인 컬러를 선택하는 단계를 포함한다. 해당 컬러는 실제 지배적인 컬러를 만들기 위해 추가로 분석될 수 있고, 과거의 비디오 프레임은 미래의 프레임에서의 지배적인 컬러의 선택을 안내할 수 있다.

Description

렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출{DOMINANT COLOR EXTRACTION FOR AMBIENT LIGHT DERIVED FROM VIDEO CONTENT MAPPED THROUGH UNRENDERED COLOR SPACE}
본 발명은 다수의 광원을 사용하고, 통상 비디오 디스플레이로부터와 같은 비디오 콘텐츠에 기초하거나 연관된 주변 조명 효과를 만들어내고 설정하는 것에 관한 것이다. 특히, 샘플링되거나 서브샘플링된 비디오로부터 실시간으로 지배적인 컬러 정보를 추출하고, 비디오 콘텐츠의 컬러 공간으로부터 복수의 주변 광원을 구동하는 것을 가장 잘 허용하는 것으로의 컬러 맵핑 변환을 수행하는 방법에 관한 것이다.
엔지니어들은, 뷰잉 스크린과 투사 영역을 확대하는 것, 실감나는 3차원 효과에 관한 소리의 변조, 고선명(HD) 디지털 TV 텔레비전과 비디오 시스템과 같은 것으로 더 넓은 비디오 색역(color gamut), 해상도 및 화상 종횡비를 포함하는 비디오 영상을 강화하는 것과 같은 것에 의해, 비디오 콘텐츠를 소비하여 얻어진 지각 경험을 넓히고자 오랫동안 시도해왔다. 또한, 영화, TV, 비디오 제작자는 또한 컬러, 장면 전환, 시야각, 주변 풍경 및 컴퓨터 사용 그래픽 표현의 영리한 사용과 같은 시청각 수단을 사용하는 뷰어(viewer)의 경험에 영향을 미치려고 한다. 이것 에는 연극 무대 조명도 포함될 수 있다. 예컨대, 조명 효과는 보통 대본으로 쓰여지고 - 비디오나 플레이 장면과 동기화되어 - 원하는 구조로 인코딩된 적합한 장면 대본으로 프로그래밍된 기계 또는 컴퓨터의 도움으로 재생된다.
종래 기술의 디지털 영역에서는, 계획되지 않거나 대본화되지 않은 장면을 포함하는, 한 장면에서의 빠른 변화에 조명을 자동으로 적응시키는 것이 큰 부분에서 조화있게 편성하는 데 있어 쉽지 않았는데, 이는 현재의 시스템을 사용하여 요구된 큰 높은 대역폭의 비트 스트림의 오버헤드(overhaed) 때문이다.
필립스(네덜란드)사와 다른 회사들은 비디오 디스플레이로부터 떨어져 있는 별도의 광원을 사용하여 통상적인 가정이나 기업용 애플리케이션에 관한 비디오 콘텐츠와 많은 애플리케이션에 있어서는 원하는 조명 효과의 일종의 개선된 대본화(scripting)나 인코딩을 강화하기 위해 주변 또는 주위 조명을 변경하기 위한 수단을 개시하였다. 비디오 디스플레이나 텔레비전에 추가된 주변 광은 뷰어의 피로를 감소시키고, 경험의 현실감과 깊이를 개선하는 것으로 나타났다.
지각 경험은, 물론 컬러 및 조명 효과의 감동을 만들어내기 위해 매우 복잡한 지각 및 신경(neural) 장치를 사용하는 인간의 시각 양상의 기능이다. 사람은 대략 1000만개의 다른 컬러를 구별할 수 있다. 사람의 눈에서, 컬러를 수신하거나(color-receiving) 포토픽 비전(photopic vision)에 있어, 445, 535 및 565㎚의 광 파장에서 상당한 중복이 있는 채로 최대가 되는 흡수 분포를 가지는 원추 세포(cone)라고 불리는 3세트의 약 200만개의 감각체가 존재한다. 이들 3개의 추상체 유형은 3자극(tristimulus) 시스템이라고 불리는 것을 헝성하고, 역사적인 이유로 B(blue), G(green) 및 R(red)이라고 부르며, 최대치(peak)는 예를 들어 흔히 사용된 RGB 형광체와 같은 디스플레이에서 사용된 임의의 원색의 것들과 반드시 대응할 필요는 없다. 또한 암소시의(scotopic) 또는 시신경의 간상체(rod)라고 부르는 소위 암시체(night vision body)에 관한 상호작용이 존재한다. 사람의 눈은 통상 1억 2천만 개의 간상체를 가지고, 이들은 특히 홈 씨어터(home theatre)에서 발견되는 것과 같은 낮은 조명 상태에 관한 비디오 경험에 영향을 미친다.
컬러 비디오는 사람의 시각 체계 원리에 기초하여 발견되고, 잘 알려진 사람 시각 체계의 3자극 및 반대측(opponent) 채널 이론이, 본래의 또는 의도된 영상에 높은 충실도(fidelity)를 가지는 원하는 컬러 및 효과를 보기 위해 사람의 눈에 어떻게 영향을 미치는지를 우리가 이해해는 것에 통합되었다. 대부분의 컬러 모델과 공간에서는 3차원 또는 좌표가 사람 눈의 경험을 설명하기 위해 사용된다.
컬러 비디오는 원하는 컬러와 문자의 실제 조명보다는 적은 개수의 기준 자극을 사용하는 컬러 인식을 만들어내는 것을 허용하는 조건 등색(metamerism)에 절대적으로 의존한다. 이러한 식으로, 전체 색역은 전세계적으로 비디오 재생에서 사용된 잘 알려진 RGB(적, 녹, 청) 3자극 시스템과 같은 제한된 개수의 기준 자극을 사용하는 사람의 마음에서 재생된다. 예컨대 거의 모든 비디오 디스플레이가 각 픽셀이나 화소에서 거의 동일한 양의 적색 및 녹색 광을 만들어냄으로써, 황색 장면광을 보여주는 것이 잘 알려져 있다. 그러한 픽셀은 그들이 대하는 입체각(solid angle)에 관해서는 작고, 사람의 눈은 황색을 인식하는 것으로 느끼게 되며, 실제로 방송되고 있는 녹색이나 적색을 인식하지 않는다.
비디오 재생을 위한 컬러를 설명하고 명시하기 위해 사용중인 잘 알려진 CIE(Commission Internationale de l'Eclairage) 컬러 좌표 시스템을 포함하는 많은 컬러 모델과 컬러를 명시하는 방식이 존재한다. 본 발명을 사용하여 임의의 개수의 컬러 모델이 이용될 수 있고, 이에는 CIE L*U*V(CIELUV)나 CIE L*a*b(CIE LAB) 시스템과 같은 렌더링되지 않은 반대측 컬러 공간에의 애플리케이션이 포함된다. CIE는 모든 컬러 관리와 재생에 관한 설립체를 1931년에 설립하였고, 그 결과는 3개의 좌표인 x, y 및 z를 사용하는 색도 도표이다. 최대 광도에서의 이들 3차원 시스템의 그림은, 보편적으로 x와 y의 항으로 컬러를 설명하는데 사용되고, 이1931 x, y 색도 도표라고 불리는 이러한 그림은 사람이 인식하는 모든 컬러를 설명할 수 있다고 믿어진다. 이는 눈과 뇌를 속이기 위해 조건 등색이 사용되는 컬러 재생과 대조적인 것이다. 많은 컬러 모델과 공간이 오늘날 3원색 또는 형광체, 특히 어도비(Adobe)사의 RGB, NTSC RGB 등을 사용하여 컬러를 재생하기 위해 사용되고 있다.
하지만, 이들 3자극 시스템을 사용하는 비디오 시스템에 의해 보여진 모든 가능한 컬러의 범위는 제한된다는 것을 주목하는 것이 중요하다. NTSC(국립 텔레비전 표준 위원회) RGB 시스템은 비교적 넓은 범위의 이용 가능한 컬러를 가지지만, 이러한 시스템은 사람에 의해 인식 가능한 모든 컬러의 절반만을 재생할 수 있다. 많은 청색, 보라색, 청록색 및 주황색/적색은, 이용 가능한 범위의 전통적인 비디오 시스템을 사용하여 충분히 렌더링되지 않는다.
또한, 사람의 시각 체계에는 임의의 비디오 시스템을 설계하기 위해 이해가 필수적인 보상과 분별의 자질이 부여되어 있다. 사람에 있어 컬러는 여러 출현 모드, 특히 사물(object) 모드와 발광체 모드에서 일어날 수 있다.
사물 모드에서는, 광 자극이 광원에 의해 비추어진 사물로부터 반사된 광으로서 인식된다. 발광체 모드에서는, 광 자극이 광원으로서 보여진다. 발광체 모드는 다른 자극보다 훨씬 밝은 복잡한 필드에서의 자극을 포함한다. 그것은 밝기 또는 휘도가 그러한 장면이나 시야의 전반적인 밝기에 있거나 그 아래에 있는 비디오 디스플레이와 같은 광원으로 알려진 자극을 포함하지는 않아, 그러한 자극은 사물 모드에 있는 것으로 나타난다.
현저하게, 사물 모드에서만 나타나는 많은 컬러, 특히 갈색, 올리브색, 밤색(maroon), 회색 및 베이지색의 신선한 색조가 존재한다. 예컨대 갈색을 띤 교통 신호등과 같은 갈색 휘도의 광원과 같은 것은 존재하지 않는다.
이러한 이유로, 사물 컬러를 더하려고 시도하는 비디오 시스템으로의 주변 조명 보충은 직접적인 밝은 광원을 사용하여 그렇게 할 수 없다. 가까운 범위에서 밝은 적색과 녹색 광원의 어떠한 결합도 갈색 또는 밤색을 재생할 수 없고, 이는 선택을 상당히 제한한다. 강도와 포화도가 변하는 무지개의 스펙트럼 컬러만이, 밝은 광원의 직접적인 관찰에 의해 재생될 수 있다. 이는 색조 관리에 특별한 주의를 가지고 광원으로부터의 낮은 강도의 휘도 출력을 제공하기 위한 것과 같은 주변 조명 시스템에 대한 미세한 제어를 위한 필요성을 강조한다. 이러한 미세한 제어는 현재의 데이터 아키텍처 하에서 빠르게 변하고 미묘한 주변 조명을 허용하는 방식으로 현재 다루어지고 있지는 않다.
비디오 재생은 많은 형태를 취할 수 있다. 스펙트럼 컬러 재생은 본래의 자극의 스펙트럼 전력 분포의 정확한 재생을 허용하지만, 이는 3원색을 사용하는 임의의 비디오 재생에서는 실현 가능하지 않다. 정확한 컬러 재생은 사람의 시각 체계의 3자극 값을 복제하여 본래의 것과의 체절성 정합을 생성하지만, 화상과 본래의 장면에 관한 전반적인 보기(viewing) 상태는 유사한 외관을 얻기 위해 유사해야 한다. 그러한 화상과 본래의 장면에 관한 전반적인 조건은 그 화상의 각도 대변(angular subtense), 주위의 휘도 및 색도 및 섬광을 포함한다. 정확한 컬러 재생이 종종 달성될 수 없는 한 가지 이유는, 컬러 모니터 상에 재생될 수 있는 최대 휘도에 대한 한계 때문이다.
비색(colormetric) 컬러 재생은 3자극 값이 본래의 장면에서의 것에 비례하는 유용한 대안을 제공한다. 색도 좌표는 정확하게 재생되지만, 비례적으로 감소된 휘도를 가진다. 비색 컬러 재생은, 본래 및 재생된 기준 흰색이 동일한 색도를 가지고, 보기 조건이 동일하며, 시스템이 전체적으로 1인 감마(gamma)를 가진다는 가정하에, 비디오 시스템에 관한 양호한 기준 표준이다. 색도와 휘도가 본래의 장면과 매칭되는 등가의 컬러 재생은 달성될 수 없는데, 이는 비디오 디스플레이에서 생성된 제한된 휘도 때문이다.
실제로 대부분의 비디오 재생은, 대응하는 컬러 재생을 달성하려고 시도하고, 이 경우 재생된 컬러는, 그것이 재생하는 것과 동일한 평균 휘도 레벨과 동일한 기준 흰색 색도를 생성하기 위해 조명되었다면, 원본에서의 컬러가 가졌을 동일한 외관을 가진다. 하지만 대다수가, 디스플레이 시스템에 관한 궁극적인 목표는, 실제로 보는 사람의 선호도가 컬러 충실도(fidelity)에 영향을 미치는 선호되는 컬러 재생이라고 주장한다. 예컨대, 선탠한 피부색이 평균 실제 피부 색으로 선호되고, 하늘은 더 파란 것이 선호되며, 잎은 그것의 실제 색보다 더 녹색으로 보이는 것이 선호된다. 심지어 대응하는 컬러 재생이 설계 표준으로서 받아들여질지라도, 일부 컬러는 살색 색조, NTSC 비디오 표준과 같은 많은 재생 시스템에서의 특수 처리의 문제와 같은 다른 것보다 더 중요하다.
장면 광을 재생하는 데 있어, 흰색 균형을 달성하기 위한 색체 적응이 중요하다. 적절히 조정된 카메라와 디스플레이로, 흰색 및 중간 회색이 CIE 표준 주광 조명 D65의 색도를 가지고 통상 재생된다. 항상 동일한 색도를 가지고 흰색 표면을 재생함으로써, 시스템은 사람의 시각 체계를 흉내를 내는데, 이는 본질적으로 조명의 색도가 무엇이든지 간에 흰색 표면이 항상 동일하게 보이도록, 해변에서 밝은 태양광이 비치는 낮에 또는 백열등이 켜진 실내 장면에서 발견될 때 흰색 종이가 흰색으로 보이도록 지각을 적응시킨다. 컬러 재생시, 흰색 균형 조정은 보통 R, G 및 B 채널 상의 이득 제어에 의해 이루어진다.
통상적인 컬러 수신기의 광 출력은 통상 선형이지 않고, 인가된 비디오 전압에 대한 전력-법칙 관계를 따른다. 광 출력은 파워 감마까지 상승된 비디오-구동 전압에 비례하고, 여기서 감마는 통상 컬러 CRT(음극선관)에 관해서는 2.5이고, 다른 유형의 광원에 관해서는 1.8이다. 이러한 인자에 관한 보상은, 인코딩되고, 송신되며 디코딩되는 주요 비디오 신호가 실제로, R, G 및 B가 아니고 R1 /C, G1 /C, B1/C 가 되도록 카메라 비디오 처리 증폭기에서의 3개이 주요 감마 정정기를 거쳐 이루어진다. 비색 컬러 재생은 카메라와 디스플레이를 포함하는 비디오 재생 및 임의의 감마-조정 전자 장치에 관한 전반적인 감마가 단일이 되는 것을 요구하지만, 대응하는 컬러 재생이 시도될 때, 주변의 휘도가 우선하게 되는 것을 요구한다. 예컨대, 주변이 희미하게 되는 것은 약 1.2의 감마를 요구하고, 어두운 주변은 최적의 컬러 재생을 위해 약 1.5의 감마를 요구한다. 감마는 RGB 컬러 공간을 위한 중요한 구현 문제이다.
대부분의 컬러 재생 인코딩은, sRGB, ROMM RGB 어도비 RGB 98, 애플 RGB와 같은 표준 RGB 컬러 공간과, NTSC 표준에서 사용된 것과 같은 비디오 RGB 공간을 사용한다. 통상, 하나의 이미지는 센서나 소스 디바이스 공간으로 캡쳐되고, 이는 디바이스 및 영상 특정된다. 이는 렌더링되지 않은 영상 공간으로 변환되고, 이러한 영상 공간은 본래의 비색 정량을 설명하는 표준 컬러 공간이다(정의 섹션 참조).
하지만, 비디오 영상은 소스 디바이스 공간으로부터 렌더링된 영상 공간으로 거의 항상 직접 변환되고(정의 섹션 참조), 이는 비디오 디스플레이와 같은 일부 실제 또는 가상의 출력 디바이스의 컬러 공간을 설명한다. 대부분 존재하는 표준 RGB 컬러 공간은 렌더링된 영상 공간이다. 예컨대, 카메라와 스캐너에 의해 생성된 소스 및 출력 공간은 CIE-기반의 컬러 공간이 아니고, 카메라나 스캐너의 스펙트럼 민감도 및 다른 특징에 의해 정의된 스펙트럼 공간이다.
렌더링된 영상 공간은 실제 또는 가상의 디바이스 특징의 비색 정량에 기초 한 디바이스-특성 컬러 공간이다. 영상은 렌더링되거나 렌더링되지 않은 영상 공간으로부터 렌더링된 공간으로 변환될 수 있다. 이들 변환의 복잡도는 변하고, 복잡한 영상 종속 알고리즘을 포함할 수 있다. 변환은 특정 디바이스의 동적 범위와 색역에 맞추기 위해 버려지거나 압축된 본래의 장면 인코딩의 일부 정보로 인해, 비가역적이 될 수 있다.
현재 표준인 디지털 정지 카메라의 컬러 특성화를 위해 가장 자주 사용된 ISO 17321에서 정의된 표준 ISO RGB가 되고 있는 중에 있는 오직 하나의 렌더링되지 않은 RGB 컬러 공간이 존재한다. 오늘날 대부분의 애플리케이션에서, 영상은 비디오 신호를 포함하는 파일 보관과 데이터 전송을 위한 렌더링된 컬러 공간으로 변환된다. 하나의 렌더링된 영상이나 컬러 공간으로부터 또 다른 것으로의 변환은 몇 가지 영상 아티팩트를 일으킬 수 있다. 잘못 정합된, 2개의 디바이스 사이의 색역과 흰색 점이 많을수록, 부정적인 효과가 더 강해진다.
종래 기술의 주변 광 디스플레이 시스템에서의 한 가지 단점은, 주변 방송에 관한 대표적인 컬러의 비디오 콘텐츠로부터의 추출이 문제가 될 수 있다는 것이다. 예컨대, 픽셀 색도의 컬러를 평균화하는 것은, 종종 비디오 장면이나 영상을 지각적으로 나타내지 않는 회색, 갈색 또는 다른 컬러 캐스트(cast)를 초래한다. 색도의 간단한 평균화로부터 유도된 컬러는 종종 흐릿하고 잘못 선택된 것처럼 보이고, 이는 특히 밝은 컬러의 물고기와 같은 영상 특징 또는 푸른 하늘과 같은 지배적인 배경과 대조될 때 그러하다.
종래 기술의 주변 광 디스플레이 시스템에서의 또 다른 문제점은, 적절한 비 색 정량과 외관을 주기 위해 비디오로부터의 렌더링된 3자극 값을 주변 광원의 3자극 값으로 변환하도록 동기 실시간 동작을 위해 어떠한 특정 방법도 주어지지 않는다는 점이다. 예컨대, LED 주변 광원으로부터의 출력은 종종 제한되거나 뒤틀린 색역을 가지고 화려하고, 일반적으로 색조 및 채도는 접근 및 재생이 어렵다. 예컨대, Akashi 등에 의한 미국 특허 6,611,297은 주변 조명에서의 현실감을 다루고 있지만, 올바르고 만족스러운 색도를 보장하기 위한 어떠한 특정 방법도 주어지지 않으며, Akashi 등에 의한 미국 특허 6,611,297의 가르침은 실시간으로 비디오를 분석하는 것을 허용하지 않고, 대본이나 그와 비슷한 것을 필요로 한다.
또한, 비디오 콘텐츠로부터 감마 정정된 컬러 공간을 사용하는 주변 광원의 설정은 종종 화려하고 밝은 컬러를 초래한다. 종래 기술에 있어서의 또 다른 심각한 문제는, 실시간 비디오 콘텐츠의 함수로서 주변 광원을 구동하고, 우수한 컬러 매칭이 요구되는 원하는 빠르게 변하는 주변 광 환경에 맞추기 위해 필요한 다량의 송신된 정보이다.
그러므로, 통상적인 3자극 비디오 디스플레이 시스템에 관련하여 주변 조명에 의해 만들어진 가능한 색역을 확장하는 것이 유리하다. 또한 양호한 장점 보상 효과, 민감도 및 사람의 시각 체계의 다른 특수성을 사용하는 주변 조명 시스템을 사용하여 비디오 사용자에게 전달된 컬러와 광 특성을 조정 또는 변경함으로써, 광 레벨의 함수로서의 상이한 컬러의 상대적인 휘도의 변경과 같은 사람 눈의 특징을 이용하는 것이 요망된다.
또한 감마-유도된 왜곡의 영향이 없는 질 좋은 주위 분위기(atmosphere)를 생성하는 것이 유리하다. 평균 또는 특성화된 컬러 값을 인코딩하는 경제적인 데이터 스트림을 사용하여 선택된 비디오 구역으로부터 나온 지배적인 컬러 추출물을 통해 따라잡으려는 주변 조명을 제공하는 방법을 제공할 수 있는 것이 또한 요망된다. 또한 그러한 데이터 스트림의 요구된 크기를 더 감소시키는 것이 요망된다.
비디오 및 텔레비전 엔지니어링, 압축 기술, 데이터 전송 및 인코딩, 사람의 시각 체계, 컬러 과학 및 지각, 컬러 공간, 비색 정량 및 비디오 재생을 포함하는 영상 렌더링에 대한 정보는 다음 참조문에서 발견될 수 있고, 이러한 참조문은 본 명세서에서 그 전문이 병합되어 있으며, 이들은 참조[1] 현대 물리 1992년 12월, Vol 45, No 12, 24 내지 29페이지에 실린 Alan R. Robertson의 "컬러 지각"; 참조[2] New Yorkⓒ2001 John Wiley & Sons사가 발간한 Kurt Nassau저 "컬러의 물리 및 화학" 2판; 참조[3] New Yorkⓒ2000 John Wiley & Sons사가 발간한 roy S. Berns저 "컬러 기술의 원리" 3판; 참조[4] New Yorkⓒ2003 MaGraw-Hill사가 발간한 Jerry Whitaker와 K. Blair Benson 공저 "비디오 및 텔레비전 엔지니어링의 표준 핸드북" 4판이다.
본 발명의 다양한 실시예에 관해 주어진 방법은, 가능한 계산상 부하가 거의 없는 것으로 나타나지만 동시에 지배적인 컬러로 선택된 만족스럽고 적합한 색도를 제공하는 방식으로 하나 이상의 지배적인 컬러를 결정 또는 추출하기 위해 픽셀 레벨 통계 또는 등가물을 사용하는 단계를 포함한다.
본 발명은 주변 광원에 의한 에뮬레이션(emulation)을 위해 지배적인 컬러를 만들어내도록 렌더링된 컬러 공간에서 인코딩된 비디오 콘텐츠로부터의 지배적인 컬러 추출을 위한 방법에 관한 것이다. 방법 단계들은 [1] 할당된 컬러의 분포를 형성하도록 렌더링된 컬러 공간에서의 비디오 콘텐츠로부터의 적어도 일부 픽셀 색도를 양자화함으로써 렌더링된 컬러 공간을 양자화하는 단계; [2] [a] 할당된 컬러의 모드; [b] 할당된 컬러의 중앙값; [c] 할당된 컬러의 색도에 의한 가중치가 부여된 평균; [d] 가중치가 부여된 함수를 사용하는 가중치가 부여된 평균 중 어느 하나를 추출함으로써, 지배적인 컬러를 만들어내도록 할당된 컬러의 분포로부터 지배적인 컬러 추출을 수행하는 단계 및 [3] 지배적인 컬러를 렌더링된 컬러 공간으로부터 제 2의 렌더링된 컬러 공간으로 변환하여 주변 광원을 구동하는 것을 허용하도록 형성하는 단계를 포함한다.
픽셀 색도(또는 렌더링된 컬러 공간)의 양자화는 다수의 방법에 의해 행해질 수 있고(정의 섹션 참조), 그러한 경우 더 큰 개수의 색도(예컨대, 픽셀 섹도)를 더 작은 개수의 할당된 색도나 컬러에 할당하는 것으로부터 초래되는 것과 같은 가능한 컬러 상태에서의 감소를 찾는 것; 또는 선택된 픽셀을 골라내는 선택 공정에 의해 픽셀 개수를 감소시키는 것 또는; 대표적인 픽셀이나 하위픽셀을 만들기 위해 저장하는 것, 계산상 부담을 더는 것이 목표이다.
이러한 렌더링된 컬러 공간의 양자화는 부분적으로, 픽셀 색도를 적어도 하나의 수퍼 픽셀에 넣어 저장함으로써 수행되고, 그렇게 만들어진 수퍼 픽셀은 하나의 영상 특징과 일치되게 크기, 방위, 모양 또는 위치가 정해질 수 있다. 양자화 공정에서 사용된 할당된 컬러들은 제 2 렌더링된 컬러 공간과 같은 렌더링된 컬러 공간에서 필수적이지는 않은 구역 컬러 벡터가 되도록 선택될 수 있다.
일단 지배적인 컬러가 할당된 컬러의 분포로부터 선택되면, 말하자면 지배적인 컬러를 다듬기 위한 실제 픽셀 색도를 얻기 위해, 거꾸로 갈 수 있다. 예컨대, 할당된 컬러의 분포에서의 적어도 하나의 해당 컬러를 확립하고, 지배적인 컬러로서 지정될 실제 지배적인 컬러를 유도하기 위해 할당된 픽셀 색도를 추출할 수 있다. 그러므로 할당된 컬러가 비디오 콘텐츠의 가공하지 않은 근사치일 수 있고, 실제 지배적인 컬러는 주변 분포를 위한 올바른 색도를 제공할 수 있으며, 여전히 다른 경우 요구될 계산을 절약하게 된다. 또한 지배적인 컬러는 지배적인 컬러의 파레트(pallet)를 포함할 수 있다.
변환 단계[3]에 관한 다른 가능한 실시예는, [3a] 렌더링된 컬러 공간으로부터 렌더링되지 않은 컬러 공간으로 지배적인 컬러를 변환하는 것과, [3b] 지배적인 컬러를 렌더링되지 않은 컬러 공간으로부터 제 2의 렌더링된 컬러 공간으로 변환하는 것을 포함한다. 이는 제 1 및 제 2의 3자극 원색 행렬을 사용하여, 렌더링된 컬러 공간과 제 2의 렌더링된 컬러 공간의 원색을 렌더링되지 않은 컬러 공간으로 행렬 변환하는 것과, 렌더링된 컬러 공간의 원색, 제 1의 3자극 행렬 및 제 2의 3자극 행렬의 역의 행렬 곱셈에 의해, 제 2의 렌더링된 컬러 공간으로의 컬러 정보의 변환을 유도하는 것을 추가로 포함할 수 있다.
단계[1]의 픽셀 색도는 추출 구역으로부터 얻어질 수 있고, 추가된 단계[4]는 추출 구역에 인접한 주변 광원으로부터 지배적인 컬러의 주변 광을 방송하는 것을 포함할 수 있다.
단계[2]의 가능한 가중 함수는 이미지 특징으로부터 복수의 픽셀 색도를 추출하는 것을 허용할 수 있고, 과거의 비디오 프레임은 미래의 비디오 프레임에서의 지배적인 컬러의 선택을 안내할 수 있다. 임의의 추출 구역이 비디오 프레임으로부터 추출된 이미지 특징으로 골라질 수 있다.
이들 단계는 많은 방식으로 결합될 수 있고, 렌더링되지 않은 컬러 공간은 CIE XYZ; ISO 표준 17321에서 정의된 ISO RGB, Photo YCC, CIE LAB 또는 임의의 다른 렌더링되지 않은 공간 중 하나일 수 있으며, 단계[1], [2], [3]은 제 2의 렌더링된 컬러 공간에서의 컬러 정보를 사용하여 비디오 디스플레이로부터 또는 비디오 디스플레이 둘레의 주변 광 방송을 통해, 비디오 신호와 실질적으로 동기될 수 있다.
도 1은 본 발명에 따른 컬러 정보 추출 구역과, 6개의 주변 광원으로부터의 주변 광의 연관된 방송을 보여주는 비디오 디스플레이의 간단한 표면 정면도.
도 2는 다수의 주변 광원으로부터의 주변 광이 본 발명을 사용하여 만들어지는 방의 - 일부는 개략적이고, 일부는 단면적인 - 평면도.
도 3은 컬러 정보를 추출하고, 주변 광원의 구동을 허용하기 위해 컬러 공간 변환을 실행하기 위한 본 발명에 따르는 시스템을 도시하는 도면.
도 4는 비디오 추출 구역으로부터 평균 컬러 정보를 계산하기 위한 수학식을 도시하는 도면.
도 5는 렌더링된 원색의 RGB를 렌더링되지 않은 컬러 공간인 XYZ로 변환하기 위한 종래 기술의 행렬식을 도시하는 도면.
도 6과 도 7은 비디오 및 주변 조명 렌더링된 컬러 공간을 각각 렌더링되지 않은 컬러 공간으로 맵핑하기 위한 행렬식을 도시하는 도면.
도 8은 렌더링되지 않은 컬러 공간인 XYZ로부터 주변 광 3자극 값인 R'G'B'을 유도하기 위해 알려진 행렬 반전을 사용하는 해결책을 도시하는 도면.
도 9 내지 도 11은, 종래 기술의 흰색점 방법을 사용하는 3자극 1차 행렬(M)의 유도를 도시하는 도면.
도 12는 추가로 주변 방송을 위한 감마 정정 단계를 포함하는, 도 3에 도시된 것과 유사한 시스템을 도시하는 도면.
도 13은 본 발명에 사용된 일반적인 변환 공정에 관한 개략도.
도 14는 본 발명에 의해 사용된 주변 광원에 관한 변환 행렬 계수를 획득하기 위한 공정 단계들을 도시하는 도면.
도 15는 본 발명을 사용하는 추정된 비디오 추출과 주변 광 재생에 관한 공정 단계들을 도시하는 도면.
도 16은 본 발명에 따른 비디오 프레임 추출의 개략도.
도 17은 본 발명에 따른 단축된 색 평가(abbreviated chrominance assessment)에 관한 공정 단계들을 도시하는 도면.
도 18은 프레임 디코더를 이용하고, 프레임 추출율을 설정하며, 주변광원을 구동하기 위한 출력 계산을 수행하는 도 3과 도 12에 도시된 것과 같은 추출 단계를 도시하는 도면.
도 19와 도 20은 컬러 정보 추출을 위한 공정 단계들과 본 발명에 관한 처리를 도시하는 도면.
도 21은 지배적인 컬러 추출과, 주변 조명 컬러 공간으로의 변환을 포함하는, 본 본 발명에 따른 일반적인 공정에 관한 개략도.
도 22는 픽셀 색도를 할당된 컬러에 할당함으로써, 비디오 콘텐츠로부터의 픽셀 색도를 양자화하기 위한 하나의 가능한 방법을 개략적으로 도시하는 도면.
도 23은 픽셀 색도를 수퍼픽셀 안에 저장함으로써 양자화하는 일 예를 개략적으로 도시하는 도면.
도 24는 도 23과 유사하지만, 수퍼픽셀의 크기, 방위(orientation), 모양, 또는 위치가 영상 특징과 일치되게 형성될 수 있는, 저장하는 공정을 개략적으로 도시하는 도면.
도 25는 하나의 컬러 벡터가 PAL/SECAM, NTSC 및 어도비(Adobe)사의 RGB 컬러 제작 표준에 의해 얻을 수 있는 색역 외부에 있는, 지역적인 컬러 벡터와, 그것들의 컬러 또는 표준 데카르트 CIE 컬러 맵 상의 색도 좌표를 도시하는 도면.
도 26은 도 25의 CIE 플롯의 일부의 확대도를 보여주고, 추가로 픽셀 색도와 그것들의 지역적인 컬러 벡터로의 할당을 도시하는 도면.
도 27은 본 발명의 한 가지 가능한 방법에 따른 할당된 컬러 분포의 모드를 설명하는 히스토그램을 도시하는 도면.
도 28은 본 발명의 한 가지 가능한 방법에 따른 할당된 컬러 분포의 중앙값을 개략적으로 도시하는 도면.
도 29는 본 발명의 한 가지 가능한 방법에 따른 할당된 컬러의 색도에 의해 가중치가 부여된 평균에 관한 수학적인 합계(summation)를 도시하는 도면.
도 30은 본 발명의 한 가지 가능한 방법에 따른 가중 함수를 사용하는 할당된 컬러의 색도에 의한 가중치가 부여된 평균에 관한 수학적인 합계를 도시하는 도면.
도 31은 할당된 컬러의 분포에 있어서의 한 가지 관심 있는 컬러를 확립한 다음, 지배적인 컬러로서 지정될 실제 지배적인 컬러를 유도하기 위해 할당된 픽셀 색도를 추출하는 것을 보여주기 위한 개략적인 표현을 도시하는 도면.
도 32는 본 발명에 따른 지배적인 컬러 추출이 지배적인 컬러의 파레트를 제공하기 위해 여러 번 또는 개별적으로 나란히 수행될 수 있음을 개략적으로 도시하는 도면.
도 33은, 도 29와 도 30에 설명된 방법에 관한 바람직한 공간 구역에 주어진 같지 않은 가중치의 일 예를 도시하는, 도 1에 도시된 바와 같은 비디오 디스플레이의 간단한 정면도.
도 34는 본 발명에 따른 지배적인 컬러 추출의 목적을 위해 추출된 영상 특징을 개략적으로 보여주는, 도 33에 도시된 바와 같은 비디오 디스플레이의 간단한 정면도.
도 35는 한 프레임의 지배적인 컬러가 이전 프레임으로부터의 지배적인 컬러에 의존함으로써, 적어도 부분적으로 얻어지는 것을 허용하는 프레임의 세트로 비디오 콘텐츠가 디코딩되는, 본 발명의 또 다른 실시예의 개략적인 표현.
도 36은 본 발명에 따른 지배적인 컬러를 선택하기 위한 단축된 절차에 관한 공정 단계들을 도시하는 도면.
다음 정의가 사용된다.
- 주변 광원 - 은 첨부된 청구항에서 광 발생을 실행하기 위해 필요한 임의의 광 발생 회로 또는 구동기를 포함한다.
- 주변 공간 - 은 임의의 그리고 모든 물질 몸체나 공기 또는 비디오 디스플레이 유닛에 대한 외부 공간을 의미한다.
- 할당된 컬러 분포 - 는 비디오 영상이나 비디오 콘텐츠에서 발견된 전체 범위의 픽셀 색도(예컨대, 계산상 목적을 위한)를 나타내기 위해 선택된 컬러의 세트를 표시한다.
- 크로미넌스(Chrominance) - 는 주변 광원을 구동하는 상황에서는 발생된 광의 컬러 특성을 명시하는 기계적이고, 수치상의, 또는 물리적인 방식을 표시하고, NTSC나 PAL 텔레비전 방송에서 사용된 것과 같은 특별한 방법론을 암시하지는 않는다.
- 컬러 정보 - 는 색도와 휘도 중 하나 또는 둘 다를 포함하거나, 기능적으로 등가인 다수를 포함한다.
- 컴퓨터 - 알려진 아키텍처를 이용하는 CPU(중앙 처리 유닛)와 같은 모든 처리기뿐만 아니라, 디지털 광학 디바이스와 같은 설정 코드 또는 변경 코드의 코딩, 디코딩, 판독, 처리, 실행을 허용할 수 있는 임의의 인텔리전트(intelligent) 디바이스나 동일한 기능을 수행하는 아날로그 전기 회로를 포함한다.
- 지배적인 컬러 - 본 명세서에 개시된 예시적인 방법을 사용하여 선택된 임의의 컬러를 포함하는 주변 방송의 목적을 위해, 비디오 콘텐츠를 나타내도록 선택된 임의의 색도를 표시한다.
- 추출 구역 - 전체 비디오 영상이나 프레임의 임의의 부분집합(subset)을 포함한다.
- 프레임 - 은 업계에서의 용어인 프레임의 사용과 일치하는 비디오 콘텐츠에서의 영상 정보의 시간 순차적인 표현을 포함하지만, 임의의 순간 또는 규칙적인 간격으로 비디오 콘텐츠를 전달하기 위해 사용된 임의의 부분적인(예컨대, 얽혀진) 또는 완전한 영상 데이터를 포함하기도 한다.
- 고니오크로마틱(Goniochromatic) - 은 무지개빛깔에 의해 만들어진 것과 같은 보는 각도 또는 관찰 각도의 함수로서 상이한 컬러 또는 색도를 주는 성질을 가리킨다.
- 고니오포토메트릭(Goniophotometric) -은 진주 광택이 나는, 번쩍거리는 또는 역반사 현상에서 발견되는 것과 같은 보는 각도 또는 관찰 각도의 함수로서 상이한 광 강도, 투과 및/또는 컬러를 주는 성질을 가리킨다.
- 보간 - 은 2개의 알려진 값들의 집합 사이의 값을 설정하기 위한 기능 규정 뿐만 아니라, 값들의 2개의 집합 사이의 선형 또는 수학적인 보간을 포함한다.
- 광 특성 - 는 넓은 의미로 광 투과나 반사의 정도와 같은 휘도 및 색도 외의 모든 서술자를 포함하는 주변 광원에 의해 만들어진 것과 같은 광의 특징을 서 술한 것 또는 어떤 컬러가 번쩍거리는지의 정도 또는 다른 알려진 현상들이 주변 광원을 관찰할 때 보는 각도의 함수로서 만들어지는 것을 포함하는 고니오포토메트릭 특징을 서술한 것 또는 포인팅(Poynting) 또는 다른 방송 벡터와 같은 광의 각도 분포를 서술한 것을 의미한다. 또한 요소 픽셀 또는 램프 위치와 같은 주변 광원 상의 위치를 명시하는 좌표 또는 좌표들을 포함할 수 있다.
- 휘도 - 는 밝기, 강도의 임의의 파라미터 또는 측정이나 등가 측정(equivalent measure)을 표시하고, 광 발생 또는 측정의 특별한 방법이나 정신-생물학적 해석(psycho-biological interpretation)을 암시하지 않는다.
- 픽셀 - 은 실제 또는 가상의 비디오 화상 요소, 픽셀 정보의 유도를 허용하는 등가 정보를 가리킨다.
- 양자화 컬러 공간 - 본 명세서의 상세한 설명부와 첨부된 청구항의 상황에서, 더 큰 개수의 색도(예컨대, 픽셀 색도)로부터 더 작은 개수의 할당된 색도 또는 컬러로의 할당으로부터 초래하는 것; 또는 선택된 픽셀을 골라내는 선택 공정에 의한 픽셀 개수의 감소; 또는 대표적인 픽셀 또는 수퍼픽셀을 만들기 위해 저장하는 것과 같은 가능한 컬러 상태에 있어서의 감소를 가리킨다.
- 렌더링된 컬러 공간 - 은 센서로부터 캡쳐되거나, 또는 디바이스와 영상 특정되는 소스 또는 디스플레이 디바이스에 특정되는 영상 또는 컬러 공간을 표시한다. 대부분의 RGB 컬러 공간은 비디오 디스플레이(D)를 구동하기 위해 사용된 비디오 공간을 포함하는 렌더링된 영상 공간이다. 첨부된 청구항에서, 비디오 디스플레이와 주변 광원(88)에 특정된 컬러 공간 모두 렌더링된 컬러 공간이다.
- 렌더링되지 않은 컬러 공간으로의 컬러 정보의 변환 - 은, 첨부된 청구항에서 렌더링되지 않은 컬러 공간으로의 직접적인 변환 또는 렌더링되지 않은 컬러 공간{예컨대, 도 8에 도시된 (M2)-1}으로의 변환에 의해 얻어진 3자극 1차 행렬의 역을 사용하는 것으로부터 유도된 이용 또는 이득을 포함한다.
- 렌더링되지 않은 컬러 공간 - 은 표준 CIE XYZ, ISO 17321 표준에서 정의된 것과 같은 ISO RGB, 포토 YCC 및 CIE LAB 컬러 공간을 사용하는 본래의 영상 색도를 설명하는 것과 같은 표준 또는 비-디바이스 특정 컬러 공간을 표시한다.
- 비디오 - 는 임의의 시각 또는 광 발생 디바이스를 표시하고, 활동중인 디바이스는 광 발생을 위한 에너지 또는 사무실 건물에서의 창과 같은 영상 정보를 운반하는 투과성 매체 또는 영상 정보가 원격으로 유도되는 광학 가이드를 요구한다.
- 비디오 신호 - 는 임의의 오디오 부분을 포함하는 비디오 디스플레이 유닛을 제어하기 위해 전달된 신호 또는 정보를 표시한다. 그러므로 비디오 콘텐츠 분석은 그러한 오디오 부분을 위한 가능한 오디오 콘텐츠 분석을 포함한다는 것이 구상된다. 일반적으로, 비디오 신호는 임의의 개수의 알려진 변조 기술을 사용하는 라디오 주파수 신호와 같은 임의의 유형의 신호, 아날로그 및 양자화된 아날로그 파형을 포함하는 전기 신호, 펄스-폭 변조, 펄스-개수 변조, 펄스-위치 변조, PCM(펄스 코드 변조) 및 펄스 진폭 변조를 사용하는 것들과 같은 디지털 (전기) 신호, 또는 음향 신호, 오디오 신호 및 광학 신호와 같은 다른 신호를 포함할 수 있 고, 이들 모두 디지털 기술을 사용할 수 있다. 컴퓨터-기반의 애플리케이션에서와 같은 다른 정보를 가지고 또는 다른 정보 중에 단지 순차적으로 놓이는 데이터도 사용될 수 있다.
- 가중치가 부여된(weighted) - 은 특정 색도 및/또는 공간 위치에 차별화된 상태 또는 더 높은 수학적인 가중치를 부여하기 위해 본 명세서에서 주어진 것들에 대한 임의의 등가 방법을 가리킨다.
본 발명에 따른 비디오 콘텐츠로부터 유도된 주변 광은, 원한다면 낮은 요구된 계산상 부담을 가지고, 주변 조명을 위한 자유로운 정도의 높은 정도의 특이성(specificity)을 유지하면서, 본래의 비디오 장면의 색도에 대한 높은 정도의 충실성을 허용하는 것을 통지받는다. 이는 상대적으로 큰 색역과 휘도 응답 곡선을 가진 더 개선된 광원으로부터 비디오 장면 광을 에뮬레이션하기 위해 작은 컬러 색역과 감소된 휘도 공간을 구비한 주변 광원을 허용한다. 주변 조명을 위한 가능한 광원은, LED(발광 다이오드)와 관련된 반도체 방열기(radiator)를 포함하는 임의의 개수의 알려진 조명 디바이스, 비-반도체 유형을 포함하는 전자발광 디바이스, 할로겐 또는 개선된 화학 작용을 사용하는 수정된 유형을 포함하는 백열 등(incandescent lamp), 형광 및 네온 램프를 포함하는 이온 방전 램프, 레이저, LCD(액정 디스플레이) 또는 다른 광 변조기의 사용과 같은 변조되는 광원, 광전발광 방출기(photoluminescent emitter) 또는 기능적으로 디스플레이를 닮는 배열을 포함하는 임의의 개수의 알려진 제어 가능한 광원을 포함할 수 있다.
본 명세서에서 주어진 설명은 부분적으로 먼저 비디오 콘텐츠로부터의 컬러 정보 추출과 관련되고, 나중에는 비디오 영상 또는 장면을 나타낼 수 있는 지배적인 또는 실제의 컬러를 유도하기 위한 추출 방법에 관한 것이다.
이제 도 1을 참조하면, 본 발명에 따른 비디오 디스플레이(D)의 간단한 표면 정면도가 오직 예시적인 목적을 위해 도시되어 있다. 디스플레이(D)는 NTSC, PAL 또는 SECAM 방송 표준과 같은 렌더링된 컬러 공간, 또는 어도비의 RGB와 같은 렌더링된 RGB 공간으로부터 비디오 콘텐츠를 디코딩하는 임의의 다수의 알려진 디바이스를 포함할 수 있다. 디스플레이(D)는 경계가 예시된 것으로부터 벗어날 수 있는 컬러 정보 추출 구역(R1, R2, R3, R4, R5, R6)을 포함할 수 있다. 컬러 정보 추출 구역은 자유롭게 미리 정해지고, 디스플레이(D)가 장착되는 벽(미도시)에 부분적인 광 뿌려짐(spillage)에 의한 것과 같은 도시된 바와 같은 주변 광(L1, L2, L3, L4, L5, L6)을 만들어내고 방송하는 후방 장착 제어 가능한 주변 조명 유닛(미도시)을 거치는 것과 같은 특징 주변 광(A8)을 만들어내는 목적에 관한 특징을 가지게 된다. 대안적으로, 도시된 바와 같은 디스플레이 프레임(Df)은 그 자체로 또한 뷰어(미도시) 쪽으로의 외면을 포함하는 유사한 방식으로 광을 디스플레이하는 주변 조명 유닛을 포함할 수 있다. 원한다면, 각 컬러 정보 추출 구역(R1 내지 R6)은 그 자체에 인접한 주변 광에 영향을 미칠 수 있다. 예컨대, 컬러 정보 추출 구역(R4)은 도시된 바와 같이 주변 광(L4)에 영향을 미칠 수 있다.
이제 - 일부는 개략적이고, 일부는 단면적인 - 평면도인 도 2를 참조하면, 다수의 광원으로부터 주변광이 본 발명을 사용하여 만들어지는 방 또는 주변 공간(AO)이 도시되어 있다. 주변 공간(A0)에는 비디오 디스플레이(D)의 보기를 허용 하도록 배열되는 도시된 바와 같은 좌석 및 테이블(7)이 배치되어 있다. 주변 공간(A0)에는 또한 도시된 바와 같은 광 스피커(1 내지 4), 도시된 바와 같은 소파 또는 좌석 아래의 하위 광(sublight)(SL)을 포함하는 본 발명을 사용하여 임의로 제어되는 복수의 주변 광 유닛과, 디스플레이(D)에 대해 배열된 특별한 따라잡으려는 주변 광 유닛의 세트, 즉 도 1에 도시된 바와 같은 주변 광(Lx)을 만들어내는 중심 광이 배열된다. 이들 각 주변 광 유닛은 도면에서 음영으로 도시된 바와 같은 주변 광(A8)을 방출할 수 있다.
본 발명과 협력하여, 유도된 컬러 또는 색도를 구비한 이들 주변 광 유닛으로부터 주변 광을 임의로 만들어낼 수 있지만, 실제로는 비디오 디스플레이(D)에 의해 방송되지 않는다. 이는 사람 눈과 시각 체계의 특징을 이용하는 것을 허용한다. 다양한 가시 파장에 관한 검출 민감도를 주는 사람의 시각 체계의 휘도 함수는 광 레벨의 함수로서 변한다는 점이 주목되어야 한다.
예컨대, 간상체에 의존하는 암소(scotopic) 또는 암시(night vision)는 청색 및 녹색에 더 민감한 경향이 있다. 원추체(cone)를 사용하는 명소시(photopic vision)이 적색과 황색과 같은 더 긴 파장의 광을 검출하기에 더 적합하다. 어두워진 홈 씨어터 환경에서는, 광 레벨의 함수로서의 상이한 컬러의 상대적인 휘도 변화와 같은 것이 주변 공간에 있는 비디오 사용자에게 전달된 컬러를 변조 또는 변경함으로써 다소 중화된다. 이는 광 변조기(미도시)를 사용하는 광 스피커(1 내지 4)와 같은 주변 광 유닛으로부터 광을 빼거나, 광 스피커에서의 추가된 성분, 즉 주변으로 나가기 전에 광을 더 수정하기 위해 광전발광 방출기를 사용하는 것에 의 해 행해질 수 있다. 광전발광 방출기는 광원으로부터의 입사하는 광으로부터의 흡수 또는 겪게 되는 여기(excitation)에 의한 컬러 변환을 수행한 다음, 더 높은 원하는 파장에 있는 광을 재방출한다. 이러한 형광성 안료와 같은 광전발광 방출기에 의한 여기와 재방출은 본래의 비디오 영상이나 광원에 본래 존재하지 않고 아마도 디스플레이(D)의 동작에 내재된 컬러 또는 색역의 범위에는 있지 않은 새로운 컬러의 렌더링을 허용할 수 있다. 이는 매우 어두운 장면 동안과 같은 원하는 휘도의 주변 광(Lx)이 낮을 때에 있어 도움이 될 수 있고, 원하는 지각 레벨은 광 변조가 없이 정상적으로 달성되는 것보다 높다.
새로운 컬러의 제작은 새롭고 재미있는 시각 효과를 제공할 수 있다. 예시적인 예는 사냥꾼의 오렌지(hunter's orange)라고 명명되는 것과 같은 오렌지색 광이 만들어지는 것일 수 있으며, 이에 관해 이용 가능한 형광성 안료는 잘 알려져 있다(참조 문헌[2] 참조). 주어진 예는 일반적인 형광 현상 및 관련된 현상과는 반대되는 형광 컬러를 수반한다. 형광성 오렌지 또는 다른 형광 염료 종류의 사용은, 적색과 오렌지색에서의 증가가 긴 파장에 관한 암소시의 감소된 민감도를 중화시킬 수 있는 낮은 광 조건에 관해 특히 유용할 수 있다.
주변 광 유닛에서 사용될 수 있는 형광 염료는 페릴레네스(Perylenes), 나프탈리미드스(Naphthalimides), 쿠마린스(Coumarins), 티옥산테네스(Thioxanthenes), 안트라퀴논스(Anthraquinones), 티오인디고이드스(Thioindigoids)와 같은 염료 부류(class)와, 미국 오하이오주 클리블랜드 소재의 데이-글로(Day-Glo) 사에 의해 제작된 것과 같은 특허받은 염료 부류에서 알려진 암료를 포함할 수 있다. 이용 가 능한 컬러는 아파치(Apache) 황색, 티그리스(tigris) 황색, 사바나(Savannah) 황색, 포코노(Pocono) 황색, 모호크(Mohawk) 황색, 포토맥(Potomac) 황색, 매리골드(Marigold) 오렌지, 오타와(Ottawa) 적색, 볼가(Volga) 적색, 연어 살빛(Salmon) 분홍색 및 콜롬비아(Columbia) 청색을 포함한다. 이들 염료 부류는 알려진 공정을 사용하는 PS, PET 및 ABS와 같은 수지(resin)로 통합될 수 있다.
형광 염료와 물질은 가시 효과를 증강시켰는데, 이는 그것들이 동일한 색도의 비형광(nonfluo)의 최근 물질보다 상당히 더 밝게 처리될 수 있기 때문이다. 형광성 컬러를 생성하는데 사용된 전통적인 유기 안료의 소위 내구성 문제는, 최근 20년간 대부분 해결되었는데, 이는 기술적인 진보가 태양광에의 노출 하에 7 내지 10년 동안 그것들의 선명한 채색을 유지하는 내구성이 있는 형광 안료의 발전을 초래하였기 때문이다. 그러므로 이들 안료는 자외선 엔트리가 최소화되는 홈 씨어터 환경에서 거의 파괴할 수 없게 된다.
대안적으로, 형광성 광(photo) 안료가 사용될 수 있고, 그것들은 단파장 광을 흡수함으로써 간단히 작용하고, 적색 또는 오렌지색과 같은 더 긴 파장으로서의 광을 재방출한다. 예컨대 청색과 보라색의 400 내지 440㎚의 광과 같은 가시 광을 사용하여 여기를 겪게 되는, 광기술적으로 진보된 무기 안료가 현재 즉시 이용 가능하다.
고니오포토메트릭 및 고니오크로마틱 효과가, 시야각의 함수로서의 상이한 광 컬러, 강도 및 문자를 만들기 위해 유사하게 전개될 수 있다. 이러한 효과를 실현하기 위해서는, 주변 광 유닛(1 내지 4과 SL 및 Lx)가 금속성 및 진주 빛깔의 투 과성 착색제, 생선 비늘 에센스(fish scale essence)를 사용하는 것과 같은 잘 알려진 회절성 또는 박막 간섭 효과를 사용하는 무지개 빛깔의 물질, 구아닌(Guanine)의 얇은 박편, 또는 방부제를 함유한 2-아미노히폭산틴(aminohypoxanthine)과 같은 알려진 고니오포토메트릭 요소(미도시)를 단독으로 또는 조합하여 사용할 수 있다. 미세하게 갈은 운모 또는 산화 층으로 만들어진 진주 빛깔의 물질, 반동광(bornite) 또는 공작석(peacock ore), 금속 박편, 유리 박편 또는 플라스틱 박편, 미립자 물질, 기름, 그라운드(ground) 유리 및 그라운드 플라스틱과 같은 다른 물질을 사용하는 확산기가 사용될 수 있다.
이제 도 3을 참조하면, 컬러 정보(지배적인 컬러나 실제 컬러와 같은)를 추출하고 주변 광원을 구동하는 것을 허용하기 위한 유효 컬러 공간 변환하기 위한 본 발명에 따른 시스템이 도시된다. 제 1 단계로서, 컬러 정보가 알려진 기술을 하용하여 비디오 신호(AVS)로부터 추출된다.
비디오 신호(AVS)는 MPEG 인코딩, 오디오 PCM 인코딩 등을 위해 사용된 것들과 같은 알려진 디지털 데이터 프레임 또는 패킷을 포함할 수 있다. 가변 길이 데이터 패킷을 구비한 프로그램 스트림이나, 데이터 패킷을 고르게 분할하는 전송 스트림과 같은 데이터 패킷에 관한 알려진 인코딩 구조나 단일 프로그램 전송 스트림과 같은 다른 구조를 사용할 수 있다. 대안적으로, 본 개시물에 주어진 기능 단계들이나 블록들은, 컴퓨터 코드와 비동기 프로토콜을 포함하는 다른 통신 표준을 사용하여 에뮬레이션 될 수 있다.
일반적인 예로서, 도시된 바와 같은 비디오 신호(AVS)는, 가능하게는 도시된 바와 같은 하드 디스크(HD)로의 및 하드 디스크(HD)로부터의 선택된 콘텐츠를 기록 및 전송하기 위해 알려진 방법을 사용하고, 가능하게는 또한 도시된 바와 같은 메모리(MEM)에 저장된 콘텐츠 유형이나 다른 정보의 라이브러리(library)를 사용하여, 도시된 바와 같은 비디오 콘텐츠 분석(CA)을 거칠 수 있다. 이는 선택된 비디오 콘텐츠의 독립적이고, 나란하며, 직접적이고, 지연되며, 연속적이고, 주기적이거나 비주기적인 전송을 허용할 수 있다. 이러한 비디오 콘텐츠로부터, 일반적으로 또는 영상 특징으로부터 컬러 정보(예컨대 지배적인 컬러)를 유도하는 것과 같은 도시된 바와 같은 특징 추출(FE)을 수행할 수 있다. 이러한 컬러 정보는 여전히 렌더링된 컬러 공간에서 인코딩되고, 이후 도시된 바와 같은 RUR 맵핑 변환 회로(10)를 사용하는 CIE XYZ와 같은 렌더링되지 않은 컬러 공간으로 변환된다. 본 명세서의 RUR은 원하는 변환 유형, 즉 렌더링된 - 렌더링되지 않은 - 렌더링된을 나타내고, 따라서 RUR 맵핑 변환 회로(10)는 또한 컬러 정보를 제 2의 렌더링된 컬러 공간으로 더 변환하여, 도시된 바와 같은 상기 주변 광원이나 소스(88)를 구동하는 것을 허용하게 된다. RUR 변환이 선호되지만, 주변 조명 발생 회로 또는 등가물이 사용할 수 있는 제 2의 렌더링된 컬러 공간에서 정보를 수신하는 한, 다른 맵핑이 사용될 수 있다.
RUR 맵핑 변환 회로(10)는 동일한 기능을 수행하기 위해 소프트웨어를 사용하는 컴퓨터 시스템에 기능적으로 담겨 있을 수 있지만, 데이터 전송 프로토콜에 의해 보내진 패킷화된 정보를 디코딩하는 경우에는, 상관하는 정보를 담거나 담기 위해 갱신되거나 비디오 렌더링된 컬러 공간 계수 등을 제공하는 회로(10) 내에 메 모리(미도시)가 존재할 수 있다. 이러한 새롭게 생성된 제 2의 렌더링된 컬러 공간은, 주변 광원(88)(도 1과 도 2에 도시된 것과 같은)을 구동하기에 적합하고, 바람직하며, 도시된 바와 같은 주변 조명 발생 회로(18)로 알려진 인코딩을 사용하여 공급된다. 주변 조명 발생 회로(18)는 RUR 맵핑 변환 회로(10)로부터의 제 2의 렌더링된 컬러 공간 정보를 취한 다음, 도시된 바와 같은 주변 조명(제 2의 렌더링된) 컬러 공간 룩업 테이블(LUT)을 가능하게 찾아본 후, 실제 주변 광 출력 제어 파라미터(인가된 전압과 같은)를 전개하기 위해, 임의의 사용자 인터페이스와 임의의 결과 기준 메모리(U2로서 함께 도시된)로부터의 임의의 입력을 책임지게 된다. 주변 조명 발생 회로(18)에 의해 생성된 주변 광 출력 제어 파라미터는, 도시된 바와 같이 주변 광원(88)을 직접 제어하거나 공급하기 위해, 램프 인터페이스 구동기(D88)로 도시된 바와 같이 공급되고, 이러한 주변 광원(88)은 도 1과 도 2에 도시된 바와 같은 앞에서 언급된 주변 광 스피커(1 내지 4) 또는 주변 중심 광(Lx)과 같은 개별 주변 광 유닛(1 내지 N)을 포함할 수 있다.
임의의 실시간 계산 부담을 줄이기 위해, 비디오 신호(AVS)로부터 제거된 컬러 정보는 단축되거나 제한될 수 있다. 이제 도 4를 참조하면, 비디오 추출 구역으로부터의 평균 컬러 정보를 계산하기 위한 수학식이 논의를 위해 도시되어 있다. 아래에 언급된 바와 같이(도 18 참조), 비디오 신호(AVS)에서의 비디오 콘텐츠는 일련의 시간 순서대로 배열된 비디오 프레임을 포함하지만, 이는 요구되지 않는다는 점이 예측된다. 각 비디오 프레임이나 등가 시간 블록에 관해, 각 추출 구역(예컨대, R4)으로부터 평균 또는 다른 컬러 정보를 추출할 수 있다. 각 추출 구역은 100 ×376의 픽셀과 같은 일정한 크기를 가지도록 설정될 수 있다. 예컨대, 25프레임/초의 프레임 속도를 가정하면, 평균(8비트의 컬러를 명시하기 위해, 오직 한 바이트만이 필요하다고 가정)을 추출하기 전에 추출 구역(R1 내지 R6)에 관한 결과로서 생기는 총 데이터는 각각 비디오 RGB 3자극 원색에 관해 6 ×100 ×376 ×25개 즉 5.64백만 바이트/초가 될 것이다. 이러한 데이터 스트림은 매우 크고 RUR 맵핑 변환 회로(10)에서 다루기 어렵게 되어, 각 추출 구역(R1 내지 R6)에 관한 평균 컬러의 추출은 특징 추출(FE) 동안 실행될 수 있다. 특히, 도시된 바와 같이 m ×n개의 픽셀의 각 추출 구역에서의 각 픽셀에 관해, RGB 컬러 채널 값(예컨대, Rij)을 합할 수 있고, 도시된 바와 같이 적색에 관해서는 R평균과 같이, 각 RGB 원색에 관한 평균에 도달하기 위해, m ×n개의 픽셀의 개수로 나눌 수 있다. 그러므로 각 RGB 컬러 채널에 관해 이렇게 덧셈을 반복하게 되면, 각 추출 구역에 관한 평균은 삼중항(triplet)인 RAVG = |R평균, G평균, R평균|이 된다. 동일한 절차가 모든 추출 구역(R1 내지 R6)과, 각 RGB 컬러 채널에 관해 반복된다. 추출 구역의 개수와 크기는 도시된 것과 다를 수 있고 바라는 대로 될 수 있다.
RUR 맵핑 변환 회로(10)에 의한 컬러 맵핑 변환을 수행하는 다음 단계는, 도 5에 도시된 바와 같은 알려진 3자극 1차 행렬을 사용하여 예시적으로 도시되고 표현될 수 있으며, 이 경우 벡터(R, G, B)를 가진 렌더링된 3자극 컬러 공간이 Xr ,최대, Yr,최대, Zr ,최대와 같은 요소를 구비한 3자극 1차 행렬(M)을 사용하여 변환되고, 이 경 우 Xr ,최대는 최대 출력에서의 R의 원색의 3자극 값이다.
렌더링된 컬러 공간으로부터 렌더링되지 않은 디바이스-독립적인 공간으로의 변환은, 이미지 및/또는 디바이스 특정 - 알려진 선형화, 픽셀 재구성(만약 필요하다면)일 수 있고, 흰색점 선택 단계가 실행될 수 있으며, 그 다음에는 행렬 변환이 이루어진다. 이 경우, 우리는 렌더링되지 않은 컬러 공간 비색 정량으로의 변환을 위한 시작점으로서 렌더링된 비디오 출력 공간을 채택할 것을 간단히 결심한다. 렌더링되지 않은 이미지는 볼 수 있거나 인쇄될 수 있게 만들기 위해 추가 변환을 거칠 필요가 있고, 따라서 RUR 변환은 제 2의 렌더링된 컬러 공간으로의 변환을 수반한다.
제 1의 가능한 단계에서, 도 6과 도 7은 원색인 R, G, B에 의해 표현된 비디오 렌더링된 컬러 공간과, 각각 원색인 R', G', B'에 의해 표현된 주변 조명 렌더링된 컬러 공간을 렌더링되지 않은 컬러 공간인 도시된 X, Y, Z로 맵핑하기 위한 행렬 수학식을 도시하고, 이 경우 3자극 1차 행렬(M1)은 비디오 RGB를 렌더링되지 않은 XYZ로 변환하고, 3자극 1차 행렬(M2)은 주변 광원(R'G'B')을 도시된 바와 같은 렌더링되지 않은 XYZ 컬러 공간으로 변환한다. 도 8에 도시된 바와 같이 렌더링된 컬러 공간인 RGB와 R'G'B'을 같게 놓음으로써, 렌더링된 (비디오) 컬러 공간과 제 2의 렌더링된 (주변) 컬러 공간의 원색인 RGB와 R'G'B'을 제 1 및 제 2의 3자극 1차 행렬(M1, M2)을 사용하여 상기 렌더링되지 않은 컬러 공간으로 행렬 변환(RUR 맵핑 변환)하는 것을 허용하고, 렌더링된 비디오 컬러 공간의 RGB 원색, 제 1의 3자 극 행렬(M1) 및 제 2의 3자극 행렬의 역행렬(M2)-1의 행렬 곱셈에 의해 컬러 정보를 제 2의 렌더링된 컬러 공간(R'G'B')으로 변환하는 것을 유도한다. 알려진 디스플레이 디바이스에 관한 3자극 1차 행렬이 즉시 이용 가능한 데 반해, 주변 광원에 관한 것은 당업자에 의해 알려진 흰색 점 방법을 사용하여 결정될 수 있다.
이제 도 9 내지 도 11을 참조하면, 흰색 점 방법을 사용하는 일반화된 3자극 1차 행렬(M)의 종래 기술의 유도 방식이 도시되어 있다. 도 9에서, SrXr과 같은 양은 최대 출력에서 각각의 (주변 광원) 원색의 3자극 값을 나타내고, Sr은 흰색 점 진폭을 나타내며, Xr은 (주변) 광원에 의해 만들어진 원색 광의 색도를 나타낸다. 흰색 점 방법을 사용하는 것은, 행렬 수학식이 도시된 바와 같은 광원 색도의 알려진 역행렬을 사용하여 흰색 점 기준 값의 벡터와 Sr을 같게 놓는다. 도 11은, XW와 같은 흰색 점 기준 값이 흰색 점 진폭이나 휘도와 광원 색도와의 곱이라는 사실을 생각나게 하기 위해 대수 조작(algebraic manipulation)이다. 모든 점에서, 3자극 값(X)은 색도(x)와 같게 설정되고, 3자극 값(Y)은 색도(y)와 같게 설정되며, 3자극 값(Z)은 1-(x+y)와 같게 설정되도록 한정된다. 제 2의 렌더링된 주변 광원 컬러 공간에 관해 컬러 원색과 기준 흰색 컬러 성분은, 컬러 분광계(spectrometer)를 사용하는 것과 같은 알려진 기술을 사용하여 획득될 수 있다.
제 1의 렌더링된 비디오 컬러 공간에 관한 유사한 수학식이 발견될 수 있다. 예컨대, 현재의 스튜디오 모니터는 북미, 유럽 및 일본에서 약간 상이한 표준을 가 지고 있는 것으로 알려져 있다. 하지만 일 예로서, 고선명 텔레비전(HDTV)에 관한 원색에 대해서 국제 협정이 얻어졌고, 이들 원색은 스튜디오 비디오, 계산 및 컴퓨터 그래픽에서 현재의 모니터에 가깝게 나타내고 있다. 그러한 표준은 공식적으로 ITU-R 권고안 BT.709로 표시되고, 이는 요구된 파라미터를 담고 있으며, RGB에 관한 관련 3자극 1차 행렬(M)은
0.640 0.300 0.150 ITU-R BT.709에 관한 행렬(M)
0.330 0.600 0.060
0.030 0.100 0.790
그리고 흰색 점 값도 알려져 있다.
도 12를 참조하면, 이제 도 3에 도시된 것과 유사한 시스템이 도시되어 있고, 주변 방송을 위해 도시된 바와 같은 특징 추출 단계(FE) 후의 감마 정정 단계(55)를 추가로 포함한다. 대안적으로, 감마 정정 단계(55)는 RUR 맵핑 변환 회로(10)와 주변 조명 발생 회로(18)에 의해 수행된 단계들 사이에서 수행될 수 있다. LED 주변 광원에 관한 최적의 감마값들은 1.8로 발견되어, 2.5의 통상적인 비디오 컬러 공간 감마를 중화하기 위한 네거티브 감마 정정이, 알려진 수학적 계산을 사용하여 발견된 정확한 감마값을 가지고 실행될 수 있다.
일반적으로, 임의의 적합한 알려진 소프트웨어 플랫폼을 거쳐 실행된 기능상 블록일 수 있는 RUR 맵핑 변환 회로(10)는, 도 13에 도시된 바와 같은 일반적인 RUR 변환을 수행하고, 개략적으로 도시된 도 13에서 비디오 RGB와 같은 렌더링된 컬러 공간을 포함하는 비디오 신호(AVS)를 취하고, 그것을 CIE XYZ와 같은 렌더링 되지 않은 컬러 공간으로 변환한 다음, 제 2의 렌더링된 컬러 공간(주변 광원 RGB)으로 변환한다. 이러한 RUR 변환 이후, 주변 광원(88)이 도시된 신호 처리와는 별도로 구동될 수 있다.
도 14는 본 발명에 의해 사용된 주변 광원에 관한 변환 행렬 계수를 획득하기 위한 처리 단계들을 보여주고, 이 경우 그러한 단계들은 도시된 바와 같이 주변 광 유닛(들)을 구동하는 단계와, 관련 분야에 알려진 바와 같은 출력 선형성을 체크하는 단계를 포함한다. 주변 광원 원색이 안정하다면(좌측 갈래 위에 도시됨, 안정한 원색), 컬러 분광계를 사용하여 변환 행렬 계수를 획득할 수 있는데 반해, 만약 주변 광원 원색이 안정하지 않다면(우측 갈래 위에 도시됨, 안정하지 않은 원색), 이전에 주어진 감마 정정을 재설정할 수 있다(재설정 감마 곡선으로 도시됨).
일반적으로, 반드시 그래야 하는 것은 아니지만, R4와 같은 추출 구역에 있는 모든 픽셀로부터의 컬러 정보를 추출하는 것이 바람직하고, 대신 원한다면 선택된 픽셀들을 폴링(polling)하는 것이 평균 컬러의 더 빠른 추정 또는 추출 구역 컬러 특성화의 더 빠른 생성이 일어나는 것을 허용할 수 있다. 도 15는 추정된 비디오 추출과 본 발명을 사용하는 주변 광 재생을 위한 처리 단계들을 보여주고, 이러한 단계들은 [1] 비디오 재생의 비색 정량적 추정(비디오 RGB와 같은 렌더링된 컬러 공간으로부터), [2] 렌더링되지 않은 컬러 공간으로의 변환 및 [3] 주변 재생을 위한 비색 정량적 추정 변환(LED RGB와 같은 제 2의 렌더링된 컬러 공간).
비디오 프레임(아래 도 18 참조)으로부터 비디오 콘텐츠(지배적인 컬러와 같은)의 추출과 처리를 지원하기 위해 요구된 데이터 비트 스트림이 비디오 프레임의 현명한 서브샘플링(subsampling)에 의해 본 발명에 따라 감소될 수 있다는 것이 발견되었다. 이제 도 16을 참조하면, 본 발명에 따른 비디오 프레임 추출의 개략도가 도시되어 있다. 일련의 개별 연속적인 비디오 프레임(F), 즉 프레임(F1, F2, F3) 등- NTSC, PAR 또는 SECAM 표준에 의해 명시된 개별적인 인터레이스되거나 인터레이스되지 않은 것과 같은 - 이 도시되어 있다. 프레임 F1과 FN과 같은 선택된 연속적인 프레임들로부터 콘텐츠 분석 및/또는 특징 추출 - 지배적인 컬러 정보를 추출하는 것과 같은 - 을 함으로써, 수용 가능한 주변 광원 응답, 리얼리즘, 충실도를 유지하면서 데이터 로드(load) 또는 오버헤드(overhead)를 감소시킬 수 있다. N=10이 양호한 결과, 즉 10개의 연속적인 프레임 중 1개 프레임의 서브샘플링이 작용할 수 있다는 것이 발견되었다. 이는 낮은 처리 오버헤드의 프레임 추출 사이의 리프레시 기간(P)을 제공하고, 이 기간 동안에 인터프레임 보간 처리가 디스플레이(D)에서의 크로미넌스 변화의 시간 전개의 적합한 근사를 제공할 수 있다. 선택된 프레임(F1, FN)이 도시된 바와 같이 추출되고(EXTRACT), G2, G3, G4로 도시된 크로미넌스 파라미터에 관한 중간 보간된 값들이 필수적인 컬러 정보를 제공하여 주변 광원(88)에 관해 이전에 인용된 구동 처리를 알려준다. 이는 프레임(2)부터 프레임(N-1)까지 모두 동일한 정보를 간단히 고정시키거나 유지할 필요성을 없애준다. 보간된 값들은 추출된 프레임(F1, FN) 사이의 총 크로미넌스 차이가 보간된 프레임(G)에 걸쳐 퍼지는 것과 같이 선형적으로 결정될 수 있다. 대안적으로, 추출된 컬러 정보의 시간 전개의 더 높은 차수의 근사를 적합하게 하는 것과 같은 임의의 방식으로 추출된 프레임(F1, FN)들 사이의 크로미넌스 차이를 펼칠 수 있다. 보간 결과는 보간된 프레임(DVD 플레이어에서와 같은)에 영향을 미치기 위해 한 프레임(F)을 미리 액세스함으로써 사용될 수 있거나, 대안적으로 보간은 한 프레임(F)으로의 한걸음 앞선 액세스 없이 미래의 보간된 프레임에 영향을 미치지 않고 사용될 수 있다(방송 디코딩 애플리케이션에서와 같은).
도 17은 본 발명에 따른 축약된 크로미넌스 평가에 관한 처리 단계들을 도시한다. 더 높은 차수의 프레임 추출 분석은 더 크게 기간(P)을 리프레시할 수 있고, 그렇지 않으면 더 큰 N이 가능하게 될 수 있다. 프레임 추출 동안, 또는 추출 구역(RX)에서의 선택된 픽셀의 일시적인 폴링 동안, 좌측에 도시된 것처럼, 다음 프레임 추출에서의 지연을 초래하거나 우측에 도시된 바와 같이 완전한 프레임 추출을 개시하는 도시된 바와 같은 축약된 크로미넌스 평가를 수행할 수 있다. 어느 경우에서나, 보간은 고정된 또는 증가된 사용중인 크로미넌스 값을 초래하는 지연된 다음 프레임 추출을 가지고 진행한다(보간). 이는 비트 스트림이나 대역폭 오버헤드의 관점에서 훨씬 더 경제적인 연산을 제공할 수 있다.
도 18은 도 3과 도 12의 상부를 도시하고, 이 경우 대안적인 추출 단계가 도시되어 이를 통해 추출 구역(예컨대, R1)으로부터의 구역 정보가 도시된 바와 같이 단계(33)에서 추출되는 것을 허용하는 프레임 디코더(FD)가 사용되고 있다. 추가 공정 또는 성분 단계(35)는 크로미넌스 차이를 평가하는 것을 포함하고, 표시된 바 와 같이 비디오 프레임 추출 속도를 설정하기 위해 그러한 정보를 사용하는 것을 포함한다. 도 4에서의 평균하는 것과 같은 출력 계산(00)을 수행하는 다음 처리 단계 또는 아래에 논의된 지배적인 컬러 추출이 도시된 바와 같이, 이전에 도시된 주변 조명 및 발생 회로(18)로의 데이터 전송에 앞서 수행된다.
도 19에 도시된 바와 같이, 컬러 정보 추출과 본 발명에 관한 처리를 위한 일반적인 처리 단계들은 비디오 신호(AVS)를 획득하는 것을 포함하는데, 즉 이들은 선택된 비디오 프레임(이전에 인용된 F1, FN과 같은)으로부터의 구역적인 (컬러) 정보를 추출하는 것, 선택된 비디오 프레임 사이의 보간, RUR 맵핑 변환, 선택적인 감마 정정 및 주변광원(88)을 구동하기 위해 이러한 정보를 사용하는 것이다. 도 20에 도시된 바와 같이, 2개의 추가 단계들이 선택된 프레임으로부터의 정보의 구역 추출 후 삽입될 수 있는데, 이러한 2개의 단계들은 선택된 프레임(F1, FN)들 사이의 크로미넌스 차이의 평가를 수행할 수 있는 것과, 프리셋(preset) 기준에 따라 표시된 바와 같은 새로운 프레임 추출 속도를 설정할 수 있는 것이다. 그러므로 연속적인 프레임(F1, FN) 사이의 크로미넌스 차이가 크거나, 급격히 증가하거나(예컨대 큰 1차 도함수), 또는 크로미넌스 차이 히스토리(history)에 기초한 것과 같은 일부 다른 기준을 만족한다면, 프레임 추출 속도를 증가시킬 수 있어 리프레시 기간(P)을 감소시킨다. 하지만, 연속적인 프레임(F1, FN) 사이의 차이가 작고, 안정적이거나 급격히 증가하지 않거나(예컨대, 낮거나 0인 절대 1차 도함수), 또는 크로미넌스 차이 히스토리에 기초한 것과 같은 일부 다른 기준을 만족한다면, 요구된 비트 데이터 비트 스트림 상에 세이브할 수 있고, 프레임 추출 속도를 감소시킬 수 있어, 리프레시 기간(P)을 증가시킨다.
이제 도 21을 참조하면, 본 발명의 일 양상에 따른 일반적인 공정에 관한 개략도가 도시되어 있다. 도시된 바와 같이, 그리고 가능하게는 계산상 부담을 덜기 위해, [1] 비디오 콘텐츠에 대응하는 렌더링된 컬러 공간이, 아래에 주어진 방법들을 사용하는 것에 의한 것과 같이 양자화된다(QCS 양자화 컬러 공간); [2] 지배적인 컬러(또는 지배적인 컬러의 파레트)가 선택된다(DCE 지배적인 컬러 추출); 그리고 [3] 발생된 주변 광의 충실도, 범위 및 적절성을 개선하기 위해, RUR 맵핑 변환과 같은 컬러 맵핑 변환(10)이 수행된다(R'G'B'으로의 MT 맵핑 변환).
컬러 공간의 양자화는 가능한 컬러 상태 및/또는 검사될 픽셀의 개수를 감소시키는 것에 비유될 수 있고, 다양한 방법을 사용하여 실행될 수 있다. 일 예로서, 도 22는 비디오 콘텐츠로부터의 픽셀 색도를 양자화하기 위한 한 가지 방법을 개략적으로 도시한다. 본 명세서에서 도시된 바와 같이, 1 내지 16의 값의 범위를 가지는 예시적인 비디오 1차 값(R)이 도시되고, 이들 1차 값(R) 중 임의의 것에 대해, 도시된 바와 같은 할당된 컬러(AC)로의 임의의 할당이 이루어진다. 그러므로, 예컨대 비디오 콘텐츠에서의 임의의 적색 픽셀 색도 또는 값이 1 내지 16이 될 때는 언제나 할당된 컬러(AC)가 대체되어, 비디오 이미지의 특성을 기술하는 데 있어 필요한 적색 원색만의 경우에 대한 컬러의 개수를 16의 인자만큼 감소시킨다. 모든 3원색에 있어, 그러한 가능한 컬러 상태에 있어서의 감소는 이 예에서는 16 ×16 ×16 또는 4096의 인자만큼 계산에 사용된 컬러 개수의 감소를 초래할 수 있다. 이는 256 ×256 ×256 즉 1678만 개의 가능한 컬러 상태를 나타내는 8비트의 컬러를 가지는 것과 같은 많은 비디오 시스템에서의 지배적인 컬러를 결정하는데 있어서의 계산상 부담을 감소시키는 데 있어 특히 유용할 수 있다.
비디오 컬러 공간을 양자화하기 위한 또 다른 방법이 도 23에 주어져 있고, 이 도 23은 복수의 픽셀(Pi)(예컨대 도시된 바와 같이 16개)로부터의 픽셀 색도를 넣어 저장함으로써, 렌더링된 컬러 공간을 양자화하는 또 다른 예를 개략적으로 도시한다. 넣어 저장하는 것 자체는 인접하는 픽셀들이 스스로 추가 계산 또는 표현을 위해 사용되는 수퍼픽셀을 형성하기 위해 함께 수학적으로(또는 계산상으로) 더해지는 방법이다. 그러므로, 보통 예컨대 75만 개의 픽셀을 가지는 비디오 포맷에서는, 비디오 콘텐츠를 표현하기 위해 선택된 수퍼픽셀의 개수가, 5만 개 또는 임의의 다른 원하는 더 작은 개수까지 계산하기 위한 픽셀의 개수를 감소시킬 수 있다.
그러한 수퍼픽셀(XP)의 개수, 크기, 방위, 모양 또는 위치는 비디오 콘텐츠의 함수로서 변경할 수 있다. 예컨대, 수퍼픽셀(XP)이 특징 추출(FE) 동안 오직 이미지 특징으로부터 그려지고, 경계 영역 또는 배경으로부터는 그려지지 않는 것을 보증하는 것이 유리한 경우, 수퍼픽셀(XP)이 그에 따라 형성될 수 있다. 도 24는, 도 23과 유사한 넣어 저장하는 공정을 개략적으로 도시하지만, 수퍼픽셀의 크기, 방위, 모양 또는 위치는 도시된 바와 같은 이미지 특징(J8)과 일치되게 형성될 수 있다. 도시된 이미지 특징(J8)은 지그재그식(jagged)이거나, 곧은 수평 또는 수직 테두리를 가지지 않는 것에 있어 불규칙적이다. 도시된 바와 같이, 수퍼픽셀(XP)은 그에 따라 이미지 특징 모양을 모방하거나 에뮬레이션하기 위해 선택된다. 주문 제작된(customized) 모양을 가지는 것 외에, 그러한 수퍼픽셀의 위치, 크기 및 방위는 알려진 픽셀 레벨 계산 기술을 사용하여 이미지 특징(J8)에 의해 영향을 받을 수 있다.
양자화는 픽셀 색도를 취할 수 있고, 할당된 컬러(예컨대, 할당된 컬러 AC)를 동일하게 대체할 수 있다. 이들 할당된 컬러들은 선호된 컬러 벡터를 사용하는 것을 포함해 뜻대로 할당될 수 있다. 따라서, 할당된 컬러의 임의의 또는 균일한 세트를 사용하기보다는 적어도 일부 비디오 이미지 픽셀 색도가 선호된 컬러 벡터에 할당될 수 있다.
도 25는, 구역 컬러 벡터와, 표준 데카르트 CIE x-y 색도 그림 또는 컬러 맵 상에 표시된 구역 컬러 벡터의 컬러 또는 색도 좌표를 도시한다. 이 맵은 참조를 위해 도시된 나노미터의 광 파장과 CIE 표준 빛을 내튼 흰색점를 가진 색도 좌표인 x와 y의 함수로서 최대 밝기 상태에 있는 모든 알려진 컬러 도는 지각 가능한 컬러를 도시한다. 3개의 구역 컬러 벡터(V)기 이 맵 상에 도시되어 있고, 이 맵에서 하나의 컬러 벡터(V)가 PAL/SECAM, NTSC 및 어도비사의 RGB 컬러 발생 표준에 의해 얻을 수 있는 색역(도시된 색역) 외부에 있음을 알 수 있다.
명료하게 하기 위해, 도 26은 도 25의 CIE 플롯(plot)의 일부를 확대한 것을 도시하고, 추가로 픽셀 색도(Cp)를 도시하며, 구역 컬러 벡터(V)로의 할당을 도시하고 있다. 구역 컬러 벡터로의 할당에 관한 기준은 변할 수 있고, 알려진 계산 기술을 사용하여 특별한 컬러 벡터(V)로부터의 유클리드(Euclidean) 또는 다른 거리 의 계산을 포함할 수 있다. 라벨에 붙여진 컬러 벡터(V)는 렌더링된 컬러 공간 외부에 있거나 디스플레이 시스템의 색역 외부에 있고, 이는 주변 조명 시스템 또는 광원(88)이 발생될 수 있는 선호된 색도가 렌더링된 (비디오) 컬러 공간을 양자화하는 데 사용된 할당된 컬러 중 하나가 될 수 있는 것을 허용할 수 있다.
일단 할당된 컬러의 분배가 위에서 주어진 하나 이상의 방법을 사용하여 이루어지면, 다음 단계는 [a] 할당된 컬러의 모드; [b] 할당된 컬러의 중앙값; [c] 할당된 컬러의 색도에 의한 가중치가 주어진 평균; 또는 [d] 픽셀 가중 함수를 사용하는 가중치가 주어진 평균 중 임의의 것을 추출함으로써, 할당된 컬러의 분포로부터 지배적인 컬러 추출을 수행하는 것이다.
예컨대, 가장 높은 주파수를 가지고 일어나는 할당된 컬러를 선택하기 위해, 히스토그램(histogram) 방법을 사용할 수 있다. 도 27은 가장 자주 일어나는(세로좌표인, 픽셀 백분율 참조) 할당된 픽셀 컬러 또는 컬러들(할당된 컬러들)을 주는 히스토그램, 즉 할당된 컬러 분포의 모드를 도시한다. 이러한 모드 또는 가장 자주 사용된 컬러는 주변 조명 시스템에 의한 사용 또는 에뮬레이션하는 것을 위해 지배적인 컬러인 DC(도시된)로서 선택될 수 있다.
유사하게, 할당된 컬러 분포의 중앙값은, 지배적인 컬러(DC)의 선택이 되거나 지배적인 컬러(DC)를 선택하는데 영향을 미치는 데 도움이 되도록 선택될 수 있다. 도 28은 할당된 컬러 분포의 중앙값을 개략적으로 도시하고, 도 28에서 중앙값 또는 중간값(짝수개의 할당된 컬러에 관해 보간된)이 지배적인 컬러(DC)로서 선택되는 것으로 도시되어 있다.
대안적으로, 선택된 지배적인 컬러(들)에 영향을 미치도록, 형편에 따라서는 주변 조명 시스템의 색역에 있어서의 세기에 더 잘 맞추기 위해, 가중치가 주어진 평균을 사용하여 할당된 컬러에 대한 덧셈을 수행할 수 있다. 도 29는 할당된 컬러의 색도에 의해 가중치가 주어진 평균에 관한 수학적인 덧셈을 도시한다. 명료하게 하기 위해, 단일 변수(R)가 도시되어 있지만, 임의의 개수의 크기 또는 좌표(예컨대, CIE 좌표인 x, y)가 사용될 수 있다. 색도 변수(R)는 도시된 바와 같이, 이 예에서는 각각 1과 n 및 m 사이에 있는 픽셀 좌표(또는 필요하다면 수퍼픽셀 좌표)인 i와 j에 대해 더해진다. 색도 변수(R)는 도시된 바와 같이 지수인 i와 j를 가진 픽셀 가중 함수(W)에 의한 덧셈을 통해 곱해지고, 그 결과는 가중치가 주어진 평균을 얻기 위해 픽셀의 개수인 n ×m으로 나누어진다.
픽셀 가중 함수를 사용하는 유사한 가중치가 주어진 평균이 도 30에 주어져 있고, 도 30은 도시된 바와 같은 W가 이제 또한 도시된 픽셀 위치(i, j)의 함수여서, 공간 지배 함수를 허용한다는 점을 제외하고는 도 29와 유사하다. 또한 픽셀 위치에 관해 가중치를 줌으로써, 디스플레이(D)의 중심이나 임의의 다른 부분이, 아래에 논의된 것처럼, 지배적인 컬러(DC)의 선택 또는 추출 동안에 강조될 수 있다.
가중치가 주어진 덧셈은, 위에 주어진 바와 같은 추출 구역 정보 단계(33)에서 주어진 것에 의해 수행될 수 있고, W는 임의의 알려진 방식대로 선택되고 저장될 수 있다. 픽셀 가중 함수(W)는 임의의 함수 또는 연산자일 수 있고, 따라서 예컨대 특별한 픽셀 위치에 있어 포함을 위해서는 1일 수 있고, 배제를 위해서는 0일 수 있다. 이미지 특징은 알려진 기술을 사용하여 인식될 수 있고, W는 아래 도 34에 도시된 것처럼, 더 큰 목적에 맞추기 위해 바뀔 수 있다.
일단 할당된 컬러가 위의 방법이나 임의의 등가 방법을 사용하여 지배적인 것으로 선택된다면, 주변 조명 시스템에 의한 표현에 적합한 색도의 더 나은 할당이 수행될 수 있는데, 이는 특히 요구된 계산 단계들이, 다른 경우 모든 색도 및/또는 모든 비디오 픽셀이 고려되어야 하는 경우보다 훨씬 적기 때문이다. 도 31은 할당된 컬러의 분포에서의 해당 컬러를 확립하고, 이후 지배적인 컬러로서 지정될 실제 지배적인 컬러를 유도하기 위해, 할당된 픽셀 색도를 추출하는 것을 보여주는 예시적인 개략적 표현을 주고 있다. 알 수 있는 바와 같이, 픽셀 색도(CP)는 2개의 할당된 컬러(AC)에 할당되고, 도 31의 아래에 도시된 할당된 컬러(AC)는 지배적이지 않은 것으로 선택되는데 반해, 도 31의 위에 도시된 할당된 컬러는 지배적인(DC) 것으로 간주하며, 도시된 것처럼 해당 컬러(COI)인 것으로 선택된다. 이후 해당 컬러(COI)인 것으로 간주된 할당된 컬러(AC)로 할당된 픽셀(또는 적어도 일부)을 더 조사할 수 있고, 그것들의 색도를 직접 판독함으로써(도 4에 주어진 바와 같이 평균을 사용하는 것과 같은, 또는 이러한 특별한 목적을 위해 작은 스케일로 이미 주어진 지배적인 컬러 추출 단계들을 수행함으로써), 실제 지배적인 컬러인 TDC로서 본 명세서에서 도시된 지배적인 컬러의 더 나은 렌디션(rendition)을 얻을 수 있다. 이를 위해 필요한 임의의 처리 단계들이 위에서 주어진 단계들 및/또는 성분들을 사용하여, 또는 알려진 소프트웨어 프로그램이거나 서브루틴 또는 작 업(task) 회로 등가물일 수 있는 별도의 실제 컬러 선택기를 사용함으로써, 수행될 수 있다.
도 32에 개략적으로 도시된 바와 같이, 본 발명에 따른 지배적인 컬러 추출이 지배적인 컬러의 파레트를 제공하기 위해 여러번 또는 나란히 개별적으로 수행될 수 있고, 이 경우 지배적인 컬러(DC)는 도시된 바와 같이 지배적인 컬러인 DC1+DC2+DC3를 포함할 수 있다.
도 30의 경우에서 언급된 것처럼, 가중 함수 또는 등가물은 일정한 디스플레이 구역에 관한 특별한 고려 또는 강조를 허용하기 위해 픽셀 위치에 의한 가중치 부여를 제공할 수 있다. 도 33은 도 1에 도시된 비디오 디스플레이의 간단한 정면도를 도시하고, 선호된 공간 구역에서의 픽셀(Pi)에 주어진 같지 않은 가중치의 일 예를 보여주고 있다. 예컨대, 디스플레이의 중앙 구역(C)은 수치상 큰 가중 함수(W)를 사용하여 가중치가 부여될 수 있는데 반해, 추출 구역(또는 장면 배경과 같은 임의의 구역)은 도시된 바와 같이 수치상 작은 가중 함수(w)를 사용하여 가중치가 부여될 수 있다.
가중치 부여 또는 강조는 도 34에 도시된 것과 같은 이미지 특징(J8)에 적용될 수 있고, 이러한 도 34는 도 33에 도시된 것과 같은 비디오 디스플레이의 간단한 정면도이며, 이 경우 특징 추출기 단계(FE)(도 3과 도 12 참조)에 의한 알려진 기술을 사용하여, 이미지 특징(J8)(물고기)이 선택된다. 이러한 이미지 특징(J8)은 사용된 유일한 비디오 콘텐츠일 수 있거나, 또는 위에서 도시되고 설명된 바와 같은 지배적인 컬러 추출(DCE) 동안에 사용된 비디오 콘텐츠의 단지 일부일 수 있다.
이제 도 35를 참조하면, 본 명세서에서 주어진 가르침을 사용하여 비디오 프레임에 관해 선택된 지배적인 컬러가 이전 프레임으로부터의 적어도 하나의 지배적인 컬러에 의존함으로써 적어도 부분적으로 얻어지는 것을 허용하는 것이 또한 가능하다는 것을 알 수 있다. 도시된 바와 같은 지배적인 컬러 추출(DCE)을 얻기 위해 처리가 진행중인 프레임(F1, F2, F3, F4)이 개략적으로 도시되어 있고, 이렇게 하는 목적은 도시된 바와 같이, 지배적인 컬러(DC1, DC2, DC3, DC4)를 각각 추출하는 것이고, 계산에 의해, 도시된 바와 같은 지배적인 컬러(DC1, DC2, DC3, DC4)의 함수로서 본 명세서에서 DC4로 도시된 프레임에 관해 선택된 지배적인 컬러를 확립할 수 있다{DC4=F(DC1, DC2, DC3)}. 이는 프레임(F4)에 관한 지배적인 컬러(DC4)를 선택하기 위한 단축된 절차나, 이전 프레임(F1, F2, F3)에 관해 선택된 지배적인 컬러가 지배적인 컬러(DC4)의 선택에 영향을 미치는데 도움을 주는 더 잘 통지된 것을 허용할 수 있다. 이러한 단축된 절차는 도 36에 도시되어 있고, 도 36에서는 계산상 부담을 감소시키기 위해, 일시적인 지배적 컬러 추출(DC4*)이 비색 정량 평가를 사용하고 이후 다음 단계에서 DC4에 관한 선택을 준비하는 것을 돕는(단축된 절차를 사용하여 DC4를 준비하는 것) 이전 프레임(또는 단일 이전 프레임)으로부터 추출된 지배적인 컬러에 의해 촉진된다.
일반적으로, 주변 광원(88)은 반투명성 또는 서리가 덮이거나 광을 낸 표면을 가지는 램프 구조의 사용에 의한 것; 골이 진(ribbed) 유리나 플라스틱; 또는 개별 광원을 둘러싸는 금속 구조를 사용하는 것과 같은 틈이 벌어진 구조와 같은 다른 현상과 함께 광 혼합을 만들기 위해 다양한 확산기 효과를 구체화할 수 있다. 흥미 있는 효과를 제공하기 위해, 임의의 개수의 알려진 확산 또는 산란 물질이나 현상이 사용될 수 있고, 이에는 작은 부유 입자; 암영이 감도는 플라스틱 또는 수지, 콜로이드를 사용하는 조제물(preparations), 에멀전(emulsion) 또는 긴 수명의 유기 혼합물을 포함하는 1:m보다 작은 것과 같은 1 내지 5: m 또는 그 이하의 블로뷸(globule); 젤 및 졸(sol)로부터의 산란을 이용함으로써 얻는 것이 포함된다. 산란 현상은 주변 광의 청색 강화를 위한 청색 발생을 위한 것과 같은 가지 파장에 관한 래이레이(Rayleigh) 산란을 포함하도록 교묘하게 계획될 수 있다. 만들어진 컬러는 구역에 따라 한정될 수 있는데, 가령 일정한 영역이나 구역적인 색의 농담에서의 전반적인 청색을 띠는 것, 청색 광 발생 상부 섹션{주변 광(L1 또는 L2)}과 같은 것이 그러하다.
주변 램프는 또한 램프 구조물 내에 통합되거나 삽입되어 형성될 수 있는 원통형 프리즘이나 렌즈와 같은 고니오프로메트릭 요소를 가지고 맞추어질 수 있다. 이는 만들어진 광의 특성이 뷰어의 위치의 함수로서 변하는 특수한 효과를 허용할 수 있다. 직사각형, 삼각형 또는 불규칙적인 모양을 가진 프레임이나 모양을 포함하는 다른 광학 모양과 형태가 사용될 수 있고, 이들은 주변 광 유닛이나 유닛들 위에 또는 이들에 통합되어 놓일 수 있다. 이러한 결과는 균등한 출력을 산출하기보다는, 무한히 변할 수 있는 효과가 얻어지는 것으로, 예컨대, 흥미 있는 광의 띠가 주변 벽, 물체 및 주변 광원에 대해 놓인 표면 위에 투사되어, 비디오 디스플레이 유닛 상의 장면 요소, 컬러 및 강도 변화와 같은 어두워진 방 안의 일종의 광 쇼(light show)를 만든다. 이러한 효과는 광 특성을 뷰어 위치의 함수로서 매우 민감하게 변경하는 극적 주변 조명 요소일 수 있고, 이는 가령 누군가 홈 씨어터(home theatre)를 볼 때 의자에서 일어나거나 보는 위치를 이동할 때, 청색을 띤 광채를 본 다음 적색 광을 보는 것이 그러하다. 사용될 수 있는 고니오포토메트릭 요소의 개수와 유형은 거의 제한되지 않는데, 이에는 플라스틱, 유리 조각이 포함되고, 기록하고(scoring) 조심스럽게 파괴적인 제작 기술로부터 만들어진 광학 효과가 포함된다. 주변 램프는 상이한 극적 효과를 위해, 유일하게 그리고 심지어 상호 교환 가능하게 만들어질 수 있다. 그리고 이들 효과는, 가령 고니오포토메트릭 요소를 통과하는 것이 허용된 광량을 변화시키거나, 주변 광 유닛의 상이한 부분(예컨대, 서브램프나 LED의 그룹을 사용하는)을 조명함으로써 조정될 수 있다.
이러한 식으로, 도 1에서 도시된 바와 같이 추출 구역(R3)을 에뮬레이션하기 위해 L3에서 만들어진 주변 광은, 도시된 것처럼 움직이는 물고기와 같은 그 구역에서의 현상의 지각 확장을 제공하는 색도를 가질 수 있다. 이는 시각 경험을 배가시킬 수 있고, 적합하고 화려하지 않거나 과도하게 부정합되지 않은 색상을 제공할 수 있다.
비디오 신호(AVS)는 물론 디지털 데이터 스트림일 수 있고, 동기화 비트, 연관 비트; 패리티 비트; 에러 코드, 인터리빙(interleaving); 특별한 변조; 버스트 헤더(burst header) 및 주변 조명 효과(예컨대, "번개가 치는 폭풍우"; "일출" 등)의 서술과 같은 원하는 메타데이터를 포함할 수 있고, 당업자라면 본 명세서에 주어진 기능 단계들이 단지 예시적이고, 명료하게 하기 위해 일반화된 단계나 데이터 는 포함하지 않음을 알게 될 것이다.
도 3과 도 12에 도시된 바와 같은 사용자 인터페이스 및 선호도 메모리는, 원하는 비디오 디스플레이(D)의 비디오 콘텐츠에 대한 컬러 충실도의 정보를 변경하는 것; 임의의 형광 컬러나 색역 외의 형광 컬러가 주변 공간으로 방송되는 정보를 포함하는 현란함(flamboyance)을 변경하는 것, 또는 광 서술(light script) 명령어 콘텐츠에서의 강도나 다른 변화의 품질을 과장하는 것과 같은 주변 광이 얼마나 신속하게 또는 크게 비디오 콘텐츠에서의 변화에 응답하는지와 같은 시스템 행동에 관한 선호도를 변경하기 위해 사용될 수 있다. 이는 일정한 특성의 영화나 콘텐츠에 관한 낮추어진 색도를 만들 수 있는 개선된 콘텐츠 분석을 포함할 수 있다. 콘텐츠에 많은 어두운 장면을 담고 있는 비디오 콘텐츠는 주변 광원(88)의 행동에 영향을 미칠 수 있어, 현란하거나 밝은 색조가 많은 살색 색조나 밝은 장면(태양이 빛나는 해변, 사바나의 호랑이 등)과 같은 일정한 다른 콘텐츠에 관해 사용될 수 있으면서, 주변 광 방송을 희미하게 한다.
이러한 설명은 본 명세서에서 당업자가 본 발명을 실시할 수 있도록 주어진다. 본 발명의 가르침을 사용한 많은 구성이 가능하고, 본 명세서에 주어진 그러한 구성과 배치는 단지 예시적일 뿐이다. 실제로, 가르쳐지고 청구된 방법은 오락(entertainment) 센터나 홈 씨어터 센터와 같은 더 큰 시스템의 부분으로 나타날 수 있다.
본 명세서에서 예시적으로 가르쳐진 함수와 계산들은 소프트웨어나 기계 코드를 사용하여 기능적으로 재생되거나 에뮬레이션 될 수 있음이 잘 알려져 있고, 당업자라면 이들 가르침을, 본 명세서에서 가르쳐진 인코딩 및 디코딩이 관리되는 방식에 무관하게, 사용할 수 있을 것이다. 이는 특히 본 명세서에서 주어진 바와 같은 픽셀 레벨 통계표를 수행하기 위해 비디오 정보를 프레임으로 디코딩하기 위해 엄격히 필수적이지 않다고 생각할 때 그러하다.
당업자라면 이들 가르침에 기초하여, 본 명세서에서 가르쳐지고 청구된 장치와 방법을 수정할 수 있는데, 예컨대 특수한 애플리케이션에 맞추기 위해 단계 또는 데이터 구조를 재배치할 수 있으며, 예시적인 목적으로 본 명세서에서 선택된 것들과 거의 유사성이 없을 수 있는 시스템을 생성한다.
전술한 예들을 사용하여 개시된 본 발명은, 전술한 특징의 일부만을 사용하여 실시될 수 있다. 또한 본 명세서에서 가르쳐지고 청구된 그 어느 것도 다른 구조나 기능 요소의 추가를 배제하지 않는다.
분명히, 본 발명의 많은 수정예와 변환예가 전술한 가르침의 관점에서 가능하다. 그러므로 첨부된 청구항의 범주 내에서 본 발명이 본 명세서에서 특별히 서술되거나 제안된 것과 달리 실시될 수 있음이 이해되어야 한다.
전술한 바와 같이, 본 발명은 다수의 광원을 사용하고, 통상 비디오 디스플레이로부터와 같은 비디오 콘텐츠에 기초하거나 연관된 주변 광 효과를 만들어내고 설정하는 것에 이용 가능하다.

Claims (20)

  1. 주변 광원(88)에 의한 에뮬레이션에 관한 지배적인 컬러(DC)를 만들기 위해, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법으로서,
    [1] 할당된 컬러(AC)의 분포를 형성하기 위해, 상기 렌더링된 컬러 공간에서의 상기 비디오 콘텐츠로부터 적어도 일부 픽셀 색도(CP)를 양자화하는 단계,
    [2] [a] 상기 할당된 컬러의 모드; [b] 상기 할당된 컬러의 중앙값; [c] 상기 할당된 컬러의 색도에 의해 가중치가 부여된 평균값; [d] 가중 함수{(W(i, j, R)}를 사용하는 가중치가 부여된 평균값 중 하나를 추출함으로써, 지배적인 컬러를 만들어내기 위하여, 상기 할당된 컬러의 분포로부터 지배적인 컬러 추출을 수행하는 단계,
    [3] 상기 렌더링된 컬러 공간으로부터 제 2 렌더링된 컬러 공간(R'G'B')으로 상기 지배적인 컬러를 변환하여, 상기 주변 광원의 구동을 허용하도록 형성되는 변환 단계를 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  2. 제 1항에 있어서, 상기 양자화 단계는 상기 할당된 컬러 중 하나에 복수의 상기 픽셀 색도(CP)를 할당하는 단계를 포함하는, 렌더링된 컬러 공간(RGB)에서 인 코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  3. 제 1항에 있어서, 상기 양자화 단계는 상기 픽셀 색도를 적어도 하나의 수퍼픽셀(XP) 안에 저장하는(binning) 단계를 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  4. 제 3항에 있어서, 상기 수퍼픽셀의 크기, 방위, 모양 또는 위치 중 임의의 것은 이미지 특징(J8)과 일치되게 형성되는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  5. 제 3항에 있어서, 상기 수퍼픽셀에서의 복수의 상기 픽셀 색도(CP)를 상기 할당된 컬러 중 하나에 할당하는 단계를 더 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  6. 제 1항에 있어서, 상기 할당된 컬러 중 적어도 하나는 상기 렌더링된 컬러 공간에 반드시 있는 것은 아닌 구역(regional) 컬러 벡터(V)인, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  7. 제 6항에 있어서, 상기 구역 컬러 벡터는 상기 제 2의 렌더링된 컬러 공간에 있는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  8. 제 1항에 있어서, 할당된 컬러의 상기 분포에서의 적어도 하나의 해당 컬러(COI)를 확립하는 단계와, 상기 지배적인 컬러로서 지정될 실제 지배적인 컬러(TDC)를 유도하기 위해 할당된 픽셀 색도를 추출하는 단계를 더 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  9. 제 8항에 있어서, 상기 픽셀 색도는 상기 픽셀 색도를 저장함으로써 얻어진 수퍼픽셀(XP)로부터 적어도 부분적으로 유도되는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  10. 제 1항에 있어서, 상기 지배적인 컬러는 지배적인 컬러의 파레트(DC1+DC2+DC3)를 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  11. 제 1항에 있어서, 상기 단계[3]는
    [3a] 상기 렌더링된 컬러 공간으로부터 렌더링되지 않은 컬러 공간(XYZ)으로 상기 지배적인 컬러를 변환하는 단계와,
    [3b] 상기 렌더링되지 않은 컬러 공간으로부터 상기 제 2의 렌더링된 컬러 공간으로 상기 지배적인 컬러를 변환하는 단계를
    포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  12. 제 11항에 있어서, 상기 단계[3a]와 단계[3b]는
    [3c] 제 1 및 제 2의 3자극 원색 행렬(M1, M2)을 사용하여, 상기 렌더링된 컬러 공간과 제 2의 렌더링된 컬러 공간의 원색(RGB, R'G'B')의 상기 렌더링되지 않은 컬러 공간으로의 행렬 변환 단계와, 상기 렌더링된 컬러 공간의 상기 원색, 상기 제 1의 3자극 행렬 및 상기 제 2의 3자극 역행렬(M2)-1의 상기 행렬 곱셈에 의해 상기 컬러 정보를 상기 제 2의 렌더링된 컬러 공간(R'G'B')으로 변환하는 것을 유도하는 단계를 더 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  13. 제 1항에 있어서, 단계[1]의 픽셀 색도는 추출 구역(R1)으로부터 얻어지고,
    [4] 상기 추출 구역에 인접한 상기 주변 광원으로부터 상기 지배적인 컬러의 주변 광(L1)을 방송하는 단계를
    더 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  14. 제 1항에 있어서, 단계[1]는 상기 비디오 신호를 프레임의 한 세트로 디코딩하는 단계를 더 포함하고, 복수의 픽셀 색도는 상기 프레임의 세트 중 한 프레임으로부터 추출된(FE) 이미지 특징(J8)으로부터 얻어지는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  15. 제 1항에 있어서, 단계[1]는 상기 비디오 신호를 프레임의 한 세트로 디코딩하는 단계를 더 포함하고, 프레임(F4)의 지배적인 컬러는 이전 프레임(F3)으로부터 적어도 하나의 지배적인 컬러에 의존함으로써, 적어도 부분적으로 얻어지는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  16. 주변 광원(88)에 의한 에뮬레이션을 위한 지배적인 컬러(DC)를 만들기 위해, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법으로서,
    [1] 상기 렌더링된 컬러 공간에 있는 상기 비디오 콘텐츠를 복수의 프레임으로 디코딩하고, 할당된 컬러(AC)의 분포를 형성하기 위해 상기 프레임 중 하나에 있는 추출 구역(R1)으로부터 적어도 일부 픽셀 색도(CP)를 양자화하는 단계,
    [2] [a] 상기 할당된 컬러의 모드; [b] 상기 할당된 컬러의 중앙값; [c] 상기 할당된 컬러의 색도에 의해 가중치가 부여된 평균값; [d] 가중 함수{(W(i, j, R)}를 사용하는 가중치가 부여된 평균값 중 하나를 추출하기 위하여, 상기 할당된 컬러의 분포로부터 지배적인 컬러 추출을 수행하는 단계,
    [3a] 상기 렌더링된 컬러 공간으로부터 렌더링되지 않은 컬러 공간(XYZ)으로 상기 지배적인 컬러를 변환하는 단계와,
    [3b] 상기 렌더링되지 않은 컬러 공간으로부터 제 2의 렌더링된 컬러 공간(R'G'B')으로 상기 지배적인 컬러를 변환하는 단계로서, 이는
    [3c] 제 1 및 제 2의 3자극 원색 행렬(M1, M2)을 사용하여, 상기 렌더링된 컬러 공간과 제 2의 렌더링된 컬러 공간의 원색(RGB, R'G'B')의 상기 렌더링되지 않은 컬러 공간으로의 행렬 변환 단계와, 상기 렌더링된 컬러 공간의 상기 원색, 상기 제 1의 3자극 행렬 및 상기 제 2의 3자극 역행렬(M2)-1의 상기 행렬 곱셈에 의해 상기 컬러 정보를 상기 제 2의 렌더링된 컬러 공간(R'G'B')으로 변환하는 것을 유도하는 단계에 의해 도움을 받는 지배적인 컬러를 변환하는 단계와,
    [4] 상기 추출 구역에 인접한 상기 주변 광원으로부터 상기 지배적인 컬러의 주변 광(L1)을 방송하는 단계를
    포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  17. 제 16항에 있어서, 상기 추출 구역은 한 프레임으로부터 추출된(FE) 이미지 특징(J8)으로 골라지는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  18. 제 16항에 있어서, 할당된 컬러의 상기 분포에서의 적어도 하나의 해당 컬러(COI)를 확립하는 단계와, 상기 지배적인 컬러로서 지정될 실제 지배적인 컬러(TDC)를 유도하기 위해 할당된 픽셀 색도를 추출하는 단계를 더 포함하는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  19. 제 16항에 있어서, 적어도 하나의 상기 할당된 컬러는 상기 렌더링된 컬러 공간에 반드시 있는 것은 아닌 구역 컬러 벡터(V)인, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
  20. 제 16항에 있어서, 상기 프레임은 제 1 프레임과 제 2 프레임을 포함하고, 프레임(F4)의 지배적인 컬러는 이전 프레임(F3)으로부터 적어도 하나의 지배적인 컬러에 의존함으로써, 적어도 부분적으로 얻어지는, 렌더링된 컬러 공간(RGB)에서 인코딩된 비디오 콘텐츠로부터 지배적인 컬러 추출을 위한 방법.
KR1020067027959A 2004-06-30 2005-06-27 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출 KR101170408B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US58419704P 2004-06-30 2004-06-30
US60/584,197 2004-06-30
US65283605P 2005-02-14 2005-02-14
US60/652,836 2005-02-14
PCT/IB2005/052121 WO2006003602A1 (en) 2004-06-30 2005-06-27 Dominant color extraction for ambient light derived from video content mapped through unrendered color space

Publications (2)

Publication Number Publication Date
KR20070038989A KR20070038989A (ko) 2007-04-11
KR101170408B1 true KR101170408B1 (ko) 2012-08-02

Family

ID=35063266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067027959A KR101170408B1 (ko) 2004-06-30 2005-06-27 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출

Country Status (5)

Country Link
US (1) US8063992B2 (ko)
EP (1) EP1763954A1 (ko)
JP (1) JP4729568B2 (ko)
KR (1) KR101170408B1 (ko)
WO (1) WO2006003602A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
JP2009535676A (ja) 2006-03-31 2009-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオデータのカテゴリからのアンビエント照明の制御
US7809185B2 (en) 2006-09-21 2010-10-05 Microsoft Corporation Extracting dominant colors from images using classification techniques
RU2446640C2 (ru) * 2006-10-05 2012-03-27 Конинклейке Филипс Электроникс Н.В. Способ для цветового перехода для системы внешнего или общего освещения
WO2008068718A2 (en) * 2006-12-07 2008-06-12 Koninklijke Philips Electronics N.V. An ambient lighting system for a display device
US8371733B2 (en) 2007-01-03 2013-02-12 Tp Vision Holding B.V. Displaying arrangement with ambient light
US8427409B2 (en) * 2007-03-28 2013-04-23 Seiko Epson Corporation Projector
JP5029187B2 (ja) * 2007-07-20 2012-09-19 株式会社ニコン 色座標変換装置、撮像装置、色座標変換プログラム、色座標変換方法
CN101388205B (zh) * 2007-09-10 2011-08-24 联想(北京)有限公司 显示装置控制方法及系统
JP2009124489A (ja) * 2007-11-15 2009-06-04 Olympus Corp 映像信号処理装置及びプログラム
EP2075787A3 (en) * 2007-12-26 2010-07-07 TPO Displays Corp. Display devices with ambient light sensing
US8638858B2 (en) 2008-07-08 2014-01-28 Intellectual Ventures Fund 83 Llc Method, apparatus and system for converging images encoded using different standards
US20100053439A1 (en) * 2008-08-31 2010-03-04 Takao Konishi Systems and methods for natural color gamut viewing mode for laser television
US8379266B2 (en) * 2008-09-30 2013-02-19 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for generating luminance look-up table based on color component values
US8537425B2 (en) * 2008-09-30 2013-09-17 Konica Minolta Laboratory U.S.A., Inc. Method for optimizing the search for trapping regions
WO2010061334A1 (en) * 2008-11-28 2010-06-03 Koninklijke Philips Electronics N.V. A display system, control unit, method, and computer program product for providing ambient light with 3d sensation
US9384427B2 (en) * 2008-12-16 2016-07-05 Konica Minolta Laboratory U.S.A., Inc. Systems and methods for optimizing pixel based raster trapping
US8379039B2 (en) * 2009-06-07 2013-02-19 Apple Inc. Reformatting content with proper color-region conversion
JP5694369B2 (ja) * 2009-12-17 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ 映画館環境照明システム
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
CN106357955B (zh) 2011-05-27 2019-05-28 杜比实验室特许公司 包括变化的元数据等级的用于控制颜色管理的可缩放系统
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
CA3114379C (en) 2011-12-06 2023-06-27 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
EP2731055A1 (en) 2012-10-04 2014-05-14 Thomson Licensing Method and apparatus for ambient lighting color determination
US8576340B1 (en) 2012-10-17 2013-11-05 Sony Corporation Ambient light effects and chrominance control in video files
US8928811B2 (en) 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US8928812B2 (en) 2012-10-17 2015-01-06 Sony Corporation Ambient light effects based on video via home automation
US9622365B2 (en) 2013-02-25 2017-04-11 Google Technology Holdings LLC Apparatus and methods for accommodating a display in an electronic device
US9674922B2 (en) 2013-03-14 2017-06-06 Google Technology Holdings LLC Display side edge assembly and mobile device including same
US20160210891A1 (en) * 2013-08-28 2016-07-21 Sharp Kabushiki Kaisha Liquid crystal display device, and image display method for liquid crystal display device
US9484001B2 (en) * 2013-12-23 2016-11-01 Google Technology Holdings LLC Portable electronic device controlling diffuse light source to emit light approximating color of object of user interest
US20150334367A1 (en) * 2014-05-13 2015-11-19 Nagravision S.A. Techniques for displaying three dimensional objects
EP3062519A1 (en) 2015-02-27 2016-08-31 Novabase Digital TV Technologies GmbH Ambient surround information system for a media presentation
US10772177B2 (en) 2016-04-22 2020-09-08 Signify Holding B.V. Controlling a lighting system
US10490160B2 (en) 2016-09-22 2019-11-26 Apple Inc. Light sensor with spectral sensing and color matching function channels
KR102636465B1 (ko) * 2016-10-24 2024-02-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 전자장치
IT201700099120A1 (it) * 2017-09-05 2019-03-05 Salvatore Lamanna Sistema di illuminazione per schermo di qualsiasi tipo
CN109658326B (zh) * 2017-10-11 2024-01-16 深圳市中兴微电子技术有限公司 一种图像显示方法及装置、计算机可读存储介质
US12062220B2 (en) 2018-11-01 2024-08-13 Signify Holding B.V. Selecting a method for extracting a color for a light effect from video content
JP7227785B2 (ja) * 2019-02-18 2023-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting
CN113035126B (zh) * 2021-03-10 2022-08-02 京东方科技集团股份有限公司 像素渲染方法及系统、可读存储介质、显示面板

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611297B1 (en) 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
WO2003101098A1 (en) 2002-05-23 2003-12-04 Koninklijke Philips Electronics N.V. Controlling ambient light

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3571497A (en) * 1968-05-08 1971-03-16 Battelle Development Corp Light pump for enhancing subjective color
JPH0676958A (ja) 1992-08-26 1994-03-18 Matsushita Electric Works Ltd 可変色照明装置
JPH06267664A (ja) 1993-03-10 1994-09-22 Toshiba Lighting & Technol Corp テレビ用照明システム
JP4176233B2 (ja) * 1998-04-13 2008-11-05 松下電器産業株式会社 照明制御方法及び照明装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611297B1 (en) 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
WO2003101098A1 (en) 2002-05-23 2003-12-04 Koninklijke Philips Electronics N.V. Controlling ambient light

Also Published As

Publication number Publication date
US8063992B2 (en) 2011-11-22
JP4729568B2 (ja) 2011-07-20
EP1763954A1 (en) 2007-03-21
JP2008509453A (ja) 2008-03-27
WO2006003602A1 (en) 2006-01-12
KR20070038989A (ko) 2007-04-11
US20080094515A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
KR101170408B1 (ko) 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출
KR101044709B1 (ko) 주변광원에 의해 모방될 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리하기 위한 방법
US7894000B2 (en) Dominant color extraction using perceptual rules to produce ambient light derived from video content
KR101117591B1 (ko) 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계
US20070091111A1 (en) Ambient light derived by subsampling video content and mapped through unrendered color space
EP1763974A1 (en) Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
JP2016533071A (ja) Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
WO2007026283A2 (en) Ambient lighting derived from video content using adaptive extraction regions
CN100559850C (zh) 用于主色提取的方法
Heckaman et al. 18.3: Rendering digital cinema and broadcast tv content to wide gamut display media
Demos High Dynamic Range Intermediate

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee