KR102257056B1

KR102257056B1 - 주변 광-기반 이미지 조정

Info

Publication number: KR102257056B1
Application number: KR1020177007158A
Authority: KR
Inventors: 리치몬드 힉스
Original assignee: 인텔 코포레이션
Priority date: 2014-10-15
Filing date: 2015-09-29
Publication date: 2021-05-26
Also published as: EP3207697A4; CN107077826B; CN107077826A; EP3207697A1; TW201626786A; US20160111062A1; KR20170042717A; JP6472869B2; WO2016060842A1; JP2017528975A

Abstract

이미지 렌더링을 위한 기술이 본 명세서에 기술된다. 기술은 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터를 포함하는 이미지 데이터를 수신하는 것을 포함할 수 있다. 기술은 또한 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하는 것과, 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하는 것을 포함할 수 있다.

Description

주변 광-기반 이미지 조정{AMBIENT LIGHT-BASED IMAGE ADJUSTMENT}

관련 출원에 대한 상호 참조

본 출원은 2014년 10월 15일자로 출원된 미국 특허 출원 제14/515,165의 출원일의 이익을 주장하고, 이는 본 명세서에 참조로 포함된다.

기술 분야

본 개시는 일반적으로 이미지 조정에 관한 것이다. 더 구체적으로, 본 개시는 주변 광에 기초한 이미지 조정을 기술한다.

컴퓨팅 디바이스는 컴퓨팅 디바이스의 디스플레이 디바이스 상에서 이미지를 보기 위해 점점 더 많이 사용되고 있다. 그러나, 이미지 캡쳐 동안 주변 광과 비교될 때의 주변 광의 차이들은 이미지가 보여질 때 보이는 이미지의 부적응 현상(a maladaptation)을 발생시킬 수 있다. 부적응 현상은 눈의 시각적 오인(a visual misperception)일 수 있는데, 이로 인해 관찰자는 다양한 주변 광 환경에서 색상을 다르게 인식할 수 있다. 예를 들어, 이미지 캡쳐 동안의 오브젝트의 컬러는 주어진 주변 광에서 이미지 캡쳐 동안 존재하는 관찰자에게 적색으로 인식될 수 있다. 그러나, 일단 컴퓨터 모니터와 같은 디스플레이를 통해 이미지가 캡쳐되고 재전송되면, 캡쳐 이미지가 디스플레이되는 환경의 주변 광에 대한 뷰어의 눈 적응으로 인해 오브젝트가 약간 다른 컬러를 갖는 것처럼 보일 수 있다.

도 1은 컴퓨팅 디바이스에서 이미지를 렌더링하는 렌더링 애플리케이션을 갖는 컴퓨팅 디바이스의 블록도이다.
도 2는 컴퓨팅 디바이스에서 수행된 이미지 렌더링을 도시하는 프로세스 흐름도이다.
도 3은 컴퓨팅 디바이스에서의 교정 프로세서를 도시하는 도면이다.
도 4는 외부 디스플레이 디바이스의 교정을 도시하는 도면이다.
도 5는 주변 광 데이터에 기초한 이미지 렌더링 방법을 도시하는 블록도이다.
도 6은 주변 광 데이터에 기초하여 이미지를 렌더링하도록 구성된 컴퓨터-판독가능 매체의 일 예를 묘사하는 블록도이다.

본 명세서에 개시된 발명의 대상은 주변 광 데이터에 기초한 이미지 렌더링 기술에 관한 것이다. 상술한 바와 같이, 사용자는 디스플레이가 아닌 주변 광에 대한 사용자의 적응에 기초하여 오브젝트의 컬러를 잘못 해석할 수 있다. 본 명세서에 기술된 기술은 이미지가 디스플레이되는 환경의 주변 광 데이터를 검출하고, 검출된 주변 광과 원래의 이미지 캡쳐 동안 기록된 컬러 간의 차이에 기초하여 렌더링된 이미지를 조정한다.

예를 들어, 적색 스웨터와 같은 소정의 컬러를 갖는 오브젝트의 이미지가 캡쳐될 수 있다. 적색 스웨터 이미지가 캡쳐되는 이미지 캡쳐 환경 내에 존재하는 주변 광이 결정되고 저장될 수 있다. 적색 스웨터를 포함하는 이미지가 컴퓨팅 디바이스의 모니터와 같은 디스플레이에서 보여질 때, 디스플레이 환경에서 발생하는 주변 광에 대한 사용자의 적응으로 인해 스웨터의 컬러가 관찰자에게 적색보다 더 밝거나 또는 적색보다 더 어둡게 보일 수 있다. 본 명세서에 기술된 기술은 디스플레이 환경의 주변 광과, 알려진 사용자 인지로의 영향에 기초하여 렌더링된 이미지의 스펙트럼 콘텐츠를 조정하는 것을 포함한다. 예를 들어, 주변 광이 강한 청색이면 로컬 주변 조명에서 보는 것처럼 적색 스웨터의 이미지에 청색이 추가되어 디스플레이될 수 있으므로, 사용자의 눈 적응과 매칭시키는 것뿐만 아니라, 스웨터가 있는 경우 사용자가 볼 수 있는 것과도 매칭시킨다.

도 1은 컴퓨팅 디바이스에서 이미지를 렌더링하는 렌더링 애플리케이션을 갖는 컴퓨팅 디바이스의 블록도이다. 컴퓨팅 디바이스(100)는 프로세서(102), 비-일시적인 컴퓨터 판독가능 매체를 포함하는 저장 디바이스(104) 및 메모리 디바이스(106)를 포함할 수 있다. 컴퓨팅 디바이스(100)는, 디스플레이 디바이스(110)가 그래픽 사용자 인터페이스(GUI)에서 이미지를 렌더링하도록 디스플레이 디바이스(110)를 작동시키도록 구성된 디스플레이 드라이버(108)와, 하나 이상의 카메라 디바이스(114)를 동작시키도록 구성된 카메라 드라이버(112)를 포함할 수 있다. 일부 양상들에서, 컴퓨팅 디바이스(100)는 주변 광 데이터를 캡쳐하도록 구성된 하나 이상의 센서(116)를 포함한다.

컴퓨팅 디바이스(100)는 디스플레이 디바이스(110)에서 디스플레이된 이미지들의 스펙트럼 컨텐츠를 조정하도록 구성된 렌더링 애플리케이션(118)의 모듈을 포함한다. 도 1에 도시된 바와 같이, 모듈은 데이터 수신 모듈(120), 검출 모듈(122), 조정 모듈(124), 렌더링 모듈(126), 교정 모듈(128) 및 외부 디스플레이 모듈(130)을 포함한다. 모듈(120, 122, 124, 126, 128, 및 130)은 적어도 부분적으로 하드웨어 로직을 포함하는 로직일 수 있다. 일부 예에서, 모듈(120, 122, 124, 126, 128 및 130)은 프로세서(102)와 같은 프로세싱 디바이스에 의해 실행되도록 구성된 저장 매체에 저장된 명령어일 수 있다. 다른 예에서, 모듈(120, 122, 124, 126, 128 및 130)은 하드웨어, 소프트웨어 및 펌웨어의 조합일 수 있다. 모듈(120, 122, 124, 126, 128 및 130)은 독립적으로, 병렬로, 분산적으로, 또는 더 넓은 프로세스의 일부로서 동작하도록 구성될 수 있다. 모듈(120, 122, 124, 126, 128 및 130)은 부모 모듈의 개별 모듈 또는 서브 모듈로 간주될 수 있다. 추가 모듈이 포함될 수도 있다. 임의의 경우에, 모듈(120, 122, 124, 126, 128 및 130)은 동작을 수행하도록 구성된다.

데이터 수신 모듈(120)은 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터와 캡쳐 이미지를 포함하는 이미지 데이터를 수신하도록 구성된다. 일부 경우에, 캡쳐 이미지는 컴퓨팅 디바이스(100)의 네트워크 인터페이스 제어기(136)에 통신 가능하게 연결된 네트워크(134)를 통해 컴퓨팅 디바이스(100)에 제공된 하나 이상의 원격 컴퓨팅 디바이스(132)에서 원격으로 캡쳐될 수 있다. 예를 들어, 이미지 데이터는 웹 사이트에서 판매할 아이템과 같은 아이템의 캡쳐 이미지를 포함할 수 있다. 이미지 데이터는 또한 이미지의 이미지 캡쳐 동안 발생하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터를 포함할 수 있다.

검출 모듈(122)은 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하도록 구성된다. 일부 경우, 검출 모듈(122)은 하나 이상의 센서(116)를 통해, 또는 하나 이상의 카메라 디바이스(114)를 통해 주변 광 데이터를 수집하도록 구성될 수 있다. 캡쳐 이미지가 디스플레이될 환경의 주변 광은 캡쳐 이미지를 조정하는데 사용될 수 있다. 조정 모듈(124)은 검출된 주변 광 및 이미지 캡쳐 동안 존재하는 주변 광 또는 기록된 화이트 밸런스 정보에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정할 수 있다. 다시 말해, 조정 모듈(124)은, 이미지가 디스플레이 디바이스(110)를 통해 디스플레이되는 환경에서 발생하는 광 레벨 및 컬러와 비교되는 이미지가 캡쳐된 환경에서 발생하는 광 레벨 및 컬러에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정할 수 있다. 스펙트럼 컨텐츠를 조정하는 것은, 이미지가 이미지 캡쳐 환경과 디스플레이 환경 사이에서 일관된 컬러를 갖는 것처럼 보일 수 있도록 캡쳐 이미지의 하나 이상의 컬러를 변경하는 것을 포함할 수 있다. 수행된 조정은 디스플레이의 색온도 및 디스플레이 디바이스(110) 주위에 존재하는 주변 조명의 불일치로 인한 인간의 지각 부적응을 보정할 수 있다.

일부 경우, 검출 모듈(122)은 이미지가 디스플레이될 환경 내의 오브젝트의 컬러를 식별하도록 추가로 구성될 수 있다. 검출 모듈(122)은 식별된 컬러를 동적으로 모니터링하고 주변 광의 변화를 나타내는 오브젝트의 컬러 변화를 결정하도록 구성될 수 있다. 변화는 디스플레이된 이미지의 스펙트럼 콘텐츠의 조정에 동적 업데이트를 제공하기 위해 조정 모듈(124)에 보고될 수 있다.

상술한 바와 같이, 실시예에서, 컴퓨팅 디바이스(110)는 네트워크(134)에 통신 가능하게 연결된 네트워크 인터페이스 제어기(116)를 통해 인터넷 서버와 같은 원격 컴퓨팅 디바이스(132)로부터 이미지 데이터를 수신할 수 있다. 일부 시나리오에서, 네트워크 인터페이스 제어기(136)는 시스템 버스(134)에 통신 가능하게 연결되도록 구성된 확장 카드이다. 다른 시나리오에서, 네트워크 인터페이스 제어기(136)는 컴퓨팅 디바이스(100)와 같은 컴퓨팅 디바이스의 마더 보드와 통합될 수 있다. 실시예에서, 렌더링 애플리케이션(118)은 원격 컴퓨팅 장치, 가령, 원격 컴퓨팅 디바이스들(132) 중 하나에서 실행 및/또는 저장될 수 있다. 예를 들어, 디스플레이 환경의 주변 광 데이터는 원격 컴퓨팅 디바이스(132)로 전송될 수 있고 캡쳐 이미지는 컴퓨팅 디바이스(100)에 이미지 데이터를 제공하기 전에 원격으로 조정될 수 있다.

렌더링 애플리케이션(118)은 또한 렌더링 모듈(126)을 포함할 수 있다. 렌더링 모듈(126)은 디스플레이 드라이버(108)를 통해 디스플레이 디바이스(110)에서 조정된 캡쳐 이미지를 렌더링하도록 구성된다. 일부 경우, 렌더링 모듈(126)은, 조정된 캡쳐 이미지를 디스플레이 디바이스(110)에서 렌더링하기 위해 그래픽 처리 유닛(미도시)과 협력하거나 그래픽 처리 유닛에 의해 실행될 수 있다.

교정 모듈(128)은 하나 이상의 카메라(114) 및 외부 디스플레이 모듈(130)을 교정하도록 구성될 수 있다. 예를 들어, 아래 도 3과 관련하여 더 상세히 설명되는 바와 같이, 교정 모듈(128)은 제 1 컬러 패턴의 제 1 이미지를 캡쳐하고, 디스플레이 디바이스(110)에서 렌더링되는 제 2 컬러 패턴의 상(a reflection)의 제 2 이미지를 캡쳐하고, 제 1 이미지와 제 2 이미지 사이의 차이를 감소시키기 위해 컬러 채널에 보정 계수를 적용하도록 구성될 수 있다.

일부 실시예에서, 외부 디스플레이 모듈(130)은 외부 디스플레이(미도시)를 교정하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 텔레비전과 같은 외부 디스플레이에 이미지 데이터 피드(an image data feed)를 제공하도록 구성될 수 있다. 그러나, 외부 디스플레이는 컴퓨팅 디바이스(100)와 동일한 방식으로 교정될 수 없다. 일부 경우, 적색을 포함하는 이미지가 외부 디스플레이에 의해 분홍색으로 렌더링될 수 있다. 이 시나리오에서, 외부 디스플레이 모듈(130)은 하나 이상의 카메라(114)를 통해 외부 디스플레이에서의 캡쳐 이미지의 렌더링을 포함하는 이미지 데이터를 수신하도록 구성된다. 외부 디스플레이 모듈(130)은 또한, 외부 디스플레이에서의 캡쳐 이미지의 렌더링 및 캡쳐 이미지의 기준 모델 사이의 컬러 차이를 결정하도록 구성된다. 기준 모델은 수신된 이미지 데이터 및 교정 모듈(128)에 의해 수행된 하나 이상의 카메라(114)의 교정에 기초할 수 있다. 예를 들어, 기준 모델은 캡쳐 이미지의 주어진 영역이 적색임을 나타낼 수 있지만, 외부 디스플레이를 향하는 하나 이상의 카메라(114)를 통해 수신된 이미지 데이터는 외부 디스플레이가 그 영역을 분홍색으로 렌더링하고 있음을 나타낼 수 있다. 따라서, 외부 디스플레이 모듈(130)은 외부 디스플레이에서 렌더링된 이미지와 기준 모델 간의 차이에 기초하여 외부 디스플레이로의 데이터 피드를 조정하도록 구성될 수 있다.

본 명세서에서 언급되는 바와 같은 컴퓨팅 디바이스(100)는 프로세싱 디바이스, 저장 디바이스 및 디스플레이 디바이스와 같은 컴포넌트가 단일 하우징 내에 배치되는 모바일 컴퓨팅 디바이스일 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 태블릿 컴퓨터, 스마트폰, 휴대용 비디오 게임 시스템, 셀룰러 폰, 올인원 슬레이트 컴퓨팅 디바이스(all-in-one slate computing device), 또는 컴퓨팅 디바이스의 하우징에 디스플레이뿐만 아니라 저장 컴포넌트 및 처리 컴포넌트와 같은 컴포넌트가 내장된 올-인-원 기능성을 갖는 임의의 다른 컴퓨팅 디바이스일 수 있다.

프로세서(102)는 저장된 명령어를 실행하도록 적응된 메인 프로세서일 수 있다. 프로세서(102)는 단일 코어 프로세서, 다중 코어 프로세서, 컴퓨팅 클러스터, 또는 임의의 개수의 다른 구성일 수 있다. 프로세서(102)는 복합 명령어 집합 컴퓨터(Complex Instruction Set Computer, CISC) 또는 축소 명령어 집합 컴퓨터(Reduced Instruction Set Computer, RISC) 프로세서, x86 명령어 집합 호환 프로세서, 다중 코어, 또는 임의의 다른 마이크로프로세서나 중앙 처리 유닛(central processing unit, CPU)으로서 구현될 수 있다.

메모리 디바이스(106)는 랜덤 액세스 메모리(random access memory, RAM)(예를 들면, 스태틱 랜덤 액세스 메모리(static random access memory, SRAM), 다이나믹 랜덤 액세스 메모리(dynamic random access memory, DRAM), 제로 캐패시터(zero capacitor) RAM, 실리콘-산화물-질화물-산화물-실리콘(Silicon-Oxide-Nitride-Oxide-Silicon, SONOS), 임베디드(embedded) DRAM, 확장된 데이터 출력(extended data out) RAM, 2배속(double data rate, DDR) RAM, 저항변화 랜덤 액세스 메모리(resistive random access memory, RRAM), 파라미터 랜덤 액세스 메모리(parameter random access memory, PRAM) 등), 판독 전용 메모리(read only memory, ROM)(예를 들면, 마스크(Mask) ROM, 프로그래머블 판독 전용 메모리(programmable read only memory, PROM), 소거 가능한 프로그래머블 판독 전용 메모리(erasable programmable read only memory, EPROM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리(electrically erasable programmable read only memory, EEPROM) 등), 플래시 메모리, 또는 임의의 다른 적합한 메모리 시스템을 포함할 수 있다. 메인 프로세서(102)는 시스템 버스(134)(예를 들면, 주변 소자 상호접속(Peripheral Component Interconnect, PCI), 산업 표준 아키텍처(Industry Standard Architecture, ISA), PCI-익스프레스(PCI-Express), 하이퍼트랜스포트(HyperTransport®), 누버스(NuBus) 등)를 통해 메모리(106) 및 저장 디바이스(104)를 비롯한 컴포넌트에 연결될 수 있다.

도 1의 블록도는, 컴퓨팅 디바이스(100)가 도 1에 도시된 모든 컴포넌트를 포함하는 것을 나타내도록 의도되지는 않는다. 또한, 구체적 구현의 세부사항에 따라, 컴퓨팅 디바이스(100)는 도 1에 도시되지 않은 임의의 수의 추가 컴포넌트를 포함할 수도 있다.

도 2는 컴퓨팅 디바이스에서 수행되는 이미지 렌더링을 도시하는 프로세스 흐름도이다. 프로세스 흐름도(200)는 주변 광 레벨이 이미지 캡쳐 환경 내에 존재하는 이미지 캡쳐 단계(단계 202)와 주변 광 레벨이 이미지 디스플레이 환경 내에 존재하는 이미지 디스플레이 단계(단계 204)로 나누어진다. 블록 206에서, 주어진 장면 또는 오브젝트의 이미지가 캡쳐된다. 블록 208에서, 주변 광이 감지된다. 주변 광은 이미지 캡쳐 장치에서 하나 이상의 센서를 통해 감지될 수 있다. 일부 경우에, 반사율은 단계 210에서 계산된다. 주변 광을 알게 되면, 반사율은 이미지 캡쳐 환경의 이미지 캡쳐 디바이스에서 검출된 광에 기초하여 계산될 수 있다.

단계 212에서, 주변 광 데이터 또는 화이트 밸런스 정보, 및 캡쳐 이미지를 포함하는 이미지 데이터가 저장된다. 실시예에서, 이미지 데이터는 주변 광 또는 화이트 밸런스 데이터를 저장하기 위한 메타 데이터 필드를 갖는 포맷으로 저장될 수 있다. 일 예에서, 주변 광 또는 화이트 밸런스 데이터는 교환가능 이미지 파일(EXIF) 포맷 필드에 저장될 수 있다. 예를 들어, 공동 영상 전문가 그룹(Joint Photographic Experts Group, JPEG) 파일이 사용되어 주변 광 또는 화이트 밸런스 데이터가 JPEC의 EXIP 필드 내에 저장될 수 있다. 디스플레이 단계(단계 204)로 돌아가, 단계 214에서는, 디스플레이 환경의 주변 광이 감지되고, 블록 216에서는, 단계 214에서 감지된 주변 광에 기초하여 단계 208에서 감지된 주변 광 또는 화이트 밸런스 데이터를 고려하여 단계 206에서 캡쳐된 이미지의 스펙트럼 컨텐츠가 조정될 수 있다. 예를 들어, 이미지 캡쳐 단계(단계 202)에서의 주변 광이 디스플레이 단계(단계 204)에서의 주변 광보다 따뜻하면, 캡쳐 이미지의 하나 이상의 파장이 낮아지므로, 사용자는 디스플레이 단계(단계 204)에서, 보다 정확한 캡쳐 이미지의 컬러 표현을 인지할 수 있다.

추가 단계는, 디스플레이를 교정하는 단계(단계 218), 교정을 저장하는 단계(단계 220) 및 톤 맵을 생성하는 단계(단계 224)를 포함할 수 있다. 단계 218에서의 디스플레이 교정 및 단계 216에서의 스펙트럼 콘텐츠 조정에 기초하여, 톤 매핑은 콘트라스트(contrast)에 대한 예상된 사용자의 눈 적응 및 정확성을 최적화할 수 있다. 단계 226에서, 디스플레이 디바이스, 가령, 도 1의 디스플레이 디바이스에서 조정된 이미지가 디스플레이된다.

도 3은 컴퓨팅 디바이스에서의 교정 프로세스를 도시하는 도면이다. 전술한 바와 같이, 컴퓨팅 디바이스의 디스플레이 디바이스(110)는 교정될 수 있다. 본 명세서에 설명된 기술은 도 1의 하나 이상의 카메라 디바이스(114)와 같은 카메라를 통해 컬러 타겟(302)의 이미지를 캡쳐함으로써 디스플레이 디바이스(110)를 교정하는 것을 포함한다. 컬러 타겟(302)은, 디스플레이 디바이스(110)에서 렌더링되고 도면번호 308로 표시된 거울과 같은 반사 표면(306)을 통해 카메라(114)로 다시 반사되는 컬러 차트(304)와 비교될 수 있다.

도 4는 외부 디스플레이 디바이스의 교정을 도시하는 도면이다. 도 1과 관련하여 앞서 설명된 바와 같이, 일부 양상들에서, 외부 디스플레이(402)는 캡쳐 이미지를 렌더링하는데 사용될 수 있다. 이 시나리오에서, 컴퓨팅 디바이스(100)는 외부 디스플레이 디바이스(402)에 데이터 피드를 제공할 수 있다. 그러나, 외부 디스플레이 디바이스(402)는 컴퓨팅 디바이스(100)에 의한 교정의 관점으로 구성 가능하지 않을 수 있다. 따라서, 컴퓨팅 디바이스(100)는 카메라 디바이스(114)로 하여금 이미지 데이터를 캡쳐하게 하여 데이터 스트림이 조정을 필요로하는지 여부를 평가하게 할 수 있다. 몇몇 경우에, 조정은 도 4에 도시된 바와 같은 알려진 컬러 패턴에 기초할 수 있다. 임의의 경우에, 외부 디스플레이 디바이스(402)에 디스플레이되는 컬러가 컴퓨팅 디바이스(100)의 디스플레이 디바이스(110)에 디스플레이되는 컬러와 일치하도록 데이터 스트림의 교정이 외부 디스플레이 디바이스(402)에 제공될 수 있다.

도 5는 주변 광 데이터에 기초한 이미지 렌더링 방법을 도시하는 블록도이다. 블록 502에서, 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨을 나타내는 주변 광 데이터를 포함하는 이미지 데이터가 수신된다. 블록 504에서, 캡쳐 이미지가 디스플레이될 환경의 주변 광이 검출된다. 블록 506에서, 캡쳐 이미지의 스펙트럼 콘텐츠는 검출된 주변 광과, 이미지 캡쳐 동안 존재하는 주변 광에 기초하여 조정된다.

실시예에서, 방법(500)은 조정된 캡쳐 이미지를 디스플레이에서 렌더링하는 단계를 더 포함한다. 몇몇 경우에, 방법(500)은 또한 도 3과 관련하여 상술한 바와 같이 디스플레이의 교정 단계를 포함할 수도 있다.

도 6은 주변 광 데이터에 기초하여 이미지를 렌더링하도록 구성된 컴퓨터 판독가능 매체의 예를 묘사하는 블록도이다. 컴퓨터 판독가능 매체(600)는 컴퓨터 버스(604)를 통해 프로세서(602)에 의해 액세스될 수 있다. 일부 예에서, 컴퓨터 판독가능 매체(600)는 비-일시적인 컴퓨터 판독가능 매체일 수 있다. 일부 예에서, 컴퓨터 판독가능 매체는 저장 매체일 수 있지만, 캐리어 웨이브, 신호 등은 포함하지 않을 수 있다. 또한, 컴퓨터 판독가능 매체(600)는 프로세서(602)에게 본 방법의 단계를 수행하도록 지시하는 컴퓨터 실행 가능한 명령어를 포함할 수 있다.

본 명세서에서 논의된 다양한 소프트웨어 컴포넌트들은 도 6에 도시된 바와 같이 유형의 비-일시적인 컴퓨터 판독가능 매체(600) 상에 저장될 수 있다. 예를 들어, 렌더링 애플리케이션(606)은 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨을 나타내는 주변 광 데이터를 포함하는 이미지 데이터를 수신하도록 구성될 수 있다. 렌더링 애플리케이션(606)은 또한 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하고, 검출된 주변 광 및 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하도록 구성될 수도 있다.

예들은 방법, 방법의 동작을 수행하기 위한 수단, 머신에 의해 수행될 때 머신으로 하여금 방법의 동작을 수행하게 하는 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체와 같은 발명의 대상을 포함할 수 있다.

예 1은 이미지 렌더링을 위한 시스템을 포함한다. 시스템은 프로세싱 디바이스와, 프로세싱 디바이스에 의해 구현되는 모듈을 포함한다. 모듈은, 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터 또는 등가의 화이트 밸런스 정보를 포함하는 이미지 데이터를 수신하는 데이터 수신 모듈을 포함한다. 검출 모듈은 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하도록 구성될 수 있다. 조정 모듈은 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광 또는 등가의 화이트 밸런스 정보에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하도록 구성될 수 있다.

예 2는 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터를 포함하는 이미지 데이터를 수신하는 단계를 포함하는, 이미지 렌더링을 위한 방법을 포함한다. 방법은 또한 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하는 단계를 포함한다. 방법은 또한 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하는 단계를 포함한다. 일부 경우에, 컴퓨터 판독가능 매체는 예 2의 방법을 실행하도록 사용될 수 있다.

예 3은, 실행될 때 프로세싱 디바이스로 하여금, 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 또는 등가의 화이트 밸런스 데이터를 포함하는 이미지 데이터를 수신하게 하고, 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하게 하는 코드를 포함하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 또한 실행될 때, 프로세싱 디바이스로 하여금, 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하게 하는 코드를 포함할 수 있다.

예 4는, 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 또는 등가의 화이트 밸런스 데이터를 포함하는 이미지 데이터를 수신하는 수단을 갖는 장치를 포함한다. 수단은 또한 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하고, 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하도록 구성된다.

예 5는 캡쳐 이미지와, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 또는 등가의 화이트 밸런스 데이터를 포함하는 이미지 데이터를 수신하는 하드웨어 로직을 적어도 부분적으로 포함하는 로직을 갖는 장치를 포함한다. 로직은 또한 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하고, 검출된 주변 광과, 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하도록 구성된다.

실시예는 구현 예 또는 예이다. 명세서에서 "일 실시예(an embodiment)', "하나의 실시예(one embodiment)", "일부 실시예(some embodiments)", "다양한 실시예(various embodiments)", 또는 "다른 실시예(other embodiments)"에 대해 언급하는 것은 실시예와 관련하여 기술된 특정한 특징, 구조, 또는 특성이 적어도 본 기술의 일부 실시예에 포함되지만, 반드시 본 기술의 모든 실시예에 포함되는 것은 아니라는 것을 의미한다. "일 실시예", "하나의 실시예", 또는 "일부 실시예"가 여러 차례 출현한다 하여 모두가 반드시 동일한 실시예를 언급하는 것은 아니다.

본 명세서에서 기술되고 예시된 모든 컴포넌트, 특징, 구조, 특성 등은 특정한 실시예 또는 실시예들에 포함될 필요는 없다. 예를 들면, 명세서에서 컴포넌트, 특징, 구조, 또는 특성이 "일 수 있다(may)", "일 수도 있다(might)", "할 수 있다(can)" 또는 "할 수도 있다(could)"라는 말이 포함되어 있으면, 그 특정한 컴포넌트, 특징, 구조 또는 특성은 포함되지 않아도 된다. 명세서 또는 청구범위에서 "일(a)" 또는 "일(an)" 요소를 언급하고 있다면, 이것은 요소 중 단 하나의 요소만이 존재하는 것을 의미하지 않는다. 명세서 또는 청구범위에서 "부가적인 요소(an additional element)"를 언급하고 있다면, 이것은 하나보다 많은 부가적인 요소가 있다는 것을 배제하지 않는다.

비록 일부 실시예가 특별한 구현예를 참조하여 설명되었지만, 일부 실시예에 따라서 다른 구현예가 가능하다는 것을 유의해야 한다. 또한, 도면에서 예시된 그리고/또는 본 명세서에서 기술된 회로 요소 또는 다른 특징의 배열 및/또는 순서는 예시되고 기술된 특별한 방식으로 배열되지 않아도 된다. 일부 실시예에 따라서 다른 많은 배열이 가능하다.

도면에서 도시된 각 시스템에서, 일부 사례의 요소는 표현된 요소가 상이할 수도 그리고/또는 유사할 수도 있다는 것을 시사하기 위해 각기 동일한 참조 부호 또는 상이한 참조 부호를 가질 수 있다. 그러나 요소는 상이하게 구현되기에 충분한 융통성을 가질 수 있으며 본 명세서에 도시되거나 설명된 시스템 중 일부 또는 모두와 작동할 수 있다. 도면에 도시된 각종 요소는 동일하거나 상이할 수 있다. 어느 요소는 제 1 요소라고 지칭되며 제 2 요소라고 호칭되는 요소는 임의적이다.

전술한 예에서 세부 사항은 하나 이상의 실시예의 어느 실시예에서도 사용될 수 있다는 것을 이해해야 한다. 예를 들어, 앞에서 기술된 컴퓨팅 디바이스의 모든 선택사양의 특징은 또한 본 명세서에서 기술된 방법 또는 컴퓨터 판독가능 매체 중 어느 하나와 관련하여 구현될 수 있다. 또한, 흐름도 및/또는 상태도가 본 명세서에서 실시예를 설명하기 위해 사용되었을 수도 있지만, 본 기술은 그러한 도면 또는 본 명세서에서 대응하는 설명으로 제한되지 않는다. 예를 들면, 흐름은 각각의 예시된 박스나 상태를 통해서나 본 명세서에서 예시되고 설명된 바와 틀림없이 동일한 순서대로 이동할 필요는 없다.

본 기술은 본 명세서에서 열거된 특정한 세부사항으로 제한되지 않는다. 실제로 본 개시의 이득을 받는 본 기술에서 통상의 지식을 가진 자라면 본 기술의 범위 내에서 전술한 설명과 도면으로부터 다른 많은 변형이 이루어질 수 있다는 것을 인식할 것이다. 따라서, 청구범위에 대한 임의의 보정을 포함하는 다음과 같은 청구범위는 본 기술의 범위를 정의하는 것이다.

Claims

이미지 렌더링을 위한 시스템으로서,
프로세싱 디바이스와,
상기 프로세싱 디바이스에 의해 구현되는 모듈을 포함하되,
상기 모듈은,
캡쳐 이미지와, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터 또는 등가의 화이트 밸런스 정보를 포함하는 이미지 데이터를 수신하는 데이터 수신 모듈과,
상기 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하는 검출 모듈과,
상기 검출된 주변 광과, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광 또는 등가의 화이트 밸런스 정보에 기초하여 상기 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하는 조정 모듈과,
디스플레이를 교정하는 교정 모듈을 포함하되,
상기 교정 모듈은 제 1 컬러 패턴의 제 1 이미지를 캡쳐하고, 상기 디스플레이에서 렌더링되는 제 2 컬러 패턴의 상(a reflection)의 제 2 이미지를 캡쳐하며, 상기 제 1 이미지와 상기 제 2 이미지 사이의 차이를 감소시키기 위해 컬러 채널에 보정 계수를 적용하는
이미지 렌더링 시스템.
제 1 항에 있어서,
조정된 상기 캡쳐 이미지를 디스플레이에서 렌더링하는 렌더링 모듈을 더 포함하는
이미지 렌더링 시스템.
삭제
제 1 항에 있어서,
상기 조정 모듈은 상기 캡쳐 이미지가 디스플레이될 환경의 주변 광에서 변화가 검출됨에 따라 상기 스펙트럼 콘텐츠를 동적으로 조정하는
이미지 렌더링 시스템.
제 1 항에 있어서,
상기 캡쳐 이미지는 장면 상의 주변 광의 상(reflection)의 결과물(a product)인
이미지 렌더링 시스템.
제 1 항에 있어서,
상기 주변 광 데이터는 교환가능 이미지 파일 포맷 필드 내에 저장되는
이미지 렌더링 시스템.
제 1 항에 있어서,
상기 검출 모듈은 추가로,
상기 캡쳐 이미지가 디스플레이될 환경 내의 오브젝트의 컬러를 식별하고,
상기 주변 광의 변화를 나타내는 상기 오브젝트의 컬러의 변화를 결정하는
이미지 렌더링 시스템.
제 1 항에 있어서,
외부 디스플레이 모듈을 더 포함하되,
상기 외부 디스플레이 모듈은,
외부 디스플레이에서의 상기 캡쳐 이미지의 렌더링을 포함하는 이미지 데이터를 수신하고,
상기 외부 디스플레이에서의 상기 캡쳐 이미지의 렌더링과 상기 캡쳐 이미지의 기준 모델 사이의 컬러 차이를 결정하고,
렌더링된 상기 캡쳐 이미지와 상기 기준 모델 사이의 차이에 기초하여 상기 외부 디스플레이로의 데이터 피드(a data feed)를 조정하는
이미지 렌더링 시스템.
제 8 항에 있어서,
카메라 디바이스를 더 포함하되,
상기 외부 디스플레이에서 렌더링된 이미지 데이터는 상기 카메라 디바이스에서의 이미지 캡쳐를 통해 수신되는
이미지 렌더링 시스템.
제 1 항에 있어서,
상기 조정 모듈은 상기 캡쳐 이미지가 디스플레이될 시스템의 디스플레이의 송신 품질로 인한 부적응(a maladaptation)을 보정하는
이미지 렌더링 시스템.
이미지 렌더링을 위한 방법으로서,
캡쳐 이미지와, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 데이터를 포함하는 이미지 데이터를 수신하는 단계와,
상기 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하는 단계와,
상기 검출된 주변 광과, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 상기 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하는 단계와,
디스플레이를 교정하는 단계를 포함하되,
상기 교정하는 단계는,
제 1 컬러 패턴의 제 1 이미지를 캡쳐하는 단계와,
상기 디스플레이에서 렌더링되는 제 2 컬러 패턴의 상의 제 2 이미지를 캡쳐하는 단계와,
상기 제 1 이미지와 상기 제 2 이미지 사이의 차이를 감소시키기 위해 컬러 채널에 보정 계수를 적용하는 단계를 포함하는
이미지 렌더링 방법.
제 11 항에 있어서,
조정된 상기 캡쳐 이미지를 디스플레이에서 렌더링하는 단계를 더 포함하는
이미지 렌더링 방법.
삭제
제 11 항에 있어서,
상기 캡쳐 이미지가 디스플레이될 환경의 주변 광에서 변화가 검출됨에 따라 상기 스펙트럼 콘텐츠를 동적으로 조정하는 단계를 더 포함하는
이미지 렌더링 방법.
제 11 항에 있어서,
상기 캡쳐 이미지는 장면 상의 주변 광의 상의 결과물인
이미지 렌더링 방법.
제 11 항에 있어서,
상기 주변 광 데이터는 교환가능 이미지 파일 포맷 필드 내에 저장되는
이미지 렌더링 방법.
제 11 항에 있어서,
상기 캡쳐 이미지가 디스플레이될 환경 내의 오브젝트의 컬러를 식별하는 단계와,
상기 주변 광의 변화를 나타내는 상기 오브젝트의 컬러의 변화를 결정하는 단계를 더 포함하는
이미지 렌더링 방법.
제 11 항에 있어서,
외부 디스플레이에서의 상기 캡쳐 이미지의 렌더링을 포함하는 이미지 데이터를 수신하는 단계와,
상기 외부 디스플레이에서의 상기 캡쳐 이미지의 렌더링과 상기 캡쳐 이미지의 기준 모델 사이의 컬러 차이를 결정하는 단계와,
렌더링된 상기 캡쳐 이미지와 상기 기준 모델 사이의 차이에 기초하여 상기 외부 디스플레이로의 데이터 피드를 조정하는 단계를 더 포함하는
이미지 렌더링 방법.
제 18 항에 있어서,
상기 외부 디스플레이에서 렌더링된 이미지 데이터는 상기 외부 디스플레이에 통신가능하게 연결된 컴퓨팅 디바이스의 카메라 디바이스에서의 이미지 캡쳐를 통해 수신되고, 데이터 스트림은 상기 외부 디스플레이에 제공되는
이미지 렌더링 방법.
제 11 항에 있어서,
상기 조정하는 단계는, 상기 캡쳐 이미지가 디스플레이될 디스플레이의 송신 품질로 인한 부적응을 보정하는 단계를 포함하는
이미지 렌더링 방법.
코드를 포함하는 컴퓨터 판독가능 매체로서,
상기 코드는 실행될 때, 프로세싱 디바이스로 하여금,
캡쳐 이미지와, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광의 레벨 및 컬러를 나타내는 주변 광 또는 등가의 화이트 밸런스 데이터를 포함하는 이미지 데이터를 수신하게 하고,
상기 캡쳐 이미지가 디스플레이될 환경의 주변 광을 검출하게 하고,
상기 검출된 주변 광과, 상기 캡쳐 이미지의 캡쳐 동안 존재하는 주변 광에 기초하여 상기 캡쳐 이미지의 스펙트럼 콘텐츠를 조정하게 하고,
제 1 컬러 패턴의 제 1 이미지를 캡쳐하게 하고,
디스플레이에서 렌더링되는 제 2 컬러 패턴의 상의 제 2 이미지를 캡쳐하게 하고,
상기 제 1 이미지와 상기 제 2 이미지 사이의 차이를 감소시키기 위해 컬러 채널에 보정 계수를 적용하게 하는
코드를 더 포함하는
컴퓨터 판독가능 매체.
제 21 항에 있어서,
실행될 때 상기 프로세싱 디바이스로 하여금, 조정된 상기 캡쳐 이미지를 디스플레이에서 렌더링하게 하는 코드를 더 포함하는
컴퓨터 판독가능 매체.
삭제
제 21 항에 있어서,
실행될 때 상기 프로세싱 디바이스로 하여금,
상기 캡쳐 이미지가 디스플레이될 환경 내의 오브젝트의 컬러를 식별하게 하고,
상기 주변 광의 변화를 나타내는 상기 오브젝트의 컬러의 변화를 결정하게 하는
코드를 더 포함하는
컴퓨터 판독가능 매체.
제 21 항에 있어서,
실행될 때 상기 프로세싱 디바이스로 하여금, 상기 캡쳐 이미지가 디스플레이될 환경의 주변 광에서 변화가 검출됨에 따라 상기 스펙트럼 콘텐츠를 동적으로 조정하게 하는 코드를 더 포함하는
컴퓨터 판독가능 매체.