KR101696630B1 - 이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법 - Google Patents

이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법 Download PDF

Info

Publication number
KR101696630B1
KR101696630B1 KR1020147025153A KR20147025153A KR101696630B1 KR 101696630 B1 KR101696630 B1 KR 101696630B1 KR 1020147025153 A KR1020147025153 A KR 1020147025153A KR 20147025153 A KR20147025153 A KR 20147025153A KR 101696630 B1 KR101696630 B1 KR 101696630B1
Authority
KR
South Korea
Prior art keywords
image
illumination
image data
lighting system
illumination pattern
Prior art date
Application number
KR1020147025153A
Other languages
English (en)
Other versions
KR20140123580A (ko
Inventor
존 길버트
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20140123580A publication Critical patent/KR20140123580A/ko
Application granted granted Critical
Publication of KR101696630B1 publication Critical patent/KR101696630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

새로운 라이팅 시스템은 이미지 캡쳐 디바이스, 이미지 처리기, 및 이미지 프로젝터를 포함한다. 특정한 일 실시예에서, 이미지 캡쳐 디바이스는 대상의 이미지들을 캡쳐하고 그것을 이미지 데이터로 변환하고, 이미지 처리기는 이미지 데이터에 기초하여 조명 패턴들을 생성하고, 이미지 프로젝터는 조명 패턴들을 대상 상에 투사한다. 선택적으로, 라이팅 시스템은 조명 패턴을 주기적으로 업데이트하기 위한 제어된 피드백 메커니즘을 포함한다. 더 특정한 실시예에서, 라이팅 시스템은 실시간으로 대상을 조명하기 위해 조명 패턴을 지속적으로 업데이트한다.

Description

이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법{LIGHTING SYSTEM AND METHOD FOR IMAGE AND OBJECT ENHANCEMENT}
관련 출원들에 대한 상호-참조
본 출원은 본 명세서에서 전체적으로 참조로써 통합되는 2012년 3월 13일에 출원된 미국 특허 가 출원 번호 제 61/610,293호의 우선권을 주장한다.
본 발명은 일반적으로 라이팅 시스템들에 관한 것이고, 특히 제어된 이미지 캡쳐 및 조명 능력들을 갖는 라이팅 시스템에 관한 것이다.
실제 오브젝트들의 외관을 개선하거나 수정하기 위한 많은 상이한 유형들의 라이팅 시스템들이 존재한다. 가장 단순한 형태의 이러한 시스템들 중에는 예를 들면, 그림들, 사진들, 조각품들, 등과 같은 고정 미술품을 전시하기 위해 미술관들에서 공통적으로 이용된 것들이 있다. 이들 시스템들은 전형적으로 하나 이상의 고정된 위치들로부터 대상에 지속적으로 조명하는 하나 이상의 램프들을 포함한다.
전통적으로 고정된 위치 라이팅 시스템들이 어느 정도 가시성 및 외관을 개선할 수 있을지라도, 그들의 능력들은 실질적으로 그들의 고유의 단순성에 의해 제한된다. 예를 들면, 이러한 시스템들은 전형적으로 단일의 특정 조명 조건(예를 들면, 세기, 색 등)으로 균일하게 전체적인 대상을 조명하고, 따라서 대상의 전체적인 외관을 개선하기 위해 최적인 조명 조건들을 성취하지 않게 한다. 이것은 단일 대상이 전형적으로 크게 변화하는 많은 상이한 텍스처(texture)들 및/또는 색들을 갖고 하나의 특정 텍스처 및/또는 색을 위한 최적의 조명 조건들이 반드시 또 다른 것을 위한 최적의 조건들이 아니기 때문이다. 또 다른 제한으로서, 특정한 관심이 없는 인접 상세들을 또한 조명하지 않고 대상에 대한 특정 상세들(예를 들면, 임의의 색들, 텍스처들, 패턴들, 등)의 외관을 선택적으로 분리하여 개선하기가 어렵다.
따라서, 필요한 것은 다수의 상이한 조명 조건들을 동시에 이용할 수 있는 라이팅 시스템이다. 또한 필요한 것은 대상의 격리된 상세들의 외관을 선택적으로 개선할 수 있는 라이팅 시스템이다.
본 발명은 조명된 대상의 특정 상세들의 가시성 및/또는 외관을 정확하게 개선하는 라이팅 시스템을 제공함으로써, 종래 기술과 연관된 문제점들을 극복한다.
라이팅 시스템은 대상의 이미지를 이미지 데이터로서 캡쳐(capture)하도록 동작하는 이미지 캡쳐 디바이스 및 이미지 캡쳐 디바이스로부터 이미지 데이터를 수신하기 위해 결합된 이미지 처리기를 포함한다. 이미지 처리기는 이미지 데이터에 적어도 부분적으로 기초하여 조명 패턴을 생성하도록 동작한다. 이미지 프로젝터는 이미지 처리기로부터 조명 패턴을 수신하기 위해 결합되고 대상 상에 조명 패턴을 투사하도록 동작한다.
일 예시적인 실시예에서, 이미지 캡쳐 디바이스는 (인간들을 위한) 가시적 스펙트럼의 밖인 전자기 방사에 의해 형성된 이미지를 나타내는 이미지 데이터를 캡쳐하도록 적응된다. 이미지 처리기는 가시적 스펙트럼 밖의 전자기 방사에 의해 형성된 이미지와 연관된 데이터 이미지를 가시적 스펙트럼 내의 전자기 방사에 의해 형성된 또 다른 이미지를 나타내는 또 다른 이미지 데이터와 상관시킨다. 가시적 이미지 데이터를 비-가시적 이미지 데이터와 상관시킴으로써, 대상 상에 투사될 때, 비-가시적 피쳐(feature)들을 보이도록 랜더링하는 투사 패턴이 생성될 수 있다.
또 다른 예시적인 실시예에서, 이미지 캡쳐 디바이스는 모바일 호스트 디바이스(예를 들면, 모바일 폰, 컴퓨터 태블릿, 등)의 카메라 시스템이다. 선택적으로, 이미지 프로젝터는 모바일 호스트 디바이스와 협력하도록 적응된 착탈가능한 액세서리이다. 또 다른 예시적인 실시예에서, 이미지 캡쳐 디바이스, 이미지 프로젝터, 및 이미지 처리기는 모바일 호스트 디바이스의 필수적인 부분들이다.
하나의 실시예에서, 이미지 캡쳐 디바이스 및 이미지 프로젝터는 광학적으로 정렬된다. 예를 들면, 이미지 프로젝터 및 이미지 캡쳐 디바이스는 빔 스플리터(beam splitter)를 이용하여 선택적으로 정렬된다. 이 예시적인 실시예에서, 프로젝터 및 이미저(imager)는 광 경로에서 하나 이상의 렌즈들을 공유한다. 대안적으로, 투사 광학계 및 이미징 광학계는 별개일 수 있다.
일 예시적인 실시예에서, 라이팅 시스템은 이미지 캡쳐 디바이스가 대상의 이미지들을 캡쳐하는 동안 대상을 조명하도록 동작하는 대상 조명 시스템을 포함한다. 하나의 실시예에서, 라이팅 시스템은 독립식(self-contained) 디바이스이고 조명 소스는 디바이스의 필수적인 부분이다. 또 다른 예시적인 실시예에서, 라이팅 시스템은 또한 보조 조명 시스템 인터페이스를 포함하고 조명 소스는 보조 라이팅 인터페이스에 결합된 보조 라이팅 시스템이다. 조명 소스는 가시적 스펙트럼 내의 또는 밖의, 또는 양쪽 모두의 광으로 대상을 조명할 수 있다.
선택적으로, 조명 패턴은 대상의 복수의 별개의 캡쳐된 이미지들에 기초하여 생성될 수 있다. 그 경우에, 이미지 데이터는 대상의 적어도 제 1 이미지 및 대상의 제 2 이미지를 나타낸다. 예로서, 대상은 제 1 이미지의 캡쳐 동안 제 1 세기로 조명 소스에 의해 조명될 수 있다. 그 다음, 대상은 제 2 이미지의 캡쳐 동안 (제 1 세기와 상이한) 제 2 세기로 조명 소스에 의해 조명된다. 대안적으로, 복수의 이미지들은, 대상이 일정한 세기로 그러나 다양한 상이한 각들로부터 조명되는 동안 캡쳐될 수 있다. 다수의 캡쳐된 이미지들을 이용하여, 이미지 처리 시스템은 대상의 고 동적 범위 이미지인 투사 패턴을 생성할 수 있다.
대상을 조명하는 방법이 또한 설명된다. 방법은 대상의 제 1 이미지를 이미지 데이터로 변환하는 단계, 조명 패턴을 생성하기 위해 이미지 데이터를 처리하는 단계, 및 대상 상에 조명 패턴을 투사하는 단계를 포함한다. 하나의 특정한 방법에서, 대상의 제 1 이미지는 가시적 스펙트럼 밖의 전자기 방사에 의해 형성된다. 더 특정한 방법에서, 조명 패턴을 생성하기 위해 이미지 데이터를 처리하는 단계는 제 1 이미지(비-가시적 스펙트럼)의 이미지 데이터를 가시적 스펙트럼 내의 이미지를 나타내는 이미지 데이터로 변환하는 단계를 포함한다.
일 예시적인 방법에서, 제 1 이미지를 캡쳐하는 단계는 또한 제 1 이미지가 캡쳐되는 동안 대상을 조명하는 단계를 포함한다. 훨씬 더 특정한 실시예에서, 대상의 제 1 이미지를 캡쳐하는 단계는 또한 제 1 이미지가 캡쳐되는 동안 제 1 세기 레벨로 대상을 조명하는 단계, 및 대상이 제 2의, 상이한 세기 레벨로 조명되는 동안 대상의 제 2 이미지를 캡쳐하는 단계를 포함한다. 선택적으로, 방법은 또한 대상의 고 동적 범위 이미지인 투사 패턴을 생성하기 위해 대상의 다수의 이미지들을 이용하는 단계를 포함한다.
본 발명의 적용들은 제조, 탐사, 채광, 박물관들 및 미술관들, 소비자 제품들, 연구, 위성 사진 분석, 교육, 회의실들, 및 극장들을 포함하지만, 이들에 제한되지 않는다.
본 발명은 유사한 참조 번호들이 실질적으로 유사한 요소들을 나타내는 첨부된 도면들을 참조하여 설명된다.
도 1은 대상의 외관 및/또는 가시성을 개선하기 위한 라이팅 시스템을 도시한 도면.
도 2는 대상의 외관 및/또는 가시성을 개선하기 위한 마이크로처리기-기반 라이팅 시스템의 블록도.
도 3은 도 1의 시스템 또는 도 2의 시스템에 의해 조명된 대상의 정면도.
도 4는 도 1의 시스템 또는 도 2의 시스템에 의해 조명된 도 3의 대상의 또 다른 정면도.
도 5는 도 1의 시스템 또는 도 2의 시스템에 의해 조명된 또 다른 대상의 정면도.
도 6은 도 1의 시스템 또는 도 2의 시스템에 의해 조명된 또 다른 대상의 정면도.
도 7은 또 다른 라이팅 시스템의 측면도.
도 8은 도 7의 라이팅 시스템의 상면도.
도 9는 또 다른 라이팅 시스템의 배면도.
도 10은 도 9의 라이팅 시스템의 측면도.
도 11은 오브젝트를 조명하기 위한 하나의 방법을 요약하는 흐름도.
본 발명은 대상의 이미지를 캡쳐하고, 캡쳐된 이미지에 기초하여 조명 패턴을 생성하고, 대상 상에 조명 패턴을 다시 투사하는 라이팅 시스템을 제공함으로써, 종래 기술과 연관된 문제점들을 극복한다. 투사된 조명 패턴은 대상의 외관 및/또는 가시성을 개선한다. 다음의 설명에서, 많은 특정 상세들이 본 발명의 철저한 이해를 제공하기 위해 진술된다(예를 들면, 특정 대상들). 그러나, 당업자들은 본 발명이 이들 특정 상세들과 별도로 실행될 수 있음을 인식할 것이다. 다른 예들에서, 잘 공지된 디지털 이미지 처리 관례들(예를 들면, 오브젝트 증가, 패턴 인식, 등) 및 구성요소들의 상세들은 본 발명을 불필요하게 애매하게 하지 않기 위해 생략되었다.
도 1은 대상의 이미지를 캡쳐하고, 조명 패턴(예를 들면, 대상의 고 콘트라스트 이미지)을 생성하고, 대상 상에 조명 패턴을 다시 투사함으로써 대상의 외관을 개선하는 라이팅 시스템(100)을 도시한다. 이 특정한 실시예에서, 예로서, 그림으로서 도시되는 대상(102)을 조명하는 라이팅 시스템(100)이 도시된다. 대상(102)은 예를 들면, 작은 이젤(easel)(106)에 의해 대상 플랫폼(104) 상(예를 들면, 테이블 위)에 위치된다. 대상(102)이 실질적인 2차원 오브젝트(즉, 그림)일지라도, 시스템(100)은 또한 조각품들, 사람, 아티팩트(artifact)들, 제조된 부분들/조립품들, 무대 도구들, 아키텍처 구조들, 및 자연 구조들을 포함하지만, 이에 제한되지 않는 3차원 대상들의 외관을 개선하기 위해 이용될 수 있다. 부가적으로, 본 발명의 조명 시스템은 그림(102)과 같은 실질적인 2차원 오브젝트에서 상대적으로 작은 3차원 피쳐들(예를 들면, 브러쉬 스트로크(brush stroke)들, 텍스처, 등)의 외관을 개선하기 위해 이용될 수 있다.
라이팅 시스템(100)은 대상 조명 시스템(108), 시스템 광학계(110), 빔 스플리터(112), 이미지 캡쳐 디바이스(ICD)(114), 이미지 처리 시스템(IPS)(116), 이미지 프로젝터(IP)(118), 보조 조명 시스템 인터페이스(AISI)(120), 보조 조명 시스템(122), 및 이용자 인터페이스(124)를 포함한다. 조명 시스템(108)은 대상(102)을 충분하게 조명하기 위해 배치된 하나 이상의 광원들을 포함한다. 시스템 광학계(110)는 빔 스플리터(112)를 통해 및 ICD(114) 상에 대상(102)의 이미지를 포커싱(focusing)한다. ICD(114)는 광 이미지를 데이터로 변환하고 이미지 데이터를 이미지 처리 시스템(116)에 전달한다. 이미지 처리 시스템(116)은 투사 패턴들을 생성하기 위해 이미지 데이터를 처리하고 투사 패턴들을 이미지 개선 프로젝터(118)에 전달하고, 상기 이미지 개선 프로젝터(118)는 빔 스플리터(112) 및 시스템 광학계(110)를 통해 패턴들을 대상(102) 상에 투사한다. 대상(102) 상에 투사된 패턴들은 구체적으로 대상(102)의 특정 피쳐들의 가시성을 개선하도록 설계된다.
이 실시예에서, 대상 조명 시스템(108)은, ICD(114)가 대상(102)의 하나 이상의 이미지들을 캡쳐하는 동안 대상(102)에 조명하도록 동작하는 광들의 링이다. 예시적인 실시예에서, 조명 시스템(108)은 조명 시스템(108)의 대상 조명 동작들을 ICD(114)의 이미지 캡쳐 동작들과 동기화하기 위해 IPS(116)에 결합되고, 상기 IPS(116)에 의해 제어되는 복수의 광원들을 포함한다. 또한, 각각의 광원은, 노출 조명 조건들(즉, 세기, 색, 소스 위치, 방향, 등)이 변화될 수 있도록 IPS(116)에 의해 선택적으로 제어된다.
시스템 광학계(110)는 빔 스플리터(112)를 통해 및 ICD(114) 상에 대상(102)의 이미지를 포커싱하도록 동작하는 렌즈 시스템이다. 게다가, 빔 스플리터(112)를 통해 IP(118)에 의해 투사된 조명 패턴들은 또한 광학계(110)를 통해 대상(102) 상에 포커싱된다. 빔 스플리터(112)는 ICD(114)가, 프로젝터(118)가 조명 패턴들을 대상(102) 상에 투사하는 것과 동일한 원근법으로부터 대상(102)의 이미지들을 캡쳐하게 한다. 대안적으로, ICD(114)는 프로젝터(118) 대신에 별개의 광 축 상의 대상(102)을 향해 직접적으로 대향할 수 있고 따라서, 빔 스플리터(112)에 대한 요구를 제거한다.
ICD(114)는 대상(102)의 이미지들을 캡쳐하도록 동작하는 전자 이미지 캡쳐 디바이스(예를 들면, CMOS 센서 시스템, CCD 센서, 등)이다. 적절한 이미지 캡쳐 디바이스의 선택은 시스템의 이용 목적에 의존할 것이다. 예를 들면, 시스템이 광의 특정 파장에 대해 높게 반사하는 오브젝트들의 가시성을 개선하도록 의도되면, 이미지 캡쳐 디바이스는 그 파장이 가시적 스펙트럼에 있는지의 여부에 따라, 광의 그 특정한 파장에 민감해야 한다. 또 다른 예로서, 이미지 캡쳐 디바이스들은 감도(sensitivity)를 하나 이상의 특정한 스펙트럼 범위들로 제한하기 위한 필터들을 포함할 수 있다. ICD(114)는 특정한 애플리케이션에 기초하여, 일부 미리 결정된 주기적 간격으로 고 해상도 이미지들 또는 더 낮은 해상도 이미지들의 스트림을 취하도록 구성될 수 있다.
IPS(116)는 ICD(114)로부터 이미지 데이터를 수신하고 이미지 데이터에 기초하여 조명 패턴을 생성하기 위해 결합된다. 조명 패턴이 대상(102)에 부가될 특정한 이미지 개선 효과는 원하는 개선에 의존할 것이고 따라서, 원하는 결과를 얻기 위해 이미지 데이터를 처리하도록 선택되는 특정한 디지털 이미지 처리 기술들에 의존할 것이다. 예를 들면, 대상(102)의 콘트라스트를 개선하기 위해, 투사된 조명 패턴은 디지털 이미지 처리 기술들을 개선하는 공지된 콘트라스트를 이용하여 이미지 데이터를 처리함으로써 생성되는 원래 캡쳐된 이미지의 고 콘트라스트 버전일 수 있다. 조명 패턴은 현재 임의의 공지되거나 이제부터 개발될 디지털 이미지 처리 기술을 이용하여 이미지 데이터를 처리함으로써 생성될 수 있음이 인식될 것이다.
이미지 프로젝터(118)는 IPS(116)로부터 조명 패턴을 수신하고 빔 스플리터(112)를 통해 및 대상(102) 상에 그것을 투사하기 위해 결합된다. 특정한 유형의 프로젝터는 이용 목적에 의존하여 달라질 것이다. 예를 들면, 이미지 프로젝터(118)는 임의의 유형의 단색 또는 다색 프로젝터 시스템일 수 있다. 또한, 임의의 공지된 투사 기술은 본 발명에서 구현될 수 있다. 이러한 기술들은 레이저 스캐닝, 디지털 광원 처리(digital light processing; DLP), 및 실리콘 액정 표시 장치(liquid crystal on silicon; LCOS)를 포함하지만, 이들에 제한되지 않는다.
보조 조명 시스템 인터페이스(120)는 IPS(116)와 보조 조명 시스템(122) 사이의 통신을 가능하게 한다. 인터페이스(120)는 예를 들면, 시스템(122)과의 유선 접속을 확립하기 위한 전기 포트일 수 있다. 대안적으로, 인터페이스(120)는 보조 조명 시스템(122)과 무선으로 통신하기 위한 무선 트랜시버일 수 있다. 또 다른 예로서, 인터페이스(120)는 컴퓨터 버스 접속부일 수 있다.
시스템(122)은 이미지 캡쳐 목적들을 위해 대상(102)에 조명하는 외부 광원들(예를 들면, 무대 라이팅 시스템, 대상 디스플레이 조명, 외부 이미지 캡쳐 플래시 시스템들, 등)을 포함한다. 대안적으로, 시스템(122)은 또한 뷰어 관측 목적들을 위해 대상(102)의 조명을 개선하는 광원들을 포함할 수 있다.
이용자 I/O 인터페이스(124)는 이미지 처리 시스템(116)과의 이용자 상호작용을 가능하게 하는 이용자 입력/출력 디바이스(들)(예를 들면, 컴퓨터 마우스, 키 패드, 디스플레이 스크린, 터치스크린 디스플레이, 등)를(을) 포함한다.
다음은 예로서, 개방 루프 단일 이미지 캡쳐 모드에 있는 라이팅 시스템(100)의 동작의 설명이다. 먼저, IPS(116)는 대상(102)의 이미지를 이미지 데이터로 변환하도록 조명 시스템(108), 보조 조명 시스템(122), 및 ICD(114)에 지시한다. 응답하여, 조명 시스템(108) 및 보조 조명 시스템(122)은 미리 결정된 조명 설정에 따라 대상(102)을 조명한다. 그 다음, ICD(114)는 광학계(110) 및 빔 스플리터(112)에 의해 ICD(114) 상에 포커싱된 대상(102)의 이미지를 캡쳐한다. IPS(116)는 ICD(114)로부터 이미지 데이터를 수신하고 조명 패턴(예를 들면, 원래 캡쳐된 이미지의 처리된 버전)을 생성하기 위해 미리 선택된 디지털 이미지 처리 기술을 이용한다. 다음, 처리된 이미지는 대상(102) 상에 빔 스플리터(112) 및 광학계(110)를 통해 조명 패턴을 투사하는 프로젝터(118)에 전달된다. 광학계(110)는 대상(102) 상에 투사된 이미지를 적절하게 포커싱한다. 처리된 이미지는 이용자가 이용자 I/O(124)를 통해 입력을 제공할 때까지 대상(102) 상에 투사된 채로 남아 있고, 이용자 입력은 라이팅 시스템(100)으로 하여금 다른 것을 행하도록 한다.
다음은 예로서, 개방 루프 단일 이미지 캡쳐 모드에 있는 라이팅 시스템(100)의 동작의 설명이다. 먼저, IPS(116)는 대상(102)의 이미지를 이미지 데이터로 변환하도록 조명 시스템(108), 보조 조명 시스템(122), 및 ICD(114)에 지시한다. 응답하여, 조명 시스템(108) 및 보조 조명 시스템(122)은 미리 결정된 조명 설정에 따라 대상(102)을 조명한다. 그 다음, ICD(114)는 광학계(110) 및 빔 스플리터(112)에 의해 ICD(114) 상에 포커싱된 대상(102)의 이미지를 캡쳐한다. IPS(116)는 ICD(114)로부터 이미지 데이터를 수신하고 조명 패턴(예를 들면, 원래 캡쳐된 이미지의 처리된 버전)을 생성하기 위해 미리 선택된 디지털 이미지 처리 기술을 이용한다. 다음, 처리된 이미지는 대상(102) 상에 빔 스플리터(112) 및 광학계(110)를 통해 조명 패턴을 투사하는 프로젝터(118)에 전달된다. 광학계(110)는 대상(102) 상에 투사된 이미지를 적절하게 포커싱한다. 이 지점까지, 라이팅 시스템(100)의 동작은 폐쇄 루프 모드에서와 실질적으로 동일하다. 그러나, 폐쇄 루프 모드에서, 처리는 실시간으로 대상(102)을 조명하기에 충분한 리프레시 레이트(refresh rate)로 폐쇄 루프 방식으로 반복된다. 실시간으로 대상(102)의 수정된 이미지를 대상(102) 상에 다시 투사함으로써, 대상(102)에 부가된 이미지 개선 효과들은 라이팅 시스템(100)과 대상(102) 사이의 상대적 움직임에 상당히 덜 민감할 것임이 이해되어야 한다.
다음은 예로서, 폐쇄 루프 다수 이미지 캡쳐 모드에 있는 라이팅 시스템(100)의 동작의 설명이다. 먼저, IPS(116)는 대상(102)의 복수의 이미지들을 이미지 데이터로 변환하도록 시스템(108), 시스템(122), 및 ICD(114)에 지시한다. 응답하여, 대상 조명 시스템(108) 및 보조 조명 시스템(122)은 제 1 미리 결정된 조명 설정에 따라 대상(102)을 조명한다. 그 다음, ICD(114)는 대상(102)의 제 1 이미지를 이미지 데이터로 변환한다. 다음, 대상 조명 시스템(108) 및 보조 조명 시스템(122)은 제 2의, 상이한 미리 결정된 조명 설정에 따라 대상(102)에 조명한다. 그 다음, ICD(114)는 대상(102)의 제 2 이미지를 캡쳐한다. 다음, IPS(116)는 ICD(114)로부터 이미지 데이터(대상(102)의 제 1 및 제 2 이미지들)를 수신하고 제 1 이미지 데이터의 일부 및 제 2 이미지 데이터의 적어도 일부에 적어도 부분적으로 기초하여 투사 이미지 데이터(예를 들면, 대상(102)의 단일 고 동적 범위 이미지)를 생성하기 위해 선택되고 미리 규정된 디지털 이미지 처리 기술을 이용한다. 다음, 투사 이미지 데이터는 광학계(110)를 통해 대상(102) 상에 투사 이미지를 투사하는 프로젝터(118)에 전달된다. 그 다음, 제 1 단계는 실시간으로 대상(102)의 적절한 조명을 유지하기에 충분한 리프레시 레이트로 폐쇄 루프 방식으로 반복된다. 라이팅 시스템(100)은 또한, 단순하게 이미지 캡쳐 및 이미지 처리 단계들을 반복하지 않음으로써 개방 루프 다수 이미지 캡쳐 모드로 동작될 수 있음이 이해되어야 한다.
도 1의 예시적인 실시예가 단일 구성요소에 통합될지라도, 본 발명의 대안적인 실시예들은 별개의 구성요소들로 구현될 수 있음이 이해되어야 한다. 예를 들면, 일 대안적인 실시예에서, 이미지 개선 프로젝터(118) 및 광학계(110)는 종래의 프로젝터로 구현되고, 이미지 캡쳐 디바이스(114)는 디지털 카메라 또는 캠코더(그 자신의 별개의 광학계들을 갖는)이고, 이미지 처리 시스템(116)은 개인용 컴퓨터 상에 호스팅된다.
도 2는 본 발명의 또 다른 실시예에 따른 마이크로처리기 기반 라이팅 시스템(200)의 블록도이다. 시스템(200)은 하나 이상의 처리 유닛들(202), 비-휘발성 데이터 저장장치(204), 하나 이상의 입력/출력 디바이스들(206), ICD(208), 대상 조명 시스템(210), 이미지 프로젝터(212), 보조 조명 시스템 인터페이스(214), 및 동작 메모리(216)를 포함하고, 모두는 시스템 버스(218)를 통해 상호접속된다.
처리 유닛(들)(202)은 동작 메모리(216)에 저장된 데이터 및 코드를 실행하여, 시스템(200)으로 하여금 그것의 다양한 기능들을 실행하게 한다. 비-휘발성 메모리(204)(예를 들면, 판독-전용 메모리, 하드 드라이브(들), 등)는 심지어 라이팅 시스템(100)이 전원 차단될 때 유지되는 데이터 및 코드(예를 들면, 부트 코드 및 프로그램들)를 위해 저장을 제공한다. I/O 디바이스들(206)은 이용자와 시스템(200) 사이에 상호작용을 가능하게 한다. ICD(208)는 대상의 이미지들을 캡쳐하기 위한 수단을 제공한다. 조명 시스템(210)은, ICD(208)가 대상의 이미지를 캡쳐하는 동안 대상을 조명하기 위한 수단을 제공한다. 이미지 프로젝터(212)는 대상 상에 조명 패턴들을 투사하기 위한 수단을 제공한다. 보조 조명 시스템 인터페이스(214)는 시스템(200)과 보조 라이팅/조명 시스템 사이에 통신 수단(예를 들면, 무선 접속부, 직접 전기 접속부, 등)을 제공한다. 마지막으로, 시스템 버스(218)는 시스템(200)의 다양한 구성요소들 사이의 상호통신을 가능하게 한다.
동작 메모리(216)는 데이터 및 실행가능한 코드를 위해 일시적인 저장을 제공하고, 이는 가동 및 동작 동안 동작 메모리(216)에 로딩된다. 동작 메모리(216)는 조정/제어 모듈(220), 대상 정보 데이터베이스(222), 이미지 캡쳐 루틴들(224), 캡쳐된 이미지 데이터(226), 이미지 처리 루틴들(228), 처리된 이미지 데이터(230), 이미지 투사 루틴들(232), 대상 조명 루틴들(234), 및 보조 루틴들(236)을 포함한다.
동작 메모리(216)의 콘텐트들은 다음 기능들을 제공한다. 조정/제어 모듈(220)은 다양한 구동 프로그램들의 전체적인 조정 및 제어를 제공한다. 대상 정보 데이터베이스(222)는 대상과 연관된 설정들(예를 들면, 콘트라스트 설정들, 강조할 색들/패턴들, 이미지 처리 동작 모드, 대상 특정 정보, 등)을 저장한다. 이미지 캡쳐 루틴들(224)은 이미지 캡쳐 디바이스(208)를 제어하기 위한 기능, ICD(208)의 동작을 조명 시스템(210)과 동기화하기 위한 기능, 및 대상의 광 이미지를 이미지 데이터로 변환하기 위해 필요한 임의의 다른 동작들을 제공한다. 캡쳐된 이미지 데이터는 조명 패턴들을 생성하기 위해 이용될 ICD(208)로부터의 처리되지 않은 이미지 데이터를 포함한다. 이미지 처리 루틴들(228)은 캡쳐된 이미지 데이터(226)에 기초하여 처리된 이미지 데이터(예를 들면, 조명 패턴들/이미지들)를 생성한다. 처리된 이미지 데이터(230)는 이미지 처리 루틴들(228)에 의해 생성된 조명 패턴들/이미지들을 포함한다. 이미지 투사 루틴들(232)은 처리된 이미지 데이터 모듈(230)에 저장된 이미지들의 투사를 달성하기 위해 이미지 프로젝터(212)를 제어하기 위한 기능을 제공한다. 대상 조명 제어 루틴들(234)은 예를 들면, 조명 시스템(210)의 동작을 ICD(208)와 동기화함으로써 이미지 캡쳐 동안 대상을 적절하게 조명하기 위해 대상 조명 시스템(210)을 제어한다. 보조 루틴들(236)은 보조 조명 시스템 인터페이스(214)에 접속된 보조 라이팅 시스템들의 조정 및 제어를 용이하게 한다.
도 3은 다수의 디지털 이미지 처리 기술들을 통해 이미지 데이터를 처리함으로써 생성된 조명 패턴에 따라 라이팅 시스템(100)에 의해 조명된 대상(102)의 정면도를 나타낸다. 도시적인 목적들을 위해, 대상(102)의 단지 부분(원(302)으로 둘러싸여진 부분)만이 조명된 것으로 도시된다. 그러나, 투사된 이미지가 대상(302)의 모든 부분을 조명할 것임이 이해되어야 한다.
이 특정한 조명 방식은 몇몇 조명 효과들이 대상(102)의 외관을 개선하기 위해 이용된 일례를 도시한다. 예를 들면, 야자 나무 몸통들(304)과 인접 배경 사이의 콘트라스트는 배경에 대해 더 높은 정도의 콘트라스트를 갖는 색들 및 명암들의 범위로 원래 캡쳐된 이미지에서의 나무 몸통들(304)의 색들 및 명암들을 조정하는 디지털 이미지 처리 알고리즘들에 의해 상당히 증가된다. 원래 이미지로부터의 색들 및 명암들이 조정되는 색들 및 명암들의 범위는 특정 이용자 입력들 중 하나에 의해 결정될 수 있거나 IPS(116)에 의해 자동적으로 조정될 수 있다.
디지털 이미지 처리 기술에 의해 부가된 또 다른 효과는 일반적인 조명 조건들에서 일반적으로 보이지 않는 물리적 표면 상세들을 보여준다. 도시된 바와 같이, 대상(102)의 조명된 영역(300)에서 단지 보이는 나무 몸통들 상에 수평 브러쉬 마크들(306)이 존재한다. 이 효과를 성취하기 위해, 조명 패턴은, 대상(102)이 상이한 조명 소스 위치들로부터 조명된 동안 캡쳐된 대상(102)의 다수의 이미지들에 기초하여 생성된 단일 이미지이다. 이 기술은 작은 물리적 피쳐들(즉, 표면 텍스쳐)의 위치가 식별될 수 있도록 확산 반사들로부터 다양한 각들로 거울 반사(specular reflection)들을 분리한다. 이러한 식별된 피쳐들을 이용하여, 최상으로 피쳐들을 강조하는 조명 패턴이 생성되고 대상(102) 상에 투사된다. 공지된 디지털 이미지 처리 기술들에서 흔히 있는 경우지만, 원하지 않은 피쳐들(예를 들면, 그림이나 다른 대상의 손상된 부분들)의 가시성은 또한 감소될 수 있거나 제거될 수 있다.
도 4는 증가된 오브젝트들을 포함하도록 이미지 데이터를 처리함으로써 생성된 또 다른 조명 패턴에 따라 라이팅 시스템(100)에 의해 조명된 대상(102)의 정면도를 보여준다. 이 특정한 조명 패턴에서, 고정된 오브젝트(400)와 활성 오브젝트(402)는 대상(102)의 장면에 삽입된다. 도시된 바와 같이, 고정된 오브젝트(400)와 활성 오브젝트(402)는 원래 장면의 부분인 것으로 나타나는 게들로서 도시된다. 고정된 오브젝트(400)는 이미지 처리기 시스템(116)이 이미지 데이터를 분석하고 미리 결정된 조건이 충족되었음을 결정하는 것에 응답하여 오브젝트를 대상 상에 투사하는 일례를 도시한다. 예를 들면, 이미지 처리 시스템(116)은 이미지 데이터가, 일부 투사된 포인터(예를 들면, 십자선)가 특정한 오브젝트에 따라 정렬됨을 나타낼 때 오브젝트를 장면에 투사할 수 있다. 활성 오브젝트(402)는 대상(102)의 장면 주위를 이동하고 있는 것으로 나타나는 영화 유형의 오브젝트를 도시한다. 활성 오브젝트(402)는 대상(102)의 장면 주위를 이동하고 있을 뿐만 아니라, 그것은 더 현실적인 일루전(illusion)을 생성하기 위해 다양한 피쳐들과 상호작용한다. 예를 들면, 오브젝트(402)가 단지 부분적으로 보이도록 야자 나무 뒤로 걷고 있는 상기 오브젝트(402)가 도시되지만, 그것이 노출되게 이동할 때 완전하게 보이게 된다. 이것은 대상의 캡쳐된 이미지에 기초하여 투사된 이미지를 생성함으로써 달성된다. 또한, 오브젝트(402)는 그것이 더 가까워지는 것으로서 나타나도록 그것이 대상(102)의 더 낮은 영역으로 접근함에 따라 더 커지는 것으로 나타난다. 본 발명의 또 다른 가치있는 양태는 대상 상에 투사된 조명 패턴들이 이용자 행위들에 응답하여 행해질 수 있다는 것이다. 예를 들면, 이미지 처리기 시스템(116)이 오브젝트(402) 근처의 이용자의 손가락의 존재를 식별하면, 그것은 야자 나무 뒤로 도망감으로써 오브젝트(402)가 이용자의 손가락을 피하도록 나타내게 함으로써 응답할 수 있다. 다시, 이것은 이용자의 손가락을 포함할, 대상의 캡쳐된 이미지에 기초하여 투사된 이미지를 생성함으로써 달성된다.
도 5는 또 다른 유형의 조명 패턴을 갖는 라이팅 시스템(100)에 의해 조명된 일 대안적인 대상(500)의 정면도를 보여준다. 대상(500)은 더 잘 보이도록 개선되는 저 가시성 텍스트의 그림이다. 도시된 바와 같이, 영역(300) 내의 텍스트는 조명 패턴으로 증가되는 고 가시성 경계(502)로 윤곽이 드러난다. 경계(502)는 2개의 희미한 색들 또는 음영들이 만나는 인터페이스에서 매우 잘 보이는 색 또는 음영을 부가하는 디지털 이미지 처리 기술을 이용하여 이미지 데이터를 처리하는 효과이다. 선택적으로, 패턴들(즉, 텍스트)을 인식하는 디지털 이미지 처리 기술들은 또한 가시성을 증가시키기 위해 이용될 수 있다. 친숙한 문자의 인식 시에, 그것은 매우 잘 보이는 경계를 적용하는 것, 콘트라스트를 증가시키는 것, 하나의 색을 또 다른 색으로 변경하는 것, 등을 포함하지만 이들에 제한되지 않는 다양한 상이한 방식들로 더 잘 보이게 행해질 수 있다. 이러한 개선들은 또한 상이한 상태들(예를 들면, 블링킹(blinking)) 사이에서 지속적으로 토글링(toggling)될 수 있다.
도 6은 본 발명의 또 다른 양태를 도시하기 위해 라이팅 시스템(100)에 의해 조명된 일 대안적인 대상(600)을 보여준다. 본 발명의 이 양태에 따라, 라이팅 시스템(100)은 정상적인 조명 조건들 하에서 인간의 눈에 보이지 않는 대상의 피쳐들을 보이게 할 수 있다. 대상(600)은 영역(300)의 밖에서 보이지 않는 복수의 광물 계층들(602)을 포함하는 동굴 벽으로서 도시된다. 특정한 일 실시예에서, ICD(114)는 인간의 눈에 보이는 범위를 넘어서는 전자기 방사에 스펙트럼적으로 민감하다. 광물들을 보이게 하기 위해, 이미지 처리 기술들은 인간의 눈에 보이는 스펙트럼 범위에서 표현될 수 있는 값들로 이미지에서의 광물에 연관된 픽셀 값들을 조정함으로써 이미지 데이터를 다룬다. 대상(600)의 처리된 이미지는, 광물들이 실시간으로 보여지도록 대상(600) 상에 다시 투사된다. 선택적으로, 조명 시스템(108)은 광물들 상에 투사될 때, ICD(114)에 또는 인간의 눈에 보이는 특정 스펙트럼 범위 내의 광을 투사한다.
도 7 및 도 8은 각각, 본 발명의 또 다른 실시예에 따른 라이팅 시스템(700)의 측면도 및 상면도를 보여준다. 라이팅 시스템(700)은 서로 장착되고 전기적으로 결합된 모바일 디바이스(702) 및 이미지 프로젝터(704)를 포함한다. 모바일 디바이스(702)는 예를 들면, 렌즈(708)를 가지는 카메라(706)를 포함하는 셀룰러 폰이고, 대상의 이미지는 상기 렌즈(708)를 통해 포커싱되고 이미지 데이터로 변환된다. 프로젝터(704)는 이미지 처리기(710), 투사 렌즈(712), 및 거울(714)을 포함한다. 이미지 처리기 시스템(710)은 모바일 디바이스(702)로부터 이미지 데이터를 수신하고 이미지 데이터에 기초하여 조명 패턴을 생성하도록 적응된다. 투사 렌즈(712)는 조명 패턴을 대상 상에 다시 포커싱하도록 동작한다. 거울(714)은 대상의 이미지를 모바일 디바이스(704)의 카메라 렌즈(708)로 방향을 바꾸도록 동작한다.
도 9 및 도 10은 각각, 모바일 다비이스(902)에 통합된 라이팅 시스템(900)의 배면도 및 측면도를 보여준다. 이 특정한 실시예에서, 라이팅 시스템(900)은 조명 시스템(904), 카메라(904), 이미지 처리기 시스템(908), 프로젝터(910), 및 거울(912)을 포함한다. 조명 시스템(904)은, 카메라(906)가 대상의 이미지를 캡쳐하는 동안 대상을 조명하기 위한 복수의 광원들(914)을 포함한다. 이미지 처리기 시스템(908)은 카메라(906)로부터 이미지 데이터를 수신하고 이미지 데이터에 기초하여 조명 패턴을 생성하기 위해 결합된다. 프로젝터(910)는 조명 패턴을 수신하고 상기 조명 패턴을 거울(912) 상에 투사하도록 결합되고 거울(912)에서 상기 조명 패턴은 대상 상으로 반사된다.
도 11은 대상을 조명하는 일 예시적인 방법(1100)을 요약하는 흐름도이다. 제 1 단계(1102)에서, 대상은 n번째 라이팅 조건에 노출된다(즉, 제 1 또는 후속 라이팅 조건). 그 다음, 제 2 단계(1104)에서, 제 1 또는 후속 이미지가 캡쳐된다. 다음, 제 3 단계(1106)에서, 캡쳐된 이미지가 처리를 위한 마지막 이미지인지의 여부가 결정된다. 그렇다면, 방법(1100)은 제 4 단계(1108)로 계속된다. 그렇지 않으면, 방법(1100)은 제 1 단계(1102)로 리턴한다. 제 4 단계(1108)에서, 캡쳐된 이미지(들)는(은) 대상 조명 패턴을 생성하기 위해 처리된다. 다음, 제 5 단계(1110)에서, 대상 조명 패턴은 대상 상에 투사된다. 그 다음, 제 6 단계(1112)에서, 조명 패턴이 업데이트되어야 하는지의 여부가 결정된다. 그렇다면, 방법(1100)은 제 1 단계(1102)로 리턴한다. 그렇지 않으면, 방법은 제 7 단계(1114)로 계속되고, 여기서 처리가 계속되어야 하는지의 여부가 결정된다. 그렇다면, 방법(1100)은 제 5 단계로 계속된다. 그렇지 않으면, 방법(1100)은 종료된다.
본 발명의 특정한 실시예들의 설명이 이제 완료된다. 설명된 특징들 중 많은 것들이 본 발명의 범위를 벗어나지 않고 대체되거나, 변경되거나 생략될 수 있다. 예를 들면, 대안적인 디지털 이미지 처리 기술들(예를 들면, 선명도 조정, 색 정정, 등)은 이전에 설명된 디지털 이미지 처리 기술들로 대체될 수 있다. 또 다른 예로서, 대안적인 환경들(예를 들면, 조립 라인 또는 다른 이동 플랫폼)은 대상 플랫폼의 역할을 할 수 있다. 그 다음, 조명 시스템은 특정 광 속성들을 갖는 물질들의 영역들을 선택적으로 조명하거나, 흠들 또는 오염을 강조하거나, 정확한 조치들을 요구하는 부정확하게 정렬된 부분들을 식별하기 위해 이용될 수 있다. 또 다른 예로서, 이미지 처리 루틴들은 대상에 관해 이전에 저장된 정보(예를 들면, 공지된 색 타겟들 및 영역들을 갖는 그림의 인쇄물을 색 정정하는 것, 어떤 장면이 현재 이미지의 가장자리들 너머에 있을 것 같은지를 투사하기 위해 패턴 매칭 기술들을 이용하는 것, 등)를 이용할 수 있다. 또 다른 예로서, 시스템은 다양한 수작업 이미지들 상에 정보의 스크린들을 투사함으로써 및/또는 자동적으로 색을 칠하거나 스케치들을 끝냄으로써 입력 디바이스로서 이용될 수 있다. 또 다른 예로서, 시스템은 정기적인 레이저 포인터의 이용이 투사된 스크린 상에서 그리도록 허용할 수 있거나, 상이한 부류들의 상호작용(예를 들면, 녹색은 그리고, 적색은 오브젝트들 주위를 이동한다, 등)을 선택하기 위해 상이한 색 레이저들을 이용할 수 있고 따라서, 다수의 이용자들이 레이저 포인터들 이상의 임의의 부가적인 하드웨어를 요구하지 않고 동일한 스크린과 동시에 상호작용하도록 허용한다. 게다가, 본 상호작용 콘텐트의 능력은 극장들에서 이용될 수 있다. 도시된 특정한 실시예들로부터의 이들 및 다른 변형(deviation)들은 특히, 상기 개시의 관점에서 당업자들에게 명백할 것이다.
100, 700, 900: 라이팅 시스템 108, 210: 대상 조명 시스템
110: 시스템 광학계 112: 빔 스플리터
114, 208: 이미지 캡쳐 디바이스 116: 이미지 처리 시스템
118, 212, 704: 이미지 프로젝터
120, 214: 보조 조명 시스템 인터페이스 122: 보조 조명 시스템
124: 이용자 인터페이스
200: 마이크로처리기 기반 라이팅 시스템 202: 처리 유닛들
204: 비-휘발성 데이터 저장장치
206: 이용자 입력/출력 디바이스들 216: 동작 메모리
218: 시스템 버스 702, 902: 모바일 디바이스
704: 프로젝터 706, 906: 카메라
708: 렌즈
710, 908: 이미지 처리기 시스템 712: 투사 렌즈
714, 912: 거울 904: 조명 시스템

Claims (20)

  1. 라이팅 시스템에 있어서:
    대상의 이미지를 이미지 데이터로서 캡쳐(capture)하도록 동작하는 이미지 캡쳐 디바이스;
    상기 이미지 캡쳐 디바이스가 상기 대상의 하나 이상의 이미지들을 캡쳐하는 동안 상기 대상을 조명하도록 동작하는 대상 조명 시스템으로서, 상기 대상 조명 시스템은 복수의 개별적으로 제어가능한 광원들을 포함하고, 상기 이미지 데이터는 상기 대상의 적어도 제 1 이미지 및 상기 대상의 제 2 이미지를 나타내고, 상기 대상은 상기 제 1 이미지의 캡쳐 동안 제 1 조명 조건으로 상기 대상 조명 시스템에 의해 조명되고, 상기 대상은 상기 제 2 이미지의 캡쳐 동안 제 2 조명 조건으로 상기 대상 조명 시스템에 의해 조명되고, 상기 제 1 조명 조건은 상기 제 2 조명 조건과 상이한 것인, 상기 대상 조명 시스템;
    상기 이미지 캡쳐 디바이스로부터 상기 이미지 데이터를 수신하기 위해 결합된 이미지 처리기로서, 상기 이미지 데이터에 적어도 부분적으로 기초하여 조명 패턴을 생성하도록 동작하고 상기 대상 조명 시스템의 각 광원을 선택적으로 제어하여 상기 제 1 조명 조건 및 상기 제 2 조명 조건을 정의하도록 동작하는, 상기 이미지 처리기; 및
    상기 조명 패턴을 수신하기 위해 결합되고 상기 대상 상에 상기 조명 패턴을 투사하도록 동작하는 이미지 프로젝터를 포함하는, 라이팅 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 캡쳐 디바이스는 가시적 스펙트럼의 바깥에 있는 전자기 방사에 의해 형성된 이미지를 나타내는 이미지 데이터를 캡쳐하도록 적응되는, 라이팅 시스템.
  3. 제 2 항에 있어서,
    상기 이미지 처리기는 상기 가시적 스펙트럼의 바깥에 있는 전자기 방사에 의해 형성된 이미지를 나타내는 상기 이미지 데이터를 상기 가시적 스펙트럼 내의 전자기 방사에 의해 형성된 또 다른 이미지를 나타내는 다른 이미지 데이터와 상관시키도록 동작하는, 라이팅 시스템.
  4. 제 1 항에 있어서,
    상기 이미지 캡쳐 디바이스는 모바일 호스트 디바이스의 카메라 시스템인, 라이팅 시스템.
  5. 제 4 항에 있어서,
    상기 이미지 프로젝터는 상기 모바일 호스트 디바이스와 협력하도록 적응된 착탈가능한 액세서리이거나, 상기 이미지 캡쳐 디바이스, 상기 이미지 프로젝터, 및 상기 이미지 처리기는 상기 모바일 호스트 디바이스에 일부로 들어가는 부품들인, 라이팅 시스템.
  6. 삭제
  7. 제 4 항에 있어서,
    상기 모바일 호스트 디바이스는 셀룰러 폰인, 라이팅 시스템.
  8. 제 1 항에 있어서,
    상기 이미지 캡쳐 디바이스 및 상기 이미지 프로젝터는 광학적으로 정렬되고,
    상기 라이팅 시스템은 상기 대상의 이미지를 상기 이미지 캡쳐 디바이스로 지향시키고 상기 조명 패턴을 상기 대상 상에 지향시키도록 배치된 빔 스플리터(beam splitter)를 더 포함하는, 라이팅 시스템.
  9. 제 1 항, 제 2 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 있어서,
    상기 이미지 처리기는 조명 패턴을 생성하도록 동작하고, 상기 조명 패턴은 상기 대상에 투사되면 상기 대상의 특징들의 가시성(visibility)을 강화하는, 라이팅 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 항, 제 2 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 있어서,
    상기 라이팅 시스템은 독립식 디바이스(self-contained device)에 구현되고, 상기 대상 조명 시스템은 상기 디바이스의 부품인, 라이팅 시스템.
  14. 제 1 항, 제 2 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 있어서,
    보조 라이팅 시스템 인터페이스를 추가로 포함하는, 라이팅 시스템.
  15. 대상을 조명하기 위한 방법에 있어서:
    대상의 제 1 이미지를 이미지 데이터로 캡쳐하는 단계로서,
    상기 대상의 제 1 이미지를 이미지 데이터로 캡쳐하는 단계는 상기 제 1 이미지가 캡쳐되는 동안 상기 대상을 제어가능하게 조명하는 단계를 포함하고,
    상기 대상의 제 1 이미지를 이미지 데이터로 캡쳐하는 단계는 상기 제 1 이미지가 캡쳐되는 동안 제 1 조명 조건으로 상기 대상을 조명하는 단계, 및
    상기 대상이 제 2 조명 조건으로 조명되는 동안 상기 대상의 제 2 이미지를 캡쳐하는 단계를 더 포함하고, 상기 제 2 조명 조건은 상기 제 1 조명 조건과 상이한 것인, 상기 대상의 제 1 이미지를 이미지 데이터로 캡쳐하는 단계;
    조명 패턴을 생성하기 위해 상기 이미지 데이터를 처리하는 단계; 및
    상기 대상 상에 상기 조명 패턴을 투사하는 단계를 포함하는, 대상을 조명하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 대상의 상기 제 1 이미지는 가시적 스펙트럼 바깥의 전자기 방사에 의해 형성되며,
    조명 패턴을 생성하기 위해 상기 이미지 데이터를 처리하는 상기 단계는 상기 가시적 스펙트럼 바깥의 이미지를 나타내는 상기 이미지 데이터를 상기 가시적 스펙트럼 내의 이미지를 나타내는 변환된 이미지 데이터로 변환하는 단계를 포함하는, 대상을 조명하기 위한 방법.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 처리하는 단계는 조명 패턴을 생성하는 단계를 포함하고, 상기 조명 패턴은 상기 대상에 투사되면 상기 대상의 특징들의 가시성(visibility)을 강화하는, 대상을 조명하기 위한 방법.
  18. 삭제
  19. 제 1 항, 제 2 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 따른 라이팅 시스템에 있어서,
    상기 제 1 조명 조건 및 상기 제 2 조명 조건은 조명의 방향(direction), 세기(intensity), 컬러(color), 소스 위치(source position) 중 적어도 하나가 서로 다른 것인, 라이팅 시스템.
  20. 제 1 항, 제 2 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 또는 제 8 항 중 어느 한 항에 따른 라이팅 시스템에 있어서,
    상기 조명 패턴은 상기 대상의 고 동적 범위 이미지인, 라이팅 시스템.
KR1020147025153A 2012-03-13 2013-03-07 이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법 KR101696630B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261610293P 2012-03-13 2012-03-13
US61/610,293 2012-03-13
PCT/US2013/029512 WO2013138148A1 (en) 2012-03-13 2013-03-07 Lighting system and method for image and object enhancement

Publications (2)

Publication Number Publication Date
KR20140123580A KR20140123580A (ko) 2014-10-22
KR101696630B1 true KR101696630B1 (ko) 2017-01-16

Family

ID=49161670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147025153A KR101696630B1 (ko) 2012-03-13 2013-03-07 이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법

Country Status (6)

Country Link
US (1) US9438813B2 (ko)
EP (1) EP2826237A4 (ko)
JP (2) JP6305941B2 (ko)
KR (1) KR101696630B1 (ko)
CN (1) CN104160692B (ko)
WO (1) WO2013138148A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068322B2 (en) * 2013-12-22 2018-09-04 Analogic Corporation Inspection system
GB2525000A (en) * 2014-04-08 2015-10-14 Technion Res & Dev Foundation Structured light generation and processing on a mobile device
US20160073061A1 (en) * 2014-09-04 2016-03-10 Adesa, Inc. Vehicle Documentation System
JPWO2017033386A1 (ja) * 2015-08-26 2018-06-07 パナソニックＩｐマネジメント株式会社 照明システム及びプログラム
KR102249946B1 (ko) * 2015-09-04 2021-05-11 삼성전자주식회사 영상 촬영 및 영상 출력을 제어하는 전자 장치 및 방법
WO2017143242A1 (en) * 2016-02-19 2017-08-24 Apple Inc. Force sensing architectures
US10580234B2 (en) 2017-01-20 2020-03-03 Adesa, Inc. Vehicle documentation system
CN106791750B (zh) * 2017-02-10 2018-11-09 联想(北京)有限公司 一种投影方法及投影装置
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
EP3653030A1 (en) 2017-07-12 2020-05-20 Mycronic Ab Method and system for determining component illumination settings
IT201700094994A1 (it) 2017-08-22 2019-02-22 Milano Politecnico Apparato e metodo per illuminare oggetti
EP3692329B1 (en) * 2017-10-06 2023-12-06 Advanced Scanners, Inc. Generation of one or more edges of luminosity to form three-dimensional models of objects
JP7219460B2 (ja) * 2019-03-20 2023-02-08 国立大学法人福井大学 照明装置、照明方法および照明システム
US11636623B2 (en) * 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033682A1 (en) * 2008-08-08 2010-02-11 Disney Enterprises, Inc. High dynamic range scenographic image projection
JP2010268285A (ja) * 2009-05-15 2010-11-25 Nippon Hoso Kyokai <Nhk> 合成映像生成システム、照明制御装置及びプログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703344A (en) * 1985-03-30 1987-10-27 Omron Tateisi Electronics Co. Illumination system of the digital control type
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US5969754A (en) * 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator
US6483537B1 (en) * 1997-05-21 2002-11-19 Metavision Corporation Apparatus and method for analyzing projected images, singly and for array projection applications
US6628298B1 (en) 1998-07-17 2003-09-30 The Regents Of The University Of California Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
US6542180B1 (en) * 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP2001298655A (ja) * 2000-04-13 2001-10-26 Sony Corp 撮像装置および方法、並びに記録媒体
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
CN101004518B (zh) 2001-02-27 2018-07-20 杜比实验室特许公司 高动态范围显示装置
US6742901B2 (en) * 2001-05-16 2004-06-01 Sony Corporation Imaging prevention method and system
US7020347B2 (en) 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
US7199793B2 (en) 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US8300234B2 (en) 2009-06-24 2012-10-30 University Of Southern California Estimating spectral distribution of reflections from object surface based on low frequency illumination
US7382369B2 (en) 2003-10-10 2008-06-03 Microsoft Corporation Systems and methods for robust sampling for real-time relighting of objects in natural lighting environments
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
JP3901702B2 (ja) * 2004-04-23 2007-04-04 孝一 大木 撮像・表示装置
JP2005352205A (ja) * 2004-06-10 2005-12-22 Fujinon Corp 照明装置
US7436403B2 (en) 2004-06-12 2008-10-14 University Of Southern California Performance relighting and reflectance transformation with time-multiplexed illumination
US7218324B2 (en) 2004-06-18 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Scene reflectance functions under natural illumination
CN102006346A (zh) * 2004-09-21 2011-04-06 株式会社尼康 投影仪装置
JP4961662B2 (ja) * 2004-09-21 2012-06-27 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
US20090046254A1 (en) * 2004-10-22 2009-02-19 Koninklijke Philips Electronics, N.V. Projector system
DE102005061590A1 (de) 2005-05-27 2006-11-30 Spin E.V. Verfahren zur Visualisierung komplexer Lichtverteilungssätze technischer Beleuchtungssysteme
JP2006352514A (ja) * 2005-06-16 2006-12-28 Seiko Epson Corp プロジェクタおよび投射方法
US7443443B2 (en) 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
US20070115484A1 (en) 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US7901093B2 (en) 2006-01-24 2011-03-08 Seiko Epson Corporation Modeling light transport in complex display systems
JP2007206343A (ja) 2006-02-01 2007-08-16 Seiko Epson Corp 光学表示装置及びその方法
JP4736921B2 (ja) * 2006-04-12 2011-07-27 ソニー株式会社 液晶プロジェクタおよび画像再生装置
US8730321B2 (en) * 2007-06-28 2014-05-20 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US8232993B2 (en) 2006-07-13 2012-07-31 University Of Central Florida Research Foundation, Inc. Systems and methods for graphical rendering
US7855732B2 (en) 2006-09-05 2010-12-21 Pc Connection, Inc. Hand producer for background separated images
US20080143720A1 (en) 2006-12-13 2008-06-19 Autodesk, Inc. Method for rendering global illumination on a graphics processing unit
JPWO2008156050A1 (ja) 2007-06-21 2010-08-26 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、画像処理システム、電子カメラおよび電子機器
CN102132091B (zh) * 2007-09-21 2013-10-16 皇家飞利浦电子股份有限公司 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法，以及适合于执行该方法的投影仪
WO2009153852A1 (ja) * 2008-06-16 2009-12-23 Ｔａｋａ Ｉｎｔｅｒｎａｔｉｏｎａｌ 株式会社 ディスプレイ用照明装置およびディスプレイ装置
EP2441267A1 (en) 2008-10-17 2012-04-18 Trellis Management Co., Ltd. High dynamic range texture and video coding
JP5261287B2 (ja) * 2009-05-22 2013-08-14 パナソニック株式会社 照明システム、空間演出システム、投影画像生成方法
WO2011031538A2 (en) * 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
JP5694332B2 (ja) * 2009-09-11 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ オブジェクトの外観を強調するための照明システム及び方法
KR101596842B1 (ko) * 2009-12-04 2016-02-23 엘지전자 주식회사 영상 프로젝터를 구비한 이동 단말기 및 그 제어 방법
JP5740822B2 (ja) * 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2378394A3 (en) * 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US20120052908A1 (en) * 2010-08-31 2012-03-01 Walsin Lihwa Corporation Pico projector device used with mobile phone
US8844802B2 (en) * 2011-12-20 2014-09-30 Eastman Kodak Company Encoding information in illumination patterns
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
JPWO2017033386A1 (ja) * 2015-08-26 2018-06-07 パナソニックＩｐマネジメント株式会社 照明システム及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100033682A1 (en) * 2008-08-08 2010-02-11 Disney Enterprises, Inc. High dynamic range scenographic image projection
JP2010268285A (ja) * 2009-05-15 2010-11-25 Nippon Hoso Kyokai <Nhk> 合成映像生成システム、照明制御装置及びプログラム

Also Published As

Publication number Publication date
WO2013138148A1 (en) 2013-09-19
US20150036023A1 (en) 2015-02-05
JP2016197599A (ja) 2016-11-24
CN104160692A (zh) 2014-11-19
KR20140123580A (ko) 2014-10-22
EP2826237A4 (en) 2015-08-19
CN104160692B (zh) 2017-05-31
US9438813B2 (en) 2016-09-06
EP2826237A1 (en) 2015-01-21
JP2015515715A (ja) 2015-05-28
JP6305941B2 (ja) 2018-04-04
JP6286481B2 (ja) 2018-02-28

Similar Documents

Publication Publication Date Title
KR101696630B1 (ko) 이미지 및 오브젝트 개선을 위한 라이팅 시스템 및 방법
Grundhöfer et al. Recent advances in projection mapping algorithms, hardware and applications
CN107426886B (zh) 智能照明装置
CN108886601B (zh) 全息视频捕获和远程呈现系统
Bimber et al. The visual computing of projector-camera systems
EP2321697B1 (en) Spatially adaptive photographic flash unit
EP3018903A2 (en) Method and system for projector calibration
US10359277B2 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11405539B2 (en) Background replacement system and methods
CN104284119A (zh) 在对象的预定义部分上投影图像的设备、系统和方法
US10270986B2 (en) Near-infrared video compositing
US20120086915A1 (en) Image Projection Apparatus Tiling System and Method
US20220034651A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
JP7062751B2 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
WO2015173344A1 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
KR102062982B1 (ko) 영상 합성 방법
JP6429164B2 (ja) カメラ及び照明システム
Iwai Computational imaging in projection mapping
KR20230152022A (ko) 화상 처리 장치, 화상 처리 방법, 프로젝터 장치
KR20120080914A (ko) 비접촉식 인터랙션 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4