KR102483680B1 - 주변 이미지를 프로세싱하기 위한 방법 및 디바이스 - Google Patents

주변 이미지를 프로세싱하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR102483680B1
KR102483680B1 KR1020177025239A KR20177025239A KR102483680B1 KR 102483680 B1 KR102483680 B1 KR 102483680B1 KR 1020177025239 A KR1020177025239 A KR 1020177025239A KR 20177025239 A KR20177025239 A KR 20177025239A KR 102483680 B1 KR102483680 B1 KR 102483680B1
Authority
KR
South Korea
Prior art keywords
luminance
image
peripheral image
correction function
reflectance level
Prior art date
Application number
KR1020177025239A
Other languages
English (en)
Other versions
KR20170127445A (ko
Inventor
필립 기요뗄
화브리스 위르방
로라 뛰르방
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20170127445A publication Critical patent/KR20170127445A/ko
Application granted granted Critical
Publication of KR102483680B1 publication Critical patent/KR102483680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

디스플레이되는 경우 디스플레이되는 중앙 이미지의 경계들을 넘어 확장되는 적어도 하나의 주변 이미지를 프로세싱하기 위한 방법이 개시된다. 이 방법은, 주변 이미지의 휘도를 인간 시각 특성들에 적응시키는 단계를 포함하고, 주변 이미지들의 휘도는, 시청자 시야에서 주변 이미지로부터 렌더링된 광이 낮고, 오직 중앙 뷰에 의해 렌더링된 광에 근접하게 유지되도록 프로세싱된다. 제1 실시예에 따르면, 방법은 입력 휘도에 광 보정 함수를 적용함으로써 주변 이미지의 휘도를 기준 반사율 레벨로 적응시키는 단계를 포함하고, 이러한 광 보정 함수는 주변 이미지가 디스플레이되는 표면의 기준 반사율 레벨로 적응된 디스플레이된 주변 이미지의 렌더링된 휘도 레벨을 측정함으로써 획득된다. 제2 실시예에 따르면, 휘도는 기준 반사율에 대한 실제 반사율로 추가로 적응된다. 제3 실시예에 따르면, 주변 이미지에서 이동하는 객체의 휘도가 증가된다.

Description

주변 이미지를 프로세싱하기 위한 방법 및 디바이스
이하, 이미지들을 프로세싱하는 디바이스 및 방법이 개시된다. 특히, 중앙 이미지의 경계들을 넘어 확장되는 적어도 하나의 주변 이미지를 프로세싱하기 위한 디바이스 및 방법이 개시된다.
본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 원리들의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 본 원리들의 다양한 양태들의 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 선행 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.
오늘날 영화들은 주로 중앙 스크린을 위해서만 생성된다. 사용자 경험을 개선하기 위해, 추가적인 컨텐츠가 텔레비전 또는 영화 스크린 주위에 투사되고 그에 따라 원래의 장면을 사용자 주위에 확장시킨다. 시청자들의 시야를 채우는 것에 의한 이러한 시스템은 사용자의 몰입도를 강화시키는데, 즉 사용자에게 장면 내에 있다는 더 양호한 감각을 제공한다. 이러한 컨텐츠는 예를 들어 넓은 시야의 카메라들, 즉, 110 내지 360 캡처를 위한 카메라들의 리그(rig)를 사용하여 캡처되거나 또는 컴퓨터 생성 이미지들을 사용하여 생성된다.
그러나, 원래의 비디오와 일치하고 시각적으로 만족스러운 방식으로 비디오 컨텐츠를 확장시키는 것은 어렵다.
비디오 컨텐츠를 확장시키는 방법들 중 첫번째 방법은 넓은 시야로 추가적인 컨텐츠를 캡처하는 것이다. 그러나, 이러한 기술은, 적어도, 더 많은 이미지들(중앙 및 측면 이미지들)을 관리하기 위한 그 후의 생성 필요성 때문에 많은 수작업을 요구한다. 게다가, 이는 사용자 경험을 개선하도록 설계되기 때문에, 시청자에게 방해가 되거나 문제를 생성하지 않아야 하는 확장을 위해 특수한 주의가 취해질 필요가 있다.
비디오 컨텐츠를 확장시키기 위한 간단한 기술은 WO 2004/006570에 개시된 필립스(Philips)의 Ambilight 기술이며, 이 기술은, 중앙 이미지의 색상들의 분포를 연구하고 TV의 에지들 상에 장착된 RGB LED들을 사용하여 스크린 주위에 이미지의 주요 색상들을 투사한다. 광 투사는 오직 제한된 영역에서 TV 주위에서 행해지고, 배경 또는 도형 또는 모션 인상에 대한 어떠한 세부사항도 제공하지 않는다. 그러나, 이러한 기술은 주변 광을 너무 많이 증가시키기 때문에, 고휘도 이미지의 경우 색상 및 광의 관점에서 컨텐츠와 일치하는 그러한 확장들은 최적이 아닐 수 있다. 확장이 사용자 경험을 개선하도록 설계되기 때문에, 확장은 시청자에게 방해가 되거나 문제를 생성하지 않아야 한다.
비디오를 확장시키기 위한 다른 기술은 (IEEE ICCP(International Conference on Computational Photography) 2011, 페이지 1-8에서) "Multiscale ultrawide foveated video extrapolation"에서 A Aides 등에 의해 개시된 기술이다. 이 알고리즘의 핵심적인 아이디어는 경계 외부에 비디오를 외삽하기 위해 (이미지 블록들 대신 비디오 큐브들을 사용하여) 공간 및 시간 차원에서 패치-매치(Patch-Match) 알고리즘을 사용하는 것이다. 올바른 패치를 선택하는 경우, 이 방법은 혼란을 야기하기 쉬운 패치들에 불이익을 가한다. 게다가, 인간의 시각은 눈의 중앙으로부터 멀어지는 경우 세부사항들에 대해 덜 민감하기 때문에, 알고리즘은 상이한 해상도로 컴퓨팅된다. 더 거친 해상도로부터 최고 해상도까지 외삽이 수행되는 경우 최상의 결과가 획득된다. 그러나, 이러한 기술들에 있어서, 확장들의 크기가 제한되기 때문에 사용자의 전체 시야가 채워지지 않을 수 있다. 게다가, 다른 컴퓨터 생성 이미지들의 경우 예술적 의도가 유지되지 않을 수 있다. 실제로, 사용자는, 너무 매력적일 수 있는 측면 이미지들 또는 시청 조건들의 수정에 의해 내러티브로부터 산만해 질 수 있다.
따라서, 몰입도를 위해 확장들이 바람직하더라도, 특히 확장된 투사들에 의해 너무 많은 빛이 유도되는 경우, 확장들은 편안한 시청 경험에 적합하지 않을 수 있다. 따라서, 사용자 경험이 개선되도록 확장된 컨텐츠를 프로세싱하기 위한 방법이 필요하다.
본 원리들에 따르면, 시청자 시야에서 주변 이미지로부터의 광이 낮게 유지되도록 주변 이미지들의 휘도가 프로세싱되는 실시예들이 설명된다. 즉, 주변 뷰의 휘도가 감소되어, 뷰들이 디스플레이되는 경우, 중앙 뷰 및 주변 뷰(들)에 의해 렌더링되는 전체 휘도는 오직 중앙의 뷰로 렌더링된 휘도에 가깝게 유지된다.
그러한 목적으로, 중앙 이미지의 경계들을 확장시키는 적어도 하나의 주변 이미지를 프로세싱하기 위한 방법이 개시된다. 방법은 인간의 시각 특성들에 기초하여 주변 이미지의 휘도를 적응시키는 단계를 포함한다.
더 구체적으로, 제1 실시예에 따르면, 방법은 주변 이미지의 휘도에 광 보정 함수를 적용함으로써 주변 이미지의 휘도를 기준 반사율 레벨로 적응시키는 단계를 포함하고, 광 보정 함수는 주변 이미지가 디스플레이되는 표면의 기준 반사율 레벨로 적응된 디스플레이된 주변 이미지의 렌더링된 휘도 레벨을 측정함으로써 획득된다. 제1 실시예의 구체적인 특성에 따르면, 광 보정 함수는 주변 이미지의 휘도가 고휘도 임계치보다 큰 경우 휘도가 감소되고, 상기 주변 이미지의 휘도가 저휘도 임계치보다 작은 경우 휘도가 수정되지 않게 한다. 유리하게는, 저휘도 임계치 및 고휘도 임계치 각각은 상기 기준 반사율 레벨로 디스플레이되는 경우 상기 주변 이미지의 휘도를 증가시키기 위해 디스플레이된 주변 이미지들의 낮은 렌더링된 휘도 레벨 및 높은 렌더링된 휘도 레벨에 대응한다. 즉, 임계치들은 증가하는 휘도 레벨을 갖는 주변 이미지들이 디스플레이되는 실험에 의해 획득된다.
이러한 실시예는, 너무 많은 광이 주변 투사들에 의해 반사되어 시청자 시야의 전체 광이 중앙 뷰로부터의 원래의 의도보다 높게 되는 경우에 특히 적합하다.
제1 실시예의 변형에 따르면, 주변 이미지의 휘도를 적응시키는 단계는, 기준 반사율 레벨로 적응된 광 보정 함수를 적용하는 단계; 및 디스플레이되는 전체 휘도 레벨에 적응하도록 주변 이미지의 휘도를 감소시키는 단계를 포함한다. 이러한 변형은 기준 환경에 대해 획득된 광 보정 함수를 사용자 환경 또는 사용자 선호도로 변조하는데 특히 적합하다. 특정 특성에 따르면, 상기 주변 이미지의 휘도를 적응시키는 단계는, 기준 반사율 레벨에 대해 주변 이미지가 디스플레이되는 표면의 반사율 레벨에 따라 선형 함수를 적용하는 단계를 더 포함한다.
이러한 변형은 흑색 측벽들로 인해 주변 투사들에 의해 충분한 광이 반사되지 않는 경우에 특히 적합하다.
제2 실시예에 따르면, 방법은 주변 이미지에서 이동하는 객체의 휘도를 증가시키는 단계를 포함한다. 유리하게는, 이러한 객체-기반 적응은 이동하는 객체의 외관을 증가시킨다.
제2 양태에 따르면, 디스플레이되는 경우 디스플레이되는 중앙 이미지의 경계들을 확장시키는, 적어도 하나의 주변 이미지를 프로세싱하기 위한 디바이스가 개시된다. 디바이스는, 주변 이미지의 휘도에 광 보정 함수를 적용함으로써 상기 주변 이미지의 휘도를 기준 반사율 레벨로 적응시키도록 구성되는 적어도 하나의 프로세서를 포함하고, 광 보정 함수는 주변 이미지가 디스플레이되는 표면의 기준 반사율 레벨로 적응된 디스플레이된 주변 이미지의 렌더링된 휘도 레벨을 측정함으로써 획득된다. 다른 실시예에 따르면, 적어도 하나의 스크린 상에 비디오 데이터를 투사하기 위한 디바이스가 개시되고, 비디오 데이터는 중앙 이미지 및 적어도 하나의 주변 이미지를 포함한다. 투사 디바이스는 본 원리들에 따라 주변 이미지의 휘도를 적응시키도록 구성되는 적어도 하나의 프로세서를 포함한다.
다른 실시예에 따르면, 디바이스는 본 원리들에 따라 주변 이미지의 휘도를 적응시키기 위한 수단을 포함한다.
제3 양태에 따르면, 컴퓨터 상에서 프로그램이 실행되는 경우, 개시된 실시예들 및 변형들 중 임의의 것에 따른 프로세싱 방법의 단계들의 실행을 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
프로세서로 하여금, 적어도, 개시된 실시예들 및 변형들 중 임의의 것에 따른 프로세싱 방법의 단계들을 수행하게 하기 위한 명령어들이 저장된 프로세서 판독가능 매체.
제4 양태에 따르면, 컴퓨터에 의해 판독가능하고, 개시된 실시예들 및 변형들 중 임의의 것에 따른 프로세싱 방법을 수행하기 위해 컴퓨터에 의해 실행가능한 명령어들의 프로그램을 유형으로 구현하는 비일시적 프로그램 저장 디바이스가 개시된다.
명시적으로 설명되지는 않았지만, 본 실시예들은 임의의 조합 또는 서브-조합으로 이용될 수 있다. 게다가, 프로세싱 방법에 대해 설명된 임의의 특성 또는 실시예는 개시된 방법을 프로세싱하도록 의도된 디바이스 및 프로그램 명령어들을 저장하는 컴퓨터 판독가능 저장 매체와 호환가능하다.
도면들에서, 본 원리들의 실시예가 예시된다.
도 1은 본 원리들의 실시예에 따른 프로세싱 디바이스를 도시한다.
도 2는 본 원리들의 실시예에 따른 도 1의 프로세싱 디바이스의 예시적인 아키텍처를 표현한다.
도 3은 외삽된 이미지들을 디스플레이하기 위한 예시적인 배열을 도시한다.
도 4는 중앙 이미지, 및 휘도 적응 이전 및 이후에 중앙 이미지의 좌측 및 우측 경계들을 넘어 생성 및 디스플레이되는 외삽된 이미지들을 포함하는 예시적인 이미지를 예시한다.
도 5는 본 원리들의 실시예에 따른 다수의 비디오들을 디스플레이하기 위한 방법의 흐름도를 표현한다.
도 6은 본 원리들의 실시예에 따른 2개의 이미지들의 상대적 위치설정을 획득하기 위한 공간 양자화를 통한 변환의 해석을 표현한다.
도 1은 본 원리들의 실시예에 따른 중앙 이미지의 경계들을 넘어 확장되는 적어도 하나의 주변 이미지의 휘도를 적응시키기 위한 프로세싱 디바이스(1)를 도시한다. 비디오 컨텐츠는 특히 넓은 시야를 사용하는 극장, 홈 시네마 또는 헤드 장착(HMD) 디바이스들을 위한 스크린을 둘러싸도록 확장된다. 이러한 종류의 디스플레이는 몰입형 디스플레이들로 공지되어 있다. 예를 들어, 스크린을 둘러싸도록 비디오 컨텐츠를 확장시키기 위해, 컨텐츠는 주변(또는 측면) 투사들을 생성하도록 외삽된다. 이는 원래의 중앙 컨텐츠로부터 외삽하기 위한 적절한 이미지 프로세싱 기술들을 사용하여 수행될 수 있다. 그러나, 주변 컨텐츠는 큰 시야를 갖는 카메라로부터 획득될 수 있다. 따라서, 프로세싱 디바이스(1)는 적어도 하나의 주변 비디오를 수신하도록 구성되는 입력(10)을 포함한다. 주변 비디오는 소스로부터 획득될 수 있다. 본 원리들의 다른 실시예들에 따르면, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리, 예를 들어, 비디오 메모리, RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스, 예를 들어, 대용량 저장소, ROM, 광 디스크 또는 자기 지원부와의 인터페이스;
- 통신 인터페이스, 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 블루투스 인터페이스); 및
- 픽처 캡처 회로(예를 들어, CCD(즉, Charge-Coupled Device) 또는 CMOS(즉, Complementary Metal-Oxide-Semiconductor)와 같은 센서).
입력(10)은 인간 시각 특성들에 대한 응답으로 적어도 하나의 주변 비디오의 휘도를 적응시키도록 구성되는 모듈(12)에 링크된다. 적응되는 외삽된 비디오들은 메모리에 저장될 수 있거나 목적지로 전송될 수 있다. 예로서, 이러한 정보는 원격 또는 로컬 메모리, 예를 들어, 비디오 메모리 또는 RAM, 하드 디스크에 저장된다. 변형으로, 정보는 저장 인터페이스, 예를 들어, 대용량 저장소, ROM, 플래시 메모리, 광 디스크 또는 자기 지원부와의 인터페이스에 전송되고 그리고/또는 통신 인터페이스, 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다. 변형으로, 프로세싱 디바이스(1)는 주위 비디오들을 외삽하기 위한 모듈을 더 포함한다.
도 2는 본 원리들의 예시적인 실시예에 따른 프로세싱 디바이스(1)의 예시적인 아키텍처를 표현한다. 프로세싱 디바이스(1)는 내부 메모리(120)(예를 들어, RAM, ROM, EPROM)와 함께 예를 들어 CPU, GPU 및/또는 DSP(Digital Signal Processor의 영문 두문자어)인 하나 이상의 프로세서(들)(110)를 포함한다. 프로세싱 디바이스(1)는 출력 정보를 디스플레이하고 그리고/또는 사용자가 커맨드들 및/또는 데이터(예를 들어, 키보드, 마우스, 터치패드, 웹캠, 디스플레이)를 입력할 수 있게 적응되는 하나의 또는 몇몇 입력/출력 인터페이스(들)(130); 및 프로세싱 디바이스(1)의 외부에 있을 수 있는 전원(140)을 포함한다. 프로세싱 디바이스(1)는 또한 네트워크 인터페이스(들)(미도시)를 포함할 수 있다.
본 원리들의 예시적이고 비제한적인 실시예에 따르면, 프로세싱 디바이스(1)는 메모리(120)에 저장된 컴퓨터 프로그램을 더 포함한다. 컴퓨터 프로그램은, 프로세싱 디바이스(1), 특히 프로세서(110)에 의해 실행되는 경우, 프로세싱 디바이스(1)로 하여금 도 5를 참조하여 설명된 프로세싱 방법을 수행하게 하는 명령어들을 포함한다. 변형에 따르면, 컴퓨터 프로그램은 프로세싱 디바이스(1)의 외부에서, 비일시적 디지털 데이터 지원부 상에, 예를 들어, HDD, CD-ROM, DVD, 판독-전용 및/또는 DVD 드라이브 및/또는 DVD 판독/기록 드라이브와 같은 외부 저장 매체 상에 저장되며, 이들 모두는 본 기술분야에 공지되어 있다. 따라서, 프로세싱 디바이스(1)는 컴퓨터 프로그램을 판독하기 위한 인터페이스를 포함한다. 추가로, 프로세싱 디바이스(1)는 하나 이상의 범용 직렬 버스(USB)-타입의 저장 디바이스들(예를 들어, "메모리 스틱들")에, 대응하는 USB 포트들(미도시)을 통해 액세스할 수 있다.
예시적이고 비제한적인 실시예들에 따르면, 프로세싱 디바이스(1)는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿(또는 태블릿 컴퓨터);
- 랩탑;
- 스틸 픽처 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 디코딩 칩;
- 스틸 픽처 서버;
- 비디오 서버(예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버);
- 투사 디바이스 또는 프로젝터;
- 극장 프로젝터;
- 홈 시네마 디스플레이; 및
- 헤드 장착 디바이스(HMD).
도 3은 이러한 주변 이미지들을 디스플레이하기 위한 예시적인 배열을 도시한다. 영화 또는 비디오 컨텐츠로부터의 메인 이미지는 중앙 스크린(30) 상에 디스플레이되는 한편, 주변 이미지들은 몰입도 느낌을 제공하기 위해 디스플레이 영역들(32 및/또는 34) 상의 중앙 스크린(30)의 경계를 넘어 디스플레이된다. 예를 들어, 이러한 배열은 극장에 존재할 수 있고, 여기서 중앙 프로젝터는 영화 또는 비디오 컨텐츠를 중앙 디스플레이 스크린 상에 투사하는 한편, 좌측 프로젝터는 제1 외삽된 이미지를 좌측 디스플레이 스크린 상에 투사하고, 우측 프로젝터는 제2 외삽된 이미지를 우측 디스플레이 스크린 상에 투사하고, 임의적으로, 프로젝터는 또한 위의 디스플레이 스크린을 위해 제공될 수 있다. 배열의 변형은 이미지를 3개의 상이한 방향들로 투사하기 위해 3개의 옵틱스를 포함하는 단일 프로젝터 P를 포함한다. 이러한 배열은 또한 프로젝터 기반 홈 시네마들 또는 HMD로서 존재할 수 있다. 그러나, 본 원리들은 이미지 투사에 제한되지 않으며 임의의 종류의 이미지 디스플레이와 호환가능하다. 예를 들어, 주변 이미지는 HMD의 패널들 상에 디스플레이된다.
도 4는 중앙 이미지(40), 및 중앙 이미지의 좌측 및 우측 경계들을 넘어 생성 및 디스플레이되는 외삽된 이미지들(42, 44)을 포함하는 예시적인 이미지를 예시한다. 강화된 외삽된 이미지(44)는 이미 높은 광 레벨을 나타내는 원래의 이미지(40)의 시각적 경험을 보존하는 방식으로 외삽된 이미지(42)보다 낮은 휘도를 가짐을 확인할 수 있다. 실제로, 강화된 외삽된 이미지는 어두운 장면들에서 정보를 상실하지 않기 위해 낮은 레벨들을 그대로 유지하면서 중앙 이미지에 비해 감소된 높은 광 레벨들을 나타낸다. 고휘도 레벨은 주변 이미지의 픽셀의 휘도 레벨이 높은 임계 휘도 레벨을 초과하는 경우인 한편, 저휘도 레벨은 주변 이미지의 픽셀의 휘도 레벨이 낮은 임계 휘도 레벨보다 작은 경우이다. 예를 들어, 이미지 픽셀의 휘도는 8 비트로 양자화된 그레이스케일 레벨로 표현되고, 따라서 [0-255] 사이이며, 낮은 임계 휘도는 40이고 높은 임계 휘도는 200이다.
도 5는 본 원리들의 특정한 및 비제한적인 실시예에 따른 중앙 이미지의 경계들을 넘어 확장되는 적어도 하나의 주변 이미지들을 프로세싱하기 위한 방법의 흐름도를 표현한다.
실시예들은 비디오의 이미지에 대해 비제한적인 방식으로 개시되며, 이러한 이미지는 비디오의 시간 t에 대응한다. 그러나, 본 원리들은 단일 주변 이미지의 프로세싱에 제한되지 않고, 프로세싱은 전체 비디오를 프로세싱하기 위해 반복적으로 적용된다. 게다가, 방법은 주변 이미지의 각각의 픽셀에, 순차적으로 또는 병렬적으로, 반복적으로 적용되어 강화된 주변 이미지를 획득할 수 있다. 주변이 매끄러운 표면의 경우에 적응되는 제1 변형에 따르면, 적응은 전체적이고, 각각의 픽셀에 동일한 프로세싱이 적용된다. 표면이 균일하지 않은 경우 또는 주변 이미지가 강조할 이동하는 객체를 포함하는 경우에 적응되는 제2 변형에 따르면, 적응은 국부적이고, 프로세싱은 픽셀 국부화에 따라 변할 수 있다.
단계(S10)에서, 주변 이미지의 휘도는 몰입형 경험을 강화하기 위해 인간 시각의 특성들에 적응된다. 그러한 목적으로, 광 보정 함수는 중앙 이미지들 각각으로부터의 주변 이미지들에 반복적으로 적용되며, 이미지들의 시퀀스는 원래의 비디오 또는 필름을 형성하여 강화된 주변 이미지들을 출력한다. 유리하게는, 보정 함수는 주변 이미지들 각각(좌측, 우측, 위 ...)에 적용된다.
그 다음, 보충 단계(S20)에서, 중앙 이미지들 및 강화된 주변 이미지들은 도 3에 설명된 배열에 따라 디스플레이된다.
이제, 시청자의 몰입형 경험을 강화시키는 광 보정 함수의 변형들을 개시하는 적어도 3개의 실시예들이 설명된다.
제1 실시예에 따르면, 주변 이미지의 휘도를 적응시키는 단계는, 주변 이미지의 높은 휘도 레벨의 경우, 주변 이미지의 휘도 레벨을 감소시키는 단계를 포함한다. 제1 실시예의 다른 특정 특성에 따르면, 주변 이미지의 휘도를 적응시키는 단계는 주변 이미지의 낮은 휘도 레벨의 경우 휘도 레벨을 수정하지 않는 단계를 포함한다. 유리하게는, 이러한 실시예에서, 저휘도 및 중간 휘도 레벨들을 유지함으로써 광 적응은 약간의 콘트라스트를 보존하는 한편, 고휘도 레벨들을 제한함으로써 광 적응은 주변 및 전체 주위 광을 감소시킨다.
제1 실시예의 변형에서, 주변 이미지의 휘도를 적응시키는 단계는, 주변 이미지의 높은 휘도 레벨의 경우, 주변 이미지의 휘도 레벨을 증가시키는 단계를 포함한다. 유리하게는, 이러한 실시예는 낮은 광을 반사하는 흑색 측벽의 경우에 적응된다. 본 기술분야의 통상의 기술분야는, 이러한 실시예가 또한, 기준 반사율 레벨에 대해 반사율을 수정하는 주변 이미지가 디스플레이되는 표면의 임의의 색상 또는 재료에 대해 적응된다는 것을 이해할 것이다.
제1 실시예의 다른 특정 특성에 따르면, 비선형 광 보정 함수가 개시된다. 비선형 광 보정 함수는 주변 이미지의 고휘도 레벨의 경우 휘도 레벨을 감소시키고, 주변 이미지의 저휘도 레벨의 경우 휘도 레벨을 수정하지 않는다.
본 기술분야의 통상의 기술자가 알고 있는 바와 같이, 주로 막대 광수용체들에 기초한 인간의 주변 시각은 낮은 내지 중간의 광 및 모션에 더 민감하고, 색상들 및 해상도에 덜 민감하다. 낮은 광 조건들 하에서 눈의 시각은 암순응(scotopic) 시각으로 지칭된다. 암순응 시각은 10-3.5 내지 10-6 cd/m2의 휘도 레벨들에서 발생한다. 유리하게는, 광 보정 함수는 주변의 투사된 이미지들/비디오를 인간 시각의 감도로 적응시킨다.
비제한적인 실시예에서, 주관적 시청자 실험들에 대한 응답으로 비선형 광 보정 함수가 개시된다. 실험에서, 균일한 휘도 레벨을 갖는 중앙 뷰가 투사되는 한편, 주변 이미지들의 휘도는 시청자가 이를 인지하거나 주변 이미지들로 인해 짜증나도록 증가된다. 이러한 실험은 주변 이미지 광의 각각의 값 l(입력 휘도)에 대한 인지 또는 렌더링된 임계치들 P(출력 휘도)의 결정을 도출한다. 8 비트 그레이스케일의 휘도 레벨들이 [0-255]로 정규화된 결과들이 도 6에 예시되어 있다. 입력 휘도 레벨들은 X 축 상에 표현되고, 인지 임계치들의 출력 휘도 레벨들은 Y 축 상에 표현된다. 도 6에 도시된 바와 같이, 그러한 인지 임계치들 P는 저휘도 값에 대해 즉, 150의 임계치 T 아래에서 준-선형인 한편, 높은 값에 대해, 즉, 150의 임계치 T 위에서, 200 주위의 최대 값 M에 도달한다. 입력 휘도로부터 출력 휘도로의 이러한 전달 함수는 하기 공식에 따라 모델링되고:
Figure 112017087038615-pct00001
여기서, L(t)는 시간 t에 대응하는 강화된 주변 이미지에서 픽셀의 최종 휘도 값이고;
I(t)는 동일한 시간 t에서 주변 이미지의 동일한 픽셀의 원래 휘도 값이고;
a, b, c, d 및 e는 a=8.10-8, b=5.10-5, c=0.008, d=0.6225, e=3.0312인 실험 결과들로부터 획득된 계수들이다.
특정 특성에 따르면, 계수들은 주변 이미지에서 픽셀 국부화에 의존하지 않으며, 동일한 비선형 광 보정 함수가 각각의 픽셀에 적용된다.
그러나, 본 원리들은 상기 함수에 제한되지 않으며, 실험 결과들을 모델링하는 임의의 선형 또는 비선형 함수들이 제1 실시예와 호환가능하다. 게다가, 실험 결과들은 시청자 환경에 의존하기 때문에, 본 원리들은 상기 실험 결과들로 제한되지 않는다. 따라서, 전술한 바와 같이 낮은 반사율을 갖는 흑색 측벽의 경우 주변 이미지의 고휘도 레벨의 경우에도, 비선형 함수는 주변 이미지의 휘도 레벨을 증가시킬 수 있다.
제2 실시예에 따르면, 선형 광 보정 함수가 개시된다. 선형 광 보정 함수는 주변 이미지가 디스플레이되는 표면의 높은 반사율 레벨(예를 들어, 백색 스크린)의 경우에 주변 이미지의 휘도 레벨을 감소시킨다. 반대로, 선형 광 보정 함수는 주변 이미지가 디스플레이되는 표면의 낮은 반사율 레벨(예를 들어, 흑색 스크린)의 경우에 주변 이미지의 휘도 레벨을 증가시킨다. 실제로, 선형 함수는 주변 이미지가 투사되는 표면의 반사율 레벨에 대응한다. 개선으로, 표준 또는 기준 반사율 레벨에 대해 광 보정 함수가 결정되고, 그 다음, 이러한 선형 보정 함수는 휘도를 실제 반사율 레벨로 추가로 적응시키기 위해 (입력) 휘도에 적용된다.
BRDF로 표기되는 양방향 반사율 분포 함수는 불투명한 표면에서 광이 어떻게 반사되는지를 정의하는 4-차원 함수이다. BRDF는 일 방향을 따라 나가는 반사된 광도(radiance) Lsurface 대 다른 방향으로부터 표면 상에 입사하는 방사 조도(irradiance) Esurface의 비를 리턴한다. 따라서, 입사 광(방사 조도) 및 표면 특성들(광도)의 함수에서 불균일한 주변 스크린에 의해 반사되는 광의 국부적인 양은 다음과 같이 모델링된다:
Figure 112017087038615-pct00002
방향
Figure 112017087038615-pct00003
에서 표면에서의 방사 조도
Figure 112017087038615-pct00004
방향
Figure 112017087038615-pct00005
에서 표면의 광도
Figure 112017087038615-pct00006
여기서,
Figure 112017087038615-pct00007
는 표면 법선에 대해 정의되는 입사 광 Li의 방향을 표현하는 각도이고,
Figure 112017087038615-pct00008
는 표면 법선에 대해 정의되는 시청자를 향한 출사 광 방향 Lr을 표현하는 각도이다.
BRDF는 단위들 sr-1을 갖고, 스테라디안(sr)은 입체각의 단위이다.
확산 반사의 경우, 광도 Lsurface는 다음과 같이 주어진다:
Figure 112017087038615-pct00009
θi는 강도 I를 갖는 입사 광원과의 법선 각도이고;
Figure 112017087038615-pct00010
는 표면의 확산 반사율 또는 반사도를 표현하는 표면의 알베도(albedo) 또는 반사 계수이다.
따라서, 표면 광도(L)를 알면, 표면 광도 L 및 소스 강도 I의 함수인 주변 이미지 휘도에 대해 광 감쇠 계수 ∝가 결정되고, 시청자 V가 측벽에 수직인 위치 N에 있고, 도 3에 표현된 바와 같이 프로젝터 P가 극장의 뒤쪽에 있다고 가정하면,
Figure 112017087038615-pct00011
이다.
제1 변형에 따르면, 예를 들어, 공지된 강도 I의(또는 더 일반적으로는 결정된 광 패턴에 대한) 백색 이미지를 투사하고, 예를 들어, CCD(즉, Charge-Coupled Device) 또는 CMOS (즉, Complementary Metal-Oxide-Semiconductor))와 같은 센서로 반사된 광을 캡처함으로써 표면 광도 L이 측정된다. 따라서, 실험 결과는 L 및 I를 측정함으로써 ∝를 추정하는 것을 허용한다. 이러한 변형에서, 투사된 패턴들 및 수동 조절을 갖는 극장에서 교정 단계가 수행된다. 이러한 변형에 따르면, 픽셀 단위 표면 광도가 측정되어, 휘도의 픽셀 단위 적응을 허용할 수 있다.
따라서, 선형 광 보정 함수는 하기 공식에 의해 모델링된다:
Figure 112017087038615-pct00012
여기서, La(t)는 시간 t에 대응하는 강화된 주변 이미지에서 픽셀의 최종 휘도 값이고;
I(t)는 동일한 시간 t에서 주변 이미지의 동일한 픽셀의 원래 휘도 값이다.
제2 변형에 따르면, 계수 ∝의 계산은, 예를 들어, 측벽(즉, 이미지가 투사되는 표면)이 흑색 태피스트리로 복원된 콘크리트로 제조되었다고 가정함으로써 또는 반대로 측벽이 백색 스크린(표시를 위해, 흑색 아크릴 페인트
Figure 112017087038615-pct00013
= 0.05, 백색 아크릴 페인트
Figure 112017087038615-pct00014
= 0.8)이라고 가정함으로써, 표면 반사율이 이의 알베도
Figure 112017087038615-pct00015
를 통해 공지되었다고 가정하여 단순화된다. 따라서, 도 3의 소스 P로부터 표면의 법선 N까지의 각도
Figure 112017087038615-pct00016
만이 공지될 필요가 있다.
Figure 112017087038615-pct00017
명시적으로 설명되지는 않았지만, 본 실시예들은 임의의 조합 또는 서브-조합으로 이용될 수 있다. 예를 들어, 본 원리들은 측면 스크린 반사율에 응답하는 설명된 선형 광 보정 함수로 제한되지 않고, 상기 가중치 함수 또는 비선형 함수와 결합될 수 있다. 따라서, 본 기술분야의 통상의 기술자는 측벽의 낮은 반사율의 경우에도, 심지어 높은 입력 휘도의 경우의 입력 휘도에 비해 (일부 뷰잉 조건들에 의해 특성화되는 비선형 변형 및 낮은 반사율에 대해 파라미터화된 선형 변형으로부터 얻어지는) 결합된 휘도가 증가될 수 있음을 인식할 것이다.
제3 실시예에 따르면, 다른 가중 광 보정 함수가 개시된다. 가중 광 보정 함수는 주변 이미지에서 이동하는 객체의 경우에 휘도 레벨을 증가시킨다. 유리하게는, 이러한 함수는 몰입도를 강화하기 위해 측면 뷰들에 대한 일부 이동하는 객체들을 강조하는 것을 허용한다. 이전에 상세히 설명된 바와 같이, 인간의 주변 시각은 모션에 대해 더 높은 감도를 갖는다. 본 기술분야의 통상의 기술자들은, 제1 변형에서, 이러한 이동하는 객체들의 콘트라스트를 증가시킴으로써 외삽된 이미지들의 생성 시에 이러한 프로세싱이 수행되는 것을 인식할 것이다. 제2 변형에서, 이러한 프로세싱은 이전 실시예들에서 개시된 휘도 적응과 공동으로 수행된다.
그러한 경우, 최종 휘도 값은 객체의 "관심도"에 의존하는 값을 갖는 계수 β에 의해 가중된다. β(i,j)의 값은 외삽된 이미지의 픽셀(좌표(i,j)로 표현됨)마다 정의된다. β는 예를 들어 시간 t에서 고려되는 픽셀/객체의 모션 M(t)과 돌출도 S(t)에 기초하여 컴퓨팅된다.
그 다음,
Figure 112017087038615-pct00018
이다.
여기서, (i,j)는 픽셀의 좌표이고;
(t)는 시간 t에 대응하는 강화된 주변 이미지에서 픽셀 (i,j)의 최종 휘도 값이고;
l(t)는 동일한 시간 t에서 주변 이미지의 동일한 픽셀의 원래 휘도 값이다.
이러한 실시예는 특히 객체가 중앙 비디오를 가로지르는 경우에 적응된다. 확장 계산은 주변에 산만한 컨텐츠를 배치하는 것을 회피하는 한편, 이미지에 들어오거나 이미지로부터 나가는 객체들은 주변 이미지에 도달하는 경우 때때로 사라진다. 이러한 문제를 보정하기 위해, 객체들은 메인 컨텐츠에서 검출 및 추적되고, 이들의 컴퓨팅된 모션에 따라 그리고 주변 시각에 맞도록 추가적인 흐려짐에 의해 주변 비디오들에서 페이스트된다.
특정 특성에 따르면, 함수는 장면 변경의 경우에 밝은 이미지를 평활화하기 위해 예를 들어 시간적 변화들을 처리하기 위해 동적인 방식으로 적용된다.
유리하게는, 방법은 반복적이며, 적어도 주변 이미지에 대해 설명된 광 적응은 외삽된 비디오의 각각의 주변 이미지에 적용된다.
본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법 또는 디바이스로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대 정보 단말("PDA들"), 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
본원에 설명된 다양한 프로세스들 및 특징들의 구현들은 특히, 예를 들어, 장비 또는 애플리케이션과 같은 다양한 상이한 장비 또는 애플리케이션들로 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA 및 다른 통신 디바이스들을 포함한다. 명확해야 할 바와 같이, 장치는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 다른 저장 디바이스, 예를 들어, 하드 디스크, 콤팩트 디스켓("CD"), 광 디스크(예를 들어, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM") 또는 판독-전용 메모리("ROM")와 같은 프로세서-판독가능 매체 상에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체 상에 유형으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 시스템, 별개의 애플리케이션 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서-판독가능 매체(예를 들어, 저장 디바이스)를 포함하는 디바이스 둘 모두로서 특성화될 수 있다. 추가로, 프로세서-판독가능 매체는 명령어들에 추가하여 또는 명령어들 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 자명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기록 또는 판독하기 위한 규칙들을 데이터로서 운반하거나, 설명된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기 파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림과 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 다른 구현들을 생성하기 위해 결합, 보충, 수정 또는 제거될 수 있다. 추가적으로, 통상의 기술자는, 다른 구조체들 및 프로세스들이 개시된 것들을 대체할 수 있고 결과적인 구현들이 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이러한 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (18)

  1. 적어도 하나의 주변 이미지를 프로세싱하기 위한 방법으로서,
    상기 적어도 하나의 주변 이미지는, 중앙 이미지가 디스플레이되는 스크린의 경계들을 넘어 확장되는 표면 상에 디스플레이되고, 상기 적어도 하나의 주변 이미지는 상기 중앙 이미지의 확장에 대응하고,
    상기 방법은,
    상기 표면의 반사율 레벨을 표현하는 정보를 획득하는 단계; 및
    상기 적어도 하나의 주변 이미지의 휘도에 광 보정 함수를 적용함으로써 상기 반사율 레벨을 표현하는 정보에 따라 상기 적어도 하나의 주변 이미지의 휘도를 적응시키는 단계를 포함하고,
    상기 광 보정 함수는 상기 반사율 레벨을 표현하는 정보가 상기 표면의 높은 반사율 레벨을 나타내는 경우에 상기 적어도 하나의 주변 이미지의 휘도를 감소시키고,
    상기 광 보정 함수는 상기 반사율 레벨을 표현하는 정보가 상기 표면의 낮은 반사율 레벨을 나타내는 경우에 상기 적어도 하나의 주변 이미지의 휘도를 증가시키는, 방법.
  2. 제1항에 있어서,
    상기 표현하는 정보는 상기 표면 상에서 결정된 강도로 투사된 광의 반사를 캡처함으로써 획득되는, 방법.
  3. 제1항에 있어서,
    상기 표현하는 정보는 상기 표면의 알베도(albedo), 및 상기 적어도 하나의 주변 이미지를 투사하는 프로젝터와 상기 표면에 대한 법선 사이의 각도 값에 따라 획득되는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 광 보정 함수는, 상기 적어도 하나의 주변 이미지의 상기 휘도가 고휘도 임계치보다 큰 경우에는 휘도가 감소되고, 상기 적어도 하나의 주변 이미지의 상기 휘도가 저휘도 임계치보다 작은 경우에는 휘도가 수정되지 않도록 이루어지는, 방법.
  5. 제4항에 있어서,
    상기 저휘도 임계치 및 상기 고휘도 임계치는, 기준 반사율 레벨로 디스플레이될 때 상기 적어도 하나의 주변 이미지의 휘도를 증가시키기 위해 상기 디스플레이되는 적어도 하나의 주변 이미지의 낮은 렌더링된 휘도 레벨 및 높은 렌더링된 휘도 레벨에 각각 대응하는, 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 주변 이미지의 휘도를 적응시키는 단계는,
    기준 반사율 레벨로 적응된 광 보정 함수를 적용하는 단계; 및
    전체 휘도 레벨로 적응시키기 위해 상기 주변 이미지의 휘도를 감소시키는 단계를 포함하는, 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 주변 이미지의 휘도를 적응시키는 단계는, 상기 적어도 하나의 주변 이미지에서 이동하는 객체의 휘도를 증가시키는 단계를 포함하는, 방법.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 주변 이미지의 휘도를 적응시키는 단계는, 상기 적어도 하나의 주변 이미지의 픽셀들의 국부적 세트의 휘도를 적응시키는 단계를 포함하고,
    상기 광 보정 함수는 픽셀 국부화(pixel localization)에 따라 변하는, 방법.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 광 보정 함수는 선형 휘도 보정 영역 및 비선형 휘도 보정 영역을 가지는 비선형 함수인, 방법.
  10. 적어도 하나의 주변 이미지를 프로세싱하기 위한 디바이스로서,
    상기 적어도 하나의 주변 이미지는, 중앙 이미지가 디스플레이되는 스크린의 경계들을 넘어 확장되는 표면 상에 디스플레이되고, 상기 적어도 하나의 주변 이미지는 상기 중앙 이미지의 확장에 대응하고,
    상기 디바이스는 프로세서와 연관된 메모리를 포함하고,
    상기 프로세서는,
    상기 표면의 반사율 레벨을 표현하는 정보를 획득하고;
    상기 적어도 하나의 주변 이미지의 휘도에 광 보정 함수를 적용함으로써 상기 반사율 레벨을 표현하는 정보에 따라 상기 적어도 하나의 주변 이미지의 휘도를 적응시키도록 구성되고,
    상기 광 보정 함수는 상기 반사율 레벨을 표현하는 정보가 상기 표면의 높은 반사율 레벨을 나타내는 경우에 상기 적어도 하나의 주변 이미지의 휘도를 감소시키고,
    상기 광 보정 함수는 상기 반사율 레벨을 표현하는 정보가 상기 표면의 낮은 반사율 레벨을 나타내는 경우에 상기 적어도 하나의 주변 이미지의 휘도를 증가시키는, 디바이스.
  11. 제10항에 있어서,
    상기 표현하는 정보는 상기 표면 상에서 결정된 강도로 투사된 광의 반사를 캡처함으로써 획득되는, 디바이스.
  12. 제10항에 있어서,
    상기 표현하는 정보는 상기 표면의 알베도, 및 상기 적어도 하나의 주변 이미지를 투사하는 프로젝터와 상기 표면에 대한 법선 사이의 각도 값에 따라 획득되는, 디바이스.
  13. 제10항 또는 제11항에 있어서,
    상기 디바이스는 비디오 투사 디바이스를 포함하는 시스템에 속하는, 디바이스.
  14. 제10항 또는 제11항에 있어서,
    상기 프로세서는 상기 적어도 하나의 주변 이미지에서 이동하는 객체의 휘도를 증가시키도록 추가로 구성되는, 디바이스.
  15. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 적어도 하나의 주변 이미지의 휘도를 적응시키도록 구성되는 상기 디바이스는, 상기 적어도 하나의 주변 이미지의 픽셀들의 국부적 세트의 휘도를 적응시키도록 추가로 구성되고,
    상기 광 보정 함수는 픽셀 국부화에 따라 변하는, 디바이스.
  16. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 광 보정 함수는 선형 휘도 보정 영역 및 비선형 휘도 보정 영역을 가지는 비선형 함수인, 디바이스.
  17. 기록 매체 상에 저장된 컴퓨터 프로그램으로서,
    상기 프로그램이 컴퓨터 상에서 실행될 때, 제1항 내지 제3항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 포함하는 컴퓨터 프로그램.
  18. 프로세서로 하여금 제1항 내지 제3항 중 어느 한 항에 따른 방법의 단계들을 실행하게 하기 위한 명령어들이 저장되어 있는 프로세서 판독가능 매체.
KR1020177025239A 2015-03-13 2016-03-02 주변 이미지를 프로세싱하기 위한 방법 및 디바이스 KR102483680B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15290071.8 2015-03-13
EP15290071.8A EP3067857A1 (en) 2015-03-13 2015-03-13 Method and device for processing a peripheral image
PCT/EP2016/054397 WO2016146386A1 (en) 2015-03-13 2016-03-02 Method and device for processing a peripheral image

Publications (2)

Publication Number Publication Date
KR20170127445A KR20170127445A (ko) 2017-11-21
KR102483680B1 true KR102483680B1 (ko) 2023-01-03

Family

ID=52997369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025239A KR102483680B1 (ko) 2015-03-13 2016-03-02 주변 이미지를 프로세싱하기 위한 방법 및 디바이스

Country Status (6)

Country Link
US (1) US10593027B2 (ko)
EP (2) EP3067857A1 (ko)
JP (2) JP2018514977A (ko)
KR (1) KR102483680B1 (ko)
CN (1) CN107743637B (ko)
WO (1) WO2016146386A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016102365A1 (en) * 2014-12-22 2016-06-30 Thomson Licensing Method and apparatus for generating an extrapolated image based on object detection
KR102434497B1 (ko) 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
EP3570266A1 (en) * 2018-05-15 2019-11-20 InterDigital CE Patent Holdings Image processing method based on peripheral reduction of contrast
WO2022180604A1 (en) * 2021-02-25 2022-09-01 Ying Group Modified depth enhancement
CN116245741B (zh) * 2022-06-28 2023-11-17 荣耀终端有限公司 图像处理方法及其相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316170A (ja) * 1999-04-30 2000-11-14 Seiko Epson Corp 色ムラ補正方法、色ムラ補正装置、色ムラ補正回路、表示装置、および情報記録媒体
JP2001084500A (ja) * 1999-09-14 2001-03-30 Sumitomo Electric Ind Ltd 移動体の走行支援装置
JP2014060549A (ja) * 2012-09-14 2014-04-03 Ricoh Co Ltd 照度出力装置、輝度出力装置及び画像投影装置
JP2014197113A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
JP2015043571A (ja) * 2013-08-26 2015-03-05 シゼイ シジブイ カンパニー リミテッド 上映劇場パラメータの管理装置及び方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359940A (ja) * 1986-08-29 1988-03-15 横河メディカルシステム株式会社 超音波診断装置
US6952195B2 (en) * 2000-09-12 2005-10-04 Fuji Photo Film Co., Ltd. Image display device
JP2002287029A (ja) * 2001-03-28 2002-10-03 Fuji Photo Optical Co Ltd 投影光学系およびこれを用いた投影露光装置
US6501230B1 (en) * 2001-08-27 2002-12-31 Eastman Kodak Company Display with aging correction circuit
US7609360B2 (en) * 2002-06-17 2009-10-27 Fujifilm Corporation Image display device
BR0305349A (pt) 2002-07-04 2004-10-05 Koninkl Philips Electronics Nv Método e sistema para controlar uma luz ambiente, e, unidade de iluminação
US8537144B2 (en) * 2002-11-29 2013-09-17 Barco N.V. Method and device for avoiding image misinterpretation due to defective pixels in a matrix display
US7161185B2 (en) * 2003-06-27 2007-01-09 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
JP2005049111A (ja) 2003-07-29 2005-02-24 Seiko Precision Inc 角度検出装置及びそれを備えたプロジェクタ
WO2006003600A1 (en) 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Dominant color extraction using perceptual rules to produce ambient light derived from video content
US20060007223A1 (en) 2004-07-09 2006-01-12 Parker Jeffrey C Display control system and method
JP2006091681A (ja) * 2004-09-27 2006-04-06 Hitachi Displays Ltd 表示装置及び表示方法
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP2007220651A (ja) * 2006-01-20 2007-08-30 Toshiba Lighting & Technology Corp 照明装置及び映像装置用照明システム
US8369646B2 (en) * 2006-05-17 2013-02-05 Sony Corporation Image correction circuit, image correction method and image display
JP2010531079A (ja) 2007-05-29 2010-09-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のオブジェクトの視覚化
JP4462293B2 (ja) 2007-06-01 2010-05-12 エプソンイメージングデバイス株式会社 液晶表示装置、電子機器及び前記液晶表示装置の照光手段の明るさを制御する方法
JP2009025735A (ja) * 2007-07-23 2009-02-05 Hitachi Displays Ltd 画像表示装置
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8248454B2 (en) * 2007-11-14 2012-08-21 Hewlett-Packard Development Company, L.P. Video display calibration system and method
JP5323413B2 (ja) 2008-07-25 2013-10-23 シャープ株式会社 付加データ生成システム
JP5213078B2 (ja) * 2008-10-31 2013-06-19 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ、投射画像輝度調整方法及びプログラム
JP5347488B2 (ja) 2008-12-24 2013-11-20 株式会社ニコン 投影装置
JP5701874B2 (ja) * 2009-07-21 2015-04-15 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオ画像の検出およびエンハンスメントのための方法およびシステム
JP2011138444A (ja) 2009-12-29 2011-07-14 Kaadeikku Corporation:Kk 薄膜鏡面反射回路
JP2012048066A (ja) * 2010-08-27 2012-03-08 Toshiba Corp 映像表示装置
JP4999975B2 (ja) * 2010-10-06 2012-08-15 株式会社ナナオ 画面光演算装置またはその方法
JP5514344B2 (ja) * 2012-05-15 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US8805114B2 (en) * 2012-11-27 2014-08-12 Texas Instruments Incorporated Content adaptive edge and detail enhancement for image and video processing
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US9293079B2 (en) 2013-03-15 2016-03-22 University Of Southern California Control of ambient and stray lighting in a head mounted display
KR102111407B1 (ko) * 2013-08-19 2020-05-15 엘지전자 주식회사 디스플레이 장치 및 그 동작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000316170A (ja) * 1999-04-30 2000-11-14 Seiko Epson Corp 色ムラ補正方法、色ムラ補正装置、色ムラ補正回路、表示装置、および情報記録媒体
JP2001084500A (ja) * 1999-09-14 2001-03-30 Sumitomo Electric Ind Ltd 移動体の走行支援装置
JP2014060549A (ja) * 2012-09-14 2014-04-03 Ricoh Co Ltd 照度出力装置、輝度出力装置及び画像投影装置
JP2014197113A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
JP2015043571A (ja) * 2013-08-26 2015-03-05 シゼイ シジブイ カンパニー リミテッド 上映劇場パラメータの管理装置及び方法

Also Published As

Publication number Publication date
US10593027B2 (en) 2020-03-17
JP7247249B2 (ja) 2023-03-28
CN107743637A (zh) 2018-02-27
EP3067857A1 (en) 2016-09-14
EP3268930B1 (en) 2024-05-01
KR20170127445A (ko) 2017-11-21
US20180068425A1 (en) 2018-03-08
WO2016146386A1 (en) 2016-09-22
CN107743637B (zh) 2023-02-24
EP3268930A1 (en) 2018-01-17
JP2021170769A (ja) 2021-10-28
JP2018514977A (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP7247249B2 (ja) 周辺イメージを処理する方法及びデバイス
US10818081B2 (en) Dynamic lighting for objects in images
US10977764B2 (en) Viewport independent image coding and rendering
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
CN108235037B (zh) 对图像数据进行编码和解码
JP7359521B2 (ja) 画像処理方法および装置
Bandoh et al. Recent advances in high dynamic range imaging technology
CN107888943B (zh) 图像处理
US9491428B2 (en) Color balancing based on reference points
US10297009B2 (en) Apparatus and method for generating an extrapolated image using a recursive hierarchical process
US8908964B2 (en) Color correction for digital images
CN117897723A (zh) 用于学习局部图像增强的色调曲线的系统和方法
KR20230022153A (ko) 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진
US8164650B2 (en) Image processing apparatus and method thereof
CN104717430B (zh) 图像处理方法及图像处理装置
US20230102663A1 (en) Skin tone protection using a dual-core geometric skin tone model built in device-independent space
Iwai Computational imaging in projection mapping

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170907

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20191023

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PN2301 Change of applicant

Patent event date: 20210119

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210302

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220215

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221228

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221229

End annual number: 3

Start annual number: 1

PG1601 Publication of registration