KR101843902B1 - 높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스 - Google Patents

높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR101843902B1
KR101843902B1 KR1020127033668A KR20127033668A KR101843902B1 KR 101843902 B1 KR101843902 B1 KR 101843902B1 KR 1020127033668 A KR1020127033668 A KR 1020127033668A KR 20127033668 A KR20127033668 A KR 20127033668A KR 101843902 B1 KR101843902 B1 KR 101843902B1
Authority
KR
South Korea
Prior art keywords
video
global
local
delete delete
operator
Prior art date
Application number
KR1020127033668A
Other languages
English (en)
Other versions
KR20130085371A (ko
Inventor
지에푸 자이
요안 라치
제 왕
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130085371A publication Critical patent/KR20130085371A/ko
Application granted granted Critical
Publication of KR101843902B1 publication Critical patent/KR101843902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

높은 동적 범위 데이터를 낮은 동적 범위 데이터로 변경하기 위한 툴 세트를 이용하여 비디오 엔지니어가 비디오를 처리하는 것을 가능하게 하는 톤 맵핑 그래픽 사용자 인터페이스가 제공된다.

Description

높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스{GRAPHICAL USER INTERFACE FOR TONE MAPPING HIGH DYNAMIC RANGE VIDEO}
관련 출원에 대한 상호 참조
본 출원은 본 명세서에 그의 전체가 참조문헌으로 포함되어 있는 2010년 6월 25일자로 출원된 미국 가출원 제61/358,605호로부터의 우선권을 주장한다.
본 발명은 높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스에 관한 것이다.
비디오 엔지니어들은 종종 높은 동적 범위 데이터를 낮은 동적 범위 데이터로 변경하기 위한 툴 세트를 이용하여 비디오를 처리할 필요가 있다. 변경들은 예를 들어 낮은 동적 범위 능력만을 갖는 상이한 디스플레이 디바이스들 수용하기 위해 이용될 수 있다. 상이한 낮은 동적 범위 디바이스들은 상이한 범위들을 가질 수도 있다. 게다가, 최상의 사용자 경험을 제시하도록 높은 동적 범위 값들을 낮은 동적 범위 값들로 맵핑하는 최상의 방식을 결정하는 것이 항상 수월한 것은 아니다. 따라서, 최종 출력을 초래하는 상이한 방식들로 높은 동적 범위 데이터를 처리할 수 있는 그래픽 사용자 인터페이스를 갖는 것이 유용하다.
HDR(high dynamic range) 데이터를 낮은 동적 범위 데이터로 변경하기 위한 툴 세트를 이용하여, 통상 비디어 엔지니어이지만, 반드시 전문적 관계에 있지 않은 사람이 비디오를 처리하는 것을 가능하게 하는 톤 맵핑 사용자 인터페이스가 제공된다. 인터페이스는 HDR 변환을 수행하는 영역 기반 방법을 위한 현재 비디오 출력부, 및 이용하는 HDR 변환을 수행하는 참조 방법을 위한 현재 비디오 출력부를 포함하는 비디오 플레이어 영역을 포함한다. 각 부는 관련된 비디오부 및 히스토그램 영역을 갖는다. 히스토그램 영역 내의 히스토그램은 비디오부에 디스플레이되는 현재 프레임에 대한 히스토그램을 나타낸다. 인터페이스는 사용자, 예를 들어 비디오 엔지니어가 선택하고 비디어 세그먼트에 적용할 수 있는 각종 오퍼레이터들 및 필터들을 포함한다. 톤 맵핑 오퍼레이터들, 광 적응 오퍼레이터들, 및 후처리 필터들을 포함할 수 있는 미세 조정 옵션들이 제공된다. 인터페이스는 하나 이상의 이미지들을 세그먼트화하기 위한 앵커 포인트들을 디스플레이하고 새로운 세그먼트화를 초래하기 위해 앵커 포인트들을 이동시키는 사용자의 특징을 포함하며, 그것에 의해 사용자 인터페이스 디스플레이는 새로운 세그먼트화(예를 들어 마스크들)뿐만 아니라 새로운 세그먼트화에 기초한 새로운 톤 맵핑된 출력도 지시하는 정보를 나타낸다.
그래픽 사용자 인터페이스를 이용하여 비디어 데이터를 처리하는 방법이 제공되며, 방법은 비디오 데이터의 프레임을 그래픽 사용자 인터페이스의 비디오 플레이어 영역에 디스플레이하는 단계 - 프레임은 영역 기반 톤 맵핑을 위한 지역적 현재 비디오 출력부에 디스플레이되고 전역 기반 톤 맵핑을 위한 전역적 현재 비디오 출력부에 디스플레이되며, 지역적 현재 비디오 출력부 및 전역적 현재 비디오 출력부는 나란히 배열됨 -; 비디오 플레이어 영역에 인접한 지역적 제어부를 디스플레이하는 단계 - 지역적 제어부는 다수의 영역들에 대한 지역적 변경가능 노출 컨트롤 수단 및 지역적 변경가능 명암 컨트롤 수단을 가짐 -; 및 지역적 제어부에 인접한 전역적 제어부를 디스플레이하는 단계 - 전역적 제어부는 전역적 변경가능 노출 컨트롤 수단 및 다수의 영역에 대한 전역적 변경가능 명암 컨트롤 수단을 가짐 -를 포함하며; 지역적 현재 비디오 출력부 및 전역적 현재 비디오 출력부는 스크린 상에 동시에 디스플레이된다. 방법은 지역적 비디오부 및 지역적 히스토그램 영역을 지역적 현재 비디오 출력부에 디스플레이하는 단계 - 앵커 포인트들은 전역적 히스토그램 영역에 디스플레이됨 -; 및 전역적 비디오부 및 전역적 히스토그램 영역을 전역적 현재 비디오 출력부에 디스플레이하는 단계를 포함할 수 있다. 추가 단계들은 서로 인접하고 비디오 플레이어 영역 아래에 있는 오퍼레이터부 및 타임 라인을 디스플레이하는 단계를 포함할 수 있고, 타임 라인은 처리되고 있는 비디오의 프레임의 시간을 나타내고, 타임 라인 및 오퍼레이터부는 스크린 상에 동시에 디스플레이된다. 다른 단계들은 처리되고 있는 비디오의 프레임을 위해 스크린 상에 개별 컬러 히스토그램들을 동시에 나타내는 컬러 히스토그램 영역을 디스플레이하는 단계 - 컬러 히스토그램 영역은 비디오 플레이어 영역에 인접함 -; 다수의 영역들에 대한 지역적 변경가능 노출 컨트롤 수단 또는 지역적 변경가능 명암 컨트롤 수단을 적어도 조정함으로써 변경들을 그래픽 사용자 인터페이스를 통해서 비디오에 적용하는 단계 - 비디오에 대한 변경들의 시각적 결과는 비디오 플레이어 영역에 디스플레이됨 -; 또는 적어도 하나의 오퍼레이터를 오퍼레이터부에 추가함으로써 변경들을 그래픽 사용자 인터페이스를 통해 비디오에 적용하는 단계 - 비디오에 대한 변경들의 시각적 결과는 비디오 플레이어 영역에 디스플레이됨 -를 포함할 수 있다.
본 발명은 이제 다음과 같은 첨부 도면들을 참조하여 예로서 설명될 것이다.
도 1은 제 1 시점에서 사용자 인터페이스의 제 1 도면을 도시한다.
도 2는 다수의 과도 노출된 픽셀들의 도입을 강조하는 제 2 시점에서 사용자 인터페이스의 제 2 도면을 도시한다.
도 3은 오퍼레이터들 및/또는 필터들을 시프트하는 능력을 강조하는 제 2 시점에서 사용자 인터페이스의 제 3 도면을 도시한다.
도 4는 추가 오퍼레이터들 및/또는 필터들을 추가 및 도시하는 능력을 강조하는 제 3 시점에서 사용자 인터페이스의 제 4 도면을 도시한다.
도 5는 다른 오퍼레이터 바들에 추가 오퍼레이터들 및/또는 필터들을 추가 및 도시하는 능력을 강조하는 제 3 시점에서 사용자 인터페이스의 제 5 도면을 도시한다.
도 6은 노출 및 명암 레벨들을 변경하는 능력을 강조하는 제 1 시점에서 사용자 인터페이스의 제 6 도면을 도시한다.
도 7은 앵커 포인트들을 시프트하는 능력을 강조하는 제 4 시점에서 사용자 인터페이스의 제 7 도면을 도시한다.
도 8은 개별 컬러들로 동시에 존재하는 다수의 부족 노출된 픽셀들 및 과도 노출된 픽셀들에 능력을 강조하는 제 4 시점에서 사용자 인터페이스의 제 8 도면을 도시한다.
도 1은 본 발명의 일 구현에 따른 사용자 인터페이스 스크린샷을 도시한다. 본 발명은 톤 맵핑 프로젝트가 먼저 특정 비디오 세그먼트에 대해 개시될 때 도시되는 스크린을 생성하도록 된 알고리즘을 포함한다. 여기서, 특정 비디오 세그먼트는 단일 프레임, 단일 시퀀스, 또는 전체 영화일 수 있다.
도 1은 HDR 변환을 수행하는 영역 기반 방법을 위한 현재 비디오 출력부(12), 및 예를 들어 전역적 프로세스를 이용하여 HDR 변환을 수행하는 참조 방법을 위한 현재 비디오 출력부(14)를 포함하는 비디오 플레이어 영역(10)을 포함한다. 각 부(12, 14)는 관련된 비디오부(15) 및 히스토그램 영역(18)을 갖는다. 히스토그램 영역(18)은 비디오부(15)에서 디스플레이되는 현재 프레임에 대한 히스토그램을 나타낸다. 도 1의 구현에서, 전체 히스토그램 영역(18)은 원래 HDR 이미지의 히스토그램을 로그 2 스케일로 나타낸다. 히스토그램들은 강도의 함수로서 인구 데이터이다.
각 히스토그램 영역은 또한 히스토그램이 영역 기반 처리를 위한 영역들로 분할되는 방법을 나타내는 하나 이상의 앵커 포인트들(16)을 포함한다. 부(14)의 참조 방법은 HDR 콘텐츠를 처리하는 전역적 방법인 것으로 가정되기 때문에, 하나만의 영역 및 하나만의 앵커 포인트가 있는 것에 주목한다. 영역 기반 방법은 대응하는 앵커 포인트와 관련된 히스토그램 값들에 따라 운영된다. 앵커 포인트(예를 들어, 좌측으로부터의 제 3 앵커 포인트)와 관련된 히스토그램 값들은 예를 들어 제 2 및 제 3 앵커 포인트들 사이의 중간 포인트로부터 제 3 및 제 4 앵커 포인트들 사이의 중간 포인트로 확장되는 값들로서 정의될 수 있다. 영역 기반 방법 및 참조 방법을 위한 현재 비디오 프레임의 표현은 예를 들어 비디오 엔지니어가 2개의 처리 방법들 사이의 출력의 차이를 실시간으로 보는 것을 가능하게 한다. 부 또는 비디오 플레이어 영역(10)은 또한 비디오 세그먼트 내의 현재 위치를 지시하는 러닝 타이머, 및 비디오 세그먼트의 재생을 제어하기 위한 일련의 제어 버튼들을 제공하는 타이머부(19)를 포함한다.
앵커 포인트들이 주어진 오퍼레이터에 대응하는 프레임 세트 상에서 계산되는 것에 주목한다. 이것은 파라미터 설정들 영역 및 암실의 논의에서 더 후술된다.
도 1은 현재 프레임에 대한 레드 히스토그램(22), 그린 히스토그램(24), 및 블루 히스토그램(26)을 포함하는 히스토그램 영역(20)을 포함한다. 각 컬러 히스토그램(22, 24, 26)은 또한 "과도 노출된" 및 "부족 노출된" 픽셀들 각각에 대한 레벨을 지시하는 관련된 판독(28)을 갖는다. 판독들(28)은 "과도 노출된" 판독에 의해 최대 값에 있는 픽셀들의 수(8 비트 필드에 대해, 최대가 전형적으로 255임)를 지시한다. 판독들(28)은 또한 "부족 노출된" 판독에 의해 8 비트 필드에 대한 최소 값에 있을 수 있는 픽셀들의 수를 지시하며, 여기서 최소는 전형적으로 0이다. 판독들(28)의 다른 구현들은 예를 들어 픽셀들의 실제 수라기 보다는 오히려 과도 노출 또는 부족 노출되는 픽셀들의 퍼센티지의 지시자들을 이용할 수 있다. 컬러 히스토그램들(22, 24, 26)은 예를 들어 현재 영역 기반 설정들이 컬러들 중 하나 이상에서 포화를 생성하고 있는지를 지시함으로써 유용할 수 있다.
도 1은 예를 들어 노출 및 명암을 제어하기 위한 파라미터 설정들 영역(30)을 포함한다. 노출 및 명암은 이들이 전형적으로 대부분의 시청자들 및/또는 비디오 엔지니어들이 이해하는 하이 레벨 파라미터들인 것으로 간주되기 때문에 포함되었다. 영역(30)은 영역 기반 제어부(32) 및 모든 영역들 제어부(34)를 포함한다. 영역 기반 제어부(32)는 영역들 각각에 대한 노출 및 명암의 개별 컨트롤들을 포함한다. 도 1은 5개의 앵커 포인트들(16)에 대응하는 부(32) 내의 5개의 영역들을 도시한다. 각 영역에 대한 노출 및/또는 명암은 개별적으로 변경될 수 있거나 노출 및/또는 명암은 모든 영역들(전역적) 제어부(34)를 이용하여 변경될 수 있다. 알고리즘은 모든 영역들 제어부(34)에 대한 컨트롤들을 이동시킴으로써, 모든 영역들이 동시에 변경되게 적응된다. 컨트롤들은 예를 들어 마우스 또는 다른 포인팅 디바이스를 이용함으로써 이동될 수 있는 슬라이더 바들로서 도시될 수 있다.
영역 기반 제어부(32)는 또한 각 영역에 대해, 마스크, 가중 이미지, 또는 그레이 스케일 이미지(36)를 포함하며, 여기서 프레임의 상이한 영역들의 이미지들은 도면들 내의 36의 점선 내에 도시되고 이 이미지들이 비디오 플레이어 영역(10) 내의 이미지들의 스케일링된 버전들인 표시의 용이함을 위하여 표현 "seg"에 의해 표시된다. 마스크는 현재 프레임의 일부들이 그 영역 내에 있는 지시를 제공한다. 마스크는 그 영역 내에 있는 높은 확률 또는 가중을 갖는 그 위치들에 대한 높은 휘도 또는 밝은 값을 이용함으로써 이 정보를 제공한다. 비디오 세그먼트가 플레이되므로, 사용자는 모든 프레임에 대한 가중 이미지들 변경을 볼 수 있고, 그것에 의해 프레임들 중 몇 개가 상이한 영역들을 이용하거나 이 영역들에 상주하는지의 시각적 지시를 볼 수 있다.
제어부들(32, 34)은 현재 오퍼레이터에 의해 운영되는 전체 프레임 세트에 적용된다. 이것은 암실에 관한 단락에서 더 설명된다.
도 1은 사용자가 잡 셋업, 톤 맵핑, 및 미세 조정과 같은 각종 정보들에 관한 정보를 시청하는 것을 가능하게 하는 워크플로우 영역(40)을 포함한다. 미세 조정에 대한 옵션들은 암실의 논의에서 설명되는 바와 같이, 도 1에서 디스플레이되고, 비디오 엔지니어가 선택하며 비디오 세그먼트에 적용할 수 있는 각종 오퍼레이터들 및 필터들을 포함한다. 도 1에 도시된 미세 조정 옵션들은 톤 맵핑 오퍼레이터들, 광 적응 오퍼레이터들, 및 후처리 필터들을 포함한다.
톤 맵핑 오퍼레이터들은 예를 들어 전역적 알고리즘을 적용하는 공지된 톤 맵핑 기법을 지칭하는 단일 노출 오퍼레이터, 및 영역 기반 오퍼레이터를 포함할 수 있다. 영역 기반 오퍼레이터는 독자 톤 맵핑 알고리즘을 지칭한다. 다른 톤 맵핑 오퍼레이터들은 선택에 포함되고 비디오 세그먼트를 처리할 시에 이용될 수도 있다.
광 적응 오퍼레이터들은 예를 들어 트랜지션 프로세서를 포함한다. 광이 동적으로 변경되고 있는 비디오 세트먼트의 일부들에서, 단일 오퍼레이터를 이용하는 것보다 오히려 트랜지션 프로세서를 이용하는 것이 바람직할 수 있다. 이 구현의 트랜지션 프로세서는 노출 및 명암 설정들을 자동으로 선택하기 위해 암실의 논의에서 후술되는 바와 같이 그것의 어느 한 측 상의 오퍼레이터들 사이에 내삽된다. 게다가, 선택된 노출 및 명암 설정들은 모든 프레임에 대해 변경될 수 있는데, 그것은 조명이 모든 프레임에서 변경되고 있는 경우 중요해질 수 있다. 게다가, 트랜지션 프로세서에서, 앵커 포인트들 및 관련된 세그먼트화는 또한 장면에 걸쳐서 일정하게 잔존하는 것보다는 오히려, 모든 프레임에서 잠재적으로 변경되는 것이 낫다.
후처리 필터들은 예를 들어 블러 필터 및 선명화 필터를 포함한다. 잘 공지되어 있는 다른 필터들이 포함되고 비디오 세그먼트를 처리하는데 이용될 수도 있다. 필터들은 톤 맵핑된 출력에 적용되지만, 필터들은 톤 맵핑 전에 적용될 수도 있다.
워크플로우 영역(40)은 또한 예를 들어 HDR 파일들이 개방되어야 하는 경우, 또는 톤 맵핑된 출력이 저장되어야 하는 경우와 같은 잡 셋업에 관한 정보를 사용자가 제어하는 것을 가능하게 한다. 워크플로우 영역(40)은 또한 사용자가 자동 톤 맵핑 또는 양방향 영역 기반 톤 맵핑을 선택하는 것을 가능하게 한다.
도 1은 암실 영역(50)을 포함한다. 암실 영역(50)은 비디오 세그먼트 내의 각 프레임의 평균 휘도를 나타내는 평균 휘도 곡선(52), 현재 시간이 도 1 내의 위치 66초에서 도트에 의해 도시되는 부들(12 및 14)에서 현재 관찰되고 있는 프레임의 시간을 또한 지시하는 타임 차트(54), 비디오 세그먼트에 적용되고 있는 각종 필터들 및 오퍼레이터들이 적용되고 있는 특정 시간 스팬들을 나타내는 오퍼레이터부(55)를 포함한다. 오퍼레이터부(55)는 한 예로서, 도 1에서 영역 기반 오퍼레이터(56), 그 다음에 트랜지션 프로세서(57), 그 다음에 다른 영역 기반 오퍼레이터(58)를 포함한다. 모든 도면들 내의 오퍼레이터부들(55)은 특정 오퍼레이터부 내에 프레임의 작은 이미지들을 나타내며, 여기서 이미지들은 표시의 용이함을 위하여 "seg"로서 명시된다.
비디오 엔지니어 또는 다른 사용자는 예를 들어 영역 기반 오퍼레이터를 워크플로우 영역(40)의 미세 조정부로부터 드래그하고 그것을 오퍼레이터부(55)에서 드롭할 수 있다. 그 다음, 비디오 엔지니어는 오퍼레이터가 원하는 시간 스팬에 적용되도록 삽입된 오퍼레이터의 종료들을 조정할 수 있다. 비디오 엔지니어는 전형적으로 개별 영역 기반 오퍼레이터들을 상이한 시퀀스들에 적용하고, 그 다음에 트랜지션 오퍼레이터(57)를 2개의 시퀀스들 사이의 트랜지션 기간에 적용할 수 있다. 트랜지션 오퍼레이터(57)는 예를 들어 2개의 영역 기반 오퍼레이터들 사이에 내삽되도록 설계될 수 있다. 일 구현에서, 트랜지션 프로세서는 트랜지션 프로세서가 정의되는 전체 시간 스팬에 대한 내삽을 수행한다. 따라서, 예를 들어, 도 1에서 트랜지션 프로세서(57)는 실제로 영역 기반 오퍼레이터(56)의 종료 시간 전에 시작되고, 트랜지션 프로세서(57)는 실제로 영역 기반 오퍼레이터(58)의 시작 시간 후에 종료된다. 그러나, 영역 기반 오퍼레이터는 트랜지션 프로세서(57)가 시작될 때 효과적으로 정지되고, 영역 기반 오퍼레이터(58)는 트랜지션 프로세서(57)가 종료될 때까지 시작되지 않는다.
모든 오퍼레이터들은 이 구현에서 자동으로 생성되지만, 오퍼레이터들은 수동으로 추가 및 조정될 수 있다. 각 오퍼레이터는 오퍼레이터의 경계들과 일치하는 타임 차트(54) 상의 위치들에 의해 도시된 바와 같이, 프레임들의 어떤 범위에 작용한다. 각 오퍼레이터에 대한 파라미터들은 명암 및 노출 파라미터들로서 파라미터 설정들 영역(30)에서 추정되어 도시된다.
게다가, 초기에 지시된 바와 같이, 앵커 포인트들은 각 오퍼레이터에 대해 결정되고, 노출 및 명암 컨트롤들은 각 오퍼레이터에 개별적으로 적용된다. 이것은 주어진 오퍼레이터가 특정 비디오 시퀀스에만 적용되도록 오퍼레이터들이 때 맞추어 조정되는 전형적 적용들에 유용할 수 있다. 그런 방식으로, 각 특정 비디오 시퀀스는 일정한 노출 설정, 일정한 명암 설정을 가질 수 있고, 영역 경계들은 앵커 포인트들이 변경되지 않을 것이기 때문에 장면에 걸쳐서 비교적 일정하게 잔존할 수 있다.
도 2는 오퍼레이터(58)의 작업 범위를 변경하는 사업자의 결과를 도시한다. 사용자는 오퍼레이터(58)에 대한 시작 시간을 우측을 향해서 대략 3:62인 것으로 도시되는 타임 차트(54) 상의 나중의 시작 시간으로 드래그했다. 더 일반적으로, 사용자는 오퍼레이터의 작업 범위를 변경할 수 있다. 현재 프레임은 3:62에서 주목되고 부(22) 내의 레드 히스토그램 상에 포화를 나타낸다.
도 3은 오퍼레이터(58)를 좌측을 향해 이동시키는 사용자의 결과를 도시한다. 오퍼레이터(58)의 시작 시간 및 종료 시간 둘 다는 타임 차트(54) 상의 좌측으로 초기의 시간들에 이동되었다.
도 4는 새로운 오퍼레이터들을 추가하는 사용자의 결과를 도시한다. 여기서, 그것은 단일 노출 오퍼레이터(59)이다. 전형적 HDR 적용에 대해, 이용가능한 다수의 상이한 톤 맵핑 방법들이 있을 수 있다. 사용자는 각 장면에 대한 상이한 톤 맵핑 방법들을 선택할 수 있다. 도 4는 워크플로우 영역(40)으로부터 암실(50)로의 단일 노출 오퍼레이터의 삽입을 도시한다.
도 5는 더 많은 오퍼레이터들을 추가하는 사용자의 결과를 도시한다. 사용자는 예를 들어 상이한 기능성을 달성하기 위해 이 오퍼레이터들을 추가할 수 있다. 예컨대, 트랜지션 프로세서들은 이 구현에서, 트랜지션 프로세서의 어느 단부 상의 오퍼레이터들 사이에 톤 맵핑 파라미터들을 내삽할 것이다. 게다가, 블러 필터(60)는 워크플로우 영역(40)으로부터 암실(50)로 드래그되었고, 트랜지션 오퍼레이터들 아래에 삽입되어 도시된다. 블러 필터는 가우시안 블러링을 톤 맵핑된 프레임들에 후처리 필터로서 적용할 것이다.
알 수 있는 바와 같이, 다수의 오퍼레이터들은 임의의 주어진 프레임에 적용될 수 있다. 도 5는 예를 들어 타임 차트(54) 상의 약 3:30의 시간에, 영역 기반 오퍼레이터(58), 트랜지션 프로세서(61), 및 블러 필터(60)이 모두 활성인 것을 도시한다. 게다가, 이 3개의 오퍼레이터들은 모두 상이한 적용 시간 범위들을 갖는다. 그러나, 노출/명암 설정들 및 앵커 포인트들은 이 구현에서 트랜지션 프로세서의 시작 및 종료 시간들에 기초하여 결정되는 것에 주목되어야 한다. 트랜지션 프로세서는 영역 기반 오퍼레이터와 이전 단일 노출 오퍼레이터 사이에 원활한 트랜지션을 제공하려고 시도하기 위해 적용된다. 이 구현에서, 트랜지션 프로세서는 이전 단일 노출 오퍼레이터 및 후속 영역 기반 오퍼레이터의 설정들 사이에 내삽된다. 그 다음, 블러 필터(60)는 톤 맵핑이 트랜지션 프로세서에 의해 수행된 후에 톤 맵핑된 출력에 적용된다.
도 6은 노출 및 명암 레벨들을 변경하는 사용자의 결과를 도시한다. 각 오퍼레이터에 대해, 사용자는 각 영역에 대한 노출 및 명암을 변경할 수 있다. 노출은 주어진 영역의 상부 슬라이더를 이용함으로써 주어진 영역에 대해 변경된다. 명암은 모든 영역들 제어부(34) 내의 주어진 영역의 하부 슬라이더를 이동함으로써 주어진 영역에 대해 변경된다. 도 1과 비교하면, 영역(10)에 대한 노출 및 명암만이 변경된다. 노출 및 명암 레벨들이 이 구현에서 각 오퍼레이터에 설정되는 것에 주목한다. 이것은 노출 및 명암 레벨들이 오퍼레이터에 의해 운영되는 전체 프레임 세트에 대해 동일하게 잔존하는 것을 의미한다. 물론, 영역들은 픽셀 강도 값들에 따라 프레임마다 변경되는 것이 예상되지만, 노출 및 명암 설정들은 동일하게 잔존한다.
도 7은 도 1과 비교되는 바와 같이, HDR 히스토그램 상의 앵커 포인트들(16)이 이동되는 결과를 도시한다. 상이한 오퍼레이터들에 대해, 앵커 포인트들이 상이할 수 있다. 도 7은 제 3 장면 내의 프레임을 도시한다. 비교해 보면, 도 1은 제 1 장면 내의 프레임을 도시한다. 그러한 것으로서, 알고리즘은 상이한 장면들 내의 앵커 포인트들이 상이해질 수 있게 적응된다.
도 8은 비디오 세그먼트를 처리할 시에 스크린 상에 디스플레이되는 출력이 사용자를 안내할 수 있는 방법을 도시한다. 예를 들어, 톤 맵핑된 이미지에 대한 컬러 히스토그램들(22, 24, 26)은 파라미터들을 변경하기 위해 사용자를 안내할 수 있다. 도 8에서, 톤 맵핑된 이미지에 대한 컬러 히스토그램들은 레드 및 블루 채널들 둘 다에서 다수의 포화된 픽셀들의 지시한다. 특히, 레드 및 블루 채널들에 대한 판독들(28)은 레드 채널 내의 18,386 과도 노출된 픽셀들, 및 블루 채널 내의 11,635 과도 노출된 픽셀들을 지시한다. 이 정보는 노출들을 감소시키기 위해 사용자를 안내할 수 있다.
알고리즘은 비디오 세그먼트를 처리할 시에 사용자를 안내할 수 있는 정보를 스크린에 제공하도록 적응된다. 예를 들어, 휘도 곡선(52)은 각 프레임에 대한 평균 휘도를 나타내고, 장면 경계들이 발생하는 유용한 실마리를 제공한다. 이것은 암실(50) 내의 오퍼레이터들에 대한 경계들을 선택할 시에 사용자를 안내할 수 있다.
키 프레임들의 앵커 포인트들을 양방향 변경하는 것이 또한 가능하다. HDR 히스토그램 영역(18) 내의 도트들(16)로서 예시되는 앵커 포인트들은 영역들로의 HDR 이미지의 세그먼트화를 정의할 것이다. 예컨대 도 1에서, 5개의 앵커 포인트들이 정의되고 대응하는 세그먼트화된 영역들이 5개의 그레이 스케일 이미지들 또는 가중 이미지들(36)로서 도시된다. 이 그레이 스케일 이미지들(36)에서, 앞서 설명된 바와 같이, 밝은 포인트들은 픽셀이 높은 가중을 갖는 현재 영역에 속하는 것을 의미하고 그 역도 또한 같다. 사용자가 하나의 앵커 포인트를 변경하면, HDR 이미지의 세그먼트화가 변경될 것이고, 따라서 도 1 내의 5개의 그레이 스케일 이미지들(36)이 재계산 및 갱신될 것이다. 동시에, 톤 맵핑된 이미지(15) 및 그의 R,G,B 컬러 히스토그램들(22, 24, 26)이 또한 갱신될 것이다. 따라서, 그러한 경우에, 최종 사용자는 세그먼트화를 통해서 어떤 컨트롤을 갖고, 출력 톤 맵핑된 이미지(15)를 통해서 어떤 컨트롤을 가질 수 있다.
앵커 포인트들을 수정할 시에 사용자를 안내하기 위해 스크린 상에 일부 실마리들이 있다. HDR 히스토그램(18)은 최상의 위치들이 앵커 포인트들을 배치해야 하는 경우를 사용자가 판단하는데 유용하다. 예컨대, 전체 동적 범위를 커버하기 위해 앵커 포인트들 사이에 약간의 거리를 유지하는 것이 일반적으로 좋다. 이것은 예를 들어 앵커 포인트들을 히스토그램의 중심부에 함께 가깝게 놓는 것과 대조를 이룬다. "가중 이미지들"은 또한 앵커 포인트들을 변경하기 위해 사용자에게 직관적 실마리들을 제공한다. 사용자는 세그먼트화된 영역들이 만족되는지를 보기 위해 앵커 포인트들을 변경하면서 가중 이미지를 관찰할 수 있다. 즉, 사용자는 영역이 상주되어 있는 것을 지시하는 각 가중 이미지에 밝은 스폿들이 있는지를 확인해서 관찰할 수 있다. 영역이 상주되어 있으면, 이 때 사용자는 그들이 있는 앵커 포인트들을 남길 수 있다. 그러나, 영역이 상주되어 있지 않으면, 이 때 사용자는 예를 들어 상주되지 않은 영역이 커져서 이 영역이 상주 및 이용되도록 앵커 포인트들을 이동시키는 것을 결정할 수 있다. 대안으로, 또는 게다가, 사용자는 영역이 확대되고 좀더 상주 및 이용될 것 같도록 상주되지 않은 영역과 관련된 앵커 포인트를 삭제하는 것을 결정할 수 있다.
알고리즘은 앵커 포인트들의 수가 통상 타겟 HDR 이미지/비디오의 동적 범위에 따라 자동으로 계산되게 적응된다. 그러나, 앵커 포인트들을 추가 또는 삭제하는 것이 또한 가능하다. 장점들은 전형적으로 앵커 포인트들을 변경시키는 것과 유사할 것이다. 예컨대, 때때로 사용자는 톤 맵핑된 이미지에 걸쳐서 미세 컨트롤을 갖기 위해 더 많은 앵커 포인트들을 추가할 수 있다.
도 1의 구현에서, 앵커 포인트들은 통상 정적 조명을 갖는 장면들에 고정된다. 그러므로, 키 프레임의 앵커 포인트들을 변경하는 것은 동일한 장면 내의 모든 프레임들에 영향을 미칠 것이다. 불투명 윈도우가 점차 열려서 햇빛을 룸으로 통과하게 하는 예와 같은 동적 조명을 갖는 장면들에 대해, 앵커 포인트들은 이전 장면 및 후속 장면 둘 다에서 앵커 포인트들에 따라 자동으로 내삽된다. 이 경우에, 앵커 포인트들은 동적 조명 장면 내의 모든 프레임에 대해 변경된다. 통상, 사용자가 앵커 포인트들을 그러한 상황에서 변경하는 것이 필요하지 않다.
파라미터 설정 윈도우(30)에서, 상단 바들 및 하단 바들은 가중 이미지들에 의해 정의되는 각 영역에 대한 노출 및 명암 파라미터를 변경할 것이다. 최종 사용자의 관점으로부터, 상단 바들은 밝기를 변경하고 하단 바들은 명암을 변경한다. 윈도우의 하부에서, 2개의 추가 전역적 파라미터들(즉 모든 영역들 제어부(34))은 일부 경우들에서 동작들을 단순화하기 위해 제공된다. 전역적 노출 바를 이동시키는 것은 모든 영역들에 대한 노출 파라미터들을 변경할 것이고 전역적 명암 바를 이동시키는 것은 모든 영역들에 대한 명암 파라미터들을 변경할 것이다. 이 2개의 전역적 바들은 예를 들어 최종 사용자가 전역적 밝기 또는 명암을 변경하고 싶은 상황에 이용될 수 있다. 예컨대, 사용자는 톤 맵핑된 픽처가 매우 밝은 것을 발견하면, 사용자는 각 영역에 대한 노출 파라미터를 개별적으로 감소시킬 필요는 없다. 그 대신에, 사용자는 전역적 노출 바를 좌측으로 이동시킬 수 있고, 그것은 모든 상단(노출) 바들을 각 영역에 대해 좌측으로 동시에 이동시킬 것이다.
많은 특징들은 도 1에 도시된 포맷으로부터 수정될 수 있다. 예를 들어, 히스토그램들은 단지 단일 프레임보다는 오히려 다수의 프레임들에 관련될 수 있다. 게다가, 노출 및 명암 파라미터들은 오퍼레이터가 적용되는 모든 프레임들에 동일하게 설정될 필요는 없지만, 예를 들어 개별 프레임들 또는 프레임들의 작은 그룹들에 설정될 수 있다. 게다가, 앵커 포인트들은 오퍼레이터가 적용되는 모든 프레임들에 동일하게 설정될 필요는 없지만, 예를 들어 개별 프레임들 또는 프레임들의 작은 그룹들에 설정될 수 있다.
요컨대, 비디오 세그먼트 상에 정보를 디스플레이하는 것, 및 비디오 세그먼트를 처리하기 위한 기능들(예를 들어, 오퍼레이터들)을 디스플레이하는 것과 관련된 수개의 구현들이 제공된다. 기능들은 사용자가 비디오 세그먼트를 처리하고, 특히 HDR 이미지들의 톤 맵핑을 수행하는 것을 가능하게 한다. 히스토그램들 및/또는 평균 휘도일 수 있는 디스플레이된 결과들 및 정보는 또한 어느 기능들을 적용할지 또는 파라미터들을 구성하는 법을 결정할 시에 사용자를 안내하며, 파라미터들은 그 기능들에 대한 시작 시간, 종료 시간, 노출, 및/또는 명암일 수 있다. 이 구현들 및 추가 적용들의 변형들은 본 명세서 내에서 생각되고, 설명된 구현들의 특징들 및 양태들은 다른 구현들에 적응될 수 있다.
이 출원에서 설명된 구현들 및 특징들 중 수개는 H.264/MPEG-4 AVC(AVC) 표준, 및/또는 MVC 확장을 갖는 AVC, 및/또는 SVC 확장을 갖는 AVC의 문맥에 이용될 수 있다. 게다가, 이 구현들 및 특징들은 다른 표준의 문맥, 또는 표준을 수반하지 않는 문맥에 이용될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 각종 수정들이 이루어질 수 있는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 요소들은 다른 구현들을 생산하기 위해 조합, 보충, 수정, 또는 제거될 수 있다. 게다가, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고 최종 구현들이 개시된 구현들과 적어도 실질적으로 동일한 결과 또는 결과들을 달성하기 위해 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식 또는 방식들로 수행한다는 것을 이해할 것이다. 따라서, 이들 및 다른 구현들이 이 출원에 의해 생각된다.
이하의 리스트는 다수의 각종 구현들을 요약한다. 리스트는 소모적인 것으로 의도되지 않으며 많은 가능한 구현들 중 일부를 예시하도록 의도된다.
1. 비디오 상에 톤 맵핑을 수행하기 위한 정보를 디스플레이한다.
2. 구현 1에 있어서, 톤 맵핑을 제어하기 위해 사용자 입력을 수락하는 것을 포함한다.
3. 구현들 1-2에 있어서, 사용자 입력은 디스플레이된 정보에 대한 변경을 발생시킨다.
4. 구현들 1-3에 있어서, 디스플레이된 정보는 톤 맵핑 전의 비디오, 톤 맵핑 후의 비디오, 참조 모델을 이용하는 톤 맵핑 후의 비디오, 및 비디오를 처리하는데 이용되는 파라미터들 중 하나 이상을 포함한다.
5. 구현 4에 있어서, 파라미터들은 프레임 또는 프레임들(예를 들어 시퀀스)에 대한 평균 휘도, 프레임 또는 프레임들의 컬러 히스토그램들, 하나 이상의 프레임들을 영역들로 세그먼트화하기 위한 앵커 포인트들의 위치들, 하나 이상의 영역들에 대한 노출 또는 명암 컨트롤들, 및 오퍼레이터들의 위치 결정을 나타내는 타임 차트 중 하나 이상을 포함한다
6. 구현들 1-5에 있어서, 디스플레이는 사용자 프레임 기반 데이터(예를 들어 평균 휘도)를 나타내고, 사용자는 오퍼레이터들에 대한 시작 및/또는 종료 시간들을 입력하고, 디스플레이는 이 때 사용자에 의해 입력되는 새로운 시간들에 기초하여 새로운 톤 맵핑된 출력을 나타낸다.
7. 구현들 1-5에 있어서, 디스플레이는 하나 이상의 이미지들을 세그먼트화하기 위한 사용자 앵커 포인트들을 나타내고, 사용자는 새로운 세그먼트화에서 발생하는 앵커 포인트들을 이동시키고, 디스플레이는 이 때 새로운 세그먼트화(예를 들어 마스크들)뿐만 아니라 새로운 세그먼트화에 기초한 새로운 톤 맵핑된 출력도 지시하는 정보를 나타낸다.
8. 상기 구현들 중 하나 이상을 수행하는 예를 들어, 프리프로세서, 인코더, 송신기, 수신기, 디코더, 또는 포스트프로세서 내의 처리 디바이스.
9. 구현 8의 처리 디바이스를 포함하는 예를 들어, 프리프로세서, 인코더, 송신기, 수신기, 디코더, 포스트프로세서, 셋톱 박스, 휴대 전화, 랩톱 또는 다른 개인용 컴퓨터, PDA, 또는 다른 소비자 통신 장비와 같은 디바이스.
10. 상기 구현들 중 하나 이상으로부터부터 발생된 데이터 또는 기술적 정보를 포함하거나, 상기 구현들 중 하나 이상의 디바이스에 의해 제공되는 신호.

Claims (17)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 비디오 데이터를 처리하는 방법으로서,
    상기 비디오 데이터의 프레임을 그래픽 사용자 인터페이스의 비디오 플레이어 영역에 디스플레이하는 단계 - 상기 프레임은 영역 기반 톤 맵핑을 위한 지역적 현재 비디오 출력부에 디스플레이되고 전역 기반 톤 맵핑을 위한 전역적 현재 비디오 출력부에 디스플레이되며, 상기 지역적 현재 비디오 출력부 및 상기 전역적 현재 비디오 출력부는 나란히 배열되고, 상기 지역적 현재 비디오 출력부는 복수의 노출 영역 및 복수의 앵커 포인트를 가지며, 상기 전역적 현재 비디오 출력부는 하나의 노출 영역 및 하나의 앵커 포인트를 가짐 -;
    상기 비디오 플레이어 영역에 인접한 지역적 제어부를 디스플레이하는 단계 - 상기 지역적 제어부는 상기 비디오 플레이어 영역의 다수의 영역들에 대한 지역적 변경가능 노출 컨트롤 수단 및 지역적 변경가능 명암 컨트롤 수단을 가지고, 상기 지역적 제어부는 상기 복수의 노출 영역으로 분할되며, 상기 복수의 노출 영역 중 각각의 노출 영역은 상기 복수의 앵커 포인트 중 각각의 앵커 포인트에 대응함 -; 및
    상기 지역적 제어부에 인접한 전역적 제어부를 디스플레이하는 단계 - 상기 전역적 제어부는 전역적 변경가능 노출 컨트롤 수단 및 전역적 변경가능 명암 컨트롤 수단을 가짐 -
    를 포함하고,
    상기 지역적 현재 비디오 출력부 및 상기 전역적 현재 비디오 출력부는 스크린 상에 동시에 디스플레이되는 방법.
  13. 제12항에 있어서,
    지역적 비디오부 및 지역적 히스토그램 영역을 지역적 현재 비디오 출력부에 디스플레이하는 단계 - 상기 복수의 앵커 포인트는 상기 지역적 히스토그램 영역에 디스플레이됨 -; 및
    전역적 비디오부 및 전역적 히스토그램 영역을 상기 전역적 현재 비디오 출력부에 디스플레이하는 단계 - 상기 하나의 앵커 포인트는 상기 전역적 히스토그램 영역에 디스플레이됨 -
    를 포함하는 방법.
  14. 제13항에 있어서,
    서로 인접하고 상기 비디오 플레이어 영역 아래에 있는 오퍼레이터부 및 타임 라인을 디스플레이하는 단계를 포함하고, 상기 타임 라인은 처리되고 있는 비디오의 프레임의 시간을 나타내고, 상기 타임 라인 및 상기 오퍼레이터부는 상기 스크린 상에 동시에 디스플레이되는 방법.
  15. 제14항에 있어서,
    처리되고 있는 상기 비디오의 프레임에 대해 개별 컬러 히스토그램들을 동시에 나타내는 컬러 히스토그램 영역을 상기 스크린 상에 디스플레이하는 단계를 포함하고, 상기 컬러 히스토그램 영역은 상기 비디오 플레이어 영역에 인접하는 방법.
  16. 제15항에 있어서,
    상기 비디오 플레이어 영역의 다수의 영역들에 대한 적어도 상기 지역적 변경가능 노출 컨트롤 수단 또는 상기 지역적 변경가능 명암 컨트롤 수단을 조정함으로써 상기 비디오 데이터에 대한 변경들을 상기 그래픽 사용자 인터페이스를 통해 상기 비디오에 적용하는 단계를 포함하고; 상기 비디오에 대한 상기 변경들의 시각적 결과는 비디오 플레이어 영역에 디스플레이되는 방법.
  17. 제15항에 있어서,
    적어도 하나의 오퍼레이터를 상기 오퍼레이터부에 추가함으로써 상기 비디오 데이터에 대한 변경들을 상기 그래픽 사용자 인터페이스를 통해 상기 비디오에 적용하는 단계를 포함하며; 상기 비디오에 대한 상기 변경들의 시각적 결과는 비디오 플레이어 영역에 디스플레이되는 방법.
KR1020127033668A 2010-06-25 2011-06-23 높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스 KR101843902B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35860510P 2010-06-25 2010-06-25
US61/358,605 2010-06-25
PCT/US2011/041564 WO2011163438A1 (en) 2010-06-25 2011-06-23 Graphical user interface for tone mapping high dynamic range video

Publications (2)

Publication Number Publication Date
KR20130085371A KR20130085371A (ko) 2013-07-29
KR101843902B1 true KR101843902B1 (ko) 2018-04-02

Family

ID=44477689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127033668A KR101843902B1 (ko) 2010-06-25 2011-06-23 높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스

Country Status (6)

Country Link
US (1) US10108314B2 (ko)
EP (1) EP2586010B1 (ko)
JP (1) JP6282863B2 (ko)
KR (1) KR101843902B1 (ko)
CN (1) CN102959583B (ko)
WO (1) WO2011163438A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064313B2 (en) * 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
EP3025525B1 (en) 2013-07-25 2018-12-12 Convida Wireless, LLC End-to-end m2m service layer sessions
US9460499B2 (en) * 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
KR102244918B1 (ko) 2014-07-11 2021-04-27 삼성전자주식회사 시인성을 향상시키고 전력 소모를 줄일 수 있는 디스플레이 컨트롤러와 이를 포함하는 디스플레이 시스템
USD766976S1 (en) * 2014-08-18 2016-09-20 Rockwell Collins, Inc. Display panel with icon
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
KR102309676B1 (ko) 2015-07-24 2021-10-07 삼성전자주식회사 사용자 적응 이미지 보상기
US10114769B2 (en) * 2015-08-19 2018-10-30 Logitech Europe S.A. Synchronization of computer peripheral effects
JP6451669B2 (ja) 2016-03-04 2019-01-16 ソニー株式会社 評価装置、評価方法およびカメラシステム
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
KR102553764B1 (ko) * 2017-07-13 2023-07-10 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그 제어 방법
CN109104633B (zh) * 2018-08-30 2021-09-28 Oppo广东移动通信有限公司 视频截图方法、装置、存储介质及移动终端
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000100129A (ja) * 1998-09-17 2000-04-07 Sony Corp 編集システム及び編集方法
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682326A (en) * 1992-08-03 1997-10-28 Radius Inc. Desktop digital video processing system
JP4055092B2 (ja) 1998-04-27 2008-03-05 ソニー株式会社 撮像装置及び撮像方法
US7786999B1 (en) * 2000-10-04 2010-08-31 Apple Inc. Edit display during rendering operations
US6888552B2 (en) * 2001-06-08 2005-05-03 University Of Southern California High dynamic range image editing
US20020198789A1 (en) 2001-06-22 2002-12-26 Sony Corp. And Sony Music Entertainment, Inc. Apparatus and method for identifying and purchasing music
US6968337B2 (en) 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
EP1345172A1 (en) * 2002-02-26 2003-09-17 Sony International (Europe) GmbH Contrast enhancement for digital images
US7073127B2 (en) * 2002-07-01 2006-07-04 Arcsoft, Inc. Video editing GUI with layer view
US7525697B2 (en) * 2002-07-15 2009-04-28 Olympus Corporation White balance processing apparatus and processing method thereof
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7805678B1 (en) * 2004-04-16 2010-09-28 Apple Inc. Editing within single timeline
US20050243176A1 (en) 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
US7551776B2 (en) * 2004-07-22 2009-06-23 Seiko Epson Corporation Histogram generation apparatus and method for operating the same
US20060153445A1 (en) * 2005-01-07 2006-07-13 Ulead Systems, Inc. Display methods for high dynamic range images and user interfaces for the same
US8355030B2 (en) * 2005-01-07 2013-01-15 Corel Corporation Display methods for high dynamic range images and user interfaces for the same
US7873322B2 (en) 2005-06-14 2011-01-18 Acterna Llc Ingress susceptibility on return path
US7660464B1 (en) * 2005-12-22 2010-02-09 Adobe Systems Incorporated User interface for high dynamic range merge image selection
US7715047B2 (en) * 2006-02-17 2010-05-11 Seiko Epson Corporation Image editing device
US7822289B2 (en) 2006-07-25 2010-10-26 Microsoft Corporation Locally adapted hierarchical basis preconditioning
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US20080263450A1 (en) * 2007-04-14 2008-10-23 James Jacob Hodges System and method to conform separately edited sequences
US8444560B2 (en) * 2007-05-14 2013-05-21 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
WO2009078862A1 (en) * 2007-12-17 2009-06-25 Hewlett-Packard Development Company, L.P. Image processing using target values
US8237730B1 (en) * 2008-01-23 2012-08-07 Pixar Animation Studios Tone mapping for motion pictures
ES2602100T3 (es) * 2008-04-16 2017-02-17 Ge Video Compression, Llc Escalabilidad de profundidad de bits
FR2939265A1 (fr) * 2008-12-03 2010-06-04 Thomson Licensing Procede de detection de mode film ou mode camera
US20100153520A1 (en) * 2008-12-16 2010-06-17 Michael Daun Methods, systems, and media for creating, producing, and distributing video templates and video clips
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8237743B2 (en) * 2009-02-17 2012-08-07 Xerox Corporation Modification of images from a user's album for spot-the-differences
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US8769421B2 (en) * 2009-04-30 2014-07-01 Apple Inc. Graphical user interface for a media-editing application with a segmented timeline
US20100281371A1 (en) * 2009-04-30 2010-11-04 Peter Warner Navigation Tool for Video Presentations
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
TWI378718B (en) * 2009-06-05 2012-12-01 Univ Nat Taiwan Method for scaling video content according to bandwidth rate
US8433150B2 (en) * 2009-09-28 2013-04-30 Peking University Sample based tone mapping method for high dynamic range images
US8831340B2 (en) * 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
US8525899B2 (en) * 2010-05-27 2013-09-03 Canon Kabushiki Kaisha Image-capturing device, user interface and method for selective color balance adjustment
US8819557B2 (en) * 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000100129A (ja) * 1998-09-17 2000-04-07 Sony Corp 編集システム及び編集方法
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing

Also Published As

Publication number Publication date
CN102959583B (zh) 2016-08-03
US20130091430A1 (en) 2013-04-11
EP2586010A1 (en) 2013-05-01
CN102959583A (zh) 2013-03-06
US10108314B2 (en) 2018-10-23
JP2013537659A (ja) 2013-10-03
KR20130085371A (ko) 2013-07-29
WO2011163438A1 (en) 2011-12-29
JP6282863B2 (ja) 2018-02-21
EP2586010B1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
KR101843902B1 (ko) 높은 동적 범위 비디오를 톤 맵핑하기 위한 그래픽 사용자 인터페이스
US8237809B2 (en) Imaging camera processing unit and method
JP5615973B2 (ja) 高ダイナミックレンジ画像を捕捉するデバイスの作動法
KR102145201B1 (ko) 이미지의 동적 범위 향상을 위한 방법 및 장치
US9832378B2 (en) Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
RU2544793C2 (ru) Устройство обработки изображений и способ управления таковыми
JP4167097B2 (ja) 画像処理方法および画像処理装置
CN102946513B (zh) 一种启动拍摄装置高动态范围功能的方法、装置及终端
JP5624809B2 (ja) 画像信号処理装置
US8380043B2 (en) Reproducing apparatus and reproducing method
CN105208281A (zh) 一种夜景拍摄方法及装置
US20070024721A1 (en) Compensating for improperly exposed areas in digital images
US20110032268A1 (en) Image processing apparatus and method for controlling the same
JP5762756B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
CN101019416A (zh) 成像设备
JP2010503056A (ja) 画像の強調の方法及び装置
KR20180000729A (ko) 디스플레이 장치 및 이의 제어 방법
JP6243629B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2017126920A (ja) 撮像装置
KR100813620B1 (ko) 명암대비 보정장치 및 보정방법
CN112884659A (zh) 图像对比度增强方法、装置和显示设备
EP3913573B1 (en) Method for image processing, image signal processor in a terminal device
US8818094B2 (en) Image processing apparatus, image processing method and recording device recording image processing program
CN116128776A (zh) 图像处理方法、装置及存储介质
Qian et al. A new technique to reproduced High-Dynamic-Range images for Low-Dynamic-Range display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant