KR102553273B1 - 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치 - Google Patents

가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102553273B1
KR102553273B1 KR1020187013139A KR20187013139A KR102553273B1 KR 102553273 B1 KR102553273 B1 KR 102553273B1 KR 1020187013139 A KR1020187013139 A KR 1020187013139A KR 20187013139 A KR20187013139 A KR 20187013139A KR 102553273 B1 KR102553273 B1 KR 102553273B1
Authority
KR
South Korea
Prior art keywords
viewport
segments
metadata
tone mapping
decoded image
Prior art date
Application number
KR1020187013139A
Other languages
English (en)
Other versions
KR20180080713A (ko
Inventor
호세인 나자프-자데
마두카르 부다가비
안쿠르 삭세나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180080713A publication Critical patent/KR20180080713A/ko
Application granted granted Critical
Publication of KR102553273B1 publication Critical patent/KR102553273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/90—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Abstract

사용자 장비(user equipment, UE)는 수신부, 적어도 하나의 센서, 및 프로세서를 포함한다. 수신부는 적어도 하나의 인코딩된 이미지 및 적어도 하나의 인코딩된 이미지에 대한 메타데이터를 포함하는 신호를 수신하도록 구성된다. 센서는 사용자의 뷰포인트 정보를 결정하도록 구성된다. 프로세서는 메타데이터 및 뷰포인트 정보에 기반하여, 적어도 하나의 인코딩된 이미지를 렌더링하도록 구성된다.

Description

가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치
본 개시는 일반적으로 이미지 개선에 관한 것이다. 보다 구체적으로, 본 개시는 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치에 관한 것이다.
현재, 새로운 HDR(high dynamic range) 카메라와 디스플레이가 현저해지고 있다. HDR 카메라는 0.01 - 10,000 니트 범위의 강도를 가진 이미지를 캡처할 수 있다. 스튜디오들에서는 주로 HDR 컨텐츠가 제작되지만, HDR 카메라와 디스플레이의 고가의 비용 때문에, 아직까지는 이들이 일반 소비자의 관심권 내에 들어가고 있지는 아니하다.
또한, 대부분의 소비자는 여전히 SDR(standard dynamic range) 디스플레이를 보유하고 있다. 또한, 오랜 기간 동안 HDR 디스플레이는 SDR 디스플레이보다 상당히 더 고가일 것이어서, 일반 소비자는 SDR 디스플레이에만 액세스할 것으로 예상된다.
사용자의 이미지에 대한 실제 뷰포인트와 함께 조건부 이미지를 제공하도록 가상 현실 이미지를 개선시킬 필요가 본 기술 분야에 존재한다.
본 개시는 가상 현실 이미지들의 뷰-의존(view-dependent) 톤 맵핑을 위한 방법 및 장치를 제공한다.
제1 실시 예에서, 사용자 장비(user equipment, UE)는 수신부, 적어도 하나의 센서, 및 프로세서를 포함한다. 수신부는 적어도 하나의 인코딩된 이미지 및 적어도 하나의 인코딩된 이미지에 대한 메타데이터를 포함하는 신호를 수신하도록 구성된다. 센서는 사용자의 뷰포인트 정보를 결정하도록 구성된다. 프로세서는 메타데이터 및 뷰포인트 정보에 기반하여, 적어도 하나의 인코딩된 이미지를 렌더링하도록 구성된다.
제2 실시 예에서, 방법은 사용자 장비(user equipment, UE)에서 미디어를 렌더링하는 것을 제공한다. 방법은 UE의 방향(orientation)에 기반하여 미디어에 대한 뷰포트를 결정하는 단계와, 뷰포트에 의해 정의되는 미디어의 부분에 대응하는 톤 맵핑 함수를 도출하는 단계와, 톤 맵핑 함수에 기반하여, 상기 미디어의 부분을 렌더링하는 단계를 포함한다.
제3 실시 예에서, 컴퓨터 프로그램을 구현하는 비일시적인 컴퓨터 판독가능 매체가 제공된다. 컴퓨터 프로그램은 실행될 시에 적어도 하나의 처리 장치로 하여금 사용자 장비(user equipment, UE)의 방향에 기반하여 뷰포트를 결정하게 하고, UE에 의해 수신되고 뷰포트에 의해 정의되는 미디어의 부분에 대응하는 전체 톤 맵핑 함수를 도출하게 하고, 또한 톤 맵핑 함수에 기반하여 상기 미디어의 부분을 렌더링하게 하는 컴퓨터 판독가능 매체를 포함한다.
다른 기술적 특징들은 다음의 도면들, 설명들 및 청구항들로부터 당업자에게 쉽게 명백해질 수 있다.
본 개시 및 그 장점에 대한 보다 완전한 이해를 위해, 이제 첨부된 도면들과 함께 취해지는 다음의 설명을 참고한다.
도 1은 본 개시에 따른 예시적인 무선 네트워크를 도시한다.
도 2는 본 개시에 따른 예시적인 eNB(evoled NodeB)를 도시한다.
도 3은 본 개시에 따른 예시적인 헤드 장착형 디스플레이(head mounted display, HMD)를 도시한다.
도 4는 본 개시의 일 실시 예에 따른 예시적인 세그먼트화된 이미지를 도시한다.
도 5는 본 개시의 일 실시 예에 따른 이미지를 인코딩하기 위한 시스템을 도시한다.
도 6은 본 개시의 일 실시 예에 따른 이미지를 렌더링하기 위한 시스템을 도시한다.
도 7은 본 개시의 일 실시 예에 따른 톤 맵핑에 기반하여 가상 현실 이미지의 일부를 렌더링하기 위한 흐름도를 도시한다.
도 8은 본 개시의 일 실시 예에 따른 사용자 뷰포트를 결정하기 위한 흐름도를 도시한다.
도 9는 본 개시의 일 실시 예에 따른 예시적인 뷰포트를 도시한다.
도 10은 본 개시의 일 실시 예에 따른 바운딩 박스를 정의하기 위한 예시적인 차트들을 도시한다.
도 11은 HDR(high dynamic range) 이미지들에 적용되는 평활화 프로세스의 시스템 블록도를 도시한다.
아래의 발명을 실시하기 위한 구체적인 내용에 들어가기 전에, 본 특허 명세서 전체에 걸쳐 사용되는 특정 단어 및 어구들의 정의를 기재하는 것이 도움이 될 수 있다. 용어 "커플(couple)" 및 그 파생어는 두 개 이상의 요소 사이의 어떤 직접 또는 간접 통신을 나타내거나, 이들 요소가 서로 물리적으로 접촉하고 있는지의 여부를 나타낸다. 용어 "송신(transmit)", "수신(receive)" 및 "통신(communicate)" 그리고 그 파생어는 직접 통신 및 간접 통신 모두를 포함한다. 용어 "포함한다(include)" 및 "구성한다(comprise)" 그리고 그 파생어는 제한이 아닌 포함을 의미한다. 용어 "또는(or)"은 포괄적 용어로써, '및/또는'을 의미한다. 어구 "~와 관련되다(associated with)" 및 그 파생어는 ~을 포함한다(include), ~에 포함된다(be included within), ~와 결합하다(interconnect with), ~을 함유하다(contain), ~에 함유되어 있다(be contained within), ~에 연결한다(connect to or with), ~와 결합하다(couple to or with), ~ 전달한다(be communicable with), 와 협력하다(cooperate with), ~를 끼우다(interleave), ~을 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), 구속하다/구속되다(be bound to or with), 소유하다(have), 속성을 가지다(have a property of), ~와 관계를 가지다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 그 일부를 의미한다. 이러한 제어기는 하드웨어 또는 하드웨어와 소프트웨어의 조합 및/또는 펌웨어로 구현될 수 있다. 특정 제어기와 관련된 기능은 로컬 또는 원격으로 중앙 집중식으로 처리(centralized)되거나 또는 분산식으로 처리(distributed)될 수 있다. 어구 "적어도 하나"는, 그것이 항목들의 나열과 함께 사용될 경우, 나열된 항목들 중 하나 이상의 상이한 조합이 사용될 수 있음을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음의 조합, 즉 A, B, C, A와 B, A와 C, B와 C, 그리고 A와 B와 C 중 어느 하나를 포함한다.
또한, 후술하는 각종 기능들은 그 각각이 컴퓨터 판독가능한 프로그램 코드로 형성되고 컴퓨터 판독가능한 매체에서 구현되는 하나 이상의 컴퓨터 프로그램에 의해 구현 또는 지원될 수 있다. 용어 "애플리케이션" 및 "프로그램"은 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령 세트, 프로시저, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 혹은 적합한 컴퓨터 판독가능한 프로그램 코드에서의 구현용으로 구성된 그것의 일부를 지칭한다. 어구 "컴퓨터 판독가능한 프로그램 코드"는 소스 코드, 오브젝트 코드, 및 실행 가능한 코드를 포함하는 임의의 타입의 컴퓨터 코드를 포함한다. 어구 "컴퓨터 판독가능한 매체"는 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 혹은 임의의 다른 타입의 메모리와 같은, 컴퓨터에 의해 액세스될 수 있는 임의의 타입의 매체를 포함한다. "비-일시적인" 컴퓨터 판독가능한 매체는 유선, 무선, 광학, 일시적인 전기적 또는 다른 신호들을 전달시키는 통신 링크를 제외한다. 비-일시적 컴퓨터 판독가능한 매체는 데이터가 영구적으로 저장되는 매체 그리고 재기록이 가능한 광디스크 또는 소거 가능한 메모리 장치와 같은, 데이터가 저장되어 나중에 덮어 씌어지는 매체를 포함한다.
다른 특정 단어 및 어구에 대한 정의가 이 특허 명세서 전반에 걸쳐 제공된다. 당업자는 대부분의 경우가 아니더라도 다수의 경우에 있어서, 이러한 정의는 종래에 뿐만 아니라 그러한 정의된 단어 및 어구의 향후 사용에 적용될 수 있음을 이해해야 한다.
이하에 설명되는 도 1 내지 도 11, 및 이 특허 명세서에 있어서의 본 개시의 원리들을 설명하기 위해 사용되는 각종 실시 예들은 오직 예시의 방법에 의한 것이며, 어떤 방식으로도 본 개시의 범위를 제한하는 것으로 해석되어서는 안된다. 본 개시의 원리들은 임의의 적절하게 구성된 무선 통신 시스템에서 구현될 수 있다는 것을 당업자는 이해할 수 있을 것이다.
도 1은 본 개시에 따른 예시적인 무선 네트워크 100을 도시한다. 도 1에 도시된 무선 네트워크 100의 실시 예는 단지 설명을 위한 것이다. 무선 네트워크 100에 대한 다른 실시 예들이 본 개시의 범위를 일탈하지 않는 범위 내에서 사용될 수 있다.
도 1에 도시된 바와 같이, 무선 네트워크 100은 eNB(evolved NodeB) 101, eNB 102, 및 eNB 103을 포함한다. eNB 101은 eNB 102 및 eNB 103과 통신한다. 또한, eNB 101은 적어도 하나의 인터넷 프로토콜(internet protocol, IP) 130(예: 인터넷), 전용 IP 네트워크, 또는 다른 데이터 네트워크와도 통신한다.
eNB 102는 eNB 102의 커버리지 영역 120 내에 있는제1 복수의 사용자 장비(user equipment, UE)들에게, 네트워크 130에의 무선 광대역 액세스를 제공한다.제1 복수의 UE들은 중소기업(small business, SB)에 위치할 수 있는 UE 111; 대기업(E)에 위치할 수 있는 UE 112; 와이파이 핫 스팟(hot spot, HS)에 위치할 수 있는 UE 113;제1 주거지역(residence, R)에 위치할 수 있는 UE 114;제2 주거지역(residence, R)에 위치할 수 있는 UE 115; 및 휴대 전화, 무선 랩탑, 무선 PDA 등과 같은 모바일 장치(mobile, M)일 수 있는 UE 116을 포함한다. eNB 103은 eNB 103의 커버리지 영역 125 내에 있는제2 복수의 UE들에게, 네트워크 130에의 무선 광대역 액세스를 제공한다.제2 복수의 UE들은 UE 115 및 UE 116을 포함한다. 일부 실시 예들에서, eNB들 101-103 중 하나 이상의 eNB들은 5G, LTE, LTE-A, WiMAX, WiFi 또는 다른 무선 통신 기술들을 사용하여 서로 간에 및 UE들 111-116과 통신할 수 있다.
네트워크 타입에 따라, "기지국" 또는 "액세스 포인트"와 같은 다른 잘 알려진 용어들이 "eNodeB" 또는 "eNB" 대신에 사용될 수도 있다. 편의상, 용어들 "eNodeB" 및 "eNB"는 원격 단말들에게 무선 액세스를 제공하는 네트워크 인프라 구조 컴포넌트들을 지칭하는 것으로 본 특허 명세서에서는 사용된다. 또한, 네트워크 타입에 따라, "이동국", "가입자국", "원격 단말", "무선 단말", "텔레비전" 또는 "사용자 장치"와 같은 다른 잘 알려진 용어들이 "사용자 장비" 또는 "UE" 대신에 사용될 수도 있다. 편의상, 용어들 "사용자 장비" 및 "UE"는 텔레비전, 디스플레이, 모니터, 또는 다른 그러한 유무선 장치들을 지칭하는 것으로 본 특허 명세서에서는 사용된다. UE는 모바일 장치 또는 다른 텔레비전과 같은 다른 UE와 통신할 수 있다.
점선은, 단지 예시 및 설명의 목적으로 대략의 원형으로 나타낸 커버리지 영역들 120 및 125의 대략적인 범위들을 나타낸다. eNB들과 관련된 커버리지 영역들, 예를 들어 커버리지 영역들 120 및 125는 eNB들의 구성, 및 자연 및 인공 장애물들과 관련된 무선 환경의 변화에 따라, 불규칙한 형태들을 포함하는 다른 형태들을 가질 수 있음을 명백히 이해해야 한다.
본 개시의 하나 이상의 실시 예들은 SDR(standard dynamic range) 디스플레이에서 HDR(high dynamic range) 컨텐츠를 디스플레이하기 위해 HDR 컨텐츠의 후처리를 수행하는 방법 및 장치를 제공한다. 일 예에서는, HDR 컨텐츠들이 보다 낮은 동적 범위로 변환된다. 본 명세서에서 사용되는, 본 개시의 하나 이상의 실시 예들은 SDR 또는 HDR 이미지에 관련된다. 그러나, 본 개시의 다른 실시 예들이 비디오와 함께 사용될 수도 있다. 본 명세서에서 이미지를 언급할 경우, SDR이든 HDR이든 관계없이, 본 개시의 상이한 실시 예들은 주어진 프레임 레이트(단위 시간당 픽처의 수)에 대한 비디오 내의 프레임을 지칭하는 것일 수 있다.
도 1이 무선 네트워크 100의 일 예를 도시한 것이지만, 다양한 변화들이 도 1에 대하여 이루어질 수 있다. 예를 들어, 무선 네트워크 100은 임의의 적절한 배열로 임의의 개수의 eNB들 및 임의의 개수의 UE들을 포함할 수 있다. 또한, eNB 101은 임의의 개수의 UE들과 직접 통신하여, 이 UE들에게 네트워크 130로의 무선 광대역 액세스를 제공할 수 있다. 이와 유사하게, 각 eNB 102-103은 네트워크 130과 직접 통신하여, UE들에게 네트워크 130로의 직접 무선 광대역 액세스를 제공할 수 있다. 또한, eNB 101, 102, 및/또는 103은 외부 전화 네트워크들 또는 다른 타입의 데이터 네트워크들과 같은 다른 또는 추가의 외부 네트워크들에의 액세스를 제공할 수 있다.
도 2는 본 개시에 따른 예시적인 eNB 102를 도시한다. 도 2에 도시된 eNB 102의 실시 예는 단지 설명을 위한 것이며, 도 1의 eNB들 101 및 103은 동일하거나 유사한 구성을 가질 수 있다. 그러나, eNB들은 각종의 다양한 구성들로 이루어지며, 도 2가 eNB에 대한 임의의 특정 구현으로 본 개시의 범위를 제한하지 않는다.
도 2에 도시된 바와 같이, eNB 102는 복수의 안테나들 205a-205n, 복수의 RF 송수신부들 210a-210n, 송신(transmit, TX) 처리 회로 215, 및 수신(receive, RX) 처리 회로 220을 포함한다. 또한, eNB 102는 제어기/프로세서 225, 메모리 230, 및 백홀 또는 네트워크 인터페이스 235를 포함한다.
RF 송수신부들 210a-210n은, 안테나들 205a-205n으로부터, 네트워크 100에서 UE들에 의해 송신되는 신호들과 같은 내향(incoming) RF 신호들을 수신한다. RF 송수신부들 210a-210n은 내향 RF 신호들을 하향-변환하여, IF 또는 기저대역 신호들을 생성한다. IF 또는 기저대역 신호들은, 기저대역 또는 IF 신호들을 필터링하고, 디코딩하고, 및/또는 디지털화하는 것에 의하여 처리된 기저대역 신호들을 생성하는 RX 처리 회로 220으로 전송된다. RX 처리 회로 220은 이 처리된 기저대역 신호들을, 추가의 처리를 위하여 제어기/프로세서 225로 송신한다.
TX 처리 회로 215는, 제어기/프로세서 225로부터 아날로그 또는 디지털 데이터(예컨대, 음성 데이터, 웹 데이터, 이-메일, 또는 쌍방향 비디오 게임 데이터)를 수신한다. TX 처리 회로 215는, 외향(outgoing) 기저대역 데이터를 인코딩, 멀티플렉싱, 및/또는 디지털화하여, 처리된 기저대역 또는 IF 신호들을 생성한다. RF 송수신부들 210a-210n은 TX 처리 회로 215로부터, 외향 처리된 기저대역 또는 IF 신호들을 수신하고, 그 기저대역 또는 IF 신호들을, 안테나들 205a-205n을 통해 송신되는 RF 신호들로 상향-변환한다.
제어기/프로세서 225는 eNB 102의 전반적인 동작을 제어하는 하나 이상의 프로세서들 또는 다른 처리 장치들을 포함할 수 있다. 예를 들어, 제어기/프로세서 225는, 잘 알려진 원리들에 따라 RF 송수신부들 210a-210n, RX 처리 회로 220, 및 TX 처리 회로 215에 의해 순방향 채널 신호들의 수신 및 역방향 채널 신호들의 송신을 제어할 수 있다. 제어기/프로세서 225는 보다 진보된 무선 통신 기능들과 같은 추가 기능들도 지원할 수 있다. 예를 들어, 제어기/프로세서 225는 빔 포밍(beam forming) 또는 방향 라우팅(directional routing) 동작들을 지원할 수 있으며, 여기에서는, 복수의 안테나들 205a-205n으로부터의 외향 신호들이 서로 다르게 가중 처리됨으로써, 외향 신호들을 원하는 방향으로 효과적으로 조종하도록 한다. 임의의 각종 다양한 다른 기능들이 제어기/프로세서 225에 의해서 eNB 102에 지원될 수 있다. 일부 실시 예들에서, 제어기/프로세서 225는 적어도 하나의 마이크로프로세서 또는 마이크로제어기를 포함한다.
또한, 제어기/프로세서 225는 메모리 230에 상주하는 프로그램들 및 다른 프로세스들, 예를 들어 기본 OS를 실행할 수 있다. 제어기/프로세서 225는 실행 프로세스에 의한 요구에 따라 데이터를 메모리 230 내로 또는 외부로 이동시킬 수 있다.
또한, 제어기/프로세서 225는 백홀 또는 네트워크 인터페이스 235에 커플링된다. 백홀 또는 네트워크 인터페이스 235는, eNB 102가 백홀 연결을 통해 또는 네트워크를 통해 다른 장치들 또는 시스템들과 통신하는 것을 가능하게 한다. 인터페이스 235는 임의의 적절한 유선 또는 무선 연결(들)을 통한 통신들을 지원할 수 있다. 예를 들어, eNB 102가 셀룰러 통신 시스템(예컨대, 5G, LTE, 또는 LTE-A를 지원하는 것)의 일부로서 구현되는 경우, 인터페이스 235는, eNB 102가 유선 또는 무선 백홀 연결을 통해 다른 eNB들과 통신하는 것을 가능하게 할 수 있다. eNB 102가 액세스 포인트로서 구현되는 경우, 인터페이스 235는, eNB 102가 유선 또는 무선 로컬 영역 네트워크를 통해 또는 더 큰 네트워크(예컨대, 인터넷)에 대한 유선 또는 무선 연결을 통해 통신하는 것을 가능하게 한다. 인터페이스 235는 유선 또는 무선 연결, 예를 들어 이더넷 또는 RF 송수신부를 통한 통신들을 지원하는 임의의 적절한 구조를 포함한다.
메모리 230은 제어기/프로세서 225에 커플링된다. 메모리 230의 일부는 RAM을 포함할 수 있으며, 메모리 230의 다른 일부는 플래시 메모리 또는 다른 ROM을 포함할 수 있다.
도 2가 eNB 102의 일 예를 도시하고 있지만, 다양한 변화들이 도 2에 대하여 이루어질 수 있다. 예를 들어, eNB 102는 도 2에 나타낸 각 컴포넌트에 대한 임의의 개수를 포함할 수 있다. 일 특정 예로서, 액세스 포인트는 다수의 인터페이스들 235를 포함할 수 있고, 제어기/프로세서 225는 상이한 네트워크 주소들 사이에서 데이터를 라우팅하는 라우팅 기능들을 지원할 수 있다. 다른 특정 예로서, 단일 인스턴스의 TX 처리 회로 215 및 단일 인스턴스의 RX 처리 회로 220을 포함하는 것으로 도시되어 있지만, eNB 102는 각각에 대한 복수의 인스턴스들을 포함할 수 있다(예컨대, RF 송수신부당 하나). 또한, 도 2의 다양한 컴포넌트들이 결합되거나, 더 세분화되거나 생략될 수 있고, 특정 요구에 따라 부가적인 컴포넌트가 추가될 수도 있다.
도 3은 본 개시에 따른 예시적인 헤드 장착형 디스플레이(head mounted display, HMD)를 도시한다. 도 3에 도시된 HMD 300의 실시 예는 단지 설명을 위한 것이며, 도 1의 임의의 UE들 111-115는 동일하거나 유사한 구성을 가질 수 있다. 그러나, HMD들은 각종의 다양한 구성들로 이루어지며, 도 3이 HMD에 대한 임의의 특정 구현으로 본 개시의 범위를 제한하지 않는다. 본 개시의 하나 이상의 실시 예들에서는, HMD 300이 텔레비전으로 대체될 수도 있다.
도 3에 도시된 바와 같이, HMD 300은 안테나 305, 무선 주파수(radio frequency, RF) 송수신부 310, 송신(TX) 처리 회로 315, 마이크로폰 320, 및 수신(RX) 처리 회로 325를 포함한다. 또한, HMD 300은 스피커 330, 메인 프로세서 340, 입/출력(input/output, I/O) 인터페이스(interface, IF) 345, 키패드 350, 디스플레이 355, 및 메모리 360을 포함한다. 메모리 360은 기본 운영 체제(operating system, OS) 프로그램 361 및 하나 이상의 애플리케이션들 362를 포함한다.
RF 송수신부 310은 네트워크 100의 eNB에 의해서 송신되는 내향 RF 신호를 안테나 305로부터 수신한다. RF 송수신부 310은 내향 RF 신호를 하향-변환하여, 중간 주파수(intermediate frequency, IF) 또는 기저대역 신호를 생성한다. IF 또는 기저대역 신호는, 그 기저대역 또는 IF 신호를 필터링하고, 디코딩하고, 및/또는 디지털화하는 것에 의해 처리된 기저대역 신호를 생성하는 RX 처리 회로 325로 전송된다. RX 처리 회로 325는 그 처리된 기저대역 신호를, 스피커 330으로 송신하거나(예컨대, 음성 데이터), 또는 추가 처리를 위해 메인 프로세서 340로 송신한다(예컨대, 웹 브라우징 데이터).
TX 처리 회로 315는 마이크로폰 320으로부터 아날로그 또는 디지털 음성 데이터를 수신하거나 또는 프로세서 340으로부터 다른 외향 기저대역 데이터(예컨대, 웹 데이터, 이-메일, 또는 쌍방향 비디오 게임 데이터)를 수신한다. TX 처리 회로 315는 그 외향 기저대역 데이터를 인코딩, 멀티플렉싱, 및/또는 디지털화하여, 처리된 기저대역 또는 IF 신호를 생성한다. RF 송수신부 310은 TX 처리 회로 315로부터 외향 처리된 기저대역 또는 IF 신호를 수신하고, 그 기저대역 또는 IF 신호를, 안테나 305를 통해 송신되는 RF 신호로 상향-변환한다.
메인 프로세서 340은 하나 이상의 프로세서들 또는 다른 처리 장치들을 포함할 수 있으며, 메모리 360에 저장된 기본 OS 프로그램 361을 실행함으로써 HMD 300의 전반적인 동작을 제어할 수 있다. 예를 들어, 메인 프로세서 340은 잘 알려진 원리들에 따라 RF 송수신부 310, RX 처리 회로 325, 및 TX 처리 회로 315에 의해 순방향 채널 신호들의 수신 및 역방향 채널 신호들을 송신을 제어할 수 있다. 일부 실시 예들에서, 메인 프로세서 340은 적어도 하나의 마이크로프로세서 또는 마이크로제어기를 포함한다.
또한, 메인 프로세서 340은 메모리 360에 상주하는 다른 프로세스들 및 프로그램들을 실행할 수 있다. 메인 프로세서 340은 실행 프로세스에 의한 요구에 따라 메모리 360 내로 또는 외부로 데이터를 이동할 수 있다. 일부 실시 예들에서, 프로세서 340은 OS 프로그램 361에 기반하여 또는 eNB들 또는 오퍼레이터로부터 수신된 신호들에 따라 애플리케이션들 362를 실행하도록 구성된다. 또한, 메인 프로세서 340은, 랩탑 컴퓨터 및 휴대용 컴퓨터와 같은 다른 장치들에 연결되는 능력을 HMD 300에게 제공하는 I/O 인터페이스 345에 커플링되어 있다. I/O 인터페이스 345는 이 주변기기들과 프로세서 340 간의 통신 경로이다.
또한, 메인 프로세서 340은 키패드 350 및 디스플레이 유닛 355에 커플링된다. HMD 300의 오퍼레이터는 키패드 350를 사용하여 HMD 300에 데이터를 입력할 수 있다. 디스플레이 355는 예를 들어, 웹 사이트들로부터의 텍스트 및/또는 적어도 제한된 그래픽들을 렌더링할 수 있는 액정 디스플레이 또는 다른 디스플레이일 수 있다. 일 실시 예에서, 키패드 350은 또한 터치스크린일 수 있다. 터치스크린은 터치 패널, (디지털) 펜 센서, 키 또는 초음파 입력 장치를 포함할 수 있다. 터치스크린은 정전용량 방식, 압력 감지 방식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치스크린은 제어 회로를 포함할 수 있다. 정전용량 방식으로, 터치스크린은 터치 또는 근접을 인식할 수 있다.
메모리 360은 메인 프로세서 340에 커플링된다. 메모리 360의 일부는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있으며, 메모리 360의 다른 일부는 플래시 메모리 또는 다른 판독 전용 메모리(read-only memory, ROM)를 포함할 수 있다.
HMD 300은 또한 HMD 300의 물리적 양을 측정하거나 활성화 상태를 검출하고, 측정되거나 검출된 정보를 전기 신호로 변환할 수 있는 하나 이상의 센서들 370을 포함한다. 예를 들어, 센서 370은 헤드셋 또는 HMD 300, 카메라, 제스처 센서, 자이로스코프 또는 자이로 센서, 공기압 센서, 자기 센서 또는 자력계, 가속도 센서 또는 가속도계, 그립 센서, 근접 센서, 컬러 센서(예를 들면, RGB(Red Green Blue) 센서), 생체 센서, 온도/습도 센서, 조도 센서, UV(Ultraviolet) 센서, EMG(Electromyography) 센서, EEG(Electroencephalogram) 센서, ECG(Electrocardiogram) 센서, IR 센서, 초음파 센서, 홍채 센서, 지문 센서 등에 대한 터치 입력을 위한 하나 이상의 버튼을 포함할 수 있다. 센서(들) 370은 그 내부에 포함된 센서들 중 적어도 하나를 제어하기 위한 제어 회로를 더 포함할 수 있다. 이하에서 더 상세히 설명되는 바와 같이, 이들 센서(들) 370 중 하나 이상이 UI를 제어하고, UI 입력을 검출하며, 3D 컨텐츠 디스플레이 식별을 위해 사용자의 방향 및 대면 방향을 결정하는 등에 사용될 수 있다. HMD 300가 헤드셋을 포함하는 실시 예들에서, 이들 센서(들) 370 중 임의의 센서는 HMD 300 내에, HMD 300을 유지하도록 구성된 헤드셋 내에, 또는 헤드셋과 HMD 300 양쪽 모두에 위치될 수 있다.
도 3이 HMD 300의 일 예를 도시한 것이지만, 다양한 변화들이 도 3에 대하여 이루어질 수 있다. 예를 들어, 도 3의 각종 컴포넌트들이 조합되거나, 더 세분화되거나, 생략될 수 있으며, 특정 필요들에 따라 추가 컴포넌트들이 부가될 수도 있다. 일 특정 예로서, 메인 프로세서 340은 복수의 프로세서들, 예를 들어 하나 이상의 중앙 처리 유닛(CPU)들 및 하나 이상의 그래픽 처리 유닛(GPU)들로 분할될 수 있다. 또한, 도 3이 모바일 전화기나 스마트폰으로서 구성되는 UE 116을 도시하고 있지만, UE들은 다른 타입의 모바일 또는 고정 장치들로서 동작하도록 구성될 수도 있다. 다른 예시적인 실시 예에서, UE 116가 텔레비전일 경우에는, UE 116가 송수신부, 키패드 또는 마이크로폰을 포함하지 않을 수 있다. UE 116는 송신부 또는 인코더 없이 수신부 또는 디코더를 포함할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 예시적인 세그먼트화된(segmented) 이미지를 도시한다. 도 4에 나타낸 바와 같이, 이미지 400은 HDR 카메라(미도시)에 의해 캡처될 수 있는 360°HDR 이미지의 파노라마 뷰(panoramic view)를 나타낸다. 이하에서 설명되는 바와 같이, 이미지 400은 상이한 세그먼트들로 세그먼트화된다. 예를 들어, 이미지 400은 동일한 크기의 12개의 세그먼트들로 세그먼트화된다. 다른 실시 예들에서는, 임의의 개수의 세그먼트들이 사용될 수 있으며, 각 세그먼트의 크기는 이미지에 의존하여 고정되거나 가변적일 수 있다.
이미지 400은 어두운 영역들(예: 세그먼트 402)와 밝은 영역들(예: 세그먼트 404) 사이의 높은 동적 범위(dynamic range)를 갖는다. HMD 300과 같은 디바이스 상에 이미지 400을 디스플레이하기 위해, 이미지 400은 디바이스의 특성들과 매칭되도록 하향 변환(down converting)해야 할 수도 있다. 도 4에 나타낸 바와 같이, 각 세그먼트 402, 404 및 406은 이미지를 하향 변환하는데 사용될 수 있는 그것에 할당된 고유의 톤 맵핑(tone mapping) 함수를 갖는다.
도 5는 본 개시의 일 실시 예에 따른 이미지를 인코딩하기 위한 시스템 500을 도시한다. 도 5에 나타낸 바와 같이, 360°이미지가 이미지 세그먼테이션 모듈(image segmentation module) 502에 제공된다. 이미지 세그먼테이션 모듈 502는 이미지를 복수의 세그먼트들로 분할한다. 각 세그먼트의 크기는 도 4에 나타낸 바와 같이 고정될 수 있으며 또는, 이미지 세그먼테이션 모듈 502는 지능적(intelligent) 세그먼트화에 따라 이미지를 세그먼트화할 수 있다. 예를 들어, 상단 뷰(top view) 전체를 덮는 하늘 영역이 있을 경우, 이 하늘 영역 전체에 대한 단일의 세그먼트를 생성할 수 있고, 영역이 균등하게 분할되는 경우 다수의 HDR 메타데이터를 사용하는 대신 전체 영역에 대한 단일의 HDR 메타데이터를 사용할 수 있다. 오츠의 방법(Otsu's method), K-평균 클러스터링, 분수령 알고리즘(watershed algorithm), 텍스처 필터(texture filter)들 등과 같은 지능적 세그먼테이션을 위한 임의의 기술이 사용될 수 있다.
이미지 세그먼테이션 모듈 502는 멀티플렉서(multiplexer) 504에게 세그먼테이션 메타데이터를 제공한다. 세그먼테이션 메타데이터는 아래의 표 1에 나타낸 파라미터들을 포함할 수 있으며, 이에 한정되지 않는다.
Figure 112018045362698-pct00001
세그먼트화된 이미지는 도 4에 나타낸 바와 같은 각 세그먼트에 대한 톤 맵핑 함수를 결정하는 톤 맵핑 파라미터 산출 모듈 508에 제공된다. 각 세그먼트에 적용되는 톤 맵핑 함수는 세그먼트의 피크 휘도(peak luminance)에 기초한다. 톤 맵핑 파라미터 산출 모듈 508은 멀티플렉서 504에게 메타데이터로서 톤 맵핑 함수를 제공한다.
또한, 비디오 인코더 506은 공지된 비디오 인코딩 기술들을 사용하여 360°이미지를 인코딩하고, 인코딩된 360°비디오를 멀티플렉서 504에 제공한다. 그 다음, 멀티플렉서 504는 인코딩된 비디오, 세그먼테이션 메타데이터 및 톤 맵핑 메타데이터를, 도 1에 나타낸 바와 같은 사용자 장비 111-116 중 임의의 사용자 장비로 송신될 수 있는 비트 스트림으로 다중화한다.
도 6은, 예를 들어, 도 3에 나타낸 바와 같은 HMD 300을 사용하는 본 개시의 일 실시 예에 따른 이미지를 렌더링하기 위한 시스템 600을 도시한다. 도 6의 시스템이 도 3의 HMD 300을 참고하여 설명될 것이지만, 시스템 600은 텔레비전과 같은 360°이미지 또는 비디오의 일부를 디스플레이하기에 적절한 임의의 다른 디바이스에 통합될 수도 있다.
도 6에 나타낸 바와 같이, HMD 300은 하나 이상의 프로세서들(예: 메인 프로세서 340)에 의해 구현될 수 있는 뷰-의존 톤 맵핑 모듈(view-dependent tone mapping module) 602에게 뷰포인트 정보(viewpoint information)를 제공한다. 뷰포인트 정보는 하나 이상의 센서들 370에 의해 결정되는 피치(pitch) 및 요(yaw)를 포함하며, 사용자에게 디스플레이될 뷰포트(viewport) 606을 정의하기 위해 사용된다. 디멀티플렉서 604는 인코딩된 이미지들 및/또는 비디오 및 세그먼테이션 및 톤 맵핑 메타데이터를 포함하는 인입 비트 스트림을 역다중화한다. 디멀티플렉서 604는 인코딩된 이미지들 및/또는 비디오 및 메타 데이터를 뷰-의존 톤 맵핑 모듈 602에 제공한다. 뷰포인트 정보에 기반하여, 뷰-의존 톤 맵핑 모듈 602는 HMD 300에 디스플레이될 세그먼트를 선택하고, HMD 300의 특성들과 매칭되도록 디스플레이된 세그먼트를 하향 변환하기 위해 세그먼트에 대응하는 톤 맵핑 함수를 적용한다. 일부 실시 예들에서, 뷰포트는 다수의 세그먼트들을 포함할 수 있다. 뷰포트가 다수의 세그먼트들을 포함할 경우, 각 세그먼트의 톤 맵핑 함수들이 평균화되어 그 뷰포트에 대응하는 이미지 부분에 적용된다.
도 7은 본 개시의 일 실시 예에 따른 톤 맵핑에 기반하여 가상 현실 이미지의 일부를 렌더링하기 위한 방법 700의 흐름도를 도시한다. 설명의 용이함을 위해, 도 7은 도 3의 HMD 300 및 도 6의 시스템 600과 함께 설명될 것이다. 방법 700은 프로세스 702에서 시작하며, 이 프로세스에서는 사용자의 뷰포인트가 하나 이상의 센서들 370에 의해 제공된 피치(pitch) 및 요(yaw)에 기반하여 결정된다. 이 뷰포인트에 기반하여, HMD 300은 프로세스 704에서 뷰포트 및 뷰포트에 포함된 세그먼트들을 결정한다. 프로세스 706에서는, 의존 톤 맵핑 모듈 602이 뷰포트에 포함된 각 세그먼트의 톤 맵핑 함수에 기반하여, 뷰 의존 톤 맵핑 함수를 도출한다. 도출된 톤 맵핑 함수를 사용하여, HMD 300은 프로세스 708에서 뷰포트 및 도출된 톤 맵핑 함수에 대응하는 HDR 이미지의 적어도 일부를 렌더링한다. 프로세스 710에서, HMD는 사용자의 뷰포인트가 변경되었는지 여부를 결정한다. 사용자의 뷰포인트가 변경된 경우, 방법은 프로세스 702로 복귀한다. 사용자의 뷰포인트가 변경되지 않은 경우, 방법은 프로세스 712로 진행하며, 이 프로세스에서는 모든 이미지들 또는 프레임들이 렌더링되었는지 여부에 대한 결정이 이루어진다. 모든 이미지들 또는 프레임들이 렌더링되지 않은 경우, 방법은 프로세스 708로 복귀한다. 그렇지 않을 경우, 방법이 완료된다.
도 8은 본 개시의 일 실시 예에 따른 사용자 뷰포트를 결정하기 위한 방법 800의 흐름도를 도시한다. 도 9는 본 개시의 일 실시 예에 따른 예시적인 뷰포트를 도시한다. 도 10은 본 개시의 일 실시예에 따른 바운딩 박스(bounding box)를 정의하기 위한 예시적인 차트들을 도시한다.
도 9에 나타낸 바와 같이, 프로세스 802에서, 사용자의 뷰포인트가 하나 이상의 센서들 370을 사용하여 HMD 300으로부터 결정된다. 그 다음, HMD 300은 프로세스 804에서 구간적 선형 근사(piecewise linear approximation)를 사용하여 도 9에 나타낸 바와 같은 바운딩 박스(902)의 바운딩 박스 엔드 포인트들 904를 산출하기 위해 뷰포인트의 피치 및 요 컴포넌트들을 제공한다. 예를 들어, 도 10은 사용자의 뷰포인트에 기반하여 바운딩 박스 엔드 포인트들 904를 산출하는데 사용되는 함수의 일 예를 나타낸다. 프로세스 806에서는, 중첩 영역 리스트가, 세그먼테이션 메타데이터를 사용하여 바운딩 박스 902에 중첩하는 세그먼트들에 기반하여 결정된다. 그 다음, 이 중첩 영역 리스트를 사용하여 뷰포트에 적용될 톤 맵핑 함수를 도출하게 된다.
도 11은 HDR 이미지들에 적용되는 평활화 프로세스(smoothing process)의 시스템 블록도를 도시한다. 도 11에 나타낸 바와 같이, 시간-공간 평활화 프로세스(tempro-spatial smoothing process) 1102는 뷰 의존 톤 맵핑 함수를 도출하기 이전에 적용된다. 시간-공간 평활화 프로세스 1102는 중첩 영역 리스트 및 세그먼테이션 메타데이터에 기초한 것이다.
세그먼트들에 걸친 피크 휘도의 큰 변동들은 플리커링(flickering) 아티팩트들로 이어질 수도 있는 현저하게 상이한 톤 맵핑 함수를 초래할 수 있다. 톤 맵핑 함수들에 있어서의 큰 변화들을 방지하기 위해, 세그먼트들에 걸친 피크 휘도는 다음의 2D 로우-패스 필터(low-pass filter)에 의해서 공간적으로 평활화된다.
Figure 112018045362698-pct00002
여기서, Nns는 세그먼트를 둘러싸는 이웃 세그먼트들의 개수를 나타낸다. Nns가 8보다 작을 경우(예: 이미지의 모서리 또는 경계에서의 세그먼트들), 이미지와 필터의 중첩 부분들이 평활화를 위해 사용될 수 있다.
또한, 플리커링을 방지기 위해, 세그먼트 피크 휘도가 일시적으로 평활화될 수도 있다. 평활화 동작은 다음과 같은 수학식 1에 따라 수행된다.
Figure 112018045362698-pct00003
여기서, Ls,i,k는 현재 프레임 내의 세그먼트 i에서 공간적으로 평활화된 세그먼트 피크 휘도이고, Lst,i,k -1은 이전 프레임 내의 세그먼트 i에서 온도-공간적으로 평활화된 세그먼트 피크 휘도이고, Lst,i,k는 현재 프레임 내의 세그먼트 i에서 시간-공간적으로 평활화된 세그먼트 피크 휘도이며, w는 [0,1] 범위에서의 시간 평활화 가중치이다. 시간 평활화 가중치는 시간에 따른 세그먼트 피크 휘도의 평활화 양을 결정할 수 있다. w의 값이 클수록, 적응적 톤 맵핑의 위치성(locality)이 작아지는 대신에 출력 비디오에서의 플리커링이 적어지게 된다. 현재의 구현에서 w는 0.5로 설정될 수 있다.
몇몇의 매우 밝은 픽셀들의 영향을 줄이기 위해, 각 세그먼트에서의 세그먼트 피크 휘도가 각 세그먼트의 p-백분위 maxRGB 값들에 기반하여 산출되며, 여기서 세그먼트 내 픽셀들의 maxRGB 값들 중의 p%는 세그먼트 피크 휘도보다 작게 된다. 본 제안된 실시 예에서는, 99%로 설정될 수 있다.
사용자의 뷰포트가 하나보다 많은 세그먼트와 중첩할 경우, 뷰포트의 피크 휘도는 다음과 같은 수학식 2에 따라 뷰포트와 중첩하는 세그먼트들에서 세그먼트 피크 휘도를 가중 평균화함으로써 산출될 수 있다.
Figure 112018045362698-pct00004
여기서, Lvp는 사용자의 뷰포트에서의 피크 휘도이고, Ns는 세그먼트들의 개수이고, c(i)는 뷰포트와 세그먼트 i의 중첩 부분에 있는 픽셀들의 개수이고, Lst,i는 세그먼트 i에서의 시간-공간적으로 평활화된 세그먼트 피크 휘도이며, Nvp는 뷰포트에서의 픽셀들의 개수이다.
도면들이 디바이스들의 상이한 예들을 도시하고 있지만, 다양한 변경들이 실시 예들에 대하여 이루어질 수 있다. 예를 들어, 전술한 바와 같이, 세그먼트 피크 휘도는 송신부에서 고정된 개수의 세그먼트들에 대해 산출되어 메타데이터로서 수신부에 송신될 수 있다. 일부 실시 예들에서, 피크 휘도는 HMD에서 임의의 뷰포트에 대해 산출될 수 있다. 이것은 HMD에서 추가 산출을 필요로 할 수도 있지만, 세그먼트 피크 휘도 메타데이터가 필요 없으므로 송신 대역폭을 감소시키게 된다. 후자의 방법에 있어서는, 뷰포트들의 세트(즉, 상이한 요(yaw) 및 피치(pitch))에 속하는 픽셀들이 디코더에서의 산출을 감소시키기 위해 미리-라벨링될 수도 있다.
또한, 일부 실시 예들에서는, 피크 휘도가 직사각형 세그먼트들 대신에 상이한 뷰포인트들(예: 요 및 피치 값들)에 대해 산출될 수 있으며, 이들에 대응하는 메타데이터가 수신부에 송신될 수 있다. 수신 단에서는, 뷰어의 뷰포인트(즉, 요 및 피치)에 따라, 적절한 피크 휘도가 톤 맵핑을 위해 직접 사용될 수 있다. 이 방법의 정확성은 요 및 피치 값들의 그래뉼레러티에 의존할 수 있다.
다른 실시 예들에서는, 비디오 컨텐츠들의 연속적인 프레임들에서의 상관관계를 이용하여 비디오 프레임들의 메타데이터(예: 세그먼트 피크 휘도)를 예측할 수 있다. 이 예측 코딩은 송신 대역폭 및 메타데이터의 계산을 감소시킬 수 있다.
일부 실시 예들에서, 이미지 세그먼테이션은 지능적 이미지 세그먼테이션 방식들을 사용함으로써 보다 효율적으로 이루어질 수 있다. 예를 들어, 상단 뷰 전체를 덮는 하늘 영역이 존재하는 경우, 하늘 영역 전체에 대한 단일의 세그먼트를 생성할 수 있으며, 그 영역이 균일하게 분할되는 경우에는, 다수의 HDR 메타데이터를 사용하는 대신에 전체 영역에 대한 단일의 HDR 메타데이터를 사용할 수 있다. 이러한 접근 방식과 관련된 대가는 입력 이미지에 대한 최적 세그먼테이션을 찾아낸 다음, 균일 그리드에 관한 정보 대신에 최적의 세그먼테이션 맵에 관한 정보를 전송하는 것이다. 오츠(Otsu)의 방법, K-평균 클러스터링, 분수령 알고리즘, 텍스처 필터들 등과 같은 지능적 세그먼테이션에 대한 임의의 기술이 사용될 수 있다.
다른 실시 예들에서는, 톤 맵핑 설계와 이미지 세그먼테이션이 결합될 수 있다. 그렇게 함에 있어서, 다음과 같은 수학식 3에 따라 최적의 세그먼테이션 및 대응하는 톤 맵핑 파라미터들을 찾아내기 위한 공동 최적화가 수행된다.
Figure 112018045362698-pct00005
여기서 N은 세그먼트들의 개수이고, K는 세그먼트 K에서의 픽셀들의 개수이고, d()는 HDR과 SDR 픽셀들 사이의 차이를 측정하는 왜곡 함수(distortion function)이며, Pik는 세그먼트 k에서의 i 번째 HDR 픽셀이고, Ω()는 톤 맵핑 함수(파라미터들의 세트로 나타냄)이다.
왜곡 함수의 경우, HDR-VDP2와 같은 객관적인 메트릭(metric)이 사용될 수 있다. 본 제안된 최적화 절차는 반복적이며, 일부 초기 세그먼테이션 및 톤 맵핑 파라미터들로 시작하여 반복 횟수 이후에, 최적의 세그먼테이션 및 톤 맵핑 파라미터들이 찾아내질 수 있다.
뷰포인트들의 확률들은 장면 통계 및 사용자 선호도들에 따라 상이하기 때문에, 일부 실시 예들에서는, 가장 일반적으로 사용되는 뷰(즉, 디폴트 뷰)에 대한 HDR 메타데이터가, 상이한 이미지 세그먼트들에 대한 메타데이터에 부가하여 전송될 수 있다. 디폴트 뷰가 사용되는 경우에는, 복잡성을 감소시키는 어떠한 추가 프로세싱 없이 메타데이터가 직접 사용될 수 있다.
일부 실시 예들에서는, 현재의 뷰에 대한 메타데이터를 산출하는 동안에 사용자의 움직임이 고려될 수 있다. 사용자 모션 궤적(user motion trajectory)을 사용하여 톤 맵핑 파라미터들을 적절하게 산출하거나 평활화할 수 있다. 가장 최근의 이전 시간 뷰에 우선순위가 주어지는 경우, 현재의 뷰에 대한 톤 맵핑 파라미터들은, 다음과 같은 수학식 4에 따라 디스플레이된 비디오에서 임의의 바람직하지 않은 플리커를 방지하기 위해 다음과 같이 평활화될 수 있다.
Figure 112018045362698-pct00006
여기서 Ωt는 현재의 뷰에 대한 톤 맵핑 파라미터들이고,
Figure 112018045362698-pct00007
는 이전 뷰에 대한 평활화된 톤 맵핑 파라미터들이고,
Figure 112018045362698-pct00008
는 현재 뷰에 대한 평활화된 톤 맵핑 파라미터들이며, 또한
Figure 112018045362698-pct00009
는 [0, 1] 범위에서의 망각 요소(forgetting factor)이고, 여기서 제로의 값은 비평활화를 의미한다.
본원의 설명 중의 어떤 것도 임의의 특정 요소, 단계, 또는 기능이 청구범위에 포함되어야 하는 필수 요소인 것을 나타내는 것으로 독해되어서는 안된다. 특허되는 발명의 범위는 청구범위에 의해서만 정의된다.
본 개시가 예시적인 실시 예로 설명되었지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 개시는 첨부된 청구범위의 범주 내에 속하는 그러한 변경 및 수정을 포함하는 것으로 의도된다.

Claims (15)

  1. 전자 장치에 있어서,
    사용자의 뷰포인트(viewpoint) 정보를 결정하도록 구성된 적어도 하나의 센서; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    적어도 하나의 인코딩된 이미지 및 메타데이터를 포함하는 비트 스트림을 수신하고,
    상기 비트 스트림을 디코딩된 이미지 및 메타데이터로 디코딩하고, 상기 디코딩된 이미지는 상기 메타데이터에 의해 지시되는 복수의 세그먼트들로 분할되고,
    상기 뷰포인트 정보에 의해 지시되는 뷰포트에 대응하는 상기 디코딩된 이미지의 일부를 결정하고,
    상기 복수의 세그먼트들 중 상기 뷰포트에 포함된 세그먼트들을 식별하고,
    상기 뷰포트에 포함된 세그먼트들과 연관된 상기 뷰포트에 대한 톤 매핑 함수를 도출하고, 상기 톤 매핑 함수는 상기 세그먼트들과 대응하는 상기 메타데이터에 기초하며,
    상기 뷰포트에 포함된 세그먼트들의 일부에 기초하여 피크 휘도(peak luminance)의 가중 평균(weighted average)을 식별하고,
    상기 뷰포트에 대응하는 상기 디코딩된 이미지의 일부에 상기 피크 휘도의 가중 평균에 기초한 상기 톤 매핑 함수를 적용하고,
    상기 디코딩된 이미지의 일부를 렌더링하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 인코딩된 이미지는, 상기 복수의 세그먼트들을 포함하고, 상기 복수의 세그먼트들 중 각각의 세그먼트들은 세그먼테이션(segmentation) 메타데이터에 의해 식별되는 것인 전자 장치.
  3. 청구항 2에 있어서,
    상기 메타데이터는, 톤 맵핑(tone mapping) 메타데이터 및 세그먼테이션 메타데이터를 포함하는 전자 장치.
  4. 청구항 2에 있어서,
    상기 복수의 세그먼트들 각각의 크기는 동일한 것인, 전자 장치.
  5. 청구항 2에 있어서,
    상기 복수의 세그먼트들 각각의 크기는, 가변적인 것인, 전자 장치.
  6. 청구항 1에 있어서,
    상기 뷰포인트 정보는, 피치(pitch) 정보 및 요(yaw) 정보를 포함하는 전자 장치.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 프로세서는, 상기 피치 정보 및 상기 요 정보에 기반하여, 상기 뷰포트를 결정하도록 구성된 전자 장치.
  8. 청구항 1에 있어서, 상기 전자 장치는 헤드 마운트 디스플레이(Head Mount Display, HMD)인 것인, 전자 장치.
  9. 전자 장치의 미디어 렌더링 방법에 있어서, 상기 방법은,
    적어도 하나의 인코딩된 이미지 및 메타데이터를 포함하는 비트 스트림을 수신하는 단계;
    상기 비트 스트림을 디코딩된 이미지 및 메타데이터로 디코딩하는 단계; , 상기 디코딩된 이미지는 상기 메타데이터에 의해 지시되는 복수의 세그먼트들로 분할되고, 뷰포인트 정보에 의해 지시되는 뷰포트에 대응하는 상기 디코딩된 이미지의 일부를 결정하는 단계;
    상기 복수의 세그먼트들 중 상기 뷰포트에 포함된 세그먼트들을 식별하는 단꼐;
    상기 뷰포트에 포함된 세그먼트들과 연관된 상기 뷰포트에 대한 톤 매핑 함수를 도출하는 단계; 상기 톤 매핑 함수는 상기 세그먼트들과 대응하는 상기 메타데이터에 기초하며,
    상기 뷰포트에 포함된 세그먼트들의 일부에 기초하여 피크 휘도(peak luminance)의 가중 평균(weighted average)을 식별하는 단계;
    상기 뷰포트에 대응하는 상기 디코딩된 이미지의 일부에 상기 피크 휘도의 가중 평균에 기초한 상기 톤 매핑 함수를 적용하는 단계; 및
    상기 디코딩된 이미지의 일부를 렌더링하는 단계를 포함하는 방법.
  10. 제9항에 있어서, 상기 방법은,
    상기 전자 장치의 적어도 하나의 센서로부터 피치 정보 및 요 정보를 수신하는 단계; 및
    상기 피치 정보 및 상기 요 정보에 기초하여 바운딩 박스(bounding box)를 계산하는 단계를 포함하는 방법.
  11. 제9항에 있어서,
    상기 적어도 하나의 인코딩된 이미지는 상기 복수의 세그먼트를 포함하고,
    상기 톤 매핑 함수를 도출하는 단계는,
    상기 뷰포트에 포함된 세그먼트의 수를 결정하는 단계;
    복수의 톤 매핑 함수를 결정하는 단계; 및
    상기 복수의 톤 매핑 함수를 평균화하는 단계를 포함하고,
    각 톤 매핑 함수는 상기 뷰포트에 포함된 하나의 세그먼트에 대응하는 것인, 방법.
  12. 제9항에 있어서,
    상기 적어도 하나의 인코딩된 이미지는 복수의 프레임들을 포함하는 비디오인 것인, 방법.
  13. 제12항에 있어서, 상기 방법은,
    상기 복수의 프레임들 중 각 프레임에 공간 평활화(spatial smoothing)을 적용하는 단계를 더 포함하는 것인, 방법.
  14. 제12항에 있어서, 상기 방법은,
    상기 복수의 프레임들 중 각 프레임에 시간 평활화(temporal smoothing)을 적용하는 단계를 더 포함하는 것인, 방법.
  15. 삭제
KR1020187013139A 2015-12-03 2016-12-02 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치 KR102553273B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562262434P 2015-12-03 2015-12-03
US62/262,434 2015-12-03
US201662290046P 2016-02-02 2016-02-02
US62/290,046 2016-02-02
US15/255,129 US10593028B2 (en) 2015-12-03 2016-09-01 Method and apparatus for view-dependent tone mapping of virtual reality images
US15/255,129 2016-09-01
PCT/KR2016/014093 WO2017095179A1 (en) 2015-12-03 2016-12-02 Method and apparatus for image enhancement of virtual reality images

Publications (2)

Publication Number Publication Date
KR20180080713A KR20180080713A (ko) 2018-07-12
KR102553273B1 true KR102553273B1 (ko) 2023-07-07

Family

ID=58797396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013139A KR102553273B1 (ko) 2015-12-03 2016-12-02 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10593028B2 (ko)
EP (1) EP3362993A4 (ko)
KR (1) KR102553273B1 (ko)
CN (1) CN108369750B (ko)
WO (1) WO2017095179A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037918A (zh) 2016-10-12 2022-09-09 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
KR102233667B1 (ko) * 2017-07-13 2021-03-31 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
WO2019089811A1 (en) * 2017-11-01 2019-05-09 Vrgineers, Inc. Interactive augmented or virtual reality devices
EP3486865A1 (en) * 2017-11-20 2019-05-22 Thomson Licensing Method and device for inverse tone mapping
US11108841B2 (en) 2018-06-19 2021-08-31 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for heterogeneous segmentation of video streaming
JP2020150516A (ja) * 2019-03-15 2020-09-17 シャープ株式会社 画像復号装置及び画像符号化装置
CN113748426B (zh) * 2019-04-25 2023-06-09 杜比实验室特许公司 实时馈送中的内容感知的pq范围分析仪和色调映射

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186714A (ja) 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
US20040001091A1 (en) 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
US7274740B2 (en) * 2003-06-25 2007-09-25 Sharp Laboratories Of America, Inc. Wireless video transmission system
KR100555866B1 (ko) 2004-06-08 2006-03-03 삼성전자주식회사 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
JP2009027604A (ja) 2007-07-23 2009-02-05 Elmo Co Ltd ノイズ低減装置およびノイズ低減方法
CN101938605A (zh) 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
US8280184B2 (en) 2010-04-01 2012-10-02 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
WO2012006578A2 (en) * 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
EP2688297A4 (en) * 2011-03-16 2014-08-27 Korea Electronics Telecomm DEVICE AND METHOD FOR PROVIDING STREAMING CONTENT USING PREPARATIONS
US9013553B2 (en) * 2011-08-31 2015-04-21 Rocks International Group Pte Ltd. Virtual advertising platform
JP6105741B2 (ja) 2012-10-26 2017-03-29 インテル・コーポレーション ビデオの向きの調整（ｃｖｏ）を伴うストリーミング
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
CN105009580B (zh) * 2013-02-21 2017-09-29 杜比实验室特许公司 高动态范围视频的显示管理
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
EP3087740A1 (en) 2013-12-27 2016-11-02 Thomson Licensing Method and device for tone-mapping a high dynamic range image
WO2015105643A1 (en) 2014-01-13 2015-07-16 Marvell World Trade Ltd. System and method for tone mapping of images
GB2523555B (en) 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
DE112016002377T5 (de) * 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
WO2018002882A1 (en) 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content

Also Published As

Publication number Publication date
EP3362993A4 (en) 2019-03-27
KR20180080713A (ko) 2018-07-12
US20170161881A1 (en) 2017-06-08
CN108369750B (zh) 2023-01-31
US10593028B2 (en) 2020-03-17
EP3362993A1 (en) 2018-08-22
CN108369750A (zh) 2018-08-03
WO2017095179A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
KR102553273B1 (ko) 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치
US10497097B2 (en) Image processing method and device, computer readable storage medium and electronic device
EP3412031B1 (en) Method and apparatus for creating and rendering hdr images
CN111225150B (zh) 插帧处理方法及相关产品
CN107438163B (zh) 一种拍照方法、终端及计算机可读存储介质
US20170164024A1 (en) Device and method for displaying a video over a network
US10911691B1 (en) System and method for dynamic selection of reference image frame
KR20160031706A (ko) 이미지의 잡음 특성 개선 방법 및 그 전자 장치
CN112262427B (zh) 拖影评价、改善方法和电子设备
KR101586954B1 (ko) 디지털 영상에서의 컬러 아티팩트 감소 기법
US20180124353A1 (en) Device and method for displaying a video over a network
CN107705247B (zh) 一种图像饱和度的调整方法、终端及存储介质
CN115834897A (zh) 处理方法、处理设备及存储介质
US11128909B2 (en) Image processing method and device therefor
US9767543B2 (en) Method and apparatus for enhancing images via white pop-out
US20160077659A1 (en) Method and apparatus for processing display data in electronic device
WO2019020112A1 (zh) 终端显示方法、终端及计算机可读存储介质
KR102164686B1 (ko) 타일 영상의 영상 처리 방법 및 장치
CN113472980B (zh) 一种图像处理方法、装置、设备、介质和芯片
US11961206B2 (en) Image generation using non-linear scaling and tone-mapping based on cubic spline curves
KR20200041523A (ko) 전자 장치 및 전자 장치의 제어 방법
US20230073970A1 (en) Image generation using non-linear scaling and tone-mapping based on cubic spline curves
WO2023108442A1 (zh) 图像处理方法、智能终端及存储介质
CN107948550B (zh) 一种降低图像噪声的方法、终端和计算机可读存储介质
EP3281173A1 (en) System and method to refine image data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant