KR20190054619A - 디스플레이장치 및 그 제어방법과 기록매체 - Google Patents

디스플레이장치 및 그 제어방법과 기록매체 Download PDF

Info

Publication number
KR20190054619A
KR20190054619A KR1020170151403A KR20170151403A KR20190054619A KR 20190054619 A KR20190054619 A KR 20190054619A KR 1020170151403 A KR1020170151403 A KR 1020170151403A KR 20170151403 A KR20170151403 A KR 20170151403A KR 20190054619 A KR20190054619 A KR 20190054619A
Authority
KR
South Korea
Prior art keywords
image
content
sub
display device
data
Prior art date
Application number
KR1020170151403A
Other languages
English (en)
Other versions
KR102523672B1 (ko
Inventor
김동현
민병석
위호천
김범준
김종환
허도원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170151403A priority Critical patent/KR102523672B1/ko
Priority to US16/760,328 priority patent/US11234042B2/en
Priority to PCT/KR2018/013701 priority patent/WO2019098619A1/ko
Priority to EP18879123.0A priority patent/EP3687184A4/en
Priority to CN201880004661.8A priority patent/CN110050468A/zh
Priority to JP2019515440A priority patent/JP6803463B2/ja
Publication of KR20190054619A publication Critical patent/KR20190054619A/ko
Application granted granted Critical
Publication of KR102523672B1 publication Critical patent/KR102523672B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

디스플레이장치는, 디스플레이부와; 콘텐츠 제공장치로부터 영상데이터를 수신 가능한 수신부와; 수신부를 통해 영상데이터 및 이 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 수신부에 수신되는 영상데이터에 기초하여 메인 콘텐츠 및 이에 메인 콘텐츠에 선택적으로 포함되는 서브 콘텐츠의 영상이 디스플레이부에 표시되게 하고, 참조정보에 기초하여 복수의 영상처리 중에서 영상에 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 영상처리에 의해 영상이 표시되게 하는 프로세서를 포함한다.

Description

디스플레이장치 및 그 제어방법과 기록매체 {DISPLAY APPARATUS, CONTROL METHOD THEREOF AND RECORDING MEDIA}
본 발명은 입력되는 콘텐츠를 처리하여 영상을 표시하는 디스플레이장치 및 그 제어방법과 기록매체에 관한 것으로서, 상세하게는 고해상도 및 고화질의 콘텐츠의 영상을, 사용자의 시인성을 고려하여 표시하는 디스플레이장치 및 그 제어방법과 기록매체에 관한 것이다.
디스플레이장치는 콘텐츠의 신호 또는 데이터를 영상처리 프로세스에 따라서 처리함으로써, 자체 구비한 디스플레이 패널의 화면에 콘텐츠 영상을 표시하는 장치를 통칭하며, 일반 가정에서의 예시로는 TV가 있다. 디스플레이장치에 제공되는 콘텐츠는 광학디스크 재생장치와 같은 콘텐츠 재생장치 또는 셋탑박스와 같은 중계장치로부터, HDMI 등의 규격을 통해 디스플레이장치에 전송된다.
기술의 발전에 따라서 카메라 등의 촬영기기의 성능이 고도화되는 결과, 콘텐츠가 프레임 단위로 포함하는 영상정보는 비약적으로 상승하며, 이는 콘텐츠 재생장치로부터 디스플레이장치에 제공되는 콘텐츠가 초고화질 및 초고해상도로 구현된다는 것을 의미한다. 일례로, 콘텐츠는 HDR(High Dynamic Range) 영상과 같은 고휘도 영상의 콘텐츠일 수 있다. 그런데, HDR 콘텐츠를 디스플레이장치가 표시함에 있어서, 디스플레이장치가 표현 가능한 최대 휘도가 콘텐츠의 최대 휘도보다 낮거나, 디스플레이장치가 표현 가능한 휘도 범위가 콘텐츠의 휘도 범위보다 좁은 경우가 있다. 디스플레이장치는 이러한 HDR 콘텐츠를 표시하기 위해 톤 맵핑(Tone Mapping, TM)이라는 기법을 사용한다.
톤 맵핑 기법은 입력 영상으로서의 콘텐츠의 각 휘도값을, 디스플레이장치가 표현 가능한 휘도 범위의 값들에 맵핑시켜 출력 영상을 생성하고 이를 표시하는 방법이다. 예를 들어 콘텐츠의 영상정보가 0 내지 2000니트(nit)의 휘도 범위인 반면에 디스플레이장치가 표현 가능한 휘도 범위가 0 내지 500니트일 수 있다. 단지 콘텐츠의 휘도값을 그대로 구현시켜 출력 영상을 생성한다면, 디스플레이장치는 500니트보다 큰 휘도값을 표현할 수 없게 된다. 이에, 디스플레이장치는 톤 맵핑을 수행함으로써, HDR 콘텐츠의 휘도 범위를 가진 입력 영상을, 디스플레이장치가 표현 가능한 휘도 범위를 가진 출력 영상으로 변환시킨다.
톤 맵핑 기법의 예시로는 STM(Static Tone Mapping) 기법 및 DTM(Dynamic Tone Mapping) 기법이 있다. STM 기법에 따르면, 톤 맵핑은 디스플레이장치의 속성에 따라서 결정되므로, 콘텐츠의 종류에 무관하게 동일한 디스플레이장치에서 동일한 톤 맵핑이 적용된다. DTM 기법에 따르면, 톤 맵핑은 콘텐츠 내의 장면(scene)에 따라서 결정된다. DTM 기법은 STM 기법에 비해, 통상적으로 콘텐츠 제작자의 의도를 보다 잘 반영할 수 있다.
그런데, 콘텐츠 재생장치로부터 디스플레이장치에 전송되는 데이터가 콘텐츠만이 아닌 경우, 예를 들면 콘텐츠와 별도로 콘텐츠 재생장치에서 생성된 UI가 콘텐츠와 합성된 경우가 있다. 이 경우에 표시되는 콘텐츠 및 UI에 대해 톤 맵핑 기법을 종래대로 적용하게 되면, 사용자가 콘텐츠 및 UI를 시인함에 있어서 불편함 또는 위화감을 느낄 수 있다.
본 발명의 실시예에 따른 디스플레이장치는, 디스플레이부와; 콘텐츠 제공장치로부터 메인 콘텐츠의 데이터를 수신 가능한 수신부와; 상기 수신부를 통해 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 상기 수신부에 수신되는 영상데이터에 기초하여 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상이 상기 디스플레이부에 표시되게 하고, 상기 참조정보에 기초하여 복수의 영상처리 중에서 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 상기 영상처리에 의해 상기 영상이 표시되게 하는 프로세서를 포함한다. 이로써, 디스플레이장치는 메인 콘텐츠에 대해 동적 톤 맵핑이 적용되는 영상에서 서브 콘텐츠가 메인 콘텐츠에 오버레이될 때, 영상의 화질 변화를 최소화할 수 있다.
여기서, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시할 수 있다.
또한, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하며, 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행할 수 있다.
여기서, 상기 프로세서는, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출할 수 있다.
또한, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단되고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단될 수 있다.
또한, 상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하며, 상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 복수의 영상처리 중 제1영상처리로부터 제2영상처리로의 전환 시에, 시간 경과에 따라서 상기 제1영상처리 및 상기 제2영상처리의 적용 비율을 단계적으로 조정할 수 있다.
또한, 상기 프로세서는, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 제어방법은, 콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와; 상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와; 상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함한다.
여기서, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 단계를 포함할 수 있다.
또한, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 영상처리를 수행하는 단계와; 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 영상처리를 수행하는 단계를 포함할 수 있다.
여기서, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출하는 단계를 더 포함할 수 있다.
또한, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단하고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하는 단계와; 상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 프로세서에 의해 실행 가능한 방법의 프로그램이 기록된, 비휘발성의 컴퓨터 독취가능 기록매체에 있어서, 상기 방법은, 콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와; 상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와; 상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이장치에서 콘텐츠 제공장치로부터 수신되는 데이터에 기초하여 콘텐츠 영상 및 UI를 표시하는 모습을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 3은 본 발명의 실시예에 따른 디스플레이장치에 표시되는 영상의 영상프레임들 일부가 시간 순서대로 배치된 모습을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 구성 블록도이다.
도 5는 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 일 실시예를 나타내는 구성 블록도이다.
도 6은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 7은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 디스플레이장치가 시간 순서에 따른 장면 별 각 영상프레임에 대해 톤 맵핑 설정을 적용하는 원리를 설명하는 예시도이다.
도 9는 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 첫 번째 영상프레임에서의 동작을 나타내는 플로우차트이다.
도 10은 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 두 번째 영상프레임 이후부터의 동작을 나타내는 플로우차트이다.
도 11은 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 12는 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이장치에서 콘텐츠 제공장치로부터 수신되는 데이터에 기초하여 콘텐츠 영상 및 UI를 표시하는 모습을 나타내는 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이장치(120)는 콘텐츠 제공장치(110)에 접속됨으로써, 콘텐츠 제공장치(110)로부터 출력되는 데이터를 처리하고, 이에 기반한 영상을 표시한다. 즉, 콘텐츠 제공장치(110)는 소스 디바이스로 동작하며, 디스플레이장치(120)는 싱크 디바이스로 동작한다. 콘텐츠 제공장치(110) 및 디스플레이장치(120) 사이의 접속 방식은 다양한 유무선 규격일 수 있으며, 본 실시예에서는 HDMI(High-Definition Multimedia Interface) 방식을 예로 들지만, 이 외에도 다양한 방식이 적용될 수 있다.
디스플레이장치(120)는 TV, 모니터 등을 비롯하여 영상을 표시 가능한 제반 장치를 포함한다. 콘텐츠 제공장치(110)는 블루레이 또는 DVD 등의 광학디스크 재생장치, 셋탑박스, 스트리밍 장치 등, 콘텐츠를 재생하거나 중계하는 제반 장치를 포함한다.
콘텐츠 제공장치(110)가 콘텐츠를 재생하여 생성한 TMDS 방식의 콘텐츠 신호를 HDMI 케이블을 통해 디스플레이장치(120)에 전송하면, 디스플레이장치(120)는 콘텐츠 신호를 영상처리 프로세스에 따라서 처리함으로써 디스플레이부 상에 콘텐츠 영상을 표시한다. 영상처리 프로세스는 콘텐츠 신호의 포맷에 따라서 여러 가지 형태가 가능한데, 예를 들면 디멀티플렉싱, 디코딩, 디스크램블링, 디테일 강화, 스케일링 등이 있다.
콘텐츠는 기본적으로 소정의 레퍼런스 모니터에서 표시되는 경우를 기준으로 상정하여, 레퍼런스 모니터의 색역 및 휘도를 고려하여 제작된다. 콘텐츠가 HDR 영상 콘텐츠로 구현되면, 해당 콘텐츠는 LDR(Low Dynamic Range) 영상 콘텐츠에 비해 넓은 휘도 범위를 가지며 정밀한 영상을 표현할 수 있다.
그런데, 디스플레이장치(120)가 표현할 수 있는 최대 휘도가 레퍼런스 모니터의 경우보다 낮다면, 디스플레이장치(120)는 톤 맵핑 기법을 사용하여 HDR 영상 콘텐츠인 입력 영상을 LDR 영상인 출력 영상으로 변환시켜 표시한다. 톤 맵핑 기법에는 디스플레이장치의 속성에 기반한 STM(Static Tone Mapping) 기법과, 콘텐츠의 속성에 기반한 DTM(Dynamic Tone Mapping) 기법이 있다. 디스플레이장치(120)는 STM 및 DTM 중 어느 하나를 적용하여 출력 영상을 생성할 수 있다.
DTM은 콘텐츠 내의 장면 전환에 따라서 해당 장면에 적합한 톤 맵핑을 수행하므로, STM에 비해 콘텐츠 제작자의 의도가 보다 잘 반영된 콘텐츠 영상이 표시되도록 할 수 있다. 따라서, 디스플레이장치(120)는 이러한 점을 고려하여, 콘텐츠 제공장치(110)로부터 콘텐츠 데이터를 포함하는 신호가 수신되면, 해당 콘텐츠 데이터를 DTM 기법에 따라서 콘텐츠 영상으로 변환하여 표시한다.
그런데, 디스플레이장치(120)에 콘텐츠 영상(141)만이 표시되는 것이 아닌, 콘텐츠 영상(141)에 UI(142)가 오버레이된 합성 영상(140)이 표시되는 경우도 있다. 예를 들면, 디스플레이장치(120)에 콘텐츠 영상(141)만이 표시되는 동안에 사용자가 리모트 컨트롤러(130)를 조작함으로써, UI(142)를 표시하도록 지시하는 커맨드가 리모트 컨트롤러(130)로부터 콘텐츠 제공장치(110)에 전송되는 경우가 있다. 콘텐츠 제공장치(110)는 UI(142)를 생성하여 콘텐츠 영상(141)에 합성시킨 합성 영상(140)의 데이터를 디스플레이장치(120)에 출력하며, 디스플레이장치(120)는 합성 영상(140)의 데이터를 처리함으로써 합성 영상(140)을 표시한다.
만일 콘텐츠 영상(141)만을 표시하는 경우와 동일하게 합성 영상(140)에 DTM 기법을 적용하여 표시한다면, 콘텐츠 영상(141)의 장면 전환 시에는 UI(142)에 각 장면 별로 상이한 톤 맵핑이 적용되므로, 사용자가 UI(142)를 시청할 때에 부자연스러움을 느끼게 할 수 있다. 이러한 점을 극복하도록, 본 발명의 실시예에서는 다음과 같은 방법이 제안된다.
디스플레이장치(120)는 STM 처리 및 DTM 처리를 포함하는 영상처리 중에서, 메인 콘텐츠의 영상에 서브 콘텐츠가 포함되는지 여부에 따라서 결정된 어느 하나의 영상처리를 통해 영상(140)을 표시한다. 여기서, 영상(140)은 메인 콘텐츠는(141)와, 메인 콘텐츠(141) 상에 오버레이된 서브 콘텐츠(142)를 포함할 수 있다. 서브 콘텐츠는 콘텐츠 영상(141)과 상이한 부가영상의 데이터를 의미하며, UI(142), OSD(on-screen display), 또는 메인 콘텐츠(141)의 콘텐츠와 상이한 타 콘텐츠가 될 수 있다.
구체적으로, 디스플레이장치(120)는 콘텐츠 제공장치(110)로부터 수신되는 기 설정된 참조정보에 기초하여, 콘텐츠 영상(141)로부터 메인 콘텐츠(141)의 메인 콘텐츠 데이터가 출력되는지, 아니면 서브 콘텐츠(142)의 서브 콘텐츠 데이터가 메인 콘텐츠 데이터에 부가되어 출력되는지 여부를 판단한다. 디스플레이장치(120)는 서브 콘텐츠 데이터가 부가되지 않은 메인 콘텐츠 데이터가 출력되는 것으로 판단되면, 해당 콘텐츠 영상(141)의 속성에 기반한 DTM 처리를 수행한다. 반면, 디스플레이장치(120)는 서브 콘텐츠 데이터가 메인 콘텐츠 데이터에 부가되어 출력되는 것으로 판단되면, 디스플레이장치(120)의 속성에 기반한 STM 처리를 수행한다. DTM 처리 및 STM 처리에 관한 보다 상세한 내용은 후술한다.
이로써, 디스플레이장치(120)는 DTM 처리에 의해 콘텐츠 영상(141)이 표시되는 동안에 UI(142)가 표시되는 경우에, 콘텐츠 영상(141)의 장면 전환 시에 UI(142)의 표시 화질이 바뀌지 않도록 함으로써, 사용자가 UI(142)를 자연스럽게 인지하도록 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 2에 도시된 바와 같이, 디스플레이장치는 다음 과정과 같이 동작한다.
210 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 콘텐츠 영상에 대응하는 콘텐츠 데이터를 수신한다.
220 단계에서 디스플레이장치는 수신되는 콘텐츠 데이터에 대해 콘텐츠 영상의 속성에 대응하는 DTM 처리를 수행한다. DTM 처리를 위한 DTM 데이터, 즉 DTM 톤 맵핑 설정은, 디스플레이장치가 콘텐츠 재생장치로부터 수신할 수 있다. 또는 DTM 톤 맵핑 설정은 디스플레이장치가 콘텐츠 재생장치로부터 수신되는 메타데이터에 기초하여 생성할 수 있다. 메타데이터에 기초한 DTM 톤 맵핑 설정에 관한 내용은 후술한다.
230 단계에서 디스플레이장치는 DTM 처리가 수행된 콘텐츠 영상을 표시한다.
240 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 콘텐츠 영상에 부가영상이 오버레이된 합성 영상에 대응하는 합성 영상 데이터가 수신되는지 여부를 판단한다.
만일 합성 영상 데이터가 아닌 콘텐츠 데이터만이 수신되는 것으로 판단되면, 디스플레이장치는 220 단계로 이행하여, 콘텐츠 재생장치로부터 수신되는 콘텐츠 데이터에 대한 DTM 처리를 계속 수행한다.
반면에 합성 영상 데이터가 수신되는 것으로 판단되면, 250 단계에서 디스플레이장치는 합성 영상 데이터에 대해 디스플레이장치의 속성에 대응하는 STM 처리를 수행한다.
260 단계에서 디스플레이장치는 STM 처리가 수행된 합성 영상을 표시한다.
270 단계에서 디스플레이장치는 콘텐츠 재생장치로부터 합성 영상 데이터의 수신이 종료되고 콘텐츠 데이터만이 수신되는지 여부를 판단한다.
만일 합성 영상 데이터가 계속 수신되는 것으로 판단되면, 디스플레이장치는 250 단계로 이행하여, 합성 영상 데이터에 대한 STM 처리를 계속 수행한다.
반면에 합성 영상 데이터의 수신으로부터 콘텐츠 데이터만의 수신으로 전환된 것으로 판단되면, 디스플레이장치는 220 단계로 이행하여, 콘텐츠 재생장치로부터 수신되는 콘텐츠 데이터에 대한 DTM 처리를 수행한다.
이하, STM 처리 및 DTM 처리에 관해 보다 구체적으로 설명한다.
STM 처리는 영상을 표시하는 디스플레이장치의 속성에 기반하여 톤 맵핑을 수행하는 방법이다. 여기서 디스플레이장치의 속성은, 예를 들면 디스플레이장치가 표현 가능한 색역, 최대 휘도, 휘도 범위 등을 포함한다. 디스플레이장치의 휘도 범위를 고려하면, 톤 맵핑은 입력 영상의 픽셀값, 계조값 또는 휘도값에 대비한 출력 영상의 휘도값의 테이블로 구현될 수 있으며, 하나의 테이블은 2차원 상의 하나의 커브로 표현될 수 있다. 즉, 톤 맵핑 커브는 입력 영상의 픽셀값, 계조값 또는 휘도값을 나타내는 가로축과, 출력 영상의 휘도값을 나타내는 세로축에 의한 평면 상에 구현된다. 세로축의 범위는 디스플레이장치에 따라서 결정된다.
디스플레이장치의 속성에 기반하여 톤 맵핑이 수행된다는 것은, 한 가지의 톤 맵핑 테이블 또는 한 가지의 톤 맵핑 커브만이 적용된다는 것을 의미한다. 즉, STM 처리는 각 디스플레이장치 별로 상이한 톤 맵핑 커브가 적용될 수 있지만, 하나의 디스플레이장치에서는 어떠한 콘텐츠를 막론하고 동일한 톤 맵핑 커브가 적용된다.
DTM 처리는 콘텐츠 영상의 속성에 기반하여 톤 맵핑을 수행하는 방법이다. 여기서 콘텐츠 영상의 속성은 콘텐츠의 장면 단위를 의미하는 바, DTM 처리에서는 콘텐츠의 장면 단위로 각기 상이한 톤 맵핑 커브가 마련된다. 디스플레이장치는 콘텐츠의 현재 장면에 대응하는 톤 맵핑 커브를 현재 장면의 영상프레임에 적용하며, 장면이 다른 장면으로 전환되면 전환된 장면에 대응하는 톤 맵핑 커브를 전환된 장면의 영상프레임에 적용한다. 즉, DTM 처리에서는 하나의 디스플레이장치에서 표시되는 콘텐츠 영상 내에서, 장면에 따라서 상이한 톤 맵핑 커브가 적용된다.
콘텐츠 재생장치로부터 콘텐츠 영상에 대응하는 콘텐츠 데이터만이 출력될 때, 디스플레이장치는 콘텐츠 데이터에 대해 DTM 처리를 하여 콘텐츠 영상을 표시하는 것이 바람직하다. 이 경우에, STM 처리보다는 DTM 처리 쪽이 콘텐츠 제공자의 의도를 보다 정확하게 반영한 콘텐츠 영상이 표시되게 할 수 있다.
이하, 본 발명의 실시예를 반영하는 경우에 사용자가 느끼는 영상에 대한 시인성에 관해 설명한다.
도 3은 본 발명의 실시예에 따른 디스플레이장치에 표시되는 영상의 영상프레임들 일부가 시간 순서대로 배치된 모습을 나타내는 예시도이다.
도 3에 도시된 바와 같이, 콘텐츠 영상(310)은 시간 순서에 따라서 순차적으로 표시되는 복수의 영상프레임을 포함한다. 콘텐츠 영상(310)은 각 장면 단위로 하나 이상의 영상프레임을 포함하며, 시간 경과에 따라서 하나의 장면이 끝나면 그 다음 장면으로 전환된다. 콘텐츠 영상(310) 내에서 하나의 장면을 어떻게 지정할 것인지 또는 두 장면 사이를 어떻게 구분할 것인지는 여러 가지 방법이 있겠지만, 대체적으로 콘텐츠 제공자에 의해 콘텐츠 영상(310)에 부가된 메타데이터에 영상프레임 단위로 장면(scene)을 구분하는 정보가 기록될 수 있다.
DTM 처리에서 콘텐츠 영상(310)의 장면 단위로 톤 맵핑 테이블와 같은 톤 맵핑 설정정보가 개별적으로 마련되는 이유는 다음과 같다. 예를 들면, 장면 #a는 밤과 같이 상대적으로 어두운 배경의 화면이고, 이어지는 장면 #b는 낮과 같이 상대적으로 밝은 배경의 화면이다.
만일 콘텐츠 영상(310)에 UI(320)가 오버레이되지 않고 콘텐츠 영상(310)만이 표시되는 경우에, 장면 #a의 영상프레임에 대해서는 장면 #a에 대응하는 톤 맵핑 설정이 적용되고, 장면 #b의 영상프레임에 대해서는 장면 #b에 대응하는 톤 맵핑 설정이 적용된다. 즉, 장면 #a에서 장면 #b로 이행되는 순간에, 장면 #a에 대응하는 톤 맵핑 설정으로부터 장면 #b에 대응하는 톤 맵핑 설정으로 이행된다. 장면 #a에서의 광량 및 장면 #b에서의 광량이 서로 상이하므로, 명암비를 고려하면 각 장면에 대해 톤 맵핑을 상이하게 적용해야 장면이 변하더라도 사용자의 시인성이 보장될 수 있다.
그런데, 본 도면에서처럼 장면 #a가 표시되는 와중에 UI(320)가 콘텐츠 영상(310)에 오버레이되고, 그 상태에서 장면 #b로 전환된 이후 소정 시간동안 UI(320)가 콘텐츠 영상(310) 위에 표시되는 경우가 있다. 만일 이 때에도 각 장면 영상프레임에 대해서는 해당 장면에 대응하는 톤 맵핑 설정을 적용하게 되면, UI(320)에도 각기 다른 톤 맵핑이 적용된다. 이는 콘텐츠 영상(310)의 장면이 전환됨에 따라서 UI(320)의 화질이 급격하게 변하는 것처럼 사용자에게 인지될 수 있으므로, 사용자의 불편함을 초래한다.
이에, 본 발명의 실시예에 따른 디스플레이장치는 콘텐츠 영상(310)의 장면 #a를 표시하는 동안에 콘텐츠 영상(310)에 UI(320)가 오버레이된 것으로 감지되면, 영상에 대한 톤 맵핑 설정을 장면 #a에 대응하는 DTM 설정에서 STM 설정으로 전환시킨다. 디스플레이장치는 콘텐츠 영상(310)의 장면이 전환되더라도 UI(320)가 계속 표시되는 동안에는 STM 설정을 유지한다. UI(320)가 더 이상 표시되지 않는다고 감지되면, 디스플레이장치는 바로 현재 장면에 대응하는 DTM 설정으로 전환하거나, 또는 현재 장면이 지속되는 동안에는 STM 설정을 유지한 이후에, 다음 장면으로 전환되는 시점에서 전환된 장면에 대응하는 DTM 설정으로 전환한다.
이로써, UI(320)가 표시되는 동안에는 UI(320)에 대한 시인성을 보장할 수 있다.
이하, 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 하드웨어 구성에 관해 설명한다.
도 4는 본 발명의 실시예에 따른 디스플레이장치 및 콘텐츠 제공장치의 구성 블록도이다.
도 4에 도시된 바와 같이, 디스플레이장치(410)는 콘텐츠 제공장치(420)로부터 콘텐츠 신호를 수신하는 수신부(411)와, 영상을 표시하는 디스플레이부(412)와, 오디오를 출력하는 스피커(413)와, 사용자에 의한 입력 조작이 수행되는 사용자입력부(414)와, 데이터가 저장되는 저장부(415)와, 콘텐츠 신호의 처리 및 디스플레이장치의 동작을 위한 처리를 수행하는 프로세서(416)를 포함한다.
콘텐츠 제공장치(420)는 디스플레이장치(410)에 콘텐츠 신호를 전송하는 송신부(421)와, 콘텐츠 신호를 재생하여 송신부(421)에 전달하도록 처리하는 콘텐츠 신호 재생부(422)를 포함한다. 송신부(421)는 수신부(411)에 대응하여 통신 가능하도록 마련된 통신회로를 포함한다. 콘텐츠 신호 재생부(422)는 통상적 의미의 하드웨어 프로세서로 구현된다.
수신부(411)는 다양한 종류의 통신 프로토콜에 대응하는 통신모듈 또는 포트 등이 조합된 데이터 입출력 인터페이스를 포함하는 통신회로이다. 수신부(411)는 기본적으로는 콘텐츠 제공장치(420)로부터 콘텐츠 신호를 수신하지만, 양방향으로 신호를 송수신할 수 있게 마련된다. 본 실시예에 따른 수신부(411)는 HDMI 케이블을 통해 콘텐츠 제공장치(420)에 접속되지만, 접속되는 방식이 HDMI에 한정되는 것은 아니다.
디스플레이부(412)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(412)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판 등이 추가된다.
스피커(413)는 오디오신호를 음향으로 출력한다. 스피커(413)는 어느 한 오디오채널의 오디오데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오채널의 오디오데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다.
사용자입력부(414)는 사용자의 조작 또는 입력에 따라서 기 설정된 제어 커맨드 또는 정보를 프로세서(416)에 전달한다. 사용자입력부(414)는 정보의 입력 방식에 따라서 다양한 형태로 구현될 수 있으며, 예를 들면 디스플레이장치(410)의 외측에 설치된 키, 디스플레이부(412)에 설치된 터치스크린, 사용자의 발화가 입력되는 마이크로폰, 사용자의 제스쳐 등을 촬영 또는 감지하는 카메라, 센서 등, 디스플레이장치(410)에 설치된 여러 사용자 인터페이스 환경을 포함한다. 또는, 사용자입력부(414)는 디스플레이장치(410)와 물리적으로 분리된 리모트 컨트롤러를 포함할 수도 있다.
저장부(415)는 프로세서(416)에 의해 억세스되며, 프로세서(416)의 제어에 따라서 데이터의 독취, 기록, 수정, 삭제, 갱신 등의 동작이 수행된다. 저장부(415)는 디스플레이장치(410)의 전원의 제공 유무와 무관하게 데이터를 저장할 수 있는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리와, 처리를 위한 데이터가 로딩되는 버퍼, 램 등과 같은 휘발성 메모리를 포함한다.
프로세서(416)는 수신부(411)에 수신되는 콘텐츠 신호에 대한 처리를 수행함으로써 콘텐츠 영상이 디스플레이부(412)에 표시되도록 한다. 프로세서(416)는 콘텐츠 신호로부터 영상데이터를 추출하고, 영상데이터를 디코딩하고, 영상데이터를 톤 맵핑 처리하여 디스플레이부(412)로 출력한다. 프로세서(416)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)으로 구현될 수도 있다. 프로세서(416)는 디멀티플렉서, 디코더, 스케일러, 오디오 DSP, 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함하며, 이들 중 일부가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
이하, 본 발명의 사상을 구현하기 위해 디스플레이장치 및 콘텐츠 제공장치의 동작들에 관한 다양한 실시예들에 관해 설명한다.
도 5는 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 일 실시예를 나타내는 구성 블록도이다.
도 5에 도시된 바와 같이, 콘텐츠 제공장치(510)는 콘텐츠 영상에 대응하는 콘텐츠 데이터(511)가 재생되는 동안에 UI 등의 그래픽 영상에 대응하는 UI 데이터(512)가 생성되면, 콘텐츠 영상 위에 UI가 결합되어 표시될 수 있도록 콘텐츠 데이터(511) 및 UI 데이터(512)를 합성한다(514).
한편, 콘텐츠 제공장치(510)는 콘텐츠 영상 대비 UI의 면적을 계산하여(515), 메타데이터의 일 필드에 계산 결과를 기록한다. 필드의 명칭은 편의상 'Graphic_info_flag'로 지칭하지만, 이는 한 가지 예시일 뿐이다. 콘텐츠 제공장치(510)는 콘텐츠 영상 대비 UI의 면적이 소정의 문턱값보다 작으면 Graphic_info_flag=0으로 설정하고, 콘텐츠 영상 대비 UI의 면적이 상기한 문턱값보다 크면 Graphic_info_flag=1로 설정한다. 예를 들어 문턱값이 2%일 때, 콘텐츠 제공장치(510)는 콘텐츠 영상에 오버레이된 UI의 면적이 콘텐츠 영상의 전체 면적 중 1%를 점유한다면 Graphic_info_flag=0으로 설정한다.
즉, Graphic_info_flag=0는 콘텐츠 영상에 실질적으로 UI가 오버레이되어 표시됨을 의미하며, Graphic_info_flag=1은 콘텐츠 영상에 UI가 오버레이되지 않고 콘텐츠 영상만 있거나 또는 콘텐츠 영상에 오버레이된 UI가 무시될 수 있을 정도로 작다는 것을 의미한다.
콘텐츠 제공장치(510)는 콘텐츠 데이터(511) 및 UI 데이터(512)가 합성된 영상데이터와, 메타데이터(513)를 함께 디스플레이장치(520)에 전송한다(516). Graphic_info_flag의 값은 전송 이전에 메타데이터(513)에 기록된다.
디스플레이장치(520)는 영상데이터 및 메타데이터가 수신되면(521), 메타데이터를 분석하여 Graphic_info_flag의 값을 확인한다(522). 디스플레이장치(520)는 확인된 Graphic_info_flag의 값에 대응하여 DTM 및 STM 중에서 어느 한 톤 맵핑의 설정을 선택한다(523). 톤 맵핑의 설정에서, 디스플레이장치(520)는 Graphic_info_flag=0이면 메타데이터에 지정된 콘텐츠영상의 속성에 따라서 DTM 설정을 하고, Graphic_info_flag=1이면 디스플레이장치(520)의 속성에 따라서 STM 설정을 한다.
디스플레이장치(520)는 영상데이터(524)에 대해, 결정된 톤 맵핑 설정에 따라서 톤 맵핑을 수행하고(525), 디스플레이부에 영상이 표시되도록 한다.
도 6은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 6에 도시된 바와 같이, 콘텐츠 제공장치(610)는 콘텐츠 영상에 대응하는 콘텐츠 데이터(611)가 재생되는 동안에 UI 등의 그래픽 영상에 대응하는 UI 데이터(612)가 생성되면, 콘텐츠 영상 위에 UI가 결합되어 표시될 수 있도록 콘텐츠 데이터(611) 및 UI 데이터(612)를 합성한다(614).
한편, 콘텐츠 제공장치(610)는 콘텐츠 영상 대비 UI의 면적을 계산하여(615), 'Graphic_info_flag' 및 'Graphic_area'의 값을 도출한다. 콘텐츠 제공장치(610)는 UI 영상이 생성되었으면 Graphic_info_flag=1로 설정하되, Graphic_area에 콘텐츠 영상 대비 UI의 면적의 값을 기록한다.
콘텐츠 제공장치(610)는 콘텐츠 데이터(611) 및 UI 데이터(612)가 합성된 영상데이터와, 메타데이터(613)를 함께 디스플레이장치(620)에 전송한다(616). Graphic_info_flag 및 Graphic_area의 값은 전송 이전에 메타데이터(613)에 기록된다.
디스플레이장치(620)는 영상데이터 및 메타데이터가 수신되면(621), 메타데이터를 분석하여 Graphic_info_flag 및 Graphic_area의 값을 확인한다(622). 디스플레이장치(620)는 Graphic_info_flag=1이면, Graphic_area의 값을 소정의 문턱값과 비교한다. 디스플레이장치(620)는 Graphic_area의 값이 문턱값보다 크면 디스플레이장치(620)의 속성에 따라서 STM 설정을 하고, Graphic_area의 값이 문턱값보다 작으면 메타데이터에 지정된 콘텐츠영상의 속성에 따라서 DTM 설정을 한다.
디스플레이장치(620)는 영상데이터(624)에 대해, 결정된 톤 맵핑 설정에 따라서 톤 맵핑을 수행하고(625), 디스플레이부에 영상이 표시되도록 한다.
본 실시예가 앞선 도 5 관련 실시예와 상이한 점은 다음과 같다. 앞선 도 5 관련 실시예에서는 콘텐츠 제공장치가 DTM 설정 및 STM 설정 중 어느 것을 선택하는지 결정하고, 디스플레이장치는 메타데이터에 기록된 콘텐츠 제공장치가 선택 정보에 따라서 톤 맵핑을 수행하였다. 이에 비해, 본 실시예서는 콘텐츠 제공장치(610)는 UI가 생성되었다는 정보 및 UI의 면적에 관한 정보를 디스플레이장치(620)에 전달하고, 해당 정보에 기초하여 디스플레이장치(620)가 DTM 설정 및 STM 설정 중 어느 것을 선택하는지 결정한다.
도 7은 본 발명의 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 7에 도시된 바와 같이, 콘텐츠 제공장치(710)는 콘텐츠 데이터(711) 및 UI 데이터(712)를 합성하여 영상 데이터를 생성한다. 한편, 콘텐츠 제공장치(710)는 STM을 위한 STM 메타데이터 및 DTM을 위한 DTM 메타데이터를 마련한다. STM 메타데이터는 디스플레이장치(720)로부터 취득한 디스플레이장치(720)의 속성에 기반한 톤 맵핑 설정정보를 포함한다. DTM 메타데이터는 콘텐츠 데이터(711)의 속성에 기반한 톤 맵핑 설정정보를 포함한다.
콘텐츠 제공장치(710)는 콘텐츠 영상 대비 UI의 면적을 계산한다(715). 콘텐츠 제공장치(710)는 계산된 면적이 소정의 문턱값보다 크면 STM 메타데이터 및 DTM 메타데이터 중에서 STM 메타데이터를 선택하며, 계산된 면적이 문턱값보다 작으면 DTM 메타데이터를 선택한다(716).
콘텐츠 제공장치(710)는 영상데이터와 함께, 선택된 메타데이터를 디스플레이장치(720)에 전송한다(717). 즉, 본 실시예에서는 콘텐츠 제공장치(710)가 STM 및 DTM 중 어느 하나를 선택하고, 선택된 방식에 따른 톤 맵핑 설정정보를 생성하여 디스플레이장치(720)에 전달한다.
디스플레이장치(720)는 콘텐츠 제공장치(710)로부터 영상데이터 및 메타데이터를 수신한다(721). 디스플레이장치(720)는 메타데이터를 분석하여(722), 메타데이터에 포함된 톤 맵핑 설정정보를 취득한다(723). 디스플레이장치는 취득한 톤 맵핑 설정정보에 따라서 영상데이터(724)에 대해 톤 맵핑을 수행한다(725).
한편, 앞선 실시예에서, 콘텐츠영상 위에 UI가 더 이상 표시되지 않는다고 감지되면, 디스플레이장치는 바로 현재 장면에 대응하는 DTM 설정으로 전환하거나, 또는 현재 장면이 지속되는 동안에는 STM 설정을 유지한 이후에, 다음 장면으로 전환되는 시점에서 전환된 장면에 대응하는 DTM 설정으로 전환할 수 있다고 설명한 바 있다. 이에 관해 보다 구체적으로 이하 설명한다.
도 8은 본 발명의 실시예에 따른 디스플레이장치가 시간 순서에 따른 장면 별 각 영상프레임에 대해 톤 맵핑 설정을 적용하는 원리를 설명하는 예시도이다.
도 8에 도시된 바와 같이, 디스플레이장치는 시간 경과에 따라서 콘텐츠 영상의 각 장면을 순차적으로 표시하며, 각 장면은 복수의 영상프레임을 포함한다. 디스플레이장치는 각 영상프레임에 대해 DTM 및 STM 중 어느 하나의 설정을 적용하여 톤 맵핑을 수행한다.
디스플레이장치에서 콘텐츠 영상의 장면 #a가 표시되는 동안의 일 시점 t1에 UI가 콘텐츠 영상에 오버레이되어 표시된다. 이 경우, 디스플레이장치는 DTM 설정을 STM 설정으로 전환하고, 콘텐츠 영상 및 UI의 합성 영상에 대해 STM 설정에 따라서 톤 맵핑을 수행한다. UI가 표시되는 동안 콘텐츠 영상이 장면 #a로부터 장면 #b로 전환되더라도, 디스플레이장치는 STM 설정을 유지하며 장면의 영상프레임들에 대해 톤 맵핑을 수행한다.
그런데, 콘텐츠 영상의 장면 #b가 표시되는 동안의 일 시점 t2에 UI의 표시가 종료되면, 그 이후부터는 콘텐츠 영상만이 표시되므로 톤 맵핑 설정을 STM 설정으로부터 DTM 설정으로 전환해야 한다. 여기서, 톤 맵핑 설정이 어느 시점에 전환되는 것이 바람직한지에 관해 이하 설명한다.
한 가지 예시로서, 디스플레이장치는 시점 t2에 STM 설정으로부터 콘텐츠 영상의 장면 #b에 대응하는 DTM 설정으로 전환할 수 있다. 그런데, 시점 t2부터 다음 장면 #c로 전환되는 시점 t3까지의 시간 구간 동안은, 콘텐츠 영상의 장면 #b가 계속 표시된다. 즉, 시점 t2에 톤 맵핑의 설정이 전환되면, 시점 t2의 이전의 콘텐츠 영상에는 STM 설정이 적용되는 반면에 시점 t2 이후의 콘텐츠 영상에는 DTM 설정이 적용된다. 이 때문에, 사용자는 시점 t2를 경계로 하여 콘텐츠 영상의 화질이 크게 바뀐 것처럼 느낄 수 있다.
사용자가 느낄 수 있는 이러한 위화감을 최소화하기 위한 다른 예시로서, 디스플레이장치는 시점 t2에 톤 맵핑의 설정을 전환하지 않고, 콘텐츠 영상의 장면 #b가 표시되는 동안에도 STM 설정을 유지한다. 그리고, 디스플레이장치는 시점 t3에 콘텐츠 영상이 장면 #c로 전환되면, STM 설정으로부터 콘텐츠 영상의 장면 #c에 대응하는 DTM 설정으로 전환한다. 이렇게 함으로써 디스플레이장치는 콘텐츠 영상을 시청하는 사용자가 동일 장면 내에서의 화질 변화를 느끼지 않도록 할 수 있다.
한편, 앞선 실시예들에서는 일 시점에 톤 맵핑의 설정을 바로 전환하는 것처럼 설명하였다. 이러한 방법도 가능하지만, 톤 맵핑이 영상의 화질에 큰 영향을 미치는 특성 상, 급격한 톤 맵핑 설정의 전환은 사용자에게 영상의 화질이 갑자기 바뀌는 것으로 보이게 함으로써 사용자에게 불편함을 줄 수 있다. 이하, 이러한 불편함을 해소하기 위한 실시예에 관해 설명한다.
도 9는 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 첫 번째 영상프레임에서의 동작을 나타내는 플로우차트이다.
도 9에 도시된 바와 같이, 디스플레이장치는 다음과 같은 과정을 따라서 동작한다. DTM으로부터 STM, 또는 STM으로부터 DTM으로 톤 맵핑 설정이 전환될 때에는, 영상의 급격한 화질 변화를 방지하기 위해 기 설정된 시간 구간 동안의 화질 변화 구간인 트랜지션(transition) 구간이 마련될 수 있다. 예를 들면 톤 맵핑 설정을 소정의 DTM 커브로부터 소정의 STM 커브로 전환, 즉 트랜지션하고자 할 때, 시간 경과에 따라서 디스플레이장치는 DTM 커브 및 STM 커브의 적용 비율을 단계적으로 조정함으로써 급격한 화질 변화를 억제할 수 있다.
톤 맵핑의 전환 개시 시점에서의 톤 맵핑 커브를 C1, 전환 완료 시점에서의 톤 맵핑 커브를 C2라고 하면, 전환 개시 시점 및 전환 완료 시점 사이의 일 시점에서의 톤 맵핑 커브 Cc는, 'Cc=C1*Tr+C2(1-Tr)'로 나타낼 수 있다. Tr은 트랜지션 비율이며, 100부터 0 사이 범위 내의 값을 가진다. 전환 개시 시점에는 Tr=100이 되며, 전환 개시 시점으로부터 단위시간만큼 경과함에 따라서 Tr은 해당 단위시간마다 기 설정된 양의 정수값인 'step_size' 만큼 감소된다. 전환 완료 시점이 되면 Tr=0이 된다. 예를 들면 단위시간이 3초이면, 24 fps 콘텐츠는 72프레임 동안 Tr이 100부터 0까지 단계적으로 감소해야 하며, 이에 맞춰 step_size의 값이 사전에 설정된다. step_size의 값은 톤 맵핑 커브의 트랜지션의 속도를 조절하는 인자가 된다. 트랜지션 비율은 선형으로 설정될 수도 있지만, 기 설정된 시그모이드(Sigmoid) 형태의 커브로 설정될 수도 있다.
톤 맵핑 설정의 트랜지션의 구체적인 과정은 다음과 같다. 910 단계에서 디스플레이장치는 전환 개시 시점에서의 첫 번째 영상프레임을 확인한다.
920 단계에서 디스플레이장치는 콘텐츠 제공장치로부터 Graphic_info_flag=1로 기록된 메타데이터가 수신되거나 또는 STM 설정 정보가 기록된 메타데이터가 수신되는지 여부를 판단한다. 즉, 디스플레이장치는 콘텐츠 영상에 UI 등의 부가영상이 합성된 데이터가 수신되는지 여부를 판단한다.
부가영상이 있음을 나타내는 메타데이터가 수신되면, 930 단계에서 디스플레이장치는 하나의 단위시간이 경과함에 응답하여 step_size만큼 트랜지션 비율을 감소시킨다. 즉, Tr=100-(step_size)가 된다.
940 단계에서 디스플레이장치는 감소된 트랜지션 비율만큼 톤 맵핑 설정을 DTM으로부터 STM으로 전이시킨다. 앞서 설명한 바와 같이, 전이되는 시점의 톤 맵핑 커브는 Cc=C1*Tr+C2(1-Tr)로 나타낼 수 있다. C1이 DTM 커브이고 C2가 STM 커브이면, Cc는 C1으로부터 Tr만큼 C2에 인접한 커브를 나타낸다.
반면, 부가영상이 있음을 나타내는 메타데이터가 수신되지 않는다면, 950 단계에서 디스플레이장치는 현재의 톤 맵핑 설정인 DTM을 유지한다. 즉, Tr=100이 되므로, 톤 맵핑 커브에 변화는 없다.
도 10은 본 발명의 실시예에 따른 디스플레이장치가 톤 맵핑 설정을 전환하는 과정 중 두 번째 영상프레임 이후부터의 동작을 나타내는 플로우차트이다.
도 10에 도시된 바와 같이, 1010 단계에서 디스플레이장치는 다음 순서의 영상프레임을 확인한다. 여기서, 다음 순서의 영상프레임은, 앞선 도 9에서의 첫 번째 영상프레임 다음의 영상프레임들이 대상이 될 수 있다.
1020 단계에서 디스플레이장치는 콘텐츠 제공장치로부터 Graphic_info_flag=1로 기록된 메타데이터가 수신되거나 또는 STM 설정 정보가 기록된 메타데이터가 수신되는지 여부를 판단한다.
부가영상이 있음을 나타내는 메타데이터가 수신되면, 1030 단계에서 디스플레이장치는 하나의 단위시간이 경과함에 응답하여 step_size만큼 트랜지션 비율을 감소시킨다.
1040 단계에서 디스플레이장치는 감소된 트랜지션 비율만큼 톤 맵핑 설정을 전이시킨다.
반면, 부가영상이 있음을 나타내는 메타데이터가 수신되지 않는다면, 1050 단계에서 디스플레이장치는 현재 영상프레임으로부터 시간적으로 인접한 이전 영상프레임의 톤 맵핑 설정 상태를 확인한다.
이전 영상프레임의 톤 맵핑 설정 상태가 DTM 상태에 있었다면, 1060 단계에서 디스플레이장치는 DTM 설정을 유지한다.
반면에 이전 영상프레임의 상태가 DTM으로부터 STM으로 이전하는 단계에 있었다면, 1070 단계에서 디스플레이장치는 톤 맵핑의 전환된 이후부터 기 설정된 시간이 경과하였는지 판단한다.
기 설정된 시간이 경과하지 않았다면, 디스플레이장치는 바로 1040 단계로 이행한다. 반면에 기 설정된 시간이 경과하였다면, 1080 단계에서 디스플레이장치는 장면이 전환되었는지 여부를 판단한다. 장면이 전환되었으면 1060 단계로 이행하며, 장면이 전환되지 않았으면 1040 단계로 이행한다. 이는, 콘텐츠 제공장치 또는 디스플레이장치에서의 빈번한 사용자 입력 등으로 인해 사용자가 영상의 화질변화를 현저히 시인하는 경우를 방지하기 위한 것으로서, DTM 설정이 적용되는 동안에 발생하는 톤 맵핑 설정의 전환 시에, 전환된 톤 맵핑 설정이 상기한 기 설정된 시간만큼 유지된다.
도 11은 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 11에 도시된 바와 같이, 콘텐츠 제공장치(1110)는 콘텐츠 데이터(1111) 및 UI 데이터(1112)를 합성하여 영상 데이터를 생성한다(1114). 콘텐츠 제공장치(1110)는 콘텐츠 영상 대비 UI의 면적을 계산하고(1115), 계산 결과에 대응하게 STM 설정정보를 생성한다(1116). 예를 들면, 콘텐츠 제공장치(1110)는 다양한 종류의 레퍼런스 모니터의 및 디스플레이장치의 다양한 조합에 대응하여 STM 설정정보를 저장하고, 이 중에서 어느 한 설정정보를 취득할 수 있다.
한편, 콘텐츠 제공장치(1110)는 콘텐츠 데이터의 메타데이터(1113)에 기초하여 DTM 설정정보를 생성한다(1117).
콘텐츠 제공장치(1110)는 DTM 설정정보 및 STM 설정정보 중에서 현재 상태에 맞는 설정정보를 선택한다(1118). 콘텐츠 제공장치(1110)는 설정정보가 기록된 메타데이터와, 영상데이터를 디스플레이장치(1120)에 전송한다(1119).
디스플레이장치(1120)는 영상데이터 및 메타데이터가 수신되면(1121), 메타데이터의 분석을 통해(1122) 메타데이터로부터 톤 맵핑 설정정보를 취득한다(1123). 디스플레이장치(1120)는 취득한 톤 맵핑 설정정보에 따라서 영상데이터(1124)의 톤 맵핑을 수행한다(1125).
본 실시예는 종래의 HDMI 표준에 정의되지 않은 별도의 메타데이터를 정의하지 않고도, 표준에 정의된 DTM 메타데이터 설정을 이용할 수 있다. 콘텐츠 제공장치(1110)는 현재 영상프레임에 대응하는 톤 맵핑 설정정보를 생성하고, 이를 DTM 메타데이터 표준 양식에 따라서 메타데이터에 기록하여 디스플레이장치(1120)에 전송한다.
도 12는 본 발명에 따른 디스플레이장치 및 콘텐츠 제공장치의 데이터 전송 및 동작 과정의 다른 실시예를 나타내는 구성 블록도이다.
도 12에 도시된 바와 같이, 본 실시예에 따른 콘텐츠 제공장치(1210)는 콘텐츠 영상에 UI가 오버레이되었을 때에, 영상프레임 내에서 UI가 표시되는 제1영역과, UI가 표시되지 않고 콘텐츠 영상만 있는 제2영역을 구분하고, 각 영역을 구분하기 위한 정보를 디스플레이장치(1220)에 제공한다. 디스플레이장치는 수신되는 정보에 기초하여 영상프레임 내에서 제1영역 및 제2영역을 구분하고, 제1영역에 대해 STM 설정을 적용하고 제2영역에 대해 DTM 설정을 적용하는 방식으로 톤 맵핑을 수행한다.
구체적인 과정은 다음과 같다. 콘텐츠 제공장치(1210)는 전체 화면에서 콘텐츠 영상 위에 오버레이되는 UI에 대응하는 UI 데이터(1212)를 콘텐츠 영상에 대응하는 콘텐츠 데이터(1211)와 합성하여 영상데이터를 생성한다(1214). 콘텐츠 제공장치(1210)는 전체 화면에서 UI의 좌표를 판단하고, UI 좌표 정보를 생성한다(1215). UI 좌표 정보는, 예를 들면 전체 화면에서 UI의 영역을 사각형으로 정의할 때, UI의 네 꼭지점에 대응하는 Top-left, top-right, bottom-left, bottrom-right의 네 좌표를 정의한다. UI 좌표 정보는 차후 STM 설정을 적용하기 위한 참조 정보가 되며, 디스플레이장치(1220)에 전송하는 메타데이터에 추가적으로 기록될 수 있다.
또한, 콘텐츠 제공장치(1210)는 메타데이터(1213)의 분석을 통해 DTM 설정을 위한 정보를 생성한다. 콘텐츠 제공장치(1210)는 영상데이터와 함께, 상기한 정보들이 기록된 메타데이터를 디스플레이장치(1220)에 전송한다(1216).
디스플레이장치(1220)는 영상데이터 및 메타데이터를 수신하면(1221), 메타데이터를 분석함으로써 상기한 정보들을 취득한다(1222). 디스플레이장치(1220)는 취득한 정보들로부터, 전체 영상에서 콘텐츠 영상이 점유하는 영역 및 UI가 점유하는 영역을 판단하고(1223), DTM 설정정보 및 STM설정정보를 생성한다(1224).
최종적으로 디스플레이장치(1220)는 영상데이터(1225)에 대해 톤 맵핑을 수행한다(1226). 디스플레이장치(1220)는 전체 영상에서, 콘텐츠 영상이 점유하는 영역에 대해서는 DTM 설정정보를 적용하여 DTM을 수행하고, UI가 점유하는 영역에 대해서는 STM 설정정보를 적용하여 STM을 수행한다.
즉, 앞선 실시예에서 디스플레이장치가 하나의 영상프레임에 대해 DTM 및 STM 중 어느 하나의 톤 맵핑을 선택적으로 수행하는 것에 비해, 본 실시예에 따른 디스플레이장치(1220)는 하나의 영상프레임 내의 분할된 영역의 특성에 따라서, 각 영역 별로 서로 상이한 톤 맵핑을 수행한다. 이로써, 본 실시예에 따르면, 콘텐츠 영상 및 UI 각각에 대해 최적화된 톤 맵핑을 개별적으로 수행함으로써, 전체 영상의 화질을 향상시킬 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다.
110 : 콘텐츠 제공장치
120 : 디스플레이장치
310 : 콘텐츠 영상
320 : UI

Claims (20)

  1. 디스플레이장치에 있어서,
    디스플레이부와;
    콘텐츠 제공장치로부터 메인 콘텐츠의 데이터를 수신 가능한 수신부와;
    상기 수신부를 통해 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하며, 상기 수신부에 수신되는 영상데이터에 기초하여 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상이 상기 디스플레이부에 표시되게 하고, 상기 참조정보에 기초하여 복수의 영상처리 중에서 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 선택된 어느 하나의 상기 영상처리에 의해 상기 영상이 표시되게 하는 프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하며, 상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
  5. 제3항에 있어서,
    상기 프로세서는, 상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단되고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단되는 디스플레이장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하며,
    상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행하는 디스플레이장치.
  9. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 영상처리 중 제1영상처리로부터 제2영상처리로의 전환 시에, 시간 경과에 따라서 상기 제1영상처리 및 상기 제2영상처리의 적용 비율을 단계적으로 조정하는 디스플레이장치.
  10. 제1항에 있어서,
    상기 프로세서는, 상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행하는 디스플레이장치.
  11. 디스플레이장치의 제어방법에 있어서,
    콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와;
    상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와;
    상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제11항에 있어서,
    상기 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하여 복수의 설정 중 선택된 어느 하나에 따라서 상기 영상데이터의 픽셀정보에 대응하는 상기 영상의 휘도정보를 도출함으로써, 상기 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제11항에 있어서,
    상기 영상에 상기 서브 콘텐츠가 포함되면 상기 디스플레이장치의 속성에 기반한 영상처리를 수행하는 단계와;
    상기 영상에 상기 서브 콘텐츠가 포함되지 않으면 상기 메인 콘텐츠의 속성에 기반한 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  14. 제13항에 있어서,
    상기 메인 콘텐츠의 장면에 따라서 개별적으로 마련된 설정에 따라서 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 메인 콘텐츠의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  15. 제13항에 있어서,
    상기 디스플레이장치의 전용 휘도 범위에 대응하여 상기 영상데이터의 픽셀정보를 상기 영상의 휘도정보로 변환시킴으로써, 상기 디스플레이장치의 속성에 기반한 상기 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  16. 제11항에 있어서,
    상기 콘텐츠 제공장치로부터 출력되는 메타데이터로부터 상기 참조정보를 도출하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  17. 제11항에 있어서,
    상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 소정 임계치보다 크면 상기 영상에 상기 서브 콘텐츠가 포함되는 것으로 판단하고, 상기 영상 대비 상기 서브 콘텐츠의 면적 비율이 상기 임계치보다 크지 않으면 상기 영상에 상기 서브 콘텐츠가 포함되지 않는 것으로 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  18. 제11항에 있어서,
    상기 영상에 상기 서브 콘텐츠가 포함되면 상기 복수의 영상처리 중 상기 디스플레이장치의 속성에 기반한 제1영상처리를 수행하는 단계와;
    상기 영상에서 상기 서브 콘텐츠가 포함되지 않는 시점부터 상기 메인 콘텐츠의 장면 전환 시점까지 상기 제1영상처리를 유지하고, 상기 장면 전환 시점부터 상기 복수의 영상처리 중 상기 메인 콘텐츠의 속성에 기반한 제2영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  19. 제11항에 있어서,
    상기 영상에서 상기 서브 콘텐츠가 표시되는 영역 및 상기 서브 콘텐츠가 표시되지 않는 영역 각각에 대해, 서로 상이한 상기 영상처리를 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 디스플레이장치의 프로세서에 의해 실행 가능한 방법의 프로그램이 기록된, 비휘발성의 컴퓨터 독취가능 기록매체에 있어서,
    상기 방법은,
    콘텐츠 제공장치로부터 영상데이터 및 상기 영상데이터에 메인 콘텐츠와 함께 서브 콘텐츠가 포함되는지를 나타내는 참조정보를 수신하는 단계와;
    상기 참조정보에 기초하여 복수의 영상처리 중에서 영상에 상기 서브 콘텐츠가 포함되는지 여부에 대응하도록 어느 하나의 상기 영상처리를 선택하는 단계와;
    상기 선택된 영상처리에 의해, 상기 메인 콘텐츠 및 상기 메인 콘텐츠에 선택적으로 포함되는 상기 서브 콘텐츠의 영상을 표시하는 단계를 포함하는 컴퓨터 독취가능 기록매체.
KR1020170151403A 2017-11-14 2017-11-14 디스플레이장치 및 그 제어방법과 기록매체 KR102523672B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170151403A KR102523672B1 (ko) 2017-11-14 2017-11-14 디스플레이장치 및 그 제어방법과 기록매체
US16/760,328 US11234042B2 (en) 2017-11-14 2018-11-12 Display device, control method therefor and recording medium
PCT/KR2018/013701 WO2019098619A1 (ko) 2017-11-14 2018-11-12 디스플레이장치 및 그 제어방법과 기록매체
EP18879123.0A EP3687184A4 (en) 2017-11-14 2018-11-12 DISPLAY DEVICE, CONTROL PROCESS THEREFOR AND RECORDING MEDIA
CN201880004661.8A CN110050468A (zh) 2017-11-14 2018-11-12 显示设备及其控制方法和记录介质
JP2019515440A JP6803463B2 (ja) 2017-11-14 2018-11-12 ディスプレイ装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151403A KR102523672B1 (ko) 2017-11-14 2017-11-14 디스플레이장치 및 그 제어방법과 기록매체

Publications (2)

Publication Number Publication Date
KR20190054619A true KR20190054619A (ko) 2019-05-22
KR102523672B1 KR102523672B1 (ko) 2023-04-20

Family

ID=66540314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151403A KR102523672B1 (ko) 2017-11-14 2017-11-14 디스플레이장치 및 그 제어방법과 기록매체

Country Status (6)

Country Link
US (1) US11234042B2 (ko)
EP (1) EP3687184A4 (ko)
JP (1) JP6803463B2 (ko)
KR (1) KR102523672B1 (ko)
CN (1) CN110050468A (ko)
WO (1) WO2019098619A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116456124A (zh) * 2023-06-20 2023-07-18 上海宝玖数字科技有限公司 高延时网络状态下的直播信息展示方法、系统及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256274A1 (en) * 2019-06-19 2020-12-24 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140483A (ja) * 2005-10-18 2007-06-07 Sharp Corp 液晶表示装置
KR20080075843A (ko) * 2005-10-21 2008-08-19 디지털 디스플레이 이노베이션, 엘엘씨 디지털 디스플레이 시스템을 위한 이미지 및 광원 변조
KR20110043775A (ko) * 2008-08-19 2011-04-27 디지맥 코포레이션 콘텐트 처리를 위한 방법들 및 시스템들
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
EP2953092A1 (en) * 2014-06-05 2015-12-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20160121782A (ko) * 2015-04-10 2016-10-20 삼성디스플레이 주식회사 Hdr 디스플레이 장치, hdr 디스플레이 장치에서 이미지 밝기를 감쇠하는 방법 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101742120B1 (ko) * 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
BR112013031870B1 (pt) 2011-06-14 2022-05-10 Koninklijke Philips N.V. Dispositivo para processar informações de vídeo, sinal de vídeo para transferir informações de vídeo a um dispositivo de processamento de vídeo, portador de registro óptico, dispositivo para gerar informações de vídeo, método de processar informações de vídeo e método de gerar informações de vídeo para transferir a um dispositivo de processamento de vídeo
US9535027B2 (en) 2012-07-25 2017-01-03 Abbott Diabetes Care Inc. Analyte sensors and methods of using same
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
JP6104411B2 (ja) 2013-02-21 2017-03-29 ドルビー ラボラトリーズ ライセンシング コーポレイション オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置
JP6324063B2 (ja) * 2013-12-26 2018-05-16 キヤノン株式会社 画像再生装置及びその制御方法
MX2017005983A (es) * 2014-11-10 2017-06-29 Koninklijke Philips Nv Metodo de codificacion, procesador de video, metodo de decodificacion, decodificador de video.
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
KR102330250B1 (ko) * 2015-01-22 2021-11-23 삼성전자주식회사 디스플레이 장치, 제어 장치 및 그 동작 방법
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR101799381B1 (ko) * 2015-05-28 2017-11-22 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR102254535B1 (ko) * 2015-07-22 2021-05-20 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20170097375A (ko) * 2016-02-18 2017-08-28 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN106056550B (zh) * 2016-05-25 2019-02-22 广东工业大学 一种基于高动态范围图像的渲染方法和装置
JP6466488B2 (ja) * 2017-02-09 2019-02-06 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、制御プログラム、及び記録媒体
CN109691119B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示系统及影像显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140483A (ja) * 2005-10-18 2007-06-07 Sharp Corp 液晶表示装置
KR20080075843A (ko) * 2005-10-21 2008-08-19 디지털 디스플레이 이노베이션, 엘엘씨 디지털 디스플레이 시스템을 위한 이미지 및 광원 변조
KR20110043775A (ko) * 2008-08-19 2011-04-27 디지맥 코포레이션 콘텐트 처리를 위한 방법들 및 시스템들
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
EP2953092A1 (en) * 2014-06-05 2015-12-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
KR20160121782A (ko) * 2015-04-10 2016-10-20 삼성디스플레이 주식회사 Hdr 디스플레이 장치, hdr 디스플레이 장치에서 이미지 밝기를 감쇠하는 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116456124A (zh) * 2023-06-20 2023-07-18 上海宝玖数字科技有限公司 高延时网络状态下的直播信息展示方法、系统及电子设备
CN116456124B (zh) * 2023-06-20 2023-08-22 上海宝玖数字科技有限公司 高延时网络状态下的直播信息展示方法、系统及电子设备

Also Published As

Publication number Publication date
WO2019098619A1 (ko) 2019-05-23
EP3687184A1 (en) 2020-07-29
JP2020501387A (ja) 2020-01-16
CN110050468A (zh) 2019-07-23
US20200267440A1 (en) 2020-08-20
US11234042B2 (en) 2022-01-25
JP6803463B2 (ja) 2020-12-23
KR102523672B1 (ko) 2023-04-20
EP3687184A4 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
US11140354B2 (en) Method for generating control information based on characteristic data included in metadata
US11310507B2 (en) Data output apparatus, data output method, and data generation method
JP7133772B2 (ja) 映像表示システム及び映像表示方法
US8204357B2 (en) Reproducing device, reproducing method, reproducing program and recording medium
US10735688B2 (en) Electronics apparatus, display apparatus and control method thereof
JP6666022B2 (ja) 画像表示装置、画像出力装置、及び、それらの制御方法
WO2014155670A1 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
JPWO2019012729A1 (ja) 映像表示装置及び映像表示方法
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
KR102553764B1 (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
KR102351095B1 (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
CN113132769A (zh) 显示设备及音画同步方法
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置
KR102558213B1 (ko) 재생 장치, 재생 방법, 프로그램, 및 기록 매체
JP2021153299A (ja) 再生装置
JP2020127107A (ja) 画像処理装置
JP2014116920A (ja) 映像コンテンツ再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant