JP6666022B2 - 画像表示装置、画像出力装置、及び、それらの制御方法 - Google Patents

画像表示装置、画像出力装置、及び、それらの制御方法 Download PDF

Info

Publication number
JP6666022B2
JP6666022B2 JP2015114245A JP2015114245A JP6666022B2 JP 6666022 B2 JP6666022 B2 JP 6666022B2 JP 2015114245 A JP2015114245 A JP 2015114245A JP 2015114245 A JP2015114245 A JP 2015114245A JP 6666022 B2 JP6666022 B2 JP 6666022B2
Authority
JP
Japan
Prior art keywords
luminance
image
data
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015114245A
Other languages
English (en)
Other versions
JP2017005310A (ja
JP2017005310A5 (ja
Inventor
哲二 齊藤
哲二 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015114245A priority Critical patent/JP6666022B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/575,901 priority patent/US10839758B2/en
Priority to EP16802804.1A priority patent/EP3304921A4/en
Priority to KR1020177036966A priority patent/KR102031602B1/ko
Priority to PCT/JP2016/002617 priority patent/WO2016194362A1/en
Priority to CN201680032673.2A priority patent/CN107637087B/zh
Publication of JP2017005310A publication Critical patent/JP2017005310A/ja
Publication of JP2017005310A5 publication Critical patent/JP2017005310A5/ja
Application granted granted Critical
Publication of JP6666022B2 publication Critical patent/JP6666022B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333Processing operations in response to a pause request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/064Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、画像表示装置、画像出力装置、及び、それらの制御方法に関する。
近年、撮像センサの性能の向上、画像処理に関する技術の進歩、等に伴い、HDR(High Dynamic Range)画像データが普及し始めている。HDR画像データは、色深度が8ビットより大きい画像データである。HDR画像データは、「画像データの階調値の取り得る値の範囲が広い画像データ」とも言える。HDR画像データは、例えば、互いに異なる複数の露出でそれぞれ得られた複数の画像データを合成することによって生成される。
画像表示装置の性能の向上に伴い、高輝度な表示を実現する技術が提案され始めている。例えば、液晶表示装置のバックライト部の光源として使用されるLED(Light Emitting Diode)の性能の向上に伴い、バックライト部の発光輝度を制御することで高輝度な表示を実現する技術が提案され始めている。
画像制作者は、例えば、高輝度な表示を実現可能な画像表示装置(画像再生装置)での再生を想定したHDR画像データを作成する際に、画面上において小面積の白色画像が際立つように、HDR画像データを作成する。具体的には、画像制作者は、画面上において小面積の白色画像が際立つように、フレーム間の輝度の変化、シーン間の輝度の変化、各フレームの最大輝度、各シーンの最大輝度、等を決定する。
そして、今後は、高輝度な表示を実現可能な画像表示装置での再生を想定したHDR画像データの普及が見込まれている。以後、高輝度な表示を実現可能な画像表示装置での再生を想定したHDR画像データを、他のHDR画像データと区別して、「高輝度HDR画像データ」と記載する。
このような高輝度HDR画像データは、例えば、ネットワークを用いて配信される。また、画像出力装置で高輝度HDR画像データが生成され、画像出力装置からネットワークを介さずに画像表示装置に高輝度HDR画像データが伝送されることも考えられる。画像出力装置としては、撮像によって高輝度HDR画像データを生成する撮像装置、高輝度HDR画像データを受信して出力するセットトップボックス、等が使用され得る。また、複数の画像表示装置が互いにデイジーチェーン接続され、画像表示装置から他の画像表示装置へ高輝度HDR画像データが出力されることも考えられる。そのため、画像出力装置として画像表示装置が使用され得る。
高輝度HDR画像データの伝送方法として、2つのストリームを伝送する方法が提案されている。2つのストリームの一方であるメインストリームには、LDR(Low Dynamic Range)画像データが格納されている。LDR画像データは、例えば、色深度が8ビットの画像データである。LDR画像(LDR画像データが表す画像)は、一般的に、HDR画像データや高輝度HDR画像データが表す画像を再生不可能な画像表示装置でも再生可能である。2つのストリームの他方であるサブストリームには、差分データやメタデータが格納されている。差分データは、HDR画像データとLDR画像データの差分に関するデータである。メタデータには、高輝度HDR画像(高輝度HDR画像データが表す画像)の輝度に関する輝度データが格納されている。例えば、輝度データは、フレーム間の輝度の変化、シーン間の輝度の変化、各フレームの最大輝度、各シーンの
最大輝度、等を含む。
画像表示装置や画像出力装置は、様々なユーザ操作を受け付けることができる。例えば、ユーザ操作として、画像の再生方法に関するユーザ操作である再生操作が行われることがある。再生操作は、再生対象のフレームの更新を一時的に停止する一時停止操作、画像の再生速度を低減するスロー再生操作、等を含む。
ここで、輝度が高い高輝度HDR画像が再生(表示)されたタイミングで一時停止操作やスロー再生操作が行われた場合を考える。この場合、5000[cd/m]といった高い輝度での表示が長時間行われることがある。高輝度且つ長時間の表示は、様々な視覚障害をもたらすため、ユーザによる画像の視認において好ましくない。
画像表示装置に関する従来技術は、例えば、特許文献1,2に開示されている。特許文献1,2には、インパルス発光方式のプラズマディスプレイ等における焼き付きを防止する技術が開示されている。具体的には、特許文献1に開示の画像表示装置では、表示部の表示状態が静止画表示状態であるか否かが判断される。そして、表示状態が静止画表示状態であると判断された場合に、所定の輝度レベル以上の輝度レベルを有する画素が特定のパターンに置換される。特許文献2に開示の技術では、制御装置が、画像出力装置の動作状態を判断し、所定時間以上継続して動作状態が一時停止状態であると判断した場合に、一時停止状態の解除を画像出力装置に指示する。
特開2011−257469号公報 特開2009−109731号公報
しかしながら、上述した従来技術では、再生画像(再生(表示)された画像)の静止状態しか検出できない。即ち、一時停止操作以外の再生操作が行われた後の再生画像の状態を検出することはできない。そのため、上述した従来技術を用いたとしても、ユーザによる画像の視認において好ましくない画像(視覚障害をもたらす画像、等)の再生を抑制することはできない。
本発明は、種々の再生操作が行われた場合に好適な画像をより確実に再生することができる技術を提供することを目的とする。
本発明の第1の態様は、
入力された動画像データに基づいて動画像を表示する表示部と、
ユーザ操作を受け付ける受付部と、
輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付部が受け付けた場合、前記表示部の表示輝度を低減する制御手段と、
を有する
ことを特徴とする画像表示装置である。
本発明の第2の態様は、
動画像データを表示装置出力する出力部と、
ユーザ操作を受け付ける受付部と、
輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付部が受け付けた場合、前記出力部による出力を制御することにより、前記表示装置の表示輝度を低減する制御手段と、
を有する
ことを特徴とする画像出力装置である。
本発明の第3の態様は、
入力された動画像データに基づいて動画像を表示する表示部を有する画像表示装置の制御方法であって、
ユーザ操作を受け付ける受付ステップと、
輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付ステップで受け付けた場合、前記表示部の表示輝度を低減する制御ステップと、
を有する
ことを特徴とする制御方法である。
本発明の第4の態様は、
動画像データを表示装置出力する出力部を有する画像出力装置の制御方法であって、
ユーザ操作を受け付ける受付ステップと、
輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付ステップで受け付けた場合、前記出力部による出力を制御することにより、前記表示装置の表示輝度を低減する制御ステップと、
を有する
ことを特徴とする制御方法である。
本発明の第5の態様は、上述した制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである
本発明によれば、種々の再生操作が行われた場合に好適な画像をより確実に再生することができる。
実施例1に係る画像表示装置の機能構成の一例を示すブロック図 実施例1に係る高輝度HDR画像データの一例を示す図 実施例1に係る最大輝度とBL輝度の対応関係の一例を示す図 実施例1に係るバックライト部の構成の一例を示す図 実施例1に係る発光輝度の制御範囲の一例を示す図 実施例1に係る画像表示装置の動作全体の一例を示すフローチャート 実施例1に係る再生操作処理の一例を示すフローチャート 実施例1に係る再開処理の一例を示すフローチャート 実施例1に係る第2閾値の一例を示す図 実施例1に係るBL輝度補正値の一例を示す図 実施例1に係る再開処理の具体例を示す図 実施例2に係る画像表示装置の機能構成の一例を示すブロック図 実施例2に係る制御情報の一例を示す図 実施例2に係る再生操作処理の一例を示すフローチャート 実施例2に係る再開処理の一例を示すフローチャート 実施例3に係る画像表示システムの一例を示す図 実施例3に係る撮像装置の機能構成の一例を示すブロック図 実施例3に係る撮像装置の動作の一例を示すフローチャート 実施例3に係るHDR画像と輝度の対応関係の一例を示す図 実施例3に係る撮像装置の出力データの一例を示す図 実施例3に係るSDIデータのデータ構造の一例を示す図 実施例3に係る第1閾値の一例を示す図 実施例3に係る再開処理の具体例を示す図 実施例3に係る第2閾値の一例を示す図 実施例3に係る輝度補正値の一例を示す図 実施例4に係る画像表示システムの一例を示す図 実施例4に係るSTBの機能構成の一例を示すブロック図 実施例4に係るSTBの動作の一例を示すフローチャート
<実施例1>
以下、本発明の実施例1に係る画像再生装置及び画像再生方法について説明する。本実施例では、画像再生装置が透過型の液晶表示装置である場合の例を説明する。透過型の液晶表示装置は、発光部であるバックライト部と、バックライト部から発せられた光を変調することで画像を表示する表示部である液晶パネルと、を有する。但し、本発明が適用可能な画像表示装置は透過型の液晶表示装置に限らない。例えば、反射型の液晶表示装置、液晶素子の代わりにMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式表示装置、等に本発明を適用することもできる。有機EL表示装置、プラズマ表示装置、等の自発光型の画像表示装置に本発明を適用することもできる。プロジェクターに本発明を適用することもできる。
図1は、本実施例に係る画像表示装置(画像再生装置)100の機能構成の一例を示すブロック図である。画像表示装置100は、高輝度HDR画像データが表す画像である高輝度HDR画像を再生可能な装置である。高輝度HDR画像データは、高輝度な画像領域、高輝度なフレーム、高輝度なシーン、等を含むHDR画像データである。HDR画像データは、例えば、色深度が8ビットより大きい画像データである。本実施例では、HDR画像データは、色深度が12ビットの画像データである。以下の記載において、「HDR画像データ」は、高輝度HDR画像データでないHDR画像データを意味する。
画像表示装置100は、高輝度HDR画像データを取得(受信)し、取得した高輝度HDR画像データに基づく画像を再生(表示)する。高輝度HDR画像データの取得方法は特に限定されない。本実施例では、ネットワークを用いて高輝度HDR画像データが配信されており、LAN端子等を介して高輝度HDR画像データが取得される。高輝度HDR画像データの伝送方法(配信方法)も特に限定されない。本実施例では、高輝度HDR画像データとして、2つのストリームが伝送される。2つのストリームの一方であるメインストリームには、LDR画像データが格納されており、2つのストリームの他方であるサブストリームには、差分データやメタデータが格納されている。
LDR画像データは、HDR画像データを階調圧縮(ダウンサンプリング)した画像データ(ベース画像データ)である。LDR画像データは、色深度のビット数がHDR画像データよりも少ない画像データである。本実施例では、LDR画像データは、色深度が8ビットの画像データである。
差分データは、HDR画像データとLDR画像データの差分に関するデータである。差分データとしては、輝度の差分に関するデータである輝度差分データ、色の差分に関するデータである色差分データ、等を使用することができる。輝度差分データは、「LDR画像データの階調値とHDR画像データの階調値との対応関係を表すデータ」とも言える。差分データの値のビット数は特に限定されないが、本実施例では、差分データの値のビット数は4ビットである。
輝度差分データは、例えば、輝度比率データ、輝度変換テーブルデータ、等である。輝度比率データは、画素単位(又は所定数の画素からなる領域単位)で、LDR画像データの階調値とHDR画像データの階調値との比率である輝度比率を表すデータである。輝度変換テーブルデータは、LDR画像データのダイナミックレンジを拡大するレンジ拡大処理における入力階調値と出力階調値との対応関係を表すルックアップテーブルデータである。レンジ拡大処理は、LDR画像データで表現しきれていない輝度を再現する処理と言うこともできる。
LDR画像データは、例えば、トーンマップを用いてレンジ縮小処理(HDR画像データのダイナミックレンジを縮小する画像処理)を行うことによって生成された画像データである。トーンマップは、レンジ縮小処理における入力階調値と出力階調値との対応関係を表すルックアップテーブルデータである。そして、上述した輝度変換テーブルデータは、トーンマップの入力階調値と出力階調値を入れ替えたルックアップテーブルデータである。そのため、輝度変換テーブルデータは“逆トーンマップ”と呼ぶことができる。
なお、輝度差分データは、画素単位(又は所定数の画素からなる領域単位)で、LDR画像データの階調値とHDR画像データの階調値の一方から他方を減算した差分値である輝度差分値を表すデータであってもよい。色差分データとしても、輝度差分データと同様に、様々なデータを使用することができる。
メタデータには、高輝度HDR画像(高輝度HDR画像データが表す画像)の輝度に関する輝度データが格納されている。高輝度HDR画像が動画像である場合、輝度データは、例えば、フレーム間の輝度の変化、シーン間の輝度の変化、各フレームの最大輝度、各シーンの最大輝度、等を含む。
LDR画像データと差分データを用いたレンジ拡大処理を行うことにより、HDR画像データを生成することができる。そして、HDR画像データを用いた表示を行う際に輝度データをさらに用いることにより、HDR画像(HDR画像データが表す画像)のダイナミックレンジを拡大することができ、高輝度HDR画像を表示することができる。
図2は、動画像データである高輝度HDR画像データの一例を示す図である。図2には、メインストリームのデータとしてLDR画像データが示されており、サブストリームのデータとして差分データとメタデータが示されている。メタデータとして、各フレームの最大輝度(高輝度HDR画像の輝度の最大値)と、各フレームの最大輝度座標(最大輝度の画像領域の座標)とが示されている。本実施例では、最大輝度と最大輝度座標の組み合わせが輝度データである。図2では、最大輝度として、高輝度HDR画像の輝度の上限値に対する高輝度HDR画像の輝度の最大値の割合[%]が示されている。最大輝度座標として、最大輝度の画像領域の中心座標(水平座標x,垂直座標y)が示されている。メインストリームのデータには、そのデータに対応するフレームを示す番号(フレーム管理番号)が付されている。フレーム管理番号は、例えば、メインストリームに対する処理とサブストリームに対する処理との間の同期をとるために使用される。メインストリームやサブストリームに対する処理は、例えば、デコードである。
なお、サブストリームのデータにフレーム管理番号が付されていてもよいし、メインストリームのデータとサブストリームのデータの両方にフレーム管理番号が付されていてもよい。最大輝度の単位は[%]に限らない。メタデータの付加方法も特に限定されない。例えば、動画コーデックが、H.264(AVC)やH.265(HEVC)の符号化でメタデータを差分データに付加する。
なお、図2では、1フレームに対して1つの最大輝度が関連付けられているが、1フレームに対して複数の最大輝度が関連付けられていてもよい。ここで、画面内の複数の部分領域にそれぞれ対応する複数の光源をバックライト部が有し、且つ、複数の光源の発光輝度が個別に制御可能である場合を考える。部分領域は、画面の一部の領域である。複数の部分領域は、例えば、画面の領域を構成する複数の分割領域である。複数の部分領域が予め分かっている場合には、複数の部分領域に対応する複数の最大輝度を1フレームに関連付けることができる。部分領域に対応する最大輝度は、当該部分領域における高輝度HDR画像の輝度の最大値である。
なお、メタデータ(輝度データ)は図2に示すデータに限らない。例えば、輝度が最大輝度である画像領域のサイズを輝度データが含んでいてもよい。画像表示装置100の画面の表示素子数(画素数)が予め分かっている場合には、輝度が最大輝度である画像領域が表示される画面領域の表示素子数を輝度データに含めることもできる。
図1に示すように、画像表示装置100は、HDRデコーダ101、HDR生成部102、画像処理部103、液晶パネル104、特徴量取得部105、第1BL制御部106、第2BL制御部107、BL制御選択部108、バックライト部109、操作受信部110、特定操作判断部111、及び、再生制御部112を有する。各機能部は制御バスを用いて再生制御部112に接続されているが、図1では一部の制御バスが省略されている。
以下、画像表示装置100の各機能部について、画像表示装置100の処理フローに従って説明する。以下では、高輝度HDR画像データとして動画像データが受信される場合の例を説明する。また、以下では、受信された高輝度HDR画像の解像度がFull−HD(水平方向の画素数×垂直方向の画素数=1920画素×1080画素)である場合の例を説明する。
HDRデコーダ101は、不図示の受信部で受信された高輝度HDR画像データをデコードする。具体的には、HDRデコーダ101は、メインストリームとサブストリームをそれぞれデコードする(デュアルデコード)。また、サブストリームにはメタデータが付加されており、HDRデコーダ101は、メタデータをさらにデコードする。それにより、LDR画像データ、差分データ、及び、輝度データが取得される。ここでは、LDR画像データとして、階調値の取り得る値の範囲が第1の階調範囲である第1動画像データが取得される。差分データとして、階調値の取り得る値の範囲が第2の階調範囲である第2動画像データと第1動画像データとの差分に関するデータが取得される。第2の階調範囲は第1の階調範囲よりも広く、第2の階調範囲の最大階調値(階調値の最大値)は第1の階調範囲の最大階調値よりも大きい。第2の動画像データは、HDR画像データである。なお、LDR画像データを取得する処理(第1取得処理)を行う機能部、差分データを取得する処理(第2取得処理)を行う機能部、及び、輝度データを取得する処理(第3取得処理)を行う機能部は、同じであってもよいし、異なっていてもよい。
HDR生成部102は、HDRデコーダ101によって得られたLDR画像データと差分データを用いてHDR画像データ(第2動画像データ)を生成し、生成したHDR画像データを画像処理部103へ出力する。また、HDR生成部102は、HDRデコーダ101によって得られた輝度データに基づいて各フレームのBL輝度を算出し、BL輝度の算出値を含むBL輝度データを再生制御部112へ出力する。複数の部分領域にそれぞれ対応する複数の値が輝度データに含まれている場合には、複数の部分領域にそれぞれ対応する複数のBL輝度が算出される。BL輝度の算出方法は後述する。差分データが得られなかった場合には、HDR生成部102は、LDR画像データを画像処理部103に出力する。
画像処理部103は、HDR生成部102から出力された画像データに所定の画像処理を施し、所定の画像処理が施された後の画像データを液晶パネル104に出力する。所定の画像処理は、例えば、画像データの画質を高める高画質化処理である。高画質化処理は、ガンマ変換処理、色変換処理、輝度変換処理、エッジ強調処理、ぼかし処理、等を含む。所定の画像処理として、1つの画像処理が行われてもよいし、複数の画像処理が行われてもよい。本実施例では、画像処理部103は、HDR生成部102からLDR画像データが出力された場合にのみ、所定の画像処理を行う。そして、HDR生成部102からHDR画像データが出力された場合には、画像処理部103は、画像処理部103に入力されたHDR画像データを、所定の画像処理を施さずに出力する。画像処理部103から出力される画像データは、「再生対象の動画像データである対象画像データ」と言える。なお、画像制作者の意図がメタデータとして含まれていた場合にのみ所定の画像処理が省略されてもよい。
液晶パネル104は、対象画像データに基づく画像を再生(表示)する。本実施例では、動画像が再生される。液晶パネル104は、複数の表示素子として複数の液晶素子を有する。各液晶素子の透過率は、画像処理部103から出力された画像データの階調値に応じた値に制御される。本実施例では、各液晶素子の透過率は、12ビットの階調値に応じた値に制御される。階調値が8ビットの値であるLDR画像データが画像処理部103から出力された場合には、LDR画像データの階調値の最後に4ビット分の0が付加される。それにより、LDR画像データの階調値のビット数が8ビットから12ビットに変換される。そして、ビット数が変換された後のLDR画像データに応じて各液晶素子の透過率が制御される。バックライト部109から発せられた光が画像データに応じた透過率で各液晶素子を透過することにより、画像が再生(表示)される。
特徴量取得部105は、HDR生成部102から出力された画像データから、各フレームの特徴量(画像特徴量)を取得する。例えば、特徴量として、画像データが表す画像の輝度の最大値、最小値、最頻値、中間値、平均値、等が取得される。複数の部分領域に対応する複数の光源をバックライト部109が有する場合には、複数の部分領域にそれぞれ対応する複数の特徴量が取得されてもよい。部分領域に対応する特徴量は、当該部分領域における画像の特徴量である。そして、特徴量取得部105は、取得した特徴量を第1BL制御部106へ出力する。
第1BL制御部106は、特徴量取得部105が出力された特徴量に基づいて、バックライト部109の発光輝度を制御するための第1BL制御信号を生成する。例えば、HDR生成部102から出力された画像データが表す画像が暗い場合に発光輝度を低減し、且つ、HDR生成部102から出力された画像データが表す画像が明るい場合に発光輝度を高める信号が、第1BL制御信号として生成される。複数の部分領域に対応する複数の光源をバックライト部109が有する場合には、複数の光源にそれぞれ対応する複数の第1BL制御信号が生成される。光源に対応する第1BL制御信号は、当該光源の発光輝度を制御するための信号である。本実施例では、信号のパルス幅を制御することにより発光輝度が制御される。そのため、第1BL制御信号としてPWM(Pulse Width Modulation)信号が生成される。なお、発光輝度の制御方法は特に限定されない。信号のパルス振幅を制御することにより発光輝度が制御されてもよいし、信号のパルス幅とパルス振幅の両方を制御することにより発光輝度が制御されてもよい。
第2BL制御部107は、HDR生成部102から出力されたBL輝度データに基づいて、バックライト部109の発光輝度を制御するための第2BL制御信号を生成する。BL輝度データの代わりに、HDRデコーダ101によって得られた輝度データが使用されてもよい。例えば、BL輝度データが表すBL輝度に発光輝度を制御する信号が、第2B
L制御信号として生成される。本実施例では、第2BL制御信号もPWM信号である。複数の部分領域に対応する複数の光源をバックライト部109が有する場合には、複数の光源にそれぞれ対応する複数の第2BL制御信号が生成される。例えば、複数の部分領域のそれぞれについて、その部分領域に対応するBL輝度から、当該部分領域の光源に対応する第2BL制御信号が生成される。
BL制御選択部108は、再生制御部112からの指示に従って、第1BL制御部106によって生成された第1BL制御信号、または、第2BL制御部107によって生成された第2BL制御信号を選択する。そして、BL制御選択部108は、選択したBL制御信号をバックライト部109に出力する。
バックライト部109は、BL制御選択部108から出力されたBL制御信号に応じた発光輝度で発光する。具体的には、BL制御信号の値が第1の値である期間にバックライト部109が点灯し、BL制御信号の値が第2の値(<第1の値)である期間にバックライト部109が消灯する。1フレーム期間におけるバックライト部109の点灯期間と消灯期間の比(デューティ比)によって、バックライト部109の発光輝度が決まる。バックライト部109は、1つ以上の光源を有する。各光源は、1つ以上の発光素子を有する。発光素子としては、発光ダイオード(LED)、有機EL素子、冷陰極管、等を使用することができる。本実施例では、バックライト部109として、直下型のバックライト部が使用される。直下型のバックライト部は、画面と平行な面において画面の領域内に配置された光源を有する。なお、バックライト部109は直下型のバックライト部に限らない。例えば、バックライト部109として、エッジ型のバックライト部が使用されてもよい。エッジ型のバックライト部は、画面と平行な面において画面の辺に沿って配置された光源を有する。また、上述したように、バックライト部109は、複数の部分領域にそれぞれ対応する複数の光源を有していてもよい。そして、複数の光源の発光輝度が個別に制御可能であってもよい。複数の光源の発光輝度が個別に制御することにより、よりコントラストが高い画像の生成が可能となる。複数の光源の発光輝度の個別制御は、「ローカルディミング制御」と呼ばれる。
操作受信部110は、画像表示装置100に対するユーザ操作を受け付ける受付部である。ユーザ操作は、例えば、リモートコントローラ、操作ユニット、等を用いて行われる。操作受信部110は、行われたユーザ操作に応じた操作信号を、特定操作判断部111へ出力する。操作受信部110は、再生操作を含む様々なユーザ操作を受け付ける。再生操作は、動画像の再生方法に関するユーザ操作である。再生操作が行われた場合には、行われた再生操作に応じた再生方法で画像が再生される。
特定操作判断部111は、操作受信部110から出力された操作信号と、HDR生成部102から出力されたBL輝度データとに基づいて、行われたユーザ操作が特定の再生操作であるか否かを判断する。BL輝度データの代わりに、HDRデコーダ101によって得られた輝度データが使用されてもよい。特定の再生操作については後述する。
再生制御部112は、画像表示装置100が有する各機能部の処理を制御する。
図3,4を用いて、HDR生成部102の処理の具体例について説明する。図3は、メタデータ(輝度データ)に格納されている最大輝度をBL輝度に変換するLUT(Lookup Table)の一例を示す。図3の横軸は最大輝度[%]を示し、図3の縦軸はBL輝度[cd/m]を示す。BL輝度の上限値は特に限定されない。本実施例では、図3に示すように、BL輝度の上限値は、5000[cd/m]である。図3のLUTを用いた場合、最大輝度100[%]はBL輝度5000[cd/m]に変換され、最大輝度50[%]は2500[cd/m]に変換される。図2のフレーム管理番号20
0では、最大輝度が30[%]であるため、HDR生成部102によってBL輝度1500[cd/m]が算出される。
図4は、バックライト部109の構成の一例を示す図である。図4の斜線柄の四角は、光源を示す。光源の数や配置は特に限定されない。本実施例では、図4に示すように、バックライト部109は、水平方向の光源数×垂直方向の光源数=10個×6個の光源を有する。本実施例では、高輝度HDR画像の解像度がFull−HDであるため、1つの光源は、水平方向の画素数×垂直方向の画素数=192画素×180画素の画像領域に対応する。本実施例では、HDR生成部102は、メタデータ(輝度データ)に格納されている最大輝度座標を含む画像領域に対応する光源の座標を、BL座標として算出する。本実施例では、左上端の画素(表示素子)の座標は(0,0)であり、右下端の画素の座標は(1919,1079)である。そして、左上端の光源の座標は(0,0)であり、右下端の光源の座標は(9,5)である。図2のフレーム管理番号200では、BL輝度座標(水平座標,垂直座標)=(50,1000)である(図4の点A)。そのため、HDR生成部102により、BL座標(水平座標,垂直座標)=(0,5)が算出される。
本実施例では、上記の方法で決定されたBL輝度とBL座標を含むBL輝度データが生成される。そして、BL座標の光源をBL輝度で発光させ、且つ、残りの光源を所定の基準輝度で発光させる第2BL制御信号が生成される。
次に、図5を用いて、第1BL制御部106による発光輝度の制御範囲と、第2BL制御部107による発光輝度の制御範囲との具体例について説明する。図5に示す第1閾値(500[cd/m])は、特定操作判断部111の処理(ユーザ操作が特定の再生操作であるか否かの判断)において、最大輝度(BL輝度)と比較される。図5には、高輝度HDR画像の輝度の取り得る値の範囲として、0[cd/m]から5000[cd/m]の範囲が示されている。第1の輝度範囲は、第1BL制御部106によって制御される発光輝度の範囲であり、第2の輝度範囲は、第2BL制御部107によって制御される発光輝度の範囲である。図5では、第1の輝度範囲は、0[cd/m]から500[cd/m]の範囲であり、第2の輝度範囲は、0[cd/m]から5000[cd/m]の範囲である。本実施例では、LDR画像(LDR画像データが表す画像)やHDR画像を再生する際に第1の輝度範囲で発光輝度が制御され、高輝度HDR画像を再生する際に第2の輝度範囲で発光輝度が制御される。なお、第1閾値は500[cd/m]より高くても低くてもよい。第1閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。また、第2の輝度範囲の最大発光輝度(発光輝度の最大値)が第1の輝度範囲の最大発光輝度よりも高ければ、第1の輝度範囲と第2の輝度範囲はどのような範囲であってもよい。例えば、第1の輝度範囲は1つの発光輝度(200[cd/m]等)のみを含んでいてもよい。
次に、画像表示装置100の動作について、図6のフローチャートを用いて説明する。図6は、画像表示装置100の動作全体の一例を示すフローチャートである。図6のフローチャートは、画像表示装置100の状態が高輝度HDR画像データを受信可能な状態となったタイミングで開始される。
まず、S601にて、画像表示装置100が、メインストリームとサブストリームを受信する。次に、S602にて、HDRデコーダ101が、S601で受信されたメインストリームとサブストリーム(メタデータを含む)をデコードする。そして、S603にて、再生制御部112が、HDRデコーダ101と通信することにより、LDR画像データ、差分データ、及び、輝度データが得られたか否かを判断する。LDR画像データ、差分データ、及び、輝度データが得られた場合には、S604に処理が進められる。それ以外の場合には、S609に処理が進められる。具体的には、差分データと輝度データの少な
くとも一方が得られなかった場合には、S609に処理が進められる。
S609では、LDR画像が再生される。具体的には、HDR生成部102からLDR画像データが出力され、画像処理部103によりLDR画像データに所定の画像処理が施され、所定の画像処理が施された後の画像データに応じた値に液晶パネル104の透過率が制御される。また、特徴量取得部105によりLDR画像データから特徴量が取得され、特徴量に基づく第1BL制御信号が第1BL制御部106により生成され、BL制御選択部108により第1BL制御信号が選択される。そして、第1BL制御信号に応じた値にバックライト部109の発光輝度が制御される。それにより、LDR画像が再生(表示)される。
S604では、HDR生成部102が、S603で得られたLDR画像データと差分データを用いてHDR画像データを生成し、生成したHDR画像データを出力する。HDR画像データを生成する方法(アルゴリズム)は特に限定されない。また、HDR生成部102は、S603で得られた輝度データからBL輝度データを生成し、生成したBL輝度データを出力する。その後、BL輝度データに基づく第2BL制御信号が第2BL制御部107により生成される。また、特徴量取得部105によりLDR画像データから特徴量が取得され、特徴量に基づく第1BL制御信号が第1BL制御部106により生成される。
S604の次に、S605において、BL制御選択部108が、第2BL制御信号を選択する。そして、S606にて、高輝度HDR画像が再生される。具体的には、S604で生成されたHDR画像データが液晶パネル104に入力され、HDR画像データに応じた値に液晶パネル104の透過率が制御される。また、S604で決定された第2BL制御信号がバックライト部109に入力され、第2BL制御信号に応じた値にバックライト部109の発光輝度が制御される。それにより、高輝度HDR画像が再生(表示)される。
次に、S607にて、操作受信部110が再生操作を待つ。再生操作が行われた場合には、S608に処理が進められる。再生操作が行われたか否かは、操作受信部110からの操作信号を再生制御部112が解析することで判断できる。S608では、再生操作処理が行われる。
次に、再生操作処理(図6のS608)について、図7のフローチャートを用いて説明する。図7は、再生操作処理の一例を示すフローチャートである。
まず、S701にて、特定操作判断部111が、図6のS607で行われた再生操作が特定の再生操作であるか否かを判断する。本実施例では、輝度が第1閾値よりも高い画像領域を含むフレームの再生時に行われた一時停止操作である第1の一時停止操作が、特定の再生操作として検出される。一時停止操作は、再生対象のフレームの更新を一時的に停止する再生操作である。具体的には、再生制御部112が、現在再生されているフレームまたはシーンのBL輝度データをHDR生成部102から取得し、取得したBL輝度データを特定操作判断部111に出力する。また、再生制御部112は、S607で得られた操作信号を解析することにより、S607で行われた再生操作が一時停止操作であるか否かを判断し、判断結果を特定操作判断部111に出力する。なお、再生操作の判断(再生操作が一時停止操作であるか否かの判断)はS607で行われてもよい。その後、特定操作判断部111が、BL輝度データが示すBL輝度を第1閾値と比較する。そして、特定操作判断部111が、BL輝度の判断結果と再生操作の判断結果とに応じて、S607で行われた再生操作が第1の一時停止操作であるか否かを判断する。
再生操作が一時停止操作であり、且つ、BL輝度が第1閾値よりも高い場合には、S607で行われた再生操作が第1の一時停止操作であると判断され、S702へ処理が進められる。それ以外の場合には、S607で行われた再生操作が第1の一時停止操作でないと判断され、本フローチャートが終了され、S607で行われた再生操作に応じた再生方法で高輝度HDR画像が再生される。
本実施例では、画像表示装置100は、画像表示装置100の内部の温度を測定する温度センサ(不図示)を有する。温度センサは、例えば、バックライト部109の温度を測定する。S702では、再生制御部112が、温度センサの測定値を監視し、温度センサの測定値に基づいて、画像表示装置100の内部の温度が正常か否かを判断する。
本実施例の高輝度HDR画像の輝度の上限値は、5000[cd/m]である。5000[cd/m]の発光輝度でバックライト部109が発光し続けると、バックライト部109の温度が高温となり、画像表示装置100の誤作動が生じたり、画像表示装置100が故障したりすることがある。高輝度且つ長時間の表示はユーザによる画像の視認において好ましくないため、高い輝度を維持する輝度データはメタデータに格納されない。そのため、高輝度HDR画像の通常再生(通常(基準)の再生速度且つ通常(基準)の画像倍率での再生)が行われている場合には、5000[cd/m]の発光輝度でバックライト部109が発光し続けることはない。しかし、再生操作が行われると、高い発光輝度でバックライト部109が発光し続けることがある。
温度センサの測定値(画像表示装置100の内部の温度)が第3閾値よりも大きい場合には、画像表示装置100の内部の温度が正常でないと判断され、S703へ処理が進められる。温度センサの測定値が第3閾値以下である場合には、画像表示装置100の内部の温度が正常であると判断される。画像表示装置100の内部の温度が正常でないと判断されるまで、S702の処理が繰り返される。画像表示装置100の内部の温度に応じて処理を切り替えることにより、画像表示装置100の誤作動や故障を抑制することができる。なお、第3閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。
S703では、再生制御部112が、動画像の再生の停止と高輝度の表示の抑制と一方の選択をユーザに求める選択情報を、ユーザに通知する。例えば、選択情報を示す画像を画面に表示することにより、選択情報がユーザに通知される。選択情報と、画像表示装置100の内部の温度が高いことを示す温度情報とが、ユーザに通知されてもよい。
次に、S704にて、再生制御部112が、動画像の再生の停止を選択するユーザ操作が行われたか、高輝度の表示の抑制を選択するユーザ操作が行われたかを判断する。動画像の再生の停止を選択するユーザ操作が行われた場合には、S705に処理が進められ、高輝度の表示の抑制を選択するユーザ操作が行われた場合には、S707に処理が進められる。
S705では、再生制御部112が、動画像の再生が停止されることを示す停止情報を、ユーザに通知する。例えば、停止情報は、選択情報と同様に、画像表示によってユーザに通知される。そして、S706にて、再生制御部112が、対象画像データに基づく動画像の再生を停止する停止処理を行う。具体的には、再生制御部112が、画像の再生に必要なデータの出力の停止を、HDR生成部102に指示する。それにより、HDR生成部102からのデータの出力が停止され、画像の再生が停止される。
S707では、再生制御部112が、高輝度の表示が抑制されることを示す抑制情報を、ユーザに通知する。例えば、抑制情報は、選択情報と同様に、画像表示によってユーザ
に通知される。そして、S708とS709にて、再生制御部112が、輝度が第1閾値よりも高い画像の再生が抑制されるように再生を制御する制御処理を行う。本実施例では、制御処理として、再生された動画像の輝度を低減する低減処理が行われる。
S708では、再生制御部112が、第1BL輝度信号の選択を、BL制御選択部108に指示する。それにより、BL制御選択部108の出力信号が第2BL輝度信号から第1BL輝度信号に変更される。換言すれば、バックライト部109の発光輝度の取り得る値の範囲が第2の輝度範囲から第1の輝度範囲に変更される。その結果、バックライト部109の発光輝度が低減される。なお、バックライト部109の発光輝度を低減するBL輝度低減処理の方法は特に限定されない。例えば、複数フレーム分の時間をかけて、BL制御選択部108の出力信号が第2BL輝度信号から第1BL輝度信号に段階的に変更されてもよい。第2BL輝度信号に応じた発光輝度から所定値だけ低い値にバックライト部109の発光輝度が低減されてもよい。低減後の発光輝度の取り得る値の範囲は、第1の輝度範囲と異なっていてもよい。
S709では、再生制御部112が、LDR画像データの出力を、HDR生成部102に指示する。それにより、HDR生成部102の出力データである対象画像データがHDR画像データからLDR画像データに変更される。換言すれば、対象画像データの階調値の取り得る値の範囲が第2の階調範囲から第1の階調範囲に変更される。その結果、対象画像データの階調値が低減される。なお、対象画像データの階調値を低減する階調低減処理の方法は特に限定されない。例えば、複数フレーム分の時間をかけて、対象画像データがHDR画像データからLDR画像データに段階的に変更されてもよい。対象画像データの階調値から所定値だけ低い値に対象画像データの階調値が低減されてもよい。低減後の階調値の取り得る値の範囲は、第1の階調範囲と異なっていてもよい。
上述した低減処理(BL輝度低減処理と階調低減処理)により、LDR画像が再生される。
S706またはS709の処理の次にS710の処理が行われる。S710では、再生制御部112が、高輝度HDR画像の再生を再開する再開処理を行う。
なお、画像表示装置100の内部の温度は考慮されなくてもよい。例えば、特定の再生操作が行われた場合に、S701からS707に処理が進められてもよい。
次に、再開処理(図7のS710)について、図8のフローチャートを用いて説明する。図8は、再開処理の一例を示すフローチャートである。
まず、S801にて、操作受信部110が、高輝度HDR画像の再生の再開を指示するユーザ操作である再開操作を待つ。再開操作が行われると、S802以降の処理が行われる。再開操作は、「通常再生を開始するユーザ操作」とも言える。S709の処理が行われた後の再開操作は、「特定の再生操作(第1の一時停止操作)に応じた再生方法での再生を解除するユーザ操作」とも言える。本実施例では、S709の処理が行われた後の再開操作は、「第1の一時停止操作に応じた再生方法での再生を解除するユーザ操作」である。
S802では、再生制御部112が、高輝度HDR画像の輝度が第1閾値よりも高い画像領域を含まないフレーム(低輝度フレーム)を検出する。本実施例では、現再生フレーム(現在再生されているフレーム)よりも前の複数のフレームのうち、BL輝度(最大輝度)が第1閾値以下であるフレームが検出される。具体的には、BL輝度が第1閾値以下であるNフレーム期間(N枚(Nは2以上の整数)のフレーム分の期間)の先頭のフレー
ムが検出される。なお、Nの値は特に限定されない。Nの値は、メーカーによって予め定められた値であってもよいし、ユーザが変更可能な値であってもよい。画像表示装置100の内部の温度に基づいてNの値が決定されてもよい。
そして、S803にて、再生制御部112が、高輝度HDR画像の再生(通常再生)を再開する制御を行う。その際、再生制御部112は、S802で検出されたフレームに、再生対象のフレームを切り替える(第1切り替え処理)。その結果、S802で検出されたフレームから高輝度HDR画像が再生される。高輝度HDR画像は、HDR画像データと第2BL制御信号を使用することで再生される。
次に、S804にて、再生制御部112が、通常再生が再開されてからの経過時間が閾値時間に達したか否かを判断する。経過時間が閾値時間に達するまでS804の処理が繰り返し行われ、経過時間が閾値時間に達すると本フローチャートが終了される。また、通常再生が再開されてから閾値時間だけ経過するまでの期間では、再生制御部112は、再生操作を無効化する。これにより、通常再生が再開されてから閾値時間だけ経過するまでの期間では、操作受信部110で再生操作が受け付けられなくなる。その結果、制御処理の頻度を低減することができ、ユーザの違和感(制御処理による表示の変化によって生じる違和感)を低減することができる。なお、閾値時間は、メーカーによって予め定められた固定時間であってもよいし、ユーザが変更可能な時間であってもよい。
なお、S802の処理の方法は特に限定されない。例えば、現再生フレームよりも前のフレームが検出されてもよいし、現再生フレームよりも後のフレームが検出されてもよい。輝度が第1閾値よりも高い画像領域を含まない複数のフレームのうち、現再生フレームに時間的に最も近いフレームが検出されてもよい。上記複数のフレームとして、現再生フレームよりも前のフレームのみが使用されてもよいし、現再生フレームよりも後のフレームのみが使用されてもよい。上記複数のフレームとして、現再生フレームよりも前のフレームと、現再生フレームよりも後のフレームとの両方が使用されてもよい。但し、現再生フレームよりも前のフレームが検出されることが好ましい。それにより、ユーザによるフレームの見逃しを抑制したりすることができる。また、輝度が第1閾値よりも高い画像領域を含まないNフレーム期間の先頭のフレームが検出されることが好ましい。それにより、高輝度なフレームがすぐに表示されることをより確実に抑制することができる。また、現再生フレームに時間的により近いフレームが検出されることが好ましい。それにより、再生対象のフレームの切り替えによるユーザの違和感を低減することができる。
図11を用いて、再開処理の具体例について説明する。図11の縦軸は高輝度HDR画像の最大輝度(BL輝度)[cd/m]を示し、図11の横軸は時間を示す。ここでは、フレーム1101の再生時に一時停止操作が行われ、その後に再開処理が行われた例を説明する。
従来の画像表示装置では、一時停止時に再生されていたフレームから、再生が再開されていた。しかしながら、高輝度なフレームやシーンから再生を再開すると、ユーザによる画像の視認が表示の眩しさによって妨げられることがある。そこで、本実施例では、BL輝度が第1閾値以下であるNフレーム期間の先頭のフレーム1102から再生を再開する。それにより、高輝度なフレームやシーンからの再生の再開を抑制できる。
なお、再開処理後も継続して制御処理が行われ、適切なシーンで制御処理が解除されてもよい。適切なシーンは、例えば、上述したNフレーム期間のシーンである。再生制御部112は、例えば、現再生フレームよりも後のフレームのBL輝度(最大輝度)を先読みすることで、上記適切なシーンを検出する。図11のフレーム1103から通常再生が再開され、フレーム1103からフレーム1102の期間ではLDR画像が再生され、フレ
ーム1102のタイミングで再生画像がLDR画像から高輝度HDR画像に切り替えられてもよい。また、再開処理後に再生画像がLDR画像から段階的に高輝度HDR画像に遷移するように、再生が制御されてもよい。
なお、本実施例では、一時停止操作時には再生対象のフレームを切り替えず、再開処理時に再生対象のフレームを切り替える例を説明したが、これに限らない。一時停止操作時に再生対象のフレームが切り替えられてもよい。例えば、第1の一時停止操作が行われた場合に、再生制御部112により、輝度が第1閾値よりも高い画像領域を含まないフレームに、再生対象のフレームが切り替えられてもよい(第2切り替え処理)。第2切り替え処理による切り替え後のフレームは、第1切り替え処理による切り替え後のフレームと同様に、特に限定されない。
なお、本実施例では、特定の再生操作が第1の一時停止操作である例を説明したが、これに限らない。例えば、特定の再生操作は、第2の一時停止操作、第1のスケーリング操作、第2のスケーリング操作、及び、速度変更操作の少なくともいずれかを含んでいてもよい。特定の再生操作は、第1の一時停止操作を含んでいなくてもよい。
第2の一時停止操作は、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含むフレームの再生時に行われた一時停止操作である。図9は、第2閾値の一例を示す図である。図9の縦軸は第2閾値[cd/m]を示し、図9の横軸は最大輝度を有する画像領域のサイズ(画素数)を示す。図9には、最大輝度を有する画像領域のサイズが大きいほど小さい値が、第2閾値として示されている。これは、高輝度の画像領域のサイズが小さいほど当該画像領域の明るさが際立つためである。BL輝度低減処理では、BL輝度を第2閾値まで低減することにより、バックライト部の発光輝度が低減されてもよい。第2の一時停止操作が行われた場合に、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含まないフレームに、再生対象のフレームが切り替えられもよい(第4切り替え処理)。再開処理で、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含まないフレームに、再生対象のフレームが切り替えられもよい(第3切り替え処理)。
なお、第3切り替え処理や第4切り替え処理による切り替え後のフレームは、第1切り替え処理による切り替え後のフレームと同様に、特に限定されない。また、第2閾値は図9に示す値に限らない。最大輝度を有する画像領域のサイズに依存しない値が、第2閾値として使用されてもよい。第2閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。
なお、第1の一時停止操作や第2の一時停止操作が行われた場合の制御処理は、特に限定されない。例えば、制御処理として、階調低減処理、BL輝度低減処理、第1切り替え処理、及び、第2切り替え処理のうちの少なくともいずれかが行われれば、高輝度な画像の再生を抑制することができる。
第1のスケーリング操作は、輝度が第1閾値よりも高い画像領域を含む画像が再生されるように、対象画像データの画像サイズを変更する再生操作である。第2のスケーリング操作は、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含む画像が再生されるように、対象画像データの画像サイズを変更する再生操作である。画像サイズを変更するスケーリング操作は、画像を拡大する拡大操作と、画像を縮小する縮小操作を含む。また、スケーリング操作は、PbyP(Picture By Picture)表示やPinP(Picture In Picture)表示のためのユーザ操作も含む。第1のスケーリング操作や第2のスケーリング操作が行われた場合には、例えば、制御処理として、階調低減処理とBL輝度低減処理の少なくとも一方が行われる。
速度変更操作は、対象画像データに基づく動画像の再生速度を変更する再生操作である。速度変更操作は、再生速度を低減するスロー再生操作、再生速度を速める再生操作(早送り操作と早戻し操作)、等を含む。速度変更操作が行われた場合には、例えば、制御処理として、階調低減処理とBL輝度低減処理の少なくとも一方が行われる。速度変更操作が行われた場合には、変更後の再生速度に応じた低減量で画像データの階調値やバックライト部の発光輝度が低減されてもよい。
図10に、スロー再生操作が行われた場合のBL輝度補正値の一例を示す。図10の縦軸はBL輝度補正値を示し、図10の横軸は再生速度を示す。BL輝度補正値は、BL輝度低減処理で使用される。BL輝度補正値は、BL輝度を補正する補正値である。図10には、BL輝度補正値として、BL輝度に乗算する乗算値が示されている。なお、BL輝度補正値は乗算値に限らない。例えば、BL輝度補正値として、BL輝度に加算する加算値が使用されてもよい。図10において、再生速度1は通常の再生速度を示す。そのため、スロー再生操作は、再生速度を1よりも小さい値に低減する再生操作である。図10の例では、1よりも小さい再生速度に、1(100[%])よりも小さいBL輝度補正値が対応付けられている。また、再生速度が遅いほど、高い輝度での表示が長時間行われる可能性が高いため、再生速度に対して、再生速度が遅いほど小さいBL輝度補正値が対応付けられている。
スロー再生操作が行われると、変更後の再生速度に対応するBL輝度補正値を用いてBL輝度が低減される(BL輝度低減処理)。図10の例では、再生速度1/2にBL輝度補正値50%が対応付けられている。そのため、再生速度を1から1/2に低減するスロー再生操作が行われた場合には、BL輝度5000[cd/m]が2500[cd/m]に低減される。
再生操作以外のユーザ操作として、再生画像の輝度を調整する輝度調整操作が行われることもある。例えば、再生画像をユーザが近くで視認する場合には、再生画像をユーザが遠くから視認する場合に比べて、ユーザが眩しさを感じやすい。そのため、再生画像をユーザが近くで視認する場合に輝度調整操作が行われることがある。輝度調整操作が行われた場合には、輝度調整操作に応じた低減量で画像データの階調値やバックライト部の発光輝度を低減すればよい。例えば、輝度調整操作に応じたBL輝度補正値を用いてBL輝度を低減すればよい。
以上述べたように、本実施例によれば、特定の再生操作が行われた場合に、輝度が第1閾値よりも高い画像の再生が抑制されるように、再生が制御される。それにより、種々の再生操作が行われた場合に好適な画像をより確実に再生することができる。具体的には、際立った高輝度な表示が行われたり、高輝度且つ長時間の表示が行われたりすることを抑制することができる。
なお、本実施例では、LDR画像データ、差分データ、及び、輝度データが受信される例を説明したが、これに限らない。例えば、HDR画像データと輝度データが受信されてもよい。また、高輝度HDR画像データが1ストリームで受信されてもよい。また、種々のデータの取得方法は特に限定されない。例えば、輝度データはメタデータに格納されていなくてもよい。LDR画像データが格納されたストリーム、差分データが格納されたストリーム、及び、輝度データが格納されたストリームの3つのストリームが受信されてもよい。
<実施例2>
以下、本発明の実施例2に係る画像再生装置及び画像再生方法について説明する。本実
施例では、再生操作と再生の制御方法との対応関係に関する情報である制御情報がさらに取得される例を説明する。
図12は、本実施例に係る画像表示装置(画像再生装置)1200の機能構成の一例を示すブロック図である。図12において、実施例1(図1)と同じ機能部には実施例1と同じ符号を付し、その説明は省略する。図12に示すように、画像表示装置1200は、HDRデコーダ101とHDR生成部102の間に、制御情報判断部1201を有する。また、画像表示装置1200は、図1の再生制御部112の代わりに再生制御部1202を有する。
制御情報判断部1201は、HDRデコーダ101のデコード結果(デコードによって得られたデータ)を取得する。本実施例では、メタデータに制御情報が含まれていることがある。メタデータに制御情報が含まれている場合には、HDRデコーダ101は、メタデータをデコードすることによって、制御情報を取得する(第4取得処理)。制御情報判断部1201は、制御情報が取得されたか否かを判断し、判断結果を再生制御部1202へ出力する。
なお、第1取得処理を行う機能部、第2取得処理を行う機能部、第3取得処理を行う機能部、及び、第4取得処理を行う機能部は、同じであってもよいし、異なっていてもよい。制御情報の取得方法は特に限定されない。制御情報はメタデータに格納されていなくてもよい。LDR画像データが格納されたストリーム、差分データが格納されたストリーム、輝度データが格納されたストリーム、及び、制御情報が格納されたストリームの4つのストリームが受信されてもよい。
再生制御部1202は、再生制御部112と同様の機能を有する。但し、本実施例では、制御情報が取得された場合に、再生制御部1202は、取得された制御情報に従って再生を制御する。
図13は、制御情報の一例を示す図である。図13には、複数の再生操作のそれぞれに対して、以下の3つの情報が関連付けられている。このような制御情報を使用することにより、ユーザ操作に応じて画像表示装置で行われる処理を、画像制作者やユーザが適宜設定したり変更したりすることが可能となる。
・再生操作を許可するか否かを示す許可情報
・再生操作が行われた際の再生の制御方法を示す第1制御情報
・通常再生の再開する際の再生の制御方法を示す第2制御情報
なお、制御情報は、上記情報に限らない。例えば、制御情報が、許可情報、第1制御情報、及び、第2制御情報の少なくともいずれかを含んでいなくてもよい。制御情報が許可情報のみを含んでいてもよい。制御情報が、上記3つの情報(許可情報、第1制御情報、及び、第2制御情報)以外の情報を含んでいてもよい。また、制御情報は、動画像単位の情報であってもよいし、フレーム単位の情報であってもよいし、シーン単位の情報であってもよいし、GOP(Group of Picture)単位の情報であってもよい。制御情報は、特定の再生操作のみについて再生の制御方法を示す情報であってもよい。
画像表示装置1200の動作全体のフローチャートは、実施例1(図6)と同じである
。次に、本実施例に係る再生操作処理(図6のS608)について、図14のフローチャートを用いて説明する。図14は、本実施例に係る再生操作処理の一例を示すフローチャートである。
まず、S1401にて、制御情報判断部1201が、図6のS602で制御情報が得ら
れたか否かを判断する。制御情報が得られた場合にはS1402に処理が進められ、制御情報が得られなかった場合には図7のS701に処理が進められる。制御情報が得られなかった場合には、本フローチャートが終了され、S607で行われた再生操作に応じた再生方法で高輝度HDR画像が再生されてもよい。
S1402では、再生制御部1202が、S602で得られた制御情報(許可情報)に基づいて、S607で行われた再生操作が許可されているか否かを判定する。再生操作が許可されている場合にはS1403に処理が進められ、再生操作が許可されていない場合にはS1405に処理が進められる。S1405では、再生制御部1202が、S607で行われた再生操作が許可されていないことを示す非許可情報を、ユーザに通知する。例えば、非許可情報を示す画像を画面に表示することにより、非許可情報がユーザに通知される。その後、本フローチャートが終了される。
図13の制御情報では、一時停止操作、スロー再生操作、早送り操作、早戻し操作、拡大操作、及び、縮小操作が許可されており、輝度調整操作は禁止されている。そのため、一時停止操作、スロー再生操作、早送り操作、早戻し操作、拡大操作、または、縮小操作が行われた場合には、S1402からS1403に処理が進められ、輝度調整操作が行われた場合には、S1402からS1405に処理が進められる。
S1403では、再生制御部1202が、S602で得られた制御情報(第1制御情報)に基づいて、再生を制御する。
図13において、一時停止操作の第1制御情報は、高輝度HDR画像の表示を優先することと、高輝度HDR画像の表示を維持できない場合に再生を停止することとを示す。「高輝度HDR画像の表示を維持できない場合」は、例えば、画像表示装置1200の内部の温度が正常でないことを意味する。そのため、一時停止操作が行われた場合には、高輝度HDR画像の表示が行われる。そして、画像表示装置1200の内部の温度が正常でないと判断された場合に、再生が停止される。
また、図13において、スロー再生操作の第1制御情報は、最大輝度(BL輝度)を3割低減することを示す。そのため、スロー再生操作が行われた場合には、BL輝度を3割低減するBL輝度低減処理が行われる。早送り操作と早戻し操作の第1制御情報は、バックライト部109の発光輝度の取り得る値の範囲を第2の輝度範囲から第1の輝度範囲に切り替えることを示す。そのため、早送り操作または早戻し操作が行われた場合には、BL制御選択部108の出力信号を第2BL輝度信号から第1BL輝度信号に切り替えるBL輝度低減処理が行われる。
また、図13において、拡大操作の第1制御情報は、画像の拡大率に応じて最大輝度(BL輝度)を低減することを示す。そのため、拡大操作が行われた場合には、拡大率に応じてBL輝度を低減するBL輝度低減処理が行われる。拡大率を用いたBL輝度の低減方法は特に限定されない。例えば、拡大率に対応するBL輝度補正値を用いてBL輝度が低減されてもよい。拡大率とBL輝度補正値の対応関係を示す情報は、制御情報に含まれていてもよいし、画像表示装置1200に予め記録されていてもよい。縮小操作の第1制御情報は、LDR画像を再生することを示す。そのため、縮小操作が行われた場合には、BL制御選択部108の出力信号を第2BL輝度信号から第1BL輝度信号に切り替えるBL輝度低減処理が行われる。さらに、HDR生成部102の出力データをHDR画像データからLDR画像データに切り替える階調低減処理が行われる。
なお、再生を停止したり、高輝度の表示を抑制したりする際に、停止情報や抑制情報がユーザに通知されてもよい(図7のS705とS707)。
S1403の次に、S1404の処理が行われる。S1404では、再生制御部1202が、高輝度HDR画像の再生を再開する再開処理を行う。
次に、本実施例に係る再開処理(図14のS1404)について、図15のフローチャートを用いて説明する。図15は、本実施例に係る再開処理の一例を示すフローチャートである。
まず、S1501にて、操作受信部110が再開操作を待つ。再開操作が行われると、S1502以降の処理が行われる。S1502では、再生制御部1202が、S1401の判断結果に基づいて、S607で行われた再生操作に対応する第2制御情報が制御情報に含まれているか否かを判断する。第2制御情報が制御情報に含まれている場合には、S1503に処理が進められ、第2制御情報が制御情報に含まれていない場合には、S1504に処理が進められる。
S1503では、再生制御部1202が、S602で得られた制御情報(第2制御情報)に基づいて、再生を制御する。その後、S1505の処理が行われる。S1505の処理は、図8のS804の処理と同じである。
図13において、一時停止操作の第2制御情報は、BL輝度が第1閾値以下であるNフレーム期間の先頭のフレームから高輝度HDR画像を再生することを示す。そのため、一時停止操作の後に再開操作が行われた場合には、図8のS802とS803の処理と同様の処理が行われる。
また、図13において、スロー再生操作、早送り操作、早戻し操作、拡大操作、及び、縮小操作の第2制御情報は、バックライト部109の発光輝度の取り得る値の範囲を第2の輝度範囲に段階的に近づけることを示す。そのため、スロー再生操作、早送り操作、早戻し操作、拡大操作、または、縮小操作の後に再開操作が行われた場合には、BL制御選択部108の出力信号を第1BL輝度信号から第2BL輝度信号に段階的に近づける処理が行われる。また、拡大操作または縮小操作の後に再開操作が行われた場合には、HDR生成部102の出力データをLDR画像データからHDR画像データに切り替える処理も行われる。
S1504では、再生制御部1202が、高輝度HDR画像の通常再生が行われるように、所定の方法で再生を制御する。なお、図7のフローチャートが実行された場合には、図8のS802とS803の処理が行われてもよいし、そうでなくてもよい。一時停止時に再生されていたフレームから通常再生が再開されてもよい。S1504の処理の方法は特に限定されない。S1504の次に、S1505の処理が行われる。
以上述べたように、本実施例によれば、制御情報が取得され、制御情報に従って再生が制御される。種々の再生操作が行われた場合に好適な画像をより確実に再生することができる。さらに、ユーザ操作に応じて画像表示装置で行われる処理を、画像制作者やユーザが適宜設定したり変更したりすることが可能となる。また、本実施例では、制御情報が取得されない場合に、実施例1と同様の方法で再生が制御される。それにより、制御情報が取得されない場合にも、種々の再生操作が行われた場合に好適な画像をより確実に再生することができる。
<実施例3>
以下、本発明の実施例3に係る画像出力装置及び画像出力方法について説明する。本実施例では、画像出力装置が撮像装置である場合の例を説明する。但し、本発明が適用可能
な画像出力装置は撮像装置に限らない。例えば、パーソナルコンピュータ、種々のレコーダー(ハードディスクレコーダー、ブルーレイレコーダー、DVDレコーダー、等)、種々のプレーヤー(ブルーレイプレーヤー、DVDプレーヤー、等)、スマートフォン、等に本発明を適用することもできる。
図16は、本実施例に係る画像表示システム(画像再生システム)の一例を示す図である。本実施例に係る画像表示システムは、撮像装置1600と画像表示装置(画像再生装置)1610を有する。撮像装置1600は、2本のSDI(Serial Digital Interface)ケーブルを用いて画像表示装置1610に接続されている。なお、画像表示装置1610は、撮像装置1600に設けられた表示部(再生部)であってもよい。
撮像装置1600は、撮像によって高輝度HDR画像データを生成することができる。撮像装置1600は、撮像によって生成した高輝度HDR画像データを、2本のSDIケーブルを介して画像表示装置1610に出力することができる。高輝度HDR画像データの伝送方法は特に限定されない。本実施例では、高輝度HDR画像データとして、2つのストリームが伝送される。2つのストリームの一方であるメインストリームには、LDR画像データが格納されており、2つのストリームの他方であるサブストリームには、差分データやメタデータが格納されている。
画像表示装置1610は、画像表示装置1610に入力された画像データに基づく画像を再生(表示)することができる。画像表示装置1610は高輝度HDR画像を再生することができる。画像表示装置1610としては、透過型の液晶表示装置、反射型の液晶表示装置、液晶素子の代わりにMEMSシャッターを用いたMEMSシャッター方式表示装置、等を用いることができる。画像表示装置1610として、有機EL表示装置、プラズマ表示装置、等の自発光型の画像表示装置を用いることもできる。画像表示装置1610として、プロジェクターを用いることもできる。本実施例では、画像表示装置1610として、透過型の液晶表示装置が使用される。また、本実施例では、撮像によって生成された画像データの解像度(画素数)と、画像表示装置1610の画面の解像度(表示素子数)とが、いずれもFull−HDである。なお、これらの解像度は特に限定されない。
図17は、撮像装置1600の機能構成の一例を示すブロック図である。図17に示すように、撮像装置1600は、撮像部1701、AD変換部1702、高輝度HDR画像生成部1703、記憶部1704、操作受信部1705、特定操作判断部1706、制御部1707、輝度データ再生成部1708、画像処理部1709、OSD合成部1710、表示部1711、出力データ決定部1712、SDIエンコーダ1713,1715、及び、SDI出力端子1714,1716を有する。出力データ決定部1712は、輝度データ選択部1721、画像データ選択部1722、及び、出力データ変換部1723を有する。各機能部は制御バスを用いて制御部1707に接続されているが、図17では一部の制御バスが省略されている。
以下、撮像装置1600の各機能部について、撮像装置1600の処理フローに従って説明する。以下では、再生対象の画像データ(対象画像データ)として、動画像データが出力される場合の例を説明する。
撮像部1701は、撮像(光電変換)によってアナログ信号であるHDR画像データを生成する。撮像部1701は、例えば、撮像素子と光学系を有する。撮像素子としては、CCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ、等を使用することができる。
AD変換部1702は、撮像部1701で得られたアナログ信号をデジタル信号に変換する(AD変換)。それにより、デジタル信号であるHDR画像データD103が得られる。
高輝度HDR画像生成部1703は、撮像部1701の撮像時に設定されていた撮像パラメータ、AD変換部1702で得られたHDR画像データD103の特徴量、等に基づいて、高輝度HDR画像データを生成する。具体的には、高輝度HDR画像生成部1703は、撮像パラメータ、HDR画像データの特徴量、等に基づいて、輝度データC103を生成する。それにより、高輝度HDR画像データ(HDR画像データD103と輝度データC103の組み合わせ)が得られる。高輝度HDR画像生成部1703は、輝度データC103とHDR画像データD103の間の同期がとれるように、輝度データC103をHDR画像データD103に関連付ける。本実施例では、輝度データC103が、メタデータとして、HDR画像データD103に付加される。そして、高輝度HDR画像生成部1703は、輝度データC103を出力したり、HDR画像データD103を出力したり、高輝度HDR画像データ(輝度データC103が関連付けられたHDR画像データD103)を出力したりする。輝度データC103とHDR画像データD103は、輝度データC103に対する処理とHDR画像データD103に対する処理との間の同期がとれるように出力される。
記憶部1704は、高輝度HDR画像生成部1703で生成された高輝度HDR画像データ(輝度データC103が関連付けられたHDR画像データD103)を記憶する。記憶部1704としては、磁気ディスク、光ディスク、不揮発性メモリ、等を使用することができる。記憶部1704は、撮像装置1600に対して着脱可能な記録媒体であってもよいし、そうでなくてもよい。例えば、記憶部1704として、内蔵メモリが使用されてもよいし、SDカードが使用されてもよい。
操作受信部1705は、撮像装置1600に対するユーザ操作を受け付ける。ユーザ操作は、例えば、リモートコントローラ、操作ユニット、等を用いて行われる。操作受信部1705は、行われたユーザ操作に応じた操作信号を、特定操作判断部1706へ出力する。操作受信部1705は、再生操作を含む様々なユーザ操作を受け付ける。
特定操作判断部1706は、操作受信部1705から出力された操作信号と、高輝度HDR画像生成部1703から出力された輝度データC103とに基づいて、行われたユーザ操作が特定の再生操作であるか否かを判断する。
制御部1707は、撮像装置1600が有する各機能部の処理を制御する。例えば、制御部1707は、行われた再生操作に応じた再生方法で対象画像データに基づく動画像が画像表示装置1610によって再生されるように、画像表示装置1610へのデータの出力を制御する。また、特定の再生操作が行われた場合には、制御部1707は、輝度が第1閾値よりも高い画像の再生が抑制されるように、画像表示装置1610へのデータの出力を制御する。
輝度データ再生成部1708は、制御部1707からの指示に従い、輝度データC103から輝度データC108を生成し、輝度データC108を出力する。
画像処理部1709は、高輝度HDR画像生成部1703から出力されたHDR画像データD103に所定の画像処理を施すことにより、HDR画像データD109を生成する。そして、画像処理部1709は、生成したHDR画像データD109を出力する。所定の画像処理は、例えば、画像データの画質を高める高画質化処理である。高画質化処理は
、ガンマ変換処理、色変換処理、輝度変換処理、エッジ強調処理、ぼかし処理、等を含む。所定の画像処理として、1つの画像処理が行われてもよいし、複数の画像処理が行われてもよい。
OSD合成部1710は、制御部1707からの指示に従い、OSD画像のデータを、画像処理部1709から出力されたHDR画像データD109に合成する。それにより、HDR画像にOSD画像を重ねた画像を表す合成画像データが生成される。制御部1707は、例えば、ユーザ操作に応じて、OSD画像の合成をOSD合成部1710に指示する。そして、OSD合成部1710は、HDR画像データD110を出力する。OSD画像の合成が行われた場合には、合成画像データがHDR画像データD110として出力され、OSD画像の合成が行われなかった場合には、HDR画像データD109がHDR画像データD110として出力される。OSD画像としては、メニュー画像等のUI(ユーザインタフェース)画像が使用される。OSD画像として、撮像装置1600の動作状態を示す画像が使用されることもある。
表示部1711は、OSD合成部1710から出力されたHDR画像データD110に基づく画像を表示する。表示部1711としては、液晶パネルとバックライト部、有機EL表示パネル、プラズマ表示パネル、等を使用することができる。本実施例では、表示部1711では、HDR画像データD110が表すHDR画像が表示される。表示部1711では、例えば、被写体の現在の状態を表す画像が表示されたり、過去の撮像によって得られた画像が表示されたり、上述したOSD画像が表示されたりする。
出力データ決定部1712は、制御部1707からの指示に従い、画像表示装置1610に出力するデータを決定する。
輝度データ選択部1721は、高輝度HDR画像生成部1703から出力された輝度データC103、または、輝度データ再生成部1708から出力された輝度データC108を、制御部1707からの指示に従って選択する。そして、輝度データ選択部1721は、選択した輝度データを出力する。
画像データ選択部1722は、HDR画像データD103、HDR画像データD109、または、HDR画像データD110を、制御部1707からの指示に従って選択する。そして、画像データ選択部1722は、選択したHDR画像データを出力する。
出力データ変換部1723は、画像データ選択部1722から出力されたHDR画像データに基づいて、LDR画像データと差分データを生成する。換言すれば、出力データ変換部1723は、画像データ選択部1722から出力されたHDR画像データを、LDR画像データと差分データに変換する。出力データ変換部1723は、LDR画像データと差分データのデータフォーマットをSDIのデータフォーマットに変換し、輝度データ選択部1721から出力された輝度データを差分データのアンシラリ領域へ書き込む。そして、出力データ変換部1723は、LDR画像データと、輝度データが付加された差分データとを出力する。
SDIエンコーダ1713は、SDIエンコーダ1713に入力されたパラレルデータをシリアルデータに変換し、SDI出力端子1714を介して画像表示装置1610にシリアルデータを出力する。SDIエンコーダ1715は、SDIエンコーダ1715に入力されたパラレルデータをシリアルデータに変換し、SDI出力端子1716を介して画像表示装置1610にシリアルデータを出力する。メインストリームであるLDR画像データは、SDIエンコーダ1713とSDI出力端子1714を介して画像表示装置1610に伝送される。サブストリームである差分データと輝度データは、SDIエンコーダ
1715とSDI出力端子1716を介して画像表示装置1610に伝送される。本実施例では、SDI出力端子1714,1716から出力された動画像データが、対象画像データである。そして、本実施例では、HDR画像データとして、LDR画像データと差分データが出力される。そのため、LDR画像データが出力され、且つ、差分データが出力されなかった場合には、対象画像データはLDR画像データである。LDR画像データと差分データが出力された場合には、対象画像データはHDR画像データである。
次に、撮像装置1600の動作について、図18のフローチャートを用いて説明する。図18のフローチャートは、例えば、AD変換部1702でHDR画像データD103が生成されたタイミングで開始される。
まず、S1801にて、制御部1707が、高輝度HDR画像生成部1703に対して、高輝度HDR画像データの生成を指示する。高輝度HDR画像生成部1703は、制御部1707からの指示に応じて、各フレームについて、そのフレームのHDR画像データD103の特徴量を取得する。そして、高輝度HDR画像生成部1703は、各フレームについて、そのフレームの特徴量から、当該フレームの輝度データC103を生成する。輝度データを生成する方法(アルゴリズム)は特に限定されない。
図19は、HDR画像データD103と輝度データC103の対応関係の一例を示す図である。HDR画像データD103には、そのHDR画像データD103に対応するフレーム管理番号が付されている。フレーム管理番号は、例えば、HDR画像データD103に対する処理と輝度データC103に対する処理との間の同期をとるために使用される。なお、輝度データC103にフレーム管理番号が付されていてもよいし、HDR画像データD103と輝度データC103の両方にフレーム管理番号が付されていてもよい。
図19では、輝度データC103として、各フレームの最大輝度(高輝度HDR画像の輝度の最大値)と、各フレームの最大輝度座標(最大輝度の画像領域の座標)とが示されている。図19では、最大輝度の単位は[cd/m]である。
なお、図19では、1フレームに対して1つの最大輝度が関連付けられているが、1フレームに対して複数の最大輝度が関連付けられていてもよい。ここで、複数の部分領域にそれぞれ対応する複数の光源をバックライト部が有し、且つ、複数の光源の発光輝度が個別に制御可能である場合を考える。複数の部分領域が予め分かっている場合には、複数の部分領域に対応する複数の最大輝度を1フレームに関連付けることができる。部分領域に対応する最大輝度は、当該部分領域における高輝度HDR画像の輝度の最大値である。
なお、輝度データは図19に示すデータに限らない。例えば、輝度が最大輝度である画像領域のサイズを輝度データが含んでいてもよい。画像表示装置1610の画面の表示素子数(画素数)が予め分かっている場合には、輝度が最大輝度である画像領域が表示される画面領域の表示素子数を輝度データに含めることもできる。
本実施例では、撮像装置1600が、画像表示装置1610で再生可能な輝度の取り得る値の範囲を予め把握している。画像表示装置1610で再生可能な輝度の取り得る値の範囲を示す情報は、不図示の通信部が画像表示装置1610から取得してもよいし、そうでなくてもよい。規格等で定義されている高輝度HDR画像の輝度範囲を示す情報が、画像表示装置1610で再生可能な輝度の取り得る値の範囲を示す情報として使用されてもよい。なお、最大輝度の単位は[cd/m]に限らない。例えば、最大輝度の単位は[%]であってもよい。具体的には、最大輝度として、高輝度HDR画像の輝度の上限値に対する高輝度HDR画像の輝度の最大値の割合が使用されてもよい。
S1801の次に、S1802にて、制御部1707が、HDR画像データと輝度データが画像表示装置1610に出力されるように、出力データ決定部1712の処理を制御する。具体的には、制御部1707は、輝度データC103の選択を輝度データ選択部1721に対して指示し、HDR画像データD103の選択を画像データ選択部1722に対して指示する。その結果、輝度データ選択部1721から出力データ変換部1723に輝度データC103が伝送され、画像データ選択部1722から出力データ変換部1723にHDR画像データD103が伝送される。そして、制御部1707は、データの変換を出力データ変換部1723に対して指示する。出力データ変換部1723は、制御部1707からの指示に応じて、画像データ選択部1722から出力されたHDR画像データを、LDR画像データと差分データに変換する。出力データ変換部1723は、LDR画像データと差分データのデータフォーマットをSDIのデータフォーマットに変換し、輝度データ選択部1721から出力された輝度データを、メタデータとして、差分データに付加する。そして、出力データ変換部1723は、LDR画像データと、輝度データが付加された差分データとを出力する。その結果、LDR画像データがメインストリームとして画像表示装置1610に入力され、輝度データが付加された差分データがサブストリームとして画像表示装置1610に入力される。本実施例では、LDR画像データ、差分データ、及び、輝度データが画像表示装置1610に入力された場合、画像表示装置1610では、高輝度HDR画像が再生される。そのため、S1802の処理により、高輝度HDR画像が再生される。なお、高輝度HDR画像の再生方法は特に限定されない。
図20は、撮像装置1600が出力するデータの一例を示す図である。図20では、図19と異なり、HDR画像データがLDR画像データと差分データに分かれている。
S1802において、輝度データC103は、SDIデータのアンシラリ領域に書き込まれる。図21は、SDIデータのデータ構造(データマップ)の一例を示す。図21に示されているデータマップは、1フレーム分のデータマップであり、Full−HDのデータマップである。図21の縦軸はライン番号を示し、図21の横軸はサンプル番号を示す。図21において、横線で示された領域は補助データ(水平補助データ)を格納可能なアンシラリ領域である。そのため、横線で示された領域は「水平補助データ領域」と呼ぶことができる。斜線で示された領域も補助データ(垂直補助データ)を格納可能なアンシラリ領域である。そのため、斜線で示された領域は「垂直補助データ領域」と呼ぶことができる。本実施例では、輝度データは、SDIデータである差分データの垂直補助データ領域に格納される。
EAV(End of Active Video)には、SDIデータのTRS(Timing Reference Signal)における水平/垂直の有効画像領域終了点を表す識別子が格納されている。例えば、EAVには、識別子として、[3FF][000][000][XYZ]の4ワードからなる同期識別コードが格納される。[XYZ]の内容から、EAV、SAV、フィールド、水平/垂直を識別することができる。
LN(Line Number)には、SDIデータのライン番号を監視するためのデータが格納されている。CRCC(CycliCredundancy Check Code)には、有効画像領域のデータ、EAV、及び、LNの伝送エラーをチェックするためのデータが格納されている。
SAV(Start of Active Video)には、SDIデータのTRSにおける水平/垂直の有効画像領域開始点を表す識別子が格納されている。例えば、SAVには、識別子として、[3FF][000][000][XYZ]の4ワードからなる同期識別コードが格納される。[XYZ]の内容から、EAV、SAV、フィールド、水平/垂直を識別することができる。
なお、高輝度HDR画像生成部1703が記憶部1704からHDR画像データD103と輝度データC103を読み出したタイミングで図18のフローチャートが開始されてもよい。その場合には、読み出されたHDR画像データからLDR画像データと差分データが生成され、生成されたLDR画像データ、生成された差分データ、及び、読み出された輝度データが画像表示装置1610に出力される。
S1802の次に、S1803にて、操作受信部1705が再生操作を待つ。再生操作が行われた場合には、S1804に処理が進められる。再生操作が行われたか否かは、操作受信部1705からの操作信号を制御部1707が解析することで判断できる。
S1804では、特定操作判断部1706が、S1803で行われた再生操作が特定の再生操作であるか否かを判断する。本実施例では、第1の一時停止操作が特定の再生操作として検出される。具体的には、制御部1707が、現在再生されているフレームまたはシーンの輝度データC103を高輝度HDR画像生成部1703から取得し、取得した輝度データC103を特定操作判断部1706に出力する。また、制御部1707は、S1803で得られた操作信号を解析することにより、S1803で行われた再生操作が一時停止操作であるか否かを判断し、判断結果を特定操作判断部1706に出力する。なお、再生操作の判断(再生操作が一時停止操作であるか否かの判断)はS1803で行われてもよい。その後、特定操作判断部1706が、輝度データC103が示す最大輝度を第1閾値と比較する。そして、特定操作判断部1706が、最大輝度の判断結果と再生操作の判断結果とに応じて、S1803で行われた再生操作が第1の一時停止操作であるか否かを判断する。
再生操作が一時停止操作であり、且つ、最大輝度が第1閾値よりも高い場合には、S1803で行われた再生操作が第1の一時停止操作であると判断され、S1805へ処理が進められる。それ以外の場合には、S1803で行われた再生操作が第1の一時停止操作でないと判断され、本フローチャートが終了され、S1803で行われた再生操作に応じた再生方法で高輝度HDR画像が再生される。
図22は、第1閾値の一例を示す図である。図22は、高輝度HDR画像の輝度の取り得る値の範囲が0[cd/m]以上且つ5000[cd/m]以下の範囲である場合の例を示す。本実施例では、画像表示装置1610に輝度データが入力された場合、画像表示装置1610が有するバックライト部の発光輝度が、輝度データに基づく値に制御される。輝度データを用いた発光輝度の制御方法は、実施例1,2で述べたとおりである。バックライト部の発光輝度の取り得る値の範囲は、第1の輝度範囲と第2の輝度範囲との間で変更可能である。高輝度HDR画像の輝度の取り得る値の範囲として第1の輝度範囲が使用された場合、バックライト部の発光輝度の取り得る値の範囲としても第1の輝度範囲が使用される。高輝度HDR画像の輝度の取り得る値の範囲として第2の輝度範囲が使用された場合、バックライト部の発光輝度の取り得る値の範囲としても第2の輝度範囲が使用される。図22では、第1の輝度範囲は、0[cd/m]から500[cd/m]の範囲であり、第2の輝度範囲は、0[cd/m]から5000[cd/m]の範囲である。図22では、第1閾値として500[cd/m]が設定されている。図19のフレーム管理番号1901では、最大輝度が2500[cd/m](>500[cd/m])であるため、一時停止操作が第1の一時停止操作であると判断される。
なお、第1閾値は500[cd/m]より高くても低くてもよい。第1閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。また、第2の輝度範囲の最大発光輝度(発光輝度の最大値)が第1の輝度範囲の最大発光輝度よりも高ければ、第1の輝度範囲と第2の輝度範囲はどのような範囲であって
もよい。例えば、第1の輝度範囲は1つの発光輝度(200[cd/m]等)のみを含んでいてもよい。
S1805では、制御部1707が、輝度が第1閾値よりも高い画像の再生が抑制されるように画像表示装置1610へのデータの出力を制御する制御処理を行う。本実施例では、制御処理として、再生された動画像の輝度が低減されるように出力を制御する低減処理が行われる。
本実施例では、低減処理として、階調低減処理とBL輝度低減処理が行われる。まず、本実施例に係る階調低減処理について説明する。本実施例に係る階調低減処理は、対象画像データの階調値が低減されるように出力を制御する処理である。具体的には、階調低減処理は、対象画像データがHDR画像データからLDR画像データに変更されるように出力を制御する処理である。制御部1707は、差分データの出力の停止を出力データ決定部1712に指示する。その結果、出力データ決定部1712からの差分データの出力が停止され、対象画像データがHDR画像データからLDR画像データに変更される。
なお、階調低減処理の方法は特に限定されない。例えば、複数フレーム分の時間をかけて、対象画像データがHDR画像データからLDR画像データに段階的に変更されてもよい。対象画像データの階調値から所定値だけ低い値に対象画像データの階調値が低減されてもよい。低減後の階調値の取り得る値の範囲は、第1の階調範囲(HDR画像データの階調値の範囲)と異なっていてもよい。
次に、本実施例に係るBL輝度低減処理について説明する。本実施例に係るBL輝度低減処理は、バックライト部の発光輝度が低減されるように出力を制御する処理である。具体的には、BL輝度低減処理は、発光輝度の取り得る値の範囲が第2の輝度範囲から第1の輝度範囲に変更されるように出力を制御する処理である。本実施例では、高輝度HDR画像生成部1703により、第2の輝度範囲に対応する輝度データC103が生成され、輝度データ再生成部1708により、第1の輝度範囲に対応する輝度データC108が生成される。制御部1707は、輝度データC108の選択を輝度データ選択部1721に指示する。その結果、出力データ決定部1712から出力される輝度データが輝度データC103から輝度データC108に変更され、発光輝度の取り得る値の範囲が第2の輝度範囲から第1の輝度範囲に変更される。
なお、BL輝度低減処理の方法は特に限定されない。例えば、出力データ決定部1712から出力される輝度データが、複数フレーム分の時間をかけて、輝度データC103から輝度データC108に段階的に変更されてもよい。輝度データC103に応じた発光輝度から所定値だけ低い値に発光輝度が低減されるように、輝度データC103から輝度データC108が生成されてもよい。低減後の発光輝度の取り得る値の範囲は、第1の輝度範囲と異なっていてもよい。
BL輝度低減処理として、画像表示装置1610への輝度データの出力を停止する処理が行われてもよい。画像表示装置1610に輝度データが入力されなかった場合、画像表示装置1610が対象画像データの特徴量に基づいてバックライト部の発光輝度を制御することがある。そのような場合には、制御部1707が、画像処理部1709に画像処理を行わせ、HDR画像データD109を画像データ選択部1722に選択させることが好ましい。画像処理は、発光輝度の制御を考慮した画像処理であり、例えば、輝度、色、色域、ガンマ特性、コントラスト、等を変更する画像処理である。
輝度データ再生成部1708の動作の具体例について、図19,20を用いて説明する。ここでは、図19のフレーム管理番号1901で一時停止操作が行われた場合を考える
。S1804で一時停止操作が第1の一時停止操作であると判断された場合に、輝度データ再生成部1708は、輝度データC103から輝度データC108を生成する。なお、輝度データC108の生成は、S1804の判断結果に依らず常に行われてもよい。輝度データ再生成部1708は、画像表示装置1610で第1の輝度範囲内の輝度が再生されるように、輝度データC108を生成する。例えば、図20に示すように、フレーム管理番号1901のフレームの最大輝度として、第1輝度範囲内の値である200[cd/m]を示す輝度データが、輝度データC108として生成される。フレーム管理番号1901で一時停止操作が行われたため、図20では、フレーム管理番号1901のフレームからのフレームの更新が停止されている。
制御処理として、第2切り替え処理が行われてもよい。本実施例に係る第2切り替え処理は、輝度が第1閾値よりも高い画像領域を含まないフレームに、再生対象(出力対象)のフレームが切り替えられるように、出力を制御する処理である。本実施例に係る第2切り替え処理による切り替え後のフレームは、実施例1で述べた第1切り替え処理による切り替え後のフレームと同様に、特に限定されない。制御処理として、画像表示装置1610への全データの出力を停止する処理が行われてもよい。
なお、制御部1707が、制御処理を行う際に、高輝度の表示が抑制されることを示す抑制情報をユーザに通知してもよい。例えば、制御部1707が、抑制情報を示すOSD画像の合成をOSD合成部1710に指示し、HDR画像データD110の選択を画像データ選択部1722に指示してもよい。それにより、抑制情報を示すOSD画像が画像表示装置1610で表示され、抑制情報がユーザに通知される。また、OSD合成部1710でメニュー画像等のUI画像の合成が行われた場合にも、制御処理が行われてよい。
本実施例では、出力データ変換部1723が、メインストリームのペイロードID(図21の黒で塗りつぶされた領域)が存在するラインの次のラインのアンシラリ領域(座標(1928,11)からのアンシラリ領域)に、ステータス情報を書き込む。ステータス情報は、撮像装置1600の出力状態を示す情報である。撮像装置1600の出力状態には、HDR画像データ出力中、LDR画像データ出力中、LDR画像データからHDR画像データへの遷移中、等がある。このようなステータス情報を画像表示装置1610に出力することにより、画像表示装置1610に入力された画像データを画像表示装置1610が把握可能となる。
S1805の次に、S1806にて、操作受信部1705が、高輝度HDR画像の再生の再開を指示するユーザ操作である再開操作を待つ。再開操作が行われると、S1807以降の処理が行われる。再開操作は、「通常再生を開始するユーザ操作」とも言える。本実施例では、再開操作は、「特定の再生操作(第1の一時停止操作)に応じた再生方法での再生を解除するユーザ操作」とも言える。
S1807では、制御部1707が、高輝度HDR画像の輝度が第1閾値よりも高い画像領域を含まないフレーム(低輝度フレーム)を検出する。本実施例では、現出力フレーム(現在出力されているフレーム;現再生フレーム)よりも前の複数のフレームのうち、最大輝度が第1閾値以下であるフレームが検出される。具体的には、最大輝度が第1閾値以下であるNフレーム期間の先頭のフレームが検出される。
そして、S1808にて、制御部1707が、高輝度HDR画像の再生(通常再生)が再開されるように、画像表示装置1610へのデータの出力を制御する(再開処理)。その際、制御部1707は、S1807で検出されたフレームに、再生対象(出力対象)のフレームを切り替える(第1切り替え処理)。その結果、S1807で検出されたフレームから高輝度HDR画像が再生される。本実施例では、LDR画像データ、差分データ、
及び、輝度データC103が画像表示装置1610に出力される。そして、LDR画像データ、差分データ、及び、輝度データC103を用いて高輝度HDR画像が再生される。
次に、S1809にて、制御部1707が、通常再生が再開されてからの経過時間が閾値時間に達したか否かを判断する。経過時間が閾値時間に達するまでS1809の処理が繰り返し行われ、経過時間が閾値時間に達すると本フローチャートが終了される。また、通常再生が再開されてから閾値時間だけ経過するまでの期間では、制御部1707は、再生操作を無効化する。これにより、通常再生が再開されてから閾値時間だけ経過するまでの期間では、操作受信部1705で再生操作が受け付けられなくなる。その結果、制御処理の頻度を低減することができ、ユーザの違和感(制御処理による表示の変化によって生じる違和感)を低減することができる。なお、閾値時間は、メーカーによって予め定められた固定時間であってもよいし、ユーザが変更可能な時間であってもよい。
図23を用いて、本実施例に係る再開処理の具体例について説明する。図23の縦軸は高輝度HDR画像の最大輝度[cd/m]を示し、図23の横軸は時間を示す。ここでは、フレーム2301の再生時に一時停止操作が行われ、その後に再開処理が行われた例を説明する。
従来の画像表示装置では、一時停止時に再生されていたフレームから、再生が再開されていた。しかしながら、高輝度なフレームやシーンから再生を再開すると、ユーザによる画像の視認が表示の眩しさによって妨げられることがある。そこで、本実施例では、最大輝度が第1閾値以下であるNフレーム期間の先頭のフレーム2302から再生が再開されるように、画像表示装置1610へのデータの出力を制御する。それにより、高輝度なフレームやシーンからの再生の再開を抑制できる。
なお、再開処理後も継続して制御処理が行われ、適切なシーンで制御処理が解除されてもよい。適切なシーンは、例えば、上述したNフレーム期間のシーンである。制御部1707は、例えば、現再生フレームよりも後のフレームの最大輝度を先読みすることで、上記適切なシーンを検出する。図23のフレーム2303から通常再生が再開され、フレーム2303からフレーム2302の期間ではLDR画像が再生され、フレーム2302のタイミングで再生画像がLDR画像から高輝度HDR画像に切り替えられるように、出力が制御されてもよい。また、再開処理後に再生画像がLDR画像から段階的に高輝度HDR画像に遷移するように、出力が制御されてもよい。
なお、本実施例では、特定の再生操作が第1の一時停止操作である例を説明したが、これに限らない。例えば、特定の再生操作は、第2の一時停止操作、第1のスケーリング操作、第2のスケーリング操作、及び、速度変更操作の少なくともいずれかを含んでいてもよい。特定の再生操作は、第1の一時停止操作を含んでいなくてもよい。
本実施例に係る第2の一時停止操作は、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含むフレームの再生時に行われた一時停止操作である。図24は、第2閾値の一例を示す図である。図24の縦軸は第2閾値[cd/m]を示し、図24の横軸は最大輝度を有する画像領域のサイズ(画素数)を示す。図24には、最大輝度を有する画像領域のサイズが大きいほど小さい値が、第2閾値として示されている。BL輝度低減処理では、BL輝度を第2閾値まで低減することにより、バックライト部の発光輝度が低減されてもよい。第2の一時停止操作が行われた場合に、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含まないフレームに、再生対象(出力対象)のフレームが切り替えられてもよい(第4切り替え処理)。再開処理で、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含まないフレームに、再生対象(出力対象)のフレームが切り替えられもよい(第3切り替え処理
)。
なお、第3切り替え処理や第4切り替え処理による切り替え後のフレームは、実施例1で述べた第1切り替え処理による切り替え後のフレームと同様に、特に限定されない。また、第2閾値は図24に示す値に限らない。最大輝度を有する画像領域のサイズに依存しない値が、第2閾値として使用されてもよい。第2閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。
なお、第1の一時停止操作や第2の一時停止操作が行われた場合の制御処理は、特に限定されない。例えば、制御処理として、階調低減処理、BL輝度低減処理、第1切り替え処理、及び、第2切り替え処理のうちの少なくともいずれかが行われれば、高輝度な画像の再生を抑制することができる。
第1のスケーリング操作は、輝度が第1閾値よりも高い画像領域を含む画像が再生されるように、対象画像データの画像サイズを変更する再生操作である。第2のスケーリング操作は、輝度が第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含む画像が再生されるように、対象画像データの画像サイズを変更する再生操作である。画像サイズを変更するスケーリング操作は、画像を拡大する拡大操作と、画像を縮小する縮小操作を含む。また、スケーリング操作は、PbyP(Picture By Picture)表示やPinP(Picture In Picture)表示のためのユーザ操作も含む。第1のスケーリング操作や第2のスケーリング操作が行われた場合には、例えば、制御処理として、階調低減処理とBL輝度低減処理の少なくとも一方が行われる。
速度変更操作は、対象画像データに基づく動画像の再生速度を変更する再生操作である。速度変更操作は、再生速度を低減するスロー再生操作、再生速度を速める再生操作(早送り操作と早戻し操作)、等を含む。速度変更操作が行われた場合には、例えば、制御処理として、階調低減処理とBL輝度低減処理の少なくとも一方が行われる。速度変更操作が行われた場合には、変更後の再生速度に応じた低減量で画像データの階調値やバックライト部の発光輝度が低減されてもよい。
図25に、スロー再生操作が行われた場合の輝度補正値の一例を示す。図25の縦軸は輝度補正値を示し、図25の横軸は再生速度を示す。輝度補正値は、BL輝度低減処理で使用される。輝度補正値は、輝度データ(最大輝度)を補正する補正値である。図25には、輝度補正値として、最大輝度に乗算する乗算値が示されている。なお、輝度補正値は乗算値に限らない。例えば、輝度補正値として、最大輝度に加算する加算値が使用されてもよい。図25において、再生速度1は通常の再生速度を示す。そのため、スロー再生操作は、再生速度を1よりも小さい値に低減する再生操作である。図25の例では、1よりも小さい再生速度に、1(100[%])よりも小さい輝度補正値が対応付けられている。また、再生速度が遅いほど、高い輝度での表示が長時間行われる可能性が高いため、再生速度に対して、再生速度が遅いほど小さい輝度補正値が対応付けられている。
スロー再生操作が行われると、変更後の再生速度に対応する輝度補正値を用いて最大輝度が低減される(BL輝度低減処理)。図25の例では、再生速度1/2に輝度補正値50%が対応付けられている。そのため、再生速度を1から1/2に低減するスロー再生操作が行われた場合には、最大輝度5000[cd/m]が2500[cd/m]に低減される。
以上述べたように、本実施例によれば、特定の再生操作が行われた場合に、輝度が第1閾値よりも高い画像の再生が抑制されるように、画像表示装置へのデータの出力が制御される。それにより、種々の再生操作が行われた場合に好適な画像データをより確実に画像
表示装置に入力することができ、種々の再生操作が行われた場合に好適な画像を画像表示装置で再生することができる。
なお、本実施例では、輝度データがSDIのアンシラリ領域に書き込まれる例を説明したが、輝度データの伝送方法は特に限定されない。例えば、画像データのブランキング期間に輝度データが伝送されてもよい。また、本実施例では、特定の再生操作の実行に応じて制御処理が行われる例を説明したが、制御処理の実行タイミングはこれに限らない。例えば、画像出力装置が撮像装置である場合には、撮像が行われている場合、撮像に使用するレンズの交換が行われている場合、及び、撮像におけるピントの確認が行われている場合の少なくともいずれかの場合においても、制御処理が行われてよい。また、現在使用されているレンズの種類に応じて、制御処理後の対象画像データの階調値の範囲が制御されてもよい。
なお、本実施例では、LDR画像データ、差分データ、及び、輝度データが画像表示装置に出力される例を説明したが、これに限らない。例えば、HDR画像データと輝度データが出力されてもよい。また、高輝度HDR画像データが1ストリームで出力されてもよい。また、種々のデータの出力方法は特に限定されない。例えば、輝度データはメタデータに格納されていなくてもよい。LDR画像データが格納されたストリーム、差分データが格納されたストリーム、及び、輝度データが格納されたストリームの3つのストリームが出力されてもよい。
<実施例4>
以下、本発明の実施例4に係る画像出力装置及び画像出力方法について説明する。本実施例では、画像出力装置がSTB(セットトップボックス)である場合の例を説明する。実施例3では、画像出力装置がSDIケーブルを用いて画像表示装置に接続されている例を説明した。本実施例では、画像出力装置がHDMI(High−Definition
Multimedia Interface)ケーブルを用いて画像表示装置に接続されている例を説明する。なお、画像出力装置と画像表示装置の接続方法は特に限定されない。例えば、画像出力装置は、無線で通信可能に画像表示装置に接続されてもよい。
図26は、本実施例に係る画像表示システム(画像再生システム)の一例を示す図である。本実施例に係る画像表示システムは、STB2600と画像表示装置(画像再生装置)2610を有する。STB2600は、1本のHDMIケーブルを用いて画像表示装置2610に接続されている。なお、画像表示装置2610は、STB2600に設けられた表示部(再生部)であってもよい。
STB2600は、LAN端子を介してネットワークから高輝度HDR画像データを取得し、取得した高輝度HDR画像データを、HDMIケーブルを介して画像表示装置2610に出力することができる。
画像表示装置2610は、画像表示装置2610に入力された画像データに基づく画像を再生(表示)することができる。画像表示装置2610は高輝度HDR画像を再生することができる。画像表示装置2610として様々な画像表示装置を使用することができる。本実施例では、画像表示装置2610として、透過型の液晶表示装置が使用される。
図27は、STB2600の機能構成の一例を示すブロック図である。図27に示すように、STB2600は、LAN端子2701、HDRデコーダ2702、操作受信部2703、特定操作判断部2704、制御部2705、データ出力部2706、及び、HDMI出力端子2707を有する。データ出力部2706は、CECコマンド生成部2711と出力データ変換部2712を有する。各機能部は制御バスを用いて制御部2705に
接続されているが、図27では一部の制御バスが省略されている。
LAN端子2701は、ネットワークから高輝度HDR画像データを取得するために使用されるインタフェースである。本実施例では、高輝度HDR画像データとして、LDR画像データであるメインストリームと、差分データであるサブストリームとが取得される。サブストリームには、輝度データを含むメタデータが付加されている。
HDRデコーダ2702は、ネットワークから取得された高輝度HDR画像データをデコードする。具体的には、HDRデコーダ2702は、メインストリームとサブストリームをそれぞれデコードする(デュアルデコード)。また、HDRデコーダ2702は、サブストリームに付加されたメタデータをさらにデコードする。それにより、LDR画像データ、差分データ、及び、輝度データが取得される。
操作受信部2703は、STB2600に対するユーザ操作を受け付ける。ユーザ操作は、例えば、リモートコントローラ、操作ユニット、等を用いて行われる。操作受信部2703は、行われたユーザ操作に応じた操作信号を、特定操作判断部2704へ出力する。操作受信部2703は、再生操作を含む様々なユーザ操作を受け付ける。
特定操作判断部2704は、操作受信部2703から出力された操作信号と、HDRデコーダ2702から出力された輝度データとに基づいて、行われたユーザ操作が特定の再生操作であるか否かを判断する。
制御部2705は、STB2600が有する各機能部の処理を制御する。例えば、制御部2705は、画像表示装置2610の処理を制御する制御データを生成する処理と、生成した制御データを画像表示装置2610に出力する処理とが行われるように、データ出力部2706の処理を制御する。再生操作が行われた場合には、行われた再生操作に応じた再生方法で対象画像データに基づく動画像が再生されるように画像表示装置2610による再生を制御する制御データが生成され、生成された制御データが画像表示装置2610に出力される。特定の再生操作が行われた場合には、輝度が第1閾値よりも高い画像の再生が抑制されるように画像表示装置2610による再生をさらに制御する制御データが生成される。そして、画像表示装置2610では、制御データに従って再生が行われる。制御データのフォーマットは特に限定されないが、本実施例では、制御データとしてCECコマンドが使用される。
データ出力部2706は、制御部2705からの指示に従い、CECコマンドを生成する。そして、データ出力部2706は、生成したCECコマンドと、高輝度HDR画像データ(LDR画像データ、差分データ、及び、輝度データ)とを、HDMI出力端子2707を介して画像表示装置2610に出力する。
CECコマンド生成部2711は、制御部2705からの指示に従い、HDMIのCECコマンドを生成する。出力データ変換部2712は、LDR画像データ、差分データ、及び、輝度データのデータフォーマットを、HDMIのデータフォーマットであるTMDSへ変換し、変換後のデータを、HDMI出力端子2707を介して画像表示装置2610に出力する。メインストリームであるLDR画像データと、サブストリームである差分データとは、マルチストリームフォーマットで出力される。輝度データはメタデータとして出力される。さらに、出力データ変換部2712は、CECコマンド生成部2711で生成されたCECコマンドを、CECラインを使用して画像表示装置2610に出力する。
次に、STB2600の動作について、図28のフローチャートを用いて説明する。
図28のフローチャートは、例えば、HDRデコーダ2702がネットワークから高輝度HDR画像データ(メインストリームとサブストリーム)を取得したタイミングで開始される。
まず、S2801にて、HDRデコーダ2702が、取得したメインストリームとサブストリーム(メタデータを含む)をデコードする。それにより、LDR画像データ、差分データ、及び、輝度データが得られる。
次に、S2802にて、データ出力部2706が、S2801で得られた高輝度HDR画像データ(LDR画像データ、差分データ、及び、輝度データ)を、HDMI出力端子2707を介して画像表示装置2610に出力する。それにより、画像表示装置2610において、高輝度HDR画像が通常再生される。このとき、通常再生用のCECコマンドが画像表示装置2610に出力されてもよい。
そして、S2803にて、操作受信部2703が再生操作を待つ。再生操作が行われた場合には、S2804に処理が進められる。再生操作が行われたか否かは、操作受信部2703からの操作信号を制御部2705が解析することで判断できる。
S2804では、特定操作判断部2704が、S2803で行われた再生操作が特定の再生操作であるか否かを判断する。S2803で行われた再生操作が特定の再生操作である場合には、S2805へ処理が進められ、S2803で行われた再生操作が特定の再生操作でない場合には、S2806へ処理が進められる。
S2805では、制御部2705が、S2803で行われた特定の再生操作に応じたCECコマンドの生成及び出力を、データ出力部2706に指示する。それにより、CECコマンド生成部2711により、S2803で行われた特定の再生操作に応じたCECコマンドが生成される。そして、出力データ変換部2712により、S2801で得られた高輝度HDR画像データと、S2803で行われた特定の再生操作に応じたCECコマンドとが、画像表示装置2610に出力される。画像表示装置2610は、画像表示装置2610に入力されたCECコマンドに従って再生を制御する。そのため、S2803で行われた特定の再生操作に応じて再生が制御される。
特定の再生操作に応じたCECコマンドは、特定の再生操作に応じた再生方法で対象画像データに基づく動画像が再生されるように画像表示装置2610による再生を制御する制御データである。例えば、特定の再生操作が一時停止操作である場合、再生対象のフレームの更新を停止するCECコマンドが生成される。特定の再生操作がスケーリング操作である場合、再生対象の画像データの画像サイズを変更するCECコマンドが生成される。そして、特定の再生操作が速度変更操作である場合、再生速度を変更するCECコマンドが生成される。また、特定の再生操作に応じたCECコマンドは、輝度が第1閾値よりも高い画像の再生が抑制されるように画像表示装置1610による再生を制御する制御データでもある。例えば、特定の再生操作に応じたCECコマンドは、実施例1で述べた制御処理(実施例1で述べた、階調低減処理、BL輝度低減処理、第2切り替え処理、第の切り替え処理、等)の実行を指示する制御データである。
S2806では、制御部2705が、S2803で行われた再生操作(特定の再生操作でない再生操作;非特定操作)に応じたCECコマンドの生成及び出力を、データ出力部2706に指示する。それにより、CECコマンド生成部2711により、S2803で行われた非特定操作に応じたCECコマンドが生成される。そして、出力データ変換部2712により、S2801で得られた高輝度HDR画像データと、S2803で行われた非特定操作に応じたCECコマンドとが、画像表示装置2610に出力される。その結果
、S2803で行われた非特定操作に応じて再生が制御される。
非特定操作に応じたCECコマンドは、非特定操作に応じた再生方法で対象画像データに基づく動画像が再生されるように画像表示装置2610による再生を制御する制御データである。例えば、非特定操作が一時停止操作である場合、再生対象のフレームの更新を停止するCECコマンドが生成される。非特定操作がスケーリング操作である場合、再生対象の画像データの画像サイズを変更するCECコマンドが生成される。そして、非特定操作が速度変更操作である場合、再生速度を変更するCECコマンドが生成される。
以上述べたように、本実施例によれば、画像出力装置が、画像表示装置に出力する制御データを、行われた再生操作に応じて制御する。そして、特定の再生操作が行われた場合に、輝度が第1閾値よりも高い画像の再生が抑制されるように画像表示装置による再生を制御する制御データが、画像表示装置に出力される。それにより、画像表示装置に所望の再生を行わせることができ、種々の再生操作が行われた場合に好適な画像を画像表示装置で再生することができる。
なお、本実施例では、画像出力装置で対象画像データや輝度データの変更が行われずに、画像出力装置から制御コマンドが出力される例を説明したが、これに限らない。本実施例においても、実施例3と同様に、画像出力装置で対象画像データや輝度データの変更が行われてもよい。画像出力装置と画像表示装置の両方で対象画像データや輝度データが変更されることにより、高輝度な表示、高輝度且つ長時間の表示、等が抑制されてもよい。
なお、本実施例では、HDMIケーブルを用いて種々のデータを画像表示装置に出力する例を説明したが、これに限らない。例えば、DP(Display Port)ケーブルが使用されてもよい。DP(Display Port)ケーブルを使用する場合には、制御データとしてAUXコマンドを生成し、AUXラインを使用してAUXコマンドを画像表示装置に出力すればよい。また、LDR画像データ、差分データ、及び、輝度データのデータフォーマットを、DPのデータフォーマットへ変換し、変換後のデータを画像表示装置に出力すればよい。
なお、本実施例では、LDR画像データ、差分データ、及び、輝度データが画像出力装置に入力される例を説明したが、これに限らない。例えば、HDR画像データと輝度データが入力されてもよい。また、高輝度HDR画像データが1ストリームで入力されてもよい。また、種々のデータの入力方法(取得方法)は特に限定されない。例えば、輝度データはメタデータに格納されていなくてもよい。LDR画像データが格納されたストリーム、差分データが格納されたストリーム、及び、輝度データが格納されたストリームの3つのストリームが入力されてもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,1200:画像表示装置 104:液晶パネル 109:バックライト部
110,1705,2703:操作受信部 112,1202:再生制御部
1600:撮像装置 1707,2705:制御部 1712:出力データ決定部
2600:STB 2706:データ出力部

Claims (21)

  1. 入力された動画像データに基づいて動画像を表示する表示部と、
    ユーザ操作を受け付ける受付部と、
    輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付部が受け付けた場合、前記表示部の表示輝度を低減する制御手段と、
    を有する
    ことを特徴とする画像表示装置。
  2. 前記特定の再生操作が行われたか否かを判断する判断手段、をさらに有し、
    前記制御手段は、前記判断手段の判断結果に基づいて、前記表示部の表示輝度を低減する
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記特定の再生操作は、
    輝度が前記第1閾値よりも高い画像領域を含むフレームの表示時に行われ、前記動画像の再生を一時的に停止する第1の一時停止操作、又は、
    輝度が前記第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含むフレームの表示時に行われ、前記動画像の再生を一時的に停止する第2の一時停止操作、
    を含む
    ことを特徴とする請求項1又は2に記載の画像表示装置。
  4. 前記特定の再生操作は、
    輝度が前記第1閾値よりも高い画像領域を含む動画像が表示されるように、前記動画像データの画像サイズを変更する第1のスケーリング操作、又は、
    輝度が前記第1閾値よりも高く、且つ、サイズが第2閾値よりも大きい画像領域を含む動画像が表示されるように、前記動画像データの画像サイズを変更する第2のスケーリング操作、
    を含む
    ことを特徴とする請求項1又は2に記載の画像表示装置。
  5. 前記特定の再生操作は、前記動画像データの再生速度を低減するスロー再生操作を含むことを特徴とする請求項1又は2に記載の画像表示装置。
  6. 前記制御手段は、前記第1の一時停止操作が行われた場合、輝度が前記第1閾値よりも高い画像領域を含まないフレームに、表示対象のフレームを切り替える
    ことを特徴とする請求項に記載の画像表示装置。
  7. 前記制御手段は、前記第2の一時停止操作が行われた場合、輝度が前記第1閾値よりも高く、且つ、サイズが前記第2閾値よりも大きい画像領域を含まないフレームに、表示対象のフレームを切り替える
    ことを特徴とする請求項3に記載の画像表示装置。
  8. 前記制御手段は、前記第1の一時停止操作に応じた再生方法での再生を解除するユーザ操作が行われた場合に、輝度が前記第1閾値よりも高い画像領域を含まないフレームから表示されるように、表示対象のフレームを切り替える
    ことを特徴とする請求項に記載の画像表示装置。
  9. 前記制御手段は、前記第2の一時停止操作に応じた再生方法での再生を解除するユーザ操作が行われた場合に、輝度が前記第1閾値よりも高く、且つ、サイズが前記第2閾値よりも大きい画像領域を含まないフレームから表示されるように、表示対象のフレームを切り替える
    ことを特徴とする請求項に記載の画像表示装置。
  10. 前記表示部は、発光部と、発光部から発せられた光を変調することで動画像を表示する表示パネルと、を有し、
    前記制御手段は、前記発光部の発光輝度を低減する処理により、前記表示部の表示輝度を低減する
    ことを特徴とする請求項1〜9のいずれか1項に記載の画像表示装置。
  11. 前記発光輝度の取り得る値の範囲は、第1の輝度範囲と、前記第1の輝度範囲よりも前記発光輝度の最大値が高い第2の輝度範囲と、の間で変更可能であり、
    前記発光輝度を低減する前記処理は、前記発光輝度の取り得る値の範囲を前記第2の輝度範囲から前記第1の輝度範囲に変更する処理である
    ことを特徴とする請求項10に記載の画像表示装置。
  12. 前記制御手段は、前記動画像データの階調値を低減する処理により、前記表示部の表示輝度を低減する
    ことを特徴とする請求項〜9のいずれか1項に記載の画像表示装置。
  13. 階調値の取り得る値の範囲が第1の階調範囲である第1動画像データを取得する第1取得手段と、
    階調値の取り得る値の範囲が、前記第1の階調範囲よりも階調値の最大値が大きい第2の階調範囲である第2動画像データと、前記第1動画像データとの差分に関する差分データを取得する第2取得手段と、
    前記第1動画像データと前記差分データに基づいて、前記第2動画像データを生成する生成手段と、
    をさらに有し、
    前記動画像データの階調値を低減する前記処理は、前記動画像データを前記第2動画像
    データから前記第1動画像データに変更する処理である
    ことを特徴とする請求項12に記載の画像表示装置。
  14. 前記動画像データの輝度に関する輝度データを取得する第3取得手段、をさらに有し、
    前記判断手段は、前記ユーザ操作と前記輝度データとに基づいて、前記特定の再生操作が行われたか否かを判断する
    ことを特徴とする請求項に記載の画像表示装置。
  15. 前記動画像データは、前記第1閾値よりも高い輝度での表示を実現可能な画像表示装置での再生を想定した高輝度HDR(High Dynamic Range)画像データである
    ことを特徴とする請求項1〜14のいずれか1項に記載の画像表示装置。
  16. 動画像データを表示装置出力する出力部と、
    ユーザ操作を受け付ける受付部と、
    輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付部が受け付けた場合、前記出力部による出力を制御することにより、前記表示装置の表示輝度を低減する制御手段と、
    を有する
    ことを特徴とする画像出力装置。
  17. 前記表示装置は、発光部と、前記発光部から発せられた光を変調することで動画像を表示する表示パネルと、を有し、
    前記制御手段は、前記発光部の発光輝度が低減されるように前記出力を制御することにより、前記表示装置の表示輝度を低減する
    ことを特徴とする請求項16に記載の画像出力装置。
  18. 前記制御手段は、前記動画像データの階調値が低減されるように前記出力を制御することにより、前記表示装置の表示輝度を低減する
    ことを特徴とする請求項16に記載の画像出力装置。
  19. 入力された動画像データに基づいて動画像を表示する表示部を有する画像表示装置の制御方法であって、
    ユーザ操作を受け付ける受付ステップと、
    輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付ステップで受け付けた場合、前記表示部の表示輝度を低減する制御ステップと、
    を有する
    ことを特徴とする制御方法。
  20. 動画像データを表示装置出力する出力部を有する画像出力装置の制御方法であって、
    ユーザ操作を受け付ける受付ステップと、
    輝度が第1閾値よりも高い画像領域を含む動画像の再生時に、当該画像領域の表示時間を増加させる特定の再生操作を前記受付ステップで受け付けた場合、前記出力部による出力を制御することにより、前記表示装置の表示輝度を低減する制御ステップと、
    を有する
    ことを特徴とする制御方法。
  21. 請求項19又は20に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2015114245A 2015-06-04 2015-06-04 画像表示装置、画像出力装置、及び、それらの制御方法 Expired - Fee Related JP6666022B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015114245A JP6666022B2 (ja) 2015-06-04 2015-06-04 画像表示装置、画像出力装置、及び、それらの制御方法
EP16802804.1A EP3304921A4 (en) 2015-06-04 2016-05-30 IMAGE DISPLAY DEVICE, IMAGE DISPLAY DEVICE AND CONTROL PROCESS THEREFOR
KR1020177036966A KR102031602B1 (ko) 2015-06-04 2016-05-30 화상표시장치, 화상출력 장치 및 그것들의 제어 방법
PCT/JP2016/002617 WO2016194362A1 (en) 2015-06-04 2016-05-30 Image display apparatus, image output apparatus, and control methods thereof
US15/575,901 US10839758B2 (en) 2015-06-04 2016-05-30 Image display apparatus, image output apparatus, and control methods thereof
CN201680032673.2A CN107637087B (zh) 2015-06-04 2016-05-30 图像显示设备、图像输出设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015114245A JP6666022B2 (ja) 2015-06-04 2015-06-04 画像表示装置、画像出力装置、及び、それらの制御方法

Publications (3)

Publication Number Publication Date
JP2017005310A JP2017005310A (ja) 2017-01-05
JP2017005310A5 JP2017005310A5 (ja) 2018-06-14
JP6666022B2 true JP6666022B2 (ja) 2020-03-13

Family

ID=57442311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015114245A Expired - Fee Related JP6666022B2 (ja) 2015-06-04 2015-06-04 画像表示装置、画像出力装置、及び、それらの制御方法

Country Status (6)

Country Link
US (1) US10839758B2 (ja)
EP (1) EP3304921A4 (ja)
JP (1) JP6666022B2 (ja)
KR (1) KR102031602B1 (ja)
CN (1) CN107637087B (ja)
WO (1) WO2016194362A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016208616A1 (ja) * 2015-06-25 2016-12-29 三菱電機株式会社 映像再生装置および映像再生方法
US11183147B2 (en) * 2016-10-07 2021-11-23 Sony Semiconductor Solutions Corporation Device and method for processing video content for display control
JP2018117281A (ja) * 2017-01-19 2018-07-26 日本放送協会 文字スーパー合成装置及びそのプログラム
CN109644289B (zh) * 2017-04-21 2021-11-09 松下知识产权经营株式会社 再现装置、再现方法、显示装置、以及显示方法
JP6767694B2 (ja) * 2018-07-30 2020-10-14 パナソニックIpマネジメント株式会社 撮像装置
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
CN112822536B (zh) * 2021-01-15 2023-05-16 闻泰通讯股份有限公司 流媒体播放控制方法、装置、介质及计算机设备
US11662785B2 (en) * 2021-07-15 2023-05-30 Dell Products L.P. Managing thermal dissipation in a display of an information handling system
CN114420040A (zh) * 2021-11-17 2022-04-29 高创(苏州)电子有限公司 一种显示面板的控制方法、装置、电子设备及存储介质
EP4407599A1 (en) * 2023-01-30 2024-07-31 LX Semicon Co., Ltd. Method of transmitting and receiving image signals and image processing device for implementing the same

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5954390A (ja) * 1982-09-22 1984-03-29 Hitachi Ltd モニタ付磁気記録再生装置
JPH07154747A (ja) * 1993-11-30 1995-06-16 Hitachi Ltd 磁気記録再生装置
KR20050112251A (ko) * 2004-05-25 2005-11-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP4179233B2 (ja) * 2004-06-16 2008-11-12 船井電機株式会社 データ再生装置およびその制御方法
JP4412236B2 (ja) 2005-05-30 2010-02-10 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2009109731A (ja) 2007-10-30 2009-05-21 Funai Electric Co Ltd 画面焼き付き防止システム
JP5180916B2 (ja) * 2008-06-25 2013-04-10 株式会社半導体エネルギー研究所 画像処理システム、及び画像処理方法
JP2010192948A (ja) * 2009-02-16 2010-09-02 Sharp Corp テレビジョン受像機
JP2012137509A (ja) * 2009-04-24 2012-07-19 Panasonic Corp 表示装置
JP2011257469A (ja) 2010-06-07 2011-12-22 Panasonic Corp 映像表示装置及び映像表示方法
US8847968B2 (en) * 2011-07-12 2014-09-30 Qualcomm Incorporated Displaying static images
US11640656B2 (en) * 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
US9560308B2 (en) 2012-01-25 2017-01-31 Sony Corporation Applying motion blur to only select objects in video
JP5085792B1 (ja) * 2012-02-08 2012-11-28 シャープ株式会社 映像表示装置およびテレビ受信装置
CN105009195B (zh) * 2013-02-20 2017-09-12 富士胶片株式会社 液晶显示装置
CN105165001B (zh) * 2013-04-30 2019-08-09 索尼公司 发送设备、发送方法、接收设备、以及接收方法
JP2016092576A (ja) 2014-11-04 2016-05-23 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
KR102031602B1 (ko) 2019-10-14
US20180144693A1 (en) 2018-05-24
CN107637087A (zh) 2018-01-26
EP3304921A1 (en) 2018-04-11
CN107637087B (zh) 2020-10-30
JP2017005310A (ja) 2017-01-05
EP3304921A4 (en) 2019-03-27
KR20180012291A (ko) 2018-02-05
WO2016194362A1 (en) 2016-12-08
US10839758B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
JP6666022B2 (ja) 画像表示装置、画像出力装置、及び、それらの制御方法
US11812191B2 (en) Display system, display method, and display apparatus
US20230156148A1 (en) Conversion method and conversion apparatus
US10440285B2 (en) Imaging apparatus and imaging method
JP5991502B2 (ja) 変換方法および変換装置
US9936180B2 (en) Projector and method for controlling the same
JP6663214B2 (ja) 表示方法および表示装置
RU2643485C2 (ru) Устройство и способ для преобразования динамического диапазона изображений
US10104306B2 (en) Image processing method applied to a display and associated circuit
AU2015218498A1 (en) Method, apparatus and system for displaying images
JP2018013696A (ja) 画像処理装置および表示装置
KR100652318B1 (ko) 특성보정장치
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
WO2018021261A1 (ja) 画像処理装置、再生装置、画像処理方法、および、再生方法
JP2019186690A (ja) 制御装置、プロジェクタ、プロジェクタの制御方法、プログラム
JP5264226B2 (ja) 表示装置、画像出力装置、表示装置の制御方法及び画像出力装置の制御方法
JP2017011676A (ja) 画像処理装置及び画像処理方法
JP2020030262A (ja) 画像表示装置とその制御方法
KR102704419B1 (ko) Hdr 콘텐츠를 편집하기 위한 동적 메타데이터를 계산하는 것
JP2017151141A (ja) 画像表示装置、画像表示システム、情報処理装置、画像表示装置の制御方法、及び、情報処理方法
JP2012032518A (ja) 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2008312021A (ja) 画像表示システム、画像再生装置、撮影機器
JP5561805B2 (ja) 映像表示装置
Demos The unfolding merger of television and movie technology
JP2005260740A (ja) デジタルカメラ及び画像信号生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180425

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R151 Written notification of patent or utility model registration

Ref document number: 6666022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees