JP5451494B2

JP5451494B2 - Image processing apparatus and image processing method

Info

Publication number: JP5451494B2
Application number: JP2010087868A
Authority: JP
Inventors: 拓也岩田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-04-06
Filing date: 2010-04-06
Publication date: 2014-03-26
Anticipated expiration: 2030-04-06
Also published as: JP2011223159A

Description

本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

テレビ等の表示機器では、映像信号の特徴量（輝度ヒストグラム）をフレーム毎に取得し、取得した特徴量に基づいてガンマ補正に使用するガンマ曲線をフレーム毎に動的に制御する処理が一般的に行われている。以降、フレーム毎にガンマ曲線を制御してガンマ補正する処理をダイナミックガンマ処理と記載する。フレーム毎に取得した特徴量に基づいてダイナミックガンマ処理を行うことで、各フレームの輝度を、その特徴に応じて制御することが可能となる。 In a display device such as a television, it is common to acquire a feature amount (luminance histogram) of a video signal for each frame and dynamically control a gamma curve used for gamma correction for each frame based on the acquired feature amount. Has been done. Hereinafter, the process of performing gamma correction by controlling the gamma curve for each frame is referred to as dynamic gamma processing. By performing dynamic gamma processing based on the feature amount acquired for each frame, the luminance of each frame can be controlled according to the feature.

このようなダイナミックガンマ処理では、映像信号から検出される特徴量の変化によりガンマ補正に使用するガンマ曲線が急激に変化すると、ガンマ補正後の映像において輝度が急激に変化し、画面がちらつく虞がある。そのため、一般的に、時間方向のローパスフィルタを用いて輝度値の変化を緩やかにする制御が行われている（時間方向ローパス処理）。しかしながら、例えば、フレームの輝度が徐々に変化するフェードインやフェードアウトの期間において時間方向ローパス処理を施すと、輝度変化に対してガンマ曲線の適用が遅れてしまう。その結果、不自然に輝度が変化したり、黒つぶれや白飛び等が発生したりしてしまうことがある。 In such dynamic gamma processing, if the gamma curve used for gamma correction changes drastically due to changes in the amount of features detected from the video signal, the brightness of the video after gamma correction may change drastically and the screen may flicker. is there. Therefore, in general, control is performed to moderate changes in luminance values using a time-direction low-pass filter (time-direction low-pass processing). However, for example, if the time-direction low-pass process is performed during a fade-in or fade-out period in which the luminance of the frame gradually changes, application of the gamma curve is delayed with respect to the luminance change. As a result, the luminance may change unnaturally, or blackout or whiteout may occur.

また、ＨａｒｄＤｉｓｋＤｒｉｖｅ（ＨＤＤ）等の記録装置を利用してタイムシフト再生を行う技術が一般化している。タイムシフト再生とは、受信したストリームデータ（映像信号）の録画を開始する時刻と再生を開始する時刻とを異ならせて、録画と再生を同時に行う再生方法を指す。タイムシフト再生を行う場合には、映像中のあるフレームを再生する際に、そのフレームの前後に存在する複数フレームが記録装置に記録されていることになる。例えば、映像信号の１０秒分のフレームを記録媒体に記録し、１０秒後に該映像信号の再生を開始する場合、あるフレームを再生する時点では、そのフレームに対して時間的に後に存在する１０秒分のフレームが記録媒体に記録されていることになる。 In addition, a technique for performing time shift reproduction using a recording device such as a hard disk drive (HDD) has become common. Time-shifted playback refers to a playback method in which recording and playback are simultaneously performed by differentiating the time when recording of received stream data (video signal) is started and the time when playback is started. In the case of performing time shift reproduction, when a certain frame in the video is reproduced, a plurality of frames existing before and after the frame are recorded in the recording device. For example, when a 10-second frame of a video signal is recorded on a recording medium and playback of the video signal is started 10 seconds later, when a certain frame is played back, the 10 That is, frames for seconds are recorded on the recording medium.

このような技術を利用し、従来、複数フレーム分の特徴量に基づいてフレームの階調補正を行う技術が提案されている（例えば、特許文献１）。具体的には、特許文献１に開示の技術では、１フレームから画素毎の輝度関連情報値が検出され、または、１フレームの輝度ヒストグラムから輝度関連情報値が検出され、該輝度関連情報値に基づいて特徴判定値が算出される。そして、複数フレームの特徴判定値を解析することで上記１フレームの特徴判定値の精度が高められ、その結果（精度が高められた特徴判定値）を用いてフレームの階調補正が行われる。 Conventionally, a technique for correcting the gradation of a frame based on a feature amount for a plurality of frames using such a technique has been proposed (for example, Patent Document 1). Specifically, in the technique disclosed in Patent Document 1, a luminance-related information value for each pixel is detected from one frame, or a luminance-related information value is detected from a luminance histogram of one frame, and the luminance-related information value is Based on this, a feature determination value is calculated. Then, by analyzing the feature determination values of a plurality of frames, the accuracy of the feature determination value of one frame is increased, and the gradation correction of the frame is performed using the result (feature determination value with improved accuracy).

特開２００８−４２３００号公報JP 2008-42300 A

しかしながら、上述した従来の技術では、解析に用いる複数のフレームの中に複数のシーンが含まれる場合に精度の高い補正値を得ることができない。
また、１シーン内の全てのフレームについて特徴量を得ようとすると、特徴量のデータサイズが膨大になってしまうという問題がある。そのため、１シーンの特徴に基づいたガ
ンマ曲線を決定する際の特徴量の読み出し時間、および、特徴量の処理時間（例えば、特徴量の精度を高める処理に要する時間）も膨大となってしまう。その結果、タイムシフト再生を行いながらシーンの特徴に基づいてダイナミックガンマ処理を行うと、１フレーム期間内にガンマ曲線を決定することが出来ず、フレーム毎にガンマ値を制御するダイナミックガンマ処理を行えなくなる虞がある。
以上の問題点から、これまでタイムシフト再生を行いながらシーンの特徴に基づいたダイナミックガンマ処理を行う技術は実現されていなかった。 However, the above-described conventional technique cannot obtain a highly accurate correction value when a plurality of scenes are included in a plurality of frames used for analysis.
In addition, there is a problem that if the feature amount is obtained for all the frames in one scene, the data size of the feature amount becomes enormous. For this reason, the feature amount readout time and the feature amount processing time when determining a gamma curve based on the features of one scene (for example, the time required for processing to increase the accuracy of the feature amount) are enormous. As a result, if dynamic gamma processing is performed based on scene characteristics while performing time shift playback, the gamma curve cannot be determined within one frame period, and dynamic gamma processing that controls the gamma value for each frame can be performed. There is a risk of disappearing.
Due to the above problems, a technique for performing dynamic gamma processing based on scene characteristics while performing time-shift reproduction has not been realized so far.

本発明は、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することのできる技術を提供することを目的とする。 An object of the present invention is to provide a technique capable of performing dynamic gamma processing based on scene characteristics while performing time shift reproduction.

本発明の画像処理装置は、入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置であって、前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出手段と、前記フレーム毎の代表輝度値を記憶する記憶手段と、前記記憶手段に記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出手段と、前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定手段と、前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定手段と、前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する補正手段と、を有することを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that dynamically switches a gamma curve used for gamma correction processing based on characteristics of an input video signal, and represents each frame of the video signal. Calculation means for calculating a representative luminance value, storage means for storing the representative luminance value for each frame, and detection means for detecting a scene switching position with reference to the representative luminance value for each frame recorded in the storage means And the representative luminance value of each frame in the scene including the target frame that is the target frame of the gamma correction process, whether or not the scene includes a specific period in which the luminance monotonously increases or decreases And determining means for determining whether or not the target frame is a frame in the specific scene, using a representative luminance value of each frame in the specific scene, A scene representative luminance value representative of a fixed scene is calculated, a gamma curve is determined according to the calculated scene representative luminance value, and if the target frame is not a frame in the specific scene, the representative luminance of the target frame And determining means for determining a gamma curve according to the value, and correcting means for executing gamma correction processing for correcting the luminance of the target frame using the determined gamma curve.

本発明の画像処理方法は、入力された映像信号の特徴に基づいてガンマ補正処理に用いるガンマ曲線を動的に切り替える画像処理装置により実行される画像処理方法であって、前記映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する算出ステップと、前記フレーム毎の代表輝度値を記憶部に記録する記録ステップと、前記記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する検出ステップと、前記ガンマ補正処理の対象のフレームである対象フレームを含むシーン内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する判定ステップと、前記対象フレームが前記特定シーン内のフレームである場合には、該特定シーン内の各フレームの代表輝度値を用いて、該特定シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定し、前記対象フレームが前記特定シーン内のフレームでない場合には、前記対象フレームの代表輝度値に応じてガンマ曲線を決定する決定ステップと、前記決定されたガンマ曲線を用いて前記対象フレームの輝度を補正するガンマ補正処理を実行する実行ステップと、を有することを特徴とする。 The image processing method of the present invention is an image processing method executed by an image processing apparatus that dynamically switches a gamma curve used for gamma correction processing based on characteristics of an input video signal, and for each frame of the video signal. In addition, a calculation step for calculating a representative luminance value representing the frame, a recording step for recording the representative luminance value for each frame in a storage unit, and a scene luminance by referring to the recorded representative luminance value for each frame. A detection step for detecting a switching position and a representative luminance value of each frame in the scene including the target frame that is the target frame of the gamma correction processing, and the scene is specified to increase or decrease in luminance monotonously. a determination step of determining whether or not a particular scene including the period, if the target frame is a frame in said particular scene, the specific sheet A scene representative luminance value representative of the specific scene is calculated using a representative luminance value of each frame in the frame, a gamma curve is determined according to the calculated scene representative luminance value, and the target frame is the specific scene. If it is not a frame, a determination step for determining a gamma curve according to a representative luminance value of the target frame and a gamma correction process for correcting the luminance of the target frame using the determined gamma curve are executed. An execution step.

本発明によれば、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することができる。 According to the present invention, dynamic gamma processing can be performed based on scene characteristics while performing time shift reproduction.

本実施例に係る画像処理装置の構成の一例を示すブロック図。1 is a block diagram illustrating an example of a configuration of an image processing apparatus according to an embodiment. フレームと代表輝度値の一例を模式的に示す図。The figure which shows an example of a frame and a representative luminance value typically. 実施例１に係るシーン情報抽出部の処理の一例を示すフローチャート。5 is a flowchart illustrating an example of processing of a scene information extraction unit according to the first embodiment. 実施例１に係るシーン絵作り制御部の処理の一例を示すフローチャート。5 is a flowchart illustrating an example of processing of a scene picture creation control unit according to the first embodiment. 実施例１に係るダイナミックガンマ処理の一例を模式的に示す図。FIG. 3 is a diagram schematically illustrating an example of dynamic gamma processing according to the first embodiment. 実施例２に係るシーン絵作り制御部の処理の一例を示すフローチャート。9 is a flowchart illustrating an example of processing of a scene picture creation control unit according to the second embodiment.

＜実施例１＞
本実施例によれば、タイムシフト再生しながらシーンの特徴に基づいてダイナミックガンマ処理することが可能となる。ダイナミックガンマ処理とは、フレーム毎にガンマ曲線を制御してガンマ補正する処理のことである。具体的には、再生対象のフレームが含まれるシーンの全体の特徴を参照可能にする。そして、シーン全体の特徴に基づいてダイナミックガンマ処理する方が良いシーンに対しては、シーン内で共通して使用するガンマ曲線を決定する。各フレームの特徴に基づいてダイナミックガンマ処理する方が良いシーンに対しては、フレーム毎の特徴に基づいてガンマ曲線を決定する。以下、詳しく説明する。 <Example 1>
According to the present embodiment, it is possible to perform dynamic gamma processing based on scene characteristics while performing time shift reproduction. The dynamic gamma processing is processing for performing gamma correction by controlling a gamma curve for each frame. Specifically, it is possible to refer to the overall characteristics of the scene including the frame to be reproduced. For a scene that is better to be subjected to dynamic gamma processing based on the characteristics of the entire scene, a gamma curve that is commonly used in the scene is determined. For scenes where dynamic gamma processing is better based on the characteristics of each frame, a gamma curve is determined based on the characteristics of each frame. This will be described in detail below.

図１は、本実施例に係る画像処理装置１００の構成の一例を示すブロック図である。本実施例に係る画像処理装置１００にはテレビジョン装置等で一般的に扱われる映像信号が入力される。本実施例に係る画像処理装置１００は、入力された映像信号（入力映像信号）の特徴に基づいてガンマ補正処理（フレームの輝度を補正する処理）に用いるガンマ曲線を動的に切り替える。 FIG. 1 is a block diagram illustrating an example of the configuration of the image processing apparatus 100 according to the present embodiment. The image processing apparatus 100 according to the present embodiment receives a video signal that is generally handled by a television apparatus or the like. The image processing apparatus 100 according to the present embodiment dynamically switches a gamma curve used for gamma correction processing (processing for correcting the luminance of the frame) based on the characteristics of the input video signal (input video signal).

映像遅延部１０１は、入力された映像信号をＮフレーム分（Ｎは１以上の整数）記憶し、遅延させる。なお、Ｎの値は処理対象の映像信号の１シーン分が十分収まる程度の大きさとする。例えば、一般的なテレビ放送における１つのシーンの長さは４秒以下であるため、Ｎの値は１０秒分に相当するフレーム数にすればよい。具体的には、映像信号のフレームレートが６０ｆｐｓの場合には、６００フレーム分が記録できるようにＮ＝６００とすればよい。なお、本実施例では映像遅延部１０１に記録されるフレームを、時間的に前のフレームから順にＦ０，Ｆ１，・・・，Ｆｎと表記する。 The video delay unit 101 stores and delays the input video signal for N frames (N is an integer of 1 or more). Note that the value of N is large enough to accommodate one scene of the video signal to be processed. For example, since the length of one scene in general television broadcasting is 4 seconds or less, the value of N may be set to the number of frames corresponding to 10 seconds. Specifically, when the frame rate of the video signal is 60 fps, N = 600 may be set so that 600 frames can be recorded. In this embodiment, the frames recorded in the video delay unit 101 are expressed as F0, F1,..., Fn in order from the previous frame in time.

映像解析部１０２は、入力された映像信号を解析し、フレーム毎に、特徴量として輝度ヒストグラムを生成する。生成した輝度ヒストグラムは特徴量変換部１０３に出力される。
特徴量変換部１０３は、映像信号のフレーム毎に、そのフレームを代表する代表輝度値を算出する。具体的には、上記生成した輝度ヒストグラムから代表輝度値を算出し、該代表輝度値を特徴量とする。それにより、輝度ヒストグラムを特徴量とするよりもデータサイズを大幅に低減することができる。また、代表輝度値を参照すれば、後述するシーン情報抽出部１０５によってシーンに関する情報を抽出することができる。代表輝度値は、例えば、フレームの最大輝度値、中間輝度値、最小輝度値などである。本実施例では、１フレームの全画素数をｐ（ｐは１以上の整数）とする。そして、輝度値が最大値の画素から順に数えて（ｐ×１／１０）番目の画素の輝度値を最大輝度値、（ｐ×５／１０）番目の画素の輝度値を中間輝度値、（ｐ×９／１０）番目の画素の輝度値を最小輝度値とする。
なお、最大輝度値、中間輝度値、最小輝度値は、これに限らない。例えば、１フレーム中の輝度値の最大値、最小値を、それぞれ、最大輝度値、最小輝度値としてもよい。フレームを代表する輝度値であればどのような値であってもよい。
なお、代表輝度値は、１フレームあたり１つの値であってもよいし、複数の値であってもよい。例えば、最大輝度値、中間輝度値、最小輝度値のいずれか１つを代表輝度値としてもよいし、それら３つ全てを代表輝度値としてもよい。
また、本実施例ではフレームＦ０，Ｆ１，・・・，Ｆｎに対応する代表輝度値をそれぞれＤ０，Ｄ１，・・・，Ｄｎと表記する。 The video analysis unit 102 analyzes the input video signal and generates a luminance histogram as a feature amount for each frame. The generated luminance histogram is output to the feature amount conversion unit 103.
The feature amount conversion unit 103 calculates a representative luminance value representing the frame for each frame of the video signal. Specifically, a representative luminance value is calculated from the generated luminance histogram, and the representative luminance value is used as a feature amount. As a result, the data size can be greatly reduced as compared with the case where the luminance histogram is used as the feature amount. Further, by referring to the representative luminance value, information related to the scene can be extracted by the scene information extraction unit 105 described later. The representative luminance value is, for example, the maximum luminance value, intermediate luminance value, minimum luminance value, or the like of the frame. In this embodiment, the total number of pixels in one frame is p (p is an integer of 1 or more). Then, the luminance value of the (p × 1/10) th pixel is counted in order from the pixel having the maximum luminance value, the luminance value of the (p × 1/10) th pixel is the maximum luminance value, the luminance value of the (p × 5/10) th pixel is the intermediate luminance value, ( The luminance value of the (p × 9/10) th pixel is set as the minimum luminance value.
The maximum luminance value, the intermediate luminance value, and the minimum luminance value are not limited to this. For example, the maximum luminance value and the minimum luminance value in one frame may be set as the maximum luminance value and the minimum luminance value, respectively. Any luminance value representative of the frame may be used.
The representative luminance value may be one value per frame or a plurality of values. For example, any one of the maximum luminance value, the intermediate luminance value, and the minimum luminance value may be used as the representative luminance value, or all three of them may be used as the representative luminance value.
In this embodiment, the representative luminance values corresponding to the frames F0, F1,..., Fn are denoted as D0, D1,.

代表輝度値記憶部１０４は、フレーム毎の代表輝度値を記憶する。具体的には、Ｍフレーム分（Ｍは２以上の整数）の代表輝度値を記憶する。本実施例ではＭ＝Ｎ＋１とする。
また、映像遅延部１０１が記憶するフレームがＦ０，Ｆ１，・・・，Ｆｎのとき、代表輝度値記憶部１０４は、各フレームに対応する代表輝度値Ｄ０，Ｄ１，・・・，Ｄｎ、及び、フレームＦ０の１つ前のフレームＦ−１に対応する代表輝度値Ｄ−１を記憶する。映像遅延部１０１および代表輝度値記憶部１０４に記録されているフレームと代表輝度値の一例を図２に模式的に示す。 The representative luminance value storage unit 104 stores a representative luminance value for each frame. Specifically, representative luminance values for M frames (M is an integer of 2 or more) are stored. In this embodiment, M = N + 1.
In addition, when the frames stored in the video delay unit 101 are F0, F1,..., Fn, the representative luminance value storage unit 104 represents the representative luminance values D0, D1,. The representative luminance value D-1 corresponding to the frame F-1 immediately before the frame F0 is stored. An example of frames and representative luminance values recorded in the video delay unit 101 and the representative luminance value storage unit 104 is schematically shown in FIG.

シーン情報抽出部１０５は、記録されたフレーム毎の代表輝度値を参照してシーンの切り替わり位置を検出する。また、シーン情報抽出部１０５は、ガンマ補正処理の対象のフレームである対象フレームを含むシーン（対象シーン）内の各フレームの代表輝度値を参照して、該シーンが、輝度が単調に増加または減少する特定期間を含む特定シーンか否かを判定する。そして、それらの検出結果及び判定結果をシーン情報抽出結果として後述するシーン絵作り制御部１０６に出力する。以下、図２，３を用いてシーン情報抽出部１０５の処理について詳しく説明する。なお、上記検出処理と判定処理は、それぞれ異なる機能により実行されてもよい。 The scene information extraction unit 105 detects a scene switching position with reference to the recorded representative luminance value for each frame. Further, the scene information extraction unit 105 refers to the representative luminance value of each frame in the scene (target scene) including the target frame that is the target frame of the gamma correction process, and the scene monotonously increases in luminance or It is determined whether or not the scene includes a specific period that decreases. Then, the detection result and the determination result are output to the scene picture creation control unit 106 described later as a scene information extraction result. Hereinafter, the process of the scene information extraction unit 105 will be described in detail with reference to FIGS. The detection process and the determination process may be executed by different functions.

上述したように、図２は、ある時刻における、映像遅延部１０１および代表輝度値記憶部１０４に記録されているフレームと代表輝度値を模式的に表した図である。図２に示すように、映像遅延部１０１にはフレームＦ０〜Ｆｎが、代表輝度値記憶部１０４には代表輝度値Ｄ−１〜Ｄｎがそれぞれ記録されている。なお、このときに再生対象となるフレーム（即ち、対象フレーム）はフレームＦ０であり、シーン情報抽出部１０５はフレームＦ０に対してガンマ補正処理をする際に必要なシーン情報抽出結果を出力する。 As described above, FIG. 2 is a diagram schematically showing frames and representative luminance values recorded in the video delay unit 101 and the representative luminance value storage unit 104 at a certain time. As shown in FIG. 2, frames F0 to Fn are recorded in the video delay unit 101, and representative luminance values D-1 to Dn are recorded in the representative luminance value storage unit 104, respectively. At this time, the frame to be played back (that is, the target frame) is the frame F0, and the scene information extraction unit 105 outputs a scene information extraction result necessary for performing the gamma correction processing on the frame F0.

図３は、シーン情報抽出部１０５の処理の概要を示すフローチャートである。シーン情報抽出部１０５はフレーム毎に図３に示す処理を実行する。
まず、シーン情報抽出部は、代表輝度値記憶部１０４に記録されている代表輝度値Ｄ−１およびＤ０を読み出し、それらを比較する。それにより、映像遅延部１０１に記録されているフレームＦ−１，Ｆ０間でシーンが切り替わっているか否か（シーンチェンジが起こっているか否か）を判定する（Ｓ３０１）。例えば、代表輝度値Ｄ−１とＤ０を比較し、最大輝度値の差が所定の閾値以上である場合は、シーンチェンジが起こっていると判定すればよい。また、中間輝度値や最小輝度値の差が所定値以上である場合に、シーンチェンジが起こっていると判定してもよい。シーンチェンジが起こっているか否か判定することができれば、どのような方法であってもよい。 FIG. 3 is a flowchart showing an outline of processing of the scene information extraction unit 105. The scene information extraction unit 105 executes the process shown in FIG. 3 for each frame.
First, the scene information extraction unit reads the representative luminance values D-1 and D0 recorded in the representative luminance value storage unit 104 and compares them. Thereby, it is determined whether or not the scene is switched between the frames F-1 and F0 recorded in the video delay unit 101 (whether or not a scene change has occurred) (S301). For example, the representative brightness values D-1 and D0 are compared, and if the difference between the maximum brightness values is greater than or equal to a predetermined threshold value, it may be determined that a scene change has occurred. Further, when the difference between the intermediate luminance value and the minimum luminance value is equal to or greater than a predetermined value, it may be determined that a scene change has occurred. Any method may be used as long as it can be determined whether or not a scene change has occurred.

シーンチェンジが起こっていると判定した場合には（Ｓ３０１：ＹＥＳ）、シーン情報抽出部１０５は、フレームＦ０から先のシーン（対象フレームを含むシーン；対象シーン）がいくつのフレームで構成されているシーンであるかを検出する（Ｓ３０２）。具体的には、記録されている代表輝度値を記録された時刻が早い順に（つまり時間的に古いフレームに対応する代表輝度値から）順次読み出し、上述した検出方法を用いて次のシーンチェンジが起こる位置（フレーム番号）を検出する。そして、次のシーンチェンジまでのフレーム数を対象シーンのフレーム数とする。なお、ここで検出した次のシーンチェンジが起こるフレーム番号を記録しておき、その検出結果を、次フレーム以降のフレームに対して実施するＳ３０１の処理で流用してもよい。 When it is determined that a scene change has occurred (S301: YES), the scene information extraction unit 105 includes several frames from the frame F0 (the scene including the target frame; the target scene). Whether it is a scene is detected (S302). Specifically, the recorded representative luminance values are sequentially read out in order of the recorded time (that is, from the representative luminance values corresponding to the temporally old frames), and the next scene change is performed using the detection method described above. Detect where it happens (frame number). Then, the number of frames until the next scene change is set as the number of frames of the target scene. It should be noted that the frame number at which the next scene change detected here is recorded, and the detection result may be used in the processing of S301 performed for the frames after the next frame.

次に、シーン情報抽出部１０５は、対象シーンが特定シーンか否かを判定する（Ｓ３０３）。輝度が単調に増加または減少する特定期間は、例えば、フェードインやフェードアウトの期間である。このような期間は、フレーム毎の特徴に基づいたダイナミックガンマ処理が適さない。この判定結果は、後述するシーン絵作り制御部１０６において、シーン全体の特徴量に基づいてガンマ曲線を決定するか否かを判断する際に使用される。
特定期間では画面全体の輝度が時間の経過とともにゆっくり単調増加または単調減少する。そのため、画面全体の輝度が所定期間にわたって所定の差分の範囲で単調変化してい
るフレーム群からなる期間を、特定期間として検出することができる。
本実施例では、所定フレーム数以上にわたって、時間的に隣り合うフレーム間の中間輝度値の差分が所定の範囲内にあり、かつ、中間輝度値が単調増加または単調減少している期間を、特定期間として検出する。なお、特定期間の検出方法は上記方法に限らない。中間輝度値同士ではなく、最大輝度値や最小輝度値同士を比較してもよい。画面の輝度の変化をより精度良く検出するために、連続する複数フレームの中間輝度値の平均値同士を比較して特定期間を検出してもよい。代表輝度値としてフレームの平均輝度値（各画素の輝度値の平均値）を取得し、該平均輝度値を用いて検出してもよい。 Next, the scene information extraction unit 105 determines whether the target scene is a specific scene (S303). The specific period in which the luminance increases or decreases monotonously is, for example, a fade-in or fade-out period. During such a period, dynamic gamma processing based on the characteristics of each frame is not suitable. This determination result is used when the scene picture creation control unit 106, which will be described later, determines whether to determine a gamma curve based on the feature amount of the entire scene.
During a specific period, the brightness of the entire screen slowly increases or decreases monotonously with time. Therefore, it is possible to detect a period including a frame group in which the luminance of the entire screen changes monotonously within a predetermined difference over a predetermined period as the specific period.
In this embodiment, a period in which the difference in intermediate luminance value between temporally adjacent frames is within a predetermined range over a predetermined number of frames and the intermediate luminance value monotonously increases or decreases is specified. Detect as period. In addition, the detection method of a specific period is not restricted to the said method. The maximum luminance value and the minimum luminance value may be compared instead of the intermediate luminance values. In order to detect a change in luminance of the screen with higher accuracy, a specific period may be detected by comparing average values of intermediate luminance values of a plurality of consecutive frames. An average luminance value of the frame (an average value of luminance values of each pixel) may be acquired as the representative luminance value and detected using the average luminance value.

最後に、シーン情報抽出部１０５は上記のようにして抽出した情報をシーン情報抽出結果としてシーン絵作り制御部１０６に出力する（Ｓ３０４）。具体的には、シーン毎に、そのシーンを構成するフレーム数（シーンフレーム数）と、そのシーン中に特定期間が存在するか否かを示す情報（特定期間有無情報）をシーン情報抽出結果として出力する。 Finally, the scene information extraction unit 105 outputs the information extracted as described above to the scene picture creation control unit 106 as a scene information extraction result (S304). Specifically, for each scene, the number of frames constituting the scene (number of scene frames) and information indicating whether or not a specific period exists in the scene (specific period presence / absence information) are used as a scene information extraction result. Output.

なお、本実施例では、Ｓ３０１においてシーンチェンジが起こっていると判定されなかった場合には、シーン情報抽出部１０５は処理を終了する。つまり、シーン情報抽出部１０５は、シーンチェンジが起こる度にシーン情報抽出結果をシーン絵作り制御部１０６に出力する。
なお、シーン情報抽出結果は上記の情報に限らない。例えば、シーン情報抽出部１０５は、フレーム毎に、１つ前のフレーム（前フレーム）との間でシーンチェンジが起こっているか否かの情報、シーンフレーム数、及び、特定期間有無情報をシーン情報抽出結果として出力してもよい。後述するシーン絵作り制御部１０６や画像処理部１０７においてガンマ値を制御する際に必要な情報であればどのような情報をシーン情報抽出結果としてもよく、シーン情報抽出結果の内容に応じて出力のタイミングは適宜設定すればよい。 In this embodiment, when it is not determined in S301 that a scene change has occurred, the scene information extraction unit 105 ends the process. That is, the scene information extraction unit 105 outputs a scene information extraction result to the scene picture creation control unit 106 every time a scene change occurs.
The scene information extraction result is not limited to the above information. For example, the scene information extraction unit 105 displays, for each frame, information on whether or not a scene change has occurred between the previous frame (previous frame), the number of scene frames, and information on the presence / absence of a specific period. You may output as an extraction result. Any information necessary for controlling the gamma value in the scene picture creation control unit 106 and the image processing unit 107, which will be described later, may be used as the scene information extraction result, and is output according to the content of the scene information extraction result. The timing may be set as appropriate.

シーン絵作り制御部１０６は、シーン情報抽出結果に基づいてガンマ曲線を決定し、画像処理部１０７に出力する。本実施例では、シーン絵作り制御部１０６は、対象フレームが特定シーン内のフレームである場合に、シーン全体の特徴に基づいてガンマ補正処理する方が良いと判断する。そして、対象シーン（特定シーン）内の各フレームの代表輝度値を用いて、該対象シーンを代表するシーン代表輝度値を算出し、該算出したシーン代表輝度値に応じてガンマ曲線を決定する。即ち、対象フレームが特定シーン内のフレームである場合には、対象シーン内の各フレームに対し共通して使用するガンマ曲線が決定される。一方、対象フレームが特定シーン内のフレームでない場合には、シーン絵作り制御部１０６は、対象フレームの特徴に基づいてガンマ補正処理する方が良いと判断し、対象フレームの代表輝度値に応じてガンマ曲線を決定する。 The scene picture creation control unit 106 determines a gamma curve based on the scene information extraction result and outputs the gamma curve to the image processing unit 107. In this embodiment, the scene picture creation control unit 106 determines that it is better to perform gamma correction processing based on the characteristics of the entire scene when the target frame is a frame in a specific scene. Then, using the representative luminance value of each frame in the target scene (specific scene), a scene representative luminance value representative of the target scene is calculated, and a gamma curve is determined according to the calculated scene representative luminance value. That is, when the target frame is a frame in the specific scene, a gamma curve to be used in common for each frame in the target scene is determined. On the other hand, when the target frame is not a frame in the specific scene, the scene picture making control unit 106 determines that it is better to perform gamma correction processing based on the characteristics of the target frame, and according to the representative luminance value of the target frame. Determine the gamma curve.

以下、図４を用いてシーン絵作り制御部１０６の処理について説明する。図４は、シーン絵作り制御部１０６の処理の概要を示すフローチャートである。
まず、シーン絵作り制御部１０６は、シーン情報抽出部１０５からシーン情報抽出結果が入力されたか否かを判断する（Ｓ４０１）。シーン情報抽出結果が入力された場合には（Ｓ４０１：ＹＥＳ）、ガンマ曲線の決定の際に参照するシーン情報抽出結果を更新する（Ｓ４０２）。次に、更新したシーン情報抽出結果を用いて、対象シーン中に特定期間が存在するか否かを判断する（Ｓ４０３）。そして、対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ４０３：ＮＯ）、対象フレームの代表輝度値に応じてガンマ曲線を決定する（Ｓ４０５）。例えば、対象フレームがフレームＦ０であったとすると、シーン絵作り制御部１０６は代表輝度値Ｄ０に応じてガンマ曲線を決定する。具体的には、予め代表輝度値に対して最適なガンマ曲線ｇ１〜ｇ５を記録部（不図示）に記録しておけばよい。そして、
代表輝度値が閾値ｔｈ１以下の場合には、ガンマ曲線ｇ１を選択し、
代表輝度値が閾値ｔｈ２より大きくｔｈ３以下の場合には、ガンマ曲線ｇ２を選択し、
代表輝度値が閾値ｔｈ３より大きくｔｈ４以下の場合には、ガンマ曲線ｇ３を選択し、
代表輝度値が閾値ｔｈ４より大きくｔｈ５以下の場合には、ガンマ曲線ｇ４を選択し、
代表輝度値が閾値ｔｈ５より大きい場合には、ガンマ曲線ｇ５を選択すればよい。
なお、予め用意するガンマ曲線は５本に限らない（例えば、３，５，１０本でもよい）。 Hereinafter, processing of the scene picture creation control unit 106 will be described with reference to FIG. FIG. 4 is a flowchart showing an outline of processing of the scene picture creation control unit 106.
First, the scene picture creation control unit 106 determines whether a scene information extraction result is input from the scene information extraction unit 105 (S401). When the scene information extraction result is input (S401: YES), the scene information extraction result referred to when determining the gamma curve is updated (S402). Next, using the updated scene information extraction result, it is determined whether or not a specific period exists in the target scene (S403). If the specific period does not exist in the scene to which the target frame belongs (S403: NO), a gamma curve is determined according to the representative luminance value of the target frame (S405). For example, if the target frame is the frame F0, the scene picture creation control unit 106 determines a gamma curve according to the representative luminance value D0. Specifically, the optimal gamma curves g1 to g5 with respect to the representative luminance value may be recorded in advance in a recording unit (not shown). And
When the representative luminance value is less than or equal to the threshold th1, the gamma curve g1 is selected,
When the representative luminance value is greater than the threshold th2 and less than or equal to th3, the gamma curve g2 is selected,
When the representative luminance value is greater than the threshold th3 and less than or equal to th4, the gamma curve g3 is selected,
When the representative luminance value is greater than the threshold th4 and less than or equal to th5, the gamma curve g4 is selected,
If the representative luminance value is greater than the threshold th5, the gamma curve g5 may be selected.
Note that the number of gamma curves prepared in advance is not limited to five (for example, three, five, and ten may be used).

Ｓ４０３において、対象フレームが属するシーンに特定期間が存在する場合は、シーン代表輝度値に応じてガンマ曲線を決定する（Ｓ４０６）。例えば、対象フレームがフレームＦ０で、フレームＦ０を含むシーンがフレームＦ０〜Ｆ２４０であった場合には、シーン絵作り制御部１０６は代表輝度値Ｄ０〜Ｄ２４０からシーン代表輝度値を算出し、該シーン代表輝度値に応じてガンマ曲線を決定する。具体的には、フェードインやフェードアウトを含むシーンは、重要な場面がシーン内で最も長い時間表示される可能性が高い。そこで、重要な場面の再生時に黒つぶれや白飛びが発生しないように、シーン内で最も出現頻度の高い代表輝度値をシーン代表輝度値としてガンマ曲線を決定する。つまり、代表輝度値Ｄ０〜Ｄ２４０の中で最も出現回数の多い代表輝度値を特定し、特定した代表輝度値と上述した閾値とを比較することによりガンマ曲線を決定する。なお、シーン代表輝度値の算出方法はこれに限らない。例えば、シーン内の代表輝度値の平均値をシーン代表輝度値としてもよい。 In S403, when a specific period exists in the scene to which the target frame belongs, a gamma curve is determined according to the scene representative luminance value (S406). For example, when the target frame is the frame F0 and the scene including the frame F0 is the frames F0 to F240, the scene picture creation control unit 106 calculates the scene representative luminance value from the representative luminance values D0 to D240, and the scene A gamma curve is determined according to the representative luminance value. Specifically, in a scene including fade-in and fade-out, there is a high possibility that an important scene is displayed for the longest time in the scene. Therefore, the gamma curve is determined using the representative luminance value having the highest appearance frequency in the scene as the scene representative luminance value so that blackout or whiteout does not occur during the reproduction of an important scene. That is, the representative luminance value having the highest appearance frequency among the representative luminance values D0 to D240 is identified, and the gamma curve is determined by comparing the identified representative luminance value with the above-described threshold value. Note that the method of calculating the scene representative luminance value is not limited to this. For example, an average value of representative luminance values in the scene may be used as the scene representative luminance value.

Ｓ４０１において、シーン情報抽出結果が入力されなかった場合には、シーン絵作り制御部１０６は、シーン情報抽出結果を更新することなく、当該シーン情報抽出結果から当該シーン中に特定期間が存在するか否かを判断する（Ｓ４０４）。対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ４０４：ＮＯ）、上述したＳ４０５と同様の処理によりガンマ曲線を決定する。一方、対象フレームが属するシーンに特定期間が存在する場合には（Ｓ４０４：ＹＥＳ）、シーン代表輝度値に応じてガンマ曲線を決定する。即ち、特定期間を含むシーン内の各フレームに対しては、シーン代表輝度値に応じて決定されたガンマ曲線が共通して使用される。そのため、そのようなシーン内では、該シーンの先頭フレームにおいて、Ｓ４０６の処理によって決定したガンマ曲線を使用すればよい。そこで、本実施例では、そのようなシーンの先頭フレーム以外のフレームに対しては、ガンマ曲線として、前フレームに対して決定されたガンマ曲線をそのまま用いる（Ｓ４０７）。なお、シーン絵作り制御部１０６の処理のフローは上記に限らない。例えば、シーンの先頭のフレームに対する処理の段階で、そのシーン内の全てのフレームに対して使用するガンマ曲線を予め決定し、記録しておいてもよい。 If no scene information extraction result is input in S401, the scene picture creation control unit 106 does not update the scene information extraction result, and whether a specific period exists in the scene from the scene information extraction result. It is determined whether or not (S404). When the specific period does not exist in the scene to which the target frame belongs (S404: NO), the gamma curve is determined by the same process as in S405 described above. On the other hand, when a specific period exists in the scene to which the target frame belongs (S404: YES), a gamma curve is determined according to the scene representative luminance value. That is, a gamma curve determined according to the scene representative luminance value is commonly used for each frame in the scene including the specific period. Therefore, in such a scene, the gamma curve determined by the process of S406 may be used in the first frame of the scene. Therefore, in this embodiment, the gamma curve determined for the previous frame is used as it is as the gamma curve for frames other than the first frame of such a scene (S407). The process flow of the scene picture creation control unit 106 is not limited to the above. For example, the gamma curve used for all the frames in the scene may be determined and recorded in advance at the stage of processing for the first frame of the scene.

画像処理部１０７は、シーン絵作り制御部１０６で決定されたガンマ曲線を用いて対象フレームの輝度を補正するガンマ補正処理を実行し、ガンマ補正処理が施されたフレームからなる映像信号（出力映像信号）を出力する。具体的には、ガンマ曲線からガンマ値を算出し、該ガンマ値を用いて対象フレームの輝度を補正する。 The image processing unit 107 executes gamma correction processing for correcting the luminance of the target frame using the gamma curve determined by the scene picture creation control unit 106, and outputs a video signal (output video) including the frame subjected to the gamma correction processing. Signal). Specifically, the gamma value is calculated from the gamma curve, and the luminance of the target frame is corrected using the gamma value.

以下、本実施例に係る画像処理装置１００によって実現されるダイナミックガンマ処理の具体例について、図５を用いて説明する。図５は、本実施例に係るダイナミックガンマ処理を模式的に示す図である。なお、図５におけるｔｉｍｅ０、ｔｉｍｅ１、ｔｉｍｅ２４０、ｔｉｍｅ２４１はそれぞれ本実施例を説明するためにピックアップした特定の時刻を示す。具体的には、ｔｉｍｅ１、ｔｉｍｅ２４０、ｔｉｍｅ２４１はそれぞれｔｉｍｅ０に対して再生時刻が１、２４０、２４１フレーム分遅い時刻を意味する。また、図５に示したフレームＦ０〜Ｆ８４０からなる映像コンテンツでは、フレームＦ０，Ｆ２４０，Ｆ４８０がシーンの先頭フレームであるものとする。以下、フレームＦ０〜Ｆ２３９からなるシーンをシーンＡ、フレームＦ２４０〜Ｆ４７９からなるシーンをシーンＢ、フレームＦ４８０〜Ｆ８３９（Ｆ８４０）からなるシーンをシーンＣ、と記載する。 Hereinafter, a specific example of dynamic gamma processing realized by the image processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 5 is a diagram schematically illustrating dynamic gamma processing according to the present embodiment. Note that time0, time1, time240, and time241 in FIG. 5 indicate specific times picked up for explaining the present embodiment. Specifically, time1, time240, and time241 mean times when the playback times are later by 1,240 and 241 frames than time0, respectively. In the video content including the frames F0 to F840 shown in FIG. 5, the frames F0, F240, and F480 are assumed to be the first frame of the scene. Hereinafter, a scene consisting of frames F0 to F239 is referred to as scene A, a scene consisting of frames F240 to F479 is referred to as scene B, and a scene consisting of frames F480 to F839 (F840) is referred to as scene C.

図５における時刻ｔｉｍｅ０では対象フレームはフレームＦ０である。このとき、映像
遅延部１０１にはフレームＦ０〜Ｆ５９９が、代表輝度値記憶部１０４には代表輝度値Ｄ−１〜Ｄ５９９が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ−１，Ｄ０、および、Ｄ２３９，Ｄ２４０から、フレームＦ−１（フレームＦ０の１つ前のフレーム），Ｆ０間、および、フレームＦ２３９，Ｆ２４０間でシーンチェンジが起こっていることを検出する。さらに、シーン情報抽出部１０５は、シーンＡの中に特定期間が存在するか否かを判定する。なお、シーンＡの中には特定期間が存在するものとする。
そして、シーン情報抽出部１０５は、シーンＡがフレームＦ０からＦ２３９で構成されており、シーンＡの中に特定期間が存在することを示す情報をシーン情報抽出結果としてシーン絵作り制御部１０６へ出力する。シーン絵作り制御部１０６は、代表輝度値Ｄ０〜Ｄ２３９からシーン代表輝度値を算出し、該シーン代表輝度値に応じてフレームＦ０に対するガンマ曲線（γ（Ｄ１，・・・，Ｄ２３９））を決定し出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。 At time time0 in FIG. 5, the target frame is the frame F0. At this time, frames F0 to F599 are recorded in the video delay unit 101, and representative luminance values D-1 to D599 are recorded in the representative luminance value storage unit 104. The scene information extraction unit 105 performs scenes from the representative luminance values D-1, D0, and D239, D240 between the frames F-1 (the frame immediately before the frame F0) and F0, and between the frames F239 and F240. Detect that a change is taking place. Furthermore, the scene information extraction unit 105 determines whether or not a specific period exists in the scene A. It is assumed that a specific period exists in the scene A.
The scene information extraction unit 105 outputs information indicating that the scene A is composed of frames F0 to F239 and a specific period exists in the scene A to the scene picture creation control unit 106 as a scene information extraction result. To do. The scene picture creation control unit 106 calculates a scene representative luminance value from the representative luminance values D0 to D239, and determines a gamma curve (γ (D1,..., D239)) for the frame F0 according to the scene representative luminance value. And output. The image processing unit 107 performs gamma correction processing using the input gamma curve.

図５における時刻ｔｉｍｅ１では対象フレームはフレームＦ１である。このとき、映像遅延部１０１にはフレームＦ１〜Ｆ６００が、代表輝度値記憶部１０４には代表輝度値Ｄ０からＤ６００が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ０，Ｄ１からフレームＦ０，Ｆ１間でシーンチェンジが起こっていないことを検出する。そのため、シーン絵作り制御部１０６へのシーン情報抽出結果の出力は行われない。シーン情報抽出結果の更新が行われなかったため、シーン絵作り制御部１０６は、１つ前の対象フレームであるフレームＦ０に対して決定したガンマ曲線を画像処理部１０７に出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。 At time time1 in FIG. 5, the target frame is the frame F1. At this time, frames F1 to F600 are recorded in the video delay unit 101, and representative luminance values D0 to D600 are recorded in the representative luminance value storage unit 104. The scene information extraction unit 105 detects that no scene change has occurred between the frames F0 and F1 from the representative luminance values D0 and D1. Therefore, the output of the scene information extraction result to the scene picture creation control unit 106 is not performed. Since the scene information extraction result has not been updated, the scene picture creation control unit 106 outputs the gamma curve determined for the frame F0, which is the previous target frame, to the image processing unit 107. The image processing unit 107 performs gamma correction processing using the input gamma curve.

図５における時刻ｔｉｍｅ２４０では対象フレームはフレームＦ２４０である。このとき、映像遅延部１０１にはフレームＦ２４０〜Ｆ８３９が、代表輝度値記憶部１０４には代表輝度値Ｄ２３９〜Ｄ８３９が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ２３９，Ｄ２４０、および、Ｄ４７９，Ｄ４８０から、フレームＦ２３９，Ｆ２４０間、および、フレームＦ４７９，Ｆ４８０間でシーンチェンジが起こっていることを検出する。さらに、シーン情報抽出部１０５は、シーンＢの中に特定期間が存在するか否かを判定する。なお、シーンＢの中には特定期間が存在しないものとする。
そして、シーン情報抽出部１０５は、シーンＢがフレームＦ２４０〜Ｆ４７９で構成されており、シーンＢの中に特定期間が存在しないことを示す情報をシーン情報抽出結果としてシーン絵作り制御部１０６へ出力する。シーン絵作り制御部１０６は、代表輝度値Ｄ２４０に応じてフレームＦ２４０に対するガンマ曲線（γ（Ｄ２４０））を決定し、出力する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。 At time time 240 in FIG. 5, the target frame is the frame F240. At this time, frames F240 to F839 are recorded in the video delay unit 101, and representative luminance values D239 to D839 are recorded in the representative luminance value storage unit 104. The scene information extraction unit 105 detects from the representative luminance values D239, D240, and D479, D480 that scene changes have occurred between the frames F239, F240 and between the frames F479, F480. Furthermore, the scene information extraction unit 105 determines whether or not a specific period exists in the scene B. In the scene B, it is assumed that there is no specific period.
The scene information extraction unit 105 outputs information indicating that the scene B is composed of frames F240 to F479 and no specific period exists in the scene B to the scene picture creation control unit 106 as a scene information extraction result. To do. The scene picture creation control unit 106 determines and outputs a gamma curve (γ (D240)) for the frame F240 according to the representative luminance value D240. The image processing unit 107 performs gamma correction processing using the input gamma curve.

図５における時刻ｔｉｍｅ２４１では対象フレームはフレームＦ２４１である。このとき、映像遅延部１０１にはフレームＦ２４１〜Ｆ８４０が、代表輝度値記憶部１０４には代表輝度値Ｄ２４０〜Ｄ８４０が記録されている。シーン情報抽出部１０５は、代表輝度値Ｄ２４０，Ｄ２４１からフレームＦ２４０，Ｆ２４１間でシーンチェンジが起こっていないことを検出する。そのため、シーン絵作り制御部１０６へのシーン情報抽出結果の出力は行われない。シーン情報抽出結果の更新が行われなかったため、シーン絵作り制御部１０６は、１つ前の再生対象のフレームであるフレームＦ２４０に対するガンマ曲線の決定方法と同様に、ガンマ曲線を決定し、出力する。具体的には、代表輝度値Ｄ２４１に応じてフレームＦ２４１に対するガンマ曲線（γ（Ｄ２４１））を決定する。画像処理部１０７は入力されたガンマ曲線を使用してガンマ補正処理を実施する。 At time time 241 in FIG. 5, the target frame is the frame F241. At this time, frames F241 to F840 are recorded in the video delay unit 101, and representative luminance values D240 to D840 are recorded in the representative luminance value storage unit 104. The scene information extraction unit 105 detects that a scene change has not occurred between the representative luminance values D240 and D241 and the frames F240 and F241. Therefore, the output of the scene information extraction result to the scene picture creation control unit 106 is not performed. Since the scene information extraction result has not been updated, the scene picture creation control unit 106 determines and outputs a gamma curve in the same manner as the gamma curve determination method for the frame F240 that is the previous frame to be reproduced. . Specifically, the gamma curve (γ (D241)) for the frame F241 is determined according to the representative luminance value D241. The image processing unit 107 performs gamma correction processing using the input gamma curve.

以上のように、本実施例に係る画像処理装置および該画像処理装置により実行される画像処理方法によれば、特徴量として代表輝度値が用いられるため、従来よりもガンマ曲線を決定する際に用いるデータのサイズを小さくすることができる。それと共に、タイムシフト再生しながらシーン全体の特徴に基づいてダイナミックガンマ処理することが可能と
なる。また、タイムシフト再生しながら、シーン全体の特徴に基づくダイナミックガンマ処理とフレーム毎の特徴に基づくダイナミックガンマ処理を視聴者にとって好適に切り替えて制御することも可能となる。
なお、本実施例では、輝度ヒストグラムから代表階調値を算出する構成としたが、代表階調値の算出方法はこれに限らない。例えば、輝度ヒストグラムを生成せずに、フレームのデータから代表階調値を算出してもよい。 As described above, according to the image processing apparatus according to the present embodiment and the image processing method executed by the image processing apparatus, the representative luminance value is used as the feature amount. The size of data to be used can be reduced. At the same time, it becomes possible to perform dynamic gamma processing based on the characteristics of the entire scene while performing time shift reproduction. In addition, while performing time-shift playback, it is also possible to switch between the dynamic gamma processing based on the characteristics of the entire scene and the dynamic gamma processing based on the characteristics of each frame suitably for the viewer.
In this embodiment, the representative gradation value is calculated from the luminance histogram. However, the method for calculating the representative gradation value is not limited to this. For example, the representative gradation value may be calculated from the frame data without generating a luminance histogram.

＜実施例２＞
実施例１では、フレーム毎の特徴に基づいたダイナミックガンマ処理が適さない特定シーン内では、全てのフレームに対して共通のガンマ曲線（ガンマ値）を使用した。本実施例では、特定シーン内の一部の期間については、フレーム毎に、そのフレームの代表輝度値とシーン代表輝度値を用いてガンマ曲線を決定し、該ガンマ曲線を用いてガンマ補正処理を行う。具体的には、特定シーン内のうち特定期間内の各フレームに対しては、実施例１と同様にシーン代表輝度値に応じて決定したガンマ曲線を共通して使用する。そして、特定期間以外の期間に対しては、フレーム毎に、そのフレームの代表輝度値とシーン代表輝度値とを用いて、使用するガンマ曲線を決定する。本実施例によれば、シーン内での輝度変化に対するガンマ曲線の適用遅れによる不自然な輝度変化、黒つぶれ、白飛び等を防ぐことができると共に、実施例１に比べより細かくガンマ曲線を制御することが可能となる。 <Example 2>
In the first embodiment, a common gamma curve (gamma value) is used for all frames in a specific scene where dynamic gamma processing based on the characteristics of each frame is not suitable. In this embodiment, for a part of the period in the specific scene, a gamma curve is determined for each frame using the representative luminance value of the frame and the scene representative luminance value, and gamma correction processing is performed using the gamma curve. Do. Specifically, a gamma curve determined according to the scene representative luminance value is commonly used for each frame within a specific period in a specific scene, as in the first embodiment. For a period other than the specific period, a gamma curve to be used is determined for each frame using the representative luminance value of the frame and the scene representative luminance value. According to this embodiment, it is possible to prevent unnatural brightness change due to application delay of the gamma curve with respect to the brightness change in the scene, blackout, whiteout, and the like, and control the gamma curve more finely than in the first embodiment. It becomes possible to do.

本実施例に係る画像処理装置の構成は実施例１（図１）と同様である。また、映像遅延部１０１、映像解析部１０２、特徴量変換部１０３、画像処理部１０７は実施例１と同様の処理を実施する。 The configuration of the image processing apparatus according to the present embodiment is the same as that of the first embodiment (FIG. 1). The video delay unit 101, the video analysis unit 102, the feature amount conversion unit 103, and the image processing unit 107 perform the same processing as in the first embodiment.

代表輝度値記憶部１０４は、代表輝度値を２×Ｎフレーム分記録する。即ち、代表輝度値記憶部１０４は、シーン絵作り制御部１０６がガンマ曲線を決定する時点において、対象フレームに対して前後Ｎフレーム分の代表輝度値を保持することができる。また、Ｎの値は１シーンが十分収まる程度の大きさであるため、シーン絵作り制御部１０６において、シーン中のどのフレームが再生対象（補正対象）であったとしても、そのフレームを含むシーン全体の代表輝度値を参照してガンマ曲線を決定することが可能となる。 The representative luminance value storage unit 104 records representative luminance values for 2 × N frames. That is, the representative luminance value storage unit 104 can hold the representative luminance values for N frames before and after the target frame when the scene picture creation control unit 106 determines the gamma curve. Further, since the value of N is large enough to fit one scene, the scene picture creation control unit 106 can determine which scene in the scene includes that frame, regardless of which frame in the scene is the playback target (correction target). It is possible to determine the gamma curve with reference to the entire representative luminance value.

シーン情報抽出部１０５は、実施例１と同様に、シーン情報抽出結果を後述するシーン絵作り制御部１０６に出力する。実施例１では、シーン毎に、シーンフレーム数と特定期間有無情報をシーン情報抽出結果として出力した。本実施例では、シーン情報抽出結果として、シーン内の何フレーム目から何フレーム目が特定期間なのかという情報（特定期間位置情報）を更に出力する。特定期間位置情報は、実施例１に記載の特定期間の検出処理（Ｓ３０３の処理）の中で、フェードインやフェードアウトが開始、終了するフレームがシーンチェンジの先頭フレームから数えて何フレーム目に存在するかを検出することで生成すればよい。 As in the first embodiment, the scene information extraction unit 105 outputs the scene information extraction result to a scene picture creation control unit 106 described later. In the first embodiment, the number of scene frames and specific period presence / absence information are output for each scene as a scene information extraction result. In the present embodiment, information (specific period position information) indicating from what frame to what frame in the scene is the specific period is further output as the scene information extraction result. The specific period position information is in the frame of the specific period detection process described in the first embodiment (the process of S303) where the fade-in and fade-out start and end frames are counted from the first frame of the scene change. It may be generated by detecting whether to do.

シーン絵作り制御部１０６は、シーンチェンジが起こる度に入力されるシーン情報抽出結果に基づいてガンマ曲線を決定し、画像処理部１０７に出力する。なお、シーン絵作り制御部１０６は、実施例１と同様に、対象フレームが特定シーン内のフレームである場合に、対象シーン（特定シーン）内の各フレームの代表輝度値を用いて、該対象シーンを代表するシーン代表輝度値を算出するものとする。 The scene picture making control unit 106 determines a gamma curve based on a scene information extraction result input every time a scene change occurs, and outputs the gamma curve to the image processing unit 107. As in the first embodiment, the scene picture creation control unit 106 uses the representative luminance value of each frame in the target scene (specific scene) when the target frame is a frame in the specific scene. Assume that a scene representative luminance value representing a scene is calculated.

以下、図６を用いてシーン絵作り制御部１０６の処理について説明する。図６は、シーン絵作り制御部１０６の処理の概要を示すフローチャートである。
まず、シーン絵作り制御部１０６は、シーン情報抽出部１０５からシーン情報抽出結果が入力されたか否かを判断する（Ｓ６０１）。シーン情報抽出結果が入力された場合には
（Ｓ６０１：ＹＥＳ）、ガンマ曲線の決定の際に参照するシーン情報抽出結果を更新し（Ｓ６０２）、Ｓ６０３へ進む。シーン情報抽出結果が入力されなかった場合には（Ｓ６０１：ＮＯ）、Ｓ６０３へ進む。Ｓ６０３では、更新したシーン情報抽出結果を用いて、対象シーン中に特定期間が存在するか否かを判断する。そして、対象フレームが属するシーンに特定期間が存在しない場合には（Ｓ６０３：ＮＯ）、対象フレームの代表輝度値に応じてガンマ曲線を決定する（Ｓ６０５）。具体的なガンマ曲線の決定方法については、実施例１と同様のため、説明を省略する。 Hereinafter, the process of the scene picture creation control unit 106 will be described with reference to FIG. FIG. 6 is a flowchart showing an outline of processing of the scene picture creation control unit 106.
First, the scene picture creation control unit 106 determines whether a scene information extraction result is input from the scene information extraction unit 105 (S601). When the scene information extraction result is input (S601: YES), the scene information extraction result referred to when determining the gamma curve is updated (S602), and the process proceeds to S603. If no scene information extraction result is input (S601: NO), the process proceeds to S603. In step S603, the updated scene information extraction result is used to determine whether or not a specific period exists in the target scene. If the specific period does not exist in the scene to which the target frame belongs (S603: NO), a gamma curve is determined according to the representative luminance value of the target frame (S605). A specific method for determining a gamma curve is the same as that in the first embodiment, and a description thereof will be omitted.

Ｓ６０３において、対象フレームが属するシーンに特定期間が存在する場合は、対象フレームが特定期間内のフレームであるか否かを判断する（Ｓ６０４）。対象フレームが特定期間内のフレームである場合には（Ｓ６０４：ＹＥＳ）、シーン代表輝度値に応じてガンマ曲線を決定する（Ｓ６０６）。例えば、フレームＦ０〜Ｆ２３９が同一のシーンであり、このうちフレームＦ１００〜Ｆ２１９がフェードインする特定期間であったとする。この場合、フレームＦ１００〜Ｆ２１９の期間は対象フレームの特徴に基づいたガンマ補正処理が適さない期間である。そのため、対象フレームがフレームＦ１００〜Ｆ２１９の期間内のフレームである場合には、実施例１と同様に、シーン代表輝度値に応じてガンマ曲線を決定する。例えば、対象フレームの属するシーン（フレームＦ０〜Ｆ２３９）内で最も出現頻度の高い代表輝度値に応じてガンマ曲線を決定する。 In S603, when the specific period exists in the scene to which the target frame belongs, it is determined whether or not the target frame is a frame within the specific period (S604). If the target frame is a frame within a specific period (S604: YES), a gamma curve is determined according to the scene representative luminance value (S606). For example, it is assumed that the frames F0 to F239 are the same scene, and the frames F100 to F219 are in a specific period in which they fade in. In this case, the period of frames F100 to F219 is a period during which gamma correction processing based on the characteristics of the target frame is not suitable. Therefore, when the target frame is a frame within the period of frames F100 to F219, a gamma curve is determined according to the scene representative luminance value as in the first embodiment. For example, the gamma curve is determined according to the representative luminance value having the highest appearance frequency in the scene (frames F0 to F239) to which the target frame belongs.

Ｓ６０４において、対象フレームが特定期間外のフレームである場合は、対象フレームの代表輝度値とシーン代表輝度値を用いてガンマ曲線を決定する（Ｓ６０７）。例えば、フレームＦ０〜Ｆ２３９が同一のシーンであり、このうちフレームＦ１００〜Ｆ２１９がフェードインする特定期間であったとする。この場合、フレームＦ０〜Ｆ９９と、フレームＦ２２０〜Ｆ２３９の期間は対象フレームの特徴に基づいたガンマ補正処理が適する期間（非特定期間）である。そのため、対象フレームが非特定期間内のフレームである場合には、特定期間内外でガンマ曲線が急激に変化しないように、対象フレームの特徴に基づいてガンマ曲線を決定する。具体的には、対象フレームの代表輝度値を、シーン代表輝度値で補正し、該補正された代表輝度値を用いてガンマ曲線を決定する。例えば、Ｓ６０６と同様の方法で最も出現回数の多い代表輝度値（又はシーン内の各フレームの代表輝度値の平均値）を特定し、該特定した代表輝度値（シーン代表輝度値）と、対象フレームに対応する代表輝度値との平均値を算出する。そして、算出した平均値を用いて（該平均値を閾値と比較することにより）ガンマ曲線を決定する。なお、特定期間と非特定期間の切り替わり点でのガンマ曲線の変化を緩やかにするため、ガンマ曲線の適応に時間方向のローパス処理を施してもよい。 If the target frame is a frame outside the specific period in S604, a gamma curve is determined using the representative luminance value of the target frame and the scene representative luminance value (S607). For example, it is assumed that the frames F0 to F239 are the same scene, and the frames F100 to F219 are in a specific period in which they fade in. In this case, the periods of the frames F0 to F99 and the frames F220 to F239 are periods (non-specific periods) in which the gamma correction process based on the characteristics of the target frame is suitable. Therefore, when the target frame is a frame within the non-specific period, the gamma curve is determined based on the characteristics of the target frame so that the gamma curve does not change suddenly inside and outside the specific period. Specifically, the representative luminance value of the target frame is corrected with the scene representative luminance value, and a gamma curve is determined using the corrected representative luminance value. For example, the representative luminance value (or the average value of the representative luminance values of each frame in the scene) having the highest appearance frequency is identified by the same method as in S606, and the identified representative luminance value (scene representative luminance value) and the target An average value with the representative luminance value corresponding to the frame is calculated. Then, a gamma curve is determined using the calculated average value (by comparing the average value with a threshold value). In order to moderate the change in the gamma curve at the switching point between the specific period and the non-specific period, low-pass processing in the time direction may be applied to adapt the gamma curve.

以上のように、本実施例に係る画像処理装置および該画像処理装置により実行される画像処理方法によれば、特定シーン内のうち特定期間については、シーン全体の特徴量に基づいて決定したガンマ曲線が共通して使用される。それにより、シーンの輝度変化に対するガンマ曲線の適用遅れによる不自然な輝度変化や黒つぶれ／白飛び等を防ぐことができる。そして、特定期間以外の期間に対しては、フレーム毎に、そのフレームの特徴量とシーン全体の特徴量とに基づいて、使用するガンマ曲線が決定される。それにより、実施例１に比べより細かくガンマ値を制御することが可能となる。 As described above, according to the image processing apparatus and the image processing method executed by the image processing apparatus according to the present embodiment, the gamma determined based on the feature amount of the entire scene for the specific period in the specific scene. A curve is commonly used. As a result, unnatural luminance changes, blackouts / whiteouts, and the like due to delays in application of the gamma curve to scene luminance changes can be prevented. For periods other than the specific period, the gamma curve to be used is determined for each frame based on the feature amount of the frame and the feature amount of the entire scene. Thereby, the gamma value can be controlled more finely than in the first embodiment.

１００・・・画像処理装置，１０３・・・特徴量変換部，１０４・・・代表輝度値記憶部，１０５・・・シーン情報抽出部，１０６・・・シーン絵作り制御部，１０７・・・画像処理部 DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus, 103 ... Feature-value conversion part, 104 ... Representative luminance value memory | storage part, 105 ... Scene information extraction part, 106 ... Scene picture creation control part, 107 ... Image processing unit

Claims

An image processing apparatus that dynamically switches a gamma curve used for gamma correction processing based on characteristics of an input video signal,
For each frame of the video signal, calculating means for calculating a representative luminance value representing the frame;
Storage means for storing a representative luminance value for each frame;
Detecting means for detecting a scene switching position with reference to a representative luminance value for each frame recorded in the storage means;
With reference to the representative luminance value of each frame in the scene including the target frame that is the target frame of the gamma correction processing, it is determined whether or not the scene is a specific scene including a specific period in which the luminance monotonously increases or decreases. Determination means for determining;
When the target frame is a frame in the specific scene, a scene representative luminance value representing the specific scene is calculated using a representative luminance value of each frame in the specific scene, and the calculated scene representative A gamma curve is determined according to a luminance value, and if the target frame is not a frame in the specific scene, a determination unit that determines a gamma curve according to a representative luminance value of the target frame;
Correction means for executing gamma correction processing for correcting the luminance of the target frame using the determined gamma curve;
An image processing apparatus comprising:

The image processing apparatus according to claim 1, wherein the representative luminance value of each frame is one of a maximum luminance value, an intermediate luminance value, and a minimum luminance value of each frame.

The scene representative luminance value is a representative luminance value having the highest appearance frequency among representative luminance values of each frame in the specific scene, or an average value of representative luminance values of each frame in the specific scene. The image processing apparatus according to claim 1 or 2.

The determining means includes
When the target frame is a frame in the specific scene, the scene representative luminance value is calculated,
Further, when the target frame is a frame within the specific period, a gamma curve is determined according to the calculated scene representative luminance value, and when the target frame is a frame outside the specific period, The representative luminance value of the target frame is corrected with the calculated scene representative luminance value so that the gamma curve does not change suddenly inside and outside the specific period, and the gamma curve is determined according to the corrected representative luminance value. The image processing apparatus according to claim 1.

When the target frame is a frame in the specific scene and is a frame outside the specific period, the determining unit calculates an average value of the representative luminance value of the target frame and the scene representative luminance value. The image processing apparatus according to claim 4, wherein the gamma curve is calculated according to the calculated average value.

An image processing method executed by an image processing apparatus that dynamically switches a gamma curve used for gamma correction processing based on characteristics of an input video signal,
For each frame of the video signal, a calculation step for calculating a representative luminance value representing the frame;
A recording step of recording a representative luminance value for each frame in a storage unit;
A detection step of detecting a scene switching position with reference to the representative luminance value for each recorded frame;
With reference to the representative luminance value of each frame in the scene including the target frame that is the target frame of the gamma correction processing, it is determined whether or not the scene is a specific scene including a specific period in which the luminance monotonously increases or decreases. a determining step,
When the target frame is a frame in the specific scene, a scene representative luminance value representing the specific scene is calculated using a representative luminance value of each frame in the specific scene, and the calculated scene representative a determining step the gamma curve determined in accordance with the luminance value, if the target frame is not a frame in said particular scene, for determining a gamma curve according to the representative luminance value of the target frame,
An execution step of executing a gamma correction process for correcting the luminance of the target frame using the determined gamma curve;
An image processing method comprising:

The representative luminance value of each frame is one of the maximum luminance value, the intermediate luminance value, and the minimum luminance value of each frame.
The image processing method according to claim 6.

The scene representative luminance value is a representative luminance value having the highest appearance frequency among the representative luminance values of each frame in the specific scene, or an average value of the representative luminance values of the frames in the specific scene.
The image processing method according to claim 6 or 7, wherein:

  In the determination step,
  When the target frame is a frame in the specific scene, the scene representative luminance value is calculated,
  Further, when the target frame is a frame within the specific period, a gamma curve is determined according to the calculated scene representative luminance value, and when the target frame is a frame outside the specific period, The representative luminance value of the target frame is corrected with the calculated scene representative luminance value so that the gamma curve does not change suddenly inside and outside the specific period, and the gamma curve is determined according to the corrected representative luminance value.
The image processing method according to claim 6, wherein:

In the determining step, when the target frame is a frame in the specific scene and a frame outside the specific period, an average value of the representative luminance value of the target frame and the scene representative luminance value is calculated. Calculate and determine the gamma curve according to the calculated average value
The image processing method according to claim 9.