JP7496935B2 - IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM - Google Patents

IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM Download PDF

Info

Publication number
JP7496935B2
JP7496935B2 JP2023527167A JP2023527167A JP7496935B2 JP 7496935 B2 JP7496935 B2 JP 7496935B2 JP 2023527167 A JP2023527167 A JP 2023527167A JP 2023527167 A JP2023527167 A JP 2023527167A JP 7496935 B2 JP7496935 B2 JP 7496935B2
Authority
JP
Japan
Prior art keywords
image
image processing
trained model
processing device
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023527167A
Other languages
Japanese (ja)
Other versions
JPWO2022259323A1 (en
JPWO2022259323A5 (en
Inventor
和樹 出口
俊明 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022259323A1 publication Critical patent/JPWO2022259323A1/ja
Publication of JPWO2022259323A5 publication Critical patent/JPWO2022259323A5/ja
Application granted granted Critical
Publication of JP7496935B2 publication Critical patent/JP7496935B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。 The present disclosure relates to an image processing device, an image processing method, and an image processing program.

装置には、様々な解像度及び様々な圧縮方式の映像が入力される。例えば、様々な解像度は、8K、4K、フルHD(High Definition)、SD(Standard Definition)などである。また、例えば、様々な圧縮方式は、H.265/HEVC、H.264/AVC、MPEG2などである。また、装置には、高画質化機能が搭載されていることがある。そして、装置が最適な高画質化を行うことが、望まれる。例えば、ぼやけた映像を鮮鋭化する場合、当該映像を鮮鋭化するための処理が実行される。また、例えば、ノイズが多い映像が入力された場合、ノイズが強調されないための処理が実行される。ここで、画質を制御する画質制御装置が提案されている(特許文献1を参照)。例えば、特許文献1の画質制御装置は、映像信号に含まれる画像から得られる輝度情報、色度情報、色彩情報、及び周波数情報の全てのヒストグラムを生成する。画質制御装置は、予め設定された複数のヒストグラムパターンを有する参照テーブルから、全てのヒストグラムに対応するヒストグラムパターンを抽出する。画質制御装置は、抽出されたヒストグラムパターンに対応する制御パラメータに基づいて映像信号の画質を制御する。 The device receives images of various resolutions and compression methods. For example, the various resolutions are 8K, 4K, full HD (High Definition), SD (Standard Definition), etc. For example, the various compression methods are H. 265/HEVC, H. 264/AVC, MPEG2, etc. The device may be equipped with a high image quality function. It is desired that the device performs optimal image quality enhancement. For example, when sharpening a blurred image, a process for sharpening the image is executed. For example, when a noisy image is input, a process for not emphasizing the noise is executed. Here, an image quality control device that controls image quality has been proposed (see Patent Document 1). For example, the image quality control device of Patent Document 1 generates all histograms of luminance information, chromaticity information, color information, and frequency information obtained from an image included in a video signal. The image quality control device extracts histogram patterns corresponding to all histograms from a reference table having a plurality of preset histogram patterns, and controls the image quality of the video signal based on control parameters corresponding to the extracted histogram patterns.

特許5651340号公報Patent Publication No. 5651340

上記の技術では、参照テーブルを用いて画質が制御される。しかし、様々な画像が入力される場合、参照テーブルに登録されている情報だけでは、画質の最適化は、困難である。 In the above technology, image quality is controlled using a lookup table. However, when various images are input, it is difficult to optimize image quality using only the information registered in the lookup table.

本開示の目的は、様々な画像に対して画質の最適化を行うことである。 The objective of this disclosure is to optimize image quality for a variety of images.

本開示の一態様に係る画像処理装置が提供される。画像処理装置は、画像と学習済モデルとを取得する取得部と、前記画像に基づいて、複数の種類の特徴量を抽出する複数の特徴量抽出部と、前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出する補正パラメータ検出部と、検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する判定部と、前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する画像処理部と、を有する。 An image processing device according to one aspect of the present disclosure is provided. The image processing device includes an acquisition unit that acquires an image and a trained model, a feature extraction unit that extracts a plurality of types of feature amounts based on the image, a correction parameter detection unit that detects a correction parameter that is a parameter for correcting the image quality of the image using the plurality of types of feature amounts and the trained model , a determination unit that determines whether or not a difference between the detected correction parameter and a preset correction parameter is equal to or less than a preset threshold, and an image processing unit that executes a process for correcting the image quality of the image using the detected correction parameter when the difference is equal to or less than the threshold .

本開示によれば、様々な画像に対して画質の最適化を行うことができる。 According to the present disclosure, image quality can be optimized for a variety of images.

実施の形態1の画像処理装置が有するハードウェアを示す図である。FIG. 2 is a diagram illustrating hardware included in the image processing device according to the first embodiment. 実施の形態1の画像処理装置の機能を示すブロック図である。1 is a block diagram showing functions of an image processing device according to a first embodiment; 実施の形態1の水平及び垂直エッジヒストグラムの例(その1)を示す図である。FIG. 11 is a diagram showing an example (part 1) of horizontal and vertical edge histograms according to the first embodiment; 実施の形態1の水平及び垂直エッジヒストグラムの例(その2)を示す図である。FIG. 11 is a diagram showing an example (part 2) of horizontal and vertical edge histograms according to the first embodiment; 実施の形態1のフレーム差分ヒストグラムの抽出方法の具体例を示す図である。5A to 5C are diagrams illustrating a specific example of a method for extracting a frame difference histogram in the first embodiment. 実施の形態1の輝度変化数の抽出方法の具体例を示す図である。5A to 5C are diagrams showing a specific example of a method for extracting the number of luminance changes in the first embodiment; 実施の形態1の彩度ヒストグラムの抽出方法の具体例を示す図である。5A to 5C are diagrams showing a specific example of a method for extracting a saturation histogram in the first embodiment. 実施の形態1のニューラルネットワークの例を示す図である。FIG. 2 is a diagram illustrating an example of a neural network according to the first embodiment. 実施の形態1のランダムフォレストを構成する学習済モデルの例を示す図である。A figure showing an example of a trained model constituting a random forest in embodiment 1. 実施の形態1のサポートベクターマシーンの例を示す図である。FIG. 2 is a diagram illustrating an example of a support vector machine according to the first embodiment. 実施の形態1の画像処理装置が実行する処理の例を示すフローチャートである。4 is a flowchart showing an example of processing executed by the image processing device according to the first embodiment. 実施の形態2の画像処理装置の機能を示すブロック図である。FIG. 11 is a block diagram showing the functions of an image processing device according to a second embodiment. 実施の形態2の画像処理装置が実行する処理の例を示すフローチャートである。13 is a flowchart illustrating an example of processing executed by an image processing device according to a second embodiment.

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。 The following describes an embodiment with reference to the drawings. The following embodiment is merely an example, and various modifications are possible within the scope of this disclosure.

実施の形態1.
図1は、実施の形態1の画像処理装置が有するハードウェアを示す図である。画像処理装置100は、画像処理方法を実行する装置である。画像処理装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。
Embodiment 1.
1 is a diagram showing hardware included in an image processing device according to embodiment 1. The image processing device 100 is a device that executes an image processing method. The image processing device 100 includes a processor 101, a volatile storage device 102, and a non-volatile storage device 103.

プロセッサ101は、画像処理装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などである。プロセッサ101は、マルチプロセッサでもよい。また、画像処理装置100は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。The processor 101 controls the entire image processing device 100. For example, the processor 101 is a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), etc. The processor 101 may be a multiprocessor. The image processing device 100 may also have a processing circuit. The processing circuit may be a single circuit or a composite circuit.

揮発性記憶装置102は、画像処理装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、画像処理装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。The volatile memory device 102 is a main memory device of the image processing device 100. For example, the volatile memory device 102 is a RAM (Random Access Memory). The non-volatile memory device 103 is an auxiliary memory device of the image processing device 100. For example, the non-volatile memory device 103 is a HDD (Hard Disk Drive) or an SSD (Solid State Drive).

次に、画像処理装置100が有する機能を説明する。
図2は、実施の形態1の画像処理装置の機能を示すブロック図である。画像処理装置100は、記憶部110、取得部120、特徴量抽出部130_1,130_2,・・・,130_n、補正パラメータ検出部140、画像処理部150、及び出力部160を有する。なお、nは、正の整数である。ここで、特徴量抽出部130_1,130_2,・・・,130_nの総称は、特徴量抽出部130とする。
Next, the functions of the image processing device 100 will be described.
2 is a block diagram showing functions of the image processing device according to the first embodiment. The image processing device 100 includes a storage unit 110, an acquisition unit 120, feature extraction units 130_1, 130_2, ..., 130_n, a correction parameter detection unit 140, an image processing unit 150, and an output unit 160. Note that n is a positive integer. Here, the feature extraction units 130_1, 130_2, ..., 130_n are collectively referred to as the feature extraction unit 130.

記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120、特徴量抽出部130、補正パラメータ検出部140、画像処理部150、及び出力部160の一部又は全部は、処理回路によって実現してもよい。また、取得部120、特徴量抽出部130、補正パラメータ検出部140、画像処理部150、及び出力部160の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、画像処理プログラムとも言う。例えば、画像処理プログラムは、記録媒体に記録されている。
The storage unit 110 may be realized as a storage area secured in the volatile storage device 102 or the non-volatile storage device 103 .
Some or all of the acquisition unit 120, the feature extraction unit 130, the correction parameter detection unit 140, the image processing unit 150, and the output unit 160 may be realized by a processing circuit. Also, some or all of the acquisition unit 120, the feature extraction unit 130, the correction parameter detection unit 140, the image processing unit 150, and the output unit 160 may be realized as modules of a program executed by the processor 101. For example, the program executed by the processor 101 is also referred to as an image processing program. For example, the image processing program is recorded on a recording medium.

ここで、以下の説明では、画像処理装置100がデジタル画像を取得する場合を説明する。画像処理装置100は、アナログ画像を取得してもよい。画像処理装置100は、アナログ画像を取得する場合、画像処理装置100は、A(Analog)/D(Digital)変換器を有する。 Here, the following description will be given of the case where the image processing device 100 acquires a digital image. The image processing device 100 may acquire an analog image. When the image processing device 100 acquires an analog image, the image processing device 100 has an A (Analog)/D (Digital) converter.

記憶部110は、画像と学習済モデルを記憶してもよい。また、記憶部110は、映像を記憶してもよい。
取得部120は、画像を取得する。例えば、取得部120は、画像を記憶部110から取得する。また、例えば、取得部120は、画像をカメラから取得する。なお、カメラの図示は、省略されている。また、取得部120は、映像を取得する。言い換えれば、取得部120は、複数の画像を取得する。
The storage unit 110 may store an image and a trained model. The storage unit 110 may also store a video.
The acquisition unit 120 acquires an image. For example, the acquisition unit 120 acquires an image from the storage unit 110. Also, for example, the acquisition unit 120 acquires an image from a camera. Note that the camera is not illustrated. Also, the acquisition unit 120 acquires a video. In other words, the acquisition unit 120 acquires a plurality of images.

また、取得部120は、学習済モデルを取得する。例えば、取得部120は、学習済モデルを記憶部110から取得する。ここで、学習済モデルは、外部装置(例えば、クラウドサーバ)に格納されてもよい。学習済モデルが外部装置に格納されている場合、取得部120は、外部装置から学習済モデルを取得する。 Furthermore, the acquisition unit 120 acquires the trained model. For example, the acquisition unit 120 acquires the trained model from the storage unit 110. Here, the trained model may be stored in an external device (e.g., a cloud server). When the trained model is stored in an external device, the acquisition unit 120 acquires the trained model from the external device.

特徴量抽出部130は、画像に基づいて、複数の種類の特徴量を抽出する。言い換えれば、特徴量抽出部130は、画像に基づいて、異なる種類の複数の特徴量を抽出する。特徴量の抽出処理を具体的に説明する。The feature extraction unit 130 extracts multiple types of feature amounts based on the image. In other words, the feature extraction unit 130 extracts multiple different types of feature amounts based on the image. The feature extraction process will be described in detail.

特徴量抽出部130(例えば、特徴量抽出部130_1)は、画像に基づいて、1つの特徴量である水平エッジヒストグラムを抽出する。詳細には、特徴量抽出部130は、画像の輝度値に基づいて、水平方向の隣接画素同士の輝度差分値をエッジ強調として算出する。例えば、特徴量抽出部130は、1024階調のエッジ強調を16個に分割することにより表現された水平エッジヒストグラムを抽出する。水平エッジヒストグラムを例示する。The feature extraction unit 130 (e.g., feature extraction unit 130_1) extracts a horizontal edge histogram, which is one feature, based on an image. In detail, the feature extraction unit 130 calculates the luminance difference value between horizontally adjacent pixels as edge enhancement based on the luminance value of the image. For example, the feature extraction unit 130 extracts a horizontal edge histogram expressed by dividing 1024 levels of edge enhancement into 16 parts. An example of a horizontal edge histogram is shown below.

図3は、実施の形態1の水平エッジヒストグラムの例(その1)を示す図である。縦軸は、出現頻度を示している。横軸は、エッジ強度を示している。 Figure 3 shows an example (part 1) of a horizontal edge histogram according to the first embodiment. The vertical axis shows the frequency of occurrence. The horizontal axis shows edge strength.

特徴量抽出部130は、1つの特徴量である水平エッジ量を抽出する。具体的に、水平エッジ量の抽出方法を説明する。The feature extraction unit 130 extracts horizontal edge amount, which is one feature amount. Specifically, we will explain how to extract horizontal edge amount.

図4は、実施の形態1の水平エッジヒストグラムの例(その2)を示す図である。図4に示す水平エッジヒストグラムが、抽出されたものとする。特徴量抽出部130は、水平エッジヒストグラムの中の指定された範囲のエッジ強度の最小値(図4のedge_left)と最大値(図4のedge_right)との間の出現頻度の総量を、水平エッジ量として抽出する。なお、範囲は、予め設定された範囲でもよい。 Figure 4 is a diagram showing an example (part 2) of a horizontal edge histogram in embodiment 1. It is assumed that the horizontal edge histogram shown in Figure 4 has been extracted. The feature extraction unit 130 extracts the total occurrence frequency between the minimum value (edge_left in Figure 4) and the maximum value (edge_right in Figure 4) of the edge strength in a specified range in the horizontal edge histogram as the horizontal edge amount. Note that the range may be a preset range.

また、特徴量抽出部130(例えば、特徴量抽出部130_2)は、画像に基づいて、1つの特徴量である垂直エッジヒストグラムを抽出する。詳細には、特徴量抽出部130は、画像の輝度値に基づいて、垂直方向の隣接画素同士の輝度差分値をエッジ強調として算出する。例えば、特徴量抽出部130は、1024階調のエッジ強調を16個に分割することにより表現された垂直エッジヒストグラムを抽出する。例えば、垂直エッジヒストグラムは、図3のように表現することができる。よって、図3は、垂直エッジヒストグラムの例を示す図と考えてもよい。 Furthermore, the feature extraction unit 130 (for example, feature extraction unit 130_2) extracts a vertical edge histogram, which is one feature, based on the image. In detail, the feature extraction unit 130 calculates the luminance difference value between adjacent pixels in the vertical direction as edge enhancement based on the luminance value of the image. For example, the feature extraction unit 130 extracts a vertical edge histogram expressed by dividing the edge enhancement of 1024 gradations into 16 parts. For example, the vertical edge histogram can be expressed as shown in FIG. 3. Therefore, FIG. 3 may be considered to be a diagram showing an example of a vertical edge histogram.

特徴量抽出部130は、1つの特徴量である垂直エッジ量を抽出する。垂直エッジ量の抽出方法は、水平エッジ量の抽出方法と同じである。例えば、図4を、垂直エッジヒストグラムの例と考えた場合、特徴量抽出部130は、垂直エッジヒストグラムの中の指定された範囲のエッジ強度の最小値と最大値との間の出現頻度の総量を、垂直エッジ量として抽出する。The feature extraction unit 130 extracts a vertical edge amount, which is one feature amount. The method for extracting a vertical edge amount is the same as the method for extracting a horizontal edge amount. For example, if FIG. 4 is considered as an example of a vertical edge histogram, the feature extraction unit 130 extracts the total occurrence frequency between the minimum and maximum values of edge strength in a specified range in the vertical edge histogram as the vertical edge amount.

また、特徴量抽出部130(例えば、特徴量抽出部130_3)は、画像を用いて、1つの特徴量であるフレーム差分ヒストグラムを抽出する。フレーム差分ヒストグラムの抽出方法を具体的に説明する。In addition, the feature extraction unit 130 (for example, the feature extraction unit 130_3) uses the image to extract a frame difference histogram, which is one feature. A method for extracting a frame difference histogram will be specifically described.

図5は、実施の形態1のフレーム差分ヒストグラムの抽出方法の具体例を示す図である。図5は、前回取得された画像(例えば、n-1番目のフレームとも言う)に基づく輝度ヒストグラムと、今回取得された画像(例えば、n番目のフレームとも言う)に基づく輝度ヒストグラムとを示している。 Figure 5 shows a specific example of a method for extracting a frame difference histogram in embodiment 1. Figure 5 shows a luminance histogram based on a previously acquired image (e.g., also referred to as the n-1th frame) and a luminance histogram based on a currently acquired image (e.g., also referred to as the nth frame).

これらの輝度ヒストグラムの縦軸は、ピクセル数を示している。これらの輝度ヒストグラムの横軸は、輝度を示している。輝度ヒストグラムは、各画素のRGB(Red、Green、Blue)の最大値に基づいて、輝度を16個に分割することにより得られる。すなわち、輝度ヒストグラムは、輝度を16階調でまとめることで得られる。なお、輝度ヒストグラムは、1階調、8階調でまとめてもよい。 The vertical axis of these brightness histograms indicates the number of pixels. The horizontal axis of these brightness histograms indicates brightness. The brightness histograms are obtained by dividing the brightness into 16 parts based on the maximum RGB (Red, Green, Blue) values of each pixel. In other words, the brightness histograms are obtained by summarizing the brightness in 16 gradations. Note that the brightness histograms may also be summarized in 1 gradation or 8 gradations.

特徴量抽出部130は、前回取得された画像に基づく輝度ヒストグラムと、今回取得された画像に基づく輝度ヒストグラムとの差分を算出することにより、フレーム差分ヒストグラムを抽出する。図5は、フレーム差分ヒストグラムを示している。フレーム差分ヒストグラムの縦軸は、ピクセル数を示している。フレーム差分ヒストグラムの横軸は、輝度を示している。なお、フレーム差分ヒストグラムは、差分輝度ヒストグラムと呼んでもよい。The feature extraction unit 130 extracts a frame difference histogram by calculating the difference between a luminance histogram based on a previously acquired image and a luminance histogram based on a currently acquired image. FIG. 5 shows a frame difference histogram. The vertical axis of the frame difference histogram indicates the number of pixels. The horizontal axis of the frame difference histogram indicates luminance. The frame difference histogram may also be called a differential luminance histogram.

また、特徴量抽出部130(例えば、特徴量抽出部130_4)は、画像を用いて、1つの特徴量である周波数ヒストグラムを抽出する。また、特徴量抽出部130は、輝度変化数を特徴量として、抽出してもよい。輝度変化数の抽出方法を具体的に説明する。In addition, the feature extraction unit 130 (for example, the feature extraction unit 130_4) uses the image to extract a frequency histogram, which is one feature. In addition, the feature extraction unit 130 may extract the number of luminance changes as a feature. A method for extracting the number of luminance changes will be specifically described.

図6は、実施の形態1の輝度変化数の抽出方法の具体例を示す図である。図6のグラフの縦軸は、輝度値を示している。図6のグラフの横軸は、ピクセル座標を示している。図6は、水平方向の9つの画素と、9つの画素の輝度値とを示している。特徴量抽出部130は、水平方向の隣接画素同士の輝度差分値が閾値以上である個数を、輝度変化数として抽出する。例えば、特徴量抽出部130は、N+2の画素の輝度値と、N+3の画素の輝度値との差分が閾値以上である場合、N+3の画素を、輝度が変化した画素として抽出する。図6は、輝度が変化した画素を色付き丸で表現している。そして、図6は、輝度変化数が5であることを示している。
また、特徴量抽出部130は、輝度変化数の合計値を特徴量として、抽出されてもよい。
FIG. 6 is a diagram showing a specific example of a method for extracting the number of luminance changes in the first embodiment. The vertical axis of the graph in FIG. 6 indicates the luminance value. The horizontal axis of the graph in FIG. 6 indicates pixel coordinates. FIG. 6 shows nine pixels in the horizontal direction and the luminance values of the nine pixels. The feature extraction unit 130 extracts the number of pixels whose luminance difference value between adjacent pixels in the horizontal direction is equal to or greater than a threshold value as the number of luminance changes. For example, when the difference between the luminance value of the pixel N+2 and the luminance value of the pixel N+3 is equal to or greater than a threshold value, the feature extraction unit 130 extracts the pixel N+3 as a pixel whose luminance has changed. In FIG. 6, the pixels whose luminance has changed are represented by colored circles. FIG. 6 also shows that the number of luminance changes is 5.
Furthermore, the feature extraction section 130 may extract the total number of luminance changes as the feature.

特徴量抽出部130(例えば、特徴量抽出部130_5)は、画像を用いて、1つの特徴量である彩度ヒストグラムを抽出する。彩度ヒストグラムの抽出方法を具体的に説明する。The feature extraction unit 130 (e.g., feature extraction unit 130_5) uses an image to extract a saturation histogram, which is one feature. The method for extracting a saturation histogram will be described in detail below.

図7は、実施の形態1の彩度ヒストグラムの抽出方法の具体例を示す図である。縦軸は、出現頻度を示している。横軸は、彩度を示している。例えば、特徴量抽出部130は、CIE UVW色空間で算出されるU値及びV値を絶対値に置き換えたときの最大値に基づいて、彩度を抽出する。例えば、特徴量抽出部130は、512階調の彩度を16個に分割することにより表現された彩度ヒストグラムを抽出する。 Figure 7 is a diagram showing a specific example of a method for extracting a saturation histogram in embodiment 1. The vertical axis indicates the frequency of occurrence. The horizontal axis indicates saturation. For example, the feature extraction unit 130 extracts saturation based on the maximum value when the U value and V value calculated in the CIE UVW color space are replaced with absolute values. For example, the feature extraction unit 130 extracts a saturation histogram represented by dividing 512 levels of saturation into 16.

上記では、特徴量の例として、水平エッジ量、水平エッジヒストグラム、垂直エッジ量、垂直エッジヒストグラム、フレーム差分ヒストグラム、周波数ヒストグラム、及び彩度ヒストグラムを示した。特徴量は、上記以外の特徴量でもよい。例えば、特徴量は、画像の最大輝度、画像の最小輝度、画像の平均輝度、画像における黒面積の値、画像における白面積の値などである。 In the above, examples of features are horizontal edge amount, horizontal edge histogram, vertical edge amount, vertical edge histogram, frame difference histogram, frequency histogram, and saturation histogram. The feature may be a feature other than those mentioned above. For example, the feature may be the maximum luminance of the image, the minimum luminance of the image, the average luminance of the image, the value of the black area in the image, the value of the white area in the image, etc.

補正パラメータ検出部140は、複数の種類の特徴量と学習済モデルとを用いて、補正パラメータを検出する。すなわち、補正パラメータ検出部140は、複数の種類の特徴量を学習済モデルに入力することで、学習済モデルが出力する補正パラメータを検出する。なお、補正パラメータは、画像の画質を補正するためのパラメータである。また、補正パラメータは、画像の画質を向上させるためのパラメータであると表現してもよい。The correction parameter detection unit 140 detects correction parameters using multiple types of feature quantities and the trained model. That is, the correction parameter detection unit 140 inputs multiple types of feature quantities into the trained model, and detects correction parameters output by the trained model. The correction parameters are parameters for correcting the image quality of an image. The correction parameters may also be expressed as parameters for improving the image quality of an image.

次に、学習済モデルを説明する。学習済モデルは、多層のニューラルネットワークで構成されてもよい。ニューラルネットワークを例示する。
図8は、実施の形態1のニューラルネットワークの例を示す図である。ニューラルネットワークは、入力層、中間層、及び出力層で構成されている。図8は、中間層の数が3つであることを示している。中間層の数は、3つに限らない。また、ニューロンの数は、図8の例の数に限らない。
Next, the trained model will be described. The trained model may be configured as a multi-layer neural network. An example of the neural network will be described.
Fig. 8 is a diagram showing an example of a neural network according to the first embodiment. The neural network is composed of an input layer, an intermediate layer, and an output layer. Fig. 8 shows that the number of intermediate layers is three. The number of intermediate layers is not limited to three. Furthermore, the number of neurons is not limited to the number shown in the example of Fig. 8.

入力層の複数のニューロンには、複数の種類の特徴量が割り当てられる。例えば、入力層の1つのニューロンには、水平エッジ量が割り当てられる。
例えば、補正パラメータyは、複数のニューロンに入力された複数の種類の特徴量に基づいて、式(1)によって算出される。
A plurality of types of feature quantities are assigned to a plurality of neurons in the input layer, for example, a horizontal edge quantity is assigned to one neuron in the input layer.
For example, the correction parameter y is calculated by equation (1) based on a plurality of types of feature amounts input to a plurality of neurons.

Figure 0007496935000001
Figure 0007496935000001

なお、nは、入力層のニューロンの数である。x1~xnは、複数の種類の特徴量である。bは、バイアスである。wは、重みである。バイアスb及び重みwは、学習により定められる。 Note that n is the number of neurons in the input layer. x1 to xn are multiple types of features. b is the bias. w is the weight. The bias b and weight w are determined by learning.

また、sは、関数を示している。当該関数を、関数s(a)とする。関数s(a)は、活性化関数である。例えば、活性化関数s(a)は、aが0以下であれば0を出力し、aが0以外であれば1を出力するステップ関数でもよい。また、例えば、活性化関数s(a)は、aが0以下であれば0を出力し、aが0以外ならば入力値aを出力するReLU関数でもよいし、入力値aをそのまま出力する恒等関数でもよいし、ジグモイド関数でもよい。 Also, s indicates a function. The function in question is called function s(a). Function s(a) is an activation function. For example, activation function s(a) may be a step function that outputs 0 if a is 0 or less, and outputs 1 if a is other than 0. Also, for example, activation function s(a) may be a ReLU function that outputs 0 if a is 0 or less, and outputs the input value a if a is other than 0, or an identity function that outputs the input value a as is, or a sigmoid function.

なお、入力層のニューロンは、入力値をそのまま出力する。そのため、入力層のニューロンで用いられる活性化関数は、恒等関数であると言える。中間層では、ステップ関数又はジグモイド関数が用いられると考えてもよい。出力層では、ReLU関数が用いられると考えてもよい。また、同じ層内のニューロン相互間では、異なる関数が用いられてもよい。 Note that neurons in the input layer output the input value as is. Therefore, the activation function used in neurons in the input layer can be said to be an identity function. A step function or a sigmoid function may be considered to be used in the intermediate layer. A ReLU function may be considered to be used in the output layer. Also, different functions may be used between neurons in the same layer.

ここで、上記したように、重みwは、学習により定められる。重みwの算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、重みwが定められる。Here, as described above, the weight w is determined by learning. An example of a method for calculating the weight w will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In addition, in the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameters is calculated. The weight w is determined so that the difference is small.

また、学習済モデルは、ランダムフォレストで構成されてもよい。ランダムフォレストを構成する学習済モデルを例示する。
図9は、実施の形態1のランダムフォレストを構成する学習済モデルの例を示す図である。図9は、ランダムフォレスト200を示している。ランダムフォレスト200は、決定木210_1,210_2,・・・,210_nを含む。nは、正の整数である。ここで、決定木210_1,210_2,・・・,210_nの総称を、決定木210と呼ぶ。決定木210は、複数のノードを構成する。決定木210では、ノードを積み重ねることで、木構造の分類ルールが作成される。
The trained model may be configured as a random forest. An example of a trained model that configures a random forest is shown below.
9 is a diagram showing an example of a trained model constituting the random forest of the first embodiment. FIG. 9 shows a random forest 200. The random forest 200 includes decision trees 210_1, 210_2, ..., 210_n, where n is a positive integer. Here, the decision trees 210_1, 210_2, ..., 210_n are collectively referred to as the decision tree 210. The decision tree 210 is made up of a plurality of nodes. In the decision tree 210, a tree-structured classification rule is created by stacking the nodes.

複数の決定木210のそれぞれには、複数の種類の特徴量のいずれかが割り当てられる。例えば、決定木210_1には、水平エッジ量が割り当てられる。そして、特徴量は、決定木210の1層目のノードに入力される。例えば、水平エッジ量は、決定木210_1の1層目のノードに入力される。ノードには、分岐条件が定められている。例えば、分岐条件には、水平エッジ量が1000以上であることという条件が定められている。分岐条件は、入力されたデータの情報利得が最大となる条件によって決定される。情報利得は、あるノードxの次のノードにデータを分類する際のデータの分類度(例えば、不純度とも言う)を指す。情報利得の最大化は、あるノードxにおいて、“(分類前の不純度)-(分類後の不純度)”を最大化することを意味し、分類後の不純度を最小化することを意味する。不純度g(T)は、式(2)を用いて算出される。Each of the multiple decision trees 210 is assigned one of multiple types of feature quantities. For example, the horizontal edge quantity is assigned to the decision tree 210_1. The feature quantity is then input to the first-layer node of the decision tree 210. For example, the horizontal edge quantity is input to the first-layer node of the decision tree 210_1. A branching condition is set for the node. For example, the branching condition is set to a condition that the horizontal edge quantity is 1000 or more. The branching condition is determined by the condition that maximizes the information gain of the input data. The information gain refers to the classification degree (also called impurity, for example) of data when classifying data into the next node of a certain node x. Maximizing the information gain means maximizing "(impurity before classification) - (impurity after classification)" at a certain node x, and means minimizing the impurity after classification. Impurity g (T) is calculated using formula (2).

Figure 0007496935000002
Figure 0007496935000002

gは、ジニ係数である。ジニ係数は、データの分類が成功しているか否かを示す指標である。Tは、ノードに入力されるデータを示す。p(i|t)は、入力されるデータに対する、あるクラスのデータ数を示す。cは、クラスの数を示す。
情報利得IGは、式(3)を用いて算出される。
g is the Gini coefficient. The Gini coefficient is an index showing whether data classification is successful or not. T indicates data input to the node. p(i|t) indicates the number of data of a certain class for the input data. c indicates the number of classes.
The information gain I G is calculated using equation (3).

Figure 0007496935000003
Figure 0007496935000003

Tbは、分類前のデータを示す。zは、分類後のノード数を示す。Niは、分類後のノードiにおけるデータ数を示す。Npは、分類前のデータ数を示す。Diは、分類後のノードiにおけるデータを示す。
ノードxに入力されたデータの不純度と、ノードxにおける分類後の不純度との差が大きくなる時、情報利得は、最大化され、当該データを最もよく分類することができる。
式(3)では、ジニ係数gが用いられた。式(3)には、エントロピー又は分類誤差が用いられてもよい。
Tb indicates data before classification. z indicates the number of nodes after classification. Ni indicates the number of data in node i after classification. Np indicates the number of data before classification. Di indicates the data in node i after classification.
When the difference between the impurity of the data input to node x and the impurity after classification at node x becomes large, the information gain is maximized and the data can be best classified.
In equation (3), the Gini coefficient g was used. Entropy or classification error may also be used in equation (3).

ここで、上記したように、ノードには、分岐条件が定められている。分岐条件は、機械学習で定められる。機械学習における分岐条件の算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、分岐条件が定められる。Here, as described above, a branching condition is defined for the node. The branching condition is defined by machine learning. An example of a method for calculating a branching condition in machine learning will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In addition, in the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameter is calculated. The branching condition is defined so that the difference becomes small.

ランダムフォレスト200では、複数の決定木210から出力された結果を多数決することで、補正パラメータが出力される。In the random forest 200, correction parameters are output by taking a majority vote on the results output from multiple decision trees 210.

また、学習済モデルは、サポートベクターマシーンを用いることで生成された学習済モデルでもよい。よって、学習済モデルには、サポートベクターマシーンの技術が反映されている。当該学習済モデルを例示する。 The trained model may also be a trained model generated using a support vector machine. Thus, the trained model reflects the technology of the support vector machine. An example of such a trained model is shown below.

図10は、実施の形態1のサポートベクターマシーンの例を示す図である。サポートベクターマシーンでは、線形入力素子が利用される。サポートベクターマシーンには、複数の種類の特徴量が入力される。複数の種類の特徴量のそれぞれは、線形入力素子により、2つのクラスに分類される。線形入力素子は、式(4)を用いて算出される。 Figure 10 is a diagram showing an example of a support vector machine according to the first embodiment. A linear input element is used in the support vector machine. Multiple types of features are input to the support vector machine. Each of the multiple types of features is classified into two classes by the linear input element. The linear input element is calculated using equation (4).

Figure 0007496935000004
Figure 0007496935000004

xは、入力されるデータ(すなわち、特徴量)を示す。“w^T(x)+b”は、データを分離する線形な直線を示す。式(4)の算出には、式(5)と式(6)が用いられる。式(5)は、次のように表される。 x indicates the input data (i.e., feature). "w^T(x) + b" indicates a linear line that separates the data. Equation (5) and equation (6) are used to calculate equation (4). Equation (5) is expressed as follows:

Figure 0007496935000005
Figure 0007496935000005

式(6)は、次のように表される。 Equation (6) is expressed as follows:

Figure 0007496935000006
Figure 0007496935000006

wは、線形入力素子の傾きを示す。εは、式6の制約条件を弱める変数を示す。Cは、正の値の正則化係数を示す。tは、“(w^T(x)+b)”を正の値にするための変数(すなわち、1又は-1)である。εとCによって、線形入力素子の分類失敗を許容することで、最適な線形入力素子が算出される。 w indicates the slope of the linear input element. ε indicates a variable that weakens the constraint in equation 6. C indicates a positive regularization coefficient. t is a variable (i.e., 1 or -1) that makes "(w^T(x) + b)" a positive value. The optimal linear input element is calculated by allowing classification failure of the linear input element using ε and C.

線形入力素子によって、入力されるデータを2つに分類できない場合、カーネル関数が用いられてもよい。カーネル関数を用いることで、入力データが多次元空間に拡張され、線形に線形入力素子で分類できる平面が算出される。また、カーネル関数は、RBFカーネル、多項式カーネル、線形カーネル、又はシグモイドカーネルでもよい。 If the input data cannot be classified into two categories using linear input elements, a kernel function may be used. By using the kernel function, the input data is expanded into a multidimensional space, and a plane that can be linearly classified using the linear input elements is calculated. The kernel function may be an RBF kernel, a polynomial kernel, a linear kernel, or a sigmoid kernel.

ここで、線形入力素子は、機械学習で算出される。機械学習における線形入力素子の算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、線形入力素子が算出される。Here, the linear input element is calculated by machine learning. An example of a method for calculating a linear input element in machine learning will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameters is calculated. The linear input element is calculated so that the difference becomes small.

画像処理部150は、補正パラメータを用いて、画像の画質を補正するための処理を実行する。
例えば、画像処理部150は、補正パラメータを用いて、画像のノイズを軽減する処理を実行する。例えば、ノイズを軽減する処理は、ローパスフィルタ処理である。例えば、画像処理部150は、補正パラメータを用いて、ノイズの多い画像を、ノイズの少ない画像に補正する。また、例えば、画像処理部150は、補正パラメータを用いて、細かい模様のノイズを含む画像を、当該ノイズの少ない画像に補正する。
The image processing unit 150 uses the correction parameters to execute processing for correcting the image quality of the image.
For example, the image processing unit 150 uses the correction parameters to execute a process of reducing noise in the image. For example, the process of reducing noise is a low-pass filter process. For example, the image processing unit 150 uses the correction parameters to correct a noisy image to an image with less noise. Also, for example, the image processing unit 150 uses the correction parameters to correct an image including fine pattern noise to an image with less noise.

また、例えば、画像処理部150は、補正パラメータを用いて、画像を鮮鋭化するための処理を実行する。例えば、画像を鮮鋭化するための処理は、ハイパスフィルタ処理である。例えば、画像処理部150は、補正パラメータを用いて、ノイズの多い画像を、鮮鋭化された画像に補正する。また、例えば、画像処理部150は、補正パラメータを用いて、ぼやけた画像を、鮮鋭化された画像に補正する。 Also, for example, the image processing unit 150 uses the correction parameters to execute processing for sharpening the image. For example, the processing for sharpening the image is high-pass filter processing. For example, the image processing unit 150 uses the correction parameters to correct a noisy image into a sharpened image. Also, for example, the image processing unit 150 uses the correction parameters to correct a blurry image into a sharpened image.

画像処理部150は、補正パラメータを用いて、画像のコントラストを改善するための処理、画像の色を変換するための処理などを実行してもよい。The image processing unit 150 may use the correction parameters to perform processing such as improving the contrast of the image and converting the color of the image.

出力部160は、補正された画像を出力する。例えば、出力部160は、補正された画像を、ディスプレイに出力する。これにより、ユーザは、最適な画質の画像を視認することができる。なお、ディスプレイの図示は、省略されている。また、出力部160は、補正された画像を、外部装置に出力してもよい。出力部160は、補正された画像を、記憶部110に出力してもよい。The output unit 160 outputs the corrected image. For example, the output unit 160 outputs the corrected image to a display. This allows the user to view an image of optimal image quality. Note that an illustration of a display is omitted. The output unit 160 may also output the corrected image to an external device. The output unit 160 may also output the corrected image to the memory unit 110.

次に、画像処理装置100が実行する処理を、フローチャートを用いて、説明する。
図11は、実施の形態1の画像処理装置が実行する処理の例を示すフローチャートである。
(ステップS11)取得部120は、画像を取得する。
(ステップS12)特徴量抽出部130は、画像に基づいて、複数の種類の特徴量を抽出する。
Next, the process executed by the image processing device 100 will be described with reference to a flowchart.
FIG. 11 is a flowchart illustrating an example of processing executed by the image processing device according to the first embodiment.
(Step S11) The acquisition unit 120 acquires an image.
(Step S12) The feature extraction unit 130 extracts a plurality of types of feature amounts based on the image.

(ステップS13)補正パラメータ検出部140は、複数の種類の特徴量と学習済モデルとを用いて、補正パラメータを検出する。
(ステップS14)画像処理部150は、補正パラメータを用いて、画像の画質を補正するための処理を実行する。
(ステップS15)出力部160は、補正された画像を出力する。
(Step S13) The correction parameter detection unit 140 detects correction parameters by using multiple types of feature amounts and the trained model.
(Step S14) The image processing unit 150 executes a process for correcting the image quality of the image using the correction parameters.
(Step S15) The output unit 160 outputs the corrected image.

実施の形態1によれば、画像処理装置100は、学習済モデルから出力された補正パラメータを用いて、画像を補正する。当該学習済モデルの学習フェーズでは、様々な画像が学習データとして入力され、当該様々な画像に対応する適切な補正パラメータを出力するための学習が行われる。このような学習により、当該学習済モデルが生成される。そのため、当該学習済モデルを用いる画像処理装置100は、様々な画像に対して画質の最適化を行うことができる。According to embodiment 1, the image processing device 100 corrects an image using correction parameters output from the trained model. In the learning phase of the trained model, various images are input as training data, and learning is performed to output appropriate correction parameters corresponding to the various images. Through such learning, the trained model is generated. Therefore, the image processing device 100 using the trained model can optimize the image quality of various images.

また、複数の種類の特徴量が学習済モデルに入力される前に、複数の種類の特徴量が抽出される。すなわち、学習済モデルでは、複数の種類の特徴量を画像から抽出する処理が行われない。よって、実施の形態1によれば、学習済モデルの軽量化及び学習済モデルにおける処理の高速化が実現できる。 In addition, multiple types of features are extracted before the multiple types of features are input to the trained model. In other words, in the trained model, a process of extracting multiple types of features from an image is not performed. Therefore, according to embodiment 1, it is possible to reduce the weight of the trained model and to speed up processing in the trained model.

実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。
Embodiment 2.
Next, a description will be given of embodiment 2. In embodiment 2, differences from embodiment 1 will be mainly described. Furthermore, in embodiment 2, description of matters common to embodiment 1 will be omitted.

図12は、実施の形態2の画像処理装置の機能を示すブロック図である。図2に示される構成と同じ図12の構成は、図2に示される符号と同じ符号を付している。
画像処理装置100は、さらに、判定部170を有する。判定部170の一部又は全部は、処理回路によって実現してもよい。また、判定部170の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。
判定部170の機能は、後で詳細に説明する。
Fig. 12 is a block diagram showing the functions of an image processing device according to embodiment 2. The components in Fig. 12 that are the same as those in Fig. 2 are given the same reference numerals as those in Fig. 2.
The image processing device 100 further includes a determination unit 170. A part or the whole of the determination unit 170 may be realized by a processing circuit. Also, a part or the whole of the determination unit 170 may be realized as a module of a program executed by the processor 101.
The function of the determination unit 170 will be described in detail later.

次に、画像処理装置100が実行する処理を、フローチャートを用いて説明する。
図13は、実施の形態2の画像処理装置が実行する処理の例を示すフローチャートである。図13の処理は、ステップS13aが実行される点が図11の処理と異なる。そのため、図13では、ステップS13aを説明する。そして、ステップS13a以外の処理の説明は、省略する。
Next, the process executed by the image processing device 100 will be described with reference to a flowchart.
Fig. 13 is a flowchart showing an example of processing executed by the image processing device of the second embodiment. The processing in Fig. 13 differs from the processing in Fig. 11 in that step S13a is executed. Therefore, step S13a will be described in Fig. 13. Descriptions of the processing other than step S13a will be omitted.

(ステップS13a)判定部170は、検出された補正パラメータと予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する。 (Step S13a) The judgment unit 170 judges whether the difference between the detected correction parameter and a preset correction parameter is less than or equal to a preset threshold value.

ここで、取得部120は、一定期間、複数の画像(例えば、映像)を取得することができる。そして、特徴量抽出部130及び補正パラメータ検出部140は、複数の画像に基づいて、複数の補正パラメータを検出する。これにより、一定期間に検出された複数の補正パラメータが検出される。例えば、予め設定された補正パラメータは、一定期間に検出された複数の補正パラメータに基づく平均値である。Here, the acquisition unit 120 can acquire multiple images (e.g., video) for a certain period of time. Then, the feature extraction unit 130 and the correction parameter detection unit 140 detect multiple correction parameters based on the multiple images. In this way, multiple correction parameters detected over a certain period of time are detected. For example, the preset correction parameter is an average value based on the multiple correction parameters detected over a certain period of time.

当該差分が当該閾値以下である場合、処理は、ステップS14に進む。当該差分が当該閾値よりも大きい場合、処理は、終了する。If the difference is less than or equal to the threshold, processing proceeds to step S14. If the difference is greater than the threshold, processing ends.

ここで、ステップS13aでNoのときに、画像処理装置100が画像を補正した場合、急激な画質の変化が起こる。そこで、画像処理装置100は、急激な画質の変化を抑えるために、当該閾値を用いて、補正するか否かを判定する。よって、実施の形態2によれば、画像処理装置100は、急激な画質の変化を抑えることができる。Here, if the image processing device 100 corrects the image when step S13a is No, a sudden change in image quality occurs. Therefore, in order to suppress the sudden change in image quality, the image processing device 100 uses the threshold value to determine whether or not to perform correction. Therefore, according to embodiment 2, the image processing device 100 can suppress the sudden change in image quality.

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。The features of each of the embodiments described above can be combined with each other as appropriate.

100 画像処理装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 110 記憶部、 120 取得部、 130,130_1,130_2,・・・,130_n 特徴量抽出部、 140 補正パラメータ検出部、 150 画像処理部、 160 出力部、 170 判定部、 200 ランダムフォレスト、 210,210_1,210_2,・・・,210_n 決定木。100 Image processing device, 101 Processor, 102 Volatile storage device, 103 Non-volatile storage device, 110 Storage unit, 120 Acquisition unit, 130, 130_1, 130_2, ..., 130_n Feature extraction unit, 140 Correction parameter detection unit, 150 Image processing unit, 160 Output unit, 170 Judgment unit, 200 Random forest, 210, 210_1, 210_2, ..., 210_n Decision tree.

Claims (6)

画像と学習済モデルとを取得する取得部と、
前記画像に基づいて、複数の種類の特徴量を抽出する複数の特徴量抽出部と、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出する補正パラメータ検出部と、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する判定部と、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する画像処理部と、
を有する画像処理装置。
An acquisition unit that acquires an image and a trained model;
A plurality of feature extraction units extracting a plurality of types of feature amounts based on the image;
a correction parameter detection unit that detects a correction parameter, which is a parameter for correcting image quality of the image, by using the plurality of types of feature amounts and the trained model;
a determination unit that determines whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold;
an image processing unit that executes a process for correcting an image quality of the image using the detected correction parameters if the difference is equal to or smaller than the threshold value ;
An image processing device comprising:
前記学習済モデルは、ニューラルネットワーク、ランダムフォレスト、サポートベクターマシーンのいずれかで構成される、
請求項1に記載の画像処理装置。
The trained model is composed of a neural network, a random forest, or a support vector machine.
The image processing device according to claim 1 .
前記複数の種類の特徴量は、水平エッジ量、水平エッジヒストグラム、垂直エッジ量、垂直エッジヒストグラム、フレーム差分ヒストグラム、周波数ヒストグラム、彩度ヒストグラム、前記画像の最大輝度、前記画像の最小輝度、前記画像の平均輝度、前記画像における黒面積の値、及び前記画像における白面積の値のうちの2以上の種類の特徴量である、
請求項1又は2に記載の画像処理装置。
the plurality of types of feature amounts are two or more types of feature amounts selected from a horizontal edge amount, a horizontal edge histogram, a vertical edge amount, a vertical edge histogram, a frame difference histogram, a frequency histogram, a saturation histogram, a maximum luminance of the image, a minimum luminance of the image, an average luminance of the image, a value of a black area in the image, and a value of a white area in the image;
3. The image processing device according to claim 1 or 2 .
補正された前記画像を出力する出力部をさらに有する、
請求項1からのいずれか1項に記載の画像処理装置。
An output unit that outputs the corrected image.
The image processing device according to claim 1 .
画像処理装置が、
画像と学習済モデルとを取得し、
前記画像に基づいて、複数の種類の特徴量を抽出し、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出し、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定し、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する、
画像処理方法。
The image processing device
Obtain the image and the trained model,
Extracting a plurality of types of feature amounts based on the image;
Detecting correction parameters, which are parameters for correcting image quality of the image, using the plurality of types of feature amounts and the trained model;
determining whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold value;
If the difference is equal to or smaller than the threshold, a process for correcting the image quality of the image is executed using the detected correction parameters.
Image processing methods.
画像処理装置に、
画像と学習済モデルとを取得し、
前記画像に基づいて、複数の種類の特徴量を抽出し、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出し、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定し、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する、
処理を実行させる画像処理プログラム。
The image processing device includes:
Obtain the image and the trained model,
Extracting a plurality of types of feature amounts based on the image;
Detecting correction parameters, which are parameters for correcting image quality of the image, using the plurality of types of feature amounts and the trained model;
determining whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold value;
If the difference is equal to or smaller than the threshold, a process for correcting the image quality of the image is executed using the detected correction parameters.
An image processing program that performs the processing.
JP2023527167A 2021-06-07 2021-06-07 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM Active JP7496935B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021592 WO2022259323A1 (en) 2021-06-07 2021-06-07 Image processing device, image processing method, and image processing program

Publications (3)

Publication Number Publication Date
JPWO2022259323A1 JPWO2022259323A1 (en) 2022-12-15
JPWO2022259323A5 JPWO2022259323A5 (en) 2023-07-31
JP7496935B2 true JP7496935B2 (en) 2024-06-07

Family

ID=84424995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023527167A Active JP7496935B2 (en) 2021-06-07 2021-06-07 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM

Country Status (2)

Country Link
JP (1) JP7496935B2 (en)
WO (1) WO2022259323A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187215A (en) 2001-12-18 2003-07-04 Fuji Xerox Co Ltd Image processing system and image processing server
JP2009151350A (en) 2007-12-18 2009-07-09 Nec Corp Image correction method and device
WO2018150685A1 (en) 2017-02-20 2018-08-23 ソニー株式会社 Image processing device, image processing method, and program
JP2020188484A (en) 2016-06-02 2020-11-19 ソニー株式会社 Image processing device and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187215A (en) 2001-12-18 2003-07-04 Fuji Xerox Co Ltd Image processing system and image processing server
JP2009151350A (en) 2007-12-18 2009-07-09 Nec Corp Image correction method and device
JP2020188484A (en) 2016-06-02 2020-11-19 ソニー株式会社 Image processing device and image processing method
WO2018150685A1 (en) 2017-02-20 2018-08-23 ソニー株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JPWO2022259323A1 (en) 2022-12-15
WO2022259323A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
JP5389903B2 (en) Optimal video selection
US9478017B2 (en) Guided image filtering for image content
US20100246951A1 (en) Colour correcting foreground colours for visual quality improvement
US8311356B2 (en) Image processing apparatus and image processing method
JP2020160616A (en) Generation device and computer program and generation method
US11526962B2 (en) Image processing apparatus, image processing method, and storage medium
US8831346B2 (en) Image processing apparatus and method, and program
JP2016505186A (en) Image processor with edge preservation and noise suppression functions
US10013772B2 (en) Method of controlling a quality measure and system thereof
CN112465727A (en) Low-illumination image enhancement method without normal illumination reference based on HSV color space and Retinex theory
US9432596B2 (en) Image processing apparatus and image processing method
CN111047543A (en) Image enhancement method, device and storage medium
CN111242878A (en) Mine underground image enhancement method based on cuckoo search
CN111079864A (en) Short video classification method and system based on optimized video key frame extraction
KR20230146974A (en) Method and Apparatus for Enhancing Brightness of Image
CN114998122A (en) Low-illumination image enhancement method
Ponomaryov et al. Fuzzy 3D filter for color video sequences contaminated by impulsive noise
JP7496935B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
Ramadan Monochromatic-based method for impulse noise detection and suppression in color images
CN114390266B (en) Image white balance processing method, device and computer readable storage medium
Lin et al. Tri-histogram equalization based on first order statistics
Yuan et al. Color image quality assessment with multi deep convolutional networks
CN116917954A (en) Image detection method and device and electronic equipment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240528

R150 Certificate of patent or registration of utility model

Ref document number: 7496935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150