JP7496935B2 - IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM - Google Patents
IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM Download PDFInfo
- Publication number
- JP7496935B2 JP7496935B2 JP2023527167A JP2023527167A JP7496935B2 JP 7496935 B2 JP7496935 B2 JP 7496935B2 JP 2023527167 A JP2023527167 A JP 2023527167A JP 2023527167 A JP2023527167 A JP 2023527167A JP 7496935 B2 JP7496935 B2 JP 7496935B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- trained model
- processing device
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 77
- 238000003672 processing method Methods 0.000 title claims description 4
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012937 correction Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 53
- 238000000605 extraction Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 239000000284 extract Substances 0.000 description 20
- 238000003066 decision tree Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 8
- 239000012535 impurity Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。 The present disclosure relates to an image processing device, an image processing method, and an image processing program.
装置には、様々な解像度及び様々な圧縮方式の映像が入力される。例えば、様々な解像度は、8K、4K、フルHD(High Definition)、SD(Standard Definition)などである。また、例えば、様々な圧縮方式は、H.265/HEVC、H.264/AVC、MPEG2などである。また、装置には、高画質化機能が搭載されていることがある。そして、装置が最適な高画質化を行うことが、望まれる。例えば、ぼやけた映像を鮮鋭化する場合、当該映像を鮮鋭化するための処理が実行される。また、例えば、ノイズが多い映像が入力された場合、ノイズが強調されないための処理が実行される。ここで、画質を制御する画質制御装置が提案されている(特許文献1を参照)。例えば、特許文献1の画質制御装置は、映像信号に含まれる画像から得られる輝度情報、色度情報、色彩情報、及び周波数情報の全てのヒストグラムを生成する。画質制御装置は、予め設定された複数のヒストグラムパターンを有する参照テーブルから、全てのヒストグラムに対応するヒストグラムパターンを抽出する。画質制御装置は、抽出されたヒストグラムパターンに対応する制御パラメータに基づいて映像信号の画質を制御する。
The device receives images of various resolutions and compression methods. For example, the various resolutions are 8K, 4K, full HD (High Definition), SD (Standard Definition), etc. For example, the various compression methods are H. 265/HEVC, H. 264/AVC, MPEG2, etc. The device may be equipped with a high image quality function. It is desired that the device performs optimal image quality enhancement. For example, when sharpening a blurred image, a process for sharpening the image is executed. For example, when a noisy image is input, a process for not emphasizing the noise is executed. Here, an image quality control device that controls image quality has been proposed (see Patent Document 1). For example, the image quality control device of
上記の技術では、参照テーブルを用いて画質が制御される。しかし、様々な画像が入力される場合、参照テーブルに登録されている情報だけでは、画質の最適化は、困難である。 In the above technology, image quality is controlled using a lookup table. However, when various images are input, it is difficult to optimize image quality using only the information registered in the lookup table.
本開示の目的は、様々な画像に対して画質の最適化を行うことである。 The objective of this disclosure is to optimize image quality for a variety of images.
本開示の一態様に係る画像処理装置が提供される。画像処理装置は、画像と学習済モデルとを取得する取得部と、前記画像に基づいて、複数の種類の特徴量を抽出する複数の特徴量抽出部と、前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出する補正パラメータ検出部と、検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する判定部と、前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する画像処理部と、を有する。 An image processing device according to one aspect of the present disclosure is provided. The image processing device includes an acquisition unit that acquires an image and a trained model, a feature extraction unit that extracts a plurality of types of feature amounts based on the image, a correction parameter detection unit that detects a correction parameter that is a parameter for correcting the image quality of the image using the plurality of types of feature amounts and the trained model , a determination unit that determines whether or not a difference between the detected correction parameter and a preset correction parameter is equal to or less than a preset threshold, and an image processing unit that executes a process for correcting the image quality of the image using the detected correction parameter when the difference is equal to or less than the threshold .
本開示によれば、様々な画像に対して画質の最適化を行うことができる。 According to the present disclosure, image quality can be optimized for a variety of images.
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。 The following describes an embodiment with reference to the drawings. The following embodiment is merely an example, and various modifications are possible within the scope of this disclosure.
実施の形態1.
図1は、実施の形態1の画像処理装置が有するハードウェアを示す図である。画像処理装置100は、画像処理方法を実行する装置である。画像処理装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。
1 is a diagram showing hardware included in an image processing device according to
プロセッサ101は、画像処理装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などである。プロセッサ101は、マルチプロセッサでもよい。また、画像処理装置100は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。The
揮発性記憶装置102は、画像処理装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、画像処理装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。The
次に、画像処理装置100が有する機能を説明する。
図2は、実施の形態1の画像処理装置の機能を示すブロック図である。画像処理装置100は、記憶部110、取得部120、特徴量抽出部130_1,130_2,・・・,130_n、補正パラメータ検出部140、画像処理部150、及び出力部160を有する。なお、nは、正の整数である。ここで、特徴量抽出部130_1,130_2,・・・,130_nの総称は、特徴量抽出部130とする。
Next, the functions of the
2 is a block diagram showing functions of the image processing device according to the first embodiment. The
記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120、特徴量抽出部130、補正パラメータ検出部140、画像処理部150、及び出力部160の一部又は全部は、処理回路によって実現してもよい。また、取得部120、特徴量抽出部130、補正パラメータ検出部140、画像処理部150、及び出力部160の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、画像処理プログラムとも言う。例えば、画像処理プログラムは、記録媒体に記録されている。
The
Some or all of the
ここで、以下の説明では、画像処理装置100がデジタル画像を取得する場合を説明する。画像処理装置100は、アナログ画像を取得してもよい。画像処理装置100は、アナログ画像を取得する場合、画像処理装置100は、A(Analog)/D(Digital)変換器を有する。
Here, the following description will be given of the case where the
記憶部110は、画像と学習済モデルを記憶してもよい。また、記憶部110は、映像を記憶してもよい。
取得部120は、画像を取得する。例えば、取得部120は、画像を記憶部110から取得する。また、例えば、取得部120は、画像をカメラから取得する。なお、カメラの図示は、省略されている。また、取得部120は、映像を取得する。言い換えれば、取得部120は、複数の画像を取得する。
The
The
また、取得部120は、学習済モデルを取得する。例えば、取得部120は、学習済モデルを記憶部110から取得する。ここで、学習済モデルは、外部装置(例えば、クラウドサーバ)に格納されてもよい。学習済モデルが外部装置に格納されている場合、取得部120は、外部装置から学習済モデルを取得する。
Furthermore, the
特徴量抽出部130は、画像に基づいて、複数の種類の特徴量を抽出する。言い換えれば、特徴量抽出部130は、画像に基づいて、異なる種類の複数の特徴量を抽出する。特徴量の抽出処理を具体的に説明する。The feature extraction unit 130 extracts multiple types of feature amounts based on the image. In other words, the feature extraction unit 130 extracts multiple different types of feature amounts based on the image. The feature extraction process will be described in detail.
特徴量抽出部130(例えば、特徴量抽出部130_1)は、画像に基づいて、1つの特徴量である水平エッジヒストグラムを抽出する。詳細には、特徴量抽出部130は、画像の輝度値に基づいて、水平方向の隣接画素同士の輝度差分値をエッジ強調として算出する。例えば、特徴量抽出部130は、1024階調のエッジ強調を16個に分割することにより表現された水平エッジヒストグラムを抽出する。水平エッジヒストグラムを例示する。The feature extraction unit 130 (e.g., feature extraction unit 130_1) extracts a horizontal edge histogram, which is one feature, based on an image. In detail, the feature extraction unit 130 calculates the luminance difference value between horizontally adjacent pixels as edge enhancement based on the luminance value of the image. For example, the feature extraction unit 130 extracts a horizontal edge histogram expressed by dividing 1024 levels of edge enhancement into 16 parts. An example of a horizontal edge histogram is shown below.
図3は、実施の形態1の水平エッジヒストグラムの例(その1)を示す図である。縦軸は、出現頻度を示している。横軸は、エッジ強度を示している。 Figure 3 shows an example (part 1) of a horizontal edge histogram according to the first embodiment. The vertical axis shows the frequency of occurrence. The horizontal axis shows edge strength.
特徴量抽出部130は、1つの特徴量である水平エッジ量を抽出する。具体的に、水平エッジ量の抽出方法を説明する。The feature extraction unit 130 extracts horizontal edge amount, which is one feature amount. Specifically, we will explain how to extract horizontal edge amount.
図4は、実施の形態1の水平エッジヒストグラムの例(その2)を示す図である。図4に示す水平エッジヒストグラムが、抽出されたものとする。特徴量抽出部130は、水平エッジヒストグラムの中の指定された範囲のエッジ強度の最小値(図4のedge_left)と最大値(図4のedge_right)との間の出現頻度の総量を、水平エッジ量として抽出する。なお、範囲は、予め設定された範囲でもよい。
Figure 4 is a diagram showing an example (part 2) of a horizontal edge histogram in
また、特徴量抽出部130(例えば、特徴量抽出部130_2)は、画像に基づいて、1つの特徴量である垂直エッジヒストグラムを抽出する。詳細には、特徴量抽出部130は、画像の輝度値に基づいて、垂直方向の隣接画素同士の輝度差分値をエッジ強調として算出する。例えば、特徴量抽出部130は、1024階調のエッジ強調を16個に分割することにより表現された垂直エッジヒストグラムを抽出する。例えば、垂直エッジヒストグラムは、図3のように表現することができる。よって、図3は、垂直エッジヒストグラムの例を示す図と考えてもよい。 Furthermore, the feature extraction unit 130 (for example, feature extraction unit 130_2) extracts a vertical edge histogram, which is one feature, based on the image. In detail, the feature extraction unit 130 calculates the luminance difference value between adjacent pixels in the vertical direction as edge enhancement based on the luminance value of the image. For example, the feature extraction unit 130 extracts a vertical edge histogram expressed by dividing the edge enhancement of 1024 gradations into 16 parts. For example, the vertical edge histogram can be expressed as shown in FIG. 3. Therefore, FIG. 3 may be considered to be a diagram showing an example of a vertical edge histogram.
特徴量抽出部130は、1つの特徴量である垂直エッジ量を抽出する。垂直エッジ量の抽出方法は、水平エッジ量の抽出方法と同じである。例えば、図4を、垂直エッジヒストグラムの例と考えた場合、特徴量抽出部130は、垂直エッジヒストグラムの中の指定された範囲のエッジ強度の最小値と最大値との間の出現頻度の総量を、垂直エッジ量として抽出する。The feature extraction unit 130 extracts a vertical edge amount, which is one feature amount. The method for extracting a vertical edge amount is the same as the method for extracting a horizontal edge amount. For example, if FIG. 4 is considered as an example of a vertical edge histogram, the feature extraction unit 130 extracts the total occurrence frequency between the minimum and maximum values of edge strength in a specified range in the vertical edge histogram as the vertical edge amount.
また、特徴量抽出部130(例えば、特徴量抽出部130_3)は、画像を用いて、1つの特徴量であるフレーム差分ヒストグラムを抽出する。フレーム差分ヒストグラムの抽出方法を具体的に説明する。In addition, the feature extraction unit 130 (for example, the feature extraction unit 130_3) uses the image to extract a frame difference histogram, which is one feature. A method for extracting a frame difference histogram will be specifically described.
図5は、実施の形態1のフレーム差分ヒストグラムの抽出方法の具体例を示す図である。図5は、前回取得された画像(例えば、n-1番目のフレームとも言う)に基づく輝度ヒストグラムと、今回取得された画像(例えば、n番目のフレームとも言う)に基づく輝度ヒストグラムとを示している。
Figure 5 shows a specific example of a method for extracting a frame difference histogram in
これらの輝度ヒストグラムの縦軸は、ピクセル数を示している。これらの輝度ヒストグラムの横軸は、輝度を示している。輝度ヒストグラムは、各画素のRGB(Red、Green、Blue)の最大値に基づいて、輝度を16個に分割することにより得られる。すなわち、輝度ヒストグラムは、輝度を16階調でまとめることで得られる。なお、輝度ヒストグラムは、1階調、8階調でまとめてもよい。 The vertical axis of these brightness histograms indicates the number of pixels. The horizontal axis of these brightness histograms indicates brightness. The brightness histograms are obtained by dividing the brightness into 16 parts based on the maximum RGB (Red, Green, Blue) values of each pixel. In other words, the brightness histograms are obtained by summarizing the brightness in 16 gradations. Note that the brightness histograms may also be summarized in 1 gradation or 8 gradations.
特徴量抽出部130は、前回取得された画像に基づく輝度ヒストグラムと、今回取得された画像に基づく輝度ヒストグラムとの差分を算出することにより、フレーム差分ヒストグラムを抽出する。図5は、フレーム差分ヒストグラムを示している。フレーム差分ヒストグラムの縦軸は、ピクセル数を示している。フレーム差分ヒストグラムの横軸は、輝度を示している。なお、フレーム差分ヒストグラムは、差分輝度ヒストグラムと呼んでもよい。The feature extraction unit 130 extracts a frame difference histogram by calculating the difference between a luminance histogram based on a previously acquired image and a luminance histogram based on a currently acquired image. FIG. 5 shows a frame difference histogram. The vertical axis of the frame difference histogram indicates the number of pixels. The horizontal axis of the frame difference histogram indicates luminance. The frame difference histogram may also be called a differential luminance histogram.
また、特徴量抽出部130(例えば、特徴量抽出部130_4)は、画像を用いて、1つの特徴量である周波数ヒストグラムを抽出する。また、特徴量抽出部130は、輝度変化数を特徴量として、抽出してもよい。輝度変化数の抽出方法を具体的に説明する。In addition, the feature extraction unit 130 (for example, the feature extraction unit 130_4) uses the image to extract a frequency histogram, which is one feature. In addition, the feature extraction unit 130 may extract the number of luminance changes as a feature. A method for extracting the number of luminance changes will be specifically described.
図6は、実施の形態1の輝度変化数の抽出方法の具体例を示す図である。図6のグラフの縦軸は、輝度値を示している。図6のグラフの横軸は、ピクセル座標を示している。図6は、水平方向の9つの画素と、9つの画素の輝度値とを示している。特徴量抽出部130は、水平方向の隣接画素同士の輝度差分値が閾値以上である個数を、輝度変化数として抽出する。例えば、特徴量抽出部130は、N+2の画素の輝度値と、N+3の画素の輝度値との差分が閾値以上である場合、N+3の画素を、輝度が変化した画素として抽出する。図6は、輝度が変化した画素を色付き丸で表現している。そして、図6は、輝度変化数が5であることを示している。
また、特徴量抽出部130は、輝度変化数の合計値を特徴量として、抽出されてもよい。
FIG. 6 is a diagram showing a specific example of a method for extracting the number of luminance changes in the first embodiment. The vertical axis of the graph in FIG. 6 indicates the luminance value. The horizontal axis of the graph in FIG. 6 indicates pixel coordinates. FIG. 6 shows nine pixels in the horizontal direction and the luminance values of the nine pixels. The feature extraction unit 130 extracts the number of pixels whose luminance difference value between adjacent pixels in the horizontal direction is equal to or greater than a threshold value as the number of luminance changes. For example, when the difference between the luminance value of the pixel N+2 and the luminance value of the pixel N+3 is equal to or greater than a threshold value, the feature extraction unit 130 extracts the pixel N+3 as a pixel whose luminance has changed. In FIG. 6, the pixels whose luminance has changed are represented by colored circles. FIG. 6 also shows that the number of luminance changes is 5.
Furthermore, the feature extraction section 130 may extract the total number of luminance changes as the feature.
特徴量抽出部130(例えば、特徴量抽出部130_5)は、画像を用いて、1つの特徴量である彩度ヒストグラムを抽出する。彩度ヒストグラムの抽出方法を具体的に説明する。The feature extraction unit 130 (e.g., feature extraction unit 130_5) uses an image to extract a saturation histogram, which is one feature. The method for extracting a saturation histogram will be described in detail below.
図7は、実施の形態1の彩度ヒストグラムの抽出方法の具体例を示す図である。縦軸は、出現頻度を示している。横軸は、彩度を示している。例えば、特徴量抽出部130は、CIE UVW色空間で算出されるU値及びV値を絶対値に置き換えたときの最大値に基づいて、彩度を抽出する。例えば、特徴量抽出部130は、512階調の彩度を16個に分割することにより表現された彩度ヒストグラムを抽出する。
Figure 7 is a diagram showing a specific example of a method for extracting a saturation histogram in
上記では、特徴量の例として、水平エッジ量、水平エッジヒストグラム、垂直エッジ量、垂直エッジヒストグラム、フレーム差分ヒストグラム、周波数ヒストグラム、及び彩度ヒストグラムを示した。特徴量は、上記以外の特徴量でもよい。例えば、特徴量は、画像の最大輝度、画像の最小輝度、画像の平均輝度、画像における黒面積の値、画像における白面積の値などである。 In the above, examples of features are horizontal edge amount, horizontal edge histogram, vertical edge amount, vertical edge histogram, frame difference histogram, frequency histogram, and saturation histogram. The feature may be a feature other than those mentioned above. For example, the feature may be the maximum luminance of the image, the minimum luminance of the image, the average luminance of the image, the value of the black area in the image, the value of the white area in the image, etc.
補正パラメータ検出部140は、複数の種類の特徴量と学習済モデルとを用いて、補正パラメータを検出する。すなわち、補正パラメータ検出部140は、複数の種類の特徴量を学習済モデルに入力することで、学習済モデルが出力する補正パラメータを検出する。なお、補正パラメータは、画像の画質を補正するためのパラメータである。また、補正パラメータは、画像の画質を向上させるためのパラメータであると表現してもよい。The correction
次に、学習済モデルを説明する。学習済モデルは、多層のニューラルネットワークで構成されてもよい。ニューラルネットワークを例示する。
図8は、実施の形態1のニューラルネットワークの例を示す図である。ニューラルネットワークは、入力層、中間層、及び出力層で構成されている。図8は、中間層の数が3つであることを示している。中間層の数は、3つに限らない。また、ニューロンの数は、図8の例の数に限らない。
Next, the trained model will be described. The trained model may be configured as a multi-layer neural network. An example of the neural network will be described.
Fig. 8 is a diagram showing an example of a neural network according to the first embodiment. The neural network is composed of an input layer, an intermediate layer, and an output layer. Fig. 8 shows that the number of intermediate layers is three. The number of intermediate layers is not limited to three. Furthermore, the number of neurons is not limited to the number shown in the example of Fig. 8.
入力層の複数のニューロンには、複数の種類の特徴量が割り当てられる。例えば、入力層の1つのニューロンには、水平エッジ量が割り当てられる。
例えば、補正パラメータyは、複数のニューロンに入力された複数の種類の特徴量に基づいて、式(1)によって算出される。
A plurality of types of feature quantities are assigned to a plurality of neurons in the input layer, for example, a horizontal edge quantity is assigned to one neuron in the input layer.
For example, the correction parameter y is calculated by equation (1) based on a plurality of types of feature amounts input to a plurality of neurons.
なお、nは、入力層のニューロンの数である。x1~xnは、複数の種類の特徴量である。bは、バイアスである。wは、重みである。バイアスb及び重みwは、学習により定められる。 Note that n is the number of neurons in the input layer. x1 to xn are multiple types of features. b is the bias. w is the weight. The bias b and weight w are determined by learning.
また、sは、関数を示している。当該関数を、関数s(a)とする。関数s(a)は、活性化関数である。例えば、活性化関数s(a)は、aが0以下であれば0を出力し、aが0以外であれば1を出力するステップ関数でもよい。また、例えば、活性化関数s(a)は、aが0以下であれば0を出力し、aが0以外ならば入力値aを出力するReLU関数でもよいし、入力値aをそのまま出力する恒等関数でもよいし、ジグモイド関数でもよい。
Also, s indicates a function. The function in question is called function s(a). Function s(a) is an activation function. For example, activation function s(a) may be a step function that outputs 0 if a is 0 or less, and
なお、入力層のニューロンは、入力値をそのまま出力する。そのため、入力層のニューロンで用いられる活性化関数は、恒等関数であると言える。中間層では、ステップ関数又はジグモイド関数が用いられると考えてもよい。出力層では、ReLU関数が用いられると考えてもよい。また、同じ層内のニューロン相互間では、異なる関数が用いられてもよい。 Note that neurons in the input layer output the input value as is. Therefore, the activation function used in neurons in the input layer can be said to be an identity function. A step function or a sigmoid function may be considered to be used in the intermediate layer. A ReLU function may be considered to be used in the output layer. Also, different functions may be used between neurons in the same layer.
ここで、上記したように、重みwは、学習により定められる。重みwの算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、重みwが定められる。Here, as described above, the weight w is determined by learning. An example of a method for calculating the weight w will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In addition, in the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameters is calculated. The weight w is determined so that the difference is small.
また、学習済モデルは、ランダムフォレストで構成されてもよい。ランダムフォレストを構成する学習済モデルを例示する。
図9は、実施の形態1のランダムフォレストを構成する学習済モデルの例を示す図である。図9は、ランダムフォレスト200を示している。ランダムフォレスト200は、決定木210_1,210_2,・・・,210_nを含む。nは、正の整数である。ここで、決定木210_1,210_2,・・・,210_nの総称を、決定木210と呼ぶ。決定木210は、複数のノードを構成する。決定木210では、ノードを積み重ねることで、木構造の分類ルールが作成される。
The trained model may be configured as a random forest. An example of a trained model that configures a random forest is shown below.
9 is a diagram showing an example of a trained model constituting the random forest of the first embodiment. FIG. 9 shows a
複数の決定木210のそれぞれには、複数の種類の特徴量のいずれかが割り当てられる。例えば、決定木210_1には、水平エッジ量が割り当てられる。そして、特徴量は、決定木210の1層目のノードに入力される。例えば、水平エッジ量は、決定木210_1の1層目のノードに入力される。ノードには、分岐条件が定められている。例えば、分岐条件には、水平エッジ量が1000以上であることという条件が定められている。分岐条件は、入力されたデータの情報利得が最大となる条件によって決定される。情報利得は、あるノードxの次のノードにデータを分類する際のデータの分類度(例えば、不純度とも言う)を指す。情報利得の最大化は、あるノードxにおいて、“(分類前の不純度)-(分類後の不純度)”を最大化することを意味し、分類後の不純度を最小化することを意味する。不純度g(T)は、式(2)を用いて算出される。Each of the multiple decision trees 210 is assigned one of multiple types of feature quantities. For example, the horizontal edge quantity is assigned to the decision tree 210_1. The feature quantity is then input to the first-layer node of the decision tree 210. For example, the horizontal edge quantity is input to the first-layer node of the decision tree 210_1. A branching condition is set for the node. For example, the branching condition is set to a condition that the horizontal edge quantity is 1000 or more. The branching condition is determined by the condition that maximizes the information gain of the input data. The information gain refers to the classification degree (also called impurity, for example) of data when classifying data into the next node of a certain node x. Maximizing the information gain means maximizing "(impurity before classification) - (impurity after classification)" at a certain node x, and means minimizing the impurity after classification. Impurity g (T) is calculated using formula (2).
gは、ジニ係数である。ジニ係数は、データの分類が成功しているか否かを示す指標である。Tは、ノードに入力されるデータを示す。p(i|t)は、入力されるデータに対する、あるクラスのデータ数を示す。cは、クラスの数を示す。
情報利得IGは、式(3)を用いて算出される。
g is the Gini coefficient. The Gini coefficient is an index showing whether data classification is successful or not. T indicates data input to the node. p(i|t) indicates the number of data of a certain class for the input data. c indicates the number of classes.
The information gain I G is calculated using equation (3).
Tbは、分類前のデータを示す。zは、分類後のノード数を示す。Niは、分類後のノードiにおけるデータ数を示す。Npは、分類前のデータ数を示す。Diは、分類後のノードiにおけるデータを示す。
ノードxに入力されたデータの不純度と、ノードxにおける分類後の不純度との差が大きくなる時、情報利得は、最大化され、当該データを最もよく分類することができる。
式(3)では、ジニ係数gが用いられた。式(3)には、エントロピー又は分類誤差が用いられてもよい。
Tb indicates data before classification. z indicates the number of nodes after classification. Ni indicates the number of data in node i after classification. Np indicates the number of data before classification. Di indicates the data in node i after classification.
When the difference between the impurity of the data input to node x and the impurity after classification at node x becomes large, the information gain is maximized and the data can be best classified.
In equation (3), the Gini coefficient g was used. Entropy or classification error may also be used in equation (3).
ここで、上記したように、ノードには、分岐条件が定められている。分岐条件は、機械学習で定められる。機械学習における分岐条件の算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、分岐条件が定められる。Here, as described above, a branching condition is defined for the node. The branching condition is defined by machine learning. An example of a method for calculating a branching condition in machine learning will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In addition, in the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameter is calculated. The branching condition is defined so that the difference becomes small.
ランダムフォレスト200では、複数の決定木210から出力された結果を多数決することで、補正パラメータが出力される。In the
また、学習済モデルは、サポートベクターマシーンを用いることで生成された学習済モデルでもよい。よって、学習済モデルには、サポートベクターマシーンの技術が反映されている。当該学習済モデルを例示する。 The trained model may also be a trained model generated using a support vector machine. Thus, the trained model reflects the technology of the support vector machine. An example of such a trained model is shown below.
図10は、実施の形態1のサポートベクターマシーンの例を示す図である。サポートベクターマシーンでは、線形入力素子が利用される。サポートベクターマシーンには、複数の種類の特徴量が入力される。複数の種類の特徴量のそれぞれは、線形入力素子により、2つのクラスに分類される。線形入力素子は、式(4)を用いて算出される。 Figure 10 is a diagram showing an example of a support vector machine according to the first embodiment. A linear input element is used in the support vector machine. Multiple types of features are input to the support vector machine. Each of the multiple types of features is classified into two classes by the linear input element. The linear input element is calculated using equation (4).
xは、入力されるデータ(すなわち、特徴量)を示す。“w^T(x)+b”は、データを分離する線形な直線を示す。式(4)の算出には、式(5)と式(6)が用いられる。式(5)は、次のように表される。 x indicates the input data (i.e., feature). "w^T(x) + b" indicates a linear line that separates the data. Equation (5) and equation (6) are used to calculate equation (4). Equation (5) is expressed as follows:
式(6)は、次のように表される。 Equation (6) is expressed as follows:
wは、線形入力素子の傾きを示す。εは、式6の制約条件を弱める変数を示す。Cは、正の値の正則化係数を示す。tは、“(w^T(x)+b)”を正の値にするための変数(すなわち、1又は-1)である。εとCによって、線形入力素子の分類失敗を許容することで、最適な線形入力素子が算出される。
w indicates the slope of the linear input element. ε indicates a variable that weakens the constraint in
線形入力素子によって、入力されるデータを2つに分類できない場合、カーネル関数が用いられてもよい。カーネル関数を用いることで、入力データが多次元空間に拡張され、線形に線形入力素子で分類できる平面が算出される。また、カーネル関数は、RBFカーネル、多項式カーネル、線形カーネル、又はシグモイドカーネルでもよい。 If the input data cannot be classified into two categories using linear input elements, a kernel function may be used. By using the kernel function, the input data is expanded into a multidimensional space, and a plane that can be linearly classified using the linear input elements is calculated. The kernel function may be an RBF kernel, a polynomial kernel, a linear kernel, or a sigmoid kernel.
ここで、線形入力素子は、機械学習で算出される。機械学習における線形入力素子の算出方法の一例を説明する。まず、複数の画像と、当該複数の画像の画質を補正するための補正パラメータとが用意される。機械学習における画質の補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理が行われるように定義される。また、当該補正処理では、ノイズ軽減処理、鮮鋭化処理、コントラスト改善処理、及び色変換処理で用いられる値を変化して画質が向上するように、処理が行われる。機械学習では、入力パターンに対応する出力値と、用意された補正パラメータとの差が算出される。当該差が小さくなるように、線形入力素子が算出される。Here, the linear input element is calculated by machine learning. An example of a method for calculating a linear input element in machine learning will be described. First, a plurality of images and correction parameters for correcting the image quality of the plurality of images are prepared. In the image quality correction process in machine learning, it is defined that noise reduction process, sharpening process, contrast improvement process, and color conversion process are performed. In the correction process, the values used in the noise reduction process, sharpening process, contrast improvement process, and color conversion process are changed to improve the image quality. In machine learning, the difference between the output value corresponding to the input pattern and the prepared correction parameters is calculated. The linear input element is calculated so that the difference becomes small.
画像処理部150は、補正パラメータを用いて、画像の画質を補正するための処理を実行する。
例えば、画像処理部150は、補正パラメータを用いて、画像のノイズを軽減する処理を実行する。例えば、ノイズを軽減する処理は、ローパスフィルタ処理である。例えば、画像処理部150は、補正パラメータを用いて、ノイズの多い画像を、ノイズの少ない画像に補正する。また、例えば、画像処理部150は、補正パラメータを用いて、細かい模様のノイズを含む画像を、当該ノイズの少ない画像に補正する。
The
For example, the
また、例えば、画像処理部150は、補正パラメータを用いて、画像を鮮鋭化するための処理を実行する。例えば、画像を鮮鋭化するための処理は、ハイパスフィルタ処理である。例えば、画像処理部150は、補正パラメータを用いて、ノイズの多い画像を、鮮鋭化された画像に補正する。また、例えば、画像処理部150は、補正パラメータを用いて、ぼやけた画像を、鮮鋭化された画像に補正する。
Also, for example, the
画像処理部150は、補正パラメータを用いて、画像のコントラストを改善するための処理、画像の色を変換するための処理などを実行してもよい。The
出力部160は、補正された画像を出力する。例えば、出力部160は、補正された画像を、ディスプレイに出力する。これにより、ユーザは、最適な画質の画像を視認することができる。なお、ディスプレイの図示は、省略されている。また、出力部160は、補正された画像を、外部装置に出力してもよい。出力部160は、補正された画像を、記憶部110に出力してもよい。The
次に、画像処理装置100が実行する処理を、フローチャートを用いて、説明する。
図11は、実施の形態1の画像処理装置が実行する処理の例を示すフローチャートである。
(ステップS11)取得部120は、画像を取得する。
(ステップS12)特徴量抽出部130は、画像に基づいて、複数の種類の特徴量を抽出する。
Next, the process executed by the
FIG. 11 is a flowchart illustrating an example of processing executed by the image processing device according to the first embodiment.
(Step S11) The
(Step S12) The feature extraction unit 130 extracts a plurality of types of feature amounts based on the image.
(ステップS13)補正パラメータ検出部140は、複数の種類の特徴量と学習済モデルとを用いて、補正パラメータを検出する。
(ステップS14)画像処理部150は、補正パラメータを用いて、画像の画質を補正するための処理を実行する。
(ステップS15)出力部160は、補正された画像を出力する。
(Step S13) The correction
(Step S14) The
(Step S15) The
実施の形態1によれば、画像処理装置100は、学習済モデルから出力された補正パラメータを用いて、画像を補正する。当該学習済モデルの学習フェーズでは、様々な画像が学習データとして入力され、当該様々な画像に対応する適切な補正パラメータを出力するための学習が行われる。このような学習により、当該学習済モデルが生成される。そのため、当該学習済モデルを用いる画像処理装置100は、様々な画像に対して画質の最適化を行うことができる。According to
また、複数の種類の特徴量が学習済モデルに入力される前に、複数の種類の特徴量が抽出される。すなわち、学習済モデルでは、複数の種類の特徴量を画像から抽出する処理が行われない。よって、実施の形態1によれば、学習済モデルの軽量化及び学習済モデルにおける処理の高速化が実現できる。
In addition, multiple types of features are extracted before the multiple types of features are input to the trained model. In other words, in the trained model, a process of extracting multiple types of features from an image is not performed. Therefore, according to
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。
Next, a description will be given of
図12は、実施の形態2の画像処理装置の機能を示すブロック図である。図2に示される構成と同じ図12の構成は、図2に示される符号と同じ符号を付している。
画像処理装置100は、さらに、判定部170を有する。判定部170の一部又は全部は、処理回路によって実現してもよい。また、判定部170の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。
判定部170の機能は、後で詳細に説明する。
Fig. 12 is a block diagram showing the functions of an image processing device according to
The
The function of the
次に、画像処理装置100が実行する処理を、フローチャートを用いて説明する。
図13は、実施の形態2の画像処理装置が実行する処理の例を示すフローチャートである。図13の処理は、ステップS13aが実行される点が図11の処理と異なる。そのため、図13では、ステップS13aを説明する。そして、ステップS13a以外の処理の説明は、省略する。
Next, the process executed by the
Fig. 13 is a flowchart showing an example of processing executed by the image processing device of the second embodiment. The processing in Fig. 13 differs from the processing in Fig. 11 in that step S13a is executed. Therefore, step S13a will be described in Fig. 13. Descriptions of the processing other than step S13a will be omitted.
(ステップS13a)判定部170は、検出された補正パラメータと予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する。
(Step S13a) The
ここで、取得部120は、一定期間、複数の画像(例えば、映像)を取得することができる。そして、特徴量抽出部130及び補正パラメータ検出部140は、複数の画像に基づいて、複数の補正パラメータを検出する。これにより、一定期間に検出された複数の補正パラメータが検出される。例えば、予め設定された補正パラメータは、一定期間に検出された複数の補正パラメータに基づく平均値である。Here, the
当該差分が当該閾値以下である場合、処理は、ステップS14に進む。当該差分が当該閾値よりも大きい場合、処理は、終了する。If the difference is less than or equal to the threshold, processing proceeds to step S14. If the difference is greater than the threshold, processing ends.
ここで、ステップS13aでNoのときに、画像処理装置100が画像を補正した場合、急激な画質の変化が起こる。そこで、画像処理装置100は、急激な画質の変化を抑えるために、当該閾値を用いて、補正するか否かを判定する。よって、実施の形態2によれば、画像処理装置100は、急激な画質の変化を抑えることができる。Here, if the
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。The features of each of the embodiments described above can be combined with each other as appropriate.
100 画像処理装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 110 記憶部、 120 取得部、 130,130_1,130_2,・・・,130_n 特徴量抽出部、 140 補正パラメータ検出部、 150 画像処理部、 160 出力部、 170 判定部、 200 ランダムフォレスト、 210,210_1,210_2,・・・,210_n 決定木。100 Image processing device, 101 Processor, 102 Volatile storage device, 103 Non-volatile storage device, 110 Storage unit, 120 Acquisition unit, 130, 130_1, 130_2, ..., 130_n Feature extraction unit, 140 Correction parameter detection unit, 150 Image processing unit, 160 Output unit, 170 Judgment unit, 200 Random forest, 210, 210_1, 210_2, ..., 210_n Decision tree.
Claims (6)
前記画像に基づいて、複数の種類の特徴量を抽出する複数の特徴量抽出部と、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出する補正パラメータ検出部と、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定する判定部と、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する画像処理部と、
を有する画像処理装置。 An acquisition unit that acquires an image and a trained model;
A plurality of feature extraction units extracting a plurality of types of feature amounts based on the image;
a correction parameter detection unit that detects a correction parameter, which is a parameter for correcting image quality of the image, by using the plurality of types of feature amounts and the trained model;
a determination unit that determines whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold;
an image processing unit that executes a process for correcting an image quality of the image using the detected correction parameters if the difference is equal to or smaller than the threshold value ;
An image processing device comprising:
請求項1に記載の画像処理装置。 The trained model is composed of a neural network, a random forest, or a support vector machine.
The image processing device according to claim 1 .
請求項1又は2に記載の画像処理装置。 the plurality of types of feature amounts are two or more types of feature amounts selected from a horizontal edge amount, a horizontal edge histogram, a vertical edge amount, a vertical edge histogram, a frame difference histogram, a frequency histogram, a saturation histogram, a maximum luminance of the image, a minimum luminance of the image, an average luminance of the image, a value of a black area in the image, and a value of a white area in the image;
3. The image processing device according to claim 1 or 2 .
請求項1から3のいずれか1項に記載の画像処理装置。 An output unit that outputs the corrected image.
The image processing device according to claim 1 .
画像と学習済モデルとを取得し、
前記画像に基づいて、複数の種類の特徴量を抽出し、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出し、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定し、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する、
画像処理方法。 The image processing device
Obtain the image and the trained model,
Extracting a plurality of types of feature amounts based on the image;
Detecting correction parameters, which are parameters for correcting image quality of the image, using the plurality of types of feature amounts and the trained model;
determining whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold value;
If the difference is equal to or smaller than the threshold, a process for correcting the image quality of the image is executed using the detected correction parameters.
Image processing methods.
画像と学習済モデルとを取得し、
前記画像に基づいて、複数の種類の特徴量を抽出し、
前記複数の種類の特徴量と前記学習済モデルとを用いて、前記画像の画質を補正するためのパラメータである補正パラメータを検出し、
検出された前記補正パラメータと、予め設定された補正パラメータとの差分が予め設定された閾値以下であるか否かを判定し、
前記差分が前記閾値以下である場合、検出された前記補正パラメータを用いて、前記画像の画質を補正するための処理を実行する、
処理を実行させる画像処理プログラム。 The image processing device includes:
Obtain the image and the trained model,
Extracting a plurality of types of feature amounts based on the image;
Detecting correction parameters, which are parameters for correcting image quality of the image, using the plurality of types of feature amounts and the trained model;
determining whether a difference between the detected correction parameter and a preset correction parameter is equal to or smaller than a preset threshold value;
If the difference is equal to or smaller than the threshold, a process for correcting the image quality of the image is executed using the detected correction parameters.
An image processing program that performs the processing.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/021592 WO2022259323A1 (en) | 2021-06-07 | 2021-06-07 | Image processing device, image processing method, and image processing program |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022259323A1 JPWO2022259323A1 (en) | 2022-12-15 |
JPWO2022259323A5 JPWO2022259323A5 (en) | 2023-07-31 |
JP7496935B2 true JP7496935B2 (en) | 2024-06-07 |
Family
ID=84424995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023527167A Active JP7496935B2 (en) | 2021-06-07 | 2021-06-07 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7496935B2 (en) |
WO (1) | WO2022259323A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187215A (en) | 2001-12-18 | 2003-07-04 | Fuji Xerox Co Ltd | Image processing system and image processing server |
JP2009151350A (en) | 2007-12-18 | 2009-07-09 | Nec Corp | Image correction method and device |
WO2018150685A1 (en) | 2017-02-20 | 2018-08-23 | ソニー株式会社 | Image processing device, image processing method, and program |
JP2020188484A (en) | 2016-06-02 | 2020-11-19 | ソニー株式会社 | Image processing device and image processing method |
-
2021
- 2021-06-07 JP JP2023527167A patent/JP7496935B2/en active Active
- 2021-06-07 WO PCT/JP2021/021592 patent/WO2022259323A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187215A (en) | 2001-12-18 | 2003-07-04 | Fuji Xerox Co Ltd | Image processing system and image processing server |
JP2009151350A (en) | 2007-12-18 | 2009-07-09 | Nec Corp | Image correction method and device |
JP2020188484A (en) | 2016-06-02 | 2020-11-19 | ソニー株式会社 | Image processing device and image processing method |
WO2018150685A1 (en) | 2017-02-20 | 2018-08-23 | ソニー株式会社 | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022259323A1 (en) | 2022-12-15 |
WO2022259323A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339643B2 (en) | Algorithm and device for image processing | |
JP5389903B2 (en) | Optimal video selection | |
US9478017B2 (en) | Guided image filtering for image content | |
US20100246951A1 (en) | Colour correcting foreground colours for visual quality improvement | |
US8311356B2 (en) | Image processing apparatus and image processing method | |
JP2020160616A (en) | Generation device and computer program and generation method | |
US11526962B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US8831346B2 (en) | Image processing apparatus and method, and program | |
JP2016505186A (en) | Image processor with edge preservation and noise suppression functions | |
US10013772B2 (en) | Method of controlling a quality measure and system thereof | |
CN112465727A (en) | Low-illumination image enhancement method without normal illumination reference based on HSV color space and Retinex theory | |
US9432596B2 (en) | Image processing apparatus and image processing method | |
CN111047543A (en) | Image enhancement method, device and storage medium | |
CN111242878A (en) | Mine underground image enhancement method based on cuckoo search | |
CN111079864A (en) | Short video classification method and system based on optimized video key frame extraction | |
KR20230146974A (en) | Method and Apparatus for Enhancing Brightness of Image | |
CN114998122A (en) | Low-illumination image enhancement method | |
Ponomaryov et al. | Fuzzy 3D filter for color video sequences contaminated by impulsive noise | |
JP7496935B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM | |
Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
Ramadan | Monochromatic-based method for impulse noise detection and suppression in color images | |
CN114390266B (en) | Image white balance processing method, device and computer readable storage medium | |
Lin et al. | Tri-histogram equalization based on first order statistics | |
Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
CN116917954A (en) | Image detection method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7496935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |