JP7177806B2 - Image determination device, image determination method, and image determination program - Google Patents

Image determination device, image determination method, and image determination program Download PDF

Info

Publication number
JP7177806B2
JP7177806B2 JP2020160374A JP2020160374A JP7177806B2 JP 7177806 B2 JP7177806 B2 JP 7177806B2 JP 2020160374 A JP2020160374 A JP 2020160374A JP 2020160374 A JP2020160374 A JP 2020160374A JP 7177806 B2 JP7177806 B2 JP 7177806B2
Authority
JP
Japan
Prior art keywords
pixel
evaluation value
value
target data
image determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020160374A
Other languages
Japanese (ja)
Other versions
JP2022053637A (en
Inventor
尭理 中尾
紘和 阿部
光義 山足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2020160374A priority Critical patent/JP7177806B2/en
Publication of JP2022053637A publication Critical patent/JP2022053637A/en
Application granted granted Critical
Publication of JP7177806B2 publication Critical patent/JP7177806B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本開示は、ニューラルネットワークを用いて構成された学習済みの属性判定モデルによる画像判定技術に関する。 The present disclosure relates to an image determination technique using a trained attribute determination model configured using a neural network.

画像データから対象物体を検出する属性判定モデルによる検出結果を分析して、属性判定モデルに不足している学習データを特定するといったことが行われている（特許文献１参照）。 A detection result of an attribute determination model that detects a target object from image data is analyzed to identify learning data lacking in the attribute determination model (see Patent Document 1).

検出結果を分析する際、属性判定モデルによる判断根拠となった箇所を可視化することが行われる。判断根拠となった箇所を可視化する技術としては、ＧｒａｄＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）がある。
ＧｒａｄＣＡＭでは、属性判定モデルの対象の層の特徴量と、検出対象の属性の傾き情報との重み付け和が正規化され、ヒートマップとして表示される。 When analyzing the detection result, visualization is performed on the part that is the basis for the judgment by the attribute judgment model. Gradient-weighted Class Activation Mapping (GradCAM) is available as a technique for visualizing locations that serve as judgment grounds.
In GradCAM, the weighted sum of the feature amount of the target layer of the attribute determination model and the inclination information of the attribute to be detected is normalized and displayed as a heat map.

特開２０１９－１９２０８２号公報JP 2019-192082 A

ＧｒａｄＣＡＭは、ある１つの画像データから物体が検出された場合に、その画像データにおける判断根拠となった箇所を可視化する技術である。ＧｒａｄＣＡＭでは、判断根拠となった箇所を明確にするため、重み付け和の最大値を用いて正規化が行われる。
重み付け和の最大値を用いて正規化が行われると、１つの画像データにおける判断根拠となった箇所は明確になるが、他の画像データにおける判断根拠となった箇所と反応の強さを比較することはできなくなる。
本開示は、複数の画像データ間で判断根拠となった箇所の反応の強さを比較可能にすることを目的とする。 GradCAM is a technique for visualizing a portion of image data that serves as a basis for judgment when an object is detected from one piece of image data. In GradCAM, normalization is performed using the maximum value of the weighted sum in order to clarify the part that serves as the basis for the judgment.
When normalization is performed using the maximum value of the weighted sum, the location that is the basis for judgment in one image data becomes clear, but the location that is the basis for judgment in other image data and the strength of the reaction are compared. can no longer be done.
An object of the present disclosure is to make it possible to compare the strength of reaction at a location that serves as a basis for judgment among a plurality of pieces of image data.

本開示に係る画像判定装置は、
ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備える。 The image determination device according to the present disclosure is
Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation unit for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation unit by a preset value different from the maximum evaluation value of each pixel. and an activity calculator.

前記評価値計算部は、複数の対象データそれぞれについて、その対象データにおける各画素の評価値を計算し、
前記活性度計算部は、前記複数の対象データそれぞれについて、その対象データにおける各画素の評価値を、前記複数の対象データに共通して事前に定められた前記設定値で除して、前記各画素の活性度を計算する。 The evaluation value calculation unit calculates, for each of a plurality of target data, an evaluation value of each pixel in the target data,
For each of the plurality of target data, the activity level calculation unit divides an evaluation value of each pixel in the target data by the predetermined setting value common to the plurality of target data, Calculate pixel activity.

前記画像判定装置は、さらに、
前記活性度計算部によって計算された前記各画素の活性度を示すヒートマップを表示する表示部
を備える。 The image determination device further comprises
A display unit for displaying a heat map indicating the activity of each pixel calculated by the activity calculation unit is provided.

前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である。 The set value is a value determined from the evaluation value of each pixel in a plurality of learning data, which are a plurality of image data used for learning when generating the model.

前記設定値は、前記複数の学習データにおける各画素の評価値のうちの最大値である。 The set value is the maximum value among the evaluation values of each pixel in the plurality of learning data.

前記設定値は、前記複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値である。 The set value is the maximum value among the remaining values remaining after outliers are removed from the evaluation values of the respective pixels in the plurality of learning data.

本開示に係る画像判定方法は、
画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する。 The image determination method according to the present disclosure includes
When the evaluation value calculation unit of the image determination device analyzes target data, which is image data to be processed, by a model configured using a neural network, the degree of basis for determination of each pixel of the target data is determined. Calculate the evaluation value of each pixel in the target data,
The activity calculation unit of the image determination device divides the evaluation value of each pixel by a preset value different from the maximum evaluation value of each pixel to calculate the activity of each pixel. calculate.

本開示に係る画像判定プログラムは、
ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させる。 The image determination program according to the present disclosure is
Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation process for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation process by a preset value different from the maximum evaluation value of each pixel. The computer is made to function as an image determination device that performs activity calculation processing.

本開示では、対象データの各画素の評価値の最大値とは別に事前に定められた設定値を用いて正規化が行われる。そのため、他の画像データにおける判断根拠となった箇所と反応の強さを比較することが可能になる。 In the present disclosure, normalization is performed using a predetermined set value that is separate from the maximum evaluation value of each pixel of the target data. Therefore, it is possible to compare the strength of the reaction with the location that is the basis for judgment in other image data.

実施の形態１に係る画像判定装置１０の構成図。1 is a configuration diagram of an image determination device 10 according to Embodiment 1. FIG. 実施の形態１に係る画像判定装置１０の全体的な動作を示すフローチャート。4 is a flowchart showing the overall operation of the image determination device 10 according to Embodiment 1; 実施の形態１に係る評価値計算処理のフローチャート。4 is a flowchart of evaluation value calculation processing according to the first embodiment; 画像データの各画素の評価値のうち最大値を用いて正規化が行われた場合の例を示す図。FIG. 10 is a diagram showing an example of normalization using the maximum evaluation value of each pixel of image data; 事前に設定された設定値を用いて正規化が行われた場合の例を示す図。FIG. 10 is a diagram showing an example of normalization performed using preset setting values; 変形例１に係る画像判定装置１０の構成図。FIG. 2 is a configuration diagram of an image determination device 10 according to Modification 1; 実施の形態２に係る画像判定装置１０の構成図。FIG. 2 is a configuration diagram of an image determination device 10 according to Embodiment 2; 実施の形態２に係る画像判定装置１０の動作を示すフローチャート。8 is a flowchart showing the operation of the image determination device 10 according to Embodiment 2; 変形例３に係る画像判定装置１０の動作を示すフローチャート。13 is a flowchart showing the operation of the image determination device 10 according to Modification 3;

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像判定装置１０の構成を説明する。
画像判定装置１０は、コンピュータである。
画像判定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 Embodiment 1.
*** Configuration description ***
A configuration of an image determination apparatus 10 according to Embodiment 1 will be described with reference to FIG.
The image determination device 10 is a computer.
The image determination device 10 includes hardware including a processor 11 , a memory 12 , a storage 13 and a communication interface 14 . The processor 11 is connected to other hardware via signal lines and controls these other hardware.

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。 The processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。 The memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 include SRAM (Static Random Access Memory) and DRAM (Dynamic Random Access Memory).

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。 The storage 13 is a storage device that stores data. A specific example of the storage 13 is an HDD (Hard Disk Drive). In addition, the storage 13 is SD (registered trademark, Secure Digital) memory card, CF (Compact Flash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk), etc. It may be a portable recording medium.

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。 The communication interface 14 is an interface for communicating with an external device. Specific examples of the communication interface 14 are Ethernet (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark, High-Definition Multimedia Interface) ports.

画像判定装置１０は、機能構成要素として、画像取得部２１と、モデル処理部２２と、評価値計算部２３と、活性度計算部２４と、表示部２５とを備える。画像判定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、画像判定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、画像判定装置１０の各機能構成要素の機能が実現される。 The image determination device 10 includes an image acquisition unit 21, a model processing unit 22, an evaluation value calculation unit 23, an activity calculation unit 24, and a display unit 25 as functional components. The function of each functional component of the image determination device 10 is implemented by software.
The storage 13 stores a program that implements the function of each functional component of the image determination apparatus 10 . This program is read into the memory 12 by the processor 11 and executed by the processor 11 . Thereby, the function of each functional component of the image determination apparatus 10 is realized.

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。 Only one processor 11 is shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.

＊＊＊動作の説明＊＊＊
図２及び図３を参照して、実施の形態１に係る画像判定装置１０の動作を説明する。
実施の形態１に係る画像判定装置１０の動作手順は、実施の形態１に係る画像判定方法に相当する。また、実施の形態１に係る画像判定装置１０の動作を実現するプログラムは、実施の形態１に係る画像判定プログラムに相当する。 ***Description of operation***
The operation of the image determination apparatus 10 according to the first embodiment will be described with reference to FIGS. 2 and 3. FIG.
The operation procedure of the image determination device 10 according to the first embodiment corresponds to the image determination method according to the first embodiment. Also, a program that realizes the operation of the image determination apparatus 10 according to the first embodiment corresponds to the image determination program according to the first embodiment.

図２を参照して、実施の形態１に係る画像判定装置１０の全体的な動作を説明する。
（ステップＳ１１：モデル読込処理）
モデル処理部２２は、物体の属性判定モデル（学習済みモデルの一例、以下単にモデルと表することもある）をストレージ１３から読み込む。属性判定モデルは、画像データに含まれる対象物体の属性を判定する、ニューラルネットワークを用いて構成されたモデルである。対象物体は、予め指定された種類の物体である。属性判定モデルは、事前に生成され、ストレージ１３に記憶されているものとする。
この際、モデル処理部２２は、属性判定モデルによる検出処理を実行するために必要なネットワークの設計情報と、パラメータと、ラベル情報といった情報も合わせてストレージ１３から読み込む。 The overall operation of the image determination apparatus 10 according to Embodiment 1 will be described with reference to FIG.
(Step S11: Model reading process)
The model processing unit 22 reads an object attribute determination model (an example of a learned model, hereinafter simply referred to as a model) from the storage 13 . The attribute determination model is a model configured using a neural network that determines attributes of a target object included in image data. The target object is an object of a predesignated type. Assume that the attribute determination model is generated in advance and stored in the storage 13 .
At this time, the model processing unit 22 also reads from the storage 13 information such as network design information, parameters, and label information necessary for executing detection processing using the attribute determination model.

（ステップＳ１２：設定値読込処理）
活性度計算部２４は、後述する正規化で使用される設定値をストレージ１３から読み込む。設定値は、事前に定められストレージ１３に記憶されているものとする。 (Step S12: Set value reading process)
The activity calculator 24 reads from the storage 13 set values used for normalization, which will be described later. It is assumed that the setting values are determined in advance and stored in the storage 13 .

（ステップＳ１３：画像取得処理）
画像取得部２１は、処理対象の画像データである対象データを取得する。
具体的には、画像取得部２１は、ユーザによって指定された画像データを対象データとして取得する。 (Step S13: Image Acquisition Processing)
The image acquisition unit 21 acquires target data, which is image data to be processed.
Specifically, the image acquisition unit 21 acquires the image data specified by the user as the target data.

（ステップＳ１４：属性判定処理）
モデル処理部２２は、ステップＳ１１で読み込まれた属性判定モデルを用いて、ステップＳ１３で取得された対象データに含まれる予め指定された種類の物体である対象物体を検出する。 (Step S14: Attribute determination processing)
The model processing unit 22 uses the attribute determination model read in step S11 to detect a target object that is a pre-specified type of object included in the target data acquired in step S13.

（ステップＳ１５：評価値計算処理）
評価値計算部２３は、属性判定モデルによって対象データを分析した場合において対象データの各画素の判断根拠となった度合から対象データにおける各画素の評価値を計算する。実施の形態１では、評価値計算部２３は、属性判定モデルにおける対象の層の出力結果から、対象データにおける各画素の評価値を計算する。評価値は、各画素が対象物体の検出の判断根拠となった度合を示す。ここでは、評価値が大きいほど判断根拠となった度合が高いとする。
具体的には、評価値計算部２３は、ＧｒａｄＣＡＭといった属性判定モデルによる判断根拠となった箇所を可視化する手法と同様に、評価値を計算する。 (Step S15: Evaluation value calculation process)
The evaluation value calculation unit 23 calculates the evaluation value of each pixel in the target data based on the degree of judgment of each pixel of the target data when the target data is analyzed by the attribute determination model. In Embodiment 1, the evaluation value calculation unit 23 calculates the evaluation value of each pixel in the target data from the output result of the target layer in the attribute determination model. The evaluation value indicates the degree to which each pixel serves as the basis for the detection of the target object. Here, it is assumed that the larger the evaluation value, the higher the degree of basis for judgment.
Specifically, the evaluation value calculation unit 23 calculates the evaluation value in the same manner as the method of visualizing the part that serves as the basis for judgment by an attribute determination model such as GradCAM.

図３を参照して、実施の形態１に係る評価値計算処理を説明する。
（ステップＳ１５１：出力結果取得処理）
評価値計算部２３は、属性判定モデルにおける対象の層の出力結果を取得する。例えば、評価値計算部２３は、属性判定モデルを構成する複数の層のうち識別層に近い特徴抽出層を対象の層として、対象の層の出力結果を取得する。
ここでは、対象の層の出力結果は、Ｎ×（Ｗ行×Ｈ列）の行列形式になっているとする。つまり、対象の層の出力結果は、（Ｗ行×Ｈ列）の行列１×・・・×（Ｗ行×Ｈ列）の行列Ｎの形式になっている。Ｎは特徴マップ数であり、Ｗは特徴マップの幅であり、Ｈは特徴マップの高さである。なお、出力結果の形式は、属性判定モデルによって異なる。 Evaluation value calculation processing according to the first embodiment will be described with reference to FIG.
(Step S151: Output result acquisition process)
The evaluation value calculation unit 23 acquires the output result of the target layer in the attribute determination model. For example, the evaluation value calculation unit 23 acquires the output result of a target layer, which is a feature extraction layer close to the identification layer among the plurality of layers that constitute the attribute determination model.
Here, it is assumed that the output result of the target layer is in the form of a matrix of N×(W rows×H columns). That is, the output result of the target layer is in the form of a (W rows×H columns) matrix 1× . . . ×(W rows×H columns) matrix N. N is the number of feature maps, W is the width of the feature map, and H is the height of the feature map. Note that the format of the output result differs depending on the attribute determination model.

（ステップＳ１５２：勾配データ取得処理）
評価値計算部２３は、属性判定処理における逆伝播処理時の勾配データを取得する。逆伝播処理時の勾配データについては、ＧｒａｄＣＡＭで用いられるものであるため、説明は省略する。
ここでは、勾配データは、Ｎ×Ｇの行列形式になっているとする。Ｎは特徴マップ数であり、Ｇは勾配値である。つまり、勾配データは、Ｇ１×・・・×ＧＮの形式になっている。なお、勾配データの形式は、属性判定モデルによって異なる。 (Step S152: Gradient data acquisition process)
The evaluation value calculation unit 23 acquires gradient data during backpropagation processing in the attribute determination processing. Gradient data used in backpropagation processing is used in GradCAM, so description thereof will be omitted.
Assume here that the gradient data is in the form of an N×G matrix. N is the number of feature maps and G is the gradient value. That is, the gradient data is in the form of G1×...×GN. Note that the format of the gradient data differs depending on the attribute determination model.

（ステップＳ１５３：重み付け和計算処理）
評価値計算部２３は、ステップＳ１５１で取得された出力結果と、ステップＳ１５２で取得された勾配データの重み付け和を計算する。ここでは、重み付け和は、（Ｗ行×Ｈ列）の行列であり、重み付け和＝（Ｗ行×Ｈ列）の行列１×Ｇ１＋・・・？（Ｗ行×Ｈ列）の行列Ｎ×ＧＮである。
評価値計算部２３は、対象データの各画素について、重み付け和における対応する要素の値を、その画素の評価値とする。 (Step S153: weighted sum calculation process)
The evaluation value calculator 23 calculates the weighted sum of the output result obtained in step S151 and the gradient data obtained in step S152. Here, the weighted sum is a (W rows×H columns) matrix, and the weighted sum=(W rows×H columns) matrix 1×G1+ . It is a matrix N×GN of (W rows×H columns).
For each pixel of the target data, the evaluation value calculator 23 sets the value of the corresponding element in the weighted sum as the evaluation value of that pixel.

（ステップＳ１６：活性度計算処理）
活性度計算部２４は、ステップＳ１５で計算された各画素の評価値を、ステップＳ１２で読み込まれた設定値で正規化して、各画素の活性度を計算する。ここで、設定値は、各画素の評価値の最大値とは別に事前に定められた値である。したがって、活性度計算部２４は、各画素の評価値を、各画素の評価値の最大値とは別に事前に定められた設定値で除して、各画素の活性度を計算することになる。
具体的には、活性度計算部２４は、各画素の評価値のうち最小値を特定する。活性度計算部２４は、各画素の評価値から最小値を減算する。そして、活性度計算部２４は、最小値を減算した後の各画素の評価値を、設定値で除して、各画素の活性度を計算する。ここで、各画素の評価値から最小値を減算するのは、評価値の最小値を０にして、活性度を０から設定値までの値に正規化するためである。 (Step S16: Activity calculation process)
The activity calculator 24 normalizes the evaluation value of each pixel calculated in step S15 by the setting value read in step S12, and calculates the activity of each pixel. Here, the set value is a predetermined value different from the maximum evaluation value of each pixel. Therefore, the activity calculation unit 24 calculates the activity of each pixel by dividing the evaluation value of each pixel by a preset value different from the maximum evaluation value of each pixel. .
Specifically, the activity calculation unit 24 identifies the minimum value among the evaluation values of each pixel. The activity calculator 24 subtracts the minimum value from the evaluation value of each pixel. Then, the activity calculation unit 24 calculates the activity of each pixel by dividing the evaluation value of each pixel after subtracting the minimum value by the set value. Here, the reason why the minimum value is subtracted from the evaluation value of each pixel is to set the minimum evaluation value to 0 and normalize the activity to a value from 0 to the set value.

（ステップＳ１７：切り捨て処理）
活性度計算部２４は、ステップＳ１６で計算された各画素の活性度のうち、値が１．０以上の活性度は、値を全て１．０に設定する。 (Step S17: rounding down processing)
The activity level calculator 24 sets all the activity levels of 1.0 or more among the activity levels of the pixels calculated in step S16 to 1.0.

（ステップＳ１８：表示処理）
表示部２５は、ステップＳ１７で得られた各画素の活性度を示すヒートマップを生成して、表示する。
具体的には、表示部２５は、通信インタフェース１４を介して、各画素の活性度を示すヒートマップを表示装置に送信して、表示装置にヒートマップを表示する。 (Step S18: display processing)
The display unit 25 generates and displays a heat map indicating the degree of activity of each pixel obtained in step S17.
Specifically, the display unit 25 transmits a heat map indicating the activity level of each pixel to the display device via the communication interface 14, and displays the heat map on the display device.

なお、未処理の画像データが存在する場合には、処理がステップＳ１３に戻され、新たな画像データが対象データとして取得される。その結果、複数の画像データについて、各画素の活性度が計算され、ヒートマップが生成される。つまり、設定値は、複数の画像データに共通して定められた値である。
複数の画像データについてのヒートマップが生成された場合には、ステップＳ１８で表示部２５は、各画像データについてのヒートマップを並べて表示してもよい。 If unprocessed image data exists, the process returns to step S13, and new image data is acquired as target data. As a result, for a plurality of image data, the activity of each pixel is calculated and a heat map is generated. In other words, the set value is a value determined in common for a plurality of image data.
When heat maps are generated for a plurality of image data, the display unit 25 may display the heat maps for each image data side by side in step S18.

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像判定装置１０は、各画素の評価値の最大値とは別に事前に定められた設定値を用いて、各画素の評価値を正規化して活性度を計算する。そのため、他の画像データにおける判断根拠となった箇所と反応の強さを比較することが可能になる。 *** Effect of Embodiment 1 ***
As described above, the image determination apparatus 10 according to the first embodiment normalizes the evaluation value of each pixel by using a predetermined setting value that is different from the maximum evaluation value of each pixel. to calculate Therefore, it is possible to compare the strength of the reaction with the location that is the basis for judgment in other image data.

図４及び図５を参照して、実施の形態１に係る画像判定装置１０によって得られる効果を説明する。
図４及び図５では、画像データ１及び画像データ２それぞれから対象物体であるスーツケースが検出された際の判断根拠となった度合を示すヒートマップが生成されている。図４及び図５のヒートマップでは、ハッチングの密度が高い部分（濃い部分）ほど、活性度が高いものとする。
図４では、判断根拠となった度合である活性度が計算される際、対象とする画像データの各画素の評価値のうち最大値を用いて正規化が行われている。つまり、画像データ１についての活性度は、画像データ１の各画素の評価値のうち最大値を用いて正規化が行われて計算されており、画像データ２についての活性度は、画像データ２の各画素の評価値のうち最大値を用いて正規化が行われて計算されている。一方、図５では、各画素の評価値の最大値とは別に事前に設定された設定値を用いて正規化が行われている。つまり、画像データ１及び画像データ２についての活性度は、設定値を用いて正規化が行われて計算されている。
図４及び図５では、画像データ１の各画素の評価値のうち最大値が１００、画像データ２の各画素の評価値のうち最大値が１０、設定値が１１０であるとする。 Effects obtained by the image determination apparatus 10 according to the first embodiment will be described with reference to FIGS. 4 and 5. FIG.
In FIGS. 4 and 5, heat maps are generated showing the degree of basis for judgment when the suitcase, which is the target object, is detected from image data 1 and image data 2, respectively. In the heat maps of FIGS. 4 and 5, the higher the hatching density (the darker the area), the higher the degree of activity.
In FIG. 4, normalization is performed using the maximum value among the evaluation values of each pixel of the target image data when calculating the degree of activity that is the basis for the determination. That is, the activity level for image data 1 is calculated by normalization using the maximum evaluation value of each pixel in image data 1, and the activity level for image data 2 is calculated as image data 2 is normalized and calculated using the maximum value among the evaluation values of each pixel of . On the other hand, in FIG. 5, normalization is performed using a preset value that is different from the maximum evaluation value of each pixel. In other words, the activity levels for image data 1 and image data 2 are normalized and calculated using the set values.
4 and 5, it is assumed that the maximum evaluation value of each pixel of image data 1 is 100, the maximum evaluation value of each pixel of image data 2 is 10, and the set value is 110. FIG.

図４に示すように、各画素の評価値のうち最大値を用いて正規化され活性度が計算された場合には、画像データ１及び画像データ２の両方とも、判断根拠となった箇所の活性度が非常に高くなり、判断根拠となった箇所が明確になる。したがって、画像データ１及び画像データ２について、それぞれどの部分が対象物体の判断根拠となったかの分析を行うことが可能になる。しかし、画像データ１及び画像データ２では、判断根拠となった箇所の活性度は同程度の値になるため、画像データ１のヒートマップと画像データのヒートマップとを比較することは難しい。 As shown in FIG. 4, when the activity level is calculated by normalization using the maximum evaluation value of each pixel, both the image data 1 and the image data 2 are The degree of activity becomes very high, and the part that serves as the basis for judgment becomes clear. Therefore, it is possible to analyze which parts of image data 1 and image data 2 serve as the basis for determining the target object. However, in the image data 1 and the image data 2, since the activity level of the part that serves as the basis for the judgment is approximately the same value, it is difficult to compare the heat map of the image data 1 and the heat map of the image data.

一方、図５に示すように、事前に設定された設定値を用いて正規化され活性度が計算された場合には、画像データ１と画像データ２とでは判断根拠となった箇所の活性度の値が大きく異なる。具体的には、評価値の最大値が大きい画像データ１では、判断根拠となった箇所の活性度が高くなるのに対して、評価値の最大値が小さい画像データ２では、判断根拠となった箇所の活性度があまり高くならない。
これは、属性判定モデルは、画像データ１及び画像データ２のどちらからも対象物体であるスーツケースを検出しているが、画像データ１に示すスーツケースに比べ、画像データ２に示すスーツケースについては、判断根拠となった箇所の評価値が高くなっていないことを表している。つまり、画像データ２に示すスーツケースについては、検出はされているものの、画像データ１に示すスーツケースに比べ検出の根拠があまり強くないことを表している。したがって、画像データ２に示すスーツケースについては、属性判定モデルの学習が不足している可能性があるということが分かる。つまり、画像データ１のヒートマップと画像データ２のヒートマップとを比較することにより、画像データ１に示すスーツケースに比べ、画像データ２に示すスーツケースについての学習データを用いて、属性判定モデルを改善することが有効であるということが分かる。 On the other hand, as shown in FIG. 5, when the normalized activity level is calculated using a preset value, the activity level of the part that serves as the basis for the judgment in the image data 1 and the image data 2 is values differ greatly. Specifically, in the image data 1 with a large maximum evaluation value, the activity level of the part that serves as the basis for the judgment is high, whereas in the image data 2 that has a small maximum evaluation value, the activity level becomes the basis for the judgment. The degree of activity in the affected area is not very high.
This is because the attribute determination model detects the suitcase, which is the target object, from both image data 1 and image data 2, but compared to the suitcase shown in image data 1, the suitcase shown in image data 2 indicates that the evaluation value of the part serving as the basis for the judgment is not high. In other words, although the suitcase shown in image data 2 has been detected, the grounds for detection are not so strong as compared to the suitcase shown in image data 1 . Therefore, it can be seen that the suitcase shown in image data 2 may lack learning of the attribute determination model. That is, by comparing the heat map of image data 1 and the heat map of image data 2, compared to the suitcase shown in image data 1, using the learning data about the suitcase shown in image data 2, the attribute determination model It can be seen that it is effective to improve

単純に対象物体が検出されているか否かを分析して、学習データとして用いるべきデータを特定するとする。この場合には、画像データ１及び画像データ２のどちらからもスーツケースは検出されているため、画像データ１に示すスーツケース及び画像データ２に示すスーツケースは学習データとして用いるべきデータとして特定されない。
しかし、実施の形態１に係る画像判定装置１０を用いることにより、画像データ２に示すスーツケースについての学習データを用いることが有効であると特定することが可能である。
また属性判定モデルとして、画像データ２の特徴を持つ学習データの学習が不足していることが確認できる。そのため本実施の形態の出力結果により、画像データ２の特徴を持つ学習データを追加し属性判定モデルを追加学習するように、構成することができる。 Assume that data to be used as learning data is specified by simply analyzing whether or not the target object is detected. In this case, since the suitcase is detected from both image data 1 and image data 2, the suitcase shown in image data 1 and the suitcase shown in image data 2 are not specified as data to be used as learning data. .
However, by using the image determination device 10 according to Embodiment 1, it is possible to specify that it is effective to use the learning data about the suitcase shown in the image data 2 .
Moreover, it can be confirmed that learning of learning data having the characteristics of image data 2 is insufficient as an attribute determination model. Therefore, according to the output result of the present embodiment, it is possible to add learning data having the characteristics of the image data 2 and additionally learn the attribute determination model.

図４及び図５の例では、異なるタイプのスーツケースのうちどちらについて学習させるべきかが判断された。このように同じ種類であるが特徴の異なる対象物体について、どの特徴の対象物体について学習させるべきか判断することが可能である。また、これに限らず、対象物体の撮像された向きの違い、形状の違い、オクルージョンの有無といった様々なケースについて、学習させるべき対象を特定することが可能である。また、複数の種類の物体を検出し、属性を判定する属性判定モデルの場合には、どの種類に関して学習させるべきかを判断することも可能である。 In the examples of FIGS. 4 and 5, it was determined which of the different types of suitcases should be learned. In this way, it is possible to determine which feature of the target object should be learned for target objects of the same type but different features. In addition, it is possible to specify the target to be learned for various cases such as the difference in the direction in which the target object was captured, the difference in shape, and the presence or absence of occlusion. Also, in the case of an attribute determination model that detects a plurality of types of objects and determines their attributes, it is also possible to determine which type should be learned.

なお、設定値は、比較される複数の画像データの各画素の評価値の最大値に近い値であることが望ましい。設定値がこの最大値に近い値であれば、比較される各画像データの評価値の最大値が正規化によって隠れてしまうことがなく、かつ、正規化して得られた活性度が０に近い範囲に集中することなく、０から１の範囲でばらつかせることができる。その結果、画像データにおける判断根拠となった箇所の反応の強さの比較を適切に行うことができる。 The set value is desirably a value close to the maximum evaluation value of each pixel of the plurality of image data to be compared. If the set value is close to this maximum value, the maximum evaluation value of each image data to be compared will not be hidden by normalization, and the activity obtained by normalization will be close to 0. It can vary from 0 to 1 without being concentrated in range. As a result, it is possible to appropriately compare the strength of the reaction at the location in the image data that serves as the basis for the judgment.

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。 ***Other Configurations***
<Modification 1>
In Embodiment 1, each functional component is realized by software. However, as Modification 1, each functional component may be implemented by hardware. Differences between the first modification and the first embodiment will be described.

図６を参照して、変形例１に係る画像判定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、画像判定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。 The configuration of the image determination device 10 according to Modification 1 will be described with reference to FIG.
When each functional component is implemented by hardware, the image determination device 10 includes an electronic circuit 15 in place of the processor 11, memory 12 and storage 13. FIG. The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, memory 12 and storage 13 .

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。 The electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
Each functional component may be implemented by one electronic circuit 15, or each functional component may be implemented by being distributed among a plurality of electronic circuits 15. FIG.

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。 <Modification 2>
As a modification 2, some functional components may be implemented by hardware and other functional components may be implemented by software.

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, the memory 12, the storage 13 and the electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.

実施の形態２．
実施の形態２では、適切な設定値を特定する方法を説明する。実施の形態２では、実施の形態１と同一の点については説明を省略する。 Embodiment 2.
Embodiment 2 describes a method of identifying an appropriate setting value. In the second embodiment, descriptions of the same points as in the first embodiment are omitted.

＊＊＊構成の説明＊＊＊
図７を参照して、実施の形態２に係る画像判定装置１０の構成を説明する。
画像判定装置１０は、機能構成要素として、設定値特定部２６を備える点が図１に示す画像判定装置１０と異なる。設定値特定部２６の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。 *** Configuration description ***
The configuration of the image determination apparatus 10 according to the second embodiment will be described with reference to FIG.
The image determination device 10 differs from the image determination device 10 shown in FIG. 1 in that it includes a set value specifying unit 26 as a functional component. The function of the setting value identification unit 26 is realized by software or hardware, like other functional components.

＊＊＊動作の説明＊＊＊
図８を参照して、実施の形態２に係る画像判定装置１０の動作を説明する。
実施の形態２に係る画像判定装置１０の動作手順は、実施の形態２に係る画像判定方法に相当する。また、実施の形態２に係る画像判定装置１０の動作を実現するプログラムは、実施の形態２に係る画像判定プログラムに相当する。 ***Description of operation***
The operation of the image determination device 10 according to the second embodiment will be described with reference to FIG.
The operation procedure of the image determination device 10 according to the second embodiment corresponds to the image determination method according to the second embodiment. Also, a program that realizes the operation of the image determination apparatus 10 according to the second embodiment corresponds to the image determination program according to the second embodiment.

ステップＳ２１の処理は、図２のステップＳ１１の処理と同じである。 The processing of step S21 is the same as the processing of step S11 in FIG.

ステップＳ２２からステップＳ２５の処理が、属性判定モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データそれぞれを対象として実行される。 The processing from step S22 to step S25 is executed for each of the plurality of learning data, which are the plurality of image data used for learning when generating the attribute determination model.

（ステップＳ２２：画像取得処理）
画像取得部２１は、対象の学習データを取得する。
具体的には、複数の学習データのうち未だ選択されていない学習データをストレージ１３から読み出す。複数の学習データは、ストレージ１３に記憶されているものとする。 (Step S22: Image Acquisition Processing)
The image acquisition unit 21 acquires target learning data.
Specifically, learning data that has not yet been selected among the plurality of learning data is read from the storage 13 . A plurality of pieces of learning data are assumed to be stored in the storage 13 .

ステップＳ２３からステップＳ２４の処理は、図２のステップＳ１４からステップＳ１５の処理と同様である。つまり、ステップＳ２３では、モデル処理部２２が属性判定モデルを用いて対象の学習データに含まれる対象物体を検出する。ステップＳ２４では、評価値計算部２３が対象の学習データにおける各画素の評価値を計算する。 The processing from step S23 to step S24 is the same as the processing from step S14 to step S15 in FIG. That is, in step S23, the model processing unit 22 detects the target object included in the target learning data using the attribute determination model. In step S24, the evaluation value calculator 23 calculates the evaluation value of each pixel in the target learning data.

（ステップＳ２５：最大値記録処理）
設定値特定部２６は、ステップＳ２４で計算された各画素の評価値のうち最大値を仮設定値としてメモリ１２に書き込む。 (Step S25: maximum value recording process)
The setting value specifying unit 26 writes the maximum value among the evaluation values of the pixels calculated in step S24 to the memory 12 as a temporary setting value.

（ステップＳ２６：設定値特定処理）
設定値特定部２６は、ステップＳ２５でメモリ１２に書き込まれた各学習データについての仮設定値のうち最大値を、設定値として特定する。 (Step S26: Set value specifying process)
The setting value specifying unit 26 specifies the maximum value among the temporary setting values for each piece of learning data written in the memory 12 in step S25 as the setting value.

つまり、設定値特定部２６は、属性判定モデルを生成する際に学習用に用いられた複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定する。 In other words, the setting value specifying unit 26 specifies, as a setting value, the maximum value among the evaluation values of each pixel in the plurality of learning data used for learning when generating the attribute determination model.

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像判定装置１０は、属性判定モデルを生成する際に学習用に用いられた複数の学習データを用いて設定値を特定する。属性判定モデルは、学習データに対して正しく特徴を取得できるようにパラメータ調整がされている。したがって、学習データを用いて設定値を特定することにより、画像データにおける判断根拠となった箇所の反応の強さの比較に適した設定値を特定することが可能である。 *** Effect of Embodiment 2 ***
As described above, the image determination apparatus 10 according to the second embodiment identifies setting values using a plurality of learning data used for learning when generating an attribute determination model. The attribute determination model is parameter-adjusted so that the features can be obtained correctly for the learning data. Therefore, by specifying the setting value using the learning data, it is possible to specify the setting value suitable for comparison of the strength of the reaction at the location serving as the basis for the judgment in the image data.

特に、実施の形態２に係る画像判定装置１０は、複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定する。複数の学習データにおける各画素の評価値のうちの最大値は、属性判定モデルを用いて処理される画像データの各画素の評価値の最大値に近い値となる可能性が高い。したがって、画像データにおける判断根拠となった箇所の反応の強さの比較に適した設定値を特定することが可能である。 In particular, the image determination apparatus 10 according to Embodiment 2 specifies the maximum value among the evaluation values of each pixel in the plurality of learning data as the setting value. There is a high possibility that the maximum evaluation value of each pixel in the plurality of learning data is close to the maximum evaluation value of each pixel of the image data processed using the attribute determination model. Therefore, it is possible to specify a set value suitable for comparison of the strength of the reaction of the portion serving as the basis for judgment in the image data.

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、属性判定モデルが１種類の物体を対象物体として検出する場合を想定して説明した。しかし、属性判定モデルが２種類以上の物体を対象物体として検出する場合もある。 ***Other Configurations***
<Modification 3>
In the second embodiment, the description has been given on the assumption that the attribute determination model detects one type of object as the target object. However, the attribute determination model may detect two or more types of objects as target objects.

図９を参照して、変形例３に係る画像判定装置１０の動作を説明する。
変形例３に係る画像判定装置１０の動作は、ステップＳ２４からステップＳ２５の処理が、対象物体の各種類を対象として実行される点が図８に示す実施の形態２に係る画像判定装置１０の動作と異なる。つまり、属性判定モデルが２種類以上の物体を対象物体として検出する場合には、対象物体の種類毎に評価値を計算して、評価値の最大値を特定する。 The operation of the image determination device 10 according to Modification 3 will be described with reference to FIG.
The operation of the image determination apparatus 10 according to Modification 3 differs from that of the image determination apparatus 10 according to Embodiment 2 shown in FIG. Different from behavior. That is, when the attribute determination model detects two or more types of objects as target objects, an evaluation value is calculated for each type of target object, and the maximum value of the evaluation values is specified.

＜変形例４＞
実施の形態２では、複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定した。しかし、一部の画素の評価値だけが突出して大きい値となってしまう可能性がある。この場合に、最大値を設定値としてしまうと、ほとんどの値が０に近い値となり、反応の強さの比較を適切に行うことができない可能性がある。
そこで、設定値特定部２６は、複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値を設定値として特定してもよい。外れ値は、検定統計量を用いる方法と、スミルノフ・グラブス検定を用いる方法といった既存の方法によって検出することができる。 <Modification 4>
In Embodiment 2, the maximum value among the evaluation values of each pixel in a plurality of pieces of learning data is specified as the setting value. However, there is a possibility that the evaluation value of only some pixels will be a prominently large value. In this case, if the maximum value is set as the set value, most of the values will be close to 0, and there is a possibility that the strength of the reaction cannot be properly compared.
Therefore, the setting value specifying unit 26 may specify, as the setting value, the maximum value among the remaining values remaining after removing the outliers from the evaluation values of the respective pixels in the plurality of learning data. Outliers can be detected by existing methods, such as using test statistics and using the Smirnov-Grubbs test.

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.

１０ 画像判定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ モデル処理部、２３ 評価値計算部、２４ 活性度計算部、２５ 表示部、２６ 設定値特定部。 10 image determination device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 image acquisition unit, 22 model processing unit, 23 evaluation value calculation unit, 24 activity calculation unit, 25 display unit, 26 setting Value identifier.

Claims (10)

ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備え、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定装置。 Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation unit for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation unit by a preset value different from the maximum evaluation value of each pixel. and an activity calculation unit ,
The image determination device , wherein the set value is a value determined from an evaluation value of each pixel in a plurality of learning data, which are a plurality of image data used for learning when generating the model . ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備え、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定装置。 Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation unit for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation unit by a preset value different from the maximum evaluation value of each pixel. and an activity calculation unit ,
The image determination device , wherein the set value is a value set based on a value that can be taken as an evaluation value of each pixel . 前記評価値計算部は、複数の対象データそれぞれについて、その対象データにおける各画素の評価値を計算し、
前記活性度計算部は、前記複数の対象データそれぞれについて、その対象データにおける各画素の評価値を、前記複数の対象データに共通して事前に定められた前記設定値で除して、前記各画素の活性度を計算する
請求項１又は２に記載の画像判定装置。 The evaluation value calculation unit calculates, for each of a plurality of target data, an evaluation value of each pixel in the target data,
For each of the plurality of target data, the activity level calculation unit divides an evaluation value of each pixel in the target data by the predetermined setting value common to the plurality of target data, 3. The image determination device according to claim 1, wherein the activity of pixels is calculated. 前記画像判定装置は、さらに、
前記活性度計算部によって計算された前記各画素の活性度を示すヒートマップを表示する表示部
を備える請求項１から３までのいずれか１項に記載の画像判定装置。 The image determination device further comprises
4. The image determination apparatus according to any one of claims 1 to 3, further comprising a display unit that displays a heat map indicating the activity of each pixel calculated by the activity calculation unit. 前記設定値は、前記複数の学習データにおける各画素の評価値のうちの最大値である
請求項１に記載の画像判定装置。 2. The image determination apparatus according to claim 1 , wherein said set value is a maximum value among evaluation values of each pixel in said plurality of learning data. 前記設定値は、前記複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値である
請求項１に記載の画像判定装置。 2. The image determination apparatus according to claim 1 , wherein said set value is the maximum value of remaining values remaining after outliers are removed from the evaluation values of each pixel in said plurality of learning data. 画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算し、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定方法。 When the evaluation value calculation unit of the image determination device analyzes target data, which is image data to be processed, by a model configured using a neural network, the degree of basis for determination of each pixel of the target data is determined. Calculate the evaluation value of each pixel in the target data,
The activity calculation unit of the image determination device divides the evaluation value of each pixel by a preset value different from the maximum evaluation value of each pixel to calculate the activity of each pixel. calculate ,
The image determination method , wherein the set value is a value determined from an evaluation value of each pixel in a plurality of learning data, which are a plurality of image data used for learning when generating the model . 画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算し、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定方法。 When the evaluation value calculation unit of the image determination device analyzes target data, which is image data to be processed, by a model configured using a neural network, the degree of basis for determination of each pixel of the target data is determined. Calculate the evaluation value of each pixel in the target data,
The activity calculation unit of the image determination device divides the evaluation value of each pixel by a preset value different from the maximum evaluation value of each pixel to calculate the activity of each pixel. calculate ,
The image determination method , wherein the set value is a value set based on a value that can be taken as an evaluation value of each pixel . ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させ、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定プログラム。 Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation process for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation process by a preset value different from the maximum evaluation value of each pixel. The computer functions as an image determination device that performs activity calculation processing ,
The image determination program , wherein the set value is a value determined from an evaluation value of each pixel in a plurality of learning data, which are a plurality of image data used for learning when generating the model . ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させ、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定プログラム。 Calculating an evaluation value of each pixel in the target data from the degree of judgment basis for each pixel of the target data when the target data, which is image data to be processed, is analyzed by a model constructed using a neural network an evaluation value calculation process for
The activity level of each pixel is calculated by dividing the evaluation value of each pixel calculated by the evaluation value calculation process by a preset value different from the maximum evaluation value of each pixel. The computer functions as an image determination device that performs activity calculation processing ,
The image determination program , wherein the set value is a value set based on a value that can be taken as an evaluation value of each pixel .
JP2020160374A 2020-09-25 2020-09-25 Image determination device, image determination method, and image determination program Active JP7177806B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020160374A JP7177806B2 (en) 2020-09-25 2020-09-25 Image determination device, image determination method, and image determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020160374A JP7177806B2 (en) 2020-09-25 2020-09-25 Image determination device, image determination method, and image determination program

Publications (2)

Publication Number Publication Date
JP2022053637A JP2022053637A (en) 2022-04-06
JP7177806B2 true JP7177806B2 (en) 2022-11-24

Family

ID=80996843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020160374A Active JP7177806B2 (en) 2020-09-25 2020-09-25 Image determination device, image determination method, and image determination program

Country Status (1)

Country Link
JP (1) JP7177806B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082468A1 (en) 2004-11-11 2008-04-03 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135504B2 (en) * 2018-07-02 2022-09-13 カシオ計算機株式会社 Image identification device, image identification method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082468A1 (en) 2004-11-11 2008-04-03 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alexander Kolesnikov, 外1名，"Improving Weakly-Supervised Object Localization By Micro-Annotation"，Computer Vision and Pattern Recognition，米国，2016年05月18日，p.1-13，[検索日 2022.08.18], インターネット＜ＵＲＬ：https://arxiv.org/pdf/1605.05538.pdf＞
寺元陶冶, 外1名，"ＶＧＧモデルの視覚野的解釈における解析の検討"，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2019年02月25日，第118巻, 第470号，p.239-244
柿下容弓, 外1名，"Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのモデル逆解析による識別根拠可視化技術"，情報処理学会論文誌数理モデル化と応用（ＴＯＭ），日本，情報処理学会，2019年07月17日，第12巻, 第2号，p.20-33

Also Published As

Publication number Publication date
JP2022053637A (en) 2022-04-06

Similar Documents

Publication Publication Date Title
US11113836B2 (en) Object detection method, device, apparatus and computer-readable storage medium
JPWO2019188040A1 (en) Image processing equipment, image processing method and image processing program
US8442327B2 (en) Application of classifiers to sub-sampled integral images for detecting faces in images
US11967088B2 (en) Method and apparatus for tracking target
WO2014044158A1 (en) Identification method and device for target object in image
CN111161346B (en) Method and device for layering commodities in goods shelves and electronic equipment
JP6935522B2 (en) Object detection device, object detection method and object detection program
JP7519232B2 (en) Anomaly detection method, anomaly detection device, and anomaly detection program
CN108875504A (en) Image detecting method and image detection device neural network based
BR112021008735A2 (en) automatic real-time high dynamic range content analysis system
US8824778B2 (en) Systems and methods for depth map generation
JP7177806B2 (en) Image determination device, image determination method, and image determination program
US8406534B2 (en) System and method for video based scene analysis
CN108416759A (en) Show detection method, device and equipment, the readable medium of failure
JP7139369B2 (en) Detection result analysis device, detection result analysis method and detection result analysis program
CN114612710A (en) Image detection method, image detection device, computer equipment and storage medium
JP7340487B2 (en) Program creation device, object detection system, anchor setting method and anchor setting program
JP6782825B1 (en) Notification judgment device, notification judgment method and notification judgment program
Gillespie The poweRlaw package: Examples
JP2022078377A (en) Learning method, determination method, program, learning system, method for generating data set for learning, and data set for learning
WO2023176058A1 (en) Test device, test method, and test program
JP7532318B2 (en) Learning device, method and program
JP7266075B2 (en) Data selection support device, data selection support method, and data selection support program
CN112907459B (en) Image processing method and device
US20210217194A1 (en) Method and apparatus with object information estimation and virtual object generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221111

R150 Certificate of patent or registration of utility model

Ref document number: 7177806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150