WO2022202177A1 - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- WO2022202177A1 WO2022202177A1 PCT/JP2022/009061 JP2022009061W WO2022202177A1 WO 2022202177 A1 WO2022202177 A1 WO 2022202177A1 JP 2022009061 W JP2022009061 W JP 2022009061W WO 2022202177 A1 WO2022202177 A1 WO 2022202177A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature map
- information processing
- detection
- data
- correct
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000010191 image analysis Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Definitions
- the present invention relates to an information processing apparatus that performs image analysis, and more particularly to an information processing apparatus and an information processing method that can efficiently acquire candidates for re-learning data in machine learning.
- Accuracy can be improved by assigning correct answers to images that have been overlooked or erroneously detected and performing re-learning. However, it is necessary for a human to judge whether or not an oversight or an erroneous detection has occurred by looking at the image of the detection result.
- Patent Document 1 discloses a method of automatically selecting an image with a low detection accuracy from among captured images of an object such as a product as a technique for efficiently collecting relearning data. However, this technique is based on the premise that the object appears in the image.
- Patent Document 1 does not describe automating the determination of the presence or absence of oversights and false detections and efficiently acquiring candidates for re-learning data.
- the present invention has been devised in view of the above circumstances, and provides an information processing apparatus and information processing method that automates the determination of the presence or absence of overlooked or erroneous detections in captured images and efficiently acquires re-learning data candidates. intended to
- the present invention which solves the problems of the conventional example, is an information processing apparatus that performs image analysis, and outputs a feature map representing a feature amount based on certainty about a specific object from acquired image data.
- An image analysis unit a feature map analysis unit that analyzes the output feature map and evaluates the likelihood of the detection result, and determines whether the target object is correctly detected in the image data from the evaluation result of the feature map, and a correct determination unit that determines correct detection data when the data is correctly detected, and determines re-learning data candidates when the data is not correctly detected.
- the feature map analysis unit evaluates the entropy value using the distribution of pixel values of the feature map, and the correct answer determination unit determines that if the entropy value is equal to or less than a predetermined threshold value, , and if the entropy value exceeds the threshold, it is determined that the detection is not correct.
- the present invention is an information processing method for performing image analysis, comprising: an image analysis step of outputting a feature map representing a feature quantity based on certainty about a specific object from acquired image data; A feature map analysis step of analyzing and evaluating the likelihood of the detection result, and judging whether or not the target object was correctly detected in the image data from the evaluation result of the feature map. , and a correct answer determination step of determining a candidate for re-learning data if not correctly detected.
- the feature map analysis step evaluates the entropy value using the distribution of pixel values of the feature map, and the correct answer determination step determines if the entropy value is equal to or less than a predetermined threshold value. , and if the entropy value exceeds the threshold, it is determined that the detection is not correct.
- the image analysis unit outputs a feature map representing a feature amount based on certainty about a specific object from acquired image data, and the feature map analysis unit analyzes the output feature map. , the accuracy of the detection result is evaluated, and the correct judgment section judges whether or not the object is correctly detected in the image data from the evaluation result of the feature map. Since the image processing apparatus and image processing method are used as candidates for re-learning data when no detection is made, it is possible to automate the determination of the presence or absence of oversights and false detections, and to efficiently acquire candidates for re-learning data. be.
- FIG. 4 is an explanatory diagram showing an example of acquisition of relearning data candidates in this device
- An information processing apparatus (this apparatus) performs image analysis that outputs a feature map representing a feature amount based on certainty about a specific object from acquired image data.
- a feature map analysis unit that analyzes the output feature map and evaluates the likelihood of detection results; and a correct judgment unit that treats the data as positive detection data when it is detected correctly, and makes it a candidate for re-learning data when it is not correctly detected. This makes it possible to efficiently acquire candidates for re-learning data.
- FIG. 1 is a schematic configuration diagram of this device.
- the apparatus 100 is realized by an information processing apparatus such as a computer (PC), and basically has a control section 101 and a storage section . Each part of the device 100 will be specifically described below.
- PC computer
- Control Unit 101 The control unit 101 is realized by an arithmetic processing unit and controls each unit in an integrated manner. 105 and equipped. Each unit 102 to 105 in the control unit 101 is means for realizing functions as software when the control unit 101 reads a processing program stored in the storage unit 106, for example.
- the storage unit 106 is realized by a recording medium such as a hard disk, and stores data to be used. 109.
- the image acquisition unit 102 acquires image data to be used as a candidate for relearning data from the image data storage unit 107 of the storage unit 106 and outputs the image data to the image analysis unit 103 .
- a method for acquiring an image by the image acquisition unit 102 is not particularly limited. image data stored in the .
- the image analysis unit 103 uses a CNN (Convolution Neural Network) to detect a target object in an image, and outputs the detection result and a feature map that serves as the basis for the detection result. do.
- a feature map is a map representing a feature amount based on certainty (probability) about a specific object in photographed image data, and the feature amount is represented by pixel values.
- Openpose has a function of detecting each joint of a person in an image and a function of detecting a skeleton formed by connecting those joints.
- Openpose is introduced in the document "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, arXiv:1812.08008v1, (2016)".
- the output of the image analysis unit 103 may be used as the feature map of the background class of Openpose.
- the output of the image analysis unit 103 may be a feature map of each joint and a feature map obtained by adding the feature maps (added feature map).
- the feature map analysis unit 104 evaluates the certainty (certainty factor) of the detection result based on the feature map output by the image analysis unit 103.
- the entropy of an image indicates the randomness of pixel values, and the higher the uniformity from pixels with high confidence to pixels with lower confidence, the higher the entropy value. In other words, the higher the entropy value, the less clear the boundary between the target object and other objects, meaning that the target object and other objects cannot be clearly distinguished.
- the evaluation may be limited to a partial area of the feature map.
- the correct judgment unit 105 compares the probability of the detection result output by the feature map analysis unit 104 with a threshold value, and judges correct detection data or relearning data candidates. If the likelihood of the detection result output by the feature map analysis unit 104 is equal to or greater than the threshold (the entropy value is equal to or less than the threshold), it is determined to be correct detection data, and the likelihood of the detection result is less than the threshold (the entropy value is equal to or less than the threshold). exceeds the threshold), it is determined as a relearning data candidate.
- the threshold may be based on the likelihood ranking of the collected image data sets. That is, the threshold is set high for image data sets with a high probability rank, and is set low for image data sets with a low probability rank.
- a predetermined number of images may be used as candidates in descending order of probability.
- Candidates for re-learning data are arranged in descending order of likelihood, so that candidates important for re-learning can be preferentially selected.
- the arbitrarily collected image data set is a randomly selected set, a recently collected set of a predetermined number of images, or the like.
- the image data storage unit 107 stores image data before processing such as analysis is performed.
- the relearning data candidate storage unit 108 stores the data of the relearning data candidates determined by the correct answer determination unit 105 .
- the correct detection data storage unit 109 stores the correct detection data determined by the correct determination unit 105 .
- FIG. 2 is a processing flow diagram of this device
- FIG. 3 is an explanatory diagram showing an example of correct detection
- FIG. 4 is an explanatory diagram showing an example of obtaining relearning data candidates.
- the image acquisition unit 102 acquires image data stored in the image data storage unit 107 of the storage unit 106 (S11). This is the image acquisition step in the processing method.
- the image data may be, for example, an image D11 showing only a person as shown in FIG. 3, or an object similar to the person or an object hiding the person as shown in FIG. may be an image D21 in which is shown.
- the image analysis unit 103 analyzes the image acquired in step S11 and outputs a feature map (S12). This is the step of feature map output. For example, when image analysis processing is performed on image D11 in which only a person is shown in FIG. 3, a feature map such as feature map D12 is output. Then, the detection is correctly performed as in the detection result D13.
- a feature map such as the feature map D22 is output. Since an object other than a person is detected as in the detection result D23, an erroneous detection occurs.
- the feature map analysis unit 104 analyzes the feature map output in process S12 and evaluates the likelihood of the detection result (S13). This is the feature map analysis step.
- the process of analyzing the feature map and evaluating the detection result is as described above.
- the correct determination unit 105 determines whether or not the detection result is likely based on the likelihood of the detection result evaluated in step S13 (S14). This is the correct answer determination step. If it is determined that the detection result is probable (Yes), the process ends assuming that the detection was correct (positive detection). Note that the correct detection data may be stored in the correct detection data storage unit 109 of the storage unit 106 as the correct detection data. In the example of FIG. 3, the correct detection data D14 is output from the correct answer determination unit 105. FIG.
- the process proceeds to the process S15. Then, the correct determination unit 105 stores the image data for which the detection result is uncertain in the relearning data candidate storage unit 108 of the storage unit 106 as the image data of the relearning data candidate (S15). In the example of FIG. 4, the relearning data candidate D24 is output from the correct answer determination unit 105. In the example of FIG.
- relearning data candidates can be efficiently collected.
- only the image data of the relearning data candidates can be quickly selected and stored in the relearning data candidate storage unit 108 without storing all the images of the scene taken by a camera or the like in real time. It is possible to save. For example, it is effective when the storage capacity for saving correct detection data is not sufficient.
- the image analysis unit 103 outputs a feature map representing a feature amount based on certainty about a specific object from acquired image data, and the output feature map is analyzed. Then, the feature map analysis unit 104 evaluates the certainty of the detection result, and determines whether or not the target object is correctly detected in the image data from the evaluation result of the feature map. , and the correct judgment unit 105 which makes a candidate of re-learned data when it is not detected correctly. There is an effect that candidates can be acquired efficiently.
- the present invention is suitable for an information processing apparatus and an information processing method that automatically determine whether or not there is an oversight or false detection in a captured image, and efficiently acquire candidates for re-learning data.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
撮影した画像について見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得する情報処理装置及び情報処理方法を提供する。画像解析部１０３が、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力し、特徴マップ解析部１０４が、出力された特徴マップを解析し、検知結果の確からしさを評価し、正解判定部１０５が、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする情報処理装置及び情報処理方法である。
Description
本発明は、画像分析を行う情報処理装置に係り、特に、機械学習における再学習データの候補を効率的に取得できる情報処理装置及び情報処理方法に関する。
［従来の技術］ ＡＩ（Artificial Intelligence：人工知能）のディープラーニングなどの機械学習では、既に学習した学習データを元に、入力画像に映る物体を検知するようになっている。
しかし、学習データの不足により、画像中に物体が映っているにもかかわらず検知ができない「見逃し」や物体が映っていないが検知してしまう「誤検知」が発生する場合がある。
しかし、学習データの不足により、画像中に物体が映っているにもかかわらず検知ができない「見逃し」や物体が映っていないが検知してしまう「誤検知」が発生する場合がある。
特に、屋外で撮影した画像から特定の物体を検知する際には、特定の時間帯に撮影した画像では精度良く検知できていたとしても、時間の経過により照度や影の向き、物体の向きの変化や遮蔽の発生など、想定外の要因により検知精度が劣化することがある。
見逃しや誤検知が発生した画像に対しては、正解付けを行い再学習することで精度を向上させることができる。
但し、見逃しや誤検知が発生したかどうかは検知結果の画像を人間が見て判断する必要がある。
但し、見逃しや誤検知が発生したかどうかは検知結果の画像を人間が見て判断する必要がある。
［関連技術］ 尚、関連する先行技術として、特開２０１９－２２０１１６号公報「情報処理装置、判定方法、および対象物判定プログラム」（特許文献１）がある。
特許文献１には、再学習データを効率的に収集する技術として、商品などの対象物を撮影した画像の中から検知精度が低い画像を自動で選択する方法が示されている。ただし、この技術は画像中に対象物が写っていることを前提としている。
特許文献１には、再学習データを効率的に収集する技術として、商品などの対象物を撮影した画像の中から検知精度が低い画像を自動で選択する方法が示されている。ただし、この技術は画像中に対象物が写っていることを前提としている。
しかしながら、従来の機械学習では、対象物の検出の精度を向上させるためには、大量の画像に対して見逃しや誤検知の有無の判断を行い、正解付けを行った上で再学習することが必要であり、作業に時間が掛かるという問題点があった。
尚、特許文献１には、見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得することについての記載がない。
本発明は上記実情に鑑みて為されたもので、撮影した画像について見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得する情報処理装置及び情報処理方法を提供することを目的とする。
上記従来例の問題点を解決するための本発明は、画像解析を行う情報処理装置であって、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部と、を有することを特徴とする。
本発明は、上記情報処理装置において、特徴マップ解析部が、特徴マップの画素値の分布を用いたエントロピーの値を評価し、正解判定部が、エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、エントロピーの値が閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする。
本発明は、画像解析を行う情報処理方法であって、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析ステップと、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析ステップと、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定ステップと、を有することを特徴とする。
本発明は、上記情報処理方法において、特徴マップ解析ステップが、特徴マップの画素値の分布を用いたエントロピーの値を評価し、正解判定ステップが、エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、エントロピーの値が閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする。
本発明によれば、画像解析部が、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力し、特徴マップ解析部が、出力された特徴マップを解析し、検知結果の確からしさを評価し、正解判定部が、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする画像処理装置及び画像処理方法としているので、見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得できる効果がある。
本発明の実施の形態について図面を参照しながら説明する。［実施の形態の概要］ 本発明の実施の形態に係る情報処理装置（本装置）は、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部と、を有するものであり、正解判定部が見逃しや誤検知の有無を自動的に判定し、再学習データの候補を効率的に取得できるものである。
［本装置：図１］ 本装置について図１を参照しながら説明する。図１は、本装置の概略構成図である。
本装置１００は、図１に示すように、コンピュータ（ＰＣ）等の情報処理装置で実現され、制御部１０１と、記憶部１０６とを基本的に有している。
以下、本装置１００の各部について具体的に説明する。
本装置１００は、図１に示すように、コンピュータ（ＰＣ）等の情報処理装置で実現され、制御部１０１と、記憶部１０６とを基本的に有している。
以下、本装置１００の各部について具体的に説明する。
［制御部１０１］ 制御部１０１は、演算処理装置で実現され、各部を統括して制御するものであり、画像取得部１０２と、画像解析部１０３と、特徴マップ解析部１０４と、正解判定部１０５と備えている。
制御部１０１における各部１０２～１０５は、例えば、記憶部１０６に記憶された処理プログラムを制御部１０１が読み込んでソフトウェアとして機能を実現する手段である。
制御部１０１における各部１０２～１０５は、例えば、記憶部１０６に記憶された処理プログラムを制御部１０１が読み込んでソフトウェアとして機能を実現する手段である。
［記憶部１０６］ 記憶部１０６は、ハードディスクなどの記録媒体によって実現され、使用するデータ等を記憶するものであり、画像データ記憶部１０７と、再学習データ候補記憶部１０８と、正検知データ記憶部１０９とを備えている。
［画像取得部１０２］ 画像取得部１０２は、再学習データの候補とすべきかどうかの判定対象となる画像データを記憶部１０６の画像データ記憶部１０７から取得し、画像解析部１０３に出力する。
画像取得部１０２が画像を取得する方法は特に限定するものではないが、例えば、画像取得部１０２は、撮像装置（カメラ）から画像データを直接取得してもよいし、当該撮像装置の記憶装置に記憶された画像データを取得してもよい。
画像取得部１０２が画像を取得する方法は特に限定するものではないが、例えば、画像取得部１０２は、撮像装置（カメラ）から画像データを直接取得してもよいし、当該撮像装置の記憶装置に記憶された画像データを取得してもよい。
［画像解析部１０３］ 画像解析部１０３は、ＣＮＮ（Convolution Neural Network：畳み込みニューラルネットワーク）を用いて画像中に写る対象物体の検知を行い、その検知結果と検知結果の根拠となる特徴マップを出力する。
特徴マップは、撮影された画像データの中に特定の対象物についての確信度（確からしさ）に基づく特徴量を表すマップであり、その特徴量が画素値で表される。
特徴マップは、撮影された画像データの中に特定の対象物についての確信度（確からしさ）に基づく特徴量を表すマップであり、その特徴量が画素値で表される。
尚、本実施の形態では、ＣＮＮのアルゴリズムは限定されるものではないが、本実施の形態では、Ｏｐｅｎｐｏｓｅを適用する例で説明する。
Ｏｐｅｎｐｏｓｅは、画像中に写っている人物の各関節を検知する機能と、それら関節を結ぶことで形成される骨格を検知する機能を備えている。
Ｏｐｅｎｐｏｓｅについては、「OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, arXiv:1812.08008v1, (2018)」の文献で紹介されている。
Ｏｐｅｎｐｏｓｅは、画像中に写っている人物の各関節を検知する機能と、それら関節を結ぶことで形成される骨格を検知する機能を備えている。
Ｏｐｅｎｐｏｓｅについては、「OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, arXiv:1812.08008v1, (2018)」の文献で紹介されている。
また、画像解析部１０３の出力をＯｐｅｎｐｏｓｅの背景クラスの特徴マップとしてもよい。尚、Ｏｐｅｎｐｏｓｅの背景クラスの特徴マップは、画素値が高い画素ほど関節としての確信度が低く、画素値が低い画素ほど関節としての確信度が高い。
または、各関節の特徴マップ、更に各特徴マップを加算した特徴マップ（加算特徴マップ）を画像解析部１０３の出力としてもよい。
または、各関節の特徴マップ、更に各特徴マップを加算した特徴マップ（加算特徴マップ）を画像解析部１０３の出力としてもよい。
［特徴マップ解析部１０４］ 特徴マップ解析部１０４は、画像解析部１０３が出力した特徴マップに基づき、検知結果の確からしさ（確信度）を評価する。
具体的には、特徴マップの画素値の分布を用いたエントロピーの値を評価する。
具体的には、特徴マップの画素値の分布を用いたエントロピーの値を評価する。
画像のエントロピーは画素値の乱雑さを示しており、確信度が高い画素から低い画素まで均一に存在しているほどエントロピーの値は高くなる。つまり、エントロピーの値が高いほど対象の物体とそれ以外の境目がはっきりしないため、対象の物体とそれ以外を明確に区別できていないことを意味する。
これにより、検知結果の確からしさを評価することを可能とする。無論、これは一例であり、例えば、画素値の分散、閾値と比較しての平均値や最大値など他の統計量を指標として適用することも可能である。
尚、特定の領域に関する検知結果の確からしさを評価するために、特徴マップの一部の領域に限定し評価を行ってもよい。
尚、特定の領域に関する検知結果の確からしさを評価するために、特徴マップの一部の領域に限定し評価を行ってもよい。
［正解判定部１０５］ 正解判定部１０５は、特徴マップ解析部１０４が出力する検知結果の確からしさについて、閾値と比較して、正検知データ又は再学習データ候補の判定を行う。
特徴マップ解析部１０４が出力する検知結果の確からしさが、閾値以上（エントロピーの値が閾値以下）であれば、正検知データと判定し、検知結果の確からしさが、閾値未満（エントロピーの値が閾値を超えている）であれば、再学習データ候補と判定する。
特徴マップ解析部１０４が出力する検知結果の確からしさが、閾値以上（エントロピーの値が閾値以下）であれば、正検知データと判定し、検知結果の確からしさが、閾値未満（エントロピーの値が閾値を超えている）であれば、再学習データ候補と判定する。
尚、閾値は、収集した画像データセットの確からしさのランキングに基づいてもよい。つまり、確からしさが高いランクの画像データセットについては閾値を高くし、確からしさが低いランクの画像データセットについては閾値を低く設定する。
また、任意に集められた画像データセットのうち、確からしさが低いものから順に所定の枚数を候補としてもよい。確からしさが低い順に再学習データの候補にすることで、再学習に重要な候補を優先的に選択できるものである。尚、任意に集められた画像データセットとは、ランダムに選ばれたセット、直近に集められた所定枚数のセットなどである。
［記憶部１０６内の各記憶部１０７～１０９］ 画像データ記憶部１０７は、分析等の処理が為される前の画像データを記憶する。
再学習データ候補記憶部１０８は、正解判定部１０５で判定された再学習データ候補のデータを記憶する。
正検知データ記憶部１０９は、正解判定部１０５で判定された正検知データを記憶する。
再学習データ候補記憶部１０８は、正解判定部１０５で判定された再学習データ候補のデータを記憶する。
正検知データ記憶部１０９は、正解判定部１０５で判定された正検知データを記憶する。
［本装置での処理：図２～４］ 次に、本装置での処理について図２～４を参照しながら説明する。図２は、本装置の処理フロー図であり、図３は、正検知の例を示す説明図であり、図４は、再学習データ候補取得の例を示す説明図である。
本装置１００の制御部１０１において、図２に示すように、画像取得部１０２が、記憶部１０６の画像データ記憶部１０７に記憶されている画像データを取得する（Ｓ１１）。処理方法における画像取得のステップとなる。
本装置１００の制御部１０１において、図２に示すように、画像取得部１０２が、記憶部１０６の画像データ記憶部１０７に記憶されている画像データを取得する（Ｓ１１）。処理方法における画像取得のステップとなる。
ここで、画像データは、例えば、図３に示すように、人物のみが写っている画像Ｄ１１であってもよいし、また、図４に示すように、人物と似た物体や人物を隠す物体が写っている画像Ｄ２１であってもよい。
次に、画像解析部１０３が、処理Ｓ１１で取得した画像を解析処理して特徴マップを出力する（Ｓ１２）。特徴マップ出力のステップとなる。
例えば、図３の人物のみが写っている画像Ｄ１１を画像分析処理した場合には、特徴マップＤ１２のような特徴マップが出力される。そして、検知結果Ｄ１３のように正しく検知が為されている。
例えば、図３の人物のみが写っている画像Ｄ１１を画像分析処理した場合には、特徴マップＤ１２のような特徴マップが出力される。そして、検知結果Ｄ１３のように正しく検知が為されている。
また、図４の人物以外の物体が写っている画像Ｄ２１を画像解析処理した場合には、特徴マップＤ２２のような特徴マップが出力される。そして、検知結果Ｄ２３のように人物以外の物が検知されたため、誤検知が発生した場合となる。
特徴マップ解析部１０４が、処理Ｓ１２で出力された特徴マップを解析処理し、検知結果の確からしさを評価する（Ｓ１３）。特徴マップ解析ステップとなる。特徴マップの解析及び検知結果の評価の処理については上述した通りである。
正解判定部１０５が、処理Ｓ１３で評価された検知結果の確からしさから、検知結果が確からしいかどうかを判定する（Ｓ１４）。正解判定ステップとなる。検知結果が確からしいと判定された場合（Ｙｅｓの場合）、正しく検知された（正検知）ものとして処理は終了する。
尚、正検知データとして記憶部１０６の正検知データ記憶部１０９に保存してもよい。
図３の例では、正解判定部１０５から正検知データＤ１４が出力されることになる。
尚、正検知データとして記憶部１０６の正検知データ記憶部１０９に保存してもよい。
図３の例では、正解判定部１０５から正検知データＤ１４が出力されることになる。
正解判定部１０５が、判定処理Ｓ１４によって検知結果が不確かであると判定された場合（Ｎｏの場合）、処理Ｓ１５に移行する。
そして、正解判定部１０５は、検知結果が不確かであるとされた画像データを再学習データ候補の画像データとして記憶部１０６の再学習データ候補記憶部１０８に保存する（Ｓ１５）。
図４の例では、正解判定部１０５から再学習データ候補Ｄ２４が出力されることになる。
そして、正解判定部１０５は、検知結果が不確かであるとされた画像データを再学習データ候補の画像データとして記憶部１０６の再学習データ候補記憶部１０８に保存する（Ｓ１５）。
図４の例では、正解判定部１０５から再学習データ候補Ｄ２４が出力されることになる。
以上のように、本実施の形態では、人間の目による検知結果の確認を行わないため、再学習データ候補を効率よく収集することができるものである。
また、カメラ等で撮影される現場の画像に対して、リアルタイムに撮影したすべての画像を保存することなく、再学習データ候補の画像データのみを速やかに選択して再学習データ候補記憶部１０８に保存することが可能である。例えば、正検知データを保存するための記憶容量が十分でない場合に有効である。
また、カメラ等で撮影される現場の画像に対して、リアルタイムに撮影したすべての画像を保存することなく、再学習データ候補の画像データのみを速やかに選択して再学習データ候補記憶部１０８に保存することが可能である。例えば、正検知データを保存するための記憶容量が十分でない場合に有効である。
［実施の形態の効果］ 本装置によれば、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部１０３と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部１０４と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部１０５とを有するものとしているので、正解判定部１０５が見逃しや誤検知の有無を自動的に判定し、再学習データの候補を効率的に取得できるできる効果がある。
本発明は、撮影した画像について見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得する情報処理装置及び情報処理方法に好適である。
１００…情報処理装置、 １０１…制御部、 １０２…画像取得部、 １０３…画像解析部、 １０４…特徴マップ解析部、 １０５…正解判定部、 １０６…記憶部、 １０７…画像データ記憶部、 １０８…再学習データ候補記憶部、 １０９…正検知データ記憶部
Claims (4)
- 画像解析を行う情報処理装置であって、
取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、
前記出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、
前記特徴マップの評価結果から前記画像データに前記対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部と、を有することを特徴とする情報処理装置。 - 特徴マップ解析部は、特徴マップの画素値の分布を用いたエントロピーの値を評価し、
正解判定部は、前記エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、前記エントロピーの値が前記閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする請求項１記載の情報処理装置。 - 取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析ステップと、
前記出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析ステップと、
前記特徴マップの評価結果から前記画像データに前記対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定ステップと、を有することを特徴とする情報処理方法。 - 特徴マップ解析ステップは、特徴マップの画素値の分布を用いたエントロピーの値を評価し、
正解判定ステップは、前記エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、前記エントロピーの値が前記閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする請求項３記載の情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023508879A JP7490886B2 (ja) | 2021-03-23 | 2022-03-03 | 情報処理装置及び情報処理方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-048268 | 2021-03-23 | ||
| JP2021048268 | 2021-03-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022202177A1 true WO2022202177A1 (ja) | 2022-09-29 |
Family
ID=83396921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/009061 WO2022202177A1 (ja) | 2021-03-23 | 2022-03-03 | 情報処理装置及び情報処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7490886B2 (ja) |
| WO (1) | WO2022202177A1 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097807A (ja) * | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | 学習装置 |
-
2022
- 2022-03-03 WO PCT/JP2022/009061 patent/WO2022202177A1/ja active Application Filing
- 2022-03-03 JP JP2023508879A patent/JP7490886B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097807A (ja) * | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | 学習装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022202177A1 (ja) | 2022-09-29 |
| JP7490886B2 (ja) | 2024-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107133948B (zh) | 基于多任务卷积神经网络的图像模糊与噪声评测方法 | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| Pagaduan et al. | iblurdetect: Image blur detection techniques assessment and evaluation study | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| Bai et al. | Robust texture-aware computer-generated image forensic: Benchmark and algorithm | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| Bedi et al. | Estimating cover image for universal payload region detection in stego images | |
| CN117132768A (zh) | 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质 | |
| CN113297963A (zh) | 多人姿态的估计方法、装置、电子设备以及可读存储介质 | |
| WO2022202177A1 (ja) | 情報処理装置及び情報処理方法 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| Takouachet et al. | Perception of noise and global illumination: Toward an automatic stopping criterion based on SVM | |
| CN114170642A (zh) | 图像检测的处理方法、装置、设备及存储介质 | |
| Musa et al. | Crowd reckoning towards preventing the repeat of ‘2015 Hajj pilgrims stampede’ | |
| CN111798404B (zh) | 基于深度神经网络的虹膜图像质量评估方法及评估系统 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| CN110728692A (zh) | 一种基于Scharr算子改进的图像边缘检测方法 | |
| CN115620079A (zh) | 样本标签的获取方法和镜头失效检测模型的训练方法 | |
| CN115457620A (zh) | 用户表情识别方法、装置、计算机设备及存储介质 | |
| CN113487506A (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
| Zhao et al. | Face quality assessment via semi-supervised learning | |
| CN112084922A (zh) | 一种基于手势和面部表情的行为异常人群检测方法 | |
| Chee et al. | Detecting Corruption in Real Video Game Graphics using Deep Convolutional Neural Networks. | |
| Subbarayudu et al. | Detection of Anomalous Behaviour of a Student in Examination Hall Using Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22774973 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2023508879 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22774973 Country of ref document: EP Kind code of ref document: A1 |