JP7265686B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP7265686B1 JP7265686B1 JP2022557885A JP2022557885A JP7265686B1 JP 7265686 B1 JP7265686 B1 JP 7265686B1 JP 2022557885 A JP2022557885 A JP 2022557885A JP 2022557885 A JP2022557885 A JP 2022557885A JP 7265686 B1 JP7265686 B1 JP 7265686B1
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- input image
- evaluation value
- attribute
- heat map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 227
- 238000011156 evaluation Methods 0.000 claims abstract description 192
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 14
- 239000010410 layer Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (12)
- 入力画像と、属性とを入力とし、前記入力画像における少なくとも1つの領域と、当該少なくとも1つの領域のそれぞれについての評価値とを出力とする、機械学習モデルを少なくとも含む画像評価部を有する情報処理装置であって、
共通の前記入力画像に対して、一の属性が与えられた際に出力される前記領域及び前記評価値は、前記一の属性と異なる他の属性が与えられた際に出力される前記領域及び前記評価値とは互いに異なる、
情報処理装置。 - 前記画像評価部は、
前記入力画像と、前記属性とを入力とし、前記属性に応じたヒートマップを出力とするヒートマップ出力モデルを前記機械学習モデルとして少なくとも含み、さらに、
前記ヒートマップを入力とし、前記ヒートマップにおける少なくとも1つの領域を抽出する領域抽出器と、
前記領域に対応する前記入力画像の部分画像を入力とし、前記部分画像についての評価値を推定する評価値推定器と、
を含む、
請求項1に記載の情報処理装置。 - 前記ヒートマップ出力モデルは、前記入力画像と、前記属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを解答とする教師データを用いて学習させることにより得られたものである、
請求項2に記載の情報処理装置。 - 前記画像評価部は、
前記入力画像と、前記属性とを入力とし、前記属性に応じたヒートマップを出力とするヒートマップ出力モデルと、
前記入力画像と前記ヒートマップとを入力とし、前記入力画像における少なくとも1つの領域と、当該少なくとも1つの領域のそれぞれについての評価値とを出力とする領域評価値出力モデルと、
を前記機械学習モデルとして少なくとも含む、
請求項1に記載の情報処理装置。 - 前記ヒートマップ出力モデルは、前記入力画像と、前記属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを解答とする教師データを用いて学習させることにより得られたものであり、
前記領域評価値出力モデルは、前記ヒートマップを設問とし、前記ヒートマップの入力に対して領域を出力する学習済み機械学習モデル又はアルゴリズムから得られる領域と、入力画像の前記領域に対応する部分に対して評価値を出力する学習済み機械学習モデルから得られる評価値とを解答とする教師データを用いて学習することにより得られたものである、
請求項4に記載の情報処理装置。 - 前記画像評価部は、単一の機械学習モデルを前記機械学習モデルとして含む、
請求項1に記載の情報処理装置。 - 前記単一の機械学習モデルは、前記入力画像と、前記属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを、ヒートマップの入力に対して領域を出力する学習済み機械学習モデル又はアルゴリズムに入力して得られる領域と、入力画像の前記領域に対応する部分に対して評価値を出力する学習済み機械学習モデルから得られる評価値とを解答とする教師データを用いて学習することにより得られたものである、
請求項6に記載の情報処理装置。 - 入力画像と、属性とを機械学習モデルに入力することで、前記入力画像における少なくとも1つの領域と、当該少なくとも1つの領域のそれぞれについての評価値とを出力する、画像評価ステップをコンピュータに実行させる情報処理方法であって、
共通の前記入力画像に対して、一の属性が与えられた際に出力される前記領域及び前記評価値は、前記一の属性と異なる他の属性が与えられた際に出力される前記領域及び前記評価値とは互いに異なる、
情報処理方法。 - コンピュータを、入力画像と、属性とを機械学習モデルに入力することで、前記入力画像における少なくとも1つの領域と、当該少なくとも1つの領域のそれぞれについての評価値とを出力する、画像評価部として機能させる情報処理プログラムであって、
共通の前記入力画像に対して、一の属性が与えられた際に出力される前記領域及び前記評価値は、前記一の属性と異なる他の属性が与えられた際に出力される前記領域及び前記評価値とは互いに異なる、
情報処理プログラム。 - 機械学習モデルを、入力画像と、属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを解答とする教師データを用いて学習させることにより、ヒートマップ出力モデルとして訓練する、ヒートマップ出力モデル訓練ステップをコンピュータに実行させる、
情報処理方法。 - 一の機械学習モデルを、入力画像と、属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを解答とする教師データを用いて学習させることにより、ヒートマップ出力モデルとして訓練する、ヒートマップ出力モデル訓練ステップと、
他の機械学習モデルを、前記ヒートマップを設問とし、前記ヒートマップの入力に対して領域を出力する学習済み機械学習モデル又はアルゴリズムから得られる領域と、入力画像の前記領域に対応する部分に対して評価値を出力する学習済み機械学習モデルから得られる評価値とを解答とする教師データを用いて学習させることにより、領域評価値出力モデルとして訓練する、領域評価値出力モデル訓練ステップと、
をコンピュータに実行させる、
情報処理方法。 - 機械学習モデルを、入力画像と、属性を設問とし、前記入力画像の入力に対して中間ヒートマップを生成する複数の互いに異なる学習済み機械学習モデルから得られる複数の中間ヒートマップを、前記属性に応じて合成して得られるヒートマップを、ヒートマップの入力に対して領域を出力する学習済み機械学習モデル又はアルゴリズムに入力して得られる領域と、入力画像の前記領域に対応する部分に対して評価値を出力する学習済み機械学習モデルから得られる評価値とを解答とする教師データを用いて学習させる、機械学習モデル訓練ステップをコンピュータに実行させる、
情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023019088A JP7265690B2 (ja) | 2021-09-30 | 2023-02-10 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/036196 WO2023053365A1 (ja) | 2021-09-30 | 2021-09-30 | 情報処理装置、情報処理方法及び情報処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023019088A Division JP7265690B2 (ja) | 2021-09-30 | 2023-02-10 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2023053365A1 JPWO2023053365A1 (ja) | 2023-04-06 |
JP7265686B1 true JP7265686B1 (ja) | 2023-04-26 |
Family
ID=85781801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022557885A Active JP7265686B1 (ja) | 2021-09-30 | 2021-09-30 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4216155A4 (ja) |
JP (1) | JP7265686B1 (ja) |
WO (1) | WO2023053365A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021056785A (ja) * | 2019-09-30 | 2021-04-08 | セコム株式会社 | 画像認識システム、撮像装置、認識装置及び画像認識方法 |
JP2021128797A (ja) * | 2017-06-16 | 2021-09-02 | マーカブル インコーポレイテッドMarkable, Inc. | 画像処理システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7139369B2 (ja) * | 2020-03-10 | 2022-09-20 | 三菱電機インフォメーションシステムズ株式会社 | 検出結果分析装置、検出結果分析方法及び検出結果分析プログラム |
-
2021
- 2021-09-30 EP EP21959402.5A patent/EP4216155A4/en active Pending
- 2021-09-30 JP JP2022557885A patent/JP7265686B1/ja active Active
- 2021-09-30 WO PCT/JP2021/036196 patent/WO2023053365A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021128797A (ja) * | 2017-06-16 | 2021-09-02 | マーカブル インコーポレイテッドMarkable, Inc. | 画像処理システム |
JP2021056785A (ja) * | 2019-09-30 | 2021-04-08 | セコム株式会社 | 画像認識システム、撮像装置、認識装置及び画像認識方法 |
Non-Patent Citations (2)
Title |
---|
Wenguan Wang and Jianbing Shen,Deep Cropping via Attention Box Prediction and Asethetics Assessment,2017 IEEE International Conference on Computer Vision,2017年10月29日 |
WENGUAN WANG AND JIANBING SHEN: "Deep Cropping via Attention Box Prediction and Asethetics Assessment", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, JPN6022052754, 29 October 2017 (2017-10-29), ISSN: 0004943804 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023053365A1 (ja) | 2023-04-06 |
EP4216155A1 (en) | 2023-07-26 |
EP4216155A4 (en) | 2024-01-17 |
JPWO2023053365A1 (ja) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
CN109741318B (zh) | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 | |
US20130177235A1 (en) | Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations | |
CN111986180B (zh) | 基于多相关帧注意力机制的人脸伪造视频检测方法 | |
WO2021144943A1 (ja) | 制御方法、情報処理装置および制御プログラム | |
JP6612486B1 (ja) | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム | |
JP7226696B2 (ja) | 機械学習方法、機械学習システム及び非一時的コンピュータ可読記憶媒体 | |
CN112070040A (zh) | 一种用于视频字幕的文本行检测方法 | |
KR20210149530A (ko) | 이미지 분류 모델 학습 방법 및 이를 수행하기 위한 장치 | |
KR20220024990A (ko) | L2TL(Learning to Transfer Learn)을 위한 프레임워크 | |
CN115222998B (zh) | 一种图像分类方法 | |
US20230153965A1 (en) | Image processing method and related device | |
CN114648681B (zh) | 一种图像生成方法、装置、设备及介质 | |
CN114283056A (zh) | 经由从粗略到精细的扩展和采样的基于能量的生成模型 | |
CN114077891A (zh) | 风格转换模型的训练方法及虚拟建筑检测模型的训练方法 | |
CN117576248B (zh) | 基于姿态引导的图像生成方法和装置 | |
JP2023533631A (ja) | ハードウェア用に最適化されたニューラルアーキテクチャ検索 | |
CN112907750A (zh) | 一种基于卷积神经网络的室内场景布局估计方法及系统 | |
JP7265686B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7265690B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN114723733A (zh) | 一种基于公理解释的类激活映射方法及装置 | |
KR20200061154A (ko) | 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치 | |
JP7395767B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7047665B2 (ja) | 学習装置、学習方法及び学習プログラム | |
US11978144B2 (en) | Resolving garment collisions using neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7265686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |