JP6963352B2 - 物体状況判断システム、物体状況判断方法、およびプログラム - Google Patents
物体状況判断システム、物体状況判断方法、およびプログラム Download PDFInfo
- Publication number
- JP6963352B2 JP6963352B2 JP2020547731A JP2020547731A JP6963352B2 JP 6963352 B2 JP6963352 B2 JP 6963352B2 JP 2020547731 A JP2020547731 A JP 2020547731A JP 2020547731 A JP2020547731 A JP 2020547731A JP 6963352 B2 JP6963352 B2 JP 6963352B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- situation
- learning
- components
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
学習用の画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析する構成要素解析手段と、
前記物体がどのような状況であるかの状況データの文字を取得して、その文字に関連した複数の画像を、画像検索コンピュータで検索して取得する状況取得手段と、
取得した複数の画像の構成要素を、前記構成要素解析手段により解析し、各画像の構成要素の組み合わせと、取得した前記状況データを関係づけて学習する学習手段と、
所定の画像に対して前記構成要素解析手段により解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測する物体状況推測手段と、
を備えることを特徴とする物体状況判断システムを提供する。
前記画像内に複数の物体が撮影されている場合に、
前記構成要素解析手段は、複数の物体それぞれを画像解析し、解析された物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景の少なくとも2つを前記画像内の特徴点を抽出して解析し、
前記複数の物体が全体として何を行っているかを解析することを特徴とする物体状況判断システムを提供する。
前記画像内に複数の物体が撮影されている場合に、
前記構成要素解析手段は、物体の組み合わせ、物体間の相対位置、物体の部位の相対位置の少なくとも1つを構成要素として抽出して解析することを特徴とする物体状況判断システムを提供する。
前記状況取得手段は、前記画像を用いた検索を行うことで、前記文字を取得することを特徴とする物体状況判断システムを提供する。
物体状況判断システムに、
画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析するステップと、
前記物体がどのような状況であるかの状況データを、文字を取得してその文字に関連した画像を検索する画像検索コンピュータから取得するステップと、
前記構成要素の組み合わせと、取得した前記状況データを関係づけて学習するステップと、
所定の画像に対して前記構成要素解析手段により解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測するステップと、
を備えることを特徴とする物体状況判断方法を提供する。
物体状況判断システムに、
画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析するステップ、
前記物体がどのような状況であるかの状況データを、文字を取得してその文字に関連した画像を検索する画像検索コンピュータから取得するステップ、
前記構成要素の組み合わせと、取得した前記状況データを関係づけて学習するステップ、
所定の画像に対して前記構成要素解析手段により解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測するステップ、
を実行させるためのプログラムを提供する。
図1は、本発明の好適な実施形態の概要図である。この図1に基づいて、本発明の概要を説明する。物体状況判断システム1は、コンピュータ100から構成される。なお、図1において、コンピュータ100は1台であるが、複数であってもよい。また、実在する装置に限らず、仮想的な装置であってもよい。
図2は、コンピュータ100の機能ブロックと各機能の関係を示す図である。コンピュータ100は、制御部110、通信部120、記憶部130、入力部140、出力部150から構成される。制御部110は、記憶部130と協働して構成要素解析モジュール111、学習モジュール113を実現する。また、制御部110は、通信部120、記憶部130、入力部140と協働して状況取得モジュール112を実現する。また、制御部110は、通信部120、記憶部130、出力部150と協働して物体状況推測モジュール114を実現する。通信部120は、通信網を介して、コンピュータ100と状況判断システム1のユーザの端末(非図示)との通信を可能とする。
図3は、物体状況判断処理のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
図4は、構成要素解析処理のフローチャート図である。図3のステップS302の処理に該当する。
図5は、物体状況推測処理のフローチャート図である。図3のステップS307の処理に該当する。
図8は、物体状況判断システム1の出力の画面の一例である。図3のステップS308で、コンピュータ100の出力部150又はユーザの利用する端末の出力部に、このような画面810を表示してもよい。ボタン806で物体状況判断システム1のメニュー画面に戻り、ボタン807で物体状況判断システム1を終了するものとする。表示801として、入力画像の状況判断結果を推測結果として文字で表示している。図8の例では、推測結果は「恋人」である。また、表示802として、推測結果の他の候補を表示している。図5のフローチのャートでは、該当する推測結果が1つのみの場合を説明したが、例えば類似の学習済データが複数あった場合等の該当する推測結果が複数ある場合に、複数の推測結果を表示してもよい。また、表示803として、ユーザからのフィードバックを受ける場合の例を示している。ユーザから、推測がふさわしかったか、ふさわしくなかったかのフィードバックを受けて、その結果を教師データとして再度学習を行うことで、より物体状況判断システム1の精度を上げることが可能となる。ラジオボタンで「満足(推測が相応しい)」か「不満足(推測結果が相応しくない)」かを選択し、「不満足(推測結果が相応しくない)」である場合には、テキストボックス804に正しい結果を入力してもらい、ボタン805でフィードバックを送信してもらう。物体状況判断システム1が文字データを受信して、フィードバックされた文字を状況データとし、入力画像とあわせて図3のステップS301からS304を行うことで、新たな学習が可能である。
Claims (6)
- 学習用の画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析する構成要素解析手段と、
前記物体がどのような状況であるかの状況データの文字を取得して、その文字に関連した複数の画像を、画像検索コンピュータで検索して取得する状況取得手段と、
取得した複数の画像の構成要素を、前記構成要素解析手段により解析し、各画像の構成要素の組み合わせと、取得した前記状況データを関係づけて学習する学習手段と、
所定の画像に対して前記構成要素解析手段により解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測する物体状況推測手段と、
を備えることを特徴とする物体状況判断システム。 - 前記画像内に複数の物体が撮影されている場合に、
前記構成要素解析手段は、複数の物体それぞれを画像解析し、解析された物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景の少なくとも2つを前記画像内の特徴点を抽出して解析し、
前記複数の物体が全体として何を行っているかを解析することを特徴とする請求項1に記載の物体状況判断システム。 - 前記画像内に複数の物体が撮影されている場合に、
前記構成要素解析手段は、物体の組み合わせ、物体間の相対位置、物体の部位の相対位置の少なくとも1つを構成要素として抽出して解析することを特徴とする請求項1又は請求項2に記載の物体状況判断システム。 - 前記状況取得手段は、前記画像を用いた検索を行うことで、前記文字を取得することを特徴とする請求項1から請求項3の何れか一項に記載の物体状況判断システム。
- 物体状況判断システムに、
学習用の画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析するステップと、
前記物体がどのような状況であるかの状況データの文字を取得して、その文字に関連した複数の画像を、検索する画像検索コンピュータで検索して取得するステップと、
取得した複数の画像の構成要素を、前記解析するステップにより解析し、各画像の構成要素の組み合わせと、取得した前記状況データを関係づけて学習するステップと、
所定の画像に対して前記解析するステップにより解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測するステップと、
を備えることを特徴とする物体状況判断方法。 - 物体状況判断システムに、
学習用の画像内に撮影された物体、当該物体の姿勢、形、方向、表情、当該物体の部位の種類、位置、撮影された画像の背景、の少なくとも2つに関する構成要素を前記画像内の特徴点を抽出して解析するステップ、
前記物体がどのような状況であるかの状況データの文字を取得して、その文字に関連した複数の画像を、検索する画像検索コンピュータで検索して取得するステップ、
取得した複数の画像の構成要素を、前記解析するステップにより解析し、各画像の構成要素の組み合わせと、取得した前記状況データを関係づけて学習するステップ、
所定の画像に対して前記解析するステップにより解析された結果が、前記構成要素の組み合わせと類似又は同一の場合に、前記状況データの学習結果に基づいて、前記物体の状況を推測するステップ、
を実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/036000 WO2020065839A1 (ja) | 2018-09-27 | 2018-09-27 | 物体状況判断システム、物体状況判断方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020065839A1 JPWO2020065839A1 (ja) | 2021-08-30 |
JP6963352B2 true JP6963352B2 (ja) | 2021-11-05 |
Family
ID=69950517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020547731A Active JP6963352B2 (ja) | 2018-09-27 | 2018-09-27 | 物体状況判断システム、物体状況判断方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11210335B2 (ja) |
JP (1) | JP6963352B2 (ja) |
CN (1) | CN113646800A (ja) |
WO (1) | WO2020065839A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7348754B2 (ja) * | 2019-06-03 | 2023-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100122A (ja) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 |
JP2007209008A (ja) | 2003-10-21 | 2007-08-16 | Matsushita Electric Ind Co Ltd | 監視装置 |
JP2007041762A (ja) * | 2005-08-02 | 2007-02-15 | Seiko Epson Corp | 画像認識装置 |
JP2010092199A (ja) * | 2008-10-07 | 2010-04-22 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
CN102422286A (zh) * | 2009-03-11 | 2012-04-18 | 香港浸会大学 | 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签 |
US20110047163A1 (en) * | 2009-08-24 | 2011-02-24 | Google Inc. | Relevance-Based Image Selection |
JP4926266B2 (ja) * | 2010-07-13 | 2012-05-09 | ヤフー株式会社 | 学習データ作成装置、学習データ作成方法及びプログラム |
CN102298604A (zh) * | 2011-05-27 | 2011-12-28 | 中国科学院自动化研究所 | 基于多媒体分析的视频事件检测方法 |
JP6402653B2 (ja) * | 2015-03-05 | 2018-10-10 | オムロン株式会社 | 物体認識装置、物体認識方法、およびプログラム |
KR101833359B1 (ko) * | 2016-03-22 | 2018-02-28 | 고려대학교 산학협력단 | 차량의 외부 영상 빅데이터를 이용한 교통 정보 수집 방법 및 장치 |
CN107562742B (zh) * | 2016-06-30 | 2021-02-05 | 江苏苏宁云计算有限公司 | 一种图像数据处理方法及装置 |
JP6216024B1 (ja) | 2016-11-15 | 2017-10-18 | 株式会社Preferred Networks | 学習済モデル生成方法及び信号データ判別装置 |
CN108268510B (zh) * | 2016-12-30 | 2022-01-28 | 华为技术有限公司 | 一种图像标注方法和装置 |
CN106886580B (zh) * | 2017-01-23 | 2020-01-17 | 北京工业大学 | 一种基于深度学习的图片情感极性分析方法 |
CN111507216A (zh) * | 2017-11-03 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 无人值守场景中非法行为的识别方法和装置 |
CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
US10540554B2 (en) * | 2018-03-29 | 2020-01-21 | Toyota Jidosha Kabushiki Kaisha | Real-time detection of traffic situation |
-
2018
- 2018-09-27 JP JP2020547731A patent/JP6963352B2/ja active Active
- 2018-09-27 CN CN201880099698.3A patent/CN113646800A/zh active Pending
- 2018-09-27 WO PCT/JP2018/036000 patent/WO2020065839A1/ja active Application Filing
- 2018-09-27 US US17/280,450 patent/US11210335B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210311986A1 (en) | 2021-10-07 |
JPWO2020065839A1 (ja) | 2021-08-30 |
WO2020065839A1 (ja) | 2020-04-02 |
US11210335B2 (en) | 2021-12-28 |
CN113646800A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10616475B2 (en) | Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium | |
CN106713811B (zh) | 视频通话方法和装置 | |
US20140198954A1 (en) | Systems and methods of detecting body movements using globally generated multi-dimensional gesture data | |
CN106874826A (zh) | 人脸关键点跟踪方法和装置 | |
CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
US9536132B2 (en) | Facilitating image capture and image review by visually impaired users | |
US10719695B2 (en) | Method for pushing picture, mobile terminal, and storage medium | |
CN103988202A (zh) | 基于索引和搜索的图像吸引力 | |
US8917957B2 (en) | Apparatus for adding data to editing target data and displaying data | |
TWI670628B (zh) | 動作評量模型生成裝置及其動作評量模型生成方法 | |
CN109919077A (zh) | 姿态识别方法、装置、介质和计算设备 | |
CN111240482A (zh) | 一种特效展示方法及装置 | |
CN112995757B (zh) | 视频剪裁方法及装置 | |
WO2018214115A1 (zh) | 一种评价脸妆的方法及装置 | |
CN111401318A (zh) | 动作识别方法及装置 | |
JPWO2020050413A1 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
CN113657087A (zh) | 信息的匹配方法及装置 | |
EP3200092A1 (en) | Method and terminal for implementing image sequencing | |
JP6963352B2 (ja) | 物体状況判断システム、物体状況判断方法、およびプログラム | |
JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
KR102482841B1 (ko) | 인공지능 미러링 놀이 가방 | |
CN110750193B (zh) | 一种基于人工智能的场景拓扑确定方法和装置 | |
CN111582281B (zh) | 一种图片显示优化的方法、装置、电子设备和存储介质 | |
CN111428523B (zh) | 翻译语料生成方法、装置、计算机设备及存储介质 | |
CN111931510A (zh) | 一种基于神经网络的意图识别方法及装置、终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210401 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |