JP7845467B2 - オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム - Google Patents
オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラムInfo
- Publication number
- JP7845467B2 JP7845467B2 JP2024528847A JP2024528847A JP7845467B2 JP 7845467 B2 JP7845467 B2 JP 7845467B2 JP 2024528847 A JP2024528847 A JP 2024528847A JP 2024528847 A JP2024528847 A JP 2024528847A JP 7845467 B2 JP7845467 B2 JP 7845467B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- map
- images
- model
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Description
本発明は、画像からオブジェクトを検出する技術に関する。
画像からオブジェクトを検出する技術が知られている。オブジェクト検出において、主画像に加えて（対象物体がないとき等の）背景画像を併用できるときは、差分情報による検出精度の向上が見込める。例えば特許文献１には、オブジェクトを含む入力画像と背景画像とを用いてオブジェクトの位置を検出することが記載されている。また、非特許文献１及び非特許文献２には、追加情報として深度画像を利用する学習方式（privileged learning）が提案されている。
Judy Hoffman et al., "Learning with Side Information through Modality Hallucination" in CVPR 2016
Shanxin Yuan et al., "3D Hand Pose Estimation from RGB Using Privileged Learning with Depth Data" in ICCV 2019
しかしながら、特許文献１に記載の技術では、推論の実行のために常に背景画像が必要であり、新規撮影地点でのオブジェクト検出を行う場合など背景画像が得られない状況では推論を実行できないという問題がある。また、非特許文献１及び２に記載の技術では、反対に、推論時に背景画像があっても背景画像を活用できないという問題がある。
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現することである。
本発明の一側面に係るオブジェクト検出装置は、第１の画像を取得する画像取得手段と、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段と、前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段とを備え、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う。
本発明の一側面に係る学習装置は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段と、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段とを備えている。
本発明の一側面に係るオブジェクト検出方法は、第１の画像を取得することと、第１のモデルを用いて前記第１の画像から第１のマップを算出することと、前記第１のマップを少なくとも参照してオブジェクト検出を行うこととを含み、前記第１の画像に加えて第２の画像も取得した場合に、前記算出する工程において、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記オブジェクト検出を行う工程において、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う。
本発明の一側面に係る学習方法は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得することと、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させることと、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させることとを含む。
本発明の一側面に係るオブジェクト検出プログラムは、コンピュータを、第１の画像を取得する画像取得手段、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段、及び前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段、として機能させるオブジェクト検出プログラムであって、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う。
本発明の一側面に係る学習プログラムは、コンピュータを、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段、及び前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段、として機能させる。
本発明の一態様によれば、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できる。
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
（オブジェクト検出装置の構成）
本例示的実施形態に係るオブジェクト検出装置１の構成について、図１を参照して説明する。図１は、オブジェクト検出装置１の構成を示すブロック図である。オブジェクト検出装置１は、画像取得部１１、算出部１２及び検出部１３を備える。
本例示的実施形態に係るオブジェクト検出装置１の構成について、図１を参照して説明する。図１は、オブジェクト検出装置１の構成を示すブロック図である。オブジェクト検出装置１は、画像取得部１１、算出部１２及び検出部１３を備える。
画像取得部１１は、第１の画像を取得する。算出部１２は、第１のモデルを用いて上記第１の画像から第１のマップを算出する。検出部１３は、上記第１のマップを少なくとも参照してオブジェクト検出を行う。
また、画像取得部１１が上記第１の画像に加えて第２の画像も取得した場合に、算出部１２は、第２のモデルを用いて、上記第２の画像から、又は上記第１の画像と上記第２の画像とから第２のマップを算出し、検出部１３は、上記第１のマップに加え、上記第２のマップも参照してオブジェクト検出を行う。
以上のように、本例示的実施形態に係るオブジェクト検出装置１においては、第１の画像を取得する画像取得部１１と、第１のモデルを用いて上記第１の画像から第１のマップを算出する算出部１２と、上記第１のマップを少なくとも参照してオブジェクト検出を行う検出部１３とを備え、画像取得部１１が上記第１の画像に加えて第２の画像も取得した場合に、算出部１２は、第２のモデルを用いて、上記第２の画像から、又は上記第１の画像と上記第２の画像とから第２のマップを算出し、検出部１３は、上記第１のマップに加え、上記第２のマップも参照してオブジェクト検出を行う構成が採用されている。このため、本例示的実施形態に係るオブジェクト検出装置１によれば、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できるという効果が得られる。
（オブジェクト検出方法の流れ）
本例示的実施形態に係るオブジェクト検出方法Ｓ１の流れについて、図２を参照して説明する。図２は、オブジェクト検出方法Ｓ１の流れを示すフロー図である。オブジェクト検出方法Ｓ１における各ステップの実行主体は、オブジェクト検出装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
本例示的実施形態に係るオブジェクト検出方法Ｓ１の流れについて、図２を参照して説明する。図２は、オブジェクト検出方法Ｓ１の流れを示すフロー図である。オブジェクト検出方法Ｓ１における各ステップの実行主体は、オブジェクト検出装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
ステップＳ１１では、少なくとも１つのプロセッサが、第１の画像を取得する。ステップＳ１２では、少なくとも１つのプロセッサが、第１のモデルを用いて上記第１の画像から第１のマップを算出する。ステップＳ１３では、少なくとも１つのプロセッサが、上記第１のマップを少なくとも参照してオブジェクト検出を行う。
また、上記第１の画像に加えて第２の画像も取得した場合に、少なくとも１つのプロセッサが、上記算出する工程において、第２のモデルを用いて、上記第２の画像から、又は上記第１の画像と上記第２の画像とから第２のマップを算出し、少なくとも１つのプロセッサが、上記オブジェクト検出を行う工程において、上記第１のマップに加え、上記第２のマップも参照してオブジェクト検出を行う。
以上のように、本例示的実施形態に係るオブジェクト検出方法Ｓ１は、第１の画像を取得することと、第１のモデルを用いて上記第１の画像から第１のマップを算出することと、上記第１のマップを少なくとも参照してオブジェクト検出を行うこととを含み、上記第１の画像に加えて第２の画像も取得した場合に、上記算出する工程において、第２のモデルを用いて、上記第２の画像から、又は上記第１の画像と上記第２の画像とから第２のマップを算出し、上記オブジェクト検出を行う工程において、上記第１のマップに加え、上記第２のマップも参照してオブジェクト検出を行う構成が採用されている。このため、本例示的実施形態に係るオブジェクト検出方法Ｓ１によれば、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できるという効果が得られる。
（学習装置の構成）
本例示的実施形態に係る学習装置２の構成について、図３を参照して説明する。図３は、学習装置２の構成を示すブロック図である。学習装置２は、教師データ取得部２１、第１の学習部２２及び第２の学習部２３を備える。
本例示的実施形態に係る学習装置２の構成について、図３を参照して説明する。図３は、学習装置２の構成を示すブロック図である。学習装置２は、教師データ取得部２１、第１の学習部２２及び第２の学習部２３を備える。
教師データ取得部２１は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する。第１の学習部２２は、第１の画像から第１のマップを算出する第１のモデルを、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して学習させる。第２の学習部２３は、上記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して学習させる。
以上のように、本例示的実施形態に係る学習装置２においては、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得部２１と、第１の画像から第１のマップを算出する第１のモデルを、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して学習させる第１の学習部２２と、上記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して学習させる第２の学習部２３とを備える構成が採用されている。このため、本例示的実施形態に係る学習装置２によれば、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現するモデルを提供できるという効果が得られる。
（学習方法の流れ）
本例示的実施形態に係る学習方法Ｓ２の流れについて、図４を参照して説明する。図４は、学習方法Ｓ２の流れを示すフロー図である。学習方法Ｓ２における各ステップの実行主体は、学習装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
本例示的実施形態に係る学習方法Ｓ２の流れについて、図４を参照して説明する。図４は、学習方法Ｓ２の流れを示すフロー図である。学習方法Ｓ２における各ステップの実行主体は、学習装置２が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
ステップＳ２１では、少なくとも１つのプロセッサが、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する。ステップＳ２２では、少なくとも１つのプロセッサが、第１の画像から第１のマップを算出する第１のモデルを、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して学習させる。ステップＳ２３では、少なくとも１つのプロセッサが、上記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して学習させる。
以上のように、本例示的実施形態に係る学習方法Ｓ２は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得することと、第１の画像から第１のマップを算出する第１のモデルを、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して学習させることと、上記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して学習させることとを含む。このため、本例示的実施形態に係る学習方法Ｓ２によれば、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できるモデルを提供できるという効果が得られる。
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
＜情報処理装置の構成＞
図５は、例示的実施形態２に係る情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、画像からオブジェクトを検出する装置である。ここで、オブジェクトは一例として、衛星画像に含まれる車両又は人物等の移動体である。ただし、オブジェクトは上述した例に限られない。
図５は、例示的実施形態２に係る情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、画像からオブジェクトを検出する装置である。ここで、オブジェクトは一例として、衛星画像に含まれる車両又は人物等の移動体である。ただし、オブジェクトは上述した例に限られない。
情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ及び通信部４０Ａを備える。
（入出力部）
入出力部３０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部３０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。また、入出力部３０Ａは、表示パネル、スピーカ、キーボード、マウス、タッチパネル等を備えていてもよい。
入出力部３０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部３０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。また、入出力部３０Ａは、表示パネル、スピーカ、キーボード、マウス、タッチパネル等を備えていてもよい。
（通信部）
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
（制御部）
制御部１０Ａは、画像取得部１１、算出部１２、検出部１３、判定部１４、及び提示部１５を備える。
制御部１０Ａは、画像取得部１１、算出部１２、検出部１３、判定部１４、及び提示部１５を備える。
（画像取得部）
画像取得部１１は、第１の画像ＩＭＧ１、又は、第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を取得する。第１の画像ＩＭＧ１は、オブジェクトの検出処理の対象であり、一例として、オブジェクトを撮影した画像である。オブジェクトは一例として、車両又は人物等の移動体であるが、オブジェクトはこれらに限定されない。第１の画像ＩＭＧ１は、一例として、Ｒ、Ｇ、Ｂチャネルの画像を含む。ただし、第１の画像ＩＭＧ１は上述した例に限られず、他の画像であってもよい。
画像取得部１１は、第１の画像ＩＭＧ１、又は、第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を取得する。第１の画像ＩＭＧ１は、オブジェクトの検出処理の対象であり、一例として、オブジェクトを撮影した画像である。オブジェクトは一例として、車両又は人物等の移動体であるが、オブジェクトはこれらに限定されない。第１の画像ＩＭＧ１は、一例として、Ｒ、Ｇ、Ｂチャネルの画像を含む。ただし、第１の画像ＩＭＧ１は上述した例に限られず、他の画像であってもよい。
第２の画像ＩＭＧ２は、オブジェクトの検出処理に用いられる画像であり、一例として、第１の画像ＩＭＧ１に対応する背景画像、深度センサによりセンシングされた深度画像、又は赤外線カメラで撮影した赤外画像である。ただし、第２の画像ＩＭＧ２は上述した例に限られず、他の画像であってもよい。
（算出部）
算出部１２は、第１のモデルＭＤ１を用いて第１の画像ＩＭＧ１から第１のマップＭＡＰ１を算出する。ここで、第１のモデルＭＤ１は、第１の画像ＩＭＧ１を入力とし、第１のマップＭＡＰ１を出力するモデルであり、一例として畳み込みニューラルネットワークである。また、第１のマップＭＡＰ１は、第１の画像ＩＭＧ１から算出されるマップであり、一例として、第１の画像ＩＭＧ１に対する畳み込み演算等の処理により得られる特徴マップである。算出部１２が算出する第１のマップは、オブジェクトの検出処理において参照される。
算出部１２は、第１のモデルＭＤ１を用いて第１の画像ＩＭＧ１から第１のマップＭＡＰ１を算出する。ここで、第１のモデルＭＤ１は、第１の画像ＩＭＧ１を入力とし、第１のマップＭＡＰ１を出力するモデルであり、一例として畳み込みニューラルネットワークである。また、第１のマップＭＡＰ１は、第１の画像ＩＭＧ１から算出されるマップであり、一例として、第１の画像ＩＭＧ１に対する畳み込み演算等の処理により得られる特徴マップである。算出部１２が算出する第１のマップは、オブジェクトの検出処理において参照される。
また、画像取得部１１が第１の画像ＩＭＧ１に加えて第２の画像ＩＭＧ２も取得した場合、算出部１２は、第２のモデルＭＤ２を用いて、第２の画像ＩＭＧ２から、又は第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とから、第２のマップＭＡＰ２を算出する。第２のモデルＭＤ２は、第２のマップＭＡＰ２を出力するモデルであり、一例として畳み込みニューラルネットワークである。ここで、第２のモデルＭＤ２の入力は、一例として、第２の画像ＩＭＧ２、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２を含む。第２のマップＭＡＰ２は、第２の画像ＩＭＧ２、又は、第１の画像及び第２の画像から算出されるマップである。第２のマップＭＡＰ２は、一例として、第２の画像の特徴を表す特徴マップ、又は、第２の画像ＩＭＧ２と第１の画像ＩＭＧ１との差分を表す重みマップである。
（検出部）
検出部１３は、第１のマップＭＡＰ１を少なくとも参照してオブジェクト検出を行う。検出部１３は一例として、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with CNN features）、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ（You Only Look Once）等のオブジェクト検出の手法によりオブジェクト検出を行う。ここで、検出部１３は、Ｆａｓｔｅｒ Ｒ－ＣＮＮの後段（Ｒ－ＣＮＮ）、あるいは算出部１２と接続した検出部１３がＦａｓｔｅｒ Ｒ－ＣＮＮの前段（ＲＰＮ（Region Proposal Networks））、ＳＳＤ、ＹＯＬＯなどのモデルとなっていてもよい。ただし、検出部１３がオブジェクト検出を行う手法は上述した例に限られず、検出部１３は他の手法によりオブジェクト検出を行ってもよい。
検出部１３は、第１のマップＭＡＰ１を少なくとも参照してオブジェクト検出を行う。検出部１３は一例として、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with CNN features）、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ（You Only Look Once）等のオブジェクト検出の手法によりオブジェクト検出を行う。ここで、検出部１３は、Ｆａｓｔｅｒ Ｒ－ＣＮＮの後段（Ｒ－ＣＮＮ）、あるいは算出部１２と接続した検出部１３がＦａｓｔｅｒ Ｒ－ＣＮＮの前段（ＲＰＮ（Region Proposal Networks））、ＳＳＤ、ＹＯＬＯなどのモデルとなっていてもよい。ただし、検出部１３がオブジェクト検出を行う手法は上述した例に限られず、検出部１３は他の手法によりオブジェクト検出を行ってもよい。
また、画像取得部１１が第１の画像ＩＭＧ１に加えて第２の画像ＩＭＧ２も取得した場合、検出部１３は、第１のマップＭＡＰ１に加え、第２のマップＭＡＰ２も参照してオブジェクト検出を行う。一例として、検出部１３は、第１のマップＭＡＰ１と第２のマップＭＡＰ２とを用いた演算により得られる第３のマップを参照してオブジェクト検出を行う。
第３のマップは、第１のマップＭＡＰ１と第２のマップＭＡＰ２とを用いた演算により得られるマップであり、一例として、第１のマップＭＡＰ１に第２のマップＭＡＰ２を乗算して得られるマップである。この場合、換言すると、画像取得部１１が第１の画像ＩＭＧ１に加えて第２の画像ＩＭＧ２も取得した場合に、検出部１３は、第１のマップＭＡＰ１に第２のマップＭＡＰ２を乗算して得られる第３のマップを参照してオブジェクト検出を行う。ただし、第３のマップは上述した例に限られず、他の演算により得られるマップであってもよい。第３のマップは例えば、第１のマップＭＡＰ１に第２のマップＭＡＰ２を加算して得られるマップであってもよい。
（判定部）
判定部１４は、画像取得部１１が第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを判定する判定処理を行う。判定部１４は一例として、第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを示すフラグを参照して上記判定処理を行う。ただし、判定部１４の判定処理は上述した例に限られず、判定部１４は他の手法により上記判定処理を行ってもよい。
判定部１４は、画像取得部１１が第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを判定する判定処理を行う。判定部１４は一例として、第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを示すフラグを参照して上記判定処理を行う。ただし、判定部１４の判定処理は上述した例に限られず、判定部１４は他の手法により上記判定処理を行ってもよい。
（提示部）
提示部１５は、検出部１３によるオブジェクト検出の結果を提示する。提示部１５は上記結果を入出力部３０Ａに接続された出力装置（ディスプレイ、スピーカ、プリンタ、等）に出力することにより提示してもよく、また、通信部４０Ａを介して接続された他の装置に送信してもよい。提示部１５は一例として、オブジェクト検出の結果を表す画像を入出力部３０Ａが備える表示パネルに表示する。
提示部１５は、検出部１３によるオブジェクト検出の結果を提示する。提示部１５は上記結果を入出力部３０Ａに接続された出力装置（ディスプレイ、スピーカ、プリンタ、等）に出力することにより提示してもよく、また、通信部４０Ａを介して接続された他の装置に送信してもよい。提示部１５は一例として、オブジェクト検出の結果を表す画像を入出力部３０Ａが備える表示パネルに表示する。
（記憶部）
記憶部２０Ａは、第１の画像ＩＭＧ１、第２の画像ＩＭＧ２、第１のマップＭＡＰ１、第２のマップＭＡＰ２、第１のモデルＭＤ１、第２のモデルＭＤ２及び検出結果ＤＲを記憶する。
記憶部２０Ａは、第１の画像ＩＭＧ１、第２の画像ＩＭＧ２、第１のマップＭＡＰ１、第２のマップＭＡＰ２、第１のモデルＭＤ１、第２のモデルＭＤ２及び検出結果ＤＲを記憶する。
＜オブジェクト検出処理の概要＞
図６は、情報処理装置１Ａが実行するオブジェクト検出処理の概要の一例を示す図である。図６の例で、算出部１２は、第１の算出部１２－１及び第２の算出部１２－２を備える。第１の算出部１２－１は、第１のモデルＭＤ１を用いて第１の画像ＩＭＧ１から第１のマップＭＡＰ１を算出する。また、第２の算出部１２－２は、第２のモデルＭＤ２を用いて、第２の画像ＩＭＧ２から、又は第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とから第２のマップＭＡＰ２を算出する。第２のマップＭＡＰ２は一例として、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２との差分を表す重みマップである。なお、第２の画像ＩＭＧ２が取得されていない場合、算出部１２は第２のマップＭＡＰ２の算出処理を行わない。
図６は、情報処理装置１Ａが実行するオブジェクト検出処理の概要の一例を示す図である。図６の例で、算出部１２は、第１の算出部１２－１及び第２の算出部１２－２を備える。第１の算出部１２－１は、第１のモデルＭＤ１を用いて第１の画像ＩＭＧ１から第１のマップＭＡＰ１を算出する。また、第２の算出部１２－２は、第２のモデルＭＤ２を用いて、第２の画像ＩＭＧ２から、又は第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とから第２のマップＭＡＰ２を算出する。第２のマップＭＡＰ２は一例として、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２との差分を表す重みマップである。なお、第２の画像ＩＭＧ２が取得されていない場合、算出部１２は第２のマップＭＡＰ２の算出処理を行わない。
また、検出部１３は、乗算部１３－１及び検出実行部１３－２を備える。乗算部１３－１は、第１のマップＭＡＰ１に第２のマップＭＡＰ２を乗算して第３のマップを算出する。乗算部１３－１は、第１のマップＭＡＰ１の全部に乗算処理を適用してもよく、また、第１のマップＭＡＰ１の一部に乗算処理を適用してもよい。
画像取得部１１が第２の画像ＩＭＧ２を取得した場合、検出実行部１３－２は第３のマップを参照してオブジェクト検出を行う。一方、画像取得部１１が第２の画像ＩＭＧ２を取得していない場合、検出実行部１３－２は第１のマップＭＡＰ１を参照してオブジェクト検出を行う。
検出実行部１３－２は一例として、特徴マップ（第１のマップＭＡＰ１又は第３のマップ）を学習済モデルに入力して得られる出力に基づき、オブジェクトを検出する。ここで、学習済モデルは一例として、教師あり機械学習により構築されたモデルであり、例えば畳み込みニューラルネットワークである。当該学習済モデルの入力は一例として、候補領域の特徴マップを含み、当該学習済モデルの出力は一例として、オブジェクト種別とオブジェクトの外接矩形を示す情報とを含む。検出実行部１３－２が特徴マップからオブジェクトを検出する手法としては、例えば上述のＦａｓｔｅｒ Ｒ－ＣＮＮ、ＳＳＤ等の手法が挙げられる。
＜オブジェクト検出処理の具体例＞
図７は、例示的実施形態２に係るオブジェクト検出処理の具体例を示す図である。図７の例で、主画像ＩＭＧ１＿１は第１の画像ＩＭＧ１の一例であり、追加画像ＩＭＧ２＿１は第２の画像ＩＭＧ２の一例である。図７の例では、画像取得部１１は、上述のＲＰＮにより抽出された候補領域の画像である主画像ＩＭＧ１＿１と、当該候補領域の背景画像である追加画像ＩＭＧ２＿１とを取得する。主画像ＩＭＧ１＿１はオブジェクトを撮影した画像の一部であり、追加画像ＩＭＧ２＿１は主画像ＩＭＧ１＿１画像に対応する撮影画像であってオブジェクトを含まない撮影画像の一部である。
図７は、例示的実施形態２に係るオブジェクト検出処理の具体例を示す図である。図７の例で、主画像ＩＭＧ１＿１は第１の画像ＩＭＧ１の一例であり、追加画像ＩＭＧ２＿１は第２の画像ＩＭＧ２の一例である。図７の例では、画像取得部１１は、上述のＲＰＮにより抽出された候補領域の画像である主画像ＩＭＧ１＿１と、当該候補領域の背景画像である追加画像ＩＭＧ２＿１とを取得する。主画像ＩＭＧ１＿１はオブジェクトを撮影した画像の一部であり、追加画像ＩＭＧ２＿１は主画像ＩＭＧ１＿１画像に対応する撮影画像であってオブジェクトを含まない撮影画像の一部である。
主画像ＩＭＧ１＿１は、オブジェクトｏ１と、オブジェクトｏ２とを含む。オブジェクトｏ１は検出対象のオブジェクトである。一方、オブジェクトｏ２は追加画像ＩＭＧ２＿１にも含まれるオブジェクトであり、検出する必要のないオブジェクトである。このように、特徴マップＭＡＰ１＿１は、検出対象であるオブジェクトｏ１とは異なる、誤った注目であるオブジェクトｏ２を含む。
算出部１２は、主画像ＩＭＧ１＿１を第１のモデルＭＤ１に入力することにより、特徴マップＭＡＰ１＿１を算出する。特徴マップＭＡＰ１＿１は第１のマップＭＡＰ１の一例である。また、算出部１２は、主画像ＩＭＧ１＿１と追加画像ＩＭＧ２＿１とを第２のモデルＭＤ２に入力することにより、重みマップＭＡＰ２＿１を算出する。重みマップＭＡＰ２＿１は第２のマップＭＡＰ２の一例である。ここで、オブジェクトｏ２は主画像ＩＭＧ１＿１と追加画像ＩＭＧ２＿１の両方に含まれているため、両者の差分を表す重みマップＭＡＰ２＿１にはオブジェクトｏ２は現れないか、又は現れにくい。
検出部１３は、特徴マップＭＡＰ１＿１に重みマップＭＡＰ２＿１を乗算して特徴マップＭＡＰ３＿１を算出する。特徴マップＭＡＰ３＿１は第３のマップの一例である。重みマップＭＡＰ２＿１を特徴マップＭＡＰ１＿１に乗算することにより、特徴マップＭＡＰ１＿１に含まれていたオブジェクトｏ２は特徴マップＭＡＰ３＿１には現れないか、又は現れにくくなる。
検出部１３は、特徴マップＭＡＰ３＿１を参照してオブジェクトの検出結果ＤＲ＿１（オブジェクトの種別とオブジェクトの外接矩形の再推定結果）を算出する。検出結果ＤＲ＿１は、一例として、提示部１５により提示される。
＜オブジェクト検出方法の流れ＞
図８は、例示的実施形態２に係るオブジェクト検出方法の一例の流れを示すフロー図である。
図８は、例示的実施形態２に係るオブジェクト検出方法の一例の流れを示すフロー図である。
（ステップＳ２０１）
ステップＳ２０１において、算出部１２は、主画像ＩＭＧ１＿１から特徴マップＭＡＰ１＿１を算出する。
ステップＳ２０１において、算出部１２は、主画像ＩＭＧ１＿１から特徴マップＭＡＰ１＿１を算出する。
（ステップＳ２０２）
ステップＳ２０２において、判定部１４は、追加画像ＩＭＧ２＿１があるかを判定する。判定部１４は一例として、所定のフラグ（例えば、主画像ＩＭＧ１＿１に付されたフラグ）を参照して追加画像ＩＭＧ２＿１があるかを判定する。追加画像ＩＭＧ２＿１がある場合（ステップＳ２０２にて「ＹＥＳ」）、判定部１４はステップＳ２０３の処理に進む。一方、追加画像ＩＭＧ２＿１がない場合（ステップＳ２０２にて「ＮＯ」）、判定部１４はステップＳ２０４の処理に進む。
ステップＳ２０２において、判定部１４は、追加画像ＩＭＧ２＿１があるかを判定する。判定部１４は一例として、所定のフラグ（例えば、主画像ＩＭＧ１＿１に付されたフラグ）を参照して追加画像ＩＭＧ２＿１があるかを判定する。追加画像ＩＭＧ２＿１がある場合（ステップＳ２０２にて「ＹＥＳ」）、判定部１４はステップＳ２０３の処理に進む。一方、追加画像ＩＭＧ２＿１がない場合（ステップＳ２０２にて「ＮＯ」）、判定部１４はステップＳ２０４の処理に進む。
（ステップＳ２０３）
ステップＳ２０３において、検出部１３は、追加画像ＩＭＧ２＿１から算出された重みマップＭＡＰ２＿１を特徴マップＭＡＰ１＿１に乗算し、特徴マップＭＡＰ３＿１を算出する。
ステップＳ２０３において、検出部１３は、追加画像ＩＭＧ２＿１から算出された重みマップＭＡＰ２＿１を特徴マップＭＡＰ１＿１に乗算し、特徴マップＭＡＰ３＿１を算出する。
（ステップＳ２０４）
ステップＳ２０４において、検出部１３は、ステップＳ２０３で算出した特徴マップＭＡＰ３＿１からオブジェクトの検出結果を算出する。
ステップＳ２０４において、検出部１３は、ステップＳ２０３で算出した特徴マップＭＡＰ３＿１からオブジェクトの検出結果を算出する。
＜情報処理装置の効果＞
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、画像取得部１１が第１の画像ＩＭＧ１に加えて第２の画像ＩＭＧ２も取得した場合に、検出部１３は、第１のマップＭＡＰ１に第２のマップＭＡＰ２を乗算して得られる第３のマップを参照してオブジェクト検出を行う構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、第２のマップＭＡＰ２を第１のマップＭＡＰ１に乗算して得られる第３のマップを参照してオブジェクト検出を行うことにより、オブジェクトをより精度よく検出できるという効果が得られる。
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、画像取得部１１が第１の画像ＩＭＧ１に加えて第２の画像ＩＭＧ２も取得した場合に、検出部１３は、第１のマップＭＡＰ１に第２のマップＭＡＰ２を乗算して得られる第３のマップを参照してオブジェクト検出を行う構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、第２のマップＭＡＰ２を第１のマップＭＡＰ１に乗算して得られる第３のマップを参照してオブジェクト検出を行うことにより、オブジェクトをより精度よく検出できるという効果が得られる。
また、本例示的実施形態に係る情報処理装置１Ａにおいては、画像取得部１１が第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを判定する判定処理を行う判定部１４を更に備えるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、第２の画像を取得する場合としない場合との両方の場合でオブジェクトを検出でき、かつ、第２の画像がある場合にオブジェクトをより精度よく検出できるという効果が得られる。より具体的には、例えば、主画像に加えて背景画像が得られる場合がある状況で、背景画像を推論時の精度向上に活用することができる。
また、本例示的実施形態に係る情報処理装置１Ａにおいては、判定部１４は、第１の画像ＩＭＧ１を取得するのか、又は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とを取得するのかを示すフラグを参照して上記判定処理を行うという構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、第２の画像を取得するかをフラグを参照して判定することにより、第２の画像を取得する場合としない場合との両方の場合でオブジェクトを検出でき、かつ、第２の画像がある場合にオブジェクトをより精度よく検出できるという効果が得られる。
〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
＜情報処理装置の構成＞
図９は、例示的実施形態３に係る情報処理装置１Ｂの構成を示すブロック図である。情報処理装置１Ｂの制御部１０Ａは、画像取得部１１、算出部１２、検出部１３、判定部１４及び提示部１５に加えて、教師データ取得部１６、第１の学習部１７及び第２の学習部１８を備える。教師データ取得部１６、第１の学習部１７及び第２の学習部１８が本明細書に係る学習装置を構成する。
図９は、例示的実施形態３に係る情報処理装置１Ｂの構成を示すブロック図である。情報処理装置１Ｂの制御部１０Ａは、画像取得部１１、算出部１２、検出部１３、判定部１４及び提示部１５に加えて、教師データ取得部１６、第１の学習部１７及び第２の学習部１８を備える。教師データ取得部１６、第１の学習部１７及び第２の学習部１８が本明細書に係る学習装置を構成する。
（教師データ取得部）
教師データ取得部１６は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する。ここで、第１の画像、第２の画像は上述した例示的実施形態２において説明した通りである。ラベル情報は一例として、オブジェクトの種別を示す情報を含む。
教師データ取得部１６は、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する。ここで、第１の画像、第２の画像は上述した例示的実施形態２において説明した通りである。ラベル情報は一例として、オブジェクトの種別を示す情報を含む。
（第１の学習部）
第１の学習部１７は、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１を機械学習（machine learning）により学習させる。第１のモデルＭＤ１は、上述したように、算出部１２が第１のマップＭＡＰ１を算出する際に用いるモデルであり、一例として畳み込みニューラルネットワークである。本例示的実施形態において、第１の学習部１７は、一例として、教師データに第２の画像が含まれている場合であっても、当該第２画像を用いることなく、上記第１の画像と上記ラベル情報とのセットを用いた教師あり機械学習により、第１のモデルＭＤ１を学習させてもよい。
第１の学習部１７は、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１を機械学習（machine learning）により学習させる。第１のモデルＭＤ１は、上述したように、算出部１２が第１のマップＭＡＰ１を算出する際に用いるモデルであり、一例として畳み込みニューラルネットワークである。本例示的実施形態において、第１の学習部１７は、一例として、教師データに第２の画像が含まれている場合であっても、当該第２画像を用いることなく、上記第１の画像と上記ラベル情報とのセットを用いた教師あり機械学習により、第１のモデルＭＤ１を学習させてもよい。
（第２の学習部）
第２の学習部１８は、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１と第２のモデルＭＤ２とを機械学習により学習させる。第２のモデルＭＤ２は、上述したように、算出部１２が第２のマップＭＡＰ２を算出する際に用いるモデルであり、一例として畳み込みニューラルネットワークである。このとき、第２の学習部１８は、重みマップをかける前の第１のマップＭＡＰ１と、重みマップをかけた後の第３のマップＭＡＰ３との差が小さくなるようにする損失関数を併用してもよい。
第２の学習部１８は、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１と第２のモデルＭＤ２とを機械学習により学習させる。第２のモデルＭＤ２は、上述したように、算出部１２が第２のマップＭＡＰ２を算出する際に用いるモデルであり、一例として畳み込みニューラルネットワークである。このとき、第２の学習部１８は、重みマップをかける前の第１のマップＭＡＰ１と、重みマップをかけた後の第３のマップＭＡＰ３との差が小さくなるようにする損失関数を併用してもよい。
＜情報処理装置の効果＞
また、本例示的実施形態に係る情報処理装置１Ｂにおいては、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得部１６と、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１を機械学習により学習させる第１の学習部１７と、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１と第２のモデルＭＤ２とを機械学習により学習させる第２の学習部１８とを備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ｂによれば、例示的実施形態１に係るオブジェクト検出装置１の奏する効果に加えて、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できるモデルを提供できるという効果が得られる。
また、本例示的実施形態に係る情報処理装置１Ｂにおいては、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得部１６と、上記教師データに含まれる上記第１の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１を機械学習により学習させる第１の学習部１７と、上記教師データに含まれる上記第１の画像と上記第２の画像と上記ラベル情報とを参照して、第１のモデルＭＤ１と第２のモデルＭＤ２とを機械学習により学習させる第２の学習部１８とを備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ｂによれば、例示的実施形態１に係るオブジェクト検出装置１の奏する効果に加えて、状況に応じて背景画像等の画像を併用することで精度のよいオブジェクト検出を実現できるモデルを提供できるという効果が得られる。
〔実施例〕
本開示に係る実施例について以下に説明する。本実施例は、上述の例示的実施形態に係る情報処理装置１Ａ、１Ｂを、医療・ヘルスケア分野に応用した実施例である。本実施例において、第１の画像ＩＭＧ１は、対象者の内視鏡検査により撮影された画像である。第２の画像ＩＭＧ２は、同一の対象者において、過去の内視鏡検査により撮影された画像である。第２の画像ＩＭＧ２は、病変が検出されなかったときの画像であり、第１の画像ＩＭＧ１と同一箇所を写した画像である。
本開示に係る実施例について以下に説明する。本実施例は、上述の例示的実施形態に係る情報処理装置１Ａ、１Ｂを、医療・ヘルスケア分野に応用した実施例である。本実施例において、第１の画像ＩＭＧ１は、対象者の内視鏡検査により撮影された画像である。第２の画像ＩＭＧ２は、同一の対象者において、過去の内視鏡検査により撮影された画像である。第２の画像ＩＭＧ２は、病変が検出されなかったときの画像であり、第１の画像ＩＭＧ１と同一箇所を写した画像である。
また、本実施例において検出部１３が検出するオブジェクトは、対象者の内視鏡検査により撮影された画像から検出される病変である。検出部１３は、対象者の過去の内視鏡検査画像（第２の画像ＩＭＧ２）がある場合は過去の内視鏡画像を用いて、病変検出を行う。提示部１５は、病変の検出の結果を、医療従事者に提示する。
医療従事者は、提示された病変の検出の結果を参照し、例えば、対象者への対処法を決定する。換言すると、提示部１５は、医療従事者の意思決定（decision making）を支援するための、病変の検出結果を出力する。すなわち、本実施例によれば、情報処理装置１Ａ、１Ｂは、医療従事者の意思決定を支援することができる。
また、例えば、提示部１５は、病変の検出結果と対処法との対応関係を機械学習することで生成されたモデルと、対象者の病変の検出結果と、に基づいて決定された対処法を、医療従事者に提示してもよい。対処法の決定方法は、上述の方法に限定されない。これにより、情報処理装置は、ユーザの意思決定を支援することができる。
また、本実施例によれば、対象者の過去の内視鏡検査画像がある場合とない場合との両方の場合でオブジェクト（病変）を検出でき、かつ、対象者の過去の内視鏡検査画像がある場合に病変をより精度よく検出できるという効果が得られる。
〔ソフトウェアによる実現例〕
オブジェクト検出装置１、情報処理装置１Ａ、１Ｂ、学習装置２（以下「オブジェクト検出装置１等」という）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
オブジェクト検出装置１、情報処理装置１Ａ、１Ｂ、学習装置２（以下「オブジェクト検出装置１等」という）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、オブジェクト検出装置１等は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣをオブジェクト検出装置１等として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、オブジェクト検出装置１等の各機能が実現される。
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
第１の画像を取得する画像取得手段と、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段と、前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段とを備え、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行うオブジェクト検出装置。
第１の画像を取得する画像取得手段と、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段と、前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段とを備え、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行うオブジェクト検出装置。
（付記２）
前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記検出手段は、前記第１のマップに前記第２のマップを乗算して得られる第３のマップを参照してオブジェクト検出を行う付記１に記載のオブジェクト検出装置。
前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記検出手段は、前記第１のマップに前記第２のマップを乗算して得られる第３のマップを参照してオブジェクト検出を行う付記１に記載のオブジェクト検出装置。
（付記３）
前記画像取得手段が前記第１の画像を取得するのか、又は、前記第１の画像と前記第２の画像とを取得するのかを判定する判定処理を行う判定手段を更に備えている付記１又は２に記載のオブジェクト検出装置。
前記画像取得手段が前記第１の画像を取得するのか、又は、前記第１の画像と前記第２の画像とを取得するのかを判定する判定処理を行う判定手段を更に備えている付記１又は２に記載のオブジェクト検出装置。
（付記４）
前記判定手段は、前記第１の画像を取得するのか、又は、前記第１の画像と前記第２の画像とを取得するのかを示すフラグを参照して前記判定処理を行う付記３に記載のオブジェクト検出装置。
前記判定手段は、前記第１の画像を取得するのか、又は、前記第１の画像と前記第２の画像とを取得するのかを示すフラグを参照して前記判定処理を行う付記３に記載のオブジェクト検出装置。
（付記５）
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して、前記第１のモデルを機械学習により学習させる第１の学習手段と、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して、前記第１のモデルと前記第２のモデルとを機械学習により学習させる第２の学習手段とを備えている付記１又は２に記載のオブジェクト検出装置。
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して、前記第１のモデルを機械学習により学習させる第１の学習手段と、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して、前記第１のモデルと前記第２のモデルとを機械学習により学習させる第２の学習手段とを備えている付記１又は２に記載のオブジェクト検出装置。
（付記６）
前記検出手段による検出結果を出力する提示手段を更に備え、前記検出手段が検出するオブジェクトは、対象者の内視鏡検査により撮影された画像から検出されうる病変であり、前記提示手段は、医療従事者の意思決定を支援するための、前記病変の検出結果を出力する、付記１又は２に記載のオブジェクト検出装置。
前記検出手段による検出結果を出力する提示手段を更に備え、前記検出手段が検出するオブジェクトは、対象者の内視鏡検査により撮影された画像から検出されうる病変であり、前記提示手段は、医療従事者の意思決定を支援するための、前記病変の検出結果を出力する、付記１又は２に記載のオブジェクト検出装置。
（付記７）
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段と、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段とを備えている学習装置。
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段と、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段とを備えている学習装置。
（付記８）
第１の画像を取得することと、第１のモデルを用いて前記第１の画像から第１のマップを算出することと、前記第１のマップを少なくとも参照してオブジェクト検出を行うこととを含み、前記第１の画像に加えて第２の画像も取得した場合に、前記算出する工程において、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記オブジェクト検出を行う工程において、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行うオブジェクト検出方法。
第１の画像を取得することと、第１のモデルを用いて前記第１の画像から第１のマップを算出することと、前記第１のマップを少なくとも参照してオブジェクト検出を行うこととを含み、前記第１の画像に加えて第２の画像も取得した場合に、前記算出する工程において、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記オブジェクト検出を行う工程において、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行うオブジェクト検出方法。
（付記９）
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得することと、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させることと、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させることとを含む学習方法。
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得することと、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させることと、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させることとを含む学習方法。
（付記１０）
コンピュータを、第１の画像を取得する画像取得手段、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段、及び前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段、として機能させるオブジェクト検出プログラムであって、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う、オブジェクト検出プログラム。
コンピュータを、第１の画像を取得する画像取得手段、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段、及び前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段、として機能させるオブジェクト検出プログラムであって、前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、前記算出手段は、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出手段は、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う、オブジェクト検出プログラム。
（付記１１）
コンピュータを、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段、及び前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段、として機能させる学習プログラム。
コンピュータを、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段、及び前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段、として機能させる学習プログラム。
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
少なくとも１つのプロセッサを備え、前記プロセッサは、第１の画像を取得する画像取得処理と、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出処理と、前記第１のマップを少なくとも参照してオブジェクト検出を行う検出処理とを実行するオブジェクト検出装置であって、前記画像取得処理において前記第１の画像に加えて第２の画像も取得した場合に、前記算出処理において、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出処理において、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う、オブジェクト検出装置。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
少なくとも１つのプロセッサを備え、前記プロセッサは、第１の画像を取得する画像取得処理と、第１のモデルを用いて前記第１の画像から第１のマップを算出する算出処理と、前記第１のマップを少なくとも参照してオブジェクト検出を行う検出処理とを実行するオブジェクト検出装置であって、前記画像取得処理において前記第１の画像に加えて第２の画像も取得した場合に、前記算出処理において、第２のモデルを用いて、前記第２の画像から、又は前記第１の画像と前記第２の画像とから第２のマップを算出し、前記検出処理において、前記第１のマップに加え、前記第２のマップも参照してオブジェクト検出を行う、オブジェクト検出装置。
なお、このオブジェクト検出装置は、更にメモリを備えていてもよく、このメモリには、前記画像取得処理と、前記算出処理と、前記検出処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
少なくとも１つのプロセッサを備え、前記プロセッサは、１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得処理と、第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習処理と、前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習処理とを実行する学習装置。
なお、この学習装置は、更にメモリを備えていてもよく、このメモリには、前記教師データ取得処理と、前記第１の学習処理と、前記第２の学習処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
１ オブジェクト検出装置
１Ａ、１Ｂ 情報処理装置
２ 学習装置
１１ 画像取得部
１２ 算出部
１３ 検出部
１４ 判定部
１５ 提示部
１６、２１ 教師データ取得部
１７、２２ 第１の学習部
１８、２３ 第２の学習部
１Ａ、１Ｂ 情報処理装置
２ 学習装置
１１ 画像取得部
１２ 算出部
１３ 検出部
１４ 判定部
１５ 提示部
１６、２１ 教師データ取得部
１７、２２ 第１の学習部
１８、２３ 第２の学習部
Claims (9)
- 第１の画像を取得する画像取得手段と、
第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段と、
前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段と
を備え、
前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、
前記算出手段は、第２のモデルを用いて、前記第１の画像と前記第２の画像とから、前記第１の画像と前記第２の画像との差分を表す重みマップである第２のマップを算出し、
前記検出手段は、前記第１のマップに前記第２のマップを乗算して得られる第３のマップを参照してオブジェクト検出を行う
オブジェクト検出装置。 - 前記画像取得手段が前記第１の画像を取得するのか、又は、前記第１の画像と前記第２の画像とを取得するのかを判定する判定処理を行う判定手段を更に備えている
請求項１に記載のオブジェクト検出装置。 - １又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、
前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して、前記第１のモデルを機械学習により学習させる第１の学習手段と、
前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して、前記第１のモデルと前記第２のモデルとを機械学習により学習させる第２の学習手段と
を備えている請求項１又は２に記載のオブジェクト検出装置。 - 前記検出手段による検出結果を出力する提示手段を更に備え、
前記検出手段が検出するオブジェクトは、対象者の内視鏡検査により撮影された画像から検出されうる病変であり、
前記提示手段は、医療従事者の意思決定を支援するための、前記病変の検出結果を出力する、
請求項１又は２に記載のオブジェクト検出装置。 - １又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段と、
第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段と、
前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段と
を備えている学習装置。 - 第１の画像を取得することと、
第１のモデルを用いて前記第１の画像から第１のマップを算出することと、
前記第１のマップを少なくとも参照してオブジェクト検出を行うことと
を含み、
前記第１の画像に加えて第２の画像も取得した場合に、
前記算出する工程において、第２のモデルを用いて、前記第１の画像と前記第２の画像とから、前記第１の画像と前記第２の画像との差分を表す重みマップである第２のマップを算出し、
前記オブジェクト検出を行う工程において、前記第１のマップに前記第２のマップを乗算して得られる第３のマップを参照してオブジェクト検出を行う
オブジェクト検出方法。 - １又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得することと、
第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させることと、
前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させることと
を含む学習方法。 - コンピュータを、
第１の画像を取得する画像取得手段、
第１のモデルを用いて前記第１の画像から第１のマップを算出する算出手段、及び
前記第１のマップを少なくとも参照してオブジェクト検出を行う検出手段、として機能させるオブジェクト検出プログラムであって、
前記画像取得手段が前記第１の画像に加えて第２の画像も取得した場合に、
前記算出手段は、第２のモデルを用いて、前記第１の画像と前記第２の画像とから、前記第１の画像と前記第２の画像との差分を表す重みマップである第２のマップを算出し、
前記検出手段は、前記第１のマップに前記第２のマップを乗算して得られる第３のマップを参照してオブジェクト検出を行う、オブジェクト検出プログラム。 - コンピュータを、
１又は複数の第１の画像と、１又は複数の第２の画像と、当該第１の画像に含まれるオブジェクトを示すラベル情報とを含む教師データを取得する教師データ取得手段、
第１の画像から第１のマップを算出する第１のモデルを、前記教師データに含まれる前記第１の画像と前記ラベル情報とを参照して学習させる第１の学習手段、及び
前記第１のモデルと、第２の画像から第２のマップを算出する第２のモデルとを、前記教師データに含まれる前記第１の画像と前記第２の画像と前記ラベル情報とを参照して学習させる第２の学習手段、として機能させる学習プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/023572 WO2023242891A1 (ja) | 2022-06-13 | 2022-06-13 | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム |
| JPPCT/JP2022/023572 | 2022-06-13 | ||
| PCT/JP2023/021720 WO2023243595A1 (ja) | 2022-06-13 | 2023-06-12 | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2023243595A1 JPWO2023243595A1 (ja) | 2023-12-21 |
| JPWO2023243595A5 JPWO2023243595A5 (ja) | 2025-02-14 |
| JP7845467B2 true JP7845467B2 (ja) | 2026-04-14 |
Family
ID=89191302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024528847A Active JP7845467B2 (ja) | 2022-06-13 | 2023-06-12 | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US20250104220A1 (ja) |
| JP (1) | JP7845467B2 (ja) |
| WO (2) | WO2023242891A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019204338A (ja) | 2018-05-24 | 2019-11-28 | 株式会社デンソー | 認識装置及び認識方法 |
| WO2021054360A1 (ja) | 2019-09-20 | 2021-03-25 | Hoya株式会社 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
| WO2022004423A1 (ja) | 2020-07-02 | 2022-01-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5322794B2 (ja) * | 2009-06-16 | 2013-10-23 | 株式会社東芝 | 内視鏡検査支援システム |
| JP2013041483A (ja) * | 2011-08-18 | 2013-02-28 | Seiko Epson Corp | 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム |
| US11023771B2 (en) * | 2017-02-09 | 2021-06-01 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| KR102533860B1 (ko) * | 2017-12-04 | 2023-05-19 | 소니그룹주식회사 | 화상 처리 장치 및 화상 처리 방법 |
| JP7441452B2 (ja) * | 2019-10-28 | 2024-03-01 | 国立大学法人鳥取大学 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
-
2022
- 2022-06-13 WO PCT/JP2022/023572 patent/WO2023242891A1/ja not_active Ceased
-
2023
- 2023-06-12 JP JP2024528847A patent/JP7845467B2/ja active Active
- 2023-06-12 WO PCT/JP2023/021720 patent/WO2023243595A1/ja not_active Ceased
- 2023-06-12 US US18/289,304 patent/US20250104220A1/en active Pending
-
2024
- 2024-01-19 US US18/417,144 patent/US20240202916A1/en active Pending
- 2024-01-19 US US18/417,288 patent/US20240169535A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019204338A (ja) | 2018-05-24 | 2019-11-28 | 株式会社デンソー | 認識装置及び認識方法 |
| WO2021054360A1 (ja) | 2019-09-20 | 2021-03-25 | Hoya株式会社 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
| WO2022004423A1 (ja) | 2020-07-02 | 2022-01-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023243595A1 (ja) | 2023-12-21 |
| WO2023243595A1 (ja) | 2023-12-21 |
| US20240169535A1 (en) | 2024-05-23 |
| US20250104220A1 (en) | 2025-03-27 |
| WO2023242891A1 (ja) | 2023-12-21 |
| US20240202916A1 (en) | 2024-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022151755A1 (zh) | 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序 | |
| CN110009623A (zh) | 一种图像识别模型训练及图像识别方法、装置及系统 | |
| WO2023030370A1 (zh) | 内窥镜图像检测方法、装置、存储介质及电子设备 | |
| CN110584775A (zh) | 气道模型生成系统及插管辅助系统 | |
| JP6873344B2 (ja) | 疲労判定装置、疲労判定方法、および疲労判定プログラム | |
| US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
| CN111933253B (zh) | 基于神经网络的骨骼结构图像的标志点标注方法和装置 | |
| CN111091536A (zh) | 医学图像处理方法、装置、设备、介质以及内窥镜 | |
| JP2019502423A5 (ja) | ||
| WO2019149186A1 (zh) | 用于生成信息的方法和装置 | |
| US20240382065A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| JP6713422B2 (ja) | 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム | |
| JP6786015B1 (ja) | 動作分析システムおよび動作分析プログラム | |
| JP7040630B2 (ja) | 位置推定装置、位置推定方法、及びプログラム | |
| KR20150077184A (ko) | 의료 영상의 병변 유사도 판단 장치 및 방법 | |
| US12525060B2 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
| JP7845467B2 (ja) | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム | |
| US20210271929A1 (en) | Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method | |
| JP2015029811A (ja) | ３次元モデル生成装置、３次元モデル生成方法、及び３次元モデル生成用プログラム | |
| JPWO2023243595A5 (ja) | ||
| CN107072633A (zh) | 一种在当前超声影像上显示感兴趣区域的方法及装置 | |
| WO2024076683A1 (en) | Image processing for medical condition diagnosis | |
| CN118542688A (zh) | 心胸比的确定方法及装置、程序产品及医疗设备 | |
| JP7315033B2 (ja) | 施術支援装置、施術支援方法、及びプログラム | |
| CN116077093B (zh) | 一种基于超声心动图的早期心梗检测装置、方法及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241203 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20250415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20250425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260316 |