JP7376201B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7376201B1 JP7376201B1 JP2023148371A JP2023148371A JP7376201B1 JP 7376201 B1 JP7376201 B1 JP 7376201B1 JP 2023148371 A JP2023148371 A JP 2023148371A JP 2023148371 A JP2023148371 A JP 2023148371A JP 7376201 B1 JP7376201 B1 JP 7376201B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional position
- image data
- dimensional
- imaging device
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 236
- 239000003550 marker Substances 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【解決手段】情報処理装置10は、三次元位置及び撮像方向が特定されている第1撮像装置1が撮像した物体Oの第1画像データに基づいて、物体Oの特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部153と、第2撮像装置2の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部151と、第2撮像装置2が撮像した物体Oの第2画像データを取得する第2画像取得部155と、第2撮像装置2の三次元位置及び撮像方向と、特定された複数の特徴点それぞれの三次元位置とに基づいて、第2画像データが示す画像における複数の特徴点それぞれの二次元位置を特定する二次元位置特定部154と、第2画像データと、特定された複数の特徴点それぞれの二次元位置とを含むデータセットを生成する生成部156と、を有する。
【選択図】図2
Description
図1は、情報処理システムSの概要を示す図である。情報処理システムSは、第1撮像装置1と、複数の第2撮像装置2と、情報処理装置10とを有する。情報処理システムSは、三次元空間に配置されている物体Oを第2撮像装置2が撮像することにより生成された画像データと、当該画像データが示す画像に写る物体Oの複数の特徴点の当該画像データにおける二次元位置とを含むデータセットを生成するシステムである。
続いて、情報処理装置10の構成の詳細を説明する。図2は、情報処理装置10の機能構成を示す図である。情報処理装置10は、通信部11と、表示部12と、操作部13と、記憶部14と、制御部15とを有する。
操作部13は、マウスやキーボード等のユーザの操作を受け付ける入力デバイスである。
続いて、情報処理装置10の処理の流れについて説明する。図4は、情報処理装置10における処理の流れの一例を示すフローチャートである。本フローチャートでは、物体Oを回転テーブルに配置させておき、回転テーブルを回転させながら物体Oの複数の向きそれぞれに対応するデータセットを生成するときの処理の流れについて説明する。
続いて、第1画像取得部152は、複数の第1撮像装置1それぞれが撮像した物体Oの画像データである第1画像データを取得する(S2)。また、第2画像取得部155は、複数の第2撮像装置2それぞれが撮像した物体Oの画像データである第2画像データを取得する(S3)。
続いて、二次元位置特定部154は、S1において取得された撮像装置情報が示す複数の第2撮像装置2それぞれの三次元位置及び撮像方向と、S4において特定された物体Oの複数の特徴点それぞれの三次元位置とに基づいて、複数の第2撮像装置2それぞれが物体Oを撮像した場合に生成される第2画像データに対応する物体Oの複数の特徴点それぞれの二次元位置を特定する(S5)。
なお、上述の説明では、情報処理装置10に複数の第2撮像装置2が接続され、生成部156が、複数の第2撮像装置2それぞれが撮像した第2画像データと、二次元位置特定部154が当該第2画像データに対して特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成することとしたが、これに限らない。情報処理装置10には、1台の第2撮像装置2が接続され、生成部156が、1台の第2撮像装置2が撮像した第2画像データと、当該第2画像データが生成された状態と同じ状態で物体Oが撮像された第1画像データに基づいて二次元位置特定部154が特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成してもよい。
以上説明したように、本実施形態に係る情報処理システムSにおいて、情報処理装置10は、三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置1が撮像した物体Oの画像データである第1画像データに基づいて、物体Oの特徴を示す複数の特徴点それぞれの三次元位置を特定し、物体Oを撮像する第2撮像装置2の三次元位置及び撮像方向と、特定した複数の特徴点それぞれの三次元位置とに基づいて、第2撮像装置2が撮像した物体Oの画像データである第2画像データが示す画像における複数の特徴点それぞれの二次元位置を特定する。そして、情報処理装置10は、第2撮像装置が撮像した第2画像データと、特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成する。このようにすることで、情報処理装置10は、物体の特徴点の位置を推定するための推定モデルの学習に用いるデータセットを効率よく生成することができる。
2 第2撮像装置
10 情報処理装置
11 通信部
12 表示部
13 操作部
14 記憶部
15 制御部
151 装置情報取得部
152 第1画像取得部
153 三次元位置特定部
154 二次元位置特定部
155 第2画像取得部
156 生成部
157 出力部
S 情報処理システム
Claims (9)
- 三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第1画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定する三次元位置特定部と、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部と、
前記第2撮像装置が撮像した前記物体の画像データである第2画像データを取得する画像取得部と、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部と、
前記画像取得部が取得した前記第2画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部と、
を有する情報処理システム。 - 前記三次元位置特定部は、前記物体と前記マーカーを示す三次元モデルを配置した三次元仮想空間を表示部に表示させ、前記三次元仮想空間において、前記マーカーに対応する前記特徴点の指定を受け付けることにより、前記特徴点の三次元位置を特定する、
請求項1に記載の情報処理システム。 - 前記生成部は、前記第2画像データから前記マーカーを消去し、前記マーカーを消去した後の前記第2画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する、
請求項1に記載の情報処理システム。 - 三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第1画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部と、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部と、
前記第2撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第2画像データを取得する画像取得部と、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部と、
前記画像取得部が取得した前記物体の前記複数の向きそれぞれに対応する前記第2画像データと、前記二次元位置特定部が当該第2画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部と、
を有する情報処理システム。 - 前記装置情報取得部は、前記三次元空間において前記物体を撮像する複数の前記第2撮像装置それぞれに対応する前記撮像装置情報を取得し、
前記画像取得部は、複数の前記第2撮像装置それぞれが撮像した前記第2画像データを取得し、
前記二次元位置特定部は、複数の前記第2撮像装置それぞれに対応する前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、複数の前記第2撮像装置それぞれが前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定し、
前記生成部は、複数の前記第2撮像装置それぞれが撮像した前記第2画像データと、前記二次元位置特定部が当該第2画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する、
請求項1又は4に記載の情報処理システム。 - コンピュータが実行する、
三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第1画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定するステップと、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得するステップと、
前記第2撮像装置が撮像した前記物体の画像データである第2画像データを取得するステップと、
取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定するステップと、
取得した前記第2画像データと、特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成するステップと、
を有する情報処理方法。 - コンピュータが実行する、
三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第1画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定するステップと、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得するステップと、
前記第2撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第2画像データを取得するステップと、
取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定するステップと、
取得した前記物体の前記複数の向きそれぞれに対応する前記第2画像データと、当該第2画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成するステップと、
を有する情報処理方法。 - コンピュータを、
三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第1画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定する三次元位置特定部、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部、
前記第2撮像装置が撮像した前記物体の画像データである第2画像データを取得する画像取得部、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部、及び、
前記画像取得部が取得した前記第2画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部、
として機能させるプログラム。 - コンピュータを、
三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第1撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第1画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部、
前記三次元空間において前記物体を撮像する第2撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部、
前記第2撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第2画像データを取得する画像取得部、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第2撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第2撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第2画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部、及び、
前記画像取得部が取得した前記物体の前記複数の向きそれぞれに対応する前記第2画像データと、前記二次元位置特定部が当該第2画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023148371A JP7376201B1 (ja) | 2023-09-13 | 2023-09-13 | 情報処理システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023148371A JP7376201B1 (ja) | 2023-09-13 | 2023-09-13 | 情報処理システム、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7376201B1 true JP7376201B1 (ja) | 2023-11-08 |
Family
ID=88645966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023148371A Active JP7376201B1 (ja) | 2023-09-13 | 2023-09-13 | 情報処理システム、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7376201B1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251074A (ja) | 1999-03-02 | 2000-09-14 | Fujitsu Ltd | 画像生成処理方法およびその装置 |
JP2022534123A (ja) | 2020-05-29 | 2022-07-27 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置 |
-
2023
- 2023-09-13 JP JP2023148371A patent/JP7376201B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251074A (ja) | 1999-03-02 | 2000-09-14 | Fujitsu Ltd | 画像生成処理方法およびその装置 |
JP2022534123A (ja) | 2020-05-29 | 2022-07-27 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7231306B2 (ja) | イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム | |
WO2019196478A1 (zh) | 机器人定位 | |
JP6740033B2 (ja) | 情報処理装置、計測システム、情報処理方法及びプログラム | |
CN104937635B (zh) | 基于模型的多假设目标追踪器 | |
JP5093053B2 (ja) | 電子カメラ | |
JP4708752B2 (ja) | 情報処理方法および装置 | |
JP6658001B2 (ja) | 位置推定装置、プログラム、位置推定方法 | |
US20180204387A1 (en) | Image generation device, image generation system, and image generation method | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011185650A (ja) | モデル作成装置およびモデル作成プログラム | |
US10839481B1 (en) | Automatic marker-less alignment of digital 3D face and jaw models | |
WO2017143745A1 (zh) | 一种确定待测对象的运动信息的方法及装置 | |
US10810738B1 (en) | Marker-less alignment of digital 3D face and jaw models | |
CN109313821A (zh) | 三维对象扫描反馈 | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN112258574A (zh) | 标注位姿信息的方法、装置及计算机可读存储介质 | |
KR20210019221A (ko) | 2d 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템 | |
JP5198078B2 (ja) | 計測装置および計測方法 | |
JPWO2019193859A1 (ja) | カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム | |
US20210279273A1 (en) | System and method for using an image to obtain search results | |
US11758100B2 (en) | Portable projection mapping device and projection mapping system | |
US20210042576A1 (en) | Image processing system | |
CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230913 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |