JP7029486B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7029486B2 JP7029486B2 JP2020071064A JP2020071064A JP7029486B2 JP 7029486 B2 JP7029486 B2 JP 7029486B2 JP 2020071064 A JP2020071064 A JP 2020071064A JP 2020071064 A JP2020071064 A JP 2020071064A JP 7029486 B2 JP7029486 B2 JP 7029486B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- information
- unit
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、本発明の一実施形態に係る情報処理システム1の機能的な構成を示すブロック図である。図1に示すように、情報処理システム1は、情報処理装置10及びユーザが操作する端末装置20を含んでいる。ここで、図1に示す例では、情報処理システム1が、端末装置20を1つ含んでいるが、これは本実施形態を限定するものではない。情報処理システム1は、端末装置20を複数含む構成としてもよい。
情報処理装置10の構成の説明に先立ち、図1を参照して端末装置20の構成について説明する。図1に示すように、端末装置20は、通信部21と、撮像部22と、表示部23と、操作部24と、制御部25とを含む。端末装置20は、デジタルカメラ、PC(Personal Computer)、タブレット端末、及びスマートフォン等として実現できるが、これらの具体的態様は本実施形態を限定するものではない。
続いて、図1を参照して情報処理装置10の構成について説明する。図1に示すように、情報処理装置10は、通信部11と、制御部13と、記憶部15とを含む。制御部13は、取得部131と、位置特定部132と、第1の関連付け部133と、第1の抽出部134と、第2の関連付け部135と、第2の抽出部136と、第3の関連付け部137と、画像生成部138と、検索部139と、3次元モデル生成部140とを含む。
・端末装置20によって撮像された画像、及び、それらの画像に対して後述する処理を行うことによって得られた画像
・1又は複数の対象領域の各々に関する3次元モデル
・撮像画像の現実の空間中の位置情報、及び、撮像画像に含まれる被写体の3次元モデル中の位置情報
・被写体に関する骨格情報、顔情報、及び被写体識別情報
以下では、本発明の一実施形態に係る情報処理システム1による処理の流れについて、詳細に説明する。
まず、ステップS101において、情報処理装置10の3次元モデル生成部140は、対象領域の3次元モデルを生成する。一例として、3次元モデル生成部140は、予め深度カメラ、及びステレオカメラなどで撮影した画像を合成することによって3次元モデルを生成する。また、3次元モデル生成部140は、ソリッドモデル、サーフェスモデル、ワイヤーフレームモデル、メッシュモデル等の3次元モデルを生成する構成としてもよい。3次元モデル生成部140による3次元モデルの生成方法は本実施形態を限定するものではなく、一例として既知の手法を用いてもよい。生成された対象領域の3次元モデルは、記憶部15に保存される。
続いて、ステップS102において、情報処理装置10の取得部131は、端末装置20から、対象領域において撮影された画像を取得する。
続いて、ステップS103において、情報処理装置10の位置特定部132は、ステップS102において取得した画像から被写体を検出する。
続いて、ステップS104において、位置特定部132は、ステップS102において取得した画像と3次元モデルとを比較し、3次元モデルにおける撮像位置を特定する。ここで、位置特定部132は、通信部11を介して、端末装置20の撮像部22から撮像条件に関する撮像条件情報を取得し、取得した撮像条件情報を参照して、前記撮像位置を特定する構成とすることができる。ここで、「撮影条件情報」は、一例として、撮像部22の画角及びズーム倍率の少なくとも何れかが含まれる。
続いて、ステップS105において、位置特定部132は、ステップS104にて特定した撮像位置及び撮影方向を参照して、3次元モデルにおける被写体の位置を特定する。
続いて、ステップS106において、第1の関連付け部133は、ステップS105において特定した3次元モデルにおける被写体の位置情報を、ステップS102において取得した画像に関連付ける。
続いて、ステップS107において、情報処理装置10の画像生成部138は、3次元モデル上に被写体を示す代替画像を重畳することによって、3次元モデルと代替画像とを含む重畳画像を生成する。
情報処理システム1によれば、上述したように、画像中の被写体に対して自動的に、被写体の位置情報及び撮像位置を付与することができる。これにより、一例として複数の静止画像又は動画像から、特定の位置に被写体が存在する画像、及び特定の位置から撮像した画像を検索することができる。
情報処理装置10の制御ブロック(特に取得部131、位置特定部132、画像生成部138および検索部139)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
図12は、情報処理装置10および端末装置20として用いられるコンピュータの物理的構成を例示したブロック図である。情報処理装置10は、図12に示すように、バス110と、プロセッサ101と、主メモリ102と、補助メモリ103と、通信インタフェース104とを備えたコンピュータによって構成可能である。プロセッサ101、主メモリ102、補助メモリ103、および通信インタフェース104は、バス110を介して互いに接続されている。
端末装置20は、図12に示すように、バス210と、プロセッサ201と、主メモリ202と、補助メモリ203と、通信インタフェース204と、入出力インタフェース205とを備えたコンピュータによって構成可能である。プロセッサ201、主メモリ202、補助メモリ203、通信インタフェース204、および入出力インタフェース205は、バス210を介して互いに接続されている。入出力インタフェース205には、カメラ206およびタッチパネル207が接続されている。
各実施形態の一態様に係る情報処理装置は、対象領域の少なくとも一部を撮像範囲に含む画像を取得する取得部と、前記取得部が取得した画像と前記対象領域に関する3次元モデルとを参照することによって、前記対象画像に含まれる被写体の前記3次元モデル中の位置を特定する位置特定部とを備えている。
10 情報処理装置
11、21 通信部
13、25 制御部
15 記憶部
20 端末装置
131 取得部
132 位置特定部
134 第1の抽出部
136 第2の抽出部
138 画像生成部
139 検索部
140 3次元モデル生成部
Claims (5)
- 対象領域の少なくとも一部を撮像範囲に含む画像を取得する取得部と、
前記取得部が取得した画像と前記対象領域に関する3次元モデルとを参照することによって、前記取得部が取得した前記画像に含まれる被写体の前記3次元モデル中の位置を特定する位置特定部とを備え、
前記位置特定部は、前記画像から、前記被写体の顔情報を抽出する第1の抽出部を備え、
前記位置特定部は、
前記第1の抽出部が抽出した前記被写体の顔情報を参照して得られる被写体識別情報を、前記画像に関連付ける第1の関連付け部と、
前記位置特定部が特定した前記3次元モデル中の前記被写体の位置を示す位置情報を、前記画像に関連付ける第2の関連付け部と、
前記画像から、前記被写体の骨格情報を抽出する第2の抽出部と、
前記第2の抽出部が抽出した前記被写体の骨格情報を、前記画像に関連付ける第3の関連付け部と、
を更に備え、
ユーザからの検索指示に含まれる位置情報、骨格情報、及び前記被写体識別情報を特定し、特定した位置情報、骨格情報、及び前記被写体識別情報が共に関連付けられた画像を検索する検索部を、
更に備えていることを特徴とする情報処理装置。 - 前記位置特定部は、前記3次元モデルにおける前記画像の撮像位置及び撮影方向を特定したうえで、前記被写体の前記3次元モデル中の位置を特定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記位置特定部が特定した前記3次元モデル中の前記被写体の位置に、前記被写体の代替画像を重畳することによって重畳画像を生成する画像生成部を更に備えている
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 対象領域の少なくとも一部を撮像範囲に含む画像を取得する取得工程と、
前記取得工程にて取得した画像と前記対象領域に関する3次元モデルとを参照することによって、前記取得工程にて取得した前記画像に含まれる被写体の前記3次元モデル中の位置を特定する位置特定工程とを含み、
前記位置特定工程は、前記画像から、前記被写体の顔情報を抽出する第1の抽出工程を含み、
前記位置特定工程は、
前記第1の抽出工程が抽出した前記被写体の顔情報を参照して得られる被写体識別情報を、前記画像に関連付ける第1の関連付け工程と、
前記位置特定工程が特定した前記3次元モデル中の前記被写体の位置を示す位置情報を、前記画像に関連付ける第2の関連付け工程と、
前記画像から、前記被写体の骨格情報を抽出する第2の抽出工程と、
前記第2の抽出工程が抽出した前記被写体の骨格情報を、前記画像に関連付ける第3の関連付け工程と、
を更に含み、
ユーザからの検索指示に含まれる位置情報、骨格情報、及び前記被写体識別情報を特定し、特定した位置情報、骨格情報、及び前記被写体識別情報が共に関連付けられた画像を検索する検索工程を、
更に含んでいることを特徴とする情報処理方法。 - 請求項1に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部、前記位置特定部、前記第1の抽出部、前記第1の関連付け部、前記第2の関連付け部、前記第2の抽出部、前記第3の関連付け部、及び前記検索部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071064A JP7029486B2 (ja) | 2020-04-10 | 2020-04-10 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071064A JP7029486B2 (ja) | 2020-04-10 | 2020-04-10 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168040A JP2021168040A (ja) | 2021-10-21 |
JP7029486B2 true JP7029486B2 (ja) | 2022-03-03 |
Family
ID=78079759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020071064A Active JP7029486B2 (ja) | 2020-04-10 | 2020-04-10 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7029486B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159957A (ja) | 2011-01-31 | 2012-08-23 | Secom Co Ltd | 移動物体追跡装置 |
JP2017163510A (ja) | 2016-03-11 | 2017-09-14 | 富士通株式会社 | 撮影制御プログラム、撮影制御方法および撮影制御装置 |
JP2019149006A (ja) | 2018-02-27 | 2019-09-05 | 富士通株式会社 | 画像選択プログラム、情報処理装置、システム、および画像選択方法 |
JP2019160001A (ja) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4999589B2 (ja) * | 2007-07-25 | 2012-08-15 | キヤノン株式会社 | 画像処理装置及び方法 |
JP6664920B2 (ja) * | 2015-09-30 | 2020-03-13 | グローリー株式会社 | 監視カメラシステム及び監視方法 |
JP7039409B2 (ja) * | 2018-07-18 | 2022-03-22 | 株式会社日立製作所 | 映像解析装置、人物検索システムおよび人物検索方法 |
JP6744559B2 (ja) * | 2018-12-26 | 2020-08-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2020
- 2020-04-10 JP JP2020071064A patent/JP7029486B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159957A (ja) | 2011-01-31 | 2012-08-23 | Secom Co Ltd | 移動物体追跡装置 |
JP2017163510A (ja) | 2016-03-11 | 2017-09-14 | 富士通株式会社 | 撮影制御プログラム、撮影制御方法および撮影制御装置 |
JP2019149006A (ja) | 2018-02-27 | 2019-09-05 | 富士通株式会社 | 画像選択プログラム、情報処理装置、システム、および画像選択方法 |
JP2019160001A (ja) | 2018-03-15 | 2019-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021168040A (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10827133B2 (en) | Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product | |
US9082013B2 (en) | Image recognition device, image recognition method, program, and integrated circuit | |
CN109815843B (zh) | 图像处理方法及相关产品 | |
CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
JP4770960B2 (ja) | 画像検索システム及び画像検索方法 | |
TW201011696A (en) | Information registering device for detection, target sensing device, electronic equipment, control method of information registering device for detection, control method of target sensing device, information registering device for detection control progr | |
US20140118396A1 (en) | Image processing device, image processing method, and computer program product | |
KR20180035869A (ko) | 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체 | |
JP2020127194A (ja) | コンピュータシステムおよびプログラム | |
US20160110909A1 (en) | Method and apparatus for creating texture map and method of creating database | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6854631B2 (ja) | 情報可視化システム、情報可視化方法、及びプログラム | |
JP7029486B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6720585B2 (ja) | 情報処理システム、情報処理端末、および、プログラム | |
JP2020135580A (ja) | 検索装置、検索方法、およびプログラム | |
KR20230013851A (ko) | 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치 | |
WO2019080257A1 (zh) | 电子装置、车祸现场全景图像展示方法和存储介质 | |
JP2005258679A (ja) | 画像撮影装置 | |
JP2006259932A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
KR101530355B1 (ko) | 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 | |
JP6622990B2 (ja) | 情報弁別装置、情報弁別方法及び情報弁別プログラム | |
KR102542363B1 (ko) | 3차원 공간에서 객체를 인식하는 방법 | |
WO2021149261A1 (ja) | 表示システムおよび表示方法 | |
JP5343823B2 (ja) | メモ情報管理システム、メモ情報処理装置及びプログラム | |
JP2024045990A (ja) | 情報処理装置、撮像装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200410 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200824 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210226 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210308 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210309 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210507 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210511 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211109 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220105 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220208 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7029486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |