JP6719945B2 - 情報処理装置、情報処理方法、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理方法、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP6719945B2 JP6719945B2 JP2016071862A JP2016071862A JP6719945B2 JP 6719945 B2 JP6719945 B2 JP 6719945B2 JP 2016071862 A JP2016071862 A JP 2016071862A JP 2016071862 A JP2016071862 A JP 2016071862A JP 6719945 B2 JP6719945 B2 JP 6719945B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- information processing
- unit
- detected
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
図1は、第1の実施形態にかかる情報処理装置のハードウェア構成を示す図である。情報処理装置100は、CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、入力部106と、通信部107とを有している。CPU101は、ROM102に記憶された制御プログラムを読み出して各種処理を実行する。RAM103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD104は、画像データや各種プログラム等各種情報を記憶する。表示部105は、例えばHMD(Head Mounted Display)に備えられたディスプレイから構成され、ユーザに対して各種情報を表示する。入力部106は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部107は、ネットワークを介してカメラ等の外部装置との通信処理を行う。なお、後述する情報処理装置100の機能や処理は、CPU101がROM102又はHDD104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
次に、第2の実施形態に係る情報処理装置100について説明する。第2の実施形態に係る情報処理装置100は、環境の変化として、撮影画像中の物体の配置の変化を検出する。以下、第2の実施形態に係る情報処理装置100について、第1の実施形態に係る情報処理装置100と異なる点について説明する。第2の実施形態に係る情報処理装置100においては、記憶部202は、第1の実施形態に係る記憶部202と同様に、複数のキーフレームと、各キーフレームに対応するカメラ210の位置姿勢を記憶する。記憶部202はさらに、各キーフレームに含まれる物体を示す各物体領域と、物体を識別するための識別子とを対応付けた情報を記憶している。
「2次元距離場を用いた2D−3D レジストレーション」 倉爪亮ら 画像の認識・理解シンポジウム、MIRU2005
検出部203は、処理対象の濃淡画像の輪郭線から求めた2次元距離場と2次元画像に投影した3次元モデルのシルエット画像を用い、物体の位置姿勢を決定する。そして、検出部203は、記憶部202に記憶されている物体の位置姿勢と、算出した物体の位置姿勢との差が所定の範囲を超えた場合には、該物体の配置が変化したと判定する。
次に、第3の実施形態に係る情報処理装置100について説明する。第3の実施形態に係る情報処理装置100は、環境の変化として、対象画像に新たに現れた物体及び撮影画像から消えた物体を検出する。以下、第3の実施形態に係る情報処理装置100について、他の実施形態に係る情報処理装置100と異なる点について説明する。第3の実施形態に係る記憶部202は、複数のキーフレームと、各キーフレームに対応するカメラ210の位置姿勢と、各キーフレームに含まれる物体を示す各物体領域と、物体を識別するための識別子とを対応付けた情報と、を記憶している。
次に、第4の実施形態に係る情報処理装置100について説明する。第4の実施形態に係る情報処理装置100は、対象画像において環境の変化が検出された場合に、対象画像に対応する実空間の環境を、変化前の状態に戻すことを促す指示情報を出力する。図10は、第4の実施形態に係る情報処理装置100による情報処理を示すフローチャートである。S1000及びS1001の処理は、図3を参照しつつ説明した第1の実施形態に係るS300及びS301の処理と同様である。S1001の処理の後、CPU101は、処理をS1002へ進める。
次に、第5の実施形態に係る情報処理装置100について説明する。第5の実施形態に係る情報処理装置100は、環境変化が検出された場合に、環境を指標マップに合わせるか、指標マップを環境変化に合わせて更新するか、いずれか一方を動作モードに応じて選択する。以下、第5の実施形態に係る情報処理装置100について、他の実施形態に係る情報処理装置100と異なる点について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
202 記憶部
203 検出部
205 表示処理部
210 カメラ
Claims (13)
- 撮影装置により得られた撮影画像と、前記撮影装置の位置及び姿勢の導出に用いられる指標情報と、前記撮影装置の位置及び姿勢と、に基づいて、前記撮影画像に対応する撮影範囲の環境の変化を検出する検出手段と、
動作モードを選択する選択手段と、
前記変化が検出され、かつ第1の動作モードが選択された場合に、変化の前の状態に戻す指示情報を出力する出力手段と、
前記変化が検出され、かつ第2の動作モードが選択された場合に、前記変化の後の状態に基づいて、前記指標情報を更新する更新手段と
を有することを特徴とする情報処理装置。 - 前記変化の前の状態に戻すための作業コストを予測する第1の予測手段をさらに有し、
前記選択手段は、前記第1の予測手段により予測された前記作業コストに基づいて、前記動作モードを選択することを特徴とする請求項1に記載の情報処理装置。 - 前記指標情報を更新するための作業コストを予測する第2の予測手段をさらに有し、
前記選択手段は、前記第2の予測手段により予測された前記作業コストに基づいて、前記動作モードを選択することを特徴とする請求項1又は2に記載の情報処理装置。 - 前記選択手段は、前記検出手段により検出された変化の内容に基づいて、前記動作モードを選択することを特徴とする請求項1に記載の情報処理装置。
- 前記選択手段は、前記変化の前後それぞれの状態に対応する前記指標情報を用いた、前記撮影装置の位置及び姿勢の推定精度に基づいて、前記動作モードを選択することを特徴とする請求項1に記載の情報処理装置。
- 撮影装置により得られた撮影画像と、前記撮影装置の位置及び姿勢の導出に用いられる指標情報と、前記撮影装置の位置及び姿勢と、に基づいて、前記撮影画像に対応する撮影範囲の環境の変化として、前記撮影範囲に存在する物体の配置の変化を検出する検出手段と、
前記検出手段により検出された変化と、前記指標情報と、に基づいて、前記変化の前の状態に戻す方法として、前記物体の移動方向及び移動量のうち少なくとも1つを特定する特定手段と、
前記特定手段により特定された方法を含む指示情報を生成する生成手段と、
前記変化が検出された場合に、前記生成手段により生成された、変化の前の状態に戻す指示情報を出力する出力手段と
を有することを特徴とする情報処理装置。 - 前記検出手段は、前記変化として、前記撮影範囲において新たに検出された物体、前記撮影範囲において検出されなくなった物体をさらに検出し、
前記特定手段は、前記検出手段により検出された変化と、前記指標情報と、に基づいて、前記変化の前の状態に戻す方法として、前記変化に係る物体を特定することを特徴とする請求項6に記載の情報処理装置。 - 前記出力手段は、前記変化に係る物体を示す情報をさらに出力することを特徴とする請求項6又は7に記載の情報処理装置。
- 前記出力手段は、前記変化が検出された領域を示す画像をさらに出力することを特徴とする請求項6乃至8何れか1項に記載の情報処理装置。
- 請求項1乃至9何れか1項に記載の情報処理装置と、撮影部と、表示部とを備えることを特徴とする情報処理システム。
- 情報処理装置が実行する情報処理方法であって、
撮影装置により得られた撮影画像と、前記撮影装置の位置及び姿勢の導出に用いられる指標情報と、前記撮影装置の位置及び姿勢と、に基づいて、前記撮影画像に対応する撮影範囲の環境の変化を検出する検出ステップと、
動作モードを選択する選択ステップと、
前記変化が検出され、かつ第1の動作モードが選択された場合に、変化の前の状態に戻す指示情報を出力する出力ステップと、
前記変化が検出され、かつ第2の動作モードが選択された場合に、前記変化の後の状態に基づいて、前記指標情報を更新する更新ステップと
を含むことを特徴とする情報処理方法。 - 撮影装置により得られた撮影画像と、前記撮影装置の位置及び姿勢の導出に用いられる指標情報と、前記撮影装置の位置及び姿勢と、に基づいて、前記撮影画像に対応する撮影範囲の環境の変化として、前記撮影範囲に存在する物体の配置の変化を検出する検出ステップと、
前記検出ステップにより検出された変化と、前記指標情報と、に基づいて、前記変化の前の状態に戻す方法として、前記物体の移動方向及び移動量のうち少なくとも1つを特定する特定ステップと、
前記特定ステップにより特定された方法を含む指示情報を生成する生成ステップと、
前記変化が検出された場合に、前記生成ステップにより生成された、変化の前の状態に戻す指示情報を出力する出力ステップと
を含むことを特徴とする情報処理方法。 - コンピュータを、請求項1乃至9何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071862A JP6719945B2 (ja) | 2016-03-31 | 2016-03-31 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071862A JP6719945B2 (ja) | 2016-03-31 | 2016-03-31 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017184136A JP2017184136A (ja) | 2017-10-05 |
JP2017184136A5 JP2017184136A5 (ja) | 2019-05-09 |
JP6719945B2 true JP6719945B2 (ja) | 2020-07-08 |
Family
ID=60008713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071862A Active JP6719945B2 (ja) | 2016-03-31 | 2016-03-31 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6719945B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7204326B2 (ja) | 2018-01-15 | 2023-01-16 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム |
JP7000935B2 (ja) * | 2018-03-14 | 2022-01-19 | 沖電気工業株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
CN114419292A (zh) * | 2022-01-21 | 2022-04-29 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105312A (ja) * | 1992-09-22 | 1994-04-15 | Hitachi Ltd | 静止物監視方法および装置 |
JP5471626B2 (ja) * | 2010-03-09 | 2014-04-16 | ソニー株式会社 | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
JP4914528B1 (ja) * | 2010-08-31 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
JP5511615B2 (ja) * | 2010-09-30 | 2014-06-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 作業指示に関連付けられた資産又は当該資産に関連付けられた要素を管理する方法、並びにそのシステム及びコンピュータ・プログラム |
JP5819498B1 (ja) * | 2014-08-27 | 2015-11-24 | シャープ株式会社 | 自律移動体及び自律移動体システム |
-
2016
- 2016-03-31 JP JP2016071862A patent/JP6719945B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017184136A (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US8487926B2 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10957068B2 (en) | Information processing apparatus and method of controlling the same | |
US9361731B2 (en) | Method and apparatus for displaying video on 3D map | |
JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6701930B2 (ja) | オーサリング装置、オーサリング方法およびオーサリングプログラム | |
KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
JP2014112055A (ja) | カメラ姿勢の推定方法およびカメラ姿勢の推定システム | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP6425511B2 (ja) | 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム | |
JP2011039801A (ja) | 画像処理装置および画像処理方法 | |
EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
JPWO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7341736B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2018185658A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2013092888A (ja) | データ処理装置 | |
JP6405539B2 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
JP2015005220A (ja) | 情報表示装置及び情報表示方法 | |
JP6768400B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110880187B (zh) | 一种相机位置信息确定方法、装置、电子设备及存储介质 | |
KR20210023663A (ko) | 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치 | |
JP2021152764A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6719945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |