JP6812203B2 - 情報処理システム、情報処理方法、携帯投影端末 - Google Patents
情報処理システム、情報処理方法、携帯投影端末 Download PDFInfo
- Publication number
- JP6812203B2 JP6812203B2 JP2016215666A JP2016215666A JP6812203B2 JP 6812203 B2 JP6812203 B2 JP 6812203B2 JP 2016215666 A JP2016215666 A JP 2016215666A JP 2016215666 A JP2016215666 A JP 2016215666A JP 6812203 B2 JP6812203 B2 JP 6812203B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- projection
- region
- designated
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Description
以下、本発明を、実空間の変動を検出する情報処理システムに適用した場合の実施の形態例を説明する。「実空間」とは物体が配置されている現実空間をいう。この実空間の変動の検出は、例えば物体の置き去り検知の機能である。「置き去り検知」とは、任意の物体が一定時間以上同じ場所に留まっていることを検知することをいう。例えば、実空間の所定領域に不審物が置かれたことを検知することなどがこれに該当する。
図1は、本実施形態の情報処理システムの全体構成例を示す図である。この情報処理システムは、携帯投影端末100、監視カメラ101、サーバ102を備え、これらをネットワーク103で接続して構成される。ネットワーク103は、例えば高速無線回線を用いた無線通信回線である。
携帯投影端末100は、照明機能、撮像機能、投影機能、領域指定機能、位置および姿勢の検知機能などを備えた情報処理端末である。この携帯投影端末100は、照明モード、空間スキャンモードおよび領域指定モードを、ボタン操作などによって選択的に切替可能な端末であり、ユーザである巡回警備員が所持する。ユーザは、移動しながら実空間の床などを照らす。その際、投影する情報がないか、投影の必要がない場合、すなわち照明モードのときは、懐中電灯のように白色光だけを照射する。図1は、携帯投影端末100が光を照らしている領域を示す。ユーザは、その領域付近の3次元画像を撮像した後(空間スキャンモード)、指定可能な領域を投影表示し、その領域内でユーザが特に注目したい領域を指定する(領域指定モード)。指定される領域を「指定領域」と呼ぶ。「注目領域」は、この指定領域の一部又は全部の領域となる。
図2(a)は、携帯投影端末100のハードウェア構成例を示す図である。携帯投影端末100は、バス203に接続されたCPU200、RAM201、ROM202を主要部品として含むコンピュータを有する。CPU(Central Processing Unit、以下同じ)200は、バス203を介して接続される各種デバイスを統括的に制御する。オペレーティングシステム(OS)をはじめ、後述するフローチャートで示す各処理手順を実現するためのコンピュータプログラム、デバイスドライバ等はROM(Read Only Memory、以下同じ)202に記憶されている。これらのプログラム等は、RAM(Random Access Memory、以下同じ)201に一時記憶され、CPU200によって適宜実行される。RAM201は、高速にアクセス可能なCPU200の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、OSやコンピュータプログラム等は、ストレージ211に記憶されていてもよい。この場合は、電源投入時に必要な情報がRAM201に適宜読み込まれる。
図3(a)は、携帯投影端末100の機能構成例を示す図である。携帯投影端末100は、通信部300、位置情報取得部301、姿勢取得部302、記憶部303、撮像部304の機能ブロックを備える。携帯投影端末100は、また、特徴点抽出部305、特徴点マッチング部306、カメラパラメータ算出部307、3次元形状復元部308、投影制御部309、投影部310の機能ブロックを備える。これら各機能ブロックは、CPU200が、ROM202に格納されたプログラムをRAM201に展開し、実行することで実現される。
なお、本実施形態において、撮像部304が画像を撮像する周期は、RGB−Dセンサ207が撮像する画像のフレームレートに一致するものとする。ただし、フレームレートよらない所定の時間を撮像の周期として設定することもできる。
次に、本実施形態における情報処理システムの運用形態例を説明する。図4(a)〜図4(c)は、注目領域の設定手順を示す模式図である。図5は、連携して動作する携帯投影端末100、監視カメラ101およびサーバ102が実行する処理の流れを示すシーケンス図である。図5を参照し、監視カメラ101は、所定のフレーム間隔で実空間の監視領域を撮像する(S100)。そして、撮像したRGB画像を撮像位置、撮像姿勢(基準方位に対する相対方位および仰角)、撮像時刻などを含む撮像時情報と共にサーバ102に送信する(S101)。
サーバ102は、監視カメラ101から受信した撮像画像および撮像時情報を、監視カメラ101の設置位置、撮像方位、撮像時間、画角と共に記録する(S102)。サーバ102には監視カメラ101の実空間での位置座標(世界座標系での座標)、方位・姿勢を表す姿勢情報が設置時に記録されている。そのため、これらの情報から監視カメラ101の設置位置(撮像位置)および撮像姿勢を算出する。設置位置および撮像姿勢は、設置時にサーバ102に記録しておいてもよい。ただし、監視カメラ101がGPSセンサや慣性計測装置(IMU)を備えている場合は、必要に応じてサーバ102にこれらの情報を送信するようにしても構わない。この場合、監視カメラ101は、設置位置や撮像姿勢が変更されたタイミングで、これらの情報をサーバ102に送信する。
位置情報を受信したサーバ102は、携帯投影端末100が存在する位置付近に監視カメラ101が存在するかどうかを判定する。存在する場合は、監視カメラ101の設置位置および撮像姿勢を携帯投影端末100に向けて送信する(S105)。これらの情報を受信した携帯投影端末100は、動作モードを照明モードから空間スキャンモードに切り替える。動作モードの切り替えは、サーバ102からの情報受信を契機に自動的に行ってもよいが、所定のメッセージに従ってユーザがボタン操作することで行うようにしてもよい。
動作モードが空間スキャンモードに切り替わると、携帯投影端末100は、実空間の所定領域付近、すなわち監視領域付近をRGB−Dセンサ207で撮像する。ユーザは、携帯投影端末100を動かしながら、監視領域にある机105とその周りの空間を様々な位置・方向・角度からスキャンする。つまり、携帯投影端末100は、様々な位置・方向・角度の撮像画像(RGB画像、距離画像)を撮像して実空間の任意の領域を撮像することができる。その後、撮像画像に基づいて実空間における3次元形状の復元処理を実行する(S106)。復元処理については後で詳細に説明する。
このようにして設定された注目領域に基づいて、監視カメラ101で例えば背景差分処理などを行うことで、物体の変動の有無を検出する。これにより、任意の物体が一定時間以上同じ場所に留まっているか否かを識別することができる。すなわち、注目領域の近傍に不審物が置かれたこと(置き去り)を検知することができる。なお、背景差分処理は、サーバ102あるいは携帯投影端末100が行ってもよい。
次に、携帯投影端末100が実行する3次元形状の復元処理(S106)について詳しく説明する。図6(a)は、復元処理の手順説明図である。復元処理は、例えば携帯投影端末100に搭載されている所定ボタンを押下し、携帯投影端末100の動作モードが空間スキャンモードに変わることで開始される。空間スキャンモードになると、携帯投影端末100の撮像部304は、既定のフレームレートでRGB画像と距離画像を撮像し、撮像した各画像を保存する(S300)。特徴点抽出部305は、保存されているRGB画像から、濃淡の変化が大きい局所特徴量を特徴点として抽出し、これを保存する(S301)。また、特徴点マッチング部306は、保存されている特徴点をフレーム間でトラッキングし、距離画像から求められる距離情報と組み合わせて、カメラ座標系において特徴点がどのように移動したのかを求める(S302)。このような処理を「マッチング」と呼ぶ。マッチングに成功した特徴点を保存する(特徴点によってはマッチングできない場合もある)。その後、カメラパラメータ算出部307は、保存されているマッチングに成功した特徴点の集合から、RGB−Dセンサ207のフレーム毎の位置と向きの変化(カメラパラメータ)を算出し、これらを保存する(S303)。
また、仮に監視領域の3次元形状を予め作成しておいたとしても、実空間の物体の位置変化を携帯投影端末100の3次元形状の復元処理で補完できれば、予め作成しておいた実空間の3次元形状を修正(メンテナンス)する処理を追加することが可能である。
次に、本発明の第2実施形態について説明する。第1実施形態で説明した内容と共通するものについては同番号を付し、適宜説明を省略する。情報処理システムのハードウェア構成、および機能構成は第1実施形態に準じる。
第2実施形態では、持ち去り検知する物体の領域を指定する例について説明する。「持ち去り検知」とは、監視カメラ101が監視する領域に存在した物体が無くなって一定時間以上が経過したか否か、つまり当該物体が持ち去られたことを検知することである。第1実施形態との相違は、図5のS110において携帯投影端末100の領域指定部311が行う処理である。第1実施形態では、置き去り検知を行うための注目領域を指定する必要があった。そのため、領域指定部311では平面的な部分領域を優先的に指定領域とする処理を行ったが、第2実施形態では、注目領域を、監視カメラ101に映っている実空間の物体が存在する領域とする例を説明する。
次に、第3実施形態に係る情報処理システムについて説明する。第3実施形態では、指定領域をユーザ操作の内容に応じて変形させる例を説明する。ユーザ操作は、例えばジェスチャ操作とする。情報処理システムのハードウェア構成および機能構成は第1実施形態に準じる。第1実施形態および第2実施形態との相違は、領域指定部311の機能と処理の内容である。第3実施形態における領域指定部311は、ユーザの手又は足の属性(形状、サイズ、色など)と投影領域に対するユーザ操作を検出する操作検出手段を備える。また、投影制御部309が、投影領域の形状を検出されたユーザ操作の内容に応じて変形させる投影制御手段として機能する。領域指定部311は、変形された形状の投影領域の一部又は全部を指定領域として指定する。
領域指定部311は、S902で検出した手形状の形状変化を監視しており、パー形状であるか否かを判断する(S907)。手形状がパー形状でない場合(S907:N)、処理をS900に移す。手形状がパー形状である場合(S907:Y)、領域指定部311は、形状変化の操作があったと認識して指定領域を確定させる(S908)。
このように、第3実施形態では、手刀形状で指定領域を任意の形状に変形させる。また、手形状が他の所定形状、例えば手刀形状からパー形状に形状変化することによって指定領域を確定させる。
Claims (14)
- 実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像を取得する取得手段と、
前記複数の撮像画像に共通に映る共通領域を前記実空間に投影表示する投影手段と、
前記共通領域の一部または全部を指定領域として指定する指定手段と、
前記指定領域を前記所定領域において注目する注目領域に設定する設定手段と、を有することを特徴とする、情報処理システム。 - 前記所定領域を前記実空間の固定位置で撮像する第1撮像手段と、
前記実空間を移動しながら撮像可能な第2撮像手段と、
前記第1撮像手段および前記第2撮像手段により撮像された撮像画像を各々の撮像位置および撮像姿勢を含む撮影時情報と共に記録し、さらに前記所定領域付近の3次元形状を記録する記録手段とを備えており、
前記共通領域は、記録されている前記撮影時情報に基づいて前記3次元形状と前記撮像画像との位置合わせを行うことにより特定される領域であることを特徴とする、
請求項1に記載の情報処理システム。 - 前記第2撮像手段は、前記実空間の任意の位置で光を照らすことにより形成される投影領域の画像を撮像することを特徴とする、
請求項2に記載の情報処理システム。 - 前記投影手段は、前記第1撮像手段には映らない死角領域の情報を取得し、該死角領域の情報を前記共通領域の情報と共に投影表示することを特徴とする、
請求項2に記載の情報処理システム。 - 前記指定手段は、前記投影表示により前記実空間に形成される投影領域の一部又は全部を前記指定領域として指定することを特徴とする、
請求項3又は4に記載の情報処理システム。 - 前記指定手段は、前記投影領域に複数の部分領域が存在する場合は、当該投影領域の中心位置を含む部分領域を前記指定領域として指定することを特徴とする、
請求項5に記載の情報処理システム。 - 前記指定手段は、前記投影領域に複数の部分領域が存在する場合は、各部分領域の色情報および位置関係を検出し、検出結果に基づいて各部分領域を統合した上で、当該統合された領域を前記指定領域として指定することを特徴とする、
請求項5に記載の情報処理システム。 - 前記指定手段は、前記投影領域に対するユーザ操作を検出する操作検出手段と、前記投影領域の形状を前記操作検出手段で検出されたユーザ操作の内容に応じて変形させる投影制御手段とを備えており、変形された形状の投影領域の一部又は全部を前記指定領域として指定することを特徴とする、
請求項5に記載の情報処理システム。 - 前記操作検出手段は、前記投影領域に存在するユーザの手又は足の形状を検出するとともに、検出した形状が表す所定操作を検出し、
前記投影制御手段は、前記所定操作の検出を契機に前記投影領域の形状を変形させ、あるいは確定させることを特徴とする、
請求項8に記載の情報処理システム。 - 前記所定操作は、前記投影領域に存在するユーザの手又は足の形状が当該投影領域の境界をまたぐ操作であることを特徴とする、
請求項9に記載の情報処理システム。 - 前記所定操作は、ユーザの手又は足の形状が第1形状から第2形状への形状変化を伴う操作であることを特徴とする、
請求項9に記載の情報処理システム。 - 前記設定手段は、前記位置合わせの実行状況を出力する出力手段を備えており、
前記投影手段は、出力された前記実行状況に応じて前記投影領域における投影表示の態様を変更させる投影制御手段を備えることを特徴とする、
請求項3、5乃至11のいずれか一項に記載の情報処理システム。 - 実空間の所定領域をそれぞれ同時期に異なる位置で撮像することにより得られる複数の撮像画像を取得する取得工程と、
前記複数の撮像画像に共通に映る共通領域を前記実空間に投影表示させる投影工程と、
前記共通領域の一部または全部を指定領域として指定する指定工程と、
前記指定領域を前記所定領域において注目する注目領域に設定する設定工程と、を有することを特徴とする、情報処理方法。 - 実空間の所定領域を撮像する撮像装置との間で直接又は中継装置を介して通信する通信手段と、
前記所定領域を前記撮像装置と異なる位置で撮像可能な撮像センサと、
前記撮像装置で撮像された撮像画像および前記撮像センサで撮像された撮像画像、並びに、当該撮像装置の撮像位置および撮像姿勢を含む撮像時情報に基づいて生成された共通領域の情報を前記所定領域に向けて投影表示する投影手段と、
前記投影表示により形成される投影領域の一部又は全部を指定領域として指定する領域指定手段とを備え、
前記指定領域を前記撮像装置において注目する注目領域に設定させることを特徴とする、
携帯投影端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016215666A JP6812203B2 (ja) | 2016-11-02 | 2016-11-02 | 情報処理システム、情報処理方法、携帯投影端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016215666A JP6812203B2 (ja) | 2016-11-02 | 2016-11-02 | 情報処理システム、情報処理方法、携帯投影端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018074528A JP2018074528A (ja) | 2018-05-10 |
JP6812203B2 true JP6812203B2 (ja) | 2021-01-13 |
Family
ID=62116003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016215666A Active JP6812203B2 (ja) | 2016-11-02 | 2016-11-02 | 情報処理システム、情報処理方法、携帯投影端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6812203B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7255842B2 (ja) * | 2019-01-15 | 2023-04-11 | 日本電気通信システム株式会社 | 投影像指定装置、図形投影システム、投影像指定方法及びプログラム |
JP2020149672A (ja) * | 2019-03-11 | 2020-09-17 | 株式会社ミツトヨ | 測定結果表示装置及びプログラム |
JP7024014B2 (ja) * | 2020-07-13 | 2022-02-22 | 株式会社三共 | 遊技機 |
US20240096198A1 (en) * | 2021-01-29 | 2024-03-21 | Nec Corporation | Area determination apparatus, control method, computer readable medium, monitoring system, monitoring method |
WO2023021639A1 (ja) * | 2021-08-19 | 2023-02-23 | 三菱電機株式会社 | 情報処理装置及び検知システム |
JP7098081B1 (ja) * | 2021-08-19 | 2022-07-08 | 三菱電機株式会社 | 検知システム |
CN117981339A (zh) * | 2021-09-14 | 2024-05-03 | 株式会社岛津制作所 | 拍摄系统及拍摄方法 |
WO2023228414A1 (ja) * | 2022-05-27 | 2023-11-30 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100566405C (zh) * | 2004-02-03 | 2009-12-02 | 松下电器产业株式会社 | 检测区域调整装置 |
JP2007013814A (ja) * | 2005-07-01 | 2007-01-18 | Secom Co Ltd | 検出領域の設定装置 |
JP6265131B2 (ja) * | 2012-12-06 | 2018-01-24 | 日本電気株式会社 | 視界表示システム、視界表示方法および視界表示プログラム |
-
2016
- 2016-11-02 JP JP2016215666A patent/JP6812203B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018074528A (ja) | 2018-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6812203B2 (ja) | 情報処理システム、情報処理方法、携帯投影端末 | |
US10452133B2 (en) | Interacting with an environment using a parent device and at least one companion device | |
US9544552B2 (en) | Pickup system and pickup method | |
JP2019070911A (ja) | 情報処理装置、接続設定方法、コンピュータプログラム、及び記憶媒体 | |
CN106575437B (zh) | 信息处理装置、信息处理方法以及程序 | |
CN108700912B (zh) | 通过增强现实操作设备的方法和系统 | |
CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
FR2963186A1 (fr) | Systeme de videosurveillance et procede de configuration de ce systeme | |
US9743048B2 (en) | Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon | |
WO2015093130A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019176378A (ja) | 制御装置、監視システム、及び監視カメラ制御方法 | |
JP6685742B2 (ja) | 操作装置、移動装置、およびその制御システム | |
JP2014206583A (ja) | 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム | |
JP2008015815A (ja) | 画像処理装置、および画像処理プログラム | |
US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
KR20110087407A (ko) | 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법 | |
JP6027952B2 (ja) | 拡張現実画像生成システム、3次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20190318503A1 (en) | Non-transitory computer-readable storage medium, display apparatus, head-mounted display apparatus, and marker | |
US20220244788A1 (en) | Head-mounted display | |
JP6882147B2 (ja) | 操作案内システム | |
JP2006033188A (ja) | 監視装置および監視方法 | |
US9041973B2 (en) | Support system, control device, image forming apparatus, and support method utilizing cards on which written information is printed | |
JP2023026891A (ja) | 情報処理装置、及び情報処理プログラム | |
EP3432204B1 (en) | Telepresence framework for region of interest marking using headmount devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6812203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |