JP7095953B2 - 画像管理システム、画像管理方法、及び画像管理プログラム - Google Patents
画像管理システム、画像管理方法、及び画像管理プログラム Download PDFInfo
- Publication number
- JP7095953B2 JP7095953B2 JP2017007862A JP2017007862A JP7095953B2 JP 7095953 B2 JP7095953 B2 JP 7095953B2 JP 2017007862 A JP2017007862 A JP 2017007862A JP 2017007862 A JP2017007862 A JP 2017007862A JP 7095953 B2 JP7095953 B2 JP 7095953B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting
- subject
- storage unit
- information storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
動画像中の所定の条件を満たす場面のみを簡単に抽出するための技術も検討されている(例えば、特許文献1参照。)。この文献においては、インデクシング制御部は、映像コンテンツデータ内に登場する人物の顔画像を抽出し、タイムスタンプ情報や分類情報等と共にインデックス情報としてデータベースに格納する。スライドショー作成部は、インデックス情報を用いて各人物につき1つずつ顔画像を選択肢として提示し、選択された顔画像と同一の分類情報が付された顔画像が抽出されたフレーム(画像)を、インデックス情報を用いて抽出して静止画像データとしてHDDに格納する。そして、スライドショー表示部は、このHDDに格納された静止画像データを順次に表示する。
図2に示すように、移動体ユニット11には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット11は、建設現場で移動しながら作業を行なう作業者のヘルメットH1の横に取り付けられている。
撮影部12は、作業者の前方を撮影して動画(画像)を生成する。
送信部13は、撮影部12で撮影した動画を、所定容量毎に、管理サーバ20に送信する。
位置特定部212は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部212は、公知のv-SLAM(visual Simultaneous Localization And Mapping)を用いて、撮影位置を特定する。
インデクシング部214は、移動体ユニット11から取得した画像に対してインデックスを付与するインデクシング処理を実行する。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ(構造種別や建具種別)、面積、材質、製品情報、コストである。
具体的には、図3(a)に示すように、被写体情報記憶部25には、学習済み分類モデル251、教師データ252及び個体認識データ255が記憶されている。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象(物)の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。
個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット11において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置(移動体ユニット11)、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。
動画識別子データ領域には、この建設現場で撮影された動画を特定するための識別子に関するデータが記録される。この動画識別子を介して、動画管理情報260とインデックス情報270とが関連付けられる。
被写体識別情報データ領域には、このインデックスが付与された画像に含まれる被写体を特定する識別子に関するデータが記録される。ここでは、被写体識別情報として、管理対象識別子、被写体個体情報(オブジェクトIDや個体識別子)が記録される。
状態データ領域には、この被写体の状態に関するデータが記録される。
次に、図4を用いて、以上のように構成された管理システム10を用いたインデクシング処理について説明する。
一方、インデクシング部214は、前フレームで検知していた被写体(物)が消失したと判定した場合、前フレームに関連付けられているインデックス情報270に、前フレームの撮影日時を終了時間として記録する。なお、撮影を終了した場合は、すべてのインデックス情報270に、終了時間を記録する。
一方、前フレームからの変化がないと判定した場合(ステップS1-5において「NO」の場合)、管理サーバ20の制御部21は、ステップS1-6の処理をスキップする。
一方、退場情報を受信し、退場と判定した場合(ステップS1-7において「YES」の場合)には、制御部21の管理部211は、管理処理を終了する。
次に、図5を用いて、上述した被写体認識処理(ステップS1-4)について説明する。
管理サーバ20の制御部21は、管理対象及び状態の予測処理を実行する(ステップS2-2)。具体的には、制御部21の被写体特定部213は、各分割領域の画像を入力値とし、被写体情報記憶部25に記憶された学習済み分類モデル251を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。
ここでは、まず、管理サーバ20の制御部21は、所在位置及び個体情報の特定処理を実行する(ステップS2-3)。具体的には、制御部21の被写体特定部213は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部21のメモリに記録する。そして、制御部21の被写体特定部213は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部22に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトIDを特定して、制御部21のメモリに記録する。
次に、図7を用いて、画像を検索する処理について説明する。例えば、建設していた建築物が出来上がった後、特定の箇所(例えば、特定のエリア等)の建設中の画像を検索する場合を想定する。
(1)本実施形態では、管理サーバ20の制御部21は、被写体識別情報と撮影箇所及び時間を含むインデックス情報記憶部27を備える。これにより、制御部21は、インデックス情報を用いて、所望の被写体が含まれる画像を効率的に特定して出力することができる。この場合、撮影箇所や撮影時刻等を用いて、画像を検索することができる。
・上記実施形態においては、管理サーバ20の制御部21は、v-SLAMを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、v-SLAMを用いた処理に限定されるものではない。例えば、PDR(Pedestrian Dead Reckoning)を用いてもよい。この場合には、移動体ユニット11に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット11に印加される加速度に関する加速度情報(加速度の方向、大きさ等)を、3軸方向で検出する。ジャイロセンサは、移動体ユニット11に印加される角速度に関する角速度情報(角速度の方向、大きさ等)を、3軸方向で検出する。そして、送信部13は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ20に送信する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット11の制御部14は、画像の撮影や、管理サーバ20への画像の送信を再開する。
また、移動体ユニット11に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材(例えば、レンズカバー)を設けてもよい。そして、制御部14は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のSIFT(Scale-Invariant Feature Transform)法等を用いて実行してもよい。
更に、顔認証により特定した顔が、既知の人物か否かの顔認証処理を行なってもよい。この場合、既知の人物の顔画像情報を登録しておく。そして、顔認識により特定した顔画像情報と、登録されている既知の人物の顔画像情報とを用いて、既知の人物と未知の人物とを識別する。これにより、顔認証できない未知の人物(顔画像が登録されていない人物)が含まれる画像を抽出することができる。
Claims (6)
- 撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
画像を管理する制御部とを備えた管理システムであって、
前記制御部は、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理システム。 - 前記制御部は、
前記画像としての動画に含まれている音を用いて、前記被写体の状態を特定し、
前記インデックス情報に、前記被写体の状態を含めることを特徴とする請求項1に記載の画像管理システム。 - 前記画像は、時系列に並べられており、
前記制御部は、前時刻の画像に対して、画像に含まれる被写体が変化した場合に、その変化した撮影時刻に対して新たなインデックス情報を追加することを特徴とする請求項1又は2に記載の画像管理システム。 - 建設中の建築物に関する建築総合情報を記憶する建築総合情報記憶部を更に備え、
前記制御部は、
前記画像の撮影位置を用いて撮影範囲を特定し、
前記撮影範囲と、前記建築総合情報とから、前記画像に含まれる被写体を予測し、
予測した被写体と、前記画像に含まれる被写体とが異なる画像を抽出することを特徴とする請求項1~3の何れか1項に記載の画像管理システム。 - 撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理方法であって、
前記制御部は、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理方法。 - 撮影装置により移動しながら撮影された画像を記憶する画像情報記憶部と、
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
撮影を禁止する禁止区域情報が記憶された禁止区域情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理プログラムであって、
前記制御部を、
前記画像、撮影位置、撮影方向、撮影時刻を取得し、
前記禁止区域情報記憶部に記憶された禁止区域情報を用いて、前記撮影位置が撮影禁止区域と判定した場合には、前記画像の記録を停止し、
前記撮影位置が前記撮影禁止区域外と判定した場合には、前記画像に含まれる被写体についての被写体認識処理において前記被写体の対象識別子を特定し、前記撮影位置及び前記撮影方向を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記憶された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出する手段として機能させることを特徴とする画像管理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007862A JP7095953B2 (ja) | 2017-01-19 | 2017-01-19 | 画像管理システム、画像管理方法、及び画像管理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007862A JP7095953B2 (ja) | 2017-01-19 | 2017-01-19 | 画像管理システム、画像管理方法、及び画像管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116572A JP2018116572A (ja) | 2018-07-26 |
JP7095953B2 true JP7095953B2 (ja) | 2022-07-05 |
Family
ID=62985236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007862A Active JP7095953B2 (ja) | 2017-01-19 | 2017-01-19 | 画像管理システム、画像管理方法、及び画像管理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7095953B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7222519B2 (ja) * | 2018-09-10 | 2023-02-15 | 公立大学法人岩手県立大学 | オブジェクト識別システム、モデル学習システム、オブジェクト識別方法、モデル学習方法、プログラム |
KR20210073603A (ko) | 2018-11-09 | 2021-06-18 | 베크만 컬터, 인코포레이티드 | 선택적 데이터 제공을 갖는 서비스 안경 |
JP7529266B2 (ja) * | 2018-12-27 | 2024-08-06 | 日本電気通信システム株式会社 | 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム |
US11341186B2 (en) * | 2019-06-19 | 2022-05-24 | International Business Machines Corporation | Cognitive video and audio search aggregation |
CN112307243B (zh) * | 2019-07-23 | 2023-11-03 | 北京京东振世信息技术有限公司 | 用于检索图像的方法和装置 |
JP6852202B1 (ja) * | 2020-01-14 | 2021-03-31 | 株式会社梓設計 | 情報表示装置、情報表示方法及びプログラム |
JP2021140445A (ja) | 2020-03-05 | 2021-09-16 | 株式会社トプコン | 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218433A (ja) | 2001-01-15 | 2002-08-02 | Yoshiki Koura | デジタルビデオシステム、ビデオ画像にリンクされた情報の取得方法、双方向視聴システム、双方向視聴装置、デコード装置、伝達媒体ならびに記録媒体。 |
JP2005276004A (ja) | 2004-03-26 | 2005-10-06 | Hitachi Ltd | 画像情報処理システム |
JP2010161562A (ja) | 2009-01-07 | 2010-07-22 | Canon Inc | 画像処理装置、その制御方法、プログラム及び記録媒体 |
JP2013156784A (ja) | 2012-01-28 | 2013-08-15 | Yasuaki Iwai | 画像収集システム、画像撮像装置、画像記憶装置 |
US20140022372A1 (en) | 2012-07-23 | 2014-01-23 | Sony Mobile Communications Ab | Method and system for monitoring state of an object |
WO2016025691A1 (en) | 2014-08-15 | 2016-02-18 | Daqri, Llc | Remote expert system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004363871A (ja) * | 2003-06-04 | 2004-12-24 | Nippon Telegr & Teleph Corp <Ntt> | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 |
JP4883483B2 (ja) * | 2006-09-20 | 2012-02-22 | カシオ計算機株式会社 | 情報記録装置及び情報記録制御プログラム |
EP2154481B1 (en) * | 2007-05-31 | 2024-07-03 | Panasonic Intellectual Property Corporation of America | Image capturing device, additional information providing server, and additional information filtering system |
JP6210807B2 (ja) * | 2013-09-13 | 2017-10-11 | キヤノン株式会社 | 表示制御装置及び表示制御装置の制御方法 |
JP6173228B2 (ja) * | 2014-01-27 | 2017-08-02 | オリンパス株式会社 | 制御装置、撮像システム、撮像制御方法、およびプログラム |
US10015551B2 (en) * | 2014-12-25 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
-
2017
- 2017-01-19 JP JP2017007862A patent/JP7095953B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218433A (ja) | 2001-01-15 | 2002-08-02 | Yoshiki Koura | デジタルビデオシステム、ビデオ画像にリンクされた情報の取得方法、双方向視聴システム、双方向視聴装置、デコード装置、伝達媒体ならびに記録媒体。 |
JP2005276004A (ja) | 2004-03-26 | 2005-10-06 | Hitachi Ltd | 画像情報処理システム |
JP2010161562A (ja) | 2009-01-07 | 2010-07-22 | Canon Inc | 画像処理装置、その制御方法、プログラム及び記録媒体 |
JP2013156784A (ja) | 2012-01-28 | 2013-08-15 | Yasuaki Iwai | 画像収集システム、画像撮像装置、画像記憶装置 |
US20140022372A1 (en) | 2012-07-23 | 2014-01-23 | Sony Mobile Communications Ab | Method and system for monitoring state of an object |
WO2016025691A1 (en) | 2014-08-15 | 2016-02-18 | Daqri, Llc | Remote expert system |
Also Published As
Publication number | Publication date |
---|---|
JP2018116572A (ja) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7095953B2 (ja) | 画像管理システム、画像管理方法、及び画像管理プログラム | |
US11252329B1 (en) | Automated determination of image acquisition locations in building interiors using multiple data capture devices | |
CN107093171B (zh) | 一种图像处理方法及装置、系统 | |
JP7039409B2 (ja) | 映像解析装置、人物検索システムおよび人物検索方法 | |
US11632602B2 (en) | Automated determination of image acquisition locations in building interiors using multiple data capture devices | |
KR102092392B1 (ko) | 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 | |
US20220141425A1 (en) | Target Tracking in a Multi-Camera Surveillance System | |
KR102096926B1 (ko) | 관심 영역 변화를 검출하는 방법 및 시스템 | |
US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
JP7113611B2 (ja) | 位置特定装置、位置特定プログラム及び位置特定方法、並びに、撮影画像登録装置、撮影画像登録プログラム及び撮影画像登録方法 | |
JP2006146378A (ja) | 複数カメラを用いた監視システム | |
JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
EP2618288A1 (en) | Monitoring system and method for video episode viewing and mining | |
JP2022042146A (ja) | データ処理装置、データ処理方法およびデータ処理用プログラム | |
CN111222190A (zh) | 一种古建筑管理系统 | |
Braun et al. | Process-and computer vision-based detection of as-built components on construction sites | |
JP2019029935A (ja) | 画像処理装置およびその制御方法 | |
JP7004131B2 (ja) | 管理システム、管理方法及び管理プログラム | |
KR20200037168A (ko) | 관심 영역 변화를 검출하는 방법 및 시스템 | |
JP2015230616A (ja) | 画像処理方法および画像処理装置 | |
CN107615297A (zh) | 便携式识别和数据显示装置和系统及其使用方法 | |
KR20190074210A (ko) | 로이터링 이벤트를 검출하는 방법, 장치 및 시스템 | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
JPH11339139A (ja) | 監視装置 | |
KR101036107B1 (ko) | 고유식별 정보를 이용한 증강 현실 구현시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210521 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210531 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210601 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210709 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210713 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211102 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220315 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20220512 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220524 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220621 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7095953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |