JP7280142B2 - 情報処理装置、プログラム、及び撮像システム - Google Patents
情報処理装置、プログラム、及び撮像システム Download PDFInfo
- Publication number
- JP7280142B2 JP7280142B2 JP2019143340A JP2019143340A JP7280142B2 JP 7280142 B2 JP7280142 B2 JP 7280142B2 JP 2019143340 A JP2019143340 A JP 2019143340A JP 2019143340 A JP2019143340 A JP 2019143340A JP 7280142 B2 JP7280142 B2 JP 7280142B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- information processing
- unit
- cells
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
第1節では、本実施形態に含まれる構成要素について、順次説明する。
図1は、本実施形態に係る撮像システム1のハードウェア構成概要を示すブロック図である。撮像システム1は、カメラ2と、情報処理装置3とを備える。本実施形態では、カメラ2と、情報処理装置3とはネットワークNを介して接続されている。かかる接続は有線であっても無線であってもよい。
カメラ2は、例えば、外界の情報を光学的に撮像するものであり、動画として撮像されるものが好ましい。カメラ2の解像度やフレームレートは、用途(撮像する対象物O)に応じて適宜選択すればよく、本実施形態においては特に限定されるものではない。例えば、解像度は、フルHD、WQHD、4k等でよく、フレームレートは、30fps、60fps、120fps、250fps等でよい。カメラ2が撮像した画像IMが、後述の情報処理装置3に送信される。図3は、カメラ2によって撮像された画像IMの一例を示しているので参照されたい。ここでは、対象物Oがヒトである場合を例示している。
情報処理装置3は、ハードウェアであるコンピュータと、ソフトウェアであるプログラムとによって実現されるものである。なお、コンピュータのユーザUが、インターネット等を介してプログラムをコンピュータにインストールさせることによって情報処理装置3が実現されてもよいし(ダウンロード)、予めコンピュータにプログラムがインストールされていることによって情報処理装置3が実現されてもよい。
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。これらは一例であり、専用の通信規格を採用してもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
記憶部32は、様々な情報を記憶する揮発性又は不揮発性の記憶媒体である。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)として実現される。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には、通信部31が受信した画像IMのデータを複数のセルCに分割するセル分割機能、当該複数のセルCから所望セルC0と周囲セルC1~C8とを含むセル群CGを抽出するセル群抽出機能、セル群CGに含まれる各セルCを機械学習アーキテクチャに入力することで、画像IMに含まれる対象物Oの数又は密度を推定する推定機能等が該当する。
セル分割部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。セル分割部331は、カメラ2が撮像し、通信部31を介して受信した画像IMを、複数のセルCに分割する。図4は、図3に示された画像IMを複数のセルC(ここでは、8×8=64)に分割した一例を示しているので参照されたい。
セル群抽出部332は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。セル群抽出部332は、セル分割部331によって分割された複数のセルCから所望セルC0と周囲セルC1~C8とを含むセル群CGを抽出する。図5Aは、図4に示された複数のセルCから任意のセル群CGを抽出した一例を示し、図5Bは、図5Aに示されたセル群CG(ここでは、3×3=9)を構成する所望セルC0と周囲セルC1~C8とを示しているので参照されたい。ここで、所望セルC0とは、複数のセルCのうちの1つで、周囲セルC1~C8とは、所望セルC0の周囲に位置するセルCである。換言すると、セル群CGが1つの所望セルC0と8つの周囲セルC1~C8との計9つのセルからなるものである。
推定部333は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。推定部333は、セル群CGに含まれる各セルCを記憶部32に記憶された機械学習アーキテクチャに入力することで、画像IMに含まれる対象物Oの数又は密度を推定する。ここで、本実施形態において採用している機械学習アーキテクチャは、セル群CGに含まれる各セルCに対して同一の重み付け行列を畳み込むCNN(Convolutional Neural Network)層と、当該CNN層から出力された複数の特徴マップを順次系列的に処理可能なLSTM(Long short-term memory)層とを含むものであることに留意されたい。
表示部34は、例えば、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部34は、ユーザUが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置3の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部33による所定の制御信号に応答して、GUIの画面を選択的に表示しうる。なお、GUIについて補足すると、例えば、入力フォームやラジオボタン等といった具体的なインターフェースが表示されうる。
入力部35は、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部35は、表示部34と一体となってタッチパネルとして実施されうる。タッチパネルであれば、ユーザUは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部35がユーザUによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス30を介して制御部33に転送され、制御部33が必要に応じて所定の制御や演算を実行しうる。
第2節では、本実施形態に係る撮像システム1の動作の流れについて説明する。図6は、撮像システム1の動作の流れを示すアクティビティ図である。以下、図6に示されるアクティビティ図の各アクティビティに沿って説明をする。
(アクティビティA01)
撮像システム1におけるカメラ2が、対象物Oを含む画像IMとして撮像する。かかる撮像は、フレームレートに基づいて連続的に行われるものである。各フレームは、ネットワークNを介して、順次情報処理装置3に送信される。
情報処理装置3における通信部31が、アクティビティA1において撮像された画像IMを受信する(画像IMが情報処理装置3に受付される)。
アクティビティA11の完了後、情報処理装置3におけるセル分割部331が、アクティビティA11において受信した画像IMを複数のセルCに分割する。
アクティビティA12の完了後、情報処理装置3におけるセル群抽出部332が、アクティビティA12において分割された複数のセルCのうち、その一部をセル群CG(所望セルC0及び周囲セルC1~C8)として抽出する。
アクティビティA13の完了後、情報処理装置3における推定部333が、所望セルC0及び周囲セルC1~C8を入力として、記憶部32に記憶された機械学習アーキテクチャに基づいて、対象物Oの数又は密度の推定を開始する。ここでは、所望セルC0及び周囲セルC1~C8を入力として、畳み込み行列をそれぞれ共有したCNN層を導入することで、複数の特徴中間値が出力される。
アクティビティA14の完了後、アクティビティA14において得られた複数の特徴中間値を系列的な入力として、LSTM層を導入することで、所望セルC0における対象物Oの密度が推定的に出力される。
アクティビティA15の結果得られた所望セルC0における対象物Oの密度推定を、画像IMに対して全体的に実施することによって、画像IMにおける対象物Oの数又は密度を推定することができる。
[ここまで]
第3節では、第1節で説明した情報処理装置3の実施例について説明する。あくまでも評価実験であるため、カメラ2で撮像する画像IMに代えて、当業者によって幅広くベンチマークとして用いられているモールデータセット(Mall Dataset)を採用した(図7参照)。モールデータセットには、対象物Oであるヒトが画像IMに大量に含まれている。
以上のように、本実施形態によれば、対象物Oが任意かつ多数であっても、高い認識力を有し、かかる対象物Oの個数又は画像IM中における占める割合(密度)を推定可能な情報処理装置3を提供することができる。
2 :カメラ
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :セル分割部
332 :セル群抽出部
333 :推定部
34 :表示部
35 :入力部
C :セル
C0 :所望セル
C1 :周囲セル
C2 :周囲セル
C3 :周囲セル
C4 :周囲セル
C5 :周囲セル
C6 :周囲セル
C7 :周囲セル
C8 :周囲セル
CG :セル群
IM :画像
N :ネットワーク
O :対象物
Claims (7)
- 情報処理装置であって、受付部と、セル分割部と、セル群抽出部と、推定部とを備え、
前記受付部は、複数の対象物を含む画像データを受付可能に構成され、
前記セル分割部は、前記画像データを複数のセルに分割可能に構成され、
前記セル群抽出部は、当該複数のセルから所望セルと周囲セルとを含むセル群を抽出可能に構成され、ここで、前記所望セルは前記複数のセルのうちの1つで、前記周囲セルは前記所望セルの周囲に位置するセルで、
前記推定部は、前記セル群に含まれる各セルを機械学習アーキテクチャに入力することで、前記画像データに含まれる対象物の数又は密度を推定可能に構成され、
ここで、前記機械学習アーキテクチャは、前記セル群に含まれる各セルに対して同一の重み付け行列を畳み込むCNN層と、当該CNN層から出力された複数の特徴中間値を順次系列的に処理可能なLSTM層とを含むもの。 - 請求項1に記載の情報処理装置において、
前記CNN層が畳み込み層と、プーリング層と、結合層とを有するもの。 - 請求項1又は請求項2に記載の情報処理装置において、
前記セル群が1つの前記所望セルと8つの前記周囲セルとの計9つのセルからなるもの。 - 請求項1~請求項3の何れか1つに情報処理装置において、
前記対象物がヒトであるもの。 - 請求項1~請求項4の何れか1つに記載の情報処理装置において、
前記LSTM層のうち系列順に最後のLSTM層が、前記所望セルにおける前記対象物の数又は密度を出力するもの。 - プログラムであって、
コンピュータを請求項1~請求項5の何れか1つに記載の情報処理装置として機能させるもの。 - 撮像システムであって、カメラと、情報処理装置とを備え、これらがネットワークを介して互いに通信可能に構成され、
前記カメラは、複数の対象物を含む画像データを撮像可能に構成され、
前記情報処理装置は、
請求項1~請求項5の何れか1つに記載の情報処理装置であり、
これに具備される受付部が、前記カメラによって撮像された前記画像データを受付可能に構成されるもの。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019143340A JP7280142B2 (ja) | 2019-08-02 | 2019-08-02 | 情報処理装置、プログラム、及び撮像システム |
JP2023078274A JP2023103355A (ja) | 2019-08-02 | 2023-05-11 | 情報処理装置、プログラム、及び撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019143340A JP7280142B2 (ja) | 2019-08-02 | 2019-08-02 | 情報処理装置、プログラム、及び撮像システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023078274A Division JP2023103355A (ja) | 2019-08-02 | 2023-05-11 | 情報処理装置、プログラム、及び撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021026465A JP2021026465A (ja) | 2021-02-22 |
JP7280142B2 true JP7280142B2 (ja) | 2023-05-23 |
Family
ID=74663904
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019143340A Active JP7280142B2 (ja) | 2019-08-02 | 2019-08-02 | 情報処理装置、プログラム、及び撮像システム |
JP2023078274A Pending JP2023103355A (ja) | 2019-08-02 | 2023-05-11 | 情報処理装置、プログラム、及び撮像システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023078274A Pending JP2023103355A (ja) | 2019-08-02 | 2023-05-11 | 情報処理装置、プログラム、及び撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7280142B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018180619A (ja) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2018195001A (ja) | 2017-05-16 | 2018-12-06 | 株式会社パスコ | 線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法 |
JP2019092972A (ja) | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | 放水型消火設備 |
-
2019
- 2019-08-02 JP JP2019143340A patent/JP7280142B2/ja active Active
-
2023
- 2023-05-11 JP JP2023078274A patent/JP2023103355A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018180619A (ja) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2018195001A (ja) | 2017-05-16 | 2018-12-06 | 株式会社パスコ | 線状図形抽出装置、線状図形抽出プログラム及びニューラルネットワークの学習方法 |
JP2019092972A (ja) | 2017-11-27 | 2019-06-20 | ホーチキ株式会社 | 放水型消火設備 |
Also Published As
Publication number | Publication date |
---|---|
JP2021026465A (ja) | 2021-02-22 |
JP2023103355A (ja) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909682B2 (en) | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium | |
CN110136056B (zh) | 图像超分辨率重建的方法和装置 | |
CN107392189B (zh) | 用于确定无人车的驾驶行为的方法和装置 | |
US9996768B2 (en) | Neural network patch aggregation and statistics | |
CN108154222B (zh) | 深度神经网络训练方法和系统、电子设备 | |
US20150110386A1 (en) | Tree-based Linear Regression for Denoising | |
CN105453132B (zh) | 实施图像处理的信息处理设备和图像处理方法 | |
CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
CN110738235A (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
JP6849101B2 (ja) | 高速で漸進的なスーパーボクセルベースの時空間ビデオセグメンテーション法 | |
WO2020093724A1 (zh) | 生成信息的方法和装置 | |
CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
CN108875931A (zh) | 神经网络训练及图像处理方法、装置、系统 | |
WO2013122586A2 (en) | Automated perceptual quality assessment of touch screen devices | |
CN113743607A (zh) | 异常检测模型的训练方法、异常检测方法及装置 | |
EP2485190A1 (en) | Adapting the resolution of a graphic representation of metadata | |
CN115496976B (zh) | 多源异构数据融合的视觉处理方法、装置、设备及介质 | |
CN108038473B (zh) | 用于输出信息的方法和装置 | |
US11232561B2 (en) | Capture and storage of magnified images | |
Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
US9298312B2 (en) | Automated perceptual quality assessment of touchscreen devices | |
AU2018101634A4 (en) | System and method for processing and merging images | |
JP7280142B2 (ja) | 情報処理装置、プログラム、及び撮像システム | |
CN109871814B (zh) | 年龄的估计方法、装置、电子设备和计算机存储介质 | |
CN116912556A (zh) | 图片分类方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7280142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |