JPWO2019016879A1 - 物体検出装置、及び、物体検出手法 - Google Patents
物体検出装置、及び、物体検出手法 Download PDFInfo
- Publication number
- JPWO2019016879A1 JPWO2019016879A1 JP2019530278A JP2019530278A JPWO2019016879A1 JP WO2019016879 A1 JPWO2019016879 A1 JP WO2019016879A1 JP 2019530278 A JP2019530278 A JP 2019530278A JP 2019530278 A JP2019530278 A JP 2019530278A JP WO2019016879 A1 JPWO2019016879 A1 JP WO2019016879A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- object detection
- information
- detection device
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
<撮像装置>
撮像装置1は、計測範囲の画像情報と三次元情報を取得できる装置である。ここで、画像情報とはデジタル画像データにおける輝度情報、三次元情報とは計測範囲(三次元空間)における三次元点群の座標情報である。
<識別候補領域抽出部>
図2は識別候補領域抽出部5の詳細を示している。識別候補領域抽出部5は、画像取得部3および三次元情報取得部4の取得する画像情報もしくは三次元情報、またはその両方を利用し、検出対象が存在し得る識別候補領域55を抽出するものであり、画像情報を用いて識別候補領域55を抽出する画像処理部51と、三次元情報を用いて識別候補領域55を抽出する三次元情報処理部52と、抽出した1つ以上の識別候補領域55にIDを付与する識別候補領域ID付与部53と、識別候補領域55の位置を表す識別候補領域情報を取得し、管理する識別候補領域情報管理部54を備えている。以下、画像処理部51、三次元情報処理部52、識別候補領域ID付与部53、識別候補領域情報管理部54について詳細に説明する。
<識別器情報取得部>
次に、図4を用いて、識別器情報取得部6を説明する。識別器情報取得部6は複数用意されている識別器64から適切なものを選択し、それに対応した識別器情報65を抽出するものである。なお、67_nは識別器64_nを管理するために付与される識別器IDである。
<画像変換方法決定部>
次に、図5を用いて、画像変換方法決定部7aの処理フローを説明する。画像変換方法決定部7aは、図3Cに例示した直方体状の識別候補領域55内の三次元情報を基に、識別器64への入力として最適な画像へ変換するための変換方法(パラメータ等)を決定するものである。画像変換方法決定部7aの処理フローとしては、まず視点変換のパラメータを決定し(S51)、そのパラメータを用いて視点変換画像を生成する(S52)。そして、複数の識別器64の各々が保持する識別器情報65を参照して変換画像との類似度を算出し(S53)、類似度が閾値より高ければ処理を終了し、閾値以下ならステップS51に戻り、パラメータを他の値に変更する(S54)。以下、ステップS51、S52、S53、S54について詳しく説明する。
<画像変換部>
画像変換部8は、画像変換方法決定部7aが決定した画像変換方法に従って識別候補領域55を変換し、識別器64への入力に適した変換画像86を取得するものである。なお、画像変換方法はステップS52と同様に、例えば式1〜式3のような変換式を用いることができるが、他の方法を用いても良い。
<識別部>
図8は識別部9の詳細を示している。識別部9は、画像変換部8が取得する変換画像86_n中に検出対象が含まれるか否かを判定するものであり、少なくとも1つ以上の識別器64_nを記録する識別器記録部91と、識別器64_nを用いて変換画像86_nに対して識別処理を実施する識別処理実施部92と、識別処理の結果を出力する識別結果出力部を備える。以下、識別処理実施部92、識別結果出力部93について、詳細に説明する。
<処理フロー>
次に、図9を用いて、本実施例の物体検出装置2aにおける物体検出の処理フローを説明する。
Claims (18)
- 計測範囲内に検出対象が存在するか否かを判定する物体検出装置であって、
撮像装置からの入力を基に前記計測範囲内の三次元情報を取得する三次元情報取得部と、
前記検出対象が存在し得る識別候補領域を抽出する識別候補領域抽出部と、
前記検出対象の検出に用いる識別器と、
該識別器の情報を取得する識別器情報取得部と、
前記識別候補領域内の三次元情報を仮想的に視点変換処理するパラメータを決定する画像変換方法決定部と、
仮想的に視点変換処理した前記識別候補領域内の三次元情報を基に変換画像を生成する画像変換実施部と、
該変換画像を基に前記識別器を用いて前記検出対象を検出する識別部と、
を備えることを特徴とする物体検出装置。 - 請求項1に記載の物体検出装置において、
前記撮像装置からの入力を基に前記計測範囲内の画像情報を取得する画像取得部、
を更に備えることを特徴とする物体検出装置。 - 請求項2に記載の物体検出装置において、
前記識別候補領域抽出部は、
前記画像情報、前記三次元情報、外部センサの少なくとも一つ以上を利用して、前記識別候補領域を抽出することを特徴とする物体検出装置。 - 請求項2または3に記載の物体検出装置において、
前記画像変換方法決定部は、
前記画像情報と前記三次元情報と前記識別器の情報を利用して、前記識別器の入力として最適な前記変換画像を生成するパラメータを決定することを特徴とする物体検出装置。 - 請求項2から4のいずれかに記載の物体検出装置において、
前記識別候補領域抽出部は、
複数の前記識別候補領域にIDを付与する識別候補領域ID付与部と、
前記識別候補領域のIDと、前記画像情報における位置と、前記三次元情報における位置を纏めて管理する識別候補領域情報管理部と、
を備えることを特徴とする物体検出装置。 - 請求項1から5のいずれかに記載の物体検出装置において、
前記識別器情報取得部は、前記識別器のIDと、特に高い識別能力を示す入力信号を表現する識別器情報を取得することを特徴とする物体検出装置。 - 請求項2から6のいずれかに記載の物体検出装置において、
前記画像変換方法決定部は、
前記仮想的な視点変換処理の結果に対して最適化処理を実施し、前記識別候補領域に前記検出対象が含まれるか否かを判定する識別器において最も適する画像への画像変換を実現する前記パラメータを決定することを特徴とする物体検出装置。 - 請求項6に記載の物体検出装置において、
前記識別器情報は、テンプレート、色情報、輝度情報、輪郭、勾配情報のいずれかであることを特徴とする物体検出装置。 - 請求項8に記載の物体検出装置において、
前記識別器情報がテンプレートである場合、
前記画像変換方法決定部は、前記視点変換処理を実施して取得する画像と前記テンプレートの類似度を算出し、前記類似度が最大となる前記識別器を選択することを特徴とする物体検出装置。 - 請求項2から9のいずれかに記載の物体検出装置において、
前記画像変換方法決定部は、前記撮像装置の設置状態を表現するカメラパラメータを利用し前記パラメータを決定する機能を備えることを特徴とする物体検出装置。 - 請求項2から10のいずれかに記載の物体検出装置において、
前記識別部は、前記検出対象に対して識別能力を有する識別部を少なくとも1つを記録する識別器記録部と、
前記識別器を用いて前記変換画像に対して前記検出対象が含まれるか否かを識別する識別処理を実施する識別処理実施部と、
前記変換画像に前記検出対象が含まれると判定された場合に結果を出力する識別結果出力部と、
を備えることを特徴とする物体検出装置。 - 請求項2から11のいずれかに記載の物体検出装置において、
前記画像変換方法決定部は、前記検出対象の三次元形状に基づいて前記パラメータを決定することを特徴とする物体検出装置。 - 請求項12に記載の物体検出装置において、
前記画像変換方法決定部は、前記識別候補領域を通過する、検出対象の一般的な姿勢方向を示す直線を取得し、
前記直線が前記撮像装置のカメラ座標系のY軸と平行になるような仮想的な視点変換を実現する前記パラメータを取得する機能、
を備えることを特徴とする物体検出装置。 - 請求項13に記載の物体検出装置において、
前記画像変換方法決定部は、前記直線が前記カメラ座標系のY軸と平行な状態に変換された後に、正面、側面、上面から前記識別候補領域を観測する視点へ仮想的な視点変換を実施し、それぞれの視点において前記変換画像を取得することを特徴とする物体検出装置。 - 請求項13または14に記載の物体検出装置において、
画像変換方法決定部は、
前記識別候補領域に含まれる三次元点群の各点同士のユークリッド距離が最大となる2点を結ぶことで前記直線を決定することを特徴とする物体検出装置。 - 請求項13または14に記載の物体検出装置において、
前記画像変換方法決定部は、
前記識別候補領域に含まれる三次元点群に対して主成分分析を実施し、
その第一成分の方向にとることで前記直線を決定することを特徴とする物体検出装置。 - 請求項13に記載の物体検出装置において、
前記画像変換方法決定部は、
前記計測範囲の床面を推定し、
前記識別候補領域に対して前記検出対象の特定の部位を検出し、
前記部位に対応するひとつの点を通り、前記床面と直交する方向へのびる直線を前記直線に決定することを特徴とする物体検出装置。 - 計測範囲内に検出対象が存在するか否かを判定する物体検出方法であって、
撮像装置からの入力を基に前記計測範囲内の三次元情報を取得し、
前記検出対象が存在し得る識別候補領域を抽出し、
前記検出対象の検出に用いる識別器の情報を取得し、
前記識別候補領域内の三次元情報を仮想的に視点変換処理するパラメータを決定し、
仮想的に視点変換処理した前記識別候補領域内の三次元情報を基に変換画像を生成し、
該変換画像を基に前記識別器を用いて前記検出対象を検出することを特徴とする物体検出方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/026036 WO2019016879A1 (ja) | 2017-07-19 | 2017-07-19 | 物体検出装置、及び、物体検出手法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019016879A1 true JPWO2019016879A1 (ja) | 2020-03-26 |
JP6802923B2 JP6802923B2 (ja) | 2020-12-23 |
Family
ID=65015748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019530278A Active JP6802923B2 (ja) | 2017-07-19 | 2017-07-19 | 物体検出装置、及び、物体検出手法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6802923B2 (ja) |
WO (1) | WO2019016879A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7094702B2 (ja) * | 2018-01-12 | 2022-07-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
JP7067672B2 (ja) * | 2019-05-29 | 2022-05-16 | コニカミノルタ株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007271408A (ja) * | 2006-03-31 | 2007-10-18 | Nippon Telegr & Teleph Corp <Ntt> | 三次元環境情報取得装置,三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体 |
JP2015032185A (ja) * | 2013-08-05 | 2015-02-16 | 国立大学法人 東京大学 | 3次元環境復元装置 |
WO2016063796A1 (ja) * | 2014-10-24 | 2016-04-28 | 株式会社日立製作所 | キャリブレーション装置 |
WO2016199244A1 (ja) * | 2015-06-10 | 2016-12-15 | 株式会社日立製作所 | 物体認識装置及び物体認識システム |
-
2017
- 2017-07-19 JP JP2019530278A patent/JP6802923B2/ja active Active
- 2017-07-19 WO PCT/JP2017/026036 patent/WO2019016879A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007271408A (ja) * | 2006-03-31 | 2007-10-18 | Nippon Telegr & Teleph Corp <Ntt> | 三次元環境情報取得装置,三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体 |
JP2015032185A (ja) * | 2013-08-05 | 2015-02-16 | 国立大学法人 東京大学 | 3次元環境復元装置 |
WO2016063796A1 (ja) * | 2014-10-24 | 2016-04-28 | 株式会社日立製作所 | キャリブレーション装置 |
WO2016199244A1 (ja) * | 2015-06-10 | 2016-12-15 | 株式会社日立製作所 | 物体認識装置及び物体認識システム |
Non-Patent Citations (1)
Title |
---|
早田赳,外1名: ""3次元点群からのマルチスケール特徴抽出法に関する検討"", 映像情報メディア学会技術報告, vol. 39, no. 29, JPN6020019044, 2015, pages 35 - 40, ISSN: 0004280094 * |
Also Published As
Publication number | Publication date |
---|---|
JP6802923B2 (ja) | 2020-12-23 |
WO2019016879A1 (ja) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP5950973B2 (ja) | フレームを選択する方法、装置、及びシステム | |
JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
US20160155235A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
US11398049B2 (en) | Object tracking device, object tracking method, and object tracking program | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2019075156A (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
JP6352208B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
JP5493108B2 (ja) | 距離画像カメラを用いた人体識別方法および人体識別装置 | |
JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
US9582706B2 (en) | Face location detection | |
CN107680125B (zh) | 在视觉系统中自动选择三维对准算法的系统和方法 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP3637226B2 (ja) | 動き検出方法、動き検出装置及び記録媒体 | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6802923B2 (ja) | 物体検出装置、及び、物体検出手法 | |
US20210335010A1 (en) | Calibration method and calibration apparatus | |
JP2010045501A (ja) | 画像監視装置 | |
JP5336325B2 (ja) | 画像処理方法 | |
KR101578891B1 (ko) | 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법 | |
Krispel et al. | Automatic texture and orthophoto generation from registered panoramic views | |
JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6802923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |