JP7138157B2 - 物体検出装置、物体検出方法、およびプログラム - Google Patents
物体検出装置、物体検出方法、およびプログラム Download PDFInfo
- Publication number
- JP7138157B2 JP7138157B2 JP2020217296A JP2020217296A JP7138157B2 JP 7138157 B2 JP7138157 B2 JP 7138157B2 JP 2020217296 A JP2020217296 A JP 2020217296A JP 2020217296 A JP2020217296 A JP 2020217296A JP 7138157 B2 JP7138157 B2 JP 7138157B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object region
- region
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
実施形態の物体検出システム1は、一または複数の車載装置10から送信された撮像画像を収集し、収集した撮像画像に含まれた物体を検出する。物体検出システム1は、検出した物体の位置を推定する処理や、検出した物体を分類する処理を実行する。物体検出システム1は、物体の位置情報や物体の分類情報を含む情報を作成し、作成した情報を他のシステム(不図示)に提供する。以下の実施形態において、撮像画像は、例えば、車両の右前方部に設置されたカメラにより撮像された右側画像、および車両の左前方部に設置されたカメラにより撮像された左側画像を含む。撮像画像は、右側画像および左側画像に限定されず、車両に搭載された1台のカメラにより撮像された画像であってもよく、車両の後方を撮像した画像であってもよく、さらには、車両に搭載されていない種々のカメラにより撮像された画像であってもよい。以下の実施形態において、物体がマンホールであることについて説明するが、物体検出システム1は、これに限定されず、位置の推定や、物体の分類の対象となりうる種々の物体に適用可能である。例えば、物体検出システム1は、道路に沿って設けられている電柱等にも適用可能である。
図1は、実施形態の物体検出システム1の一構成例を示すブロック図である。物体検出システム1は、例えば、一又は複数の車載装置10と、データ収集装置20と、物体検出装置100とを備える。車載装置10、データ収集装置20、および物体検出装置100は、例えば、通信ネットワークに接続される。通信ネットワークに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースを備えている(図1では不図示)。通信ネットワークは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
図2は、実施形態の物体検出装置100における処理手順の一例を示すフローチャートである。物体検出装置100は、先ず、データ収集装置20から処理対象の撮像画像を取得する(ステップS100)。次に物体検出装置100は、撮像画像から検出された物体の一部が他の物体により隠れているか否かを判定する(ステップS102)。物体検出装置100は、撮像画像から検出された物体の一部が他の物体により隠れている場合、検出された物体を以降の処理対象から除外する。次に物体検出装置100は、処理対象の物体の位置を推定する(ステップS104)。実施形態の位置推定処理は、撮像画像内における物体の位置を推定する。次に物体検出装置100は、右側画像を用いて位置が推定された物体と、左側画像を用いて位置が推定された物体とが一致するか否かを判定する(ステップS106)。次に物体検出装置100は、撮像画像から検出された物体を分類する(ステップS108)。次に物体検出装置100は、物体の位置、および分類を含む情報を提供する(ステップS110)。物体検出装置100は、例えば、一致性が判定された物体ごとに、位置および分類を含む情報を提供する。位置情報の提供処理は、位置推定処理により推定された撮像画像内の位置および当該撮像画像に対応した緯度経度を含む位置情報を提供してもよく、撮像画像に対応した緯度経度および撮像画像内の位置に基づいて計算した物体の緯度経度情報を提供してもよい。なお、実施形態は、隠れ判定処理(ステップS102)、位置推定処理(ステップS104)、および一致性判定処理(ステップS106)の順で処理を実行したが、これに限定されず、どの順序で実行してもよい。
以下、隠れ判定処理(ステップS102)について説明する。図3は、実施形態における撮像画像の一例を示す図である。図3に示した撮像画像は、車両の右側に設けられたカメラにより撮像された画像である。撮像画像には、2つのマンホールに対応した2つの物体領域A1,A2が含まれる。
図6は、実施形態における台形補正について説明するための図であり、(a)は補正前の領域Aを示し、(b)は補正後の領域A’を示す。図6(a)において、(x0,y0)は撮像画像の収束点の座標である。(x1,y1)、(x2,y2)、(x3,y3)、および(x4,y4)は物体領域Aを囲む矩形の端部座標である。wは2つの縦方向中間点(xc1,yc1)および(xc2,yc2)を結んだ物体領域Aの幅である。(x1’,y1’)、(x2’,y2’)、(x3’,y3’)、および(x4’,y4’)は物体領域Aと接する台形領域の端部座標である。台形領域は、X方向に平行な2本の底辺と、縦方向中間点(xc1,yc1)と収束点とを結ぶ直線と、縦方向中間点(xc2,yc2)と収束点とを結ぶ直線とにより定義される。図6(b)において、補正後の領域A’は、wを直径とした円領域である。補正後の領域A’は、正方形領域に接する。正方形領域は、(x1’’,y1’’)、(x2’’,y2’’)、(x3’’,y3’’)、および(x4’’,y4’’)を持つ。
図8は、実施形態における台形補正された領域A’から真円領域A’’へ変換する処理を説明するための図であり、(a)は物体領域Aを示し、(b)は領域A’を示し、(c)は真円領域A’’を示す。
先ず検出部110は、領域AのX方向最小点z1、X方向最大点z3、Y方向最小点z4、およびY方向最大点z2を検出する。これらの検出した点z1~z4は、領域Aの外周点の座標である。次に検出部110は、外周点を用いてX方向中間点(幅方向の中心)およびY方向中間点(高さ方向の中心)を求め、幅方向の中心および高さ方向の中心である領域Aの中心点z0を求める。次に検出部110は、X方向最小点z1、X方向最大点z3、Y方向最小点z2、Y方向最大点z4、および中心点z0を、関数P1を用いて台形補正する。すなわち、検出部110は、zn’=P1(zn)を用いて、台形補正後のzn’を求める。次に検出部110は、中心点z0’と外周点z1’との距離d1、中心点z0’と外周点z2’との距離d2、中心点z0’と外周点z3’との距離d3、中心点z0’と外周点z4’との距離d4を求める(dn=d(z0’-zn’))。検出部110は、距離d1,d2,d3,d4のうち最大値を真円領域A’’の半径rとして設定する(r=max(d1,d2,d3,d4))。
検出部110は、領域A’に含まれる画素数N1をカウントする。検出部110は、真円領域A’’に含まれる画素数N2をカウントする。検出部110は、N2を、π×r2を用いてカウントしてもよい。検出部110は、画素数N1と画素数N2の割合が所定数以下であるか否かを判定し、割合が所定数以下である場合、物体領域Aが障害物により隠された物体に対応すると判定する。検出部110は、割合が所定数以下ではない場合、物体領域Aが障害物により隠されていない物体に対応すると判定する。検出部110は、障害物により隠された物体に対応した物体領域Aを以降の処理対象から除外し、障害物により隠されていない物体に対応した物体領域Aを以降の処理対象として選別する。所定値は、予め設定された値であり、例えば、後段の位置推定が高い精度で実行できるような物体領域Aを選別するように設定された値であり、例えば、物体領域Aの80%が障害物で隠されていない物体を選別するように設定される。
図9は、実施形態における撮像画像の一例を示す図である。検出部110は、物体領域Aの画像内位置に基づく撮像位置から物体までの距離に基づいて、物体領域Aに対応した物体を選別してよい。検出部110は、撮像画像のうち所定の範囲を物体領域Aの検出領域として設定する。検出部110は、例えば、撮像画像のY方向における位置Rminから位置Rmaxまでに含まれる領域を、検出領域として設定する。位置Rminおよび位置Rmaxは、後段の位置推定が高い精度で実行できるように、例えば、カメラの撮像可能範囲のうち鮮明且つ適切な大きさの画像を撮像することができる範囲に基づいて設定される。検出部110は、検出領域に含まれる物体領域Aである場合、当該物体領域Aを後段の処理対象に設定し、検出領域に含まれる物体領域Aではない場合、当該物体領域Aを後段の処理対象から除外する。
以下、位置推定処理(ステップS104)について説明する。図11は、物体の中心点を求めるときの課題を説明するための図であり、(a)は撮像画像の一例であり、(b)は物体領域の平面図である。検出部110により検出された物体領域Aを上から見た平面に変換すると、物体領域Aから計算した中心点Cが、中心点C#にずれてしまう。すなわち、図11(a)に示す物体領域Aの横方向における最左座標aと最右座標bの中間点と、物体領域Aの縦方向における最上座標cと最下座標dの中間点とから中心点Cを計算しても、中心点C#は、物体領域A#の横方向における最左座標a#と最右座標b#の中間点と、物体領域A#の縦方向における最上座標c#と最下座標d#の中間点とから計算した点からずれてしまう。
図12は、実施形態における矩形から台形への変換を説明するための図であり、(a)は矩形を示し、(b)は台形を示す。位置推定部120は、物体領域Aの画像内位置を基準とした形状を有する矩形200から物体領域Aの画像内位置を基準とした形状を有する台形300への変換関数に基づいて、矩形200の中心点Cを変換する。矩形200は、例えば、物体領域Aの中心点Cを重心とする正方形であって、一辺が物体領域AのX方向の幅と同じ長さを持つ正方形である。物体領域Aの幅は、物体領域Aの最左座標aから最右座標までの距離である。台形300は、矩形200により変換された図形であり、各辺が最左座標a、最右座標b、最上座標c、および最下座標dに接する図形である。
図15は、右側画像および左側画像の一例を示す図である。例えば、撮像画像に複数のマンホールが含まれる場合、右側画像に含まれるマンホールと、左側画像に含まれるマンホールとが同一であると誤判定してしまう可能性がある。これを抑制するため、物体検出システム1は、右側画像に含まれる物体領域と左側画像に含まれる物体領域とが同一であるか否かを判定する一致性の判定処理を行う。
図17は、実施形態におけるマンホールの一例を示す平面図である。図17(a)、(b)、(c)、および(d)に示すように、マンホールは、模様、記号またはマーク、鍵穴の形状、鍵穴の位置、大きさが異なり、これらの要素によって特徴付けられている。これらの要素は、例えば、マンホールに適用された規格、マンホールの所有者や管理者を表す模様や記号、マンホールを開けるための鍵穴の形状や位置、マンホールの種類やタイプや用途、マンホールの大きさや形状などが挙げられるが、これに限定されず、他のマンホールと区別するための要素であればよい。
以上説明したように、実施形態の物体検出システム1によれば、撮像画像から物体領域Aを検出する検出部110と、物体領域Aに対応した物体の位置を推定する位置推定部120と、を備え、位置推定部120により、物体領域Aの画像内位置を基準とした形状を有する矩形200から物体領域Aの画像内位置を基準とした形状を有する台形300への変換関数に基づいて矩形200の中心点Cを変換し、変換した中心点C#を物体の位置として推定する物体検出装置100を実現することができる。変換関数は、例えば、物体領域Aの幅wに対応した長さの辺を有する矩形200を、物体領域Aの端部座標および撮像画像の収束点に基づいて台形300に変換する関数である。実施形態の物体検出装置100によれば、高い精度で物体の位置を検出することができる。実施形態の物体検出装置100によれば、例えば、撮像画像に含まれる物体領域Aを平面座標に変換して物体の位置を推定した場合のように、変換時に生ずる位置のズレを抑制することができる。
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
10 車載装置
100 物体検出装置
110 検出部
120 位置推定部
130 分類部
132 変換部
134A、134B、134C 分類処理部
1341、模様・マーク用モデル
1342 形状用モデル
1343 位置用モデル
136 直径分類部
138 モデル構築部
140 情報提供部
Claims (7)
- 撮像画像から物体領域を検出する検出部と、
前記物体領域に対応した物体の位置を推定する位置推定部と、を備え、
前記位置推定部は、前記物体領域の画像内位置を基準とした形状を有する矩形から前記物体領域の画像内位置を基準とした形状を有する台形への変換関数に基づいて前記矩形の中心点を変換し、変換した前記中心点を物体の位置として推定し、
前記変換関数は、前記物体領域の幅に対応した長さの辺を有する前記矩形を、前記物体領域の端部座標および前記撮像画像の収束点に基づいて前記台形に変換する関数である、
物体検出装置。 - 前記位置推定部は、
前記物体領域を台形補正し、
台形補正された物体領域を円領域に変換し、
台形補正された物体領域と、前記円領域との比較に基づいて、前記物体領域に対応した物体を選別する、
請求項1に記載の物体検出装置。 - 前記位置推定部は、前記物体領域の画像内位置に基づく撮像位置から物体までの距離に基づいて、前記物体領域に対応した物体を選別する、請求項1または2に記載の物体検出装置。
- 前記位置推定部は、前記検出部により検出された前記物体領域の幅と所定の物体領域幅との比較に基づいて、前記物体領域に対応した物体を選別する、請求項1から3のうち何れか1項に記載の物体検出装置。
- 前記位置推定部は、前記撮像画像のうち左側画像に基づいて検出された第1の中心点と前記撮像画像のうち右側画像に基づいて検出された第2の中心点との距離が、第1の所定値以内かつ第2の所定値以上である場合に、前記第1の中心点を持つ物体領域に対応した物体と前記第2の中心点を持つ物体領域に対応した物体とが同じであると判定する、
請求項1から4のうち何れか1項に記載の物体検出装置。 - 撮像画像から物体領域を検出するステップと、
前記物体領域に対応した物体の位置を推定するステップと、を含み、
前記物体領域の画像内位置を基準とした形状を有する矩形から前記物体領域の画像内位置を基準とした形状を有する台形への変換関数に基づいて前記矩形の中心点を変換し、変換した前記中心点を物体の位置として推定し、
前記変換関数は、前記物体領域の幅に対応した長さの辺を有する前記矩形を、前記物体領域の端部座標および前記撮像画像の収束点に基づいて前記台形に変換する関数である、
物体検出方法。 - コンピュータに、
撮像画像から物体領域を検出するステップと、
前記物体領域に対応した物体の位置を推定するステップと、を実行させ、
前記物体領域の画像内位置を基準とした形状を有する矩形から前記物体領域の画像内位置を基準とした形状を有する台形への変換関数に基づいて前記矩形の中心点を変換させ、変換した前記中心点を物体の位置として推定させ、
前記変換関数は、前記物体領域の幅に対応した長さの辺を有する前記矩形を、前記物体領域の端部座標および前記撮像画像の収束点に基づいて前記台形に変換する関数である、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217296A JP7138157B2 (ja) | 2020-12-25 | 2020-12-25 | 物体検出装置、物体検出方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217296A JP7138157B2 (ja) | 2020-12-25 | 2020-12-25 | 物体検出装置、物体検出方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022102515A JP2022102515A (ja) | 2022-07-07 |
JP7138157B2 true JP7138157B2 (ja) | 2022-09-15 |
Family
ID=82273649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020217296A Active JP7138157B2 (ja) | 2020-12-25 | 2020-12-25 | 物体検出装置、物体検出方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7138157B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003179930A (ja) | 2001-12-10 | 2003-06-27 | Nippon Hoso Kyokai <Nhk> | 動オブジェクト抽出方法及び抽出装置 |
JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
JP2014153167A (ja) | 2013-02-07 | 2014-08-25 | Nidec Elesys Corp | 物体認識装置、物体認識方法及び物体認識プログラム |
JP2015210584A (ja) | 2014-04-24 | 2015-11-24 | トヨタ自動車株式会社 | 画像処理装置 |
WO2018146997A1 (ja) | 2017-02-07 | 2018-08-16 | 日本電気株式会社 | 立体物検出装置 |
-
2020
- 2020-12-25 JP JP2020217296A patent/JP7138157B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003179930A (ja) | 2001-12-10 | 2003-06-27 | Nippon Hoso Kyokai <Nhk> | 動オブジェクト抽出方法及び抽出装置 |
JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
JP2014153167A (ja) | 2013-02-07 | 2014-08-25 | Nidec Elesys Corp | 物体認識装置、物体認識方法及び物体認識プログラム |
JP2015210584A (ja) | 2014-04-24 | 2015-11-24 | トヨタ自動車株式会社 | 画像処理装置 |
WO2018146997A1 (ja) | 2017-02-07 | 2018-08-16 | 日本電気株式会社 | 立体物検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022102515A (ja) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348297B (zh) | 一种用于识别立体停车库的检测方法、系统、终端和存储介质 | |
CN108681692B (zh) | 一种基于深度学习的遥感图像内新增建筑识别方法 | |
CN105335955B (zh) | 对象检测方法和对象检测装置 | |
CN110892760B (zh) | 基于深度学习定位终端设备 | |
US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
JP2017059207A (ja) | 画像認識方法 | |
CN112084869A (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
CN109697441B (zh) | 一种目标检测方法、装置及计算机设备 | |
CN110443159A (zh) | 数字识别方法、装置、电子设备及存储介质 | |
CN113935428A (zh) | 基于图像识别的三维点云聚类识别方法及系统 | |
CN109543493A (zh) | 一种车道线的检测方法、装置及电子设备 | |
TWI497449B (zh) | 非監督式調適方法與應用其之影像自動分類方法 | |
CN112132892B (zh) | 目标位置标注方法、装置及设备 | |
CN111583119A (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
JP7138157B2 (ja) | 物体検出装置、物体検出方法、およびプログラム | |
JP7138158B2 (ja) | 物体分類装置、物体分類方法、およびプログラム | |
CN112733652B (zh) | 图像目标识别方法、装置、计算机设备及可读存储介质 | |
CN116486312B (zh) | 一种视频图像的处理方法、装置、电子设备和存储介质 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
US8005261B2 (en) | Model-based object classification and target recognition | |
CN110738229B (zh) | 一种细粒度图像分类方法、装置及电子设备 | |
CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
CN115497075A (zh) | 基于改进型卷积神经网络交通目标检测方法及相关装置 | |
CN114611635A (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7138157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |