JP6603993B2 - 画像処理装置、画像処理方法、画像処理システム、及びプログラム - Google Patents
画像処理装置、画像処理方法、画像処理システム、及びプログラム Download PDFInfo
- Publication number
- JP6603993B2 JP6603993B2 JP2015017257A JP2015017257A JP6603993B2 JP 6603993 B2 JP6603993 B2 JP 6603993B2 JP 2015017257 A JP2015017257 A JP 2015017257A JP 2015017257 A JP2015017257 A JP 2015017257A JP 6603993 B2 JP6603993 B2 JP 6603993B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- dimensional coordinates
- dimensional
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
(全体構成例)
図1は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体構成図である。具体的には、図1は、撮像装置としてカメラを使用する例であり、画像処理システム1が有する第1カメラ10及び第2カメラ11を移動体の一例である車両2に設置した例である。
図3は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
ステップS1では、画像処理装置は、3次元データの初期値を入力する。
ステップS2では、画像処理装置は、それぞれのカメラから画像データを取得する。具体的には、画像処理装置は、第1カメラ10(図1)及び第2カメラ11(図2)からそれぞれ画像データを取得する。
ステップS3では、画像処理装置は、画像データ内に含まれる特徴点を画像データごとにそれぞれ算出する。具体的には、ステップS3では、画像処理装置は、Harris行列等によって、ステップS2で取得されるそれぞれの画像データ内に含まれる特徴点を算出する。
ステップS4では、画像処理装置は、ステップS3で算出される特徴点のオプティカルフローを画像データごとにそれぞれ計算する。具体的には、ステップS4では、画像処理装置は、勾配法又はLucas−Kanade法等によって、オプティカルフローをそれぞれ計算する。
ステップS5では、画像処理装置は、ステップS4で計算されるオプティカルフローに基づいてカメラのポーズを計算する。
図3に戻り、ステップS6では、画像処理装置は、オプティカルフローに基づいて3次元座標を計算する。
なお、上記(式3)において、射影行列P1は、ステップS5(図3)で計算されるカメラのポーズによって定まる。また、上記(式3)において、2次元座標x1は、画像Img1における座標値によって定まる。
図3に戻り、ステップS7では、画像処理装置は、マッチングを行う。具体的には、ステップS7では、画像処理装置は、ステップS6で一方の画像(例えば画像Img1(図6))から計算される3次元座標について、同一の被写体を示す3次元座標が他方の画像(例えば画像Img2(図6))にあるかを探索する。
ステップS8では、画像処理装置は、対応する3次元座標があるか否かを判断する。例えば、被写体が移動体であると、画像Img1(図4)には、被写体が撮像されても、画像Img2(図4)には、被写体が撮像されない場合がある。したがって、被写体が移動体である場合等では、ステップS7の処理によって、対応する3次元座標が探索されない場合がある。ゆえに、ステップS8では、画像処理装置は、ステップS7の結果に基づいて、対応する3次元座標があるか否かを判断する。
ステップS9では、画像処理装置は、3次元データを生成する。具体的には、画像処理装置は、例えば、ステップS1で入力される初期値等に、ステップS6で計算される3次元座標を上書きして3次元データを生成する。
ステップS10では、画像処理装置は、3次元座標を削除する。即ち、対応する3次元座標がないと判断される場合(ステップS8でNO)は、対象となる座標の被写体が移動体等であるため、前フレームの画像で撮像されていた被写体が、次フレームの画像に撮像されていない場合等である。したがって、ステップS10では、画像処理装置は、3次元データのうち、対応する3次元座標がない3次元座標を削除する。
図7は、本発明の一実施形態に係る3次元データの一例を示す図である。具体的には、3次元データD1は、例えば、3次元座標D2及びカメラのポーズを示す軌跡D3を有する。まず、3次元座標D2は、ステップS1(図3)で初期値として入力される。次に、3次元データD1は、ステップS9(図3)の処理及びステップS10(図3)の処理によって、3次元座標D2が変更されて生成される。さらに、3次元データD1は、ステップS5の処理で計算されるカメラのポーズを軌跡D3として示す。
画像処理システムは、3つ以上のカメラを有してもよい。以下、図1に示す画像処理システム1にさらにカメラを2つ加えた4つのカメラを有する画像処理システム1Aを例に説明する。なお、画像処理装置は、第1実施形態と同様のハードウェア構成の装置であるとする。したがって、ハードウェア構成の説明は、省略する。
図14は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。具体的には、画像処理装置100は、取得部100F1と、オプティカルフロー計算部100F2と、3次元座標計算部100F3と、マッチング部100F4と、削除部100F5と、ポーズ計算部100F6と、生成部100F7とを含む。
2 車両
2A 移動体
10 第1カメラ
11 第2カメラ
12 第3カメラ
13 第4カメラ
100 画像処理装置
100H1 CPU
100H2 ASIC
100H3 記憶装置
Img1、Img2、Img3、Img4 画像
31、32、33、34 建物
Claims (4)
- 被写体を含む周辺を撮像する複数の撮像装置に接続される画像処理装置であって、
前記撮像装置から画像データをそれぞれ取得する取得部と、
前記画像データからそれぞれオプティカルフローを計算するオプティカルフロー計算部と、
前記画像データからそれぞれの前記撮像装置の角度及び位置を示すポーズをそれぞれ計算するポーズ計算部と、
前記オプティカルフロー及び前記撮像装置のポーズに基づいて前記被写体の3次元座標を計算する3次元座標計算部と、
前記3次元座標に基づいて前記周辺を示す3次元データを生成する生成部と、
複数のフレームにおいて、それぞれの前記3次元座標について、同一の被写体を示す前記3次元座標をマッチングさせるマッチング部と、
前記マッチングに基づいて前記複数のフレームのうち、いずれかに前記同一の被写体を示す前記3次元座標がないと、前記3次元座標のデータを削除する削除部と
を含む画像処理装置。 - 被写体を含む周辺を撮像する複数の撮像装置に接続される画像処理装置が行う画像処理方法であって、
前記画像処理装置が、前記撮像装置から画像データをそれぞれ取得する取得手順と、
前記画像処理装置が、前記画像データからそれぞれオプティカルフローを計算するオプティカルフロー計算手順と、
前記画像処理装置が、前記画像データからそれぞれの前記撮像装置の角度及び位置を示すポーズをそれぞれ計算するポーズ計算手順と、
前記画像処理装置が、前記オプティカルフロー及び前記撮像装置のポーズに基づいて前記被写体の3次元座標を計算する3次元座標計算手順と、
前記画像処理装置が、前記3次元座標に基づいて前記周辺を示す3次元データを生成する生成手順と、
前記画像処理装置が、複数のフレームにおいて、それぞれの前記3次元座標について、同一の被写体を示す前記3次元座標をマッチングさせるマッチング手順と、
前記画像処理装置が、前記マッチングに基づいて前記複数のフレームのうち、いずれかに前記同一の被写体を示す前記3次元座標がないと、前記3次元座標のデータを削除する削除手順と
を含む画像処理方法。 - 被写体を含む周辺を撮像する複数の撮像装置及び1以上の画像処理装置を有する画像処理システムであって、
前記撮像装置から画像データをそれぞれ取得する取得部と、
前記画像データからそれぞれオプティカルフローを計算するオプティカルフロー計算部と、
前記画像データからそれぞれの前記撮像装置の角度及び位置を示すポーズをそれぞれ計算するポーズ計算部と、
前記オプティカルフロー及び前記撮像装置のポーズに基づいて前記被写体の3次元座標を計算する3次元座標計算部と、
前記3次元座標に基づいて前記周辺を示す3次元データを生成する生成部と、
複数のフレームにおいて、それぞれの前記3次元座標について、同一の被写体を示す前記3次元座標をマッチングさせるマッチング部と、
前記マッチングに基づいて前記複数のフレームのうち、いずれかに前記同一の被写体を示す前記3次元座標がないと、前記3次元座標のデータを削除する削除部と
を含む画像処理システム。 - 被写体を含む周辺を撮像する複数の撮像装置に接続されるコンピュータに画像処理を実行させるためのプログラムであって、
前記コンピュータが、前記撮像装置から画像データをそれぞれ取得する取得手順と、
前記コンピュータが、前記画像データからそれぞれオプティカルフローをそれぞれ計算するオプティカルフロー計算手順と、
前記コンピュータが、前記画像データからそれぞれの前記撮像装置の角度及び位置を示すポーズを計算するポーズ計算手順と、
前記コンピュータが、前記オプティカルフロー及び前記撮像装置のポーズに基づいて前記被写体の3次元座標を計算する3次元座標計算手順と、
前記コンピュータが、前記3次元座標に基づいて前記周辺を示す3次元データを生成する生成手順と、
前記コンピュータが、複数のフレームにおいて、それぞれの前記3次元座標について、同一の被写体を示す前記3次元座標をマッチングさせるマッチング手順と、
前記コンピュータが、前記マッチングに基づいて前記複数のフレームのうち、いずれかに前記同一の被写体を示す前記3次元座標がないと、前記3次元座標のデータを削除する削除手順と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015017257A JP6603993B2 (ja) | 2015-01-30 | 2015-01-30 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015017257A JP6603993B2 (ja) | 2015-01-30 | 2015-01-30 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016142577A JP2016142577A (ja) | 2016-08-08 |
JP6603993B2 true JP6603993B2 (ja) | 2019-11-13 |
Family
ID=56570092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015017257A Expired - Fee Related JP6603993B2 (ja) | 2015-01-30 | 2015-01-30 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6603993B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6812862B2 (ja) | 2017-03-14 | 2021-01-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法及びプログラム |
US10740612B2 (en) * | 2017-07-20 | 2020-08-11 | International Business Machines Corporation | Location determination |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007263657A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
EP3112802B1 (en) * | 2007-02-16 | 2019-10-09 | Mitsubishi Electric Corporation | Road feature measurement apparatus and road feature measuring method |
US8698875B2 (en) * | 2009-02-20 | 2014-04-15 | Google Inc. | Estimation of panoramic camera orientation relative to a vehicle coordinate frame |
JP5445069B2 (ja) * | 2009-11-26 | 2014-03-19 | 富士通株式会社 | 3次元位置計測装置および3次元位置計測方法 |
CN103154666B (zh) * | 2011-06-14 | 2015-03-18 | 日产自动车株式会社 | 距离测量装置以及环境地图生成装置 |
-
2015
- 2015-01-30 JP JP2015017257A patent/JP6603993B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016142577A (ja) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
US9386209B2 (en) | Method and apparatus for estimating position | |
CN112652016B (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
JP4940461B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
WO2020221307A1 (zh) | 一种运动物体的追踪方法和装置 | |
KR101423139B1 (ko) | 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 | |
KR20150144731A (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101715780B1 (ko) | 복셀 맵 생성기 및 그 방법 | |
WO2020195875A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2017134617A (ja) | 位置推定装置、プログラム、位置推定方法 | |
JP2012118666A (ja) | 三次元地図自動生成装置 | |
KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
JPWO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2008014691A (ja) | ステレオ画像計測方法とそれを実施する装置 | |
JP2016001841A (ja) | 視差画像生成装置、視差画像生成方法及び画像 | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
CN113160221B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
CN113030960B (zh) | 一种基于单目视觉slam的车辆定位方法 | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190930 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6603993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |