JP4414859B2 - 視覚装置の画像処理方法および画像処理装置 - Google Patents
視覚装置の画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP4414859B2 JP4414859B2 JP2004301083A JP2004301083A JP4414859B2 JP 4414859 B2 JP4414859 B2 JP 4414859B2 JP 2004301083 A JP2004301083 A JP 2004301083A JP 2004301083 A JP2004301083 A JP 2004301083A JP 4414859 B2 JP4414859 B2 JP 4414859B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- camera
- determined
- central area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims description 16
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、視覚装置の画像処理方法および画像処理装置に関するものである。
カメラで撮影した画像から物体認識を行うには、画像の全域にわたって一様な解像度のピンホールカメラ画像であることが望ましい。しかし、ピンホールカメラ画像は、解像度が一様である反面、広い視野を得ようとすると、解像度が低下して対象物の情報を十分に得ることができなくなり、解像度を高めると限られた狭い視野しか得られなくなって探索範囲が狭くなるという欠点がある。
つまりピンホールカメラ画像は、目的物の探査や障害物回避を迅速に行う上には好適とは言い難く、これを自律移動ロボットの視覚情報として用いて対象物を十分な精度で測定するには、対象物を捉えるために視線の向きを頻繁に変えなければならなくなる。
このような不都合に対処し得る技術として、魚眼（超広角）レンズの画像から物体を認識するシステムが特許文献１に提案されている。
特開平６−１６７５６４号公報
しかるに、特許文献１に記載のような魚眼レンズで得た画像は、視野角が広い反面、画像歪みが大きく、画角の周辺へ行くに従って解像度が低下するため、画像歪みがなく、一様な解像度の画像による物体認識に関する一般的な手法を適用し難い。
本発明は、このような従来技術の欠点を解消すべく案出されたものであり、その主な目的は、魚眼レンズにより得られる広い視野角の画像から必要な解像度の画像が得られるようにするための視覚装置の画像処理方法ならびに画像処理装置を提供することにある。
このような課題を解決するため、本発明による視覚装置の画像処理方法は、魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理方法であって、或る方向に向けられた状態の前記カメラで撮像する撮像ステップと、前記カメラで撮像した画像を、当該画像の歪みを補正することにより、ピンホールカメラ画像に変換する画像変換ステップと、前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する解像度判別ステップと、前記解像度判別ステップで必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する対象物存在判別ステップとを有し、前記対象物存在判別ステップで前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更し、その後に、前記撮像ステップと前記画像変換ステップと前記解像度判別ステップとを実行する。
本発明による視覚装置の画像処理方法は、好ましくは、前記対象物存在判別ステップで前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記画像変換ステップと前記解像度判別ステップとを実行する。
また、本発明による視覚装置の画像処理装置は、魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理装置であって、或る方向に向けられた状態の前記カメラで撮像した画像を、該画像の歪みを補正することにより、ピンホールカメラ画像に変換する手段と、前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する手段と、必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する手段とを有し、前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行い、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更する変更指令を前記変更手段へ発し、その後に、前記カメラによる撮影、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行う。
このような本発明によれば、魚眼レンズで得た広い視野角の画像を、所望の解像度でのピンホールカメラ画像に変換し、画像歪みがなく、一様な解像度の画像上での認識手法を適用して対象物を的確に認識することができるので、カメラの向きの変更を最小限にして広範囲に対象物の探査を行うことができる。
以下に添付の図面を参照して本発明について詳細に説明する。
図１は本発明が適用されるロボットの概略構成を示すブロック図である。このロボットは、魚眼レンズカメラ１及びカメラの向きを変えるアクチュエータ２を備えた頭部３、移動のための脚部４、及び作業を行うための腕部５を備えたロボット本体６と、これらを制御する制御ユニット７とを備えている。
制御ユニット７は、魚眼レンズカメラ１で撮像した魚眼画像から対象物の位置を認識する視覚制御部８と、視覚制御部８が認識した対象物の位置に基づいてロボットの頭部３、脚部４、および腕部５の運動を制御する運動制御部９とを備えている。
視覚制御部８は、魚眼レンズカメラ１が撮像した元画像を取り込む画像入力部１０と、入力画像を、画像歪みがなく、一様な解像度の画像、つまり、ピンホールカメラ画像に変換する画像変換部１１と、ピンホールカメラ画像から対象物を抽出する対象物抽出部１２と、抽出された対象物の空間内での位置を算出する対象物位置演算部１３とを備えている。
次に、本発明が関わる画像変換部１１の処理について、図２を参照して詳細に説明する。
本発明が対象とする魚眼レンズは、広範囲な画角で撮像できる反面、周辺部へ行くに従って歪みが増大し、かつ解像度も低下するという不都合がある。そのため、元画像を単にピンホールカメラ画像に変換しただけでは、対象物の識別に必要な特徴量の抽出に十分な解像度が得られないことがある。そこで本発明においては、以下に詳述する処理を行うこととした。
魚眼レンズカメラ１で得た画像から存在位置の不明な対象物を探索する場合、先ず、対象物が存在する可能性のある範囲を推定し、その範囲に応じて適宜な初期等解像度円を設定し（ステップ１）、その初期等解像度円内に対象物を捉えられるようにカメラの初期位置を設定した上で対象物が存在する可能性のある範囲を撮像する（ステップ２）。
このようにして得られた魚眼画像は、図３に示すように、ボウ歪み、スキュー歪みが共に大きく、その中心部の解像度は高いが、画角の周辺へ行くに従って解像度が著しく低下する特性を有している。そこで、図３に破線の同心円で示した等解像度円のうちから適宜な解像度の円（例えば最内周の円）、つまり、中央領域を設定し、その内側の画像は圧縮処理し、外側の画像は伸長処理して画像全体の歪み補正を行い、撮像画像を図４に示したようなピンホールカメラ画像に変換する（ステップ３）。
このようにして得られたピンホールカメラ画像上にて対象物の判別処理を行い（ステップ４）、対象物の画像解像度が特徴量の抽出処理に十分な解像度であるか否かを判別する（ステップ５）。ここで、画像解像度が十分と判断された場合には、このフローを終了する。
これに対し、必要な画像解像度に不足すると判断された場合には、等解像度円（中央領域）の内外いずれに対象物があるかを判別する（ステップ６）。
対象物が内側にあると判断された場合には、必要な画像解像度が得られるところまでズームして等解像度円の半径を小さくし（ステップ７）、ステップ３で再度、画像変換処理を行った上で対象物の認識処理を行う。
これに対し、ステップ６で対象物が等解像度円の外側にあると判断された場合には、対象物の認識に十分な解像度が得られないと判断し、対象物が等解像度円（中央領域）内に入るように改めてカメラの向きを修正し（ステップ８）、ステップ２へ戻る。
この一連の処理を経ることにより、魚眼レンズの広い視野角と、魚眼画像の中心付近の高い解像度とを共に好適に利用することができることとなり、存在位置の不明な障害物あるいは目標物を早期に認識し、無駄のない迅速な回避行動あるいは接近行動をとることが可能となる。
１ 魚眼レンズカメラ
２ アクチュエータ
９ 運動制御部
１１ 画像変換部
１２ 対象物抽出部
２ アクチュエータ
９ 運動制御部
１１ 画像変換部
１２ 対象物抽出部
Claims (3)
- 魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理方法であって、
或る方向に向けられた状態の前記カメラで撮像する撮像ステップと、
前記カメラで撮像した画像を、当該画像の歪みを補正することにより、ピンホールカメラ画像に変換する画像変換ステップと、
前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する解像度判別ステップと、
前記解像度判別ステップで必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する対象物存在判別ステップとを有し、
前記対象物存在判別ステップにおいて、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更し、その後に、前記撮像ステップと前記画像変換ステップと前記解像度判別ステップとを実行する視覚装置の画像処理方法。 - 前記対象物存在判別ステップにおいて、前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記画像変換ステップと前記解像度判別ステップとを実行する請求項１に記載の視覚装置の画像処理方法。
- 魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理装置であって、
或る方向に向けられた状態の前記カメラで撮像した画像を、該画像の歪みを補正することにより、ピンホールカメラ画像に変換する手段と、
前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する手段と、
必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する手段とを有し、
前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行い、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更する変更指令を前記変更手段へ発し、その後に、前記カメラによる撮影、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行う視覚装置の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004301083A JP4414859B2 (ja) | 2004-10-15 | 2004-10-15 | 視覚装置の画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004301083A JP4414859B2 (ja) | 2004-10-15 | 2004-10-15 | 視覚装置の画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006115265A JP2006115265A (ja) | 2006-04-27 |
| JP4414859B2 true JP4414859B2 (ja) | 2010-02-10 |
Family
ID=36383390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004301083A Expired - Fee Related JP4414859B2 (ja) | 2004-10-15 | 2004-10-15 | 視覚装置の画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4414859B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5962771B2 (ja) * | 2012-12-12 | 2016-08-03 | 日産自動車株式会社 | 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法 |
| CN104135608B (zh) * | 2014-05-21 | 2017-07-14 | 张家港恩达通讯科技有限公司 | 一种鱼眼镜头图像的展平方法及系统 |
-
2004
- 2004-10-15 JP JP2004301083A patent/JP4414859B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006115265A (ja) | 2006-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
| JP4572240B2 (ja) | 移動ロボット及び移動ロボットの位置認識方法 | |
| WO2017215351A1 (zh) | 摄像装置识别范围的调整方法及装置 | |
| JP2005130468A5 (ja) | ||
| JP2007293722A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
| JP7063760B2 (ja) | 移動体 | |
| KR20040084994A (ko) | 인증 대상 화상 촬상 장치 및 그 방법 | |
| WO2016091545A1 (en) | Image processing method | |
| CN113508420A (zh) | 物体追踪装置以及物体追踪方法 | |
| CN113111715B (zh) | 一种无人机目标跟踪与信息采集系统及方法 | |
| US11910098B2 (en) | Systems and methods for sampling images | |
| EP1465104A1 (en) | Camera system for recognising authorised persons | |
| JP6065629B2 (ja) | 物体検知装置 | |
| KR101504335B1 (ko) | 어라운드뷰 제공 장치, 방법 및 차량 | |
| JP4414859B2 (ja) | 視覚装置の画像処理方法および画像処理装置 | |
| KR100505026B1 (ko) | 인식 대상에 민감한 영상 처리 시스템 | |
| KR102029335B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| JP7114907B2 (ja) | 先端アタッチメント判別装置 | |
| US11070719B2 (en) | Image capture assist device and image capture assist method | |
| JP2010026804A (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| JP2005205519A (ja) | ロボットハンド装置 | |
| KR102202246B1 (ko) | 전주 위치 판단 시스템 및 방법 | |
| KR101756274B1 (ko) | 감시용 카메라 및 감시용 카메라의 동작 방법 | |
| JP2005063036A (ja) | 物体追跡装置 | |
| JPH06339066A (ja) | 撮像画像調節装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4414859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |