JP4414859B2 - 視覚装置の画像処理方法および画像処理装置 - Google Patents

視覚装置の画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP4414859B2
JP4414859B2 JP2004301083A JP2004301083A JP4414859B2 JP 4414859 B2 JP4414859 B2 JP 4414859B2 JP 2004301083 A JP2004301083 A JP 2004301083A JP 2004301083 A JP2004301083 A JP 2004301083A JP 4414859 B2 JP4414859 B2 JP 4414859B2
Authority
JP
Japan
Prior art keywords
image
resolution
camera
determined
central area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004301083A
Other languages
English (en)
Other versions
JP2006115265A (ja
Inventor
拓 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004301083A priority Critical patent/JP4414859B2/ja
Publication of JP2006115265A publication Critical patent/JP2006115265A/ja
Application granted granted Critical
Publication of JP4414859B2 publication Critical patent/JP4414859B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、視覚装置の画像処理方法および画像処理装置に関するものである。
カメラで撮影した画像から物体認識を行うには、画像の全域にわたって一様な解像度ピンホールカメラ画像であることが望ましい。しかし、ピンホールカメラ画像は、解像度が一様である反面、広い視野を得ようとすると、解像度が低下して対象物の情報を十分に得ることができなくなり、解像度を高めると限られた狭い視野しか得られなくなって探索範囲が狭くなるという欠点がある。
つまりピンホールカメラ画像は、目的物の探査や障害物回避を迅速に行う上には好適とは言い難く、これを自律移動ロボットの視覚情報として用いて対象物を十分な精度で測定するには、対象物を捉えるために視線の向きを頻繁に変えなければならなくなる。
このような不都合に対処し得る技術として、魚眼(超広角)レンズの画像から物体を認識するシステムが特許文献1に提案されている。
特開平6−167564号公報
しかるに、特許文献1に記載のような魚眼レンズで得た画像は、視野角が広い反面、画像歪みが大きく、画角の周辺へ行くに従って解像度が低下するため、画像歪みがなく、一様な解像度の画像による物体認識に関する一般的な手法を適用し難い。
本発明は、このような従来技術の欠点を解消すべく案出されたものであり、その主な目的は、魚眼レンズにより得られる広い視野角の画像から必要な解像度の画像が得られるようにするための視覚装置の画像処理方法ならびに画像処理装置を提供することにある。
このような課題を解決するため、本発明による視覚装置の画像処理方法は、魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理方法であって、或る方向に向けられた状態の前記カメラで撮像する撮像ステップと、前記カメラで撮像した画像を、当該画像の歪みを補正することにより、ピンホールカメラ画像に変換する画像変換ステップと、前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する解像度判別ステップと、前記解像度判別ステップで必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する対象物存在判別ステップとを有し、前記対象物存在判別ステップで前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更し、その後に、前記撮像ステップと前記画像変換ステップと前記解像度判別ステップとを実行する。
本発明による視覚装置の画像処理方法は、好ましくは、前記対象物存在判別ステップで前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記画像変換ステップと前記解像度判別ステップとを実行する。
また、本発明による視覚装置の画像処理装置は、魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理装置であって、或る方向に向けられた状態の前記カメラで撮像した画像を、該画像の歪みを補正することにより、ピンホールカメラ画像に変換する手段と、前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する手段と、必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する手段とを有し、前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行い、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更する変更指令を前記変更手段へ発し、その後に、前記カメラによる撮影、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行う。
このような本発明によれば、魚眼レンズで得た広い視野角の画像を、所望の解像度でのピンホールカメラ画像に変換し、画像歪みがなく、一様な解像度の画像上での認識手法を適用して対象物を的確に認識することができるので、カメラの向きの変更を最小限にして広範囲に対象物の探査を行うことができる。
以下に添付の図面を参照して本発明について詳細に説明する。
図1は本発明が適用されるロボットの概略構成を示すブロック図である。このロボットは、魚眼レンズカメラ1及びカメラの向きを変えるアクチュエータ2を備えた頭部3、移動のための脚部4、及び作業を行うための腕部5を備えたロボット本体6と、これらを制御する制御ユニット7とを備えている。
制御ユニット7は、魚眼レンズカメラ1で撮像した魚眼画像から対象物の位置を認識する視覚制御部8と、視覚制御部8が認識した対象物の位置に基づいてロボットの頭部3、脚部4、および腕部5の運動を制御する運動制御部9とを備えている。
視覚制御部8は、魚眼レンズカメラ1が撮像した元画像を取り込む画像入力部10と、入力画像を、画像歪みがなく、一様な解像度の画像、つまり、ピンホールカメラ画像に変換する画像変換部11と、ピンホールカメラ画像から対象物を抽出する対象物抽出部12と、抽出された対象物の空間内での位置を算出する対象物位置演算部13とを備えている。
次に、本発明が関わる画像変換部11の処理について、図2を参照して詳細に説明する。
本発明が対象とする魚眼レンズは、広範囲な画角で撮像できる反面、周辺部へ行くに従って歪みが増大し、かつ解像度も低下するという不都合がある。そのため、元画像を単にピンホールカメラ画像に変換しただけでは、対象物の識別に必要な特徴量の抽出に十分な解像度が得られないことがある。そこで本発明においては、以下に詳述する処理を行うこととした。
魚眼レンズカメラ1で得た画像から存在位置の不明な対象物を探索する場合、先ず、対象物が存在する可能性のある範囲を推定し、その範囲に応じて適宜な初期等解像度円を設定し(ステップ1)、その初期等解像度円内に対象物を捉えられるようにカメラの初期位置を設定した上で対象物が存在する可能性のある範囲を撮像する(ステップ2)。
このようにして得られた魚眼画像は、図3に示すように、ボウ歪み、スキュー歪みが共に大きく、その中心部の解像度は高いが、画角の周辺へ行くに従って解像度が著しく低下する特性を有している。そこで、図3に破線の同心円で示した等解像度円のうちから適宜な解像度の円(例えば最内周の円)、つまり、中央領域を設定し、その内側の画像は圧縮処理し、外側の画像は伸長処理して画像全体の歪み補正を行い、撮像画像を図4に示したようなピンホールカメラ画像に変換する(ステップ3)。
このようにして得られたピンホールカメラ画像上にて対象物の判別処理を行い(ステップ4)、対象物の画像解像度が特徴量の抽出処理に十分な解像度であるか否かを判別する(ステップ5)。ここで、画像解像度が十分と判断された場合には、このフローを終了する。
これに対し、必要な画像解像度に不足すると判断された場合には、等解像度円(中央領域)の内外いずれに対象物があるかを判別する(ステップ6)。
対象物が内側にあると判断された場合には、必要な画像解像度が得られるところまでズームして等解像度円の半径を小さくし(ステップ7)、ステップ3で再度、画像変換処理を行った上で対象物の認識処理を行う。
これに対し、ステップ6で対象物が等解像度円の外側にあると判断された場合には、対象物の認識に十分な解像度が得られないと判断し、対象物が等解像度円(中央領域)内に入るように改めてカメラの向きを修正し(ステップ8)、ステップ2へ戻る。
この一連の処理を経ることにより、魚眼レンズの広い視野角と、魚眼画像の中心付近の高い解像度とを共に好適に利用することができることとなり、存在位置の不明な障害物あるいは目標物を早期に認識し、無駄のない迅速な回避行動あるいは接近行動をとることが可能となる。
本発明装置の概略構成を示すブロック図である。 本発明方法の処理フロー図である。 魚眼画像の概念図である。 変換後の平面画像の概念図である。
1 魚眼レンズカメラ
2 アクチュエータ
9 運動制御部
11 画像変換部
12 対象物抽出部

Claims (3)

  1. 魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理方法であって、
    或る方向に向けられた状態の前記カメラで撮像する撮像ステップと、
    前記カメラで撮像した画像を、当該画像の歪みを補正することにより、ピンホールカメラ画像に変換する画像変換ステップと、
    前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する解像度判別ステップと、
    前記解像度判別ステップで必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する対象物存在判別ステップとを有し、
    前記対象物存在判別ステップにおいて、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更し、その後に、前記撮像ステップと前記画像変換ステップと前記解像度判別ステップとを実行する視覚装置の画像処理方法。
  2. 前記対象物存在判別ステップにおいて、前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記画像変換ステップと前記解像度判別ステップとを実行する請求項1に記載の視覚装置の画像処理方法
  3. 魚眼レンズを備えたカメラと、該カメラの向きの変更手段とを備え、撮像画像の特徴量の抽出によって所定の対象物の位置を認識する視覚装置の画像処理装置であって、
    或る方向に向けられた状態の前記カメラで撮像した画像を、該画像の歪みを補正することにより、ピンホールカメラ画像に変換する手段と、
    前記ピンホールカメラ画像によって前記対象物を判別し、当該対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かを判別する手段と、
    必要な解像度に不足していると判断された場合には前記ピンホールカメラ画像の中央領域内に前記対象物が存在するか否かを判別する手段とを有し、
    前記中央領域内に前記対象物が存在すると判定された場合には、必要な解像度が得られるところまでズームし、その後に、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行い、前記中央領域内に前記対象物が存在しないと判定された場合には、前記中央領域内に前記対象物を捉えるように前記カメラの向きを変更する変更指令を前記変更手段へ発し、その後に、前記カメラによる撮影、前記ピンホールカメラ画像の変換、前記対象物の画像解像度が特徴量の抽出処理に必要な解像度であるか否かの判別を行う視覚装置の画像処理装置。
JP2004301083A 2004-10-15 2004-10-15 視覚装置の画像処理方法および画像処理装置 Expired - Fee Related JP4414859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004301083A JP4414859B2 (ja) 2004-10-15 2004-10-15 視覚装置の画像処理方法および画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004301083A JP4414859B2 (ja) 2004-10-15 2004-10-15 視覚装置の画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2006115265A JP2006115265A (ja) 2006-04-27
JP4414859B2 true JP4414859B2 (ja) 2010-02-10

Family

ID=36383390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004301083A Expired - Fee Related JP4414859B2 (ja) 2004-10-15 2004-10-15 視覚装置の画像処理方法および画像処理装置

Country Status (1)

Country Link
JP (1) JP4414859B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740942B2 (en) 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
CN104135608B (zh) * 2014-05-21 2017-07-14 张家港恩达通讯科技有限公司 一种鱼眼镜头图像的展平方法及系统

Also Published As

Publication number Publication date
JP2006115265A (ja) 2006-04-27

Similar Documents

Publication Publication Date Title
CN110660104A (zh) 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
WO2017215351A1 (zh) 摄像装置识别范围的调整方法及装置
WO1992015838A1 (en) Detection position correction system
KR20040084994A (ko) 인증 대상 화상 촬상 장치 및 그 방법
WO2016091545A1 (en) Image processing method
CN113508420A (zh) 物体追踪装置以及物体追踪方法
US11470259B2 (en) Systems and methods for sampling images
JP2012063869A (ja) ナンバープレート読み取り装置
JP7063760B2 (ja) 移動体
CN107895344B (zh) 视频拼接装置及方法
JP6617150B2 (ja) 物体検出方法及び物体検出装置
EP1465104A1 (en) Camera system for recognising authorised persons
JP6065629B2 (ja) 物体検知装置
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
KR102029335B1 (ko) 왜곡 영상 보정 장치 및 방법
JP4414859B2 (ja) 視覚装置の画像処理方法および画像処理装置
KR100505026B1 (ko) 인식 대상에 민감한 영상 처리 시스템
CN102044079B (zh) 考虑比例跟踪图像补丁的方法和设备
JP2008060988A (ja) 走行環境情報取得装置
JP7363971B2 (ja) 画像処理装置および画像処理方法
JP7114907B2 (ja) 先端アタッチメント判別装置
JP2007156771A (ja) 画像検知追跡装置、画像検知追跡方法および画像検知追跡プログラム
JP2010026804A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2005205519A (ja) ロボットハンド装置
KR101756274B1 (ko) 감시용 카메라 및 감시용 카메라의 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4414859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees