JPH04151780A - 高速ガウス曲率演算用画像処理プロセッサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第８図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用 実施例（第２図〜第７図） 発明の効果 〔概要〕 高速ガウス曲率演算用画像処理プロセッサに関し、 ビデオレートで入力される距離画像に対して、リアルタ
イムでガウス曲率を算出することを目的とし、 ビデオレートで得られる距離画像に対して、リアルタイ
ムでガウス曲率を演算する画像処理プロセッサにおいて
、入力された距離画像からＸ方向の微分を演算する第１
ｘ方向微分部と、入力された距離画像からＸ方向の微分
を演算する第１ｙ方向微分部と、第１ｘ方向微分部の出
力よりＸ方向の２次微分を演算する第２ｘ方向微分部と
、第１ｙ方向微分部の出力よりＸ方向の２次微分を演算
する第２ｙ方向微分部と、第１ｘ方向微分部の出力をＸ
方向の微分を演算する第３ｙ方向微分部と、前記各微分
部の微分結果の同期をとる同期調整部と、前記各微分部
の微分結果に基づきガウス曲率を演算する演算部を具備
するものである。

〔産業上の利用分野〕

本発明は高速ガウス曲率算出用画像処理プロセッサに係
り、特に距離画像がビデオレートで入力される場合でも
リアルタイムでガウス曲率を算出することができるよう
にしたものに関する。

〔従来の技術〕 例えば通常のＴＶカメラから得られる画像は２次元画像
であるが、３次元画像すなわち視点（カメラ）からの距
離が含まれている３次元画像解析の分野において、レー
ザ反射光を使用して距離測定ができるレーザレーダ、レ
ーザ光を左右に振って距離測定を行うレンジファインダ
、両眼立体視等から得られる距離画像（距離データの付
加された画像）に対し、後述するガウス曲率を求めると
、画像内にある物体の面の状態が判断できる。

例えばガウス曲率が正なら物体の表面は楕円面であり、
負なら双曲面であり、ゼロなら円筒面又は平面であると
いうことが知られている（例えば電気通信学会ＰＲＵ８
７−１５：　ｒ距離画像を用いた連続２次曲面の認識」
）。従って、通常の２次元画像（濃淡値画像）と併用す
ることで物体の形状を３次元的に判断することができる
。それ故、これをビデオレート（約１／３０秒）で行う
ことにより、ロボットが移動中、あるいは物体が移動中
でも判断可能となるので、ロボットビジョンへの応用が
実用的になる。

ところで、ガウス曲率は下記のようにして得られる。

例えば第８図（Ａ）に示すように、物体Ｐをビデオカメ
ラＣで撮影し、第８図（Ｂ）に示す如き、距離画像を得
る。なお、ビデオレートで距離画像を得る手法について
は、例えば特開昭６３−２５０５１０号「画像検出プロ
セッサ」に記載されている。

今、カメラＣから物体Ｐまでの距離を５ｍとし、Ｘ方向
に画素間距離Δｘ＝０．１ｍ、ｙ方向に画素間距離（ラ
イン間距離）Δｙ＝０．１ｍで、物体Ｐ及び背景の距離
画像を得る。これにより、第８図（Ｂ）に示す如く、画
素ａ（＋、ａ１、ａ　２−ｂ　６、ｂ！、ｂ２−１Ｃｏ
、Ｃｓ、Ｃ！・−の距離画像Ｚ＠Ｏ％Ｚ＋ｏ、ｚｚｏ’
−−−１Ｚ０１％ＺＩＩ％Ｚｚｌ””、Ｚ６２、Ｚ１２
、Ｚ２□−を得る。

次に、Ｘ方向微分及びＸ方向微分を求める。

Ｘ方向微分は、前画素と後画素の差分をその画素間の距
離で割り求める。ただし画像の端では隣接した画素の差
分をその画素間の距離で割り求める。即ち、第８図（Ｂ
）における画素ａＯに対するＸ方向微分ｄＺｏｏ／ｄＸ
は、端のため、ｄ　ＺＯＯ（Ｚｌｌｌ　　Ｚｏｏ） ｄｘ　　　　　　　　ΔＸ となり、画素ａ１、ａ２に対するＸ方向微分ｄＺ、。／
　ｄ　ｘ、　ｄ　Ｚｚｏ／　ｄ　ＸはそれぞれｄＺ、。

　（２，。−２０゜） ｄｘ　　　　　２ΔＸ ｄＺ２゜　（ｚ３゜−Ｚ　ｔｏ） ｄｘ　　　　　２ΔＸ となる。

同様に、画素ａｏ、ｂｅに対するｙ方向微分ｄＺｏｏ／
　ｄ　ｙ　、ｄ　Ｚｏｏ／　ｄ　ｙは、それぞれｄ　Ｚ
ｏｏ　　（Ｚｏｌ　　２００） ｄｙ　　　　　Δｙ ｄＺｏ＋　　（Ｚｏｚ　　Ｚｏ。） ｄｙ　　　　　２Δｙ となる。

そして、Ｘ方向微分を、更にＸ方向に微分することによ
り、Ｘ方向２欣微分を得、Ｘ方向微分を更にＸ方向に微
分することによりｙ方向２久微分を得る。そして、Ｘ方
向微分をＸ方向に微分にすることによりｘｙ方方向２微
微を得る。そしてこれらに基づき、下記（１）式の演算
を行うことによりガウス曲線Ｋを得る。

〔発明が解決しようとする課題〕

ところでガウス曲率を求める場合、前記の如（、距離画
像のＸ方向１次微゛分（ΔＺ／Δｘ）、ｘ方向２玖微分
（Δ２Ｚ／Δｘり、ｙ方向１欣微分（ΔＺ／Δｙ）、ｙ
方向２久微分（Δ”Ｚ／Δｙ”）、ｘｙ方方向２微微（
Δ”Ｚ／ΔＸ・Δｙ）の計算値を用いることが必要であ
る。しかしこれらの各計算はデータ量が膨大なため、従
来ではビデオレートで計算することができなかった。そ
のため、距離画像をビデオレートで入力可能であっても
、これを有効に使用することができなかった。

従って本発明の目的は、ビデオレートで前記演算を行う
ことができる高速ガウス曲率算出用画像処理プロセッサ
を提供することである。

〔課題を解決するための手段〕

前記目的を達成するため、本発明は、第１図に示す如く
、第１ｘ方向微分部１、第１ｙ方向微分部２、第２ｘ方
向微分部３、第２ｙ方向微分部４、第３ｙ方向微分部５
、同期調整部６、演算部７を設ける。

〔作用〕

図示省略した画像入力部より距離画像が伝達されると、
第１ｘ方向微分部１及び第１ｙ方向微分部２がそれぞれ
Ｘ方向１欣微分（ｄＺ／ｄｘ）及びｙ方向１欣微分（ｄ
Ｚ／ｄｙ）を算出する。

そして第２ｘ方向微分部３は、前記第１ｘ方向微分部１
が演算したＸ方向１凍微分出力を更にＸ方向に微分して
Ｘ方向２欣微分（ｄ”Ｚ／ｄｘ”）を演算し、第２ｙ方
向微分部４は、前記第１ｙ方向微分部２が演算したｙ方
向１吹微分出力を更にＸ方向に微分してｙ方向２久微分
（ｄ”Ｚ／ｄｙ”）を演算する。そして第３ｙ方向微分
部５は、前記第１ｘ方向微分部１が演算したＸ方向１凍
微分出力をＸ方向に微分したｘｙ方方向２微微（ｄ”Ｚ
／ｄｘｄｙ）を演算する。同期調整部６は、第１Ｘ方向
微分部１、第１ｙ方向微分部２、第２ｘ方向微分部３、
第２ｙ方向微分部４及び第３ｙ方向微分部５からの各出
力信号が、それぞれ所定のタイミングで演算部７に送出
するように時間調整する。

このようにして同期調整部６により時間調整された、Ｘ
方向１欣微分（ｄＺ／ｄｘ）、ｙ方向１欣微分（ｄ　Ｚ
／ｄ　ｙ）、Ｘ方向２久徽分（ｄ”Ｚ／ｄｘｚ）、ｙ方
向２久微分（ｄ”Ｚ／ｄｙ”）、ｘｙ方方向２微微（ｄ
”Ｚ／ｄｘｄｙ）がそれぞれ演算部７に送出され、演算
部７で下記の演算が行われ、ガウス曲率Ｋが得られる。

（１＋（ｄ”Ｚ／ｄ　ｘ”）＋（ｄ”Ｚ／ｄ　）”））
”本発明によれば、各微分部を並列配置して、パラレル
的に高速演算を行うことができ、しかもその出力を、上
記ガウス率の算出ができるように同期調整するので、ビ
デオレートで距ＭＷＭ像を入力しても、これに応じて、
リアルタイムでガウス曲率Ｋを求めることができる。

〔実施例〕

本発明の一実施例を、第２図〜第７図にもとづき、他国
を参照して詳述する。

第２図はＴＶカメラ対象物説明図、 第３図は距離画像の一例、 第４図はＸ方向微分部の説明図であって（Ａ）はその構
成図、（Ｂ）はＸ方向１火微分演算値、（Ｃ）はタイミ
ングチャート、 第５図はＸ方向微分部の説明図であって（Ａ）はその構
成図、（Ｂ）は各プレイ回路説明図、（Ｃ）はｙ方向１
吹微分演算値、（Ｄ）はタイミングチャート、 第６図は同期調整部の説明図であって（Ａ）はその構成
図、（Ｂ）は同期調整時間説明図、第７図は演算部の構
成図である。

第２図（Ａ）に示す如く、対象物ＰをＴＶカメラＣで撮
影してそのフレームＥの範囲の距離画像を得る。この説
明では、第２図（Ｂ）に示す如く、対象物ＰとＴＶカメ
ラの距離を５ｍとし、背景までの距離を１０ｍとし、ま
た画素間距離をΔＸ＝０．１ｍ、Δｙ＝０．１ｍとする
。このようにして、第３図に示す如き、距離画像が得ら
れたものとする。そしてこれらが、第１図に示す第１Ｘ
方向微分部１及び第１ｙ方向微分部２に後述するように
入力される。

第１ｘ方向微分部１は、第４図（Ａ）に示す如く、第１
プレイ回路１１、第２プレイ回路１２、第３プレイ回路
１３、画素選択部１４、座標生成部１５、演算部１６、
第４プレイ回路１７等を具備する。

第１ｘ方向微分部ｌは、下記の（２）式に示す如く、画
素（ｘ　＝、ｙｔ）のＸ方向微分を前画素（ｘ　ｒ−い
ｙｔ）と、後画素（ｘ　＝。１、ｙｔ）の差分を２画素
間（前画素と後画素間）距離で割って求める。下式でＰ
ｄは画素間の距離である。ただし画像の端では、（３）
式、（４）式に示すように、隣接した画素（ｘｏ、ｙｔ
）と（ｘ１１ｙ＝）及び（Ｘ　ＩＩＩＩＩＸ−１、ｙｔ
） と （Ｘ□い ｙｔ） の差分から求める。

前記（２）〜（４）式の演算を行うため、第１プレイ回
路１１、第２プレイ回路１２、第３プレイ回路１３に、
Ｘ軸方向に出力された距離画像が順次入力され、クロッ
クＣＬＫに基づき、入力された距離画像を１画素ずつシ
フトされる。

そして画像の端（ここでは画像の左右）の場合、画素選
択部１４により第１プレイ回路１１の出力ｄ１及び第２
プレイ回路１２の出力ｄ２又は第２プレイ回路１２の出
力ｄ２及び第３プレイ回路工３の出力ｄ３が選択され、
前記（３）式又は（４）式の演算が演算部１６にて行わ
れる。そうでない場合は、画素選択回路１４から、第１
プレイ回路の出力ｄ１及び第３プレイ回路の出力ｄ３が
選択され、前記（２）弐の演算が演算部１６にて行われ
る。そしてこれらの選択は、座標生成部１５において生
成される画像上の座標（ｘ、ｙ）にもとづき行われる。

そしてこの第１ｘ方向微分部１では、入力から出力まで
に３画素分（３クロツク）の遅延が生じるので、画像制
御信号を、第４プレイ回路１７により３クロツク遅延さ
せる。

このようにして、第４図（Ａ）に示す演算部１６より出
力ｄ４として得られる、第３図に示す距離画像のＸ方向
１久微分を第４図（Ｂ）に示す。

なお、第４図（Ｃ）に第１ｘ方向微分部１のタイミング
チャートを示す。

第１ｙ方向微分部２は、第５図（Ａ）に示す如く、第１
プレイ回路２１、第２プレイ回路２２、第３プレイ回路
２３、画素選択部２４、座標生成部２５、演算部２６、
第４プレイ回路２７等を具備する。

第１ｙ方向微分部２は、下記（５）式に示す如く、画素
（ｘ　＝、ｙｔ）のｙ方向１吹微分を前ライン画素（ｘ
、、ｙ、刊）と後ライン画素（Ｘ＝、ｙ　ｉ−＋）の差
分を２ライン間（前ラインと後ライン間）距離で割って
求める。下式でＬｄはライン間の距離であり、通常はＬ
ｄ＝Ｐｄである。ただし画像の端では（６）式、（７）
式に示すように、隣接した画素（Ｘｔｓ　ｙ　ｏ）、（
Ｘ！、ｙｌ）及び（ｘ　＝、ｙｌｅａｘ−１）、（ｘ　
＝、）’　５ｅｘ）の差分から求める。

そして、前記（５）〜（７）式の演算を行うため、第１
プレイ回路２１、第２プレイ回路２２、第３プレイ回路
２３に距離画像が順次入力されてシフトされる。このと
き、第１プレイ回路２１は入力される距離画像を１画素
遅延させ、第２プレイ回路２２及び第３プレイ回路２３
はそれぞれ１走査ライン（以下ラインという）遅延させ
る。そのため、第５図（Ｂ）に示す如く、第１プレイ回
路２１は１個の画素遅延回路りを具備し、第２プレイ回
路２２及び第３プレイ回路２３はそれぞれ１ライン分の
画素を保持するバッファであり、ｌライン遅延したデー
タが出力される。

そして画像の端（ここでは画像の上下）の場合、画素選
択部２４により、第１プレイ回路２１の出力ｄ１及び第
２プレイ回路２２の出力ｄ２又は第２プレイ回路２２の
出力ｄ２及び第３プレイ回路２３の出力ｄ３が選択され
、演算部２６により前記（６）式又は（７）式の演算が
行われる。そうでない場合は、画素選択回路２４から第
１プレイ回路の出力ｄ１及び第３プレイ回路の出力ｄ３
が選択され、前記（５）式の演算が演算部２６にて行わ
れる。そしてこれらの選択は、座標生成部２５において
生成される画像上の座標（ｘ、ｙ）に基づき行われる。

ところで、第１ｙ方向微分部２では、入力から出力まで
に２ラインと１画素分の遅延が生じるので、画素制御信
号を第４プレイ回路２７により２ラインと１画素遅延さ
せる。このようにして、演算部２６より出力ｄ４として
、第５図（Ｂ）に示すＸ方向微分が得られる。

なお、第５図（Ｃ）に第１ｙ方向微分部２のタイミング
チャートを示す。

また、第１図における第２ｘ方向微分部３は、第４図に
て説明した第１ｘ方向微分部１と同様に構成されている
。入力が第１ｘ方向微分部１より得られたＸ方向微分で
あり、これをこの第２ｘ方向微分部３にてＸ方向微分す
るので、Ｘ方向２吹微分が得られる。

そして第１図における第２ｙ方向微分部４は、第５図に
おいて説明した第１ｙ方向微分部２と同様に構成されて
いる。入力が第１ｙ方向微分部２より得られたｙ方向１
吹微分であり、これを第２ｙ方向微分部４にてＸ方向微
分するので、ｙ方向２玖微分が得られる。

さらに、第１図における第３ｙ方向微分部５は、これま
た前記第１ｙ方向微分部２と同様に構成されている。そ
して入力が第１ｘ方向微分部１から得られたＸ方向１吹
微分をＸ方向微分するので、ｘｙ方方向２微微を得る。

また、第１図に示す同期調整部６は、前記第１Ｘ方向微
分部１、第１ｙ方向微分部２、第２ｘ方向微分部３、第
２ｙ方向微分部４、第３ｙ方向微分部５の５個の各微分
部からの前記各微分結果の同期をとり演算部７にてガウ
ス曲率の演算を容易にするものである。この同期をとる
ために、同期調整部６は、第６図（Ａ）に示す如く、第
１プレイ回路６１、第２プレイ回路６２、第３プレイ回
路６３、第４プレイ回路６４を具備する。

第６図（Ｂ）に示す如く、第１ｘ方向微分部１における
Ｘ方向１吹微分の処理には３画素分の時間を必要とし、
第１ｙ方向微分部２におけるｙ方向１吹微分の処理には
２ライン１画素分の時間を必要とし、第２ｘ方向微分部
３におけるＸ方向２吹微分の処理には６画素分の時間を
必要とし、第２ｙ方向微分部４におけるｙ方向２玖微分
の処理には４ライン２画素分の時間を必要とし、第３ｙ
方向微分部５におけるｘｙ方方向２微微の処理には２ラ
イン４画素分の時間を必要とする。そのため、上記（１
）式の演算に必要な各データを揃えて演１部７に出力す
るために、最も長い時間を要する第２ｙ方向微分部４に
おけるｙ方向２戊微分出力に合わせる必要がある。

そのため、第１プレイ回路６１の遅延時間Ｔ！、第２プ
レイ回路６２の遅延時間Ｔ２、第３プレイ回路６３の遅
延時間Ｔ３、第４プレイ回路６４の遅延時間Ｔ４をそれ
ぞれ下記のようにする。

Ｔｌ＝（４ライン２画素）−（３画素）Ｔｓ＝（４ライ
ン２画素）−（２ライン１画素）Ｔ９＝（４ライン２画
素）−（６西素）Ｔａ＝（４ライン２画素）−（２ライ
ン４画素）このようにして同期調整部６から、前記（１
）式の演算に必要な、Ｘ方向１衣微分、ｙ方向１戊微分
、Ｘ方向２欣微分、ｙ方向２久微分、ｘｙ方方向２微微
を同時に演算部７に出力することができる。

第１図に示す演算部７は、第７図に示す如く、乗算回路
７１．７２．７３．７４、加算回路７５．７６、乗算回
路７７．７８等を具備する。

Ｘ方向１衣微分は乗算回路７１は２乗されて分とｙ方向
２久微分は乗算回路７ ３で乗算されて 算される。

このとき加算回路７ ５には、 定数とし 数値１が付加されており、 加算回路７ ５では れが乗算回路７ ７で２乗されて＋１１式の分母である が出力され、（１１式の分子が得られる。

そして、これと、前記乗算回路７７の出力が乗算回路７
８に出力されて商が算出され、（１）式の演算すなわち が行われ、ガウス曲率Ｋが出力される。

なお、前記説明ではＴＶカメラと対象物距離が５ｍ、背
景距離がｌｏｍ、画素間距離が０．１ｍ、ライン間距離
が０．１ｍの例について説明したが、本発明は勿論これ
のみに限定されるものではない。

〔発明の効果〕

本発明によれば、各演算を並行的に行うことができ、し
かも同期調整部によりその演算出力を揃えることができ
るので、ガウス曲率の算出を、高速に行うことができる
。この結果、ビデオレートで入力される距離画像に対し
ても、リアルタイムでガウス曲率を算出することができ
るようになり、対象物の形状を高速に判断することを可
能にする。

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図はＴ、Ｖカメラと対象物説明図、第３図は距離画
像例、 第４図はＸ方向微分説明図、 第５図はＸ方向微分説明図、 第６図は同期調整説明図、 第７図は演算部の構成図、 第８図は距離画像説明図である。 １−第１ｘ方向微分部 ２−第１ｙ方向微分部 ３−・第２ｘ方向微分部 ４−・・第２ｙ方向微分部 ５−・−第３ｙ方向微分部 ６−・・同期調整部 ７−演算部 特許出願人　　　富士通株式会社 代理人弁理士　　山　谷　晧　榮 （Ａ）画痺入力説明 （Ｂ）距駄＾通 （ＯＸ方ｍ＃弁　　　　　　　　　　　（ρ）Ｙ力簡徹
今第８図ＸＥ舷ｌ鷹明口 （Ａ） （Ｂ） ｒｖｈｙｔ５ｙＸ＝＋ＩｋｈｔＬｅＡｍ第２図 距＋１ｉ１Ａ（＆ 第３図 第４　図ズ方閘恢分貌明ｎ （ぞのＩ） （Ｃ）入方向祭文イへ！のクィミングチャート第４図Ｘ
方同鍬分ｌ肢（−４２，） 第　５　　図　＃方間絞弁説明図（その））ン Δン （こ） と方向憚今 第５図ｙ銅欲介お朋（そ１１）２） （β）遅延時間証明図 第６図用期１！Ｉｇ説明図 外し１部の構１ｙｘ、図 第７図

Claims (1)

1. 【特許請求の範囲】 　ビデオレートで得られる距離画像に対して、リアルタ
   イムでガウス曲率を演算する画像処理プロセッサにおい
   て、 入力された距離画像からｘ方向の微分を演算する第１ｘ
   方向微分部（１）と、 入力された距離画像からｙ方向の微分を演算する第１ｙ
   方向微分部（２）と、 第１ｘ方向微分部（１）の出力よりｘ方向の２次微分を
   演算する第２ｘ方向微分部（３）と、第１ｙ方向微分部
   （２）の出力よりｙ方向の２次微分を演算する第２ｙ方
   向微分部（４）と、第１ｘ方向微分部（１）の出力をｙ
   方向の微分を演算する第３ｙ方向微分部（５）と、 前記各微分部の微分結果の同期をとる同期調整部（６）
   と、 前記各微分部の微分結果に基づきガウス曲率を演算する
   演算部（７）を具備したことを特徴とする 高速ガウス曲率演算用画像処理プロセッサ。