JP3093409B2

JP3093409B2 - ３次元計測装置

Info

Publication number: JP3093409B2
Application number: JP04002537A
Authority: JP
Inventors: 利生遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-01-10
Filing date: 1992-01-10
Publication date: 2000-10-03
Anticipated expiration: 2015-10-03
Also published as: JPH05187844A; US5502657A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラなどを用いて撮
影した画像をもとに３次元計測する３次元計測装置に関
するものである。カメラを用いて、３次元情報（奥行き
情報など）の計測を行うことは、ＦＡ（ファクトリオー
トメーション）のロボットなどにとって重要な課題であ
る。例えばロボットアーム（手）を望む位置に移動させ
るために、ロボットアイ（目）に必要とされる機能であ
る。

【０００２】

【従来の技術】従来、カメラを用いて３次元計測を行う
には以下の方法がある。（１）距離によって超音波の反射時間が異なることを
利用したレンジセンサを使って撮影する。

【０００３】（２）２つ以上のカメラで撮影し、それ
らの間で距離によって異なる視差を生じることを利用す
る。（３）普通のカメラで撮影した動画像（１秒間に何枚
という単位でコマ撮りした多数の画像）から、その時間
的に隣接した画像間での変化分を計算し、これをもとに
３次元情報を算出する。

【０００４】

【発明が解決しようとする課題】上記（１）のレンジセ
ンサを用いる方法は、奥行情報を直接得られるために簡
便であるが、特別の機材が必要となる。また、上記
（２）の２つ以上のカメラで撮影してその間の視差を利
用する方法は、予め２つ以上のカメラの位置関係を固定
などして置かなければならず、この位置の調整などが煩
雑である。

【０００５】上記（３）の動画像から３次元情報を算出
する方法は、画面に写っているものは１つの剛体だけで
あり、その剛体の各点（剛体上の各点）の明るさが時間
が経過しても変化しなく、かつその明るさは空間的に滑
らかに変化しているという仮定に基づく。これらの仮定
から、運動の仕方と画像上の各点の奥行きを未知数にし
て、時間的に隣接した画像間で変化すべき量を計算し、
これと観察した変化分を等しいと置くことにより得られ
る方程式を解き、剛体の運動の仕方と画像上の各点の奥
行きを算出する。この方法は、１つのカメラで処理で
き、また事前の調整も不要であるという利点を持つ。し
かし、画像内に物体が１つしかない場合にしか適用でき
ず、また使う情報が動画像だけであるために、算出され
る３次元情報の精度があまりいいとは言えないという問
題がある。

【０００６】本発明は、カメラを用いた３次元計測にお
いて、カメラ１つだけを用いて複数物体を精度良く計測
すると共に他の奥行き情報を併用して精度を高めること
を目的としている。

【０００７】

【課題を解決するための手段】図１を参照して課題を解
決するための手段を説明する。図１において、内部状態
１は、画像の各画素毎の物体の情報（各画素毎にいずれ
の物体に属するかの情報、物体までの距離、および運動
の仕方など）である。

【０００８】得点算出部３は、カメラから入力された画
像から取り出した各画素毎の入力情報２および内部状態
１をもとに連続性を表す情報１１および奥行き情報１３
の得点を計算してその総和の得点を求めるものである。

【０００９】内部状態変更部４は、内部状態１を任意に
変更するものである。

【００１０】

【作用】本発明は、図１に示すように、内部状態１とし
て画像の各画素毎の物体の情報（各画素毎にいずれの物
体に属するかの情報、物体までの距離、および運動の仕
方）を保持し、得点算出部３がカメラから入力された画
像から取り出した各画素毎の入力情報２および内部状態
１をもとに連続性を表す情報１２および奥行き情報１４
の得点を計算してその総和の得点を求め、内部状態変更
部４が内部状態１を任意に変更し、これをもとに得点算
出部３が得点を求めることを繰り返し最小となる内部状
態１あるいは所定時間毎に内部状態１を出力するように
している。

【００１１】この際、内部状態１として、各画素毎にい
ずれの物体に属するかの情報、物体までの距離、および
運動の仕方としている。また、カメラから入力された画
像から取り出し各画素毎の入力情報２として、カメラか
ら入力された画像の色情報（あるいは明るさ情報）から
取り出した各画素の情報としている。また、物体までの
距離を求めて各画素毎の物体までの距離に反映し、より
正確な距離を求めるようにしている。

【００１２】従って、カメラを用いた３次元計測におい
て、カメラ１つだけを用いて複数物体を精度良く計測す
ると共に他の奥行き情報を併用して更に精度を高めるこ
とが可能となる。

【００１３】

【実施例】次に、図１から図５を用いて本発明の実施例
の構成および動作を順次詳細に説明する。

【００１４】図１において、内部状態１は、カメラから
時々刻々と変化するいくつかの入力情報を利用して、徐
々に変化させる状態であって、例えば１秒間に３０枚と
いう間隔で送られてくる動画像に付随する情報を扱うも
のであり、例えば以下のものである。

【００１５】（１）各画素毎に、それがどの物体に属
するかを表した情報（２）各画素毎に、その画素に写っている物体までの
距離Ｚ（３）各物体毎に、その運動の仕方を表した情報（後
述する並進運動、回転運動）これら内部状態１には、最初、適当な値を入れ、入力情
報２を利用して正しいものへとフィードバックして修正
していく。そして、ある時間間隔で出力部６へと送り出
す。

【００１６】内部状態１の上記（１）項は、図２の
（ａ）に示すように、物体に適当な番号を振ることによ
り、物体毎に表現する。この画像は、各画素毎にある値
を持つ２次元配列であって、各物体の画面上での位置を
表している。

【００１７】内部状態１の上記（２）項は、各画素に対
して物体までの距離Ｚを割り当てるることにより、画像
の形で表現する。内部状態１の上記（３）項は、物体の
運動の仕方として、物体のある時点での運動を表すに必
要な数値を表し、剛体の物体について重心の並進運動の
３つの成分（Ｘ、Ｙ、Ｚ）と、重心の回転運動の３つの
成分（Ｘ、Ｙ、Ｚ）の合計６つの数値で運動を表現す
る。これは、図２の（ｂ）に示すように、物体番号に対
応づけて図示のように各物体毎に分けられたテーブルに
記憶する。

【００１８】以上の（１）、（２）、（３）の３つによ
って物体の内部状態１を表現し、記憶する。次に、カメ
ラからの入力情報２（あるいは内部状態１からのフィー
ドバック情報５）をもとに内部状態１を安定化するとき
の当該入力情報２（フィードバック情報５）について説
明する。

【００１９】情報を、内部状態１への影響の与え方に応
じて以下のように３種類に分類する。（１１）奥行き情報を含まず、かつ間接的に奥行きの
連続性を表す情報（１２）奥行き情報を含まず、かつ間接的に奥行きの
不連続性を表す情報（１３）奥行き情報を含む情報上記情報の連続性を表す情報（１１）は、例えば下記の
ものがある。

【００２０】・各画素毎の色相、彩度情報・各画素毎の明度情報・特徴点の分布ここで、色相はその画素の色を表し、彩度は色の純度を
表す。純粋な色は彩度１００％である。明度は、明るさ
を表す。モノクロカメラで撮影した画像は、色相、彩度
情報を持たない。特徴点の分布は、一定の特徴（例えば
角ばっているところとか）を持つ画素を抽出したもので
ある。

【００２１】上記情報の不連続性を表す情報（１２）
は、例えば下記のものがある。・空間的に、色相、彩度が急に変わっている画素の分布・空間的に、明度が急に変わっている画素の分布・各画素毎に、それがどの物体に属するかを表したもの
（フィードバック情報）明度が急に変わっている画素の分布は、通常エッジと呼
ばれている。各画素毎にそれがどの物体に属するかを表
した情報は、同名の内部情報をそのまま用いる。

【００２２】上記情報の奥行き情報を含む情報（１３）
は、例えば下記のものがある。・接触型センサ等から得られる特定の点における距離情
報・各画素毎に、その画素に写っている物体までの距離
（フィードバック情報）各画素毎に、その画素に写っている物体までの距離を表
した情報は、今の内部状態１の値ではなく、１つ前の入
力フレーム（画像の１コマ）に対する出力における同名
の情報を用いる。

【００２３】これら（１１）、（１２）、（１３）の情
報は、一定の方法で処理し、得点を計算する。得点は、
全情報について加える。内部状態１は、その総得点を小
さくするように変更する。実際には、内部状態１をどの
ように変更したら総得点が小さくなるか判明しないの
で、現在の内部状態１を任意に微小に変化させ、その総
得点を計算して、その値が小さくなる方向に変更する。

【００２４】次に、得点の計算を行う前に、投影された
速度場の算出および隣接画素間の不連続程度の算出につ
いて説明する。投影された速度場の算出：まず、内部状態から定まる量
として、投影された速度場を算出する。これは、各画素
毎に、そこに写っている物体の運動を画像平面上に投影
した速度を表したものである。剛体の場合には、下記の
式（１）のように計算できる（詳細については、例えば
「森北出版・金谷健一著、画像理解、３次元認識（１９
９０）」を参照）。

【００２５】

【数１】

【００２６】ここで、図３に示すように、Ω＝（ωｘ、
ωｙ、ωｚ）は重心の回転運動を表し、Ｔ（ｔｘ、ｔ
ｙ、ｔｚ）は重心の並進運動を表し、Ｚは奥行きの距離
を表し、（ｕ、ｖ）が投影された速度を表し、（ｘ、
ｙ）が画面上の座標値を表す。

【００２７】計算は、画面上の（ｘ、ｙ）を変化させ
て、以下の方法によって全画素に渡って投影された速度
（ｕ、ｖ）を求める。初期化：現在注目している画素（ｘ、ｙ）を原点
（０、０）におく（ここでは原点は画面上で左上とす
る）。

【００２８】物体の特定：今の（ｘ、ｙ）で指定さ
れる画素に対して、それがどの物体に属しているかを特
定する。運動の検索：今の（ｘ、ｙ）で指定される画素に対
して、その点での運動の仕方を検索する。

【００２９】投影された速度の算出：式（１）によ
って投影された速度（ｕ、ｖ）を算出する。注目画素の移動：現在注目している画素を１つ右に
移動する。もう右に行けないときは、１段下の左端へ移
動する。もう画素がないときは終了する。

【００３０】再び（物体の特定の）へ飛ぶ。以上を繰り返すことにより、物体の画面上に投影された
位置（ｘ、ｙ）について、その速度（ｕ、ｖ）を計算す
る。

【００３１】隣接画素間の不連続の程度の算出：上記不
連続性を表す情報（１２）から、隣接画素間の不連続の
程度を算出する。隣接画素は、図２の（ｃ）に示すよう
に、中央の画素に対して画像上で上下、斜めに接してい
る合計８個の画素である。隣接した画素は、各画素につ
いて８つ存在するので、その間の不連続の程度を記憶す
るには、画像を最大でも８枚用意すればよい。ここでは
８つの隣接した画素の不連続の程度を平均化して、１枚
に記憶、即ち各画素に対して、その画素と隣接する画素
との平均的な不連続の程度を対応させた画像を計算し、
作成する。不連続の程度の算出は、下記の手順によって
行う。

【００３２】初期化：現在注目している画素（ｘ，
ｙ）を原点におく（ここでは原点は画面の左上とす
る）。隣接した画素の選択：現在注目している画素に隣接
した画素（ｘ’，ｙ’）を１つ選ぶ。

【００３３】各情報Ｐに対する不連続の程度の算
出：各情報Ｐに対して、画素の組（ｘ，ｙ）、（ｘ’，
ｙ’）での不連続の程度を算出し、点数を加算する。隣接画素を変えて再度行う。

【００３４】注目画素の移動：現在注目している画
素を１つ右に移動する。もし右に行けないときは、１段
下の左端に移動する。もう画素がないときは終了する。再び（隣接した画素の選択）に飛ぶ。

【００３５】ここで、情報Ｐに対して画素の組（ｘ，
ｙ）、（ｘ’，ｙ’）での不連続性の程度の算出は、以
下のように行う。・２つの点が情報Ｐの値が急に変化している点を含む
か、２つの点の間で情報Ｐの値が変化していたら、不連
続の程度を１とする。

【００３６】・それ以外の場合ならば、不連続の程度を
０とする。次に、連続例を表す情報（１１）について、隣接画素間
での不連続の程度を利用して得点の計算を行う場合につ
いて説明する。

【００３７】連続性を表す情報（１１）Ｆに対して、以
下の手順により得点を算出する。初期化：得点を数えるカウンタを０にする。注目し
ている画素を原点におく。

【００３８】得点算出：画素（ｘ，ｙ）での得点を
算出して、カウンタに加える。注目画素の移動：現在注目している画素を１つ右に
移動する。もう右に行けないときは、１段下の左端へ移
動する。もう画素がないときは終了する。

【００３９】再び（得点の算出）へ飛ぶ。ここで、画素（ｘ，ｙ）での情報Ｆの得点は、例えば以
下のように算出する。ここで、情報Ｆは、動画像の各フ
レーム（各コマ）の各画素に対して１つの値を定めた関
数であるとし、時刻ｔでの画素（ｘ，ｙ）での値を、Ｆ
（ｘ，ｙ；ｔ）とする。

【００４０】｜（Ｆ（ｘ＋１，ｙ；ｔ）−Ｆ（ｘ，ｙ；ｔ））＊ｕ＋（Ｆ（ｘ，ｙ＋１；ｔ）−Ｆ（ｘ，ｙ；ｔ））：＊ｖ＋（Ｆ（ｘ，ｙ；ｔ） −Ｆ（ｘ，ｙ；ｔ−１））｜＊｛不連続の程度の最大値−（ｘ，ｙ）での不連続の程度｝（２）ここで、速度（ｕ，ｖ）は位置（ｘ，ｙ）における投影
された速度を表し、絶対値記号（｜｜）の中の式は、情
報Ｆの分布が１つ前の時刻（ｔ−１）での分布から投影
された速度（ｕ，ｖ）に従って移動した場合に０になる
式である。従って、速度（ｕ，ｖ）が正しく投影された
速度を表していれば、上式（２）の値は、十分小さくな
る。式（２）内に現れる位置（ｘ，ｙ）での不連続の程
度としては、例えば上述した情報Ｐに対する不連続の程
度を、全ての情報Ｐに対して加えたものを用いる。

【００４１】次に、奥行き情報を表す情報（１３）に関
する得点算出について説明する。奥行き情報を表す情報
Ｇの場合には、以下のように得点を算出する。初期化：得点を数えるカウンタを０にする。注目し
ている画素を原点におく。

【００４２】得点算出：画素（ｘ，ｙ）での得点を
算出して、カウンタに加える。注目画素の移動：現在注目している画素を１つ右に
移動する。もう右に行けないときは、１段下の左端へ移
動する。もう画素がないときは終了する。

【００４３】再び（得点の算出）へ飛ぶ。ここで、画素（ｘ，ｙ）での情報Ｇの得点は、例えば以
下のように算出する。｜Ｇ（ｘ，ｙ）−（ｘ，ｙ）での物体までの距離｜＊｛（ｘ，ｙ）における情報Ｇの信頼性）｝（３）ここで、（ｘ，Ｙ）での物体までの距離は、現在の内部
状態１の値である。また、情報Ｇの信頼性は、この情報
がどのくらい当てになるかを表した数値である。接触型
のセンサなどから得られる特定の点だけにおける距離情
報は、その特定の点でのみ正の信頼性を持つ（他の殆ど
の点での信頼性は０となる）。

【００４４】以上のようにし、各画素の得点を求めて物
体毎の総得点を算出し、これをもとに当該総得点が最小
となる内部情報１に変更し、このときの内部状態１を物
体の３次元情報（各画素毎にどの物体に属するかの情
報、物体までの距離Ｚ、運動の仕方）を出力する。

【００４５】尚、図２は、本発明の動作説明図を示す。
図２の（ａ）は、物体の属する情報を示す。これは、カ
メラで撮影した画像上で、同じ物体にここでは、０、
１、２の一意のコード（物体名に対応する物体番号）を
付与した様子を模式的に示したものである。

【００４６】図２の（ｂ）は、運動の仕方を示す。これ
は、物体番号に対応づけて物体の並進運動（ｘ，ｙ，
ｚ）および回転運動（ｘ，ｙ，ｚ）をテーブルとして記
憶させる様子を示す。ここで、並進運動は物体の並行移
動を表し、回転運動は物体の回転を表す。

【００４７】図２の（ｃ）は、隣接した画素を示す。中
央の●の画素に隣接した画素は、周囲の○の８個の画素
である。この間で、連続性、不連続性を表すときにその
平均値をもとに評価する（例えば色が同じ、明度がほぼ
同じか否かで連続性、不連続性を評価する）。

【００４８】図３は、本発明の概念説明図を示す。ここ
で、予想される物体が本発明の内部状態１であって、画
面上における位置（ｘ，ｙ）、速度（ｕ，ｖ）などをも
とに得点を最小としたときの様子を模式的に示す。本発
明は、予想される物体（内部状態１）の得点が小さくな
るように微小に変更し、この変更後の内部状態１を既述
した式（１）で画面上に図示のように投影し、そのとき
の得点を式（２）で求めることを繰り返し、得点が最小
となる内部状態１を３次元情報として出力するようにし
ている。

【００４９】次に、図４の構成および図５のフローチャ
ートを用いて本発明の１実施例の構成および動作を順次
詳細に説明する。図４は、本発明の１実施例構成図を示
す。

【００５０】図４において、画像入力部２１は、カメラ
からの画像（入力画像）を取り込で内部に記憶するもの
である。情報選択部２２は、画像入力部２１が記憶して
いる入力画像から、上述した連続性を表す情報（１
１）、不連続性を表す情報（１２）、奥行き情報を含む
情報（１３）を選択するものである。

【００５１】内部状態保持部２３は、計算する物体の３
次元の内部情報１を保持するものである。出力部２４
は、内部状態保持部２３が保持する得点が最小の内部状
態１あるいは所定時間毎の内部状態１を受け取り、結果
として出力するものである。

【００５２】得点算出部２５は、情報選択部２２によっ
て画像入力部２１が保持する情報から選択した入力情
報、および内部状態保持部２３が保持する内部状態１か
ら計算したフィードバック情報５の両者をもとに得点を
計算するものである。得点の計算は、例えば既述した、
連続性を表す情報（１１）の得点や奥行き情報を含む情
報（１３）の得点のように求める。

【００５３】得点加算部２６は、得点算出部２５で算出
した得点を総計して物体毎に総得点を求めるものであ
る。内部状態変更部２７は、内部状態１を任意に変更
（得点が小さくなる方向に変更）するものである。この
変更後の内部状態１をもとに再計算を行い、総得点の小
さい内部状態１をカメラによって撮影した入力情報２か
ら計算した物体の３次元情報として出力する。この際、
既述したように、他の手法で測定した奥行き情報を反映
して精度を更に高めるようにしてもよい。

【００５４】次に、図５のフローチャートに示す順序に
従い、図４の構成の動作を詳細に説明する。図５におい
て、Ｓ１は、画像を読み込む。これは、カメラで撮影し
た物体の画像（入力情報２）を画像入力部２１が読み込
む。

【００５５】Ｓ２は、情報を選択する。これは、情報選
択部２２がＳ１で読み込んだ画像（入力情報２）から得
点を計算するために必要な情報（色、明度などの情報を
もとに不連続性を表す情報、奥行きを表す情報など）を
選択する。

【００５６】Ｓ３は、得点を算出する。これは、得点算
出部２５が、Ｓ２で情報選択部２２で選択された情報
（入力情報２）および内部状態保持部２３が保持する内
部状態１から求めたフィードバック情報５をもとに各画
素毎の得点を計算する。

【００５７】Ｓ４は、得点を合計する。これは、Ｓ３で
求めた画素毎の得点を合計して例えば物体毎の総得点を
求める。Ｓ５は、内部状態を変更する。これは、内部状
態変更部２７が内部状態１を変更し、Ｓ３に戻り、得点
計算を行うことを繰り返し行う。そして、得点の小さい
内部状態１をＳ６で出力する。

【００５８】以上のように、カメラで撮影した入力画像
（入力情報２）および内部状態１から求めたフィードバ
ック情報５を入力として得点計算を行うことを当該内部
状態１について得点が小さくなる方向に微小に順次変更
することを繰り返し、得点が最小の内部状態１を、求め
る物体の３次元情報として出力する。これにより、カメ
ラなどの平面的な情報をもとに３次元情報を生成して出
力することが可能となる。この際、既述したように、物
体の奥行き情報を別に求めてこの内部情報１に反映させ
ることにより（式（３）参照）、更に精度の高い内部状
態１を生成して３次元情報を出力することが可能とな
る。

【００５９】

【発明の効果】以上説明したように、本発明によれば、
カメラから入力された画像から取り出した各画素毎の入
力情報（色情報、明度情報など）２および内部状態１を
もとに連続性を表す情報１１および奥行き情報１３など
の得点を計算してその総和の得点を求め、内部状態１を
変更して再度得点を計算することを繰り返し、得点の小
さい内部状態１を出力する構成を採用しているため、カ
メラなどを１つだけを用いて複数物体の３次元情報を精
度良く計測することができると共に他の奥行き情報を反
映して更に精度を高めることができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の動作説明図である。

【図３】本発明の概念説明図である。

【図４】本発明の１実施例構成図である。

【図５】本発明の動作説明フローチャートである。

【符号の説明】１：内部状態２：入力情報３：得点算出部４：内部状態変更部５：フィードバック情報６：出力部２１：画像入力部２２：情報選択部２３：内部状態保持部２４：出力部２５：得点算出部２６：得点加算部２７：内部状態変更部

Claims

(57)【特許請求の範囲】

【請求項１】画像をもとに３次元計測する３次元計測装
置において、画像の各画素毎の物体の情報の予想される値である内部
状態と、入力された画像から取り出した各画素毎の入力情報およ
び上記内部状態をもとに連続性を表す情報および奥行き
情報の得点を計算してその総和の得点を求める得点算出
部と、上記内部状態を任意に変更する内部状態変更部とを備
え、この内部状態変更部が任意の内部状態に変更して上記得
点算出部が得点を求めることを繰り返し最小となる内部
状態あるいは所定時間毎に内部状態を出力するように構
成したことを特徴とする３次元計測装置。
【請求項２】上記内部状態として、各画素毎にいずれの
物体に属するかの情報、物体までの距離、および運動の
仕方としたことを特徴とする請求項１記載の３次元計測
装置。
【請求項３】上記入力された画像から取り出し各画素毎
の入力情報として、入力された画像の色情報あるいは明
るさ情報から取り出した各画素の情報としたことを特徴
とする請求項１あるいは請求項２記載の３次元計測装
置。
【請求項４】物体までの距離を求めて上記各画素毎の物
体までの距離に反映するように構成したことを特徴とす
る請求項１から請求項３のいずれかに記載の３次元計測
装置。