JPH0981778A

JPH0981778A - モデリング装置およびモデリング方法

Info

Publication number: JPH0981778A
Application number: JP7235846A
Authority: JP
Inventors: Minoru Yagi; 稔八木; Mutsumi Watanabe; 睦渡辺; Kazunori Onoguchi; 一則小野口; Hiroshi Hattori; 寛服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-13
Filing date: 1995-09-13
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】３次元コンピュータグラフィクスや移動ロボッ
ト制御などで利用される環境モデルを自動的に作成する
装置を得ること。【解決手段】視覚センサを用いて距離、形状、表面属性
などの３次元情報を測定する３次元属性情報入力部１
と、入力された３次元情報を管理し環境モデル記述を作
成する環境モデル処理部２と、環境モデル処理部に記憶
されたモデル記述に基づき環境の特定位置での人工映像
を作成する映像作成部３と、人工映像作成結果とこれに
対応する位置における実画像を比較することにより環境
モデル記述の修正を行う解析・検証部４とから構成さ
れ、解析・検証部は、人工映像の実画像上での位置を補
正する位置補正部と、補正された画像と実画像との比較
を行う画像比較部と、比較結果に基づいてモデルを変更
するモデル変更部とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、３次元Ｃ
ＡＤや３次元コンピュータグラフィクス、移動ロボット
制御等で必要となる環境内物体の位置や表面などの情報
を自動的に獲得し、環境モデルを作成するモデリング装
置およびモデリング方法に関する。

【０００２】

【従来の技術】近年、工業部品などの設計を支援するた
めの装置である３次元ＣＡＤシステム、そして、３次元
コンピュータグラフィクスを用いた映像作成、及び知能
移動ロボットのニーズが、急速に高まっている。これら
の技術においては、設計、またはコンピュータグラフィ
クス表示を行う対象、またはロボットが移動する環境の
幾何形状、表面属性、及び必要であれば動きのデータを
計算機に入力することが必要である（この過程をモデリ
ングと呼び、計算機内部に表現された数値データをモデ
ルと呼ぶ）が、この部分の作成は自動化ができないため
に現在、人手により多くの時間と手間をかけて行ってい
る。従って、モデリングの自動化をはかる技術の開発が
嘱望されている。

【０００３】ところで最近、３次元ＣＡＤシステムへの
適用のために、レンジファインダと呼ばれる距離画像装
置を用いて、呈示した対象の形状の自動入力を行うこと
ができるようにしたシステムが提案されている。また、
従来より、テレビ実画像から直接対象の３次元情報を抽
出する手法として、複数台のカメラを用い３角測量の原
理を利用したステレオ法や、１台のカメラで焦点距離を
変化させて得た画像系列を解析し３次元情報を得る技術
などの研究が活発に行われている。

【０００４】一般に、映像を作成するためには、対象の
形状とその表面のテクスチャが必要であるが、レンジフ
ァインダを用いた形状の入力では、対象の表面テクスチ
ャと形状との対応を別の方法で得なければならず、位置
関係を測定したレンジファインダとカメラの併用が必要
となる。そのため、システムコストや制作が高くなる。

【０００５】一方、画像を用いれば形状の入力と同時に
対応を得ることができ、コストが軽減される利点があ
る。

【０００６】これらの技術をモデリングに適用した例と
して、例えば臨場感通信や会議を想定し、ステレオ視の
技術を用いて人間の顔の形状を自動入力する研究が行わ
れている。また、屋内を移動するロボットに、超音波セ
ンサや複数台のカメラを搭載して、移動する空間の概略
の記述を自動作成する研究も行われている。

【０００７】ところで、一視点から見たデータを用いて
作成されたモデルは誤りや欠落を含み、十分な精度が得
られない。そのため、多視点からのデータを統合してモ
デリングを行う。そして、多視点で撮影した画像を用い
てモデルの誤りを発見し、修正を行う方法としては画像
中のエッジを用いる方法が研究されているが、照明の位
置や方向、カメラの露光、対象表面の反射状態によって
エッジが安定して得られず、また、類似エッジの識別が
困難であるといった問題を抱えている。

【０００８】そこで本件発明者らはモデルから人工映像
を作成し、実画像との輝度値の比較によってモデルの誤
りを発見、修正する技術を提案した（特願平５‐２４８
９９２号及び特願平６‐１４８４００号参照）。

【０００９】この提案による方法においては、ある視点
で撮影した実画像からモデルを作成する。そして、別の
視点で撮影した実画像と、その視点で撮影することをシ
ミュレートして前記モデルから作成した人工映像とを比
較することで、前記モデルの検証を行うが、人工映像と
実画像では視点やカメラモデルに含まれる誤差があるた
めに、正しく比較を行うためには画像上での位置補正が
必要となる。

【００１０】補正位置を求める問題は人工映像をテンプ
レートとしたテンプレートマッチングによる解決法が考
えられ、ＳＳＤＡ法（Sequential Similarity Detectio
n Algorithm ）などが研究されてきた。しかし、従来の
マッチング法はテンプレートが対象とする画像よりも小
さく、テンプレート全体が対象画像内に含まれるような
位置を求める方法であるが、人工映像と実画像では視野
が異なっているために、必ずしも人工映像が実画像内に
含まれるとは限らず、一部がはみ出す場合も多々生じる
ため、従来の方法を適用できなかった。また、実画像で
は自動露光調節機能などにより、人工映像とは画像全体
の明るさが異なるため、そのままの輝度値では正しい比
較を行えなかった。

【００１１】

【発明が解決しようとする課題】モデリング、すなわ
ち、計算機処理に用いるために、表示を行う対象の形
状、表面属性、及び必要あれば動きといったデータを作
成する処理を自動化するための試みが種々なされてい
る。

【００１２】例えば、ステレオ視の技術を用いて得た画
像より対象の形状を抽出して数値データ化するといった
具合であるが、一視点から見たデータを用いて作成され
たモデルは誤りや欠落を含み、十分な精度が得られない
ことから、多視点からのデータを統合してモデリングを
行う。

【００１３】そして、多視点で撮影した画像を用いてモ
デルの誤りを発見し、修正を行い、モデルを得るといっ
た具合である。この修正にあたっては、画像中のエッジ
を用いるようにするが、照明の位置や方向、カメラの露
光、対象表面の反射状態によってエッジが安定して得ら
れず、また、類似エッジの識別が困難であるといった問
題があり、なかなか旨くゆかない。

【００１４】一方、ある実画像からモデルを作成し、こ
のモデルから別の視点より見た場合の人工映像を作成し
て、当該別の視点から見た実画像との輝度値の比較によ
ってモデルの誤りを発見、修正する技術がある。この方
法においては、ある視点で撮影した実画像からモデルを
作成し、また、別の視点で撮影した実画像と、その視点
で撮影することをシミュレートして、前記モデルから作
成した人工映像とを比較することで、モデルの検証を行
うが、人工映像と実画像では視点やカメラモデルに含ま
れる誤差があるために、正しく比較を行うためには画像
上での位置補正が必要となる。

【００１５】しかし、この位置補正には旨い方法がな
く、大きなネックとなっている。また、実画像と人工映
像とを比較するが、実画像では自動露光調節機能などに
より、人工映像とは画像全体の明るさが異なるため、そ
のままの輝度値では正しい比較を行えない。

【００１６】従って、この位置補正の問題と、実画像に
対する人工映像の比較処理の問題を解消する技術の開発
が待たれる。

【００１７】そこで、本発明の目的とするところは、前
記の位置補正を可能にし、また、実画像に対する人工映
像の比較処理が精度良く行なえるようにして実用的なモ
デリングを自動的に行えるようにしたモデリング装置お
よびモデリング方法を提供することにある。

【００１８】

【課題を解決するための手段】前記目的を達成するた
め、本発明はつぎのように構成する。すなわち、視覚セ
ンサを用いて構成され、モデリング対象の距離、形状、
表面属性などの３次元情報を測定する３次元属性情報入
力手段と、この３次元属性情報入力手段にて得られた前
記３次元情報を含む３次元情報を管理し、環境モデル記
述を作成する環境モデル処理手段と、前記環境モデル処
理手段にて作成されたモデル記述に基づき、環境の特定
位置での人工映像を作成する映像作成手段と、人工映像
作成結果とこれに対応する位置における実画像を比較す
ることにより得た情報に基づいて前記環境モデル処理手
段の作成した環境モデル記述を修正する解析・検証手段
とを備える。

【００１９】また、モデリング方法として、実画像から
得たモデルをもとに、このモデルから得た所望の視点で
の人工映像を求め、また、この人工映像と同じ視点から
見た実画像を得ると共に、設定した位置補正対応に位置
を補正してこれらの人工映像と実画像のずれを除去した
後、これら人工映像と実画像との重複する領域での差異
を評価し、その結果に応じて前記モデルを修正する。

【００２０】

【発明の実施の形態】本発明のモデリング装置は、環境
モデルの作成において、３次元属性情報入力手段がテレ
ビカメラ、超音波などの視覚センサを用いて、距離、形
状、表面属性などの３次元情報を測定し、環境モデル処
理手段が入力された３次元情報を管理し環境モデル記述
を作成し、映像作成手段が環境モデル処理部に記憶され
たモデル記述に基づき、環境の特定位置での人工映像を
作成し、解析・検証手段が人工映像作成結果とこれに対
応する位置における画像を比較することにより環境モデ
ル記述の変更を行い、観測制御手段が３次元属性情報の
入力制御を行う。特に、解析・検証手段を構成する位置
補正手段が人工映像と実画像との重複する領域の画素の
規格化を行い、差異を求めて補正位置を算出し、画像比
較手段が人工映像と補正位置とを用いて実画像と比較す
るための画像を作成し、モデル表面の変更面を求め、モ
デル変更手段がモデルの表面を変更する。

【００２１】この結果、生成した環境モデル記述に基づ
く人工映像と、実画像とを比較するに際して、両者の位
置を合わせるための位置補正を可能にし、また、人工映
像、実画像各々の領域内の画素値を規格化することで実
画像に対する人工映像の比較処理が精度良く行なえるよ
うになり、この比較結果に基づいて、環境モデル記述の
修正を精度良く行えるようになって実用的なモデリング
を自動的に行えるようになる。

【００２２】（具体例）以下、本発明の具体例について
図面を参照して説明する。

【００２３】位置測定装置を図面に基づいて説明する。

【００２４】図１は、本発明による環境モデル入力装置
のブロック図である。図において、１は３次元属性情報
入力部、２は環境モデル処理部、３は映像作成部、４は
解析・検証部、５は観測制御部である。

【００２５】これらのうち、３次元属性情報入力部１
は、入力対象の３次元属性情報を得るための装置であ
り、この３次元属性情報入力部１は、超音波センサやテ
レビカメラなど３次元距離情報を計測するための手段
（３次元距離情報計測手段）と、色、模様などの表面属
性を入力するためのテレビカメラなどの手段（表面属性
取得手段）よりなるものであって、これら手段を環境に
存在する対象の属性に応じ、複数種類備えた構成を採
り、現在位置での３次元属性情報を得てこれを環境モデ
ル処理部２へ転送するものである。

【００２６】環境モデル処理部２では、この現在位置の
入力と過去に蓄積された３次元環境データ、及び環境内
部に存在する対象物のデータを用いて、環境モデル記述
の作成を行う。

【００２７】映像作成部３は、この環境モデル記述から
コンピュータグラフィクスを利用して人工映像を作成処
理するものであり、この作成された人工映像を解析・検
証部４に入力し、また、図示しないディスプレイ等に与
えて表示に供する。

【００２８】解析・検証部４は、映像作成部３から入力
された人工映像と、３次元属性情報入力部１で得られた
現在位置での実画像を比較することにより、３次元距離
入力の欠落、誤差による記述の誤り部分を検出するもの
であり、また、記述の誤り部分を検出した場合には、環
境モデル処理部２に格納された環境モデル記述の修正処
理を行うといった機能を有するものである。

【００２９】観測制御部５は、３次元属性情報入力部１
を移動制御するものである。

【００３０】このような構成の本装置は、３次元属性情
報入力部１は、テレビカメラ、超音波などの視覚センサ
による３次元距離情報計測手段やテレビカメラなどの視
覚センサによる表面属性（テクスチャ情報）取得手段を
備えており、これら手段により本装置が現在位置するポ
イントからの見た入力対象の３次元属性情報（３次元距
離情報や色、模様などの表面属性）を得る。この現在位
置での３次元属性情報は環境モデル処理部２へ送られ、
環境モデル処理部２では、この現在位置の入力と過去に
蓄積された３次元環境データ、及び環境内部に存在する
対象物のデータを用いて、環境モデル記述の作成処理を
行う。

【００３１】この作成された環境モデル記述は映像作成
部３に与えられ、映像作成部３は、この環境モデル記述
からコンピュータグラフィクスを利用して人工映像を作
成処理し、その作成した人工映像のデータを解析・検証
部４に入力し、また、ディスプレイに送って表示する。

【００３２】解析・検証部４では、映像作成部３から入
力された人工映像と３次元属性情報入力部１で得られた
現在位置での実画像を比較することにより、３次元距離
入力の欠落、誤差による記述の誤り部分を検出する。そ
して、解析・検証部４では、この検出結果に基づき、前
記環境モデル処理部２の環境モデル記述の修正処理を行
う。

【００３３】これにより、前記環境モデル処理部２の作
成処理した環境モデル記述は実画像に基づいた修正が施
された精度の高いものとなり、精度の高いモデルが生成
されたことになる。

【００３４】観測位置を変える場合は、観測制御部５の
制御のもとに、３次元属性情報入力部１の位置を移動制
御させることになる。

【００３５】この結果、生成した環境モデル記述に基づ
く人工映像と、実画像とを比較するに際して、両者の位
置を合わせるための位置補正が可能で、実画像に対する
人工映像の比較処理が精度良く行なえるようになり、こ
の比較結果に基づいて、環境モデル記述の修正を精度良
く行えるようになって実用的なモデリングを自動的に行
えるようになる。

【００３６】本発明においては、実画像から得たモデル
を元に、このモデルから得た所望の視点での人工映像を
求め、また、この人工映像と同じ視点から見た実画像を
得ると共に、設定した位置補正対応に位置を補正してこ
れらの人工映像と実画像が重なるようにした上で、これ
ら人工映像と実画像との重複する領域での差異を評価す
る。この評価には、例えば、重複する領域の一致してい
る画素数と重複する領域全体の画素数との比という面積
への依存が弱い評価要素を用い、また、人工映像と実画
像の重複する領域において、各画素の輝度値を、予測さ
れる輝度値分布に基づいて規格化した後に、評価値算出
に用いるため画像全体の明るさの変化に対応することに
より、人工映像と実画像の位置補正の算出を正しく行う
ことができるようにし、人工映像と実画像の相違部分を
適確に抽出できるようにして、精度良くモデルの修正が
できるようにしている。

【００３７】この処理の多くは解析・検証部４において
なされるようにしており、従って、次に、本発明の重要
な部分である解析・検証部４のさらに詳しい説明をす
る。

【００３８】図２に示す如く、本発明の装置における解
析・検証部４は、位置補正部６と、画像比較部７と、モ
デル変更部８とから構成される。

【００３９】これらのうち、位置補正部６は、映像作成
部３で作成されて入力された人工映像と、３次元属性情
報入力部１で得た実画像との位置のずれを補正処理する
ものであり、画像比較部７は位置補正部６により位置補
正済みの人工映像と実画像との比較を行うと共に、相違
領域を検出するものであり、モデル変更部８はこの検出
された相違領域の情報に基づき、前記環境モデル処理部
２の作成処理した環境モデル記述の修正処理（モデル変
更）を行うものである。

【００４０】このような構成の解析・検証部４において
は、映像作成部３から入力された人工映像と実画像との
位置補正を位置補正部６が行い、この位置補正済みの人
工映像と実画像との比較を画像比較部７が行う。そし
て、この比較により画像比較部７は人工映像と実画像と
の相違領域を検出する。この検出結果に基づき、モデル
変更部８は環境モデル処理部２の作成処理した環境モデ
ル記述の変更を行う。

【００４１】これにより、前記環境モデル処理部２の作
成処理した環境モデル記述は実画像に基づいた修正が施
された精度の高いものとなり、精度の高いモデルが生成
されたことになる。

【００４２】以上、解析・検証部４の各構成要素の大ま
かな処理の様子を説明したが、つぎにモデルを多面体と
して、解析・検証部４における位置補正部６での位置補
正処理例を具体的に説明する。

【００４３】《人工映像と実画像が濃淡画像である場合
での位置補正処理例》図３に人工映像と実画像が濃淡画
像（モノクローム画像）である場合での位置補正部６に
おける位置補正処理例の流れを示す。

【００４４】位置補正部６は、映像作成部３で作成され
て入力された人工映像と、３次元属性情報入力部１で得
た実画像との位置のずれを補正処理するものであるが、
図３の処理を順を追って説明すると、まずステップａ‐
１においてモノクロームの人工映像とモノクロームの実
画像が当該位置補正部６に入力される。

【００４５】図４と図５に人工映像と実画像の例を示
す。人工映像は図４に示す如きのものであり、実画像は
図５に示す如きのものである。

【００４６】このような人工映像と実画像が入力される
と、つぎに人工映像を移動させる初期位置と、移動範囲
と画素の一致を判定するための閾値を、人手により設定
する（ステップａ‐２）。

【００４７】当該初期位置と閾値が設定されたならば、
ステップａ‐３で当該初期位置に基づいて人工映像を移
動させて初期位置に配置し、人工映像と重複するカメラ
画像の領域を抽出する。以後、人工映像の位置をテンプ
レート位置、重複する人工映像の領域をテンプレート領
域、実画像の領域を対応領域と呼ぶ。

【００４８】こうしてテンプレート位置、テンプレート
領域、対応領域が得られたならば、つぎにステップａ‐
４でテンプレート領域と対応領域の輝度値を用いて後の
補正位置判定に用いるための評価値を算出する。

【００４９】ステップａ‐５では、全ての移動領域で評
価値を算出したかどうかを調べ、その結果、算出してい
る場合は最小の評価値を与える位置を補正位置として終
了し、算出していない場合はステップａ‐３からの処理
を繰り返す。

【００５０】［濃淡画像の場合の評価値の算出手順］図
６に前記ステップａ‐４で求める評価値の算出手順を示
す。

【００５１】濃淡画像の場合の評価値の算出手順を、図
６に従って説明すると、同じ土俵上で評価できるように
するために人工映像、実画像各々の領域内の画素値を規
格化するための処理として、まず、ステップｂ‐１でテ
ンプレート領域の輝度値の平均値＜Ｔ＞と標準偏差σ_T
を算出する。そして次に、ステップｂ‐２に移り、ここ
で式１を用いてテンプレート領域の各輝度値｛Ｔ_ij：ｉ
＝１，２，…，Ｗ_T；ｊ＝１，２，…，Ｈ_T｝を規格化
し、

【数１】

【００５２】次にステップｂ‐５で、対応する規格化テ
ンプレート輝度値と規格化対応領域輝度値との差を求
め、この求めた差を前述のステップａ‐２で定めた閾値
と比較し、当該差が閾値以上であるものとそうでないも
のとに分ける。ここで、当該差が閾値以上である場合を
対応領域、またはテンプレート領域での不一致画素と呼
ぶことにする。

【００５３】この処理が終わると、つぎにステップｂ‐
６の処理に移り、ここで、不一致画素の数を数え、対応
領域、またはテンプレート領域の面積との比を算出す
る。この比を不一致画素数比と呼ぶ。

【００５４】ステップｂ‐６の処理が終わると、つぎに
ステップｂ‐７の処理に移り、ここで、最小不一致画素
数比が設定されている場合は、不一致画素数比と比較
し、その結果、最小不一致画素数比よりも大きい場合は
ステップｂ‐８に移り、ここで評価値を極めて大きい値
に設定する。ここで定める極めて大きい値とは、任意の
大きな値であれば良く、定数であっても良く、あるいは
適当な計算により求めるものであっても良い。

【００５５】一方、ステップｂ‐７での比較の結果、小
さい場合、または最小不一致画素数比が設定されていな
い場合には、全ての対応領域内の画素で前記の処理を行
っていれば（全ての対応領域内の画素について前記の処
理済みのときは）、ステップｂ‐９に移る。

【００５６】そして、当該ステップｂ‐９の処理におい
ては、最後に算出された不一致画素数比を最小不一致画
素数比として記憶し、人工映像の移動位置を記憶し、評
価値に不一致画素数比を設定し、終了する。未処理の画
素があれば、未処理の画素についてステップｂ‐４以下
を実行する。

【００５７】または、別の例として次のようにする手法
もある。すなわち、ステップｂ‐５の処理が終わると、
ステップｂ‐６で、不一致画素について規格化テンプレ
ート画素値と規格対応領域輝度値との差の総和を求め、
これと対応領域またはテンプレート領域の面積との比
（平均不一致輝度値比）を算出する。

【００５８】ステップｂ‐７で、最小平均不一致輝度値
比が設定されている場合は、平均不一致輝度値比と比較
し、最小平均不一致輝度値比よりも大きい場合はステッ
プｂ‐８で評価値を極めて大きい値に設定する。

【００５９】ステップｂ‐７での比較の結果、小さい場
合、または最小平均不一致輝度値比が設定されていない
場合、全ての対応領域内の画素で前記の処理を行ってい
れば、ステップｂ‐９で最後に算出された平均不一致輝
度値比を最小平均不一致輝度値比として記憶し、人工映
像の移動位置を記憶し、評価値に平均不一致輝度値比を
設定し、終了する。

【００６０】未処理の画素があれば、未処理の画素につ
いてステップｂ‐４以下を実行する。

【００６１】以上が、濃淡画像の場合の評価値の算出手
順の例である。

【００６２】《人工映像と、実画像がカラーの場合での
位置補正処理例》次に、人工映像と実画像がカラーの場
合での位置補正処理例を説明する。以下では、カラーを
ＲＧＢ値で表す。

【００６３】図７に位置補正部６の処理の流れを示す。
図７に従って説明すると、まず、ステップａ‐１′にお
いてカラーの人工映像とカラーの実画像が当該位置補正
部６に入力される。

【００６４】このような人工映像と実画像が入力される
と、つぎに人工映像を移動させる初期位置と、移動範囲
と画素の一致を判定するための閾値を、人手により設定
する（ステップａ‐２′）。この人手による設定は人工
映像と実画像をディスプレイに表示してこれを見て行う
ようにすると良い。

【００６５】当該初期位置と閾値が設定されたならば、
ステップａ‐３′で当該初期位置に基づいて人工映像を
移動させて初期位置に配置し、人工映像と重複するカメ
ラ画像の領域を抽出する。以後、人工映像の位置をテン
プレート位置、重複する人工映像の領域をテンプレート
領域、実画像の領域を対応領域と呼ぶ。

【００６６】こうしてテンプレート位置、テンプレート
領域、対応領域が得られたならば、つぎにステップａ‐
４′でテンプレート領域と対応領域のＲＧＢ値を用いて
後の補正位置判定に用いる評価値を算出する。

【００６７】ステップａ‐５′では、全ての移動領域で
評価値を算出したかどうかを調べ、算出している場合は
最小の評価値を与える位置を補正位置として終了し、算
出していない場合はステップａ‐３′から繰り返す。

【００６８】［カラー画像の場合の評価値の算出手順］
図８にステップａ‐４′で求める評価値の算出手順を示
す。図に従って説明すると、まず、ステップｂ‐１′で
テンプレート領域のＲＧＢ値のそれぞれの平均値｛＜Ｔ
_c＞：ｃ＝Ｒ，Ｇ，Ｂ｝と標準偏差｛σ_Tc：ｃ＝Ｒ，
Ｇ，Ｂ｝を算出する。ステップｂ‐２′で式３を用いて
テンプレート領域の各ＲＧＢ値｛Ｔ_cij：ｃ＝Ｒ，Ｇ，
Ｂ；ｉ＝１，２，…，Ｗ_T；ｊ＝１，２，…，Ｈ_T｝を
規格化し、

【数２】

【００６９】ステップｂ‐３′で、対応領域のＲＧＢ値
を用いてそれぞれの平均値｛＜Ｉ_c＞：ｃ＝Ｒ，Ｇ，
Ｂ｝と標準偏差｛σ_Ic：ｃ＝Ｒ，Ｇ，Ｂ｝を算出する。
ステップｂ‐４′で式４を用いて対応領域の各画素｛Ｉ
_cij：ｃ＝Ｒ，Ｇ，Ｂ；ｉ＝１，２，…，Ｗ_I；ｊ＝
１，２，…，ＨI}を規格化し、

【数３】

【００７０】ここでＷ_I、Ｈ_Iは対応領域の幅と高さで
あり、Ｗ_I＝Ｗ_T、Ｈ_I＝Ｈ_Tである。

【００７１】

【数４】

【００７２】ステップｂ‐５′で、対応する規格化テン
プレートカラー値と規格化対応領域カラー値との差を求
め、ステップａ‐２′で決められた閾値と比較し、当該
差が閾値以上であるものとそうでないものとに分ける。
ここで、上述同様に当該差が閾値以上である場合を対応
領域、またはテンプレート領域での不一致画素と呼ぶこ
とにする。

【００７３】この処理が終わると、つぎにステップｂ‐
６′の処理に移り、ここで、不一致画素の数を数え、対
応領域、またはテンプレート領域の面積との比（不一致
画素数比）を算出する。

【００７４】この処理が終わると、つぎにステップｂ‐
７′の処理に移り、ここで、最小不一致画素数比が設定
されている場合は、不一致画素数比と比較し、その結
果、最小不一致画素数比よりも大きい場合はステップｂ
‐８′に移り、ここで評価値を極めて大きい値に設定す
る。ここで定める極めて大きい値とは、任意の大きな値
であれば良く、定数であっても良く、あるいは適当な計
算により求めるものであっても良い。

【００７５】ステップｂ‐７′での比較の結果、小さい
場合、または最小不一致画素数比が設定されていない場
合、全ての対応領域内の画素について前記の処理が済ん
でいるならば、ステップｂ‐９′の処理に移る。

【００７６】そして、当該ステップｂ‐９′の処理にお
いては、最後に算出された不一致画素数比を最小不一致
画素数比として記憶し、人工映像の移動位置を記憶し、
評価値に不一致画素数比を設定し、終了する。未処理の
画素があれば、未処理の画素についてステップｂ‐４′
以下を実行する。

【００７７】ステップｂ‐５′での処理の後、次のよう
にする手法もある。［Ａ］すなわち、ステップｂ‐６′で、不一致画素に
ついて規格化テンプレートカラー値と規格対応領域カラ
ー値とのＲＧＢ毎の差の総和を求め、これらＲＧＢ毎の
差の総和と、対応領域またはテンプレート領域の面積と
の比をそれぞれ求める。そして、これらの比の積（平均
不一致カラー値比）を算出する。

【００７８】ステップｂ‐７′で、最小平均不一致カラ
ー値比が設定されている場合は、平均不一致カラー値比
と比較し、その結果、最小平均不一致カラー値比よりも
大きい場合はステップｂ‐８′で評価値を極めて大きい
値に設定する。

【００７９】ステップｂ‐７′での比較の結果、小さい
場合、または最小平均不一致カラー値比が設定されてい
ない場合、全ての対応領域内の画素で前記の処理を行っ
ていれば、ステップｂ‐９′で最後に算出された平均不
一致カラー値比を最小平均不一致カラー値比として記憶
し、人工映像の移動位置を記憶し、評価値に平均不一致
カラー値比を設定し、終了する。未処理の画素があれ
ば、未処理の画素についてステップｂ‐４′以下を実行
する。

【００８０】また、別の手法として、ステップｂ‐５′
での処理の後、次のようにする手法もある。［Ｂ］すなわち、ステップｂ‐６′で、不一致画素に
ついて規格化テンプレートカラー値と規格対応領域カラ
ー値とのＲＧＢ毎の差の総和を求め、これらＲＧＢ毎の
差の総和と、対応領域またはテンプレート領域の面積と
の比をそれぞれ算出する。そして、これらの比の和であ
る平均不一致カラー値比を求める。

【００８１】ステップｂ‐７′で、最小平均不一致カラ
ー値比が設定されている場合は、平均不一致カラー値比
と比較し、その結果、最小平均不一致カラー値比よりも
大きい場合はステップｂ‐８′に移る。ステップｂ‐
８′では評価値を極めて大きい値に設定する。ここで定
める極めて大きい値とは、任意の大きな値であれば良
く、定数であっても良く、あるいは適当な計算により求
めるものであっても良い。

【００８２】一方、ステップｂ‐７′での比較の結果、
小さい場合、または最小平均不一致カラー値比が設定さ
れていない場合、全ての対応領域内の画素で前記の処理
が済んでいるときには、ステップｂ‐９′に移る。

【００８３】ステップｂ‐９′の処理においては、最後
に算出された平均不一致カラー値比を最小平均不一致カ
ラー値比として記憶し、人工映像の移動位置を記憶し、
評価値に平均不一致カラー値比を設定し、終了する。未
処理の画素があれば、未処理の画素についてステップｂ
‐４′以下を実行する。

【００８４】以上が、カラー画像の場合の評価値の算出
手順の例である。

【００８５】《画像比較部７での処理》解析・検証部４
における画像比較部７は、位置補正部６により位置補正
済みの人工映像と実画像との比較を行うと共に、相違領
域を検出するものである。この画像比較部７での処理の
流れを図９に示す。図に従って説明すると、まず、位置
補正部６で算出された補正位置と人工映像とが画像比較
部７に入力されると（ステップｄ‐１）、ステップｄ‐
２の処理に移り、ここで人工映像の画像を補正位置へ移
動させた画像を生成する。この画像を比較用画像と呼
ぶ。

【００８６】図１０に、図４の人工映像から、不一致画
素数比を用いて算出した補正位置に来るように補正して
生成した比較用画像を示す。

【００８７】以上が位置補正処理である。

【００８８】位置補正により比較用画像が得られたなら
ば、つぎにステップｄ‐３の処理に移り、ここで前記比
較用画像と実画像との対応する画素について輝度値の差
を検出し、差を輝度値とする差画像を生成する。

【００８９】差画像が得られたならば、つぎにステップ
ｄ‐４の処理に移り、ここで前記差画像の各輝度値を予
め設定しておいた閾値と比較し、その結果、閾値よりも
大きい場合は“１”、閾値以下の場合は“０”に二値化
する。二値化された画像を二値画像と呼ぶ。

【００９０】図１１に、このようにして図１０の比較用
画像と図５の実画像とから得られた二値画像を示す。

【００９１】二値画像が得られたならば、つぎにステッ
プｄ‐５の処理に移り、ここで前記二値画像の輝度値が
“１”の画素と視点とを結ぶ直線を算出し、この直線と
交わるモデルの平面があれば抽出し、平面を示す情報
（“モデルの平面を示す情報”）を得る。そして、この
平面を示す情報を解析・検証部４の構成要素であるモデ
ル変更部８に入力する。以上が、画像比較部７での処理
である。

【００９２】こうして、“モデルの平面を示す情報”が
求められ、モデル変更部８に渡されると、当該モデル変
更部８ではこの“モデルの平面を示す情報”を用いて、
該当する平面をモデルから除去する。すなわち、環境モ
デル処理部２の作成処理した環境モデル記述の中から、
モデル変更部８ではこの“モデルの平面を示す情報”を
用いて、該当する平面の記述を除去する（モデル変
更）。

【００９３】これにより、前記環境モデル処理部２の作
成処理した環境モデル記述は実画像に基づいた修正が施
された精度の高いものとなり、精度の高いモデルが生成
されたことになる。

【００９４】この結果、生成した環境モデル記述に基づ
く人工映像と、実画像とを比較するに際して、両者の位
置を合わせるための位置補正を可能にし、また、人工映
像、実画像各々の領域内の画素値を規格化することで実
画像に対する人工映像の比較処理が精度良く行なえるよ
うになり、この比較結果に基づいて、環境モデル記述の
修正を精度良く行えるようになって実用的なモデリング
を自動的に行えるようになる。

【００９５】なお、カラーの人工映像と実画像では、カ
ラーをＨＳＶ値やＹＩＱ値などＲＧＢ値以外で表しても
良く、本発明の要旨を逸脱しない限りにおいて種々変形
して実施できる。

【００９６】以上説明したように、本発明は、３次元コ
ンピュータグラフィクスや移動ロボット制御などで利用
される環境モデルを自動的に作成するために、実画像か
ら得たモデルをもとに、このモデルから得た所望の視点
での人工映像を求め、また、この人工映像と同じ視点か
ら見た実画像を得ると共に、設定した位置補正対応に位
置を補正してこれらの人工映像と実画像のずれを除去し
た後、これら人工映像と実画像との重複する領域での差
異を評価し、重複する領域の一致している画素数と重複
する領域全体の画素数との比に基づく評価値を得、ま
た、人工映像と実画像の重複する領域において、各画素
の輝度値を、予測される輝度値分布に基づいて規格化す
ることにより、人工映像と実画像とのずれに基づく移動
すべき位置を演算し、これらの人工映像と実画像のずれ
を除去した後、これら人工映像と実画像との重複する領
域での差異を評価し、その結果に応じて前記モデルを修
正するようにしたものである。

【００９７】特に、環境モデルの検証及び変更する解析
・検証手段においては、位置補正手段により人工映像と
実画像との重複する領域の画素の規格化を行い、差異を
求めて補正位置を算出し、画像比較手段が人工映像と補
正位置とを用いて実画像と比較するための画像を作成
し、モデル表面の変更面を求め、これに基づいてモデル
変更手段によりモデルの表面を変更する。

【００９８】本発明では、実画像から得たモデルを元
に、このモデルから得た所望の視点での人工映像を求
め、また、この人工映像と同じ視点から見た実画像を得
ると共に、設定した位置補正対応に位置を補正してこれ
らの人工映像と実画像が重なるようにした上で、これら
人工映像と実画像との重複する領域での差異を評価する
が、この評価には重複する領域の一致している画素数と
重複する領域全体の画素数との比という面積への依存が
弱い評価要素を評価値として用いるようにしており、ま
た、人工映像と実画像の重複する領域において、各画素
の輝度値を、予測される輝度値分布に基づいて規格化し
た後に、評価値算出に用いるようにしたため、画像全体
の明るさの変化に対応することができるようになり、従
って、人工映像と実画像の位置補正の算出を正しく行う
ことが可能になり、両画像間での不一致部分を正しく抽
出して、モデル修正に反映することができるようにな
る。

【００９９】ゆえに本発明は、３次元コンピュータグラ
フィクスや移動ロボット制御などで利用される環境モデ
ルを自動的にしかも精度良く作成することができる。

【０１００】

【発明の効果】以上、詳述したように、本発明のモデリ
ング装置によれば、環境モデルの作成において、３次元
属性情報入力手段がテレビカメラ、超音波などの視覚セ
ンサを用いて、距離、形状、表面属性などの３次元情報
を測定し、環境モデル処理手段が、これらを含め、入力
された３次元情報を管理し、これに基づいて環境モデル
記述を作成し、映像作成手段が環境モデル処理部に記憶
されたモデル記述に基づき、環境の特定位置での人工映
像を作成し、解析・検証手段が人工映像作成結果とこれ
に対応する位置における画像を比較することにより環境
モデル記述の変更を行い、観測制御手段が３次元属性情
報の入力制御を行うようにしたものであり、特に、解析
・検証手段を構成する位置補正手段が人工映像と実画像
との重複する領域の画素の規格化を行い、差異を求めて
補正位置を算出し、画像比較手段が人工映像と補正位置
とを用いて実画像と比較するための画像を作成し、モデ
ル表面の変更面を求め、これに基づいてモデル変更手段
がモデルの表面を変更するかたちで環境モデル記述を修
正することにより、モデルを修正するので、人工映像の
大きさや、画像全体の明るさの差異に影響されることな
く、人工映像と実画像の位置補正の算出を正しく行うこ
とができて、信頼性を以て差異部分の抽出ができ、精度
良くモデルを修正して、３次元コンピュータグラフィク
スや移動ロボット制御などで利用される環境モデルを自
動的にしかも精度良く作成することができるようになる
効果がある。

【図面の簡単な説明】

【図１】本発明の具体例を説明するための図であって、
本発明システムの概略的な構成を示すブロック図。

【図２】本発明の具体例を説明するための図であって、
本発明システムにおける解析・検証部の概略的な構成を
示すブロック図。

【図３】本発明の具体例を説明するための図であって、
本発明システムにおける解析・検証部の有する位置補正
部の処理の流れを示す図。

【図４】本発明の具体例を説明するための図であって、
本発明で用いる人工画像の例を示す図。

【図５】本発明の具体例を説明するための図であって、
本発明で用いる実画像の例を示す図。

【図６】本発明の具体例を説明するための図であって、
人工画像と実画像が濃淡画像の場合での本発明システム
における位置補正部６の評価値算出手順を示す図。

【図７】本発明の具体例を説明するための図であって、
人工画像と実画像がカラー画像の場合での本発明システ
ムにおける位置補正部の処理の流れを示す図。

【図８】本発明の具体例を説明するための図であって、
人工画像と実画像がカラー画像の場合での本発明システ
ムにおける位置補正部６の評価値算出手順を示す図。

【図９】本発明の具体例を説明するための図であって、
本発明システムにおける解析・検証部の有する画像比較
部の処理の流れを示す図。

【図１０】本発明の具体例を説明するための図であっ
て、本発明で用いる比較用画像の例を示す図。

【図１１】本発明の具体例を説明するための図であっ
て、本発明で用いる二値画像の例を示す図。

【符号の説明】

１…３次元属性情報入力部２…環境モデル処理部３…映像作成部４…解析・検証部５…観測制御部６…位置補正部７…画像比較部８…モデル変更部。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年１月９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】本発明で用いる人口画像の例を示すものであっ
て、ディスプレイ画面に表示した場合の中間調画像の写
真。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】本発明で用いる実画像の例を示すものであっ
て、ディスプレイ画面に表示した場合の中間調画像の写
真。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】図１０

【補正方法】変更

【補正内容】

【図１０】本発明で用いる比較用画像の例を示すもので
あって、ディスプレイ画面に表示した場合の中間調画像
の写真。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】本発明で用いる二値画像の例を示すものであ
って、ディスプレイ画面に表示した場合の中間調画像の
写真。

───────────────────────────────────────────────────── フロントページの続き (72)発明者服部寛大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】視覚センサを用いて構成され、少なくと
もモデリング対象の距離、形状、表面属性の３次元情報
を測定する３次元属性情報入力手段と、この３次元属性情報入力手段にて得られた前記３次元情
報を含む３次元情報を管理し、環境モデル記述を作成す
る環境モデル処理手段と、前記環境モデル処理手段にて作成されたモデル記述に基
づき、環境の特定位置での人工映像を作成する映像作成
手段と、人工映像作成結果とこれに対応する位置における実画像
を比較することにより得た情報に基づいて前記環境モデ
ル処理手段の作成した環境モデル記述を修正する解析・
検証手段と、を備えることを特徴とするモデリング装
置。
【請求項２】前記解析・検証手段は、人工映像の実画
像上での位置を補正する位置補正手段と、この位置補正
手段により補正された画像と実画像との比較を行う画像
比較手段と、前記環境モデル処理手段の作成した環境モ
デル記述を、前記画像比較手段による比較結果に基づ
き、修正するモデル変更手段とを具備することを特徴と
する請求項１記載のモデリング装置。
【請求項３】前記位置補正手段は、人工映像の実画像
上での補正位置を算出する際に、人工映像と実画像との
重複する領域において、領域内の画素値の分布に基づい
て、人工映像、実画像各々の領域内の画素値を規格化す
ることを特徴とする請求項２記載のモデリング装置。
【請求項４】前記位置補正手段は、前記の重複する領
域において濃淡の人工映像と実画像各々の輝度値の平均
値と標準偏差を算出し、各々の画像において重複する領
域内の画素の輝度値から各々の平均値を引き、各々の標
準偏差で除算することにより規格化することを特徴とす
る請求項３記載のモデリング装置。
【請求項５】前記位置補正手段は、人工映像の実画像
上での補正位置を算出する際に、人工映像と実画像との
重複する領域において、一致していると判定した画素の
数と重複する領域内の全画素数との比を算出し、この比
が最小となる位置を補正位置とすることを特徴とする請
求項２記載の環境モデル入力装置。
【請求項６】前記位置補正手段は、濃淡の人工映像と
実画像との重複する領域内の画素について、輝度値の差
があらかじめ設定した閾値以下となる場合に一致してい
ると判定することを特徴とする請求項５記載のモデリン
グ装置。
【請求項７】前記位置補正手段は、濃淡の人工映像の
実画像上での補正位置を算出する際に、人工映像と実画
像との重複する領域において、規格化された輝度値を用
いて一致していると判定した画素の数と重複する領域内
の全画素数との比を算出し、この比が最小となる位置を
補正位置とすることを特徴とする請求項３記載のモデリ
ング装置。
【請求項８】前記位置補正手段は、濃淡の人工映像と
実画像との重複する領域内の画素について、規格化され
た輝度値の差があらかじめ設定した閾値以下となる場合
に一致していると判定することを特徴とする請求項７記
載のモデリング装置。
【請求項９】前記位置補正手段は、濃淡の人工映像の
実画像上での補正位置を算出する際に、人工映像と実画
像との重複する領域において、規格化された輝度値を用
いて一致していると判定した画素についての前記の輝度
値の差の総和と重複する領域内の全画素数との比を算出
し、この比が最小となる位置を補正位置とすることを特
徴とする請求項３記載のモデリング装置。
【請求項１０】前記位置補正手段は、前記の重複する
領域においてカラーの人工映像と実画像各々について、
ＲＧＢ値またはＹＩＱ値などの色を表す値の平均値と標
準偏差を算出し、各々の画像において重複する領域内の
画素の色を表す値から各々の平均値を引き、各々の標準
偏差で除算することにより規格化することを特徴とする
請求項３記載のモデリング装置。
【請求項１１】前記位置補正手段は、カラーの人工映
像と実画像との重複する領域内の画素について、ＲＧＢ
値，ＹＩＱ値などの色を表す値の差があらかじめ設定し
た閾値以下となる場合に一致していると判定することを
特徴とする請求項５記載のモデリング装置。
【請求項１２】前記位置補正手段は、カラーの人工映
像の実画像上での補正位置を算出する際に、人工映像と
実画像との重複する領域において、色を表す規格化され
た値を用いて一致していると判定した画素の数と重複す
る領域内の全画素数との比を算出し、この比が最小とな
る位置を補正位置とすることを特徴とする請求項３記載
のモデリング装置。
【請求項１３】前記位置補正手段は、カラーの人工映
像と実画像との重複する領域内の画素について、色を表
す規格化された値の差があらかじめ設定した閾値以下と
なる場合に一致していると判定することを特徴とする請
求項１２記載のモデリング装置。
【請求項１４】前記位置補正手段は、カラーの人工映
像の実画像上での補正位置を算出する際に、人工映像と
実画像との重複する領域において、色を表す規格化され
た値を用いて一致していると判定した画素についての前
記の色を表す値の差の総和と重複する領域内の全画素数
との比を各色について算出し、この比の積が最小となる
位置を補正位置とすることを特徴とする請求項３記載の
モデリング装置。
【請求項１５】前記位置補正手段は、カラーの人工映
像の実画像上での補正位置を算出する際に、人工映像と
実画像との重複する領域において、色を表す規格化され
た値を用いて一致していると判定した画素についての前
記の色を表す値の差の総和と重複する領域内の全画素数
との比を各色について算出し、この比の和が最小となる
位置を補正位置とすることを特徴とする請求項３記載の
モデリング装置。
【請求項１６】実画像から得たモデルをもとに、この
モデルから得た所望の視点での人工映像を求め、また、
この人工映像と同じ視点から見た実画像を得ると共に、
設定した位置補正対応に位置を補正してこれらの人工映
像と実画像のずれを除去した後、これら人工映像と実画
像との重複する領域での差異を評価し、その結果に応じ
て前記モデルを修正することを特徴とするモデリング方
法。
【請求項１７】実画像から得たモデルをもとに、この
モデルから得た所望の視点での人工映像を求め、また、
この人工映像と同じ視点から見た実画像を得ると共に、
設定した位置補正対応に位置を補正してこれらの人工映
像と実画像のずれを除去した後、これら人工映像と実画
像との重複する領域での差異を評価し、重複する領域の
一致している画素数と重複する領域全体の画素数との比
に基づく評価値を得、また、人工映像と実画像の重複す
る領域において、各画素の輝度値を、予測される輝度値
分布に基づいて規格化することにより、人工映像と実画
像とのずれに基づく移動すべき位置を演算し、これらの
人工映像と実画像のずれを除去した後、これら人工映像
と実画像との重複する領域での差異を評価し、その結果
に応じて前記モデルを修正することを特徴とするモデリ
ング方法。