JP2644509B2 - 画像変形操作による画像構造抽出方法 - Google Patents

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は、画像情報の中に存在する画像オブジェクト
の構造特性を記号化して抽出できる画像変形操作による
画像構造抽出方法に関する。

（従来の技術） 従来、画像情報の中に存在する画像オブジェクトの抽
出方式としては当該オブジェクトを含む領域を閉曲線
（あるいは長方形）で指定してクリッピング抽出する方
式や、当該オブジェクトの輪郭線をオペレータの会話型
操作により、あるいは画像認識技術により選定してその
輪郭線に囲まれる領域として抽出する方式などがあっ
た。

しかし、これらの方式は画像オブジェクトの画像情報
内の物理的な位置情報，輝度情報を抽出できるにとどま
っており、画像オブジェクトの構造を表す情報、たとえ
ば、“机",“椅子”などの構造物全体の意味を表す情報
や、“机”の一部品である“引き出し”の位置・形状な
ど構造物の個々の構成部品の情報、そして“後ろ向きの
ソファ",“前から写した飛行機”などの構造物に対する
視点を示す情報等について抽出できる方式は見当たらな
い。

従って、従来は画像オブジェクトの構造を表す情報に
ついては、オペレータが必要に応じて画像毎に付加して
やる必要があり、オペレータの負担が重く、付加する情
報の表現法や表現内容に関する訓練・学習が必要であ
り、また情報内容が不正確で個人差を生じるものになり
がちな欠点があった。

（発明の目的） 本発明は、このような欠点を解決し、画像情報内の画
像オブジェクトの物理的な位置情報，輝度情報だけでな
く、さらに構造を表す情報までを抽出しうることを目的
とするものである。

（発明の構成） （発明の特徴と従来の技術との差異） 本発明は、上記の目的を達成するため、画像の構造を
示す情報を記述したデータセットを持つ機能と、このデ
ータセットに対応するグラフィックス画像を生成する機
能とを用意し、前記グラフィックス画像を任意の大きさ
・形状・向きに変形しながら処理対象画像情報中の画像
オブジェクトとマッチングさせる操作を行う。そしてこ
のグラフィックス画像の変形に合わせて前述のデータセ
ットの記述内容を変更してやることにより、オペレータ
がうまくマッチングしたと判断した時点のデータセット
内容で画像構造が自動的に抽出されることを最も主要な
特徴とする。したがって本発明は従来の技術では実現で
きなかった画像オブジェクトの構造を表す情報の自動的
な抽出が可能となる点が異なる。以下図面に従って詳細
に説明する。

（実施例） 第１図は、本発明の一実施例の装置の構成を示すブロ
ック図であって、図において１は変形前の基本となるグ
ラフィックス画像の構造を記述したデータセット群を蓄
積・保持する基本構造データベース、２は構造抽出に用
いる特定のデータセットを格納する構造データセット用
一時メモリ、３は前記一時メモリ２に格納されたデータ
セットに対応するグラフィックス画像を生成しディスプ
レイに表示する画像生成器、４はオペレータとの会話操
作によりグラフィックス画像の取捨選択を行う画像選択
制御器、５はオペレータとの会話操作によりグラフィッ
クス画像の変形処理を行う画像変形制御器、６はディス
プレイである。また、ａ〜ｃ及びe,gは各装置間のイン
タフェースをd,fはオペレータとのインタフェースをそ
れぞれ示している。

また、第２図は、グラフィックス画像の変形操作例で
あって、10は変形操作を施す前の“机”を表すグラフィ
ックス画像の例、11はこのグラフィックス画像に対応す
る構造データセットの内容の例、12は前記グラフィック
ス画像10全体を前方に傾かせる変更操作を施した結果の
例、13は前記グラフィックス画像10全体を左右横方向に
伸長させる変形操作を施した結果の例、14は前記グラフ
ィックス画像10の引き出しの数を増す変形操作を施した
結果の例である。

更に、第３図は処理対象となる画像情報内でのグラフ
ィックス画像と画像オブジェクトとのマッチング操作例
であって、６は前記処理対象画像情報とグラフィックス
画像の両者を表示するディスプレイ、10は前記変形操作
を施す対象となるグラフィックス画像、15はマッチング
処理の対象となる画像オブジェクトを含む処理対象画像
情報である。ｈは画像オブジェクトの位置までグラフィ
ックス画像を移動する操作を示す。

以下、第１図〜第３図に従って本発明の実施例の動作
を説明する。

第３図において、構造抽出に用いるグラフィックス画
像が次々ディスプレイ６上に表示される。この中からマ
ッチングにより構造情報を抽出しようとする画像オブジ
ェクトに最もよく対応すると判断されたグラフィックス
画像10が選択される。たとえば、そのオブジェクトが
“机”であれば“机”を表現するグラフィックス画像が
選択される。

この選択の操作の段階においては、第１図における画
像生成器３は構造データセット用一時メモリ２のデータ
セットをインタフェースｂにより参照してこれに対応す
るグラフィックス画像をインタフェースｃによりディス
プレイ６上に写し出す。

そして、インタフェースｄで画像選択制御器４は取捨
選択の情報を得て、更に選択操作を続ける場合に限り構
造データセット用一時メモリ２にインタフェースｅによ
り“次候補選択”の指令を発出し、これを受けた構造デ
ータセット用一時メモリ２はインタフェースａにより基
本構造データベース１内のデータセット群から次選択候
補となるデータセットを読み出す。

そして、更にインタフェースｂが駆動されることによ
り、画像生成器３が次の選択候補となるグラフィックス
画像をディスプレイ６上に表示して選択操作が継続され
る。

ここで、a,b,cのインタフェースにおいては、２つあ
るいはそれ以上のデータセットを並列的に同時に処理す
ることも可能で、この場合、ディスプレイ６上には２つ
あるいはそれ以上の候補グラフィックス画像が同時に表
示される。

次に特定のグラフィックス画像が選択されると、第３
図に示すように、オペレータは、ディスプレイ６上にお
いて、グラフィックス画像10をマツチングにより構造情
報を抽出しようとする画像オブジエクト（机）が存在す
る位置までｈで示すように移動し、続いて該ディスプレ
イ６上のグラフィックス画像10に対して、目的の画像オ
ブジェクトによくマッチングすると判断されるまで変形
操作を行う。なお、グラフィックス画像の変形操作は周
知であり、例えば、文献１『D.Marr and H.K.Nishiha
ra,“Representation and recognition of the sp
atial organization of three−dimensional shape
s,"Proc.R.Soc.Lond.B.200,1978,pp.269−294』や文献
２『A.H.Barr.“Superquadrics and angle−preservi
ng transformations,"IEEE CC＆A.1.pp.11−23,198
1』などに詳述されている。

このディスプレイ６上のグラフィックス画像の変形操
作に応じて、第１図における画像変形制御器５はインタ
フェースｆでオペレータによる変形指示を得て、これに
対応するデータ変更要求をインタフェースｇで構造デー
タセット用一時メモリ２に送出する。構造データセット
用一時メモリ２は、この要求に応じて自メモリ内の構造
データセットの内容を変更する。

次に、画像生成器３は、構造データセット用一時メモ
リ２内の変更されたデータセット情報に対応したグラフ
ィックス画像を生成し、ディスプレイ６上に表示する。
つまり、オペレータの変形指示に合わせて変形されたグ
ラフィックス画像がインタフェースb,画像生成器3,イン
タフェースｃによりディスプレイ６上に表示され、一回
の変形操作が完了する。

この変形操作を繰り返して、目的の画像オブジェクト
とグラフィックス画像のマッチング操作が実行される。

変形操作の例としては、第２図におけるグラフィック
ス画像（机）10から12への前傾変形、以下、同様に10か
ら13への横伸長変形、10から14への構成部品の追加変形
（引出しの数）などさまざまな実施例がある。この変形
のバラエティは構造データセットの内容の例11に示すグ
ラフィックス画像の各モデリング階層に対応する構成要
素の形状・色（あるいは輝度）・模様属性、あるいは各
階層の構成要素の相互関係を記述する持続属性、あるい
はモデリングされた画像に対する視点属性、あるいはこ
れらの組み合わせにより定まる。この構造データセット
の内容の例11には、10から12あるいは13あるいは14への
変形に対応して変更される属性要素が示されている。本
実施例では“机”に関する属性の変更の例が示されてい
るが、各構成部品の属性変更についても同様に実施例と
して上げられることは言うまでもない。ここで、“変
形”の範ちゅうとして本発明の実施例に含まれるものの
例を以下に示す。

大きさ・形状の変更（ex.フレームの形状（大き
さ）、引き出しの形状（大きさ）） 色・輝度の変更（ex.フレームの色（輝度）、引き出
しの色（輝度）） 模様の変更（ex.引き出しの模様） 位置の変更（ex.フレームの足の位置、引き出しの位
置） 構成部品の追加・削除（ex.引き出しの追加・削除） 視点の変更 〜の任意の組合せ “変形”の例はこれ以外にも数多く考えられ、画像オ
ブジェクトの構造を記述しうるものであれば全て含まれ
ることは言うまでもない。また、装置構成上も処理対象
画像情報と変形するグラフィックス画像を同一のディス
プレイに表示する上記の例以外にも、マッチングを判断
できる表示、あるいは処理の手法であれば全て実施例と
して含まれ特定はされない。更に、本実施例の第３図で
は、自然画像を処理対象画像情報として例示している
が、自然画像以外の画像情報（線画など）も同様に実施
例に含まれ、特定はされない。

以上のようにして、第３図のようなディスプレイ上で
マッチング操作が完了した時点で、第１図における構造
データセット用一時メモリ２の内容が確定され、画像オ
ブジェクトの構造情報として抽出される。抽出される情
報には、本実施例では、第２図の構造データセットの内
容の例11に示すような形状，色，模様，構成部品接続関
係，視点の諸属性がある。

（発明の効果） 以上説明したように、本発明によれば、グラフィック
ス画像全体の二次元あるいは三次元的な回転，伸長／縮
小、グラフィックス画像の構成部品の部分的な移動，回
転，伸長／縮小，追加／削除などの操作により、最もよ
く処理対象画像情報中の画像オブジェクトにマッチング
するようグラフィックス画像の変形操作を施してやるこ
とにより、画像オブジェクトの処理対象画像情報内の構
造情報の抽出が可能となる。

そして、グラフィックス画像に対応させる構造データ
セットを応用システム毎に前もって与えることにより各
応用システムに適合した内容の構造情報が自由に抽出で
きるため、オペレータの負担が軽く、また抽出する情報
の正確さ・一貫性を保つことができる。

このような方式は、特に画像情報のデータベース化に
おいて画像情報中に存在する画像オブジェクトの特徴を
画像情報に対応する書誌事項としてデータベースに蓄え
ようとする用途を初め、時間的制約のない画像オブジェ
クト認識・理解技術の利用分野に広く適用可能である。

【図面の簡単な説明】

第１図は本発明の一実施例の装置構成を示すブロック
図、第２図はグラフィクス画像の変形操作例図、第３図
は処理対象画像情報内でのグラフィックス画像と画像オ
ブジェクトとのマッチング操作例を示す図である。 １……基本構造データベース、２……構造データセット
用一時メモリ、３……画像生成器、４……画像選択制御
器、５……画像変形制御器、６……ディスプレイ、ａ〜
ｇ……インタフェース、10……変形操作を施す前のグラ
フィックス画像の例、11……構造データセットの内容の
例、12〜14……変形操作を施したグラフィックス画像の
例、15……処理対象画像情報。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安部 伸治 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (56)参考文献 特開 昭57−162079（ＪＰ，Ａ) 特開 昭59−206976（ＪＰ，Ａ) 特開 昭62−222108（ＪＰ，Ａ) 特開 昭62−162173（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】ディスプレイに表示されている画像情報中
   の画像オブジェクトの構造情報を抽出する画像構造抽出
   方法であって、 種々の画像の構造を記述した構造データセット群を蓄積
   ・保持し、 前記蓄積・保持された構造データセット群から所望の構
   造データセットを選択して、該構造データセットに対応
   するグラフィックス画像を生成し、該グラフィックス画
   像をディスプレイに表示し、 前記グラフィックス画像が目的の画像オブジェクトとマ
   ッチングするように、前記構造データセットの内容を更
   新して当該グラフィックス画像を変形操作し、 前記グラフィックス画像が目的の画像オブジェクトとマ
   ッチングがとれたときの構造データセットの内容を当該
   画像オブジェクトの構造情報として抽出することを特徴
   とする画像変形操作による画像構造抽出方法。