JPH1049542A - 画像登録装置および方法 - Google Patents
画像登録装置および方法Info
- Publication number
- JPH1049542A JPH1049542A JP8204368A JP20436896A JPH1049542A JP H1049542 A JPH1049542 A JP H1049542A JP 8204368 A JP8204368 A JP 8204368A JP 20436896 A JP20436896 A JP 20436896A JP H1049542 A JPH1049542 A JP H1049542A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- extracting
- attribute
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 登録したい画像からより多くの構成要素に関
するキーワードを自動的に抽出し、画像の検索用キーワ
ードとして登録する。 【解決手段】 画像入力部１は、入力された画像を量子
化し、画像データを生成する。領域抽出部２は画像デー
タから領域を抽出する。領域属性抽出部３は、各領域を
解析し、領域の色、テクスチャ、大きさ、形状に関する
特徴を属性として付与する。画像構造抽出部４は、各領
域間の位相関係を調査し、領領域と各領域間の位相関係
を表現したデータ構造を作成する。オブジェクト抽出部
５は、辞書を参照しながらデータ構造を走査し、前記デ
ータ構造の一部またはすべてをオブジェクトで置換す
る。キーワード抽出部６は、オブジェクトとオブジェク
トの位置関係を対象画像のキーワードとして抽出する。
画像登録部７は、キーワードを対応する画像に関係づけ
て画像データベースに登録する。
するキーワードを自動的に抽出し、画像の検索用キーワ
ードとして登録する。 【解決手段】 画像入力部１は、入力された画像を量子
化し、画像データを生成する。領域抽出部２は画像デー
タから領域を抽出する。領域属性抽出部３は、各領域を
解析し、領域の色、テクスチャ、大きさ、形状に関する
特徴を属性として付与する。画像構造抽出部４は、各領
域間の位相関係を調査し、領領域と各領域間の位相関係
を表現したデータ構造を作成する。オブジェクト抽出部
５は、辞書を参照しながらデータ構造を走査し、前記デ
ータ構造の一部またはすべてをオブジェクトで置換す
る。キーワード抽出部６は、オブジェクトとオブジェク
トの位置関係を対象画像のキーワードとして抽出する。
画像登録部７は、キーワードを対応する画像に関係づけ
て画像データベースに登録する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像から目的の画
像を検索するために使用する検索キーを自動的に抽出し
て登録する画像登録装置および方法に関する。
像を検索するために使用する検索キーを自動的に抽出し
て登録する画像登録装置および方法に関する。
【０００２】
【従来の技術】画像検索に関する従来技術として、一般
のデータベースにおけるキーワード付与を基本とした検
索手法がある。これは、画像登録者が任意のキーワード
を付与するか、もしくは、あらかじめキーワードとなる
言葉を決めておき、登録時にこれらのキーワード群を参
照して適切なキーワードを付与する手法である。検索の
際には、検索者の意図によるキーワードもしくはキーワ
ード群から適切な用語を選び検索を実行する、単語の一
致を基本とした検索手法である。この手法は検索装置の
構成が容易であり、検索者の意図するキーワードが登録
してありさえすれば容易かつ高速に検索できるという利
点があるが、反面、画像の登録時に登録者がキーワード
を付与する必要があり、手間が掛かる。また、登録者と
検索者とが異なる場合には、両者の意図の違いから異な
るキーワードが付与される可能性があり、検索者が目的
の画像を検索できない状況が発生する。
のデータベースにおけるキーワード付与を基本とした検
索手法がある。これは、画像登録者が任意のキーワード
を付与するか、もしくは、あらかじめキーワードとなる
言葉を決めておき、登録時にこれらのキーワード群を参
照して適切なキーワードを付与する手法である。検索の
際には、検索者の意図によるキーワードもしくはキーワ
ード群から適切な用語を選び検索を実行する、単語の一
致を基本とした検索手法である。この手法は検索装置の
構成が容易であり、検索者の意図するキーワードが登録
してありさえすれば容易かつ高速に検索できるという利
点があるが、反面、画像の登録時に登録者がキーワード
を付与する必要があり、手間が掛かる。また、登録者と
検索者とが異なる場合には、両者の意図の違いから異な
るキーワードが付与される可能性があり、検索者が目的
の画像を検索できない状況が発生する。
【０００３】前述の問題を解決するために、特開平４−
６０７７０号公報および特開平６−２４３１７８号公報
に示されているようなキーワードの代わりに例示画像を
検索キーとして用いる手法が提案されている。この手法
は、蓄積画像から画像特有の視覚的特徴に基づく検索を
実現させるための手法である。基本的には画像情報を構
成物の形、大きさ、位置、さらには色、テクスチャ等を
記述した概略画像を用い、蓄積画像全体に対して条件に
合う画像を検索する手法である。また蓄積画像からの検
索の効率化を図るため、登録画像の代表色をマッピング
し、検索キーとなる画像の持つ代表色をこの色空間上に
マッピングし、この近傍に存在する画像に対してのみ整
合・評価を行なうことにより初期段階である程度の大分
類を実施して高速化を図っている。しかし、検索の度に
例示画を作成する必要があり、また、検索したい画像を
例示画に描くことが困難な状況も発生する。
６０７７０号公報および特開平６−２４３１７８号公報
に示されているようなキーワードの代わりに例示画像を
検索キーとして用いる手法が提案されている。この手法
は、蓄積画像から画像特有の視覚的特徴に基づく検索を
実現させるための手法である。基本的には画像情報を構
成物の形、大きさ、位置、さらには色、テクスチャ等を
記述した概略画像を用い、蓄積画像全体に対して条件に
合う画像を検索する手法である。また蓄積画像からの検
索の効率化を図るため、登録画像の代表色をマッピング
し、検索キーとなる画像の持つ代表色をこの色空間上に
マッピングし、この近傍に存在する画像に対してのみ整
合・評価を行なうことにより初期段階である程度の大分
類を実施して高速化を図っている。しかし、検索の度に
例示画を作成する必要があり、また、検索したい画像を
例示画に描くことが困難な状況も発生する。
【０００４】また、特開平１−１３０２７８号公報に示
されているような概略画像作成段階で素材の構成情報と
その属性情報を作図プロセッサなどを用いて簡易に作成
／登録でき、検索も構成情報とその属性情報のテーブル
を用いて実施する方法もある。ここでの構成要素とは、
例えば、机、りんごであり、その属性情報は位置、大き
さ、姿勢等であり、確度の高い検索が可能となる。しか
しながら、あらかじめ蓄積画像に対してこれら構成情報
／属性情報を付加する必要がある。
されているような概略画像作成段階で素材の構成情報と
その属性情報を作図プロセッサなどを用いて簡易に作成
／登録でき、検索も構成情報とその属性情報のテーブル
を用いて実施する方法もある。ここでの構成要素とは、
例えば、机、りんごであり、その属性情報は位置、大き
さ、姿勢等であり、確度の高い検索が可能となる。しか
しながら、あらかじめ蓄積画像に対してこれら構成情報
／属性情報を付加する必要がある。
【０００５】また、自然画像の検索を効率よく行なう手
法として、例えば、特開平４−２６７４８０号公報があ
る。これは自然画像をコンポーネント化し、コンポーネ
ントの形状／特徴情報を検索キーとする手法である。し
かしながら、画像のコンポーネント化に際してはマウス
／キーボード／デジタイザ等による人の介入を前提とし
ている。
法として、例えば、特開平４−２６７４８０号公報があ
る。これは自然画像をコンポーネント化し、コンポーネ
ントの形状／特徴情報を検索キーとする手法である。し
かしながら、画像のコンポーネント化に際してはマウス
／キーボード／デジタイザ等による人の介入を前提とし
ている。
【０００６】以上までに説明した従来の画像検索方法
は、画像の登録時、もしくは、検索時にかなりの手間を
要していた。この問題を解決するための方法として、画
像から自動的、もしくは、半自動的にキーワードを抽出
して、画像とともに登録する方法がある。
は、画像の登録時、もしくは、検索時にかなりの手間を
要していた。この問題を解決するための方法として、画
像から自動的、もしくは、半自動的にキーワードを抽出
して、画像とともに登録する方法がある。
【０００７】例えば、特開平１−７３４６０号公報で
は、画像から自動的に感覚語を抽出して画像とともに登
録し、この感覚語をキーワードとする方法である。この
感覚語による検索は、絵画などのある特定の画像群に対
しては有効であるが、一般的な画像に対してはあまり有
効ではない。これは、一般の画像から感覚語を抽出する
ことが容易ではないことと、人により感覚が異なること
が原因である。
は、画像から自動的に感覚語を抽出して画像とともに登
録し、この感覚語をキーワードとする方法である。この
感覚語による検索は、絵画などのある特定の画像群に対
しては有効であるが、一般的な画像に対してはあまり有
効ではない。これは、一般の画像から感覚語を抽出する
ことが容易ではないことと、人により感覚が異なること
が原因である。
【０００８】また、画像から構成要素に関するキーワー
ドを抽出する手法として、例えば、特開平２−１８７８
６４号公報がある。これは画像データの領域を設定し、
さらにその領域に含まれる色情報、周波数情報などの物
理情報を抽出し、物理量そのものをキーワードとした
り、領域の物理情報から、例えば、空、海等の言葉に結
び付けることを可能にしている。しかしながら、領域の
物理情報だけから結び付けられる言葉には限りがある。
ドを抽出する手法として、例えば、特開平２−１８７８
６４号公報がある。これは画像データの領域を設定し、
さらにその領域に含まれる色情報、周波数情報などの物
理情報を抽出し、物理量そのものをキーワードとした
り、領域の物理情報から、例えば、空、海等の言葉に結
び付けることを可能にしている。しかしながら、領域の
物理情報だけから結び付けられる言葉には限りがある。
【０００９】
【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、登録したい画像からより多
くの構成要素に関するキーワードを自動的に抽出して、
この抽出したキーワードを画像の検索用キーワードとし
て登録する画像登録技術を提供することを目的とする。
情に鑑みてなされたもので、登録したい画像からより多
くの構成要素に関するキーワードを自動的に抽出して、
この抽出したキーワードを画像の検索用キーワードとし
て登録する画像登録技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は、上述の目的を
達成するために、画像登録装置において、入力された画
像を量子化して画像データを生成する画像入力手段と、
該画像入力手段により生成された前記画像データから類
似する特徴を持つ画素から構成される領域を抽出する領
域抽出手段と、該領域抽出手段により抽出された領域の
持つ物理情報を属性として抽出する領域属性抽出手段
と、前記領域抽出手段により抽出された領域間の位相関
係を算出して画像を前記領域属性抽出手段により抽出さ
れた属性を持つ領域の位相関係で表現する画像構造抽出
手段と、該画像構造抽出手段により算出された属性を持
つ領域間の位相関係の一部またはすべてをオブジェクト
で置換するオブジェクト抽出手段と、該オブジェクト抽
出手段で更新された属性を持つ領域間の位相関係からオ
ブジェクト、オブジェクトの相対位置、およびオブジェ
クト間の位相関係をキーワードとして抽出するキーワー
ド抽出手段と、該キーワード抽出手段により抽出された
キーワードを前記画像入力手段により生成された画像デ
ータとともに蓄積装置に登録する画像登録手段とを有す
ることを特徴とするものである。
達成するために、画像登録装置において、入力された画
像を量子化して画像データを生成する画像入力手段と、
該画像入力手段により生成された前記画像データから類
似する特徴を持つ画素から構成される領域を抽出する領
域抽出手段と、該領域抽出手段により抽出された領域の
持つ物理情報を属性として抽出する領域属性抽出手段
と、前記領域抽出手段により抽出された領域間の位相関
係を算出して画像を前記領域属性抽出手段により抽出さ
れた属性を持つ領域の位相関係で表現する画像構造抽出
手段と、該画像構造抽出手段により算出された属性を持
つ領域間の位相関係の一部またはすべてをオブジェクト
で置換するオブジェクト抽出手段と、該オブジェクト抽
出手段で更新された属性を持つ領域間の位相関係からオ
ブジェクト、オブジェクトの相対位置、およびオブジェ
クト間の位相関係をキーワードとして抽出するキーワー
ド抽出手段と、該キーワード抽出手段により抽出された
キーワードを前記画像入力手段により生成された画像デ
ータとともに蓄積装置に登録する画像登録手段とを有す
ることを特徴とするものである。
【００１１】ここでオブジェクトとは、キーワードに対
応する画像の構成要素、例えば、「人の顔」や「木」な
どのものに固有の名称、および、「赤い円」や「白い四
角」などの領域の属性による表現を指す。
応する画像の構成要素、例えば、「人の顔」や「木」な
どのものに固有の名称、および、「赤い円」や「白い四
角」などの領域の属性による表現を指す。
【００１２】この構成によれば、オブジェクト、オブジ
ェクトの相対位置、およびオブジェクト間の位相関係が
自動的にキーワードとして登録され、検索時にこれを入
力して目的画像を取り出すことができる。
ェクトの相対位置、およびオブジェクト間の位相関係が
自動的にキーワードとして登録され、検索時にこれを入
力して目的画像を取り出すことができる。
【００１３】また、この構成において、前記領域属性抽
出手段は、抽出する領域属性として領域の色、大きさ、
形状、テクスチャに関する特徴量を用い、少なくとも各
１つ以上の領域の色、大きさ、形状に関する特徴量を領
域属性とするようにしてもよい。
出手段は、抽出する領域属性として領域の色、大きさ、
形状、テクスチャに関する特徴量を用い、少なくとも各
１つ以上の領域の色、大きさ、形状に関する特徴量を領
域属性とするようにしてもよい。
【００１４】また、前記画像構造抽出手段は、領域と領
域との位相関係として、一致、重複、包含、接合もしく
は排他のいずれかの関係を抽出するようにすることがで
きる。
域との位相関係として、一致、重複、包含、接合もしく
は排他のいずれかの関係を抽出するようにすることがで
きる。
【００１５】さらに、前記オブジェクト抽出手段は、オ
ブジェクトを構成する領域の属性とオブジェクトを構成
する領域間の位相関係とオブジェクトを構成する領域の
属性間の相対的な関係から適合するオブジェクトを判断
するようにできる。
ブジェクトを構成する領域の属性とオブジェクトを構成
する領域間の位相関係とオブジェクトを構成する領域の
属性間の相対的な関係から適合するオブジェクトを判断
するようにできる。
【００１６】また、本発明は、上述の目的を達成するた
めに、画像登録装置において、画像データから類似する
特徴を持つ画素から構成される領域を抽出する領域抽出
手段と、該領域抽出手段により抽出された領域の持つ物
理情報を属性として抽出する領域属性抽出手段と、前記
領域抽出手段により抽出された領域間の位相関係を算出
して画像を前記領域属性抽出手段により抽出された属性
を持つ領域の位相関係で表現する画像構造抽出手段と、
領域および領域間の位相関係と、対応するオブジェクト
との関係を記憶するオブジェクト情報記憶手段と、前記
オブジェクト情報記憶手段に記憶されている関係に基づ
いて、前記属性を持つ領域および領域間の位相関係を対
応するオブジェクトに置換するオブジェクト抽出手段
と、抽出された前記オブジェクト間の位相関係を抽出す
るオブジェクト間位相関係抽出手段と、該オブジェクト
間位相関係抽出手段により抽出されたオブジェクト間の
位相関係を前記画像データを検索するためのキーワード
として登録するキーワード登録手段とを有することを特
徴とする。
めに、画像登録装置において、画像データから類似する
特徴を持つ画素から構成される領域を抽出する領域抽出
手段と、該領域抽出手段により抽出された領域の持つ物
理情報を属性として抽出する領域属性抽出手段と、前記
領域抽出手段により抽出された領域間の位相関係を算出
して画像を前記領域属性抽出手段により抽出された属性
を持つ領域の位相関係で表現する画像構造抽出手段と、
領域および領域間の位相関係と、対応するオブジェクト
との関係を記憶するオブジェクト情報記憶手段と、前記
オブジェクト情報記憶手段に記憶されている関係に基づ
いて、前記属性を持つ領域および領域間の位相関係を対
応するオブジェクトに置換するオブジェクト抽出手段
と、抽出された前記オブジェクト間の位相関係を抽出す
るオブジェクト間位相関係抽出手段と、該オブジェクト
間位相関係抽出手段により抽出されたオブジェクト間の
位相関係を前記画像データを検索するためのキーワード
として登録するキーワード登録手段とを有することを特
徴とする。
【００１７】この構成によれば、少なくともオブジェク
ト間の位相関係が自動的にキーワードとして登録され、
検索時にこれを入力して目的画像を取り出すことができ
る。
ト間の位相関係が自動的にキーワードとして登録され、
検索時にこれを入力して目的画像を取り出すことができ
る。
【００１８】また、本発明は、上述の目的を達成するた
めに、画像登録方法において、入力された画像を量子化
して画像データを生成するステップと、生成された前記
画像データから類似する特徴を持つ画素から構成される
領域を抽出するステップと、抽出された領域の持つ物理
情報を属性として抽出するステップと、抽出された領域
間の位相関係を算出して画像を、前記領域の位相関係で
表現するステップと、前記領域間の位相関係の一部また
はすべてをオブジェクトで置換するステップと、前記オ
ブジェクトで更新された領域間の位相関係から前記オブ
ジェクト、前記オブジェクトの相対位置、および前記オ
ブジェクト間の位相関係をキーワードとして抽出するス
テップと、抽出された前記キーワードを、生成された前
記画像データとともにデータベースに登録するステップ
とを有することを特徴とする。
めに、画像登録方法において、入力された画像を量子化
して画像データを生成するステップと、生成された前記
画像データから類似する特徴を持つ画素から構成される
領域を抽出するステップと、抽出された領域の持つ物理
情報を属性として抽出するステップと、抽出された領域
間の位相関係を算出して画像を、前記領域の位相関係で
表現するステップと、前記領域間の位相関係の一部また
はすべてをオブジェクトで置換するステップと、前記オ
ブジェクトで更新された領域間の位相関係から前記オブ
ジェクト、前記オブジェクトの相対位置、および前記オ
ブジェクト間の位相関係をキーワードとして抽出するス
テップと、抽出された前記キーワードを、生成された前
記画像データとともにデータベースに登録するステップ
とを有することを特徴とする。
【００１９】この構成においても、オブジェクト、オブ
ジェクトの相対位置、およびオブジェクト間の位相関係
が自動的にキーワードとして登録され、検索時にこれを
入力して目的画像を取り出すことができる。
ジェクトの相対位置、およびオブジェクト間の位相関係
が自動的にキーワードとして登録され、検索時にこれを
入力して目的画像を取り出すことができる。
【００２０】
【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。図１は本発明の画像登録装置の
実施の一形態を示すブロック図である。図中、１は画像
入力部、２は領域抽出部、３は領域属性抽出部、４は画
像構造抽出部、５はオブジェクト抽出部、６はキーワー
ド抽出部、７は画像登録部である。
面を参照して説明する。図１は本発明の画像登録装置の
実施の一形態を示すブロック図である。図中、１は画像
入力部、２は領域抽出部、３は領域属性抽出部、４は画
像構造抽出部、５はオブジェクト抽出部、６はキーワー
ド抽出部、７は画像登録部である。
【００２１】画像入力部１は、入力された画像を量子化
し、画像データを生成する。領域抽出部２は画像入力部
１で生成された画像データから、類似する特徴を持つ画
素により構成される領域を抽出する。領域属性抽出部３
は、領域抽出部２で抽出された各領域を解析し、領域の
色、テクスチャ、大きさ、形状に関する特徴を属性とし
て抽出する。画像構造抽出部４は、領域抽出部２で抽出
された各領域間の位相関係を調査し、領域属性抽出部３
により抽出された属性を持つ領域と各領域間の位相関係
を表現したデータ構造を作成する。オブジェクト抽出部
５は、属性条件および領域間の位相関係とオブジェクト
とを対応づけた辞書を参照しながら画像構造抽出部４で
作成されたデータ構造を走査し、前記データ構造の一部
またはすべてをオブジェクトで置換する。キーワード抽
出部６は、オブジェクト抽出部５で更新されたデータ構
造からオブジェクトとオブジェクトの位置関係を対象画
像のキーワードとして抽出する。画像登録部７は、キー
ワード抽出部６で抽出されたキーワードを対応する画像
に関係づけて画像データベースに登録する。
し、画像データを生成する。領域抽出部２は画像入力部
１で生成された画像データから、類似する特徴を持つ画
素により構成される領域を抽出する。領域属性抽出部３
は、領域抽出部２で抽出された各領域を解析し、領域の
色、テクスチャ、大きさ、形状に関する特徴を属性とし
て抽出する。画像構造抽出部４は、領域抽出部２で抽出
された各領域間の位相関係を調査し、領域属性抽出部３
により抽出された属性を持つ領域と各領域間の位相関係
を表現したデータ構造を作成する。オブジェクト抽出部
５は、属性条件および領域間の位相関係とオブジェクト
とを対応づけた辞書を参照しながら画像構造抽出部４で
作成されたデータ構造を走査し、前記データ構造の一部
またはすべてをオブジェクトで置換する。キーワード抽
出部６は、オブジェクト抽出部５で更新されたデータ構
造からオブジェクトとオブジェクトの位置関係を対象画
像のキーワードとして抽出する。画像登録部７は、キー
ワード抽出部６で抽出されたキーワードを対応する画像
に関係づけて画像データベースに登録する。
【００２２】図２は、本発明の画像登録装置の実施の一
形態を実現する構成例を示すブロック図である。図中、
１０１は画像入力処理部、１０２は画像データ記憶メモ
リ、１０３は領域抽出処理部、１０４は領域／領域属性
記憶メモリ、１０５は領域属性抽出処理部、１０６は画
像構造抽出処理部、１０７は画像構造記憶メモリ、１０
８はオブジェクト抽出処理部、１０９はオブジェクト辞
書、１１０はキーワード抽出処理部、１１１は画像登録
処理部である。
形態を実現する構成例を示すブロック図である。図中、
１０１は画像入力処理部、１０２は画像データ記憶メモ
リ、１０３は領域抽出処理部、１０４は領域／領域属性
記憶メモリ、１０５は領域属性抽出処理部、１０６は画
像構造抽出処理部、１０７は画像構造記憶メモリ、１０
８はオブジェクト抽出処理部、１０９はオブジェクト辞
書、１１０はキーワード抽出処理部、１１１は画像登録
処理部である。
【００２３】画像入力処理部１０１では、スキャナなど
を用いて入力対象の原稿を入力し、量子化して多階調の
ＲＧＢカラー画像データ（ＲＧＢ表色系の３要素Ｒ，
Ｇ，Ｂで表される画像データ）を生成する。ここでは入
力対象を原稿としたので入力手段としてスキャナを用い
たが、屋外などの風景を入力対象とする場合にはビデオ
カメラなどにより入力してもよい。あるいは、計算機を
用いて描画された画像などでもよい。入力される画像を
一旦記憶装置に格納しておき、処理を行なう時に読み出
すように構成することができる。この例では、ＲＧＢカ
ラー画像データを入力画像として生成したが、本発明は
これに限定するわけではなく、グレイスケールの画像デ
ータでもよいし、また、Ｌ*ａ*ｂ*などの他の表色系を
用いてもよい。
を用いて入力対象の原稿を入力し、量子化して多階調の
ＲＧＢカラー画像データ（ＲＧＢ表色系の３要素Ｒ，
Ｇ，Ｂで表される画像データ）を生成する。ここでは入
力対象を原稿としたので入力手段としてスキャナを用い
たが、屋外などの風景を入力対象とする場合にはビデオ
カメラなどにより入力してもよい。あるいは、計算機を
用いて描画された画像などでもよい。入力される画像を
一旦記憶装置に格納しておき、処理を行なう時に読み出
すように構成することができる。この例では、ＲＧＢカ
ラー画像データを入力画像として生成したが、本発明は
これに限定するわけではなく、グレイスケールの画像デ
ータでもよいし、また、Ｌ*ａ*ｂ*などの他の表色系を
用いてもよい。
【００２４】画像データ記憶メモリ１０２は、画像入力
処理部１０１により生成された画像データを記憶する。
処理部１０１により生成された画像データを記憶する。
【００２５】領域抽出処理部１０３では、画像データ記
憶メモリ１０２に記憶されている画像データを基に類似
する特徴（色や濃度、テクスチャなど）を持つ画素によ
り構成される領域を抽出する。従来までに多くの領域を
抽出する手法が提案されているが、例えば、非階層的ク
ラスタリング、いわゆる、ｋ−平均領域分割手法を用い
ることができる。本実施例では、各画素の色相、彩度、
明度を基に、ｋ−平均領域分割方法を用いて、画像を構
成するすべての画素をクラスタリングする場合を示す。
本発明における領域は画像中の構成要素、例えば、顔や
目などといったオブジェクトに対応するため、極端に小
さなクラスタが得られてもあまり意味がない。従って、
必要に応じて、クラスタを統合する処理を最後に行なっ
てもよい。そして、同じクラスタに属する隣接画素をラ
ベリングにより抽出することで、類似する特徴を持つ画
素から構成される領域が抽出できる。ここで、ラベリン
グにより抽出された領域をすべて記憶する必要はなく、
領域の大きさや総数などに対して閾値を設け、記憶する
領域を制限してもよい。
憶メモリ１０２に記憶されている画像データを基に類似
する特徴（色や濃度、テクスチャなど）を持つ画素によ
り構成される領域を抽出する。従来までに多くの領域を
抽出する手法が提案されているが、例えば、非階層的ク
ラスタリング、いわゆる、ｋ−平均領域分割手法を用い
ることができる。本実施例では、各画素の色相、彩度、
明度を基に、ｋ−平均領域分割方法を用いて、画像を構
成するすべての画素をクラスタリングする場合を示す。
本発明における領域は画像中の構成要素、例えば、顔や
目などといったオブジェクトに対応するため、極端に小
さなクラスタが得られてもあまり意味がない。従って、
必要に応じて、クラスタを統合する処理を最後に行なっ
てもよい。そして、同じクラスタに属する隣接画素をラ
ベリングにより抽出することで、類似する特徴を持つ画
素から構成される領域が抽出できる。ここで、ラベリン
グにより抽出された領域をすべて記憶する必要はなく、
領域の大きさや総数などに対して閾値を設け、記憶する
領域を制限してもよい。
【００２６】本実施例では、ｋ−平均領域分割およびラ
ベリングにより領域抽出処理を行なったが、本発明はこ
れに限定するものではなく、類似する特徴を持つ画素に
より構成される領域を抽出できる手法であればどのよう
な手法でも使用可能である。他の領域抽出手法として
は、画像からエッジに当たる画素を抽出してこの画素に
よって構成される閉領域を領域として抽出する方法など
がある。
ベリングにより領域抽出処理を行なったが、本発明はこ
れに限定するものではなく、類似する特徴を持つ画素に
より構成される領域を抽出できる手法であればどのよう
な手法でも使用可能である。他の領域抽出手法として
は、画像からエッジに当たる画素を抽出してこの画素に
よって構成される閉領域を領域として抽出する方法など
がある。
【００２７】領域／領域属性記憶メモリ１０４は、領域
抽出処理部１０３により抽出された領域を領域データと
して記憶する。領域データの構成も種々の方法が考えら
れるが、この例では、図３に示すようなラベリング画像
により領域データを構成し、領域／領域属性記憶メモリ
１０４に記憶する。図中、一マスが１つの画素の対応
し、マスの中の数値は対応する画素の属する領域に固有
の番号（以降、領域番号と称する）である。本発明にお
ける領域データの構成方法はラベリング画像に限るわけ
ではなく、画像中の各画素にユニークな番号を与えてお
いて各領域をその領域に属する画素に与えられたユニー
クな番号の集合で表す方法や、領域の輪郭点集合で表す
方法などの他の方法を用いて領域データを構成してもよ
い。
抽出処理部１０３により抽出された領域を領域データと
して記憶する。領域データの構成も種々の方法が考えら
れるが、この例では、図３に示すようなラベリング画像
により領域データを構成し、領域／領域属性記憶メモリ
１０４に記憶する。図中、一マスが１つの画素の対応
し、マスの中の数値は対応する画素の属する領域に固有
の番号（以降、領域番号と称する）である。本発明にお
ける領域データの構成方法はラベリング画像に限るわけ
ではなく、画像中の各画素にユニークな番号を与えてお
いて各領域をその領域に属する画素に与えられたユニー
クな番号の集合で表す方法や、領域の輪郭点集合で表す
方法などの他の方法を用いて領域データを構成してもよ
い。
【００２８】領域属性抽出処理部１０５では、領域／領
域属性記憶メモリ１０４に記憶されている各々の領域に
対応する属性を抽出する。抽出した属性は、対応する領
域に関連づけて領域／領域属性記憶メモリ１０４に記憶
する。本発明における属性とは、領域の色、大きさ、形
状、テクスチャに関する性質を表すものであり、例え
ば、平均色相、彩度のヒストグラム、面積、絶対最大
長、近似形状を表すパラメータ、丸さ（針状）の度合、
平均エッジ強度、空間周波数などの特徴量を用いること
ができる。本発明は、抽出する属性を前述の特徴量に限
定するものではなく、領域の色、大きさ、形状、テクス
チャに関する性質を表す特徴量であれば何でもよい。し
かし、領域の色、大きさ、形状に関する性質を表す特徴
量を少なくとも各１つは用いることが好ましい。この例
では、簡単にするために、テクスチャに関する特徴を除
いた、領域の平均色相、平均彩度、平均明度、構成画素
数、針状の度合、主軸方向を抽出する属性として用い
る。これらの特徴を既知の方法により領域データから計
算して、例えば、図４に示すように領域番号と組にした
テーブル（以降、属性テーブルと称する）として、領域
／領域属性記憶メモリ１０４に記憶できる。
域属性記憶メモリ１０４に記憶されている各々の領域に
対応する属性を抽出する。抽出した属性は、対応する領
域に関連づけて領域／領域属性記憶メモリ１０４に記憶
する。本発明における属性とは、領域の色、大きさ、形
状、テクスチャに関する性質を表すものであり、例え
ば、平均色相、彩度のヒストグラム、面積、絶対最大
長、近似形状を表すパラメータ、丸さ（針状）の度合、
平均エッジ強度、空間周波数などの特徴量を用いること
ができる。本発明は、抽出する属性を前述の特徴量に限
定するものではなく、領域の色、大きさ、形状、テクス
チャに関する性質を表す特徴量であれば何でもよい。し
かし、領域の色、大きさ、形状に関する性質を表す特徴
量を少なくとも各１つは用いることが好ましい。この例
では、簡単にするために、テクスチャに関する特徴を除
いた、領域の平均色相、平均彩度、平均明度、構成画素
数、針状の度合、主軸方向を抽出する属性として用い
る。これらの特徴を既知の方法により領域データから計
算して、例えば、図４に示すように領域番号と組にした
テーブル（以降、属性テーブルと称する）として、領域
／領域属性記憶メモリ１０４に記憶できる。
【００２９】また、領域抽出処理部１０３で用いる領域
抽出方法によっては、この領域抽出の過程において領域
の属性に当たる特徴が算出できる。このような場合に
は、算出した時点でこの特徴を属性として対応する領域
に関連づけて領域／領域属性記憶メモリ１０４に記憶す
ることもできる。この例では、ｋ−平均領域分割の際に
各領域の平均色相、平均彩度、平均明度が、ラベリング
の際に各領域の構成画素数が算出できるので、領域抽出
処理の中でこれらの属性を領域／領域属性記憶メモリ１
０４に記憶するようにしている。また、ここで算出した
属性（針状の度合、主軸方向）は、すべて領域データか
ら算出できるが、用いる属性によっては（例えば、テク
スチャに関する特徴）必要に応じて画像データ記憶メモ
リに記憶されている画像データを参照して属性を算出す
るように構成することもできる。
抽出方法によっては、この領域抽出の過程において領域
の属性に当たる特徴が算出できる。このような場合に
は、算出した時点でこの特徴を属性として対応する領域
に関連づけて領域／領域属性記憶メモリ１０４に記憶す
ることもできる。この例では、ｋ−平均領域分割の際に
各領域の平均色相、平均彩度、平均明度が、ラベリング
の際に各領域の構成画素数が算出できるので、領域抽出
処理の中でこれらの属性を領域／領域属性記憶メモリ１
０４に記憶するようにしている。また、ここで算出した
属性（針状の度合、主軸方向）は、すべて領域データか
ら算出できるが、用いる属性によっては（例えば、テク
スチャに関する特徴）必要に応じて画像データ記憶メモ
リに記憶されている画像データを参照して属性を算出す
るように構成することもできる。
【００３０】画像構造抽出処理部１０６は、領域／領域
属性記憶メモリ１０４に記憶されている領域データを用
いて、各領域間の位相関係を抽出する。本発明における
領域間の位相関係とは、一致／包含／重複／接合／排他
などといった領域と領域の関係を指し、詳細な関係とし
て領域間の距離と方向を持つようにすることもできる。
この例では、領域分割により各領域を抽出したので、任
意の２つの領域が重なり合うことはない。従って、２つ
の領域の位相関係は、「含んでいる／含まれている（包
含）」か、「隣接している（接合）」か、「離れている
（排他）」のいずれかになる。この領域間の位相関係
は、領域／領域属性記憶メモリ１０４に記憶されている
領域データ（ラベリング画像）を水平方向と垂直方向に
走査して、各領域ごとに隣接している領域番号を抽出す
ることで算出することができる。但し、この方法を用い
る場合は、図５に示すように画像の外縁部分に画像外を
表す領域を作成しておく必要がある。図中の「０」の数
値でラベリングされた画素が画像外を表す領域である。
各領域に隣接する領域を抽出した結果は、例えば、図６
の隣接領域番号リストの項に示すようになる。この結果
から、隣接している領域の数が１つしかない領域番号２
と３の領域はその隣接している領域番号１の領域に含ま
れていることが分かる。そして、領域番号１の隣接領域
番号リストから領域番号２と３を取り除くことで、含ん
でいるのでなく接合している領域のリストを得ることが
できる。また、当然ながら、最終的な位相関係を示す領
域のリストからは画像外を表す領域（この例では領域番
号が０の領域）は除かなければならない。本発明におけ
る位相関係の抽出方法は前述の方法に限定するものでは
ない。また、この例では隣接関係を４近傍で算出したが
８近傍で算出してもよい。領域間の詳細な関係として用
いる領域間の距離と方向は、領域の重心の座標を基準と
した距離と方向を算出することで得ることができる。
属性記憶メモリ１０４に記憶されている領域データを用
いて、各領域間の位相関係を抽出する。本発明における
領域間の位相関係とは、一致／包含／重複／接合／排他
などといった領域と領域の関係を指し、詳細な関係とし
て領域間の距離と方向を持つようにすることもできる。
この例では、領域分割により各領域を抽出したので、任
意の２つの領域が重なり合うことはない。従って、２つ
の領域の位相関係は、「含んでいる／含まれている（包
含）」か、「隣接している（接合）」か、「離れている
（排他）」のいずれかになる。この領域間の位相関係
は、領域／領域属性記憶メモリ１０４に記憶されている
領域データ（ラベリング画像）を水平方向と垂直方向に
走査して、各領域ごとに隣接している領域番号を抽出す
ることで算出することができる。但し、この方法を用い
る場合は、図５に示すように画像の外縁部分に画像外を
表す領域を作成しておく必要がある。図中の「０」の数
値でラベリングされた画素が画像外を表す領域である。
各領域に隣接する領域を抽出した結果は、例えば、図６
の隣接領域番号リストの項に示すようになる。この結果
から、隣接している領域の数が１つしかない領域番号２
と３の領域はその隣接している領域番号１の領域に含ま
れていることが分かる。そして、領域番号１の隣接領域
番号リストから領域番号２と３を取り除くことで、含ん
でいるのでなく接合している領域のリストを得ることが
できる。また、当然ながら、最終的な位相関係を示す領
域のリストからは画像外を表す領域（この例では領域番
号が０の領域）は除かなければならない。本発明におけ
る位相関係の抽出方法は前述の方法に限定するものでは
ない。また、この例では隣接関係を４近傍で算出したが
８近傍で算出してもよい。領域間の詳細な関係として用
いる領域間の距離と方向は、領域の重心の座標を基準と
した距離と方向を算出することで得ることができる。
【００３１】画像構造記憶メモリ１０７は、画像構造抽
出処理部１０６で作成した領域間の位相関係を記憶す
る。この例では、図７に示すような、領域番号をノード
に持ち、領域間の位相関係をエッジに持つグラフ構造
（以降、画像構造グラフと称する）を作成して記憶す
る。領域間の詳細な関係として各領域間の距離と方向を
算出している場合にはこれらの値もエッジに持たせるこ
とができる。図７に示した画像構造グラフは、図８に示
したラベリング画像（１つの閉領域が１つの領域を表し
ている）から作成したもので、図７に示した１から１１
までの領域番号は、順に、顔面、左目、右目、口、左ま
ゆ、右まゆ、髪の毛、左耳、右耳、首、背景の領域を指
しているものとする。この例における画像構造グラフで
は、包含もしくは隣接する領域間の関係のみを記述した
が、重複を許すような領域を領域抽出処理部１０３で抽
出した場合には、一致や重複などといった領域間の位相
関係を追加することができる。
出処理部１０６で作成した領域間の位相関係を記憶す
る。この例では、図７に示すような、領域番号をノード
に持ち、領域間の位相関係をエッジに持つグラフ構造
（以降、画像構造グラフと称する）を作成して記憶す
る。領域間の詳細な関係として各領域間の距離と方向を
算出している場合にはこれらの値もエッジに持たせるこ
とができる。図７に示した画像構造グラフは、図８に示
したラベリング画像（１つの閉領域が１つの領域を表し
ている）から作成したもので、図７に示した１から１１
までの領域番号は、順に、顔面、左目、右目、口、左ま
ゆ、右まゆ、髪の毛、左耳、右耳、首、背景の領域を指
しているものとする。この例における画像構造グラフで
は、包含もしくは隣接する領域間の関係のみを記述した
が、重複を許すような領域を領域抽出処理部１０３で抽
出した場合には、一致や重複などといった領域間の位相
関係を追加することができる。
【００３２】オブジェクト抽出処理部１０８では、オブ
ジェクト辞書１０９を参照しながら、画像構造記憶メモ
リ１０７に記憶された画像構造グラフからオブジェクト
を抽出する。本発明におけるオブジェクトとは、「人の
顔」や「木」などのものに固有の名称、および、「赤い
円」や「白い四角」などの領域の属性による表現を指
す。
ジェクト辞書１０９を参照しながら、画像構造記憶メモ
リ１０７に記憶された画像構造グラフからオブジェクト
を抽出する。本発明におけるオブジェクトとは、「人の
顔」や「木」などのものに固有の名称、および、「赤い
円」や「白い四角」などの領域の属性による表現を指
す。
【００３３】オブジェクト辞書１０９は、オブジェクト
の名称とオブジェクトを構成する領域の属性および領域
間の位相関係を記述したグラフ構造（以降、オブジェク
トグラフと称する）とオブジェクト条件との組（以降、
オブジェクト項目と称する）を複数保持している。オブ
ジェクト辞書１０９に記憶しているオブジェクトグラフ
は、画像構造グラフと同じ形式である。異なる点は、属
性の代わりにオブジェクトグラフの各ノードが示す番号
に対応する属性条件を持っている点である。以降、オブ
ジェクトグラフのノードが持つ番号を属性条件番号と称
する。この属性条件とは、画像構造グラフとオブジェク
トグラフとの対応するノードが適合するかどうかを調べ
るための条件である。また、オブジェクト条件とは、オ
ブジェクトを構成する領域の属性間の相対的な関係に関
する規則であり、例えば、領域Ａのは構成画素数領域Ｂ
の構成画素数の２倍以上、３倍以下といった条件であ
る。図９に、「人の顔」というオブジェクトに対応す
る、オブジェクト項目とこのオブジェクト項目に対応す
る部分の属性条件の例を示す。図中、属性条件番号３０
１が顔面、３０２と３０３が目、３０４が髪の毛に相当
する。
の名称とオブジェクトを構成する領域の属性および領域
間の位相関係を記述したグラフ構造（以降、オブジェク
トグラフと称する）とオブジェクト条件との組（以降、
オブジェクト項目と称する）を複数保持している。オブ
ジェクト辞書１０９に記憶しているオブジェクトグラフ
は、画像構造グラフと同じ形式である。異なる点は、属
性の代わりにオブジェクトグラフの各ノードが示す番号
に対応する属性条件を持っている点である。以降、オブ
ジェクトグラフのノードが持つ番号を属性条件番号と称
する。この属性条件とは、画像構造グラフとオブジェク
トグラフとの対応するノードが適合するかどうかを調べ
るための条件である。また、オブジェクト条件とは、オ
ブジェクトを構成する領域の属性間の相対的な関係に関
する規則であり、例えば、領域Ａのは構成画素数領域Ｂ
の構成画素数の２倍以上、３倍以下といった条件であ
る。図９に、「人の顔」というオブジェクトに対応す
る、オブジェクト項目とこのオブジェクト項目に対応す
る部分の属性条件の例を示す。図中、属性条件番号３０
１が顔面、３０２と３０３が目、３０４が髪の毛に相当
する。
【００３４】以下では、オブジェクト抽出方法の一例を
図１０に示すフローチャートを参照しながら説明する。
まず、領域／領域属性記憶メモリ１０４に記憶されてい
る属性テーブルを構成画素数で降順にソートする（Ｓ２
０１）。これは、面積の大きな領域ほど主要な構成要素
である可能性が高いという経験則に基づく。以降の処理
は、ソートされた属性テーブルの領域（領域番号）を順
に処理対象とする（Ｓ２０２）。オブジェクト辞書１０
９に登録してある属性条件を検索して、処理対象の領域
の属性が条件を満たしている属性条件番号のリストを作
成する（Ｓ２０３）。このリストの属性条件番号を持つ
オブジェクトグラフと画像構造グラフとを比較する（Ｓ
２０４）。この比較は、処理対象の領域番号を持つ画像
構造グラフのノードとＳ２０３で抽出された属性条件番
号を持つオブジェクトグラフのノードを一致させた上
で、このオブジェクトグラフの持つノードに対応するす
べての属性条件とエッジに対応する位相関係が画像構造
グラフの一部またはすべてに適合するかどうかを調べ
る。これが適合した場合には更に、この属性条件番号に
対応するオブジェクト条件を適用して、最終的に適合す
るかしないかを求める（Ｓ２０５）。最終的に適合しな
いと判断された場合には、Ｓ２０８の処理を行なう。適
合した場合は、画像構造グラフの適合した部分グラフを
対応するオブジェクトで置換する（Ｓ２０６）。この置
換はオブジェクトを一意に決定することのできる番号を
持つノードによるものであり、例えば、オブジェクト辞
書１０９に登録されている対応するオブジェクト項目の
番号（オブジェクト番号と称する）を用いることができ
る。この置換に伴って、エッジの削除やエッジに対応し
ている位相関係や領域間の距離と方向の修正も行なう。
距離と方向を算出するためのオブジェクトの重心は、オ
ブジェクトに置換された画像構造グラフの部分グラフに
含まれている領域を統合した領域から算出することがで
きる。そして、オブジェクトに置換された画像構造グラ
フの部分グラフに含まれている領域番号およびこれに対
応する属性をＳ２０１でソートされた属性テーブルから
削除する（Ｓ２０７）。Ｓ２０８ではすべての領域につ
いて処理を行なったどうかを調べて、未処理の領域が残
っていればＳ２０２に戻って処理を繰り返す。
図１０に示すフローチャートを参照しながら説明する。
まず、領域／領域属性記憶メモリ１０４に記憶されてい
る属性テーブルを構成画素数で降順にソートする（Ｓ２
０１）。これは、面積の大きな領域ほど主要な構成要素
である可能性が高いという経験則に基づく。以降の処理
は、ソートされた属性テーブルの領域（領域番号）を順
に処理対象とする（Ｓ２０２）。オブジェクト辞書１０
９に登録してある属性条件を検索して、処理対象の領域
の属性が条件を満たしている属性条件番号のリストを作
成する（Ｓ２０３）。このリストの属性条件番号を持つ
オブジェクトグラフと画像構造グラフとを比較する（Ｓ
２０４）。この比較は、処理対象の領域番号を持つ画像
構造グラフのノードとＳ２０３で抽出された属性条件番
号を持つオブジェクトグラフのノードを一致させた上
で、このオブジェクトグラフの持つノードに対応するす
べての属性条件とエッジに対応する位相関係が画像構造
グラフの一部またはすべてに適合するかどうかを調べ
る。これが適合した場合には更に、この属性条件番号に
対応するオブジェクト条件を適用して、最終的に適合す
るかしないかを求める（Ｓ２０５）。最終的に適合しな
いと判断された場合には、Ｓ２０８の処理を行なう。適
合した場合は、画像構造グラフの適合した部分グラフを
対応するオブジェクトで置換する（Ｓ２０６）。この置
換はオブジェクトを一意に決定することのできる番号を
持つノードによるものであり、例えば、オブジェクト辞
書１０９に登録されている対応するオブジェクト項目の
番号（オブジェクト番号と称する）を用いることができ
る。この置換に伴って、エッジの削除やエッジに対応し
ている位相関係や領域間の距離と方向の修正も行なう。
距離と方向を算出するためのオブジェクトの重心は、オ
ブジェクトに置換された画像構造グラフの部分グラフに
含まれている領域を統合した領域から算出することがで
きる。そして、オブジェクトに置換された画像構造グラ
フの部分グラフに含まれている領域番号およびこれに対
応する属性をＳ２０１でソートされた属性テーブルから
削除する（Ｓ２０７）。Ｓ２０８ではすべての領域につ
いて処理を行なったどうかを調べて、未処理の領域が残
っていればＳ２０２に戻って処理を繰り返す。
【００３５】オブジェクト抽出処理部１０８の結果、画
像構造グラフに含まれているいくつかの部分グラフがオ
ブジェクトに置換され、画像構造グラフの各ノードにオ
ブジェクト番号もしくは領域番号を持つようなグラフが
得られる。図７に示す画像構造グラフに対してオブジェ
クト抽出処理を行ない、これが図９に示したオブジェク
ト辞書１０９に登録してあるオブジェクトグラフに適合
した結果得られるグラフを図１１に示す。図７の領域番
号１，２，３，７がそれぞれ図９の属性条件番号３０
１，３０２，３０３，３０４に適合し、図９に示したオ
ブジェクト条件も満たしているものとする。各ノード間
のエッジ（位相関係）が適合しており、図７の領域番号
１，２，３，７からなる部分グラフが「人の顔」という
オブジェクトに対応するオブジェクト番号１００を持つ
ノードに置換されている。
像構造グラフに含まれているいくつかの部分グラフがオ
ブジェクトに置換され、画像構造グラフの各ノードにオ
ブジェクト番号もしくは領域番号を持つようなグラフが
得られる。図７に示す画像構造グラフに対してオブジェ
クト抽出処理を行ない、これが図９に示したオブジェク
ト辞書１０９に登録してあるオブジェクトグラフに適合
した結果得られるグラフを図１１に示す。図７の領域番
号１，２，３，７がそれぞれ図９の属性条件番号３０
１，３０２，３０３，３０４に適合し、図９に示したオ
ブジェクト条件も満たしているものとする。各ノード間
のエッジ（位相関係）が適合しており、図７の領域番号
１，２，３，７からなる部分グラフが「人の顔」という
オブジェクトに対応するオブジェクト番号１００を持つ
ノードに置換されている。
【００３６】ここでは、ものの固有の名称をオブジェク
トとする例を示したが、オブジェクト辞書１０９に「赤
い円」や「白い四角」などといった領域の属性に関する
表現をオブジェクトの名称とするようなオブジェクト項
目を作成することで、「赤い円」や「白い四角」などと
いったオブジェクトを抽出することができる。
トとする例を示したが、オブジェクト辞書１０９に「赤
い円」や「白い四角」などといった領域の属性に関する
表現をオブジェクトの名称とするようなオブジェクト項
目を作成することで、「赤い円」や「白い四角」などと
いったオブジェクトを抽出することができる。
【００３７】また、この例では、オブジェクトグラフと
画像構造グラフの比較は各ノードやエッジが適合するか
しないかでオブジェクトの抽出を行なったが、ここに適
合度という概念を取り入れて、最も適合度の高い画像構
造グラフの部分グラフを対応するオブジェクトで置換す
るようにすることもできる。例えば、オブジェクト辞書
１０９に保持している属性条件を属性を与えることによ
りその適合度を返すような関数、例えば、ファジィ関数
で構成することにより実現できる。
画像構造グラフの比較は各ノードやエッジが適合するか
しないかでオブジェクトの抽出を行なったが、ここに適
合度という概念を取り入れて、最も適合度の高い画像構
造グラフの部分グラフを対応するオブジェクトで置換す
るようにすることもできる。例えば、オブジェクト辞書
１０９に保持している属性条件を属性を与えることによ
りその適合度を返すような関数、例えば、ファジィ関数
で構成することにより実現できる。
【００３８】本発明におけるオブジェクト辞書１０９は
予め作成しておく必要がある。この作成方法に例として
は、複数の人の顔の画像に対して前述してきたような画
像構造グラフを作成し、複数の画像構造グラフを得る。
そして、複数の画像構造グラフで対応するノード（領
域）の属性と共通するエッジの位相関係から「人の顔」
というオブジェクトに対応するオブジェクトグラフを作
成することができる。また、得られた複数の画像構造グ
ラフのノードが持つ属性間の関係のうち、共通すると見
なせる関係をオブジェクト条件とすることができる。
予め作成しておく必要がある。この作成方法に例として
は、複数の人の顔の画像に対して前述してきたような画
像構造グラフを作成し、複数の画像構造グラフを得る。
そして、複数の画像構造グラフで対応するノード（領
域）の属性と共通するエッジの位相関係から「人の顔」
というオブジェクトに対応するオブジェクトグラフを作
成することができる。また、得られた複数の画像構造グ
ラフのノードが持つ属性間の関係のうち、共通すると見
なせる関係をオブジェクト条件とすることができる。
【００３９】キーワード抽出処理部１１０は、オブジェ
クト抽出処理部１０８により部分グラフがオブジェクト
に置換された画像構造グラフを解析してオブジェクトと
オブジェクト間の関係をキーワードとして抽出する。こ
の例では、画像構造グラフ中に存在するオブジェクト番
号から定まるオブジェクト（ものに固有な名称）とオブ
ジェクトの画像中における相対的な位置、例えば、「人
の顔」というオブジェクトとこのオブジェクトのの位置
として「人の顔は画像の中央」というキーワードが抽出
できる。また、オブジェクト間の関係として、抽出した
オブジェクトの間の相対的な位置関係、例えば、「自動
車の左上に信号機」というキーワードを抽出できる。
クト抽出処理部１０８により部分グラフがオブジェクト
に置換された画像構造グラフを解析してオブジェクトと
オブジェクト間の関係をキーワードとして抽出する。こ
の例では、画像構造グラフ中に存在するオブジェクト番
号から定まるオブジェクト（ものに固有な名称）とオブ
ジェクトの画像中における相対的な位置、例えば、「人
の顔」というオブジェクトとこのオブジェクトのの位置
として「人の顔は画像の中央」というキーワードが抽出
できる。また、オブジェクト間の関係として、抽出した
オブジェクトの間の相対的な位置関係、例えば、「自動
車の左上に信号機」というキーワードを抽出できる。
【００４０】画像登録処理部１１１は、キーワード抽出
処理部１１０で抽出されたキーワードを入力画像に関連
づけて蓄積装置（図示せず）に登録する。
処理部１１０で抽出されたキーワードを入力画像に関連
づけて蓄積装置（図示せず）に登録する。
【００４１】以上、説明した画像登録装置を用いること
で、画像の登録時に人手によりキーワードを付与する手
間を省き、キーワードを指定することで容易かつ高速に
目的の画像を検索する検索装置を構成することができ
る。但し、本発明による画像登録装置によって抽出され
画像とともに登録されるキーワードは主としてもの固有
な名称であるため、検索時に検索キーとして指定された
キーワードの類義語も検索キーに加えて検索するように
画像検索装置を構成するほうが好ましい。
で、画像の登録時に人手によりキーワードを付与する手
間を省き、キーワードを指定することで容易かつ高速に
目的の画像を検索する検索装置を構成することができ
る。但し、本発明による画像登録装置によって抽出され
画像とともに登録されるキーワードは主としてもの固有
な名称であるため、検索時に検索キーとして指定された
キーワードの類義語も検索キーに加えて検索するように
画像検索装置を構成するほうが好ましい。
【００４２】
【発明の効果】以上、説明したように、本発明によれ
ば、登録したい画像を入力するだけで、自動的に客観性
のあるキーワードを画像から抽出して、画像とともにデ
ータベースに登録できるため、登録者が画像を登録する
時にキーワードを付与する手間を省くことができる。ま
た、検索は画像とともに登録されたキーワードを基に行
なうため、検索キーの指示が容易であり、また検索装置
の構成も単純にできる。
ば、登録したい画像を入力するだけで、自動的に客観性
のあるキーワードを画像から抽出して、画像とともにデ
ータベースに登録できるため、登録者が画像を登録する
時にキーワードを付与する手間を省くことができる。ま
た、検索は画像とともに登録されたキーワードを基に行
なうため、検索キーの指示が容易であり、また検索装置
の構成も単純にできる。
【図１】 本発明の実施例の画像登録装置を全体として
示すブロック図である。
示すブロック図である。
【図２】 実施例の画像登録装置の構成例を示すブロッ
ク図である。
ク図である。
【図３】 実施例における領域データを表現するラベリ
ング画像の例を示す図である。
ング画像の例を示す図である。
【図４】 実施例の属性テーブルの例を示す図である。
【図５】 実施例において領域間の位相関係を抽出する
際に用いるラベリング画像の例を示す図である。
際に用いるラベリング画像の例を示す図である。
【図６】 実施例において領域ごとの隣接領域を抽出し
た例を示す図である。
た例を示す図である。
【図７】 実施例の画像構造グラフの例を示す図であ
る。
る。
【図８】 図７の画像構造グラフに対応するラベリング
画像の例を示す図である。
画像の例を示す図である。
【図９】 実施例のオブジェクト辞書の例を示す図であ
る。
る。
【図１０】 実施例のオブジェクト抽出処理方法の処理
フローの例を示す図である。
フローの例を示す図である。
【図１１】 実施例のオブジェクト抽出処理後の画像構
造グラフの例を示す図である。
造グラフの例を示す図である。
１ 画像入力部 ２ 領域抽出部 ３ 領域属性抽出部 ４ 画像構造抽出部 ５ オブジェクト抽出部 ６ キーワード抽出部 ７ 画像登録部 １０１ 画像入力処理部 １０２ 画像データ記憶メモリ １０３ 領域抽出処理部 １０４ 領域 ／ 領域属性記憶メモリ １０５ 領域属性抽出処理部 １０６ 画像構造抽出処理部 １０７ 画像構造記憶メモリ １０８ オブジェクト抽出処理部 １０９ オブジェクト辞書 １１０ キーワード抽出処理部 １１１ 画像登録処理部
Claims (6)
- 【請求項１】 入力された画像を量子化して画像データ
を生成する画像入力手段と、 該画像入力手段により生成された前記画像データから類
似する特徴を持つ画素から構成される領域を抽出する領
域抽出手段と、 該領域抽出手段により抽出された領域の持つ物理情報を
属性として抽出する領域属性抽出手段と、 前記領域抽出手段により抽出された領域間の位相関係を
算出して画像を前記領域属性抽出手段により抽出された
属性を持つ領域の位相関係で表現する画像構造抽出手段
と、 該画像構造抽出手段により算出された属性を持つ領域間
の位相関係の一部またはすべてをオブジェクトで置換す
るオブジェクト抽出手段と、 該オブジェクト抽出手段で更新された属性を持つ領域間
の位相関係からオブジェクト、オブジェクトの相対位
置、およびオブジェクト間の位相関係をキーワードとし
て抽出するキーワード抽出手段と、 該キーワード抽出手段により抽出されたキーワードを前
記画像入力手段により生成された画像データとともにデ
ータベースに登録する画像登録手段とを有することを特
徴とする画像登録装置。 - 【請求項２】 前記領域属性抽出手段は、抽出する領域
属性として領域の色、大きさ、形状、テクスチャに関す
る特徴量を用い、少なくとも各１つ以上の領域の色、大
きさ、形状に関する特徴量を領域属性とすることを特徴
とする請求項１に記載の画像登録装置。 - 【請求項３】 前記画像構造抽出手段は、領域と領域と
の位相関係として、一致、重複、包含、接合もしくは排
他のいずれかの関係を抽出することを特徴とする請求項
１に記載の画像登録装置。 - 【請求項４】 前記オブジェクト抽出手段は、オブジェ
クトを構成する領域の属性とオブジェクトを構成する領
域間の位相関係とオブジェクトを構成する領域の属性間
の相対的な関係から適合するオブジェクトを判断するこ
とを特徴とする請求項１に記載の画像登録装置。 - 【請求項５】 画像データから類似する特徴を持つ画素
から構成される領域を抽出する領域抽出手段と、 該領域抽出手段により抽出された領域の持つ物理情報を
属性として抽出する領域属性抽出手段と、 前記領域抽出手段により抽出された領域間の位相関係を
算出して画像を前記領域属性抽出手段により抽出された
属性を持つ領域の位相関係で表現する画像構造抽出手段
と、 領域および領域間の位相関係と、対応するオブジェクト
との関係を記憶するオブジェクト情報記憶手段と、 前記オブジェクト情報記憶手段に記憶されている関係に
基づいて、前記属性を持つ領域および領域間の位相関係
を対応するオブジェクトに置換するオブジェクト抽出手
段と、 抽出された前記オブジェクト間の位相関係を抽出するオ
ブジェクト間位相関係抽出手段と、 該オブジェクト間位相関係抽出手段により抽出されたオ
ブジェクト間の位相関係を前記画像データを検索するた
めのキーワードとして登録するキーワード登録手段とを
有することを特徴とする画像登録装置。 - 【請求項６】 入力された画像を量子化して画像データ
を生成するステップと、 生成された前記画像データから類似する特徴を持つ画素
から構成される領域を抽出するステップと、 抽出された領域の持つ物理情報を属性として抽出するス
テップと、 抽出された領域間の位相関係を算出して画像を、前記領
域の位相関係で表現するステップと、 前記領域間の位相関係の一部またはすべてをオブジェク
トで置換するステップと、 前記オブジェクトで更新された領域間の位相関係から前
記オブジェクト、前記オブジェクトの相対位置、および
前記オブジェクト間の位相関係をキーワードとして抽出
するステップと、 抽出された前記キーワードを、生成された前記画像デー
タとともにデータベースに登録するステップとを有する
ことを特徴とする画像登録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20436896A JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20436896A JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005029962A Division JP2005141776A (ja) | 2005-02-07 | 2005-02-07 | 画像抽出装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049542A true JPH1049542A (ja) | 1998-02-20 |
| JP3661287B2 JP3661287B2 (ja) | 2005-06-15 |
Family
ID=16489365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20436896A Expired - Fee Related JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3661287B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003529122A (ja) * | 1999-07-02 | 2003-09-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア情報に対するメタ・ディスクリプタ |
| US6950554B2 (en) | 2000-07-18 | 2005-09-27 | Olympus Optical Co., Ltd. | Learning type image classification apparatus, method thereof and processing recording medium on which processing program is recorded |
| JP2007164300A (ja) * | 2005-12-09 | 2007-06-28 | Sony Computer Entertainment Inc | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
| JP2008165303A (ja) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム |
| JP2008269557A (ja) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | 画像検索装置、および画像検索方法 |
| US7486807B2 (en) | 2003-01-29 | 2009-02-03 | Seiko Epson Corporation | Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor |
| JP2010176479A (ja) * | 2009-01-30 | 2010-08-12 | Fujifilm Corp | 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法 |
| US8294727B2 (en) | 2006-04-28 | 2012-10-23 | Fujifilm Corporation | Metainformation add-on apparatus, image reproducing apparatus, methods of controlling same and programs for controlling same |
| JP2013513191A (ja) * | 2010-03-10 | 2013-04-18 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実における動的モデリングによる頑強なオブジェクト認識 |
| CN109934852A (zh) * | 2019-04-01 | 2019-06-25 | 重庆理工大学 | 一种基于对象属性关系图的视频描述方法 |
| JP2020149337A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立製作所 | 画像検索装置、画像検索方法およびコンピュータプログラム |
-
1996
- 1996-08-02 JP JP20436896A patent/JP3661287B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003529122A (ja) * | 1999-07-02 | 2003-09-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア情報に対するメタ・ディスクリプタ |
| US6950554B2 (en) | 2000-07-18 | 2005-09-27 | Olympus Optical Co., Ltd. | Learning type image classification apparatus, method thereof and processing recording medium on which processing program is recorded |
| US7486807B2 (en) | 2003-01-29 | 2009-02-03 | Seiko Epson Corporation | Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor |
| JP2007164300A (ja) * | 2005-12-09 | 2007-06-28 | Sony Computer Entertainment Inc | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
| US8294727B2 (en) | 2006-04-28 | 2012-10-23 | Fujifilm Corporation | Metainformation add-on apparatus, image reproducing apparatus, methods of controlling same and programs for controlling same |
| JP2008165303A (ja) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム |
| JP2008269557A (ja) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | 画像検索装置、および画像検索方法 |
| JP2010176479A (ja) * | 2009-01-30 | 2010-08-12 | Fujifilm Corp | 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法 |
| JP2013513191A (ja) * | 2010-03-10 | 2013-04-18 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実における動的モデリングによる頑強なオブジェクト認識 |
| US8866845B2 (en) | 2010-03-10 | 2014-10-21 | Empire Technology Development Llc | Robust object recognition by dynamic modeling in augmented reality |
| JP2020149337A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立製作所 | 画像検索装置、画像検索方法およびコンピュータプログラム |
| CN109934852A (zh) * | 2019-04-01 | 2019-06-25 | 重庆理工大学 | 一种基于对象属性关系图的视频描述方法 |
| CN109934852B (zh) * | 2019-04-01 | 2022-07-12 | 重庆理工大学 | 一种基于对象属性关系图的视频描述方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3661287B2 (ja) | 2005-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7437004B2 (en) | Method for processing data structures with networked semantic units | |
| KR101289085B1 (ko) | 객체 기반 영상 검색시스템 및 검색방법 | |
| US7031555B2 (en) | Perceptual similarity image retrieval | |
| JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
| US20030113017A1 (en) | Process for the automatic creation of a database of images accessible by semantic features | |
| US8379990B2 (en) | Object recognition apparatus, computer readable medium storing object recognition program, and image retrieval service providing method | |
| JPH11288465A (ja) | カラー画像処理装置及びパターン抽出装置 | |
| Erkut et al. | HSV color histogram based image retrieval with background elimination | |
| JP3661287B2 (ja) | 画像登録装置および方法 | |
| Fan et al. | Automatic model-based semantic object extraction algorithm | |
| JP2005141776A (ja) | 画像抽出装置および方法 | |
| CN109543077B (zh) | 社区搜索方法 | |
| Rusinol et al. | Interactive trademark image retrieval by fusing semantic and visual content | |
| WO2020235862A1 (en) | Image manipulation | |
| Zheng et al. | Design through cognitive color theme: A new approach for fabric design | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| CN107491814B (zh) | 一种用于知识推送的过程案例分层知识模型构建方法 | |
| JP2005353101A (ja) | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH07160725A (ja) | 画像検索装置 | |
| Xu et al. | Object-based image labeling through learning by example and multi-level segmentation | |
| JPH08263522A (ja) | 画像検索方法 | |
| Jyothi et al. | Computational color naming for human-machine interaction | |
| CN111553335A (zh) | 图像生成方法和装置及存储介质 | |
| Stottinger et al. | Translating journalists' requirements into features for image search | |
| Kumari et al. | A Study and usage of Visual Features in Content Based Image Retrieval Systems. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 19961023 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20020415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |