JPH05108728A - 画像のフアイリングならびに検索方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像データを簡便、迅速に検出する方法を提
供する。 【構成】 画像データのファイリング時には、画像の属
性を自動的に抽出、評価、判断、解釈し、これにより得
られた複数のキーワードを用いて短文を生成して当該画
像と共にファイリングする。また、画像の検索時には、
上記画像のキーワードを表示し、併せて検索論理を指定
し、その合致論理判断結果に従って上記短文を選定し、
対応する画像データを読み出す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は計測機、情報機器、各種
医療システム、印刷出版や観光サービスシステム等にお
ける画像情報の大量保存とその検索方法に関する。

【０００２】

【従来の技術】従来、多数の画像の中からを所望の画像
を検索する際には、一つのディスプレイ上に例えば１６
ないし６４枚の縮小画像を表示して、操作者が一べつし
て該当画面を探しだしたり、画像に題名を付してファイ
リングリストを作成し、これにより画像を指定して呼び
だすようにしていた。例えば特開昭５７−５９２７５号
公報には、画像情報にアドレスとキ−ワ−ドを付して記
憶するようにし、検索時には入力文章より検索論理式を
作成して対応するキ−ワ−ドを抽出して該当する画像を
読みだすようにすることが開示されている。また、特開
平３−１０１４１号公報には、各種医用画像に付帯情報
を付してファイリングし、検索時にはオペレ−タが入力
する付帯情報に基づいて検索用階層構造決定回路により
親子ノ−ドを形成して画像を検索するようにしていた。
また、特開昭６３−２５４８５６号公報には、画像登録
時に画像の統計情報を算出して登録するようにし、検索
時には他の検索情報を用いて検索した複数の候補画像を
上記統計情報により絞り込むようにし、この統計情報を
画像の濃度分布や、濃度分布の期待値や、画像のスペク
トル分布等より作成するようにすることが開示されてい
る。

【０００３】

【発明が解決しようとする課題】上記縮小画像を同時に
表示する方法では表示数が限られるため、多数の画像を
検索する場合には時間がかかりすぎるという問題があっ
た。また、上記画像に題名を付してファイリングリスト
を作成する方法には、人手によってその都度画像に題名
を付さなければならないという面倒さがある上、題名が
必ずしも適切ではないため、検索が困難になるという問
題があった。また、上記特開昭５７−５９２７５号公報
や特開平３−１０１４１号公報に開示の方法には、画像
情報にキ−ワ−ドや付帯情報を付して記憶する必要があ
り、これらの内容が適切でない場合には検索が混乱する
という問題があった。

【０００４】

【課題を解決するための手段】上記課題を解決するため
に、画像データを蓄積する際に、１枚の画像を短的な文
章に自動的に変換し、多数の中から特定の画像を検索す
る際にはこの文章を利用するようにする。このため、画
像の属性を自動的に抽出し、次いで上記抽出した画像の
各属性を自動的に数値化し、次いで上記画像の属性値を
自動的に評価して画像の主属性および、または属性毎の
特徴をキーワード（言葉）で表現し、次いで上記キーワ
ードを組合せて上記画像の短文を自動的に生成して上記
短文を上記画像に対応付けてファイリングするように
し、画像の検索時には、上記キーワードを表示して該当
するキーワードを選定し、同時に上記短文の検索論理を
指定して短文を検索し、上記検索した短文の合致論理判
断結果に従ってファイルから当該短文と当該画像を読み
だすようにする。

【０００５】さらに、上記画像の属性毎にそれぞれの属
性値範囲に対応する上記キ−ワ−ドのルックアップテー
ブルを備え、これにより上記キ−ワ−ドを索引するよう
にする。さらに、上記各属性値を各属性毎に正規化して
その最大値を示す属性に対応する上記キ−ワ−ドを画像
の主属性とするようにする。さらに、上記キ−ワ−ド
（言葉）を各属性を形容判断する複数個の言葉に変換
し、これと上記複数個の言葉を連結し、さらに重複する
言葉を削除するようにする。

【０００６】また、上記抽出された属性毎の特徴をエキ
スパートシステムにより評価、判断、解釈するようにす
る。また、上記属性毎の特徴抽出と属性の評価判断を画
像データを入力とするニューロコンピュータシステムに
より行うようにする。また、検索時にはファイルされた
画像群の各属性を表す言葉と各属性の程度を形容する言
葉の組を整理して表示するようにして、これ等の言葉の
選択によりキーワード入力や検索論理の指定を行うよう
にする。

【０００７】

【作用】たとえば色、色面積、部分の数、境界の性質、
位置、形等の画像の属性を数値化して画像の特徴を整理
評価し、これにより画像の主属性（画像の主特徴、例え
ば黄色部分が大きい等）と、各属性の特徴をキーワード
（言葉）化する。次いで上記キーワードを組合せて上記
画像を表す短文を自動的に生成し、画像と併せてファイ
リングする。検索時には、記録された上記短文またはキ
ーワード等を読みだして該当する言葉があるか否かを検
索し、検索した複数の言葉の合致論理判断に従って当該
短文と画像が読み出される。

【０００８】また、上記キ−ワ−ドは画像の各属性の属
性値範囲毎に対応するキ−ワ−ドを格納するルックアッ
プテーブルにより索引される。また、画像の主属性を示
すキ−ワ−ドは各属性値の中の最大値に対応して決定さ
れる。また、上記キ−ワ−ドにはその属性を形容する言
葉が付加されて上記短文生成に用いられる。

【０００９】また、エキスパートシステムにより上記抽
出された属性毎の特徴を評価、判断、解釈し、さらに、
ニューロコンピュータシステムにより画像データ入力か
ら上記属性毎の特徴を抽出し、属性を評価判断する。ま
た、検索時には表示された画像ファイル群の各属性を表
す言葉とその程度を形容する言葉を選択してキーワード
入力や検索論理の指定等が行われる。

【００１０】

【実施例】まず、図３により画像を短文に自動的に変換
する本発明の方法の基本概念について説明する。図３で
は風景を画面の主題としている。図３において、画像デ
ータは縦６０×横８０＝合計４８００の画素からなり、
各画素はＲＧＢの３原色の有無と黒白を含めて合計８色
で表現される。この画像の属性としては、色の相違によ
り区切られる部分、大きさ、形等があり、さらに境界に
接する隣の色や、境界線の方向等を上げることができ
る。また、これらの各属性は周知の画像処理技術により
数値化して検出することができる。

【００１１】例えば、色の種類をＫ，Ｂ，Ｒ，Ｖ，Ｇ，
Ｃ，Ｙ，Ｗと表すと、「１画素に含まれる原色がＲＧで
ある全ての画素の数は、色Ｙの面積に対応する」と言う
具合である。

【表１】 図３の画像を上記属性に従って処理すると表１が得ら
れ、これにより、画像内の各部分の性格を判断する。な
お、項番７の位置記号、L C R O 等は夫々左、中央、
右、隅を表す。また、項番９の大きさ表現では、画像全
体に占める面積の割合に対応して予め定められた範囲に
対応する言葉（形容句）の表（ルック・アップ・テーブ
ル）をみて一つの言葉を曖昧理論的に選択するようにす
る。

【００１２】上記画像内の各部分の性格は例えば次のよ
うに判断される。 判断: １．かなり広いＹ色の下方の地と、やや広いＣ色の上方
の地が接し画面を二分している。 ２．広いＢ色の３角部分が、Ｙ地とＣ地の間に水平線を
Ｃ地に接して、傾斜線をＹ地に接して存在する。 ３．Ｇ色の曲線と水平線で囲まれた凸部分Ｇ2 が、画面
の上方右に、Ｙ地とＣ地の間に水平線をＹ地に接して存
在する。 ４．画面の中央付近にＷ色の４角部分がＹ地とＣ地の間
に存在し、Ｃ地の中のＲ色３角部分と、Ｙ地の中のＷ色
４角部分Ｗ2 に接している。 ５．Ｃ地の上方左よりには、Ｃ地に囲まれたＷ色の曲線
(で囲まれた)凸部分Ｗ1と、小さいＫ色の曲線部分Ｋ1、
Ｋ2が存在する。 ６．Ｙ地の下方中よりには、Ｙ地に囲まれてＧ色の曲線
凸部分Ｇ1 が存在する。 ７．Ｒ色３角部分の上部には、Ｋ色の水平垂直の小さい
線像Ｋ3 が見える。 ８．Ｗ色４角部分には、Ｋ色の小さい４角部分Ｋ4 が見
える。 次いで上記の判断に従って、例えば「上部を水平な境界
線で区切られた、青系統の一番上にない部分は［海］で
ある」と云う風に解釈し、このような解釈を一つづつ重
ねていく。勿論、一つの解釈には２個以上の判断が同時
に用いる場合が多いから解釈プログラムは複数の属性に
対応している必要がある。

【００１３】このような処理の結果として、例えば次ぎ
のような解釈が得られる。 解釈: １．黄色の広い丘Ｙと、青空Ｃが画面を二分する。 ２．青空Ｃの下、黄色の丘Ｙの向うには紺色の海Ｂがあ
る。 ３．緑の森Ｇ2 が黄色の丘Ｙの上、右の方に連なってい
る。 ４．黄色の丘Ｙの中腹には、赤い三角屋根Ｒの白い建物
Ｗ2 がある。 ５．青空Ｃには、白い雲Ｗ1 が見える。 ６．黄色の丘Ｙの手前には、緑の木立Ｇ1 が見える。 ７．赤い三角屋根Ｒの天辺には、十字架Ｋ3 がある。
「教会の塔」。 ８．青空Ｃには、小さく黒い鳥が２個浮かんでいる。
「遠い鳥影」。 ９．白い建物Ｗ2 には、黒い四角の窓Ｋ4 がある。

【００１４】以上の解釈に含まれる複数のキーワード
「丘」「空」等は、属性そのものであり、各属性を評価
または限定するする形容句「黄色の」「広い」「青」等
と結合され、複数個の小節となる。また、飛び抜けて広
い面積を占める色部分としてＹがあることからＹをこの
画像の主属性と解釈する。更に、「二分」「下」「向
う」等の言葉は画面における画像部分の位置関係や大き
さによって選定され、先の小節に結付けられて節とな
る。これ等の解釈を総合して、実際には複数個の節、小
節を連結し意味が重なる所を除いて、次の様な短的な文
章が導かれる。

【００１５】短文:白雲浮かぶ青空の下、緑の森に連な
る黄色の丘の向うには紺色の海が広がり、遠くに２羽の
鳥影が、丘の中腹に赤い屋根の白い教会が、丘の手前に
は木立が見える。上記の単文が得られたならばこの画像
を光ディスク等に記録保存する際に、これをテキスト
（文字を表す記号の集合）として光ディスクの一定の領
域に記録するようにする。

【００１６】また、画像データと上記短文テキストとの
共通の名称がファイル名として記録媒体に登録される。
このファイル名は一般的には人手によって入力されるが
画像の主属性である「黄色の丘」をファイル名として自
動的に登録するようにすることもできる。また、上記登
録された画像を検索する際には、上記短文中の「黄色の
丘」「青空」「紺色の海」「緑の森」「赤い屋根」「白
い教会」「白雲」「木立」「鳥」等のキーワードを順次
読出して検索していくようにする。このような検索技術
は大量のテキストを扱うデータベース関係では普遍的な
ものである。例えば、上記９個のキーワードの論理積が
得られたならば図３の画像が検索できたことになる。し
かしながら、同一属性の他の画像が記録されている可能
性もあるので、図３の画像のみが検索されるとは限らな
いが、すくなくとも上記検索結果には図３の画像が必ず
含まれていることになる。

【００１７】また、検索すべき画面が「青空のある風景」
であれば、キーワードに「青空」のみを入力することに
なる。また、キーワードの論理和により検索することも
できる。例えば「少なくとも空と海か、黄色の丘が存在
する」として検索する場合には、「空」・「海」＋「黄
色」・「丘」と入力することになる。上記のようにファ
イルの検索とは、指定されたキーワードと論理的に合致
する短文テキストを探しだすことである。短文テキスト
が検出されると対応する画像データのファイルが読出さ
れ、画像用の一時記憶メモリ（ＶＲＡＭ）に転写され、
適当なカラー表示装置に表示される。

【００１８】また、画像データをランダムファイルに記
録する場合には、当該画像のランダムファイル番号を上
記短文テキストの先頭などに記録しておくようにする
と、短文テキストの検出と同時に該当する画像ファイル
を開いて画像データの読出すことができ、さらに、ハー
ドコピー装置により当該画像のコピ−を同時的に作成す
ることができる。

【００１９】図１は上記画像ファイリングの流れを示す
フロ−チャ−トである。ステップ１０において画像デー
タを入力し、ステップ２０にてこれに所要の画像処理を
加えてその属性を抽出する。次いでステップ３０にて抽
出された各属性値を計算して評価する。ステップ４０で
は上記評価結果を用いて各属性を順次判断解釈し、ステ
ップ５０にて上記判断解釈結果を連結単純化して短文を
生成する。最後にステップ６０にて上記短文を短文ファ
イルに登録し、対応する画像データを画像ファイルに格
納する。なお、ステップ１０にて公知のデータ圧縮技術
により入力画像データを次ぎの属性抽出処理に適した画
素数に圧縮する場合があり、処理時間の短縮される。ま
た、ステップ６０にて画像データ量を縮小して画像ファ
イル化する場合もあり、画像再生にはデータの伸展する
ようにする。ステップ６０では、短文と画像の両ファイ
ルを同一記録媒体内の区別された領域に別個に保存す
る。

【００２０】図４は光ディスク等における上記ファイル
領域の一例であり、定サイズの画像データファイル領域
６４と短文を格納するテキストファイル領域６２が設け
られている。このテキストファイル領域は画像データ容
量に比べて微かであるから多数の画像データ領域の中の
一部を流用することもできる。例えば、図４における画
像データ領域６４の個数を１０００とし、その中の一つ
の画像データ領域６２をテキスト領域に割付け、これに
最大９９９個の短文ファイル６３を格納するようにす
る。このように、短文と画像の両ファイルを同一記録媒
体に格納することによりシステムの周辺を単純、小型化
できるので記録媒体の管理が容易になる。また、短文を
磁気ハードディスクに格納し、画像データファイルを光
ディスクに格納するようにしてもよいこと勿論である。

【００２１】図５は上記短文ファイルの構成例である。
１個の短文ファイル６３には短文６６、画像ファイル番
号６７、文字数６８、キーワード数６９等が記録され検
索に利用される。短文ファイル６３は１短文１ファイル
である必要は無く、短文検索時間を短縮するためにファ
イル設計に応じて、複数個の記録ブロック６３を１個の
シーケンシャル・ファイルとすることもできる。

【００２２】図２は検索の流れを示すフロ−チャ−トで
ある。ステップ７０にて所要の画像が保存されている記
録媒体を選択し、ステップ８０にて所要の画像を表現す
る適当なキーワードを入力し、同時に検索論理指定を行
う。この検索論理とは与えられた複数個のキーワードの
間の優先度や限定を指示する論理積や論理和等の組合せ
のことであり、これによりステップ９０にて所要画像に
対応する短文が検索される。ステップ１００ではその間
に多数の短文の合致論理判断が行い、ステップ１１０に
て該当する短文を検出して対応する画像データを読み出
す。

【００２１】通常、異なる類似画像が存在する場合を考
慮して当該ファイルが見つかった後も検索を続行するの
で、複数個の画像データが読出される場合が生じる。こ
のような場合には、最初に短文ファイルだけを検索して
検出された短文ファイルにある画像ファイルの名称を記
憶しておき、短文ファイル検索完了後に一括して画像デ
ータを読出すようにすることもできる。また、ステップ
１００にて合致度合を評価するようにしてこの評価値も
合わせて記憶し、評価の高い順に画像データを読出して
表示することもできる。この結果、求める画像が早期に
表示され視認することができるので画像検索時間を短縮
することができる。また、最終的に確定した画像データ
はハードコピーに取ることもできる。

【００２２】図６は図１における属性評価３０、属性判
断解釈４０、短文生成５０等のステップを”Ｉｆ
．．．ｔｈｅｎ ．．．”文の集合による１つのエキ
スパート・システムを用いたステップ１３０にて行うよ
うにした本発明による他のファイリングの流れ図であ
る。図７は図１における属性抽出２０、判断評価３０、
属性判断解釈４０等のステップを１個のニューラル・ネ
ットワークを用いる処理ステップ１４０に置き換えた場
合である。ニューラル・ネットワーク学習機能により、
例えば特定の専門分野の画像に対する「画像−短文」変
換を高い効率で実行することができる。

【００２３】通常、データベース検索には公衆回線を使
用し、また検索に際してはキーボード入力によりキーワ
ードや検索論理の指定を行うので、検索を開始するまで
の時間が長いという問題があった。しかし、本発明のフ
ァイリング方法では、かなりの水準の前検索が公衆回線
を用いて実行できるうえ、蓄積される画像のジャンルや
対象毎に判断すべき属性を限定できるので、画像の属性
毎にそれぞれの属性値範囲に対応する上記キ−ワ−ドの
ルックアップテーブルを備えるようにして上記キ−ワ−
ドを索引することができる。また、上記キ−ワ−ドを索
引する予め関連する言葉の組を一括して表示しておき、
これを操作者が適当なポインティング・デバイスにより
選択するようにして画像の検索を迅速化することができ
る。

【００２４】

【発明の効果】本発明により、画像の特徴を抽出し、こ
れを表現するキ−ワ−ドや短文を生成できるので、ファ
イルする画像データに対応づけて自動的に上記短文をテ
キストファイル化することができる。これにより、従来
は人手に頼っていた画像名やキ−ワ−ドその他の付帯情
報を付加する手間を省略することができ、また、上記付
帯情報が不適切なことによる検索の混乱を回避すること
ができる。また、画像の検索時には上記キ−ワ−ドを表
示して選定し、さらに、選定した複数の上記キ−ワ−ド
を連結して上記短文を選定する論理により所要の画像フ
ァイル検出するので、検索速度を早めることができる。
上記の特長により、とくに大量の画像を取扱う装置の画
像ファイリングと同検索の効率を向上することができ
る。

【図面の簡単な説明】

【図１】本発明による画像ファイリングの流れを示すフ
ロ−チャ−トである。

【図２】本発明による検索の流れを示すフロ−チャ−ト
である。

【図３】短文自動生成を説明するための画像例である。

【図４】光ディスク等における本発明のファイル領域例
を示す図である。

【図５】本発明による短文ファイルの構成例を示す図で
ある。

【図６】本発明による他のファイリング方法の流れ図で
ある。

【図７】本発明による他のファイリング方法の流れ図で
ある。

【符号の説明】

１０ 画像データ入力 ２０ 属性抽出 ３０ 属性評価 ４０ 属性判断解釈 ５０ 短文生成 ６０ 短文／画像ファイル化 ７０ 記録媒体選択 ８０ キーワード入力／検索論理指定 ９０ 短文検索 １００ 合致論理判断 １１０ 短文検出／画像データ読出 １２０ 画像表示／ハードコピー １３０ エキスパート・システム １４０ ニューラル・ネットワーク

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像のファイリング方法ならびに検索方
   法において、画像の属性を自動的に抽出し、次いで上記
   抽出した画像の各属性を自動的に数値化し、次いで上記
   画像の属性値を自動的に評価して画像の主属性および、
   または属性毎の特徴をキーワード（言葉）で表現し、次
   いで上記キーワードを組合せて上記画像の短文を自動的
   に生成して上記短文を上記画像に対応付けてファイリン
   グするようにし、画像の検索時には、上記キーワードと
   上記短文の検索論理を指定し、その合致論理判断結果に
   従って上記短文を検索し、上記検索した短文に対応する
   画像を読みだすようにしたことを特徴とする画像のファ
   イリングならびに検索方法。
2. 【請求項２】 請求項１において、上記画像の属性毎に
   それぞれの属性値範囲に対応する上記キ−ワ−ドのルッ
   クアップテーブルを備え、これにより上記キ−ワ−ドを
   索引するようにしたことを特徴とする画像のファイリン
   グならびに検索方法。
3. 【請求項３】 請求項１および２において、上記各属性
   値を各属性毎に正規化してその最大値を示す属性に対応
   する上記キ−ワ−ドを画像の主属性とするようにしたこ
   とを特徴とする画像のファイリングならびに検索方法。
4. 【請求項４】 請求項１ないし３のいずれかにおいて、
   画像の各属性に対応する複数の属性値範囲に対応する上
   記キ−ワ−ド（言葉）を各属性を形容判断する複数個の
   言葉に変換し、上記キ−ワ−ドと前記複数個の言葉を連
   結して一つの文章を自動的に生成するようにしたことを
   特徴とする画像のファイリングならびに検索方法。
5. 【請求項５】 請求項４において、上記キ−ワ−ドとそ
   の程度を形容する複数個の言葉とを連結し、同時に重複
   する言葉を削除して一つの文章を自動的に生成するよう
   にしたことを特徴とする画像のファイリングならびに検
   索方法。
6. 【請求項６】 請求項１ないし５のいずれかにおいて、
   上記抽出された属性毎の特徴をエキスパートシステムに
   より評価、判断、解釈するようにしたことを特徴とする
   画像のファイリングならびに検索方法。
7. 【請求項７】 請求項１なし６のいずれかにおいて、上
   記属性毎の特徴抽出と属性の評価判断を画像データを入
   力とするニューロコンピュータシステムにより行うよう
   にしたことを特徴とする画像のファイリングならびに検
   索方法。
8. 【請求項８】 請求項１なし７のいずれかにおいて、フ
   ァイルされた画像群の各属性を表す言葉と各属性の程度
   を形容する言葉の組を整理して表示するようにし、検索
   に際してはこれ等の言葉の選択によりキーワード入力や
   検索論理の指定を行うようにしたことを特徴とする画像
   のファイリングならびに検索方法。