JPH1153511A

JPH1153511A - 画像処理装置および方法および記憶媒体

Info

Publication number: JPH1153511A
Application number: JP9206094A
Authority: JP
Inventors: Kentaro Matsumoto; 健太郎松本; Yuji Kobayashi; 雄二小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-07-31
Filing date: 1997-07-31
Publication date: 1999-02-26

Abstract

(57)【要約】【課題】検索にかかる時間と表示の処理の遅さを解決
することと、検索もれを減らすことを課題とする。【解決手段】画像を解像度ごと、さらに領域ごとに属
性情報をもたせ、それぞれで検索を可能とし、検索され
た領域のみを表示させるので高速処理を可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データの処理
に用いられる画像処理装置とその方法及びその処理をコ
ンピュータに実現させることが可能なプログラム記録媒
体に関する。

【０００２】

【従来の技術】従来用いられている画像フォーマットの
例を図２１に示す。図２１に示すように、画像ファイル
はヘッダ部と画像データ部に分けられる。一般的にヘッ
ダ部には、その画像ファイルからデータを読み取るとき
に必要な情報や、画像の内容を説明する付帯的な情報が
格納される。図２１の例ではその画像フォーマット名を
示す画像フォーマット識別子、ファイルサイズ、画像の
幅・高さ・深さ、圧縮の有無、カラーパレットの情報、
解像度、画像データの格納位置へのオフセットなどの情
報が格納されている。画像データ部は画像データを順次
格納している部分である。このような画像フォーマット
の代表的な例としては、Microsoft社のBMPフォーマット
やCompuserve社のGIFフォーマットなどが広く普及して
いる。

【０００３】この画像ファイルをデータベースに保存し
検索利用する場合、従来は１枚の画像に対して、言語ベ
ースのキーワード・説明文を関係付けていた。すなわ
ち、図４の例では１枚の画像に対して、空・海・太陽・
ヨット・男性・女性というキーワードが付与されてい
る。この画像とキーワードとの対応を表したデータテー
ブルは図１４に示される。利用者がヨットという単語を
検索キーとして入力すると、キーワードが一致した結果
としてこの画像が得られる。

【０００４】

【発明が解決しようとする課題】従来例では、画像のな
かに複数の人物や物体、特徴の異なるものがあっても、
付与されているキーワードはすべて１枚の画像に対する
属性情報として扱うことしかできなかった。そのため
に、キーワード検索の結果抽出された画像を表示する
際、キーワードに対応する内容が画像中のどの位置にあ
るかに関わらず画像全体を表示する必要があり、画像サ
イズによっては表示するために膨大な時間がかかった。

【０００５】また、表示の際に時間がかかる問題を解決
するために、解像度の低い画像から順次解像度を高いも
のを表示する方法もあるが、この場合でも画像の詳細部
分が表示されるまではやはり時間がかかること、検索対
象としている物体が見たいのに画像全体を表示する必要
があるという問題点が残った。

【０００６】また、一種類の画像に対して属性情報は１
画像に対してしか扱うことができず、解像度の低い画像
を表示する際もオリジナル画像の属性情報により検索し
た結果を低解像度で表示しているだけであり、検索から
表示にかかる時間や検索から所望の画像が落ちてしまう
などの問題点があった。

【０００７】また、従来例では、１つの画像に複数解像
度の画像を有している場合であっても、キーワードや画
像特徴量などの属性情報は１つの画像に対する属性情報
としていか扱うことができなかった。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
めに本発明の画像処理装置は、ある画像に対して解像度
の異なる複数の画像を有する画像ファイルの各々の画像
に対して、属性情報と画像指定情報とを格納する属性情
報記憶手段を持たせたことを特徴とする。

【０００９】また、前記画像指定情報は、前記画像の解
像度を表す解像度情報であることを特徴とする。

【００１０】また、検索情報と解像度情報とを入力する
入力手段と、前記入力手段で入力された解像度情報に対
応する解像度の前記画像において、入力された検索情報
に対応する属性情報を検索する検索手段とを更に有する
ことを特徴とする。

【００１１】また、前記属性情報は、キーワードである
ことを特徴とする。

【００１２】また、前記属性情報は、画像の特徴を表す
画像特徴量であることを特徴とする。

【００１３】また、前記画像は、複数の領域に分割され
ており、前記属性情報は、前記領域の前記画像における
位置を表す位置指定情報であることを特徴とする。

【００１４】また、前記検索情報は、キーワード、画像
特徴量、位置指定情報のうちのいずれかであることを特
徴とする。

【００１５】前記検索手段により検索された画像を表示
する表示手段を更に有することを特徴とする。

【００１６】また、前記画像は、複数の領域に分割さ
れ、該各々の領域を指定する領域指定情報を前記属性情
報記憶手段に格納しており、前記検索手段により検索さ
れた画像の領域のみを前記領域指定情報に基づいて選択
し、前記表示手段に表示させるよう制御する制御手段を
更に有することを特徴とする。

【００１７】また、前記入力手段から第2解像度情報を
入力し、前記検索手段により前記解像度情報で検索され
た画像に対応する前記第２解像度情報が示す解像度の画
像を選択し、該選択された画像の中から前記検索情報に
対応する属性情報を前記検索手段により再検索する再検
索手段を更に有することを特徴とする。

【００１８】また、本発明の画像処理方法は、複数の画
像を有する画像ファイルの各々の画像に対する属性情報
と画像指定情報とをメモリに格納する属性情報記憶工程
を有することを特徴とする。

【００１９】また、本発明のコンピュータで読み取り可
能な記憶媒体は、複数の画像を有する画像ファイルの各
々の画像に対する属性情報と画像指定情報とをメモリに
格納する属性情報記憶工程を有することを特徴とする。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明を詳
細に説明する。

【００２１】図１は、本発明の全体構成の一例である。

【００２２】図示の構成において、11はマイクロプロセ
ッサ（ＣＰＵ）であり、画像情報検索のための演算、論
理判断等を行い、アドレスバスＡＢ、コントロールバス
ＣＢ、データバスＤＢを介して、それらのバスに接続さ
れた各構成要素を制御する。

【００２３】アドレスバスＡＢはＣＰＵ11の制御の対象
とする構成要素を指示するアドレス信号を転送する。コ
ントロールバスＣＢはＣＰＵ11の制御の対象とする各構
成要素のコントロール信号を転送して印加する。データ
バスＤＢは各構成機器相互間のデータ転送を行う。

【００２４】次に12は読み出し専用の固定メモリ（ＲＯ
Ｍ）である。本発明の画像処理装置を実現するための画
像検索プログラム（図２２、図２４、図２５）が格納さ
れている。

【００２５】13は１ワード１６ビットで構成される書込
み可能なランダムアクセスメモリ（ＲＡＭ）であって、
各構成要素からの各種データの一時記憶に用いる。図示
されないが、ＲＡＭ13には入力検索語格納バッファWBU
F、検索対象タイル番号格納バッファTBUF、検索対象画
像特徴格納バッファFBUF、検索結果出力バッファOBUFが
一時記憶される。

【００２６】14はハードディスク等の外部メモリ（ＤＩ
ＳＫ）であり、図９において後述する画像IDと画像ファ
イル格納パスを対応づけた参照テーブル、図１０におい
て後述する画像IDとタイルのキーワード、画像特徴量を
対応づけた参照テーブル、図１１において後述するキー
ワードと画像ID、タイル番号を対応づけた参照テーブ
ル、図１２において後述する位置指定語とタイル番号を
対応づけた参照テーブル、図１３において後述する画像
特徴語と画像特徴とを対応づけた参照テーブル、図１５
において後述する構造で格納された画像データファイ
ル、図２４中のS202の工程において参照される単語分
割、単語種別判定のための情報を格納した単語辞書DIC
が格納される。画像データファイル等は、必要に応じて
保管され、また、保管されたデータはキーボードの指示
により、必要な時呼び出される。また、フロッピーディ
スクやＣＤ−ＲＯＭ等の記憶媒体である外部メモリもＤ
ＩＳＫ14に含むものとする。

【００２７】15はキーボード（ＫＢ）であり、アルファ
ベットキー、ひらがなキー、カタカナキー、句点等の文
字記号入力キー、検索を指示する検索キーおよび、カー
ソル移動を指示するカーソル移動キー等のような各種の
機能キーを備えている。

【００２８】16は表示用ビデオメモリ（ＶＲＡＭ）であ
り、表示すべきデータのパターンを備える。

【００２９】17はＣＲＴコントローラ（ＣＲＴＣ）であ
り、表示用ビデオメモリＶＲＡＭ16に蓄えられた内容を
表示器ＣＲＴ１８に表示する役割を担う。

【００３０】18は陰極線管を用いた表示装置（ＣＲＴ
Ｃ）であり、表示手段であるその表示装置ＣＲＴにおけ
るドット構成の表示パターンおよびカーソルの表示をＣ
ＲＴコントローラ17で制御する。

【００３１】19はネットワークコントローラ（ＮＩＣ）
であり、Ethernetなどのネットワークに接続する役割を
担う。

【００３２】かかる各構成要素からなる本発明画像処理
装置においては、キーボードＫＢ15からの入力およびネ
ットワークコントローラ19からの入力が供給されると、
まず、インタラプト信号がマイクロプロセッサＣＰＵ11
に送られ、そのマイクロプロセッサＣＰＵ11が外部メモ
リＤＩＳＫ14内に記憶してある各種の制御信号を読み出
し、それらの制御信号に従って、各種の制御が行われ
る。

【００３３】図２は図５に示す画像を複数のタイルに分
割した例を示している。この例では対象となる画像を縦
方向４タイル、横方向５タイルの計２０タイルに分割し
ている。図中の数字はタイル番号を示しており、画像の
左上から０、１、２．．．のように順次番号付けされて
いる。

【００３４】次のこのように画像をタイルに分割する画
像フォーマットの例を示し説明する。

【００３５】〔FlashPixTMファイルフォーマットの説
明〕以後説明するFlashPix^TM(FlashPixは米国Eastman K
odak社の登録商標)ファイルフォーマットでは、上記画
像ヘッダ部に格納されていた画像属性情報および画像デ
ータをさらに構造化してファイル内に格納する。この構
造化した画像ファイルを図１５、図１６に示す。

【００３６】ファイル内の各プロパティやデータにはMS
-DOSのディレクトリとファイルに相当する、ストレージ
とストリームによってアクセスする。図１５、図１６に
おいて、影付き部分がストレージで影なし部分がストリ
ームである。画像データや画像属性情報はストリーム部
分に格納される。画像データは異なる解像度で階層化さ
れておりそれぞれの解像度の画像をSubimageと呼び、Re
solution 0, 1,...nで示してある。各解像度画像に対し
て、その画像を読み出すために必要な情報がSubimage h
eaderに、また画像データがSbuimage dataに格納され
る。

【００３７】プロパティセットとは属性情報をその使用
目的、内容に応じて分類して定義したもので、Summary
Info. Property Set, Image Info. Property Set, Imag
e Content Property Set、Extension list property Se
tがある。

【００３８】〔各プロパティセットの説明〕１つめのSu
mmary Info. Property SetはFlashPix特有のものではな
く、Microsoft社のストラクチャードストレージでは必
須のプロパティセットで、そのファイルのタイトル・題
名・著者・サムネール画像等を格納する。

【００３９】２つめのImage Contents Property Setは
画像データの格納方法を記述する属性である(図１９)。
この属性には画像データの階層数、最大解像度の画像の
幅、高さや、それぞれの解像度の画像についての幅、高
さ、色の構成、あるいはJPEG圧縮を用いる際の量子化テ
ーブル・ハフマンテーブルの定義を記述する。

【００４０】３つめのImage Info. Property Setは画像
を使用する際に利用できるさまざまな情報、例えば、そ
の画像がどのようにして取り込まれ、どのように利用可
能であるかの情報を格納する。例えば以下のようなもの
がある。・デジタルデータの取り込み方法／あるいは生成方法
に関する情報（ File Source）・著作権に関する情報（ Intellectual property ）・画像の内容（画像中の人物、場所など）に関する情
報（ Content description ）・撮影に使われたカメラに関する情報（Camera inform
ation）・撮影時のカメラのセッティング（露出、シャッター
スピード、焦点距離、フラッシュ使用の有無など）の情
報（ Per Picture camera settings ）・デジタルカメラ特有解像度やモザイクフィルタに関
する情報（ Digital camera characterization ）・フィルムのメーカ名、製品名、種類（ネガ／ポジ、
カラー／白黒）などの情報（ Film description ）・オリジナルが書物や印刷物である場合の種類やサイ
ズに関する情報（ Original document scan descriptio
n ）・スキャン画像の場合、使用したスキャナやソフト、
操作した人に関する情報（ Scan device ）

【００４１】４つめのExtension list property Setは
上記FlashPixの基本仕様に含まれない情報を追加する際
に使用する領域である。

【００４２】図１６のFlashPix Image View Objectは画
像を表示する際に用いるビューイングパラメータと画像
データをあわせて格納する、画像ファイルである。ビュ
ーイングパラメータとは画像の回転、拡大／縮小、移
動、色変換、フィルタリングの処理を画像表示の際に適
応するために記憶しておく処理係数のセットである。

【００４３】Source/Result FlashPix Image ObjectはF
lashPix画像データの実体であり、Source FlashPix Ima
ge Objectは必須、Result FlashPix Image Objectはオ
プションである。Source FlashPix Image Objectはオリ
ジナルの画像データを、Result FlashPix Image Object
はビューイングパラメータ使ってを画像処理した結果の
画像を格納する。

【００４４】Source/Result desc. Property setは上
記、画像データの識別のためのプロパティセットであ
り、画像ＩＤ、変更禁止のプロパティセット、最終更新
日時等を格納する。

【００４５】Transform property setは回転、拡大／縮
小、移動のためのAffine変換係数、色変換マトリクス、
コントラスト調整値、フィルタリング係数を格納してい
る。

【００４６】次に画像データの取り扱いについて説明す
る。

【００４７】タイルに分割された複数の解像度の画像を
含む画像フォーマットの説明をする。

【００４８】図に解像度の異なる複数の画像から構成さ
れる画像ファイルの例を示す。図１７で最大解像度の画
像は列×行がＸ０×Ｙ０で構成されており、その次に大
きい画像はＸ０／２×Ｙ０／２であり、それ以降順次、
列・行ともに１／２づつ縮小し、列・行ともに６４画素
以下あるいは等しくなるまで繰り返す。

【００４９】このように階層化した結果、画像の属性情
報として「１つの画像ファイル中の階層数」やそれぞれ
の階層の画像に対して、従来の画像フォーマットの項で
説明したヘッダ情報と画像データが必要となる。１つの
画像ファイル中の階層の数や最大解像度の画像の幅、高
さ、あるいはそれぞれの解像度の画像の幅、高さ、色構
成、圧縮方式等に関する情報は前記Image Contents Pro
perty Set図１９中に記述される。

【００５０】さらに各解像度のレイヤの画像は図１８に
示すように６４×６４のタイルに分割されている。画像
の左上部から順次６４×６４のタイルに分割をすると、
画像によっては右端および下端のタイルの一部に空白が
生ずる場合がある。この場合はそれぞれ最右端画像また
は最下端画像を繰り返し挿入することで、６４×６４画
素を構築する。FlashPix^TMではそれぞれのタイル中の画
像をJPEG圧縮、シングルカラー、非圧縮のいずれかの方
法で格納する。JPEG圧縮はISO/IEC JTC1/SC29により国
際標準化された画像圧縮方式であり、方式自体の説明は
ここでは割愛する。このようにタイル分割された画像デ
ータはSubimage dataストリーム中に格納され、タイル
の総数、個々のタイルのサイズ、データの開始位置、圧
縮方法はすべてSubimage header(図２０)に格納されて
いる。

【００５１】シングルカラーとは、前記１つのタイルが
すべて同じ色で構成されている場合にのみ、個々の画素
の値を記録することなく、そのタイルの色を１色で表現
する方式である。この方法は特に、コンピュータグラフ
ィックスにより生成された画像で有効である。

【００５２】このように画像を階層化した上に各画像を
タイルに分割すると、従来キーワードで記述されていた
画像中の特徴的な部分が、それぞれのタイルに分離さ
れ、それぞれのキーワードを含むタイルと含まないタイ
ルとに分けられる。

【００５３】図２の画像はFlashPixフォーマットように
階層的に画像を持つと、図２３のようになる。FlashPix
フォーマットの画像ファイルは、複数の解像度の画像を
持っている。ここで、最低解像度の画像を解像度０（レ
イヤー番号０）とし、順に解像度１、２、３と割り振
る。この解像度を表す数値情報である解像度情報を画像
指定情報（レイヤー番号）と以後述べる。この画像ファ
イルを解像度のレイヤー毎に分割し、分割された画像デ
ータを６４×６４画素のタイルに分割し、その各々のタ
イルに含まれるキーワードを記述すると図３になる。す
なわち、画像指定情報であるレイヤー番号３において、
タイル０、１、２、５、１０には空、タイル３、４、
８、９には空と太陽、タイル６、１１には空と男性、タ
イル７、１２には空と女性、タイル１３、１４には空と
ヨット、タイル１５には海、タイル１６には海と男性、
タイル１７には海と女性、タイル１８、１９には海とヨ
ットのキーワードが割り当てられる。同様にレイヤー番
号０には、タイル０に空、太陽、海、男性、女性、ヨッ
トのキーワードが割り当てられる。

【００５４】図４は図２に示す画像のタイル１３、１
４、１８、１９によって構成される部分画像を示す。

【００５５】図６、図７、図８も図２と同様に２０個の
タイルに分割して格納された画像の例である。

【００５６】図９は本発明における画像IDと画像ファイ
ル格納パスを対応づけたテーブルを示している。901は
画像IDを示し、１つの画像ファイルにつき一意に付与さ
れた識別番号である。902は画像IDに対応する画像ファ
イルの外部メモリＤＩＳＫ14における格納先を示すファ
イルパスであり、MS−DOSのディレクトリとファイルに
相当する。

【００５７】図１０は画像IDと画像指定情報であるレイ
ヤー番号と領域指定情報であるタイル番号、属性情報で
あるキーワードと画像特徴を対応づけたテーブルを示
す。1001は図９の901と対応する画像IDを格納し、1002
は各画像IDが持つタイル番号を格納する。1003はタイル
番号1002に対応するタイルに描画されている画像特徴を
言葉にしたもので、キーワードを文字コード（例えばun
icode）で格納する。キーワードは１つのタイル番号に
ついて複数個格納してもよい。1004はタイル番号に対応
するタイルの画像特徴を格納する。画像特徴として、本
発明では特にタイルの代表色として、タイルを構成する
RGB各画素値の平均をとり、27色に減色した色成分を用
いる。減色の方法についてはRGB各画素値を単純に分割
する方法や参照テーブルを用いる方法など公知の手法を
用いる。図において画像IDが1024であるがぞは20個のタ
イルをもち、タイル番号０のタイルには「空」というキ
ーワードが付与され、画像特徴として「11」という色成
分が付与されている。1005はレイヤー番号であり、ここ
では割愛してレイヤー３の高解像度の画像データについ
てのみ対応づけられているが、もちろんすべてのレイヤ
ー（０、１、２、３、…）について図１０の対応テーブ
ルに挿入されるものである。

【００５８】図１１はキーワードと画像ID、タイル番
号、レイヤー番号を対応づけたテーブルであり、図１１
のテーブルは図１０の1003に示すキーワードごとに対応
する画像ID、タイル番号をまとめたテーブルであり、11
01はキーワード、1102は1101のキーワードに対応する画
像IDを格納し、1103は画像IDに対応するタイルのうちキ
ーワード1101を持つタイル番号を格納する。1104は画像
IDに対応するレイヤー番号を格納する。ここでは割愛し
てレイヤー３のみ格納されているが、すべてのレイヤー
（０、１、２、３、…）が対応テーブルに格納されてい
るものとする。

【００５９】図１２は画像中の検索対象物の位置を指定
する属性情報の１つである位置指定語とタイル番号を対
応づけたテーブルであり、1201は位置指定語を文字コー
ド（例えばunicode）で格納する。本実施例では位置指
定語として、「上」、「左上」、「右上」、「中」、
「中央」、「中央左」、「中央右」、「下」、「左
下」、「右下」の10語を用いる。1202は分割されたタイ
ルに応じた位置指定語の表すタイル番号を格納する。例
えば位置指定語として「右上」が指定された場合、３、
４、８、９のタイル番号が検索対象として特定する。こ
のように位置指定語（位置指定情報）は、タイルの画像
に対応する位置を示している。

【００６０】図１３は画像特徴語と画像特徴を対応づけ
たテーブルである。本発明では画像特徴としてタイルの
代表色を用いており、画像特徴語として色を表す言葉を
用いる。1301に特徴語として色名を文字コード（例えば
unicode）で格納し、1302に色名の表す画像特徴量を色
成分で格納する。図示において、例えば色成分２、３、
４を持つものの色名は「赤」である。

【００６１】本実施例では、画像特徴量として代表色を
２７分割している。これは、Ｒ（Red）軸、Ｇ（Green）
軸、Ｂ（Blue）軸をそれぞれ３等分し、ＲＧＢ空間を２
７個のセルに分割することにより、代表色を分けてい
る。タイルの代表色の決定は、タイルに含まれる６４×
６４画素が、２７等分されたセルのどこに当てはまるか
を投票していき、もっとも投票の多かったセルが代表色
となる。２７等分されたセルは、０〜２６までの番号で
表される。

【００６２】図１４は従来用いられていた画像IDとキー
ワードの対応テーブルの例を示したものである。図５に
示す画像と、該画像に対応づけられたキーワードを格納
するために1401において画像ID、1402において画像IDに
対応するキーワードを格納していた。

【００６３】本発明の画像処理装置の検索処理を行う前
にデータベースの作成、つまり、前述したような対応テ
ーブルの作成が行われる。データベースの作成は、いつ
行われてもよいが、データベースの対応テーブルが作成
されていないと、検索を行うことができない。

【００６４】まず、ユーザはデータベースにいれる画像
データを選択する。本発明の画像処理装置は、選択され
た画像データから、前述した方法で画像特徴量の生成を
行う。

【００６５】次にキーワードの抽出が行われる。キーワ
ードの抽出・作成は、例えば、文書データのテキストを
解析することにより、外部メモリ（ＤＩＳＫ）14に格納
されている単語辞書DICを参照して、該当する単語を抽
出し作成する。単語辞書DICには、一般に使われる名詞
が格納されている。また、画像データにおいては、キー
ワードの作成は、ユーザが指定してもよく、ある領域の
画像に対し、キーワードを割り付けて記憶させてもよ
い。例えば、画像データに「りんご」の画像がある場合
は、「りんご」が存在するタイルにキーワードとして
「りんご」を割り付け、データベースの対応テーブルに
画像IDとタイル番号とレイヤー番号とに対応する個所に
キーワードとして「りんご」が生成される。

【００６６】このようにして、属性情報であるキーワー
ドや画像特徴量が画像データから抽出、生成される。

【００６７】図２２は本発明の画像処理装置の動作を説
明したフローチャートであり、以下、図２２を参照して
動作を説明する。この動作の処理はＲＯＭ12に格納され
ている検索プログラムに基づいてＣＰＵ11が制御するこ
とにより実現される。

【００６８】ステップS101において検索すべき画像指定
情報であるレイヤー番号を入力する。レイヤー番号の入
力はＫＢ15から入力される。

【００６９】次にステップS102では、ステップS101で入
力されたレイヤー番号をＲＡＭ13に格納する。

【００７０】続いてステップS103において、ステップS1
02で選択されたレイヤー番号で指定されたレイヤーで検
索処理を行う。ステップS103における検索処理を図２４
を用いて後に詳細に説明する。

【００７１】ステップS103において検索処理が終了した
ら、この処理を終了するか、新たなレイヤーで検索を行
うかを選択できる。新たに検索を行う場合は、ステップ
S101に処理を戻す。

【００７２】図２４は本発明の画像処理装置の動作を説
明したフローチャートであり、以下、図２４を参照して
検索処理動作を説明する。この動作の処理はＲＯＭ12に
格納されている検索プログラムに基づいてＣＰＵ11が制
御することにより実現される。

【００７３】ステップS201において検索の対象となる検
索語を入力する。検索語入力はＫＢ15から入力された文
字コードをＲＡＭ13上の検索語格納バッファWBUFに格納
することにより行われる。

【００７４】次にステップS202において検索語格納バッ
ファWBUFに格納された検索語を単語に認識する。単語の
認識は外部メモリＤＩＳＫ14の単語辞書DICを参照する
ことにより公知の形態素解析手法によって行われる。

【００７５】ステップS202で認識された単語の種別を検
索対象物、検索対象画像特徴のいずれかであるかをステ
ップS203で判別する。単語種別の判定はＤＩＳＫ14の単
語辞書DICにおいて、単語の種別を格納することにより
行うことができる。例えば、検索語が「赤」や「青」で
あれば検索対象画像特徴であり、色以外であれば、検索
対象物である。ステップS203で判別された単語種別に応
じてステップS204、S205の各処理に分岐する。

【００７６】ステップS204は検索語が検索対象物である
と判別された場合の処理であり、検索語に対するキーワ
ード検索を行う。キーワード検索はＤＩＳＫ14に格納さ
れた図１１データテーブルを参照して行う。まず、図２
２のフローチャートのステップS102で選択されたレイヤ
ーに対応する検索テーブル（図１０）に検索語と一致す
るキーワード1101が存在するかチェックし、存在すれば
検索結果として出力バッファOBUFに格納する。存在しな
ければ検索タイル個数０個としてステップS207の処理に
進む。

【００７７】ステップS205は検索語が検索対象画像特徴
語（「赤い」、「青い」等）であると判別された場合の
処理であり、指定された画像特徴量を取得する。画像特
徴量の取得はＤＩＳＫ14に格納された図１３のデータテ
ーブルを参照し、画像特徴語と一致する色名1301をチェ
ックする。一致した場合は対応する画像特徴量を1302よ
り取り出し、ＲＡＭ13に一時記憶される検索対象画像特
徴格納バッファFBUFに格納する。一致する色名が存在し
なかった場合は、検索対象画像特徴格納バッファFBUFに
無効値（例えば負数）を格納する。

【００７８】次にステップS206において、検索対象画像
特徴語が指定する検索対象物を再度単語種別をすること
により取得する。例えば、「赤い」という検索対象画像
特徴語が修飾している単語を探して、「りんご」という
検索対象物を取得するのである。取得した検索対象物
（例えば「りんご」）を、ステップS204におけるステッ
プと同様の方法でレイヤー番号により選択指定されてい
るレイヤーにおいてのみ、検索対象物と一致するキーワ
ードを検索し、出力バッファOBUFに検索結果として画像
ID、レイヤー番号、タイル番号とを格納しておく。キー
ワードが検索された場合、出力バッファOBUFに格納され
ている画像IDとタイル番号とレイヤー番号を取り出し、
ＤＩＳＫ14に格納された図１０のデータテーブルを参照
して、画像ID、タイル番号、レイヤー番号に対応する画
像特徴1004を取り出す。取り出された画像特徴がステッ
プS205においてセットされた検索対象画像特徴格納バッ
ファFBUFと一致するかどうかをチェックする。つまり、
「赤いりんご」を検索する場合、キーワード検索で「り
んご」を検索し、検索された画像IDから図１０のデータ
テーブルを参照して画像特徴（０〜２６）を取得し、検
索対象画像特徴（「赤い」）と一致するかをチェックす
るのである。

【００７９】データテーブルを参照して取得した画像特
徴が検索対象画像特徴と一致した場合は、そのまま出力
バッファOBUFをもってステップS207へ進む。画像特徴が
指定画像特徴と一致しなかった場合（「青りんご」等）
は、出力バッファOBUFから一致しなかったタイル番号と
画像IDとレイヤー番号を削除し、キーワード個数も減じ
る。

【００８０】ステップS207は、キーワード検索結果と画
像特徴量検索結果に基づいて図２２のフローチャートで
画像指定情報であるレイヤー番号に基づいて選択された
レイヤーの画像データを表示する。

【００８１】ステップS204、S205のいずれかの処理によ
って出力された出力バッファOBUFを参照し、一致キーワ
ード個数が０個であった場合は、検索結果が存在しなか
った旨をＣＲＴ18に表示する。キーワード個数が０個で
ない場合は、出力バッファOBUFに格納された先頭の画像
IDと対応するタイル番号とレイヤー番号を表示する。画
像IDとタイル番号とレイヤー番号を指定し、対応するレ
イヤー番号のタイル番号に対応する画像データをＤＩＳ
Ｋ14上の画像ファイルより送り出し、ＣＲＴ１４に表示
する。

【００８２】例えば、ユーザがレイヤー番号を「３」と
指定し、「ヨット」という単語を検索語として入力する
と、キーワードが一致した結果として、画像ＩＤ１０２
４のレイヤー番号３のタイル番号１３、１４、１８、１
９が検索結果として得られる。画像は分割して保存され
ているため、表示する際にはこの４つのタイルの画像を
まず表示することが可能である。その結果図４の画像を
得る。

【００８３】図４の画像は図２の画像に対して面積で5
分の1であり、表示に要する時間もそれに伴って短くな
る。また、このような画像が伝送速度の遅いネットワー
ク上にある場合、画像データの転送に要する時間も全画
像を転送する場合に比べて短縮することが可能である。

【００８４】また、例えば、検索語として「赤いりん
ご」を与えると、検索対象物が「りんご」である結果と
して、画像IDが1563、タイル番号が７、１２、画像特徴
が３、画像IDが1564でタイル番号が１３、１４、１８、
１９、画像特徴が１５、画像IDが1565でタイル番号が
６、７、１１、１２、画像特徴が１５の３つの画像が得
られるが、画像特徴として「赤」が指定されているた
め、「赤」に対応する画像特徴３をもつ画像ID1563の画
像データのみが検索結果として得られ、図６の画像のみ
が表示される。

【００８５】また、例えば、ユーザがレイヤー番号を
「０」と指定し、「ヨット」という単語を検索語として
入力すると、キーワードが一致した結果として、画像ID
1024のレイヤー番号０のタイル番号１が検索結果として
得られる。表示する際には、図２３のフォーマット図の
解像度０に位置している2303の画像が表示される。

【００８６】上記の説明では、検索で該当した画像のタ
イルだけを表示したが、もちろんこれに限るものではな
く、該当したタイルを含む画像全体を表示してもよい。

【００８７】図２５は本発明の画像処理装置のレイヤー
別近似検索の動作を説明したフローチャートであり、以
下、図２５を参照して検索処理動作を説明する。この動
作の処理はＲＯＭ12に格納されている検索プログラムに
基づいてＣＰＵ11が制御することにより実現される。

【００８８】まず、ステップS301において、近時検索す
べき画像とレイヤー（解像度）の指定の入力を行う。例
えば、ユーザにより図７の画像とレイヤー番号「０」
（低解像度）が選択されたとする。

【００８９】続いてステップS302において、ステップS3
01において入力された画像の画像特徴量を図１０のデー
タテーブルを参照して取得する。例えば、図７の画像ID
である1564のレイヤー番号「０」に対応する画像特徴量
である「２４」を取得する。

【００９０】ステップS303において、ステップS302で取
得した検索対象の画像特徴量と近い画像特徴量を有して
いる画像を図１０のデータテーブルから検索する。検索
された画像は出力バッファOBUFに格納される。ここで検
索の範囲はステップS301で入力されたレイヤーに対応す
る画像のみである。例えば、レイヤー番号「０」の画像
群からステップS302で取得した画像特徴量である「２
４」に近い画像特徴量を有した画像である図８を取得す
る。

【００９１】画像特徴の近い画像の抽出は、画像特徴量
の割付により決められるペナルティーマトリクスに基づ
いて行う。ペナルティーマトリクスは、ＤＩＳＫ14に格
納されており、本実施例のように色空間を２７分割（Ｒ
ＧＢ軸に対して、それぞれ３等分に分割したセル）に分
割したそれぞれのセルに番号を０〜２６まで付け、その
付け方により、番号毎の色の差異（ペナルティー）を決
定し、ペナルティーマトリクスというテーブルに格納し
ているものである。ペナルティーマトリクス（差異行
列）には、例えば、画像特徴量「１」と画像特徴量「１
０」の色空間における距離を格納してある。色空間にお
ける距離が、画像特徴量ごとの近さになる。

【００９２】次にステップS304において、ステップS303
で検索された画像データを表示する。ステップS303の処
理によって検索出力された出力バッファOBUFを参照し、
出力バッファOBUFに格納された画像IDとレイヤー番号を
表示する。画像IDとレイヤー番号を指定し、対応するレ
イヤー番号に対応する画像データをＤＩＳＫ14上の画像
ファイルより送り出し、ペナルティーマトリクスによっ
て画像特徴量の近い順序でＣＲＴ14に表示する。例え
ば、図７に近い画像として、図８と図６が検索され、画
像特徴量の近い順序なので、最初に図８が続いて図６が
表示されることになる。

【００９３】次にステップS305において、再検索を行う
かの指示入力を判断する。もし再検索を行う旨の指示が
入力された場合は、ステップS301に処理を戻して再検索
を行う。再検索を行わない旨の指示が入力された場合
は、本検索プログラムを終了する。再検索は、満足の検
索が行われるまでステップS301〜S304を繰り返す。再検
索の処理は、ステップS303において検索を行う対象をス
テップS304において検索された画像に対してのみ行う。
検索対象を出力バッファOBUFから選択し、図１０のデー
タテーブルを参照し、同じ画像IDの新しいレイヤーにお
ける部分だけを検索対象にすることにより簡単に処理が
できる。

【００９４】このようにステップS305において再検索を
可能にすることによるメリットは、低解像度で大まかな
一時検索を行い、検索結果から高解像度で詳細な二次検
索が行えることが可能になることである。

【００９５】また、一時検索の結果でユーザが満足であ
る場合は、一時検索結果のサムネイル表示からＫＢ15に
よりユーザが指定することにより、指定された画像の高
解像度画像データをＤＩＳＫ14もしくはＲＡＭ13もしく
はＮＩＣ19を会して取得し、ＣＲＴ18に表示する。

【００９６】また、図２３の画像2303は64分の1であ
り、表示に要する時間も激減し、サムネイル表示という
こともあって、検索結果の一覧として最適である。ユー
ザとしては、低解像度であるレイヤー０で一時検索を行
い、結果一覧のサムネイル表示が得られるので、その後
詳細に欲しい画像を指定することも可能である。更に、
もっと絞り込んだ検索を行いたい場合は、一時検索の検
索結果から二次検索を高解像度であるレイヤー３で行う
ことができるようになる。キーワード検索の場合は、結
果に該当するタイルが表示されるというメリットがあ
り、また、画像特徴量の検索を行う場合は、図３に示し
たようにレイヤーにより画像特徴量は平均値のため異な
るのでレイヤー０で大まかな近似検索を行い、レイヤー
２や３で詳細な検索を行えるという効果も得られる。

【００９７】また、図２４のステップS202で検索語単語
取得のステップで、「赤いりんご」というような場合の
説明をしたが、他にも「上が空、下が海」とか「上が
白、下が青」というような検索語の入力も可能である。
こうすると、図１２で前述した位置指定語に対応するタ
イルにキーワード「空」「海」があるかの検索が行われ
る。また、画像特徴量の場合は、上のタイル「０、１、
２、３、４、」に白の画像特徴量「２６」が、下のタイ
ル「１５、１６、１７、１８、１９」に青の画像特徴量
「９、１０」があるかを検索することにより簡単に求ま
る。

【００９８】しかし、写真などのような画像の場合は、
写真の取り方により縦と横が入れ替わる場合がある。つ
まり縦長の写真の場合は、上が右（もしくは左）になっ
てしまうので、上記のような検索処理の場合は検索結果
として得られない場合が考えられる。しかし、本願発明
は、解像度毎に検索ができるので、高解像度で検索する
ともれてしまうような上記の検索の場合でも、低解像度
大まかな検索が可能であるので、検索もれが激減するは
ずである。

【００９９】尚、図２２、図２４、図２５で説明した本
発明の画像処理装置の動作を実現するためのプログラム
は、前述したようにＲＯＭ12に格納されているが、フロ
ッピーディスクやＣＤ−ＲＯＭ等の記憶媒体である外部
メモリ14から入力されても本発明を実施することが可能
であり、本発明の請求に該記憶媒体も含まれることは言
うまでもない。

【０１００】また、本発明は、本実施例において、フラ
ッシュピックスフォーマットの画像を用いて説明をした
が、もちろんこれに限るものではなく、ある画像に対し
て解像度の異なる複数の画像を有する画像フォーマット
であるか、ある画像データを複数の領域（タイル）に分
けている画像フォーマットであれば、本発明を実現する
ことが可能である。

【０１０１】また、本実施例では、ＤＩＳＫ14に格納さ
れている画像に関して検索処理を行ったが、ＮＩＣ19を
介してネットワーク上の画像サーバにある画像を検索
し、検索結果から必要な画像だけをダウンロードするこ
とによっても本発明を実現することが可能である。この
場合は、検索結果をタイル単位で表示させる処理ではネ
ットワークの負荷を減らし高速に表示ができる点で効果
的である。

【０１０２】本実施例のように、本発明の画像処理装置
を実現することにより、解像度の異なる複数の画像に階
層化され、それぞれの階層の画像にレイヤー番号を付与
し、各画像毎に画像の特徴を表す属性情報を対応させ、
各階層の画像を連続するタイルに分割しタイル番号を付
与し、各タイル毎に画像の特徴をあらわすキーワードを
対応させ、タイル番号とキーワードとの対応関係を画像
データと共に蓄積する手段を設けたので、目的とするも
のが含まれる画像からその対象物が含まれる一部分を高
速に取り出すことが可能になった。

【０１０３】また、解像度ごとに検索が可能となったの
で、解像度の低い画像で大まかな一時検索を行いサムネ
イル表示のように全体の検索結果を表示でき、更に高解
像度で詳細な二次検索を行うことが可能となり、検索処
理から実際に検索したい画像が落ちてしまうことが激減
し、ユーザの所望している画像が高速に検索表示するこ
とが可能となった。

【０１０４】

【発明の効果】このように、複数の画像を有する画像フ
ァイルの各々の画像に対する属性情報と画像指定情報と
をそれぞれ格納する記憶手段を有したことにより、一種
類の画像に対して複数の属性情報を有することが可能と
なった。

【０１０５】また、複数の画像が解像度の異なる一種類
の画像の場合は、解像度単位で属性情報を有することが
可能となった。

【０１０６】また、検索情報と解像度情報指定情報を入
力する入力手段と、入力された解像度の画像で検索情報
に基づいて検索する検索手段を有したことにより、解像
度ごとに検索を行えるようになった。

【０１０７】また、検索手段により検索された画像の領
域のみを表示させる制御手段を有したことにより、該当
する領域の画像だけを表示でき、表示処理が高速に行え
るようになった。

【０１０８】また、解像度ごとに検索が可能となったの
で、解像度の低い画像で大まかな一時検索を行いサムネ
イル表示のように全体の検索結果を表示でき、更に高解
像度で詳細な二次検索を行うことが可能となり、検索処
理から実際に検索したい画像が落ちてしまうことが激減
し、ユーザの所望している画像が高速に検索表示するこ
とが可能となった。

【図面の簡単な説明】

【図１】本発明の全体構成を示すブロック図。

【図２】本発明で用いるタイル状に分割された画像の例
を示す図。

【図３】レイヤ番号、タイル番号とタイル内に含まれる
キーワードの対応表を示す図。

【図４】タイルに分割された画像の一部を示す図。

【図５】タイルに分割されていない画像とキーワードを
示す図。

【図６】タイルに分割された画像の例を示す図。

【図７】タイルに分割された画像の例を示す図。

【図８】タイルに分割された画像の例を示す図。

【図９】画像IDと画像ファイル格納パスを対応づけたテ
ーブルの構造を示す図。

【図１０】画像IDとタイルのキーワード、画像特徴量を
対応づけたテーブルの構造を示す図。

【図１１】キーワードと画像ID、タイル番号を対応づけ
たテーブルの構造を示す図。

【図１２】画像中の位置指定語とタイル番号とを対応づ
けたテーブルの構造を示す図。

【図１３】画像特徴語と画像特徴とを対応づけたテーブ
ルの構造を示す図。

【図１４】従来例での画像IDとキーワードの対応テーブ
ルの構造を示す図。

【図１５】フラッシュピックスイメージオブジェクト
の構造を示す図。

【図１６】フラッシュピックスイメージビューオブジェ
クトの構造を示す図。

【図１７】解像度の異なる階層化された画像を示す図。

【図１８】タイルに分割された画像を示す図。

【図１９】フラッシュピックスで用いられる属性情報を
示す図。

【図２０】フラッシュピックスの各階層データの構造を
示す図。

【図２１】従来の画像フォーマット例を示す図。

【図２２】本実施例の動作を説明したフローチャート。

【図２３】本発明で用いる階層化されタイル状に分割さ
れた画像の例を示す図。

【図２４】本実施例の動作を説明したフローチャート。

【図２５】本実施例の動作を説明したフローチャート。

Claims

【特許請求の範囲】

【請求項１】ある画像に対する解像度の異なる複数の
画像を有する画像ファイルの各々の画像に対応して、生
成された属性情報と画像指定情報とをそれぞれ格納する
属性情報記憶手段を有することを特徴とする画像処理装
置。
【請求項２】前記画像指定情報は、前記画像の解像度
を表す解像度情報であることを特徴とする請求項１記載
の画像処理装置。
【請求項３】検索情報と解像度情報とを入力する入力
手段と、前記入力手段で入力された解像度情報に対応す
る解像度の前記画像において、入力された検索情報に対
応する属性情報を検索する検索手段と、を更に有するこ
とを特徴とする請求項１記載の画像処理装置。
【請求項４】前記属性情報は、キーワードであること
を特徴とする請求項１記載の画像処理装置。
【請求項５】前記属性情報は、画像の特徴を表す画像
特徴量であることを特徴とする請求項１記載の画像処理
装置。
【請求項６】前記画像は、複数の領域に分割されてお
り、前記属性情報は、前記領域の前記画像における位置
を表す位置指定情報であることを特徴とする請求項１記
載の画像処理装置。
【請求項７】前記検索情報は、キーワード、画像特徴
量、位置指定情報のうちのいずれかであることを特徴と
する請求項４記載の画像処理装置。
【請求項８】前記検索手段により検索された画像を表
示する表示手段を更に有することを特徴とする請求項４
記載の画像処理装置。
【請求項９】前記画像は、複数の領域に分割され、該
各々の領域を指定する領域指定情報を前記属性情報記憶
手段に格納しており、前記検索手段により検索された画
像の領域のみを前記領域指定情報に基づいて選択し、前
記表示手段に表示させるよう制御する制御手段を更に有
することを特徴とする請求項８記載の画像処理装置。
【請求項１０】前記入力手段から第2解像度情報を入
力し、前記検索手段により前記解像度情報で検索された
画像に対応する前記第２解像度情報が示す解像度の画像
を選択し、該選択された画像の中から前記検索情報に対
応する属性情報を前記検索手段により再検索する再検索
手段を更に有することを特徴とする請求項４記載の画像
処理装置。
【請求項１１】複数の画像を有する画像ファイルの各
々の画像に対する属性情報と画像指定情報とをメモリに
格納する属性情報記憶工程を有することを特徴とする画
像処理方法。
【請求項１２】複数の画像を有する画像ファイルの各
々の画像に対する属性情報と画像指定情報とをメモリに
格納する属性情報記憶工程を有することを特徴とするコ
ンピュータで読み取り可能な記憶媒体。
【請求項１３】画像を複数に分けた領域ごと対応し
て、属性情報をそれぞれ格納する属性情報記憶手段を有
することを特徴とする画像処理装置。