JPH1153370A - 画像処理装置及びその方法、記憶媒体 - Google Patents
画像処理装置及びその方法、記憶媒体Info
- Publication number
- JPH1153370A JPH1153370A JP9206095A JP20609597A JPH1153370A JP H1153370 A JPH1153370 A JP H1153370A JP 9206095 A JP9206095 A JP 9206095A JP 20609597 A JP20609597 A JP 20609597A JP H1153370 A JPH1153370 A JP H1153370A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- image data
- search word
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 キーワードと対象物の画像中の位置或いは特
徴量との複合検索を実現する。 【解決手段】 入力された検索語に含まれる単語の種別
を判断し（ステップＳ２２０３）、位置情報が含まれと
判断された場合には、検索語中のキーワードと位置情報
に基づいて画像情報を検索し（ステップＳ２２０５、Ｓ
２２０６）、画像特徴量が含まれると判断された場合に
は、検索語中のキーワードと画像特徴量に基づいて画像
情報を検索すること（ステップＳ２２０７、Ｓ２２０
８）で、複合検索を実現する。
徴量との複合検索を実現する。 【解決手段】 入力された検索語に含まれる単語の種別
を判断し（ステップＳ２２０３）、位置情報が含まれと
判断された場合には、検索語中のキーワードと位置情報
に基づいて画像情報を検索し（ステップＳ２２０５、Ｓ
２２０６）、画像特徴量が含まれると判断された場合に
は、検索語中のキーワードと画像特徴量に基づいて画像
情報を検索すること（ステップＳ２２０７、Ｓ２２０
８）で、複合検索を実現する。
Description
【０００１】
【発明の属する技術分野】本発明は、蓄積された画像情
報を検索する画像処理装置及びその方法に関するもので
ある。
報を検索する画像処理装置及びその方法に関するもので
ある。
【０００２】
【従来の技術】従来用いられている画像フォーマットの
例を図２１に示す。
例を図２１に示す。
【０００３】図２１に示すように、画像ファイルはヘッ
ダ部２１１と画像データ部２１２に分けられる。一般的
にヘッダ部２１１には、その画像ファイルからデータを
読み取るときに必要な情報や、画像の内容を説明する付
帯的な情報が格納される。図２１の例ではその画像フォ
ーマット名を示す画像フォーマット識別子、ファイルサ
イズ、画像の幅・高さ・深さ、圧縮の有無、カラーパレ
ットの情報、解像度、画像データの格納位置へのオフセ
ットなどの情報が格納されている。
ダ部２１１と画像データ部２１２に分けられる。一般的
にヘッダ部２１１には、その画像ファイルからデータを
読み取るときに必要な情報や、画像の内容を説明する付
帯的な情報が格納される。図２１の例ではその画像フォ
ーマット名を示す画像フォーマット識別子、ファイルサ
イズ、画像の幅・高さ・深さ、圧縮の有無、カラーパレ
ットの情報、解像度、画像データの格納位置へのオフセ
ットなどの情報が格納されている。
【０００４】画像データ部２１２は、画像データを順次
格納している部分である。このような画像フォーマット
の代表的な例としては、Microsoft社のBMPフォーマット
やCompuserve社のGIFフォーマットなどが広く普及して
いる。
格納している部分である。このような画像フォーマット
の代表的な例としては、Microsoft社のBMPフォーマット
やCompuserve社のGIFフォーマットなどが広く普及して
いる。
【０００５】この画像ファイルをデータベースに保存し
検索利用する場合、従来は１枚の画像に対して、言語ベ
ースのキーワード・説明文を関係付けていた。すなわ
ち、図４の例では１枚の画像に対して、空・海・太陽・
ヨット・男性・女性というキーワードが付与されてい
る。この画像とキーワードとの対応を表したデータテー
ブルは図１４に示される。例えば、利用者がヨットとい
う単語を検索語として入力すると、キーワードが一致し
た結果としてこの画像が得られる。
検索利用する場合、従来は１枚の画像に対して、言語ベ
ースのキーワード・説明文を関係付けていた。すなわ
ち、図４の例では１枚の画像に対して、空・海・太陽・
ヨット・男性・女性というキーワードが付与されてい
る。この画像とキーワードとの対応を表したデータテー
ブルは図１４に示される。例えば、利用者がヨットとい
う単語を検索語として入力すると、キーワードが一致し
た結果としてこの画像が得られる。
【０００６】
【発明が解決しようとしている課題】従来例では、画像
のなかに複数の人物や物体、特徴の異なるものがあって
も、付与されているキーワードはすべて１枚の画像に対
する属性情報として扱うことしかできなかった。そのた
めに、キーワードに対応する内容が画像中のどの位置に
あるかに関わらず検索結果としていた。
のなかに複数の人物や物体、特徴の異なるものがあって
も、付与されているキーワードはすべて１枚の画像に対
する属性情報として扱うことしかできなかった。そのた
めに、キーワードに対応する内容が画像中のどの位置に
あるかに関わらず検索結果としていた。
【０００７】そのために，例えば検索語として「中央に
あるりんご」を与えたとき，画像に対応づけられたキー
ワードに「りんご」を含むものがすべて検索結果として
得られ，画面の隅の方に「りんご」が写っている画像も
検索されてしまい，与えた検索語の内容を反映した検索
ができなかった。
あるりんご」を与えたとき，画像に対応づけられたキー
ワードに「りんご」を含むものがすべて検索結果として
得られ，画面の隅の方に「りんご」が写っている画像も
検索されてしまい，与えた検索語の内容を反映した検索
ができなかった。
【０００８】
【課題を解決するための手段】上記課題を解決するため
に、本発明では、入力された検索語の種別を判断する判
断手段と、前記判断手段により検索語の中に位置情報を
示す情報が含まれていた場合に、位置情報を考慮して画
像データの検索を行う検索手段とを有することを特徴と
する画像処理装置を提供する。
に、本発明では、入力された検索語の種別を判断する判
断手段と、前記判断手段により検索語の中に位置情報を
示す情報が含まれていた場合に、位置情報を考慮して画
像データの検索を行う検索手段とを有することを特徴と
する画像処理装置を提供する。
【０００９】また、上記課題を解決するために、本発明
では、検索語を入力する入力手段と、前記入力手段によ
り入力された検索語の種別を判断する判断手段と、前記
判断手段により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索手段とを有するこ
とを特徴とする画像処理装置を提供する。
では、検索語を入力する入力手段と、前記入力手段によ
り入力された検索語の種別を判断する判断手段と、前記
判断手段により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索手段とを有するこ
とを特徴とする画像処理装置を提供する。
【００１０】また、上記課題を解決するために、本発明
では、入力された検索語の種別を判断する判断手段と、
前記判断手段により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索手段とを有することを特徴とする画
像処理装置を提供する。
では、入力された検索語の種別を判断する判断手段と、
前記判断手段により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索手段とを有することを特徴とする画
像処理装置を提供する。
【００１１】また、上記課題を解決するために、本発明
では、検索語を入力する入力手段と、前記入力手段によ
り入力された検索語の種別を判断する判断手段と、前記
判断手段により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索手段とを有す
ることを特徴とする画像処理装置を提供する。
では、検索語を入力する入力手段と、前記入力手段によ
り入力された検索語の種別を判断する判断手段と、前記
判断手段により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索手段とを有す
ることを特徴とする画像処理装置を提供する。
【００１２】また、上記課題を解決するために、本発明
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に位置情報を示す情報が
含まれていた場合に、位置情報を考慮して画像データの
検索を行う検索工程とを有することを特徴とする画像処
理方法を提供する。
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に位置情報を示す情報が
含まれていた場合に、位置情報を考慮して画像データの
検索を行う検索工程とを有することを特徴とする画像処
理方法を提供する。
【００１３】また、上記課題を解決するために、本発明
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索工程とを有するこ
とを特徴とする画像処理方法を提供する。
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索工程とを有するこ
とを特徴とする画像処理方法を提供する。
【００１４】また、上記課題を解決するために、本発明
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索工程とを有することを特徴とする画
像処理方法を提供する。
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索工程とを有することを特徴とする画
像処理方法を提供する。
【００１５】また、上記課題を解決するために、本発明
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索工程とを有す
ることを特徴とする画像処理方法を提供する。
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索工程とを有す
ることを特徴とする画像処理方法を提供する。
【００１６】また、上記課題を解決するために、本発明
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に位置情報を示す情報が
含まれていた場合に、位置情報を考慮して画像データの
検索を行う検索工程とを有することを特徴とする画像処
理方法を提供する。
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に位置情報を示す情報が
含まれていた場合に、位置情報を考慮して画像データの
検索を行う検索工程とを有することを特徴とする画像処
理方法を提供する。
【００１７】また、上記課題を解決するために、本発明
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索工程とを有するこ
とを特徴とするプログラムを格納する記憶媒体を提供す
る。
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと位置情報を示
す情報が含まれていた場合、キーワードと位置情報の条
件を満たす画像データを検索する検索工程とを有するこ
とを特徴とするプログラムを格納する記憶媒体を提供す
る。
【００１８】また、上記課題を解決するために、本発明
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索工程とを有することを特徴とするプ
ログラムを格納する記憶媒体を提供する。
では、入力された検索語の種別を判断する判断工程と、
前記判断工程により検索語の中に画像特徴量を示す情報
が含まれていた場合に、画像特徴量を考慮して画像デー
タの検索を行う検索工程とを有することを特徴とするプ
ログラムを格納する記憶媒体を提供する。
【００１９】また、上記課題を解決するために、本発明
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索工程とを有す
ることを特徴とするプログラムを格納する記憶媒体を提
供する。
では、検索語を入力する入力工程と、前記入力工程によ
り入力された検索語の種別を判断する判断工程と、前記
判断工程により検索語の中にキーワードと画像特徴量を
示す情報が含まれていた場合、キーワードと画像特徴量
の条件を満たす画像データを検索する検索工程とを有す
ることを特徴とするプログラムを格納する記憶媒体を提
供する。
【００２０】
【発明の実施の形態】以下、図面を参照して本発明を詳
細に説明する。
細に説明する。
【００２１】図１は、本発明の全体構成の一例である。
【００２２】図示の構成において、11はマイクロプロセ
ッサ（ＣＰＵ）であり、画像情報検索のための演算、論
理判断等を行ない、アドレスバスＡＢ、コントロールバ
スＣＢ、データバスＤＢを介して、それらのバスに接続
された各構成要素を制御する。
ッサ（ＣＰＵ）であり、画像情報検索のための演算、論
理判断等を行ない、アドレスバスＡＢ、コントロールバ
スＣＢ、データバスＤＢを介して、それらのバスに接続
された各構成要素を制御する。
【００２３】アドレスバスＡＢはＣＰＵ11の制御の対象
とする構成要素を指示するアドレス信号を転送する。コ
ントロールバスＣＢはＣＰＵ11の制御の対象とする各構
成要素のコントロール信号を転送して印加する。データ
バスＤＢは各構成機器相互間のデータ転送を行なう。
とする構成要素を指示するアドレス信号を転送する。コ
ントロールバスＣＢはＣＰＵ11の制御の対象とする各構
成要素のコントロール信号を転送して印加する。データ
バスＤＢは各構成機器相互間のデータ転送を行なう。
【００２４】次に、12は読出し専用の固定メモリ（ＲＯ
Ｍ）である。
Ｍ）である。
【００２５】13は、１ワード１６ビットで構成される書
込み可能なランダムアクセスメモリ（ＲＡＭ）であっ
て、各構成要素からの各種データの一時記憶に用いる。
図示されないが、ＲＡＭ13には入力検索語格納バッファ
WBUF、検索対象タイル番号格納バッファTBUF、検索対象
画像特徴格納バッファFBUF、検索結果出力バッファOBUF
が一時記憶される。
込み可能なランダムアクセスメモリ（ＲＡＭ）であっ
て、各構成要素からの各種データの一時記憶に用いる。
図示されないが、ＲＡＭ13には入力検索語格納バッファ
WBUF、検索対象タイル番号格納バッファTBUF、検索対象
画像特徴格納バッファFBUF、検索結果出力バッファOBUF
が一時記憶される。
【００２６】14は、外部メモリ（ＤＩＳＫ）であり、図
９において後述する画像IDと画像ファイル格納パスを対
応づけた参照テーブル、図１０において後述する画像ID
とタイルのキーワード、画像特徴量を対応づけた参照テ
ーブル、図１１において後述するキーワードと画像ID、
タイル番号を対応づけた参照テーブル、図１２において
後述する位置指定語とタイル番号を対応づけた参照テー
ブル、図１３において後述する画像特徴語と画像特徴と
を対応づけた参照テーブル、図１５において後述する構
造で格納された画像データファイル、図２２において後
述するフローチャートに従って実行されるプログラム、
また図示されていないが図２２中のステップＳ２２０２
の工程において参照される単語分割、単語種別判定のた
めの情報を格納した単語辞書DICが格納される。画像デ
ータファイル等は必要に応じて保管され、また、保管さ
れたデータはキーボードの指示により、必要な時呼び出
される。
９において後述する画像IDと画像ファイル格納パスを対
応づけた参照テーブル、図１０において後述する画像ID
とタイルのキーワード、画像特徴量を対応づけた参照テ
ーブル、図１１において後述するキーワードと画像ID、
タイル番号を対応づけた参照テーブル、図１２において
後述する位置指定語とタイル番号を対応づけた参照テー
ブル、図１３において後述する画像特徴語と画像特徴と
を対応づけた参照テーブル、図１５において後述する構
造で格納された画像データファイル、図２２において後
述するフローチャートに従って実行されるプログラム、
また図示されていないが図２２中のステップＳ２２０２
の工程において参照される単語分割、単語種別判定のた
めの情報を格納した単語辞書DICが格納される。画像デ
ータファイル等は必要に応じて保管され、また、保管さ
れたデータはキーボードの指示により、必要な時呼び出
される。
【００２７】15は、キーボード（ＫＢ）であり、アルフ
ァベットキー、ひらがなキー、カタカナキー、句点等の
文字記号入力キー、検索を指示する検索キー及び、カー
ソル移動を指示するカーソル移動キー等のような各種の
機能キーを備えている。
ァベットキー、ひらがなキー、カタカナキー、句点等の
文字記号入力キー、検索を指示する検索キー及び、カー
ソル移動を指示するカーソル移動キー等のような各種の
機能キーを備えている。
【００２８】16は、表示用ビデオメモリ（ＶＲＡＭ）で
あり、表示すべきデータのパターンを蓄える。
あり、表示すべきデータのパターンを蓄える。
【００２９】17は、ＣＲＴコントローラー（ＣＲＴＣ）
であり、表示用ビデオメモリＶＲＡＭ16に蓄えられた内
容を表示器ＣＲＴ18に表示する役割を担う。
であり、表示用ビデオメモリＶＲＡＭ16に蓄えられた内
容を表示器ＣＲＴ18に表示する役割を担う。
【００３０】18は、陰極線管等を用いた表示装置（ＣＲ
Ｔ）であり、その表示装置ＣＲＴにおけるドット構成の
表示パターンおよびカーソルの表示をＣＲＴコントロー
ラ17で制御する。
Ｔ）であり、その表示装置ＣＲＴにおけるドット構成の
表示パターンおよびカーソルの表示をＣＲＴコントロー
ラ17で制御する。
【００３１】19は、ネットワークコントローラ（ＮＩ
Ｃ）であり、Ethernetなどのネットワークに接続する役
割を担う。
Ｃ）であり、Ethernetなどのネットワークに接続する役
割を担う。
【００３２】かかる各構成要素からなる本発明の画像処
理装置においては、キーボードＫＢ15からの各種の入力
及びネットワークコントローラ19から供給されるネット
ワーク経由の各種入力に応じて作動するものであって、
キーボードＫＢ15からの入力及びネットワークコントロ
ーラ19からの入力が供給されると、まず、インタラプト
信号がマイクロプロセッサＣＰＵ11に送られ、そのマイ
クロプロセッサＣＰＵ11が外部メモリＤＩＳＫ14内に記
憶してある各種の制御信号を読出し、それらの制御信号
に従って、各種の制御が行なわれる。
理装置においては、キーボードＫＢ15からの各種の入力
及びネットワークコントローラ19から供給されるネット
ワーク経由の各種入力に応じて作動するものであって、
キーボードＫＢ15からの入力及びネットワークコントロ
ーラ19からの入力が供給されると、まず、インタラプト
信号がマイクロプロセッサＣＰＵ11に送られ、そのマイ
クロプロセッサＣＰＵ11が外部メモリＤＩＳＫ14内に記
憶してある各種の制御信号を読出し、それらの制御信号
に従って、各種の制御が行なわれる。
【００３３】図２は図５に示す画像を複数のタイルに分
割した例を示している。この例では対象となる画像を縦
方向４タイル、横方向５タイルの計２０タイルに分割し
ている。図中の数字はタイル番号を示しており、画像の
左上から０、１、２．．．のように順次番号付けされて
いる。
割した例を示している。この例では対象となる画像を縦
方向４タイル、横方向５タイルの計２０タイルに分割し
ている。図中の数字はタイル番号を示しており、画像の
左上から０、１、２．．．のように順次番号付けされて
いる。
【００３４】次に、このように画像をタイルに分割する
画像フォーマットの例を示し説明する。
画像フォーマットの例を示し説明する。
【００３５】〔FlashPixTMファイルフォーマットの説
明〕以後説明するFlashPixTM(FlashPixは米国Eastman K
odak社の登録商標)ファイルフォーマットでは、上記画
像ヘッダ部に格納されていた画像属性情報および画像デ
ータをさらに構造化してファイル内に格納する。この構
造化した画像ファイルを図１５、図１６に示す。
明〕以後説明するFlashPixTM(FlashPixは米国Eastman K
odak社の登録商標)ファイルフォーマットでは、上記画
像ヘッダ部に格納されていた画像属性情報および画像デ
ータをさらに構造化してファイル内に格納する。この構
造化した画像ファイルを図１５、図１６に示す。
【００３６】ファイル内の各プロパティやデータにはMS
-DOSのディレクトリとファイルに相当する、ストレージ
とストリームによってアクセスする。図１５、図１６に
おいて、影付き部分（1501〜1505、1601〜1603）がスト
レージで、影なし部分（1506〜1513、1604〜1611）がス
トリームである。画像データや画像属性情報はストリー
ム部分に格納される。画像データは異なる解像度で階層
化されておりそれぞれの解像度の画像をSubimageと呼
び、Resolution 0、1、...nで示してある。各解像度画
像に対して、その画像を読み出すために必要な情報がSu
bimage header1513に、また画像データがSubimage data
1512に格納される。
-DOSのディレクトリとファイルに相当する、ストレージ
とストリームによってアクセスする。図１５、図１６に
おいて、影付き部分（1501〜1505、1601〜1603）がスト
レージで、影なし部分（1506〜1513、1604〜1611）がス
トリームである。画像データや画像属性情報はストリー
ム部分に格納される。画像データは異なる解像度で階層
化されておりそれぞれの解像度の画像をSubimageと呼
び、Resolution 0、1、...nで示してある。各解像度画
像に対して、その画像を読み出すために必要な情報がSu
bimage header1513に、また画像データがSubimage data
1512に格納される。
【００３７】プロパティセットとは属性情報をその使用
目的、内容に応じて分類して定義したもので、Summary
Info. Property Set1506、Image Info. Property Set15
09、Image Content Property Set1508、Extension list
property Set1510がある。
目的、内容に応じて分類して定義したもので、Summary
Info. Property Set1506、Image Info. Property Set15
09、Image Content Property Set1508、Extension list
property Set1510がある。
【００３８】〔各プロパティセットの説明〕Summary In
fo. Property Set1506はFlashPix特有のものではなく、
Microsoft社のストラクチャードストレージでは必須の
プロパティセットで、そのファイルのタイトル・題名・
著者・サムネール画像等を格納する。
fo. Property Set1506はFlashPix特有のものではなく、
Microsoft社のストラクチャードストレージでは必須の
プロパティセットで、そのファイルのタイトル・題名・
著者・サムネール画像等を格納する。
【００３９】Image Contents Property Set1508は、画
像データの格納方法を記述する属性である(図１９)。こ
の属性には画像データの階層数、最大解像度の画像の
幅、高さや、それぞれの解像度の画像についての幅、高
さ、色の構成、あるいはJPEG圧縮を用いる際の量子化テ
ーブル・ハフマンテーブルの定義を記述する。
像データの格納方法を記述する属性である(図１９)。こ
の属性には画像データの階層数、最大解像度の画像の
幅、高さや、それぞれの解像度の画像についての幅、高
さ、色の構成、あるいはJPEG圧縮を用いる際の量子化テ
ーブル・ハフマンテーブルの定義を記述する。
【００４０】Image Info. Property Set1509は、画像を
使用する際に利用できるさまざまな情報、例えば、その
画像がどのようにして取り込まれ、どのように利用可能
であるかの情報を格納する。 ・デジタルデータの取り込み方法／あるいは生成方法に
関する情報（ File Source） ・著作権に関する情報（ Intellectual property ） ・画像の内容（画像中の人物、場所など）に関する情報
（ Content description） ・撮影に使われたカメラに関する情報（Camera informa
tion） ・撮影時のカメラのセッティング（露出、シャッタース
ピード、焦点距離、フラッシュ使用の有無など）の情報
（ Per Picture camera settings ） ・デジタルカメラ特有解像度やモザイクフィルタに関す
る情報（ Digital camera characterization ） ・フィルムのメーカ名、製品名、種類（ネガ／ポジ、カ
ラー／白黒）などの情報（ Film description ） ・オリジナルが書物や印刷物である場合の種類やサイズ
に関する情報（ Original document scan description
） ・スキャン画像の場合、使用したスキャナやソフト、操
作した人に関する情報（Scan device ） Extension list property Setは上記FlashPixの基本仕
様に含まれない情報を追加するさいに使用する領域であ
る。
使用する際に利用できるさまざまな情報、例えば、その
画像がどのようにして取り込まれ、どのように利用可能
であるかの情報を格納する。 ・デジタルデータの取り込み方法／あるいは生成方法に
関する情報（ File Source） ・著作権に関する情報（ Intellectual property ） ・画像の内容（画像中の人物、場所など）に関する情報
（ Content description） ・撮影に使われたカメラに関する情報（Camera informa
tion） ・撮影時のカメラのセッティング（露出、シャッタース
ピード、焦点距離、フラッシュ使用の有無など）の情報
（ Per Picture camera settings ） ・デジタルカメラ特有解像度やモザイクフィルタに関す
る情報（ Digital camera characterization ） ・フィルムのメーカ名、製品名、種類（ネガ／ポジ、カ
ラー／白黒）などの情報（ Film description ） ・オリジナルが書物や印刷物である場合の種類やサイズ
に関する情報（ Original document scan description
） ・スキャン画像の場合、使用したスキャナやソフト、操
作した人に関する情報（Scan device ） Extension list property Setは上記FlashPixの基本仕
様に含まれない情報を追加するさいに使用する領域であ
る。
【００４１】図１６のFlashPix Image View Object1601
は、画像を表示する際に用いるビューイングパラメータ
と画像データをあわせて格納する画像ファイルである。
ビューイングパラメータとは画像の回転、拡大／縮小、
移動、色変換、フィルタリングの処理を画像表示の際に
適応するために記憶しておく処理係数のセットである。
は、画像を表示する際に用いるビューイングパラメータ
と画像データをあわせて格納する画像ファイルである。
ビューイングパラメータとは画像の回転、拡大／縮小、
移動、色変換、フィルタリングの処理を画像表示の際に
適応するために記憶しておく処理係数のセットである。
【００４２】Source/Result FlashPix Image Object（1
602、1603）は、FlashPix画像データの実体であり、Sou
rce FlashPix Image Object1602は必須、Result FlashP
ixImage Object1603はオプションである。Source Flash
Pix Image Object1602はオリジナルの画像データを、Re
sult FlashPix Image Object1603はビューイングパラメ
ータ使ってを画像処理した結果の画像を格納する。
602、1603）は、FlashPix画像データの実体であり、Sou
rce FlashPix Image Object1602は必須、Result FlashP
ixImage Object1603はオプションである。Source Flash
Pix Image Object1602はオリジナルの画像データを、Re
sult FlashPix Image Object1603はビューイングパラメ
ータ使ってを画像処理した結果の画像を格納する。
【００４３】Source/Result desc. Property set（160
8、1609）は上記、画像データの識別のためのプロパテ
ィセットであり、画像ＩＤ、変更禁止のプロパティセッ
ト、最終更新日時等を格納する。
8、1609）は上記、画像データの識別のためのプロパテ
ィセットであり、画像ＩＤ、変更禁止のプロパティセッ
ト、最終更新日時等を格納する。
【００４４】Transform property set1610は、回転、拡
大／縮小、移動のためのAffine変換係数、色変換マトリ
クス、コントラスト調整値、フィルタリング係数を格納
している。
大／縮小、移動のためのAffine変換係数、色変換マトリ
クス、コントラスト調整値、フィルタリング係数を格納
している。
【００４５】次に画像データの取り扱いについて説明す
る。
る。
【００４６】〔タイルに分割された複数の解像度の画像
を含む画像フォーマットの説明〕図１７に解像度の異な
る複数の画像から構成される画像ファイルの例を示す。
図１７で最大解像度の画像は列×行がＸ０×Ｙ０で構成
されており、その次に大きい画像はＸ０／2×Ｙ０／２
であり、それ以降順次、列・行ともに１／２づつ縮小
し、列・行ともに６４画素以下あるいは等しくなるまで
繰り返す。
を含む画像フォーマットの説明〕図１７に解像度の異な
る複数の画像から構成される画像ファイルの例を示す。
図１７で最大解像度の画像は列×行がＸ０×Ｙ０で構成
されており、その次に大きい画像はＸ０／2×Ｙ０／２
であり、それ以降順次、列・行ともに１／２づつ縮小
し、列・行ともに６４画素以下あるいは等しくなるまで
繰り返す。
【００４７】このように階層化した結果、画像の属性情
報として「１つの画像ファイル中の階層数」やそれぞれ
の階層の画像に対して、従来の画像フォーマットの項で
説明したヘッダ情報と画像データが必要となる。１つの
画像ファイル中の階層の数や最大解像度の画像の幅、高
さ、あるいはそれぞれの解像度の画像の幅、高さ、色構
成、圧縮方式等に関する情報は前記Image Contents Pro
perty Set図１９中に記述される。
報として「１つの画像ファイル中の階層数」やそれぞれ
の階層の画像に対して、従来の画像フォーマットの項で
説明したヘッダ情報と画像データが必要となる。１つの
画像ファイル中の階層の数や最大解像度の画像の幅、高
さ、あるいはそれぞれの解像度の画像の幅、高さ、色構
成、圧縮方式等に関する情報は前記Image Contents Pro
perty Set図１９中に記述される。
【００４８】さらに各解像度のレイヤの画像は図１８に
示すように６４×６４のタイルに分割されている。画像
の左上部から順次６４×６４のタイルに分割をすると、
画像によっては右端および下端のタイルの一部に空白が
生ずる場合がある。
示すように６４×６４のタイルに分割されている。画像
の左上部から順次６４×６４のタイルに分割をすると、
画像によっては右端および下端のタイルの一部に空白が
生ずる場合がある。
【００４９】この場合はそれぞれ最右端画像または最下
端画像を繰り返し挿入することで、６４×６４画素を構
築する。FlashPixTMではそれぞれのタイル中の画像をJP
EG圧縮、シングルカラー、非圧縮のいずれかの方法で格
納する。JPEG圧縮は、ISO/IEC JTC1/SC29により国際標
準化された画像圧縮方式であり、方式自体の説明はここ
では割愛する。このようにタイル分割された画像データ
はSubimage dataストリーム1512中に格納され、タイル
の総数、個々のタイルのサイズ、データの開始位置、圧
縮方法はすべてSubimage header(図２０)に格納されて
いる。
端画像を繰り返し挿入することで、６４×６４画素を構
築する。FlashPixTMではそれぞれのタイル中の画像をJP
EG圧縮、シングルカラー、非圧縮のいずれかの方法で格
納する。JPEG圧縮は、ISO/IEC JTC1/SC29により国際標
準化された画像圧縮方式であり、方式自体の説明はここ
では割愛する。このようにタイル分割された画像データ
はSubimage dataストリーム1512中に格納され、タイル
の総数、個々のタイルのサイズ、データの開始位置、圧
縮方法はすべてSubimage header(図２０)に格納されて
いる。
【００５０】シングルカラーとは、前記１つのタイルが
すべて同じ色で構成されている場合にのみ、個々の画素
の値を記録することなく、そのタイルの色を１色で表現
する方式である。この方法は特に、コンピュータグラフ
ィックスにより生成された画像で有効である。
すべて同じ色で構成されている場合にのみ、個々の画素
の値を記録することなく、そのタイルの色を１色で表現
する方式である。この方法は特に、コンピュータグラフ
ィックスにより生成された画像で有効である。
【００５１】このように画像をタイルに分割すると、従
来キーワードで記述されていた画像中の特徴的な部分
が、それぞれのタイルに分離され、それぞれのキーワー
ドを含むタイルと含まないタイルとに分けられる。
来キーワードで記述されていた画像中の特徴的な部分
が、それぞれのタイルに分離され、それぞれのキーワー
ドを含むタイルと含まないタイルとに分けられる。
【００５２】図２の画像を０から１９のタイルに分割
し、その各々のタイルに含まれるキーワードを記述する
と図３になる。すなわち、タイル０、１、２、５には
空、タイル３、４、８、９には空と太陽、タイル６、１
１には空と男性、タイル７、１２には空と女性、タイル
１３、１４には空とヨット、タイル１５には海、タイル
１６には海と男性、タイル１７には海と女性、タイル１
８、１９には海とヨットである。
し、その各々のタイルに含まれるキーワードを記述する
と図３になる。すなわち、タイル０、１、２、５には
空、タイル３、４、８、９には空と太陽、タイル６、１
１には空と男性、タイル７、１２には空と女性、タイル
１３、１４には空とヨット、タイル１５には海、タイル
１６には海と男性、タイル１７には海と女性、タイル１
８、１９には海とヨットである。
【００５３】図４は図２に示す画像のタイル１３、１
４、１８、１９によって構成される部分画像を示す。
４、１８、１９によって構成される部分画像を示す。
【００５４】図６、図７、図８も図２と同様に20個のタ
イルに分割して格納された画像の例である。
イルに分割して格納された画像の例である。
【００５５】図９は本発明における画像IDと画像ファイ
ル格納パスを対応づけたテーブルを示している。９１は
画像IDを示し、１つの画像ファイルにつき一意に付与さ
れた識別番号である。９２は画像IDに対応する画像ファ
イルの外部メモリＤＩＳＫ14における格納先を示すファ
イルパスであり、MS-DOSのディレクトリとファイルに相
当する。
ル格納パスを対応づけたテーブルを示している。９１は
画像IDを示し、１つの画像ファイルにつき一意に付与さ
れた識別番号である。９２は画像IDに対応する画像ファ
イルの外部メモリＤＩＳＫ14における格納先を示すファ
イルパスであり、MS-DOSのディレクトリとファイルに相
当する。
【００５６】図１０は画像IDとタイルのキーワード、画
像特徴を対応づけたテーブルを示す。１０１は図９の９
１と対応する画像IDを格納し、１０２は各画像IDが持つ
タイル番号を格納する。１０３はタイル番号１０２に対
応するタイルに描写されている画像特徴を言葉にしたも
ので、キーワードを文字コード（例えばunicode）で格
納する。キーワードは１つのタイル番号について複数個
格納してもよい。１０４はタイル番号に対応するタイル
の画像特徴を格納する。画像特徴として、本発明では特
にタイルの代表色として、タイルを構成するRGB各画素
値の平均をとり、27色に減色した色成分を用いる。減色
の方法についてはRGB各画素値を単純に分割する方法や
参照テーブルを用いる方法など公知の手法を用いる。図
において画像IDが1024である画像は20個のタイルをも
ち、タイル番号0のタイルには「空」というキーワード
が付与され、画像特徴として「11」という色成分が付与
されている。
像特徴を対応づけたテーブルを示す。１０１は図９の９
１と対応する画像IDを格納し、１０２は各画像IDが持つ
タイル番号を格納する。１０３はタイル番号１０２に対
応するタイルに描写されている画像特徴を言葉にしたも
ので、キーワードを文字コード（例えばunicode）で格
納する。キーワードは１つのタイル番号について複数個
格納してもよい。１０４はタイル番号に対応するタイル
の画像特徴を格納する。画像特徴として、本発明では特
にタイルの代表色として、タイルを構成するRGB各画素
値の平均をとり、27色に減色した色成分を用いる。減色
の方法についてはRGB各画素値を単純に分割する方法や
参照テーブルを用いる方法など公知の手法を用いる。図
において画像IDが1024である画像は20個のタイルをも
ち、タイル番号0のタイルには「空」というキーワード
が付与され、画像特徴として「11」という色成分が付与
されている。
【００５７】図１１はキーワードと画像ID、タイル番号
を対応づけたテーブルであり、図１１のテーブルは図１
０の１０３に示すキーワードごとに対応する画像ID、タ
イル番号をまとめたテーブルであり、１１１はキーワー
ド、１１２は１１１のキーワードに対応する画像IDを格
納し、１１３は画像IDに対応するタイルのうちキーワー
ド１１１を持つタイル番号を格納する。
を対応づけたテーブルであり、図１１のテーブルは図１
０の１０３に示すキーワードごとに対応する画像ID、タ
イル番号をまとめたテーブルであり、１１１はキーワー
ド、１１２は１１１のキーワードに対応する画像IDを格
納し、１１３は画像IDに対応するタイルのうちキーワー
ド１１１を持つタイル番号を格納する。
【００５８】図１２は画像中の検索対象物の位置を指定
する位置指定語とタイル番号を対応づけたテーブルであ
り、１２１は位置指定語を文字コード（例えばunicod
e）で格納する。本発明では位置指定語として、
「上」、「左上」、「右上」、「中」、「中央」、「中
央左」、「中央右」、「下」、「左下」、「右下」の10語
を用いる。１２２は分割されたタイルに応じた位置指定
語の表すタイル番号を格納する。例えば位置指定語とし
て「右上」が指定された場合、3、4、8、9のタイル番号
が検索対象位置として特定する。
する位置指定語とタイル番号を対応づけたテーブルであ
り、１２１は位置指定語を文字コード（例えばunicod
e）で格納する。本発明では位置指定語として、
「上」、「左上」、「右上」、「中」、「中央」、「中
央左」、「中央右」、「下」、「左下」、「右下」の10語
を用いる。１２２は分割されたタイルに応じた位置指定
語の表すタイル番号を格納する。例えば位置指定語とし
て「右上」が指定された場合、3、4、8、9のタイル番号
が検索対象位置として特定する。
【００５９】図１３は画像特徴語と画像特徴を対応づけ
たテーブルである。本発明では画像特徴としてタイルの
代表色を用いており、画像特徴語として色を表す言葉を
用いる。１３１に特徴語として色名を文字コード（例え
ばunicode）で格納し、１３２に色名の表す画像特徴量
を色成分で格納する。図示において、例えば色成分2、
3、4を持つものの色名は「赤」である。
たテーブルである。本発明では画像特徴としてタイルの
代表色を用いており、画像特徴語として色を表す言葉を
用いる。１３１に特徴語として色名を文字コード（例え
ばunicode）で格納し、１３２に色名の表す画像特徴量
を色成分で格納する。図示において、例えば色成分2、
3、4を持つものの色名は「赤」である。
【００６０】図１４は従来用いられていた画像IDとキー
ワードの対応テーブルの例を示したものである。図５に
示す画像と、該画像に対応づけられたキーワードを格納
するために１４１において画像ID、１４２において画像
IDに対応するキーワードを格納していた。
ワードの対応テーブルの例を示したものである。図５に
示す画像と、該画像に対応づけられたキーワードを格納
するために１４１において画像ID、１４２において画像
IDに対応するキーワードを格納していた。
【００６１】図２２は本発明画像検索装置の動作を説明
したフローチャートであり、以下、図２２を参照して動
作を説明する。
したフローチャートであり、以下、図２２を参照して動
作を説明する。
【００６２】ステップＳ２２０１において検索の対象と
なる検索語を入力する。検索語入力はＫＢ15から入力さ
れた文字コードをＲＡＭ13上の検索語格納バッファWBUF
に格納することにより行われる。
なる検索語を入力する。検索語入力はＫＢ15から入力さ
れた文字コードをＲＡＭ13上の検索語格納バッファWBUF
に格納することにより行われる。
【００６３】次にステップＳ２２０２において検索語格
納バッファWBUFに格納された検索語を単語に認識する。
単語の認識は外部メモリＤＩＳＫ14の単語辞書DICを参
照することにより公知の形態素解析手法によって行われ
る。
納バッファWBUFに格納された検索語を単語に認識する。
単語の認識は外部メモリＤＩＳＫ14の単語辞書DICを参
照することにより公知の形態素解析手法によって行われ
る。
【００６４】ステップＳ２２０２で認識された単語の種
別を検索対象物、検索指定位置、検索対象画像特徴の３
つのいずれであるかをステップＳ２２０３で判別する。
別を検索対象物、検索指定位置、検索対象画像特徴の３
つのいずれであるかをステップＳ２２０３で判別する。
【００６５】単語種別の判定はＤＩＳＫ14の単語辞書DI
Cにおいて、単語の種別を格納することにより行うこと
ができる。例えば、検索語が「赤い」であれば検索対象
画像特徴、「左」であれば検索指定位置であり、検索対
象画像特徴でも検索指定位置でもなければ検索対象物で
ある。ステップＳ２２０３で判別された単語種別に応じ
てステップＳ２２０４、ステップＳ２２０５、ステップ
Ｓ２２０７の各処理に分岐する。
Cにおいて、単語の種別を格納することにより行うこと
ができる。例えば、検索語が「赤い」であれば検索対象
画像特徴、「左」であれば検索指定位置であり、検索対
象画像特徴でも検索指定位置でもなければ検索対象物で
ある。ステップＳ２２０３で判別された単語種別に応じ
てステップＳ２２０４、ステップＳ２２０５、ステップ
Ｓ２２０７の各処理に分岐する。
【００６６】ステップＳ２２０４は、検索語が検索対象
物であると判別された場合の処理であり、検索語に対す
るキーワード検索を行う。キーワード検索はＤＩＳＫ14
に格納された図１１のデータテーブルを参照して行う。
まず、検索語と一致するキーワード１１１が存在するか
チェックし、存在しなければ検索タイル個数0個として
ステップＳ２２０９へ進み、検索語を含むタイルが存在
しなかった旨を知らせる。
物であると判別された場合の処理であり、検索語に対す
るキーワード検索を行う。キーワード検索はＤＩＳＫ14
に格納された図１１のデータテーブルを参照して行う。
まず、検索語と一致するキーワード１１１が存在するか
チェックし、存在しなければ検索タイル個数0個として
ステップＳ２２０９へ進み、検索語を含むタイルが存在
しなかった旨を知らせる。
【００６７】検索語と一致するキーワードが見つかった
場合、対応する画像ID１１２とタイル番号１１３を取り
出す。複数のキーワードと一致した場合は、一致したキ
ーワード個数、画像ID、タイル番号を出力バッファOBUF
に格納してステップＳ２２０９へ進む。ステップＳ２２
０９はキーワード検索結果に基づき画像データを表示す
る。
場合、対応する画像ID１１２とタイル番号１１３を取り
出す。複数のキーワードと一致した場合は、一致したキ
ーワード個数、画像ID、タイル番号を出力バッファOBUF
に格納してステップＳ２２０９へ進む。ステップＳ２２
０９はキーワード検索結果に基づき画像データを表示す
る。
【００６８】例えば、利用者が「ヨット」という単語を
検索語として入力すると、キーワードが一致した結果と
して、画像ID 1024のタイル番号13、14、18、19が検索
結果として得られる。画像は分割して保存されているた
め、表示する際にはこの４つのタイルの画像をまず表示
することが可能である。その結果図４の画像を得ること
ができる。
検索語として入力すると、キーワードが一致した結果と
して、画像ID 1024のタイル番号13、14、18、19が検索
結果として得られる。画像は分割して保存されているた
め、表示する際にはこの４つのタイルの画像をまず表示
することが可能である。その結果図４の画像を得ること
ができる。
【００６９】図４の画像は図２の画像に対して面積で5
分の１であり、表示に要する時間もそれに伴って短くな
る。また、このような画像が伝送速度の遅いネットワー
ク上にある場合、画像データの転送に要する時間も全画
像を転送する場合にくらべ短縮することが可能である。
分の１であり、表示に要する時間もそれに伴って短くな
る。また、このような画像が伝送速度の遅いネットワー
ク上にある場合、画像データの転送に要する時間も全画
像を転送する場合にくらべ短縮することが可能である。
【００７０】ステップＳ２２０５は、検索語が検索指定
位置を含むと判別された場合の処理であり、指定位置タ
イル番号を取得する。指定位置タイルの取得はＤＩＳＫ
14に格納された図１２のデータテーブルを参照し、検索
指定位置語と一致する位置指定語１２１をチェックし、
一致した場合は対応するタイル番号を１２２より取り出
し、ＲＡＭ13に一時記憶される検索対象タイル番号格納
バッファTBUFに格納する。一致する位置指定語が存在し
なかった場合は、検索対象タイル番号格納バッファTBUF
に無効値（例えば負数）を格納する。
位置を含むと判別された場合の処理であり、指定位置タ
イル番号を取得する。指定位置タイルの取得はＤＩＳＫ
14に格納された図１２のデータテーブルを参照し、検索
指定位置語と一致する位置指定語１２１をチェックし、
一致した場合は対応するタイル番号を１２２より取り出
し、ＲＡＭ13に一時記憶される検索対象タイル番号格納
バッファTBUFに格納する。一致する位置指定語が存在し
なかった場合は、検索対象タイル番号格納バッファTBUF
に無効値（例えば負数）を格納する。
【００７１】次に、ステップＳ２２０６において検索指
定位置が指定する検索対象物を入力検索語WBUFより取り
出し、ステップＳ２２０４におけるステップと同様の方
法で検索対象物と一致するキーワードを検索する。一致
するキーワードが存在した場合、画像IDとタイル番号を
出力バッファOBUFに格納し、ステップＳ２２０５におい
てセットされた検索対象タイル番号格納バッファTBUFと
一致するかどうかをチェックする。
定位置が指定する検索対象物を入力検索語WBUFより取り
出し、ステップＳ２２０４におけるステップと同様の方
法で検索対象物と一致するキーワードを検索する。一致
するキーワードが存在した場合、画像IDとタイル番号を
出力バッファOBUFに格納し、ステップＳ２２０５におい
てセットされた検索対象タイル番号格納バッファTBUFと
一致するかどうかをチェックする。
【００７２】タイル番号が指定位置と一致した場合はそ
のまま出力バッファOBUFをもってステップＳ２２０９へ
進む。タイル番号が指定位置と一致しなかった場合は、
出力バッファOBUFから一致しなかったタイル番号と画像
IDを削除し、キーワード個数も減じる。
のまま出力バッファOBUFをもってステップＳ２２０９へ
進む。タイル番号が指定位置と一致しなかった場合は、
出力バッファOBUFから一致しなかったタイル番号と画像
IDを削除し、キーワード個数も減じる。
【００７３】また、ステップＳ２２０５とステップＳ２
２０６の処理はどちらが先に行われても良い。
２０６の処理はどちらが先に行われても良い。
【００７４】また、ステップＳ２２０５で取得されたタ
イル番号の中からキーワードの一致するタイル番号を取
得する様にしても良い。このようにすることで、図１１
のデータテーブルを全て参照する必要が無く、ステップ
Ｓ２２０５で取得されたタイル番号を含むテーブルを参
照するだけで良く、検索処理時間が短縮できる。
イル番号の中からキーワードの一致するタイル番号を取
得する様にしても良い。このようにすることで、図１１
のデータテーブルを全て参照する必要が無く、ステップ
Ｓ２２０５で取得されたタイル番号を含むテーブルを参
照するだけで良く、検索処理時間が短縮できる。
【００７５】ステップＳ２２０９はキーワード検索結果
に基づき画像データを表示する。
に基づき画像データを表示する。
【００７６】次に、ステップＳ２２０５とステップＳ２
２０６の処理を具体的な例を用いて説明する。ここで
は、ステップＳ２２０６の処理を先に行う例を用いて説
明する。例えば、検索語として「右下のりんご」を与え
ると、検索対象物が「りんご」である結果として、画像
IDが1563でタイル番号が7、12、画像IDが1564でタイル
番号が13、14、18、19、画像IDが1565でタイル番号が
6、7、11、12の３つの画像が得られる。さらに、検索位
置として「右下」と指定されているため、右下に対応す
るタイル番号13、14、18、19を持つ画像ID 1564の画像
データのみが検索結果として得られ、図７に示す画像の
みが表示される。
２０６の処理を具体的な例を用いて説明する。ここで
は、ステップＳ２２０６の処理を先に行う例を用いて説
明する。例えば、検索語として「右下のりんご」を与え
ると、検索対象物が「りんご」である結果として、画像
IDが1563でタイル番号が7、12、画像IDが1564でタイル
番号が13、14、18、19、画像IDが1565でタイル番号が
6、7、11、12の３つの画像が得られる。さらに、検索位
置として「右下」と指定されているため、右下に対応す
るタイル番号13、14、18、19を持つ画像ID 1564の画像
データのみが検索結果として得られ、図７に示す画像の
みが表示される。
【００７７】ステップＳ２２０７は検索語が検索対象画
像特徴語（「赤い」、「青い」等）を含むと判別された
場合の処理であり、指定された画像特徴量を取得する。
画像特徴量の取得はＤＩＳＫ14に格納された図１３のデ
ータテーブルを参照し、画像特徴語と一致する色名１３
１をチェックし、一致した場合は対応する画像特徴を１
３２より取り出し、ＲＡＭ13に一時記憶される検索対象
画像特徴格納バッファFBUFに格納する。一致する色名が
存在しなかった場合は、検索対象画像特徴格納バッファ
FBUFに無効値（例えば負数）を格納する。
像特徴語（「赤い」、「青い」等）を含むと判別された
場合の処理であり、指定された画像特徴量を取得する。
画像特徴量の取得はＤＩＳＫ14に格納された図１３のデ
ータテーブルを参照し、画像特徴語と一致する色名１３
１をチェックし、一致した場合は対応する画像特徴を１
３２より取り出し、ＲＡＭ13に一時記憶される検索対象
画像特徴格納バッファFBUFに格納する。一致する色名が
存在しなかった場合は、検索対象画像特徴格納バッファ
FBUFに無効値（例えば負数）を格納する。
【００７８】次に、ステップＳ２２０８において検索指
定画像特徴が指定する検索対象物を入力検索語WBUFより
取り出し、ステップＳ２２０４におけるステップと同様
の方法で検索対象物と一致するキーワードを検索する。
一致するキーワードが存在した場合、出力バッファOBUF
に格納された画像IDとタイル番号を取り出し、ＤＩＳＫ
14に格納された図１０のデータテーブルを参照して画像
ID、タイル番号に対応する画像特徴１０４を取り出す。
取り出された画像特徴がステップＳ２２０７においてセ
ットされた検索対象画像特徴格納バッファFBUFと一致す
るかどうかをチェックする。画像特徴が指定画像特徴と
一致した場合はそのまま出力バッファOBUFをもってステ
ップＳ２２０９へ進む。画像特徴が指定画像特徴と一致
しなかった場合は、出力バッファOBUFから一致しなかっ
たタイル番号と画像IDを削除し、キーワード個数も減じ
る。
定画像特徴が指定する検索対象物を入力検索語WBUFより
取り出し、ステップＳ２２０４におけるステップと同様
の方法で検索対象物と一致するキーワードを検索する。
一致するキーワードが存在した場合、出力バッファOBUF
に格納された画像IDとタイル番号を取り出し、ＤＩＳＫ
14に格納された図１０のデータテーブルを参照して画像
ID、タイル番号に対応する画像特徴１０４を取り出す。
取り出された画像特徴がステップＳ２２０７においてセ
ットされた検索対象画像特徴格納バッファFBUFと一致す
るかどうかをチェックする。画像特徴が指定画像特徴と
一致した場合はそのまま出力バッファOBUFをもってステ
ップＳ２２０９へ進む。画像特徴が指定画像特徴と一致
しなかった場合は、出力バッファOBUFから一致しなかっ
たタイル番号と画像IDを削除し、キーワード個数も減じ
る。
【００７９】ステップＳ２２０９はキーワード検索結果
に基づき画像データを表示する。
に基づき画像データを表示する。
【００８０】ステップＳ２２０４、ステップＳ２２０
５、ステップＳ２２０７のいずれかの処理によって出力
された出力バッファOBUFを参照し、一致キーワード個数
が0個であった場合は検索結果が存在しなかった旨をＣ
ＲＴ18に表示する。
５、ステップＳ２２０７のいずれかの処理によって出力
された出力バッファOBUFを参照し、一致キーワード個数
が0個であった場合は検索結果が存在しなかった旨をＣ
ＲＴ18に表示する。
【００８１】そうでない場合、出力バッファOBUFに格納
された先頭の画像IDと対応するタイル番号を表示する。
画像IDとタイル番号を指定し、対応するタイルの画像デ
ータをＤＩＳＫ14上の画像ファイルより送出し、ＣＲＴ
14に表示する。
された先頭の画像IDと対応するタイル番号を表示する。
画像IDとタイル番号を指定し、対応するタイルの画像デ
ータをＤＩＳＫ14上の画像ファイルより送出し、ＣＲＴ
14に表示する。
【００８２】また、例えば、検索語として「赤いりん
ご」を与えると、検索対象物が「りんご」である結果と
して、画像IDが1563でタイル番号が7、12で画像特徴が
3、画像IDが1564でタイル番号が13、14、18、19で画像
特徴が15、画像IDが1565でタイル番号が6、7、11、12で
画像特徴が15、の３つの画像が得られるが、画像特徴と
して「赤」が指定されているため、「赤」に対応する画
像特徴3を持つ画像ID 1563の画像データのみが検索結果
として得られ、図６に示す画像のみが表示される。
ご」を与えると、検索対象物が「りんご」である結果と
して、画像IDが1563でタイル番号が7、12で画像特徴が
3、画像IDが1564でタイル番号が13、14、18、19で画像
特徴が15、画像IDが1565でタイル番号が6、7、11、12で
画像特徴が15、の３つの画像が得られるが、画像特徴と
して「赤」が指定されているため、「赤」に対応する画
像特徴3を持つ画像ID 1563の画像データのみが検索結果
として得られ、図６に示す画像のみが表示される。
【００８３】（他の実施形態）以上の実施形態において
画像を分割するタイル数を２０個として説明したが、タ
イル数は任意の個数であっても同様に処理することがで
きる。その場合、ＤＩＳＫ14に格納する検索位置指定語
とタイル番号の対応テーブルにおけるタイル番号はタイ
ルの個数を按分して割り当てればよい。
画像を分割するタイル数を２０個として説明したが、タ
イル数は任意の個数であっても同様に処理することがで
きる。その場合、ＤＩＳＫ14に格納する検索位置指定語
とタイル番号の対応テーブルにおけるタイル番号はタイ
ルの個数を按分して割り当てればよい。
【００８４】検索位置指定語は１０語としたが、これら
の語に限定されるものではない。また「上」と「上方」
というように同じ指定位置を表して形態が異なる複数の
位置指定語を用いることができる。同様に画像特徴語も
「赤」と「赤色」「真っ赤」など似た色を表す言葉を画
像特徴語として扱うようにしてもよい。
の語に限定されるものではない。また「上」と「上方」
というように同じ指定位置を表して形態が異なる複数の
位置指定語を用いることができる。同様に画像特徴語も
「赤」と「赤色」「真っ赤」など似た色を表す言葉を画
像特徴語として扱うようにしてもよい。
【００８５】画像特徴量としてタイルの代表色を色成分
として用いたが、画像特徴としては色成分に限定される
ものではない。画像の輝度分布、輪郭抽出による大まか
な形状パターン、画像周波数成分など種々の画像特徴量
を扱っても同様である。
として用いたが、画像特徴としては色成分に限定される
ものではない。画像の輝度分布、輪郭抽出による大まか
な形状パターン、画像周波数成分など種々の画像特徴量
を扱っても同様である。
【００８６】また、本発明は、前述した実施形態の機能
を実現するソフトウエアのプログラムコードを記録した
記憶媒体を、システムあるいは装置に供給し、そのシス
テムあるいは装置のコンピュータ（またはCPUやMPU）が
記憶媒体に格納されたプログラムコードを読み出し実行
することによっても、達成されることは言うまでもな
い。
を実現するソフトウエアのプログラムコードを記録した
記憶媒体を、システムあるいは装置に供給し、そのシス
テムあるいは装置のコンピュータ（またはCPUやMPU）が
記憶媒体に格納されたプログラムコードを読み出し実行
することによっても、達成されることは言うまでもな
い。
【００８７】この場合、記憶媒体から読み出されたプロ
グラムコード自体が本発明の新規な機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。
グラムコード自体が本発明の新規な機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。
【００８８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD―ROM、CD―R、
磁気テープ、不揮発性のメモリカード、ROMなどに用い
ることができる。
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD―ROM、CD―R、
磁気テープ、不揮発性のメモリカード、ROMなどに用い
ることができる。
【００８９】また、コンピュータが読み出したプログラ
ムコードを実行することによって、前述した実施形態の
機能が実現される他、そのプログラムコードの指示に基
づき、コンピュータ上で稼働しているOSなどが実際の処
理の一部または全部を行い、その処理によっても前述し
た実施形態の機能が実現され得る。
ムコードを実行することによって、前述した実施形態の
機能が実現される他、そのプログラムコードの指示に基
づき、コンピュータ上で稼働しているOSなどが実際の処
理の一部または全部を行い、その処理によっても前述し
た実施形態の機能が実現され得る。
【００９０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPUなどが実際の処理の一部または全部を行い、
その処理によっても前述した実施形態の機能が実現され
得る。
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPUなどが実際の処理の一部または全部を行い、
その処理によっても前述した実施形態の機能が実現され
得る。
【００９１】尚、本発明は、前述した実施形態の機能を
実現するソフトウエアのプログラムコードを記録した記
憶媒体からそのプログラムをパソコン通信等通信インフ
ラを介して要求者にそのプログラムを配信する場合にも
適用できることは言うまでもない。
実現するソフトウエアのプログラムコードを記録した記
憶媒体からそのプログラムをパソコン通信等通信インフ
ラを介して要求者にそのプログラムを配信する場合にも
適用できることは言うまでもない。
【００９２】
【発明の効果】以上、詳述したように、画像データを複
数の領域に分割し、各領域毎に属性情報を付与すること
により、目的とする検索対象物が画像中のどこに位置す
るものかを考慮した画像データの検索を行うことが可能
になる。
数の領域に分割し、各領域毎に属性情報を付与すること
により、目的とする検索対象物が画像中のどこに位置す
るものかを考慮した画像データの検索を行うことが可能
になる。
【図１】本発明の全体構成を示すブロック図である。
【図２】本発明で用いるタイル状に分割された画像の例
を示す図である。
を示す図である。
【図３】タイル番号とタイル内に含まれるキーワードの
対応表を示す図である。
対応表を示す図である。
【図４】タイルに分割された画像の一部を示す図であ
る。
る。
【図５】タイルに分割されていない画像とキーワードを
示す図である。
示す図である。
【図６】タイルに分割された、画面中央と右下に対象物
がある画像の例を示す図である。
がある画像の例を示す図である。
【図７】タイルに分割された、画面右下に対象物がある
画像の例を示す図である。
画像の例を示す図である。
【図８】タイルに分割された、画面中央に対象物がある
画像の例を示す図である。
画像の例を示す図である。
【図９】画像IDと画像ファイル格納パスを対応づけたテ
ーブルの構造を示す図である。
ーブルの構造を示す図である。
【図１０】画像IDとタイルのキーワード、画像特徴量を
対応づけたテーブルの構造を示す図である。
対応づけたテーブルの構造を示す図である。
【図１１】キーワードと画像ID、タイル番号を対応づけ
たテーブルの構造を示す図である。
たテーブルの構造を示す図である。
【図１２】画像中の位置指定語とタイル番号とを対応づ
けたテーブルの構造を示す図である。
けたテーブルの構造を示す図である。
【図１３】画像特徴語と画像特徴とを対応づけたテーブ
ルの構造を示す図である。
ルの構造を示す図である。
【図１４】従来例での画像IDとキーワードの対応テーブ
ルの構造を示す図である。
ルの構造を示す図である。
【図１５】フラッシュピックス イメージオブジェクト
の構造を示す図である。
の構造を示す図である。
【図１６】フラッシュピックスイメージビューオブジェ
クトの構造を示す図である。
クトの構造を示す図である。
【図１７】解像度の異なる階層化された画像を示す図で
ある。
ある。
【図１８】タイルに分割された画像を示す図である。
【図１９】フラッシュピックスで用いられる属性情報を
示す図である。
示す図である。
【図２０】フラッシュピックスの各階層データの構造を
示す図である。
示す図である。
【図２１】従来の画像フォーマット例である。
【図２２】本実施形態の動作を説明したフローチャート
である。
である。
１１ ＣＰＵ １２ ＲＯＭ １３ ＲＡＭ １４ ＤＩＳＫ １５ ＫＢ １６ ＶＲＡＭ １７ ＣＲＴＣ １８ ＣＲＴ １９ ＮＩＣ
Claims (38)
- 【請求項１】 入力された検索語の種別を判断する判断
手段と、前記判断手段により検索語の中に位置情報を示
す情報が含まれていた場合に、位置情報を考慮して画像
データの検索を行う検索手段と、を有することを特徴と
する画像処理装置。 - 【請求項２】 前記画像データは、複数の領域に分割し
て記憶されることを特徴とする請求項１に記載の画像処
理装置。 - 【請求項３】 前記複数の領域に連続する番号を付与
し、位置情報を該番号により管理することを特徴とする
請求項２に記載の画像処理装置。 - 【請求項４】 前記分割された領域毎にキーワードを有
することを特徴とする請求項２に記載の画像処理装置。 - 【請求項５】 前記複数の領域に連続する番号を付与
し、該番号と前記キーワードとを対応して記憶する記憶
手段を有することを特徴とする請求項２に記載の画像処
理装置。 - 【請求項６】 前記検索手段により検索された画像デー
タを表示する表示手段を有することを特徴とする請求項
１に記載の画像処理装置。 - 【請求項７】 検索語を入力する入力手段と、前記入力
手段により入力された検索語の種別を判断する判断手段
と、前記判断手段により検索語の中にキーワードと位置
情報を示す情報が含まれていた場合、キーワードと位置
情報の条件を満たす画像データを検索する検索手段と、
を有することを特徴とする画像処理装置。 - 【請求項８】 入力された検索語の種別を判断する判断
手段と、前記判断手段により検索語の中に画像特徴量を
示す情報が含まれていた場合に、画像特徴量を考慮して
画像データの検索を行う検索手段と、を有することを特
徴とする画像処理装置。 - 【請求項９】 前記画像データは、複数の領域に分割し
て記憶されることを特徴とする請求項８に記載の画像処
理装置。 - 【請求項１０】 前記分割された領域毎に画像特徴量を
有することを特徴とする請求項８に記載の画像処理装
置。 - 【請求項１１】 前記複数の領域に連続する番号を付与
し、該番号と前記画像特徴量とを対応して記憶する記憶
手段を有することを特徴とする請求項９に記載の画像処
理装置。 - 【請求項１２】 前記検索手段により検索された画像デ
ータを表示する表示手段を有することを特徴とする請求
項８に記載の画像処理装置。 - 【請求項１３】 前記画像特徴量は、画像データの色成
分であることを特徴とする請求項８に記載の画像処理装
置。 - 【請求項１４】 前記画像特徴量は、画像データの形状
パターンであることを特徴とする請求項８に記載の画像
処理装置。 - 【請求項１５】 検索語を入力する入力手段と、前記入
力手段により入力された検索語の種別を判断する判断手
段と、前記判断手段により検索語の中にキーワードと画
像特徴量を示す情報が含まれていた場合、キーワードと
画像特徴量の条件を満たす画像データを検索する検索手
段と、を有することを特徴とする画像処理装置。 - 【請求項１６】 前記画像特徴量は、画像データの色成
分であることを特徴とする請求項１５に記載の画像処理
装置。 - 【請求項１７】 前記画像特徴量は、画像データの形状
パターンであることを特徴とする請求項１５に記載の画
像処理装置。 - 【請求項１８】 入力された検索語の種別を判断する判
断工程と、前記判断工程により検索語の中に位置情報を
示す情報が含まれていた場合に、位置情報を考慮して画
像データの検索を行う検索工程と、を有することを特徴
とする画像処理方法。 - 【請求項１９】 前記画像データは、複数の領域に分割
して記憶されることを特徴とする請求項１８に記載の画
像処理方法。 - 【請求項２０】 前記複数の領域に連続する番号を付与
し、位置情報を該番号により管理することを特徴とする
請求項１９に記載の画像処理方法。 - 【請求項２１】 前記分割された領域毎にキーワードを
有することを特徴とする請求項１９に記載の画像処理方
法。 - 【請求項２２】 前記複数の領域に連続する番号を付与
し、該番号と前記キーワードとを対応して記憶する記憶
工程を有することを特徴とする請求項１９に記載の画像
処理方法。 - 【請求項２３】 前記検索工程により検索された画像デ
ータを表示する表示工程を有することを特徴とする請求
項１８に記載の画像処理方法。 - 【請求項２４】 検索語を入力する入力工程と、前記入
力工程により入力された検索語の種別を判断する判断工
程と、前記判断工程により検索語の中にキーワードと位
置情報を示す情報が含まれていた場合、キーワードと位
置情報の条件を満たす画像データを検索する検索工程
と、を有することを特徴とする画像処理方法。 - 【請求項２５】 入力された検索語の種別を判断する判
断工程と、前記判断工程により検索語の中に画像特徴量
を示す情報が含まれていた場合に、画像特徴量を考慮し
て画像データの検索を行う検索工程と、を有することを
特徴とする画像処理方法。 - 【請求項２６】 前記画像データは、複数の領域に分割
して記憶されることを特徴とする請求項２５に記載の画
像処理方法。 - 【請求項２７】 前記分割された領域毎に画像特徴量を
有することを特徴とする請求項２５に記載の画像処理方
法。 - 【請求項２８】 前記複数の領域に連続する番号を付与
し、該番号と前記画像特徴量とを対応して記憶する記憶
工程を有することを特徴とする請求項２６に記載の画像
処理方法。 - 【請求項２９】 前記検索工程により検索された画像デ
ータを表示する表示工程を有することを特徴とする請求
項２５に記載の画像処理方法。 - 【請求項３０】 前記画像特徴量は、画像データの色成
分であることを特徴とする請求項２５に記載の画像処理
方法。 - 【請求項３１】 前記画像特徴量は、画像データの形状
パターンであることを特徴とする請求項２５に記載の画
像処理方法。 - 【請求項３２】 検索語を入力する入力工程と、前記入
力工程により入力された検索語の種別を判断する判断工
程と、前記判断工程により検索語の中にキーワードと画
像特徴量を示す情報が含まれていた場合、キーワードと
画像特徴量の条件を満たす画像データを検索する検索工
程と、を有することを特徴とする画像処理方法。 - 【請求項３３】 前記画像特徴量は、画像データの色成
分であることを特徴とする請求項３２に記載の画像処理
方法。 - 【請求項３４】 前記画像特徴量は、画像データの形状
パターンであることを特徴とする請求項３２に記載の画
像処理方法。 - 【請求項３５】 入力された検索語の種別を判断する判
断工程と、前記判断工程により検索語の中に位置情報を
示す情報が含まれていた場合に、位置情報を考慮して画
像データの検索を行う検索工程と、を有することを特徴
とする画像処理方法。 - 【請求項３６】 検索語を入力する入力工程と、前記入
力工程により入力された検索語の種別を判断する判断工
程と、前記判断工程により検索語の中にキーワードと位
置情報を示す情報が含まれていた場合、キーワードと位
置情報の条件を満たす画像データを検索する検索工程
と、を有することを特徴とするプログラムを格納する記
憶媒体。 - 【請求項３７】 入力された検索語の種別を判断する判
断工程と、前記判断工程により検索語の中に画像特徴量
を示す情報が含まれていた場合に、画像特徴量を考慮し
て画像データの検索を行う検索工程と、を有することを
特徴とするプログラムを格納する記憶媒体。 - 【請求項３８】 検索語を入力する入力工程と、前記入
力工程により入力された検索語の種別を判断する判断工
程と、前記判断工程により検索語の中にキーワードと画
像特徴量を示す情報が含まれていた場合、キーワードと
画像特徴量の条件を満たす画像データを検索する検索工
程と、を有することを特徴とするプログラムを格納する
記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9206095A JPH1153370A (ja) | 1997-07-31 | 1997-07-31 | 画像処理装置及びその方法、記憶媒体 |
| US09/126,390 US6556713B2 (en) | 1997-07-31 | 1998-07-30 | Image processing apparatus and method and storage medium |
| US10/364,325 US20030131019A1 (en) | 1997-07-31 | 2003-02-12 | Image processing apparatus and method and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9206095A JPH1153370A (ja) | 1997-07-31 | 1997-07-31 | 画像処理装置及びその方法、記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1153370A true JPH1153370A (ja) | 1999-02-26 |
Family
ID=16517730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9206095A Pending JPH1153370A (ja) | 1997-07-31 | 1997-07-31 | 画像処理装置及びその方法、記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1153370A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000353173A (ja) * | 1999-06-11 | 2000-12-19 | Hitachi Ltd | 文書付き画像の分類方法、分類装置および記録媒体 |
| JP2012168771A (ja) * | 2011-02-15 | 2012-09-06 | Casio Comput Co Ltd | 情報検索装置およびプログラム |
-
1997
- 1997-07-31 JP JP9206095A patent/JPH1153370A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000353173A (ja) * | 1999-06-11 | 2000-12-19 | Hitachi Ltd | 文書付き画像の分類方法、分類装置および記録媒体 |
| JP2012168771A (ja) * | 2011-02-15 | 2012-09-06 | Casio Comput Co Ltd | 情報検索装置およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6556713B2 (en) | Image processing apparatus and method and storage medium | |
| US6668101B2 (en) | Image processing apparatus and method, and computer-readable memory | |
| US7272269B2 (en) | Image processing apparatus and method therefor | |
| US6912531B1 (en) | Image storage method and apparatus | |
| JPH0879536A (ja) | 画像処理方法 | |
| JPH11331571A (ja) | 画像処理方法及び画像処理装置 | |
| US6714682B2 (en) | Image processing device and method and memory medium | |
| JPH1153511A (ja) | 画像処理装置および方法および記憶媒体 | |
| US6704464B2 (en) | Image processing apparatus and method, and storage medium | |
| JPH1153370A (ja) | 画像処理装置及びその方法、記憶媒体 | |
| JPH1153372A (ja) | 画像処理装置及びその方法、記憶媒体 | |
| KR100464224B1 (ko) | 화상처리방법 및 그 장치, 기억매체 | |
| JPH1153373A (ja) | データ検索装置およびデータ検索方法およびデータ検索プログラムを格納した記憶媒体 | |
| JP2006134042A (ja) | 画像処理システム | |
| JP2001222717A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2000112958A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2002236921A (ja) | 文書画像認識方法、文書画像認識装置及び記録媒体 | |
| JP2000112961A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JPH06282630A (ja) | ビデオｉｄフォトシステム | |
| JP2000194704A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2002024766A (ja) | 文字認識装置及び方法 | |
| JP2000188676A (ja) | 画像処理装置及びその方法、コンピュータ可読メモリ | |
| JP2000112957A (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JPS60157644A (ja) | フアイリング装置 | |
| JP2000076276A (ja) | 画像記憶方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050726 |