JPH1115834A - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法Info
- Publication number
- JPH1115834A JPH1115834A JP9163033A JP16303397A JPH1115834A JP H1115834 A JPH1115834 A JP H1115834A JP 9163033 A JP9163033 A JP 9163033A JP 16303397 A JP16303397 A JP 16303397A JP H1115834 A JPH1115834 A JP H1115834A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- input
- coordinates
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像データを管理するためのユーザの負担を
軽減し、かつ管理された画像データに対しユーザの嗜好
にあった画像データの検索を行うことができる画像処理
装置及びその制御方法を提供する。 【解決手段】 画像入力部２より、画像データ及び該画
像データ中の着目画像データの座標を入力する。次に、
入力された着目画像データの座標に基づいて、着目画像
データを着目物体抽出部５０で抽出する。次に、抽出し
た着目画像データの画像特徴量を、画像特徴抽出部７で
算出する。そして、算出された画像特徴量と入力された
画像データを対応づけて画像蓄積部４に管理する。
軽減し、かつ管理された画像データに対しユーザの嗜好
にあった画像データの検索を行うことができる画像処理
装置及びその制御方法を提供する。 【解決手段】 画像入力部２より、画像データ及び該画
像データ中の着目画像データの座標を入力する。次に、
入力された着目画像データの座標に基づいて、着目画像
データを着目物体抽出部５０で抽出する。次に、抽出し
た着目画像データの画像特徴量を、画像特徴抽出部７で
算出する。そして、算出された画像特徴量と入力された
画像データを対応づけて画像蓄積部４に管理する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像データを管理
する画像処理装置及びその方法に関するものである。
する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】従来、画像処理装置の記憶媒体等に管理
されている画像データを検索する際の検索条件として、
撮影した画像を用いることは、その撮影した画像を正確
に認識することが実現困難なため検索精度が良いもので
はなかった。そのため、画像データを管理する際に、そ
の画像データを示す説明文及びキーワードを付加し、画
像データを検索する際には、その画像データに付加した
説明文及びキーワードを用いて検索を行うことが一般的
であった。
されている画像データを検索する際の検索条件として、
撮影した画像を用いることは、その撮影した画像を正確
に認識することが実現困難なため検索精度が良いもので
はなかった。そのため、画像データを管理する際に、そ
の画像データを示す説明文及びキーワードを付加し、画
像データを検索する際には、その画像データに付加した
説明文及びキーワードを用いて検索を行うことが一般的
であった。
【０００３】一方、説明文及びキーワードが付加されて
いない画像データを検索する方法として、例えば、以下
に説明するもの提案されている。まず、画像データ全体
の画像特徴量を抽出し、その抽出された画像特徴量と画
像データを対応づけて管理しておく。そして、検索条件
として入力された画像データの画像特徴量を抽出し、そ
の抽出された画像特徴量と、管理されている画像データ
の画像特徴量を比較することで所望の画像データを検索
するものである。
いない画像データを検索する方法として、例えば、以下
に説明するもの提案されている。まず、画像データ全体
の画像特徴量を抽出し、その抽出された画像特徴量と画
像データを対応づけて管理しておく。そして、検索条件
として入力された画像データの画像特徴量を抽出し、そ
の抽出された画像特徴量と、管理されている画像データ
の画像特徴量を比較することで所望の画像データを検索
するものである。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来の画像データに説明文及びキーワードを付加して画像
データを管理する画像処理装置では、特に、管理する画
像データが多いと、その画像データに説明文及びキーワ
ードを付加する作業がユーザに対し大きな負担となって
いた。
来の画像データに説明文及びキーワードを付加して画像
データを管理する画像処理装置では、特に、管理する画
像データが多いと、その画像データに説明文及びキーワ
ードを付加する作業がユーザに対し大きな負担となって
いた。
【０００５】また、画像データとその画像特徴量を対応
づけて画像データを管理する画像処理装置では、画像デ
ータ全体の画像特徴量に基づいて画像データを検索する
だけであり、その画像データ中のユーザが着目する着目
画像データを含む画像データを精度良く検索することは
できなかった。また、ユーザが検索条件として入力する
画像データは、画像データ中のユーザが着目する着目画
像データに基づいて決定されるのが一般的に想定される
ことを鑑みると、ユーザーが着目する着目画像データを
検索条件として検索できることは極めて重要な意義があ
る。
づけて画像データを管理する画像処理装置では、画像デ
ータ全体の画像特徴量に基づいて画像データを検索する
だけであり、その画像データ中のユーザが着目する着目
画像データを含む画像データを精度良く検索することは
できなかった。また、ユーザが検索条件として入力する
画像データは、画像データ中のユーザが着目する着目画
像データに基づいて決定されるのが一般的に想定される
ことを鑑みると、ユーザーが着目する着目画像データを
検索条件として検索できることは極めて重要な意義があ
る。
【０００６】本発明は上記の問題点に鑑みてなされたも
のであり、画像データを管理するためのユーザの負担を
軽減し、かつ管理された画像データに対しユーザの嗜好
にあった画像データの検索を行うことができる画像処理
装置及びその制御方法を提供することを目的とする。
のであり、画像データを管理するためのユーザの負担を
軽減し、かつ管理された画像データに対しユーザの嗜好
にあった画像データの検索を行うことができる画像処理
装置及びその制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、画
像データ及び該画像データ中の着目画像データの座標を
入力する入力手段と、前記入力手段で入力された前記着
目画像データの座標に基づいて、該着目画像データの画
像特徴量を算出する算出手段と、前記算出手段で算出さ
れた画像特徴量と前記入力された画像データを対応づけ
て管理する管理手段とを備える。
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、画
像データ及び該画像データ中の着目画像データの座標を
入力する入力手段と、前記入力手段で入力された前記着
目画像データの座標に基づいて、該着目画像データの画
像特徴量を算出する算出手段と、前記算出手段で算出さ
れた画像特徴量と前記入力された画像データを対応づけ
て管理する管理手段とを備える。
【０００８】また、好ましくは、前記入力手段は、画像
を撮影する撮影手段と、前記撮影手段で撮影された画像
に対するユーザの視線を検出する検出手段と、前記検出
手段の検出結果に基づいて、前記着目画像データの座標
を抽出する抽出手段とを備える。
を撮影する撮影手段と、前記撮影手段で撮影された画像
に対するユーザの視線を検出する検出手段と、前記検出
手段の検出結果に基づいて、前記着目画像データの座標
を抽出する抽出手段とを備える。
【０００９】また、好ましくは、前記入力手段は、画像
を撮影する撮影手段と、前記撮影手段で撮影された画像
を表示する表示手段と、前記表示手段で表示される画像
中の着目画像を指定する指定手段と、前記指定手段の指
定結果に基づいて、前記着目画像に基づく着目画像デー
タの座標を抽出する抽出手段とを備える。
を撮影する撮影手段と、前記撮影手段で撮影された画像
を表示する表示手段と、前記表示手段で表示される画像
中の着目画像を指定する指定手段と、前記指定手段の指
定結果に基づいて、前記着目画像に基づく着目画像デー
タの座標を抽出する抽出手段とを備える。
【００１０】また、好ましくは、前記入力手段は、画像
を撮影する撮影手段と、前記撮影手段の撮影特性に基づ
いて、前記画像中の着目画像に基づく着目画像データの
座標を決定する決定手段とを備える。また、好ましく
は、前記管理手段で管理される画像データより、所望の
画像データを検索するための検索条件を入力する検索条
件入力手段とを更に備える。
を撮影する撮影手段と、前記撮影手段の撮影特性に基づ
いて、前記画像中の着目画像に基づく着目画像データの
座標を決定する決定手段とを備える。また、好ましく
は、前記管理手段で管理される画像データより、所望の
画像データを検索するための検索条件を入力する検索条
件入力手段とを更に備える。
【００１１】また、好ましくは、前記検索条件入力手段
より入力された検索条件を解析する解析手段と、前記解
析手段による解析結果に基づいて、ユーザに対し前記検
索条件とは異なる検索条件の入力を促す質問を出力する
出力手段とを更に備える。
より入力された検索条件を解析する解析手段と、前記解
析手段による解析結果に基づいて、ユーザに対し前記検
索条件とは異なる検索条件の入力を促す質問を出力する
出力手段とを更に備える。
【００１２】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、画像データ
を管理する画像処理装置の制御方法であって、画像デー
タ及び該画像データ中の着目画像データの座標を入力す
る入力工程と、前記入力工程で入力された前記着目画像
データの座標に基づいて、該着目画像データの画像特徴
量を算出する算出工程と、前記算出工程で算出された画
像特徴量と前記入力された画像データを対応づけて管理
する管理工程とを備える。
画像処理方法は以下の構成を備える。即ち、画像データ
を管理する画像処理装置の制御方法であって、画像デー
タ及び該画像データ中の着目画像データの座標を入力す
る入力工程と、前記入力工程で入力された前記着目画像
データの座標に基づいて、該着目画像データの画像特徴
量を算出する算出工程と、前記算出工程で算出された画
像特徴量と前記入力された画像データを対応づけて管理
する管理工程とを備える。
【００１３】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラム
コードが格納されたコンピュータ可読メモリであって、
画像データ及び該画像データ中の着目画像データの座標
を入力する入力工程のプログラムコードと、前記入力工
程で入力された前記着目画像データの座標に基づいて、
該着目画像データの画像特徴量を算出する算出工程のプ
ログラムコードと、前記算出工程で算出された画像特徴
量と前記入力された画像データを対応づけて管理する管
理工程のプログラムコードとを備える。
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラム
コードが格納されたコンピュータ可読メモリであって、
画像データ及び該画像データ中の着目画像データの座標
を入力する入力工程のプログラムコードと、前記入力工
程で入力された前記着目画像データの座標に基づいて、
該着目画像データの画像特徴量を算出する算出工程のプ
ログラムコードと、前記算出工程で算出された画像特徴
量と前記入力された画像データを対応づけて管理する管
理工程のプログラムコードとを備える。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。図１は本発明の実施形
態の画像処理装置の構成を示すブロック図である。図１
において、１はユーザインタフェースであり、キーボー
ド、マウスより構成される。４は画像蓄積部であり、画
像メモリ５に一旦記憶される画像データを蓄積する。２
は画像入力部であり、画像データを入力する。尚、本実
施形態では、画像入力部２として、ファインダーに視線
検出器が組み込まれた画像撮影入力装置、あるいは内蔵
または外付けの表示装置上に表示される画像に対する加
工や編集等の操作を行うことができる操作パネルを有す
る画像撮影入力装置等の画像撮影入力装置を用いる。そ
して、ユーザーインタフェース１からの指示により、撮
影されている画像に基づく画像データ及びその画像中の
着目物体に対応する画像データ（以下、着目画像データ
と呼ぶ）の座標の入力を行う。
適な実施形態を詳細に説明する。図１は本発明の実施形
態の画像処理装置の構成を示すブロック図である。図１
において、１はユーザインタフェースであり、キーボー
ド、マウスより構成される。４は画像蓄積部であり、画
像メモリ５に一旦記憶される画像データを蓄積する。２
は画像入力部であり、画像データを入力する。尚、本実
施形態では、画像入力部２として、ファインダーに視線
検出器が組み込まれた画像撮影入力装置、あるいは内蔵
または外付けの表示装置上に表示される画像に対する加
工や編集等の操作を行うことができる操作パネルを有す
る画像撮影入力装置等の画像撮影入力装置を用いる。そ
して、ユーザーインタフェース１からの指示により、撮
影されている画像に基づく画像データ及びその画像中の
着目物体に対応する画像データ（以下、着目画像データ
と呼ぶ）の座標の入力を行う。
【００１５】例えば、画像入力部２として、ファインダ
ーに視線検出器が組み込まれた画像撮影入力装置を用い
た場合の着目画像データの座標は、視線検出器から得ら
れるユーザーの視線の画像データ座標系が示す座標情報
から獲得する。また、内蔵または外付けの表示装置上に
表示される画像に対する加工や編集等の操作を行うこと
ができる操作パネルを有する画像撮影入力装置を用いた
場合の着目画像データの座標は、表示装置上に表示され
る画像から着目物体を指定し、その指定された着目物体
の表示装置上での座標情報から獲得する。
ーに視線検出器が組み込まれた画像撮影入力装置を用い
た場合の着目画像データの座標は、視線検出器から得ら
れるユーザーの視線の画像データ座標系が示す座標情報
から獲得する。また、内蔵または外付けの表示装置上に
表示される画像に対する加工や編集等の操作を行うこと
ができる操作パネルを有する画像撮影入力装置を用いた
場合の着目画像データの座標は、表示装置上に表示され
る画像から着目物体を指定し、その指定された着目物体
の表示装置上での座標情報から獲得する。
【００１６】更に、上記の画像撮影入力装置の機能を有
していない画像撮影入力装置を用いた場合の着目画像デ
ータの座標は、統計的に着目物体の事前存在確率の高い
座標、あるいは明度・色相・彩度等の情報を心理学的な
観点から決定される着目物体の座標から獲得する。尚、
心理学的な観点から座標を獲得する方法としては、例え
ば、撮影されている画像の中心位置を着目画像データの
座標とする、あるいは入力された画像データ中、彩度の
高さ、輝度の高さに重みを付けた演算により目立ち度を
算出し、その目立ち度の高い画像データを着目画像デー
タの座標とする方法がある。
していない画像撮影入力装置を用いた場合の着目画像デ
ータの座標は、統計的に着目物体の事前存在確率の高い
座標、あるいは明度・色相・彩度等の情報を心理学的な
観点から決定される着目物体の座標から獲得する。尚、
心理学的な観点から座標を獲得する方法としては、例え
ば、撮影されている画像の中心位置を着目画像データの
座標とする、あるいは入力された画像データ中、彩度の
高さ、輝度の高さに重みを付けた演算により目立ち度を
算出し、その目立ち度の高い画像データを着目画像デー
タの座標とする方法がある。
【００１７】５は画像メモリであり、画像入力部２より
入力された画像データ及び着目画像データの座標を一旦
記憶する。５０は着目物体抽出部であり、入力された着
目画像データの座標に基づいて、入力された画像データ
より着目画像データを抽出する。７は画像特徴抽出部で
あり、着目物体抽出部５０で抽出された着目画像データ
の類似画像データを検索するための画像特徴量を抽出す
る。
入力された画像データ及び着目画像データの座標を一旦
記憶する。５０は着目物体抽出部であり、入力された着
目画像データの座標に基づいて、入力された画像データ
より着目画像データを抽出する。７は画像特徴抽出部で
あり、着目物体抽出部５０で抽出された着目画像データ
の類似画像データを検索するための画像特徴量を抽出す
る。
【００１８】尚、着目画像データ及びその画像特徴量の
抽出は、以下に説明する手順で抽出する。まず、画像デ
ータの色・エッジを考慮しながら、着目画像データの座
標から周囲に向かって同一画像データと認識できる範囲
を求めながら領域を成長させる。また、成長と並行して
各範囲の境界上での画像特徴量を抽出する。そして、最
終的に画像データの形・位置・大きさに領域が成長する
までに得られた各画像特徴量を、その着目画像データの
画像特徴量として抽出する。
抽出は、以下に説明する手順で抽出する。まず、画像デ
ータの色・エッジを考慮しながら、着目画像データの座
標から周囲に向かって同一画像データと認識できる範囲
を求めながら領域を成長させる。また、成長と並行して
各範囲の境界上での画像特徴量を抽出する。そして、最
終的に画像データの形・位置・大きさに領域が成長する
までに得られた各画像特徴量を、その着目画像データの
画像特徴量として抽出する。
【００１９】９は画像特徴インデックスであり、画像特
徴抽出部７で抽出された画像データの画像特徴量を、そ
の画像データと対応づけて登録する。３は言語処理部で
あり、ユーザーインタフェース１より入力された検索語
を画像検索部１０に出力する。６は全文検索登録部およ
びキーワード登録部であり、言語処理部３より入力され
る単語を、入力された画像データと対応づけて全文検索
インデックスおよびキーワードインデックス１１に登録
する。８は同義語・類義語・概念辞書であり、同義語、
類義語をそれらに対応する概念毎に管理する辞書であ
る。また、同義語・類義語・概念辞書８で管理される単
語には、検索語に対する自身の有効度を示す画像特徴重
みが付加されている。尚、この同義語・類義語・概念辞
書８の詳細については後述する。
徴抽出部７で抽出された画像データの画像特徴量を、そ
の画像データと対応づけて登録する。３は言語処理部で
あり、ユーザーインタフェース１より入力された検索語
を画像検索部１０に出力する。６は全文検索登録部およ
びキーワード登録部であり、言語処理部３より入力され
る単語を、入力された画像データと対応づけて全文検索
インデックスおよびキーワードインデックス１１に登録
する。８は同義語・類義語・概念辞書であり、同義語、
類義語をそれらに対応する概念毎に管理する辞書であ
る。また、同義語・類義語・概念辞書８で管理される単
語には、検索語に対する自身の有効度を示す画像特徴重
みが付加されている。尚、この同義語・類義語・概念辞
書８の詳細については後述する。
【００２０】１０は検索部であり、画像検索部１０ａ、
言語・画像特徴概念変換部１０ｂ、言語検索部１０ｃよ
り構成される。言語検索部１０ｃは、言語処理部３より
入力された検索語に該当する単語の検索を行う。言語・
画像特徴概念変換部１０ｂは、検索語に対する画像特徴
重みを同義語・類義語・概念辞書８を参照して取得し、
画像データを検索するための画像特徴量を算出する。画
像検索部１０ａは、言語・画像特徴概念変換部１０ｂで
算出される画像特徴量に基づいて画像特徴インデックス
９を参照し画像データを検索する。
言語・画像特徴概念変換部１０ｂ、言語検索部１０ｃよ
り構成される。言語検索部１０ｃは、言語処理部３より
入力された検索語に該当する単語の検索を行う。言語・
画像特徴概念変換部１０ｂは、検索語に対する画像特徴
重みを同義語・類義語・概念辞書８を参照して取得し、
画像データを検索するための画像特徴量を算出する。画
像検索部１０ａは、言語・画像特徴概念変換部１０ｂで
算出される画像特徴量に基づいて画像特徴インデックス
９を参照し画像データを検索する。
【００２１】１２は検索結果通知部であり、検索部１０
より検索結果として得られる画像データを表示する。ま
た、ユーザーに対し、入力された検索語に対し、検索に
役立つ情報を得るための質問画面を表示する。次に、本
実施形態の同義語・類義語・概念辞書８の詳細な構成の
一例について、図２を用いて説明する。
より検索結果として得られる画像データを表示する。ま
た、ユーザーに対し、入力された検索語に対し、検索に
役立つ情報を得るための質問画面を表示する。次に、本
実施形態の同義語・類義語・概念辞書８の詳細な構成の
一例について、図２を用いて説明する。
【００２２】図２は本発明の実施形態の同義語・類義語
・概念辞書の詳細な構成の一例を示す図である。同義語
・類義語・概念辞書８は、同義語・類義語を、それに対
応する概念の抽象度に応じて登録されている。そして、
概念の抽象度が異なる同義語・類義語の間には、その抽
象度の差を示す概念距離が定義されている。例えば、図
２では、「乗り物」と「車」との概念距離は１０にな
る。
・概念辞書の詳細な構成の一例を示す図である。同義語
・類義語・概念辞書８は、同義語・類義語を、それに対
応する概念の抽象度に応じて登録されている。そして、
概念の抽象度が異なる同義語・類義語の間には、その抽
象度の差を示す概念距離が定義されている。例えば、図
２では、「乗り物」と「車」との概念距離は１０にな
る。
【００２３】また、同義語・類義語には、入力された検
索語のｎ個の画像特徴量に、検索語に対し自身の画像特
徴量の有効度を反映した重み付けを行うための画像特徴
重みとしてｎ次元のベクトルが定義されている。そし
て、それらｎ次元のベクトルは、その大きさが１００と
なるように正規化されている。例えば、自動車は人工物
であり、様々な色があり得るので色に関する画像特徴量
に対する重みは０として、参照すべきでないものとして
定義される。これにより、検索語に対する有効な画像特
徴量として、色以外の画像特徴量に重みを置いた検索が
実行されることになる。但し、検索語が「赤い車」であ
る場合には、「赤い」という情報を考慮し、画像特徴量
として赤い色を考慮に入れた検索が実行される。
索語のｎ個の画像特徴量に、検索語に対し自身の画像特
徴量の有効度を反映した重み付けを行うための画像特徴
重みとしてｎ次元のベクトルが定義されている。そし
て、それらｎ次元のベクトルは、その大きさが１００と
なるように正規化されている。例えば、自動車は人工物
であり、様々な色があり得るので色に関する画像特徴量
に対する重みは０として、参照すべきでないものとして
定義される。これにより、検索語に対する有効な画像特
徴量として、色以外の画像特徴量に重みを置いた検索が
実行されることになる。但し、検索語が「赤い車」であ
る場合には、「赤い」という情報を考慮し、画像特徴量
として赤い色を考慮に入れた検索が実行される。
【００２４】次に、本実施形態の画像処理装置で実行さ
れる画像データを登録する画像登録処理について、図３
を用いて説明する。図３は本発明の実施形態で実行され
る画像登録処理の処理フローを示すフローチャートであ
る。まず、ステップＳ１０１で、入力された画像データ
及び着目画像データの座標を画像入力部２により入力す
る。そして、入力された画像データを画像メモリ５に一
旦記憶する。ステップＳ１０２で、着目画像データの座
標が入力されているか否かを判定する。着目画像データ
の座標が入力されている場合（ステップＳ１０２でＹＥ
Ｓ）、ステップＳ１０３に進み、その座標を用いて着目
画像データを抽出する。
れる画像データを登録する画像登録処理について、図３
を用いて説明する。図３は本発明の実施形態で実行され
る画像登録処理の処理フローを示すフローチャートであ
る。まず、ステップＳ１０１で、入力された画像データ
及び着目画像データの座標を画像入力部２により入力す
る。そして、入力された画像データを画像メモリ５に一
旦記憶する。ステップＳ１０２で、着目画像データの座
標が入力されているか否かを判定する。着目画像データ
の座標が入力されている場合（ステップＳ１０２でＹＥ
Ｓ）、ステップＳ１０３に進み、その座標を用いて着目
画像データを抽出する。
【００２５】一方、着目画像データの座標が入力されて
いない場合（ステップＳ１０２でＮＯ）、ステップＳ１
０７に進み、座標がユーザーより入力されたか否かを判
定する。座標がユーザーより入力された場合（ステップ
Ｓ１０７でＹＥ）、ステップＳ１０８に進み、その座標
を用いて着目画像データを抽出する。一方、座標がユー
ザーより入力されない場合（ステップＳ１０７でＮ
Ｏ）、ステップＳ１０９に進み、統計的及び心理学的な
観点から着目画像データの座標を決定する。そして、ス
テップＳ１０では、その決定された座標を用いて着目画
像データを、着目物体抽出部４０で抽出する。
いない場合（ステップＳ１０２でＮＯ）、ステップＳ１
０７に進み、座標がユーザーより入力されたか否かを判
定する。座標がユーザーより入力された場合（ステップ
Ｓ１０７でＹＥ）、ステップＳ１０８に進み、その座標
を用いて着目画像データを抽出する。一方、座標がユー
ザーより入力されない場合（ステップＳ１０７でＮ
Ｏ）、ステップＳ１０９に進み、統計的及び心理学的な
観点から着目画像データの座標を決定する。そして、ス
テップＳ１０では、その決定された座標を用いて着目画
像データを、着目物体抽出部４０で抽出する。
【００２６】ステップＳ１０４で、抽出された着目画像
データの画像特徴量を画像特抽出部７で抽出する。ステ
ップＳ１０５で、着目画像データの画像特徴量を、入力
された画像データと対応づけて画像特徴インデックス９
に登録する。ステップＳ１０６で、その入力された画像
データを画像蓄積部４に蓄積する。次に、本実施形態の
画像処理装置で実行される画像データを検索する検索処
理の概要について、図４を用いて説明する。
データの画像特徴量を画像特抽出部７で抽出する。ステ
ップＳ１０５で、着目画像データの画像特徴量を、入力
された画像データと対応づけて画像特徴インデックス９
に登録する。ステップＳ１０６で、その入力された画像
データを画像蓄積部４に蓄積する。次に、本実施形態の
画像処理装置で実行される画像データを検索する検索処
理の概要について、図４を用いて説明する。
【００２７】図４は本発明の実施形態で実行される検索
処理の概要を示すフローチャートである。まず、ステッ
プＳ２０１で、画像蓄積部４に蓄積されるすべての画像
データを検索対象の画像データとしてセットする。次
に、ステップＳ２０２で、検索条件として「自然語」を
ユーザーインタフェース１より入力する。次に、ステッ
プＳ２０３で、入力された「自然語」に基づいて、画像
データを検索する検索処理を行う。検索処理が実行され
ると、ステップＳ２０４で、その検索結果を検索結果通
知部１２で表示する。ステップＳ２０５で、その検索結
果に対するユーザの指示を受け付ける。
処理の概要を示すフローチャートである。まず、ステッ
プＳ２０１で、画像蓄積部４に蓄積されるすべての画像
データを検索対象の画像データとしてセットする。次
に、ステップＳ２０２で、検索条件として「自然語」を
ユーザーインタフェース１より入力する。次に、ステッ
プＳ２０３で、入力された「自然語」に基づいて、画像
データを検索する検索処理を行う。検索処理が実行され
ると、ステップＳ２０４で、その検索結果を検索結果通
知部１２で表示する。ステップＳ２０５で、その検索結
果に対するユーザの指示を受け付ける。
【００２８】ユーザの指示が、検索結果に対し、更に検
索語を設定して検索結果の絞り込みを行う場合は、ステ
ップＳ２０８で、現在の検索結果を更に絞り込んで検索
する旨をユーザーインタフェース１より設定し、ステッ
プＳ２０２に戻り、新たな検索語を入力する。この場
合、現在得られている検索結果は保持され、新たに入力
された検索語による検索処理の検索結果と、保持されて
いる検索結果の論理積をとることで検索結果の絞り込み
が実現される。
索語を設定して検索結果の絞り込みを行う場合は、ステ
ップＳ２０８で、現在の検索結果を更に絞り込んで検索
する旨をユーザーインタフェース１より設定し、ステッ
プＳ２０２に戻り、新たな検索語を入力する。この場
合、現在得られている検索結果は保持され、新たに入力
された検索語による検索処理の検索結果と、保持されて
いる検索結果の論理積をとることで検索結果の絞り込み
が実現される。
【００２９】ユーザの指示が、検索処理の終了である場
合には、処理を終了する。ユーザの指示が、検索のやり
直しを行う場合は、ステップＳ２０９で、検索結果をク
リアし、ステップＳ２０１に戻る。ユーザの指示が、検
索結果として表示される画像データ（縮小表示されてい
る画像データ）に対し、所望の画像データの詳細を表示
するために画像データを選択する場合は、ステップＳ２
０７で、選択された画像データ（縮小表示されている画
像データ）の詳細（原寸の画像データ）を表示する。
合には、処理を終了する。ユーザの指示が、検索のやり
直しを行う場合は、ステップＳ２０９で、検索結果をク
リアし、ステップＳ２０１に戻る。ユーザの指示が、検
索結果として表示される画像データ（縮小表示されてい
る画像データ）に対し、所望の画像データの詳細を表示
するために画像データを選択する場合は、ステップＳ２
０７で、選択された画像データ（縮小表示されている画
像データ）の詳細（原寸の画像データ）を表示する。
【００３０】次に、ステップＳ２０３の検索処理の詳細
について、図５を用いて説明する。図５は本発明の実施
形態で実行される検索処理の詳細を示すフローチャート
である。まず、ステップＳ３０１で、同義語・類義語・
概念辞書８を参照し、入力された検索条件である「自然
語」を形態素解析および係り受け解析を行い、検索物名
とその「検索物名」の特徴を示す外観特徴を抽出する。
次に、抽出した「検索物名」が同義語・類義語・概念辞
書８に存在するか否かを判定する。「検索物名」が同義
語・類義語・概念辞書８に存在する場合（ステップＳ３
０２でＹＥＳ）、ステップＳ３０３に進む。一方、「検
索物名」が同義語・類義語・概念辞書８に存在しない場
合（ステップＳ３０２でＮＯ）、ステップＳ３０９に進
む。そして、ステップＳ３０９で、ユーザーに対し質問
を行い、「検索物名」に最も近い概念の「物体名」を取
得する。そして、取得した「物体名」を「検索物名」と
して設定する。このステップＳ３０９の処理により、入
力された「検索物名」に近い概念の単語を抽出すること
が可能である。次に、ステップＳ３１０で、ステップＳ
３０９で設定された「検索物名」を、同義語・類義語・
概念辞書８に新たな「検索物名」として登録する。
について、図５を用いて説明する。図５は本発明の実施
形態で実行される検索処理の詳細を示すフローチャート
である。まず、ステップＳ３０１で、同義語・類義語・
概念辞書８を参照し、入力された検索条件である「自然
語」を形態素解析および係り受け解析を行い、検索物名
とその「検索物名」の特徴を示す外観特徴を抽出する。
次に、抽出した「検索物名」が同義語・類義語・概念辞
書８に存在するか否かを判定する。「検索物名」が同義
語・類義語・概念辞書８に存在する場合（ステップＳ３
０２でＹＥＳ）、ステップＳ３０３に進む。一方、「検
索物名」が同義語・類義語・概念辞書８に存在しない場
合（ステップＳ３０２でＮＯ）、ステップＳ３０９に進
む。そして、ステップＳ３０９で、ユーザーに対し質問
を行い、「検索物名」に最も近い概念の「物体名」を取
得する。そして、取得した「物体名」を「検索物名」と
して設定する。このステップＳ３０９の処理により、入
力された「検索物名」に近い概念の単語を抽出すること
が可能である。次に、ステップＳ３１０で、ステップＳ
３０９で設定された「検索物名」を、同義語・類義語・
概念辞書８に新たな「検索物名」として登録する。
【００３１】ここで、ステップＳ３０９の処理の具体的
な例について、図６〜図８を用いて説明する。図６は本
発明の実施形態のユーザーインタフェースの一例を示す
図である。ステップＳ３０９の処理が実行されると、例
えば、図６に示すような単語入力画面が検索結果通知部
１２に表示される。そして、この単語入力画面を用いて
「検索物名」に近い概念の単語を一つ入力すると、その
入力された単語に近い概念の単語が更に表示される。図
６の例では、「検索物名」として「乗用車」を入力した
が、これが同義語・類義語・概念辞書８に登録されてい
ないので、それに近い概念である「自動車」を入力した
場合を示している。
な例について、図６〜図８を用いて説明する。図６は本
発明の実施形態のユーザーインタフェースの一例を示す
図である。ステップＳ３０９の処理が実行されると、例
えば、図６に示すような単語入力画面が検索結果通知部
１２に表示される。そして、この単語入力画面を用いて
「検索物名」に近い概念の単語を一つ入力すると、その
入力された単語に近い概念の単語が更に表示される。図
６の例では、「検索物名」として「乗用車」を入力した
が、これが同義語・類義語・概念辞書８に登録されてい
ないので、それに近い概念である「自動車」を入力した
場合を示している。
【００３２】単語入力画面の右側には、「戻る」ボタ
ン、「進む」ボタン、「探す」ボタン、「キャンセル」
ボタン、「ＯＫ」ボタンの５つのボタンが配置されてお
り、それぞれのボタンは、検索結果通知部１２上に表示
されるカーソルで押下されることで以下に説明する処理
が実行される。「戻る」ボタンは、現在表示されている
単語入力画面の前の単語入力画面に戻る。「進む」ボタ
ンは、新規な単語入力画面を表示する。「探す」ボタン
は、入力した単語に近い概念の単語を検索し、その結果
を、例えば、図７のように表示する。「キャンセル」ボ
タンは、単語の入力をキャンセルする。「ＯＫ」ボタン
は、同義語・類義語・概念辞書８に登録されていなかっ
た「検索物名」に近い概念の単語を選択する。また、選
択された単語に基づいて、同義語・類義語・概念辞書８
に登録されていなかった「検索物名」が新たな単語とし
て、同義語・類義語・概念辞書８の選択された単語の概
念のレベルと、その次の概念のレベルの間の概念のレベ
ルに登録される。
ン、「進む」ボタン、「探す」ボタン、「キャンセル」
ボタン、「ＯＫ」ボタンの５つのボタンが配置されてお
り、それぞれのボタンは、検索結果通知部１２上に表示
されるカーソルで押下されることで以下に説明する処理
が実行される。「戻る」ボタンは、現在表示されている
単語入力画面の前の単語入力画面に戻る。「進む」ボタ
ンは、新規な単語入力画面を表示する。「探す」ボタン
は、入力した単語に近い概念の単語を検索し、その結果
を、例えば、図７のように表示する。「キャンセル」ボ
タンは、単語の入力をキャンセルする。「ＯＫ」ボタン
は、同義語・類義語・概念辞書８に登録されていなかっ
た「検索物名」に近い概念の単語を選択する。また、選
択された単語に基づいて、同義語・類義語・概念辞書８
に登録されていなかった「検索物名」が新たな単語とし
て、同義語・類義語・概念辞書８の選択された単語の概
念のレベルと、その次の概念のレベルの間の概念のレベ
ルに登録される。
【００３３】例えば、同義語・類義語・概念辞書８に登
録されていなかった「乗用車」に近い概念の単語として
「自動車」を選択すると、「乗用車」は、図８に示すよ
うに「自動車」の概念のレベルと「カー」の概念のレベ
ルの間の概念のレベルの単語として登録される。また、
「乗用車」の登録する位置は、「自動車」までの概念距
離と、「カー」までの概念距離が同じとなる位置に登録
する。更に、「自動車」の画像特徴重みと、「カー」の
画像特徴重みに基づいて、「乗用車」の画像特徴重みを
作成して登録する。
録されていなかった「乗用車」に近い概念の単語として
「自動車」を選択すると、「乗用車」は、図８に示すよ
うに「自動車」の概念のレベルと「カー」の概念のレベ
ルの間の概念のレベルの単語として登録される。また、
「乗用車」の登録する位置は、「自動車」までの概念距
離と、「カー」までの概念距離が同じとなる位置に登録
する。更に、「自動車」の画像特徴重みと、「カー」の
画像特徴重みに基づいて、「乗用車」の画像特徴重みを
作成して登録する。
【００３４】再び、図５のフローチャートの説明に戻
る。ステップＳ３０３で、「検索物名」の画像特徴重み
を同義語・類義語・概念辞書８から取得する。ステップ
Ｓ３０４で、「検索物名」の外観特徴が抽出されている
場合は、この外観特徴に関する画像特徴重みを、ステッ
プＳ３０３で取得した画像特徴重みに付加する。ステッ
プＳ３０５で、ユーザーに対し質問を行い、画像特徴量
に対する有効な画像特徴重みを取得する。この処理の詳
細について、図９のフローチャートを用いて説明する。
る。ステップＳ３０３で、「検索物名」の画像特徴重み
を同義語・類義語・概念辞書８から取得する。ステップ
Ｓ３０４で、「検索物名」の外観特徴が抽出されている
場合は、この外観特徴に関する画像特徴重みを、ステッ
プＳ３０３で取得した画像特徴重みに付加する。ステッ
プＳ３０５で、ユーザーに対し質問を行い、画像特徴量
に対する有効な画像特徴重みを取得する。この処理の詳
細について、図９のフローチャートを用いて説明する。
【００３５】図９は本発明の実施形態のステップＳ３０
５の処理の詳細を示すフローチャートである。尚、図９
における処理は、検索における有効な情報（画像特徴重
み）を更に得たい場合、あるいは検索における画像特徴
量が少ない場合に、これらを補うためのものである。
５の処理の詳細を示すフローチャートである。尚、図９
における処理は、検索における有効な情報（画像特徴重
み）を更に得たい場合、あるいは検索における画像特徴
量が少ない場合に、これらを補うためのものである。
【００３６】まず、ステップＳ４０３で、取得した「検
索物名」の画像特徴重みに基づいて、「検索物名」が示
す検索物の色が一意なものであるか否かを判定する。検
索物の色が一意なものである場合（ステップＳ４０３で
ＹＥＳ）、ステップＳ４０４に進む。一方、検索物の色
が一意なものでない場合（ステップＳ４０３でＮＯ）、
ステップＳ４０７に進む。そして、ステップＳ４０７
で、図１０に示すような質問画面を用いて「検索物に近
い色を指定下さい」と質問し、ユーザーからの指定を受
け付ける。色の指定は、図１０に示すように言葉、ある
いは色見本を用いて指定する。ステップＳ４０８で、指
定された色を画像特徴重みとして記憶する。
索物名」の画像特徴重みに基づいて、「検索物名」が示
す検索物の色が一意なものであるか否かを判定する。検
索物の色が一意なものである場合（ステップＳ４０３で
ＹＥＳ）、ステップＳ４０４に進む。一方、検索物の色
が一意なものでない場合（ステップＳ４０３でＮＯ）、
ステップＳ４０７に進む。そして、ステップＳ４０７
で、図１０に示すような質問画面を用いて「検索物に近
い色を指定下さい」と質問し、ユーザーからの指定を受
け付ける。色の指定は、図１０に示すように言葉、ある
いは色見本を用いて指定する。ステップＳ４０８で、指
定された色を画像特徴重みとして記憶する。
【００３７】ステップＳ４０４で、図１１に示すような
質問画面を用いて「検索物は大きく写ってますか」と質
問する。ステップＳ４０５で、ユーザーは、質問画面を
用いて「検索物名」が示す検索物の大きさについて応答
する。検索物が大きく写っている場合（ステップＳ４０
５でＹＥＳ）、ステップＳ４０６に進む。そして、ステ
ップＳ４０６で、「検索物名」が示す検索物の色が極め
て重要な検索情報であると判断し、検索物の色に関する
画像特徴重みを増やして「検索物名」の画像特徴量を設
定する。一方、検索物が大きく写っていない場合（ステ
ップＳ４０５でＮＯ）、ステップＳ４０９に進む。
質問画面を用いて「検索物は大きく写ってますか」と質
問する。ステップＳ４０５で、ユーザーは、質問画面を
用いて「検索物名」が示す検索物の大きさについて応答
する。検索物が大きく写っている場合（ステップＳ４０
５でＹＥＳ）、ステップＳ４０６に進む。そして、ステ
ップＳ４０６で、「検索物名」が示す検索物の色が極め
て重要な検索情報であると判断し、検索物の色に関する
画像特徴重みを増やして「検索物名」の画像特徴量を設
定する。一方、検索物が大きく写っていない場合（ステ
ップＳ４０５でＮＯ）、ステップＳ４０９に進む。
【００３８】ステップＳ４０９で、図１２に示すような
質問画面を用いて「背景物は何ですか」と質問し、ユー
ザーからの指定を受け付ける。背景の指定は、図１２に
示すように、物体名で指定する。ステップＳ４１０で、
背景物の色が一意なものであるか否かを判定する。背景
物の色が一意なものである場合（ステップＳ４１０でＹ
ＥＳ）、ステップＳ４１１に進む。一方、背景物の色が
一意なものでない場合（ステップＳ４１０でＮＯ）、ス
テップＳ４１２に進む。そして、ステップＳ４１３で、
図１３に示すような質問画面を用いて「背景物に近い色
を指定下さい」と質問し、ユーザからの指定を受け付け
る。ステップＳ４１３で、指定された色を画像特徴重み
として記憶する。
質問画面を用いて「背景物は何ですか」と質問し、ユー
ザーからの指定を受け付ける。背景の指定は、図１２に
示すように、物体名で指定する。ステップＳ４１０で、
背景物の色が一意なものであるか否かを判定する。背景
物の色が一意なものである場合（ステップＳ４１０でＹ
ＥＳ）、ステップＳ４１１に進む。一方、背景物の色が
一意なものでない場合（ステップＳ４１０でＮＯ）、ス
テップＳ４１２に進む。そして、ステップＳ４１３で、
図１３に示すような質問画面を用いて「背景物に近い色
を指定下さい」と質問し、ユーザからの指定を受け付け
る。ステップＳ４１３で、指定された色を画像特徴重み
として記憶する。
【００３９】ステップＳ４１１で、背景物の色が極めて
重要な検索情報であると判断し、背景物の色に関する画
像特徴重みを増やして「検索物名」の画像特徴量を設定
する。尚、ここでは、検索物の色や、背景物の色に関す
る情報を、ユーザーから指定する場合について説明した
が、検索物の表面の特徴や、それ以外の特徴に関する情
報をユーザーから指定するような構成にすることができ
るのは、言うまでもない。以上の構成によって、入力し
た検索条件による検索に役立つ画像特徴重みを作成で
き、この画像特徴重みを考慮した画像特徴量に基づいて
検索を行えるのでより精度の高い検索を行うことが可能
となる。
重要な検索情報であると判断し、背景物の色に関する画
像特徴重みを増やして「検索物名」の画像特徴量を設定
する。尚、ここでは、検索物の色や、背景物の色に関す
る情報を、ユーザーから指定する場合について説明した
が、検索物の表面の特徴や、それ以外の特徴に関する情
報をユーザーから指定するような構成にすることができ
るのは、言うまでもない。以上の構成によって、入力し
た検索条件による検索に役立つ画像特徴重みを作成で
き、この画像特徴重みを考慮した画像特徴量に基づいて
検索を行えるのでより精度の高い検索を行うことが可能
となる。
【００４０】再び、図５のフローチャートの説明に戻
る。ステップＳ３０６で、画像特徴量に基づいて、画像
特徴インデックス９を参照し画像データの検索を行う。
ステップＳ３０７で、検索される画像データが存在する
か否かを判定する。検索される画像データが存在する場
合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に
進む。そして、ステップＳ３０８で、検索された画像デ
ータを検索結果通知部１２に表示する。一方、検索され
る画像データが存在しない場合（ステップＳ３０７でＮ
Ｏ）、ステップＳ３１２に進む。
る。ステップＳ３０６で、画像特徴量に基づいて、画像
特徴インデックス９を参照し画像データの検索を行う。
ステップＳ３０７で、検索される画像データが存在する
か否かを判定する。検索される画像データが存在する場
合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に
進む。そして、ステップＳ３０８で、検索された画像デ
ータを検索結果通知部１２に表示する。一方、検索され
る画像データが存在しない場合（ステップＳ３０７でＮ
Ｏ）、ステップＳ３１２に進む。
【００４１】ステップＳ３１２で、ユーザーが画像特徴
量の再指定を望むか否かを判定する。再指定を望む場合
（ステップＳ３１２でＹＥＳ）、ステップＳ３１１に進
む。そして、ステップＳ３１１で、ユーザーに対し質問
を行い、画像特徴量に対する有効な画像特徴重みを取得
する。この処理の詳細については、図６のフローチャー
トで説明した通りである。一方、再指定を望まない場合
（ステップＳ３１２でＮＯ）、ステップＳ３１３に進
む。そして、ステップＳ３１３で、検索される画像デー
タはないと検索結果通知部１２に表示する。
量の再指定を望むか否かを判定する。再指定を望む場合
（ステップＳ３１２でＹＥＳ）、ステップＳ３１１に進
む。そして、ステップＳ３１１で、ユーザーに対し質問
を行い、画像特徴量に対する有効な画像特徴重みを取得
する。この処理の詳細については、図６のフローチャー
トで説明した通りである。一方、再指定を望まない場合
（ステップＳ３１２でＮＯ）、ステップＳ３１３に進
む。そして、ステップＳ３１３で、検索される画像デー
タはないと検索結果通知部１２に表示する。
【００４２】以上説明したように、本実施形態によれ
ば、入力された画像データをその画像データ中の着目画
像データの画像特徴量と対応づけて管理することで、従
来のような画像データに対する説明文及びキーワードを
付加する作業をすることなく、管理されている画像デー
タから所望の画像データを効率的に検索することができ
る。
ば、入力された画像データをその画像データ中の着目画
像データの画像特徴量と対応づけて管理することで、従
来のような画像データに対する説明文及びキーワードを
付加する作業をすることなく、管理されている画像デー
タから所望の画像データを効率的に検索することができ
る。
【００４３】また、入力された検索条件に応じて、その
検索条件を構成する検索物名の外観特徴を入力すること
ができ、よりユーザーが所望する詳細な検索条件を入力
することができる。また、同義語・類義語・概念辞書８
に登録されていない自然語が入力されても、その自然語
に近い概念の単語を入力して検索することができる。ま
た、ユーザがキーワード付けを行わなくても、検索語を
入力するだけで、ユーザが所望する画像データを検索す
ることが可能となる。また、新語造語等の未知語に対し
てはユーザとの対話インタフェースを通し、学習機能に
より同義語・類義語・概念辞書８を更新することがで
き、時代の流れに合わせて検索の幅を広げてゆくユーザ
の嗜好にあった検索の自動学習機能を実現できる。
検索条件を構成する検索物名の外観特徴を入力すること
ができ、よりユーザーが所望する詳細な検索条件を入力
することができる。また、同義語・類義語・概念辞書８
に登録されていない自然語が入力されても、その自然語
に近い概念の単語を入力して検索することができる。ま
た、ユーザがキーワード付けを行わなくても、検索語を
入力するだけで、ユーザが所望する画像データを検索す
ることが可能となる。また、新語造語等の未知語に対し
てはユーザとの対話インタフェースを通し、学習機能に
より同義語・類義語・概念辞書８を更新することがで
き、時代の流れに合わせて検索の幅を広げてゆくユーザ
の嗜好にあった検索の自動学習機能を実現できる。
【００４４】尚、本実施形態においては、自然画像デー
タの検索を行う例を説明したが、本発明の趣旨はあらゆ
る形態の情報メディア検索へも適応可能な技術である。
また、本実施形態において述べなかったが、画像へ説明
文およびキーワードを付加し、これらにより検索を行う
処理と並行して処理を行い、これらの結果と統合して検
索結果を通知することも可能である。
タの検索を行う例を説明したが、本発明の趣旨はあらゆ
る形態の情報メディア検索へも適応可能な技術である。
また、本実施形態において述べなかったが、画像へ説明
文およびキーワードを付加し、これらにより検索を行う
処理と並行して処理を行い、これらの結果と統合して検
索結果を通知することも可能である。
【００４５】尚、本発明は、複数の機器（例えば、ホス
トコンピュータ、インタフェース機器、リーダ、プリン
タ等）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置
等）に適用してもよい。また、本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体を、システムあるいは装置に
供給し、そのシステムあるいは装置のコンピュータ（ま
たはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラ
ムコードを読出し実行することによっても、達成される
ことは言うまでもない。
トコンピュータ、インタフェース機器、リーダ、プリン
タ等）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置
等）に適用してもよい。また、本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体を、システムあるいは装置に
供給し、そのシステムあるいは装置のコンピュータ（ま
たはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラ
ムコードを読出し実行することによっても、達成される
ことは言うまでもない。
【００４６】この場合、記憶媒体から読出されたプログ
ラムコード自体が上述した実施の形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピディ
スク、ハードディスク、光ディスク、光磁気ディスク、
ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモ
リカード、ＲＯＭなどを用いることができる。
ラムコード自体が上述した実施の形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピディ
スク、ハードディスク、光ディスク、光磁気ディスク、
ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモ
リカード、ＲＯＭなどを用いることができる。
【００４７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施の形態の機能
が実現される場合も含まれることは言うまでもない。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施の形態の機能
が実現される場合も含まれることは言うまでもない。
【００４８】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００４９】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図１４のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。すなわち、少なくと
も「入力モジュール」、「算出モジュール」および「管
理モジュール」の各モジュールのプログラムコードを記
憶媒体に格納すればよい。
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図１４のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。すなわち、少なくと
も「入力モジュール」、「算出モジュール」および「管
理モジュール」の各モジュールのプログラムコードを記
憶媒体に格納すればよい。
【００５０】尚、「入力モジュール」は、画像データ及
び該画像データ中の着目画像データの座標を入力する。
「算出モジュール」は、入力された着目画像データの座
標に基づいて、該着目画像データの画像特徴量を算出す
る。「管理モジュール」は、算出された画像特徴量と入
力された画像データを対応づけて管理する。
び該画像データ中の着目画像データの座標を入力する。
「算出モジュール」は、入力された着目画像データの座
標に基づいて、該着目画像データの画像特徴量を算出す
る。「管理モジュール」は、算出された画像特徴量と入
力された画像データを対応づけて管理する。
【００５１】
【発明の効果】以上説明したように、本発明によれば、
画像データを管理するためのユーザの負担を軽減し、か
つ管理された画像データに対しユーザの嗜好にあった画
像データの検索を行うことができる画像処理装置及びそ
の制御方法を提供できる。
画像データを管理するためのユーザの負担を軽減し、か
つ管理された画像データに対しユーザの嗜好にあった画
像データの検索を行うことができる画像処理装置及びそ
の制御方法を提供できる。
【図１】本発明の実施形態の画像処理装置の構成を示す
ブロック図である。
ブロック図である。
【図２】本発明の実施形態の同義語・類義語・概念辞書
の詳細な構成の一例を示す図である。
の詳細な構成の一例を示す図である。
【図３】本発明の実施形態で実行される画像登録処理の
処理フローを示すフローチャートである。
処理フローを示すフローチャートである。
【図４】本発明の実施形態で実行される検索処理の概要
を示すフローチャートである。
を示すフローチャートである。
【図５】本発明の実施形態で実行される検索処理の詳細
を示すフローチャートである。
を示すフローチャートである。
【図６】本発明の実施形態のユーザーインタフェースの
一例を示す図である。
一例を示す図である。
【図７】本発明の実施形態のユーザーインタフェースの
一例を示す図である。
一例を示す図である。
【図８】本発明の実施形態における同義語・類義語・概
念辞書の更新の例を示す図である。
念辞書の更新の例を示す図である。
【図９】本発明の実施形態のステップＳ３０５の処理の
詳細を示すフローチャートである。
詳細を示すフローチャートである。
【図１０】本発明の実施形態のユーザーインタフェース
の一例を示す図である。
の一例を示す図である。
【図１１】本発明の実施形態のユーザーインタフェース
の一例を示す図である。
の一例を示す図である。
【図１２】本発明の実施形態のユーザーインタフェース
の一例を示す図である。
の一例を示す図である。
【図１３】本発明の実施形態のユーザーインタフェース
の一例を示す図である。
の一例を示す図である。
【図１４】本発明の実施形態を実現するプログラムコー
ドを格納した記憶媒体のメモリマップの構造を示す図で
ある。
ドを格納した記憶媒体のメモリマップの構造を示す図で
ある。
１ ユーザーインタフェース ２ 画像入力部 ３ 言語処理部 ４ 画像蓄積部 ５ 画像メモリ ６ 全文検索登録部およびキーワード登録部 ７ 画像特徴抽出部 ８ 同義語・類義語・概念辞書 ９ 画像特徴インデックス １０ 検索部 １０ａ 画像検索部 １０ｂ 言語・画像特徴概念変換部 １０ｃ 言語検索部 １２ 検索結果通知部 ５０ 着目物体抽出部
Claims (13)
- 【請求項１】 画像データを管理する画像処理装置であ
って、 画像データ及び該画像データ中の着目画像データの座標
を入力する入力手段と、 前記入力手段で入力された前記着目画像データの座標に
基づいて、該着目画像データの画像特徴量を算出する算
出手段と、 前記算出手段で算出された画像特徴量と前記入力された
画像データを対応づけて管理する管理手段とを備えるこ
とを特徴とする画像処理装置。 - 【請求項２】 前記入力手段は、画像を撮影する撮影手
段と、 前記撮影手段で撮影された画像に対するユーザの視線を
検出する検出手段と、 前記検出手段の検出結果に基づいて、前記着目画像デー
タの座標を抽出する抽出手段とを備えることを特徴とす
る請求項１に記載の画像処理装置。 - 【請求項３】 前記入力手段は、画像を撮影する撮影手
段と、 前記撮影手段で撮影された画像を表示する表示手段と、 前記表示手段で表示される画像中の着目画像を指定する
指定手段と、 前記指定手段の指定結果に基づいて、前記着目画像に基
づく着目画像データの座標を抽出する抽出手段とを備え
ることを特徴とする請求項１に記載の画像処理装置。 - 【請求項４】 前記入力手段は、画像を撮影する撮影手
段と、 前記撮影手段の撮影特性に基づいて、前記画像中の着目
画像に基づく着目画像データの座標を決定する決定手段
とを備えることを特徴とする請求項１に記載の画像処理
装置。 - 【請求項５】 前記管理手段で管理される画像データよ
り、所望の画像データを検索するための検索条件を入力
する検索条件入力手段とを更に備えることを特徴とする
請求項１に記載の画像処理装置。 - 【請求項６】 前記検索条件入力手段より入力された検
索条件を解析する解析手段と、 前記解析手段による解析結果に基づいて、ユーザに対し
前記検索条件とは異なる検索条件の入力を促す質問を出
力する出力手段とを更に備えることを特徴とする請求項
５に記載の画像処理装置。 - 【請求項７】 画像データを管理する画像処理装置の制
御方法であって、 画像データ及び該画像データ中の着目画像データの座標
を入力する入力工程と、 前記入力工程で入力された前記着目画像データの座標に
基づいて、該着目画像データの画像特徴量を算出する算
出工程と、 前記算出工程で算出された画像特徴量と前記入力された
画像データを対応づけて管理する管理工程とを備えるこ
とを特徴とする画像処理装置の制御方法。 - 【請求項８】 前記入力工程は、撮影された画像に対す
るユーザの視線を検出する検出工程と、 前記検出工程の検出結果に基づいて、前記着目画像デー
タの座標を抽出する抽出工程とを備えることを特徴とす
る請求項７に記載の画像処理装置の制御方法。 - 【請求項９】 前記入力工程は、撮影された画像を表示
する表示工程と、 前記表示工程で表示される画像中の指定された着目画像
に基づく着目画像データの座標を抽出する抽出工程とを
備えることを特徴とする請求項７に記載の画像処理装置
の制御方法。 - 【請求項１０】 前記入力工程は、撮影された画像の撮
影特性に基づいて、該画像中の着目画像に基づく着目画
像データの座標を決定する決定工程とを備えることを特
徴とする請求項７に記載の画像処理装置の制御方法。 - 【請求項１１】 前記管理工程で記憶媒体に管理される
画像データより、所望の画像データを検索するための検
索条件を入力する検索条件入力工程とを更に備えること
を特徴とする請求項７に記載の画像処理装置の制御方
法。 - 【請求項１２】 前記検索条件入力工程より入力された
検索条件を解析する解析工程と、 前記解析工程による解析結果に基づいて、ユーザに対し
前記検索条件とは異なる検索条件の入力を促す質問を出
力する出力工程とを更に備えることを特徴とする請求項
１１に記載の画像処理装置の制御方法。 - 【請求項１３】 画像データを管理する画像処理装置の
制御のプログラムコードが格納されたコンピュータ可読
メモリであって、 画像データ及び該画像データ中の着目画像データの座標
を入力する入力工程のプログラムコードと、 前記入力工程で入力された前記着目画像データの座標に
基づいて、該着目画像データの画像特徴量を算出する算
出工程のプログラムコードと、 前記算出工程で算出された画像特徴量と前記入力された
画像データを対応づけて管理する管理工程のプログラム
コードとを備えることを特徴とするコンピュータ可読メ
モリ。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16303397A JP3673615B2 (ja) | 1997-06-19 | 1997-06-19 | 画像処理装置及びその制御方法 |
| US09/095,545 US6411291B2 (en) | 1997-06-19 | 1998-06-11 | Image processing appratus and method of controlling same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16303397A JP3673615B2 (ja) | 1997-06-19 | 1997-06-19 | 画像処理装置及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1115834A true JPH1115834A (ja) | 1999-01-22 |
| JP3673615B2 JP3673615B2 (ja) | 2005-07-20 |
Family
ID=15765918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16303397A Expired - Fee Related JP3673615B2 (ja) | 1997-06-19 | 1997-06-19 | 画像処理装置及びその制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6411291B2 (ja) |
| JP (1) | JP3673615B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
| JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
| JP2016162423A (ja) * | 2015-03-05 | 2016-09-05 | オムロン株式会社 | 物体認識装置、物体認識方法、およびプログラム |
| CN108829764A (zh) * | 2018-05-28 | 2018-11-16 | 腾讯科技（深圳）有限公司 | 推荐信息获取方法、装置、系统、服务器及存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282846A (ja) * | 2000-03-29 | 2001-10-12 | Canon Inc | 画像検索方法及び装置 |
| JP4266695B2 (ja) * | 2003-04-30 | 2009-05-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2004334339A (ja) * | 2003-04-30 | 2004-11-25 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| US10972530B2 (en) | 2016-12-30 | 2021-04-06 | Google Llc | Audio-based data structure generation |
| US8688514B1 (en) | 2011-06-24 | 2014-04-01 | Google Inc. | Ad selection using image data |
| US11087424B1 (en) | 2011-06-24 | 2021-08-10 | Google Llc | Image recognition-based content item selection |
| US11093692B2 (en) | 2011-11-14 | 2021-08-17 | Google Llc | Extracting audiovisual features from digital components |
| US10586127B1 (en) | 2011-11-14 | 2020-03-10 | Google Llc | Extracting audiovisual features from content elements on online documents |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05242160A (ja) * | 1992-02-27 | 1993-09-21 | Matsushita Electric Ind Co Ltd | 画像特徴抽出装置、画像照合装置および画像検索装置 |
| JPH05242161A (ja) * | 1992-02-28 | 1993-09-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置 |
| JPH05342326A (ja) * | 1992-06-09 | 1993-12-24 | Fuji Xerox Co Ltd | 文書処理装置 |
| JPH06295318A (ja) * | 1993-04-09 | 1994-10-21 | Omron Corp | キーワード付与方法及びその装置 |
| JPH0721203A (ja) * | 1993-06-22 | 1995-01-24 | Canon Inc | 画像処理装置 |
| JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
| JPH07271987A (ja) * | 1994-03-31 | 1995-10-20 | Sharp Corp | 代表特徴量抽出方法及び代表特徴量抽出装置 |
| JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
| JPH08255235A (ja) * | 1995-03-16 | 1996-10-01 | Alps Electric Co Ltd | 領域抽出方法および装置 |
| JPH09153134A (ja) * | 1995-11-29 | 1997-06-10 | Hitachi Ltd | 画像領域抽出方法 |
| JPH10289241A (ja) * | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10289240A (ja) * | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10289245A (ja) * | 1997-04-15 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10301943A (ja) * | 1997-04-24 | 1998-11-13 | Canon Inc | 画像処理装置及びその制御方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3350223B2 (ja) * | 1994-07-13 | 2002-11-25 | 富士通株式会社 | グラフ自動レイアウト方法及び装置 |
| US5801687A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Authoring tool comprising nested state machines for use in a computer system |
| US5708767A (en) * | 1995-02-03 | 1998-01-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5896139A (en) * | 1996-08-01 | 1999-04-20 | Platinum Technology Ip, Inc. | System and method for optimizing a scene graph for optimizing rendering performance |
-
1997
- 1997-06-19 JP JP16303397A patent/JP3673615B2/ja not_active Expired - Fee Related
-
1998
- 1998-06-11 US US09/095,545 patent/US6411291B2/en not_active Expired - Lifetime
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05242160A (ja) * | 1992-02-27 | 1993-09-21 | Matsushita Electric Ind Co Ltd | 画像特徴抽出装置、画像照合装置および画像検索装置 |
| JPH05242161A (ja) * | 1992-02-28 | 1993-09-21 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置 |
| JPH05342326A (ja) * | 1992-06-09 | 1993-12-24 | Fuji Xerox Co Ltd | 文書処理装置 |
| JPH06295318A (ja) * | 1993-04-09 | 1994-10-21 | Omron Corp | キーワード付与方法及びその装置 |
| JPH0721203A (ja) * | 1993-06-22 | 1995-01-24 | Canon Inc | 画像処理装置 |
| JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
| JPH07271987A (ja) * | 1994-03-31 | 1995-10-20 | Sharp Corp | 代表特徴量抽出方法及び代表特徴量抽出装置 |
| JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
| JPH08255235A (ja) * | 1995-03-16 | 1996-10-01 | Alps Electric Co Ltd | 領域抽出方法および装置 |
| JPH09153134A (ja) * | 1995-11-29 | 1997-06-10 | Hitachi Ltd | 画像領域抽出方法 |
| JPH10289241A (ja) * | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10289240A (ja) * | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10289245A (ja) * | 1997-04-15 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH10301943A (ja) * | 1997-04-24 | 1998-11-13 | Canon Inc | 画像処理装置及びその制御方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
| US6643643B1 (en) | 1999-01-29 | 2003-11-04 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
| JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
| JP2016162423A (ja) * | 2015-03-05 | 2016-09-05 | オムロン株式会社 | 物体認識装置、物体認識方法、およびプログラム |
| WO2016139870A1 (ja) * | 2015-03-05 | 2016-09-09 | オムロン株式会社 | 物体認識装置、物体認識方法、およびプログラム |
| US10599709B2 (en) | 2015-03-05 | 2020-03-24 | Omron Corporation | Object recognition device, object recognition method, and program for recognizing an object in an image based on tag information |
| CN108829764A (zh) * | 2018-05-28 | 2018-11-16 | 腾讯科技（深圳）有限公司 | 推荐信息获取方法、装置、系统、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010045948A1 (en) | 2001-11-29 |
| US6411291B2 (en) | 2002-06-25 |
| JP3673615B2 (ja) | 2005-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| JP4073156B2 (ja) | 画像検索装置 | |
| US20040236791A1 (en) | Image searching method and image processing method | |
| JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
| EP2003611A2 (en) | Information presentation system, information presentation terminal, and server | |
| US20030193582A1 (en) | Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image | |
| US20070070217A1 (en) | Image analysis apparatus and image analysis program storage medium | |
| JP3673615B2 (ja) | 画像処理装置及びその制御方法 | |
| US7869633B2 (en) | Person image retrieval apparatus | |
| JP4054428B2 (ja) | 画像検索装置及びその方法、コンピュータ可読メモリ | |
| US6430566B1 (en) | Image processing apparatus and control method therefor | |
| JPH10289245A (ja) | 画像処理装置及びその制御方法 | |
| JPH10301943A (ja) | 画像処理装置及びその制御方法 | |
| JPH10289240A (ja) | 画像処理装置及びその制御方法 | |
| JP2003216927A (ja) | 画像表示プログラム | |
| JPH0460770A (ja) | 概略画像を用いた画像検索方法および装置 | |
| JP2003187217A (ja) | 画像検索システム | |
| US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
| JP2005107931A (ja) | 画像検索装置 | |
| JP2007102362A (ja) | 分類カテゴリ自動形成装置及びデジタル画像コンテンツ自動分類装置並びにデジタル画像コンテンツ管理システム | |
| CN110084187A (zh) | 基于计算机视觉的位置识别方法、装置、设备及存储介质 | |
| JPH10289241A (ja) | 画像処理装置及びその制御方法 | |
| JPH08263522A (ja) | 画像検索方法 | |
| JPH0981591A (ja) | 画像データベースの検索キー登録方法 | |
| JP2004363871A (ja) | データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |