JP3747589B2 - 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 - Google Patents
画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3747589B2 JP3747589B2 JP25228797A JP25228797A JP3747589B2 JP 3747589 B2 JP3747589 B2 JP 3747589B2 JP 25228797 A JP25228797 A JP 25228797A JP 25228797 A JP25228797 A JP 25228797A JP 3747589 B2 JP3747589 B2 JP 3747589B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- similarity
- group
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の特徴量を用いて異なる画像間の比較を行う画像特徴量比較装置に関し、特に画像の色特徴に基づいて画像間の比較を行うものである。
【０００２】
【従来の技術】
一般に、画像データベースは、画像データに、作成日、修正日、ファイル名、ファイルフォーマット等の属性情報と、キーワード、形状特徴、色味、音声等の検索情報とを付加し、保管・管理する。
【０００３】
このような画像データベースにおいて、画像データを検索する場合、キーワード等の検索情報を指定し、その検索情報に該当するデータを検索する方法が一般的である。しかし、この場合、ユーザは予め、画像データの特徴を示す検索情報を画像データに付加しておく必要があり、ユーザの負担となっていた。このユーザの負担を軽減する方法として、近年、画像から特徴量を自動的に抽出して付与する方法が考えられている。画像から抽出する特徴量としては、画像のテクスチャの周期性や、画像のテクスチャを構成する基本パターンや、画像を表現する色に関する特徴を示す量（以下、「色特徴」という。）が用いられる。
【０００４】
このように、画像から特徴量を自動的に抽出し付与することを可能とすることにより、画像自体を検索キーとして、当該画像の特徴量に基づいて、類似画像を検索することが可能となる。これにより、検索時の処理効率、検索精度を向上させることができる。
【０００５】
【発明が解決しようとする課題】
ところで、画像から色に関する特徴量である色特徴を特徴量として自動的に抽出する方法としては、例えば、特開平５−２７４３７２号公報に開示された方法がある。ここでは、画像を構成する色がどの程度、多く含まれているかを判定し、この情報をコード化して画像データに付加する方法が開示されているが、この情報を用いての検索や、画像間の比較の方法については開示されていない。また、特開平８−１６７８９号公報に開示された方法では、画像中の色をグループ分けし、各グループに含まれる画素の度数をカウントし、度数の比率を特徴量とし、この度数の比率により画像の比較を行う方法が開示されているが、具体的な手段は説明されておらず、概念的な説明に留まっている。したがって、両公報においては、画像から色特徴を特徴量として抽出し、この色特徴に基づいて画像間の比較・検索を行う具体的手段は開示されていない。
【０００６】
今後、情報処理装置の高性能化及び情報のデジタル化の促進に伴い、カラー画像を取り扱う頻度も益々増加することを考慮すると、画像の特徴量として色特徴を取り扱うことは非常に重要となり、画像から色特徴を特徴量として抽出し、この色特徴に基づいて画像間の比較・検索を行う装置がさらに要望される。
【０００７】
本発明は上記課題を解決すべくなされたものであり、その目的とするところは、画像から色特徴を抽出し、この色特徴に基づいて画像の比較を行う画像比較装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る第１の画像特徴量比較装置は、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、検索対象となる画像を読み込む対象読込み手段と、検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、該各色グループに属する画素を計数することにより、前記各色グループの画像全体に占める割合である占有率を算出する手段と、各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度算出手段と、該類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備える。第１の画像特徴量比較装置は、画像間の類似度を求める際に、前記占有率に基づいて前記色グループの平均色または代表色の類似度に対して重み付けをする。
【０００９】
本発明に係る第２の画像特徴量比較装置は、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、検索対象となる画像を読み込む対象読込み手段と、検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、各色グループに属する画素を計数することにより、各色グループの画像全体に占める割合である占有率を算出する手段と、各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度計算手段と、類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備える。第２の画像特徴量比較装置は、画像間の類似度を求める際に、無彩色であるか否かに応じて、色要素のそれぞれの類似度に対する重み付けを行う。
【００１０】
本発明に係る第１の記録媒体は、コンピュータ読み取り可能な記録媒体であって、画像の色に関する特徴を示す色特徴に基づいて画像間の比較を行う画像特徴量比較プログラムを記録している。この画像特徴量比較プログラムは、検索キーとなる画像を指定するステップと、検索対象となる画像を読み込むステップと、前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、各色グループの画像全体に占める割合である占有率を算出するステップと、前記色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合を示す類似度を算出するステップとを有する。類似度を算出するステップにおいて、画像間の類似度を求める際に、占有率に基づいて色グループの平均色または代表色の類似度に対して重み付けが行われる。
【００１１】
本発明に係る第２の記録媒体は、コンピュータ読み取り可能な記録媒体であって、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較プログラムを記録している。この画像特徴量比較プログラムは、検索キーとなる画像を指定するステップと、検索対象となる画像を読み込むステップと、前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、前記各色グループの画像全体に占める割合である占有率を算出するステップと、
前記各色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合いを示す類似度を算出するステップとを有する。前記類似度を算出するステップにおいて、前記画像間の類似度を求める際に、無彩色であるか否かに応じて、前記色要素のそれぞれの類似度に対する重み付けが行われる。
【００１２】
前記画像特徴量比較装置または前記画像特徴量比較プログラムにおいて、色を特定する色要素として、色合いを示す色相と、あざやかさを示す彩度と、明るさの度合いを示す明度とが用いられてもよい。
【００１５】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像特徴量比較装置の実施の形態を説明する。
【００１６】
本実施形態の画像特徴量比較装置は、画像を比較する際に、画像の色に関する特徴量（以下、「色特徴」という。）を抽出し、この色特徴に基づいて画像間の比較を行うものである。
【００１７】
＜画像特徴量比較装置の全体構成＞
図１に本実施形態の画像特徴量比較装置（以下、「システム」と称す。）の概略構成図を示す。図１に示すように、システムは中央演算処理（以下、「ＣＰＵ」と称す。）を備え、システム全体を制御する制御装置１を中心として構成される。ＣＰＵには例えばインテル社製のペンティアム等が用いられる。この制御装置１には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３およびマウス４と、データ保管媒体であるフロッピーディスク装置５ａおよびハードディスク装置６と、文字や画像データ等を印刷するプリンタ７と、画像データを取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂと、音声出力のためのスピーカ１０と、音声入力のためのマイクロホン１１とが接続される。
【００１８】
図２に本システムのブロック図を示す。ＣＰＵ２０１には、データバス２２０を介して、本システムを制御するプログラムが格納されているＲＯＭ２０３と、ＣＰＵ２０１が制御のために実行するプログラムやデータを一時的に格納するＲＡＭ２０４とが接続される。また、ＣＰＵ２０１にデータバス２２０を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ２を制御する表示制御回路２０５と、キーボード３からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク装置５ｂを制御するフロッピーディスク装置制御回路２０８と、ハードディスク装置６を制御するハードディスク装置制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナ８を制御するスキャナ制御回路２１１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装置制御回路２１２と、スピーカ１０を制御するスピーカ制御回路２１３と、マイクロホン１１を制御するマイクロホン制御回路２１４とがある。さらに、ＣＰＵ２０１には、システムを動作させるために必要な基準クロックを発生させるためのクロック２０２が接続され、また、各種拡張ボードを接続するための拡張スロット２１５がデータバス２２０を介して接続される。なお、拡張スロット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩＩボードを介してフロッピーディスク装置５ｂ、ハードディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９ｂ等を接続してもよい。
【００１９】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク５ａ、ハードディスク装置６を用いているが、光磁気ディスク（ＭＯ）等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ８を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ７を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、制御処理を実現するプログラムをＲＯＭ２０３に格納する。しかし、本プログラムの一部または全部をフロッピーディスク５ａやハードディスク装置６やＣＤ−ＲＯＭ９ｂ等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをＲＡＭ２０４に読み出し、これを実行させてもよい。
【００２０】
＜画像特徴量比較装置で用いるデータベースおよび色グループ分類テーブル＞
また、本システムは画像データを保管、管理するため、データおよびその検索キーとなる付加情報等を含む画像データベースと、画像から色特徴を抽出する際に参照される色グループ分類テーブルとを有する。画像データベースおよび色グループ分類テーブルは、ハードディスク装置６等の情報記憶媒体上に論理的に構成されている。図３に、本システムの画像データベースの構成の一例を示す。図３に示すデータベース５０は、管理する画像情報である「画像データ」と、その画像データに対する検索キーの１つである「キーワード」と、画像データの色に関する特徴を示す色特徴と、検索情報である検索キー等の情報から構成される。
【００２１】
次に、色グループ分類テーブルについて説明する。まず、ＨＳＬ色空間について説明する。ＨＳＬ色空間とは、色を、色あいである色相（Ｈ）、あざやかさの度合いである彩度（Ｓ）および明るさの度合いである明度（Ｌ）の３つの要素により特定する場合に、図４に示すように色相を水平面上の角度で、彩度を中心軸（図中、上下方向に延びる軸）からの動径方向の距離で、明度を中心軸上の座標で表すようにした空間である。このように、色を、色相、彩度および明度で表すことは、人間の直感により近い色の表し方である。本実施形態では、ＨＳＬ色空間を９個の領域に分け、すなわち、色を９個の色グループに分類している。色グループ分類テーブルはこの色グループの分類情報を格納するものである。図５に、色グループ分類テーブル５５が格納する分類情報、すなわち、各色グループにおける色相、明度および彩度のそれぞれの範囲を示す。本システムはこの色グループ分類テーブル５５に基づいて、画像を構成する色が、どの色グループに属するかを判断する。図５の（ａ）において、グループ番号１からグループ番号３までは無彩色グループであり、グループ番号４からグループ番号９までは有彩色グループである。図５の（ｂ）、（ｃ）は、色が有彩色グループに属する場合の、明度、彩度のさらに細かいグループ分けを示している。すなわち、有彩色の場合、明度及び彩度は、０．００〜０．４５の範囲の第１グループと、０．４５〜０．７５の範囲の第２グループと、０．７５〜１．００の範囲の第３グループとにさらに細かくグループ分けされる。なお、本実施形態では、色グループをＨＳＬ色空間における色相、彩度および明度に基づいて色をグループ分けしているが、これに限らず、色を特定する他の色要素に基づいてグループ分けしてもよい。
【００２２】
＜画像特徴量比較装置の制御動作＞
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【００２３】
＜メインフロー＞
図６は本システムにおいてＣＰＵ２０１により実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる（Ｓ１）。図７にこの初期メニュー画面の一例を示す。初期メニュー画面２１上では、所定の処理を選択するための選択項目２３〜２５がアイコンとして表示されており、この選択項目２３〜２５の１つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ２等上に表示された初期メニュー画面２１等の設定画面上で、ユーザにより、キーボード３やマウス４等を介して各種処理の選択、設定値の入力等が行われる。ステップＳ１の後、初期メニュー画面２１上でユーザによるメニュー選択がなされたか否かを判定する（Ｓ２）。ステップＳ２において、「色特徴抽出」２３が選択されれば、指定された画像データから色特徴を抽出し、画像データとともに画像データベース５０に登録する等の処理を行う色特徴抽出処理（Ｓ３）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「色特徴比較検索」２４が選択されれば、指定された画像データと、データベース５０に登録されている画像データの色特徴を比較し、色特徴が類似する画像データを検索する処理を行う色特徴比較検索処理（Ｓ４）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「その他のメニュー」２５が選択されれば、その他のメニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進む。ステップＳ２において、メニュー選択されなければ、なにもせずにステップＳ６へ進む。ステップＳ６では、その他の処理を実行し、すべての処理が終わるとステップＳ２へ戻り、以後、同様の処理が繰り返される。
【００２４】
ここで、その他のメニュー処理（Ｓ５）については、一般的な検索システムと基本的に同様であり、本発明に直接関係しないのでここでの説明は省略し、特に、色特徴抽出処理（ステップＳ３）および色特徴比較処理（ステップＳ４）について以下に詳細に説明する。
【００２５】
＜画像特徴量比較装置における色特徴抽出処理＞
最初に、色特徴抽出処理（ステップＳ３）について図８のフローチャートを用いて説明する。
【００２６】
本制御において、まず、ユーザの指示により画面２９上でキーボード３等を介して指定された画像データを取得する（Ｓ３０１）。ここで、画像データは、画像データベース５０に登録されている画像や、フロッピーディスク５ａ等の記録媒体上に保管されている画像の他、スキャナ８等から読み込まれたものでもよい。次に、以後の処理の高速化を図るため、取得した画像データを所定の大きさや形状にする正規化処理や、外縁を求めるエッジ処理等を行う（Ｓ３０２）。その後、色グループ分類テーブル５５を参照して、画像から色特徴を計算する（Ｓ３０３）。この色特徴の計算の処理の詳細は後述する。最後に、計算された画像の色特徴を画像データと関連づけて、データベース５０に登録し（Ｓ３０４）、この処理を終了する。
【００２７】
＜ステップＳ３０３における色特徴の計算処理＞
以下に、上記ステップＳ３０３における画像の色特徴の計算処理について図９のフローチャートを用いて説明する。
【００２８】
まず、画像を構成する画素の全てに対して、ＲＧＢ値で表された画素の値をＨＳＬ値に変換する（Ｓ３０１１）。次に、画像の各画素の色がどの色グループに属するのかを判断し、色グループ毎に、その色グループに属する画像の数をカウントする（Ｓ３０１２）。画像の各画素がどの色グループに属するかは色グループ分類テーブル５５を参照して、画素の色相（Ｈ）、明度（Ｌ）、彩度（Ｓ）の値に基づいて判断される。このとき、まず、画素がその彩度の値から無彩色であるか否かが判断され、無彩色であるときは、色相にかかわらず明度及び彩度に基づいて色グループが決定される。画素が無彩色でない場合（有彩色の場合）は、色相のみで色グループが決定される。
【００２９】
その後、各色グループの色相、明度および彩度の平均値を、カウントした画素の値に基づいて求める（Ｓ３０１３）。このグループの色相、明度および彩度の平均値で定まる色をそのグループの平均色という。色相の平均値Ｈa、彩度の平均値Ｓa、明度の平均値Ｌaは、その色グループに属する画素数をｎ、その色グループに属する各画素の色相、明度及び彩度をそれぞれ、ｈi、ｌi、ｓi（i=1,2，…,n）、画像の全画素数をＮとして次式で求められる。
色相の平均値Ｈa＝（ｈ1＋ｈ2＋…＋ｈn）／Ｎ …（１）
彩度の平均値Ｓa＝（ｓ1＋ｓ2＋…＋ｓn）／Ｎ …（２）
明度の平均値Ｌa＝（ｌ1＋ｌ2＋…＋ｌn）／Ｎ …（３）
【００３０】
ここで、画素が有彩色である場合の明度、彩度の平均値については、色グループ内でさらに細かく分類された前述の第１から第３の明度グループ及び彩度グループについて計算する。すなわち、画素が有彩色である場合は、明度、彩度について第１から第３のグループに分類し、これらのグループの中で最多数の画素を含むグループについて明度及び彩度の平均値を計算し、その値をその色グループ全体の明度及び彩度の平均値とする。
【００３１】
各色グループに対して色相、明度および彩度の平均値を求めた後、各色グループについて、色グループに属する色が画像全体に占める割合（以下、「占有率」という。）Ｒを求める（Ｓ３０１４）。画像における色グループの占有率Ｒは、その色グループに属する画素数をｎ、画像全体の画素数をＮとして次式で求められる。
Ｒ＝ｎ／Ｎ …（４）
以上のようにして、画像の色特徴として、各色グループ毎の色相、明度および彩度の平均値（平均色）並びに占有率を計算する。
【００３２】
以下に、色グループにおける色相、明度および彩度の平均値並びに占有率の算出の具体例を示す。今、処理対象の画像において、グループ番号９の色グループに属する画素が以下のように１０個ある場合を考える。
【００３３】
グループ番号９の色グループに属する画素は有彩色であるため、明度および彩度について、さらに細かく分類されたグループにおいてそれらの平均値を求める必要がある。この場合、明度について、第１グループ（０．００〜０．４５の範囲）に含まれる画素は２つあり、第２グループ（０．４５〜０．７５の範囲）に含まれる画素は３つあり、第３グループ（０．７５〜１．００の範囲）に含まれる画素は５つある。また、彩度について、第１グループに含まれる画素は２つあり、第２グループに含まれる画素は６つあり、第３グループに含まれる画素は２つある。
【００３４】
このため、明度については最多数の画素を含む第３グループが、また、彩度については最多数の画素を含む第２グループが平均値を求めるために選択される。したがって、グループ番号９の色グループの明度の平均値を計算する場合は、第３グループに含まれる画素の値に基づいて計算され、彩度の平均値を計算する場合は、第２グループに含まれる画素の値に基づいて計算される。具体的には以下のようになる。
【００３５】
このようにして求められた色グループの平均値により表される色を「特徴色」という。したがって、画像の色特徴は、複数の特徴色と、それらの特徴色が画像に占める割合である占有率とにより特徴づけられる。本システムでは、特徴色と占有率とに基づく色特徴を画像から特徴量として抽出する。
【００３６】
＜画像特徴量比較装置における色特徴比較検索処理＞
次に、色特徴比較検索処理（Ｓ４）について図１０のフローチャートを用いて説明する。ここでは、ユーザにより画像検索が行われる場合の処理について説明する。すなわち、検索キーとなる画像（以下、「キー画像」という。）がユーザーによりキーボード３等を介して画面３０上で指定され、このキー画像と画像データベース５０中に格納された画像とが色特徴に基づいて比較され、色特徴が類似する画像が検索結果としてディスプレイ２等の表示部に表示される処理を説明する。
【００３７】
まず、ユーザーが指定したキー画像の色特徴をデータベース５０からロードする（Ｓ４０１）。次に、画像間の類似度を計算する際に用いる類似度の重みを設定する（Ｓ４０２）。類似度の重みについての詳細は後述するが、この類似度の重みはユーザにより設定されてもよく、また、システムにおいて事前に設定された値を用いてもよい。
【００３８】
次に、比較対象（検索対象）となる画像データを格納する画像データベース５０においてレコードポインタをトップに移動する（Ｓ４０３）。レコードポインタにより指定される比較対象画像の色特徴をデータベース５０からロードする（Ｓ４０４）。キー画像の色特徴と比較対象画像の色特徴とに基づいて両画像の類似度を計算する（Ｓ４０５）。類似度の計算の詳細については後述する。その後、計算された類似度に基づいて、すなわち、類似度と所定のしきい値とを比較することにより、比較対象画像とキー画像とが類似しているか否かを判断する（Ｓ４０６）。ステップＳ４０６の判断において、両画像が類似していない場合はステップＳ４０９に進み、一方、類似している場合はステップＳ４０７に進む。
【００３９】
ステップＳ４０７では、画像データベース５０において、現在のレコードポインタが示す画像の画像情報をロードする。ここで、画像情報には、画像データ並びに画像データのファイル名もしくは画像データの保管位置を示すパス名等の属性情報等が含まれる。ロードした画像情報を検索結果としてディスプレイ２等の表示部に表示し（Ｓ４０８）、ステップＳ４０９に進む。検索結果の表示例として、サムネイル画像を表示する方法、画像の名前を表示する方法、サムネイルを生成した元画像のファイル名やパスを表示する方法、元画像の入手先を表示する方法などのバリエーションが考えられる。また、本実施形態では、類似画像が検索される度毎に結果を表示するようにしているが、検索結果をハードディスク６やＲＡＭ２０４等の記憶媒体に記憶しておき、検索が終了した後、まとめて検索結果を表示するようにしてもよい。この際、類似性があると判定した結果の画像の数をカウントし、その数を表示する方法も考えられる。また、類似度の高い順に表示するようにしてもよい。
【００４０】
ステップＳ４０９では、レコードポインタを１つ進める。その後、画像データベース５０中に、レコードポインタで示される次の比較対象の画像データがあるか否かを判定する（Ｓ４１０）。画像データベース５０中に新たに検索するデータがなければ処理は終了し、データがあればステップＳ４０４に戻り、画像データベース５０において比較対象の画像データがなくなるまで、上記処理を繰り返す。以上のようにして、キー画像と類似する画像を画像の色特徴に基づいて検索することができる。
【００４１】
なお、本システムにおいて、ユーザによりキー画像とともにに検索精度の度合いを示す「あいまい度」が指定されるようにしてよい。このとき、本システムは、画像の類似性の判断（ステップＳ４０６）において、あいまい度に応じて類似性を判断する際のしきい値を変化させるようにする。例えば、あいまい度が高いほど類似度の判定のしきい値を低く設定し、類似度の低いものも類似していると判断するようにしてもよい。このように、あいまい度を設定し、あいまい度に応じて類似性の判断基準を変化させることにより、検索精度を自由に変更することが可能となる。
【００４２】
また、上記処理においては、キー画像および比較対象画像の色特徴が事前に画像データベース５０に登録され、この登録された色特徴データを用いて比較検索処理が行われているが、画像の色特徴が必ずしも画像データベース５０に事前に登録されている必要はなく、比較検索処理の都度、ステップＳ３０１〜Ｓ３０３に示すような方法で画像から色特徴を抽出し、この抽出した色特徴を用いて画像の比較検索を行うようにしてもよい。
【００４３】
＜ステップＳ４０５における類似度の計算＞
以下に、上記ステップＳ４０５における類似度の計算について図１１を用いて詳細に説明する。図１１に示すようにキー画像Ｋは色特徴Ｋ1、Ｋ2、Ｋ3…Ｋnを有する。キー画像の各色特徴Ｋi(i=1,2,…n)は、色グループの平均色を表す色相Ｈki、彩度Ｓki及び明度Ｌki並びに平均色が画像に占める割合である占有率Ｒkiとから特徴づけられる。また、比較対象画像Ｃは色特徴Ｃ1、Ｃ2、Ｃ3…Ｃmを有し、各色特徴Ｃj(j=1,2,…m)は、色グループの平均色を表す色相Ｈcj、彩度Ｓcj及び明度Ｌcj並びに平均色が画像に占める割合である占有率Ｒcjとから特徴づけられる。類似度は、キー画像Ｋの色特徴と比較対象画像Ｃの色特徴とに基づいて計算される。すなわち、まず、キー画像Ｋの色特徴Ｋiの１つを、比較対象画像Ｃの色特徴の全部Ｃj(j=1,2,…m)と比較し、それぞれの色特徴の組み合わせにおいて、色相の類似度Ｈi、彩度の類似度Ｓiおよび明度の類似度Ｌiを計算する。
【００４４】
ここで、色相の類似度Ｈi、彩度の類似度Ｓi及び明度の類似度Ｌiの計算方法を説明する。色相の類似度Ｈiは、色が明るく色相の類似度が高い場合、すなわち、明度が所定値以上でその明度差が所定値より小さい場合は、類似度がさらに高くなるように計算する。また、色が明るく色相の類似度が負になる場合は、類似度がさらに低くなるようにする。彩度Ｓiの類似度は、単純に差分を計算する。明度の類似度Ｌiは、比較する色の両方が暗い場合は単純に差分を計算する。このとき、どちらか一方でも明るい場合すなわち明度が所定値以上の場合は、それらの明度差が大きいときは負の値になるように計算する。
【００４５】
具体的には以下のようにして求める。
（１）色相の類似度Ｈi：
i)Ｋi、Ｃjが同じ色グループの場合、Ｈi＝１．０ …（５ａ）
ii)Ｋi、Ｃjが異なる色グループの場合、
ａ．Ｋi、Ｃjの片方のみ無彩色
Ｌmax＞０．５（Ｋi、Ｃjの少なくとも一方が明るい色）のとき、
Ｈi＝−０．５ …（５ｂ）
Ｌmax≦０．５（Ｋi、Ｃjの両方とも暗い色）のとき、
Ｈi＝−０．２５ …（５ｃ）
ｂ．Ｋi、Ｃj両方が無彩色
Ｌmax＞０．５のとき、Ｈi＝−０．２５ …（５ｄ）
Ｌmax≦０．５のとき、Ｈi＝０．０ …（５ｅ）
ｃ．Ｋi、Ｃjの両方が有彩色
Ｈ0＝色相差／１８０×（２．６６６６×色相差／１８０−４．６６６６）＋１．０ …（５ｆ）
上式（５ｆ）によりＨ0を計算した後、高い方の明度Ｌmax、Ｈ0の値に基づいて、以下のように類似度Ｈiを決定する；
Ｌmax≦０．５のとき、Ｈ＝Ｈ0 …（５ｇ）
Ｌmax＞０．５のとき、Ｈ0＞０．０なら、Ｈi＝Ｈ0×０．７５ …（５ｈ）
Ｈ0≦０．０なら、Ｈi＝Ｈ0×１．２５ …（５ｉ）
（２）彩度の類似度Ｓi：
Ｓi＝１．０−２．０×（Ｓmax−Ｓmin） …（６）
但し、Ｓmax＝ＳkiとＳCjの大きい方の値
Ｓmin＝ＳkiとＳCjの小さい方の値
（３）明度の類似度Ｌi：
Ｌmax＞０．５５（Ｋi、Ｃjの少なくとも一方が明るい色）のとき、
Ｌi＝１．０−２．０×（Ｌmax−Ｌmin） …（７ａ）
Ｌmax≦０．５５（Ｋi、Ｃjの両方が暗い色）のとき、
Ｌi＝１．０−（Ｌmax−Ｌmin） …（７ｂ）
但し、Ｌmax＝ＬkiとＬCjの大きい方の値
Ｌmin＝ＬkiとＬCjの小さい方の値
【００４６】
以上のようにして色相、彩度および明度の類似度が計算されると、それぞれの類似度の重みＷH、ＷS、ＷLを考慮し、色特徴Ｋiに対する類似度Ｄiを計算する。
Ｄi＝Ｈi×ＷH＋Ｓi×ＷS＋Ｌi×ＷL …（８）
【００４７】
このときの類似度の重みＷH、ＷL、ＷSの設定値の一例を図１２に示す。この類似度の重みの設定は、前述の比較検索処理のステップＳ４０２で行われる。図に示すように重みの設定値は、キー画像と比較対象画像が、有彩色であるか無彩色であるかにより場合分けされている。これは、明度、彩度が低い場合は、色相の違いはさほど重要ではなく、類似性に対して影響が少ないという考えに基づいている。すなわち、両画像の色グループがともに有彩色の場合は色相に重みをつけ、両画像の色グループがともに無彩色の場合は明度及び彩度に重みをつけ、両画像の色グループが有彩色と無彩色の場合は彩度に重みをつけるように、各類似度の重みを設定している。このように、比較する色に応じて、色相、彩度および明度に対する類似度を計算する際に、それぞれに対して重みを加えることにより、結果として人間の視覚判断により近い類似度が得られる。
【００４８】
上述の方法で、キー画像Ｋの特徴色の１つＫiと、比較対象画像Ｃの全特徴色Ｃj(j=1,2,…m)との間で色特徴の類似度Ｄiが得られると、その中で類似度の絶対値が最大となる類似度を選択し、その値をその特徴色Ｋiの類似度Ｄi'とする。同様に、全てのキー画像Ｋの色特徴Ｋi(i=1,2,…n)について類似度Ｄi'を求め、この類似度Ｄi'と占有率Ｒkiとを乗算したものを求め、全ての色特徴Ｋiについて合計したものをキー画像Ｋと比較対象画像Ｃとの間の類似度Ｄとする。すなわち、キー画像Ｋと比較対象画像Ｃとの間の類似度Ｄは次式で計算される。
類似度Ｄ＝Ｄ1'×Ｒk1＋Ｄ2'×Ｒk2＋・・・＋Ｄn'×Ｒkn …（９）
【００４９】
以上のようにして、本システムでは、画像から色特徴を抽出する際に、色を所定のグループに分類し、そのグループ毎に平均色と、その平均色が画像に占める割合とを求め、これらを画像の特徴色として抽出するため、画像の色に関する特徴をより正確に表した色特徴を抽出することができる。また、このように、抽出された色特徴に基づいて、画像間の比較を行うことにより類似性の判断において画像の比較が高い精度で行える。
【００５０】
なお、本実施形態においては、色特徴の要素の１つとして色グループの平均色を用いたが、色グループの平均色に限らず、色グループ毎に定義された色グループを代表する色（以下、「代表色」という。）であれば、これを用いてもよい。例えば、色グループ内で最も出現頻度の高い画素の色をその色グループの代表色とし、これを用いてもよい。また、色グループ名が示す色を上記平均色の代わりに用いてもよい。
【００５１】
【発明の効果】
本発明の第１の画像特徴比較装置によれば、画像の色特徴を、画像に含まれる色を色グループ毎に分類し、色グループの平均色または代表色と、その色の画像に占める割合とを求めることにより抽出する。これにより、画像全体の色に関する特徴をより正確に保持した色特徴を抽出することができる。
【００５２】
また、このような色特徴を用いて画像間の類似性の判断を行い、類似画像の検索を行うことにより、より正確に類似画像の検索が行える。
【００５３】
また、画像間の類似度を求める際に、占有率に基づいて色グループの平均色または代表色に対して重み付けを行い、重み付けられた値を用いて類似度の計算を行うため、より人の視覚判断に近い画像比較が可能となる。
【００５４】
また、画像間の類似度を求める際に、色要素の間で重み付けを行い、重み付けられた値を用いて類似度の計算を行うため、より人の視覚判断に近い画像比較が可能となる。
【００５５】
また、色要素として、色相、彩度および明度を用いることにより、より人の視覚判断に近い画像比較が可能となる。
【図面の簡単な説明】
【図１】 本実施形態の画像特徴量比較装置の構成の概略を示す図。
【図２】 制御装置を中心としたブロック図。
【図３】 画像データベースの構成図。
【図４】 ＨＳＬ色空間を説明した図。
【図５】 色グループ分類テーブルの具体例を示す図。
【図６】 画像特徴量比較装置のメインのフローチャート。
【図７】 データ入力または設定等の画面の表示例を示した図。
【図８】 画像特徴量比較装置における色特徴抽出処理のフローチャート。
【図９】 色特徴の計算処理のフローチャート。
【図１０】 画像特徴量比較装置における色特徴比較処理のフローチャート。
【図１１】 キー画像と比較対象画像とを色特徴により比較している様子を説明した図。
【図１２】 類似度を計算する際の色相、明度および彩度の重みの設定値の一例を示した図。
【符号の説明】
１…制御装置、 ２…ディスプレイ、 ３…キーボード、 ４…マウス、 ５ａ…フロッピーディスク、 ５ｂ…フロッピーディスク装置、 ６…ハードディスク、 ７…プリンタ、 ８…スキャナ、 ９ａ…ＣＤ−ＲＯＭ、 ９ｂ…ＣＤ−ＲＯＭ装置、 １０…スピーカ、 １１…マイク、 ２１…初期設定画面、 ２３〜２５…選択用アイコン、 ２９，３０…設定用画面、 ５０…画像データベース、 ５５…色グループ分類テーブル、 ２０１…ＣＰＵ、 ２０２…クロック、 ２０３…ＲＯＭ、 ２０４…ＲＡＭ。
【発明の属する技術分野】
本発明は、画像の特徴量を用いて異なる画像間の比較を行う画像特徴量比較装置に関し、特に画像の色特徴に基づいて画像間の比較を行うものである。
【０００２】
【従来の技術】
一般に、画像データベースは、画像データに、作成日、修正日、ファイル名、ファイルフォーマット等の属性情報と、キーワード、形状特徴、色味、音声等の検索情報とを付加し、保管・管理する。
【０００３】
このような画像データベースにおいて、画像データを検索する場合、キーワード等の検索情報を指定し、その検索情報に該当するデータを検索する方法が一般的である。しかし、この場合、ユーザは予め、画像データの特徴を示す検索情報を画像データに付加しておく必要があり、ユーザの負担となっていた。このユーザの負担を軽減する方法として、近年、画像から特徴量を自動的に抽出して付与する方法が考えられている。画像から抽出する特徴量としては、画像のテクスチャの周期性や、画像のテクスチャを構成する基本パターンや、画像を表現する色に関する特徴を示す量（以下、「色特徴」という。）が用いられる。
【０００４】
このように、画像から特徴量を自動的に抽出し付与することを可能とすることにより、画像自体を検索キーとして、当該画像の特徴量に基づいて、類似画像を検索することが可能となる。これにより、検索時の処理効率、検索精度を向上させることができる。
【０００５】
【発明が解決しようとする課題】
ところで、画像から色に関する特徴量である色特徴を特徴量として自動的に抽出する方法としては、例えば、特開平５−２７４３７２号公報に開示された方法がある。ここでは、画像を構成する色がどの程度、多く含まれているかを判定し、この情報をコード化して画像データに付加する方法が開示されているが、この情報を用いての検索や、画像間の比較の方法については開示されていない。また、特開平８−１６７８９号公報に開示された方法では、画像中の色をグループ分けし、各グループに含まれる画素の度数をカウントし、度数の比率を特徴量とし、この度数の比率により画像の比較を行う方法が開示されているが、具体的な手段は説明されておらず、概念的な説明に留まっている。したがって、両公報においては、画像から色特徴を特徴量として抽出し、この色特徴に基づいて画像間の比較・検索を行う具体的手段は開示されていない。
【０００６】
今後、情報処理装置の高性能化及び情報のデジタル化の促進に伴い、カラー画像を取り扱う頻度も益々増加することを考慮すると、画像の特徴量として色特徴を取り扱うことは非常に重要となり、画像から色特徴を特徴量として抽出し、この色特徴に基づいて画像間の比較・検索を行う装置がさらに要望される。
【０００７】
本発明は上記課題を解決すべくなされたものであり、その目的とするところは、画像から色特徴を抽出し、この色特徴に基づいて画像の比較を行う画像比較装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る第１の画像特徴量比較装置は、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、検索対象となる画像を読み込む対象読込み手段と、検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、該各色グループに属する画素を計数することにより、前記各色グループの画像全体に占める割合である占有率を算出する手段と、各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度算出手段と、該類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備える。第１の画像特徴量比較装置は、画像間の類似度を求める際に、前記占有率に基づいて前記色グループの平均色または代表色の類似度に対して重み付けをする。
【０００９】
本発明に係る第２の画像特徴量比較装置は、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、検索キーとなる画像を指定する画像指定手段と、検索対象となる画像を読み込む対象読込み手段と、検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、各色グループに属する画素を計数することにより、各色グループの画像全体に占める割合である占有率を算出する手段と、各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度計算手段と、類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備える。第２の画像特徴量比較装置は、画像間の類似度を求める際に、無彩色であるか否かに応じて、色要素のそれぞれの類似度に対する重み付けを行う。
【００１０】
本発明に係る第１の記録媒体は、コンピュータ読み取り可能な記録媒体であって、画像の色に関する特徴を示す色特徴に基づいて画像間の比較を行う画像特徴量比較プログラムを記録している。この画像特徴量比較プログラムは、検索キーとなる画像を指定するステップと、検索対象となる画像を読み込むステップと、前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、各色グループの画像全体に占める割合である占有率を算出するステップと、前記色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合を示す類似度を算出するステップとを有する。類似度を算出するステップにおいて、画像間の類似度を求める際に、占有率に基づいて色グループの平均色または代表色の類似度に対して重み付けが行われる。
【００１１】
本発明に係る第２の記録媒体は、コンピュータ読み取り可能な記録媒体であって、画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較プログラムを記録している。この画像特徴量比較プログラムは、検索キーとなる画像を指定するステップと、検索対象となる画像を読み込むステップと、前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、前記各色グループの画像全体に占める割合である占有率を算出するステップと、
前記各色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合いを示す類似度を算出するステップとを有する。前記類似度を算出するステップにおいて、前記画像間の類似度を求める際に、無彩色であるか否かに応じて、前記色要素のそれぞれの類似度に対する重み付けが行われる。
【００１２】
前記画像特徴量比較装置または前記画像特徴量比較プログラムにおいて、色を特定する色要素として、色合いを示す色相と、あざやかさを示す彩度と、明るさの度合いを示す明度とが用いられてもよい。
【００１５】
【発明の実施の形態】
以下、添付の図面を用いて本発明に係る画像特徴量比較装置の実施の形態を説明する。
【００１６】
本実施形態の画像特徴量比較装置は、画像を比較する際に、画像の色に関する特徴量（以下、「色特徴」という。）を抽出し、この色特徴に基づいて画像間の比較を行うものである。
【００１７】
＜画像特徴量比較装置の全体構成＞
図１に本実施形態の画像特徴量比較装置（以下、「システム」と称す。）の概略構成図を示す。図１に示すように、システムは中央演算処理（以下、「ＣＰＵ」と称す。）を備え、システム全体を制御する制御装置１を中心として構成される。ＣＰＵには例えばインテル社製のペンティアム等が用いられる。この制御装置１には、画像あるいは文字等の表示や、操作のための表示等を行うディスプレイ２と、各種入力、指示操作等を行うためのキーボード３およびマウス４と、データ保管媒体であるフロッピーディスク装置５ａおよびハードディスク装置６と、文字や画像データ等を印刷するプリンタ７と、画像データを取り込むためのスキャナ８と、ＣＤ−ＲＯＭ９ａに格納されたデータを読み出すためのＣＤ−ＲＯＭ装置９ｂと、音声出力のためのスピーカ１０と、音声入力のためのマイクロホン１１とが接続される。
【００１８】
図２に本システムのブロック図を示す。ＣＰＵ２０１には、データバス２２０を介して、本システムを制御するプログラムが格納されているＲＯＭ２０３と、ＣＰＵ２０１が制御のために実行するプログラムやデータを一時的に格納するＲＡＭ２０４とが接続される。また、ＣＰＵ２０１にデータバス２２０を介して接続される回路には、画像あるいは文字等の表示のためディスプレイ２を制御する表示制御回路２０５と、キーボード３からの入力を転送制御するキーボード制御回路２０６と、マウス４からの入力を転送制御するマウス制御回路２０７と、フロッピーディスク装置５ｂを制御するフロッピーディスク装置制御回路２０８と、ハードディスク装置６を制御するハードディスク装置制御回路２０９と、プリンタ７への出力を制御するプリンタ制御回路２１０と、スキャナ８を制御するスキャナ制御回路２１１と、ＣＤ−ＲＯＭ装置９ｂを制御するＣＤ−ＲＯＭ装置制御回路２１２と、スピーカ１０を制御するスピーカ制御回路２１３と、マイクロホン１１を制御するマイクロホン制御回路２１４とがある。さらに、ＣＰＵ２０１には、システムを動作させるために必要な基準クロックを発生させるためのクロック２０２が接続され、また、各種拡張ボードを接続するための拡張スロット２１５がデータバス２２０を介して接続される。なお、拡張スロット２１５にＳＣＳＩＩボードを接続し、このＳＣＳＩＩボードを介してフロッピーディスク装置５ｂ、ハードディスク装置６、スキャナ８またはＣＤ−ＲＯＭ装置９ｂ等を接続してもよい。
【００１９】
なお、上記システムにおいて、画像データ保管媒体としてはフロッピーディスク５ａ、ハードディスク装置６を用いているが、光磁気ディスク（ＭＯ）等の他の情報記憶媒体でもよい。また、画像データ入力装置としてスキャナ８を用いているが、スチルビデオカメラやデジタルカメラ等の他のデータ入力装置であってもよい。さらに、出力装置としてプリンタ７を用いているが、デジタル複写機等の他の出力装置であってもよい。また、本システムでは、制御処理を実現するプログラムをＲＯＭ２０３に格納する。しかし、本プログラムの一部または全部をフロッピーディスク５ａやハードディスク装置６やＣＤ−ＲＯＭ９ｂ等の情報記憶媒体に格納しておき、必要に応じて情報記憶媒体よりプログラムおよびデータをＲＡＭ２０４に読み出し、これを実行させてもよい。
【００２０】
＜画像特徴量比較装置で用いるデータベースおよび色グループ分類テーブル＞
また、本システムは画像データを保管、管理するため、データおよびその検索キーとなる付加情報等を含む画像データベースと、画像から色特徴を抽出する際に参照される色グループ分類テーブルとを有する。画像データベースおよび色グループ分類テーブルは、ハードディスク装置６等の情報記憶媒体上に論理的に構成されている。図３に、本システムの画像データベースの構成の一例を示す。図３に示すデータベース５０は、管理する画像情報である「画像データ」と、その画像データに対する検索キーの１つである「キーワード」と、画像データの色に関する特徴を示す色特徴と、検索情報である検索キー等の情報から構成される。
【００２１】
次に、色グループ分類テーブルについて説明する。まず、ＨＳＬ色空間について説明する。ＨＳＬ色空間とは、色を、色あいである色相（Ｈ）、あざやかさの度合いである彩度（Ｓ）および明るさの度合いである明度（Ｌ）の３つの要素により特定する場合に、図４に示すように色相を水平面上の角度で、彩度を中心軸（図中、上下方向に延びる軸）からの動径方向の距離で、明度を中心軸上の座標で表すようにした空間である。このように、色を、色相、彩度および明度で表すことは、人間の直感により近い色の表し方である。本実施形態では、ＨＳＬ色空間を９個の領域に分け、すなわち、色を９個の色グループに分類している。色グループ分類テーブルはこの色グループの分類情報を格納するものである。図５に、色グループ分類テーブル５５が格納する分類情報、すなわち、各色グループにおける色相、明度および彩度のそれぞれの範囲を示す。本システムはこの色グループ分類テーブル５５に基づいて、画像を構成する色が、どの色グループに属するかを判断する。図５の（ａ）において、グループ番号１からグループ番号３までは無彩色グループであり、グループ番号４からグループ番号９までは有彩色グループである。図５の（ｂ）、（ｃ）は、色が有彩色グループに属する場合の、明度、彩度のさらに細かいグループ分けを示している。すなわち、有彩色の場合、明度及び彩度は、０．００〜０．４５の範囲の第１グループと、０．４５〜０．７５の範囲の第２グループと、０．７５〜１．００の範囲の第３グループとにさらに細かくグループ分けされる。なお、本実施形態では、色グループをＨＳＬ色空間における色相、彩度および明度に基づいて色をグループ分けしているが、これに限らず、色を特定する他の色要素に基づいてグループ分けしてもよい。
【００２２】
＜画像特徴量比較装置の制御動作＞
以下に、本システムの具体的な制御動作についてフローチャートを用いて説明する。
【００２３】
＜メインフロー＞
図６は本システムにおいてＣＰＵ２０１により実行されるプログラムのメインルーチンを示すフローチャートである。本プログラムが起動されると、まず、以降の各処理で必要なフラグ等のイニシャライズや、初期メニュー画面の表示等を行う初期設定処理が行われる（Ｓ１）。図７にこの初期メニュー画面の一例を示す。初期メニュー画面２１上では、所定の処理を選択するための選択項目２３〜２５がアイコンとして表示されており、この選択項目２３〜２５の１つがユーザにより選択されることにより所定の処理が実行される。なお、本システムにおいては、ディスプレイ２等上に表示された初期メニュー画面２１等の設定画面上で、ユーザにより、キーボード３やマウス４等を介して各種処理の選択、設定値の入力等が行われる。ステップＳ１の後、初期メニュー画面２１上でユーザによるメニュー選択がなされたか否かを判定する（Ｓ２）。ステップＳ２において、「色特徴抽出」２３が選択されれば、指定された画像データから色特徴を抽出し、画像データとともに画像データベース５０に登録する等の処理を行う色特徴抽出処理（Ｓ３）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「色特徴比較検索」２４が選択されれば、指定された画像データと、データベース５０に登録されている画像データの色特徴を比較し、色特徴が類似する画像データを検索する処理を行う色特徴比較検索処理（Ｓ４）へ進み、その後、ステップＳ６へ進む。ステップＳ２において、「その他のメニュー」２５が選択されれば、その他のメニュー処理を行い（Ｓ５）、その後、ステップＳ６へ進む。ステップＳ２において、メニュー選択されなければ、なにもせずにステップＳ６へ進む。ステップＳ６では、その他の処理を実行し、すべての処理が終わるとステップＳ２へ戻り、以後、同様の処理が繰り返される。
【００２４】
ここで、その他のメニュー処理（Ｓ５）については、一般的な検索システムと基本的に同様であり、本発明に直接関係しないのでここでの説明は省略し、特に、色特徴抽出処理（ステップＳ３）および色特徴比較処理（ステップＳ４）について以下に詳細に説明する。
【００２５】
＜画像特徴量比較装置における色特徴抽出処理＞
最初に、色特徴抽出処理（ステップＳ３）について図８のフローチャートを用いて説明する。
【００２６】
本制御において、まず、ユーザの指示により画面２９上でキーボード３等を介して指定された画像データを取得する（Ｓ３０１）。ここで、画像データは、画像データベース５０に登録されている画像や、フロッピーディスク５ａ等の記録媒体上に保管されている画像の他、スキャナ８等から読み込まれたものでもよい。次に、以後の処理の高速化を図るため、取得した画像データを所定の大きさや形状にする正規化処理や、外縁を求めるエッジ処理等を行う（Ｓ３０２）。その後、色グループ分類テーブル５５を参照して、画像から色特徴を計算する（Ｓ３０３）。この色特徴の計算の処理の詳細は後述する。最後に、計算された画像の色特徴を画像データと関連づけて、データベース５０に登録し（Ｓ３０４）、この処理を終了する。
【００２７】
＜ステップＳ３０３における色特徴の計算処理＞
以下に、上記ステップＳ３０３における画像の色特徴の計算処理について図９のフローチャートを用いて説明する。
【００２８】
まず、画像を構成する画素の全てに対して、ＲＧＢ値で表された画素の値をＨＳＬ値に変換する（Ｓ３０１１）。次に、画像の各画素の色がどの色グループに属するのかを判断し、色グループ毎に、その色グループに属する画像の数をカウントする（Ｓ３０１２）。画像の各画素がどの色グループに属するかは色グループ分類テーブル５５を参照して、画素の色相（Ｈ）、明度（Ｌ）、彩度（Ｓ）の値に基づいて判断される。このとき、まず、画素がその彩度の値から無彩色であるか否かが判断され、無彩色であるときは、色相にかかわらず明度及び彩度に基づいて色グループが決定される。画素が無彩色でない場合（有彩色の場合）は、色相のみで色グループが決定される。
【００２９】
その後、各色グループの色相、明度および彩度の平均値を、カウントした画素の値に基づいて求める（Ｓ３０１３）。このグループの色相、明度および彩度の平均値で定まる色をそのグループの平均色という。色相の平均値Ｈa、彩度の平均値Ｓa、明度の平均値Ｌaは、その色グループに属する画素数をｎ、その色グループに属する各画素の色相、明度及び彩度をそれぞれ、ｈi、ｌi、ｓi（i=1,2，…,n）、画像の全画素数をＮとして次式で求められる。
色相の平均値Ｈa＝（ｈ1＋ｈ2＋…＋ｈn）／Ｎ …（１）
彩度の平均値Ｓa＝（ｓ1＋ｓ2＋…＋ｓn）／Ｎ …（２）
明度の平均値Ｌa＝（ｌ1＋ｌ2＋…＋ｌn）／Ｎ …（３）
【００３０】
ここで、画素が有彩色である場合の明度、彩度の平均値については、色グループ内でさらに細かく分類された前述の第１から第３の明度グループ及び彩度グループについて計算する。すなわち、画素が有彩色である場合は、明度、彩度について第１から第３のグループに分類し、これらのグループの中で最多数の画素を含むグループについて明度及び彩度の平均値を計算し、その値をその色グループ全体の明度及び彩度の平均値とする。
【００３１】
各色グループに対して色相、明度および彩度の平均値を求めた後、各色グループについて、色グループに属する色が画像全体に占める割合（以下、「占有率」という。）Ｒを求める（Ｓ３０１４）。画像における色グループの占有率Ｒは、その色グループに属する画素数をｎ、画像全体の画素数をＮとして次式で求められる。
Ｒ＝ｎ／Ｎ …（４）
以上のようにして、画像の色特徴として、各色グループ毎の色相、明度および彩度の平均値（平均色）並びに占有率を計算する。
【００３２】
以下に、色グループにおける色相、明度および彩度の平均値並びに占有率の算出の具体例を示す。今、処理対象の画像において、グループ番号９の色グループに属する画素が以下のように１０個ある場合を考える。
グループ番号９の色グループに属する画素は有彩色であるため、明度および彩度について、さらに細かく分類されたグループにおいてそれらの平均値を求める必要がある。この場合、明度について、第１グループ（０．００〜０．４５の範囲）に含まれる画素は２つあり、第２グループ（０．４５〜０．７５の範囲）に含まれる画素は３つあり、第３グループ（０．７５〜１．００の範囲）に含まれる画素は５つある。また、彩度について、第１グループに含まれる画素は２つあり、第２グループに含まれる画素は６つあり、第３グループに含まれる画素は２つある。
【００３４】
このため、明度については最多数の画素を含む第３グループが、また、彩度については最多数の画素を含む第２グループが平均値を求めるために選択される。したがって、グループ番号９の色グループの明度の平均値を計算する場合は、第３グループに含まれる画素の値に基づいて計算され、彩度の平均値を計算する場合は、第２グループに含まれる画素の値に基づいて計算される。具体的には以下のようになる。
このようにして求められた色グループの平均値により表される色を「特徴色」という。したがって、画像の色特徴は、複数の特徴色と、それらの特徴色が画像に占める割合である占有率とにより特徴づけられる。本システムでは、特徴色と占有率とに基づく色特徴を画像から特徴量として抽出する。
【００３６】
＜画像特徴量比較装置における色特徴比較検索処理＞
次に、色特徴比較検索処理（Ｓ４）について図１０のフローチャートを用いて説明する。ここでは、ユーザにより画像検索が行われる場合の処理について説明する。すなわち、検索キーとなる画像（以下、「キー画像」という。）がユーザーによりキーボード３等を介して画面３０上で指定され、このキー画像と画像データベース５０中に格納された画像とが色特徴に基づいて比較され、色特徴が類似する画像が検索結果としてディスプレイ２等の表示部に表示される処理を説明する。
【００３７】
まず、ユーザーが指定したキー画像の色特徴をデータベース５０からロードする（Ｓ４０１）。次に、画像間の類似度を計算する際に用いる類似度の重みを設定する（Ｓ４０２）。類似度の重みについての詳細は後述するが、この類似度の重みはユーザにより設定されてもよく、また、システムにおいて事前に設定された値を用いてもよい。
【００３８】
次に、比較対象（検索対象）となる画像データを格納する画像データベース５０においてレコードポインタをトップに移動する（Ｓ４０３）。レコードポインタにより指定される比較対象画像の色特徴をデータベース５０からロードする（Ｓ４０４）。キー画像の色特徴と比較対象画像の色特徴とに基づいて両画像の類似度を計算する（Ｓ４０５）。類似度の計算の詳細については後述する。その後、計算された類似度に基づいて、すなわち、類似度と所定のしきい値とを比較することにより、比較対象画像とキー画像とが類似しているか否かを判断する（Ｓ４０６）。ステップＳ４０６の判断において、両画像が類似していない場合はステップＳ４０９に進み、一方、類似している場合はステップＳ４０７に進む。
【００３９】
ステップＳ４０７では、画像データベース５０において、現在のレコードポインタが示す画像の画像情報をロードする。ここで、画像情報には、画像データ並びに画像データのファイル名もしくは画像データの保管位置を示すパス名等の属性情報等が含まれる。ロードした画像情報を検索結果としてディスプレイ２等の表示部に表示し（Ｓ４０８）、ステップＳ４０９に進む。検索結果の表示例として、サムネイル画像を表示する方法、画像の名前を表示する方法、サムネイルを生成した元画像のファイル名やパスを表示する方法、元画像の入手先を表示する方法などのバリエーションが考えられる。また、本実施形態では、類似画像が検索される度毎に結果を表示するようにしているが、検索結果をハードディスク６やＲＡＭ２０４等の記憶媒体に記憶しておき、検索が終了した後、まとめて検索結果を表示するようにしてもよい。この際、類似性があると判定した結果の画像の数をカウントし、その数を表示する方法も考えられる。また、類似度の高い順に表示するようにしてもよい。
【００４０】
ステップＳ４０９では、レコードポインタを１つ進める。その後、画像データベース５０中に、レコードポインタで示される次の比較対象の画像データがあるか否かを判定する（Ｓ４１０）。画像データベース５０中に新たに検索するデータがなければ処理は終了し、データがあればステップＳ４０４に戻り、画像データベース５０において比較対象の画像データがなくなるまで、上記処理を繰り返す。以上のようにして、キー画像と類似する画像を画像の色特徴に基づいて検索することができる。
【００４１】
なお、本システムにおいて、ユーザによりキー画像とともにに検索精度の度合いを示す「あいまい度」が指定されるようにしてよい。このとき、本システムは、画像の類似性の判断（ステップＳ４０６）において、あいまい度に応じて類似性を判断する際のしきい値を変化させるようにする。例えば、あいまい度が高いほど類似度の判定のしきい値を低く設定し、類似度の低いものも類似していると判断するようにしてもよい。このように、あいまい度を設定し、あいまい度に応じて類似性の判断基準を変化させることにより、検索精度を自由に変更することが可能となる。
【００４２】
また、上記処理においては、キー画像および比較対象画像の色特徴が事前に画像データベース５０に登録され、この登録された色特徴データを用いて比較検索処理が行われているが、画像の色特徴が必ずしも画像データベース５０に事前に登録されている必要はなく、比較検索処理の都度、ステップＳ３０１〜Ｓ３０３に示すような方法で画像から色特徴を抽出し、この抽出した色特徴を用いて画像の比較検索を行うようにしてもよい。
【００４３】
＜ステップＳ４０５における類似度の計算＞
以下に、上記ステップＳ４０５における類似度の計算について図１１を用いて詳細に説明する。図１１に示すようにキー画像Ｋは色特徴Ｋ1、Ｋ2、Ｋ3…Ｋnを有する。キー画像の各色特徴Ｋi(i=1,2,…n)は、色グループの平均色を表す色相Ｈki、彩度Ｓki及び明度Ｌki並びに平均色が画像に占める割合である占有率Ｒkiとから特徴づけられる。また、比較対象画像Ｃは色特徴Ｃ1、Ｃ2、Ｃ3…Ｃmを有し、各色特徴Ｃj(j=1,2,…m)は、色グループの平均色を表す色相Ｈcj、彩度Ｓcj及び明度Ｌcj並びに平均色が画像に占める割合である占有率Ｒcjとから特徴づけられる。類似度は、キー画像Ｋの色特徴と比較対象画像Ｃの色特徴とに基づいて計算される。すなわち、まず、キー画像Ｋの色特徴Ｋiの１つを、比較対象画像Ｃの色特徴の全部Ｃj(j=1,2,…m)と比較し、それぞれの色特徴の組み合わせにおいて、色相の類似度Ｈi、彩度の類似度Ｓiおよび明度の類似度Ｌiを計算する。
【００４４】
ここで、色相の類似度Ｈi、彩度の類似度Ｓi及び明度の類似度Ｌiの計算方法を説明する。色相の類似度Ｈiは、色が明るく色相の類似度が高い場合、すなわち、明度が所定値以上でその明度差が所定値より小さい場合は、類似度がさらに高くなるように計算する。また、色が明るく色相の類似度が負になる場合は、類似度がさらに低くなるようにする。彩度Ｓiの類似度は、単純に差分を計算する。明度の類似度Ｌiは、比較する色の両方が暗い場合は単純に差分を計算する。このとき、どちらか一方でも明るい場合すなわち明度が所定値以上の場合は、それらの明度差が大きいときは負の値になるように計算する。
【００４５】
具体的には以下のようにして求める。
（１）色相の類似度Ｈi：
i)Ｋi、Ｃjが同じ色グループの場合、Ｈi＝１．０ …（５ａ）
ii)Ｋi、Ｃjが異なる色グループの場合、
ａ．Ｋi、Ｃjの片方のみ無彩色
Ｌmax＞０．５（Ｋi、Ｃjの少なくとも一方が明るい色）のとき、
Ｈi＝−０．５ …（５ｂ）
Ｌmax≦０．５（Ｋi、Ｃjの両方とも暗い色）のとき、
Ｈi＝−０．２５ …（５ｃ）
ｂ．Ｋi、Ｃj両方が無彩色
Ｌmax＞０．５のとき、Ｈi＝−０．２５ …（５ｄ）
Ｌmax≦０．５のとき、Ｈi＝０．０ …（５ｅ）
ｃ．Ｋi、Ｃjの両方が有彩色
Ｈ0＝色相差／１８０×（２．６６６６×色相差／１８０−４．６６６６）＋１．０ …（５ｆ）
上式（５ｆ）によりＨ0を計算した後、高い方の明度Ｌmax、Ｈ0の値に基づいて、以下のように類似度Ｈiを決定する；
Ｌmax≦０．５のとき、Ｈ＝Ｈ0 …（５ｇ）
Ｌmax＞０．５のとき、Ｈ0＞０．０なら、Ｈi＝Ｈ0×０．７５ …（５ｈ）
Ｈ0≦０．０なら、Ｈi＝Ｈ0×１．２５ …（５ｉ）
（２）彩度の類似度Ｓi：
Ｓi＝１．０−２．０×（Ｓmax−Ｓmin） …（６）
但し、Ｓmax＝ＳkiとＳCjの大きい方の値
Ｓmin＝ＳkiとＳCjの小さい方の値
（３）明度の類似度Ｌi：
Ｌmax＞０．５５（Ｋi、Ｃjの少なくとも一方が明るい色）のとき、
Ｌi＝１．０−２．０×（Ｌmax−Ｌmin） …（７ａ）
Ｌmax≦０．５５（Ｋi、Ｃjの両方が暗い色）のとき、
Ｌi＝１．０−（Ｌmax−Ｌmin） …（７ｂ）
但し、Ｌmax＝ＬkiとＬCjの大きい方の値
Ｌmin＝ＬkiとＬCjの小さい方の値
【００４６】
以上のようにして色相、彩度および明度の類似度が計算されると、それぞれの類似度の重みＷH、ＷS、ＷLを考慮し、色特徴Ｋiに対する類似度Ｄiを計算する。
Ｄi＝Ｈi×ＷH＋Ｓi×ＷS＋Ｌi×ＷL …（８）
【００４７】
このときの類似度の重みＷH、ＷL、ＷSの設定値の一例を図１２に示す。この類似度の重みの設定は、前述の比較検索処理のステップＳ４０２で行われる。図に示すように重みの設定値は、キー画像と比較対象画像が、有彩色であるか無彩色であるかにより場合分けされている。これは、明度、彩度が低い場合は、色相の違いはさほど重要ではなく、類似性に対して影響が少ないという考えに基づいている。すなわち、両画像の色グループがともに有彩色の場合は色相に重みをつけ、両画像の色グループがともに無彩色の場合は明度及び彩度に重みをつけ、両画像の色グループが有彩色と無彩色の場合は彩度に重みをつけるように、各類似度の重みを設定している。このように、比較する色に応じて、色相、彩度および明度に対する類似度を計算する際に、それぞれに対して重みを加えることにより、結果として人間の視覚判断により近い類似度が得られる。
【００４８】
上述の方法で、キー画像Ｋの特徴色の１つＫiと、比較対象画像Ｃの全特徴色Ｃj(j=1,2,…m)との間で色特徴の類似度Ｄiが得られると、その中で類似度の絶対値が最大となる類似度を選択し、その値をその特徴色Ｋiの類似度Ｄi'とする。同様に、全てのキー画像Ｋの色特徴Ｋi(i=1,2,…n)について類似度Ｄi'を求め、この類似度Ｄi'と占有率Ｒkiとを乗算したものを求め、全ての色特徴Ｋiについて合計したものをキー画像Ｋと比較対象画像Ｃとの間の類似度Ｄとする。すなわち、キー画像Ｋと比較対象画像Ｃとの間の類似度Ｄは次式で計算される。
類似度Ｄ＝Ｄ1'×Ｒk1＋Ｄ2'×Ｒk2＋・・・＋Ｄn'×Ｒkn …（９）
【００４９】
以上のようにして、本システムでは、画像から色特徴を抽出する際に、色を所定のグループに分類し、そのグループ毎に平均色と、その平均色が画像に占める割合とを求め、これらを画像の特徴色として抽出するため、画像の色に関する特徴をより正確に表した色特徴を抽出することができる。また、このように、抽出された色特徴に基づいて、画像間の比較を行うことにより類似性の判断において画像の比較が高い精度で行える。
【００５０】
なお、本実施形態においては、色特徴の要素の１つとして色グループの平均色を用いたが、色グループの平均色に限らず、色グループ毎に定義された色グループを代表する色（以下、「代表色」という。）であれば、これを用いてもよい。例えば、色グループ内で最も出現頻度の高い画素の色をその色グループの代表色とし、これを用いてもよい。また、色グループ名が示す色を上記平均色の代わりに用いてもよい。
【００５１】
【発明の効果】
本発明の第１の画像特徴比較装置によれば、画像の色特徴を、画像に含まれる色を色グループ毎に分類し、色グループの平均色または代表色と、その色の画像に占める割合とを求めることにより抽出する。これにより、画像全体の色に関する特徴をより正確に保持した色特徴を抽出することができる。
【００５２】
また、このような色特徴を用いて画像間の類似性の判断を行い、類似画像の検索を行うことにより、より正確に類似画像の検索が行える。
【００５３】
また、画像間の類似度を求める際に、占有率に基づいて色グループの平均色または代表色に対して重み付けを行い、重み付けられた値を用いて類似度の計算を行うため、より人の視覚判断に近い画像比較が可能となる。
【００５４】
また、画像間の類似度を求める際に、色要素の間で重み付けを行い、重み付けられた値を用いて類似度の計算を行うため、より人の視覚判断に近い画像比較が可能となる。
【００５５】
また、色要素として、色相、彩度および明度を用いることにより、より人の視覚判断に近い画像比較が可能となる。
【図面の簡単な説明】
【図１】 本実施形態の画像特徴量比較装置の構成の概略を示す図。
【図２】 制御装置を中心としたブロック図。
【図３】 画像データベースの構成図。
【図４】 ＨＳＬ色空間を説明した図。
【図５】 色グループ分類テーブルの具体例を示す図。
【図６】 画像特徴量比較装置のメインのフローチャート。
【図７】 データ入力または設定等の画面の表示例を示した図。
【図８】 画像特徴量比較装置における色特徴抽出処理のフローチャート。
【図９】 色特徴の計算処理のフローチャート。
【図１０】 画像特徴量比較装置における色特徴比較処理のフローチャート。
【図１１】 キー画像と比較対象画像とを色特徴により比較している様子を説明した図。
【図１２】 類似度を計算する際の色相、明度および彩度の重みの設定値の一例を示した図。
【符号の説明】
１…制御装置、 ２…ディスプレイ、 ３…キーボード、 ４…マウス、 ５ａ…フロッピーディスク、 ５ｂ…フロッピーディスク装置、 ６…ハードディスク、 ７…プリンタ、 ８…スキャナ、 ９ａ…ＣＤ−ＲＯＭ、 ９ｂ…ＣＤ−ＲＯＭ装置、 １０…スピーカ、 １１…マイク、 ２１…初期設定画面、 ２３〜２５…選択用アイコン、 ２９，３０…設定用画面、 ５０…画像データベース、 ５５…色グループ分類テーブル、 ２０１…ＣＰＵ、 ２０２…クロック、 ２０３…ＲＯＭ、 ２０４…ＲＡＭ。
Claims (6)
- 画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、
検索キーとなる画像を指定する画像指定手段と、
検索対象となる画像を読み込む対象読込み手段と、
前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、該各色グループに属する画素を計数することにより、前記各色グループの画像全体に占める割合である占有率を算出する手段と、
各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度計算手段と、
該類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備え、
画像間の類似度を求める際に、前記占有率に基づいて前記色グループの平均色または代表色の類似度に対して重み付けをする
ことを特徴とする画像特徴量比較装置。 - 画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較装置において、
検索キーとなる画像を指定する画像指定手段と、
検索対象となる画像を読み込む対象読込み手段と、
前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づき所定の色の範囲を有する複数の色グループに分類し、該各色グループに属する画素を計数することにより、前記各色グループの画像全体に占める割合である占有率を算出する手段と、
各色グループの平均色または代表色と、その色グループの占有率とに基づいて、画像間の類似の度合いを示す類似度を算出する類似度計算手段と、
該類似度に基づき両画像が類似しているか否かを判断し、類似しているときに前記比較対象の画像を検索結果として出力する出力手段とを備え、
画像間の類似度を求める際に、無彩色であるか否かに応じて、前記色要素のそれぞれの類似度に対する重み付けを行う、
ことを特徴とする画像特徴量比較装置。 - 請求項１または請求項２記載の画像特徴量比較装置において、前記色を特定する色要素は、色合いを示す色相と、あざやかさを示す彩度と、明るさの度合いを示す明度とからなることを特徴とする画像特徴量比較装置。
- 画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較プログラムを記録した記録媒体において、
検索キーとなる画像を指定するステップと、
検索対象となる画像を読み込むステップと、
前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、
前記各色グループの画像全体に占める割合である占有率を算出するステップと、
前記各色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合いを示す類似度を算出するステップとを有し、
前記類似度を算出するステップにおいて、画像間の類似度を求める際に、前記占有率に基づいて前記色グループの平均色または代表色の類似度に対して重み付けをする
ことを特徴とする画像特徴量比較プログラムを記録する記録媒体。 - 画像の色に関する特徴を示す色特徴に基づいて異なる画像間の比較を行う画像特徴量比較プログラムを記録した記録媒体において、
検索キーとなる画像を指定するステップと、
検索対象となる画像を読み込むステップと、
前記検索キーとなる画像及び前記検索対象となる画像に対し、色を所定の色要素に基づいて所定の色の範囲を有する複数の色グループに分類し、画像を構成する各画素の色を前記色グループ毎に計数するステップと、
前記各色グループの画像全体に占める割合である占有率を算出するステップと、
前記各色グループの平均色または代表色と、その占有率とに基づいて、画像間の類似の度合いを示す類似度を算出するステップとを有し、
前記類似度を算出するステップにおいて、前記画像間の類似度を求める際に、無彩色であるか否かに応じて、前記色要素のそれぞれの類似度に対する重み付けをする
ことを特徴とする画像特徴量比較プログラムを記録した記録媒体。 - 請求項４または請求項５に記載の記録媒体において、
前記色を特定する色要素は、色合いを示す色相と、あざやかさを示す彩度と、明るさの度合いを示す明度とからなることを特徴とする画像特徴量比較プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25228797A JP3747589B2 (ja) | 1997-09-17 | 1997-09-17 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
| US09/153,851 US6519360B1 (en) | 1997-09-17 | 1998-09-16 | Image processing apparatus for comparing images based on color feature information and computer program product in a memory |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25228797A JP3747589B2 (ja) | 1997-09-17 | 1997-09-17 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1196364A JPH1196364A (ja) | 1999-04-09 |
| JP3747589B2 true JP3747589B2 (ja) | 2006-02-22 |
Family
ID=17235164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25228797A Expired - Fee Related JP3747589B2 (ja) | 1997-09-17 | 1997-09-17 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6519360B1 (ja) |
| JP (1) | JP3747589B2 (ja) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6784918B1 (en) * | 1998-12-22 | 2004-08-31 | Intel Corporation | System for obtaining state information from consumer electronic devices |
| KR100319155B1 (ko) | 1999-02-01 | 2001-12-29 | 구자홍 | 신뢰도를 이용한 대표칼라 지정방법 |
| US7417640B1 (en) | 1999-01-29 | 2008-08-26 | Lg Electronics Inc. | Method for dominant color setting of video region and data structure and method of confidence measure extraction |
| KR100512139B1 (ko) * | 1999-07-03 | 2005-09-02 | 엘지전자 주식회사 | 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법 |
| US7016916B1 (en) * | 1999-02-01 | 2006-03-21 | Lg Electronics Inc. | Method of searching multimedia data |
| CN100428278C (zh) * | 1999-02-05 | 2008-10-22 | 三星电子株式会社 | 彩色图像处理方法和装置 |
| US6778697B1 (en) | 1999-02-05 | 2004-08-17 | Samsung Electronics Co., Ltd. | Color image processing method and apparatus thereof |
| GB2349460B (en) * | 1999-04-29 | 2002-11-27 | Mitsubishi Electric Inf Tech | Method of representing colour images |
| KR20040028945A (ko) * | 1999-05-17 | 2004-04-03 | 삼성전자주식회사 | 컬러 영상 처리 방법 및 그 방법을 실현시키기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
| US7212667B1 (en) * | 1999-05-17 | 2007-05-01 | Samsung Electronics Co., Ltd. | Color image processing method for indexing an image using a lattice structure |
| JP2001282846A (ja) * | 2000-03-29 | 2001-10-12 | Canon Inc | 画像検索方法及び装置 |
| JP2002049631A (ja) * | 2000-08-01 | 2002-02-15 | Sony Corp | 情報提供装置および方法、並びに記録媒体 |
| US7253919B2 (en) | 2000-11-30 | 2007-08-07 | Ricoh Co., Ltd. | Printer with embedded retrieval and publishing interface |
| KR100788643B1 (ko) | 2001-01-09 | 2007-12-26 | 삼성전자주식회사 | 색과 질감의 조합을 기반으로 하는 영상 검색 방법 |
| GB0101794D0 (en) * | 2001-01-24 | 2001-03-07 | Central Research Lab Ltd | Monitoring responses to visual stimuli |
| US6952224B2 (en) * | 2001-03-30 | 2005-10-04 | Intel Corporation | Object trackability via parametric camera tuning |
| US7747655B2 (en) * | 2001-11-19 | 2010-06-29 | Ricoh Co. Ltd. | Printable representations for time-based media |
| US7424129B2 (en) * | 2001-11-19 | 2008-09-09 | Ricoh Company, Ltd | Printing system with embedded audio/video content recognition and processing |
| US7415670B2 (en) * | 2001-11-19 | 2008-08-19 | Ricoh Co., Ltd. | Printer with audio/video localization |
| US7861169B2 (en) * | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
| US7314994B2 (en) * | 2001-11-19 | 2008-01-01 | Ricoh Company, Ltd. | Music processing printer |
| US20040181815A1 (en) * | 2001-11-19 | 2004-09-16 | Hull Jonathan J. | Printer with radio or television program extraction and formating |
| JP2003281153A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 情報検索システム用サーバ及び端末装置 |
| JP2004005364A (ja) * | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
| US7120300B1 (en) * | 2002-05-14 | 2006-10-10 | Sasken Communication Technologies Limited | Method for finding representative vectors in a class of vector spaces |
| US7079137B2 (en) * | 2002-11-15 | 2006-07-18 | Warner Bros. Entertainment Inc. | Method for digitally rendering an object using measured BRDF data |
| US20050210019A1 (en) * | 2002-11-20 | 2005-09-22 | Fujitsu Limited | Method and apparatus for retrieving image from database, and computer product |
| US7536638B2 (en) * | 2003-03-31 | 2009-05-19 | Ricoh Co., Ltd. | Action stickers for identifying and processing stored documents |
| US7509569B2 (en) * | 2003-03-31 | 2009-03-24 | Ricoh Co., Ltd. | Action stickers for nested collections |
| US7739583B2 (en) | 2003-03-31 | 2010-06-15 | Ricoh Company, Ltd. | Multimedia document sharing method and apparatus |
| US7703002B2 (en) * | 2003-03-31 | 2010-04-20 | Ricoh Company, Ltd. | Method and apparatus for composing multimedia documents |
| US7757162B2 (en) * | 2003-03-31 | 2010-07-13 | Ricoh Co. Ltd. | Document collection manipulation |
| JP2004348706A (ja) | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| EP2293250B1 (en) * | 2003-07-04 | 2012-05-09 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for representing a group of images |
| US7275159B2 (en) * | 2003-08-11 | 2007-09-25 | Ricoh Company, Ltd. | Multimedia output device having embedded encryption functionality |
| US7505163B2 (en) * | 2003-09-25 | 2009-03-17 | Ricoh Co., Ltd. | User interface for networked printer |
| US7511846B2 (en) * | 2003-09-25 | 2009-03-31 | Ricoh Co., Ltd. | Printer having embedded functionality for printing time-based media |
| US7528976B2 (en) * | 2003-09-25 | 2009-05-05 | Ricoh Co., Ltd. | Stand alone printer with hardware/software interfaces for sharing multimedia processing |
| US7528977B2 (en) * | 2003-09-25 | 2009-05-05 | Ricoh Co., Ltd. | Printer with hardware and software interfaces for peripheral devices |
| US7864352B2 (en) * | 2003-09-25 | 2011-01-04 | Ricoh Co. Ltd. | Printer with multimedia server |
| US7508535B2 (en) * | 2003-09-25 | 2009-03-24 | Ricoh Co., Ltd. | Stand alone multimedia printer with user interface for allocating processing |
| JP2005108230A (ja) * | 2003-09-25 | 2005-04-21 | Ricoh Co Ltd | オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム |
| US20050071746A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Networked printer with hardware and software interfaces for peripheral devices |
| US7440126B2 (en) * | 2003-09-25 | 2008-10-21 | Ricoh Co., Ltd | Printer with document-triggered processing |
| US20050068573A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Networked printing system having embedded functionality for printing time-based media |
| US7573593B2 (en) * | 2003-09-25 | 2009-08-11 | Ricoh Company, Ltd. | Printer with hardware and software interfaces for media devices |
| US8077341B2 (en) | 2003-09-25 | 2011-12-13 | Ricoh Co., Ltd. | Printer with audio or video receiver, recorder, and real-time content-based processing logic |
| US7570380B2 (en) * | 2003-09-25 | 2009-08-04 | Ricoh Company, Ltd. | Printer user interface |
| US20050071763A1 (en) * | 2003-09-25 | 2005-03-31 | Hart Peter E. | Stand alone multimedia printer capable of sharing media processing tasks |
| WO2005055138A2 (en) * | 2003-11-26 | 2005-06-16 | Yesvideo, Inc. | Statical modeling of a visual image for use in determining similarity between visual images |
| US7991232B2 (en) * | 2004-03-03 | 2011-08-02 | Nec Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
| US8274666B2 (en) * | 2004-03-30 | 2012-09-25 | Ricoh Co., Ltd. | Projector/printer for displaying or printing of documents |
| US7603615B2 (en) * | 2004-03-30 | 2009-10-13 | Ricoh Co., Ltd. | Multimedia projector-printer |
| JP4539964B2 (ja) * | 2004-07-21 | 2010-09-08 | 大日本スクリーン製造株式会社 | 画像の領域分割 |
| JP2006040085A (ja) * | 2004-07-29 | 2006-02-09 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| US7620238B1 (en) | 2004-12-06 | 2009-11-17 | Zirker Daniel R | Virtual reality color sampler |
| US7570403B2 (en) * | 2005-03-16 | 2009-08-04 | Kabushiki Kaisha Toshiba | Color image processing apparatus |
| JP4561465B2 (ja) * | 2005-05-13 | 2010-10-13 | ブラザー工業株式会社 | 画像編集装置 |
| US7737991B2 (en) * | 2005-08-09 | 2010-06-15 | Basf Corporation | Method of visualizing a color deviation |
| US8290275B2 (en) * | 2006-01-20 | 2012-10-16 | Kansai Paint Co., Ltd. | Effective pigment identification method, identification system, identification program, and recording medium therefor |
| US7961938B1 (en) * | 2006-06-30 | 2011-06-14 | Adobe Systems Incorporated | Finding and structuring images based on a color search |
| JP4818033B2 (ja) * | 2006-09-14 | 2011-11-16 | キヤノン株式会社 | 画像再生装置、その制御方法、プログラム |
| JP4966248B2 (ja) * | 2008-05-01 | 2012-07-04 | 株式会社リコー | 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム |
| JP4913094B2 (ja) * | 2008-05-20 | 2012-04-11 | シャープ株式会社 | 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体 |
| JP4770965B2 (ja) * | 2009-04-17 | 2011-09-14 | 株式会社ニコン | 画像マッチング装置、およびカメラ |
| US8131068B2 (en) | 2008-06-06 | 2012-03-06 | Nikon Corporation | Image matching device and camera |
| US7853075B2 (en) | 2008-07-31 | 2010-12-14 | Hiroshima University | Image segmentation apparatus and image segmentation method |
| US8762383B2 (en) * | 2008-08-06 | 2014-06-24 | Obschestvo s organichennoi otvetstvennostiu “KUZNETCH” | Search engine and method for image searching |
| US8406573B2 (en) * | 2008-12-22 | 2013-03-26 | Microsoft Corporation | Interactively ranking image search results using color layout relevance |
| JP4968291B2 (ja) * | 2009-07-14 | 2012-07-04 | 富士通株式会社 | 画像処理装置 |
| US20110142335A1 (en) * | 2009-12-11 | 2011-06-16 | Bernard Ghanem | Image Comparison System and Method |
| JP5528121B2 (ja) * | 2010-01-05 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US20110191334A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Smart Interface for Color Layout Sensitive Image Search |
| US8634640B2 (en) | 2010-10-21 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Method and apparatus for selecting a color palette |
| US8983181B2 (en) | 2011-11-28 | 2015-03-17 | Psiflow Technology Inc. | Method and system for determining the color of an object in a photo |
| CN102694958B (zh) * | 2012-02-10 | 2013-12-18 | 华为终端有限公司 | 一种确定图像色相的方法和无线手持设备 |
| US8837867B2 (en) * | 2012-12-07 | 2014-09-16 | Realnetworks, Inc. | Method and system to detect and select best photographs |
| CN104298982B (zh) * | 2013-07-16 | 2019-03-08 | 深圳市腾讯计算机系统有限公司 | 一种文字识别方法及装置 |
| WO2015016860A1 (en) | 2013-07-31 | 2015-02-05 | Hewlett-Packard Development Company, L.P. | Printer cartridge and memory device containing a compressed color table |
| WO2016179830A1 (en) * | 2015-05-14 | 2016-11-17 | Intel Corporation | Fast mrf energy optimization for solving scene labeling problems |
| JP6761717B2 (ja) * | 2016-09-29 | 2020-09-30 | ケーディーアイコンズ株式会社 | 情報処理装置及びプログラム |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60145761A (ja) * | 1984-01-06 | 1985-08-01 | Nec Corp | フアクシミリ装置の原稿イメ−ジ情報表示回路 |
| JPS60157681A (ja) | 1984-01-27 | 1985-08-17 | Hitachi Ltd | 画像図形の凹凸検出方法 |
| JPH06121161A (ja) * | 1991-05-14 | 1994-04-28 | Fuji Xerox Co Ltd | カラー画像処理装置の文字処理方式 |
| JPH0528266A (ja) | 1991-07-18 | 1993-02-05 | Nec Corp | テクスチヤ解析方法及び装置 |
| US5533628A (en) * | 1992-03-06 | 1996-07-09 | Agri Tech Incorporated | Method and apparatus for sorting objects by color including stable color transformation |
| JPH05274372A (ja) | 1992-03-25 | 1993-10-22 | Mitsubishi Electric Corp | 画像の特徴色自動付加装置 |
| JP3545007B2 (ja) | 1993-03-17 | 2004-07-21 | 新日鉄ソリューションズ株式会社 | データベース検索システム |
| JPH06295318A (ja) | 1993-04-09 | 1994-10-21 | Omron Corp | キーワード付与方法及びその装置 |
| US5943143A (en) * | 1993-06-22 | 1999-08-24 | Canon Kabushiki Kaisha | Image processing system having color adjusting features |
| JP3234064B2 (ja) * | 1993-09-02 | 2001-12-04 | キヤノン株式会社 | 画像検索方法並びにその装置 |
| KR100324989B1 (ko) * | 1993-11-08 | 2002-06-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 입력표시일체형정보처리장치 |
| JPH07271949A (ja) | 1994-03-29 | 1995-10-20 | Matsushita Electric Ind Co Ltd | 画像編集装置及び電子ファイリング装置 |
| JPH0816789A (ja) | 1994-07-05 | 1996-01-19 | Kajima Corp | 景観の色彩判定方法 |
| DE69428293T2 (de) * | 1994-07-21 | 2002-06-27 | Toshiba Kawasaki Kk | Gerät zur bildidentifizierung |
| US6088130A (en) * | 1994-09-27 | 2000-07-11 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| DE69535098T2 (de) * | 1994-11-15 | 2007-04-19 | Canon K.K. | Verfahren und -vorrichtung zur Suche von Bildern in einer Datenbank |
| JP3427554B2 (ja) * | 1995-03-01 | 2003-07-22 | オムロン株式会社 | 画像処理装置及び方法 |
| JPH08329096A (ja) | 1995-05-30 | 1996-12-13 | Minolta Co Ltd | 画像データ検索装置 |
| JP3461626B2 (ja) * | 1995-07-28 | 2003-10-27 | シャープ株式会社 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
| JPH09163161A (ja) * | 1995-12-01 | 1997-06-20 | Brother Ind Ltd | 画像処理装置 |
| US5893095A (en) * | 1996-03-29 | 1999-04-06 | Virage, Inc. | Similarity engine for content-based retrieval of images |
| JP3189870B2 (ja) * | 1996-12-24 | 2001-07-16 | シャープ株式会社 | 画像処理装置 |
| US6035055A (en) * | 1997-11-03 | 2000-03-07 | Hewlett-Packard Company | Digital image management system in a distributed data access network system |
-
1997
- 1997-09-17 JP JP25228797A patent/JP3747589B2/ja not_active Expired - Fee Related
-
1998
- 1998-09-16 US US09/153,851 patent/US6519360B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6519360B1 (en) | 2003-02-11 |
| JPH1196364A (ja) | 1999-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
| JP4074366B2 (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 | |
| US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
| JPH11288465A (ja) | カラー画像処理装置及びパターン抽出装置 | |
| JP2011081556A (ja) | 情報処理装置、情報処理方法、プログラムおよびサーバ | |
| JP2008242543A (ja) | 画像検索装置、画像検索装置の画像検索方法、及び画像検索装置の制御プログラム | |
| JP6387026B2 (ja) | 書籍探索装置、方法及びプログラム | |
| JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| JP3718967B2 (ja) | 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体 | |
| JP2004005303A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| JP4211941B2 (ja) | パターン抽出装置 | |
| JP4348956B2 (ja) | 画像レイアウト装置、画像レイアウト方法、画像レイアウト装置におけるプログラム | |
| JP3726442B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| JP3812161B2 (ja) | 画像比較装置、画像比較方法及び記録媒体 | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
| JPH11238077A (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録する記録媒体 | |
| JPH10143670A (ja) | 画像処理装置及び記録媒体 | |
| JP3199009B2 (ja) | 画像蓄積・管理装置及び画像インデックス生成方法 | |
| JP4164907B2 (ja) | カラー画像の領域統合方法およびプログラム記憶媒体 | |
| JP3671691B2 (ja) | 類似画像検索装置、類似画像検索方法及び記録媒体 | |
| JP2006172090A (ja) | 代表画像選択装置および方法並びにプログラム | |
| JPH10340272A (ja) | 類似画像検索装置及び方法 | |
| JP2017027489A (ja) | 情報処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050707 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050707 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |