JP3529036B2 - 文書付き画像の分類方法 - Google Patents
文書付き画像の分類方法Info
- Publication number
- JP3529036B2 JP3529036B2 JP16588599A JP16588599A JP3529036B2 JP 3529036 B2 JP3529036 B2 JP 3529036B2 JP 16588599 A JP16588599 A JP 16588599A JP 16588599 A JP16588599 A JP 16588599A JP 3529036 B2 JP3529036 B2 JP 3529036B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- document
- divided
- classification
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、文書付きの画像を
画像内容毎に分類し、画像理解に役立てることが可能な
文書付き画像の分類方法、分類装置および記録媒体に関
する。
画像内容毎に分類し、画像理解に役立てることが可能な
文書付き画像の分類方法、分類装置および記録媒体に関
する。
【０００２】
【従来の技術】従来、画像(映像を含む)およびこれに付
随した文書情報などの記号情報を関連付けて検索に供す
るシステムとして、下記のものが提案されている。
随した文書情報などの記号情報を関連付けて検索に供す
るシステムとして、下記のものが提案されている。
【０００３】（１）栗田多喜夫、加藤俊一、福田郁美、
板倉あゆみ："印象語による絵画データベースの検索，
“情処論，Ｖｏｌ．３３、Ｎｏ．１１，ｐｐ１３７３−
１３８３，１９９２ （２）小野敦史，天野督士，斗谷充宏，佐藤隆，坂内正
夫：“状態遷移モデルとシーン記述言語による自動キー
ワード付与機能をもつ画像データベースとその評価”信
学論．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．４７６−４
８３，１９９６． （３）渡辺靖彦，長尾真：“画像の内容を説明するテキ
ストを利用した画像解析、”人工知能学会誌，Ｖｏｌ１
３，Ｎｏ．１，ｐｐ６６−７４，１９９８ （４）井出一郎，浜田玲子，坂井修一，田中英彦：“言
語情報を伴う画像の画像的特徴量と語彙の統計的対応付
け”情報処理学会研究報告，９９−ＣＶＩＭ−１１４−
１８，１９９９ このような提案では、画像に、その画像の内容を表した
文書を付加し、データベースに記憶しておく。このよう
なシステムでは、キーワードを入力すると、そのキーワ
ードを有する画像をデータベースから検索したり、判別
したい画像をシステムに与えると、同じ特徴を有する画
像をデータベースで検索し、検索の結果得られる画像に
付随する文書情報を画像の判別結果とすることができ
る。
板倉あゆみ："印象語による絵画データベースの検索，
“情処論，Ｖｏｌ．３３、Ｎｏ．１１，ｐｐ１３７３−
１３８３，１９９２ （２）小野敦史，天野督士，斗谷充宏，佐藤隆，坂内正
夫：“状態遷移モデルとシーン記述言語による自動キー
ワード付与機能をもつ画像データベースとその評価”信
学論．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．４７６−４
８３，１９９６． （３）渡辺靖彦，長尾真：“画像の内容を説明するテキ
ストを利用した画像解析、”人工知能学会誌，Ｖｏｌ１
３，Ｎｏ．１，ｐｐ６６−７４，１９９８ （４）井出一郎，浜田玲子，坂井修一，田中英彦：“言
語情報を伴う画像の画像的特徴量と語彙の統計的対応付
け”情報処理学会研究報告，９９−ＣＶＩＭ−１１４−
１８，１９９９ このような提案では、画像に、その画像の内容を表した
文書を付加し、データベースに記憶しておく。このよう
なシステムでは、キーワードを入力すると、そのキーワ
ードを有する画像をデータベースから検索したり、判別
したい画像をシステムに与えると、同じ特徴を有する画
像をデータベースで検索し、検索の結果得られる画像に
付随する文書情報を画像の判別結果とすることができ
る。
【０００４】
【発明が解決しようとする課題】写真などの画像には複
数の物体が含まれていることが多い。このような画像を
判別したい場合、同じ複数の物体が撮影されている画像
がデータベースにないと、画像の特徴が一致せず、判別
結果が得られない。したがって、画像の判別精度を上げ
るためには、多種多様の画像をデータベースに登録しな
ければならない。
数の物体が含まれていることが多い。このような画像を
判別したい場合、同じ複数の物体が撮影されている画像
がデータベースにないと、画像の特徴が一致せず、判別
結果が得られない。したがって、画像の判別精度を上げ
るためには、多種多様の画像をデータベースに登録しな
ければならない。
【０００５】このため、データベースの情報量が膨大と
なってしまうという課題が従来技術にはあった。
なってしまうという課題が従来技術にはあった。
【０００６】また、従来では１枚の画像中の各物体の領
域を指定し、かつ、その領域についてキーワードを個別
指定入力をしなければならなかった。
域を指定し、かつ、その領域についてキーワードを個別
指定入力をしなければならなかった。
【０００７】そこで、本発明の目的は、同じデータベー
スの情報量であれば、判別できる画像の種類を従来より
も多数とすることができる。文書付き画像の分類方法、
分類装置および記録媒体を提供することにある。
スの情報量であれば、判別できる画像の種類を従来より
も多数とすることができる。文書付き画像の分類方法、
分類装置および記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、文書付き画像をコンピュ
ータにより分類する文書付き画像の分類方法において、
前記コンピュータは、第１の分割手段、付随手段、分類
手段、計数手段および抽出手段を有し、ｍ個の文書付き
画像の各々をｎ個の分割画像に前記第１の分割手段によ
り分割し、１つの前記文書付き画像に付加されている文
書を当該分割されたｎ個の分割画像それぞれに対して前
記付随手段により付随させ、前記ｍ個の文書付き画像か
ら得られるｎ×ｍ個の分割画像をその画像特徴が類似す
る画像同士に前記分類手段により分類し、当該分類毎に
該分類に属する１以上の前記分割画像に付随した文書中
の単語の出現頻度を前記計数手段により計数し、当該計
数された出現頻度上位所定数に対応する単語を前記分類
の意味内容を示す単語として前記抽出手段により抽出す
ることを特徴とする。
るために、請求項１の発明は、文書付き画像をコンピュ
ータにより分類する文書付き画像の分類方法において、
前記コンピュータは、第１の分割手段、付随手段、分類
手段、計数手段および抽出手段を有し、ｍ個の文書付き
画像の各々をｎ個の分割画像に前記第１の分割手段によ
り分割し、１つの前記文書付き画像に付加されている文
書を当該分割されたｎ個の分割画像それぞれに対して前
記付随手段により付随させ、前記ｍ個の文書付き画像か
ら得られるｎ×ｍ個の分割画像をその画像特徴が類似す
る画像同士に前記分類手段により分類し、当該分類毎に
該分類に属する１以上の前記分割画像に付随した文書中
の単語の出現頻度を前記計数手段により計数し、当該計
数された出現頻度上位所定数に対応する単語を前記分類
の意味内容を示す単語として前記抽出手段により抽出す
ることを特徴とする。
【０００９】請求項２の発明は、請求項１に記載の文書
付き画像の分類方法において、前記分割画像、該分割画
像の属する分類を示す情報、該分類に対応の抽出単語は
前記コンピュータ内外の記憶装置に記憶され、前記コン
ピュータは入力手段、第２の分割手段、検出手段および
出力手段をさらに有し、内容が未知の未知画像を前記入
力手段から前記コンピュータに入力し、当該入力された
未知画像を前記第２の分割手段により分割し、当該分割
された未知分割画像と最も特徴が類似する分類を前記検
出手段により検出し、当該検出された分類に対応する単
語を使用して前記入力された未知画像の意味内容を前記
出力手段から出力することを特徴とする。
付き画像の分類方法において、前記分割画像、該分割画
像の属する分類を示す情報、該分類に対応の抽出単語は
前記コンピュータ内外の記憶装置に記憶され、前記コン
ピュータは入力手段、第２の分割手段、検出手段および
出力手段をさらに有し、内容が未知の未知画像を前記入
力手段から前記コンピュータに入力し、当該入力された
未知画像を前記第２の分割手段により分割し、当該分割
された未知分割画像と最も特徴が類似する分類を前記検
出手段により検出し、当該検出された分類に対応する単
語を使用して前記入力された未知画像の意味内容を前記
出力手段から出力することを特徴とする。
【００１０】請求項３の発明は、文書付き画像を分類す
る文書付き画像の分類装置において、ｍ個の文書付き画
像の各々をｎ個の分割画像に分割する手段と、１つの前
記文書付き画像に付加されている文書を当該分割された
ｎ個の分割画像に対してそれぞれ付随させる手段と、前
記ｍ個の文書付き画像から得られるｎ×ｍ個の分割画像
をその画像特徴が類似する画像同士に分類する手段と、
当該分類毎に該分類に属する１以上の画像に付随した文
書中の単語の出現頻度を計数する手段と、当該計数され
た出現頻度の上位所定数に対応する単語を分類の意味内
容を示す単語として抽出する手段とを具えたことを特徴
とする。
る文書付き画像の分類装置において、ｍ個の文書付き画
像の各々をｎ個の分割画像に分割する手段と、１つの前
記文書付き画像に付加されている文書を当該分割された
ｎ個の分割画像に対してそれぞれ付随させる手段と、前
記ｍ個の文書付き画像から得られるｎ×ｍ個の分割画像
をその画像特徴が類似する画像同士に分類する手段と、
当該分類毎に該分類に属する１以上の画像に付随した文
書中の単語の出現頻度を計数する手段と、当該計数され
た出現頻度の上位所定数に対応する単語を分類の意味内
容を示す単語として抽出する手段とを具えたことを特徴
とする。
【００１１】請求項４の発明は、請求項３に記載の文書
付き画像の分類装置において、前記分割画像、該分割画
像の属する分類を示す情報、該分類に対応の抽出単語を
記憶する記憶手段と、内容が未知の未知画像を入力する
手段と、当該入力された未知画像を分割する手段と、当
該分割された未知分割画像と最も特徴が類似する分類を
検出する手段と、当該検出された分類に対応する単語を
使用して前記入力された未知画像の意味内容を出力する
手段とをさらに具えたことを特徴とする。
付き画像の分類装置において、前記分割画像、該分割画
像の属する分類を示す情報、該分類に対応の抽出単語を
記憶する記憶手段と、内容が未知の未知画像を入力する
手段と、当該入力された未知画像を分割する手段と、当
該分割された未知分割画像と最も特徴が類似する分類を
検出する手段と、当該検出された分類に対応する単語を
使用して前記入力された未知画像の意味内容を出力する
手段とをさらに具えたことを特徴とする。
【００１２】請求項５の発明は、文書付き画像をコンピ
ュータにより分類するためのプログラムを記録した記録
媒体において、前記コンピュータは、第１の分割手段、
付随手段、分類手段、計数手段および抽出手段を有し、
前記プログラムは、ｍ個の文書付き画像の各々をｎ個の
分割画像に前記第１の分割手段により分割するステップ
と、１つの前記文書付き画像に付加されている文書を当
該分割されたｎ個の分割画像に対してそれぞれ前記付随
手段により付随させるステップと、前記ｍ個の文書付き
画像から得られるｎ×ｍ個の分割画像をその画像特徴が
類似する画像同士に前記分類手段により分類するステッ
プと、当該分類毎に該分類に属する１以上の前記分割画
像に付随した文書中の単語の出現頻度を前記計数手段に
より計数するステップと、当該計数された出現頻度の上
位所定数に対応する単語を分類の意味内容を示す単語と
して前記抽出手段により抽出するステップとを具えたこ
とを特徴とする。
ュータにより分類するためのプログラムを記録した記録
媒体において、前記コンピュータは、第１の分割手段、
付随手段、分類手段、計数手段および抽出手段を有し、
前記プログラムは、ｍ個の文書付き画像の各々をｎ個の
分割画像に前記第１の分割手段により分割するステップ
と、１つの前記文書付き画像に付加されている文書を当
該分割されたｎ個の分割画像に対してそれぞれ前記付随
手段により付随させるステップと、前記ｍ個の文書付き
画像から得られるｎ×ｍ個の分割画像をその画像特徴が
類似する画像同士に前記分類手段により分類するステッ
プと、当該分類毎に該分類に属する１以上の前記分割画
像に付随した文書中の単語の出現頻度を前記計数手段に
より計数するステップと、当該計数された出現頻度の上
位所定数に対応する単語を分類の意味内容を示す単語と
して前記抽出手段により抽出するステップとを具えたこ
とを特徴とする。
【００１３】請求項６の発明は、請求項５に記載の記録
媒体において、前記コンピュータは入力手段、第２の分
類手段、検出手段および出力手段をさらに有し、前記プ
ログラムは、前記分割画像、該分割画像の属する分類を
示す情報、該分類に対応の抽出単語を前記コンピュータ
内外の記憶装置に記憶するステップと、内容が未知の未
知画像を前記入力手段から入力するステップと、当該入
力された未知画像を前記第２の分割手段により分割する
ステップと、当該分割された未知分割画像と最も特徴が
類似する分類を前記検出手段により検出するステップ
と、当該検出された分類に対応する単語を使用して前記
入力された未知画像の意味内容を前記出力手段から出力
するステップとをさらに具えたことを特徴とする。
媒体において、前記コンピュータは入力手段、第２の分
類手段、検出手段および出力手段をさらに有し、前記プ
ログラムは、前記分割画像、該分割画像の属する分類を
示す情報、該分類に対応の抽出単語を前記コンピュータ
内外の記憶装置に記憶するステップと、内容が未知の未
知画像を前記入力手段から入力するステップと、当該入
力された未知画像を前記第２の分割手段により分割する
ステップと、当該分割された未知分割画像と最も特徴が
類似する分類を前記検出手段により検出するステップ
と、当該検出された分類に対応する単語を使用して前記
入力された未知画像の意味内容を前記出力手段から出力
するステップとをさらに具えたことを特徴とする。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。
施形態を詳細に説明する。
【００１５】図１は本発明の文書付き画像分類方法を説
明するための説明図である。
明するための説明図である。
【００１６】以下に説明する処理は画像処理装置などの
コンピュータ上で実行される。図１において、データベ
ースに登録される画像には文書情報、すなわち、画像の
内容を示す文章情報が付随している。
コンピュータ上で実行される。図１において、データベ
ースに登録される画像には文書情報、すなわち、画像の
内容を示す文章情報が付随している。
【００１７】画像には複数の物体が含まれているものと
する。１枚の画像は、画像中の複数の物体を切り離すた
めに３×３に分割される。分割された画像それぞれに元
の画像の文書、たとえば情報が付される。分割された画
像から特徴量が抽出される。
する。１枚の画像は、画像中の複数の物体を切り離すた
めに３×３に分割される。分割された画像それぞれに元
の画像の文書、たとえば情報が付される。分割された画
像から特徴量が抽出される。
【００１８】特徴抽出方法については周知の方法を使用
すればよいが、本実施形態では演算によって得られる色
特徴量および輝度特徴量を使用する。本実施形態では、
ＲＧＢ色空間を４×４×４に離散化して、各領域に属す
るピクセルの数を見た立体色ヒストグラム（６４次元）
を色特徴量とする。
すればよいが、本実施形態では演算によって得られる色
特徴量および輝度特徴量を使用する。本実施形態では、
ＲＧＢ色空間を４×４×４に離散化して、各領域に属す
るピクセルの数を見た立体色ヒストグラム（６４次元）
を色特徴量とする。
【００１９】輝度特徴量は縦横微分フィルタ（Ｓｏｂｅ
ｌ）の出力から算出される輝度方向の勾配の方向を８方
向で離散化し、それぞれの割り当て角度内で強度の和を
とって８次元の特徴量とする。さらに輝度特徴量に関し
ては、１／２ずつ画像を縮小して４つの解像度それぞれ
について上記特徴量を算出する。その結果得られる特徴
量は３２次元。また、各分割領域毎に抽出される特徴量
次元は６４＋３２＝９６次元となる。
ｌ）の出力から算出される輝度方向の勾配の方向を８方
向で離散化し、それぞれの割り当て角度内で強度の和を
とって８次元の特徴量とする。さらに輝度特徴量に関し
ては、１／２ずつ画像を縮小して４つの解像度それぞれ
について上記特徴量を算出する。その結果得られる特徴
量は３２次元。また、各分割領域毎に抽出される特徴量
次元は６４＋３２＝９６次元となる。
【００２０】分割領域毎に得られる特徴量のデータのそ
れぞれに上述の文書情報が付加されて、コンピュータ内
の記憶装置に集積される。以上が１枚の画像に関する情
報処理であり、内容の異なる複数の画像について上述と
同様の画像分割、特徴量の抽出、集積を行う。
れぞれに上述の文書情報が付加されて、コンピュータ内
の記憶装置に集積される。以上が１枚の画像に関する情
報処理であり、内容の異なる複数の画像について上述と
同様の画像分割、特徴量の抽出、集積を行う。
【００２１】次に集積された特徴量のデータについて以
下に述べる分類処理を行って、特徴が類似する文書付き
特徴量データ同士に分類する。
下に述べる分類処理を行って、特徴が類似する文書付き
特徴量データ同士に分類する。
【００２２】分類のための情報処理の一例としては、ベ
クトル量子化と呼ばれる情報処理方法を使用する。ベク
トル量子化は多次元データ空間を分割して少ない代表ベ
クトルにてデータを表現する手法であり、画像圧縮技術
において、よく知られている。具体的な情報処理方法
は、たとえば、原島博、“画像情報圧縮”、オーム社、
平成３年８月発行に記載されている。
クトル量子化と呼ばれる情報処理方法を使用する。ベク
トル量子化は多次元データ空間を分割して少ない代表ベ
クトルにてデータを表現する手法であり、画像圧縮技術
において、よく知られている。具体的な情報処理方法
は、たとえば、原島博、“画像情報圧縮”、オーム社、
平成３年８月発行に記載されている。
【００２３】ベクトル量子化では分割された代表ベクト
ルであるセントロイドとその帰属データ（あるいは領
域）を決定することで量子化が行われる。本実施形態で
は,遠藤隆、高橋裕信、豊浦淳、向井理朗、岡隆一：
“動画像の自己組織化ネットワークによるモデル化とそ
の動的特徴の可視化−Ｖｉｄｅｏ Ｉｎｔｒａ−ｓｔｒ
ｕｃｔｕｒｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ−”信学技
法ＰＲＭＵ９７−７８（１９９７）と同じくデータにイ
ンクリメンタルにセントロイドを作成する手法を使用し
ている。その手順は以下のとおりである。
ルであるセントロイドとその帰属データ（あるいは領
域）を決定することで量子化が行われる。本実施形態で
は,遠藤隆、高橋裕信、豊浦淳、向井理朗、岡隆一：
“動画像の自己組織化ネットワークによるモデル化とそ
の動的特徴の可視化−Ｖｉｄｅｏ Ｉｎｔｒａ−ｓｔｒ
ｕｃｔｕｒｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ−”信学技
法ＰＲＭＵ９７−７８（１９９７）と同じくデータにイ
ンクリメンタルにセントロイドを作成する手法を使用し
ている。その手順は以下のとおりである。
【００２４】セントロイド作成手順：
１．データを任意に１つ選んで１番目のセントロイドと
する。
する。
【００２５】２．各データを順次対象として：距離が
「最小、かつ許容量子化誤差（スケールとも呼ぶ）ｄ以
下」である既存セントロイドを探し、存在すれば、現在
のデータはそのセントロイドに帰属(分類)させる。
「最小、かつ許容量子化誤差（スケールとも呼ぶ）ｄ以
下」である既存セントロイドを探し、存在すれば、現在
のデータはそのセントロイドに帰属(分類)させる。
【００２６】もしなければ、現在のデータを新たなセン
トロイドとして追加する。
トロイドとして追加する。
【００２７】このような処理手順をコンピュータにより
実行するために、予め決定しておくパラメータは許容量
子化誤差ｄである。今回は分割特徴量の全てを同一視し
て分散を算出し、その大きさを基準として許容量子化誤
差ｄを与えた。
実行するために、予め決定しておくパラメータは許容量
子化誤差ｄである。今回は分割特徴量の全てを同一視し
て分散を算出し、その大きさを基準として許容量子化誤
差ｄを与えた。
【００２８】以上の処理手順によるベクトル量子化をコ
ンピュータにおいて実行すると、セントロイド(代表ベ
クトル−各分類を代表する特徴量)がＣ(整数)個生成さ
れる。次にそれらの各セントロイドcj(j=1,2,....,C)に
属する文書付き部分画像（代表ベクトルに対して距離が
近い特徴量を有する分割画像、図１の分類１，２，３の
各々に属する分割画像）をコンピュータにより取り出
す。コンピュータはこの分割画像に付加された文書から
単語を取り出すと共に文書中に出現する単語の個数(出
現頻度)を計数する。次に、上記処理を繰り返して同一
の代表ベクトルに属する部分画像、すなわち、同一の分
類内に属する全ての部分画像について、単語の出現頻度
を累積する。
ンピュータにおいて実行すると、セントロイド(代表ベ
クトル−各分類を代表する特徴量)がＣ(整数)個生成さ
れる。次にそれらの各セントロイドcj(j=1,2,....,C)に
属する文書付き部分画像（代表ベクトルに対して距離が
近い特徴量を有する分割画像、図１の分類１，２，３の
各々に属する分割画像）をコンピュータにより取り出
す。コンピュータはこの分割画像に付加された文書から
単語を取り出すと共に文書中に出現する単語の個数(出
現頻度)を計数する。次に、上記処理を繰り返して同一
の代表ベクトルに属する部分画像、すなわち、同一の分
類内に属する全ての部分画像について、単語の出現頻度
を累積する。
【００２９】セントロイドcjの場合のi番目の単語wi(j=
1,2,...,W:Wは語彙数)の出現確率P(wi|cj)を以下のよう
にコンピュータにより推定する。
1,2,...,W:Wは語彙数)の出現確率P(wi|cj)を以下のよう
にコンピュータにより推定する。
【００３０】今、集計の結果、セントロイドcj中の単語
wiの数がmji,セントロイドcj中の全単語数が
wiの数がmji,セントロイドcj中の全単語数が
【００３１】
【数１】
【００３２】であったとする。また、全学習データにお
ける単語の出現総数をＮ（同じ単語を重複して数え
る），全画像における単語wiの出現頻度をniとすると出
現確率P(wi|cj)は以下のように計算される。
ける単語の出現総数をＮ（同じ単語を重複して数え
る），全画像における単語wiの出現頻度をniとすると出
現確率P(wi|cj)は以下のように計算される。
【００３３】
【数２】
【００３４】今回使用した推定手法では出現頻度によっ
て事前確率P(wi)の推定を行う最大事後確率基準を用い
ている。その他の基準としてはP(wi)をｗIによらずに一
定とした最大尤度基準を場合によっては使用することが
できる。このようにして各分類毎にその分類に属する部
分画像（分割画像）の文書情報の中から出現頻度の高い
ものから所定数、たとえば、３つの単語をコンピュータ
により取り出す。取り出した所定数の単語が、その分類
に属する画像群を表す単語となる。取り出した単語、部
分画像、特徴量、分類を表す情報をデータベースに登録
すると、そのデータベースが画像データベースとなる。
また、また、取り出された単語群をすべて単語テーブル
に登録し、各単語と分類の対応付けを行っておくと、単
語テーブルに記載された単語がインデックスとなって、
任意の単語を指定すると、その単語に対応する分類の部
分画像をデータベースから取り出すことが可能となる。
て事前確率P(wi)の推定を行う最大事後確率基準を用い
ている。その他の基準としてはP(wi)をｗIによらずに一
定とした最大尤度基準を場合によっては使用することが
できる。このようにして各分類毎にその分類に属する部
分画像（分割画像）の文書情報の中から出現頻度の高い
ものから所定数、たとえば、３つの単語をコンピュータ
により取り出す。取り出した所定数の単語が、その分類
に属する画像群を表す単語となる。取り出した単語、部
分画像、特徴量、分類を表す情報をデータベースに登録
すると、そのデータベースが画像データベースとなる。
また、また、取り出された単語群をすべて単語テーブル
に登録し、各単語と分類の対応付けを行っておくと、単
語テーブルに記載された単語がインデックスとなって、
任意の単語を指定すると、その単語に対応する分類の部
分画像をデータベースから取り出すことが可能となる。
【００３５】次に上記画像データベースに登録された部
分画像、特徴量、分類毎の抽出単語を使用して画像の内
容を判別する方法を説明する。
分画像、特徴量、分類毎の抽出単語を使用して画像の内
容を判別する方法を説明する。
【００３６】内容が未知の画像をコンピュータに与える
とコンピュータでは与えられた画像を分類時と同様のＳ
個の部分画像I1,I2,...ISに分割する。分割された画像
から、上述と同様の方法で特徴量が抽出される。各部分
画像Ikの特徴量、すなわち、特徴ベクトルに対して最短
距離のセントロイドcIkを見つけ帰属セントロイド（未
知の部分画像が属する分類の代表特徴）とする。
とコンピュータでは与えられた画像を分類時と同様のＳ
個の部分画像I1,I2,...ISに分割する。分割された画像
から、上述と同様の方法で特徴量が抽出される。各部分
画像Ikの特徴量、すなわち、特徴ベクトルに対して最短
距離のセントロイドcIkを見つけ帰属セントロイド（未
知の部分画像が属する分類の代表特徴）とする。
【００３７】検出された各帰属セントロイドが有する単
語出現頻度P(wi|cIk)を未知の部分画像全てについて合
成して単語尤度P(wi|I)とする。本実施形態では上記合
成は下記の和の演算で行う。
語出現頻度P(wi|cIk)を未知の部分画像全てについて合
成して単語尤度P(wi|I)とする。本実施形態では上記合
成は下記の和の演算で行う。
【００３８】
【数３】
【００３９】最後に得られた単語尤度P(wi|Ｉ)の値が高
いものから所定数だけ抽出すると、抽出された単語が、
未知の画像（分割された元の画像）の内容を表す単語と
なる。以上の処理はコンピュータにより実行される。
いものから所定数だけ抽出すると、抽出された単語が、
未知の画像（分割された元の画像）の内容を表す単語と
なる。以上の処理はコンピュータにより実行される。
【００４０】以上の処理を実行するコンピュータシステ
ム（画像処理装置）の概略構成を図２を参照して説明す
る。
ム（画像処理装置）の概略構成を図２を参照して説明す
る。
【００４１】図２において１０はパーソナルコンピュー
タなどの汎用コンピュータである。汎用コンピュータ１
０はＣＰＵ１１、システムメモリ１２、ハードディスク
記憶装置（ＨＤ）１３を有する。ＣＰＵ１１は後述の処
理プログラムを実行する。システムメモリ１２はＣＰＵ
１１が実行する処理プログラム、演算データ，ディスプ
レイ４０に表示するデータ、キーボード３０から入力さ
れたデータ等を一時記憶する。ハードディスク記憶装置
１３は上記処理プログラム、分類された文書付き画像デ
ータをデータベースの形態で記憶する。なお、汎用コン
ピュータ１１はマウスなどのポインティングデバイス
や、ＣＤＲＯＭ読み取り装置等をも有する。
タなどの汎用コンピュータである。汎用コンピュータ１
０はＣＰＵ１１、システムメモリ１２、ハードディスク
記憶装置（ＨＤ）１３を有する。ＣＰＵ１１は後述の処
理プログラムを実行する。システムメモリ１２はＣＰＵ
１１が実行する処理プログラム、演算データ，ディスプ
レイ４０に表示するデータ、キーボード３０から入力さ
れたデータ等を一時記憶する。ハードディスク記憶装置
１３は上記処理プログラム、分類された文書付き画像デ
ータをデータベースの形態で記憶する。なお、汎用コン
ピュータ１１はマウスなどのポインティングデバイス
や、ＣＤＲＯＭ読み取り装置等をも有する。
【００４２】後述の処理プログラムはＣＤＲＯＭ等の記
録媒体に記録しておきハードディスク記憶装置１３にイ
ンストールされる。処理プログラムを実行する場合に
は、従来と同様マウス等の起動指示に応じて、ハードデ
ィスク記憶装置１３上の処理プログラムがシステムメモ
リ１２にロードされ、ＣＰＵ１１により実行される。
録媒体に記録しておきハードディスク記憶装置１３にイ
ンストールされる。処理プログラムを実行する場合に
は、従来と同様マウス等の起動指示に応じて、ハードデ
ィスク記憶装置１３上の処理プログラムがシステムメモ
リ１２にロードされ、ＣＰＵ１１により実行される。
【００４３】キーボード３０はＣＰＵ１１に対して動作
指示を入力する。また、キーボード３０から画像に付加
する画像説明用の文書情報、すなわち、複数の単語や文
章が入力される。スキャナー２０はデータベースに登録
すべき画像を載置された原稿から読み取る。
指示を入力する。また、キーボード３０から画像に付加
する画像説明用の文書情報、すなわち、複数の単語や文
章が入力される。スキャナー２０はデータベースに登録
すべき画像を載置された原稿から読み取る。
【００４４】ディスプレイ４０はキーボード３０から入
力されたデータを表示する他、処理内容を案内するメニ
ュー画面、未知の画像の判別結果を表示する。
力されたデータを表示する他、処理内容を案内するメニ
ュー画面、未知の画像の判別結果を表示する。
【００４５】このようなシステム構成において、実行さ
れる画像分類処理および未知の画像の判別処理を図３〜
図５の処理プログラムを参照して説明する。起動の指示
に応じて図３のプログラムがＣＰＵ１１により実行され
る。図３において、ＣＰＵ１１はディスプレイ４０に処
理メニューを表示する（ステップＳ１０）。本実施形態
では画像の登録処理と未知の画像の判別処理が処理メニ
ューの中で選択可能である。ユーザはマウスあるいはキ
ーボード３０を使用してどちらかの処理の実行を指示す
る。
れる画像分類処理および未知の画像の判別処理を図３〜
図５の処理プログラムを参照して説明する。起動の指示
に応じて図３のプログラムがＣＰＵ１１により実行され
る。図３において、ＣＰＵ１１はディスプレイ４０に処
理メニューを表示する（ステップＳ１０）。本実施形態
では画像の登録処理と未知の画像の判別処理が処理メニ
ューの中で選択可能である。ユーザはマウスあるいはキ
ーボード３０を使用してどちらかの処理の実行を指示す
る。
【００４６】ユーザが画像の登録処理を選択した場合、
処理手順はステップＳ２０を経てステップＳ２５で画像
登録処理が実行される。
処理手順はステップＳ２０を経てステップＳ２５で画像
登録処理が実行される。
【００４７】ユーザが未知の画像の判別処理を選択した
場合には、処理手順はステップＳ２０→Ｓ３０→Ｓ３５
へと進み、このステップで未知の画像の判別処理が実行
される。
場合には、処理手順はステップＳ２０→Ｓ３０→Ｓ３５
へと進み、このステップで未知の画像の判別処理が実行
される。
【００４８】ユーザが終了を選択した場合、処理手順は
ステップＳ２０〜Ｓ４０へと進み、処理プログラムの実
行が終了する。
ステップＳ２０〜Ｓ４０へと進み、処理プログラムの実
行が終了する。
【００４９】ステップＳ２５の画像登録処理の詳細を図
４に示す。図４において、ＣＰＵ１１はスキャナー２０
により読み取られた原稿画像をシステムメモリ１２に記
憶した後、キーボード３０から入力される説明文をシス
テムメモリ１２に一時記憶する（ステップＳ１００）。
４に示す。図４において、ＣＰＵ１１はスキャナー２０
により読み取られた原稿画像をシステムメモリ１２に記
憶した後、キーボード３０から入力される説明文をシス
テムメモリ１２に一時記憶する（ステップＳ１００）。
【００５０】次に、ＣＰＵ１１はシステムメモリ１２上
の読み取り画像を所定の手順に従って分割する。分割さ
れた個々の画像から上述の方法で特徴量が抽出される。
抽出された特徴量と対応する分割画像、文書情報、およ
び全体画像が互いに関連付けられて、データベースに登
録される（ステップＳ１２０→Ｓ１３０）。
の読み取り画像を所定の手順に従って分割する。分割さ
れた個々の画像から上述の方法で特徴量が抽出される。
抽出された特徴量と対応する分割画像、文書情報、およ
び全体画像が互いに関連付けられて、データベースに登
録される（ステップＳ１２０→Ｓ１３０）。
【００５１】登録された特徴量を加えた全ての特徴量を
使用して、特徴が類似するもの同士に分類する。分類方
法は上述した方法を使用する（ステップＳ１４０）。な
お分類された特徴量同士は分類番号が与えられて文書情
報、分割画像元の全体画像の記憶アドレスなどと共にデ
ータベースに再登録される。また、分類毎の代表ベクト
ルも計算され、図６に示すようなテーブル形態でデータ
ベースに記憶される。なお、この時点では図６の単語部
分は空白である。
使用して、特徴が類似するもの同士に分類する。分類方
法は上述した方法を使用する（ステップＳ１４０）。な
お分類された特徴量同士は分類番号が与えられて文書情
報、分割画像元の全体画像の記憶アドレスなどと共にデ
ータベースに再登録される。また、分類毎の代表ベクト
ルも計算され、図６に示すようなテーブル形態でデータ
ベースに記憶される。なお、この時点では図６の単語部
分は空白である。
【００５２】次に、ＣＰＵ１１は入力され，データベー
スに登録されている文書情報の単語の出現頻度を分類毎
に計算する。文書中の単語については一般に知られてい
る文法解析により単語を文書の先頭から取り出す。取り
出された単語はシステムメモリ１２に記憶されるが、そ
の際に、これまでに記憶されている単語との重複の有無
が判定される。重複があった場合には、その単語の出現
頻度に数値１が加算される。重複が無い場合には、その
単語はシステムメモリ１２に記憶され、出現頻度の初期
値として数値１が与えられる。このようにして文書中の
単語を先頭から順次に取り出して、システムメモリ１２
中の単語と比較し、出現単語の計数と、新規単語のシス
テムメモリ１２上の登録を行っていく。このようにして
１つの文書情報の単語の出現頻度を計数して、各分類全
ての特徴についての文書情報の単語出現頻度を計算する
（ステップＳ１５０）。
スに登録されている文書情報の単語の出現頻度を分類毎
に計算する。文書中の単語については一般に知られてい
る文法解析により単語を文書の先頭から取り出す。取り
出された単語はシステムメモリ１２に記憶されるが、そ
の際に、これまでに記憶されている単語との重複の有無
が判定される。重複があった場合には、その単語の出現
頻度に数値１が加算される。重複が無い場合には、その
単語はシステムメモリ１２に記憶され、出現頻度の初期
値として数値１が与えられる。このようにして文書中の
単語を先頭から順次に取り出して、システムメモリ１２
中の単語と比較し、出現単語の計数と、新規単語のシス
テムメモリ１２上の登録を行っていく。このようにして
１つの文書情報の単語の出現頻度を計数して、各分類全
ての特徴についての文書情報の単語出現頻度を計算する
（ステップＳ１５０）。
【００５３】この実施形態では本発明を容易に理解でき
るよう、各分類において、出現頻度の高い単語を検出す
る。単語頻度の最も高い単語を検出するためにはソーテ
ィングと呼ばれる周知の並び替え処理を使用するとよ
い。分類毎に得られた単語が図６のテーブルに分類に対
応させて登録される（ステップＳ１６０）。
るよう、各分類において、出現頻度の高い単語を検出す
る。単語頻度の最も高い単語を検出するためにはソーテ
ィングと呼ばれる周知の並び替え処理を使用するとよ
い。分類毎に得られた単語が図６のテーブルに分類に対
応させて登録される（ステップＳ１６０）。
【００５４】最後にＣＰＵ１１は画像の登録処理が終了
したことをディスプレイ４０に表示して図４の処理手順
を終了する（ステップＳ１６０→リターン）。
したことをディスプレイ４０に表示して図４の処理手順
を終了する（ステップＳ１６０→リターン）。
【００５５】次に図３のステップＳ３５の未知画像の判
別処理（分析処理）について図５を参照して説明する。
ＣＰＵ１１はスキャナー２０を制御して未知の原稿画像
を読み取り、読み取った画像を画像分割する。続いて、
分割された画像の特徴量が抽出される（ステップＳ２０
０→Ｓ２１０）。
別処理（分析処理）について図５を参照して説明する。
ＣＰＵ１１はスキャナー２０を制御して未知の原稿画像
を読み取り、読み取った画像を画像分割する。続いて、
分割された画像の特徴量が抽出される（ステップＳ２０
０→Ｓ２１０）。
【００５６】抽出された特徴量，この場合特徴ベクトル
とデータベースに保存されている図６の代表ベクトルと
の距離計算により、距離が最も近い分類、すなわち、画
像の内容が最も類似する分類が検出される。この分類に
対応する単語が図６のテーブルから抽出される。
とデータベースに保存されている図６の代表ベクトルと
の距離計算により、距離が最も近い分類、すなわち、画
像の内容が最も類似する分類が検出される。この分類に
対応する単語が図６のテーブルから抽出される。
【００５７】この抽出された単語が代表ベクトルと比較
された特徴ベクトルの分割画像の内容を表す単語とし
て、ディスプレイ４０に表示される（ステップＳ２４
０）。
された特徴ベクトルの分割画像の内容を表す単語とし
て、ディスプレイ４０に表示される（ステップＳ２４
０）。
【００５８】以下、分割された全ての分割画像について
上述の処理を繰り返すと各分割画像の内容を表す単語が
抽出され、ディスプレイ４０に表示される（ステップＳ
２１０〜Ｓ２４０のループ処理）。
上述の処理を繰り返すと各分割画像の内容を表す単語が
抽出され、ディスプレイ４０に表示される（ステップＳ
２１０〜Ｓ２４０のループ処理）。
【００５９】なお、この処理例は最も簡単な判別処理で
あり、判別精度を高めたい場合には、コンピュータシス
テムの説明に先立って説明した未知画像の判別方法のよ
うに、代表ベクトル（セントロイド）に対して複数の上
位単語とその出現頻度の値を図６のテーブルに記憶し、
判別対象の分割画像の分類が検出される毎に、単語の出
現頻度の値を集計する。異なる分類に重複する単語があ
る場合には、その単語の出現頻度の値が合計され、単語
が重複しない場合には、その単語の出現頻度の値がその
まま合計値となる。
あり、判別精度を高めたい場合には、コンピュータシス
テムの説明に先立って説明した未知画像の判別方法のよ
うに、代表ベクトル（セントロイド）に対して複数の上
位単語とその出現頻度の値を図６のテーブルに記憶し、
判別対象の分割画像の分類が検出される毎に、単語の出
現頻度の値を集計する。異なる分類に重複する単語があ
る場合には、その単語の出現頻度の値が合計され、単語
が重複しない場合には、その単語の出現頻度の値がその
まま合計値となる。
【００６０】合計された出現頻度の値のたとえば、上位
３つの値に対応する単語を抽出すると、全体画像につい
て最も内容を良く表す単語を検出することができる。こ
のような処理は、たとえば、画像の分割に際して、被写
体の物体が２つに分割されてしまう場合でも精度よく、
未知の内容の画像を判別することができる。
３つの値に対応する単語を抽出すると、全体画像につい
て最も内容を良く表す単語を検出することができる。こ
のような処理は、たとえば、画像の分割に際して、被写
体の物体が２つに分割されてしまう場合でも精度よく、
未知の内容の画像を判別することができる。
【００６１】上述の実施形態の他に次の形態を実施でき
る。
る。
【００６２】１）上述の実施形態では、画像の特徴とし
て色と輝度を抽出しているが画像の内容に固有な特徴を
抽出するためにこれまでに知られている特徴抽出方法を
使用してもよい。
て色と輝度を抽出しているが画像の内容に固有な特徴を
抽出するためにこれまでに知られている特徴抽出方法を
使用してもよい。
【００６３】２）上述の実施形態では画像の特徴の分類
方法として量子化の手法を使用しているが、たとえば、
クラスタリングと呼ばれる手法（統計学辞典，東洋経済
新報社、１９８９，１２，４発行）を使用することがで
きる。
方法として量子化の手法を使用しているが、たとえば、
クラスタリングと呼ばれる手法（統計学辞典，東洋経済
新報社、１９８９，１２，４発行）を使用することがで
きる。
【００６４】３）上述の実施形態では１枚ごとに新規画
像を登録し、これまでに登録されている画像と新規登録
の画像とで、再分類を行う例を示したが、予め多数の画
像をまとめて登録して分類処理を行ってもよい。
像を登録し、これまでに登録されている画像と新規登録
の画像とで、再分類を行う例を示したが、予め多数の画
像をまとめて登録して分類処理を行ってもよい。
【００６５】４）上述の実施形態では画像の入力をスキ
ャナー４０から行ったが、ＣＤＲＯＭ等の記録媒体、通
信等により画像入力を行うことができる。また文書情報
についても、記録媒体，通信等により入力を行うことが
できる。
ャナー４０から行ったが、ＣＤＲＯＭ等の記録媒体、通
信等により画像入力を行うことができる。また文書情報
についても、記録媒体，通信等により入力を行うことが
できる。
【００６６】５）画像の意味内容を示す情報として文書
情報の他に識別番号などの記号列をも含めることができ
る。この場合１つの意味を示す記号列は単語として取り
扱う。また、複数組の記号列が画像の意味内容として与
えられる場合は、その複数組の記号列は文書と解すべき
である。
情報の他に識別番号などの記号列をも含めることができ
る。この場合１つの意味を示す記号列は単語として取り
扱う。また、複数組の記号列が画像の意味内容として与
えられる場合は、その複数組の記号列は文書と解すべき
である。
【００６７】６）上述の実施形態では画像を一定の個数
に分割したが、これに限ることはなく、周知の領域抽出
（識別）処理を使用して画像分割することができる。た
とえば、被写体の輪郭線の内と外に画像を分割してもよ
い。
に分割したが、これに限ることはなく、周知の領域抽出
（識別）処理を使用して画像分割することができる。た
とえば、被写体の輪郭線の内と外に画像を分割してもよ
い。
【００６８】７）分割した画像を登録する記憶装置はコ
ンピュータ内外の記憶装置とすることができる。
ンピュータ内外の記憶装置とすることができる。
【００６９】
【発明の効果】以上、説明したように、請求項１，３，
５の発明によれば、１枚の画像が分割されることにより
画像内の複数の物体に分割され、単体の物体を表す画像
となる確率が高くなる。これにより画像の容量を増やす
ことなく画像の種類内容を増やすことができる。
５の発明によれば、１枚の画像が分割されることにより
画像内の複数の物体に分割され、単体の物体を表す画像
となる確率が高くなる。これにより画像の容量を増やす
ことなく画像の種類内容を増やすことができる。
【００７０】また、同一分類内の内容が類似する画像同
士は、同一の意味内容を表す単語が文書中に含まれてい
ることから、文書の単語の出現頻度の高い単語を検出す
ることで各分類毎の単語を自動検出することができる。
士は、同一の意味内容を表す単語が文書中に含まれてい
ることから、文書の単語の出現頻度の高い単語を検出す
ることで各分類毎の単語を自動検出することができる。
【００７１】領域別に操作者が文書付（キーワード）に
しなくてもこの処理が自動的に行われるので操作労力が
低減される。
しなくてもこの処理が自動的に行われるので操作労力が
低減される。
【００７２】請求項２，４，６の発明によれば、未知の
画像も分割し、その分割画像の属する分類を画像特徴に
基づき調べることで、複数の物体が含まれる未知の画像
の内容を知ることができる。
画像も分割し、その分割画像の属する分類を画像特徴に
基づき調べることで、複数の物体が含まれる未知の画像
の内容を知ることができる。
【図１】本発明実施形態の文書付き画像分類方法を説明
するための説明図である。
するための説明図である。
【図２】本発明実施形態のコンピュータシステム（文書
付き画像分類装置）のシステム構成を示すブロック図で
ある。
付き画像分類装置）のシステム構成を示すブロック図で
ある。
【図３】ＣＰＵ１１の実行する処理手順を示すフローチ
ャートである。
ャートである。
【図４】ＣＰＵ１１の実行する処理手順を示すフローチ
ャートである。
ャートである。
【図５】ＣＰＵ１１の実行する処理手順を示すフローチ
ャートである。
ャートである。
【図６】分類、その分類を代表する特徴、単語の関係を
示す説明図である。
示す説明図である。
１０ 汎用コンピュータ
１１ ＣＰＵ
１２ システムメモリ
１３ ハードディスク記憶装置
２０ スキャナー
３０ キーボード
４０ ディスプレイ
フロントページの続き
(72)発明者 高橋 裕信
茨城県つくば市竹園１丁目６番１号 つ
くば三井ビル 技術研究組合新情報処理
開発機構 つくば研究センタ内
(56)参考文献 特開 平11−53372（ＪＰ，Ａ)
特開 平11−53370（ＪＰ，Ａ)
特開 平11−53511（ＪＰ，Ａ)
特開 平10−55366（ＪＰ，Ａ)
森靖英 外，知的作業支援のためのテ
キストデータベースに基づく画像理解,
人工知能学会研究会資料 第９回合同研
究会”ＡＩシンポジウム’98”，1998年
12月 ９日，ｐ．101−106
柴田滝也 外，街路の景観画像データ
ベースのイメージ語による検索，電子情
報通信学会論文誌（Ｊ82−Ｄ−Ｉ）,
1999年 １月25日，Ｖｏｌ．Ｊ82−Ｄ−
Ｉ，Ｎｏ．１，ｐ．174−183
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06F 17/30
G06T 1/00
Claims (6)
- 【請求項１】 文書付き画像をコンピュータにより分類
する文書付き画像の分類方法において、前記コンピュー
タは、第１の分割手段、付随手段、分類手段、計数手段
および抽出手段を有し、 ｍ個 の文書付き画像の各々をｎ個の分割画像に前記第１
の分割手段により分割し、１つの前記文書付き画像に 付加されている文書を当該分
割されたｎ個の分割画像それぞれに対して前記付随手段
により付随させ、前記ｍ個の文書付き画像から得られるｎ×ｍ個 の分割画
像をその画像特徴が類似する画像同士に前記分類手段に
より分類し、当該分類毎に該分類に属する １以上の前記分割画像に付
随した文書中の単語の出現頻度を前記計数手段により計
数し、 当該計数された出現頻度上位所定数に対応する単語を前
記分類の意味内容を示す単語として前記抽出手段により
抽出することを特徴とする文書付き画像の分類方法。 - 【請求項２】 請求項１に記載の文書付き画像の分類方
法において、前記分割画像、該分割画像の属する分類を
示す情報、該分類に対応の抽出単語は前記コンピュータ
内外の記憶装置に記憶され、前記コンピュータは入力手
段、第２の分割手段、検出手段および出力手段をさらに
有し、 内容が未知の未知画像を前記入力手段から前記コンピュ
ータに入力し、当 該入力された未知画像を前記第２の分割手段により分
割し、 当該分割された未知分割画像と最も特徴が類似する分類
を前記検出手段により検出し、当該検出された分類に対
応する単語を使用して前記入力された未知画像の意味内
容を前記出力手段から出力することを特徴とする文書付
き画像の分類方法。 - 【請求項３】 文書付き画像を分類する文書付き画像の
分類装置において、ｍ個 の文書付き画像の各々をｎ個の分割画像に分割する
手段と、１つの前記文書付き画像に 付加されている文書を当該分
割されたｎ個の分割画像に対してそれぞれ付随させる手
段と、前記ｍ個の文書付き画像から得られるｎ×ｍ個 の分割画
像をその画像特徴が類似する画像同士に分類する手段
と、当該分類毎に該分類に属する １以上の画像に付随した文
書中の単語の出現頻度を計数する手段と、 当該計数された出現頻度の上位所定数に対応する単語を
分類の意味内容を示す単語として抽出する手段とを具え
たことを特徴とする文書付き画像の分類装置。 - 【請求項４】 請求項３に記載の文書付き画像の分類装
置において、前記分割画像、該分割画像の属する分類を
示す情報、該分類に対応の抽出単語を記憶する記憶手段
と、 内容が未知の未知画像を入力する手段と、 当該入力された未知画像を分割する手段と、 当該分割された未知分割画像と最も特徴が類似する分類
を検出する手段と、 当該検出された分類に対応する単語を使用して前記入力
された未知画像の意味内容を出力する手段とをさらに具
えたことを特徴とする文書付き画像の分類装置。 - 【請求項５】 文書付き画像をコンピュータにより分類
するためのプログラムを記録した記録媒体において、前
記コンピュータは、第１の分割手段、付随手段、分類手
段、計数手段および抽出手段を有し、前記プログラム
は、ｍ個の 文書付き画像の各々をｎ個の分割画像に前記第１
の分割手段により分割するステップと、１つの前記文書付き画像に 付加されている文書を当該分
割されたｎ個の分割画像に対してそれぞれ前記付随手段
により付随させるステップと、前記ｍ個の文書付き画像から得られるｎ×ｍ個 の分割画
像をその画像特徴が類似する画像同士に前記分類手段に
より分類するステップと、当該分類毎に該分類に属する １以上の前記分割画像に付
随した文書中の単語の出現頻度を前記計数手段により計
数するステップと、 当該計数された出現頻度の上位所定数に対応する単語を
分類の意味内容を示す単語として前記抽出手段により抽
出するステップとを具えたことを特徴とする記録媒体。 - 【請求項６】 請求項５に記載の記録媒体において、前
記コンピュータは入力手段、第２の分類手段、検出手段
および出力手段をさらに有し、前記プログラムは、前記
分割画像、該分割画像の属する分類を示す情報、該分類
に対応の抽出単語を前記コンピュータ内外の記憶装置に
記憶するステップと、 内容が未知の未知画像を前記入力手段から入力するステ
ップと、 当該入力された未知画像を前記第２の分割手段により分
割するステップと、 当該分割された未知分割画像と最も特徴が類似する分類
を前記検出手段により検出するステップと、 当該検出された分類に対応する単語を使用して前記入力
された未知画像の意味内容を前記出力手段から出力する
ステップとをさらに具えたことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16588599A JP3529036B2 (ja) | 1999-06-11 | 1999-06-11 | 文書付き画像の分類方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16588599A JP3529036B2 (ja) | 1999-06-11 | 1999-06-11 | 文書付き画像の分類方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000353173A JP2000353173A (ja) | 2000-12-19 |
| JP3529036B2 true JP3529036B2 (ja) | 2004-05-24 |
Family
ID=15820836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16588599A Expired - Lifetime JP3529036B2 (ja) | 1999-06-11 | 1999-06-11 | 文書付き画像の分類方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3529036B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102376079A (zh) * | 2010-08-12 | 2012-03-14 | 富士施乐株式会社 | 图像识别信息添加装置和图像识别信息添加方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5565190B2 (ja) * | 2010-08-11 | 2014-08-06 | 富士ゼロックス株式会社 | 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置 |
| CN105653701B (zh) * | 2015-12-31 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 模型生成方法及装置、词语赋权方法及装置 |
| KR102103518B1 (ko) * | 2018-09-18 | 2020-04-22 | 이승일 | 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템 |
| JP6792751B2 (ja) * | 2019-03-05 | 2020-12-02 | 株式会社医療情報技術研究所 | 分類システム |
| JP6902764B1 (ja) * | 2020-12-15 | 2021-07-14 | ソプラ株式会社 | メタデータ抽出プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1055366A (ja) * | 1996-08-08 | 1998-02-24 | Masao Sakauchi | 画像データベース装置 |
| JPH1153370A (ja) * | 1997-07-31 | 1999-02-26 | Canon Inc | 画像処理装置及びその方法、記憶媒体 |
| JPH1153372A (ja) * | 1997-07-31 | 1999-02-26 | Canon Inc | 画像処理装置及びその方法、記憶媒体 |
| JPH1153511A (ja) * | 1997-07-31 | 1999-02-26 | Canon Inc | 画像処理装置および方法および記憶媒体 |
-
1999
- 1999-06-11 JP JP16588599A patent/JP3529036B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| 柴田滝也 外，街路の景観画像データベースのイメージ語による検索，電子情報通信学会論文誌（Ｊ８２−Ｄ−Ｉ），１９９９年 １月２５日，Ｖｏｌ．Ｊ８２−Ｄ−Ｉ，Ｎｏ．１，ｐ．１７４−１８３ |
| 森靖英 外，知的作業支援のためのテキストデータベースに基づく画像理解，人工知能学会研究会資料 第９回合同研究会"ＡＩシンポジウム’９８"，１９９８年１２月 ９日，ｐ．１０１−１０６ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102376079A (zh) * | 2010-08-12 | 2012-03-14 | 富士施乐株式会社 | 图像识别信息添加装置和图像识别信息添加方法 |
| CN102376079B (zh) * | 2010-08-12 | 2015-04-15 | 富士施乐株式会社 | 图像识别信息添加装置和图像识别信息添加方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000353173A (ja) | 2000-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5050075B2 (ja) | 画像判別方法 | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| JP4859025B2 (ja) | 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体 | |
| JP4781924B2 (ja) | 文書画像のコンテント適応スケーリング用ホワイトスペースグラフ及びツリー | |
| US8315465B1 (en) | Effective feature classification in images | |
| US8005300B2 (en) | Image search system, image search method, and storage medium | |
| US7120318B2 (en) | Automatic document reading system for technical drawings | |
| US6907141B1 (en) | Image data sorting device and image data sorting method | |
| US8326029B1 (en) | Background color driven content retrieval | |
| US8300942B2 (en) | Area extraction program, character recognition program, and character recognition device | |
| US20050134935A1 (en) | Automatic document separation | |
| US7545980B2 (en) | Method of and apparatus for classifying an image | |
| US20090110300A1 (en) | Apparatus and method for processing image | |
| JP6188976B2 (ja) | 画像に含まれるテキストを検出する方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| WO2006075902A1 (en) | Method and apparatus for category-based clustering using photographic region templates of digital photo | |
| CN113420669B (zh) | 基于多尺度训练和级联检测的文档版面分析方法和系统 | |
| US7277584B2 (en) | Form recognition system, form recognition method, program and storage medium | |
| WO2000052645A1 (fr) | Dispositif de traitement d'image document, procede d'extraction de titre de document et procede d'information d'etiquetage de document | |
| CN105260428A (zh) | 图片处理方法和装置 | |
| CN109213886B (zh) | 基于图像分割和模糊模式识别的图像检索方法及系统 | |
| JP2008225692A (ja) | 画像検索方法、装置およびプログラム | |
| CN115203408A (zh) | 一种多模态试验数据智能标注方法 | |
| KR101093107B1 (ko) | 영상정보 분류방법 및 장치 | |
| JP3529036B2 (ja) | 文書付き画像の分類方法 | |
| CN114117038A (zh) | 一种文档分类方法、装置、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3529036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |