JP5580502B1 - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

Abstract

一実施形態に係る画像処理システムは、特徴量算出部、分類部、スコア算出部、および出力部を備える。特徴量算出部は、複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する。複数の原サンプル画像は、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む。分類部は、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する。各候補領域にはアノテーションが付加されている。スコア算出部は、文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出する。出力部は、各カテゴリのスコアをカテゴリ情報として出力する。

Description

本発明の一側面は、画像処理システム、画像処理方法、および画像処理プログラムに関する。

従来から、文字領域を画像内から抽出する技術が知られている。例えば、下記非特許文献１には、同じ色の領域で且つ連結された領域を、文字領域として抽出する技術がある。また、同じ色が連結された領域について、外接矩形のアスペクト比ｆ１とその外接矩形の面積に対する同色領域の面積の比ｆ２とを求め、予め定めた範囲のｆ１およびｆ２を有する矩形領域を文字領域と判定する方法もある。さらに、そのような性質を有する複数の矩形領域が連続して線状に並んでいたら、それらの矩形領域を文字領域と判定する方法（ライン判定）もある。

Y.Zhong, K. Karu, and A. K. Jain. "Locating text in complex colorimages," Pattern recognition, vol. 28, no. 10, pp.1523-1535, 1995.

しかし、上記の方法ではいずれも、実際には文字領域ではない部分を文字領域として検出したり、実際には文字領域であるのに文字領域として検出しなかったりする場合があり、検出の正確性が必ずしも高いとは言えなかった。例えば、二つの比ｆ１，ｆ２が所定範囲内にある矩形領域を文字領域として検出する方法では、これらの比が所定範囲内にある矩形領域でも実際にはその中に文字が存在しない場合があった。そのため、画像中の文字領域をより正確に検出することが望まれている。

本発明の一側面に係る画像処理システムは、複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部であって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字有り画像および文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類部と、文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部とを備える。

本発明の一側面に係る画像処理方法は、コンピュータが実行する画像処理方法であって、複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出ステップであって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出ステップと、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類ステップであって、各候補領域には、該候補領域が文字有り画像および文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類ステップと、文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出ステップと、各カテゴリのスコアをカテゴリ情報として出力する出力ステップとを含む。

本発明の一側面に係る画像処理プログラムは、コンピュータを、複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部であって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字有り画像および文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類部と、文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部として機能させる。

本発明の一側面に係るコンピュータ読取可能な記録媒体は、コンピュータを、複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部であって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字有り画像および文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類部と、文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部として機能させるための画像処理プログラムを記憶する。

このような側面では、特徴量に基づいて分類された複数のカテゴリのそれぞれについて、文字有り画像から検出された候補領域の出現頻度がスコアとして算出され出力される。これにより各カテゴリにおける文字の出現の蓋然性が得られるので、この詳細な結果を用いれば、画像中の文字領域をより正確に検出することができる。

本発明の一側面に係る画像処理システムは、少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類部と、文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部とを備える。

本発明の一側面に係る画像処理方法は、コンピュータが実行する画像処理方法であって、少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出ステップと、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類ステップであって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類ステップと、文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出ステップと、各カテゴリのスコアをカテゴリ情報として出力する出力ステップとを含む。

本発明の一側面に係る画像処理プログラムは、コンピュータを、少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類部と、文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部として機能させる。

本発明の一側面に係るコンピュータ読取可能な記録媒体は、コンピュータを、少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部と、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類部と、文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、各カテゴリのスコアをカテゴリ情報として出力する出力部として機能させるための画像処理プログラムを記憶する。

このような側面では、特徴量に基づいて分類された複数のカテゴリのそれぞれについて、文字領域と指定された候補領域の出現頻度がスコアとして算出され出力される。これにより各カテゴリにおける文字の出現の蓋然性が得られるので、この詳細な結果を用いれば、画像中の文字領域をより正確に検出することができる。

別の側面に係る画像処理システムでは、スコア算出部が、一つのカテゴリにおける、文字有り画像から抽出された候補領域の個数の割合をスコアとして算出してもよい。

別の側面に係る画像処理システムでは、分類部が、文字有り画像から抽出された候補領域と文字無し画像から抽出された候補領域とを含むカテゴリに含まれる候補領域をさらに複数のカテゴリに再分類し、スコア算出部が、再分類により生成された複数のカテゴリのそれぞれについて、文字有り画像から抽出された候補領域の個数の割合をスコアとして算出してもよい。

別の側面に係る画像処理システムでは、アノテーションが原サンプル画像毎に付加されており、特徴量算出部が、候補領域の抽出元である原サンプル画像に付加されているアノテーションを該候補領域に付加してもよい。

別の側面に係る画像処理システムでは、スコア算出部が、一つのカテゴリにおける、文字領域であることを示すアノテーションが付加された候補領域の個数の割合をスコアとして算出してもよい。

別の側面に係る画像処理システムでは、分類部が、文字領域であることを示すアノテーションが付加された候補領域と文字領域であることを示すアノテーションが付加されていない候補領域とを含むカテゴリに含まれる候補領域をさらに複数のカテゴリに再分類し、スコア算出部が、再分類により生成された複数のカテゴリのそれぞれについて、文字領域であることを示すアノテーションが付加された候補領域の個数の割合をスコアとして算出してもよい。

別の側面に係る画像処理システムでは、分類部が、特徴量に基づいて複数のカテゴリ中心を設定し、候補領域の特徴量およびカテゴリ中心の間の距離が最も小さいカテゴリに該候補領域を関連付けてもよい。

別の側面に係る画像処理システムでは、特徴量が、候補領域のアスペクト比と、文字領域として判定された部分の面積比とであってもよい。

別の側面に係る画像処理システムでは、各原サンプル画像には被写体のジャンルまたは該原サンプル画像の提供元を示す付加属性が関連付けられており、特徴量算出部、分類部、およびスコア算出部が、複数の原サンプル画像を付加属性毎にグループ化してグループ毎に処理を実行し、出力部が各グループのカテゴリ情報を出力してもよい。

別の側面に係る画像処理システムでは、カテゴリ情報に基づいて、処理対象である原対象画像が文字領域を含むか否かを判定する判定部をさらに備えてもよい。

別の側面に係る画像処理システムでは、判定部が、処理対象を含む原対象画像から抽出した複数の候補領域のそれぞれについて特徴量を算出し、各候補領域が属するカテゴリを特定し、複数の候補領域に対応する複数のスコアのうち最も高いスコアに基づいて、原対象画像が文字領域を含むか否かを判定してもよい。

別の側面に係る画像処理システムでは、カテゴリ情報に基づいて、処理対象の画像から文字領域の候補として抽出された候補領域が文字領域か否かを判定する判定部をさらに備えてもよい。

別の側面に係る画像処理システムでは、判定部が、処理対象を含む原対象画像から抽出した複数の候補領域のそれぞれについて特徴量を算出し、各候補領域が属するカテゴリを特定し、各候補領域について、候補領域に対応するスコアに基づき、該候補領域が文字領域であるか否かを判定してもよい。

別の側面に係る画像処理システムでは、付加属性を有する処理対象が文字領域を含むか否かを、該付加属性に対応するカテゴリ情報に基づいて判定する判定部をさらに備えてもよい。

本発明の一側面によれば、画像中の文字領域をより正確に検出することができる。

実施形態に係る画像処理システムの概念を示す図である。 抽出された候補領域の例を示す図である。 実施形態に係る画像処理システム（各装置）のハードウェア構成を示す図である。 実施形態に係る画像処理システムの機能構成を示すブロック図である。 候補領域の特徴量を説明するための図である。 候補領域の分類（クラスタリング）の概念を示す図である。 カテゴリ情報の例を示す図である。 実施形態に係る画像処理システム（学習装置）の動作を示すフローチャートである。 実施形態に係る画像処理システム（検出装置）の動作を示すフローチャートである。 実施形態に係る画像処理プログラムの構成を示す図である。 従来技術における候補領域の分類の概念を示す図である。 実施例および比較例での実験結果を示すグラフである。 変形例に係る画像処理システム（学習装置）の動作を示すフローチャートである。 変形例に係る画像処理システム（検出装置）の動作を示すフローチャートである。 変形例に係るカテゴリ情報の例を示す図である。 変形例における候補領域の分類の例を示す図である。 図１６に示すカテゴリの一つを細分化した例を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１〜７を用いて、実施形態に係る画像処理システム１の機能及び構成を説明する。画像処理システム１は、画像中に文字が描画されているか否かを判定するためのコンピュータ・システムである。例えば、この画像処理システム１は、多数の種類の商品を取り扱う仮想商店街で用いられている大量の商品画像の判定に適用することができる。なお、本明細書における「文字」は、任意の形状のマークなども含む概念である。

一般に、仮想商店街で用いられる商品画像の中には、商品そのもののみが写っている画像（商品写真）Ｐａと、商品写真に文字が重畳された画像Ｐｂとの双方が存在する（図１参照）。商品写真内に描画される文字の例としては、「送料無料」などの宣伝文句や、価格、店名などが挙げられる。文字は、画像編集ソフトにより挿入されていてもよいし、主たる被写体とともに撮影されていてもよい。

仮想商店街の管理者としては、文字が描画または撮影されている画像（本明細書では「文字有り画像（ｔｅｘｔ ｉｍａｇｅ）」という）を排除して、文字が描画も撮影もされていない画像（本明細書では「文字無し画像（ｎｏｎ−ｔｅｘｔ ｉｍａｇｅ）」という）だけを使いたい場合がある。例えば、管理者は、一つの商品についての各仮想店舗での販売価格をＷｅｂページ上で見せたい場合に、その商品の代表画像として、文字無し画像（例えば、商品そのもののみを写した画像）を使いたい場合がある。

このような要求に応えるため、画像処理システム１は、図１に示すように、文字無し画像と文字有り画像とを自動的に選別する。この自動選別は、学習処理と検出処理という二種類の処理により実現される。その処理のために、画像処理システム１は学習装置１０、検出装置２０、およびカテゴリ・データベース３０を備えている。まずは、これら二つの処理の概要を説明する。

第１フェーズは学習処理である。この処理では、その画像が文字有り画像か文字無し画像かを示すアノテーションが人手により付加された複数の原サンプル画像を入力データとして用いる。学習装置１０は、各原サンプル画像に対してカラー処理（ｃｏｌｏｒ ｐｒｏｃｅｓｓｉｎｇ）を施すことでその原サンプル画像から候補領域（ｃａｎｄｉｄａｔｅ ｒｅｇｉｏｎ）を抽出する。候補領域とは、文字が描画または撮影されていると推定された、原サンプル画像の一部分である。例として、図２に候補領域Ｒａ〜Ｒｍを示す。この例における候補領域Ｒｅ，Ｒｆのように、実際には文字ではない部分も候補領域として抽出され得る。続いて、学習装置１０は各候補領域の特徴量に基づいて複数の候補領域を複数のカテゴリに分類する。そして、学習装置１０は各カテゴリのスコアや判定用の閾値などを求め、これらの算出結果をカテゴリ情報としてカテゴリ・データベース３０に格納する。

第２フェーズは検出処理である。この検出処理の対象となるデータ（処理対象）は、画像の全体または一部である。検出装置２０は、学習処理と同様のカラー処理を実行して候補領域を抽出し、各候補領域をいずれかのカテゴリに対応させてスコアを設定する。続いて、検出装置２０は学習処理で得られた閾値と候補領域のスコアとを比較することで、処理対象が文字を含むか否かを判定する。なお、本明細書では、「画像の全体または一部が文字を含む」とは、画像の全体または一部に文字が描画または撮影されている場合のことをいう。

図３に、学習装置１０および検出装置２０のハードウェア構成を示す。学習装置１０および検出装置２０はいずれも、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイなどの出力装置１０６とを備えている。

後述する学習装置１０および検出装置２０の各機能的構成要素はいずれも、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。

なお、学習装置１０および検出装置２０はそれぞれ、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。

次に、これら二種類の装置の機能構成を示しつつ、学習処理および検出処理について詳細に説明する。

まず、学習装置１０について説明する。図４に示すように、学習装置１０は機能的構成要素として第１候補抽出部（特徴量算出部）１１、分類部１２、スコア算出部１３、および出力部１４を備えている。

第１候補抽出部１１は、複数の原サンプル画像から複数の候補領域を抽出し、各候補領域について特徴量を算出する機能要素である。原サンプル画像とは、学習処理のために収集された商品画像データである。原サンプル画像群は１以上の文字有り画像と１以上の文字無し画像とから成る。原サンプル画像には、その画像が文字有り画像か文字無し画像かを示すアノテーションが人手により関連付けられている。アノテーションの付与は、画像処理システム１に対して予め正解を与えておく作業であるともいえる。

第１候補抽出部１１は一つの原サンプル画像に対して下記の処理を実行する。

まず、第１候補抽出部１１は一つの原サンプル画像に対してカラー処理を実行することで、その原サンプル画像から候補領域を抽出する。本実施形態において、各候補領域の形状は、文字であると推定された領域を囲む外接四角形（外接長方形または外接正方形）である。

カラー処理の具体的な手法は限定されない。例えば、第１候補抽出部１１は領域ベースの手法（ｒｅｇｉｏｎ−ｂａｓｅｄ ａｐｐｒｏａｃｈ）の一つであるカラー・クラスタリング（ｃｏｌｏｒ ｃｌｕｓｔｅｒｉｎｇ）を用いて候補領域を抽出してもよい。この手法では、第１候補抽出部１１はクラスタリングのためにｋ−平均法（ｋ−ｍｅａｎｓ ｍｅｔｈｏｄ）を用いてカラー数を削減し、そのクラスタリングの後に各カラー・クラスタ（ｃｏｌｏｒ ｃｌｕｓｔｅｒ）に対してトポロジ解析に基づく領域分割を行う。言い換えれば、第１候補抽出部１１は色がほぼ同じであり且つ連続している領域を候補領域として抽出する。

第１候補抽出部１１は、色がほぼ同じであり且つ連続している領域に外接する外接四角形について、後述するアスペクト比ｆ１及び面積比（領域比）ｆ２を求め、アスペクト比ｆ１及び面積比ｆ２が予め定めた範囲内の上記領域を候補領域としてもよい。この場合、アスペクト比ｆ１及び面積比ｆ２が予め定めた範囲は、文字領域としておよそ有り得ない特徴量を持つ領域を除外するように設定される。

領域ベースを用いた場合の候補領域の誤検出を抑制するために、第１候補抽出部１１は濃淡勾配の方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ（ＨＯＧ））を用いてもよい。ＨＯＧは、文字幅を構成する一組の境界画素（ｅｄｇｅ ｐｉｘｅｌｓ）に関して双方のエッジの傾きは同じあるが各エッジの向きは互いに逆である、という性質に着目した手法である。

あるいは、第１候補抽出部１１は分類ベースの手法（ｃｌａｓｓｉｆｉｅｒ−ｂａｓｅｄ ａｐｐｒｏａｃｈ）、例えばサポート・ベクトル・マシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ））を用いて候補領域を抽出してもよい。あるいは、第１候補抽出部１１は領域ベースの手法を用いた後に分類ベースの手法で後処理を実行することで候補領域を抽出してもよい。

候補領域を検出すると、第１候補抽出部１１は各候補領域について二つの特徴量を求める。一つは外接四角形のアスペクト比ｆ１である。もう一つは、外接四角形の面積（外接四角形の全画素数）に対する、文字領域（ｔｅｘｔ ｒｅｇｉｏｎ）であると判定された部分の面積（文字領域の画素数）の比（面積比）ｆ２であり、本明細書ではこれを「領域比（ａｒｅａ ｒａｔｉｏ）」ともいう。図５の例では、アスペクト比は外接四角形Ｒａの高さｈおよび幅ｗから得られる。また、領域比は外接四角形Ｒａの面積（画素数）と、文字の部分（網掛け部分）Ｑの面積（画素数）とから得られる。

第１候補抽出部１１は、候補領域の抽出と各候補領域の二つの特徴量ｆ１，ｆ２の算出とを、すべての原サンプル画像について実行する。そして、第１候補抽出部１１は各候補領域についての情報を分類部１２に出力する。一つの候補領域についての情報は、その候補領域を一意に特定する領域ＩＤと、その候補領域が抽出された原サンプル画像のアノテーションと、アスペクト比ｆ１と、領域比ｆ２とを含んでいる。したがって、各候補領域の情報を参照すれば、その候補領域が文字有り画像および文字無し画像のどちらから抽出されたかを知ることができる。

分類部１２は、特徴量に基づいて複数の候補領域を複数のカテゴリに分類する機能要素である。この処理は領域クラスタリング（ｒｅｇｉｏｎ ｃｌｕｓｔｅｒｉｎｇ）ともいうことができる。

アスペクト比ｆ１と領域比ｆ２との間では値の範囲または尺度が異なるので、分類部１２はまずこれら２種類の特徴量のそれぞれを正規化する。正規化の方法は限定されないが、本実施形態では、分類部１２は特徴量の共分散行列を用いて正規化を行う。分類部１２は、特徴量を列とし、抽出されたデータの個数（すなわち、候補領域の個数）を行数とする行列（列ベクトル）Ｘからその共分散行列Σ求める。そして、分類部１２はその共分散行列Σを用いて各候補領域の特徴量を下記式（１）により正規化する。その式（１）における行列Ｘ^＊が、正規化された行列である。分類部１２はアスペクト比ｆ１および領域比ｆ２のそれぞれについてこの正規化を実行する。

続いて、分類部１２はｋ−平均法を用いて、二つの正規化された特徴量ｆ１，ｆ２に基づき複数の候補領域を複数のカテゴリに分類する。一般に、理想のカテゴリ数は未知であるので、分類部１２はカテゴリ数を徐々に増やしながらクラスタリングを繰り返し、誤差の減少量が所定値未満になるかまたは誤差が増大した時点でカテゴリ数の増加を止める。カテゴリ数の初期値は例えば２である。

このような分類部１２の処理の概念を図６を用いて説明する。図６は、二つの特徴量ｆ１，ｆ２を座標軸とする二次元座標上に各候補領域をプロットしたグラフである。黒丸は文字有り画像から抽出された候補領域を示し、白丸は文字無し画像から抽出された候補領域を示している。グラフ上の領域Ｃ１〜Ｃ５はカテゴリを示している。このグラフでは、分類部１２が複数の候補領域を５個のカテゴリＣ１〜Ｃ５に分けたことを示している。分類部１２は、設定した各カテゴリのカテゴリ中心（各領域の中心に相当し、図６では「×」で示されている）と一つの候補領域との間のマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ ｄｉｓｔａｎｃｅ）を求め、その距離が最小となるカテゴリにその候補領域を所属させる。

なお、二次元座標上におけるカテゴリの形状は円に限定されない。一つのカテゴリが網羅する範囲は様々であるから、二次元座標上におけるカテゴリは円以外の図形で表現され得る。

分類部１２は領域クラスタリングを終えると、候補領域と所属カテゴリとの関連付けを実行し、カテゴリが関連付けられた各候補領域の情報をスコア算出部１３に出力する。また、分類部１２は各カテゴリのカテゴリ中心のデータ（図６における各円の中心に相当する特徴量ｆ１，ｆ２）もスコア算出部１３に出力する。カテゴリ中心は、そのカテゴリの代表特徴量であるともいえる。

スコア算出部１３は、文字有り画像から抽出された候補領域の出現頻度を示すスコアを各カテゴリについて算出する機能要素である。このスコアは、カテゴリに属する候補領域が文字を含む蓋然性を示す指標であるともいえる。

スコア算出部１３は下記式（２）を用いて各カテゴリのスコアを算出する。スコアＰ（Ｃｎ）は、ｎ番目のカテゴリＣｎのスコアを表している。
Ｐ（Ｃｎ）＝ｔ／ａ …（２）

変数ｔは、カテゴリＣｎに属する候補領域のうち文字有り画像から抽出されたものの個数である。変数ａはカテゴリＣｎに属する候補領域の総数、すなわち、文字有り画像から抽出された候補領域の個数と文字無し画像から抽出された候補領域の個数との和である。したがって、スコアＰ（Ｃｎ）は、カテゴリＣｎに属する候補領域の総数に対する、文字有り画像から抽出された候補領域の個数の割合である。すなわち、本実施形態では出現頻度を割合で示している。

図６に示されているカテゴリＣ１〜Ｃ５のスコアは、以下の通りである。
Ｃ１＝３／４＝０．７５
Ｃ２＝１／３≒０．３３
Ｃ３＝１／４＝０．２５
Ｃ４＝３／４＝０．７５
Ｃ５＝３／５＝０．６０

さらに、スコア算出部１３は、文字有り画像に属する候補領域が現われる頻度の平均（平均出現頻度）Ｐ（Ｔ）を下記式（３）により求める。
Ｐ（Ｔ）＝ｔ_ａ／Ｎ

変数ｔ_ａは、すべての文字有り画像から抽出した候補領域の総数であり、Ｎはすべての原サンプル画像（すべての文字有り画像および文字無し画像）から抽出した候補領域の総数である。

図６の例では、Ｐ（Ｔ）＝（３＋１＋１＋３＋３）／（４＋３＋４＋４＋５）＝１１／２０＝０．５５である。

スコア算出部１３は、各カテゴリＣｎのスコアＰ（Ｃｎ）と平均出現頻度Ｐ（Ｔ）とを出力部１４に出力する。

出力部１４は、カテゴリ情報をカテゴリ・データベース３０に格納する機能要素である。このカテゴリ情報は検出装置２０により用いられる。具体的には、出力部１４は下記４種類のデータをカテゴリ情報としてカテゴリ・データベース３０に格納する。

・カテゴリの個数
・各カテゴリのカテゴリ中心（アスペクト比および領域比のそれぞれについての代表特徴量）
・各カテゴリのスコアＰ（Ｃｎ）
・平均出現頻度Ｐ（Ｔ）

カテゴリ情報の例を図７に示す。この例では、カテゴリの個数が２０である。そして、２０個のカテゴリのそれぞれについて、カテゴリを一意に特定するカテゴリＩＤ、カテゴリ中心、およびスコアが互いに関連付けられている。また、平均出現頻度も記録されている。

なお、カテゴリ・データベース３０の論理構造および物理構造は限定されない。例えば、カテゴリ・データベース３０はデータ・ファイルとして存在してもよいし、関係データベースとして存在してもよい。

次に、検出装置２０について説明する。図４に示すように、検出装置２０は機能的構成要素として第２候補抽出部２１、スコア設定部２２、および判定部２３を備えている。本願出願時点における請求の範囲ではこれらの機能要素をまとめて「判定部」と表現している。

第２候補抽出部２１は、一つの原対象画像を受け付け、この原対象画像から候補領域を抽出し、各候補領域について特徴量を算出する機能要素である。原対象画像とは、検出処理の対象物として収集された商品画像データであって、アノテーションを持たない画像である。第２候補抽出部２１は、学習装置１０における第１候補抽出部１１と同じ手法を用いて、候補領域の抽出と各候補領域の特徴量（アスペクト比ｆ１および領域比ｆ２）の算出とを実行する。そして、第２候補抽出部２１は抽出した各候補領域の情報をスコア設定部２２に出力する。

スコア設定部２２は、入力された候補領域にスコアを設定する機能要素である。スコア設定部２２は、学習装置１０の分類部１２と同様の手法で各候補領域の特徴量ｆ１，ｆ２を正規化した後に、各候補領域について下記の処理を実行する。

スコア設定部２２は、一つの候補領域の特徴量ｆ１，ｆ２と、カテゴリ・データベース３０から読み出した各カテゴリのカテゴリ中心とに基づいて、候補領域との間のマハラノビス距離が最も小さいカテゴリを選択する。そして、スコア設定部２２は選択されたカテゴリのスコアＰ（Ｃｎ）をその候補領域に設定する。ここでマハラノビス距離を計算する際には、スコア設定部２２は学習過程で用いた共分散行列Σの平方根を用いて特徴量ｆ１，ｆ２を正規化する。学習装置１０は学習過程で算出した共分散行列Σの平方根をデータベースに記憶している。

図６の二次元座標を例に説明する。例えば、ある候補領域についてカテゴリＣ３が選択された場合にはその候補領域には０．２５が設定され、カテゴリＣ４が選択された場合にはその候補領域には０．７５が設定される。

各候補領域についてスコアを設定すると、スコア設定部２２はその情報を判定部２３に出力する。

判定部２３は、処理対象が文字有り画像か文字無し画像かを判定する機能要素である。本実施形態では、処理対象は原対象画像そのものである。まず、判定部２３は平均出現頻度Ｐ（Ｔ）をカテゴリ・データベース３０から読み出す。続いて、判定部２３は各候補領域のスコアの中の最大値とその平均出現頻度とを比較する。その最大スコアが平均出現頻度以上であれば、判定部２３は処理対象が文字有り画像であると判定する。一方、その最大スコアが平均出現頻度未満であれば、判定部２３は処理対象が文字無し画像であると判定する。

図７に示すカテゴリ情報を前提として、もし最大スコアが０．５０であれば、判定部２３は原対象画像が文字無し画像であると判定する。もし、最大スコアが０．５８であれば、判定部２３は原対象画像が文字有り画像であると判定する。

最後に、判定部２３は判定結果を出力する。出力方法は限定されず、例えば判定部２３はその判定結果をモニタ上に表示してもよいし、プリンタに出力してもよいし、任意のデータベースに格納してもよい。

次に、図８，９を用いて、画像処理システム１の動作を説明するとともに本実施形態に係る画像処理方法について説明する。

まず、図８を参照しながら学習装置１０の動作を説明する。本実施形態では、ユーザは原サンプル画像のそれぞれに予めアノテーションを付加している。これを前提として、まず第１候補抽出部１１が各原サンプル画像をカラー処理することで複数の候補領域を抽出する（ステップＳ１１）。続いて、第１候補抽出部１１は原サンプル画像に付加されているアノテーションの付加と、二つの特徴量ｆ１，ｆ２の算出とを各候補領域について実行する（ステップＳ１２、特徴量算出ステップ）。

続いて、分類部１２が特徴量ｆ１，ｆ２に基づいて複数の候補領域を複数のカテゴリに分類する（ステップＳ１３、分類ステップ）。この処理において、分類部１２は各カテゴリのカテゴリ中心を得る。続いて、スコア算出部１３が各カテゴリのスコアＰ（Ｃｎ）と、全体においての平均出現頻度Ｐ（Ｔ）とを算出する（ステップＳ１４、スコア算出ステップ）。そして、出力部１４がカテゴリ情報（カテゴリ数と、各カテゴリについてのカテゴリ中心およびスコアＰ（Ｃｎ）と、平均出現頻度Ｐ（Ｔ））とをカテゴリ・データベース３０に格納する（ステップＳ１５、出力ステップ）。

次に、図９を参照しながら検出装置２０の動作を説明する。まず、第２候補抽出部２１が原対象画像から候補領域を抽出する（ステップＳ２１）。続いて、第２候補抽出部２１は二つの特徴量を算出する処理を各候補領域について実行する（ステップＳ２２）。続いて、スコア設定部２２が各候補領域の特徴量とカテゴリ・データベース３０内のカテゴリ情報とに基づいて、各候補領域にスコアＰ（Ｃｎ）を設定する（ステップＳ２３）。続いて、判定部２３が、設定されたスコアの最大値が平均出現頻度Ｐ（Ｔ）以上であれば（ステップＳ２４；ＹＥＳ）、原対象画像が文字有り画像であると判定し（ステップＳ２５）、その最大値が平均出現頻度Ｐ（Ｔ）未満であれば（ステップＳ２４；ＮＯ）、原対象画像が文字無し画像であると判定する（ステップＳ２６）。原対象画像が複数存在する場合には、検出装置２０はこの一連の処理を各原対象画像について実行する。

次に、図１０を用いて、画像処理システム１を実現するための画像処理プログラムＰを説明する。プログラムＰは、コンピュータを学習装置１０として機能させるための学習プログラムＰ１と、コンピュータを検出装置２０として機能させるための検出プログラムＰ２とを備えている。

学習プログラムＰ１は、メインモジュールＰ１０、第１候補抽出モジュールＰ１１、分類モジュールＰ１２、スコア算出モジュールＰ１３、および出力モジュールＰ１４を備えている。

メインモジュールＰ１０は、学習装置１０の機能を統括的に制御する部分である。第１候補抽出モジュールＰ１１、分類モジュールＰ１２、スコア算出モジュールＰ１３、および出力モジュールＰ１４を実行することにより実現される機能はそれぞれ、上記の第１候補抽出部１１、分類部１２、スコア算出部１３、および出力部１４の機能と同様である。

検出プログラムＰ２は、メインモジュールＰ２０、第２候補抽出モジュールＰ２１、スコア設定モジュールＰ２２、および判定モジュールＰ２３を備えている。

メインモジュールＰ２０は、検出装置２０の機能を統括的に制御する部分である。第２候補抽出モジュールＰ２１、スコア設定モジュールＰ２２、および判定モジュールＰ２３を実行することにより実現される機能はそれぞれ、上記の第２候補抽出部２１、スコア設定部２２、および判定部２３の機能と同様である。

学習プログラムＰ１及び検出プログラムＰ２はそれぞれ、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供されてもよい。また、各プログラムＰ１，Ｐ２は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明したように、本実施形態によれば、アスペクト比および領域比に基づいて分類された複数のカテゴリのそれぞれについて、文字有り画像から検出された候補領域の出現頻度がスコアとして算出され出力される。これにより各カテゴリにおける文字の出現の蓋然性が得られるので、この詳細な結果を用いれば、画像中の文字領域をより正確に検出することができる。

従来技術において二つの特徴量ｆ１，ｆ２を用いる場合には、図１１に示すように、アスペクト比ｆ１について設定した一つの区間［ａ，ｂ］と領域比ｆ２について設定した一つの区間［ｃ，ｄ］とにより定められる一つのカテゴリＣｚしか設定されなかった。そして、そのカテゴリＣｚ内に位置する候補領域が文字領域であると判定されていた。したがって、候補領域が文字領域であるか否かの判定の正確性が低かった。

これに対して画像処理システム１は、図６に示すように、複数のカテゴリを設定して各カテゴリについてスコアＰ（Ｃｎ）を設定する。したがって、候補領域が文字領域であるか否かの判定を、図１１に示す従来技術よりも詳細に実施することができる。

より具体的に作用効果について説明する。図２の文字領域である候補領域Ｒａ〜Ｒｄ(「Ｓ」「Ａ」「Ｌ」「Ｅ」)と、文字領域ではない候補領域Ｒｅ、Ｒｆとは、特徴量が異なるので、異なるカテゴリに分類される可能性が高い。文字領域である候補領域Ｒａ〜Ｒｄは、文字有り画像に出現し、文字無し画像には出現しない。文字領域ではない候補領域Ｒｅ、Ｒｆは、文字有り画像にも文字無し画像にも出現する。このため、文字領域である候補領域Ｒａ〜Ｒｄがそれぞれ属するカテゴリの出現頻度は相対的に高くなり、文字領域ではない候補領域Ｒｅ、Ｒｆがそれぞれ属するカテゴリの出現頻度は相対的に低くなる。よって、カテゴリ毎の出現頻度に基づいて、文字有り画像か否かを判定することにより、正確性が高まる。

このような本発明の優位性を示す実験結果の一例を説明する。この実験では、電子商取引サイトのＷｅｂページからランダムに５００枚の画像を抽出し、これらの画像を２５０枚ずつの２グループ（第１群および第２群）に分けた。これらの画像はいずれも、そのサイト上での取扱商品の写真であり、その少なくとも一部は宣伝文句、価格、店名などの文字が描かれている文字領域を含んでいた。

実施例は次の通りである。まず、第１群の各原画像に人手でアノテーションを付加し、これらの原画像を用いて学習処理を実行することで、カテゴリ・データベースを生成した。次に、このデータベースを利用して、第２群の各原画像に対する検出処理を実行し、この処理結果から再現率（ｒｅｃａｌｌ）、適合率（ｐｒｅｃｉｓｉｏｎ）、および正解率（ａｃｃｕｒａｃｙ）を算出した。

一方、比較例では、抽出された候補領域の特徴量と上記唯一のカテゴリＣｚとの間の位置関係に基づいて文字有り画像か文字無し画像かを判定する従来手法を用いて、再現率、適合率、および正解率を算出した。

ここで、再現率は、現実に文字有り画像であるもののうち、検出処理において文字有り画像であると判定されたものの割合である。適合率は、文字有り画像として検出された候補領域のうち、実際に文字が含まれていたものの割合である。正解率は、文字有り画像であるか文字無し画像であるかの判定が正解であった割合である。

次に、実施例および比較例の双方について、第１群と第２群とを入れ替えて同じ処理を行うことで、交差検証（ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を実施した。そして、再現率、適合率、および正解率のそれぞれについて２回の値の平均値を取って最終結果とした。

この最終結果を図１２に示す。このグラフに示すように、再現率、適合率、および正解率のいずれについても実施例の方が良好であった。特に正解率については、実施例が比較例を１７．８％上回った。このように、本発明が従来の手法に比べて正確であることが示された。

本実施形態では、アノテーションは原サンプル画像に対して付加すれば足りるので、学習処理における、人手によるアノテーション付加の作業負荷が軽減される。従来の手法では一文字ごとにアノテーション（正解）を与える必要があり、その作業負荷が非常に大きかった。これに対して、本実施形態では画像毎にアノテーションを与えれば足りるので、ユーザの作業負荷が格段に軽減される。また、ユーザはアノテーションを付与する際に、描画されている文字の種類、フォント、色、サイズなどの様々なパターンを意識する必要がないので、汎用性が高い。この効果は、ユーザが大量の画像を処理する場合（例えばＥＣサイト内の膨大な商品画像を処理する場合など）においてより顕著になる。

また、ユーザはアノテーションを付与した後は画像処理システム１に処理を任せることができる。すなわち、学習装置１０および検出装置２０で用いられる各種パラメータを調整することなく、例えば上記実験結果で示されるように処理対象を良好に分類することが可能である。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では原サンプル画像に対してアノテーションを付加したが、学習処理において各候補領域にアノテーションを付加してもよい。この場合には、図１３に示すように、第１候補抽出部１１はアノテーション無しの各原サンプル画像から複数の候補領域を抽出し（ステップＳ３１）、各候補領域について二つの特徴量を算出する（ステップＳ３２、特徴量算出ステップ）。第１候補抽出部１１はこれらの処理を終えると各候補領域についてのデータをユーザが編集可能な態様で出力する。ユーザは各候補領域にアノテーションを付加し（ステップＳ３３）、この入力を分類部１２が受け付ける。ここで付与されるアノテーションは、候補領域が文字領域であるか否かを示す情報である。そして、この入力処理が完了した後に、上記実施形態と同様にステップＳ１３〜Ｓ１５の処理が実行される。

このように候補領域毎にアノテーションを付加することで、上記実施形態よりもアノテーションが正確に設定されるので、カテゴリ・データベース３０の精度が向上し、その結果、検出処理における判定もさらに正確になる。その反面、この変形例ではアノテーションを付加する作業量が増える。しかし、一文字毎にアノテーションを与える必要がある従来の手法に比べれば、その作業量はかなり少ない。

上記実施形態では検出装置２０が、原対象画像が文字有り画像か文字無し画像かを判定したが、検出装置２０は、その画像から抽出した候補領域が文字領域か非文字領域（ｎｏｎ−ｔｅｘｔ ｒｅｇｉｏｎ）かを判定してもよい。すなわち、処理対象は原画像であってもよいし、その原画像の一部である１以上の候補領域であってもよい。

図１４を用いてこの変形例を具体的に説明する。まず、上記実施形態と同様にステップＳ２１〜Ｓ２３の処理が実行され、各候補領域にスコアＰ（Ｃｎ）が設定される。

続いて、判定部２３が個々の候補領域について以下の処理を実行する。すなわち判定部２３は、候補領域のスコアが平均出現頻度Ｐ（Ｔ）以上であれば（ステップＳ４１；ＹＥＳ）、対象領域が文字領域であると判定し（ステップＳ４２）、そのスコアが平均出現頻度Ｐ（Ｔ）未満であれば（ステップＳ４１；ＮＯ）、対象領域が非文字領域であると判定する（ステップＳ４３）。判定部２３はすべての候補領域についてこのような判定処理を実行する（ステップＳ４４参照）。原対象画像が複数存在する場合には、検出装置２０は一連の処理を各原対象画像について実行する。

学習処理と検出処理とは互いに独立している。したがって、学習処理においてアノテーションを原サンプル画像と各候補領域とのどちらに付与するかは、検出処理に影響しない。また、検出処理において原対象画像そのものについて判定するか各候補領域について判定するかは、学習処理に影響しない。

上記実施形態では検出処理での閾値として平均出現頻度を用いたが、閾値として用いる数値はこれに限定されない。例えば、全カテゴリのスコアの平均値または中央値を閾値として用いてもよい。また、学習に用いた全ての原サンプル画像について、文字有り画像か否かを最も正確に判定するように、上記の閾値を設定してもよい。すなわち、原サンプル画像毎に候補領域の最大スコアを特定し、閾値以上の最大スコアをとる原サンプル画像が文字有り画像として最も正確に判定されるように、閾値を設定してもよい。

画像処理システム１は、被写体の商品のジャンルや、画像の提供元（例えば仮想店舗）などの付加属性を考慮して学習処理および検出処理を実行してもよい。この場合には、学習装置１０は付加属性に基づいて原サンプル画像をグループ化してそのグループ毎に学習処理を行うことで、付加属性毎のカテゴリ情報を生成する。

付加属性毎に生成したカテゴリ情報の例を図１５に示す。この例では、カテゴリ情報（カテゴリ数と、各カテゴリについてのカテゴリ中心およびスコアと、平均出現頻度）が「カメラ」などの商品ジャンル毎に生成されている。

このように画像の付加属性を考慮することで、商品や提供元の特性に応じたカテゴリ情報が得られるので、検出処理の精度の向上が期待できる。

上記実施形態ではカテゴリ情報を、処理対象が文字を含むか否かの判定に用いたが、カテゴリ情報の利用目的はこれに限定されない。本発明における学習処理の結果は任意の画像処理に利用することが可能である。したがって、カテゴリ・データベース３０および検出装置２０は必須の要素ではない。これに関連して、出力部１４におけるカテゴリ情報の出力方法も限定されない。例えば、出力部１４はカテゴリ情報をモニタ上に表示してもよいし、プリンタに出力してもよい。

上記実施形態では学習装置１０、検出装置２０、およびカテゴリ・データベース３０がそれぞれ独立して存在していたが、画像処理システムの構成はこれに限定されない。例えば、これら三要素のうち任意の二つの要素を一つの装置に統合してもよいし、これらすべての要素を一つの装置で実現してもよい。

分類部１２およびスコア算出部１３は、一回目の処理（上記実施形態で説明した処理）で各カテゴリのスコアＰ（Ｃｎ）を求めた後に、文字有り画像から抽出された候補領域と文字無し画像から抽出された候補領域との双方を含むカテゴリをさらに複数のカテゴリ（本明細書では「サブカテゴリ」ともいう）に細分化してもよい。ここで、「細分化」とは、処理対象のカテゴリ内の候補領域を複数のサブカテゴリに分類（再分類）することである。この細分化は、文字有り画像から抽出された候補領域と文字無し画像から抽出された候補領域とがほぼ半々の割合で混在するカテゴリ内の候補領域を、文字有り画像から抽出された候補領域の出現頻度が高いカテゴリと該出現頻度が低いカテゴリとにより明確に分類することを目的とする。細分化するカテゴリのスコアＰ（Ｃｎ）の範囲（本明細書では「細分化範囲」ともいう）は任意に決めてよい。例えば細分化範囲の下限を０．４以上０．５未満の間に設定し、細分化範囲の上限を０．５より大きくかつ０．６以下の間に設定してもよい。より具体的には、下限を０．４あるいは０．４５に設定したり、上限を０．５５あるいは０．６に設定したりすることが考えられる。あるいは、細分化範囲は０．５を含まなくてもよい。

図１６，１７の例を用いてカテゴリの細分化を説明する。図１６は、分類部１２の一回目の処理により複数の候補領域が複数のカテゴリに分類された状態を示す。図６と同様に図１６では、二つの特徴量ｆ１（アスペクト比），ｆ２（領域比）を座標軸とする二次元座標上に各候補領域がプロットされている。黒丸は文字有り画像から抽出された候補領域を示し、白丸は文字無し画像から抽出された候補領域を示している。グラフ上の領域Ｃ１１〜Ｃ１４はカテゴリを示す。記号「×」はカテゴリ中心を示す。上記実施形態と同様に、分類部１２はアスペクト比ｆ１および領域比ｆ２のそれぞれを正規化し、続いてｋ−平均法を用いて複数の候補領域を複数のカテゴリに分類する。

スコア算出部１３は上記式（２）を用いて、文字有り画像から抽出された候補領域の出現頻度を示すスコアＰ（Ｃｎ）を各カテゴリについて算出する。図１６に示されるカテゴリＣ１１〜Ｃ１４のスコアは以下の通りである。
Ｃ１１＝１／３≒０．３３
Ｃ１２＝４／８＝０．５０
Ｃ１３＝３／３＝１．００
Ｃ１４＝２／３≒０．６７

この変形例において、スコア算出部１３は細分化が必要か否かを各カテゴリについて判定する。このためにスコア算出部１３は細分化範囲を予め保持している。図１６の例において細分化範囲が０．４０以上０．６０以下であるとすると、スコア算出部１３は、スコアがその範囲内にあるカテゴリＣ１２内の候補領域についてのみ再分類すると判定し、その処理を分類部１２に指示する。当然ながら、細分化すべきカテゴリが複数個存在するのであれば、スコア算出部１３はそのすべてのカテゴリを細分化するように分類部１２に指示する。どのカテゴリのスコアも細分化範囲内になければ、スコア算出部１３は分類部１２に細分化を指示することなく、上記実施形態と同様に各カテゴリＣｎのスコアＰ（Ｃｎ）と平均出現頻度Ｐ（Ｔ）とを出力部１４に出力する。ここで、カテゴリを細分化するか否かは平均出現頻度Ｐ（Ｔ）の値に影響しない。

分類部１２は、スコア算出部１３から指示を受けると処理対象のカテゴリを複数のカテゴリに細分化する。分類部１２は、細分化するカテゴリのそれぞれにおいて複数のサブカテゴリのカテゴリ中心を設定し、カテゴリ中心と一つの候補領域との間のマハラノビス距離が最小となるサブカテゴリにその候補領域を所属させる。したがって、ある候補領域をサブカテゴリに所属させる処理は、未分類の候補領域をカテゴリに所属させる処理と同様である。

図１６におけるカテゴリＣ１２を細分化した一例を図１７に示す。この例では、分類部１２はカテゴリＣ１２内の複数の候補領域を３個のサブカテゴリＣ１２１，Ｃ１２２，Ｃ１２３に再分類している。

分類部１２が細分化を終えると、スコア算出部１３は上記式（２）を用いて、各サブカテゴリのスコアＰ（Ｃｎ）を算出する。図１７に示されるサブカテゴリＣ１２１〜Ｃ１２３のスコアは以下の通りである。
Ｃ１２１＝１／３≒０．３３
Ｃ１２２＝３／３＝１．００
Ｃ１２３＝０／２＝０

続いて、スコア算出部１３は各カテゴリＣｎのスコアＰ（Ｃｎ）と平均出現頻度Ｐ（Ｔ）とを出力部１４に出力する。上述した通り、カテゴリを細分化するか否かは平均出現頻度Ｐ（Ｔ）の値に影響しない。なお、ここでいう「カテゴリ」とは、一回目の処理で生成されたカテゴリ、または細分化処理で生成されたカテゴリ（サブカテゴリ）のどちらかである。検出処理を含む以降の処理では、カテゴリが一回目の処理で生成されたものかそれとも細分化処理で生成されたものかを考慮しないので、その区別をカテゴリ・データベース３０のカテゴリ情報に含める必要はない。もちろん、必要であれば、カテゴリがサブカテゴリか否か（細分化処理により得られたものか否か）を示す情報をカテゴリ情報に含めてもよい。

分類部１２およびスコア算出部１３は、スコアが細分化範囲内にあるカテゴリが無くなるまで上記の細分化処理を繰り返し実行してもよい。この場合には、各カテゴリの性質（そのカテゴリが、文字有り画像から抽出された候補領域の出現頻度が高いものか、それとも該出現頻度が低いものか）を明確に設定できる。

あるいは、細分化処理を行う回数の上限が定められていてもよい（例えば、一回のみ、２回、５回など）。この場合には、スコアが細分化範囲内にあるカテゴリが残っていても処理が打ち切られる場合があるが、学習装置１０の計算負荷を抑えつつ各カテゴリの性質をより明確に設定できる。

いずれにせよ、このような細分化を行うことで各カテゴリの性質がより明確になるので、画像中の文字領域をより正確に検出することができる。

学習処理におけるカテゴリの細分化は、原サンプル画像に対してアノテーションを付加する場合と、各候補領域にアノテーションを付加する場合との双方に適用できる。各候補領域にアノテーションが付加された場合には、分類部１２およびスコア算出部１３は、文字領域であることを示すアノテーションが付加された候補領域と文字領域であることを示すアノテーションが付加されていない候補領域（言い換えると、文字領域でないことを示すアノテーションが付加された候補領域）との双方を含むカテゴリをさらに複数のカテゴリに細分化する。

１…画像処理システム、１０…学習装置、１１…第１候補抽出部、１２…分類部、１３…スコア算出部、１４…出力部、２０…検出装置、２１…第２候補抽出部（判定部）、２２…スコア設定部（判定部）、２３…判定部、３０…カテゴリ・データベース、Ｐ…画像処理プログラム、Ｐ１…学習プログラム、Ｐ１０…メインモジュール、Ｐ１１…第１候補抽出モジュール、Ｐ１２…分類モジュール、Ｐ１３…スコア算出モジュール、Ｐ１４…出力モジュール、Ｐ２…検出プログラム、Ｐ２０…メインモジュール、Ｐ２１…第２候補抽出モジュール、Ｐ２２…スコア設定モジュール、Ｐ２３…判定モジュール。

Claims (19)

1. 複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部であって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出部と、
   前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が前記文字有り画像および前記文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類部と、
   前記文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、
   各カテゴリの前記スコアをカテゴリ情報として出力する出力部と
   を備える画像処理システム。
2. 前記スコア算出部が、一つのカテゴリにおける、前記文字有り画像から抽出された候補領域の個数の割合を前記スコアとして算出する、
   請求項１に記載の画像処理システム。
3. 前記分類部が、前記文字有り画像から抽出された候補領域と前記文字無し画像から抽出された候補領域とを含む前記カテゴリに含まれる前記候補領域をさらに複数のカテゴリに再分類し、
   前記スコア算出部が、前記再分類により生成された前記複数のカテゴリのそれぞれについて、前記文字有り画像から抽出された候補領域の個数の割合を前記スコアとして算出する、
   請求項２に記載の画像処理システム。
4. 前記アノテーションが前記原サンプル画像毎に付加されており、
   前記特徴量算出部が、前記候補領域の抽出元である前記原サンプル画像に付加されているアノテーションを該候補領域に付加する、
   請求項１〜３のいずれか一項に記載の画像処理システム。
5. 少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部と、
   前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類部と、
   前記文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、
   各カテゴリの前記スコアをカテゴリ情報として出力する出力部と
   を備える画像処理システム。
6. 前記スコア算出部が、一つのカテゴリにおける、前記文字領域であることを示すアノテーションが付加された候補領域の個数の割合を前記スコアとして算出する、
   請求項５に記載の画像処理システム。
7. 前記分類部が、前記文字領域であることを示すアノテーションが付加された候補領域と前記文字領域であることを示すアノテーションが付加されていない候補領域とを含む前記カテゴリに含まれる前記候補領域をさらに複数のカテゴリに再分類し、
   前記スコア算出部が、前記再分類により生成された前記複数のカテゴリのそれぞれについて、前記文字領域であることを示すアノテーションが付加された候補領域の個数の割合を前記スコアとして算出する、
   請求項６に記載の画像処理システム。
8. 前記分類部が、前記特徴量に基づいて複数のカテゴリ中心を設定し、前記候補領域の特徴量および前記カテゴリ中心の間の距離が最も小さい前記カテゴリに該候補領域を関連付ける、
   請求項１〜７のいずれか一項に記載の画像処理システム。
9. 前記特徴量が、前記候補領域のアスペクト比と、文字領域として判定された部分の面積比とである、
   請求項１〜８のいずれか一項に記載の画像処理システム。
10. 各原サンプル画像には被写体のジャンルまたは該原サンプル画像の提供元を示す付加属性が関連付けられており、
    前記特徴量算出部、前記分類部、および前記スコア算出部が、前記複数の原サンプル画像を前記付加属性毎にグループ化してグループ毎に処理を実行し、
    前記出力部が各グループの前記カテゴリ情報を出力する、
    請求項１〜９のいずれか一項に記載の画像処理システム。
11. 前記カテゴリ情報に基づいて、処理対象である原対象画像が文字領域を含むか否かを判定する判定部をさらに備える、
    請求項１〜１０のいずれか一項に記載の画像処理システム。
12. 前記判定部が、
    前記処理対象を含む原対象画像から抽出した複数の候補領域のそれぞれについて前記特徴量を算出し、
    各候補領域が属する前記カテゴリを特定し、
    前記複数の候補領域に対応する前記複数のスコアのうち最も高いスコアに基づいて、前記原対象画像が文字領域を含むか否かを判定する、
    請求項１１に記載の画像処理システム。
13. 前記カテゴリ情報に基づいて、処理対象の画像から文字領域の候補として抽出された候補領域が文字領域か否かを判定する判定部をさらに備える、
    請求項１〜１０のいずれか一項に記載の画像処理システム。
14. 前記判定部が、
    前記処理対象を含む原対象画像から抽出した複数の候補領域のそれぞれについて前記特徴量を算出し、
    各候補領域が属する前記カテゴリを特定し、
    各候補領域について、前記候補領域に対応するスコアに基づき、該候補領域が文字領域であるか否かを判定する、
    請求項１１に記載の画像処理システム。
15. 前記付加属性を有する処理対象が文字領域を含むか否かを、該付加属性に対応する前記カテゴリ情報に基づいて判定する判定部をさらに備える
    請求項１０に記載の画像処理システム。
16. コンピュータが実行する画像処理方法であって、
    複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出ステップであって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出ステップと、
    前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類ステップであって、各候補領域には、該候補領域が前記文字有り画像および前記文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類ステップと、
    前記文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出ステップと、
    各カテゴリの前記スコアをカテゴリ情報として出力する出力ステップと
    を含む画像処理方法。
17. コンピュータが実行する画像処理方法であって、
    少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出ステップと、
    前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類ステップであって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類ステップと、
    前記文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出ステップと、
    各カテゴリの前記スコアをカテゴリ情報として出力する出力ステップと
    を含む画像処理方法。
18. コンピュータを、
    複数の原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部であって、該複数の原サンプル画像が、文字領域を含む文字有り画像を１以上含むとともに、文字領域を含まない文字無し画像を１以上含む、該特徴量算出部と、
    前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が前記文字有り画像および前記文字無し画像のどちらから抽出されたかを示すアノテーションが付加されている、該分類部と、
    前記文字有り画像から抽出されたことを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、
    各カテゴリの前記スコアをカテゴリ情報として出力する出力部と
    して機能させるための画像処理プログラム。
19. コンピュータを、
    少なくとも一つの原サンプル画像から文字領域の候補として抽出した複数の候補領域のそれぞれについて特徴量を算出する特徴量算出部と、
    前記特徴量に基づいて前記複数の候補領域を複数のカテゴリに分類する分類部であって、各候補領域には、該候補領域が文字領域であるか否かを示すアノテーションが付加されている、該分類部と、
    前記文字領域であることを示すアノテーションが付加された候補領域の出現頻度を示すスコアを各カテゴリについて算出するスコア算出部と、
    各カテゴリの前記スコアをカテゴリ情報として出力する出力部と
    して機能させるための画像処理プログラム。

Images