JP4882927B2

JP4882927B2 - カテゴリ識別方法

Info

Publication number: JP4882927B2
Application number: JP2007226581A
Authority: JP
Inventors: 庸雄河西
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-08-31
Filing date: 2007-08-31
Publication date: 2012-02-22
Anticipated expiration: 2027-08-31
Also published as: US8036998B2; US20090063374A1; JP2009059207A

Description

本発明は、カテゴリ識別方法に関する。

従来、画像のシーン等のカテゴリの識別方法として、サポートベクタマシンを用いた識別方法が知られている（例えば特許文献１参照）。サポートベクタマシンでは、学習用サンプルを用いた学習により、識別境界に寄与するサポートベクタが定められる。そして、識別対象と各サポートベクタとの関係に基づいた演算によって判別式が算出される。この判別式の値と閾値との比較によって、識別対象が特定のカテゴリに属するか否かの識別が行われる。
特開２００５−１３４９６６号公報

サポートベクタマシンを用いた識別処理では、学習用サンプルが多いほど、すなわちサポートベクタの数が多いほど、識別の精度を高めることができる。ところで、後述するようにサポートベクタマシンによる判別式の演算時間はサポートベクタの数に比例する。つまり、識別精度を高めるためにサポートベクタの数を多くすると、判別式の演算に要する時間が増加し、識別処理の速度が低下することになる。このように、従来、識別処理の速度を向上させることが困難であるという問題点があった。

本発明は、上記のような課題に鑑みてなされたものであり、その目的は、識別処理の速度を向上させることにある。

前記目的を達成するための主たる発明は、識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、各サポートベクタに対する前記関数値を積算した積算値を算出し、前記積算値が閾値よりも小さい場合に、前記識別対象が特定のカテゴリに属さないと識別するカテゴリ識別方法であって、前記積算値の算出は、前記関数値が正の値となるものを積算し、その後、前記関数値が負の値となるものを積算することによって行い、前記積算値が前記閾値よりも小さくなった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属さないと識別することを特徴とする。
本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。

＝＝＝開示の概要＝＝＝
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかになる。

すなわち、識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、各サポートベクタに対する前記関数値を積算した積算値を算出し、前記積算値が閾値よりも小さい場合に、前記識別対象が特定のカテゴリに属さないと識別するカテゴリ識別方法であって、前記積算値の算出は、前記関数値が正の値となるものを積算し、その後、前記関数値が負の値となるものを積算することによって行い、積算値が前記閾値よりも小さくなった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属さないと識別することを特徴とするカテゴリ識別方法が明らかになる。
このようなカテゴリ識別方法によれば、識別処理の速度を向上させることができる。

かかるカテゴリ識別方法であって、前記積算値に積算される前記関数値が負の値であるか否かを判断し、前記関数値が負の値であり、且つ、前記積算値が前記閾値よりも小さくなった場合、前記識別対象が前記特定のカテゴリに属さないと識別することが望ましい。

かかるカテゴリ識別方法であって、負の値の前記関数値は、絶対値の大きいものから順に前記積算値に積算されることが望ましい。
このようなカテゴリ識別方法によれば、識別処理の速度をより向上させることができる。

また、識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、各サポートベクタに対する前記関数値を積算した積算値を算出し、前記積算値が閾値よりも大きい場合に、前記識別対象が特定のカテゴリに属すると識別するカテゴリ識別方法であって、前記積算値の算出は、前記関数値が正の値となるものを積算し、その後、前記関数値が負の値となるものを積算することによって行い、前記積算値が前記閾値以下になった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属すると識別できないと判断することを特徴とするカテゴリ識別方法が明らかになる。
このようなカテゴリ識別方法によれば、識別処理の速度を向上させることができる。

かかるカテゴリ識別方法であって、前記積算値に積算される前記関数値が負の値であるか否かを判断し、前記関数値が負の値であり、且つ、前記積算値が前記閾値以下になった場合、前記識別対象が前記特定のカテゴリに属すると識別できないと判断することが望ましい。

また、識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、各サポートベクタに対する前記関数値を積算した積算値を算出し、前記積算値が閾値よりも大きい場合に、前記識別対象が特定のカテゴリに属すると識別するカテゴリ識別方法であって、前記積算値の算出は、前記関数値が負の値となるものを積算し、その後、前記関数値が正の値となるものを積算することによって行い、前記積算値が前記閾値よりも大きくなった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属すると識別することを特徴とするカテゴリ識別方法が明らかになる。
このようなカテゴリ識別方法によれば、識別処理の速度を向上させることができる。

かかるカテゴリ識別方法であって、前記積算値に積算される前記関数値が正の値であるか否かを判断し、前記関数値が正の値であり、且つ、前記積算値が前記閾値よりも大きくなった場合、前記識別対象が前記特定のカテゴリに属すると識別することが望ましい。

かかるカテゴリ識別方法であって、正の値の前記関数値は、絶対値の大きいものから順に前記積算値に積算されることが望ましい。
このようなカテゴリ識別方法によれば、識別処理の速度をより向上させることができる。

＝＝＝全体構成＝＝＝
図１は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。

デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、モード設定ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、モード設定ダイヤル２Ａによって、「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。

デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。

プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。

図２はプリンタ４の構成の説明図である。プリンタ４は、印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。

メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。

なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。

＝＝＝自動補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。

図３は、プリンタ４の自動補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。

記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの画像データは、記憶部３１の画像記憶部３１Ａに展開される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。

顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を確認する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。この場合、シーン識別部３３によるシーン識別処理は行われない。顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。

シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。シーン識別部３３によるシーン識別処理は、顔識別部３２によって顔がない（「人物」のシーンでない）と識別された場合に行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」、「その他」のいずれの画像であるかを識別する。

図４は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正してもよい。

プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。

＝＝＝シーン識別処理＝＝＝
図５は、シーン識別部３３によるシーン識別処理のフロー図である。図６は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部３３は、図６に示す特徴量取得部４０と、全体識別器５０と、部分識別器６０と、統合識別器７０とを備えている。

最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、各ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、各ブロックごとに３つの色平均と、３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出してもよい。

ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データのすべてを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくとも良い。

次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に画像データを展開する必要がないので、全体特徴量の算出速度が速くなる、全体識別処理（後述）は、部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。

次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。

全体識別処理によってシーンの識別が出来る場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。
全体識別処理によってシーンの識別ができない場合、（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については後述する。

部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については後述する。

統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによってシーンを決定し（Ｓ１０９）、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」又は「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。

＝＝＝全体識別処理＝＝＝
図７は、全体識別処理のフロー図である。ここでは、図６も参照しながら全体識別処理について説明する。

まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。
次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。

図８は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここでは、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳ（Ｓ２０２でＹＥＳ）と判断する。

次に、サブ識別器５１は、識別対象画像が特定のシーンに属すか否かを識別する。具体的には、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率（確信度）を算出する（Ｓ２０３）。本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１で算出される判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器５１で算出される判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きな値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。

次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値よりも大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。

図９は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１０は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。

Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。

Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと判断したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。

図９から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。

一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。

つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．２７に設定されている。

判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図８の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を速めることができる。

判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。

次にサブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値よりも小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値よりも小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値よりも大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値よりも大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。

図１１は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。

図１１から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。

一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定のシーンでないことを識別できれば、部分識別処理の際に、その特定のシーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を速めている（後述、図１４のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。

つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．１０に設定されている。

ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられている。

図１２は、第２否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図９のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４５よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４５よりも大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４５に設定されている。

そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図８の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。

図１３Ａは、閾値テーブルの説明図である。この閾値テーブルは、記憶部３１に記憶されていても良いし、全体識別処理を実行させるプログラムの一部に組み込まれていても良い。閾値テーブルには、前述の肯定閾値や否定閾値に関するデータが格納されている。

図１３Ｂは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．２７が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．１０が設定されている。また、第２否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。

図１３Ｃは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．２７よりも大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が１．２７以下であり（Ｓ２０４でＮＯ）、−０．４５よりも大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−１．１０よりも小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器５１Ｌは、夕景や花や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、これらの第２否定閾値は肯定閾値よりも大きいため、識別対象画像がこれらのシーンに属しないことを風景識別器５１Ｌが判断することはない。

Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
そして、Ｓ２０５の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。

なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０４）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これによりシーン識別処理の速度が速くなる。

ところで、上記の説明には無いが、全体識別器５０は、サブ識別器５１によって判別式の値を算出したときには、判別式の値に対応するPrecisionを、確信度に関する情報として結果記憶部３１Ｂに記憶する。もちろん、判別式の値そのものを確信度に関する情報として記憶しても良い。

＝＝＝部分識別処理＝＝＝
図１４は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図５のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは、図６も参照しながら部分識別処理について説明する。

まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ、夕景、花、紅葉のシーンを識別する。ここでは、部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する（なお、サブ部分識別器６１の選択順序については、後述する）。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。

次に、部分識別器６０は、識別対象テーブル（図８）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。

次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、1つの部分画像を選択する（Ｓ３０３）。

図１５は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを特定するような場合、識別に用いられる部分画像は被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。

なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。

次に、サブ部分識別器６１は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを評価する（Ｓ３０４）。サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。

次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きいか否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値よりも大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を速めることができる。

正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。

サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても、正カウント値が肯定閾値よりも大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより識別処理の速度を速めることができる。

サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。なお、本実施形態では、６４個に分割された部分画像の全てを順に選択していない。図１５において、太枠で示された上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する（この点を考慮して、Ｓ３０７の「残り部分画像数」も決定される。）。

図１６は、６４個に分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像を識別したときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。

本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。

また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、RecallやPrecisionをともに高く設定することが可能になる。

また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。

Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図７のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図７のＳ２０７と同様に否定フラグを立てる。

Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。

そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。

なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０６）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。

ところで、上記の説明では、夕景部分識別器６１Ｓは、１０個の部分画像を用いて夕景画像の識別を行っているが、識別に用いられる部分画像の数は１０個に限られるものではない。また、他のサブ部分識別器６１が、夕景部分識別器６１Ｓとは異なる数の部分画像を用いて画像を識別しても良い。本実施形態では、花部分識別器６１Ｆは２０個の部分画像を用いて花画像を識別し、また、紅葉部分識別器６１Ｒは、１５個の部分画像を用いて紅葉画像を識別するものとする。

＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられているサポートベクタマシン（ＳＶＭ）について説明する。

図１７Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。

学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは、学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。

ここでは２次元空間を用いて説明しているが、これには限定されない（つまり特徴量は２以上でも良い）。この場合、境界は超平面で定義される。

ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。

図１７Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図１７Ｂの入力空間からの非線形写像が図１７Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図１７Ｂに示す境界になる。この結果、図１７Ｂに示すように、境界は非線形になる。

本実施形態では、ガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式（１）のようになる（なお、Ｍは特徴量の数、Ｎは学習用サンプルのうち識別境界に寄与するサポートベクタの数、ｗ_ｉは重み係数、ｙ_ｉｊはサポートベクタの特徴量、ｘ_ｉは入力ｘの特徴量である）。

ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、ｆ（ｘ）の値が大きい値になるほど、入力ｘがクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘがクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。サポートベクタマシンによる判別式ｆ（ｘ）の値の算出には、学習用サンプルの数（本実施形態では数万個）が多いほど、すなわちサポートベクタの数が多いほど時間がかかる。

また、式（１）のうち次式（２）に示すｋ（ｘ）は、識別対象と各サポートベクタとの関係に応じた関数である。以下、このｋ（ｘ）のことをカーネルともいう。

なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果（判別式ｆ（ｘ）の値）に基づくものである。

＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別器５１の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１が紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば、紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。

但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。

図１８は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。

まず、統合識別器７０は、５つのサブ識別器５１の判別式の値に基づいて、正となるシーンを抽出する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。
次に、統合識別器７０は、判別式の値が正のシーンが存在するか否かを判断する（Ｓ４０２）。判別式の値が正のシーンが存在する場合（Ｓ４０２でＹＥＳ）、最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。
一方、判別式の値が正であるシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図８の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。

なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図５のＳ１０８）。このとき、シーン識別部３３は、図８の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになる。

＝＝＝第１実施形態＝＝＝
＜概要＞
前述したように、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、サポートベクタマシンによるシーンの識別処理が行われる。各サブ識別器は、サポートベクタマシンによって判別式を算出し、判別式の値と閾値（肯定閾値、否定閾値）とを比較することによって、識別対象画像が特定のシーンに属するか否かを識別する。

式（１）からわかるように、サポートベクタマシンは、識別対象とサポートベクタとの関係に応じた関数値を算出し、その関数値を積算していくことによって判別式を算出している。すなわち、判別式の演算の実行時間は、サポートベクタの数に比例する。なお、サポートベクタは、識別境界に寄与する学習用サンプルのことである。以下の説明において、サポートベクタのことを単にサンプルともいい、サポートベクタの数のことをサンプル数ともいう。

ところで、サポートベクタマシンで識別精度を高めるには大量の学習用サンプルを用意する必要があり、これによりサンプル数も多くなる。よって、サポートベクタマシンによる判別式の演算に時間がかかり、識別処理の速度を速めるのが困難となっていた。特に、シーン識別部３３における全体識別処理や部分識別処理のように、複数のサブ識別器によってシーン毎に順に識別を行う場合、各サブ識別器で識別処理に時間がかかると、後段の識別処理に進むのが遅くなり、識別処理全体の速度が低下することになる。

そこで、本実施形態では、サポートベクタマシンの判別式の演算の途中で識別結果を判断できる場合、演算の打ち切りを行うことによって識別処理の速度の向上を図る。第１実施形態では、識別対象画像が特定のシーンに属さないことを判別式の演算の途中で判断する場合について説明する。なお、以下の実施形態では、便宜上、第２否定閾値を用いた識別についての説明を省略する。

＜識別処理について＞
以下、図１９〜図２１を参照しつつ本発明の第１実施形態について説明する。
図１９Ａ及び図１９Ｂは、サポートベクタマシンでの演算に用いる識別用テーブルの一例を示す図である。図２０は、本発明の第１実施形態にかかる識別処理を説明するためのフロー図である。図２１は、サンプル数と積算値の関係の一例を示す図である。以下の実施形態では、全体識別器５０のサブ識別器５１（例えば、風景識別器５１Ｌ）で識別処理を行うこととする。なお、図２０は、図７の一点鎖線の部分における本発明の識別処理のフローを示したものである。

各サブ識別器５１では、サポートベクタマシンによる学習用サンプルを用いた学習により、識別境界に寄与するサポートベクタが定められている。そして、サポートベクタマシンは、前述した式（１）の演算により判別式を算出する。つまり、サポートベクタの特徴量（ｙ_ｉｊ）と識別対象の特徴量（ｘ_ｉ）との関係に応じて算出された式（２）のカーネルｋ（ｘ）に、重み係数（ｗ_ｉ）を乗算し、その値（関数値）を順次積算していく。この演算に用いる各サポートベクタと、それに対応する重み係数とは、図１９Ａに示すように、識別用テーブルとして、例えば記憶部３１に記憶されている。

本実施形態では、サブ識別器５１は、図１９Ａの識別用テーブルを、図１９Ｂに示すように、重み係数とサポートベクタの特徴量を対応させて、重み係数の大きい順に（正から負となるように）ソートすることとする。なお、例えば、識別用テーブルを作成するコンピュータ等（不図示）が、図１９Ａの識別用テーブルを重み係数の大きい順にソートするようにしてもよい。そして、作成された識別用テーブル（図１９Ｂ）を記憶部３１に記憶させておくようにしてもよい。第１実施形態では、サポートベクタマシンによる判別式の演算の際に、図１９Ｂの識別用テーブルの重み係数の大きい側（紙面上側）から順番に、重み係数及びサンプルが選択されることになる。

サブ識別器５１は、図７のＳ２０２で、識別対象のシーンであると判断すると（Ｓ２０２でＹＥＳ）、サポートベクタマシンによる演算を行う。まず、図２０に示すように積算値（後述する）の初期値としてゼロを設定する（Ｓ５０１）。そして、サブ識別器５１は、図１９Ｂの識別用テーブルに基づいて、重み係数の正の側（紙面上側）から順に対応するサンプルを選択し（Ｓ５０２）、式（２）によってカーネルｋ(ｘ)の値を算出する（Ｓ５０３）。図１９Ｂの場合、重み係数ｗ_５に対応するサンプルが最初に選択され、その特徴量（ｙ_５１，ｙ_５２,ｙ_５３・・・）を用いて式（２）のカーネルｋ(ｘ)が算出される。そして、サブ識別器５１は、このカーネルｋ(ｘ)に重み係数（ｗ_ｉ）を乗算して、その乗算で得られた関数値を積算値に積算する（Ｓ５０４）。

ここで、式（２）より、カーネルｋ(ｘ)は常に正の値となる。よって、カーネルｋ(ｘ)に重み係数を乗算した関数値は、重み係数が正の場合には正の値となり、重み係数が負の場合には負の値となる。つまり、重み係数が正の場合、積算を行うことによって積算値は大きくなり、重み係数が負の場合、積算を行うことによって積算値は小さくなる。前述したように、重み係数は正から負となる順にソートされているので、積算値は、図２１に示すように変化する。つまり、重み係数が正では、サンプル数が増加するにつれて積算値が大きくなり、重み係数が負になると、サンプル数が増加するにつれて積算値が小さくなる。

図２１では、重み係数が正から負の順に演算を行った場合の積算値とサンプル数の関係を示している。図２１においてＰＴは肯定閾値であり、最終的な積算値である判別式の値がＰＴより大きい場合、サブ識別器５１は、識別対象画像が当該サブ識別器５１に対応するシーンに属すると識別する。一方、判別式の値がＰＴ以下の場合、サブ識別器５１は、識別対象画像が対応するシーンに属すると識別できないことになる。また、前述したように各サブ識別器５１は、第１否定閾値によって、対応するシーンに属さないことも識別している。図２１においてＮＴは第１否定閾値であり、判別式の値がＮＴより小さければ、サブ識別器５１は、識別対象画像が対応するシーンに属さないと識別する。図２１において、重み係数の符号が切り替わるときのサンプル数をＡ、積算値が肯定閾値（ＰＴ）よりも小さくなるときのサンプル数をｂ、積算値が第１否定閾値（ＮＴ）よりも小さくなるときのサンプル数をａ、全サンプル数をｎ（ｎ＞ａ）でそれぞれ示している。

サブ識別器５１は、Ｓ５０４で乗算した重み係数の符号が負であるか否かの判断を行う（Ｓ５０５）。すなわち、演算で得られる関数値が負の値になるか否かを判断する。そして、重み係数が負であると判断した場合（Ｓ５０５でＹＥＳ）、積算値が第１否定閾値よりも小さいか否かの判断を行う（Ｓ５０６）。前述したように、重み係数が負の場合では、演算を行う毎に積算値は小さくなるので、積算値が第１否定閾値よりも小さくなった場合、判別式ｆ(ｘ)の値が第１否定閾値よりも大きくなることはない。そこで、サブ識別器５１は、積算値が第１否定閾値よりも小さい場合（Ｓ５０６でＹＥＳ）、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）に属さないと識別して、そのシーンの欄に否定フラグを立てる（図７のＳ２０７）。

また、Ｓ５０６において積算値が第１否定閾値以上であると判断した場合（Ｓ５０６でＮＯ）、又は、Ｓ５０５において重み係数が正であると判断した場合（Ｓ５０５でＮＯ）、サブ識別器５１は、次のサンプルが有るか否かの判断を行う（Ｓ５０９）。次のサンプルが有ると判断した場合（Ｓ５０９でＹＥＳ）、図１９Ｂの識別用テーブルの重み係数の大きい側からサンプルを選択するＳ５０２を実行する。

次のサンプルが無いと判断した場合（Ｓ５０９でＮＯ）、サブ識別器５１は、その積算値である判別式の値が肯定閾値よりも大きいか否かを判断する（Ｓ５１０）。判別式の値が肯定閾値よりも大きいと判断した場合（Ｓ５１０でＹＥＳ）、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）に属するとして、そのシーンの欄に肯定フラグを立てる（図７のＳ２０５）。なお、Ｓ５０６より積算値が第１否定閾値以上であるので、判別式は第１否定閾値以上の値であることになり、判別式と第１否定閾値との比較を行う必要はない。そこで、サブ識別器５１は、判別式の値が肯定閾値以下であると判断した場合（Ｓ５１０でＮＯ）、対応するシーンであるとは判断できず、次のサブ識別器５１が有るか否かの判断を行う（図７のＳ２０８）。

こうすることによって、例えば、積算値が図２１のように変化する場合、ａ個のサンプルまでの積算結果によって、識別対象画像が、サブ識別器５１に対応するシーンでないと識別できることになる。つまり、残りの（ｎ−ａ）個のサンプルの演算処理を省略することができる。これにより、サブ識別器５１の識別処理の速度を速めることができる。

また、重み係数が負（関数値が負）のときに、積算値が第１否定閾値より小さいか否かを判断しているので、積算される関数値が正の時点で積算値が第１否定閾値よりも小さくても、識別対象画像が対応するシーンに属さないとは識別されないことになる。これにより確実に識別処理を行うことができる。

なお、サブ識別器５１が識別用テーブルをソートする際に、負の符号の重み係数を、絶対値の大きい順にソートするようにすると、重み係数が正から負に切り替わった直後、絶対値の大きい関数値から積算されることになり積算値の変化量が大きくなる。よって、積算値が第１否定閾値に達するまでの演算(積算回数)が少なくなり、より識別処理の速度を速めることができる。

＝＝＝第２実施形態＝＝＝
第１実施形態で説明したように、サブ識別器５１が、図１９Ｂの識別用テーブルに基づいて、重み係数の大きい順（正から負の順）に判別式の演算を行うようにすると、重み係数が負の場合には、サンプル数が増加するにつれて積算値は小さくなる。このことにより、判別式の演算の途中で積算値が肯定閾値以下となった場合、識別対象画像がサブ識別器５１に対応するシーンに属すると識別できないことを判断することもできる。

図２２は、本発明の第２実施形態にかかる識別処理を説明するためのフロー図である。図２２において、Ｓ６０１〜Ｓ６０５は、図２０のＳ５０１〜Ｓ５０５と対応しており、それぞれ同じ処理を行う。よって、この部分の説明を省略し、Ｓ６０５以降の処理について説明する。なお、サブ識別器５１は、第１実施形態と同様に図１９Ｂの識別用テーブルに基づいて、重み係数の大きい順（正から負となる順）にサンプルを選択することとする。

サブ識別器５１は、重み係数が負であるか否かを判断するＳ６０５において、重み係数が負であると判断した場合（Ｓ６０５でＹＥＳ）、積算値が肯定閾値よりも大きいか否かの判断を行う（Ｓ６０６）。前述したように、重み係数が負の場合では、演算を行う毎に積算値は小さくなるので、積算値が肯定閾値以下となる場合、判別式の値が肯定閾値よりも大きくなることはない。そこで、サブ識別器５１は、積算値が肯定閾値以下の場合（Ｓ６０６でＮＯ）、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）に属すると識別できないと判断して、次のサブ識別器５１が有るか否かの判断を行う（図７のＳ２０８）。つまり、積算値が肯定閾値以下となった時点で、そのサブ識別器５１による識別処理を終了する。

一方、サブ識別器５１は、Ｓ６０６において積算値が肯定閾値よりも大きいと判断した場合（Ｓ６０６でＹＥＳ）、又は、Ｓ６０５において重み係数が正であると判断した場合（Ｓ６０５でＮＯ）、次のサンプルが有るか否かの判断を行う（Ｓ６０７）。次のサンプルが有ると判断した場合（Ｓ６０７でＹＥＳ）、そのサンプルを選択するＳ６０２を実行する。

次のサンプルが無いと判断した場合（Ｓ６０７でＮＯ）、サブ識別器５１は、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）に属するとして、そのシーンの欄に肯定フラグを立てる（図７のＳ２０５）。

この第２実施形態では、図２１に示すｂ個のサンプルまでの演算によって、識別対象画像が識別処理に対応するシーンに属すると識別できないと判断し、その識別処理を終了することになる。よって、（ｎ−ｂ）個のサンプルに対する識別処理を省略することができる。なお、肯定閾値は第１否定閾値よりも大きい値であり、重み係数が負の場合、サンプル数が増加するにつれて積算値が小さくなるのでｂ＜ａである。つまり、（ｎ−ａ）個の演算を省略する第１実施形態よりも演算回数が少なくなるので、識別処理の速度をより速めることができる。

特に、図２３に示すように、積算値がピークとなるときに（重み係数が正から負に切り替わるＡで）、積算値が肯定閾に達しない場合、負の重み係数のサンプルに対する演算を全て省略することができ、識別処理をさらに高速に行うことができる。

ただし、この第２実施形態では、重み係数が負の場合に積算値が肯定閾値以下になった時点で、そのシーンに対する判別式の演算が打ち切られることになるので、判別式の値が算出されないことになる。よって、第１否定閾値によってそのシーンを除外することはできなくなる（否定フラグを立てるＳ２０７を実行できなくなる）。また、各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する統合識別処理を行えないことになる。この場合、例えば、統合識別器７０は、例えば「その他」のシーンと識別するようにしておくようにする。

この第２実施形態による識別処理では、第１実施形態よりも、各サブ識別器５１における識別処理の高速化を図ることができ、後段の識別処理により早く進むことができる。

また、重み係数が負（関数値が負）のときに、積算値が肯定閾値より小さいか否かを判断しているので、積算される関数値が正の時点で積算値が肯定閾値よりも小さくても、識別対象画像が対応するシーンに属するとはいえないと識別されない。これにより確実に識別処理を行うことができる。

なお、重み係数が負の値のサンプルに対する演算において、重み係数の絶対値の大きい順に演算が行われるようにすると、重み係数が正から負に切り替わった直後、絶対値の大きい関数値から積算されることになり積算値の変化量が大きくなる。よって、積算値が肯定閾値以下となるまでの演算が少なくなり、より識別処理の速度を速めることができる。

＝＝＝第３実施形態＝＝＝
第１実施形態および第２実施形態では、サブ識別器５１は、判別式の演算を各サンプルに対する重み係数の大きい順（正から負の順）に行うこととしたが、第３実施形態では、重み係数の小さい順（負から正の順）に行う。

図２４は、本発明の第３実施形態にかかる識別処理を説明するためのフロー図である。また、図２５は、重み係数の小さい順に判別式の演算を行った場合のサンプル数と積算値の関係の一例を示す図である。第３実施形態では、サブ識別器５１は、図１９Ｂの識別用テーブルを用いて、重み係数の小さい側（紙面下側）からサンプルを選択することとする。なお、例えば、サブ識別器５１が、図１９Ａの識別用テーブルを重み係数の小さい順に（負から正の順）にソートし、その識別用テーブル（不図示）に基づいて重み係数の小さい順からサンプルを選択するようにしてもよい。

サブ識別器５１は、図７のＳ２０２において、識別対象のシーンであると判断すると（Ｓ２０２でＹＥＳ）、サポートベクタマシンによる演算を行う。まず、図２４に示すように、積算値の初期値としてゼロを設定する（Ｓ７０１）。そして、サブ識別器５１は、図１９Ｂの識別用テーブルの重み係数の小さい側（紙面下側）から順に対応するサンプルを選択し（Ｓ７０２）、式（２）によってカーネルｋ(ｘ)の値を算出する（Ｓ７０３）。そして、サブ識別器５１は、このカーネルｋ(ｘ)に重み係数（ｗ_ｉ）を乗算して、その乗算で得られた関数値を積算値に積算する（Ｓ７０４）。

前述したように、この関数値は、重み係数が正の場合には正の値となり、重み係数が負の場合には負の値となる。また、重み係数の小さい順（負から正の順）にサンプルが選択されているので、積算値は、図２５に示すように変化する。つまり、重み係数が負では、サンプル数が増加するにつれて積算値が小さくなり、重み係数が正になると、サンプル数が増加するにつれて積算値が大きくなる。なお、図２５において、積算値が肯定閾値より大きくなるときのサンプル数をｃ、全サンプル数をｎ（ｎ＞ｃ）で示している。

サブ識別器５１は、重み係数の符号が正であるか否かの判断を行う（Ｓ７０５）。そして、重み係数が正であると判断した場合（Ｓ７０５でＹＥＳ）、積算値が肯定閾値よりも大きいか否かの判断を行う（Ｓ７０６）。重み係数が正の場合では、演算を行う毎に積算値は大きくなるので、積算値が肯定閾値よりも大きくなった場合、判別式の値が肯定閾値以下となることはない。そこで、サブ識別器５１は、積算値が肯定閾値よりも大きいと判断した場合（Ｓ７０６でＹＥＳ）、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）に属するとして、そのシーンの欄に肯定フラグを立てる（図７のＳ２０５）。

また、Ｓ７０６において積算値が肯定閾値以下であると判断した場合（Ｓ７０６でＮＯ）、又は、Ｓ７０５において重み係数が負であると判断した場合（Ｓ５０５でＮＯ）、サブ識別器５１は、次のサンプルが有るか否かの判断を行う（Ｓ７０７）。次のサンプルが有ると判断した場合（Ｓ７０７でＹＥＳ）、そのサンプルを選択するＳ７０２を実行する。

次のサンプルが無いと判断した場合（Ｓ７０７でＮＯ）、サブ識別器５１は、その積算値（判別式の値）が第１否定閾値よりも小さいか否かを判断する（Ｓ７０８）。判別式の値が第１否定閾値よりも小さいと判断した場合（Ｓ７０８でＹＥＳ）、サブ識別器５１は、識別対象画像が当該サブ識別器５１に対応するシーン（例えば「風景」のシーン）には属さないとして、そのシーンの欄に否定フラグを立てる（図７のＳ２０７）。一方、判別式の値が第１否定閾値以上であると判断した場合（Ｓ７０８でＮＯ）、シーンを特定することができず、次のサブ識別器５１が有るか否かの判断を行う（図７のＳ２０８）。

このように、第３実施形態では、重み係数の小さい順から演算を行うことによって、図２５に示すｃ個のサンプルまでの演算が終わった時点で、識別対象画像が、その識別処理に対応するシーンに属すると識別することができる。よって、残りの（ｎ−ｃ）個のサンプルに対する演算を省略でき、これにより識別処理の速度を向上させることができる。

また、重み係数が正（関数値が正）のときに、積算値が肯定閾値より大きいか否かを判断しているので、例えば積算される関数値が負の時点で積算値が肯定閾値よりも大きくても、識別対象画像が対応するシーンに属するとは識別されない。これにより確実に識別処理を行うことができる。

なお、重み係数が正の値のサンプルに対する演算において、重み係数の値の大きい順に演算が行われるようにすると、重み係数が負から正に切り替わった直後、値の大きい関数値から積算されることになり積算値の変化量が大きくなる。よって、積算値が肯定閾値を超えるまでの演算回数を減らすことができ、識別処理の速度をより速めることができる。

＝＝＝第４実施形態＝＝＝
前述した実施形態では、全体識別器５０のサブ識別器５１での識別処理について説明したが、部分識別器６０のサブ部分識別器６１の場合、部分画像毎にサポートベクタマシンによる識別（部分識別処理）を行う。部分識別処理では、部分画像の部分特徴量に基づいて、特定のシーンに属するか否かが部分画像毎に識別される。具体的には、サブ部分識別器６１は、算出した判別式の値が正であればその部分画像が対応するシーンに属すると識別し、負であればその部分画像が対応するシーンには属さないと識別する。つまり、部分識別処理では、サポートベクタマシンの識別対象は部分画像であり、その識別の閾値はゼロである。そして、判別式の値が正となった部分画像の数（カウント数）が肯定閾値を超えた場合に、その(全体)画像が対応するシーンに属すると識別される。

この部分識別処理の場合においても、部分画像毎に前述した識別処理と同様の処理を行うことができる。
例えば、第１実施形態及び第２実施形態と同様に、サブ識別器６１が、重み係数を大きい順（正から負の順）にソートした識別用テーブル（不図示）を作成し、識別用テーブルに基づいて重み係数の大きい側から判別式の演算を行うことにより、積算値が負になった時点で、その部分画像が対応するシーンに属さないと識別することができる。
あるいは、第３実施形態と同様に、サブ識別器６１が、重み係数の小さい側から演算を行うことにより、積算値が正になった時点で、その部分画像が対応するシーンに属すると識別することができる。
これにより、部分画像毎に対する識別を早く打ち切ることができ、識別に時間のかかりがちである部分識別処理の処理速度を速めることができる。

＝＝＝その他の実施形態＝＝＝
一実施形態としてプリンタ４によって画像のシーンの識別処理を行う場合について説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

例えば、本発明の識別処理の識別対象は、画像に限定されるものではない。すなわち、サポートベクタマシンを用いた識別によって、複数のカテゴリに分類できるものであれば、識別対象となりうる。

画像処理システムの説明図である。プリンタの構成の説明図である。プリンタの自動補正機能の説明図である。画像のシーンと補正内容との関係の説明図である。シーン識別部によるシーン識別処理のフロー図である。シーン識別部の機能の説明図である。全体識別処理のフロー図である。識別対象テーブルの説明図である。全体識別処理の肯定閾値の説明図である。 RecallとPrecisionの説明図である。第１否定閾値の説明図である。第２否定閾値の説明図である。図１６Ａは、閾値テーブルの説明図である。図１６Ｂは、風景識別器における閾値の説明図である。図１６Ｃは、風景識別器の処理の概要の説明図である。部分識別処理のフロー図である。夕景部分識別器が選択する部分画像の順番の説明図である。上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。統合識別処理のフロー図である。図１９Ａは、サポートベクタマシンでの演算に用いる識別用テーブルを示す図である。図１９Ｂは、図１９Ａの識別用テーブルが重み係数の大きい順にソートされた状態を示す図である。本発明の第１実施形態にかかる識別処理を説明するためのフロー図である。重み係数の大きい順に演算を行った場合の、サンプル数と積算値の関係を示す図である。本発明の第２実施形態にかかる識別処理を説明するためのフロー図である。積算値とサンプル数の関係を示す図である。本発明の第３実施形態にかかる識別処理を説明するためのフロー図である。重み係数の小さい順に演算を行った場合の、サンプル数と積算値の関係を示す図である。

符号の説明

２デジタルスチルカメラ、２Ａモード設定ダイヤル、
４プリンタ、６メモリカード、１０印刷機構、
１１ヘッド、１２ヘッド制御部、１３モータ、１４センサ
２３メモリ、２４制御ユニット、２５駆動信号生成部、
３１記憶部、３１Ａ画像記憶部、３１Ｂ結果記憶部、
３２顔識別部、３３シーン識別部、３４画像補正部、３５プリンタ制御部、
４０特徴量取得部、５０全体識別器、５１サブ識別器、５１Ｌ風景識別器、
５１Ｓ夕景識別器、５１Ｎ夜景識別器、５１Ｆ花識別器、５１Ｒ紅葉識別器、
６０部分識別器、６１サブ部分識別器、６１Ｓ夕景部分識別器、
６１Ｆ花部分識別器、６１Ｒ紅葉部分識別器、７０統合識別器

Claims

識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、
各サポートベクタに対する前記関数値を積算した積算値を算出し、
前記積算値が閾値よりも小さい場合に、前記識別対象が特定のカテゴリに属さないと識別するカテゴリ識別方法であって、
前記積算値の算出は、前記関数値が正の値となるものを積算し、その後、前記関数値が負の値となるものを積算することによって行い、
前記積算値が前記閾値よりも小さくなった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属さないと識別する
ことを特徴とするカテゴリ識別方法。
請求項１に記載のカテゴリ識別方法であって、
前記積算値に積算される前記関数値が負の値であるかを判断し、
前記関数値が負の値であり、且つ、前記積算値が前記閾値よりも小さくなった場合、前記識別対象が前記特定のカテゴリに属さないと識別する
ことを特徴とするカテゴリ識別方法。
請求項１又は２に記載のカテゴリ識別方であって、
負の値の前記関数値は、絶対値の大きいものから順に前記積算値に積算される
ことを特徴とするカテゴリ識別方法。
識別対象と、識別境界に寄与するサポートベクタとの関係に応じた関数値を算出し、
各サポートベクタに対する前記関数値を積算した積算値を算出し、
前記積算値が閾値よりも大きい場合に、前記識別対象が特定のカテゴリに属すると識別するカテゴリ識別方法であって、
前記積算値の算出は、前記関数値が正の値となるものを積算し、その後、前記関数値が負の値となるものを積算することによって行い、
前記積算値が前記閾値以下になった場合、残りの前記関数値を積算することなく、前記識別対象が前記特定のカテゴリに属すると識別できないと判断する
ことを特徴とするカテゴリ識別方法。
請求項４に記載のカテゴリ識別方法であって、
前記積算値に積算される前記関数値が負の値であるかを判断し、
前記関数値が負の値であり、且つ、前記積算値が前記閾値以下になった場合、前記識別対象が前記特定のカテゴリに属すると識別できないと判断する
ことを特徴とするカテゴリ識別方法。
請求項４又は５に記載のカテゴリ識別方であって、
負の値の前記関数値は、絶対値の大きいものから順に前記積算値に積算される
ことを特徴とするカテゴリ識別方法。