JP3724147B2 - ホワイトボード撮影用色補正装置 - Google Patents
ホワイトボード撮影用色補正装置 Download PDFInfo
- Publication number
- JP3724147B2 JP3724147B2 JP26744597A JP26744597A JP3724147B2 JP 3724147 B2 JP3724147 B2 JP 3724147B2 JP 26744597 A JP26744597 A JP 26744597A JP 26744597 A JP26744597 A JP 26744597A JP 3724147 B2 JP3724147 B2 JP 3724147B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- data
- image
- discrimination
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、赤、緑、青等の色成分の画像データに分離して取り込まれている画像の色を当該色成分の画像データを用いて判別する色判別機能を有するホワイトボード撮影用色補正装置に関するものである。
【０００２】
【従来の技術】
従来、電気信号からなる画像の色を判別する方法として、画像を構成する色成分データの正規化データを用いて色判別する方法が知られている。例えば特開平６−１０５０９１号公報には、画像を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画像データＸr，Ｘg，Ｘbをｘi＝Ｘi／（Ｘr＋Ｘg＋Ｘb）（ｉ＝ｒ，ｇ，ｂ）の演算式により正規化データとした後、図３６に示すように、正規化データｘr，ｘgの点Ｐのｘr-ｘg平面（三角形の平面）内における位置に基づいてその画像の色判別を行う方法が示されている。
【０００３】
また、特開平５−２９８４４３号公報には、各画素位置毎に、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbをこれらの最大値Ｘmax｛Ｘr，Ｘg，Ｘb｝で割って正規化したデータを算出し、この正規化データを用いて色判別する方法が示されている。この色判別方法は、隣接する画素位置の正規化データとの差の２乗和によって領域を分割し、各分割領域毎にＲ，Ｇ，Ｂの色成分の正規化データの平均値を算出し、この算出結果と予め設定された色の正規化データとを比較して最も近似した色をその領域の色とするものである。
【０００４】
また、特開平５−１３７０１１号公報には、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの最大値と最小値との差を演算し、その演算結果が予め設定された所定の閾値より小さい場合は、無彩色と判別し、所定の閾値以上の場合は、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの大小の組合わせによって有彩色の色を判別する方法が示されている。そして、無彩色と判別された場合は、更に輝度データで白と黒との判別が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbから生成される正規化データは、画像に含まれる色成分の偏差の度合いを示すもので、有彩色の色を識別するには有効なデータであるが、明度の情報は捨象されているので、輝度が低すぎたり、高すぎる画像の色判別では誤判別のおそれがある。
【０００６】
例えば低輝度の色（暗い色）の場合は、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの偏差がかなり大きくなければ、有彩色の正確な色判別は困難である。例えば（Ｘr，Ｘg，Ｘb）＝（６０，２０，２０）の画像は、Ｒの色成分の偏差が大きいので、正規化データを用いた色判別では赤と判別されるが、実際には輝度が小さいので、赤よりは黒に近い色になっており、正規化データによる色判別結果と実際の色とが一致しない。また、（Ｘr，Ｘg，Ｘb）＝（２００，１６０，１６０）と画像は、Ｒの色成分の偏差が小さいので、正規化データを用いた色判別では、灰色と判別されることがあるが、実際には明るい赤色を示していることが多く、この場合も正規化データによる色判別結果と実際の色とが一致しない。
【０００７】
従って、上記従来の色判別方法は、いずれも色成分の偏差のみを用いるものであるので、無彩色も含めて色判別する場合、有彩色と無差色との色判別で誤判別が生じやすくなるという問題がある。なお、特開平５−１３７０１１号公報に示される色判別では、輝度データも用いられているが、これは無彩色における白黒判別にのみ使用され、有彩色と無彩色との色判別には利用されていないので、上述の問題を解決し得るものではない。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、無彩色と有彩色の色判別並びに無彩色における白黒判別を容易且つ正確に行うことのできる色判別機能を有するホワイトボード撮影用色補正装置を提供するものである。
【０００９】
【課題を解決するための手段】
本発明は、複数の色成分の画像データからなるカラー画像の色を判別する色判別機能を有するホワイトボード撮影用色補正装置であって、上記画像データを用いて上記カラー画像の輝度情報を演算する第１の演算手段と、上記画像データを用いて上記カラー画像の色情報を演算する第２の演算手段と、上記色情報を用いて有彩色と無彩色とを判別する第１の色判別手段と、上記輝度情報を用いて上記第１の色判別手段で無彩色と判別された色が白／黒のいずれであるかを判別する第２の色判別手段と、上記色情報と上記輝度情報とを用いて上記第１の色判別手段で有彩色と判別された色が予め設定された複数の色のいずれであるかを判別する第３の色判別手段と、前記カラー画像の色を前記第３の色判別手段により判別された色に置換する色データ置換手段とを備えたものである（請求項１）。
【００１０】
上記構成によれば、カラー画像を構成する複数の色成分の画像データを用いて当該カラー画像の輝度情報と色情報とが算出される。そして、色情報を用いて有彩色と無彩色とが判別され、この判別で無彩色と判別されたときは、更に輝度情報を用いてその色が白／黒のいずれであるかが判別される。この判別は、輝度情報を所定の閾値と比較し、例えば輝度情報が閾値より大きいときは白、閾値より小さいときは黒と判別される。
【００１１】
また、有彩色と判別されたときは、色情報と輝度情報とを用いてその色が予め設定された色（例えば赤、緑、青、白、黒等の色）のいずれであるかが判別される。この判別は、輝度情報を白色、黒色、これ以外の色（赤、緑、青の色）に識別する２個の所定の閾値と比較し、例えば輝度情報がレベルの低い第１の閾値より小さいときは黒色、レベルの高い第２の閾値より高いときは白色、第１の閾値と第２の閾値との間では白又は黒以外の色と判別される。更に白又は黒以外の色と判別されたときは、色情報を用いて予め設定された色（赤、緑、青の色）のいずれであるかが判別される。そして、判別された色に、上記カラー画像の色が置換されるものである。
【００１２】
上記色補正装置において、さらに、ホワイトボードに描かれた着色部分を含む被写体を撮影可能な撮影手段と、前記撮影手段で撮影された画像の前記ホワイトボードの着色部分の色データを登録する色登録手段とを備えていることが望ましい（請求項２）
【００１３】
また、本発明は、上記色補正装置において、上記色情報は、各色成分毎に算出された上記画像データの２次以上の冪乗値に対する正規化データとしたものである（請求項３）。この構成によれば、各色成分毎に算出された上記画像データの２次以上の冪乗値に対する正規化データが色情報として算出される。すなわち、複数の色成分の画像データをＸ(i)（ｉ＝１，２，…ｎ）とすると、各色成分の正規化データｘ(i)はｘ(i)＝Ｘ(i)k／{Ｘ(1)k＋Ｘ(2)k＋…Ｘ(n)k}（ｋ≧２）の演算式により算出される。この正規化データは、カラー画像の各色成分の偏差の度合いを示すので、各色成分の正規化データを用いてカラー画像の白又は黒以外の色の判別が行われる。
【００１４】
また、本発明は、上記色補正装置において、上記色成分は、赤、緑、青の３原色としたものである（請求項４）。
【００１５】
上記構成によれば、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像データを用いてカラー画像の輝度情報と色情報とが算出される。輝度情報は、例えばＧの色成分の画像データを用いて算出される。また、色情報として各色成分の画像データの２次以上の冪乗値に対する正規化データを用いる場合は、赤、緑、青の色成分データをＸr，Ｘg，Ｘbとし、正規化データをｘr，ｘg，ｘbとすると、各色成分の正規化データがｘi＝Ｘik／{Ｘrk＋Ｘgk＋Ｘbk}（ｉ＝ｒ，ｇ，ｂ、ｋ≧２）の演算式により算出され、この正規化データｘr，ｘg，ｘbを用いて色判別が行われる。例えば正規化データｘg，ｘbを用い、ｘr-ｘg-ｘb座標におけるｘg-ｘb平面内の点（ｘg，ｘb）の座標位置から画像の色判別が行われる。
【００１６】
【発明の実施の形態】
本発明について、本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラを例に説明する。
【００１７】
図１は、本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの一実施の形態の外観を示す斜視図、図２は、同デジタルカメラの背面図である。
【００１８】
同図において、デジタルカメラ１は、前面の略中央にズームレンズからなる撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設されている。
【００１９】
投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光の被写体からの反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。
【００２０】
デジタルカメラ１の側面にはハードディスクカード１０（以下、ＨＤカード１０と略称する。）が装着脱されるカード挿入口７が設けられ、このカード挿入口７の上部にＨＤカード１０をイジェクトするためのカード取出ボタン８が設けられている。また、デジタルカメラ１の上面左端部にシャッタボタン９が設けられている。
【００２１】
撮影結果をプリントアウトする場合、カード取出ボタン８を押してＨＤカード１０をデジタルカメラ１から取り外し、ＨＤカード１０が装着可能なプリンタにこのＨＤカード１０を装着してプリントアウトすることができる。
【００２２】
なお、デジタルカメラ１にＳＣＳＩケーブルのインターフェースを設け、デジタルカメラ１とプリンタとをＳＣＳＩケーブルで接続し、デジタルカメラ１からプリンタに画像データを転送して直接、撮影画像をプリントアウトさせるようにしてもよい。
【００２３】
また、本実施の形態では画像データの記録媒体としてＰＣＭＣＩＡ準拠のハードディスクカードを採用しているが、撮影結果を画像データとして記憶できるものであれば、メモリカードやミニディスク（ＭＤ）等の他の記録媒体でもよい。
【００２４】
デジタルカメラ１の背面には、図２に示すように、その上部の左端部に電源投入用のメインスイッチ１１が設けられ、略中央にファインダー接眼窓１２が設けられている。また、メインスイッチ１１の下部には、色補正スイッチ１３、ノイズ修正スイッチ１４及び濃度設定スイッチ１５が設けられている。
【００２５】
更に、デジタルカメラ１の背面右端部に、モード変更スイッチ１６、色登録確認表示部１７、色選択ボタン１８、セットボタン１９及びデフォルトボタン２０が設けられている。
【００２６】
ホワイトボードに書かれた文字や図表などを直接、撮影して記録資料とする場合、その撮影画像については通常の写真撮影のような描写性の高い画質よりも文字等が明瞭な情報性の高い画質が要求される。色補正スイッチ１３は、このような撮影画像に対して文字、線図等の濃度を明瞭にするとともに、色分けを明確にする所定の画像処理を指示するためのスイッチである。
【００２７】
この画像処理では、ホワイトボードには通常、赤、青、緑、橙、黒等の数種類のカラーペンで文字、図表等が書かれること、また、この文字、図表等を撮影した画像では色再現性よりも撮影画像の文字等の情報性（見易さ、判り易さ等）が重視されることから、撮影された画像内の文字等が赤、青、緑、橙、黒等のいずれの色に着色されているかを判別し、その文字等に判別結果に応じた予め設定された所定の色を割り付ける処理（その文字等を構成する領域の画像データを予め設定された色の画像データで置換する処理）が行われる。
【００２８】
色補正スイッチ１３がオンであれば、撮影画像に対する上記画像処理が行われ、オフであれば、撮影画像に対する上記画像処理は行われず、通常の写真撮影に対する画像処理が行われる。従って、通常の写真撮影を行う撮影モードを「ノーマルモード」、ホワイトボードに書かれた文字等の記録撮影を行う撮影モードを「ドキュメントモード」とすると、色補正スイッチ１３はノーマルモードとドキュメントモードとを切換設定するスイッチとなっている。
【００２９】
ノイズ修正スイッチ１４は、ドキュメントモードにおける上記画像処理において、撮影画像の文字等にノイズとして発生した偽色を修正するためのスイッチである。ノイズ修正スイッチ１４をオンにすると、後述するように撮影画像の文字等に発生した偽色の修正処理が行われ、オフにすると、その修正処理は行われない。ノイズ修正スイッチ１４はドキュメントモードで機能するため、色補正スイッチ１３がオフになっているときにノイズ修正スイッチ１４をオンにしても、偽色修正処理の指示は無視される。
【００３０】
濃度設定スイッチ１５は、ドキュメントモードの画像処理において、例えば線の細い文字や濃度の淡い図形等が明瞭な画像となるようにするために、被写体の濃度情報を設定するものである。濃度設定スイッチ１５で設定された濃度情報は、ドキュメントモードの画像処理の色判別における判別閾値を被写体の濃度に応じて切り換える際に用いられる。本実施の形態では、濃度設定スイッチ１５により「濃」，「淡」、２種類の濃度情報が切換設定される。濃度設定スイッチ１５もドキュメントモードにおいて機能するため、色補正スイッチ１３がオフになっているときに濃度設定スイッチ１５をオンにしても、文字等の濃度の修正処理の指示は無視される。なお、濃度設定は、連続的に設定できるようにしていてもよい。
【００３１】
モード変更スイッチは、写真撮影を行う撮影モードと色判別の際の判別色の登録を行う色登録モードとを切換設定するものである。色登録モードは、色見本（ホワイトボード上にカラーペンで作成されたカラーパッチ等）を実際に撮影して上述の色判別処理及び色置換処理で使用される色の画像データを設定、登録する処理を行うためのモードである。なお、デジタルカメラ１には予め色データのデフォルト値が設定されており、ユーザーが色登録モードにおいて、色データを登録設定しなかった場合は、このデフォルト値が色判別及び色データ置換の処理に利用される。
【００３２】
本実施の形態では、図３に示すように、赤、青、橙、緑の４つの色について登録することができるようになっている。従って、モード変更スイッチ１６が「色登録」に設定されていると、赤、青、橙、緑の４つの色について、色見本を撮影して所望の色データを登録することができ、モード変更スイッチ１６が「撮影」に設定されていると、写真撮影が可能になる。
【００３３】
色登録確認表示部１７は、色登録の内容や色データ置換処理における使用色を表示するものである。色登録確認表示部１７は、色登録モードにおいては、登録すべき色の選択を行うための表示部として、また、撮影モードにおいては、色データ置換処理に使用する色の選択を行うための表示部としても機能する。図３において、「赤」、「青」、「橙」及び「緑」の表示は、登録可能な色の種類を示すものである。本実施例では、４種類の色を登録可能にしているが、４種類以上の色を登録可能にしてもよく、また、上記４種類の色以外の色（例えば黄、茶等の色）を登録可能にするようにしてもよい。
【００３４】
上部にバー表示１７１が付されている色は、色登録又は色使用の選択を行う際、その色が選択されていることを示している。図３では、「青」が選択されている。このバー表示１７１は、色選択ボタン１８の操作により左右に移動し、ユーザーは、色登録モードにおいて色選択ボタン１８を操作することにより所望の色を選択することができるようになっている。なお、右側の色選択ボタン１８を押す毎に、バー表示１７１は「赤→青→橙→緑→赤」と右方向に移動し、左側の色選択ボタン１８を押す毎に、バー表示１７１は「緑←赤←青←橙←緑」と左方向に移動する。
【００３５】
また、色登録欄の○印表示１７１で囲まれている色は、その色が登録されていることを示し、○印表示１７１で囲まれていない色は、その色が登録されていないことを示している。色登録は、色登録モードを設定し、バー表示１７１で所望の色、例えば「赤」を選択した後、ホワイトボード上の適当な大きさの領域を赤ペンで塗り潰す等して作成した色見本を撮影することにより行われる。この場合、ファインダー内には、図４に示すように、中央部に色データ取込範囲を示す枠２１が表示され、この枠２１内の一定の領域以上に色見本２２が含まれるようにフレームを調整して撮影すると、色データの登録処理が行われる。色登録モードでの撮影では、撮影画像内の枠２１内に含まれる画像データを用いて、その枠内の色（図４の例では赤）を構成するＲ，Ｇ，Ｂの色成分のデータとこれらのデータを用いて生成された２次の正規化データ（後述する）とが登録される（メモリに記憶される）。
【００３６】
色使用欄は、色補正モードにおける色判別及び色データ置換の処理において、登録色又はデフォルト色が使用されるか否かを示す表示である。○印表示１７３で「ＯＮ」が囲まれている色は、使用されることを示し、「ＯＦＦ」が囲まれている色は使用されないことを示す。図３の表示例では、橙を除く赤、青、緑の３色が色データ置換処理に使用されることを示している。
【００３７】
色使用欄のＯＮ／ＯＦＦ設定は、色登録モードにおいて、色選択ボタン１８により色を選択した後、セットボタン２０を操作して行われる。色使用欄の○印表示１７３の位置は、セットボタン２０を押す毎にＯＮとＯＦＦとが交互に切り換わり、ユーザーは、○印表示１７３の表示位置を見ながらセットボタン２０を操作することで色の使用／不使用を設定することができる。
【００３８】
デフォルトボタン２０は、色登録した色をデフォルト色に戻すための操作ボタンである。色登録モードにおいて、バー表示１７１で所望の色に設定した後、デフォルトボタン２０を押すと、○印表示１７２の表示が消え、色登録が抹消される。
【００３９】
図５は、本発明に係るデジタルカメラのドキュメントモードにおける撮影画像の画像処理に関するブロック構成図である。
同図において、図１，図２に示した部材と同一の部材には同一番号を付している。また、撮像部２３は、撮影レンズ２により撮像素子の撮像面に結像された被写体光像を画像信号に変換して出力するものである。撮像部２３には、例えばＣＣＤカラーエリアセンサからなる撮像素子とこの撮像素子（以下、ＣＣＤという。）の駆動を制御するＣＣＤ駆動制御回路とＣＣＤから出力される画像信号（アナログ信号）のノイズ低減、レベル調整等の所定の信号処理を行うアナログ信号処理回路が含まれている。
【００４０】
ＣＣＤカラーエリアセンサは、被写体光像をＲ，Ｇ，Ｂの色成分の画像データに分離して出力するものであり、単板式エリアセンサ、３板式エリアセンサのいずれであってもよい。撮像部２３は、カメラの撮影動作を集中制御する制御部３４から入力される露出制御値（シャッタスピード）に基づきＣＣＤの撮影動作（電荷蓄積及び蓄積電荷の読出）が制御される。すなわち、制御部３４からの露光開始信号に基づきＣＣＤの露光（電荷蓄積）が開始され、所定時間経過後に露光が終了すると、その蓄積電荷がＲ，Ｇ，Ｂの色成分毎にＣＣＤから読み出され、アナログ信号処理回路で所定の信号処理が行われた後、Ａ／Ｄ変換器２４を介して画像処理部２６に読み出される。
【００４１】
Ａ／Ｄ変換器２４は撮像部２３から読み出されたアナログの画像信号を、例えば８ビットのデジタルの画像信号（以下、画像データという。）に変換するものである。
【００４２】
画像処理部２５は、Ａ／Ｄ変換器２４から入力された画像データに、ノーマルモードにおいてはホワイトバランス、γ補正、シェーディング補正等の所定の画像処理を施し、ドキュメントモードにおいては後述する下地飛ばし、色補正、黒領域補正及色データ置換等の所定の画像処理を施し、所定の圧縮処理をした後、ＨＤカード１０に出力するものである。
【００４３】
ＨＤカード１０は、撮影画像を構成する画像データを記録する記録媒体である。また、カード駆動制御部２６は、ＨＤカードの駆動を制御するものである。
【００４４】
ＲＡＭ（Random Access Memory）２７は、制御部３４が撮影や色登録その他の機能に関する処理を行うためのメモリである。ＲＯＭ（Read Only Memory）２８は、撮像駆動の制御に必要なデータや処理プログラム、後述するドキュメンモードにおける下地飛ばし、色判別、黒領域補正、偽色消去等の各種処理を行うための必要なデータや処理プログラムが記憶されたメモリである。
【００４５】
また、測距部２９は、投光窓４及び受光窓５の後方位置に設けられた被写体距離を検出するものである。測光部３０は、測光窓３の後方位置に設けられたＳＰＣ等の受光素子を有し、被写体輝度を検出するものである。
【００４６】
設定色正規化演算部３１は、色登録モードにおいて、取り込まれた色見本の画像データを用いて、後述する正規化データを演算するものである。この正規化データは、Ｒ，Ｇ，Ｂの各色成分の画像データのレベルをＸr，Ｘg，Ｘbとし、正規化データをｘr，ｘg，ｘbとすると、ｘr＝Ｘr2／（Ｘr2＋Ｘg2＋Ｘb2），ｘg＝Ｘg2／（Ｘr2＋Ｘg2＋Ｘb2），ｘb＝Ｘb2／（Ｘr2＋Ｘg2＋Ｘb2）で算出され、ｘb-ｘg平面における正規化データの座標位置により色判別を行う際の色領域分割に利用される。なお、正規化データの座標位置による色判別方法の詳細は、後述する。
【００４７】
設定色正規化演算部３１は、色登録モードにおいて取り込まれた色見本の画像データの内、撮影画面内の枠２１に含まれる画像データを抽出し、更にその抽出データから予め設定された所定レベル以下の画像データを抽出する。この抽出処理は、図４において、枠２１内の赤の色見本に相当する画像データを抽出するものである。そして、設定色正規化演算部３１は、抽出された色見本の画像データを用いて２次の正規化データを演算する。この演算結果は、制御部３４を介してＲＡＭ２７に記憶される。
【００４８】
色領域設定演算部３２は、上述したｘb-ｘg平面における正規化データの座標位置により色判別を行う際の色領域を分割するものである。すなわち、例えば有彩色を青，緑，橙，赤の４色に色判別する場合、ｘb-ｘg平面における正規化データの座標位置による色判別では、ｘb-ｘg平面を青，緑，橙，赤の４つの色領域に分割し、正規化データの座標位置がいずれの色領域にあるかで色判別が行われるが、色領域設定演算部３２は、ｘb-ｘg平面を青，緑，橙，赤の４つの色領域に分割するための境界線を演算するものである。この境界線の演算結果もＲＡＭ２７に記憶される。なお、色領域の設定についても後述する。
【００４９】
制御部３４は、デジタルカメラ１の撮影動作を集中制御するもので、マイクロコンピュータで構成されている。制御部３４は、撮像部２３の駆動を制御して被写体光像を撮像し、画像処理部２５の駆動を制御して撮像画像に所定の画像処理を施すとともに、カード駆動制御部２６の駆動を制御して画像処理後の撮像画像をＨＤカードに記録する。
【００５０】
図６は、画像処理部２５のドキュメントモードにおける画像処理（色補正処理）に関するブロック構成図である。
【００５１】
画像処理部２５には、ドキュメントモードにおける色補正処理を行うための回路ブロックとして、画像メモリ２５１、第１ノイズ消去部２５２、下地飛ばし演算部２５３、γ特性設定部２５４、色判別部２５５、黒領域補正部２５６、第２ノイズ消去部２５７及び色置換部２５８（色データ置換手段）が含まれている。
【００５２】
ドキュメントモードにおいては、図７に示すように、画像処理部２５に入力にされた画像データは、まず、下地を白く飛ばす前処理が行われた後（処理Ａ）、各画素位置の画像データ（Ｒ，Ｇ，Ｂの画像データ）の２次の冪乗値について正規化データが作成され（処理Ｂ）、この正規化データを用いて色判別が行われる（処理Ｃ）。そして、文字等を構成する画像データのうち、誤って色判別された画像データが修正されるとともに、黒色領域の画像データのうち、有彩色に着色された画像データが修正された後（処理Ｄ）、各画素位置の画像データが色判別結果に基づく所定の色データに置換されてＨＤカード１０に出力される（処理Ｅ）。
【００５３】
画像メモリ２５１は、Ａ／Ｄ変換器２４から入力されるＲ，Ｇ，Ｂの各色成分の画像データを一時的に記憶するものである。第１ノイズ消去部２５２は、例えば各画素位置の画像データを隣接する画素位置の８個の画像データとの平均値に置換することによって画像メモリ２５１に入力された画像データのノイズを低減するものである。
【００５４】
下地飛ばし演算部２５３は、画像データの下地部分と文字部分とを分離し、下地部分に相当する領域を所定の白レベルデータに変換するものである。すなわち、例えばホワイトボードに文字や図形が描かれた被写体を撮影した画像（以下、ホワイトボード撮影画像という。）の場合、図８に示すように、ホワイトボード３５のボード部分３５１の画像を一律に白くし、文字部分３５２の画像を見易くするものである。下地飛ばし演算部２５３は、γ特性設定部２５４から入力されるγ特性に従って各画素位置の画像データのγ補正を行うことにより下地飛ばし処理を行う。
【００５５】
γ特性設定部２５４は、下地飛ばし処理のためのγ特性を設定するものである。γ特性設定部２５４は、入力された画像データのヒストグラムを作成し、このヒストグラムに基づいてγ特性を決定する。図９は、ホワイトボード撮影画像の典型的なヒストグラムであるが、このような文字画像では、一般に大小２つの山Ｕ１，Ｕ２が生じる。明領域に生じる大きい山Ｕ１は、ボード部分３５１に相当し、暗領域に生じる小さい山Ｕ２は、文字部分３５２の明瞭な文字や図形に相当している。そして、大きい山Ｕ１と小さい山Ｕ２との谷の部分Ｒは、ボード部分３５１の汚れや文字部分３５２の色の薄い或いは線の細い文字や図形の部分である。
【００５６】
γ特性設定部２５４は、例えば大きい山Ｕ１のピークに対応する画像データのレベルｗを算出し、図１０に示すように、このレベルｗを白飽和レベルとするγ特性(1) （図中では丸数字で記載している。以下同じ。）を決定する。なお、図１０は、画像データが８ビットデータの場合のγ特性で、レベル「２５５」は、白レベルであり、レベル「０」は、黒レベルである。同図に示すγ特性(1)では、レベルｗ以上の画像データは、すべて一律に白レベルに変換され、レベルｗより小さい画像データは、そのレベルに応じて所定の変換比率（γ値）でリニアにレベル変換される。なお、文字部分３５２の黒を強調するため、所定の低レベルｂを黒飽和レベルとするγ特性(2) （図中では丸数字で記載している。以下同じ。）を用いるようにしてもよい。γ特性(2)では、レベルｂ以下の画像データは、すべて一律に黒レベルに変換される。
【００５７】
従って、γ特性設定部２５４で設定されたγ特性(1)（又は(2)）を用いて下地飛ばし演算部２５３で画像データのγ補正が行われると、図８に示すように、ボード部分３５１の画像データが略均等に白データに変換され、撮影画像の下地が白く飛ばされることになる。
【００５８】
色判別部２５５は、各画素位置の色を判別するものである。色判別部２５５は、色判別処理を行うための回路として正規化演算回路２５５ａ、輝度演算回路２５５ｂ、形状認識回路２５５ｃ及び色判別回路２５５ｄを有している。
【００５９】
Ｒ，Ｇ，Ｂの色成分の画像データを用いた色判別方法としては、特開平６−１０５０９１号公報に示されるように、３個の色成分の内、２個の色成分を選択し、選択された色成分の正規化データの座標平面における２個の色成分の正規化データの位置により色判別する方法が知られている。本実施の形態でも、２個の色成分の正規化データの位置により色判別が行われるが、上記公報が１次の正規化データ、すなわち、Ｒ，Ｇ，Ｂの各色成分の画像データの混合比率を表す正規化データｘr＝Ｘr／（Ｘr＋Ｘg＋Ｘb），ｘg＝Ｘg／（Ｘr＋Ｘg＋Ｘb），ｘb＝Ｘb／（Ｘr＋Ｘg＋Ｘb）を用いて色判別を行うのに対して、本実施の形態は、２次の冪乗値についての正規化データｘi＝Ｘi2／（Ｘr2＋Ｘg2＋Ｘb2）（ｉ＝ｒ，ｇ，ｂ）を用いる点で異なる。
【００６０】
本実施の形態で２次の正規化データを用いるのは、ドキュメントモードでの撮影では、文字等を見易くする観点から色分類性が重視され、以下に説明するように、２次の正規化データを用いた方が色判別処理に有利だからである。
【００６１】
図１１は、一次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図であり、図１２は、２次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【００６２】
両図において、（ｘb，ｘg）＝（１／３，１／３）のＱ点は、理想的なホワイトバランスを有するカメラで撮影した場合の完全に無彩色と判別される位置である。また、（ｘb，ｘg）＝（１，０），（０，１），（０，０）の各点は、それぞれ完全な青色、緑色、赤色と判別される位置である。実際のカメラでは理想的なホワイトバランスを有していないので、例えば青色の純色を撮影してもその撮影画像の正規化データ（ｘb，ｘg）は、（ｘb，ｘg）＝（１，０）にはならず、一般にＱ点側に偏ったある領域内に位置する。
【００６３】
例えば標準的な青色、緑色、橙色、赤色の４つカラーペンでホワイトボード上に作成された色見本を撮影した場合の各色の正規化データ（ｘb，ｘg）は、それぞれ楕円Ｓb，Ｓg，Ｓo，Ｓrで示す領域内に分布する。また、白又は黒の無彩色についてもＱ点の近傍のある領域Ｓｗ内に分布する。
【００６４】
両図の楕円Ｓb，Ｓg，Ｓo，Ｓrを比較すれば明らかなように、２次の正規化データ（ｘb，ｘg）を用いると、楕円Ｓb，Ｓg，Ｓo，Ｓrがより偏平になり、同一の有彩色の画像データから生成された正規化データ（ｘb，ｘg）の位置は、理想的な無彩色点Ｑから遠くなることが分かる（図１１，図１２の青色領域内のプロットされたＰ点，Ｐ′点を比較参照）。従って、２次の正規化データを用いる方が１次の正規化データを用いるよりも容易かつ正確に色判別を行うことができる。
【００６５】
正規化演算回路２５５ａは、各画素位置のＲ，Ｇ，Ｂの各色成分の画像データを２次の冪乗値による正規化データｘr＝Ｘr2／（Ｘr2＋Ｘg2＋Ｘb2），ｘg＝Ｘg2／（Ｘr2＋Ｘg2＋Ｘb2），ｘb＝Ｘb2／（Ｘr2＋Ｘg2＋Ｘb2）に変換するもの
である。
【００６６】
正規化演算回路２５５ａは、図１３のフローチャートに従って各画素位置の画像データＸr，Ｘg，Ｘbを２次の正規化データｘr，ｘg，ｘbに変換する。
【００６７】
すなわち、各色成分の画像データＸr，Ｘg，Ｘbをそれぞれ２乗し、その演算結果をそれぞれレジスタＲr１，Ｒg１，Ｒb１に格納する（＃２）。続いて、レジスタＲr１，Ｒg１，Ｒb１に格納された画像データＸr，Ｘg，Ｘbの２乗値Ｘr2，Ｘg2，Ｘb2を加算し、その結果をレジスタＳＵＭに格納する（＃４）。続いて、レジスタＲr１，Ｒg１，Ｒb１に格納された画像データＸr，Ｘg，Ｘbの２乗値Ｘr2，Ｘg2，Ｘb2をそれぞれレジスタＳＵＭに格納された加算値（Ｘr2＋Ｘg2＋Ｘb2）で除し、その結果をそれぞレジスタＲr２，Ｒg２，Ｒb２に格納して処理を終了する（＃６）。
【００６８】
なお、２次より大きい次数の正規化データ（ｘb，ｘg）を用いると、ｘb-ｘg
平面における正規化データ（ｘb，ｘg）の位置の無彩色点Ｑから遠くなる傾向はより強くなり、その画像データの有する色味の特徴（すなわち、青、緑、橙、赤のいずれに偏っているか）がより明確となるので、正規化データとして、
ｘr＝Ｘrk／（Ｘrk＋Ｘgk＋Ｘbk）
ｘg＝Ｘgk／（Ｘrk＋Ｘgk＋Ｘbk）
ｘb＝Ｘbk／（Ｘrk＋Ｘgk＋Ｘbk）
の演算式により算出されるｋ次（ｋ＞２）の正規化データを用いてもよい。
【００６９】
また、本実施の形態では、Ｒ，Ｇ，Ｂの色成分の画像データについて説明したが、他の色成分の画像データの正規化データＸ(1)，Ｘ(2)，…Ｘ(n)を用いる場合にも２次以上の冪乗値に対する正規化データｘ(1)k＝Ｘ(1)k／ΣＸ(i)k，ｘ(2)k＝Ｘ(2)k／ΣＸ(i)k，…ｘ(n)k＝Ｘ(n)k／ΣＸ(i)k（ｉ＝１，２，…ｎ、ｋ≧２）を用いることできる。
【００７０】
ところで、色判別では、有彩色の色の判別とともに、有彩色と無彩色の白及び黒との判別を行う必要がある。有彩色と無彩色の白及び黒との判別も、上述のようにｘg-ｘb平面内における正規化データの位置を調べることにより行うことができる。
【００７１】
しかし、Ｒ，Ｇ，Ｂの色成分の画像データから生成された正規化データは、画像内のＲ，Ｇ，Ｂの色成分の偏差のみを抽象し、明暗の情報は捨象されているので、正規化データのみを用いて色判別を行うと、低輝度の黒色や高輝度の白色が赤や青等の有彩色と誤判別される場合が生じる。すなわち、例えばＲ，Ｇ，Ｂの色成分の画像データ（Ｘr，Ｘg，Ｘb）が（２０，５，５）の黒い画素位置に対する２次の正規化データ（ｘb，ｘg）は（０．０６，０．０６）で、画像データ（Ｘr，Ｘg，Ｘb）＝（２００，５０，５０）の赤い画素位置に対する２次の正規化データ（ｘb，ｘg）と同一となるので、黒色が赤色に誤判別される。
【００７２】
そこで、このような誤判別を防止するため、本実施の形態では、各画素位置の輝度データと上述の正規化データとを用いて色判別（無彩色の判別を含む。）を行うようにしている。また、線幅の広狭の色判別への影響を低減するため、後述するように、文字、図形等の幾何学的形状を加味して色判別を行うようにしている。
【００７３】
輝度演算回路２５５ｂは、上述の色判別処理に使用する各画素位置の輝度データを演算するものである。輝度演算回路２５５ｂは、例えばＲ，Ｇ，Ｂの色成分の画像データＸr，Ｘg，Ｘbの平均値Ｙ（＝（Ｘr＋Ｘg＋Ｘb）／３）を、各画素位置の色判別用の輝度データとして算出する。
【００７４】
また、形状認識回路２５５ｃは、文字、図形等を構成する領域が線状であるか、面状であるかを認識するものである。形状認識回路２５５ｃは、５×５画素又は７×７画素のブロック毎に、そのブロック内の画像データのレベルを最大値が「２５５」となるように補正した後、「０」及び「２５５」のレベルの画像データ或いは「０」〜「２５５」の数種類のレベルの画像データを有するテンプレートとの２乗誤差計算等によるパターンマッチングにより、図１４に示すように、細線部分のパターンαと太線部分のパターンβとを検出する。この検出結果は、色判別回路２５５ｄに入力される。なお、パターンマッチングに代えて高周波成分検出処理により形状判別を行うようにしてもよい。
【００７５】
色判別回路２５５ｄは、正規化演算回路２５５ａで算出された正規化データ（ｘb，ｘg）、輝度演算回路２５５ｂで算出された輝度データＹ及び形状認識回路２５５ｃで認識されたパターン結果に基づき、図１５〜図１８に示す所定の閾値プロファイルを用いて各画素位置の色判別（例えば白、黒、青、緑、橙、赤の色判別）を行うものである。
【００７６】
図１５は、色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第１の実施形態を示す図である。また、図１６〜図１８は、色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの変形例で、それぞれ第２〜第４の実施形態を示す図である。
【００７７】
図１５〜図１８において、横軸は、ｘb-ｘg平面における無彩色点Ｑからの距離情報を示し、縦軸は、色判別用の輝度レベルを示している。
【００７８】
なお、距離情報は、ｘb-ｘg平面での点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を示すものではなく、ｘr-ｘg-ｘb空間において無彩色点（1/3，1/3，1/3）から等距離にある閉曲面をｘb-ｘg平面に射影して得られる等距離線（無彩色点Ｑ（1/3，1/3）を含む閉曲線）を特定するための距離の情報である。
【００７９】
ここで、距離情報について、簡単に説明すると、ｘb-ｘg平面における等距離線上の任意の正規化データ（ｘb，ｘg）を同一距離にある一群のデータとして扱う場合、等距離線が無彩色点Ｑ（1/3，1/3）を中心とする円になるのであれば、距離情報としてｘb-ｘg平面における点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を採用することができる。
【００８０】
しかし、等距離線は、上述のようにｘr-ｘg-ｘb空間における無彩色点（1/3，1/3，1/3）から等距離にある閉曲面をｘb-ｘg平面に射影したもので、無彩色点Ｑ（1/3，1/3）を中心とする円でない同心状の閉曲線となるから、点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を距離情報とすることはできない。
【００８１】
そこで、本実施の形態では、等距離線上にある正規化データ（ｘb，ｘg）について同一の距離情報を与えるため、正規化データ（ｘb，ｘg）とそれが属する等距離線が一対一に対応することから、ｘb-ｘg平面における等距離線の位置を定義する距離情報をその等距離線上の正規化データ（ｘb，ｘg）の距離情報としている。
【００８２】
正規化データ（ｘb，ｘg）が与えられた場合、その正規化データ（ｘb，ｘg）に対する距離情報を決定するには、その正規化データ（ｘb，ｘg）が属する等距離線を決定する必要がある。しかし、必ずしもｘr-ｘg-ｘb空間における無彩色点（1/3，1/3，1/3）を中心に同心状に形成される複数の等距離面をｘb-ｘg平面に射影してなる複数の等距離線の中の正規化データ（ｘb，ｘg）が属する等距離線を決定する必要はない。なぜなら、正規化データ（ｘb，ｘg）の距離情報は、所定の閾値との相対比較による色判別に使用するものであるから、相対的な距離情報で無彩色点Ｑ（1/3，1/3）からの正規化データ（ｘb，ｘg）の位置が特定できればよいからである。
【００８３】
与えられた正規化データ（ｘb，ｘg）に対して等距離線から相対的な距離情報を決定するとすれば、等距離線としては、その正規化データ（ｘb，ｘg）とこれ以外の等距離線上にある複数の正規化データ（ｘb，ｘg）とにより決定される特定形状の閉曲線を採用することができる。
【００８４】
一方、ｘr-ｘb-ｘg空間において、成分を相互に入れ換えた６個の正規化データ（ｘr，ｘb，ｘg），（ｘb，ｘg，ｘr），…は、無彩色点（1/3，1/3，1/3）から等距離にあり、これらの正規化データをｘb-ｘg平面に射影した点は、ｘb-ｘg平面において等距離線を構成するから、等距離線として採用し得る形状は、少なくとも与えられた正規化データ（ｘb，ｘg）とこの正規化データの成分を相互に入れ換えて生成される他の５個の正規化データ（ｘr，ｘb），（ｘr，ｘg），（ｘb，ｘr），（ｘg，ｘr），（ｘg，ｘb）とにより構成されるものでなければならない。
【００８５】
従って、ｘb-ｘg平面上おいては、３個の成分を相互に入れ換えて生成されるｘb-ｘg平面上の６個の正規化データ（ｘb，ｘg），（ｘr，ｘb），（ｘr，ｘg），（ｘb，ｘr），（ｘg，ｘr），（ｘg，ｘb）を通る任意の形状を等距離線の特定形状とすることができる。
【００８６】
図１９は、成分を相互に入れ換えた６個の正規化データのｘb-ｘg平面上の位置関係の一例を示す図である。
【００８７】
同図に示すＰ１（1/2，1/3），Ｐ２（1/2，1/6），Ｐ３（1/3，1/6），Ｐ１′（1/3，1/2），Ｐ２′（1/6，1/2），Ｐ３′（1/6，1/3）の各点は、点Ｐ１に対する正規化データｘr（＝1/6），ｘg（＝1/2），ｘb（＝1/3）の成分を相互に入れ換えて生成される５個の正規化データをｘb-ｘg平面上にプロットしたものである。同図から明らかなように、点Ｐ１′，Ｐ２′，Ｐ３′は、それぞれ点Ｐ１，Ｐ２，Ｐ３の直線Ｌ（原点と点Ｑとを結ぶ直線）に対する線対称点となっている。また、点Ｐ３，Ｐ３′は、それぞれ点Ｐ１，Ｐ１′の直線Ｌ′（点Ｑを通る直線Ｌに直交する直線）に対する線対称点となっている。このような点Ｐ１〜Ｐ３，Ｐ１′〜Ｐ３′の対称性は、ｘr＋ｘb＋ｘg＝１の関係を有する成分を相互に入れ換えて各点の正規化データが決定されていることに基づくものである。
【００８８】
従って、点Ｐ１の属する等距離線は、点Ｐ１〜Ｐ３，Ｐ１′〜Ｐ３′を通り、かつ、直線Ｌ，Ｌ′に対して対称性を有する形状でなければならないが、このような形状としては、例えば図２０に示す楕円Ｃ１、図２１に示す二等辺三角形Ｃ２、又は図２２に示す六角形Ｃ３などが考えられる。
【００８９】
等距離線の形状が特定されると、その形状の等距離線について無彩色点Ｑ（1/3，1/3）からの距離の算出方法を決定しておけば、正規化データ（ｘb，ｘg）からその正規化データ（ｘb，ｘg）が属する特定形状の等距離線を算出し、更にその等距離線について無彩色点Ｑ（1/3，1/3）からの距離を算出することにより、与えられた正規化データ（ｘb，ｘg）に対する距離情報を決定することができる。
【００９０】
図２０〜図２２の例では、各等距離線の無彩色点Ｑ（1/3，1/3）からの距離として、例えば直線Ｌと等距離線Ｃ１，Ｃ２，Ｃ３との交点Ｐ４と点Ｑとの距離ｄを取ることができる。この距離ｄは、閉曲線として楕円Ｃ１を採用した場合は、楕円Ｃ１の中心Ｑから最近接点までの距離（短軸長の１／２）であり、閉曲線として二等辺三角形Ｃ２を採用した場合は、点Ｑから斜辺の中点までの距離である。
【００９１】
なお、等距離線Ｃ２とＣ３とは形状は異なるが、点Ｐ３，Ｐ３′を通る斜辺は同一であるから、点Ｑからの距離ｄは同一となる。従って、距離情報を考える上では等距離線Ｃ２とＣ３とは実施的に同一である。
【００９２】
本実施の形態では、正規化データ（ｘb，ｘg）から距離情報ｄを直接、算出する演算テーブルを設け、正規化データ（ｘb，ｘg）が算出されると、この演算テーブル用いて直接、距離情報ｄを算出するようにしている。
【００９３】
図１５に戻り、同図に示す閾値プロファイルは、無彩色位置から距離情報ｄ１内の近傍領域を無彩色領域Ｓｗとし、この領域Ｓｗ内では白色と黒色との判別閾値を固定値Ｙ２とし、無彩色領域外では有彩色と黒色との判別閾値を固定値Ｙ１、有彩色と白色との判別閾値を固定値Ｙ３（Ｙ１＜Ｙ２＜Ｙ３）としたものである。
【００９４】
この閾値プロファイルでは、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線の内部に位置しているときは（ｄ≦ｄ１）、輝度レベルＹと閾値Ｙ２とを比較し、Ｙ≧Ｙ２であれば、白色と判別され、Ｙ＜Ｙ２であれば、黒色と判別される。また、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線より外側に位置しているときは（ｄ＞ｄ１）、輝度レベルＹと閾値Ｙ１，Ｙ３とを比較し、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ１であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ１であれば、有彩色と判別される。そして、有彩色の場合は、更に上述した正規化データ（ｘb，ｘg）の位置により、例えば青，緑，橙，赤の４色の色判別が行われる。
【００９５】
図１６に示す閾値プロファイルは、図１５において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線より外側にあるときの有彩色と白色又は黒色との判別閾値をＹ１，Ｙ３からＹ１，Ｙ３，Ｙ４，Ｙ５（Ｙ３＞Ｙ４＞Ｙ１＞Ｙ５＞Ｙ２）にそれぞれ２段階に増加させたものである。この閾値プロフィルでは、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるとき（ｄ２＞ｄ＞ｄ１）、Ｙ＞Ｙ４であれば、白色と判別され、Ｙ＜Ｙ５であれば、黒色と判別され、Ｙ４≧Ｙ≧Ｙ５であれば、有彩色と判別される。また、正規化データ（ｘb，ｘg）の位置が距離情報ｄ２の等距離線と距離情報ｄ３の等距離線との間にあるとき（ｄ３＞ｄ＞ｄ２）、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ５であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ５であれば、有彩色と判別される。更に、正規化データ（ｘb，ｘg）の位置が距離情報ｄ２の等距離線と距離情報ｄ３の等距離線との間にあるとき（ｄ＞ｄ３）、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ２であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ２であれば、有彩色と判別される。
【００９６】
図１７に示す閾値プロファイルは、図１６において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるときの有彩色と白色の判別閾値をＹ４からＹ３までリニアに変化させ、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ３の等距離線との間にあるときの有彩色と黒色の判別閾値をＹ５からＹ２までリニアに変化させたものである。
【００９７】
また、図１８に示す閾値プロファイルは、図１６において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるときの有彩色と白色の判別閾値をＹ４からＹ３までノンリニア（単調増加）に変化させ、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ３の等距離線との間にあるときの有彩色と黒色の判別閾値をＹ５からＹ２までノンリニア（単調減少）に変化させたものである。
【００９８】
なお、図１５〜図１８は閾値プロファイルの代表例を示したもので、これ以外の閾値プロファイルを任意に採用することができるものである。
【００９９】
図１５〜図１８に示す閾値プロファイルにおいて、ｘb-ｘg平面における正規化データ（ｘb，ｘg）の位置から、青，緑，橙，赤の４色の色判別を行う場合は、図２３に示すように、楕円Ｓb，Ｓg，Ｓo，Ｓrを基にして分割線ｍ１，ｍ２，ｍ３，ｍ４を設けて三角形のｘg-ｘb平面を４つの領域Ａb，Ａg，Ａo，Ａrに分割し、正規化データ（ｘb，ｘg）の位置が４つの領域Ａb，Ａg，Ａo，Ａr（領域Ｓｗを除く。）のいずれに入っているかで、色判別が行われる。例えば正規化データの座標（ｘb，ｘg）が領域Ａb内に入っていれば、その画素位置は青系統の色と判別され、領域Ａg内に入っていれば、その画素位置は緑系統の色と判別される。
【０１００】
分割線ｍ１，ｍ２，ｍ３，ｍ４は、色領域設定演算部３２で設定され、図２３における点Ｐb，Ｐg，Ｐo，Ｐrを、それぞれ色登録された、或いは予め設定された青，緑，橙，赤の画像データ（デフォルト値）の正規データの座標位置とすると、例えば∠ＰbＱＰg，∠ＰgＱＰo，∠ＰoＱＰr，∠ＰrＱＰbの二等分線や△ＰbＱＰg，△ＰgＱＰo，△ＰoＱＰr，△ＰrＱＰbの点Ｑと対辺の中点とを結ぶ中線として設定される。なお、上述のように、本実施の形態に係るデジタルカメラ１では、判別すべき色を青，緑，橙，赤の４色の範囲で任意に設定できるようになっているので、例えば図３に示す例のように、色認識表示部１７の色使用欄で橙色が「ＯＦＦ」に設定されている場合は、「ＯＮ」に設定されている青，緑，赤の３色について分割線ｍ１，ｍ２，ｍ３が設定され、３色について色判別が行われる。この場合、分割線ｍ３は、∠ＰgＱＰrの二等分線や△ＰgＱＰrの点Ｑと対辺の中点とを結ぶ中線として設定される。
【０１０１】
色判別回路２２５ｄは、形状認識回路２５５ｃから入力されるパターン結果が一定であれば、予め設定された閾値プロファイルを固定的に利用して色判別を行うが、形状認識回路２５５ｃから入力されるパターン結果が変化する場合は、以下に説明するように、パターン結果の変化に応じて閾値プロファイルを全体的に、或いは部分的に上下させるように補正した閾値プロファイルを用いて対応する領域の色判別を行う。これは、文字等を構成する線幅の広狭に応じて閾値プロファイルを全体的又は部分的に上下させることにより、線幅の変化に関らず好適な線幅の画像が得られるようにするためである。
【０１０２】
図２４は、線幅の広狭の相違に基づく濃度レベルの変化の一例を示す図である。
【０１０３】
同図は、ホワイトボード撮影画像の四角形で囲まれた数字の「１」の文字部分３６の直線Ｍ上の画像データの濃度レベルを示すものである。文字部分３６の上部に描かれたグラフは、濃度レベルを示している。直線ＭのＡ，Ｃの部分は、四角形の線幅に相当する部分（細線部分）であり、Ｂは、数字「１」の線幅に相当する部分（太線部分）である。Ａ，Ｃは細線部分であり、Ｂは太線部分であるから、Ａ，Ｃの濃度レベルは、Ｂの濃度レベルより高くなっている。すなわち、細線部分は、太線部分より白っぽくなっている。
【０１０４】
図２５は、図２４の直線Ｍ上の画像データに対して閾値プロファイルを用いて白黒判別を行ったものである。
【０１０５】
例えば図１８に示す形の閾値プロファイルを用いたとして、同図（ａ）は、図２６の閾値レベルの高い閾値プロフィル(1) （図中では丸数字で記載している。以下同じ。）を用いて白黒判別を行ったものであり、同図（ｂ）は、図２６の閾値レベルの低い閾値プロフィル(2) （図中では丸数字で記載している。以下同じ。）を用いて白黒判別を行ったものである。また、同図（ｃ）は、線幅に応じて閾値プロフィル(1)，(2)を使い分けて白黒判別を行ったものである。
【０１０６】
閾値レベルの高い閾値プロフィル(1)を用いた場合は、太線部分Ｂは好適な線幅となるが、細線部分Ａ，Ｃは閾値レベルＹ１より高くなるので、白色に誤判別され、四角形の図形が飛んでしまうことになる。一方、閾値レベルの低い閾値プロフィル(2)を用いた場合は、細線部分Ａ，Ｃは好適な線幅となるが、太線部分Ｂは、輪郭部分の画像データも閾値レベルＹ１′より低くなり、線幅が必要以上に太くなってしまうことになる。このように、線幅の広狭がある場合、固定的な閾値プロフィルでは一方の線幅に対しては適切であっても他方の線幅に対しては不適切となることが多く、線幅に関係なく適切な白黒判別を行うことは困難となる。
【０１０７】
そこで、本実施の形態では、同図（ｃ）に示すように、線幅を判別し、その判別結果に応じて閾値プロフィル(1)，(2)を切り換えることにより好適な線幅が得られるようにしている。従って、色判別回路２２５ｄは、形状認識回路２５５ｃから入力される判別結果がパターンαのときは、閾値プロフィル(1)を用いて白黒判別を行い、判別結果がパターンβのときは、閾値プロフィル(1)を閾値プロフィル(2)に切り換えて白黒判別を行う。
【０１０８】
なお、この白黒判別における閾値プロフィルの補正は、上述のように、予め設定された複数の閾値プロファイルを線幅の判別結果に応じて切換設定するようにしてもよいが、標準の閾値プロフィルを線幅の判別結果に応じた所定レベルだけ全体的に、或いは部分的に上下にシフトさせて設定するようにしてもよい。
【０１０９】
図６に戻り、黒領域補正部２５６は、色の誤判別により有彩色が含まれる黒領域を有彩色を含まない黒一色に補正するものである。
【０１１０】
図１５〜図１８に示す閾値プロファイルを用いて色判別を行う場合、無彩色と有彩色との判別閾値である距離情報ｄ１を高く設定すると、比較的色の濃い有彩色（すなわち、輝度の低い有彩色）は黒色に、また、比較的色の淡い有彩色（すなわち、輝度の高い有彩色）は白色に誤判別され易くなる。このため、このような誤判別を防止するため、距離情報ｄ１は低めに設定するのが望ましい。
【０１１１】
しかし、距離情報ｄ１を低めに設定した閾値プロファイルを用いた場合は、黒色が有彩色に誤判別され、図２７に示すように、黒一色の領域が有彩色の混じった斑模様の領域となることがある。黒色領域が斑模様の領域となり易くなる原因は、黒色の画像データはレベルが低いため、正規化データｘb，ｘｇがｘb／ｘｇ＝１となることは少なく、正規化データ（ｘb，ｘｇ）の位置が無彩色領域Ｓｗ外になり易いということ、また、ある程度大きな領域で画像データの平均では黒色となる場合、その領域内に、例えば黒色を青色と誤判別した画素位置の近傍には黒色を赤や緑や橙等と誤判別した画素位置が存在する可能性が高いということに基づくものである。
【０１１２】
文字、図形等を構成する比較的広い黒領域が斑模様の領域になると、著しく見辛い画像となる。黒領域補正部２５６は、斑模様の領域を黒領域に変換し、斑模様に起因する画質不良を低減するもので、同色画素数計数回路２５６ａ、分散度演算回２５６ｂ及び黒判別回路２５６ｃを備えている。
【０１１３】
同色画素数計数回路２５６ａは、ブロック内の同一色の画素数をカウントする回路である。ブロックサイズを５×５画素とし、各画素位置の色分布が、例えば図２８に示すようになっている場合、同色画素数計数回路２５６ａは、赤，青，橙，緑，黒の各色についてブロック内に存在する画素数をカウントする。赤，青，橙，緑，黒の各色の画素数をＮr，Ｎb，Ｎo，Ｎg，Ｎbk、これらの合計をＮtをとすると、同図（ａ）の例では、Ｎr＝１７，Ｎb＝２，Ｎo＝３，Ｎg＝１，Ｎbk＝２，Ｎt＝２５がカウントされ、同図（ｂ）の例では、Ｎr＝４，Ｎb＝４，Ｎo＝５，Ｎg＝６，Ｎbk＝４，Ｎt＝２３がカウントされる。なお、（ｂ）の例では、ブロック内に白色の画素が２個含まれているが、これらの画素は黒領域補正処理では無視される。
【０１１４】
分散度演算回路２５６ｂは、赤，青，橙，緑，黒の各色の画素数Ｎr，Ｎb，Ｎo，Ｎg，Ｎbk及びこれらの合計Ｎtを用いて、各ブロックの色の分散度ｐを演算するものである。分散度ｐは、ｐ＝（白以外の色の画素数）／Σ（各色の画素数）2＝Ｎt／（Ｎr2＋Ｎb2＋Ｎo2＋Ｎg2＋Ｎbk2）の演算式で算出される。なお、この分散度ｐは、分散の演算式の逆数である。図２８（ａ）の例では、ｐ＝２３／（４2＋４2＋５2＋６2＋４2）＝０．２１１が算出され、同図（ｂ）の例では、ｐ＝２５／（１７2＋２2＋３2＋１2＋２2）＝０．０８１が算出される。
【０１１５】
黒判別回路２５６ｃは、分散度演算回路２５６ｂで算出された分散度ｐを用いて各ブロックの中心位置の画素が黒色であるか否かを判別するものである。すなわち、黒判別回路２５６ｃは、予め設定された閾値Ｋ１と分散度ｐとを比較し、ｐ＞Ｋ１であれば、黒色と判別し、ｐ≦Ｋ１であれば、有彩色と判別する。例えばＫ１＝０．１とすると、図２８（ａ）の例は、黒色と判別され、同図（ｂ）の例は、有彩色と判別される。なお、図２８（ｂ）の例では、各色の画素数から圧倒的に赤が多いので、中心位置の画素は「赤」と判別することができる。
【０１１６】
図２９は、黒領域補正部２５６の補正処理の手順を示すフローチャートである。
【０１１７】
色判別部２５５から出力される色判別結果は、黒領域補正部２５６内の図略のメモリに格納され、図２９のフローチャートに従って黒領域の補正処理が行われる。すなわち、まず、メモリから左上隅の１ブロック分（５×５画素分）の色判別データが読み出され（＃１０）、そのブロック内に含まれる白色以外の各色の画素数とその合計数がカウントされる（＃１２）。判別色を赤，青，橙，緑，黒とすると、各色の画素数Ｎr，Ｎb，Ｎo，Ｎg，Ｎbkとこれらの合計数Ｎtがカウントされる。
【０１１８】
続いて、分散度ｐ（＝Ｎt／（Ｎr2＋Ｎb2＋Ｎo2＋Ｎg2＋Ｎbk2））が演算され（＃１４）、この分散度ｐと所定の閾値Ｋ１とを比較してそのブロックの中心の画素が黒色である否かが判別される（＃１６）。ｐ＞Ｋ１であれば（＃１６でＹＥＳ）、ブロック中心の画素位置（そのブロックの３行３列目の画素位置）の色判別データを黒色のデータに変更することが記憶される（＃１８）。一方、ｐ≦Ｋ１であれば（＃１６でＹＥＳ）、上述のデータ変更の指示は行われない。
【０１１９】
続いて、色判別データ全体に対する上記処理が終了したか否かが判別され（＃２０）、処理が終了していなければ（＃２０でＮＯ）、ブロックの読出位置を１画素分だけ横方向にシフトして（＃２２）、ステップ＃１０に戻り、上述の黒判別処理が行われる（＃１０〜＃２０）。以下、ブロックの読出位置をラスタ方向に１画素分ずつシフトしつつ、各画素位置の色判別データについて黒判別処理が行われ（＃１０〜＃２２のループ）、色判別データ全体に対する黒判別処理が終了すると（＃２０でＹＥＳ）、色判別データを黒色のデータに変更するように指示された画素位置の色判別データが黒色のデータに変更され（＃２４）、処理を終了する。
【０１２０】
なお、本実施の形態では、黒領域補正処理の１ブロックの大きさを５×５画素としたが、１ブロックのサイズはこれに限定されるものではなく、処理精度や処理速度を考慮して任意の適宜のサイズを設定することができる。また、色の分散具合を計るものとして分散度ｐを定義したが、色のバラツキを表し得るものであれば、他の演算式を定義してもよい。例えば標準偏差σ＝１／√（ｐ）を用いてもよい。
【０１２１】
また、青，緑，橙，赤，黒の各色を、例えばそれぞれ（０，１，０，０）、（０，０，１，０）、（０，０，０，１）、（１，０，０，０）、（１，１，１，１）のようにベクトル表現した場合、ブロック内のベクトル平均のベクトル長の逆数を分散の度合いを示すものとしてもよい。なお、ベクトル表現は、各色独立でも、「赤と橙は近似した色」というように情報を加味したものでもよい。また、４次元に限定されず、任意の次元を考えることができる。
【０１２２】
また、簡単な方法として、ブロックの中心位置に隣接する８個の画素位置に何個の色が存在するか、その異なる色の数で斑の程度を判断するようにしてもよい。
【０１２３】
第２ノイズ消去部２５７は、色判別された黒領域内に含まれる有彩色や白色（誤判別された色）を黒色に補正するものである。すなわち、黒領域補正部２５６により斑模様の領域を黒領域に補正する処理を行っても、なお、黒領域内に有彩色が島状に残る場合があり、第２ノイズ消去部２５７は、この偽色を黒色に変換して消去するものである。
【０１２４】
図３０は、文字等の黒領域内に有彩色が島状に残っている状態の一例を示す図である。
【０１２５】
同図は、数字「２」を構成する黒色領域に有彩色の画素３７，３８が残っている場合を示すものであるが、第２ノイズ消去部２５７では、黒色領域内の画素３７が黒色に補正されて偽色が消去される。なお、数字「２」を構成する黒領域の輪郭位置にある画素３８については、黒色補正は行われない。黒領域内に島状に黒以外の色が混じっている場合は、その色が目立って文字が見辛くなるが、境界部分に黒以外の色が混じっている場合は、その偽色による弊害は少ないので、黒領域の補正処理による処理速度の遅延を考慮して、黒領域内部についてのみ補正処理を行うものである。なお、黒領域の輪郭位置の偽色に対しても黒補正を行うようにしてもよい。
【０１２６】
図３１は、第２ノイズ消去部２５７の偽色消去の処理手順を示すフローチャートである。
【０１２７】
同図に示すフローチャートは、図３２に示すように、中心位置ＧAとそれに隣接する８個の画素位置の色を調べ、同一色が所定数Ｋ２を超えていれば、中心の画素位置ＧAの色を所定数Ｋ２を超えている色に変更するのものである。図３２は、所定数Ｋ２を６個としたもので、中心と右下隅を除く７個の画素が黒となっているので、中心位置の画素ＧAの色が黒色に変更されることを示している。
【０１２８】
黒領域補正部２５６から出力された色判別データは、第２ノイズ消去部２５７内の図略のメモリに格納され、図３１のフローチャートに従って黒領域の補正処理が行われる。すなわち、まず、メモリから左上済の１ブロック分（３×３画素分）の色判別データが読み出され（＃３０）、そのブロック内に含まれる各色の画素数がカウントされる（＃３２）。
【０１２９】
続いて、最も多い画素数Ｎmaxと所定の閾値Ｋ２とを比較し、Ｎmax＞Ｋ２であるか否かが判別される（＃３４）。Ｎmax＞Ｋ２であれば（＃３４でＹＥＳ）、ブロック中心の画素位置（そのブロックの２行２列目の画素位置）の色判別データを画素数Ｎmaxの色のデータに変更することが記憶される（＃３６）。一方、Ｎmax≦Ｋ２であれば（＃３４でＹＥＳ）、上述のデータ変更の指示は行われない。
【０１３０】
続いて、色判別データ全体に対する偽色修正処理が終了したか否かが判別され（＃３８）、処理が終了していなければ（＃３８でＮＯ）、ブロックの読出位置を１画素分だけ横方向にシフトして（＃４０）、ステップ＃３０に戻り、上述の偽色修正処理が行われる（＃３０〜＃３８）。以下、ブロックの読出位置をラスタ方向に１画素分ずつシフトしつつ、各画素位置の色判別データについて偽色修正処理が行われ（＃３０〜＃４０のループ）、色判別データ全体に対する偽色修正処理が終了すると（＃３８でＹＥＳ）、色判別データを画素数Ｎmaxの色のデータに変更するように指示された画素位置の色判別データが指示された色のデータに変更され（＃４２）、処理を終了する。
【０１３１】
図６に戻り、色置換部２５８は、各画素位置の画像データを、色判別部２５５、黒領域補正部２５６及び第２ノイズ消去部２５７で設定された色のデータに基づいて予め設定された、或いは色登録で設定された対応する色の画像データ（Ｒ，Ｇ，Ｂの色成分の画像データ）に置換するものである。そして、色置換部２５８で置換された画像データは、ＨＤカードに出力され、記録される（図５参照）。
【０１３２】
次に、図３３〜図３５のフローチャートに従って、デジタルカメラ１の撮影動作について説明する。
【０１３３】
図３３は、ドキュメントモード（ホワイトボードに書かれた文字等の記録撮影を行う撮影モード）に関する撮影動作手順を示すフローチャートである。
【０１３４】
メインスイッチ１１がオンになると（＃５０でＹＥＳ）、デジタルカメラ１が起動し、撮影可能状態となる。まず、モード変更スイッチ１６が撮影モードに設定されているか否かが判別され（＃５２）、撮影モードが設定されていなければ、すなわち、色登録モードが設定されていれば（＃５２でＮＯ）、図３４に示すフローチャートに従って色登録処理が行われ（＃５４）、撮影モードが設定されていれば（＃５２でＹＥＳ）、ステップ＃５４に移行し、撮影処理が行われる。
【０１３５】
色登録処理に移行すると、まず、色選択ボタン１８により指定されている色が登録処理対象の色として設定される（＃８０）。この色設定処理では、バー表示１７１の表示位置により登録対象の色が判別、設定される。続いて、その設定された色が未登録であるか否かが○印表示１７２の有無により判別され（＃８２）、未登録であれば（＃８２でＮＯ）、更にデフォルトボタン２０により登録色のデータ消去が指示されているか否かが判別される（＃８４）。
【０１３６】
登録色のデータ消去が指示されていれば（＃８４でＹＥＳ）、ＲＡＭ２７に記憶されている登録色の２次の正規化データが予め設定されているその色のデフォルト値に書き換えられ（＃８４）、ステップ＃８２に戻る。一方、登録色のデータ消去が指示されていなければ（＃８４でＮＯ）、ステップ＃８８に移行する。
【０１３７】
ステップ＃８２で、設定された色が未登録であれば（＃８２でＹＥＳ）、シャッタボタン９のレリーズ操作により色見本（図４参照）の撮像が指示されているか否かが判別され（＃８８）、撮像が指示されていれば（＃８８でＹＥＳ）、測光部３０により被写体輝度が検出されるとともに（＃９０）、測距部２９により被写体距離が検出され（＃９２）、この被写体距離に基づいて焦点調節が行われる（＃９４）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤの積分時間）が設定される（＃９６）。
【０１３８】
続いて、設定された露出制御値に基づいて色見本の撮像が行われる（＃９８）。撮像部２３で取り込まれた画像データは、設定色正規化演算部３１で撮影画面中央の枠２１内の画像データが抽出され、更にこの画像データの内、色見本部分のみの画像データが抽出される（＃１００）。そして、この色見本の画像データについて２次の正規化データが算出され（＃１０２）、その算出結果がＲＡＭ２７の所定の記憶領域に記憶される（＃１０４）。
【０１３９】
色見本の２次の正規化データのＲＡＭ２７への記憶（色登録）が終了すると、続いて、セットボタン１９の操作により色使用が指示されているか否かが判別され（＃１０６）、色使用が指示されていれば（＃１０６でＹＥＳ）、登録色の色判別における色使用が設定され（＃１０８）、リターンする。このとき、色登録確認表示部１７では色使用「ｏｎ」の表示が行われる。また、色使用が指示されていなければ（＃１０６でＮＯ）、登録色の色判別における色使用が解除され（＃１１０）、リターンする。このとき、色登録確認表示部１７では色使用「ｏｆｆ」の表示が行われる。
【０１４０】
一方、ステップ＃８８で、撮像が指示されていなければ（＃８８でＮＯ）、ステップ＃９０〜＃１０４をジャンプし、上述の色見本の２次の正規化データの登録処理を行うことなくステップ＃１０６に移行する。
【０１４１】
上述のように、色登録モードにおいては、デフォルトボタン２０が操作されると、設定された色に対して、既に登録されている色見本の画像データ（Ｒ，Ｇ，Ｂの色成分の画像データ）及び２次の正規化データが消去され、それに代えて予め設定された画像データ及び２次の正規化データ（デフォルト値）が設定される。また、セットボタン１９が操作されると、設定された色に対して、色使用の設定又は解除が行われる。また、未登録又は登録済に関係なく、色見本の撮影が行われると、撮影された色見本の２次の正規化データが算出され、この算出値と取り込まれた画像データとが新規に又は更新的に登録される。
【０１４２】
図３３に戻り、ステップ５２で、撮影モードが設定されていると（＃５２でＹＥＳ）、続いて、シャッタボタン９のレリーズ操作により撮像が指示されているか否かが判別され（＃５６）、撮像が指示されていなければ（＃５６でＮＯ）、ステップ＃５２に戻り、撮像が指示されていると（＃５６でＹＥＳ）、更に色補正スイッチ１３がＯＮに設定されているか（すなわち、ドキュメントモードが設定されているか）否かが判別される（＃５８）。
【０１４３】
ドキュメントモードが設定されていなければ、すなわち、ノーマルモードが設定されていれば（＃５８でＮＯ）、通常の写真撮影の処理が行われる。すなわち、被写体輝度及び被写体距離が検出され、これらの検出値に基づき焦点調節と露出制御値設定とが行われた後、被写体の撮影が行われる。そして、撮像部２３で取り込まれた画像データは、画像処理部２５で所定の画像処理（描写性の高い画質が得られる画像処理）が行われ、圧縮された後、ＨＤカード１０に記録される。
【０１４４】
一方、ドキュメントモードが設定されていれば（＃５８でＹＥＳ）、まず、濃度設定スイッチ１５の設定位置により濃度データ（濃／淡のデータ）が取り込まれる（＃６２）。続いて、画像処理部２５がドキュメントモードの画像処理に設定されるとともに、濃度データが色判別部２５５に設定される（＃６４）。
【０１４５】
続いて、測光部３０により被写体輝度が検出されるとともに（＃６６）、測距部２９により被写体距離が検出され（＃６８）、この被写体距離に基づいて焦点調節が行われる（＃７０）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤの積分時間）が設定される（＃７２）。
【０１４６】
続いて、設定された露出制御値に基づき撮像部２３で被写体の撮像が行われ（＃７４）、その撮像動作で取り込まれた画像データは、図３５に示すフローチャートに従って画像処理部２５で所定の色補正処理が行われた後（＃７６）、ＨＤカード１０に記録される（＃７８）。そして、これにより１枚の撮影が終了し、次の撮影を行うべく、ステップ＃５２に戻る。
【０１４７】
色補正処理に移行すると、まず、γ特性設定部２５４で画像メモリ２５１に格納された画像データを用いて下地飛ばし処理のためのγ特性が設定される（＃１２０）。続いて、画像メモリ２５１に格納された画像データが第１ノイズ消去部２５２でノイズ低減処理がなされた後、下地飛ばし演算部２５３で上記γ特性を用いてγ補正を行うことにより下地飛ばしの処理（背景の白地部分を一律に白色に変換する処理）が行われる（＃１２２）。
【０１４８】
続いて、色判別部２５５の正規化演算回路２５５ａで画像メモリ２５１に格納された画像データを用いて色判別処理のための２次の正規化データが演算される（＃１２４）。また、色判別部２５５の輝度演算色２５５ｂで画像メモリ２５１に格納された画像データを用いて各画素位置毎に色判別用の輝度データが演算される（＃１２６）。更に、色判別部２５５の形状認識回路２５５ｃで画像メモリ２５１に格納された画像データを用いて、所定ブロック単位で文字、図形等の形状認識処理（パターンマッチングによるパターン認識処理）が行われる（＃１２８）。そして、色判別部２５５の色判別回路２５５ｄで、２次の正規化データ、輝度データ及び形状認識結果に基づき予め設定された閾値プロファイル（図１５〜図１８参照）を用いて上述の色判別方法により各画素位置の色判別が行われる（＃１２８）。
【０１４９】
続いて、黒領域補正部２５６で、色判別データに対して斑模様を修正する処理が行われるとともに（＃１３２）、第２ノイズ消去部２５７で、色判別データに対して島状に発生している偽色を消去する処理が行われた後（＃２５７）、色置換部２５８で、色判別データに基づき各画素位置の画像データ（撮影時の画像データ）が所定の色データ（予め設定されたＲ，Ｇ，Ｂの色成分の画像データ（デフォルト値）又は登録処理で登録されたＲ，Ｇ，Ｂの色成分の画像データ）に置換され（＃１３６）、これにより色補正処理を終了し、リターンする。
【０１５０】
なお、上記実施の形態では、デジタルカメラを例に説明したが、本発明は、例えばコンピュータによる色判別処理等の他のカラー画像処理装置においても適用することができる。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、各色成分の画像データを用いて輝度情報と色情報とを算出し、色情報を用いてカラー画像が有彩色であるか無彩色であるかを判別し、この判別で無彩色であれば、更に輝度情報を用いてその色が白／黒いずれであるかを判別し、有彩色であれば、更に色情報と輝度情報とを用いてその色が予め設定された色（白，黒を含む。）のいずれであるかを判別するようにしたので、容易且つ正確に色判別を行うことができる。特に色情報により有彩色と判別された場合にも輝度情報により有彩色と白及び黒とを判別するようにしたので、低輝度又は高輝度の無彩色の画像を有彩色と誤って判別することが低減される。さらに、カラー画像の色を判別された色に置換する色データ置換手段を有するので、ホワイトボードに書かれた文字や図表等を撮影した撮影画像に対して、文字、線図等の濃度と色分けを明確にすることができる。
【０１５２】
また、本発明によれば、各色成分毎に画像データの２次以上の冪乗値に対する正規化データを色情報として算出するようにしたので、有彩色の色判別がより容易且つ正確に行える。
【図面の簡単な説明】
【図１】 本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの一実施の形態の外観を示す斜視図である。
【図２】 本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの背面図である。
【図３】 色登録確認表示部の表示の一例を示す図である。
【図４】 色登録モードでファインダー内に色データ取込範囲を示す枠が表示された状態を示す図である。
【図５】 本発明に係るデジタルカメラのドキュメントモードにおける撮像画像の画像処理に関するブロック構成図である。
【図６】 画像処理部のドキュメントモードにおける画像処理に関するブロック構成図である。
【図７】 ドキュメントモードにおける画像処理手順の概要を示す図である。
【図８】 下地飛ばし処理の内容を示す図である。
【図９】 ホワイトボード撮影画像を構成する画像データのヒストグラムの典型例を示す図である。
【図１０】 下地飛ばし用に設定されるγ特性の一例を示す図である。
【図１１】 １次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【図１２】 ２次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【図１３】 画像データＸr，Ｘg，Ｘbを２次の正規化データｘr，ｘg，ｘbに変換するフローチャートである。
【図１４】 パターンマッチングにより細線部分と太線部分とを検出する方法を示す図である。
【図１５】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第１の実施形態を示す図である。
【図１６】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第２の実施形態を示す図である。
【図１７】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第３の実施形態を示す図である。
【図１８】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第４の実施形態を示す図である。
【図１９】 成分を相互に入れ換えた６個の正規化データのｘb-ｘg平面上の位置関係の一例を示す図である。
【図２０】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を楕円とした図である。
【図２１】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を二等辺三角形とした図である。
【図２２】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を六角形とした図である。
【図２３】 ｘb-ｘg平面を青、緑、橙、赤の色領域に分割した状態を示す図である。
【図２４】 文字等の線幅と輝度レベルとの関係を示す図である。
【図２５】 文字等の線幅の異なる部分を閾値プロファイルを用いて白黒判別を行ったときの判別結果を示すもので、（ａ）は閾値レベルの高い閾値プロフィルを用いて場合、（ｂ）は閾値レベルの低い閾値プロフィルを用いた場合、（ｃ）は線幅に応じて閾値レベルを変更した場合、の判別結果である。
【図２６】 線幅に応じて補正される閾値プロファイルの補正例を示す図である。
【図２７】 色判別結果が斑模様となった場合の一例を示す図である。
【図２８】 分散度の演算例を示す図で、（ａ）は、斑模様の領域の分散度を示す図、（ｂ）は、赤領域の分散度を示す図である。
【図２９】 黒領域補正部の補正処理の手順を示すフローチャートである。
【図３０】 文字等の黒領域内に有彩色が島状に残っている状態の一例を示す図である。
【図３１】 第２ノイズ消去部の偽色消去の処理手順を示すフローチャートである。
【図３２】 隣接する８個の画素位置の色判別結果を用いて中心画素の色修正を行う方法を示す図である。
【図３３】 本発明に係るデジタルカメラのドキュメントモードに関する撮影動作手順を示すフローチャートである。
【図３４】 色登録処理の処理手順を示すフローチャートである。
【図３５】 色補正処理の処理手順を示すフローチャートである。
【図３６】 赤、緑、青の各色成分の混合比率に相当する正規化データを用いて色判別を行う方法を説明するための図である。
【符号の説明】
１ デジタルカメラ
２ 撮影レンズ
３ 測光窓
４ 投光窓
５ 受光窓
６ ファインダー対物窓
７ カード挿入口
８ カード取出ボタン
９ シャッタボタン
１０ ＨＤカード
１１ メインスイッチ
１２ ファインダー接眼窓
１３ 色補正スイッチ
１４ ノイズ修正スイッチ
１５ 濃度設定スイッチ
１６ モード変更スイッチ
１７ 色登録確認表示部
１８ 色選択ボタン
１９ セットボタン
２０ デフォルトボタン
２１ 枠
２２ 色見本
２３ 撮像部（撮影手段）
２４ Ａ／Ｄ変換器
２５ 画像処理部（色判別装置）
２５１ 画像メモリ
２５２ 第１ノイズ消去部
２５３ 下地飛ばし演算部
２５４ γ特性設定部
２５５ 色判別部
２５５ａ 正規化演算回路（第２の演算手段）
２５５ｂ 輝度演算回路（第１の演算手段）
２５５ｃ 形状認識回路
２５５ｄ 色判別回路（第１〜第３の色判別手段）
２５６ 黒領域補正部
２５６ａ 同色画素数計数回路
２５６ｂ 分散度演算回路
２５６ｃ 黒判別回路
２５７ 第２ノイズ消去部
２５８ 色置換部（色データ置換手段）
２６ カード駆動制御部
２７ ＲＡＭ
２８ ＲＯＭ
２９ 測距部
３０ 測光部
３１ 設定色正規化演算部
３２ 色領域設定演算部
３４ 制御部
３５ ホワイトボード
３６ 文字部分
３７，３８ 誤判別された画素
【発明の属する技術分野】
本発明は、赤、緑、青等の色成分の画像データに分離して取り込まれている画像の色を当該色成分の画像データを用いて判別する色判別機能を有するホワイトボード撮影用色補正装置に関するものである。
【０００２】
【従来の技術】
従来、電気信号からなる画像の色を判別する方法として、画像を構成する色成分データの正規化データを用いて色判別する方法が知られている。例えば特開平６−１０５０９１号公報には、画像を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画像データＸr，Ｘg，Ｘbをｘi＝Ｘi／（Ｘr＋Ｘg＋Ｘb）（ｉ＝ｒ，ｇ，ｂ）の演算式により正規化データとした後、図３６に示すように、正規化データｘr，ｘgの点Ｐのｘr-ｘg平面（三角形の平面）内における位置に基づいてその画像の色判別を行う方法が示されている。
【０００３】
また、特開平５−２９８４４３号公報には、各画素位置毎に、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbをこれらの最大値Ｘmax｛Ｘr，Ｘg，Ｘb｝で割って正規化したデータを算出し、この正規化データを用いて色判別する方法が示されている。この色判別方法は、隣接する画素位置の正規化データとの差の２乗和によって領域を分割し、各分割領域毎にＲ，Ｇ，Ｂの色成分の正規化データの平均値を算出し、この算出結果と予め設定された色の正規化データとを比較して最も近似した色をその領域の色とするものである。
【０００４】
また、特開平５−１３７０１１号公報には、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの最大値と最小値との差を演算し、その演算結果が予め設定された所定の閾値より小さい場合は、無彩色と判別し、所定の閾値以上の場合は、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの大小の組合わせによって有彩色の色を判別する方法が示されている。そして、無彩色と判別された場合は、更に輝度データで白と黒との判別が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbから生成される正規化データは、画像に含まれる色成分の偏差の度合いを示すもので、有彩色の色を識別するには有効なデータであるが、明度の情報は捨象されているので、輝度が低すぎたり、高すぎる画像の色判別では誤判別のおそれがある。
【０００６】
例えば低輝度の色（暗い色）の場合は、Ｒ，Ｇ，Ｂの各色成分の画像データＸr，Ｘg，Ｘbの偏差がかなり大きくなければ、有彩色の正確な色判別は困難である。例えば（Ｘr，Ｘg，Ｘb）＝（６０，２０，２０）の画像は、Ｒの色成分の偏差が大きいので、正規化データを用いた色判別では赤と判別されるが、実際には輝度が小さいので、赤よりは黒に近い色になっており、正規化データによる色判別結果と実際の色とが一致しない。また、（Ｘr，Ｘg，Ｘb）＝（２００，１６０，１６０）と画像は、Ｒの色成分の偏差が小さいので、正規化データを用いた色判別では、灰色と判別されることがあるが、実際には明るい赤色を示していることが多く、この場合も正規化データによる色判別結果と実際の色とが一致しない。
【０００７】
従って、上記従来の色判別方法は、いずれも色成分の偏差のみを用いるものであるので、無彩色も含めて色判別する場合、有彩色と無差色との色判別で誤判別が生じやすくなるという問題がある。なお、特開平５−１３７０１１号公報に示される色判別では、輝度データも用いられているが、これは無彩色における白黒判別にのみ使用され、有彩色と無彩色との色判別には利用されていないので、上述の問題を解決し得るものではない。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、無彩色と有彩色の色判別並びに無彩色における白黒判別を容易且つ正確に行うことのできる色判別機能を有するホワイトボード撮影用色補正装置を提供するものである。
【０００９】
【課題を解決するための手段】
本発明は、複数の色成分の画像データからなるカラー画像の色を判別する色判別機能を有するホワイトボード撮影用色補正装置であって、上記画像データを用いて上記カラー画像の輝度情報を演算する第１の演算手段と、上記画像データを用いて上記カラー画像の色情報を演算する第２の演算手段と、上記色情報を用いて有彩色と無彩色とを判別する第１の色判別手段と、上記輝度情報を用いて上記第１の色判別手段で無彩色と判別された色が白／黒のいずれであるかを判別する第２の色判別手段と、上記色情報と上記輝度情報とを用いて上記第１の色判別手段で有彩色と判別された色が予め設定された複数の色のいずれであるかを判別する第３の色判別手段と、前記カラー画像の色を前記第３の色判別手段により判別された色に置換する色データ置換手段とを備えたものである（請求項１）。
【００１０】
上記構成によれば、カラー画像を構成する複数の色成分の画像データを用いて当該カラー画像の輝度情報と色情報とが算出される。そして、色情報を用いて有彩色と無彩色とが判別され、この判別で無彩色と判別されたときは、更に輝度情報を用いてその色が白／黒のいずれであるかが判別される。この判別は、輝度情報を所定の閾値と比較し、例えば輝度情報が閾値より大きいときは白、閾値より小さいときは黒と判別される。
【００１１】
また、有彩色と判別されたときは、色情報と輝度情報とを用いてその色が予め設定された色（例えば赤、緑、青、白、黒等の色）のいずれであるかが判別される。この判別は、輝度情報を白色、黒色、これ以外の色（赤、緑、青の色）に識別する２個の所定の閾値と比較し、例えば輝度情報がレベルの低い第１の閾値より小さいときは黒色、レベルの高い第２の閾値より高いときは白色、第１の閾値と第２の閾値との間では白又は黒以外の色と判別される。更に白又は黒以外の色と判別されたときは、色情報を用いて予め設定された色（赤、緑、青の色）のいずれであるかが判別される。そして、判別された色に、上記カラー画像の色が置換されるものである。
【００１２】
上記色補正装置において、さらに、ホワイトボードに描かれた着色部分を含む被写体を撮影可能な撮影手段と、前記撮影手段で撮影された画像の前記ホワイトボードの着色部分の色データを登録する色登録手段とを備えていることが望ましい（請求項２）
【００１３】
また、本発明は、上記色補正装置において、上記色情報は、各色成分毎に算出された上記画像データの２次以上の冪乗値に対する正規化データとしたものである（請求項３）。この構成によれば、各色成分毎に算出された上記画像データの２次以上の冪乗値に対する正規化データが色情報として算出される。すなわち、複数の色成分の画像データをＸ(i)（ｉ＝１，２，…ｎ）とすると、各色成分の正規化データｘ(i)はｘ(i)＝Ｘ(i)k／{Ｘ(1)k＋Ｘ(2)k＋…Ｘ(n)k}（ｋ≧２）の演算式により算出される。この正規化データは、カラー画像の各色成分の偏差の度合いを示すので、各色成分の正規化データを用いてカラー画像の白又は黒以外の色の判別が行われる。
【００１４】
また、本発明は、上記色補正装置において、上記色成分は、赤、緑、青の３原色としたものである（請求項４）。
【００１５】
上記構成によれば、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像データを用いてカラー画像の輝度情報と色情報とが算出される。輝度情報は、例えばＧの色成分の画像データを用いて算出される。また、色情報として各色成分の画像データの２次以上の冪乗値に対する正規化データを用いる場合は、赤、緑、青の色成分データをＸr，Ｘg，Ｘbとし、正規化データをｘr，ｘg，ｘbとすると、各色成分の正規化データがｘi＝Ｘik／{Ｘrk＋Ｘgk＋Ｘbk}（ｉ＝ｒ，ｇ，ｂ、ｋ≧２）の演算式により算出され、この正規化データｘr，ｘg，ｘbを用いて色判別が行われる。例えば正規化データｘg，ｘbを用い、ｘr-ｘg-ｘb座標におけるｘg-ｘb平面内の点（ｘg，ｘb）の座標位置から画像の色判別が行われる。
【００１６】
【発明の実施の形態】
本発明について、本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラを例に説明する。
【００１７】
図１は、本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの一実施の形態の外観を示す斜視図、図２は、同デジタルカメラの背面図である。
【００１８】
同図において、デジタルカメラ１は、前面の略中央にズームレンズからなる撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設されている。
【００１９】
投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光の被写体からの反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。
【００２０】
デジタルカメラ１の側面にはハードディスクカード１０（以下、ＨＤカード１０と略称する。）が装着脱されるカード挿入口７が設けられ、このカード挿入口７の上部にＨＤカード１０をイジェクトするためのカード取出ボタン８が設けられている。また、デジタルカメラ１の上面左端部にシャッタボタン９が設けられている。
【００２１】
撮影結果をプリントアウトする場合、カード取出ボタン８を押してＨＤカード１０をデジタルカメラ１から取り外し、ＨＤカード１０が装着可能なプリンタにこのＨＤカード１０を装着してプリントアウトすることができる。
【００２２】
なお、デジタルカメラ１にＳＣＳＩケーブルのインターフェースを設け、デジタルカメラ１とプリンタとをＳＣＳＩケーブルで接続し、デジタルカメラ１からプリンタに画像データを転送して直接、撮影画像をプリントアウトさせるようにしてもよい。
【００２３】
また、本実施の形態では画像データの記録媒体としてＰＣＭＣＩＡ準拠のハードディスクカードを採用しているが、撮影結果を画像データとして記憶できるものであれば、メモリカードやミニディスク（ＭＤ）等の他の記録媒体でもよい。
【００２４】
デジタルカメラ１の背面には、図２に示すように、その上部の左端部に電源投入用のメインスイッチ１１が設けられ、略中央にファインダー接眼窓１２が設けられている。また、メインスイッチ１１の下部には、色補正スイッチ１３、ノイズ修正スイッチ１４及び濃度設定スイッチ１５が設けられている。
【００２５】
更に、デジタルカメラ１の背面右端部に、モード変更スイッチ１６、色登録確認表示部１７、色選択ボタン１８、セットボタン１９及びデフォルトボタン２０が設けられている。
【００２６】
ホワイトボードに書かれた文字や図表などを直接、撮影して記録資料とする場合、その撮影画像については通常の写真撮影のような描写性の高い画質よりも文字等が明瞭な情報性の高い画質が要求される。色補正スイッチ１３は、このような撮影画像に対して文字、線図等の濃度を明瞭にするとともに、色分けを明確にする所定の画像処理を指示するためのスイッチである。
【００２７】
この画像処理では、ホワイトボードには通常、赤、青、緑、橙、黒等の数種類のカラーペンで文字、図表等が書かれること、また、この文字、図表等を撮影した画像では色再現性よりも撮影画像の文字等の情報性（見易さ、判り易さ等）が重視されることから、撮影された画像内の文字等が赤、青、緑、橙、黒等のいずれの色に着色されているかを判別し、その文字等に判別結果に応じた予め設定された所定の色を割り付ける処理（その文字等を構成する領域の画像データを予め設定された色の画像データで置換する処理）が行われる。
【００２８】
色補正スイッチ１３がオンであれば、撮影画像に対する上記画像処理が行われ、オフであれば、撮影画像に対する上記画像処理は行われず、通常の写真撮影に対する画像処理が行われる。従って、通常の写真撮影を行う撮影モードを「ノーマルモード」、ホワイトボードに書かれた文字等の記録撮影を行う撮影モードを「ドキュメントモード」とすると、色補正スイッチ１３はノーマルモードとドキュメントモードとを切換設定するスイッチとなっている。
【００２９】
ノイズ修正スイッチ１４は、ドキュメントモードにおける上記画像処理において、撮影画像の文字等にノイズとして発生した偽色を修正するためのスイッチである。ノイズ修正スイッチ１４をオンにすると、後述するように撮影画像の文字等に発生した偽色の修正処理が行われ、オフにすると、その修正処理は行われない。ノイズ修正スイッチ１４はドキュメントモードで機能するため、色補正スイッチ１３がオフになっているときにノイズ修正スイッチ１４をオンにしても、偽色修正処理の指示は無視される。
【００３０】
濃度設定スイッチ１５は、ドキュメントモードの画像処理において、例えば線の細い文字や濃度の淡い図形等が明瞭な画像となるようにするために、被写体の濃度情報を設定するものである。濃度設定スイッチ１５で設定された濃度情報は、ドキュメントモードの画像処理の色判別における判別閾値を被写体の濃度に応じて切り換える際に用いられる。本実施の形態では、濃度設定スイッチ１５により「濃」，「淡」、２種類の濃度情報が切換設定される。濃度設定スイッチ１５もドキュメントモードにおいて機能するため、色補正スイッチ１３がオフになっているときに濃度設定スイッチ１５をオンにしても、文字等の濃度の修正処理の指示は無視される。なお、濃度設定は、連続的に設定できるようにしていてもよい。
【００３１】
モード変更スイッチは、写真撮影を行う撮影モードと色判別の際の判別色の登録を行う色登録モードとを切換設定するものである。色登録モードは、色見本（ホワイトボード上にカラーペンで作成されたカラーパッチ等）を実際に撮影して上述の色判別処理及び色置換処理で使用される色の画像データを設定、登録する処理を行うためのモードである。なお、デジタルカメラ１には予め色データのデフォルト値が設定されており、ユーザーが色登録モードにおいて、色データを登録設定しなかった場合は、このデフォルト値が色判別及び色データ置換の処理に利用される。
【００３２】
本実施の形態では、図３に示すように、赤、青、橙、緑の４つの色について登録することができるようになっている。従って、モード変更スイッチ１６が「色登録」に設定されていると、赤、青、橙、緑の４つの色について、色見本を撮影して所望の色データを登録することができ、モード変更スイッチ１６が「撮影」に設定されていると、写真撮影が可能になる。
【００３３】
色登録確認表示部１７は、色登録の内容や色データ置換処理における使用色を表示するものである。色登録確認表示部１７は、色登録モードにおいては、登録すべき色の選択を行うための表示部として、また、撮影モードにおいては、色データ置換処理に使用する色の選択を行うための表示部としても機能する。図３において、「赤」、「青」、「橙」及び「緑」の表示は、登録可能な色の種類を示すものである。本実施例では、４種類の色を登録可能にしているが、４種類以上の色を登録可能にしてもよく、また、上記４種類の色以外の色（例えば黄、茶等の色）を登録可能にするようにしてもよい。
【００３４】
上部にバー表示１７１が付されている色は、色登録又は色使用の選択を行う際、その色が選択されていることを示している。図３では、「青」が選択されている。このバー表示１７１は、色選択ボタン１８の操作により左右に移動し、ユーザーは、色登録モードにおいて色選択ボタン１８を操作することにより所望の色を選択することができるようになっている。なお、右側の色選択ボタン１８を押す毎に、バー表示１７１は「赤→青→橙→緑→赤」と右方向に移動し、左側の色選択ボタン１８を押す毎に、バー表示１７１は「緑←赤←青←橙←緑」と左方向に移動する。
【００３５】
また、色登録欄の○印表示１７１で囲まれている色は、その色が登録されていることを示し、○印表示１７１で囲まれていない色は、その色が登録されていないことを示している。色登録は、色登録モードを設定し、バー表示１７１で所望の色、例えば「赤」を選択した後、ホワイトボード上の適当な大きさの領域を赤ペンで塗り潰す等して作成した色見本を撮影することにより行われる。この場合、ファインダー内には、図４に示すように、中央部に色データ取込範囲を示す枠２１が表示され、この枠２１内の一定の領域以上に色見本２２が含まれるようにフレームを調整して撮影すると、色データの登録処理が行われる。色登録モードでの撮影では、撮影画像内の枠２１内に含まれる画像データを用いて、その枠内の色（図４の例では赤）を構成するＲ，Ｇ，Ｂの色成分のデータとこれらのデータを用いて生成された２次の正規化データ（後述する）とが登録される（メモリに記憶される）。
【００３６】
色使用欄は、色補正モードにおける色判別及び色データ置換の処理において、登録色又はデフォルト色が使用されるか否かを示す表示である。○印表示１７３で「ＯＮ」が囲まれている色は、使用されることを示し、「ＯＦＦ」が囲まれている色は使用されないことを示す。図３の表示例では、橙を除く赤、青、緑の３色が色データ置換処理に使用されることを示している。
【００３７】
色使用欄のＯＮ／ＯＦＦ設定は、色登録モードにおいて、色選択ボタン１８により色を選択した後、セットボタン２０を操作して行われる。色使用欄の○印表示１７３の位置は、セットボタン２０を押す毎にＯＮとＯＦＦとが交互に切り換わり、ユーザーは、○印表示１７３の表示位置を見ながらセットボタン２０を操作することで色の使用／不使用を設定することができる。
【００３８】
デフォルトボタン２０は、色登録した色をデフォルト色に戻すための操作ボタンである。色登録モードにおいて、バー表示１７１で所望の色に設定した後、デフォルトボタン２０を押すと、○印表示１７２の表示が消え、色登録が抹消される。
【００３９】
図５は、本発明に係るデジタルカメラのドキュメントモードにおける撮影画像の画像処理に関するブロック構成図である。
同図において、図１，図２に示した部材と同一の部材には同一番号を付している。また、撮像部２３は、撮影レンズ２により撮像素子の撮像面に結像された被写体光像を画像信号に変換して出力するものである。撮像部２３には、例えばＣＣＤカラーエリアセンサからなる撮像素子とこの撮像素子（以下、ＣＣＤという。）の駆動を制御するＣＣＤ駆動制御回路とＣＣＤから出力される画像信号（アナログ信号）のノイズ低減、レベル調整等の所定の信号処理を行うアナログ信号処理回路が含まれている。
【００４０】
ＣＣＤカラーエリアセンサは、被写体光像をＲ，Ｇ，Ｂの色成分の画像データに分離して出力するものであり、単板式エリアセンサ、３板式エリアセンサのいずれであってもよい。撮像部２３は、カメラの撮影動作を集中制御する制御部３４から入力される露出制御値（シャッタスピード）に基づきＣＣＤの撮影動作（電荷蓄積及び蓄積電荷の読出）が制御される。すなわち、制御部３４からの露光開始信号に基づきＣＣＤの露光（電荷蓄積）が開始され、所定時間経過後に露光が終了すると、その蓄積電荷がＲ，Ｇ，Ｂの色成分毎にＣＣＤから読み出され、アナログ信号処理回路で所定の信号処理が行われた後、Ａ／Ｄ変換器２４を介して画像処理部２６に読み出される。
【００４１】
Ａ／Ｄ変換器２４は撮像部２３から読み出されたアナログの画像信号を、例えば８ビットのデジタルの画像信号（以下、画像データという。）に変換するものである。
【００４２】
画像処理部２５は、Ａ／Ｄ変換器２４から入力された画像データに、ノーマルモードにおいてはホワイトバランス、γ補正、シェーディング補正等の所定の画像処理を施し、ドキュメントモードにおいては後述する下地飛ばし、色補正、黒領域補正及色データ置換等の所定の画像処理を施し、所定の圧縮処理をした後、ＨＤカード１０に出力するものである。
【００４３】
ＨＤカード１０は、撮影画像を構成する画像データを記録する記録媒体である。また、カード駆動制御部２６は、ＨＤカードの駆動を制御するものである。
【００４４】
ＲＡＭ（Random Access Memory）２７は、制御部３４が撮影や色登録その他の機能に関する処理を行うためのメモリである。ＲＯＭ（Read Only Memory）２８は、撮像駆動の制御に必要なデータや処理プログラム、後述するドキュメンモードにおける下地飛ばし、色判別、黒領域補正、偽色消去等の各種処理を行うための必要なデータや処理プログラムが記憶されたメモリである。
【００４５】
また、測距部２９は、投光窓４及び受光窓５の後方位置に設けられた被写体距離を検出するものである。測光部３０は、測光窓３の後方位置に設けられたＳＰＣ等の受光素子を有し、被写体輝度を検出するものである。
【００４６】
設定色正規化演算部３１は、色登録モードにおいて、取り込まれた色見本の画像データを用いて、後述する正規化データを演算するものである。この正規化データは、Ｒ，Ｇ，Ｂの各色成分の画像データのレベルをＸr，Ｘg，Ｘbとし、正規化データをｘr，ｘg，ｘbとすると、ｘr＝Ｘr2／（Ｘr2＋Ｘg2＋Ｘb2），ｘg＝Ｘg2／（Ｘr2＋Ｘg2＋Ｘb2），ｘb＝Ｘb2／（Ｘr2＋Ｘg2＋Ｘb2）で算出され、ｘb-ｘg平面における正規化データの座標位置により色判別を行う際の色領域分割に利用される。なお、正規化データの座標位置による色判別方法の詳細は、後述する。
【００４７】
設定色正規化演算部３１は、色登録モードにおいて取り込まれた色見本の画像データの内、撮影画面内の枠２１に含まれる画像データを抽出し、更にその抽出データから予め設定された所定レベル以下の画像データを抽出する。この抽出処理は、図４において、枠２１内の赤の色見本に相当する画像データを抽出するものである。そして、設定色正規化演算部３１は、抽出された色見本の画像データを用いて２次の正規化データを演算する。この演算結果は、制御部３４を介してＲＡＭ２７に記憶される。
【００４８】
色領域設定演算部３２は、上述したｘb-ｘg平面における正規化データの座標位置により色判別を行う際の色領域を分割するものである。すなわち、例えば有彩色を青，緑，橙，赤の４色に色判別する場合、ｘb-ｘg平面における正規化データの座標位置による色判別では、ｘb-ｘg平面を青，緑，橙，赤の４つの色領域に分割し、正規化データの座標位置がいずれの色領域にあるかで色判別が行われるが、色領域設定演算部３２は、ｘb-ｘg平面を青，緑，橙，赤の４つの色領域に分割するための境界線を演算するものである。この境界線の演算結果もＲＡＭ２７に記憶される。なお、色領域の設定についても後述する。
【００４９】
制御部３４は、デジタルカメラ１の撮影動作を集中制御するもので、マイクロコンピュータで構成されている。制御部３４は、撮像部２３の駆動を制御して被写体光像を撮像し、画像処理部２５の駆動を制御して撮像画像に所定の画像処理を施すとともに、カード駆動制御部２６の駆動を制御して画像処理後の撮像画像をＨＤカードに記録する。
【００５０】
図６は、画像処理部２５のドキュメントモードにおける画像処理（色補正処理）に関するブロック構成図である。
【００５１】
画像処理部２５には、ドキュメントモードにおける色補正処理を行うための回路ブロックとして、画像メモリ２５１、第１ノイズ消去部２５２、下地飛ばし演算部２５３、γ特性設定部２５４、色判別部２５５、黒領域補正部２５６、第２ノイズ消去部２５７及び色置換部２５８（色データ置換手段）が含まれている。
【００５２】
ドキュメントモードにおいては、図７に示すように、画像処理部２５に入力にされた画像データは、まず、下地を白く飛ばす前処理が行われた後（処理Ａ）、各画素位置の画像データ（Ｒ，Ｇ，Ｂの画像データ）の２次の冪乗値について正規化データが作成され（処理Ｂ）、この正規化データを用いて色判別が行われる（処理Ｃ）。そして、文字等を構成する画像データのうち、誤って色判別された画像データが修正されるとともに、黒色領域の画像データのうち、有彩色に着色された画像データが修正された後（処理Ｄ）、各画素位置の画像データが色判別結果に基づく所定の色データに置換されてＨＤカード１０に出力される（処理Ｅ）。
【００５３】
画像メモリ２５１は、Ａ／Ｄ変換器２４から入力されるＲ，Ｇ，Ｂの各色成分の画像データを一時的に記憶するものである。第１ノイズ消去部２５２は、例えば各画素位置の画像データを隣接する画素位置の８個の画像データとの平均値に置換することによって画像メモリ２５１に入力された画像データのノイズを低減するものである。
【００５４】
下地飛ばし演算部２５３は、画像データの下地部分と文字部分とを分離し、下地部分に相当する領域を所定の白レベルデータに変換するものである。すなわち、例えばホワイトボードに文字や図形が描かれた被写体を撮影した画像（以下、ホワイトボード撮影画像という。）の場合、図８に示すように、ホワイトボード３５のボード部分３５１の画像を一律に白くし、文字部分３５２の画像を見易くするものである。下地飛ばし演算部２５３は、γ特性設定部２５４から入力されるγ特性に従って各画素位置の画像データのγ補正を行うことにより下地飛ばし処理を行う。
【００５５】
γ特性設定部２５４は、下地飛ばし処理のためのγ特性を設定するものである。γ特性設定部２５４は、入力された画像データのヒストグラムを作成し、このヒストグラムに基づいてγ特性を決定する。図９は、ホワイトボード撮影画像の典型的なヒストグラムであるが、このような文字画像では、一般に大小２つの山Ｕ１，Ｕ２が生じる。明領域に生じる大きい山Ｕ１は、ボード部分３５１に相当し、暗領域に生じる小さい山Ｕ２は、文字部分３５２の明瞭な文字や図形に相当している。そして、大きい山Ｕ１と小さい山Ｕ２との谷の部分Ｒは、ボード部分３５１の汚れや文字部分３５２の色の薄い或いは線の細い文字や図形の部分である。
【００５６】
γ特性設定部２５４は、例えば大きい山Ｕ１のピークに対応する画像データのレベルｗを算出し、図１０に示すように、このレベルｗを白飽和レベルとするγ特性(1) （図中では丸数字で記載している。以下同じ。）を決定する。なお、図１０は、画像データが８ビットデータの場合のγ特性で、レベル「２５５」は、白レベルであり、レベル「０」は、黒レベルである。同図に示すγ特性(1)では、レベルｗ以上の画像データは、すべて一律に白レベルに変換され、レベルｗより小さい画像データは、そのレベルに応じて所定の変換比率（γ値）でリニアにレベル変換される。なお、文字部分３５２の黒を強調するため、所定の低レベルｂを黒飽和レベルとするγ特性(2) （図中では丸数字で記載している。以下同じ。）を用いるようにしてもよい。γ特性(2)では、レベルｂ以下の画像データは、すべて一律に黒レベルに変換される。
【００５７】
従って、γ特性設定部２５４で設定されたγ特性(1)（又は(2)）を用いて下地飛ばし演算部２５３で画像データのγ補正が行われると、図８に示すように、ボード部分３５１の画像データが略均等に白データに変換され、撮影画像の下地が白く飛ばされることになる。
【００５８】
色判別部２５５は、各画素位置の色を判別するものである。色判別部２５５は、色判別処理を行うための回路として正規化演算回路２５５ａ、輝度演算回路２５５ｂ、形状認識回路２５５ｃ及び色判別回路２５５ｄを有している。
【００５９】
Ｒ，Ｇ，Ｂの色成分の画像データを用いた色判別方法としては、特開平６−１０５０９１号公報に示されるように、３個の色成分の内、２個の色成分を選択し、選択された色成分の正規化データの座標平面における２個の色成分の正規化データの位置により色判別する方法が知られている。本実施の形態でも、２個の色成分の正規化データの位置により色判別が行われるが、上記公報が１次の正規化データ、すなわち、Ｒ，Ｇ，Ｂの各色成分の画像データの混合比率を表す正規化データｘr＝Ｘr／（Ｘr＋Ｘg＋Ｘb），ｘg＝Ｘg／（Ｘr＋Ｘg＋Ｘb），ｘb＝Ｘb／（Ｘr＋Ｘg＋Ｘb）を用いて色判別を行うのに対して、本実施の形態は、２次の冪乗値についての正規化データｘi＝Ｘi2／（Ｘr2＋Ｘg2＋Ｘb2）（ｉ＝ｒ，ｇ，ｂ）を用いる点で異なる。
【００６０】
本実施の形態で２次の正規化データを用いるのは、ドキュメントモードでの撮影では、文字等を見易くする観点から色分類性が重視され、以下に説明するように、２次の正規化データを用いた方が色判別処理に有利だからである。
【００６１】
図１１は、一次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図であり、図１２は、２次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【００６２】
両図において、（ｘb，ｘg）＝（１／３，１／３）のＱ点は、理想的なホワイトバランスを有するカメラで撮影した場合の完全に無彩色と判別される位置である。また、（ｘb，ｘg）＝（１，０），（０，１），（０，０）の各点は、それぞれ完全な青色、緑色、赤色と判別される位置である。実際のカメラでは理想的なホワイトバランスを有していないので、例えば青色の純色を撮影してもその撮影画像の正規化データ（ｘb，ｘg）は、（ｘb，ｘg）＝（１，０）にはならず、一般にＱ点側に偏ったある領域内に位置する。
【００６３】
例えば標準的な青色、緑色、橙色、赤色の４つカラーペンでホワイトボード上に作成された色見本を撮影した場合の各色の正規化データ（ｘb，ｘg）は、それぞれ楕円Ｓb，Ｓg，Ｓo，Ｓrで示す領域内に分布する。また、白又は黒の無彩色についてもＱ点の近傍のある領域Ｓｗ内に分布する。
【００６４】
両図の楕円Ｓb，Ｓg，Ｓo，Ｓrを比較すれば明らかなように、２次の正規化データ（ｘb，ｘg）を用いると、楕円Ｓb，Ｓg，Ｓo，Ｓrがより偏平になり、同一の有彩色の画像データから生成された正規化データ（ｘb，ｘg）の位置は、理想的な無彩色点Ｑから遠くなることが分かる（図１１，図１２の青色領域内のプロットされたＰ点，Ｐ′点を比較参照）。従って、２次の正規化データを用いる方が１次の正規化データを用いるよりも容易かつ正確に色判別を行うことができる。
【００６５】
正規化演算回路２５５ａは、各画素位置のＲ，Ｇ，Ｂの各色成分の画像データを２次の冪乗値による正規化データｘr＝Ｘr2／（Ｘr2＋Ｘg2＋Ｘb2），ｘg＝Ｘg2／（Ｘr2＋Ｘg2＋Ｘb2），ｘb＝Ｘb2／（Ｘr2＋Ｘg2＋Ｘb2）に変換するもの
である。
【００６６】
正規化演算回路２５５ａは、図１３のフローチャートに従って各画素位置の画像データＸr，Ｘg，Ｘbを２次の正規化データｘr，ｘg，ｘbに変換する。
【００６７】
すなわち、各色成分の画像データＸr，Ｘg，Ｘbをそれぞれ２乗し、その演算結果をそれぞれレジスタＲr１，Ｒg１，Ｒb１に格納する（＃２）。続いて、レジスタＲr１，Ｒg１，Ｒb１に格納された画像データＸr，Ｘg，Ｘbの２乗値Ｘr2，Ｘg2，Ｘb2を加算し、その結果をレジスタＳＵＭに格納する（＃４）。続いて、レジスタＲr１，Ｒg１，Ｒb１に格納された画像データＸr，Ｘg，Ｘbの２乗値Ｘr2，Ｘg2，Ｘb2をそれぞれレジスタＳＵＭに格納された加算値（Ｘr2＋Ｘg2＋Ｘb2）で除し、その結果をそれぞレジスタＲr２，Ｒg２，Ｒb２に格納して処理を終了する（＃６）。
【００６８】
なお、２次より大きい次数の正規化データ（ｘb，ｘg）を用いると、ｘb-ｘg
平面における正規化データ（ｘb，ｘg）の位置の無彩色点Ｑから遠くなる傾向はより強くなり、その画像データの有する色味の特徴（すなわち、青、緑、橙、赤のいずれに偏っているか）がより明確となるので、正規化データとして、
ｘr＝Ｘrk／（Ｘrk＋Ｘgk＋Ｘbk）
ｘg＝Ｘgk／（Ｘrk＋Ｘgk＋Ｘbk）
ｘb＝Ｘbk／（Ｘrk＋Ｘgk＋Ｘbk）
の演算式により算出されるｋ次（ｋ＞２）の正規化データを用いてもよい。
【００６９】
また、本実施の形態では、Ｒ，Ｇ，Ｂの色成分の画像データについて説明したが、他の色成分の画像データの正規化データＸ(1)，Ｘ(2)，…Ｘ(n)を用いる場合にも２次以上の冪乗値に対する正規化データｘ(1)k＝Ｘ(1)k／ΣＸ(i)k，ｘ(2)k＝Ｘ(2)k／ΣＸ(i)k，…ｘ(n)k＝Ｘ(n)k／ΣＸ(i)k（ｉ＝１，２，…ｎ、ｋ≧２）を用いることできる。
【００７０】
ところで、色判別では、有彩色の色の判別とともに、有彩色と無彩色の白及び黒との判別を行う必要がある。有彩色と無彩色の白及び黒との判別も、上述のようにｘg-ｘb平面内における正規化データの位置を調べることにより行うことができる。
【００７１】
しかし、Ｒ，Ｇ，Ｂの色成分の画像データから生成された正規化データは、画像内のＲ，Ｇ，Ｂの色成分の偏差のみを抽象し、明暗の情報は捨象されているので、正規化データのみを用いて色判別を行うと、低輝度の黒色や高輝度の白色が赤や青等の有彩色と誤判別される場合が生じる。すなわち、例えばＲ，Ｇ，Ｂの色成分の画像データ（Ｘr，Ｘg，Ｘb）が（２０，５，５）の黒い画素位置に対する２次の正規化データ（ｘb，ｘg）は（０．０６，０．０６）で、画像データ（Ｘr，Ｘg，Ｘb）＝（２００，５０，５０）の赤い画素位置に対する２次の正規化データ（ｘb，ｘg）と同一となるので、黒色が赤色に誤判別される。
【００７２】
そこで、このような誤判別を防止するため、本実施の形態では、各画素位置の輝度データと上述の正規化データとを用いて色判別（無彩色の判別を含む。）を行うようにしている。また、線幅の広狭の色判別への影響を低減するため、後述するように、文字、図形等の幾何学的形状を加味して色判別を行うようにしている。
【００７３】
輝度演算回路２５５ｂは、上述の色判別処理に使用する各画素位置の輝度データを演算するものである。輝度演算回路２５５ｂは、例えばＲ，Ｇ，Ｂの色成分の画像データＸr，Ｘg，Ｘbの平均値Ｙ（＝（Ｘr＋Ｘg＋Ｘb）／３）を、各画素位置の色判別用の輝度データとして算出する。
【００７４】
また、形状認識回路２５５ｃは、文字、図形等を構成する領域が線状であるか、面状であるかを認識するものである。形状認識回路２５５ｃは、５×５画素又は７×７画素のブロック毎に、そのブロック内の画像データのレベルを最大値が「２５５」となるように補正した後、「０」及び「２５５」のレベルの画像データ或いは「０」〜「２５５」の数種類のレベルの画像データを有するテンプレートとの２乗誤差計算等によるパターンマッチングにより、図１４に示すように、細線部分のパターンαと太線部分のパターンβとを検出する。この検出結果は、色判別回路２５５ｄに入力される。なお、パターンマッチングに代えて高周波成分検出処理により形状判別を行うようにしてもよい。
【００７５】
色判別回路２５５ｄは、正規化演算回路２５５ａで算出された正規化データ（ｘb，ｘg）、輝度演算回路２５５ｂで算出された輝度データＹ及び形状認識回路２５５ｃで認識されたパターン結果に基づき、図１５〜図１８に示す所定の閾値プロファイルを用いて各画素位置の色判別（例えば白、黒、青、緑、橙、赤の色判別）を行うものである。
【００７６】
図１５は、色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第１の実施形態を示す図である。また、図１６〜図１８は、色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの変形例で、それぞれ第２〜第４の実施形態を示す図である。
【００７７】
図１５〜図１８において、横軸は、ｘb-ｘg平面における無彩色点Ｑからの距離情報を示し、縦軸は、色判別用の輝度レベルを示している。
【００７８】
なお、距離情報は、ｘb-ｘg平面での点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を示すものではなく、ｘr-ｘg-ｘb空間において無彩色点（1/3，1/3，1/3）から等距離にある閉曲面をｘb-ｘg平面に射影して得られる等距離線（無彩色点Ｑ（1/3，1/3）を含む閉曲線）を特定するための距離の情報である。
【００７９】
ここで、距離情報について、簡単に説明すると、ｘb-ｘg平面における等距離線上の任意の正規化データ（ｘb，ｘg）を同一距離にある一群のデータとして扱う場合、等距離線が無彩色点Ｑ（1/3，1/3）を中心とする円になるのであれば、距離情報としてｘb-ｘg平面における点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を採用することができる。
【００８０】
しかし、等距離線は、上述のようにｘr-ｘg-ｘb空間における無彩色点（1/3，1/3，1/3）から等距離にある閉曲面をｘb-ｘg平面に射影したもので、無彩色点Ｑ（1/3，1/3）を中心とする円でない同心状の閉曲線となるから、点Ｑから正規化データ（ｘb，ｘg）の位置までの実際の距離を距離情報とすることはできない。
【００８１】
そこで、本実施の形態では、等距離線上にある正規化データ（ｘb，ｘg）について同一の距離情報を与えるため、正規化データ（ｘb，ｘg）とそれが属する等距離線が一対一に対応することから、ｘb-ｘg平面における等距離線の位置を定義する距離情報をその等距離線上の正規化データ（ｘb，ｘg）の距離情報としている。
【００８２】
正規化データ（ｘb，ｘg）が与えられた場合、その正規化データ（ｘb，ｘg）に対する距離情報を決定するには、その正規化データ（ｘb，ｘg）が属する等距離線を決定する必要がある。しかし、必ずしもｘr-ｘg-ｘb空間における無彩色点（1/3，1/3，1/3）を中心に同心状に形成される複数の等距離面をｘb-ｘg平面に射影してなる複数の等距離線の中の正規化データ（ｘb，ｘg）が属する等距離線を決定する必要はない。なぜなら、正規化データ（ｘb，ｘg）の距離情報は、所定の閾値との相対比較による色判別に使用するものであるから、相対的な距離情報で無彩色点Ｑ（1/3，1/3）からの正規化データ（ｘb，ｘg）の位置が特定できればよいからである。
【００８３】
与えられた正規化データ（ｘb，ｘg）に対して等距離線から相対的な距離情報を決定するとすれば、等距離線としては、その正規化データ（ｘb，ｘg）とこれ以外の等距離線上にある複数の正規化データ（ｘb，ｘg）とにより決定される特定形状の閉曲線を採用することができる。
【００８４】
一方、ｘr-ｘb-ｘg空間において、成分を相互に入れ換えた６個の正規化データ（ｘr，ｘb，ｘg），（ｘb，ｘg，ｘr），…は、無彩色点（1/3，1/3，1/3）から等距離にあり、これらの正規化データをｘb-ｘg平面に射影した点は、ｘb-ｘg平面において等距離線を構成するから、等距離線として採用し得る形状は、少なくとも与えられた正規化データ（ｘb，ｘg）とこの正規化データの成分を相互に入れ換えて生成される他の５個の正規化データ（ｘr，ｘb），（ｘr，ｘg），（ｘb，ｘr），（ｘg，ｘr），（ｘg，ｘb）とにより構成されるものでなければならない。
【００８５】
従って、ｘb-ｘg平面上おいては、３個の成分を相互に入れ換えて生成されるｘb-ｘg平面上の６個の正規化データ（ｘb，ｘg），（ｘr，ｘb），（ｘr，ｘg），（ｘb，ｘr），（ｘg，ｘr），（ｘg，ｘb）を通る任意の形状を等距離線の特定形状とすることができる。
【００８６】
図１９は、成分を相互に入れ換えた６個の正規化データのｘb-ｘg平面上の位置関係の一例を示す図である。
【００８７】
同図に示すＰ１（1/2，1/3），Ｐ２（1/2，1/6），Ｐ３（1/3，1/6），Ｐ１′（1/3，1/2），Ｐ２′（1/6，1/2），Ｐ３′（1/6，1/3）の各点は、点Ｐ１に対する正規化データｘr（＝1/6），ｘg（＝1/2），ｘb（＝1/3）の成分を相互に入れ換えて生成される５個の正規化データをｘb-ｘg平面上にプロットしたものである。同図から明らかなように、点Ｐ１′，Ｐ２′，Ｐ３′は、それぞれ点Ｐ１，Ｐ２，Ｐ３の直線Ｌ（原点と点Ｑとを結ぶ直線）に対する線対称点となっている。また、点Ｐ３，Ｐ３′は、それぞれ点Ｐ１，Ｐ１′の直線Ｌ′（点Ｑを通る直線Ｌに直交する直線）に対する線対称点となっている。このような点Ｐ１〜Ｐ３，Ｐ１′〜Ｐ３′の対称性は、ｘr＋ｘb＋ｘg＝１の関係を有する成分を相互に入れ換えて各点の正規化データが決定されていることに基づくものである。
【００８８】
従って、点Ｐ１の属する等距離線は、点Ｐ１〜Ｐ３，Ｐ１′〜Ｐ３′を通り、かつ、直線Ｌ，Ｌ′に対して対称性を有する形状でなければならないが、このような形状としては、例えば図２０に示す楕円Ｃ１、図２１に示す二等辺三角形Ｃ２、又は図２２に示す六角形Ｃ３などが考えられる。
【００８９】
等距離線の形状が特定されると、その形状の等距離線について無彩色点Ｑ（1/3，1/3）からの距離の算出方法を決定しておけば、正規化データ（ｘb，ｘg）からその正規化データ（ｘb，ｘg）が属する特定形状の等距離線を算出し、更にその等距離線について無彩色点Ｑ（1/3，1/3）からの距離を算出することにより、与えられた正規化データ（ｘb，ｘg）に対する距離情報を決定することができる。
【００９０】
図２０〜図２２の例では、各等距離線の無彩色点Ｑ（1/3，1/3）からの距離として、例えば直線Ｌと等距離線Ｃ１，Ｃ２，Ｃ３との交点Ｐ４と点Ｑとの距離ｄを取ることができる。この距離ｄは、閉曲線として楕円Ｃ１を採用した場合は、楕円Ｃ１の中心Ｑから最近接点までの距離（短軸長の１／２）であり、閉曲線として二等辺三角形Ｃ２を採用した場合は、点Ｑから斜辺の中点までの距離である。
【００９１】
なお、等距離線Ｃ２とＣ３とは形状は異なるが、点Ｐ３，Ｐ３′を通る斜辺は同一であるから、点Ｑからの距離ｄは同一となる。従って、距離情報を考える上では等距離線Ｃ２とＣ３とは実施的に同一である。
【００９２】
本実施の形態では、正規化データ（ｘb，ｘg）から距離情報ｄを直接、算出する演算テーブルを設け、正規化データ（ｘb，ｘg）が算出されると、この演算テーブル用いて直接、距離情報ｄを算出するようにしている。
【００９３】
図１５に戻り、同図に示す閾値プロファイルは、無彩色位置から距離情報ｄ１内の近傍領域を無彩色領域Ｓｗとし、この領域Ｓｗ内では白色と黒色との判別閾値を固定値Ｙ２とし、無彩色領域外では有彩色と黒色との判別閾値を固定値Ｙ１、有彩色と白色との判別閾値を固定値Ｙ３（Ｙ１＜Ｙ２＜Ｙ３）としたものである。
【００９４】
この閾値プロファイルでは、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線の内部に位置しているときは（ｄ≦ｄ１）、輝度レベルＹと閾値Ｙ２とを比較し、Ｙ≧Ｙ２であれば、白色と判別され、Ｙ＜Ｙ２であれば、黒色と判別される。また、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線より外側に位置しているときは（ｄ＞ｄ１）、輝度レベルＹと閾値Ｙ１，Ｙ３とを比較し、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ１であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ１であれば、有彩色と判別される。そして、有彩色の場合は、更に上述した正規化データ（ｘb，ｘg）の位置により、例えば青，緑，橙，赤の４色の色判別が行われる。
【００９５】
図１６に示す閾値プロファイルは、図１５において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線より外側にあるときの有彩色と白色又は黒色との判別閾値をＹ１，Ｙ３からＹ１，Ｙ３，Ｙ４，Ｙ５（Ｙ３＞Ｙ４＞Ｙ１＞Ｙ５＞Ｙ２）にそれぞれ２段階に増加させたものである。この閾値プロフィルでは、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるとき（ｄ２＞ｄ＞ｄ１）、Ｙ＞Ｙ４であれば、白色と判別され、Ｙ＜Ｙ５であれば、黒色と判別され、Ｙ４≧Ｙ≧Ｙ５であれば、有彩色と判別される。また、正規化データ（ｘb，ｘg）の位置が距離情報ｄ２の等距離線と距離情報ｄ３の等距離線との間にあるとき（ｄ３＞ｄ＞ｄ２）、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ５であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ５であれば、有彩色と判別される。更に、正規化データ（ｘb，ｘg）の位置が距離情報ｄ２の等距離線と距離情報ｄ３の等距離線との間にあるとき（ｄ＞ｄ３）、Ｙ＞Ｙ３であれば、白色と判別され、Ｙ＜Ｙ２であれば、黒色と判別され、Ｙ３≧Ｙ≧Ｙ２であれば、有彩色と判別される。
【００９６】
図１７に示す閾値プロファイルは、図１６において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるときの有彩色と白色の判別閾値をＹ４からＹ３までリニアに変化させ、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ３の等距離線との間にあるときの有彩色と黒色の判別閾値をＹ５からＹ２までリニアに変化させたものである。
【００９７】
また、図１８に示す閾値プロファイルは、図１６において、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ２の等距離線との間にあるときの有彩色と白色の判別閾値をＹ４からＹ３までノンリニア（単調増加）に変化させ、正規化データ（ｘb，ｘg）の位置が距離情報ｄ１の等距離線と距離情報ｄ３の等距離線との間にあるときの有彩色と黒色の判別閾値をＹ５からＹ２までノンリニア（単調減少）に変化させたものである。
【００９８】
なお、図１５〜図１８は閾値プロファイルの代表例を示したもので、これ以外の閾値プロファイルを任意に採用することができるものである。
【００９９】
図１５〜図１８に示す閾値プロファイルにおいて、ｘb-ｘg平面における正規化データ（ｘb，ｘg）の位置から、青，緑，橙，赤の４色の色判別を行う場合は、図２３に示すように、楕円Ｓb，Ｓg，Ｓo，Ｓrを基にして分割線ｍ１，ｍ２，ｍ３，ｍ４を設けて三角形のｘg-ｘb平面を４つの領域Ａb，Ａg，Ａo，Ａrに分割し、正規化データ（ｘb，ｘg）の位置が４つの領域Ａb，Ａg，Ａo，Ａr（領域Ｓｗを除く。）のいずれに入っているかで、色判別が行われる。例えば正規化データの座標（ｘb，ｘg）が領域Ａb内に入っていれば、その画素位置は青系統の色と判別され、領域Ａg内に入っていれば、その画素位置は緑系統の色と判別される。
【０１００】
分割線ｍ１，ｍ２，ｍ３，ｍ４は、色領域設定演算部３２で設定され、図２３における点Ｐb，Ｐg，Ｐo，Ｐrを、それぞれ色登録された、或いは予め設定された青，緑，橙，赤の画像データ（デフォルト値）の正規データの座標位置とすると、例えば∠ＰbＱＰg，∠ＰgＱＰo，∠ＰoＱＰr，∠ＰrＱＰbの二等分線や△ＰbＱＰg，△ＰgＱＰo，△ＰoＱＰr，△ＰrＱＰbの点Ｑと対辺の中点とを結ぶ中線として設定される。なお、上述のように、本実施の形態に係るデジタルカメラ１では、判別すべき色を青，緑，橙，赤の４色の範囲で任意に設定できるようになっているので、例えば図３に示す例のように、色認識表示部１７の色使用欄で橙色が「ＯＦＦ」に設定されている場合は、「ＯＮ」に設定されている青，緑，赤の３色について分割線ｍ１，ｍ２，ｍ３が設定され、３色について色判別が行われる。この場合、分割線ｍ３は、∠ＰgＱＰrの二等分線や△ＰgＱＰrの点Ｑと対辺の中点とを結ぶ中線として設定される。
【０１０１】
色判別回路２２５ｄは、形状認識回路２５５ｃから入力されるパターン結果が一定であれば、予め設定された閾値プロファイルを固定的に利用して色判別を行うが、形状認識回路２５５ｃから入力されるパターン結果が変化する場合は、以下に説明するように、パターン結果の変化に応じて閾値プロファイルを全体的に、或いは部分的に上下させるように補正した閾値プロファイルを用いて対応する領域の色判別を行う。これは、文字等を構成する線幅の広狭に応じて閾値プロファイルを全体的又は部分的に上下させることにより、線幅の変化に関らず好適な線幅の画像が得られるようにするためである。
【０１０２】
図２４は、線幅の広狭の相違に基づく濃度レベルの変化の一例を示す図である。
【０１０３】
同図は、ホワイトボード撮影画像の四角形で囲まれた数字の「１」の文字部分３６の直線Ｍ上の画像データの濃度レベルを示すものである。文字部分３６の上部に描かれたグラフは、濃度レベルを示している。直線ＭのＡ，Ｃの部分は、四角形の線幅に相当する部分（細線部分）であり、Ｂは、数字「１」の線幅に相当する部分（太線部分）である。Ａ，Ｃは細線部分であり、Ｂは太線部分であるから、Ａ，Ｃの濃度レベルは、Ｂの濃度レベルより高くなっている。すなわち、細線部分は、太線部分より白っぽくなっている。
【０１０４】
図２５は、図２４の直線Ｍ上の画像データに対して閾値プロファイルを用いて白黒判別を行ったものである。
【０１０５】
例えば図１８に示す形の閾値プロファイルを用いたとして、同図（ａ）は、図２６の閾値レベルの高い閾値プロフィル(1) （図中では丸数字で記載している。以下同じ。）を用いて白黒判別を行ったものであり、同図（ｂ）は、図２６の閾値レベルの低い閾値プロフィル(2) （図中では丸数字で記載している。以下同じ。）を用いて白黒判別を行ったものである。また、同図（ｃ）は、線幅に応じて閾値プロフィル(1)，(2)を使い分けて白黒判別を行ったものである。
【０１０６】
閾値レベルの高い閾値プロフィル(1)を用いた場合は、太線部分Ｂは好適な線幅となるが、細線部分Ａ，Ｃは閾値レベルＹ１より高くなるので、白色に誤判別され、四角形の図形が飛んでしまうことになる。一方、閾値レベルの低い閾値プロフィル(2)を用いた場合は、細線部分Ａ，Ｃは好適な線幅となるが、太線部分Ｂは、輪郭部分の画像データも閾値レベルＹ１′より低くなり、線幅が必要以上に太くなってしまうことになる。このように、線幅の広狭がある場合、固定的な閾値プロフィルでは一方の線幅に対しては適切であっても他方の線幅に対しては不適切となることが多く、線幅に関係なく適切な白黒判別を行うことは困難となる。
【０１０７】
そこで、本実施の形態では、同図（ｃ）に示すように、線幅を判別し、その判別結果に応じて閾値プロフィル(1)，(2)を切り換えることにより好適な線幅が得られるようにしている。従って、色判別回路２２５ｄは、形状認識回路２５５ｃから入力される判別結果がパターンαのときは、閾値プロフィル(1)を用いて白黒判別を行い、判別結果がパターンβのときは、閾値プロフィル(1)を閾値プロフィル(2)に切り換えて白黒判別を行う。
【０１０８】
なお、この白黒判別における閾値プロフィルの補正は、上述のように、予め設定された複数の閾値プロファイルを線幅の判別結果に応じて切換設定するようにしてもよいが、標準の閾値プロフィルを線幅の判別結果に応じた所定レベルだけ全体的に、或いは部分的に上下にシフトさせて設定するようにしてもよい。
【０１０９】
図６に戻り、黒領域補正部２５６は、色の誤判別により有彩色が含まれる黒領域を有彩色を含まない黒一色に補正するものである。
【０１１０】
図１５〜図１８に示す閾値プロファイルを用いて色判別を行う場合、無彩色と有彩色との判別閾値である距離情報ｄ１を高く設定すると、比較的色の濃い有彩色（すなわち、輝度の低い有彩色）は黒色に、また、比較的色の淡い有彩色（すなわち、輝度の高い有彩色）は白色に誤判別され易くなる。このため、このような誤判別を防止するため、距離情報ｄ１は低めに設定するのが望ましい。
【０１１１】
しかし、距離情報ｄ１を低めに設定した閾値プロファイルを用いた場合は、黒色が有彩色に誤判別され、図２７に示すように、黒一色の領域が有彩色の混じった斑模様の領域となることがある。黒色領域が斑模様の領域となり易くなる原因は、黒色の画像データはレベルが低いため、正規化データｘb，ｘｇがｘb／ｘｇ＝１となることは少なく、正規化データ（ｘb，ｘｇ）の位置が無彩色領域Ｓｗ外になり易いということ、また、ある程度大きな領域で画像データの平均では黒色となる場合、その領域内に、例えば黒色を青色と誤判別した画素位置の近傍には黒色を赤や緑や橙等と誤判別した画素位置が存在する可能性が高いということに基づくものである。
【０１１２】
文字、図形等を構成する比較的広い黒領域が斑模様の領域になると、著しく見辛い画像となる。黒領域補正部２５６は、斑模様の領域を黒領域に変換し、斑模様に起因する画質不良を低減するもので、同色画素数計数回路２５６ａ、分散度演算回２５６ｂ及び黒判別回路２５６ｃを備えている。
【０１１３】
同色画素数計数回路２５６ａは、ブロック内の同一色の画素数をカウントする回路である。ブロックサイズを５×５画素とし、各画素位置の色分布が、例えば図２８に示すようになっている場合、同色画素数計数回路２５６ａは、赤，青，橙，緑，黒の各色についてブロック内に存在する画素数をカウントする。赤，青，橙，緑，黒の各色の画素数をＮr，Ｎb，Ｎo，Ｎg，Ｎbk、これらの合計をＮtをとすると、同図（ａ）の例では、Ｎr＝１７，Ｎb＝２，Ｎo＝３，Ｎg＝１，Ｎbk＝２，Ｎt＝２５がカウントされ、同図（ｂ）の例では、Ｎr＝４，Ｎb＝４，Ｎo＝５，Ｎg＝６，Ｎbk＝４，Ｎt＝２３がカウントされる。なお、（ｂ）の例では、ブロック内に白色の画素が２個含まれているが、これらの画素は黒領域補正処理では無視される。
【０１１４】
分散度演算回路２５６ｂは、赤，青，橙，緑，黒の各色の画素数Ｎr，Ｎb，Ｎo，Ｎg，Ｎbk及びこれらの合計Ｎtを用いて、各ブロックの色の分散度ｐを演算するものである。分散度ｐは、ｐ＝（白以外の色の画素数）／Σ（各色の画素数）2＝Ｎt／（Ｎr2＋Ｎb2＋Ｎo2＋Ｎg2＋Ｎbk2）の演算式で算出される。なお、この分散度ｐは、分散の演算式の逆数である。図２８（ａ）の例では、ｐ＝２３／（４2＋４2＋５2＋６2＋４2）＝０．２１１が算出され、同図（ｂ）の例では、ｐ＝２５／（１７2＋２2＋３2＋１2＋２2）＝０．０８１が算出される。
【０１１５】
黒判別回路２５６ｃは、分散度演算回路２５６ｂで算出された分散度ｐを用いて各ブロックの中心位置の画素が黒色であるか否かを判別するものである。すなわち、黒判別回路２５６ｃは、予め設定された閾値Ｋ１と分散度ｐとを比較し、ｐ＞Ｋ１であれば、黒色と判別し、ｐ≦Ｋ１であれば、有彩色と判別する。例えばＫ１＝０．１とすると、図２８（ａ）の例は、黒色と判別され、同図（ｂ）の例は、有彩色と判別される。なお、図２８（ｂ）の例では、各色の画素数から圧倒的に赤が多いので、中心位置の画素は「赤」と判別することができる。
【０１１６】
図２９は、黒領域補正部２５６の補正処理の手順を示すフローチャートである。
【０１１７】
色判別部２５５から出力される色判別結果は、黒領域補正部２５６内の図略のメモリに格納され、図２９のフローチャートに従って黒領域の補正処理が行われる。すなわち、まず、メモリから左上隅の１ブロック分（５×５画素分）の色判別データが読み出され（＃１０）、そのブロック内に含まれる白色以外の各色の画素数とその合計数がカウントされる（＃１２）。判別色を赤，青，橙，緑，黒とすると、各色の画素数Ｎr，Ｎb，Ｎo，Ｎg，Ｎbkとこれらの合計数Ｎtがカウントされる。
【０１１８】
続いて、分散度ｐ（＝Ｎt／（Ｎr2＋Ｎb2＋Ｎo2＋Ｎg2＋Ｎbk2））が演算され（＃１４）、この分散度ｐと所定の閾値Ｋ１とを比較してそのブロックの中心の画素が黒色である否かが判別される（＃１６）。ｐ＞Ｋ１であれば（＃１６でＹＥＳ）、ブロック中心の画素位置（そのブロックの３行３列目の画素位置）の色判別データを黒色のデータに変更することが記憶される（＃１８）。一方、ｐ≦Ｋ１であれば（＃１６でＹＥＳ）、上述のデータ変更の指示は行われない。
【０１１９】
続いて、色判別データ全体に対する上記処理が終了したか否かが判別され（＃２０）、処理が終了していなければ（＃２０でＮＯ）、ブロックの読出位置を１画素分だけ横方向にシフトして（＃２２）、ステップ＃１０に戻り、上述の黒判別処理が行われる（＃１０〜＃２０）。以下、ブロックの読出位置をラスタ方向に１画素分ずつシフトしつつ、各画素位置の色判別データについて黒判別処理が行われ（＃１０〜＃２２のループ）、色判別データ全体に対する黒判別処理が終了すると（＃２０でＹＥＳ）、色判別データを黒色のデータに変更するように指示された画素位置の色判別データが黒色のデータに変更され（＃２４）、処理を終了する。
【０１２０】
なお、本実施の形態では、黒領域補正処理の１ブロックの大きさを５×５画素としたが、１ブロックのサイズはこれに限定されるものではなく、処理精度や処理速度を考慮して任意の適宜のサイズを設定することができる。また、色の分散具合を計るものとして分散度ｐを定義したが、色のバラツキを表し得るものであれば、他の演算式を定義してもよい。例えば標準偏差σ＝１／√（ｐ）を用いてもよい。
【０１２１】
また、青，緑，橙，赤，黒の各色を、例えばそれぞれ（０，１，０，０）、（０，０，１，０）、（０，０，０，１）、（１，０，０，０）、（１，１，１，１）のようにベクトル表現した場合、ブロック内のベクトル平均のベクトル長の逆数を分散の度合いを示すものとしてもよい。なお、ベクトル表現は、各色独立でも、「赤と橙は近似した色」というように情報を加味したものでもよい。また、４次元に限定されず、任意の次元を考えることができる。
【０１２２】
また、簡単な方法として、ブロックの中心位置に隣接する８個の画素位置に何個の色が存在するか、その異なる色の数で斑の程度を判断するようにしてもよい。
【０１２３】
第２ノイズ消去部２５７は、色判別された黒領域内に含まれる有彩色や白色（誤判別された色）を黒色に補正するものである。すなわち、黒領域補正部２５６により斑模様の領域を黒領域に補正する処理を行っても、なお、黒領域内に有彩色が島状に残る場合があり、第２ノイズ消去部２５７は、この偽色を黒色に変換して消去するものである。
【０１２４】
図３０は、文字等の黒領域内に有彩色が島状に残っている状態の一例を示す図である。
【０１２５】
同図は、数字「２」を構成する黒色領域に有彩色の画素３７，３８が残っている場合を示すものであるが、第２ノイズ消去部２５７では、黒色領域内の画素３７が黒色に補正されて偽色が消去される。なお、数字「２」を構成する黒領域の輪郭位置にある画素３８については、黒色補正は行われない。黒領域内に島状に黒以外の色が混じっている場合は、その色が目立って文字が見辛くなるが、境界部分に黒以外の色が混じっている場合は、その偽色による弊害は少ないので、黒領域の補正処理による処理速度の遅延を考慮して、黒領域内部についてのみ補正処理を行うものである。なお、黒領域の輪郭位置の偽色に対しても黒補正を行うようにしてもよい。
【０１２６】
図３１は、第２ノイズ消去部２５７の偽色消去の処理手順を示すフローチャートである。
【０１２７】
同図に示すフローチャートは、図３２に示すように、中心位置ＧAとそれに隣接する８個の画素位置の色を調べ、同一色が所定数Ｋ２を超えていれば、中心の画素位置ＧAの色を所定数Ｋ２を超えている色に変更するのものである。図３２は、所定数Ｋ２を６個としたもので、中心と右下隅を除く７個の画素が黒となっているので、中心位置の画素ＧAの色が黒色に変更されることを示している。
【０１２８】
黒領域補正部２５６から出力された色判別データは、第２ノイズ消去部２５７内の図略のメモリに格納され、図３１のフローチャートに従って黒領域の補正処理が行われる。すなわち、まず、メモリから左上済の１ブロック分（３×３画素分）の色判別データが読み出され（＃３０）、そのブロック内に含まれる各色の画素数がカウントされる（＃３２）。
【０１２９】
続いて、最も多い画素数Ｎmaxと所定の閾値Ｋ２とを比較し、Ｎmax＞Ｋ２であるか否かが判別される（＃３４）。Ｎmax＞Ｋ２であれば（＃３４でＹＥＳ）、ブロック中心の画素位置（そのブロックの２行２列目の画素位置）の色判別データを画素数Ｎmaxの色のデータに変更することが記憶される（＃３６）。一方、Ｎmax≦Ｋ２であれば（＃３４でＹＥＳ）、上述のデータ変更の指示は行われない。
【０１３０】
続いて、色判別データ全体に対する偽色修正処理が終了したか否かが判別され（＃３８）、処理が終了していなければ（＃３８でＮＯ）、ブロックの読出位置を１画素分だけ横方向にシフトして（＃４０）、ステップ＃３０に戻り、上述の偽色修正処理が行われる（＃３０〜＃３８）。以下、ブロックの読出位置をラスタ方向に１画素分ずつシフトしつつ、各画素位置の色判別データについて偽色修正処理が行われ（＃３０〜＃４０のループ）、色判別データ全体に対する偽色修正処理が終了すると（＃３８でＹＥＳ）、色判別データを画素数Ｎmaxの色のデータに変更するように指示された画素位置の色判別データが指示された色のデータに変更され（＃４２）、処理を終了する。
【０１３１】
図６に戻り、色置換部２５８は、各画素位置の画像データを、色判別部２５５、黒領域補正部２５６及び第２ノイズ消去部２５７で設定された色のデータに基づいて予め設定された、或いは色登録で設定された対応する色の画像データ（Ｒ，Ｇ，Ｂの色成分の画像データ）に置換するものである。そして、色置換部２５８で置換された画像データは、ＨＤカードに出力され、記録される（図５参照）。
【０１３２】
次に、図３３〜図３５のフローチャートに従って、デジタルカメラ１の撮影動作について説明する。
【０１３３】
図３３は、ドキュメントモード（ホワイトボードに書かれた文字等の記録撮影を行う撮影モード）に関する撮影動作手順を示すフローチャートである。
【０１３４】
メインスイッチ１１がオンになると（＃５０でＹＥＳ）、デジタルカメラ１が起動し、撮影可能状態となる。まず、モード変更スイッチ１６が撮影モードに設定されているか否かが判別され（＃５２）、撮影モードが設定されていなければ、すなわち、色登録モードが設定されていれば（＃５２でＮＯ）、図３４に示すフローチャートに従って色登録処理が行われ（＃５４）、撮影モードが設定されていれば（＃５２でＹＥＳ）、ステップ＃５４に移行し、撮影処理が行われる。
【０１３５】
色登録処理に移行すると、まず、色選択ボタン１８により指定されている色が登録処理対象の色として設定される（＃８０）。この色設定処理では、バー表示１７１の表示位置により登録対象の色が判別、設定される。続いて、その設定された色が未登録であるか否かが○印表示１７２の有無により判別され（＃８２）、未登録であれば（＃８２でＮＯ）、更にデフォルトボタン２０により登録色のデータ消去が指示されているか否かが判別される（＃８４）。
【０１３６】
登録色のデータ消去が指示されていれば（＃８４でＹＥＳ）、ＲＡＭ２７に記憶されている登録色の２次の正規化データが予め設定されているその色のデフォルト値に書き換えられ（＃８４）、ステップ＃８２に戻る。一方、登録色のデータ消去が指示されていなければ（＃８４でＮＯ）、ステップ＃８８に移行する。
【０１３７】
ステップ＃８２で、設定された色が未登録であれば（＃８２でＹＥＳ）、シャッタボタン９のレリーズ操作により色見本（図４参照）の撮像が指示されているか否かが判別され（＃８８）、撮像が指示されていれば（＃８８でＹＥＳ）、測光部３０により被写体輝度が検出されるとともに（＃９０）、測距部２９により被写体距離が検出され（＃９２）、この被写体距離に基づいて焦点調節が行われる（＃９４）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤの積分時間）が設定される（＃９６）。
【０１３８】
続いて、設定された露出制御値に基づいて色見本の撮像が行われる（＃９８）。撮像部２３で取り込まれた画像データは、設定色正規化演算部３１で撮影画面中央の枠２１内の画像データが抽出され、更にこの画像データの内、色見本部分のみの画像データが抽出される（＃１００）。そして、この色見本の画像データについて２次の正規化データが算出され（＃１０２）、その算出結果がＲＡＭ２７の所定の記憶領域に記憶される（＃１０４）。
【０１３９】
色見本の２次の正規化データのＲＡＭ２７への記憶（色登録）が終了すると、続いて、セットボタン１９の操作により色使用が指示されているか否かが判別され（＃１０６）、色使用が指示されていれば（＃１０６でＹＥＳ）、登録色の色判別における色使用が設定され（＃１０８）、リターンする。このとき、色登録確認表示部１７では色使用「ｏｎ」の表示が行われる。また、色使用が指示されていなければ（＃１０６でＮＯ）、登録色の色判別における色使用が解除され（＃１１０）、リターンする。このとき、色登録確認表示部１７では色使用「ｏｆｆ」の表示が行われる。
【０１４０】
一方、ステップ＃８８で、撮像が指示されていなければ（＃８８でＮＯ）、ステップ＃９０〜＃１０４をジャンプし、上述の色見本の２次の正規化データの登録処理を行うことなくステップ＃１０６に移行する。
【０１４１】
上述のように、色登録モードにおいては、デフォルトボタン２０が操作されると、設定された色に対して、既に登録されている色見本の画像データ（Ｒ，Ｇ，Ｂの色成分の画像データ）及び２次の正規化データが消去され、それに代えて予め設定された画像データ及び２次の正規化データ（デフォルト値）が設定される。また、セットボタン１９が操作されると、設定された色に対して、色使用の設定又は解除が行われる。また、未登録又は登録済に関係なく、色見本の撮影が行われると、撮影された色見本の２次の正規化データが算出され、この算出値と取り込まれた画像データとが新規に又は更新的に登録される。
【０１４２】
図３３に戻り、ステップ５２で、撮影モードが設定されていると（＃５２でＹＥＳ）、続いて、シャッタボタン９のレリーズ操作により撮像が指示されているか否かが判別され（＃５６）、撮像が指示されていなければ（＃５６でＮＯ）、ステップ＃５２に戻り、撮像が指示されていると（＃５６でＹＥＳ）、更に色補正スイッチ１３がＯＮに設定されているか（すなわち、ドキュメントモードが設定されているか）否かが判別される（＃５８）。
【０１４３】
ドキュメントモードが設定されていなければ、すなわち、ノーマルモードが設定されていれば（＃５８でＮＯ）、通常の写真撮影の処理が行われる。すなわち、被写体輝度及び被写体距離が検出され、これらの検出値に基づき焦点調節と露出制御値設定とが行われた後、被写体の撮影が行われる。そして、撮像部２３で取り込まれた画像データは、画像処理部２５で所定の画像処理（描写性の高い画質が得られる画像処理）が行われ、圧縮された後、ＨＤカード１０に記録される。
【０１４４】
一方、ドキュメントモードが設定されていれば（＃５８でＹＥＳ）、まず、濃度設定スイッチ１５の設定位置により濃度データ（濃／淡のデータ）が取り込まれる（＃６２）。続いて、画像処理部２５がドキュメントモードの画像処理に設定されるとともに、濃度データが色判別部２５５に設定される（＃６４）。
【０１４５】
続いて、測光部３０により被写体輝度が検出されるとともに（＃６６）、測距部２９により被写体距離が検出され（＃６８）、この被写体距離に基づいて焦点調節が行われる（＃７０）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤの積分時間）が設定される（＃７２）。
【０１４６】
続いて、設定された露出制御値に基づき撮像部２３で被写体の撮像が行われ（＃７４）、その撮像動作で取り込まれた画像データは、図３５に示すフローチャートに従って画像処理部２５で所定の色補正処理が行われた後（＃７６）、ＨＤカード１０に記録される（＃７８）。そして、これにより１枚の撮影が終了し、次の撮影を行うべく、ステップ＃５２に戻る。
【０１４７】
色補正処理に移行すると、まず、γ特性設定部２５４で画像メモリ２５１に格納された画像データを用いて下地飛ばし処理のためのγ特性が設定される（＃１２０）。続いて、画像メモリ２５１に格納された画像データが第１ノイズ消去部２５２でノイズ低減処理がなされた後、下地飛ばし演算部２５３で上記γ特性を用いてγ補正を行うことにより下地飛ばしの処理（背景の白地部分を一律に白色に変換する処理）が行われる（＃１２２）。
【０１４８】
続いて、色判別部２５５の正規化演算回路２５５ａで画像メモリ２５１に格納された画像データを用いて色判別処理のための２次の正規化データが演算される（＃１２４）。また、色判別部２５５の輝度演算色２５５ｂで画像メモリ２５１に格納された画像データを用いて各画素位置毎に色判別用の輝度データが演算される（＃１２６）。更に、色判別部２５５の形状認識回路２５５ｃで画像メモリ２５１に格納された画像データを用いて、所定ブロック単位で文字、図形等の形状認識処理（パターンマッチングによるパターン認識処理）が行われる（＃１２８）。そして、色判別部２５５の色判別回路２５５ｄで、２次の正規化データ、輝度データ及び形状認識結果に基づき予め設定された閾値プロファイル（図１５〜図１８参照）を用いて上述の色判別方法により各画素位置の色判別が行われる（＃１２８）。
【０１４９】
続いて、黒領域補正部２５６で、色判別データに対して斑模様を修正する処理が行われるとともに（＃１３２）、第２ノイズ消去部２５７で、色判別データに対して島状に発生している偽色を消去する処理が行われた後（＃２５７）、色置換部２５８で、色判別データに基づき各画素位置の画像データ（撮影時の画像データ）が所定の色データ（予め設定されたＲ，Ｇ，Ｂの色成分の画像データ（デフォルト値）又は登録処理で登録されたＲ，Ｇ，Ｂの色成分の画像データ）に置換され（＃１３６）、これにより色補正処理を終了し、リターンする。
【０１５０】
なお、上記実施の形態では、デジタルカメラを例に説明したが、本発明は、例えばコンピュータによる色判別処理等の他のカラー画像処理装置においても適用することができる。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、各色成分の画像データを用いて輝度情報と色情報とを算出し、色情報を用いてカラー画像が有彩色であるか無彩色であるかを判別し、この判別で無彩色であれば、更に輝度情報を用いてその色が白／黒いずれであるかを判別し、有彩色であれば、更に色情報と輝度情報とを用いてその色が予め設定された色（白，黒を含む。）のいずれであるかを判別するようにしたので、容易且つ正確に色判別を行うことができる。特に色情報により有彩色と判別された場合にも輝度情報により有彩色と白及び黒とを判別するようにしたので、低輝度又は高輝度の無彩色の画像を有彩色と誤って判別することが低減される。さらに、カラー画像の色を判別された色に置換する色データ置換手段を有するので、ホワイトボードに書かれた文字や図表等を撮影した撮影画像に対して、文字、線図等の濃度と色分けを明確にすることができる。
【０１５２】
また、本発明によれば、各色成分毎に画像データの２次以上の冪乗値に対する正規化データを色情報として算出するようにしたので、有彩色の色判別がより容易且つ正確に行える。
【図面の簡単な説明】
【図１】 本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの一実施の形態の外観を示す斜視図である。
【図２】 本発明に係るホワイトボード撮影用色補正装置を備えたデジタルカメラの背面図である。
【図３】 色登録確認表示部の表示の一例を示す図である。
【図４】 色登録モードでファインダー内に色データ取込範囲を示す枠が表示された状態を示す図である。
【図５】 本発明に係るデジタルカメラのドキュメントモードにおける撮像画像の画像処理に関するブロック構成図である。
【図６】 画像処理部のドキュメントモードにおける画像処理に関するブロック構成図である。
【図７】 ドキュメントモードにおける画像処理手順の概要を示す図である。
【図８】 下地飛ばし処理の内容を示す図である。
【図９】 ホワイトボード撮影画像を構成する画像データのヒストグラムの典型例を示す図である。
【図１０】 下地飛ばし用に設定されるγ特性の一例を示す図である。
【図１１】 １次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【図１２】 ２次の正規化データｘb，ｘgを用いて色判別する場合のｘb-ｘg平面における青、緑、橙、赤の各系統の色分布を示す図である。
【図１３】 画像データＸr，Ｘg，Ｘbを２次の正規化データｘr，ｘg，ｘbに変換するフローチャートである。
【図１４】 パターンマッチングにより細線部分と太線部分とを検出する方法を示す図である。
【図１５】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第１の実施形態を示す図である。
【図１６】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第２の実施形態を示す図である。
【図１７】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第３の実施形態を示す図である。
【図１８】 色判別用の輝度データにより有彩色と無彩色との色判別を行うための閾値プロファイルの第４の実施形態を示す図である。
【図１９】 成分を相互に入れ換えた６個の正規化データのｘb-ｘg平面上の位置関係の一例を示す図である。
【図２０】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を楕円とした図である。
【図２１】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を二等辺三角形とした図である。
【図２２】 成分を相互に入れ換えた６個の正規化データにより生成される等距離線の形状を六角形とした図である。
【図２３】 ｘb-ｘg平面を青、緑、橙、赤の色領域に分割した状態を示す図である。
【図２４】 文字等の線幅と輝度レベルとの関係を示す図である。
【図２５】 文字等の線幅の異なる部分を閾値プロファイルを用いて白黒判別を行ったときの判別結果を示すもので、（ａ）は閾値レベルの高い閾値プロフィルを用いて場合、（ｂ）は閾値レベルの低い閾値プロフィルを用いた場合、（ｃ）は線幅に応じて閾値レベルを変更した場合、の判別結果である。
【図２６】 線幅に応じて補正される閾値プロファイルの補正例を示す図である。
【図２７】 色判別結果が斑模様となった場合の一例を示す図である。
【図２８】 分散度の演算例を示す図で、（ａ）は、斑模様の領域の分散度を示す図、（ｂ）は、赤領域の分散度を示す図である。
【図２９】 黒領域補正部の補正処理の手順を示すフローチャートである。
【図３０】 文字等の黒領域内に有彩色が島状に残っている状態の一例を示す図である。
【図３１】 第２ノイズ消去部の偽色消去の処理手順を示すフローチャートである。
【図３２】 隣接する８個の画素位置の色判別結果を用いて中心画素の色修正を行う方法を示す図である。
【図３３】 本発明に係るデジタルカメラのドキュメントモードに関する撮影動作手順を示すフローチャートである。
【図３４】 色登録処理の処理手順を示すフローチャートである。
【図３５】 色補正処理の処理手順を示すフローチャートである。
【図３６】 赤、緑、青の各色成分の混合比率に相当する正規化データを用いて色判別を行う方法を説明するための図である。
【符号の説明】
１ デジタルカメラ
２ 撮影レンズ
３ 測光窓
４ 投光窓
５ 受光窓
６ ファインダー対物窓
７ カード挿入口
８ カード取出ボタン
９ シャッタボタン
１０ ＨＤカード
１１ メインスイッチ
１２ ファインダー接眼窓
１３ 色補正スイッチ
１４ ノイズ修正スイッチ
１５ 濃度設定スイッチ
１６ モード変更スイッチ
１７ 色登録確認表示部
１８ 色選択ボタン
１９ セットボタン
２０ デフォルトボタン
２１ 枠
２２ 色見本
２３ 撮像部（撮影手段）
２４ Ａ／Ｄ変換器
２５ 画像処理部（色判別装置）
２５１ 画像メモリ
２５２ 第１ノイズ消去部
２５３ 下地飛ばし演算部
２５４ γ特性設定部
２５５ 色判別部
２５５ａ 正規化演算回路（第２の演算手段）
２５５ｂ 輝度演算回路（第１の演算手段）
２５５ｃ 形状認識回路
２５５ｄ 色判別回路（第１〜第３の色判別手段）
２５６ 黒領域補正部
２５６ａ 同色画素数計数回路
２５６ｂ 分散度演算回路
２５６ｃ 黒判別回路
２５７ 第２ノイズ消去部
２５８ 色置換部（色データ置換手段）
２６ カード駆動制御部
２７ ＲＡＭ
２８ ＲＯＭ
２９ 測距部
３０ 測光部
３１ 設定色正規化演算部
３２ 色領域設定演算部
３４ 制御部
３５ ホワイトボード
３６ 文字部分
３７，３８ 誤判別された画素
Claims (4)
- 複数の色成分の画像データからなるカラー画像の色を判別する色判別機能を有するホワイトボード撮影用色補正装置であって、上記画像データを用いて上記カラー画像の輝度情報を演算する第１の演算手段と、上記画像データを用いて上記カラー画像の色情報を演算する第２の演算手段と、上記色情報を用いて有彩色と無彩色とを判別する第１の色判別手段と、上記輝度情報を用いて上記第１の色判別手段で無彩色と判別された色が白／黒のいずれであるかを判別する第２の色判別手段と、上記色情報と上記輝度情報とを用いて上記第１の色判別手段で有彩色と判別された色が予め設定された複数の色のいずれであるかを判別する第３の色判別手段と、前記カラー画像の色を前記第３の色判別手段により判別された色に置換する色データ置換手段とを備えたことを特徴とするホワイトボード撮影用色補正装置。
- 請求項１記載の色補正装置において、さらに、ホワイトボードに描かれた着色部分を含む被写体を撮影可能な撮影手段と、前記撮影手段で撮影された画像の前記ホワイトボードの着色部分の色データを登録する色登録手段とを備えたことを特徴とするホワイトボード撮影用色補正装置。
- 請求項１又は２記載の色補正装置において、上記色情報は、各色成分毎に算出された上記画像データの２次以上の冪乗値に対する正規化データであることを特徴とするホワイトボード撮影用色補正装置。
- 請求項１〜３のいずれかに記載の色補正装置において、上記色成分は、赤、緑、青の３原色であることを特徴とするホワイトボード撮影用色補正装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26744597A JP3724147B2 (ja) | 1997-09-30 | 1997-09-30 | ホワイトボード撮影用色補正装置 |
| US09/163,266 US6480624B1 (en) | 1997-09-30 | 1998-09-29 | Color discrimination apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26744597A JP3724147B2 (ja) | 1997-09-30 | 1997-09-30 | ホワイトボード撮影用色補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11110549A JPH11110549A (ja) | 1999-04-23 |
| JP3724147B2 true JP3724147B2 (ja) | 2005-12-07 |
Family
ID=17444952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26744597A Expired - Lifetime JP3724147B2 (ja) | 1997-09-30 | 1997-09-30 | ホワイトボード撮影用色補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3724147B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4662356B2 (ja) * | 2005-10-21 | 2011-03-30 | キヤノン株式会社 | 撮像装置及びその制御方法、及びその制御プログラム、制御プログラムを格納した記憶媒体 |
| KR20080028232A (ko) * | 2006-09-26 | 2008-03-31 | 주식회사 대우일렉트로닉스 | 텔레비전의 화이트 밸런스 조정회로 및 방법 |
| JP5484199B2 (ja) * | 2010-05-28 | 2014-05-07 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置及び画像形成方法 |
| CN102446345B (zh) * | 2010-09-30 | 2015-09-30 | 株式会社理光 | 一种对于白板彩色图像进行颜色增强的方法、装置及系统 |
| KR101208575B1 (ko) | 2011-04-08 | 2012-12-06 | 최상복 | 유채색의 보색관계와 무채색을 이용한 색 유사도 검사방법 및 이를 이용한 대상체 탐색방법과 탄환의 열처리 유무 판단방법 |
| CN109060309B (zh) * | 2018-06-28 | 2024-04-02 | 广东工业大学 | 一种色差最优分辨配色仪及其测试方法 |
-
1997
- 1997-09-30 JP JP26744597A patent/JP3724147B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11110549A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6480624B1 (en) | Color discrimination apparatus and method | |
| US7711190B2 (en) | Imaging device, imaging method and imaging program | |
| JP4217698B2 (ja) | 撮像装置及び画像処理方法 | |
| US7564486B2 (en) | Image sensing apparatus with feature extraction mechanism and its control method | |
| US6806903B1 (en) | Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction | |
| US5369463A (en) | Apparatus for recording position information of principal image and method of detecting principal image | |
| US7489832B2 (en) | Imaging apparatus, image processing method for imaging apparatus and recording medium | |
| US20070040929A1 (en) | Image combination device | |
| EP1304864A2 (en) | Automatic detection method and system | |
| US20070122034A1 (en) | Face detection in digital images | |
| US20090002518A1 (en) | Image processing apparatus, method, and computer program product | |
| CN102006485B (zh) | 图像处理装置及图像处理方法 | |
| EP0488176B1 (en) | Color image processing apparatus | |
| JP3724147B2 (ja) | ホワイトボード撮影用色補正装置 | |
| JP2002150287A (ja) | 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ | |
| JP3724148B2 (ja) | 色判別装置 | |
| EP1971128A2 (en) | Image processing apparatus, imaging apparatus and image processing program | |
| JP3726444B2 (ja) | 色判別装置 | |
| JPH11341501A (ja) | 電子写真撮像装置、電子写真撮像方法、電子写真撮像制御プログラムを記録した媒体 | |
| US8055071B2 (en) | Image processing apparatus, imaging apparatus and recording medium storing image processing program | |
| JPH11110550A (ja) | 色判別装置 | |
| JP3643203B2 (ja) | デジタルカメラ | |
| JPH10210360A (ja) | デジタルカメラ | |
| JP4764177B2 (ja) | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 | |
| JP3631577B2 (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |