JP4800591B2 - 撮影システム - Google Patents

Description

本発明は、被写体の分光スペクトル情報を利用して、入力画像の色補正を行う撮影システムに関する。

従来、工業分野や食品分野、医療分野等の多くの分野において、色彩管理が行われている。例えば、工業分野では、製造した製品の色についての色彩管理が行われており、製品が規格内の色に仕上がっているか否かの確認に、分光計、色彩計等の測色器が利用されている。また、医療分野では、例えば皮膚科において、皮膚の色についての色彩管理が行われている。皮膚の色の変化を記録するために、デジタルカメラが利用されることが多い。

デジタルカメラは、近年、高画素化、低廉化が進み、これに伴い色彩管理における利用分野も広がっている。例えば、歯科分野等においてもデジタルカメラが利用されつつある。

デジタルカメラは患部の画像を容易に取得することができ、撮像後直ちに画像を確認することができるという利点がある反面、色補正の精度が低いことから、同一被写体であっても、撮影の度に撮像画像の色が異なる等の問題がある。デジタルカメラにおける色補正の精度は、種々の原因によって低下する。特に、ホワイトバランスの検出精度の低下が色補正の精度に与える影響は大きい。

そこで、特許文献１においては、ホワイトバランスの補正精度を向上させる提案がなされている。この提案においては、デジタルカメラの撮影時に測色センサの情報を利用して、ホワイトバランスの補正精度を向上させるようになっている。即ち、特許文献１は、デジタルカメラで撮影している領域とほぼ同じ方向に測色センサを設置し、得られた測色センサのＲＧＢ値をもとに、デジタルカメラの信号値を補正するものである。この場合には、デジタルカメラで撮影した画像データのＲＧＢ値を、ＲＧＢ毎に画面全体で平均化して、測色センサと比較するようにしている。
特開２００３−１２５４２２号公報

ところで、皮膚科や、歯科用の医療現場では、画像中の患部の部分だけでも正確な色を取得したいという要求が高い。しかしながら、特許文献１においては、単に画面全体のホワイトバランスを調整することを目的としていることから、患部について正確な色を取得することができるとは限らない。

例えば、皮膚科の医療現場では、皮膚の炎症等の時間的な変化を把握する必要から、日時をずらして複数回撮影することが必要である。この場合において、同一背景の元で毎回の撮影を行うことは、現実の医療現場では不可能に近い。このように患部の背景画像が変化すると、最適なホワイトバランスを得るためのホワイトバランス補正係数も変化する。即ち、この場合には、同一患部を同一照明条件下で撮影したとしても、各回の撮像画像のＲＧＢ値は画像毎に異なってしまう。

更に、仮に背景画像を固定することができたとしても、デジタルカメラにおいては、ＣＩＥのＲＧＢ表色系に準拠したＲＧＢ値、つまり人の眼の特性にあったＲＧＢ値を取得することは製造上も困難であり、分光計や色彩計ほどの精度で色を検出することは難しい。

本発明はかかる問題点に鑑みてなされたものであって、撮影画像について高精度の色補正を行うことができる撮影システムを提供することを目的とする。

本発明の請求項１に係る撮影システムは、撮影レンズを用いて被写体を撮影する撮影システムにおいて、前記被写体のカラー画像を撮影するためのカラー画像撮像手段と、前記被写体の所定の計測位置のスペクトル情報を検出する分光検出手段と、前記計測位置に対する前記カラー画像上での対応位置を検出する対応位置検出手段と、前記分光検出手段で取得されるスペクトル情報と前記対応位置検出手段で取得される対応位置情報とから、前記カラー画像撮像手段で撮像されるカラー画像の色補正を行う色補正手段とを具備したことを特徴とする。

本発明において、カラー画像撮像手段は、被写体のカラー画像を撮影し、色彩情報検出手段は被写体の色彩情報を検出する。色彩情報検出手段とカラー画像撮像手段との対応位置情報から、検出した色彩情報のカラー画像中の位置を求め、この対応位置については、色彩情報によってカラー画像を色補正することで、高精度の色補正を行ったカラー画像を得る。

本発明によれば、撮影画像について高精度の色補正を行うことができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る撮影システムを示すブロック図である。

図１において、撮影システムは、カラー画像撮像部１及び色彩情報検出部２を有している。カラー画像撮像部１は例えばデジタルカメラ等によって構成されており、図示しない被写体を撮像して、例えばＲＧＢ３原色画像等のカラー画像を色補正部３に出力する。

色彩情報検出部２は、カラー画像撮像部１が撮像した被写体について、その一部の所定位置の色彩情報を検出し、検出した色彩情報を色補正部３に出力するようになっている。色補正部３には、色彩情報検出部２によって検出された色彩情報が、カラー画像撮像部１からのカラー画像中のいずれの位置に対応するかを示す対応位置情報も入力される。

色補正部３は、対応位置情報に基づいて、カラー画像中の対応する位置の情報を色彩情報によって補正して、補正カラー画像として出力する。

図２は図１の撮影システムをデジタルカメラに適用した場合の外観を示す説明図である。

この実施の形態においては、カラー画像の情報としてＲＧＢ情報を得るデジタルカメラ１３を採用する。このデジタルカメラ１３に、色彩情報としてのスペクトルを検出する測色計としての分光計（以下、測色計ともいう）１０が取り付けられる。図２ではデジタルカメラの主な構成要素のみを図示している。即ち、デジタルカメラ１３は、撮影レンズ４、ＲＧＢカラー撮像素子５、画像処理部６、画像表示部７、操作ダイヤル８によって構成される。また、デジタルカメラ１３の筐体には、分光計１０を取り付けるための接続部９が設けられており、この接続部９によって分光計１０が通常のストロボのごとく取り付けられる。分光計１０は、ファインダ１１、角度センサ１２が主な構成要素である。

図３は図１のデジタルカメラ１３及び分光計１０の具体的な構成を示すブロック図である。

１４は撮影対象となる被写体であり、図３では被写体１４が人間の腕の例を示している。また、１５は注目部であり、例えば腕の中にある患部（炎症部等）である。デジタルカメラ１３は撮影レンズ１６にて被写体像をＲＧＢカラー撮像素子５上に結像させる。信号処理部１７はゲイン補正やオフセット補正等を行うアナログ処理回路である。１８はＡＤ変換器、１９はＲＧＢ画像の記憶部であるＲＧＢ画像メモリである。

測色計１０は、分光検出部２５と、カメラ取り付け部２６とによって構成され、カメラ取り付け部２６に対して分光検出部２５が上下左右に回転するようになっている。２２は分光計１０の撮影レンズであり、被写体１４の光束がハーフミラー２３を介して、分光器２４、ファインダ１１に送られる。角度センサ１２は分光検出部２５の回転の角度を検出して角度情報を出力する。分光器２４は、ハーフミラー２３からの入射光を分光してスペクトル情報を出力する。

角度センサ１２からの角度情報及び分光器２４からのスペクトル情報は、それぞれデジタルカメラ１３内の角度データメモリ２８又は測色データメモリ２７に与えられて記憶されるようになっている。

デジタルカメラ１３の画像処理部６内の対応位置検出部２１は、角度センサ１２から得られた角度情報と撮影レンズ１６の画角情報および被写体までの距離情報をもとに、測色計１０の被写体上の計測位置が、撮影されたＲＧＢ画像のいずれの位置にあるかを演算する。対応位置情報は２次元の座標情報Ｃx、Ｃyとして色補正部３に与えられる。２０は画像保存部、７は画像表示部であり、色補正部３で補正されたＲＧＢ画像をそれぞれ、保存、表示するものである。

図４は図３中の色補正部３の具体的な構成を示すブロック図である。

２９はＲＧＢ画像メモリ１９の中から対応位置情報Ｃx、Ｃyに基づいて画像の切り出しを行う画像切出部、３０は切り出したデータの平均を求めるデータ平均部、３１は平均されたデータからスペクトル推定を行うためのスペクトル推定部、３２は補正係数Ｃ（λ）を算出するための補正係数算出部である。３３はＲＧＢ画像メモリ１９に記憶されたＲＧＢ信号に基づいて被写体１４の各位置のスペクトルを推定するための被写体スペクトル推定部、３４は信号補正部である。３５はスペクトル信号からＲＧＢに変換するためのＲＧＢ変換部である。

次に、このように構成された実施の形態の作用について図５及び図６を参照して説明する。本実施の形態では皮膚科での撮影を例として説明する。図５はファインダー１１上の表示例を示す説明図である。図６はカメラ位置と被写体との関係を説明するための説明図である。

まず、撮影にあたり、デジタルカメラ１３は三脚等の図示しないカメラ固定装置の上に設置される。患者は椅子等に座るとともに、患部（この場合は腕の一部）を机の上に置くなどしてデジタルカメラ１３の撮影方向に対向させて動かないように固定する。

医師や看護婦等の操作者はデジタルカメラ１３の図示しないズームや三脚のハンドルを操作して、撮影すべき被写体１４のフレーミングの調整を行う。例えば、患部を含む腕全体を撮影するものとする。この場合に患部は必ずしもデジタルカメラ１３の画面中心に位置するとは限らない。フレーミングが決まった時点で、次に測色計１０のファインダー１１を見ながら、患部をその画面の中心位置に位置させる。

ファインダー１１では図５のように見えており、中心にある円形部分を患部に合わせることにより、測色計１０の計測方向を被写体１４に対してまっすぐに正対させることができる。このようにして、デジタルカメラ１３および測色計１０における撮影準備が整うと撮影が行われ、撮影された被写体画像の画像データがＲＧＢ画像メモリ１９に、また、スペクトルデータが測色データメモリ２７に記憶される。

撮影時のカメラ位置と被写体１４との関係は図６のようになっている。つまり、デジタルカメラ１３の画角αと、ＡＦ情報から換算される被写体１４までの距離情報Ｌと、測色計の角度θ、φと、デジタルカメラ１３と測色計１０の基線長Ｂとから、ＲＧＢ画像上での注目被写体（注目部１５の画像）の位置を算出することができる。対応位置算出部２１では演算によって対応位置を２次元座標値Ｃx、Ｃyとして算出し、色補正部３に出力する。

色補正部３では算出した２次元座標値Ｃx、Ｃyに基づき、ＲＧＢ画像メモリ１９に記憶されている被写体画像の対応位置を中心とした矩形領域を切り出す。矩形領域の大きさは例えば１６×１６画素である。この矩形領域の画像信号はデータ平均部３０により全画素の平均値(Rave,Gave,Bave)が求められる。スペクトル推定部３１は、この平均値(Rave,Gave,Bave)から、例えば特開平１１−０８５９５２号公報にて開示された手法により、スペクトル信号Ｓ１（λ）を推定する。次に補正係数算出部３２では、測色データメモリ２７に記憶されたスペクトル情報Ｓ２（λ）を用いて、補正係数Ｃ（λ）を下記（１）式によって算出する。

Ｃ（λ） ＝ Ｓ２（λ） ／ Ｓ１（λ） …（１）
一方、ＲＧＢ画像メモリ１９からは各画素毎に画像データが順次読み出され、被写体スペクトル推定部３３にて順次スペクトル信号に変換される。そして、信号補正部３４で、補正係数算出部３２で算出された補正係数Ｃ（λ）が乗算されて、信号値の補正が行われる。補正されたスペクトル信号値はＲＧＢ変換部３５にてＲＧＢ値に変換されて、補正カラー画像としての補正Ｒ’Ｇ’Ｂ’信号が出力される。この補正Ｒ’Ｇ’Ｂ’信号は、例えば、画像保存部２０、画像表示部７に送られる。

このように本実施の形態によれば、別に設けた測色計によって得られたスペクトルデータに基づいて、撮像して得たＲＧＢ画像の補正を行うことから、極めて高精度の色補正が可能である。また、補正係数の算出においては、測色計の計測位置に正確に対応したＲＧＢ画像の所定領域を検出していることから、補正係数の精度は極めて高い。

なお、本実施の形態では、ＲＧＢ画像の補正の際に一度スペクトルデータに変換するようにしたが、演算量削減のために図７に示すように、ＲＧＢ補正係数算出部３５を新たに設けて、スペクトルに対応した補正係数をＲＧＢ信号に対応した係数として求め、この計数をＲＧＢ画像データに乗算するようにしてもよい。この場合には、被写体スペクトル推定部、ＲＧＢ変換部が不要となり、演算量を大幅に削減することが可能である。

また、図８のように、デジタルカメラの画像表示部７に、測色系の対応位置を十字等のマークにて重畳表示させてもよい。このマーク位置は対応位置算出部２１にて求められるＣｘ、Ｃｙに基づいて表示される。操作者はこのマークを見ながら、測色計１０を上下左右に移動させ、注目部１５である患部にマーク位置を合わせるようにして撮影を行うことができる。対応位置を画面上で確認できることから、対応位置の位置合わせを正確に行うことができる。

また、図９に示すように、測色計１０にレーザポインタ３６を設けて対応位置を求めるようにしてもよい。この場合、測色計１０の位置合わせ時には上記と同様にファインダー１１にて被写体の患部（注目部１５）に測色計１０の測色ポイントを合わせる。そして、デジタルカメラ１３によるの撮影時にレーザポインタ３６から光が照射され、レーザポインタ３６の写り込んだ画像が撮影される。次いで、レーザポインタ３６が照射されない画像が撮影される。対応位置算出部２１では、図１０のようにレーザポインタ３６が照射された画像、照射されない画像の差分が検出され、差分値の大きいポイントを利用して対応位置が算出される。

図１１は本発明の第２の実施の形態に係り、デジタルカメラ１３’及び分光計１０の具体的な構成を示すブロック図である。図１１において図３と同一の構成要素には同一符号を付して説明を省略する。

第１実施の形態では測色計を左右上下に動かしその角度θ、φを検出してＲＧＢ画像との対応位置を検出するようにしたが、本実施の形態ではデジタルカメラで狙った位置に測色計の撮影方向を制御することを特徴とする。

図１１に示すように、本実施の形態は第１実施の形態と異なり、対応角度算出部４０と、回転モータ４１とを有する。分光検出部２５はカメラ取り付け部２６’に対して上下にだけ動くことができるように構成されている。デジタルカメラ１３’では注目部１５を常にカメラの撮像範囲の中心で捉えるようにする。そして、対応角度算出部４０では被写体１４までの距離情報やカメラの画角情報から、分光検出部２５が注目部１５を捉える角度を計算し、この角度になるように回転モータ４１が制御されるように構成されている。

このように構成された実施の形態においては、撮影時はまず、デジタルカメラ１３’を被写体１に略正対させ、撮影画面の中央に被写体１４の患部（注目部１５）が位置するように、カメラ位置を調整する。その後、図示しないシャッタボタンが半押しされるとＡＦ動作が行われ、被写体１４までの距離が計測される。この情報を元に対応角度算出部４０では、測色計１０の撮影方向が被写体１４の注目部１５（患部）になる角度φを算出する。そして、角度センサ１２の情報を利用しながら、回転モータ４１により分光検出部２５を回転させ、角度がこの角度φになる位置にて停止させる。角度が所定の角度になった情報はデジタルカメラ１３’側に伝えられ、画像表示部７には撮影可能を示すマーク等が表示される。このマークの表示を確認して、撮影者はシャッタボタンを全押し状態にして撮影を実行する。こうして、略同じ時刻でのＲＧＢ画像とスペクトルデータとが記録される。その後の処理は第１の実施の形態とほぼ同じであるが、画像切出部２９において用いる対応位置情報としては、画面の中心の座標を示す値が与えられる。

このように本実施の形態では、撮影距離の情報により測色計の方向が自動的に変わるため、撮影者が測色計の位置合わせを行う必要がなく、極めて簡単に撮影を行うことができる。また、測色計の方向が変わったか否かを画像表示部に表示し確認した後撮影を行うことから、ＲＧＢ画像と測色計の撮影範囲との関係を正確に規定することができる。

なお、この確認は画像表示部に特定のマークを表示するようにしたが、音で伝えてもよいし、ＬＥＤ等のランプを点灯させてもよい。また、デジタルカメラのフォーカスロックを使い患部を画面の中心からずらして撮影する場合等はカメラの回転角度を検出して、測色計を左右に回転させるようにしてもよい。

図１２は本実施の形態の変形例を示している。測色計１０のミラー２３は回転する構造となっており、破線位置まで動くことができる。この破線位置までミラー２３が移動した場合には白色板２００からの光束が測色計１０に入り、デジタルカメラ３’周辺の照明スペクトルが検出可能である。このように検出した照明スペクトル情報を利用して、被写体１４の正確な色情報を検出することが可能である。詳細な検出方法は特開平１１−０８５９５２号公報にて開示された手法を採用すればよい。撮影時には、デジタルカメラ１３’の情報とともに、注目部１５のスペクトル情報とデジタルカメラ３’周辺の照明スペクトルとが計測され、これらの情報をもとに、注目部１５の正確な色が推定される。

図１３及び図１４は本発明の第３実施の形態に係り、図１３は装置の外観を示す説明図である。本実施の形態は測色計とデジタルカメラとを三脚等に取り付けることによって、別体に構成可能にした例を示している。

図１３において、２０１は測色計１０とデジタルカメラ１３’’の双方が取り付け可能な三脚である。測色計１０及びデジタルカメラ１３’’は、それぞれ画像処理装置２０２に接続されている。画像処理装置２０２は、パソコン等によって構成された制御装置である。

図１４は図１３中の画像処理装置２０２の具体的な構成を示すブロック図である。

図１４において、２０４は外部機器コントローラであり、例えば、ＵＳＢやＲＳ−２３２Ｃ等のコントローラである。２０５はデータ入力Ｉ／Ｆであり、測色計１０からスペクトル情報が入力され、デジタルカメラ１３’’からはＲＧＢ画像データが入力される。データ入力Ｉ／Ｆ２０５に取込まれたスペクトル情報及びＲＧＢ画像データはそれぞれ測色データメモリ２０９又はＲＧＢ画像メモリ２１０に与えられて記憶される。

注目位置指定部２０６は、測色計１０の測色ポイントがＲＧＢ画像上のいずれの位置にあるかを指定する。色補正部２１２は、ＲＧＢ画像データをスペクトル情報を元に色補正する。色再現処理部２０７は、画像表示部２０８のプロファイル情報を用いて、色補正部２１２で色補正されたＲＧＢ画像に対して、さらに色補正を行うものである。画像保存部２１３は、色補正部２１２や色再現部２０７で補正されたＲＧＢ画像データが保存される。ＣＰＵ２１１は画像処理装置２０２の全体を制御するものである。

このように構成された実施の形態においては、画像処理装置２０２の制御によって、デジタルカメラ１３’’の撮影がまず行われ、次に測色計１０での測色が行われる。デジタルカメラ１３’’からのＲＧＢ画像データ及び測色計１０からのスペクトル情報は、それぞれＲＧＢ画像メモリ２１０又は測色データメモリ２０９に記憶される。

注目位置指定部２０６では、撮影したＲＧＢ画像を画像表示部２０８に表示する。撮影者は、画像表示部２０８による表示を観察しながら、マウス等の図示しない画面位置指示装置を利用して、測色計１０での測色ポイントの指定を行う。測色計１０及びデジタルカメラ１３’’からの角度情報、画角情報及び被写体までの距離情報等に基づく対応位置情報Ｃｘ、Ｃｙが色補正部２１２に与えられる（図示省略）。色補正部２１２はＲＧＢ画像中の対応位置情報に基づく領域について、ＲＧＢ画像データを測色計１０の出力に基づいて色補正する。

このように本実施の形態においては、デジタルカメラ１３’’及び測色計１０の両方とも、市販のものをそのまま利用することができ、簡単な構成で容易に高精度の色補正が可能である。

なお、図１５のようにデジタルカメラ１３’’と測色計１０とを信号線２０３で接続して通信可能とすることにより、デジタルカメラ１３’’での撮影と測色計１０での測色を時間的に同時に行うことも可能であると共に、測色計１０のデータをデジタルカメラ１３’’を介して画像処理装置２０２に供給することができ、信号線の数を減らしシステムを簡素化することもできる。

図１６は第３の実施の形態の変形例を示すものである。図１６の変形例では、デジタルカメラ１３’’に照明付きフード２２０を取り付ける構成になっている。照明付きフード２２０には照明装置２２１が内蔵されていると共に測色計１０が固定して取り付けられるようになっている。また、撮影の際にはフード２２０の先端を撮影の被写体１４に接触させて撮影する構成となっており、デジタルカメラ１３’’の撮影中心にある点Ｐの位置に測色計１０の測色ポイントも設定されている。

このような構成によれば、専用のフード２２０を被写体１４に押し当てるだけで簡単にデジタルカメラ１３’’の撮影画面の中心位置を測色計１０にて測色することができる。これにより、対応位置を常に固定的に設定することができ、極めて簡単で且つ安定した撮影を行うことができる。

図１７は本発明の第４の実施の形態を示す説明図である。本実施の形態はデジタルカメラと測色計とを別体で構成せず、デジタルカメラ内部に測色部を備えた撮影システムを構成したものである。

図１７に示すように、本実施の形態におけるデジタルカメラ２１４内には、ハーフミラー２１５と、分光検出部２１６が設けられている。ハーフミラー２１５は、光軸上の図示しない被写体（デジタルカメラの画面の中心被写体）の光束の一部を分光検出部２１６に導く。ハーフミラー２１５はＲＧＢカラー撮像素子５の撮影時には、図１７の矢印方向に回転して、被写体の光束をＲＧＢカラー撮像素子５に導くようになっている。

このように構成された実施の形態においては、まず、図示しないシャッタボタンが半押しされると画面中央位置にフォーカスが調整され、次いで分光検出部２１６の働きによって画面中心にある被写体のスペクトルが計測される。次に、シャッタボタンが全押しされた時に、ミラー２１５が回転移動して、被写体の光束がＲＧＢカラー撮像素子５に入射されて、ＲＧＢ画像の撮影が行われる。他の処理は第１の実施の形態と同様である。

このように本実施の形態では、分光検出部２１６がカメラ内部に具備されており、上記各実施の形態のように別体に構成されておらず相互に同一の光学系及び撮像素子を利用していることから、使い勝手が極めて良い。また、常に画面の中心位置を測色ポイントとすることにより、対応位置検出が失敗することもなく、安定した測色が可能である。

なお、本実施の形態においては、分光検出部２１６が光軸のポイントのみを検出するようにしたが、例えば、複数のフォーカス検出位置に対応して複数の分光検出部２１６を備え、これらをフォーカス位置に応じて切り替えて用いてもよいことは明らかである。

図１８乃至図２３は本発明の第５実施の形態に係り、図１８は装置の外観を示す説明図である。本実施の形態は測色計に代えて、マルチバンドカメラを用いる例を説明するものである。

本実施の形態においては、図１８に示すように、通常のデジタルカメラ２２９の直前にマルチバンド撮影をするための色分離フィルタ２３０を具備する。図１９は色分離フィルタ２３０の構成を示す説明図である。色分離フィルタ２３０は、フィルタＡ，フィルタＢ，フィルタＣを有するフィルタターレット２３８とフィルタ保持部２３９とによって構成される。フィルタターレット２３８はフィルタ保持部２３９中で回動自在に保持されている。図１９（ａ）は色分離フィルタ２３０を構成するフィルタターレット２３８を示し、図１９（ｂ）は色分離フィルタ２３０を構成するフィルタ保持部２３９を示している。

図２０は撮影帯域の特性を説明するための説明図であり、図２０（ａ）はＲＧＢカラー撮像素子５の分光感度特性を示すグラフ、図２０（ｂ），図２０（ｃ）は色分離フィルタ２３０のフィルタＡ，Ｂの特性をそれぞれ示すグラフである。

フィルタＡ，Ｂの分光透過特性は、図２０（ｂ），図２０（ｃ）に示すように、図２０（ａ）に示すＲＧＢカラー撮像素子５のそれぞれの分光感度のピーク位置を分けるような特性となっており、フィルタＡとフィルタＢとを切り替えて撮影することにより、６バンドの撮影を行うことができる。また、フィルタＣはスルーとなっており、通常のＲＧＢの撮影を可能にする。なお、フィルタＡ，Ｂとしては、干渉フィルタだけでなく、波長可変フィルタを採用することができる。

また、このフィルタ保持部２３９はフィルタ回転部２３４を有しており、手動によりフィルタターレット２３８を直接回転させることができるようになっている。また、レンズ取り付け部２３６によって、フィルタ保持部２３９はデジタルカメラ２２９の撮影レンズ４に直接取り付けられるようになっている。なお、フィルタ保持部２３９には、フィルタＩＤ窓２３５が設けられており、このフィルタＩＤ窓２３５によって、現在撮影レンズ４の直前に配置されているフィルタがいずれの種類のフィルタであるかを目視で確認することができるような構成となっている。

図２１はデジタルカメラ２２９の内部の回路構成を示すブロック図である。なお、図２１において図３と同一の構成要素には同一符号を付して説明を省略する。

図２１において、５２はマルチバンド画像メモリで、フィルタＡ，フィルタＢで撮影されたＲＧＢ画像が６バンドのマルチバンド画像として記憶される。２４０は切替部であり、マルチバンド画像とＲＧＢ画像の記憶先を切り替えるものであり、撮影モード切替部２４２の指定モードに応じて切替が行われる。

撮影モードは「ＲＧＢモード」と「マルチバンドモード」の２種類とする。２４１は対応位置指定部であり、ＲＧＢ画像の中の被写体位置、マルチバンド画像の中の被写体位置を指定するものである。この実施の形態の場合にはマルチバンド画像は２種類のＲＧＢ画像から構成されているため、それぞれのＲＧＢ画像を順次画像表示部７に表示させて（計６画像）、操作ダイヤル８にて、ＲＧＢ画像との対応位置を指定する。図２２は対応位置を説明するための説明図であり、図２２（ａ）はＲＧＢカラー画像について示し、図２２（ｂ）はマルチバンド画像について示している。

図２３は図２１中の色補正部２４４の具体的な構成を示すブロック図である。色補正部２４４は、２系統の信号切り出し部２９，６０，データ平均部３０，６１，スペクトル推定部３１，６２を備えている点が上記実施の形態と異なる。この構成によって、色補正部２４４は、マルチバンド画像の対応位置のスペクトルを検出して、色補正を行うようになっている。

このように構成された実施の形態においては、撮影時には「マルチバンドモード」がまず指定され、フィルタＡをセットして撮影を行う。次いで、手動にてフィルタＢをセットして撮影を行う。フィルタＡ，Ｂにて撮影された画像はマルチバンド画像メモリ５２（図２３）に記憶される。次に、「ＲＧＢモード」が指定され、フィルタＣを選択して撮影を行い、撮影された画像データはＲＧＢ画像メモリ１９に記憶される。

色補正部２４４は、マルチバンド画像メモリ５２からのマルチバンド画像が入力されて、信号切出部６０、データ平均部６１及びスペクトル推定部６２において、対応位置情報Ｃｘ２，Ｃｙ２に対応した位置のスペクトル情報Ｓ２（λ）を取得する。また、色補正部２４４は、ＲＧＢ画像メモリ１９からのＲＧＢカラー画像が入力されて、信号切出部２９、データ平均部３０及びスペクトル推定部３１において、対応位置情報Ｃｘ１，Ｃｙ１に対応した位置のスペクトル情報を取得する。

補正係数算出部３２は上記（１）式に基づいて補正係数Ｃ（λ）を算出する。以後の動作は第１の実施の形態と同様である。

このように、本実施の形態においては、手動で回転可能な色分離フィルタを用いることにより、極めて安価に、ＲＧＢ画像の色補正を行うことができる。また、色分離フィルタにより撮影された画像の対応位置に関しては、操作ダイヤルを用いて手動で指定するようになっていることから、手ぶれ等で、フィルタＡ，Ｂ，Ｃの撮影時にカメラが動いた場合でも、確実に対応位置を指定することができる。なお、色分離フィルタに代えて、図２４のように液晶等を用いた波長可変フィルタ２３７を利用してもよいことは明らかである。

また、本実施の形態においては、色分離フィルタ２３０の操作は全くの手動でデジタルカメラ２２９側との通信も一切行わなかったが、デジタルカメラ２２９側の指示によってフィルタ回転操作、フィルタＩＤ検出を行うようにしてもよい。または、このようなフィルタが一体化した撮影レンズを用いるようにしてもよいことは当然である。

図２５乃至図３０は本発明の第６実施の形態に係り、図２５は具体的な構成を示すブロック図である。本実施の形態においてもマルチバンドカメラを用いる例を示している。なお、図２５において図２１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態においては、デジタルカメラ２４５上にマルチバンドカメラ５０が具備されている。マルチバンドカメラ５０は撮影レンズ５３、分光フィルタ５４、回転モータ５９、モノクロセンサ５５，信号処理部５７及びＡ／Ｄ変換器５８によって構成される。

図２６は図２５中の分光フィルタ５４の構成を示す説明図である。分光フィルタ５４は、図２６に示すように、相互に異なる分光透過特性を有する色フィルタ５４ａ，５４ｂ，…を複数枚有して構成されている。図２６の例では、８枚のフィルタの場合であるが、数は８に限定されるものではない。撮影制御部６０は、撮影レンズ１６のフォーカス、絞り、モノクロセンサ５６の電子シャッタ速度等を制御する。

また、デジタルカメラ２４５は、マルチバンド画像メモリ５２と対応位置指定部２４１、手ぶれセンサ２４３の手ぶれ情報に基づいてマルチバンド画像の位置ズレを補正するための位置ずれ補正部１６１を備えている。注目位置指定部２４１は、デジタルカメラ２４５とマルチバンドカメラ５０で撮影した画像から、被写体１４の注目部１５（患部）の対応位置を検出するものである。

次に、このように構成された実施の形態の動作について説明する。

被写体１４を撮影すべく、被写体１４にビデオカメラの撮影レンズ１６を向け、操作ダイヤル８等によって、画角、撮影位置を決定する。撮影者によって、図示しないシャッタボタンが半押しされると、デジタルカメラ２４５のＡＥ，ＡＦ制御動作が開始される。この制御による情報はマルチバンドカメラ５０に伝えられ、撮影制御部６０により、ＡＦ情報に応じて撮影レンズ５３のフォーカス位置が被写体距離に設定される。また、ＡＥ情報に応じて、モノクロセンサ５６のシャッタ速度と撮影レンズ５３の絞り値とが設定される。なお、この設定にあたってはフィルタ５４の個々の色フィルタ５４ａ，５４ｂ，…毎に適正露光となるように異なるシャッタ速度値に設定するので、ＳＮのよい撮影が可能である。

シャッタボタンが全押しされると撮影が開始され、ＲＧＢカラー撮像素子５によって撮影された画像信号はＲＧＢ信号メモリ１９に記憶される。また、マルチバンドカメラ５０においては、フィルタ５４が回転し、異なるフィルタ５４ａ，５４ｂ，…を用いた撮影が行われる。位置ずれ補正部１６１は、手ぶれセンサ２４３からの手ぶれ情報に基づいてマルチバンド画像の位置ずれを補正し、位置ズレ補正された画像を順次マルチバンド画像メモリ５２に記憶させる。

次に、操作ダイヤル８を利用して、撮影したＲＧＢカラー画像とマルチバンド画像とに含まれる被写体患部位置が指定される。即ち、それぞれの画像を画像表示部７に表示させると共に、指定カーソルを表示画像上に重畳させて表示する。

図２７は操作ダイヤル８を説明するための説明図である。操作ダイヤル８は、図２７に示すように、上下左右の矢印キーと中心の確定キーを含んで構成されており、指定カーソルは矢印キーの操作に応答して、表示画像上を上下左右に移動するように構成されており、確定キーを操作したタイミングにおける指定カーソルの画像上の位置に対応して、患部の位置が決定される。このような指定操作が、ＲＧＢカラー画像とマルチバンド画像とに対して行われて、それぞれの対応位置が求められる。ＲＧＢカラー画像に対応する位置をＣｘ１，Ｃｙ１とし、マルチバンド画像に対応する位置をＣｙ１，Ｃｙ２とする。

色補正部２４４の構成は図２３と同様であり、上記実施の形態と同様の動作によって、色補正を行う。

このように本実施の形態においては、マルチバンドカメラ５０から算出されたスペクトルデータに基づいてＲＧＢ画像の補正を行うことから、極めて高精度の色補正が可能である。また、この実施の形態では特に画素数に関しては明記しなかったが、例えば、デジタルカメラ２４５については５００万画素、マルチバンドカメラ５０については感度等を考慮して４０万画素程度とすることが考えられる。この場合には、マルチバンドカメラ５０では高精度の色情報が取得できるものの、十分な解像度が得られないが、デジタルカメラ２４５においては高解像度の画像が得られる。デジタルカメラ２４５の高解像度の画像とマルチバンドカメラ５０の高精度の色情報とを融合した画像を得ることになり、極めて高画質の画像を得ることができる。

また、本実施の形態のマルチバンドカメラ５０はフィルタ回転型の面順次式であるため、手ぶれ等によりそれぞれの分光画像にズレが生じるが、デジタルカメラ２４５内での手ぶれセンサ等による手ぶれ情報を元に分光画像間のブレを補正しているので、対応位置がより正確に求められる。

なお、本実施の形態では図２６のような回転フィルタ型のマルチバンドカメラ５０を用いたが、これに限らず液晶型の波長可変フィルタ等を用いてもよいことは当然である。

また、注目位置指定部や色補正部はデジタルカメラ内に設けるようにしたが、デジタルカメラ以外の演算処理装置、例えばパソコン等を用いて行ってもよい。また、本実施の形態ではマルチバンドカメラ５０はデジタルカメラ２４５に直結される構成となっているが、別体としてもよく、無線等で信号のやりとりをするようにしてもよい。

また、図２８のように、光路分岐手段２４６を設けて、デジタルカメラ２４５とマルチバンドカメラ５０の撮影方向、画角を一致させるようにすれば、対応位置の指定が極めて簡単になる。

また、手ぶれ情報としては、手ぶれセンサの情報を用いることとしたが、マルチバンド画像の各画像間の位置ズレ量を演算にて求めて補正するようにしてもよい。また、ＲＧＢカラー画像にて撮影される画像情報を用いて行うようにしてもよく、これはたとえば、図２９に示すように、マルチバンドカメラ５０の各分光画像の撮影タイミングと、デジタルカメラ２４５の撮影タイミングの時刻を合わせ、それぞれ連続するＲＧＢの２画像から位置ズレを検出し、この情報を用いて分光画像をλ１の画像位置に補正することができる。図３０に示すような相関演算部２４７にてＲＧＢ画像間の位置ズレ量を検出し、これに基づいて位置ズレ補正部２４８にてマルチバンド画像の位置補正を行う。ＲＧＢ画像の方が解像度が高く、相関演算の結果求まる位置検出精度が、マルチバンドカメラ５０から求める場合に比較して高精度であり、良好なブレ補正を行うことができる。

図３１乃至図３７は本発明の第７の実施の形態に係り、図３１はカメラ側の具体的な構成を示すブロック図であり、図３２は画像処理部の具体的な回路構成を示すブロック図である。本実施の形態は本件出願人が先に出願した特願２００２−２１８８６３号明細書に記載した照明型のマルチバンドカメラに適用したものであり、撮影対象が歯及び、歯を含む顔である場合に好適なものである。

図３１において、撮影システムは、マルチバンドカメラ６９、充電ユニット７２及び画像処理部６８によって構成される。

マルチバンドカメラ６９は、更に、照明ユニット７０、撮像ユニット７３及び制御ユニット７１によって構成される。太線にて示す照明ユニット７０は、マルチバンドカメラ６９の先端側に着脱自在に設けられており、照明ユニット接点７７により制御ユニット７１と信号の授受及びパワーの供給等が行われるようになっている。なお、図示しないが着脱せずに固定であっても構わない。

照明ユニット７０は、発する光の分光特性が相互に異なる複数種類のＬＥＤから構成されるＬＥＤ照明部７０ａ，７０ｂとこれを被写体に照明するための照明光学系７４、ＬＥＤの情報が記憶されているＬＥＤメモリ７５，ＬＥＤ近傍の温度を測定するための温度センサ７６によって構成される。なお、ＬＥＤ照明部７０ａ，７０ｂとしては、例えば、本実施の形態では７種類のＬＥＤを各４個ずつ配置した、合計２８個のＬＥＤによって構成されている。各ＬＥＤの中心波長はそれぞれ、４５０ｎｍ, ４６５ｎｍ, ５０５ｎｍ, ５２５ｎｍ, ５７５ｎｍ, ６０５ｎｍ, ６３０ｎｍである。また、照明光学系７４はＬＥＤ光を被写体面（図３１では色票１１０のカメラ側の面）に照射するためのもので、ＬＥＤ光を略均一に照射するように構成されている。

撮像ユニット７３は撮影レンズ１６，ＲＧＢカラー撮像素子５、ゲイン補正やオフセット補正等を行うアナログ処理を行う信号処理部１７及びＡＤ変換器１８によって構成される。フォーカスレバー７９は、マニュアルにてフォーカスを変更するためのもので、フォーカスレバー７９の位置検出用接点８０も具備されている。

制御ユニット７１内のカメラ制御ＣＰＵ８１は、カメラ制御を行うためのＣＰＵであり、ローカルバス８２及びＬＣＤコントローラ８７に接続される一方、撮像ユニット７３の制御を行うと共に、撮像ユニット７３で撮影したカラー画像信号を外部のモニタに出力するためのコンポジット出力端子８５に接続されている。

ＬＥＤドライバ８３は、ＬＥＤ照明部７０ａ，７０ｂの発光を制御するためのもので，データＩ／Ｆ８４は照明ユニット７０のＬＥＤメモリ７５の内容や温度センサ７６の情報を受信するためのインタフェースである。通信Ｉ／Ｆコントローラ９７は、例えばＵＳＢ２のような通信Ｉ／Ｆを制御するためのコントローラであり、９８はその接続のための通信Ｉ／Ｆ接続接点である。

リチウムバッテリ９９は、マルチバンドカメラ６９全体に電源供給を行うためのもので、充電のための接点である充電接点１００に接続されている。画像メモリ８９は、撮像ユニット７３で撮影された画像データを一次的に記憶するためのものである。

本実施の形態においては、ＬＥＤ照明部７０ａ，７０ｂは、７種類のＬＥＤを用いており、画像メモリ８９は、最低でも７種類の分光画像と１つのＲＧＢカラー画像を記憶可能な容量を有している。ＬＣＤモニタ８６は、カメラで撮影中の画像、または撮影済みの画像を表示するためのモニタである。

また、ＬＣＤモニタ８６は、必要に応じてオーバーレメモリ８８に記憶されている画像パターンと重畳された画像を表示するように構成されている。画像パターンとしては、例えば歯全体を水平に撮影するような水平ラインや、これに交差するクロスライン等である。操作部Ｉ／Ｆ９０は、マルチバンドカメラ６９に配設されている操作ボタンや情報伝達のため図示しない出力部との間で信号の授受を行う。

なお、操作ボタンとしては、通常のＲＧＢの撮影と、マルチバンドの撮影を切り替える撮像モード切替スイッチ９１と、シャッタボタン９２，ＬＣＤモニタ８６に表示される画像データの変更等の操作をするためのビューア制御ボタン９３等からなる。パワーＬＥＤ９４は、情報伝達のため出力部として機能して、マルチバンドカメラ６９の状態を撮影者に知らせるためのものである。また、バッテリの状態を知らせるためのバッテリＬＥＤ９５，撮影時の危険を知らせるためのアラームブザー９６等もマルチバンドカメラ６９の背面側に構成される。

これらのＬＥＤ９４〜９６の点灯と各動作状況との関係は、例えば、下記のとおりである。

パワーＬＥＤ
緑点灯 ： 撮影準備ＯＫ
緑点滅 ： 撮影準備中（初期ウォーミング等）
赤点消灯 ： バッテリ充電中
バッテリＬＥＤ
緑点灯 ： バッテリ容量が十分
黄色点灯 ： バッテリ容量が少ない（充電の必要有り）
赤色点灯 ： バッテリ容量が極めて少ない（至急充電の必要有り）
アラームブザー
警鐘 ： 撮影した画像データが無効である
充電ユニット７２は、マルチバンドカメラ６９のキャリブレーションを行うための色票１１０と、マルチバンドカメラ６９が充電ユニット７２に正常な位置に装着されたか否かを確認するためのマイクロスイッチ１１１と、充電ユニットの電源のＯＮ／ＯＦＦを行うための電源スイッチ１０２と、電源スイッチ１０２のＯＮ／ＯＦＦに連動して点灯／消灯する電源ランプ１０３と、マルチバンドカメラ６９が正常位置に装着された時に点灯する装着ランプ１０４とによって構成される。

充電ユニット７２は、例えば、卓上型であり、マルチバンドカメラ６９が充電ユニット７２の所定位置に装着されることで、マルチバンドカメラ６９の充電接点１００を介して、マルチバンドカメラ６９に電力を供給することができるようになっている。

装着ランプ１０４は、充電ユニット７２がマルチバンドカメラ６９の正常位置に装着された場合には緑色に点灯し、されていない場合には赤色に点滅する。また、この充電ユニット７２には、電源接続コネクタ１０５が設けられており、ＡＣアダプタ１０６が接続されるようになっている。そして、リチウムバッテリ９９の充電容量が減少し、バッテリＬＥＤ９５の黄色や赤が点灯している状態では、マルチバンドカメラ６９が充電ユニット７２に置かれた時にリチウムバッテリ９９への充電が行われるように構成されている。

画像処理部６８は、図３２に示すように、図２３の色補正部２４４と略同様の構成の色補正部２５０を有している。本実施の形態においては、画像処理部６８は対応位置算出部１０７を備えている。上記各実施の形態においては、マニュアル操作によって対応点（対応位置）検出を行っていたのに対し、本実施の形態においては対応点検出を全自動で行う構成になっている。

図３３は図３２中の対応位置算出部１０７の具体的な構成を示すブロック図である。また、図３４は対応位置算出部１０７の入力画像を示す説明図であり、図３４（ａ）はマルチバンド画像を示し、図３４（ｂ）はＲＧＢ画像を示している。

図３３に示すように、対応位置算出部１０７は、図３４のマルチバンド画像から輝度信号を取り出すための輝度変換部１０８と、画面のほぼ中心にある歯の領域を抜き出す中心歯検出部１０９と、抜き出された中心歯の画像を縮小するための画像縮小部１１２と、抜き出された歯のＲＧＢカラー画像上での対応位置を検出するためのテンプレートマッチング部１１３とによって構成される。

図３２に示すように、画像処理部６８は、対応位置算出部１０７の他に、マルチバンド画像メモリ５２、ＲＧＢ画像メモリ１９、色補正部２５０、色補正部２５０からのＲ’Ｇ’Ｂ’画像信号が与えられる色再現処理部２０７及び画像保存部２１３を有している。それぞれの機能は上記各実施の形態と同様である。色補正部２５０中のキャリブレーション部２５３は、色票画像メモリ２５１に記憶された色票画像と暗電流画像メモリ２５２に記憶された暗電流画像とを利用して、マルチバンド画像のキャリブレーションを行うようになっている。

次に、このように構成された実施の形態の動作について図３５及び図３６を参照して説明する。

本実施の形態においては、３つの撮影モードを有している。各撮影モードについて図３５を参照して説明する。本実施の形態は歯科医院におけるホワイトニング（漂白）や義歯構築を例にしている。

撮影モードとしては、図３５（ａ）に示すように、顔全体の撮影である顔貌撮影、図３５（ｂ）に示す上下の歯全体の撮影である全顎撮影、図３５（ｃ）に示す歯の１〜２本の撮影を行う歯牙撮影の３種類がある。顔貌撮影と全顎撮影とはＲＧＢ画像としての撮影であり、歯牙撮影はマルチバンド画像としての撮影である。本実施の形態は、歯牙撮影で得られたマルチバンド画像から、顔貌撮影や全顎撮影で得られたＲＧＢ画像の色を補正するものである。

（ＲＧＢ撮影）
撮影者は、マルチバンドカメラ６９を持ち上げて充電ユニット７２から取り外し、撮影モードを「ＲＧＢモード」に合わせる。ＲＧＢカラー撮像素子５では順次撮影が行われ、その画像がＬＣＤモニタ８６にて表示される。この撮影の時にはＬＥＤ照明部７０ａ，７０ｂは消灯している。撮影者（歯科医や歯科衛生士）は、ＬＣＤモニタ８６上の画像を見ながら、被写体（顔、または、全顎）に位置を合わせて、次にフォーカスレバー７９を用いてピントを合わせる。この際にカメラ制御ＣＰＵ８１では適正露光になるようにＲＧＢカラー撮像素子５の電子シャッタスピードを制御する。そして、シャッタボタンが押された時に撮影された画像が画像メモリ８９に記憶される。この際に、ＲＧＢ画像モード等の付帯情報も一緒に記憶される。

次に、撮影者は、マルチバンドカメラ６９を充電ユニット７２に載置する。そうすると、装着ランプ１０４が点灯し、画像処理部６８のＲＧＢ画像メモリ１９に撮影されたＲＧＢ画像が転送されて、記憶される。

（マルチバンド撮影）
次に、撮影者は、マルチバンドカメラ６９を持ち上げて、充電ユニット７２から取り外し、撮影モードを「測色モード」に合わせる。これにより、ＬＥＤ照明部７０ａ，７０ｂにおいては、７種類のＬＥＤの全てが点灯するとともに、ＲＧＢカラー撮像素子５では順次撮影が行われ、その画像がＬＣＤモニタ８６にて表示される。さらに、照明ユニット７０にはコンタクトキャップ２６０（図３６参照）が取り付けられ、撮影者（歯科医や歯科衛生士）はＬＣＤモニタ８６上の画像を見ながら、特定の歯に位置を合わせ、フォーカスレバー７９を用いてピントを合わせる。

この場合には、図３６に示すように、コンタクトキャップ２６０が撮影したい歯牙２６１に接し、ある程度の位置固定が行われるようになっている。そして、所望の位置合わせが行われると、撮影者によってシャッタボタンが押されて、マルチバンド撮影が行われる。この例では、ＬＥＤ照明部７０ａ，７０ｂは７種類のＬＥＤが順次点灯し、各点灯時に撮影されたＲＧＢ画像のうち所定の１色の画像データが画像メモリ８９に記憶される。この場合には、
４５０ｎｍ（λ１） → Ｂ画像
４６５ｎｍ（λ２） → Ｂ画像
５０５ｎｍ（λ３） → Ｇ画像
５２５ｎｍ（λ４） → Ｇ画像
５７５ｎｍ（λ５） → Ｇ画像
６０５ｎｍ（λ６） → Ｒ画像
６３０ｎｍ（λ７） → Ｒ画像
にように、ＬＥＤの中心波長に対応してＲＧＢ画像から選択された色の画像が画像メモリ８９にマルチバンド画像として保存される。また、撮影の際にそれぞれの波長の撮影が適正露光になるように、ＬＥＤの照射時間、照射強度、撮像素子の電子シャッタ速度等がカメラ制御ＣＰＵ８１によって制御される。また、この撮影時に温度変化が激しい場合にはアラームブザーが鳴り警告が発せられる。

撮影が終了するとコンタクトキャップをはずし、次に、マルチバンドカメラ６９が充電ユニット７２に載置されると、装着ランプ１０４が点灯し、キャリブレーション画像の測定が行われる。このとき、コンタクトキャップが外されないと充電ユニット７２にマルチバンドカメラ６９を装着できない構造となっている。即ち、撮影に利用されたＬＥＤと同一波長のＬＥＤを順次点灯させて色票１１０の撮影を行い、撮影画像を画像メモリ８９に色票画像として記憶させる。次いで、ＬＥＤが全く点灯しない状態（暗黒下）で撮影を行って、画像メモリ８９に暗電流画像として記憶させる。

次に、撮影されたマルチバンド画像、色票画像、暗電流画像ともに画像処理部６８に転送し、色票画像及び暗電流画像はそれぞれ色票画像メモリ２５１又は暗電流画像メモリ２５２に記憶させる。被写体画像はマルチバンド画像メモリ５２に記憶される。キャリブレーション部２５３は、
Ｍ‘（λ） ＝ （Ｍ（λ）−Ｄ（λ）） ／ Ｗ（λ）
Ｍ（λ） ： 被写体画像
Ｄ（λ） ： 暗電流画像
Ｗ（λ） ； 色票画像
Ｍ‘（λ） ： キャリブレーションされた被写体画像
なる演算を行い、ＲＧＢカラー撮像素子５の暗電流とＬＥＤ照明部７０ａ，７０ｂの光量劣化や波長シフト等を補正する。特に、ＬＥＤは温度変化によりその発光光量が変化するので、使用温度に合わせてキャリブレーションすることが精度向上に極めて有効である。キャリブレーション処理以降の動作は上記実施の形態と同様である。こうして、ＲＧＢ画像に対して高精度の色補正を行うことができる。

なお、本実施の形態においては、マルチバンド画像とＲＧＢ画像の対応位置を自動的に算出するようにしたことから、手動にて対応位置を指定する等の煩雑な操作が不要となる。また、マルチバンドカメラ６９はバッテリにてケーブルレスで操作することができ、使い勝手が著しく向上している。さらに、色票による補正を行っていることから、ＬＥＤや撮像素子の劣化、変動を補正することができ、極めて高精度の測色を実現することができる。

色票１１０は、充電機能も兼ねたクレイドルに内蔵されており、キャリブレーションのためにユーザが煩雑な操作を行う必要はない。さらに、装着ランプの点灯により、画像データの転送に際した操作ミスを低減することができ確実なデータ転送が可能である。また、本体のバッテリランプにより充電の状態を常に把握できる。また、温度センサを具備しており、歯牙の撮影時に温度変化があった場合や、歯牙撮影時とキャリブレーション時とで温度差が大きい場合等には、アラームブザーを利用して警告を発するようになっており、安定した撮影が可能である。

なお、画像処理部は通常のパソコン等で構成することができ、この場合には、例えば色補正部をソフトウエアにて実現するようにしてもよいことは明らかである。

また、本体が充電ユニット７２から外され、測定後にしばらく充電ユニット７２に戻されない場合には、使用者が忘れている場合もありアラームブザーを鳴らすなどして警告を発してもよい。

また、色票に関しては時間経過とともに劣化することも予想される。特に、光の影響、ゴミによる汚れ等の懸念がある。これを防ぐ方法として色票と照明ユニットとの間にシャッタを設け、マルチバンドカメラが持ち上げられた場合にはシャッタが締まり、外光やゴミが入らないような構成にしてもよい。

図３７は画像処理部として測色画像を利用する画像処理部２６９を用いた他の応用例を示すブロック図である。

２５４はキャリブレーションされた被写体画像から各画像位置のＸＹＺ値を求めるための色度算出器、２５６は求めたＸＹＺ値から歯冠色票の番号であるシェード番号を算出するためのシェード番号算出器である。シェード番号算出器２５６は、求めたＸＹＺ値とシェード番号データベース２７０に記憶されている各社のシェードガイドのＸＹＺ値を比較してシェード番号を求める。２５５はＲＧＢ画像データを求めるためのＲＧＢ画像演算部であり、２５７はその保存部である。２５８は画像表示部７の色ばらつきを補正するための補正画像作成部であり、色補正された画像が画像表示部７に表示される。このように構成された色補正部２７２によって、マルチバンド画像から歯牙のシェード番号が正確に判定されるとともに、歯牙に正確な色が画像表示部７に表示される。

図３８は本発明の第８の実施の形態を示す説明図である。

上述したように、色票は各種要因によって劣化する。また、実際の色票は、最初からある程度のばらつきを有している。歯科医院で使用する場合には、単一のシステムだけであれば問題はないが、図３６のように例えば、撮影システムが３セットあった場合には、いずれのマルチバンドカメラと充電ユニットとが組み合わされて利用されるか分からない。特に、キャリブレーションは色票データを基に行われることから、色票そのものがばらついていると、同一歯牙を計測したとしてもマルチバンドカメラ毎に異なる計測結果が得られてしまう。そこで、本実施の形態においては、各充電ユニットの中に色票の分光反射率を記憶した色票特性メモリを設け、キャリブレーションの際にはこの分光反射率を利用して更に補正をかけるようにしている。

図３８において、歯科医院内には、例えば第７の実施の形態と同様の撮影システム２６４Ａ〜２６４Ｃが設けられている。撮影システム２６４Ａ〜２６４Ｃは、それぞれマルチバンドカメラ６９と同様の構成のマルチバンドカメラ２６５Ａ〜２６５Ｃ、充電ユニット７２と同様の構成の充電ユニット２６２Ａ〜２６２Ｃを備えている。更に、充電ユニット２６２Ａ〜２６２Ｃには、それぞれ色票特性メモリ２６３Ａ〜２６３Ｃが設けられている。

図３８の例では、マルチバンドカメラ２６５Ａ〜２６５Ｃは、これらの３つの撮影システム２６４Ａ〜２６４Ｃについて共通の画像処理部を構成するマイコン２６６に接続されるようになっている。更に、マイコン２６６は、インターネット２６７を介して歯科技工所２６８の図示しないマイコンに接続されると共に、インターネット２６７を介してデータ管理センター２７１の図示しないマイコンにも接続される。

マイコン２６６によるキャリブレーション処理においては、
Ｍ‘（λ） ＝ （Ｍ（λ）−Ｄ（λ）） ／ Ｗ（λ） ＊ S（λ）
Ｍ（λ） ： 被写体画像
Ｄ（λ） ： 暗電流画像
Ｗ（λ） ； 色票画像
S（λ） ： 色票の分光反射率
Ｍ‘（λ） ： キャリブレーションされた被写体画像
なる演算が行われて、各色票のばらつきの補正を行う。これにより、複数のシステム間でのカメラの互換が可能となる。また、この補正によって、例えば歯科医院と歯科技工所との間でデータを交換する時にも有効である。

また、色票が何らかの原因で汚れたり、変色してしまった場合には色票を交換することができるようにしておくことが有効である。色票の交換に当たっては、データ管理センター２７１から色票を歯科医院に郵送する。そして、歯科医院では、色票を交換する。色票にはＩＤ番号が記載されてあり、その番号を応じて、自動的にデータ管理センター２７１から色票の分光反射率データが歯科医院に転送され（図３２の破線）、各充電ユニット２６２Ａ〜２６２Ｃの色票特性メモリ２６３Ａ〜２６３Ｃに書き込まれるようにしてもよい。

また、図示しないが色票に識別コードを設け充電ユニットで自動的にＩＤ番号を認識してもよい。なお、いうまでもないが、手段としては、バーコード方式、無線タグ方式などでもよい。

オンラインでデータの更新を行うことにより、ユーザは煩雑な操作をする必要がなく利便性が向上する。なお、色票の交換の必要性は、設置時間、設置時との信号値の変位等に応じて、自動的に警告メッセージを発するようにしてもよい。また、この警告はインターネットを介してデータ管理センター２６１に通知されるようにしておくことも可能で、データ管理センター２７１ではこの通知情報からユーザに電話等でコンタクトして、色票の交換を促すことができ、常に安定した測色を行うことができる。

本発明の第１の実施の形態に係る撮影システムを示すブロック図。 図１の撮影システムをデジタルカメラに適用した場合の外観を示す説明図。 図１のデジタルカメラ１３及び分光計１０の具体的な構成を示すブロック図。 図３中の色補正部３の具体的な構成を示すブロック図。 ファインダー１１上の表示例を示す説明図。 カメラ位置と被写体との関係を説明するための説明図。 色補正部の他の例をブロック図。 画像表示部７の表示を説明するための説明図。 測色計の他の例を示すブロック図。 位置情報の算出を説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 第２の実施の形態の変形例を示すブロック図。 本発明の第３実施の形態を示す説明図。 図１３中の画像処理装置２０２の具体的な構成を示すブロック図。 第３の実施の形態の変形例を示す説明図。 第３の実施の形態の変形例を示す説明図。 本発明の第４の実施の形態を示す説明図。 本発明の第５実施の形態を示す説明図。 色分離フィルタ２３０の構成を示す説明図。 撮影帯域の特性を説明するための説明図。 デジタルカメラ２２９の内部の回路構成を示すブロック図。 対応位置を説明するための説明図。 図２１中の色補正部２４４の具体的な構成を示すブロック図。 液晶等を用いた波長可変フィルタ２３７を示す説明図。 本発明の第６実施の形態を示すブロック図。 図２５中の分光フィルタ５４の構成を示す説明図。 操作ダイヤル８を説明するための説明図。 デジタルカメラ２４５とマルチバンドカメラ５０の撮影方向、画角を一致させる例を示す説明図。 手ぶれ補正を説明するための説明図。 位置ずれ補正部の構成を示すブロック図。 本発明の第７の実施の形態を示すブロック図。 画像処理部の具体的な回路構成を示すブロック図。 図３２中の対応位置算出部１０７の具体的な構成を示すブロック図。 対応位置算出部１０７の入力画像を示す説明図。 各撮影モードを説明するための説明図。 実施の形態の動作を説明するための説明図。 画像処理部として測色画像を利用する画像処理部２６９を用いた他の応用例を示すブロック図。 本発明の第８の実施の形態を示す説明図。

符号の説明

１…カラー画像撮像部、２…色彩情報検出部、３…色補正部。
代理人 弁理士 伊 藤 進

Claims (7)

1. 撮影レンズを用いて被写体を撮影する撮影システムにおいて、
   前記被写体のカラー画像を撮影するためのカラー画像撮像手段と、
   前記被写体の所定の計測位置のスペクトル情報を検出する分光検出手段と、
   前記計測位置に対する前記カラー画像上での対応位置を検出する対応位置検出手段と、
   前記分光検出手段で取得されるスペクトル情報と前記対応位置検出手段で取得される対応位置情報とから、前記カラー画像撮像手段で撮像されるカラー画像の色補正を行う色補正手段とを具備したことを特徴とする撮影システム。
2. 前記対応位置検出手段は、前記撮影レンズの画角情報と、前記被写体までの距離情報とを用いて前記対応位置情報を検出することを特徴とする請求項１に記載の撮影システム。
3. 前記分光検出手段は、前記カラー画像撮像手段に取り付け可能とする取り付け部を有することを特徴とする請求項１に記載の撮影システム。
4. 前記取り付け部を介して、前記分光検出手段と前記カラー画像撮像手段との間でデータの送受信を行うことを特徴とする請求項３に記載の撮影システム。
5. 前記分光検出手段は、手動または、前記カラー画像撮像手段からの制御によって、その測定の方向が可変となる構成となっていることを特徴とする請求項１に記載の撮影システム。
6. 前記カラー画像撮像手段は、画像表示手段を具備し、前記分光検出手段の前記計測位置を前記画像表示手段上に表示可能であることを特徴とする請求項１に記載の撮影システム。
7. 前記分光検出手段と前記カラー画像撮像手段とは、略同時刻のデータが取得されることを特徴とする請求項１に記載の撮影システム。

Images