JP5073996B2

JP5073996B2 - 画像処理装置

Info

Publication number: JP5073996B2
Application number: JP2006254460A
Authority: JP
Inventors: 康宏小宮
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-09-20
Filing date: 2006-09-20
Publication date: 2012-11-14
Anticipated expiration: 2026-09-20
Also published as: EP1903502A2; US8285039B2; EP1903502A3; JP2008073158A; US20080069482A1

Description

本発明は、画像内に設定される解析領域のデータに基づいて画像の解析処理を行う画像処理装置に関する。

歯科の分野では、セラミッククラウン法などによる治療が行われている。このセラミッククラウン法は、患者の元の歯の色に近い色のクラウン（セラミック製の歯冠補綴物）を作成し、このクラウンを患者の歯にかぶせることにより行われる。セラミッククラウン法による治療においては、補綴物であるクラウンの作成が必須となる。

特許文献１には、患者の歯牙を照明して撮像するカメラと、撮像して得られた歯牙画像の色値と歯の見本（シェード）の色値とを比較して、患者の歯牙に適合する歯の見本を特定する解析装置とを備える歯牙解析システムが開示されている。ここで、歯牙画像の解析において、画像中に測定対象とする範囲を示す矩形の位置を設定して、この矩形の範囲内の色を測定する技術が開示されている。また、特許文献２には、ロボット制御の技術に関して、対象物の重心座標値を算出するための矩形領域を自動的に移動させる技術が開示されている。
米国特許第５７６６００６号明細書特開平５−３１４２５７号公報

しかしながら、特許文献１に記載された技術では、歯牙画像の中に、照明光が歯牙表面から正反射した領域（以下、正反射領域と記す）が含まれていた場合、その正反射領域に矩形の位置が設定されると、色値等の測定精度が著しく劣化するという問題があった。また、特許文献２では、矩形領域を移動させることが開示されているものの、画像データから対象物の正反射領域を認識して、その正反射領域を自動的に回避することは開示されていない。

本発明は、上記の点に鑑みてなされたものであって、画像の解析処理の対象となる解析領域を画像内に設定する際に、正反射領域に解析領域を設定することを回避可能な画像処理装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、画像内の解析領域のデータに基づいて前記画像の解析処理を行う画像処理装置において、画像を構成する各画素のデータに基づいて、前記画像における正反射領域の位置を検出する領域検出手段と、検出された前記正反射領域の位置に基づいて前記解析領域を設定する領域設定手段とを備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記領域設定手段は、前記正反射領域と前記解析領域が重ならないように前記解析領域を設定することを特徴とする。

また、本発明の画像処理装置において、前記領域設定手段は、予め設定された所定領域を前記画像内で移動させることによって前記解析領域を設定することを特徴とする。

また、本発明の画像処理装置において、前記領域設定手段は、予め設定された所定領域の大きさを変更することによって前記解析領域を設定することを特徴とする。

また、本発明の画像処理装置において、前記領域検出手段は、前記各画素のデータの示す値がしきい値を超えた場合に、該データに係る画素を前記正反射領域内の画素として検出することを特徴とする。

また、本発明の画像処理装置において、前記領域検出手段は、前記各画素のデータの統計量に基づいて前記しきい値を設定することを特徴とする。

本発明によれば、画像を構成する各画素のデータに基づいて正反射領域の位置を検出し、その位置に基づいて解析領域を設定するようにしたので、正反射領域に解析領域を設定することを回避できるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による歯科用測色システムの構成を示している。本歯科用測色システムは、撮像装置１、クレードル２、画像処理装置３、及び表示装置４を備えている。撮像装置１は、７種類の波長帯域の照明光（７色の照明光）を被写体（患者の歯）に順次照射して、７枚の被写体分光画像を静止画として取り込むマルチバンド撮影を行う。このほか、撮像装置１はＲＧＢ画像の取り込みも可能である。クレードル２は撮像装置１と電気的に接続することが可能であり、撮像装置１を支持する。画像処理装置３は、画像記憶部３１、輪郭検出部３２、領域検出手段としての正反射領域検出部３３、領域設定手段としての矩形領域設定部３４、色度値算出部３５、及び画像表示処理部３６を備えている。

マルチバンド撮影によって撮像装置１で生成された画像データは、クレードル２を介して画像処理装置３に入力される。画像処理装置３において、画像記憶部３１は、入力された画像データを記憶する。撮像装置１によって撮像されたマルチバンドの画像データには、測色対象となる歯のほか、隣の歯や歯茎等の情報が含まれている。輪郭検出部３２は、この画像データに基づいて、画像における測色対象の歯の輪郭を検出する。

正反射領域検出部３３は、画像を構成する各画素のデータに基づいて、測色対象の歯の画像における正反射領域の位置を検出する。正反射領域とは、照明光が歯牙表面から正反射した領域であるが、正反射でなくても、後段の測色処理の精度に影響を与える明るさの領域も正反射領域の概念に含まれるものとする。詳細は後述するが、正反射領域の検出において、画像内の各画素のデータの示す値がしきい値を超えた場合に、そのデータに係る画素が正反射領域内の画素として検出される。

上記のしきい値を固定的に設定してもよいが、画像データの信号値が全体的に増加または減少する場合には、上記のしきい値を、画像内の各画素のデータの統計量（平均値と標準偏差）に基づいて設定してもよい。例えば、撮像装置１へ外光が入射する場合には、画像データの信号値が全体的に上昇することがある。このような場合にしきい値が固定されていると、抽出されるべきではない領域が正反射領域として誤認識されることがある。一方で、撮像装置１からの照明光の光量が経時変化により低下する場合には、画像データの信号値が全体的に減少する。このような場合にも、しきい値が固定されていると、抽出されるべき領域が正反射領域として認識されないことがある。そのため、各画素のデータの統計量に基づいてしきい値を設定することにより、正反射領域を正確に認識することができるようになる。

矩形領域設定部３４は、正反射領域検出部３３によって検出された正反射領域の位置に基づいて、解析処理（本実施形態では測色処理）の対象となる解析領域を画像に設定する。この解析領域は、歯面の上部（Cervical）、中央（body）、下部（Incisal）の各部に矩形領域として設定される。詳細は後述するが、矩形領域の設定において、正反射領域と矩形領域が重ならないように矩形領域が設定される。また、予め設定された所定の矩形領域を画像内で移動させる、あるいは所定の矩形領域の大きさを変更することによって、矩形領域が設定される。

色度値算出部３５は、設定された矩形領域における色度値であるＬ^＊ａ^＊ｂ^＊を算出する（測色処理）。画像表示処理部３６は、画像記憶部３１に格納されているマルチバンドの画像データに基づいて、表示装置４で表示可能なＲＧＢ画像データを生成し、被写体のカラー画像を色度値と共に表示するためのデータを表示装置４へ出力する。表示装置４は、カラー画像と色度値を表示する。なお、図示していないが、画像処理装置３は、色調の互いに異なる複数の歯の見本（シェードガイド）の中から、患者の生活歯に最も近い色調のシェードガイドを選択する処理を行うことも可能である。

次に、正反射領域の検出方法を説明する（図２参照）。正反射領域検出部３３は正反射領域の位置を検出し、画像内における正反射領域の位置の分布を示す正反射マップを生成する。本実施形態では、７バンドのうち、バンド１（Ｂ）、バンド５（Ｇ）、バンド７（Ｒ）の３つのバンドを選択して正反射領域の抽出を行う。着色抽出にはバンド１が必要であり、バンド１でしか抽出できない正反射領域もある。バンド５では、歯牙と歯肉の識別が最も明確となり、歯牙上の正反射領域の大部分が抽出できる。バンド７では、歯牙と歯肉がほとんど区別されないため、歯肉上の広域正反射抽出効率が良い。なお、被写体が患者の歯以外である場合には、上述した３つのバンド以外のバンドを選択して正反射領域の抽出を行ってもよい。

まず、７バンドの画像データから上記の３つのバンドの画像データを抽出し、各バンドについて画像を８×８画素の領域に分割し、各領域の画素値の標準偏差と平均値を算出する（ステップＳ１００）。これは、処理の高速化を目的とした前処理である。続いて、広域正反射抽出として、バンド１，７について画像全体の画素値の標準偏差と平均値を算出し、それらの値から、正反射領域を抽出するためのしきい値Ｔ１を算出する。そして、各画素について画素値をしきい値Ｔ１と比較し、画素値がしきい値Ｔ１を超えた画素を正反射領域内の画素として抽出し、正反射マップを生成する（ステップＳ１１０）。

また、小領域上の正反射抽出として、バンド１，５，７について、各画像を６４×６４画素の領域に分割して領域毎に画素値の標準偏差と平均値を算出し、それらの値から領域毎にしきい値Ｔ２を算出する。そして、算出したしきい値Ｔ２を用いて各領域の中央の３２×３２画素の領域で同様に正反射領域内の画素を抽出し、正反射マップを生成する（ステップＳ１２０）。

また、暗着色部抽出として、バンド１，５，７について、各画像を６４×６４画素の領域に分割して領域毎に画素値の標準偏差と平均値を算出し、それらの値から領域毎にしきい値Ｔ３を算出する。そして、算出したしきい値Ｔ３を用いて各領域の中央の３２×３２画素の領域で同様に暗着色部内の画素を抽出し、暗着色部マップを生成する（ステップＳ１３０）。暗着色部内の画素を抽出する際には、正反射領域内の画素を抽出する際とは逆に、画素値がしきい値Ｔ３を超えなかった画素を抽出する。

続いて、ステップＳ１１０〜Ｓ１３０で正反射領域または暗着色領域内の画素として抽出された画素を除く画素の位置を示すデータを正反射マップとして生成し、矩形領域設定部３４へ出力する（ステップＳ１４０）。なお、ステップＳ１１０〜Ｓ１３０で正反射領域または暗着色領域内の画素として抽出された画素の位置を示すデータを正反射マップとしてもよい。

６４×６４画素単位の正反射領域の抽出では、例えば６４×６４画素の全てが正反射領域の場合には、正反射領域であると認識できないので、広域正反射抽出が必要になる。一方、広域正反射抽出のみでは、歯牙の比較的暗い部分の正反射領域を抽出することができないため、小領域での正反射抽出が必要である。また、広域正反射抽出でバンド５の画像データを使用していない理由は、小さな歯牙では歯牙全体が正反射領域であると誤認識されるためである。

次に、矩形領域の設定方法を説明する（図３〜図５参照）。矩形領域設定部３４は、正反射領域検出部３３によって生成された正反射マップに基づいて、正反射領域を回避するように矩形領域を設定する。まず、輪郭検出部３２によって検出された歯牙の輪郭線のデータに基づいて、輪郭の重心と端を求め、歯面の上部、中央、下部の各部について、輪郭の大きさに応じた比例計算により矩形座標（矩形領域の特徴点の位置座標）を算出する（ステップＳ２００）。

続いて、求めた矩形座標の示す矩形領域を画像内で上下左右に１画素ずつ拡大した矩形領域の位置と、正反射マップが示す正反射領域の位置とを比較し、矩形領域に正反射領域が含まれているか否か（矩形と正反射領域が重なっているか否か）を判定する（ステップＳ２１０）。なお、矩形領域を上下左右に１画素ずつ拡大するのは、より確実に正反射領域を回避するためである。矩形領域に正反射領域が含まれていなかった場合には、ステップＳ２００で算出した矩形座標を色度値算出部３５へ出力する（ステップＳ２２０）。

また、矩形領域に正反射領域が含まれていた場合には、位置や大きさを変更した矩形領域について評価値を算出し、評価値が良好な矩形領域の矩形座標を求める（ステップＳ２３０）。そして、求めた矩形座標を色度値算出部３５へ出力する（ステップＳ２２０）。評価値の算出対象となる矩形領域の矩形座標は、正反射マップと歯牙の輪郭線のデータに基づいて生成される。

矩形座標を生成する際には、ステップＳ２００で算出した矩形座標の示す矩形領域を画像内で上下左右に１画素ずつ拡大した矩形領域を、画像の左端に向けて移動し、矩形領域内に正反射領域が含まれないような場所を検索する。正反射領域を含まない矩形領域の矩形座標を求めた後、求めた矩形座標が輪郭線の内側に入っていることをチェックする。同様に、矩形領域を画像の右端に向けても移動し、矩形領域内に正反射領域が含まれないような場所を検索する。

また、矩形領域を縮小しながら、上記の処理を行う。一連の処理において、評価値を算出した結果、所定のしきい値を超える優良な評価値が得られた場合には、検索条件を変えて検索を続行することにより、無駄な処理を省くようにしている。

矩形領域を縮小する場合、重心位置が変わらないようにしながら、矩形の横幅もしくは高さを２画素分ずつ縮小する。最初に矩形を縮小する際には、矩形の長辺と短辺のうち長辺を縮小し、それ以後は横幅と高さを交互に縮小していく。最小の矩形のサイズは１２×１２画素である。また、評価値は１画素の移動毎に−１ポイントとし、１回の縮小計算毎に−４ポイントとする。このように、縮小よりも移動を優先する評価値の設定を行っている。優良な評価値をもつ矩形領域の矩形座標が求められる毎に検索範囲を狭める。

図４は図３のステップＳ２３０の詳細を示している。まず、ステップＳ２００で算出した歯面の上部、中央、下部の各部の矩形座標、画像サイズ、輪郭線、正反射マップを引数として入力する（ステップＳ３００）。続いて、矩形座標の初期値として、図３のステップＳ２００で算出した（ステップＳ３００で入力された）矩形座標を設定する。また、検索済み評価値を用意し、負の特定値（絶対値の大きなもの）を格納する（ステップＳ３１０）。

続いて、設定した矩形を上下左右に１画素ずつ拡大した矩形について、画像の左端及び右端のそれぞれに向かって初期設定位置から矩形領域を順次移動し、矩形領域内に正反射領域が含まれないような場所を検索する。見つかった矩形領域が輪郭線の内側にある場合には、各矩形領域について評価値を算出する（ステップＳ３２０）。

上記のようにして算出した評価値を順番に検索済み評価値と比較し、算出した評価値が検索済み評価値よりも大きい場合には、算出した評価値で検索済み評価値を更新し、算出した評価値に係る矩形座標を記憶するという処理を、算出した評価値の全てについて行う（ステップＳ３３０）。さらに、矩形領域を縦方向または横方向に縮小する（ステップＳ３４０）。

続いて、所定の条件が満たされているか否かを判定する（ステップＳ３５０）。所定の条件とは、既に優良な評価値が得られていること、矩形サイズが最小の１２×１２画素に達していることである。これらの条件のいずれかが満たされた場合に、処理はステップＳ３６０に移行し、これらの条件のいずれも満たされない場合には、矩形領域の位置を初期設定位置に戻し、再度ステップＳ３２０の処理を行う。

処理がステップＳ３６０に移行した場合には、歯面の上部、中央、下部の全ての部位について上記の処理を行ったか否かを判定する（ステップＳ３６０）。まだ処理を行っていない部位がある場合には、再度ステップＳ３１０の処理を行う。また、全ての部位について上記の処理を行った場合には、矩形座標の生成処理を終了する。この後、ステップＳ３３０で記憶した矩形座標が色度値算出部３５へ出力される。

上述した処理では、矩形領域を画像の横方向に移動しているが、矩形領域を画像の縦方向にも移動してもよい。その場合、矩形領域を画像の縦方向に移動し、移動先の各位置で上記と同様に画像の左端及び右端へ向けて矩形領域を移動しながら、最適な矩形座標を求める。なお、矩形領域を画像の縦方向に移動する場合には、歯面の各部に初期設定された矩形同士の距離の１／４だけ縦方向に初期設定矩形の上辺及び下辺から離れた場所を限界とするような座標検索範囲を設定し（図５参照）、その範囲内で矩形領域を移動する。

上述したように、本実施形態によれば、画像を構成する各画素のデータに基づいて正反射領域の位置を検出し、その位置に基づいて、正反射領域と矩形領域が重ならないように、矩形領域の位置及び大きさを設定するようにしたので、正反射領域に解析領域を設定することを回避できる。したがって、被写体からの光の正反射に影響されずに、測定対象である歯牙の色の測定を行うことができる。さらに、各画素のデータに基づいて暗着色部内の画素を抽出するようにしたので、測定対象である歯牙に虫歯等により黒ずんだ領域が存在した場合、係る領域を本来測色すべきではない領域として解析領域から除くことができる。

また、画像内の各画素の画素値がしきい値を超えた場合に、そのデータに係る画素を正反射領域内の画素として検出することによって、簡易な処理で正反射領域を検出することができる。

また、本実施形態によれば、解析領域を所定の範囲以上に維持しながら、測定領域を対象物の正反射領域に設定することを自動的に回避できる。さらに、正反射を除去するための偏光板を撮像装置に設ける必要がないので、画像の輝度が下がることを回避できる。よって、輝度を上げるために、光源として多くのＬＥＤを撮像装置に設ける必要がないため、装置の大型化及びコストアップを回避することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明は、歯科用測色システムに限らず、皮膚用測色システム、さらに、他の分野として、自動車または建物の塗装色、食料品の分光特性、絵画または彫刻等の美術品の分光特性、衣料品の染色等を測定する測色システムにも適用が可能である。

本発明の一実施形態による歯科用測色システムの構成を示すブロック図である。本発明の一実施形態における正反射領域の検出方法を説明するための説明図である。本発明の一実施形態における矩形領域の設定方法を説明するための説明図である。本発明の一実施形態における矩形領域の検索の手順を示すフローチャートである。本発明の一実施形態における矩形検索範囲の設定方法を説明するための参考図である。

符号の説明

１・・・撮像装置、２・・・クレードル、３・・・画像処理装置、４・・・表示装置、３１・・・画像記憶部、３２・・・輪郭検出部、３３・・・正反射領域検出部（領域検出手段）、３４・・・矩形領域設定部（領域設定手段）、３５・・・色度値算出部、３６・・・画像表示処理部

Claims

画像内の解析領域のデータに基づいて前記画像の解析処理を行う画像処理装置において、
画像を構成する各画素のデータに基づいて、前記画像における正反射領域の位置を検出
する領域検出手段と、
矩形領域の位置または大きさを変更する毎に、矩形領域内に前記正反射領域が含まれない場所を検索し、検索により得られた矩形領域に対して評価値を算出し、該算出した評価値に基づいて前記解析領域を設定する領域設定手段と、
を備え、
前記評価値は、前記矩形領域の移動と前記矩形領域の縮小計算毎に更新され、
前記領域設定手段は、予め決められた閾値を超える優良な評価値をもつ矩形領域が得られる毎に前記解析領域の検索範囲を狭めることを特徴とする画像処理装置。
前記領域設定手段は、前記算出した評価値と既に行った検索により得られている検索済み評価値との比較に基づいて、前記検索済み評価値を更新し、該更新した検索済み評価値が評価値についての条件を満たす場合、前記検索済み評価値に対応する矩形領域を前記解析領域に設定することを特徴とする請求項１に記載の画像処理装置。
前記領域検出手段は、画像全体の画素値の標準偏差と平均値を算出し、該算出した標準偏差と平均値に基づいて第１の正反射領域の画素を抽出し、前記画像を予め決められた大きさの領域に分割して、該領域毎に画素値の標準偏差と平均値を算出し、該算出した標準偏差と平均値に基づいて第２の正反射領域の画素を抽出し、前記第１の正反射領域の画素または前記第２の正反射領域の画素の少なくともいずれかに該当する画素の位置を前記正反射領域の位置として検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
画像データに基づいて、画像における測色対象の輪郭を検出する輪郭検出手段を備え、
前記領域設定手段は、前記検索により得られた矩形領域が、前記輪郭検出手段により検出された輪郭の内側にある場合、評価値を算出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
前記輪郭検出手段は、前記輪郭検出手段が検出した対象物の輪郭の大きさに応じて、前記矩形領域の初期の大きさを算出することを特徴とする請求項４に記載の画像処理装置。