JP4589463B2

JP4589463B2 - 撮像装置

Info

Publication number: JP4589463B2
Application number: JP2010515299A
Authority: JP
Inventors: 哲夫薬袋; 和昭田村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-10-17
Filing date: 2009-10-19
Publication date: 2010-12-01
Anticipated expiration: 2029-10-19
Also published as: EP2338404A1; US8018485B2; JPWO2010044483A1; US20100265321A1; WO2010044483A1; CN102186400A; EP2338404B1; EP2338404A4; CN102186400B

Description

この発明は、特定の色成分をもとに生成される分光画像を撮像するとともに、該分光画像の色むらを補正することができる撮像装置および撮像システムに関する。

近年、内視鏡分野においては、撮像機能と無線通信機能とを設けたカプセル型の被検体内導入装置（例えばカプセル型内視鏡）が提案され、このカプセル型内視鏡を用いて被検体内の画像を取得する被検体内導入システムが開発されている。カプセル型内視鏡は、被検体内を観察（検査）するために、例えば被検体の口から飲込まれ、その後、自然排出されるまでの間、体腔内たとえば胃、小腸等の臓器の内部をその蠕動運動に従って移動する。また、移動中、カプセル型内視鏡は、例えば０．５秒間隔で被検体内の画像を撮像するように機能する。

カプセル型内視鏡が被検体内を移動する間、このカプセル型内視鏡によって撮像された画像は、被検体の体表面に配置したアンテナを介して外部の画像表示装置に受信される。この画像表示装置は、カプセル型内視鏡に対する無線通信機能と画像のメモリ機能とを有し、被検体内のカプセル型内視鏡から受信した画像をメモリに順次格納する。医師または看護師は、かかる画像表示装置に蓄積された画像、すなわち被検体の消化管内の画像をディスプレイに表示することによって、被検体内を観察（検査）し、診断することができる。

ここで、特許文献１には、生体内撮像装置が生成して、生体内撮像装置に再び反射された照明の量に従って、強度および／または持続時間を変化させることができる生体内撮像嚥下可能カプセルが記載されている。

特許第３７８２０９３号公報

ところで、カプセル型内視鏡などでは、体腔内壁の鮮明な血管画像などを、青色および緑色の特定の色成分を用いて生成する分光画像を撮像したい場合があり、この場合、青色波長域にピークをもつ発光素子と緑色波長域にピークをもつ発光素子とをそれぞれ異なる位置に配置して被写体に照明し、１つの撮像素子によって分光画像を取得する。しかし、異なる波長域にピークをもつ異なる光源を異なる位置に配置された場合、取得される画像には、色むら（局所的なホワイトバランスのずれや輝度むらを含む）が発生してしまうという問題点があった。

この発明は、上記に鑑みてなされたものであって、異なる波長域を発光する異なる光源を異なる位置に配置して分光画像を得る場合であっても、色むらを除去することができる撮像装置および撮像システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、この発明にかかる撮像装置は、第１の周波数特性を有する複数の第１の光源と、前記第１の周波数特性とは異なる第２の周波数特性を有し、前記第１の光源とは異なる位置に配置される複数の第２の光源と、前記複数の第１の光源および前記複数の第２の光源から照射された被写体からの反射光を受光して対象物の画像を生成する撮像部と、予め前記撮像部が撮像した前記複数の第１の光源による第１画像と前記複数の第２の光源による第２画像とをもとに前記第１画像および前記第２画像の各領域の輝度比を一定とする補正データを用いて前記撮像部が撮像する前記画像の色むら補正を行う画像補正部と、を備え、前記画像補正部が、前記第１画像および前記第２画像の各領域で所定値以上の輝度値を有する高輝度領域と、前記第１画像および前記第２画像の各領域でいずれか一方の画像の輝度値が前記所定値以上で他方の画像の輝度値が前記所定値未満である偽色領域とを検出し、高輝度領域が検出された場合には、前記色むら補正に替えて、前記高輝度領域を高輝度領域を示す色要素データあるいは表示態様に変更し、偽色領域が検出された場合には、前記色むら補正に替えて、前記偽色領域を偽色領域を示す色要素データあるいは表示態様に変更することを特徴とする。

この発明によれば、画像補正部が、予め前記撮像部が撮像した前記第１の光源による第１画像と前記第２の光源による第２画像とをもとに前記第１画像および前記第２画像の各領域の輝度比を一定とする補正データを用いて前記撮像部が撮像する前記画像の色むら補正を行うようにしているので、異なる波長域を発光する異なる第１および第２の光源を異なる位置に配置して分光画像を得る場合であっても、色むらを除去することができる。

図１は、この発明の実施の形態１による撮像システムであるカプセル型内視鏡システムの全体概要構成を示す図である。図２は、この発明の実施の形態１によるカプセル型内視鏡の撮像部および照明部近傍の平面図である。図３は、この発明の実施の形態１によるカプセル型内視鏡の撮像部および照明部近傍の断面図である。図４は、この発明の実施の形態１によるカプセル型内視鏡に搭載される撮像素子の画素配列の一例を示す図である。図５は、この発明の実施の形態１による発光素子の放射輝度特性と撮像素子の分光感度特性とを示す図である。図６は、血液の吸光特性レベルの波長依存性を示す図である。図７は、体腔内壁と血管に対する光の進入と反射との関係を示す模式図である。図８は、この発明の実施の形態１による受信装置に搭載される画像処理部の詳細構成を示すブロック図である。図９は、色むらを有した画像の一例を示す図である。図１０は、この発明の実施の形態１による彩度の補正データの補正量を示す位置依存性を示す図である。図１１は、この発明の実施の形態２による高輝度領域および偽色領域の一例を示す図である。図１２は、この発明の実施の形態３によるＬＥＤの配置による色むらを低減する配光特性の一例を示す図である。

以下、図面を参照して、この発明にかかる撮像装置およびこれを用いた撮像システムの実施の形態を詳細に説明する。なお、以下の実施の形態では、カプセル型内視鏡システムを例に挙げて説明するが、これらの実施の形態によってこの発明が限定されるものではない。

（実施の形態１）
図１は、この発明の実施の形態１にかかるカプセル型内視鏡システムの構成を示す模式図である。図１に示すように、この実施の形態１にかかる内視鏡システムは、被検体１の体内画像を撮像するカプセル型内視鏡２と、カプセル型内視鏡２によって無線送信された画像信号を受信する受信装置３と、カプセル型内視鏡２によって撮像された体内画像を表示する画像表示装置４と、受信装置３と画像表示装置４との間におけるデータの受け渡しを行うための可搬型の記録媒体５とを備える。

カプセル型内視鏡２は、カプセル型の筐体内部に撮像機能と無線通信機能とを備える。カプセル型内視鏡２は、経口摂取等によって被検体１の臓器内部に導入され、その後、蠕動運動等によって被検体１の臓器内部を移動しつつ、所定の間隔（例えば０．５秒間隔）で被検体１の体内画像を順次撮像する。具体的には、カプセル型内視鏡２は、臓器内部において被写体に、たとえば異なる位置に配置された青色光および緑色光の発光素子からそれぞれ青色光および緑色光を照射し、この照明光によって照明された被写体の画像、具体的には血管画像である分光画像等の体内画像を撮像する。カプセル型内視鏡２は、このように撮像した被検体１の体内画像の画像信号を外部の受信装置３に無線送信する。カプセル型内視鏡２は、被検体１の臓器内部に導入されてから被検体１の外部に排出されるまでの期間、かかる体内画像の撮像動作および無線送信動作を順次繰り返す。

受信装置３は、例えば被検体１の体表上に分散配置される複数の受信アンテナ３ａ〜３ｈを備え、複数の受信アンテナ３ａ〜３ｈのうちの少なくとも一つを介して被検体１内部のカプセル型内視鏡２からの無線信号を受信する。受信装置３は、カプセル型内視鏡２からの無線信号から画像信号を抽出し、この抽出した画像信号に含まれる体内画像の画像データを取得する。

また、受信装置３は、取得した画像データから画像の色むら補正を行う色むら補正処理を含む画像処理を行う画像処理部を備える。受信装置３は、予め挿着された記録媒体５に、画像処理された体内画像群を蓄積する。また、受信装置３は、体内画像群の各画像に、撮像時刻または受信時刻等の時間データを各々対応付ける。

なお、受信装置３の受信アンテナ３ａ〜３ｈは、図１に示したように被検体１の体表上に配置してもよいし、被検体１に着用させるジャケットに配置されてもよい。また、受信装置３の受信アンテナ数は、１以上であればよく、特に８つに限定されない。

画像表示装置４は、記録媒体５を介して被検体１の体内画像群等の各種データを取り込み、取り込んだ体内画像群等の各種データを表示するワークステーションのような構成を有する。具体的には、画像表示装置４は、受信装置３から取り外された記録媒体５を挿着され、この記録媒体５の保存データを取り込むことによって、被検体１の体内画像群等の各種データを取得する。画像表示装置４は、取得した体内画像をディスプレイに表示する機能を有する。この画像表示装置４による画像表示によって診断等が行われる。

記録媒体５は、上述した受信装置３と画像表示装置４との間におけるデータの受け渡しを行うための可搬が他の記録メディアである。記録媒体５は、受信装置３および画像表示装置４に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。具体的には、記録媒体５は、受信装置３に挿着された場合、受信装置３によって画像処理された体内画像群および各画像の時間データ等を記録する。

カプセル型内視鏡２は、カプセル型筐体２１内に各種機能が内蔵され、一端部がドーム型透明カバー２０に覆われ、この一端部側に照明部および撮像部が配置される。図２および図３に示すように、円板状の基板２３の円中央部に鏡筒２４が設けられ、この鏡筒２４内にカプセル型筐体２１の円筒軸が光軸となる光学レンズ１３および撮像素子１４が設けられる。基板２３の周縁側には、４１５ｎｍ（青色）付近にピークをもつ波長スペクトル（図５の曲線Ｌｂ）を呈する発光素子としての３つのＬＥＤ１０ａ〜１０ｃ（１０）と、５４０ｎｍ（緑色）付近にピークをもつ波長スペクトル（図５の曲線Ｌｇ）を呈する発光素子としての３つのＬＥＤ１１ａ〜１１ｃ（１１）とが交互に異なる位置に円環状に配置される。各ＬＥＤ１０，１１の上部には、透明の固定部材１２が設けられる。なお、ＬＥＤ１１は、ＬＥＤ１０の上部に蛍光部材を設け、この蛍光部材が、ＬＥＤ１０から発せられる４１５ｎｍの光によって励起して５４０ｎｍの蛍光を発光するようにしてもよい。

撮像素子の複数の画素は、図４に示すように、図２に示すような緑（Ｇ）の画素１５および青（Ｂ）の画素１６のみが配置される。もちろん、赤（Ｒ）の画素を加えたベイヤー配列などの通常の撮像素子を用いてもよいが、この赤（Ｒ）の画素は用いられない。

ここで、４１５ｎｍの光（青色）と５４０ｎｍの光（緑色）とを用いた分光画像について説明する。まず、図５に示すように、ＬＥＤ１０，１１は、曲線Ｌｂ，Ｌｇに示す発光スペクトルであるＬＥＤ放射輝度特性を有し、各画素１５，１６は、曲線ＬＢ，ＬＧに示す受光スペクトルである撮像素子分光感度特性を有する。

血液の吸光特性レベルは、図６に示すように、４１５ｎｍ（青色）と５４０ｎｍ（緑色）とにピークがある以外は低い。そして、図７に示すように、体腔内壁には、粘膜表層４０に毛細血管４３が存在し、さらに粘膜深部４１には、太い血管４４が存在する。体腔内壁に照射される４１５ｎｍ（青色）の光は、波長が短いため、組織内部まで透過せず、上述した血液の吸光特性によって毛細血管４３に吸収される。また、５４０ｎｍ（緑色）の光は、青色よりも波長が長いため、粘膜深部４１まで透過し、上述した血液の吸光特性によって太い血管４４に吸収される。一方、赤色の光は、内部組織４２まで透過し、散乱光としてほとんどが反射される。したがって、４１５ｎｍ（青色）および５４０ｎｍ（緑色）のみの受光感度を持たせれば、毛細血管４３および太い血管４４などの血管画像のコントラスト情報を得ることができる。

したがって、青色と緑色の波長をもつ光を被写体に照明し、青色と緑色の波長の感度特性をもつ撮像素子を用いることによって血管のコントラスト情報を得ることができ、血管画像である分光画像を得ることができる。

ところが、撮像素子１４の画素１５が主として受光した青色の画像と画素１６が主として受光した緑色の画像とを合成した合成画像を生成すると、各色のＬＥＤ１０，１１の配置位置が異なるため、色むらが生じた画像となる。そこで、上述したように、受信装置３内で、分光画像の色むら補正を行うようにしている。

図８は、受信装置３に組み込まれる画像処理部５０の詳細構成を示すブロック図である。図８に示すように画像処理部５０は、無線送信された無線信号からベースバンド信号に変換された画像データに対してホワイトバランス調整を行うホワイトバランス調整部５１と、ホワイトバランス調整された画像データに対して画素間の色バランス補正を行う同時化処理部５２と、同時化処理された画像データ（ＲＧＢ三原色の色空間データであるＲＧＢデータ）を、色相、輝度、彩度の色空間データであるＨＬＳデータに変換するＲＧＢ／ＨＬＳ変換部５３と、補正テーブル５８を有する記憶部５４と、補正テーブル５８を用いてＨＬＳデータの色むら補正を行う色むら補正部５５と、色むら補正されたＨＬＳデータをＲＧＢデータに逆変換するＨＬＳ／ＲＧＢ変換部５６と、逆変換されたＲＧＢデータである画像データに対してγ処理や構造強調処理などの後処理を必要に応じて行って出力する後処理部５７とを有する。

補正テーブル５８は、取得された１フレームの画像データのｘｙ画素位置毎に、輝度値Ｌ、色相値Ｈ、彩度Ｓの全組み合わせ画像データを補正する補正データ（輝度値Ｌrev、色相値Ｈrev、彩度値Ｓrev）が対応づけて保持している。図８では、各ｘｙ画素位置には、輝度値Ｌ、色相値Ｈ、彩度値Ｓの全組み合わせ画像データ、すなわち２５６個の輝度値Ｌ、２５６個の色相値Ｈ、２５６個の彩度値Ｓが組み合わせられた２５６×２５６×２５６個の画像データが保持され、２５６×２５６×２５６個の補正データが保持されている。したがって、画素位置が３２０個である場合、画像データと補正データとの対は、２５６×２５６×２５６×３２０個となる。入力されるＨＬＳデータ内の各ｘｙ画素位置の画素データのすべてに対して個々に補正されることになる。

図９は、色むら補正されていない画像データの一例を示している。図９では、ＬＥＤ１０ａ〜１０ｃの配置位置に対応した領域Ｅ１０ａ〜Ｅ１０ｃに色むらが発生しているとともに、ＬＥＤ１１ａ〜１１ｃの配置位置に対応した領域Ｅ１１ａ〜Ｅ１１ｃに色むらが発生している。このため、補正テーブル５８の補正データは、これらの色むらを各ｘｙ画素位置で個別に補正する値となっている。そして、この補正テーブル５８の補正データは、予め個別に求められている。たとえば、直線の軸６０上の画素に対する彩度値Ｓrevの補正量は、図１０に示すようになり、両端位置Ｐａ，Ｐｂ近傍が大きく補正されることになる。この彩度値Ｓrevの補正量は、輝度値Ｌ、色相値Ｈ、歳素値Ｓの各値によって調整される。この補正量が加味された値が彩度値Ｓrevとなる。同じ輝度値Ｌ、色相値Ｈ、歳素値Ｓの場合の輝度値Ｌrev、色相値Ｈrevも同様に決定される。この補正データは、最終的には、青色の画像データの各輝度値と緑色の画素データの各輝度値との比が一定となるように補正されることになる。したがって、この実施の形態１では、ＲＧＢ色空間をＨＬＳ空間に変換し、各領域の輝度値を補正するとともにこの輝度値変化に伴う色相および彩度も補正している。

補正データは予め求められるものであり、補正データ取得の前提としては、ほとんど図９と同じ画像が得られる被写体環境で用いられることである。たとえば、各ＬＥＤ１０，１１が円環状に配置されることから、補正データ取得時の補正用被写体面は、光学レンズ１３の光軸に対して垂直な平面、該光軸に対称な平面、該光軸に対称な曲面、あるいは該光学レンズの空間周波数特性をもとに設定されたものなどが考えられる。

なお、上述した実施の形態１では、ＲＧＢ色空間をＨＬＳ色空間に変換し、このＨＬＳ色空間上の画像データに対して色むら補正をするようにしていたが、最終的にＲＧＢ色空間に逆変換されるため、ＲＧＢ色空間内で直接色むら補正するようにしてもよい。この場合、ＲＧＢ／ＨＬＳ変換部５３およびＨＬＳ／ＲＧＢ変換部５６の構成が不要となり、しかも変換処理時間も無くすことができる。

また、上述した実施の形態１では、ＨＬＳ色空間内において全ての色要素、すなわち輝度、色相、彩度の全てを補正するようにしていたが、これに限らず、１以上の要素、たとえば色相のみ、あるいは彩度のみを補正するようにしてもよい。これによっても、色むら補正の効果を得ることができる。

この実施の形態１では、異なる波長域の発光素子が異なる位置に配置されたことによって得られる分光画像の色むら補正を行うことができる。

なお、上述した実施の形態１では、画像処理部の色むら補正部５５、補正テーブル５８、ＲＧＢ／ＨＬＳ変換部５３、ＨＬＳ／ＲＧＢ変換部５６を受信装置３側に持たせるようにしているが、これに限らず、たとえば画像表示装置４側に持たせるようにしてもよい。

（実施の形態２）
つぎに、この発明の実施の形態２について説明する。発光素子の照射光が鏡面のように正反射する場合、この正反射領域では、輝度が飽和し、高輝度領域となる。ここで、青色波長域および緑色波長域の異なる波長域をもつ発光素子が異なる位置に配置された場合、取得される画像の領域によっては、図１１に示すように、青色信号レベルと緑色信号レベルの双方が飽和する高輝度領域Ｅ２０と、この高輝度領域の周辺に分布し、青色信号レベルあるいは緑色信号レベルのいずれか一方のみが飽和している偽色領域Ｅ２１とが存在する。図１１では、偽色領域Ｅ２１において青色信号レベルのみが飽和した状態となっている。

そこで、この実施の形態２では、色むら補正部５５が、まず輝度値Ｌが閾値ＴＨを超えた領域があるいか否かを判定し、閾値ＴＨを超える領域がある場合、高輝度領域の候補にし、この候補領域の周辺の色相値Ｈなどの色情報をもとに、青色信号と緑色信号とのいずれか一方が飽和していない領域をさらに検出し、この領域を偽色領域Ｅ２１と判定するとともに、高輝度領域の候補の残りの領域を高輝度領域Ｅ２０として判定する。

ここで、実施の形態１のように、複数の異なる波長域の発光素子が異なる複数位置に配置される場合、偽色領域Ｅ２１の色も複数存在することになる。したがって、色むら補正部５５は、他の被写体画像領域Ｅ２２と区別しやすくするため、色の違う偽色領域Ｅ２１を同じ色、輝度に変換する。同様に、色むら補正部５５は、高輝度領域Ｅ２０も、他の被写体画像領域と区別しやすくするため、共通する色と輝度とに変換する。この場合、色むら補正部５５は、実施の形態１で示した補正テーブル５８に基づいた色むら補正は行わない。

これによって、高輝度領域Ｅ２０および偽色領域Ｅ２１と、他の被写体画像領域Ｅ２２とを区別しやすい画像が生成されることになる。なお、色むら補正部５５が高輝度領域Ｅ２０および偽色領域Ｅ２１を色と輝度とを変換するとしたが、これには黒色表示も含まれ、さらにこれに限らず、たとえば、領域の点滅表示などを行わせるようにしてもよい。

（実施の形態３）
つぎに、この発明の実施の形態３について説明する。この実施の形態３では、異なる位置に配置された青色波長域および緑色波長域の発光素子の配光特性、すなわち発光の指向特性を変化させて配置し、予め可能な限り色むらを発生しないようにしている。

図３に示したように各ＬＥＤ１０，１１を円環状に配置した場合、図９に示したように複数領域に色むらのある画像となるが、この画像は、外側領域に色むらが発生している。これは、各ＬＥＤが無指向性の発光を行っているからであり、径外方向への発光レベルが小さいからである。このため、図１２に示すように、径外方向に対する発光が大きくなる発光指向性８０を持たせるＬＥＤ配置とすることによって、取得される画像の輝度分布が平坦になり、色むらの大きさを予め小さくしておくことができる。なお、周方向の発光指向性は、同じようにしておくことが好ましい。周方向の色むら分布を解消するためには、周方向のＬＥＤ配置を密にする分散配置を行う必要がある。この場合、ＬＥＤは、長手方向の一端側にアノードがあり、他端側にカソードがあり、アノード側の発光指向性が大きいことから、このアノード側を径外方向に向けて配置するのみで、上述した配光特性を実現することができる。

この実施の形態３では、取得される画像の色むらを軽減できるように各発光素子の配光特性を変化させて配置するようにしているので、色むら補正対象の画像自体の色むらを予め低減しておくことができる。特に発光素子としてＬＥＤを用いる場合に、簡易に色むらを低減することができる。

なお、序規格実施の形態のさらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１被検体
２カプセル型内視鏡
３受信装置
３ａ〜３ｈ受信アンテナ
４画像表示装置
１０，１１ＬＥＤ
１２透明カバー
１３光学レンズ
１４撮像素子
１５，１６画素
２０ドーム型透明カバー
２１カプセル型筐体
２３基板
４０粘膜表層
４１粘膜深部
４２内部組織
４３毛細血管
４４血管
５０画像処理部
５１ホワイトバランス調整部
５２同時化処理部
５３ＲＧＢ／ＨＬＳ変換部
５４記憶部
５５色むら補正部
５６ＨＬＳ／ＲＧＢ変換部
５７後処理部
５８補正テーブル
８０発光指向性
Ｅ２０高輝度領域
Ｅ２１偽色領域

Claims

第１の周波数特性を有する複数の第１の光源と、
前記第１の周波数特性とは異なる第２の周波数特性を有し、前記第１の光源とは異なる位置に配置される複数の第２の光源と、
前記複数の第１の光源および前記複数の第２の光源から照射された被写体からの反射光を受光して対象物の画像を生成する撮像部と、
予め前記撮像部が撮像した前記複数の第１の光源による第１画像と前記複数の第２の光源による第２画像とをもとに前記第１画像および前記第２画像の各領域の輝度比を一定とする補正データを用いて前記撮像部が撮像する前記画像の色むら補正を行う画像補正部と、
を備え、
前記画像補正部は、前記第１画像および前記第２画像の各領域で所定値以上の輝度値を有する高輝度領域と、前記第１画像および前記第２画像の各領域でいずれか一方の画像の輝度値が前記所定値以上で他方の画像の輝度値が前記所定値未満である偽色領域とを検出し、高輝度領域が検出された場合には、前記色むら補正に替えて、前記高輝度領域を高輝度領域を示す色要素データあるいは表示態様に変更し、偽色領域が検出された場合には、前記色むら補正に替えて、前記偽色領域を偽色領域を示す色要素データあるいは表示態様に変更することを特徴とする撮像装置。