JP5214538B2 - 画像取得装置、画像合成方法、及び顕微鏡システム - Google Patents

Description

本発明は、画像処理技術に関し、特に、複数枚の撮像画像から高品位の画像を得る技術に関する。

現在の撮像装置には、ＣＣＤ（Charge Coupled Device ：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor ：相補性金属酸化膜半導体）などを用いた撮像素子を備えて構成されているものが一般的である。このような撮像素子は、写真フィルムや人間の視覚に比べ、明暗のダイナミックレンジが狭い。このため、明暗の差が大きいシーンでのカメラ撮影（逆光撮影や屋内外同時撮影など）や、顕微鏡の計測に関する工業用標本（ＩＣチップや電子基板など）の観察のための撮像において、問題が生じる場合がある。

例えば、露光時間を被写体の暗部に対して適切な値に調整して当該被写体の観察像を撮像すると、撮像画像における被写体の明部が「白飛び」を起こすことがある。また、この逆に、露光時間を被写体の明部に対して適切な値に調整して当該被写体の観察像を撮像すると、今度は撮像画像における被写体の暗部が「黒つぶれ」を起こすことがある。なお、「白飛び」は、「ハレーション」、「白つぶれ」、「露出過多」、「ｏｖｅｒ−ｅｘｐｏｓｕｒｅ」などとも呼ばれており、「黒つぶれ」は、「露出不足」、「ｕｎｄｅｒ−ｅｘｐｏｓｕｒｅ」などとも呼ばれている。

このような問題に関し、幾つかの技術が提案されている。

例えば特許文献１には、撮像時間を可変に制御できる撮像装置が提案されている。この撮像装置は、長時間露光撮像と短時間露光撮像とを交互に行い、撮像時間の異なる２枚の画像を合成してワイドダイナミックレンジの画像（明暗のダイナミックレンジが広い画像）を得るというものである。

また、例えば特許文献２には、ワイドダイナミックレンジ画像の生成に用いる複数枚の画像の撮像に起因するフレームレートの低下を防ぐために、ワイドダイナミックレンジ画像を、画像取り込みと同一のフレームレートで生成可能にする技術が提案されている。この技術では、長時間露光撮像と短時間露光撮像とを交互に行い、長時間露光撮像画像とその直前又は直後の短時間露光撮像画像との合成アルゴリズムと、短時間露光撮像画像とその直前又は直後の長時間露光撮像画像との合成アルゴリズムとを交互に実行する。この技術は、このようにして、実質的に、１フレームの撮像画像から１フレームのワイドダイナミックレンジ画像を生成するというものである。

特開平６−１４１２２９号公報 特開２００３−４６８５７号公報

上述した技術では、撮像素子の受光面の全領域に亘って観察像の撮像を行い、その全領域で撮像された画像を合成してワイドダイナミックレンジ画像を得るようにしている。このため、長時間露光撮像時及び短時間露光撮像時の両方の全領域画像の取得に要する時間によって、ワイドダイナミックレンジの画像の生成フレームレートが制限される。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、複数枚の画像を合成してワイドダイナミックレンジの画像を生成するときの生成フレームレートを向上させることである。

本発明の態様のひとつである画像取得装置は、受光面に結像した観察像を撮像する撮像素子と、第一の露光条件の下で該撮像素子を制御して、該受光面の全体に亘る該観察像の画像である全領域画像を該撮像素子に撮像させる全領域画像撮像制御手段と、該第一の露光条件とは異なる第二の露光条件の下で該撮像素子を制御して、該受光面の一部の領域のみについての該観察像の画像である部分領域画像を該撮像素子に撮像させる部分領域画像撮像制御手段と、該全領域画像と該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである全領域画像を得る合成手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。

なお、上述した画像取得装置において、該合成手段は、該全領域画像を構成する画素のうちで輝度値が所定の閾値を超える画素の集合からなる被置換領域を該全領域画像から検出する第一検出手段と、該被置換領域に対応していると推測される置換領域を該部分領域画像から検出する第二検出手段と、該全領域画像における該被置換領域内の画像を該部分領域画像における該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該置換領域内の画像とを貼り合わせる画像貼り合わせ手段と、を有するように構成することができる。

なお、このとき、該合成手段は、該部分領域画像における該置換領域の画像の形状を変形して、該置換領域と該被置換領域との輪郭の形状を一致させる変形手段を更に有し、該画像貼り合わせ手段は、該全領域画像における該被置換領域内の画像を該部分領域画像における該変形手段による変形後の該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該変形手段による変形後の該置換領域内の画像とを貼り合わせる、ように構成することができる。

また、前述した画像取得装置において、該全領域画像撮像制御手段が該全領域画像を該撮像素子に撮像させるときには該撮像における露光条件を該第一の露光条件に設定し、該部分領域画像撮像制御手段が該部分領域画像を該撮像素子に撮像させるときには該撮像における露光条件を該第二の露光条件に設定する露光制御手段を更に有するように構成することもできる。

また、前述した画像取得装置において、該全領域画像を構成する画素のうちで所定の閾値以上の輝度値を有する画素を全て内包する興味領域を、該全領域画像に設定する興味領域設定手段を更に有し、該部分領域画像撮像制御手段は、該興味領域についての該部分領域画像を該撮像素子に撮像させる、ように構成することができる。

なお、このとき、該興味領域設定手段は、該所定の閾値以上の輝度値を有する各画素について、該画素の該全領域画像上での位置を示すＸＹ直交二次元座標を求め、得られた各画素についての座標のうち、Ｘ座標及びＹ座標それぞれの最大値及び最小値を求め、得られたＸ座標及びＹ座標それぞれの最大値及び最小値を頂点とする矩形を、該興味領域として該全領域画像に設定するように構成することができる。

また、前述した画像取得装置において、該部分領域画像撮像制御手段は、該部分領域画像を該撮像素子に複数枚撮像させ、該合成手段は、該全領域画像と複数枚の該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである一枚の全領域画像を得る、ように構成することができる。

また、本発明の別の態様のひとつである画像合成方法は、第一の露光条件の下で撮像素子により撮像された、該撮像素子の受光面に結像した観察像の画像であって、該撮像素子の受光面の全体に亘る該観察像の画像である全領域画像から、該全領域画像を構成する画素のうちで輝度値が所定の閾値を超える画素の集合からなる被置換領域を検出し、該第一の露光条件とは異なる第二の露光条件の下で該撮像素子により撮像された、該撮像素子の受光面に結像した観察像の画像であって、該撮像素子の受光面の一部の領域のみについての該観察像の画像である部分領域画像から、該被置換領域に対応していると推測される置換領域を検出し、該全領域画像における該被置換領域内の画像を該部分領域画像における該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該置換領域内の画像とを貼り合わせる画像処理を行う、ことを特徴とするものであり、この特徴によって前述した課題を解決する。

なお、上述した画像合成方法において、該部分領域画像における該置換領域の画像の形状を変形して、該置換領域と該被置換領域との輪郭の形状を一致させ、該画像処理では、該全領域画像における該被置換領域内の画像を該部分領域画像における該変形後の該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該変形後の該置換領域内の画像とを貼り合わせる画像処理を行う、ようにすることができる。

また、本発明の更なる別の態様のひとつである顕微鏡システムは、標本の顕微鏡像を得る顕微鏡と、該顕微鏡像の画像を取得する画像取得装置と、を有しており、該画像取得装置が、受光面に結像した観察像である該顕微鏡像を撮像する撮像素子と、第一の露光条件の下で該撮像素子を制御して、該受光面の全体に亘る該観察像の画像である全領域画像を該撮像素子に撮像させる全領域画像撮像制御手段と、該第一の露光条件とは異なる第二の露光条件の下で該撮像素子を制御して、該受光面の一部の領域のみについての該観察像の画像である部分領域画像を該撮像素子に撮像させる部分領域画像撮像制御手段と、該全領域画像と該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである全領域画像を得る合成手段と、を有する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。

本発明によれば、以上のようにすることにより、複数枚の画像を合成してワイドダイナミックレンジの画像を生成するときの生成フレームレートの向上を可能にするという効果を奏する。

本発明を実施する顕微鏡用撮像装置の構成の第一の例を示す図である。 図１の顕微鏡用撮像装置の実装例である顕微鏡システムを示す図である。 全画素読み出し動作を説明する図である。 部分読み出し動作を説明する図である。 撮像素子の駆動信号のタイミングチャートである。 全領域画像撮像制御処理の処理内容を示すフローチャートである。 撮像モード切替制御処理の処理内容を示すフローチャートである。 ワイドダイナミックレンジ画像撮像制御処理の第一の例の処理内容を示すフローチャートである。 ワイドダイナミックレンジ画像合成制御処理の処理内容を示すフローチャートである。 全領域画像の撮像用の表示画面例を示す図である。 ワイドダイナミックレンジ画像の取得用の表示画面例を示す図である。 ワイドダイナミックレンジ画像の合成を説明する図である。 本発明を実施する顕微鏡用撮像装置の構成の第二の例を示す図である。 閾値に基づいた興味領域の設定を説明する図（その１）である。 図１及び図８に示した顕微鏡用撮像装置の構成の変形例を示す図である。 ワイドダイナミックレンジ画像撮像制御処理の第二の例の処理内容を示すフローチャートである。 ワイドダイナミックレンジ画像の合成を説明する図（その２）である。

以下、本発明の実施の形態を図面に基づいて説明する。

まず図１について説明する。図１は、本発明を実施する画像取得装置である、顕微鏡用撮像装置の構成の第一の例を示している。

この顕微鏡用撮像装置（「本撮像装置」と称することとする）は、ワイドダイナミックレンジ画像の生成に用いる長時間露光画像と短時間露光画像とのうちの一方を、撮像素子の受光面の全領域で撮像された画像（以下「全領域画像」と称する）として撮像する。そして、その他方については、撮像素子の受光面の一部の領域での観察像の撮像により得られる画像（以下「部分領域画像」と称する）として撮像する。こうして得られた全領域画像と部分領域画像とを合成してワイドダイナミックレンジ画像の生成を行う。

図１に示すように、本撮像装置は、光学系１０、撮像部１１、記録部１２、画像出力部１３、条件設定部１８、合成部１９、入力部２０、及び表示部２１を備えている。ここで、条件設定部１８は、部分領域抽出部１４、露光制御部１５、撮像条件格納部１６、及び順序調整部１７を備えている。

光学系１０はレンズや光学フィルタ等の光学部品を備えており、被写体からの光を撮像部１１に入射させて観察像を結像させる。撮像部１１は、結像した観察像を撮像し、当該観察像の画像を表現しているデジタル画像信号を記録部１２に出力する。記録部１２はこの画像信号を記録する。

画像出力部１３は、記録部１２に記録された画像信号を読み出すと、当該画像信号で表現されている観察像の画像を表示して出力する。また、記録部１２に記録された画像信号は、条件設定部１８の部分領域抽出部１４及び露光制御部１５にも転送される。部分領域抽出部１４は、観察像の画像に対し、部分領域画像を撮像するための興味領域の決定を行う。露光制御部１５は、興味領域内の画像の輝度に基づき、画像の撮像における撮像条件（ここでは露光時間）の決定を行う。この興味領域及び露光時間の決定結果は撮像条件格納部１６へと送られて、部分領域画像の撮像条件として、そこに格納される。

順序調整部１７は、撮像条件格納部１６に記憶された撮像条件の順序を調整し、全領域画像と部分領域画像とを交互に撮像するように撮像部１１を制御する。また、順序調整部１７は合成部１９での画像合成のタイミングの制御も行う。

条件設定部１８は、本撮像装置のユーザにより入力部２０に対し入力されたパラメータを、部分領域抽出部１４、露光制御部１５、撮像条件格納部１６、及び順序調整部１７に反映すると共に、その反映の結果を表示部２１で表示して出力する。このパラメータには、興味領域や露光時間、撮像順序などに関するものがあるが、詳細は後述する。

撮像部１１によって撮像された全領域画像及び部分領域画像は、記録部１２に一旦記録され、その後、記録部１２から合成部１９へと転送される。

合成部１９は、全領域画像と部分領域画像とのパターンマッチングを行い、その後に合成処理を行う。画像出力部１３は、合成処理により生成された観察像のワイドダイナミックレンジ画像を表示して出力する。

図１に示した各構成要素のうちの撮像部１１、記録部１２、条件設定部１８、及び合成部１９について、更に説明する。

撮像部１１は、撮像素子１１１、ＡＦＥ（Analog Front End）１１２、及びＴＧ（Timing Generator）１１３を備えている。

撮像素子１１１はＣＣＤなどのイメージセンサであり、光学系１０が撮像素子１１１の有効な受光面に結像させた被写体の観察像を撮像し、その観察像を光電変換して電気信号を出力する。

ＡＦＥ１１２では、撮像素子１１１から出力された電気信号に対し、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理及び自動ゲイン調整（ＡＧＣ：Automatic Gain Control）処理を施した上でＡ／Ｄ変換（アナログ−デジタル）を行う。ＡＦＥ１１２は、このようにして得られる、当該観察像の画像を表現しているデジタル画像信号を記録部１２に出力する。なお、ここでは、当該デジタル画像信号のダイナミックレンジ（当該画像を構成している各画素の輝度値（画素値）のダイナミックレンジ）は、８ｂｉｔ（画素の輝度値の取り得る値は、「０」〜「２５５」の２５６値）であるとする。

ＴＧ１１３は、撮像素子１１１に駆動信号を与えると共に、ＡＦＥ１１２に同期信号を与える。図１の本撮像装置では、後述する、撮像素子１１１に対する全領域画像の読み出しと部分領域画像の読み出しとの制御とをＴＧ１１３が行う。

記録部１２はフレームメモリＡ１２１及びフレームメモリＢ１２２を備えており、ＡＦＥ１１２から出力されたデジタル画像信号を記録する。ここで、フレームメモリＡ１２１は、観察像の全領域画像についてのデジタル画像信号を記録し、フレームメモリＢ１２２は、観察像の部分領域画像についてのデジタル画像信号を記録する。なお、画像出力部１３は、フレームメモリＡ１２１に記録されたデジタル画像信号を読み出し、当該画像信号で表現されている観察像の全領域画像を表示して出力する。

なお、以下の説明では、フレームメモリＡ１２１に記録されているデジタル画像信号を単に「全領域画像」と表現し、フレームメモリＢ１２２に記録されているデジタル画像信号を単に「部分領域画像」と表現することもある。

条件設定部１８は、前述したように、部分領域抽出部１４、露光制御部１５、撮像条件格納部１６、及び順序調整部１７を備えている。

部分領域抽出部１４は、フレームメモリＡ１２１に記録された全領域画像に対し、部分領域画像を撮像するための興味領域の決定及び抽出を行う。

露光制御部１５は、ユーザが入力部２０に入力した露光時間の情報を受け取り、その情報と興味領域内の画像の輝度とに基づき、画像の撮像における露光時間の決定を行う。

撮像条件格納部１６は、部分領域抽出部１４により抽出された興味領域と、露光制御部１５で決定した興味領域撮像時の露光時間とを、部分領域画像の撮像時の撮像条件として格納し保持する。

順序調整部１７は、撮像条件格納部１６で保持されている撮像条件を読み出し、読み出した撮像条件を、所定の順序に従ってＴＧ１１３へ送る。より具体的には、順序調整部１７は、全領域画像の撮像条件（第一の露光条件）と部分領域画像の撮像条件（第二の露光条件）とを、交互にＴＧ１１３へ送る。ＴＧ１１３は、第一の露光条件を受け取ったときには、露光条件を当該第一の露光条件に設定した上で撮像素子１１１を制御して全領域画像を撮像させる。また、第一の露光条件とは異なる第二の露光条件を受け取ったときには、露光条件を当該第二の露光条件に設定した上で撮像素子１１１を制御して部分領域画像を撮像させる。

合成部１９は、検出部Ａ１９１、検出部Ｂ１９２、パターンマッチング部１９３、及び画像貼り合わせ部１９４を備えており、全領域画像と部分領域画像とを合成して当該全領域画像よりもワイドダイナミックレンジである全領域画像を得る。

検出部Ａ１９１（第一検出部）は、フレームメモリＡ１２１に記録されている全領域画像を読み出し、当該全領域画像を、閾値を超える領域Ｘと当該領域Ｘ以外の領域Ｘ−とに分離する。より具体的には、検出部Ａ１９１は、全領域画像を構成する画素のうちで輝度値が所定の閾値を超える画素の集合からなる領域Ｘ（被置換領域）を、当該全領域画像から検出し、そして、当該全領域画像を、領域Ｘと当該領域Ｘ以外の領域Ｘ−とに分離する。

検出部Ｂ１９２（第二検出部）は、フレームメモリＢ１２２に記録されている部分領域画像を読み出し、当該部分領域画像から、全領域画像における上記の領域Ｘに対応していると推測される領域Ｙ（置換領域）を検出する。より具体的には、検出部Ｂ１９２は、フレームメモリＢ１２２に記録された部分領域画像から、全領域画像で閾値を超えることが全領域画像と部分領域画像との露光時間比に基づき予測される領域Ｙを検出する。

パターンマッチング部１９３は、検出部Ａ１９１で抽出された領域Ｘと、検出部Ｂ１９２で抽出された領域Ｙとをパターンマッチングして、領域Ｚを生成する。より具体的には、パターンマッチング部１９３は、当該領域Ｙの形状を変形して、領域Ｙと当該領域Ｘとの輪郭の形状を一致させた領域Ｚを生成する。

画像貼り合わせ部１９４は、パターンマッチング部１９３のパターンマッチング結果をフィードバックし、領域Ｚ（すなわち、部分領域画像におけるパターンマッチング部１９３による変形後の領域Ｙ）と領域Ｘ−とを貼り合わせて合成画像を生成する。より具体的には、画像貼り合わせ部１９４は、全領域画像における領域Ｘの画像を領域Ｚの画像に置き換えて、全領域画像における領域Ｘ−の画像と、領域Ｚの画像とを貼り合わせる画像合成処理を行う。このようにして得られる合成画像が、当該合成前の全領域画像よりもワイドダイナミックレンジである全領域画像（以下、「ワイドダイナミックレンジ画像」と称する）となる。なお、画像出力部１３は、この合成画像を表示して出力する。

以上のように構成されている本撮像装置の実装例である顕微鏡システムを図２に示す。但し、本撮像装置の実装は、図２の例に限定されるものではない。

図２の実装例では、光学系１０（図２では不図示）を顕微鏡本体１に実装し、撮像部１１をカメラヘッド２に実装し、その他の構成要素をコンピュータ３に実装している。

顕微鏡本体１は、標本の顕微鏡像を得るものである。顕微鏡本体１により得られる顕微鏡像は、カメラヘッド２に実装した撮像部１１に備えられている撮像素子１１１の受光面に、観察像として結像する。

コンピュータ３では、より具体的には、記録部１２をＲＡＭ（Random Access Memory）であるメモリ装置４で実装し、画像出力部１３及び表示部２１をディスプレイ装置５で実装し、入力部２０を、キーボード装置やマウス装置などの入力装置６で実装する。

また、部分領域抽出部１４、露光制御部１５、撮像条件格納部１６、及び順序調整部１７を備える条件設定部１８（図２では不図示）と合成部１９とは、ＣＰＵ（Central Processing Unit ）７で実装する。なお、ＣＰＵ７による部分領域抽出部１４、露光制御部１５、撮像条件格納部１６、順序調整部１７、及び合成部１９の各々の機能の提供は、不図示の記憶装置に予め記憶させておいた所定の制御プログラムをＣＰＵ７に読み出させて実行させると可能になる。

なお、図２において、メモリ装置４、ディスプレイ装置５、入力装置６、及びＣＰＵ７は、不図示のバス及びインタフェース回路を介して接続されており、ＣＰＵ７の管理の下で相互にデータの授受が可能である。また、ＣＰＵ７は、メモリ装置４、ディスプレイ装置５、及び入力装置６の動作管理も行う。

次に、ＴＧ１１３による撮像素子１１１を制御することで行われる、全領域画像と部分領域画像の撮像について説明する。

まず全領域画像の撮像時に行われる全画素読み出し動作について、図３Ａを参照しながら説明する。

全領域画像の撮像では、撮像素子１１１の垂直同期信号（ＶＤ）の周期を、その水平同期信号の周期（Ｈ）に対して、撮像素子１１１の受光面における垂直方向の受光画素数（Ｈｅ）倍以上とする必要がある。ＶＤをこのように設定して行う、撮像素子１１１の受光面全体を有効画素領域としたときの各受光画素での発生電荷の読み出し動作が、全画素読み出し動作である。

例えば、有効画素数が１３６０×１０２４（約１４０万画素）のＣＣＤでは、ＣＣＤの水平走査線数が１０２４本あるので、ＶＤ信号を１０２４Ｈ（Ｈは水平同期信号の周期）以上の周期とする必要がある。

次に、部分領域画像の撮像時に行われる部分読み出し動作について、図３Ｂを参照しながら説明する。

部分読み出し動作では、全画素読み出し動作に対し、ＶＤの周期を、Ｈに対し、Ｈｅよりも少ない数の倍数とする。ＶＤをこのように設定して行う、撮像素子１１１の受光面における一部の領域を有効画素領域としたときの各受光画素での発生電荷の読み出し動作が、部分読み出し動作である。この部分読み出し動作は、全画素読み出し動作に比べて、発生電荷の読み出しを行う受光画素を含む領域が狭くなる分、ＶＤの周期が短くなるため、その読み出しを高速化できる。

なお、ＣＣＤに対する部分読み出し動作については、例えば、パーシャルスキャンや高速電荷掃き出し等、幾つかの技術が既に知られている。例えば、有効画素数が１３６０×１０２４（約１４０万画素）のＣＣＤにおいて、部分読み出し動作により読み出す部分領域画像の水平走査線数を４２４本とし、残りの６００本の水平走査線数を高速掃き出しによって１０本毎に転送することを想定する。この場合には、ＶＤの周期は、｛４２４＋（６００／１０）｝Ｈ＝４８４Ｈとすることになる。

ここで図４について説明する。図４は、ＴＧ１１３により生成される、撮像素子１１１の駆動信号のタイミングチャートである。

図４において、「ＶＤ」は垂直同期信号であり「ＨＤ」は水平同期信号を示している。また、「ＳＧ」は各受光画素から転送ラインへ電荷を移送するための移送パルス信号、「ＳＵＢ」は転送ラインから基板へ電荷を排出させる電子シャッタパルス信号、「Ｖ」は垂直転送路を駆動させる垂直転送クロック信号をそれぞれ示している。また、「ＲｅａｄＯｕｔ」は、撮像部１１によって撮像された画像データが記録部１２へ転送される期間をしている。ここで、「ＡＬＬ」は全領域画像の転送期間であり、「ＲＯＩ」は部分領域画像の転送期間である。

図４において、ＳＧ及びＳＵＢはＶＤから生成される。ここで、連続して発生させるＳＵＢが一旦中断してから次のＳＧ信号が発生するまでの期間が光電変換された電荷の蓄積時間であり、これがすなわち実質的な露光時間となる。ここで、図４における時間「Ｔ１」は全領域画像についての露光時間であり、時間「Ｔ２」は部分領域画像についての露光時間である。ＴＧ１１３は、この時間「Ｔ１」及び「Ｔ２」の時間を適宜制御しつつ交互に設定して、撮像素子１１１に全領域画像と部分領域画像とを交互に撮像させる。

更に、ＴＧ１１３は、部分領域画像の転送期間「ＲＯＩ」において、有効画素領域以外の領域の画素に対し、垂直転送クロック信号「Ｖ」を短周期で多数発生させて高速掃き出し動作を撮像素子１１１に行わせる。こうすることで、部分領域画像の記録部１２への転送時間が短縮される。

次に、本撮像装置の動作について、各図面を参照しながら説明する。

図５Ａ〜図５Ｄ、図６Ａ及び図６Ｂ、並びに図７の各図について説明する。

図５Ａは、全領域画像撮像制御処理の処理内容を示すフローチャートであり、図５Ｂは、撮像モード切替制御処理の処理内容を示すフローチャートである。また、図５Ｃは、ワイドダイナミックレンジ画像撮像制御処理の第一の例の処理内容を示すフローチャートであり、図５Ｄは、ワイドダイナミックレンジ画像合成制御処理の処理内容を示すフローチャートである。なお、図２の実装例では、これらの制御処理はＣＰＵ７により行われる。ＣＰＵ７は、図２では不図示の記憶装置に予め記憶させておいた所定の制御プログラムを読み出して実行することにより、これらの制御処理を行えるようになる。

図６Ａ及び図６Ｂは、図２のディスプレイ装置５での表示画面例であり、画像出力部１３による表示画面例である。ここで、図６Ａは全領域画像の撮像用の表示画面例であり、図６Ｂはワイドダイナミックレンジ画像の取得用の表示画面例である。

図７は、ワイドダイナミックレンジ画像の合成を説明する図である。

まず、図５Ａの全領域画像撮像制御処理について説明する。

なお、この図５Ａの処理の開始時において、撮像条件格納部１６には、全領域画像の最初の撮像時における撮像条件（本実施形態においては露光時間）の初期値を予め格納して保持させておく。

図５Ａにおいて、まず、Ｓ２１では全領域画像撮像処理が行われる。この処理では、撮像部１１を制御して全領域画像のみの撮像を行わせる処理が順序調整部１７により行われる。撮像部１１は、この処理による制御に従い、光学系１０によって受光面に結像している被写体の観察像を、撮像条件格納部１６で保持されている撮像条件の下で撮像し、得られた全領域画像Ｉｔを出力する。

次に、Ｓ２２では画像信号記録処理が行われる。この処理では、撮像部１１から出力された全領域画像Ｉｔを記録部１２のフレームメモリＡ１２１が記録する処理が行われる。

次に、Ｓ２３では撮像画像表示処理が行われる。この処理では、記録部１２のフレームメモリＡ１２１に記録されている全領域画像Ｉｔを読み出し、読み出した全領域画像Ｉｔを、図６Ａに例示したような画面で、画像出力部１３で表示して出力する処理が行われる。

このとき、ユーザは、表示された全領域画像Ｉｔを観察して、全領域画像Ｉｔに露光補正が必要か否かを判断する。ここで、補正が必要と判断したときには、ユーザは、補正後の撮像条件（本実施形態においては露光時間）を入力部２０に入力して露光補正の実施を本撮像装置に指示する。

図６Ａの画面例には、Ｓ２３の処理によって全領域画像Ｉｔが表示されている。また、この画面例には、表示中の全領域画像Ｉｔの撮像時の露光時間が「４０」ミリ秒であることが表示されている。

ユーザは、この画面における全領域画像Ｉｔの表示を観察して露光補正が必要か否かを判断する。ここで、全領域画像に「白飛び」や「黒つぶれ」が見られ、補正が必要と判断したときには、表示中の全領域画像Ｉｔと露光時間の値とに基づき、より適切と思われる露光時間の値を、補正後の露光条件として入力部２０に入力する。この入力が、本撮像装置への露光補正の実施の指示となる。

なお、露光補正が不要と判断したときには、ユーザは、補正不要の指示を入力部２０に入力する。

図５Ａの説明に戻る。

Ｓ２４では、入力部２０への入力内容が、露光補正を行うものであったか否かを判定する処理が露光制御部１５により行われる。ここで、当該入力内容が露光補正を行う指示を示していたとき（判定結果がＹｅｓのとき）にはＳ２６に処理を進め、当該入力内容が露光補正の不要の指示を示していたとき（判定結果がＮｏのとき）にはＳ２５に処理を進める。

次に、Ｓ２５では、ユーザからの撮像終了の指示の入力を入力部２０が受け取ったか否かを判定する処理が順序調整部１７により行われる。ここで、撮影終了の指示の入力を入力部２０が受け取ったと判定したとき（判定結果がＹｅｓのとき）には、この図５Ａの処理を終了する。一方、撮像終了の指示の入力を入力部２０が受け取っていないと判定したとき（判定結果がＮｏのとき）には、Ｓ２１へと処理を戻し、全領域画像の撮像処理が再度行われる。

以降、撮像終了の指示が入力部２０へ入力されるまで、Ｓ２５の判定結果が常にＮｏとなるので、Ｓ２１からＳ２３の処理が繰り返し実行されて、被写体の全領域画像の動画像が画像出力部１３で表示して出力される。以下、この画像出力部１３での動画像の表示出力を「ライブ観察」と称することとする。

一方、Ｓ２４の判定処理の結果がＹｅｓのときには、Ｓ２６において露光補正処理が行われる。この処理では、入力された露光時間の値を撮像部１１に与えて、以降の全領域画像Ｉｔの撮像時における撮像条件を変更させる処理が露光制御部１５により行われる。

次に、Ｓ２７では、露光条件格納処理が行われる。この処理では、ユーザが入力部２０に入力した、補正後の露光時間の値を、補正後の撮像条件として撮像条件格納部１６に格納して更新し、保持させる処理が、露光制御部１５に行われる。そして、このＳ２７の処理を終えたときには、Ｓ２１へと処理を戻し、全領域画像の撮像処理が再度行われる。

以上までの処理が、図５Ａの全領域画像撮像制御処理である。

次に、図５Ｂの撮像モード切替制御処理について説明する。

まず、ユーザは、前述した全領域画像撮像制御処理の実行によって取得された全領域画像を観察する。このとき、全領域画像に「白飛び」も「黒つぶれ」も見られないのであれば、ワイドダイナミックレンジ画像の生成は不要である。これに対し、前述した露光補正をどのように行っても、全領域画像に「白飛び」若しくは「黒つぶれ」が生じてしまうのであれば、ワイドダイナミックレンジ画像の生成を行う必要がある。

ユーザは、このようにして、ワイドダイナミックレンジ画像の生成の要否を、全領域画像の観察に基づき判断し、その判断結果を入力部２０に入力する。図６Ａの画面を利用してこの入力を行うのであれば、入力部２０のマウス装置等をユーザが操作してこの画面に含まれている「撮影モード」欄におけるラジオボタン表示の選択指示を与えればよい。即ち、ワイドダイナミックレンジ画像の生成を不要と判断したときには、「全領域画像撮像モード」のラジオボタンを選択する操作を行い、当該画像の生成を必要と判断したときには、「ＷＤＲ合成画像撮像モード」のラジオボタンを選択する操作を行えばよい。

なお、以下の説明では、ワイドダイナミックレンジを「ＷＤＲ」と略して表記することとする。

図５Ｂにおいて、まず、Ｓ１１では、入力部２０への入力内容が、ＷＤＲ合成画像の生成を指示するものであったか否かを判定する処理が順序調整部１７により行われる。ここで、当該入力内容がＷＤＲ合成画像の生成を指示していたとき（判定結果がＹｅｓのとき）にはＳ１２のＷＤＲ合成画像撮像制御処理（図５Ｃ）を実行し、その後は、この撮像モード切替制御処理を終了する。一方、当該入力内容がＷＤＲ合成画像の生成不要を指示していたとき（判定結果がＮｏのとき）には、Ｓ１３の処理として、前述した全領域画像撮像制御処理（図５Ａ）を実行し、その後は、この撮像モード切替制御処理を終了する。

以上までの処理が、図５Ｂの撮像モード切替制御処理である。

次に、図５ＣのＷＤＲ合成画像撮像制御処理について説明する。

まず、Ｓ３０において、前述した全領域画像撮像制御処理（図５Ａ）が実行される。この結果、記録部１２のフレームメモリＡ１２１では全領域画像Ｉｔが保持されている状態となる。但し、Ｓ２３の撮像画像表示処理では、図６Ｂに例示するような、ＷＤＲ画像の取得用の表示画面を画像出力部１３で表示して全領域画像を出力する処理が行われる。

次に、Ｓ３１において、興味領域設定処理が行われる。この処理では、部分領域画像を撮像するための興味領域Ｒｂのユーザによる設定を、入力部２０を介して部分領域抽出部１４により取得する処理が行われる。そして、続くＳ３２において、興味領域の設定が終了したか否かを判定する処理が部分領域抽出部１４により行われる。

図６Ｂの画面例では、入力部２０のマウス装置等をユーザが操作して、全領域画像Ｉｔ内に矩形の興味領域Ｒｂの設定を行っている様子を示している。この矩形の表示は、ユーザによる入力部２０の操作に応じて位置及び形状が変化する。その後、興味領域Ｒｂの設定終了を示す指示をユーザが入力部２０に与えると、部分領域抽出部１４は、当該指示時点における興味領域Ｒｂの形状情報、及び、全領域画像Ｉｔ内における興味領域Ｒｂの位置情報を、興味領域Ｒｂのパラメータとして取得する。

なお、興味領域Ｒｂの形状は矩形に限定されるものではなく、任意でよい。

図５ＣのＳ３２の判定処理において、興味領域の設定の終了指示を取得したと判定したとき（判定結果がＹｅｓのとき）にはＳ３３に処理を進める。一方、当該終了指示を取得していないと判定したとき（判定結果がＮｏのとき）にはＳ３２へ処理を戻して興味領域設定処理の実行を継続する。

次に、Ｓ３３では、露光時間設定処理が行われる。この処理では、興味領域Ｒｂの部分領域画像の撮像における露光時間Ｔ２を設定する処理が露光制御部１５により行われる。

本実施形態において、露光制御部１５は、部分領域画像の撮像における露光時間Ｔ２の設定を、下記の式の値を算出して行う。

Ｔ２＝Ｔ１／Ｋ

この式において、Ｔ１は、全領域画像Ｉｔの撮像時の露光時間であり、Ｓ３０の全領域画像撮像制御処理の実行によって、記録部１２のフレームメモリＡ１２１で保持されている。また、Ｋは、全領域画像Ｉｔと部分領域画像との撮像時間比であり、本実施形態においては予め定められている定数である。なお、この撮像時間比Ｋの値をユーザが任意に設定できるように構成することも可能である。

図６Ｂの画面例では、表示中の全領域画像Ｉｔの撮像時の露光時間Ｔ１が４０ミリ秒であり、撮像時間比Ｋが「４」とされている。このとき、部分領域画像の撮像における露光時間Ｔ２の値は、４０／４＝１０、すなわち１０ミリ秒と設定される。

次に、Ｓ３４では、この露光時間の設定が終了したか否かを判定する処理が露光制御部１５により行われる。ここで、露光時間の設定が終了したと判定したとき（判定結果がＹｅｓのとき）にはＳ３５に処理を進める。一方、当該設定が終了していないと判定したとき（判定結果がＮｏのとき）にはＳ３３へ処理を戻して露光時間設定処理の実行を継続する。

次に、Ｓ３５では閾値設定処理が行われる。この処理では、全領域画像Ｉｔにおける興味領域Ｒｂ内のうちのどの画素の集合を、部分領域画像から得られるものと置き換えるかを決定するための閾値の設定を取得する処理が合成部１９により行われる。なお、本実施形態では、この閾値として、画素の輝度値を設定する。

図６Ｂの画面例では、入力部２０のキーボード装置等をユーザが操作して、この輝度値の閾値を「２５０〜２５５」と設定した状態を表しており、これは、興味領域Ｒｂ内で白飛びしている画素のみを置き換えることをユーザが意図している場合である。合成部１９は、閾値設定処理の実行により、この設定値を閾値として取得する。

次に、Ｓ３６では、この輝度値閾値の設定が終了したか否かを判定する処理が合成部１９により行われる。ここで、輝度値閾値の設定が終了したと判定したとき（判定結果がＹｅｓのとき）にはＳ３７に処理を進める。一方、当該設定が終了していないと判定したとき（判定結果がＮｏのとき）にはＳ３５へ処理を戻して閾値設定処理の実行を継続する。

次に、Ｓ３７では、撮像条件格納処理が行われる。この処理では、Ｓ３１の処理により部分領域抽出部１４が取得した興味領域Ｒｂのパラメータと、Ｓ３３の処理により露光制御部１５が設定した露光時間Ｔ２とを、部分領域画像の撮像条件として撮像条件格納部１６に格納して保持させる処理が行われる。

次に、Ｓ３８では、ＷＤＲ画像合成制御処理（図５Ｄ）が行われる。この処理の詳細は後述するが、この処理を実行することで、ＷＤＲ画像が画像出力部１３で表示出力される。

ここで、ユーザは、ＷＤＲ画像の表示を観察し、撮像条件（興味領域Ｒｂの前述したパラメータ及び露光時間Ｔ２）の設定変更が必要か否かを判断する。ここで、例えばＷＤＲ画像に「白飛び」や「黒つぶれ」が見られ、撮像条件の設定変更が必要と判断したときには、変更後の撮像条件の設定についての指示を入力部２０に入力する。

Ｓ３９では、撮像条件の設定変更に関する指示が入力部２０に入力されたか否かを判定する処理が順序調整部１７により行われる。ここで、撮像条件の設定変更に関する指示が入力されたと判定したとき（判定結果がＹｅｓのとき）にはＳ３１に処理を戻して上述した処理を再度実行する。一方、ここで、撮像条件の設定変更に関する指示が入力されていないと判定したとき（判定結果がＮｏのとき）にはＳ４０に処理を進める。

次に、Ｓ４０では、ユーザからの撮像終了の指示の入力を入力部２０が受け取ったか否かを判定する処理が順序調整部１７により行われる。ここで、撮像終了の指示の入力を入力部２０が受け取ったと判定したとき（判定結果がＹｅｓのとき）には、この図５Ｃの処理を終了する。一方、撮像終了の指示の入力を入力部２０が受け取っていないと判定したとき（判定結果がＮｏのとき）には、Ｓ３８へと処理を戻し、ＷＤＲ画像合成制御処理が再度行われる。

以降、撮影終了の指示が入力部２０へ入力されるまで、Ｓ４０の判定結果が常にＮｏとなるので、Ｓ３８のＷＤＲ画像合成制御処理が繰り返し実行されて、被写体のＷＤＲ画像についてのライブ観察が行われる。

以上までの処理が、図５ＣのＷＤＲ合成画像撮像制御処理である。

次に、図５ＣのＳ３８の処理である、図５ＤのＷＤＲ画像合成制御処理について説明する。

なお、この処理の開始時において、撮像条件格納部１６には、Ｓ３０の処理で格納した全領域画像の撮像条件ＪＴ（全領域画像Ｉｔのパラメータ及び露光時間Ｔ１）と、Ｓ３７の処理で格納した部分領域画像の撮像条件ＪＢ（興味領域Ｒｂのパラメータ及び露光時間Ｔ２）とが保持されている。

まず、Ｓ４１では、全領域画像撮像処理が行われる。この処理では、撮像部１１を制御して全領域画像の撮像を行わせる処理が順序調整部１７により行われる。撮像部１１は、この処理による制御に従い、光学系１０によって受光面に結像している被写体の観察像を、撮像条件格納部１６で保持されている撮像条件ＪＴの下で撮像し、得られた全領域画像Ｉｔを出力する。出力された全領域画像Ｉｔは、記録部１２のフレームメモリＡ１２１に格納される。

次に、Ｓ４２では、部分領域画像撮像処理が行われる。この処理では、撮像部１１を制御して部分領域画像の撮像を行わせる処理が順序調整部１７により行われる。撮像部１１は、この処理による制御に従い、光学系１０によって受光面に結像している被写体の観察像の一部を、撮像条件格納部１６で保持されている撮像条件ＪＢの下で撮像し、得られた部分領域画像Ｉｂを出力する。出力された部分領域画像Ｉｂは、記録部１２のフレームメモリＢ１２２に格納される。

次に、Ｓ４３では画像合成処理が合成部１９により行われ、続くＳ４４では、画像合成処理により生成されたＷＤＲ画像を、図６Ｂに例示したような画面で、画像出力部１３で表示して出力する画像出力処理が行われ、その後は、この図５Ｄの処理を終了する。

ここで、合成部１９が行うＳ４３の画像合成処理について、図７を参照しながら説明する。

この画像合成処理では、まず、検出部Ａ１９１（第一検出部）が、フレームメモリＡ１２１に記録されている全領域画像Ｉｔを読み出す。続いて、この全領域画像Ｉｔを構成する画素のうちで輝度値が所定の閾値（図６Ｂの画面例では「２５０〜２５５」）を超える画素を全領域画像Ｉｔにおける興味領域Ｒｂから検出する。そして、検出された画素の集合からなる領域Ｘ（被置換領域）を、全領域画像Ｉｔにおける興味領域Ｒｂから抽出し、全領域画像Ｉｔを、領域Ｘと当該領域Ｘ以外の領域Ｘ−とに分離する。図６Ｂの画面例によれば、こうして得られる領域Ｘ−は、全領域画像Ｉｔにおける興味領域Ｒｂ以外の領域と、興味領域Ｒｂのうち２５０未満の輝度値の画素の領域とからなる領域となる。

次に、検出部Ｂ１９２（第二検出部）が、まず、フレームメモリＢ１２２に記録されている部分領域画像Ｉｂを読み出す。続いて、露光制御部１５で露光時間Ｔ２の設定に用いた撮像時間比Ｋの値を使用し、前述した輝度値の閾値の下限値を撮像時間比Ｋで除算する。そして、この除算で得られた値以上の輝度値である画素を部分領域画像Ｉｂから検出し、検出された画素の集合からなる領域Ｙを部分領域画像Ｉｂから抽出する。

例えば、図６Ｂの画面例では、輝度値の閾値が「２５０〜２５５」と設定されているので、その下限値は２５０である。また、撮像時間比Ｋは「４」とされている。よって、この場合において、前述した輝度値の閾値の下限値を撮像時間比Ｋで除算した値は、２５０／４＝６２．５である。従って、この場合には、検出部Ｂ１９２は、輝度値が６３以上である画素を部分領域画像Ｉｂから検出し、検出された画素の集合からなる領域Ｙを部分領域画像Ｉｂから抽出する。検出部Ｂ１９２は、このようにして、領域Ｘ（被置換領域）に対応していると推測される領域Ｙ（被置換領域）を、部分領域画像Ｉｂから検出する。

図７における「（ａ）撮像画像」では、以上のようにして領域Ｘ及びＸ−を全領域画像Ｉｔから取得し、領域Ｙを部分領域画像Ｉｂから取得する様子を表している。

次に、画像貼り合わせ部１９４が、全領域画像Ｉｔにおける領域Ｘ内の画像を、部分領域画像Ｉｂにおける領域Ｙ内の画像に置き換えて、全領域画像Ｉｔにおける領域Ｘ−の画像と、当該領域Ｙ内の画像とを貼り合わせる画像合成処理を行う。こうしてＷＤＲ画像が生成される。

なお、このとき、領域Ｙ内の各画素の輝度値に撮像時間比Ｋを乗算して、領域Ｘ−の画像と領域Ｙ内の画像との撮像時における感度差を補償するようにしてもよい。

また、領域Ｘ−の画像と当該領域Ｙ内の画像とを貼り合わせた合成画像において、領域Ｘ−と領域Ｙとの境界線が目立ってしまう場合がある。このような場合には、全領域画像Ｉｔと部分領域画像Ｉｂとにおけるその境界周辺の領域の各画素を、輝度値に重み付けを与えながらオーバーラップさせ、重ね合わせて貼り合わせるようにして、その境界部分を滑らかにした画像を作成するようにしてもよい。なお、２枚の画像に重み付けを与えながらオーバーラップさせて重ね合わせる手法は、例えば前掲した特許文献１で紹介されている。

また、検出部Ｂ１９２が検出した領域Ｙと、検出部Ａ１９１が検出した領域Ｘとの形状が大きく異なってしまう場合がある。パターンマッチング部１９３は、このような場合に、領域Ｙの画像の形状を変形して、その形状を領域Ｘに一致させるようにするものである。

なお、パターンマッチング部１９３が行うパターンマッチングの手法としては、周知の様々な手法を採用することができる。例えば、領域Ｘの輪郭線及び領域Ｙの輪郭線を抽出し、領域Ｙの輪郭線上の各特徴点が領域Ｘの輪郭線上の各対応点に対応付けられるようにするための対応関係を求める。そして、得られた対応関係が得られるように領域Ｙの画像をアファイン変換して、その形状を領域Ｘに一致させる。

以下の説明では、領域Ｙの画像をパターンマッチング部１９３が処理して得られる画像を、「領域Ｚの画像」と称することとする。図７における「（ｂ）パターンマッチング」では、以上のようにして領域Ｚが得られることを表している。

パターンマッチング部１９３で領域Ｚの画像を生成した場合には、画像貼り合わせ部１９４は、全領域画像Ｉｔにおける領域Ｘ内の画像を領域Ｚの画像に置き換えて、全領域画像Ｉｔにおける領域Ｘ−の画像と、領域Ｚの画像とを貼り合わせる画像合成処理を行う。こうしてＷＤＲ画像が生成される。図７における「（ｃ）合成画像」では、以上のようにしてＷＤＲ画像が得られることを表している。

なお、図５ＤのＷＤＲ合成画像撮像制御処理では、全領域画像Ｉｔと、当該全領域画像Ｉｔに続いて撮像した部分領域画像Ｉｂとを合成してＷＤＲ画像を生成するようにしている。このようにしてＷＤＲ画像を生成すると共に、部分領域画像Ｉｂと、当該部分領域画像Ｉｂに続いて撮像した全領域画像Ｉｔとの合成によるＷＤＲ画像の生成も更に行うようにすることも可能である。このようにすることで、全領域画像Ｉｔと部分領域画像Ｉｂとのどちらかが撮像される毎に合成画像が生成され、実質的には、１フレームの撮像画像から１フレームのＷＤＲ画像が生成されるようになる。

以上のように、本撮像装置では、異なる撮像条件（露光時間）で全領域画像Ｉｔと部分領域画像Ｒｂとを交互に撮像し、得られた全領域画像Ｉｔと部分領域画像Ｒｂとに基づいてＷＤＲ画像を生成することができる。従って、撮像からＷＤＲ画像の生成までに要する時間が従来のものよりも短縮されるので、ＷＤＲ画像を生成するときのフレームレートを向上させることができる。

なお、本撮像装置では、全領域画像Ｉｔ及び部分領域画像Ｉｂの露光時間の設定をユーザが行っている。この代わりに、広く知られている自動露出制御機能（いわゆるＡＥ（Auto Exposure ）機能）を搭載して、全領域画像Ｉｔ及び部分領域画像Ｉｂの撮像のための適切な露光時間の設定を行うようにしてもよい。

また、本撮像装置では、部分領域画像の撮像範囲を定める興味領域Ｒｂの設定をユーザが行うようにしていたが、この興味領域Ｒｂの設定を本撮像装置自らが行うように構成することも可能である。このようにすると、興味領域Ｒｂを設定する作業が不要となるので、ユーザの作業負担が軽減される。

ここで図８について説明する。図８は、本発明を実施する画像取得装置である、顕微鏡用撮像装置の構成の第二の例を示している。

なお、図８において、図１に示した第一の例に係るものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略する。

図８の構成は、部分領域抽出部１４に閾値設定部１４１が特に備えられている点のみにおいて、図１の構成と相違している。なお、図８の顕微鏡用撮像装置を図２に示した顕微鏡システムへ実装することは、もちろん可能である。

閾値設定部１４１は、記録部１２に記録された全領域画像から、入力部２０に対し入力された閾値に基づいて興味領域を設定する。部分領域抽出部１４は、閾値設定部１４１が設定した興味領域の抽出を行う。

閾値設定部１４１による、閾値に基づいた興味領域の設定の手法について、図９を参照しながら説明する。

まず、ユーザが、入力部２０のキーボード装置等を操作して、興味領域設定の基礎とする閾値を入力する。閾値設定部１４１は、この閾値を入力部２０から受け取ると、記録部１２のフレームメモリＡ１２１に記録されている全領域画像Ｉｔを読み出し、入力された閾値を基準値として、全領域画像Ｉｔを構成する各画素の輝度値を２値化する。

図９において、（ａ）の画像は全領域画像Ｉｔの例であり、（ｂ）の画像は（ａ）の画像の２値化画像の例である。なお、この２値化画像例は、輝度値が閾値以上の画素を白色で表し、輝度値が閾値未満の画素を黒色で表している。

なお、全領域画像Ｉｔを構成する画素の全てが入力部２０から受け取った閾値未満のものであった場合には、閾値設定部１４１は、当該閾値値を変更して、その値を、全領域画像Ｉｔを構成する各画素の輝度値のうちで最高の輝度値とする。

また、閾値設定部１４１がこのような閾値の変更を行った場合には、閾値設定部１４１は、当該変更後の閾値を用いて全領域画像Ｉｔの２値化画像の生成を行うと共に、変更後の閾値を表示部２１に表示させて当該変更をユーザに通知するようにする。

次に、閾値設定部１４１は、上記の閾値に基づいて２値化された全領域画像Ｉｔにおける輝度値が閾値以上の各画素について、全領域画像Ｉｔ上の位置を特定する座標（ＸＹ直交二次元座標）を取得する。次に、得られた各画素についての座標のうち、Ｘ座標及びＹ座標それぞれの最大値及び最小値を求める。そして、得られたＸ座標及びＹ座標それぞれの最大値及び最小値を頂点とする矩形を求める。すると、この矩形は、全領域画像Ｉｔにおける輝度値が閾値以上の画素を全て内包することになる。閾値設定部１４１は、このようにして求めた矩形を興味領域として設定する。図９の（ｃ）は、以上のようにして設定された興味領域を、２値化された全領域画像Ｉｔに表したものである。

なお、全領域画像Ｉｔの２値化画像において、輝度値が閾値以上の画素のうち、輝度値が閾値以上である他の画素から孤立しているもの、若しくは、このような画素が隣接して形成される領域の面積が所定値よりも小さいものは、ノイズと推定することができる。従って、興味領域とする矩形を求めるときに、このような画素を除外して行うようにしてもよい。

また、この他に、全領域画像Ｉｔの２値化画像において、輝度値が閾値以上の画素から、所定距離（この距離をユーザが設定するようにしてもよい）内の画素を全て内包するように興味領域として設定するようにしてもよい。

ところで、以上までに説明した各顕微鏡用撮像装置では、１枚の全領域画像Ｉｔに対し１枚の部分領域画像Ｉｂを用いてＷＤＲ画像を生成していたが、１枚の全領域画像Ｉｔに対し部分領域画像Ｉｂを複数枚用いてＷＤＲ画像を生成してもよい。

図１０について説明する。図１０は、図１及び図８に示した顕微鏡用撮像装置の構成の変形例を示したものであり、１枚の全領域画像に対し部分領域画像を２枚用いてＷＤＲ画像を生成する場合の構成例である。

なお、図１０においては、図１及び図８に示したものと同一の構成要素である、光学系１０、条件設定部１８、入力部２０、及び表示部２１については描画を省略している。また、図１０において、図１及び図８に示したものと同一の機能を有する構成要素には同一の参照符号を付している。これらの構成要素については既述したので、ここでの詳しい説明を省略し、異なる機能を中心に説明する。

図１０の構成は、記録部１２にフレームメモリＣ１２３が更に備えられている点と、合成部１９に検出部Ｃ１９５が更に備えられている点とのみにおいて、図１及び図８の構成と相違している。なお、図１０の顕微鏡用撮像装置を図２に示した顕微鏡システムへ実装することは、もちろん可能である。

図１０において、フレームメモリＣ１２３は、観察像の部分領域画像であって、フレームメモリＢ１２２に記録されるものとは異なる興味領域についてのものを記録する。

なお、以下の説明では、フレームメモリＢ１２２に記録されるものを部分領域画像Ｉｂ１とし、フレームメモリＣ１２３に記録されるものを部分領域画像Ｉｂ２として両者の区別を容易にする。

検出部Ｃ１９５（第三検出部）は、フレームメモリＣ１２３に記録された部分領域画像Ｉｂ２から、全領域画像で閾値を超えることが、前述した撮像時間比Ｋに基づき予測される領域Ｙｂを検出する。

なお、検出部Ｂ１９２は、フレームメモリＣ１２３に記録された部分領域画像Ｉｂ１から、全領域画像で閾値を超えることが、前述した撮像時間比Ｋに基づき予測される領域Ｙａを検出する。

この図１０の顕微鏡用撮像装置では、図１及び図８に示したものと同様、図５Ａ、図５Ｂ、及び図５Ｄの各制御処理が行われることで、ＷＤＲ画像が生成される。但し、図５ＤにおけるＳ４２の部分領域画像撮像処理では、順序調整部１７は、部分領域画像Ｉｂ１の撮像条件（第二の露光条件）に続けて、部分領域画像Ｉｂ２の撮像条件（第三の露光条件）をＴＧ１１３へ送る。ＴＧ１１３は、第二の露光条件を受け取ったときには、露光条件を当該第二の露光条件に設定した上で撮像素子１１１を制御して部分領域画像Ｉｂ１を撮像させる。そして、第三の露光条件を受け取ったときには、露光条件を当該第三の露光条件に設定した上で撮像素子１１１を制御して部分領域画像Ｉｂ２を撮像させる。

また、図１０の顕微鏡用撮像装置では、ＷＤＲ画像撮像制御処理については、図５Ｃに示した第一の例に代えて、図１１に示した第二の例の処理を行うようにする。

この図１１にフローチャートで示した、ワイドダイナミックレンジ画像撮像制御処理の第二の例の処理内容について説明する。

図１１において、図５Ｃに示した第一の例と同様の処理を行う処理ステップには同一の参照符号を付している。これらの処理ステップについては既述したので、ここでの詳しい説明を省略し、異なる処理内容を中心に説明する。

図１１のフローチャートは、Ｓ３２の判定処理の判定結果がＹｅｓと判定されたときに、Ｓ３３の処理に代えてＳ５１の処理が実行される点において、図５Ｄのフローチャートと相違している。

Ｓ５１では、先に実行したＳ３１の処理に続いて、興味領域の設定を更に行うユーザからの指示を入力部２０が取得したか否かを判定する処理が部分領域抽出部１４により行われる。ここで、興味領域の設定を更に行う指示を取得したと判定したとき（判定結果がＹｅｓのとき）には、Ｓ３１へ処理を戻して、興味領域設定処理が再度行われる。一方、興味領域の設定を更に行う指示を取得しない（興味領域の設定をこれ以上は行わない旨の指示を取得した）と判定したとき（判定結果がＹｅｓのとき）には、Ｓ３３に処理を進める。

このようにしてＳ３１の興味領域設定処理を繰り返すことで、部分領域抽出部１４は、興味領域Ｒｂ１及びＲｂ２の形状情報と、全領域画像Ｉｔ内における興味領域Ｒｂ及びＲｂ２の位置情報とを、興味領域Ｒｂ１及びＲｂ２各々のパラメータとして取得する。

なお、Ｓ３７の撮像条件格納処理では、Ｓ３１の処理で取得した興味領域Ｒｂ１及びＲｂ２のパラメータと、Ｓ３３の処理で設定した露光時間Ｔ２とを、部分領域画像Ｉｂ１及びＩｂ２それぞれの撮像条件として撮像条件格納部１６に格納する処理が行われる。

次に、図１０に示した構成を有する顕微鏡用撮像装置における合成部１９により行われる、図５ＤのＳ４３の画像合成処理について、図１２を参照しながら説明する。なお、この画像合成処理は、全領域画像Ｉｔと２枚の部分領域画像Ｉｂ１及びＩｂ２とを合成して全領域画像Ｉｔよりもワイドダイナミックレンジである一枚の全領域画像（ＷＤＲ画像）を得る処理である。

図１２において、「（ａ）撮像画像」は、全領域画像Ｉｔ、部分領域画像Ｉｂ１、及び部分領域画像Ｉｂ２が、この順序で撮像されたことを表している。

画像貼り合わせ部１９４は、全領域画像Ｉｔにおける領域Ｘａ内の画像及びＸｂ内の画像を、それぞれ、部分領域画像Ｉｂ１における領域Ｙａ内の画像と部分領域画像Ｉｂ２における領域Ｙｂ内の画像とに置き換える。そして、全領域画像Ｉｔにおける領域Ｘａｂ−の画像（全領域画像Ｉｔにおける領域Ｘａ外且つ領域Ｘｂ外の画像）と、当該領域Ｙａ内の画像及び領域Ｙｂ内の画像とを貼り合わせる画像合成処理を行う。こうしてＷＤＲ画像が生成される。

なお、ここで、検出部Ｂ１９２が検出した領域Ｙａと、検出部Ａ１９１が検出した領域Ｘａとの形状が大きく異なってしまう場合や、検出部Ｃ１９５が検出した領域Ｙｂと、検出部Ａ１９１が検出した領域Ｘｂとの形状が大きく異なってしまう場合がある。このような場合には、パターンマッチング部１９３が、領域Ｙａ又はＹｂの画像の形状を変形して、その形状を領域Ｘａ若しくはＸｂに一致させる。なお、このときにパターンマッチング部１９３が行うパターンマッチングの手法は、図１及び図８の顕微鏡用撮像装置における手法と同様でよい。

領域Ｙａ及びＹｂの画像をパターンマッチング部１９３が処理して得られる画像を、それぞれ「領域Ｚａの画像」及び「領域Ｚｂの画像」と称することとする。図１２における「（ｂ）パターンマッチング」では、以上のようにして領域Ｚａ及びＺｂが得られることを表している。

パターンマッチング部１９３で領域Ｚａの画像を生成した場合には、画像貼り合わせ部１９４は、全領域画像Ｉｔにおける領域Ｘａ内の画像を、この領域Ｚａの画像に置き換えて貼り合わせる。また、パターンマッチング部１９３で領域Ｚｂの画像を生成した場合には、画像貼り合わせ部１９４は、全領域画像Ｉｔにおける領域Ｘｂ内の画像を、この領域Ｚｂの画像に置き換えて貼り合わせる。このようにして、全領域画像Ｉｔにおける領域Ｘａｂ−の画像と、当該領域Ｚａ及びＺｂの画像とを貼り合わせる画像合成処理を行う。こうしてＷＤＲ画像が生成される。図１２における「（ｃ）合成画像」では、以上のようにしてＷＤＲ画像が得られることを表している。

以上のように、図１０の顕微鏡用撮像装置では、全領域画像と、複数の興味領域を指定して撮像した複数枚の部分領域画像から、一枚の合成画像を生成することができる。

なお、本発明は、これまでに説明した実施の形態に限定されるものではなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。

１ 顕微鏡本体
２ カメラヘッド
３ コンピュータ
１０ 光学系
１１ 撮像部
１２ 記録部
１３ 画像出力部
１４ 部分領域抽出部
１５ 露光制御部
１６ 撮像条件格納部
１７ 順序調整部
１８ 条件設定部
１９ 合成部
２０ 入力部
２１ 表示部
１１１ 撮像素子
１１２ ＡＦＥ
１１３ ＴＧ
１２１ フレームメモリＡ
１２２ フレームメモリＢ
１４１ 閾値設定部
１９１ 検出部Ａ
１９２ 検出部Ｂ
１９３ パターンマッチング部
１９４ 画像貼り合わせ部
１９５ 検出部Ｃ

Claims (10)

1. 受光面に結像した観察像を撮像する撮像素子と、
   第一の露光条件の下で該撮像素子を制御して、該受光面の全体に亘る該観察像の画像である全領域画像を該撮像素子に撮像させる全領域画像撮像制御手段と、
   該第一の露光条件とは異なる第二の露光条件の下で該撮像素子を制御して、該受光面の一部の領域のみについての該観察像の画像である部分領域画像を該撮像素子に撮像させる部分領域画像撮像制御手段と、
   該全領域画像と該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである全領域画像を得る合成手段と、
   を有することを特徴とする画像取得装置。
2. 該合成手段は、
   該全領域画像を構成する画素のうちで輝度値が所定の閾値を超える画素の集合からなる被置換領域を該全領域画像から検出する第一検出手段と、
   該被置換領域に対応していると推測される置換領域を該部分領域画像から検出する第二検出手段と、
   該全領域画像における該被置換領域内の画像を該部分領域画像における該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該置換領域内の画像とを貼り合わせる画像貼り合わせ手段と、
   を有することを特徴とする請求項１に記載の画像取得装置。
3. 該合成手段は、該部分領域画像における該置換領域の画像の形状を変形して、該置換領域と該被置換領域との輪郭の形状を一致させる変形手段を更に有し、
   該画像貼り合わせ手段は、該全領域画像における該被置換領域内の画像を該部分領域画像における該変形手段による変形後の該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該変形手段による変形後の該置換領域内の画像とを貼り合わせる、
   ことを特徴とする請求項２に記載の画像取得装置。
4. 該全領域画像撮像制御手段が該全領域画像を該撮像素子に撮像させるときには該撮像における露光条件を該第一の露光条件に設定し、該部分領域画像撮像制御手段が該部分領域画像を該撮像素子に撮像させるときには該撮像における露光条件を該第二の露光条件に設定する露光制御手段を更に有することを特徴とする請求項１から３のうちのいずれか一項に記載の画像取得装置。
5. 該全領域画像を構成する画素のうちで所定の閾値以上の輝度値を有する画素を全て内包する興味領域を、該全領域画像に設定する興味領域設定手段を更に有し、
   該部分領域画像撮像制御手段は、該興味領域についての該部分領域画像を該撮像素子に撮像させる、
   ことを特徴とする請求項１から４のうちのいずれか一項に記載の画像取得装置。
6. 該興味領域設定手段は、該所定の閾値以上の輝度値を有する各画素について、該画素の該全領域画像上での位置を示すＸＹ直交二次元座標を求め、得られた各画素についての座標のうち、Ｘ座標及びＹ座標それぞれの最大値及び最小値を求め、得られたＸ座標及びＹ座標それぞれの最大値及び最小値を頂点とする矩形を、該興味領域として該全領域画像に設定することを特徴とする請求項５に記載の画像取得装置。
7. 該部分領域画像撮像制御手段は、該部分領域画像を該撮像素子に複数枚撮像させ、
   該合成手段は、該全領域画像と複数枚の該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである一枚の全領域画像を得る、
   ことを特徴とする請求項１から６のうちのいずれか一項に記載の画像取得装置。
8. 第一の露光条件の下で撮像素子により撮像された、該撮像素子の受光面に結像した観察像の画像であって、該撮像素子の受光面の全体に亘る該観察像の画像である全領域画像から、該全領域画像を構成する画素のうちで輝度値が所定の閾値を超える画素の集合からなる被置換領域を検出し、
   該第一の露光条件とは異なる第二の露光条件の下で該撮像素子により撮像された、該撮像素子の受光面に結像した観察像の画像であって、該撮像素子の受光面の一部の領域のみについての該観察像の画像である部分領域画像から、該被置換領域に対応していると推測される置換領域を検出し、
   該全領域画像における該被置換領域内の画像を該部分領域画像における該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該置換領域内の画像とを貼り合わせる画像処理を行う、
   ことを特徴とする画像合成方法。
9. 該部分領域画像における該置換領域の画像の形状を変形して、該置換領域と該被置換領域との輪郭の形状を一致させ、
   該画像処理では、該全領域画像における該被置換領域内の画像を該部分領域画像における該変形後の該置換領域内の画像に置き換えて、該全領域画像における被置換領域外の領域の画像と該部分領域画像における該変形後の該置換領域内の画像とを貼り合わせる画像処理を行う、
   ことを特徴とする請求項８に記載の画像合成方法。
10. 標本の顕微鏡像を得る顕微鏡と、
    該顕微鏡像の画像を取得する画像取得装置と、
    を有しており、
    該画像取得装置が、
    受光面に結像した観察像である該顕微鏡像を撮像する撮像素子と、
    第一の露光条件の下で該撮像素子を制御して、該受光面の全体に亘る該観察像の画像である全領域画像を該撮像素子に撮像させる全領域画像撮像制御手段と、
    該第一の露光条件とは異なる第二の露光条件の下で該撮像素子を制御して、該受光面の一部の領域のみについての該観察像の画像である部分領域画像を該撮像素子に撮像させる部分領域画像撮像制御手段と、
    該全領域画像と該部分領域画像とを合成して該全領域画像よりもワイドダイナミックレンジである全領域画像を得る合成手段と、
    を有する、
    ことを特徴とする顕微鏡システム。