JP6362062B2

JP6362062B2 - 画像生成装置および画像生成方法

Info

Publication number: JP6362062B2
Application number: JP2013188641A
Authority: JP
Inventors: 村上　友近; 友近村上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-07
Filing date: 2013-09-11
Publication date: 2018-07-25
Anticipated expiration: 2033-09-11
Also published as: JP2014132433A

Description

本発明は、被写体を撮影して得られた画像から観察に適した画像を生成する画像生成装置および画像生成方法に関する。

病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像に対し、病理医の診断を支援する種々の診断支援機能が提案されている。

従来、診断支援機能の一例として、以下の提案がされている。
非特許文献１は、がんを診断する上で重要な所見であるＮ／Ｃ比（細胞質に対して核が占める比率）を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像から細胞膜を抽出する方法を開示している。非特許文献１では明視野、暗視野、位相差の３種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。

また、細胞膜に限らず、細胞境界（細胞と細胞の間の細胞境界には細胞膜以外にも細胞間物質（間質）などが存在）や細胞と管や腔との境界を明瞭にすることは、診断を行う上で大きな意味がある。明瞭な境界は、医師が標本から複雑な肝臓の３次元構造を推測することを容易にするので、限られた情報からより精度の高い診断が実現できる。
また、細胞と管や腔との境界はＮ／Ｃ比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいＮ／Ｃ比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。

特開２００７−１２８００９号公報

鳥澤奈美子，高橋正信，中野雅行，"肝病理組織標本画像中の細胞膜抽出におけるマルチイメージング利用の検討"，電子情報通信学会総合大会，Ｄ−１６−９，２００９／３児玉和也，久保田彰，"単一のレンズ系からの多様なボケ味の生成"，映像情報メディア学会誌６５（３），ｐｐ．３７２−３８１，２０１１年３月児玉和也，久保田彰，"周波数領域上での線型結合に基づくＳｃｅｎｅＲｅｆｏｃｕｓｉｎｇ"，映像メディア処理シンポジウム（ＩＭＰＳ２０１２），Ｉ−３．０２，ｐｐ．４５−４６，２０１２年１０月

しかしながら上述した従来の技術においては、以下のような問題があった。
非特許文献１では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生するという課題があった。

本発明は、このような問題点に鑑みてなされたものであり、被写体を撮影して得られた元画像から、画像処理によって、被写体の境界を明瞭化した画像を生成するための新規な技術を提供することを目的とする。

本発明の第１態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、前記元画像から視点画像を生成する視点画像生成手段と、前記視点画像生成手段で生成された視点画像に対し、エッジを強調または抽出するエッジ処理を適用することにより、エッジ画像を生成するエッジ処理手段と、互いに視点が異なる複数の視点画像から生成された複数のエッジ画像を統合することにより、統合されたエッジ画像を生成する画像統合手段と、を有することを特徴とする画像生成装置である。

本発明の第２態様は、被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成装置において、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定する視点決定手段と、前記視点決定手段で決定された視点に対し、前記元画像から視点画像を生成する視点画像生成手段と、を有することを特徴とする画像生成装置である。

本発明の第３態様は、被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成装置において、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき複数の視点を決定する視点決定手段と、前記視点決定手段で決定された複数の視点に対し、前記元画像から複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像の中からユーザに２つ以上の視点画像を選択させる選択手段と、ユーザにより選択された２つ以上の視点画像を合成する画像合成手段と、を有することを特徴とする画像生成装置である。

本発明の第４態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するフィルタ生成手段と、前記元画像と前記フィルタを用いて、エッジ画像を生成するエッジ処理手段と、
を有し、前記フィルタは、前記元画像を撮影した撮像系のぼけ関数よりも大きなぼけをもつ、エッジ処理用のぼけ関数を用いて生成されることを特徴とする画像生成装置である。
本発明の第５態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するフィルタ生成手段と、前記元画像と前記フィルタを用いて、エッジ画像を生成するエッジ処理手段と、を有し、前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像から構成されるＺスタック画像、ライトフィールドが記録された画像、または、ピント位置を変えて前記被写体を撮影して得られた画像群であることを特徴とする画像生成装置である。

本発明の第６態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、コンピュータが、前記元画像から視点画像を生成するステップと、コンピュータが、前記生成された視点画像に対し、エッジを強調または抽出するエッジ処理を適用することにより、エッジ画像を生成するステップと、互いに視点が異なる複数の視点画像から生成された複数のエッジ画像を統合することにより、統合されたエッジ画像を生成するステップと、を有することを特徴とする画像生成方法である。

本発明の第７態様は、被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成方法であって、コンピュータが、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定するステップと、コンピュータが、前記決定された視点に対し、前記元画像から視点画像を生成するステップと、を有することを特徴とする画像生成方法である。

本発明の第８態様は、被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成方法であって、コンピュータが、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき複数の視点を決定するステップと、コンピュータが、前記決定された複数の視点に対し、前記元画像から複数の視点画像を生成するステップと、コンピュータが、前記複数の視点画像の中からユーザに２つ以上の視点画像を選択させるステップと、コ
ンピュータが、ユーザにより選択された２つ以上の視点画像を合成するステップと、を有することを特徴とする画像生成方法である。

本発明の第９態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、コンピュータが、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するステップと、コンピュータが、前記元画像と前記フィルタを用いて、エッジ画像を生成するステップと、を有し、前記フィルタは、前記元画像を撮影した撮像系のぼけ関数よりも大きなぼけをもつ、エッジ処理用のぼけ関数を用いて生成されることを特徴とする画像生成方法である。
本発明の第１０態様は、被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、コンピュータが、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するステップと、コンピュータが、前記元画像と前記フィルタを用いて、エッジ画像を生成するステップと、を有し、前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像から構成されるＺスタック画像、ライトフィールドが記録された画像、または、ピント位置を変えて前記被写体を撮影して得られた画像群であることを特徴とする画像生成方法である。

本発明の第１１態様は、上記本発明の画像生成方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、被写体を撮影して得られた元画像から、画像処理によって、被写体の境界を明瞭化した画像を生成することができる。

本発明の実施形態の画像生成および表示システムの構成図画像表示アプリケーションの機能を説明する為の表示例画像生成装置の内部構成を示す図被写体の一例であるプレパラートを示す図被写体を撮影する撮像装置の構成を模式的に示す図視点画像でコントラストが強調される理由を説明する為の模式図実施例１のエッジ抽出機能のＧＵＩの例を示す図実施例１のエッジ抽出処理の全体フローを示すフローチャート実施例１の視点分解エッジ抽出・統合処理Ｓ８０２を示すフローチャート実施例１のエッジ抽出機能の各設定のＧＵＩの例を示す図プレウィットテンプレートオペレータのフィルタとエッジ検出方向を示す図視線方向に依存した視点エッジ抽出処理Ｓ９０３を示すフローチャート視線方向に依存した視点エッジ抽出処理Ｓ９０３を示すフローチャート実施例１のＮ／Ｃ比算出の処理フローを示すフローチャート実施例３および４の視点分解エッジ抽出・統合処理Ｓ８０２を示すフローチャート実施例３および４の視点決定処理Ｓ１５０１を示すフローチャート実施例３の視点選定処理Ｓ１６０２を示すフローチャート実施例４の視点選定処理Ｓ１６０２を示すフローチャート実施例３および４で適用を想定する代表画像を示す模式図実施例５の自動視点画像計算機能のＧＵＩの例を示す図プレパラート内の病理標本の表面に存在する凹凸を示す模式図図２１の各面での観察角φにおける散乱光の強度を示す模式図視点の偏角および視線方向と光軸のなす角（観察角）の関係を示す模式図視点位置によって変化するアンシャープマスクで用いるぼけ関数の模式図実施例６の視点エッジ抽出処理Ｓ９０３の内部処理を示すフローチャート実施例７で用いる３次元ぼけモデルを表す模式図実施例７の視点分解エッジ抽出・統合処理Ｓ８０２を示すフローチャート視点エッジ抽出処理Ｓ２７０２の内部処理を示すフローチャート実施例７の視点エッジ抽出処理Ｓ９０３の内部処理を示すフローチャート実施例８の視点分解エッジ抽出・統合処理Ｓ８０２を示すフローチャート図３０のステップＳ３００３の内部処理を示すフローチャート

（全体構成）
図１は、本発明の実施形態に係る画像生成および表示システムの構成を示している。
画像生成装置（ホストコンピュータ）１００には、ユーザからの入力を受け付ける入力操作デバイス１１０と、画像生成装置１００から出力される画像などをユーザに提示するためのディスプレイ１２０が接続される。入力操作デバイス１１０としては、キーボード１１１、マウス１１２、ユーザの操作性を高めるための専用コントローラ１１３（例えばトラックボール、タッチパッド）などを利用できる。また画像生成装置１００には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置１３０、ネットワークＩ／Ｆを通じてアクセスできる他のコンピュータシステム１４０が接続されている。なお、図１では記憶装置１３０は画像生成装置１００の外部に存在するが、画像生成装置１００に内蔵しても良い。

画像生成装置１００は、入力操作デバイス１１０から入力されたユーザの制御信号に従い、記憶装置１３０から画像データを取得し、画像処理を適用することによって観察に適した観察用画像を生成したり、診断に必要な情報を抽出したりする。

画像表示アプリケーションおよび画像生成プログラム（いずれも不図示）は画像生成装置１００で実行されるコンピュータプログラムである。これらのプログラムは画像生成装置１００内の内部記憶装置（不図示）または記憶装置１３０に格納されている。後述する画像生成に関わる機能は画像生成プログラムによって提供されるものであり、画像生成プログラムの各機能は画像表示アプリケーションを介して呼び出す（利用する）ことができる。画像生成プログラムの処理結果（例えば生成された観察用画像）は、画像表示アプリケーションを介して、ユーザに提示される。

（表示画面）
図２は、予め撮影した検体の画像データを、画像表示アプリケーションを通じて、ディスプレイ１２０に表示した場合の一例である。

図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の検体のサムネイル画像２０３、検体画像データの詳細観察用の表示領域２０５、表示領域２０５の表示倍率２０６、が配置されている。サムネイル画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。このサムネイル画像２０３と枠線２０４によって、ユーザは検体画像データ全体中のどの部分を観察しているのかを容易に把握できる。

詳細観察用の表示領域２０５に表示する画像は、入力操作デバイス１１０による移動操作や拡大・縮小操作によって設定、更新できる。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。また、焦点位置の異なる画像へ
の切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる（例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる）。上記のようなユーザの表示画像の変更操作に伴い、表示領域２０５、表示倍率２０６、サムネイル画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像を観察できる。

（画像生成装置）
図３は画像生成装置１００の内部構成を示す図である。
ＣＰＵ３０１はメインメモリ３０２に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、離散フーリエ変換やフィルタ処理、視点画像統合処理等を行う。

メインメモリ３０２は記憶装置１３０からロードされたプログラムやデータ、他のコンピュータシステム１４０からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またメインメモリ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。

操作入力デバイス１１０はキーボード１０２、マウス１０３、専用コントローラ１１３などＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは画像生成装置１００の動作を制御する情報を操作入力デバイス１１０により入力する。３０５は操作入力デバイス１１０を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏである。

記憶装置１３０はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）や以降の実施例で説明する処理をＣＰＵ３０１に実行させるためのプログラムや画像データなどを記憶する。記憶装置１３０への情報の書き込みや記憶装置１３０からの情報の読み出しはＩ／Ｏ３０６を介して行われる。

ディスプレイ制御装置３０７は画像や文字等をディスプレイ１２０に表示させるための制御処理を行う。ディスプレイ１２０はユーザに入力を求めるための画面表示を行うとともに、記憶装置１３０や他のコンピュータシステム１４０から取得しＣＰＵ３０１で処理した画像データに基づく画像を表示する。

演算処理ボード３０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ３０１を、メモリ領域としてメインメモリ３０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。

（被写体）
図４は被写体の一例である病理標本のプレパラート（スライドとも呼ぶ）を表す。病理標本のプレパラートでは、スライドグラス４１０上に載置した検体４００が封入剤（不図示）とその上に載せるカバーグラス４１１によって封入されている。検体４００の大きさや厚みは検体毎によって異なっている。更にスライドグラス４１０上には検体に関する情報が記録されたラベルエリア４１２が存在する。ラベルエリア４１２への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア４１２に設けてもよい。以降の実施形態では、被写体として図４に示す病理標本のプレパラートを例に説明する。

（撮像装置）
図５は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図５に示すように、本実施形態では、検体４００の表面に平行にｘ軸とｙ軸をとり、検体４００の深さ方向（光学系の光軸方向）にｚ軸をとる。

プレパラート（検体４００）をステージ５０２上に置き、照明ユニット５０１から光を照射する。検体４００を透過した光は、結像光学系５０３によって拡大され、撮像センサ５０４の受光面に結像する。撮像センサ５０４は複数の光電変換素子を有する一次元ラインセンサまたは二次元エリアセンサである。検体４００の光像は撮像センサ５０４により電気信号に変換され、デジタルデータとして出力される。

一回の撮影で検体全体の画像を取得できない場合には、ステージ５０２をｘ方向および／またはｙ方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像を合成（繋ぎ合わせ）して検体全体の画像を生成する。また、ステージ５０２をｚ方向に移動しつつ複数回の撮影を行うことで、光軸方向（深さ方向）の焦点位置が異なる複数枚の画像（レイヤー画像と呼ぶ）を取得する。本明細書では、光軸方向（深さ方向）の焦点位置が異なる複数枚のレイヤー画像からなる画像群を「Ｚスタック画像」または「Ｚスタック画像データ」と呼ぶ。また、被写体を撮影することによって取得された画像であるレイヤー画像やＺスタック画像を「元画像」と呼ぶ。

図２の表示倍率２０６に表示される倍率の値は、結像光学系５０３の倍率に画像表示アプリケーション上での拡大／縮小率を掛けた値である。なお、結像光学系５０３の倍率は固定でも良いし、対物レンズの交換によって可変であっても良い。

（視点画像を生成する技術の説明）
画像生成装置１００では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない代わりに、Ｚスタック画像から画像処理によって中間画像（視点画像）を生成し、その中間画像を用いて観察や診断に適した観察用画像を生成する。まずは、Ｚスタック画像から中間画像としての視点画像を生成する処理に利用可能な技術について説明する。

光軸方向の焦点位置を変えて撮影した複数枚の画像（Ｚスタック画像）を元に、任意の方向から観察した視点画像（任意視点画像）を生成できることが知られている。ここで、視点画像とは所定の観察方向（即ち視点）から被写体を観察した画像を表す。
例えば特開２００７−１２８００９号公報（以降、特許文献１と呼ぶ）には、ピント位置を変えて撮影した焦点ぼけ画像群から、任意の視点や任意のぼけの画像を生成する方法が開示されている。この方法は、焦点ぼけ画像群に対し、３次元的な焦点ぼけがＸＹＺ位置で不変になるように座標変換処理を施し、得られた直交座標系（ＸＹＺ）において３次元のフィルタ処理を適用することで視点やぼけを変更した画像を得る、というものである。
また、非特許文献２には、特許文献１の方法の改良が開示されている。非特許文献２では、視点から視線方向を求め、Ｚスタック画像を視線方向に積算することで積算画像を生成するとともに、同じように３次元ぼけの視線方向の積算画像も生成する。その後、Ｚスタック画像の積算画像に対し３次元ぼけの積算画像を逆フィルタ処理することにより、Ｚ方向（レイヤー画像の枚数）の制約による影響を抑制し、高画質な視点画像を生成することができる。
また、非特許文献３には、非特許文献２の計算を高速化する方法が開示されている。非特許文献３の方法では、被写体（シーン）に依存せずに予め定まるフィルタと焦点ぼけ画像群の各Ｚ位置のフーリエ変換画像の線型結合によって、周波数領域上での任意視点画像
や任意焦点ぼけ画像が効率的に計算できる。

以降の説明では、光軸方向の焦点位置を変えて撮影した複数枚の画像（Ｚスタック画像）を元に、任意の方向から観察した視点画像（任意視点画像）を生成することや、任意の焦点ぼけを持つ画像を生成する手法を総称して、ＭＦＩ（マルチフォーカスイメージング）任意視点／焦点ぼけ画像生成法と呼ぶこととする。
なお、両側テレセントリックな光学系を持つ顕微鏡でピント位置を変えて撮影したＺスタック画像は３次元的な焦点ぼけがＸＹＺ位置で不変である。よって、両側テレセントリックな光学系で撮影したＺスタック画像にＭＦＩ任意視点／焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像の拡縮処理は不要である。

ライトフィールドと呼ばれる４次元の情報（ＸＹの２次元画像に視点位置の自由度を加えた情報）が記録された画像を１回の撮影で取得可能な撮像装置が知られている。このような撮像装置はライトフィールドカメラやライトフィールド顕微鏡と呼ばれる。これらの装置では、本来結像面となる位置にレンズアレイが配置されており、それよりも後方のイメージセンサでライトフィールドを撮影する。ライトフィールドが記録された元画像からも、公知の技術を用いて、任意の焦点位置の画像や任意の方向から観察した視点画像（任意視点画像）を生成できる。

本実施例では、撮像装置の被写体に対する方向を物理的に変えることなく、Ｚスタック画像又はライトフィールドなどの撮像画像を元に、デジタル画像処理によって生成される任意の観察方向の画像を「視点画像」とよぶ。この視点画像は、被写体の撮影に用いる結像光学系を通る任意の光線を主光線とし、その主光線を中心とする光束によって撮像面に形成される画像を模擬した画像である。主光線の方向が観察方向に対応する。主光線の方向は任意に設定できる。また光束の大きさ（ＮＡ）も任意に設定できる。画像診断等が目的の場合には、視点画像の被写界深度は深いことが望ましいので、視点画像に対応する光束のＮＡは０．１以下が望ましい。

なお、デジタル画像処理によって生成（計算）した視点画像は、結像光学系の露出条件（絞りの位置・大きさ）や光軸方向やレンズ等を物理的に変えて撮影した画像とは、必ずしも一致しない。しかし、現実に撮影した画像と一致していなくても、視点を変えて被写体を観察したのと同様の特徴を有する画像であれば（つまり、観察方向を変えるのと同様の効果をデジタル画像処理によって与えることができれば）、画像観察や画像診断等には有用である。従って、現実に光軸方向等を変えて撮影した画像とは厳密には一致しないが、そのような画像と同様の特徴が現れるようにデジタル画像処理された画像も、本実施例の視点画像に含まれる。

特許文献１によれば、座標変換を施した焦点ぼけ画像群から、実空間上のレンズ面（瞳面に相当）上にある原点Ｏ（ｘ，ｙ，ｚ）＝（０，０，０）から視点（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）だけズレた位置のピンホールを通して観察した視点画像を生成できる。ＭＦＩ任意視点／焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。

視線方向は、結像した像に対応する被写体の所定の位置から発する光束の中で、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きである、と定義できる。視線方向は様々な方法で表現可能である。例えば、直線の進行方向を示す３次元的なベクトルによる表現でも良いし、前述の３次元的なベクトルが光軸となす角（観察角）と光軸に垂直な平面に射影したときのベクトルがＸ軸となす角（偏角）による表現でも良い。

結像光学系が両側テレセントリックではない場合、撮像面における３次元的な焦点ぼけは、合焦した被写体の空間的な位置（ｘｙｚ座標内の位置）によって変化し、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きは一定とはならない。その場合、特許文献１に記載の座標変換後の直交座標系（ＸＹＺ）の上で視線方向を定義すると良く、視線方向は（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）のベクトルで表すことができる。以下、座標変換後の視線方向の求め方を説明する。
特許文献１には、結像光学系の焦点が合った任意の位置と撮像装置のレンズ面（瞳面に相当）上の同一の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ光線は、座標変換後の直交座標系（ＸＹＺ）では全て互いに平行な光線となることが記載されている。（特許文献１の図１〜３およびその説明を参照）

透視座標系（座標変換前の実空間）の被写体のある点から出た光は、（ｐ＋ｓ，ｑ＋ｔ，ｆ）（ｆは焦点距離）を通過し、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）で屈折する。この直線は以下の式で表される。

数１の直線は座標変換後の直交座標系（ＸＹＺ）では以下の式で表される。

数２にＺ＝０（ｚ＝ｆ）、Ｚ＝１（ｚ＝∞）を代入すると、それぞれ（Ｘ，Ｙ，Ｚ）＝（ｐ＋ｓ，ｑ＋ｔ，０）、（Ｘ，Ｙ，Ｚ）＝（ｐ，ｑ，１）となることから、直交座標系（Ｘ，Ｙ，Ｚ）での直線の傾きは（−ｓ，−ｔ，１）で表される。
従って、座標変換後の直交座標系での視線方向を表すベクトルは（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）となる。

なお、結像光学系が両側テレセントリックである場合、奥行き方向に焦点を変えて撮影した複数枚の画像（Ｚスタック画像）中の３次元的な焦点ぼけはＺの位置によらず不変となる。
従って、空間的な位置によらず３次元的な焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置（ｘ，ｙ，ｚ）＝（０，０，ｚａ）とレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ直線の傾き（−ｓ，−ｔ，ｚａ）をそのまま視線方向と見なしても良い。

（視点と実際に標本を観察したときの偏角θ及び観察角φの対応関係）
図２３（ａ）は実空間上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を表す模式図であり、図２３（ｂ）は直交座標系（ＸＹＺ）において視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る光線を表す模式図である。

図２３（ａ）で示す点線の円はレンズ面上（ｚ＝０）で光線が通過可能な範囲を表している。偏角θはレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）がレンズ面上（ｚ＝０）のｘ軸となす角、あるいは視線（−ｓ，−ｔ，１）をｘｙ平面に射影したときの直線がｘ軸となす角と定義すると、下記の式で求められる。

ただし、θはｔ，ｓの符号に応じて−１８０〜＋１８０度の範囲に収まるように調整する。

続いて、図２３（ｂ）を用いて視線と変換座標上の観察角φ_Ｔの関係について説明する。
図２３（ｂ）では、数２で示す直線と数２に光軸上の点ｐ＝０、ｑ＝０を代入した場合の直線を太字の矢印で示している。
特許文献１によれば、直交座標系（ＸＹＺ）のＺ＝０は透視座標系（ｘｙｚ）のｚ＝ｆ（またはｚ＝−∞）に対応し、Ｚ＝１はｚ＝∞（またはｚ＝−ｆ）に対応している。そのため、図２３（ｂ）は直交座標系（ＸＹＺ）において無限遠（Ｚ＝１）からの光束が、レンズ面上の手前の焦点面（Ｚ＝０）で広がりを持つことを示している。（特許文献１の図３およびその説明を参照）
ここで、変換座標上の観察角φ_Ｔを、視線（−ｓ，−ｔ，１）と光軸（Ｚ軸）がなす角と定義すると、図２３（ｂ）からも明らかなように視線は、被写体の位置に依存しないので、観察角φ_Ｔは以下の式で求められる。

なお、図２３（ｂ）の２本の点線はレンズ面上の最も端を通る光線を示しており、座標変換前の透視座標系（ｘｙｚ）でのレンズの絞り半径をｒａとすると、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）が半径ｒａの内部にある場合のみ視点画像は計算できる。

次に、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて述べる。
スネルの法則では屈折率の異なる境界に光線が入射したとき、光線の入射角と入射側の媒質の屈折率の積は、光線の屈折角と屈折側の媒体の屈折率の積に等しい。標本の屈折率は空気の屈折率よりも大きいことから、空気中の観察角に比べ標本中の観察角は小さくなっている。そのため、屈折した光線で構成される、標本中の３次元的な焦点ぼけは、空気中での３次元的な焦点ぼけよりも小さくなっている。しかし、本実施例では標本と標本中での３次元的な焦点ぼけによる３次元的な結像関係に基づいて視点の位置を計算しているため、標本の屈折率の影響は考える必要はなく、偏角θおよび観察角φはそのまま標本中での観察方向を表している。
結像光学系が両側テレセントリックである場合には、座標変換を必要としないため、ｘ方向とｙ方向のセンサ画素ピッチが等しいとすれば、観察角φは、ｘ方向のセンサ画素ピッチΔｘと、ｚ方向の移動間隔Δｚ（単位はμｍ）を用いて、下記式で表現できる。

なお、結像光学系が両側テレセントリックでない場合には、数５でΔｘとΔｚの代わりに、直交座標系（ＸＹＺ）におけるＸ方向のセンサ画素ピッチΔＸとＺ方向の移動間隔ΔＺを用いれば観察角φが求められる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を視点（ｓ，ｔ）と略して記載する。また、以降の説明では、直交座標系（ＸＹＺ）上での画像処理を前提として説明するため、視点の位置（ｓ，ｔ）に言及する場合のみ透視座標系（座標変換前の実空間）での位置を表すものとし、その他は特に断りが無い限りは、直交座標系（ＸＹＺ）での位置を表すとする。

図５の撮像装置で取得したＺスタック画像に対し特許文献１の方法を適用すると、視点の位置、即ち観察方向を変えた視点画像を生成することが出来る。
特許文献１の方法で計算する視点画像は、非常に深い（無限大の）被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える、という特徴を有している。

図６（ａ）は、直交座標系（ＸＹＺ）での光学系の３次元的なぼけを表す図である。６００は３次元的なぼけ形状を示し、ピント位置（２つの円錐の頂点）では焦点ぼけは僅かだが、Ｚ位置がピント位置から離れるに従い、焦点ぼけが広がる様子を示している。特許文献１の方法を用いれば、Ｚスタック画像から円錐６００の内部を通る任意の視線方向（例えば直線６１０）の光線で構成される視点画像を生成することが出来る。

図６（ｂ）は直交座標系（ＸＹＺ）での病理標本（検体）を異なる方向から見た様子を示す。図６（ｂ）の標本６２０の内部には斜め方向の空洞６３０が存在している。
方向６３１から観察すると空洞６３０以外の部位が透けて見える為、空洞６３０の壁面のコントラストは明瞭ではない。また方向６３２から観察した場合も同様で空洞６３０のコントラストは不明瞭である。しかし空洞６３０の壁面に沿った方向６３３から観察する場合、他の部位の影響を受けないので、空洞６３０の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。

一方、標本６２０のＺスタック画像においては、いずれのＺ位置（焦点位置）のレイヤー画像においても、方向６３１〜６３３の光線を含む多方向の光束の影響を受ける為、空洞の壁面のコントラストは方向６３３からの観察像に比べて明瞭にはならない。この現象は空洞に限らず、核や細胞膜、線維等においても同様である。

そのため、元画像であるＺスタック画像またはレイヤー画像をそのまま用いるよりも、コントラストが明瞭な視点画像を用いる方が、よりエッジ検出がしやすいことが分かる。従って、Ｚスタック画像から視点画像を分解し（「視点画像の分解」は「視点画像の生成」と同じ意味である）、視点画像に対してエッジ抽出または強調処理を行うことで、エッジの検出性能を高めることが出来る。この方法により、元画像（レイヤー画像）からは検出が難しかったコントラストが弱い構造のエッジを、精度良く検出できるようになり、画像解析や画像診断に有用な情報が得やすくなる。
なお、本明細書では、画像からエッジ部分の像もしくは情報のみを取り出す操作をエッジの抽出と呼び、画像中のエッジ部分の像もしくは情報の識別性を向上させる操作をエッジの強調と呼ぶ。ただし、エッジの抽出と強調を特に区別する必要がない場合には、両方を包含する用語としてエッジ処理という用語を用い、エッジ処理によってエッジが抽出または強調された画像のことをエッジ画像と呼ぶ。

以下、画像生成装置１００の具体的な実施例について説明する。

［実施例１］
（エッジ抽出設定画面）
図７（ａ）、図７（ｂ）は実施例１におけるエッジ抽出機能の設定画面の一例である。
図２の画像表示アプリケーションで表示画像中の領域２０７をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー２０８から「視点分解エッジ抽出」（不図示）の項目を選択する。それに対応してエッジ抽出処理前後の画像を示す新規ウィンドウ７００（図７（ａ））およびエッジ抽出機能の設定画面７０３（図７（ｂ））が表示される。ウィンドウ７００の左側領域７０１には領域２０７内の画像が表示され、右側領域７０２にはエッジ抽出処理結果の画像が表示される。

エッジ抽出機能の設定を変更する場合には、設定画面７０３を操作する。ユーザがマウスにより視点分解設定ボタン７０４を押下すると、エッジ抽出に用いる視点画像の方向（３次元的な観察方向）を決める為の設定画面が表示される。なお、視点の数は１つでも複数でも良い。詳細は後述する。ユーザが視点エッジ抽出設定ボタン７０５を押下すると、視点画像からエッジを抽出する方法やパラメータを設定する視点エッジ抽出設定画面が表示される。エッジを抽出する方法としては種々の方法が選択可能であり、詳細は後述する。ユーザが視点エッジ統合設定ボタン７０６を押下すると、視点画像からエッジを抽出した画像（以降、視点エッジ抽出像と呼ぶ）を統合した画像（以降、視点エッジ統合像と呼ぶ）を生成するための設定画面が表示される。ここでは各視点エッジ抽出像に対する重み付けの設定を行う。また必要ならばオプションで視点エッジ抽出像を統合した後のノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。オーバーレイ表示７０７はチェックボックスであり、この設定を有効にすると右側領域７０２には選択領域２０７内の画像とエッジ抽出像が重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン７０８を押すと、視点画像の生成とエッジの抽出が行われ、処理結果が表示される。詳細は後述する。

７１０はウィンドウ７００内で右クリックすることで呼び出し可能な機能拡張メニューである。機能拡張メニュー７１０の中にはＮ／Ｃ比算出（不図示）等の画像解析の項目が並んでいる。項目を選択すると、画像解析処理の設定画面（不図示）が表示され、ウィンドウ内の選択領域あるいは全体に対して解析処理を実行し、処理結果を表示する。詳細は後述する。

（エッジ抽出処理）
図８は前述の実行ボタン７０８を押下した際に実行されるエッジ抽出処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像生成プログラムによって実現されるものである。

Ｚスタック画像取得ステップＳ８０１では、画像表示アプリケーションで表示中の画像選択領域２０７の座標を元に、メインメモリ３０２または記憶装置１３０に格納されたＺスタック画像から必要な範囲のデータを取得する。なお、Ｚスタック画像が他のコンピュータシステム１４０に存在する場合にはネットワークＩ／Ｆ３０４を通じてデータを取得し、メインメモリ３０２に格納する。

続いて、視点分解エッジ抽出・統合処理ステップＳ８０２では、被写体に対する視線方向（観察方向）を決める視点の情報に基づき、Ｚスタック画像から複数の視点に対する視点画像を生成する（この操作を視点画像への分解ともいう）。そして、各視点画像からエッジを抽出して視点エッジ抽出像を生成し、それらを統合して視点エッジ統合像を生成する。詳細は後述する。

続いて、輪郭抽出処理ステップＳ８０３では、視点エッジ統合像から輪郭を抽出した輪郭抽出像を生成する。なお、ステップＳ８０３の処理は必須ではなく、不図示の設定に従って適用／不適用が変更できる。詳細は後述する。

最後に、画像表示処理ステップＳ８０４では、輪郭抽出像、視点エッジ抽出像、あるいは視点エッジ統合像を画像表示アプリケーションの表示倍率に合わせて拡大／縮小し、右側領域７０２に表示する。オーバーレイ表示７０７が有効である場合、選択領域２０７内の画像に輪郭抽出像、視点エッジ抽出像、あるいは視点エッジ統合像を重ね合わせて表示する。この際、選択領域２０７内の画像に対し、対応する位置の視点エッジ抽出像あるいは視点エッジ統合像を加算した画像を右側領域７０２に表示しても良い。またさらに、加算した画像を、選択領域２０７内の画像と明るさが近くなるように諧調補正した画像を右側領域７０２に表示しても良い。複数の視点エッジ抽出像を一定の時間間隔で切り替えるアニメーション表示を行っても良い。このとき、輪郭抽出像、視点エッジ抽出像、あるいは視点エッジ統合像はチャネル（ＲＧＢ）毎に色を付けて表示しても良いし、標本の色と重ならない別の色に変更しても良い。ここで表示に用いられる画像（輪郭抽出像、視点エッジ抽出像、視点エッジ統合像、又は、それらを元画像に合成した画像）は、いずれも画像観察や画像診断に適した観察用画像である。

（視点分解エッジ抽出・統合処理）
図９は視点分解エッジ抽出・統合処理Ｓ８０２の内部処理を示すフローチャートである。
まず、視点取得処理ステップＳ９０１では、後段のステップＳ９０２において視点画像の生成に必要な視点の位置情報を取得する。ステップＳ９０１では予め定められた視点の位置情報を、メインメモリ３０２や記憶装置１３０、他のコンピュータシステム１４０から取得しても良い。またステップＳ９０１では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。

続いて、視点画像生成ステップＳ９０２では、ステップＳ８０１で取得した選択領域２０７のＺスタック画像を元に、ステップＳ９０１で求めた視点に対応する視点画像の生成を行う。なお、Ｚスタック画像から任意の視点画像を生成する方法（ＭＦＩ任意視点／焦点ぼけ画像生成法）には、前述の特許文献１、非特許文献２、３等の方法をはじめとして、如何なる方法を用いてもよい。

続いて、視点エッジ抽出処理ステップＳ９０３では生成した視点画像に対し、視点エッジ抽出設定（７０５）に基づき、エッジ抽出処理を行う。視点が複数存在する場合は、視点数分の視点エッジ抽出処理を実行する。詳細は後述する。
続いて、視点エッジ統合像生成ステップＳ９０４では、視点エッジ統合設定（７０６）に基づき、ステップＳ９０３で生成した複数の視点エッジ抽出像を合成し、視点エッジ統合像を生成する。詳細は後述する。
以下、視点取得処理ステップＳ９０１、視点エッジ抽出処理ステップＳ９０３、視点エッジ統合像生成ステップＳ９０４の詳細を説明する。

（視点取得処理ステップＳ９０１）
以下、視点分解設定（７０４）に基づき、視点取得処理ステップＳ９０１で視点の位置情報を計算する場合について説明する。
図１０（ａ）の視点分解設定画面１００１は、視点分解設定ボタン７０４の押下時に表示される設定画面の一例である。ここではエッジ抽出に用いる視点画像の視点位置を設定する。
設定画面１００１では視点の設定方法として直接設定とメッシュ設定の２つが選択できる。直接設定では、視点数と視点の位置（ｓ，ｔ）をユーザに直接指定させる。一方、メッシュ設定では、外径、内径（中心遮蔽）、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。

「外径」には、計算する視点の最大のズレ量を指定し、「内径（中心遮蔽）」には、計算する視点の最小のズレ量（つまり計算しない視点の最大のズレ量）を指定する。ここでは、レンズ面上の原点を中心とする距離（半径）によって、外径および内径（中心遮蔽）の値を設定する。なお、外径にはレンズ面上での光学系の半径ｒａを越える値は設定できない。「離散化ステップ」は、「外径」で規定される円から「内径」で規定される円を除いたドーナツ状の領域内に、視点画像を生成する視点の位置を離散的に設定するための刻み間隔である。離散化ステップが細かい程、計算する視点数は増加する。

なお上述の円以外にも様々な形状の設定が可能である。例えば、半径の異なる複数の同心円や中心から放射線上に伸びる直線が設定できる。同心円設定の場合、各々の円の半径、各々の円上の視点の密度を決める離散化ステップ（例えば、角度間隔の設定）が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔（例えば、角度間隔の設定）や放射線上の視点の密度を決める離散化ステップが設定できる。

（視点エッジ抽出処理ステップＳ９０３）
図１０（ｂ）の視点エッジ抽出設定画面１００２は、視点エッジ抽出設定ボタン７０５押下時に表示する設定画面の一例である。ここでは視点画像からエッジ抽出を行う際に用いるエッジ抽出方式やパラメータを設定する。

設定画面１００２の方式欄では、視点画像に適用するエッジ抽出方式が選択できる。
エッジ抽出方式としては多数の方式が存在する。例えば、エッジ抽出フィルタには、１次微分フィルタであるＳｏｂｅｌフィルタやＰｒｅｗｉｔフィルタ、２次微分フィルタであるラプラシアンフィルタやその派生形のＬＯＧ（Laplacian Of Gaussian）フィルタが
ある。また、エッジ抽出フィルタには、フーリエ周波数上で処理するハイパスフィルタ、バンドパスフィルタなどがある。また、画像をフーリエ変換し、振幅スペクトルを１に規格化した後に逆フーリエ変換すると、形状情報が強調されたフーリエ位相画像が得られるので、これもエッジ抽出の一つである。２次微分が０になる位置を求めるゼロクロス検出法、方向性を持つ配列を用いてエッジを検出するプレウィットテンプレートマッチングも適用できる。また、顔認識や指紋認識などで用いられるガボールフィルタによるエッジ抽出、コンピュータビジョン分野で良く用いられるCanny Edge Detectorなども適用できる
。また、ノイズ除去手法の１つであるバイラテラルフィルタは、エッジを保ちつつ、ノイズを除く特徴をもつ。バイラテラルフィルタを繰り返し適用することでエッジと平坦領域の差が際立つため、この手法もエッジ抽出方式の一つとして用いることができる。また前述の方式の組合せによるエッジ抽出も可能である。

上記のように視点画像に適用するエッジ抽出処理には、様々な方式のものやそれらを組み合わせたものを利用できる。ただし、本実施例においては、視点エッジ統合像からエッジを検出するときの検出性能を高めるために、線型性を持たない（つまり非線型の）エッジ抽出処理を用いることが望ましい。以下、その理由について説明する。

一般に線型性とは、関数ｆ（ｘ）が以下の性質を持つことをいう。
・任意のｘ，ｙに対して、ｆ（ｘ＋ｙ）＝ｆ（ｘ）＋ｆ（ｙ）
・任意のｘ，ａに対して、ｆ（ａｘ）＝ａｆ（ｘ）

エッジ抽出処理は画像に対する関数として捉えることができるため、その線型性も同じように定義することができる。
例えば、エッジ抽出処理をｈ、ｉ番目の視点画像をＩｉで表すと、このエッジ抽出処理が線型性を満たす場合、

が成立する。この式は、各視点画像Ｉｉから得られた視点エッジ抽出像ｈ（Ｉｉ）を統合した結果である視点エッジ統合像Σｈ（Ｉｉ）が、視点合成画像ΣＩｉに対するエッジ抽出処理結果ｈ（ΣＩｉ）と等価であることを示している。
言い換えると、エッジ抽出処理が線型性を持たないとは、複数の画像Ｉｉを合成した後にその合成画像ΣＩｉに対してエッジ抽出処理を施した結果ｈ（ΣＩｉ）と、各画像Ｉｉに対してエッジ抽出処理を施した後にそれらを合成した結果Σｈ（Ｉｉ）とが、一致しない性質ということができる。

前述の通り、視点合成画像では様々な方向からの光線が集まり、ピント位置前後の物体のコントラストが低下する傾向がある。そのため、線型性を持つエッジ抽出処理を用いると、視点エッジ抽出像を統合したときに各視点画像におけるエッジ抽出効果が、互いに打ち消され、全体的に弱まってしまう。従って、統合によってエッジ抽出効果が打ち消されないよう、非線型性を持つエッジ抽出処理を用いることが望ましい。

非線型性を持つフィルタを用いれば、エッジ抽出処理の非線型性は成立する。線型性を持つフィルタを用いる場合であっても、フィルタの出力（エッジ抽出結果）に対して加工（例えば、絶対値、２乗値、２値化）を施した後、統合することで、非線型性を実現できる。例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔフィルタでは、画像内の画素位置Ｉ（ｉ，ｊ）に対しそれぞれｘ方向およびｙ方向の微分値を求めた後、勾配の大きさｇ（ｉ，ｊ）を求める。勾配の計算式として以下の例がある。いずれも線型フィルタを用いながら、非線型性を実現している。

ただし、ｆｘ＝Ｉ（ｉ＋１，ｊ）−Ｉ（ｉ−１，ｊ）、ｆｙ＝Ｉ（ｉ，ｊ＋１）−Ｉ（ｉ，ｊ−１）であり、ｍａｘ（）は括弧内の引数の中から最大値を採る関数である。
また、視点画像毎に適用するフィルタを変えることも有効である。以下の式のように、ｉ番目の視点画像に適用するフィルタ操作の関数をｈｉとすると、すべてのｈｉが同一のフィルタでない限り、線型性は成立しない。

エッジ抽出処理においては、視点画像の視線方向に応じて、適用するエッジ抽出処理のパラメータを変更することが好ましい。視点画像では、元画像に比べて視線方向に近い方向を持つ構造のコントラストが明瞭になり、それ以外の方向の構造のコントラストは明瞭になりにくい。それゆえ、ＸＹ平面内の視線方向に直交するエッジが抽出または強調されるようにエッジ抽出処理のパラメータを変更すれば、エッジの抽出または強調を効率的に
（効果的に）行うことができる。具体的な方法としては、視線方向とエッジ検出方向とが一致するように、視線方向に合わせてフィルタの係数を適応的に変更すれば良い。
図１１（ａ）〜図１１（ｈ）にプレウィットテンプレートマッチングで用いる３×３のテンプレートの例を示す。３×３のテンプレートの下に記載されている矢印はエッジ検出方向を表している。フィルタの９個の係数の配列を変えることでエッジ検出方向を制御できる。これらのフィルタを用いる場合、矢印で表されるエッジ検出方向とＸＹ平面内の視線方向を一致させると良い。

また、視線方向に直交するエッジを検出するフィルタとして２次元ガボールフィルタを用いることも出来る。２次元ガボールフィルタはガウス関数とcos関数との積で表される
フィルタであり、下記の数式で表される。

λはcos関数部の波長成分、ψはcos関数部の位相オフセット、θは関数の縞模様の方向、σはガウス関数部の分散、γはガウス関数部の縦横のアスペクト比を表す。
２次元ガボールフィルタは任意の方向に係数を変化させることが出来るため、生成すべき視点画像の視線方向に合わせたフィルタを作ることでエッジの検出効果をより高めることができる。

図１２は視線方向に依存した視点エッジ抽出処理Ｓ９０３の内部処理を表すフローチャートである。図１２に示す処理は、図９に示すように、すべての視点について繰り返し実行される。

まず、視点偏角算出ステップＳ１２０１では処理対象の視点の偏角を算出する。図２３（ａ）に示すように、所定の視点の位置を（ｓ_ｐ，ｔ_ｐ）とする場合、視点の偏角θ_ｐは、

で計算できる。ただし、偏角はｓ，ｔの符号に応じて−１８０〜＋１８０度の範囲に収まるように調整する。

なお、視点の動径ｒ_ｐは、

で計算できる。また視点の位置（ｓ_ｐ，ｔ_ｐ）は偏角θ_ｐと動径ｒ_ｐを用いれば、

で表現できる。

続いてステップＳ１２０２では、ステップＳ１２０１で算出した視点の偏角に基づいてフィルタの読み出しまたは生成を行う。
視線方向に依存したエッジ抽出フィルタとして図１１（ａ）〜図１１（ｈ）に示すプレウィットテンプレートマッチングの配列を用いる場合、向きは８方向に限定されるため、視点の偏角に最も近い方向の配列を選択し、フィルタを読み出す。またエッジ抽出フィルタとして２次元ガボールフィルタを用いることも可能で、θに視点の偏角を設定してフィルタを生成すれば、任意の視線方向に沿って係数が変化するフィルタが生成できる。なお、２次元ガボールフィルタのλやσは画素ピッチ、倍率に基づく既定値でも良いし、視点の動径に対応させた値でも良い。またλやσを被写体の特徴等に基づいて変化させても良い。
続いて、フィルタ処理ステップＳ１２０３では、ステップＳ１２０２で読み出しまたは生成したフィルタを用いて、視点画像に対してフィルタ処理を行い、エッジの抽出を行う。

図１２の処理の変形例について説明する。プレウィットテンプレートマッチングやガボールフィルタによるエッジ抽出のように、１つの視点画像に複数方向（例えば８方向）のフィルタを適用し、複数方向のエッジ抽出性能を高めつつ、線型性を成立しないようにすることは可能である。例えば、視点画像毎に、視点の偏角に対応するフィルタでエッジ抽出した結果を他のフィルタの結果よりも強調し、統合すれば、視点によってフィルタの強度が変わることになるため、フィルタが固定であっても線型性は成立しない。

図１３は視点画像毎に多方向からエッジ抽出を行う場合の、視線方向に依存した視点エッジ抽出処理の内部のフローチャートの一例である。図１３の処理も、図１２の処理と同じく、視点毎に繰り返し実行される。

視点偏角算出ステップＳ１３０１では、ステップＳ１２０１と同様、処理対象の視点の偏角を算出する。
次にステップＳ１３０２では、フィルタ方向毎の強度変倍率の和を格納する変数Ａ１および視点エッジ抽出像を格納する２次元バッファＢ１のそれぞれを０で初期化する。

続いて、ステップＳ１３０３では、個々の視点画像に対し繰り返し適用するフィルタの中の１番目のフィルタの読み出しまたは生成を行う。例えば、図１１（ａ）〜図１１（ｈ）に示す８つのフィルタを順に適用する場合、１番目に設定したフィルタ（例えば図１１（ａ））を読み出す。また個々の視点画像に対しθを変えたＮ個（例えば１６個）の２次元ガボールフィルタを適用する場合には、１番目の角度θを設定し２次元ガボールフィルタの読み出しまたは生成を行う。
続いて、フィルタ処理ステップＳ１３０４では処理対象の視点画像に対し、ステップＳ１３０３またはステップＳ１３０９で読み出しまたは生成したフィルタを用いてフィルタ処理を行う。

続いて、方向判定ステップＳ１３０５では、視点偏角算出ステップＳ１３０１で求めた視点の偏角とフィルタ処理ステップＳ１３０４で視点画像に適用したフィルタのエッジ検出方向が一致するか、又は両者の角度の差Δθが所定範囲に収まるか否かを判定する。所定範囲に収まるかを判定する理由は、現在のフィルタのエッジ検出方向が隣接するフィルタのエッジ検出方向よりも視点の偏角に近いかを判断する為である。例えば図１１（ａ）〜図１１（ｈ）に示す８つのフィルタを適用する場合、所定範囲は−２２．５度以上２２．５度未満となる。
方向判定ステップＳ１３０５の判定結果が真であれば変数Ａ１に強度変倍率Ｍ（Ｍは１より大きい実数。例えばＭ＝３。）を加算しステップＳ１３０６に進む。偽であれば変数
Ａ１に１を加算し、加算処理ステップＳ１３０７に進む。

強調処理ステップＳ１３０６では、フィルタ処理ステップＳ１３０４で求めたフィルタ処理結果の画像の画素値をＭ倍に強調する。例えば、図１１（ａ）〜図１１（ｈ）に示す８つのフィルタを用いる場合に、視点の偏角が０度であり、フィルタの方向も同様に０度で両者が一致する場合には、フィルタ処理結果の画像の画素値はＭ倍に変倍される。
続いて、加算処理ステップＳ１３０７では、視点画像をエッジ抽出（条件によってはさらに強度をＭ倍）した結果を２次元バッファＢ１に加算する。

続いて、ステップＳ１３０８では処理対象の視点画像に全てのフィルタを適用したか判定する。偽の場合にはステップＳ１３０９に進み、次のフィルタを読み出しまたは生成し、フィルタ処理ステップＳ１３０４に進む。真の場合には、正規化処理ステップＳ１３１０に進む。
続いて、正規化処理ステップＳ１３１０では２次元バッファＢ１の各画素の値を変数Ａ１の値で割る。
上記の処理により、１つの視点画像に対し多数のフィルタを適用する場合でも、線型性が成立しない視点エッジ抽出処理が実現できる。
なお、フィルタ処理ステップＳ１３０４では、フィルタの処理結果の絶対値や２乗値などを求めることで、非線型性を実現しても良い。その場合でも同様に、方向性判定ステップＳ１３０５で視点の偏角とフィルタの方向が一致する場合には、強調処理ステップＳ１３０６に進み、処理結果を強調することでエッジ抽出処理の効果を高められる。
また、既に述べたように、図１３に示す処理以外でも線型性が成立しないようにできる。例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔフィルタと同様に、複数の方向から適用した線型フィルタの処理結果を集め、それぞれの２乗値の和の平方根、絶対値の和、絶対値の最大値などを求めて、最終的なフィルタ結果とすることで非線型性を実現できる。

なお、視点エッジ抽出処理はフーリエ変換上で行っても良い。２次元ガボールフィルタのようにフィルタのサイズが大きい場合、フィルタ処理はフーリエ変換上で処理する方が早い。その場合、処理後に逆フーリエ変換する必要はなく、後段の視点エッジ統合像生成で逆変換すればよい。
また、視点エッジ抽出設定画面１００２ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による２値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つエッジを抽出し、よりＮ／Ｃ比を検出しやすくすることができる。

（視点エッジ統合像生成ステップＳ９０４）
図１０（ｃ）の視点エッジ統合設定画面１００３は視点エッジ統合設定ボタン７０６押下時に表示する設定画面の一例である。ここでは視点エッジ抽出像を統合する際の合成方法を設定する。設定画面１００３には各々のエッジ抽出像を統合する際の合成方法を選択するリストボックスがあり、「均等」、「ガウスぼけ」、「最大値の選択・合成」など、様々な合成方法を選択可能となっている。ここで「均等」は等しい重み付けで、「ガウスぼけ」は各視点の原点（光軸上）からの距離に従ってガウス関数で求めた重み付けで各々のエッジ抽出像を合成する方法を示す。また「最大値の選択・合成」は各々のエッジ抽出像の同位置の画素値を比較し、最大の画素値を選択することで各々のエッジ抽出像と同じサイズの合成像を作る方法を示す。

視点エッジ統合像生成ステップＳ９０４では、複数の視点エッジ抽出像を統合し、視点エッジ統合像を生成する。
なお、視点エッジ抽出像がフーリエ空間周波数表現のままの場合、フーリエ変換上で統合し、その後、逆フーリエ変換を行う。フーリエ変換では線型性が成立するため、空間で
統合しても、周波数上で統合してから逆変換しても結果は一致する。
また、視点エッジ統合像生成ステップＳ９０４では、視点エッジ抽出処理ステップＳ９０３同様にエッジ抽出像に含まれるノイズを除去する為、ノイズ除去を行っても良い。その場合、設定画面１００３でノイズ除去設定を行う。
なお、図１０（ａ）〜図１０（ｃ）に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。

以上、本実施例における視点分解エッジ抽出・統合処理（図８のＳ８０２）について述べた。

（輪郭抽出処理）
続いて輪郭抽出処理（図８のＳ８０３）の一例について述べる。
視点エッジ統合像ではエッジが強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、視点エッジ統合像を２値化し（２値化の閾値は予め決められた値を用いても良いし、動的に決めても良い）、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、視点エッジ統合像から輪郭抽出像が得られる。

（画像の表示・解析）
続いて画像表示処理Ｓ８０４を経て、画像表示アプリケーション上に視点エッジ抽出像、視点エッジ統合像あるいは輪郭抽出像を示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の３次元構造をイメージしやすくなる。

さらに、ウィンドウ７００内でマウスを右クリックすることにより機能拡張メニュー７１０を呼び出し、Ｎ／Ｃ比（核／細胞質比）算出等の項目を選択することで、画像解析を行うことが出来る。

図１４はＮ／Ｃ比算出の処理フローの一例である。
Ｎ／Ｃ比算出にあたっては左側領域７０２内の選択領域２０７の画像と輪郭抽出像の２枚の画像を用いることを前提とする。以下、画像中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。

まず、核領域決定処理ステップＳ１４０１では核領域の決定を行う。例としては以下の方法がある。ＨＥ染色では核内は濃青に染色される為、輪郭抽出像内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、核領域か否かを判別できる。判別に用いる比率及び色域は、予め複数のサンプルを用いて学習すれば良い。

続いて、細胞質領域決定処理ステップＳ１４０２では細胞質領域の決定を行う。ＨＥ染色では細胞質はピンク色に染色される。従って、核領域決定処理と同様、輪郭抽出像内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、細胞領域か否かを判別できる。その後、細胞領域から、ステップＳ１４０１で核領域と見なされた閉領域を除外することにより、細胞質領域を特定する。ここでの判別に用いる比率及び色域も、予め複数のサンプルを用いて学習すれば良い。

自動処理では十分な精度が出ない場合には、ユーザが介在（補助）して領域決定を行っ
ても良い。その場合、ステップＳ１４０２の後、ＧＵＩでユーザに輪郭、核領域、細胞領域を修正できる設定画面を表示する。

最後にＮ／Ｃ比算出処理ステップＳ１４０３では、上記で求めた核領域の面積を細胞質領域の面積で割り、Ｎ／Ｃ比を求める。
上記で述べたＮ／Ｃ比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。

（本実施例の利点）
以上述べたように、本実施例ではＺスタック画像を視点画像に分解し、エッジ抽出を行うことにより、光学系や露出条件の変更を行うことなく、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。それにより診断に有用な画像の提示、Ｎ／Ｃ比の算出等の診断支援機能が実現できる。

なお、本実施例では実行ボタン７０８が押されたときに視点分解エッジ抽出・統合処理を実行するようにしたが、図７（ｂ）、図１０（ａ）〜図１０（ｃ）に示す設定パラメータが変更される度に視点分解エッジ抽出・統合処理を実行するようにしても良い。そうすると、設定パラメータの変更に同期してリアルタイムに処理結果が表示されることとなる。この構成の場合には、図７（ｂ）、図１０（ａ）〜図１０（ｃ）に示す設定項目を１つの設定画面内に展開して配置すると良い。このような実装形態も本発明の範疇となる。

［実施例２］
実施例１では視点画像からエッジを抽出したが、実施例２では、視点画像からエッジを強調した画像を生成する方法について説明する。ただし、実施例１との違いは僅かである為、実施例１の説明図の一部を読み変えて説明する。
以降、図７〜１０内の各ステップおよび各部の名称での「エッジ抽出」の用語を「エッジ強調」に読み変えて、その差異点について説明する。

図９の視点エッジ強調処理Ｓ９０３で用いるエッジ強調方式は、図１０（ｂ）に示される視点エッジ強調設定画面１００２において設定可能である。選択できるエッジ強調方式の一例にアンシャープマスクがある。

アンシャープマスクとは画像の鮮鋭化手法の一種であり、原画像から、原画像をぼかした画像を減算し、その差分画像に閾値処理や強調処理を施したものを原画像に加算することで、鮮鋭化を実現する。原画像Ｉ（Ｘ，Ｙ）にアンシャープマスクを適用した結果の画像Ｕ（Ｘ，Ｙ）は下記の式で表現できる。

Ｉ（Ｘ，Ｙ）は原画像、Ｄ（Ｘ，Ｙ）は差分画像、Amountは原画像への差分画像の適応量である。

差分画像Ｄ（Ｘ，Ｙ）は、下記の式で計算される。

原画像Ｉ（Ｘ，Ｙ）にガウス関数Ｇ（Ｘ，Ｙ）を畳み込んで得られるぼけ画像を、原画像Ｉ（Ｘ，Ｙ）から減算したものが、差分画像Ｄ（Ｘ，Ｙ）である（**は２次元の畳み込み演算を表す記号とする。）。なお、ガウス関数Ｇ（Ｘ，Ｙ）は下記の式で表現できる。

上記のようにアンシャープマスクを用いれば、ガウス関数の標準偏差σ、差分画像の適応量Amount、閾値Thresholdの３つを調整することで原画像Ｉ（Ｘ，Ｙ）への変更量を制
御し、エッジを強調した画像が生成できる。
本実施例では、視点画像ごとにアンシャープマスクを適用し、エッジを強調した画像を生成する。閾値Thresholdを適切に設定することで、比較的コントラストが低い部分は変
更を施さずそのままとし、コントラストが高いエッジの部分をより強調することが出来る。これによりピント位置の像に対する強調処理では実現できない効果が得られる。

図９の視点エッジ統合像生成ステップＳ９０４では、視点毎の視点エッジ強調像を統合し、出力する。
図１０（ｃ）の視点エッジ統合設定画面１００３では実施例１と同様に視点エッジ強調像を統合する際の合成方法が選択可能である。視点エッジ統合像を観察するとき、エッジ部分はコントラストが強調されている方が良いが、エッジ以外の部分については、ピント位置の像に見た目が近い方が観察しやすい（不自然さが小さい）。そのような画像を得たい場合には、視点エッジ統合設定画面１００３ではガウスぼけのような、元の光学系の３次元ぼけに近い重み付けの設定を選択すると良い。
生成された視点エッジ統合像は、図８の画像表示処理ステップＳ８０４により、ウィンドウ７００の右側領域７０２に表示される。

なお、本実施例ではアンシャープマスクを用いたエッジ強調について説明したが、視点画像中のエッジを選択的に強調できる手法であれば、その他の方法でも構わない。例えば、ガウスぼけ以外のぼけ関数を用いて原画像をぼかし、差分画像を求めても良い。前述のぼけ関数は実施例１と同様に、非線型の関数、視点に依存して変化する関数を用いても良い。また、差分画像の適応量Amountや差分画像に対する閾値Thresholdを画像に依存して
可変にしても良い。また、本実施例を用いて生成した強調画像を、公知の診断支援アルゴリズムに入力することで、実施例１と同様、Ｎ／Ｃ比等の定量評価値の算出精度を高める効果を実現できる。

以上述べたように、本実施例の構成によれば、光学系の切り替えや露出等の撮影条件の変更を伴う撮像なしに、細胞膜や細胞境界、細胞と管や腔との境界を強調した観察しやすい標本画像の生成が可能となり、医師の診断効率を高められる効果が実現できる。

［実施例３］
本実施例では、Ｚスタック画像から事前に計算する視点を求めることで、エッジの抽出や強調をより効果的に行うとともに、計算負荷低減を図る方法について述べる。
これまでの実施例１、２では、視点分解設定（図１０（ａ）参照）においてユーザが計算する視点の位置を設定する方法について説明した。しかし、事前に元画像に含まれるエッジの方向が分かるならば、よりエッジが抽出しやすい視点を決定することが出来る。そこで本実施例では、Ｚスタック画像を解析することにより元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定する。これにより、エッジの抽出や強調をより効果的に行うことができるとともに、計算する視点画像の数を減らすことで計算負荷の低減を期待できる。

図１５は本実施例における視点分解エッジ抽出・統合処理（図８のステップＳ８０２）のフローチャートである。
視点決定処理ステップＳ１５０１では、図８のＺスタック画像取得ステップＳ８０１で取得したＺスタック画像を解析し、観察に適した視点を決定する。以降の視点画像生成ステップＳ１５０２以降の処理は図９の同一名称の処理と同様の為、説明を省略する。

視点決定処理の詳細について説明する。図１６は視点決定処理ステップＳ１５０１の内部処理を示すフローチャートである。
代表画像取得ステップＳ１６０１ではＺスタック画像から代表画像を取得する。続いて、視点選定処理ステップＳ１６０２では代表画像の中に存在する抽出・強調したい画像のエッジの方向を推定（検出）し、それを元に観察に適した視点の位置を選定する。

ここで代表画像とはＺスタック画像の特徴を表す１枚の画像であり、抽出・強調したい画像のエッジを少ない計算負荷で求めるための画像である。例えば、代表画像の例として、Ｚスタック画像を構成する複数のレイヤー画像の中で被写体に最も良くピントが合った画像、複数のレイヤー画像から生成した全焦点画像、あるいはそれらの縮小画像などが挙げられる。

被写体に最もよくピントが合った画像の選択方法としては、レイヤー画像のそれぞれに対し、各画素で所定の矩形領域内の画素値の分散を計算する処理を画像全体に適用し、画像全体での分散の和が最大となる画像を選択する方法がある。それ以外にもオートフォーカスの分野の公知技術やその他様々な手法を適用可能である。
また全焦点画像の生成は、特許文献１の手法を用いて視線方向を光軸方向に合わせた視点画像を生成することで可能である。それ以外にも、Ｚスタック画像から奥行き方向の画素値の変化が大きい画素を選択し統合する選択的統合法など、様々な公知技術が適用可能である。
またＺスタック画像を格納するフォーマットに既に縮小画像が存在する場合には、代表画像として、その縮小画像を用いても良い。例えばＺスタック画像の各々がＪＰＥＧ２０００により圧縮符号化されている場合、Ｚスタック画像のそれぞれに離散ウェーブレット変換が施されている。そのため、離散ウェーブレット変換の低周波画像成分を取得し、画像を生成すると代表画像生成の計算負荷が低減できる。

図１７は本実施例における視点選定処理ステップＳ１６０２の内部処理を表すフローチャートである。本実施例では、ハフ変換等のエッジ検出方法を用いて元画像からエッジを検出し、その検出結果からエッジの方向を求め、その情報を視点の決定に利用する。
２値化処理ステップＳ１７０１では、代表画像に対して２値化処理を行い、２値化画像を求める。２値化処理としては、固定の閾値を用いる単純な２値化処理以外にも、画像特徴に応じて閾値を決める適応的２値化処理を用いても良い。さらにエッジの検出精度を高めるために、２値化処理を行う前に、代表画像に対し実施例１で述べた様々なエッジ抽出処理を施しても良い。

続いてハフ変換ステップＳ１７０２では、２値化画像に対しハフ変換を行う。ハフ変換ではＸＹ空間の１点を通りうる直線を、別の空間（例えばθρ空間）での軌跡に変換する変換であり、変換空間上で投票数の多い点からＸＹ空間中の直線、即ちエッジの方向を求めることができる。θρ空間の場合、ρは原点からＸＹ空間の直線に降ろした垂線の長さ、θは垂線とＸ軸のなす角である。

続いて上位投票位置取得ステップＳ１７０３では、ハフ変換のθρ空間上で投票数の多い上位Ｎａ個を選び、それぞれのθρ座標を取得する。
続いて視点位置計算ステップＳ１７０４では、上位投票位置取得ステップＳ１７０３で取得したθ座標を元に、視点の位置（ｓ_ｐ，ｔ_ｐ）を計算する。はじめにθρ空間のθ座標はＸＹ空間上の直線（エッジ）に直交する方向の角度を表すことから、θを視点の偏角θ_ｐに設定する。つぎに予め定めた視点の動径ｒ_ｐの値（例えば５つ）と、視点の偏角θ_ｐを用いて視点の位置を計算する。なお、視点の動径には、予め定めた固定値、又は、画素ピッチ、倍率、被写体の特徴を元に決めた値を設定する。

図１９（ａ）〜図１９（ｄ）は病理標本の模式図であり、これらの図を参照して視点位置の計算について具体的に説明する。
図１９（ａ）は筋線維などの特定の向きの画像成分が強い領域の代表画像である。例えば、図１９（ａ）の代表画像に対するハフ変換の結果から、エッジの直線と直交する角度は−３０度と求まり、それを視点の偏角に設定する。

なお、視点位置計算ステップＳ１７０４で求めた複数の視点の位置の中から、エッジのコントラスト変化が観察しやすい視点の位置を絞るには、ステップＳ１７０４の後に下記のような処理を追加するとよい。

図１９（ｂ）は前述の偏角方向でＺスタック画像をスライスした一断面の模式図である。この図は、５枚のレイヤー画像からＺスタック画像が構成されている例を模式的に示している。
視点の位置は、まず予め定めた複数の視点の動径とステップＳ１７０４で求めたＮａ個の偏角の組合せを元に算出する。
次に、Ｚスタック画像から、視点の偏角を求める際に用いたハフ変換のθρ空間上の座標に対応するＸＹ空間上の直線（エッジ）を中心とする、一定の幅Δρを持つ帯状の領域を切り出す。その結果、図１９（ｂ）に示すようなＺスタック画像が得られる。次に各々の視点に対し、視点の位置から求まる視線方向（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）に沿って前述の帯状のＺスタック画像を積算した積算画像を作る。そして積算画像の分散が最も大きくなる視点の位置を最終的な視点と定める。

なお、視点の位置を絞る際には下記のような構成を取ることで計算負荷を抑えることができる。まず、ＸＹ平面内での視線方向に直交する方向（図１９（ａ）では線維の方向に相当）にＺスタック画像の帯状の領域内を積分した２次元のデータを作成し、その後、積分した２次元データに対し視線方向に沿った積算を行い、最後に分散の計算を行う。
以上の処理により、計算に用いる視点がリストアップされる。

以上のように求めた視点から視点画像を生成すると、画像の特徴とは無関係に機械的に定めた方向（例えば、偏角４５×ｎ度：ｎ＝０〜７、動径０．２５×ｍ：ｍ＝０〜４）の視点画像よりも、画像に含まれるエッジをより強調可能な視点画像を生成できる。これにより、エッジの抽出性能を高める効果が得られる。
以上、本実施例の構成によれば、観察対象領域毎に観察に適した視点を定めることが可能となり、少ない計算負荷で高精度にエッジを抽出／強調する効果が実現できる。

［実施例４］
本実施例では、実施例３の視点選定処理とは異なる方法により、観察に適した視点の位置を求める方法を述べる。実際例３では、元画像に含まれるエッジ成分という画像特徴に基づきエッジの方向推定を行ったのに対し、本実施例では、元画像に含まれる被写体の位置関係という画像特徴に基づきエッジの方向推定を行う。

図１９（ｃ）は、細胞と細胞の境界が含まれる領域の代表画像の例である。細胞の境界にはそれぞれの細胞の細胞膜、細胞間物質（間質）などが存在する。
図１９（ａ）の画像と異なり、細胞境界（破線）のエッジは弱く、実施例３で述べた方法で直接エッジを検出することは容易ではない。この場合、細胞境界は隣接する核と核の間を横切り、その細胞境界のエッジの方向は２つの核を結ぶ方向に対し概ね直交すると推定できる。よって、近接する核の中心を結ぶ方向を視線方向として選び、視点画像を計算すると細胞境界を検出できる可能性が高くなる。

図１９（ｄ）は隣接する核の間を結ぶ直線方向でＺスタック画像をスライスした一断面の模式図である。Ｚスタック画像の視線方向での断面の模式図から、細胞境界の観察に向く視点の位置が求められることが分かる。

図１８に本実施例における視点選定処理ステップＳ１６０２の内部処理を示すフローチャートを示す。
図１８ではまず、核領域抽出ステップＳ１８０１で、取得した代表画像から細胞核が存在する領域の抽出を行う。
一般にＨＥ染色では核は濃青に染色される為、カラー画像の青チャネルを用いて適応的２値化処理を行い、その後、膨張・収縮を順に等しい回数ずつ行うクロージング処理等を用いて内部の穴を埋めることによって核領域の抽出が実現できる。この方法以外にも、細胞核領域の抽出には様々な公知の方法があり、いずれの方法を使用してもよい。なお、一定以下のサイズの領域は核では無くノイズと見なし除去するノイズ除去を行うことが望ましい。

続いて、ラベリングステップＳ１８０２では、ステップＳ１８０１で抽出したそれぞれの核領域に番号を割り当てる。ラベリングは連結した複数の画素の領域を１つのグループとして分類する処理で、既に良く知られた技術であるため説明は省略する。
続いて、重心位置算出ステップＳ１８０３では、ステップＳ１８０２で番号を割り当てた核領域に対し、それぞれの重心の位置を計算する。

ステップＳ１８０４〜Ｓ１８１２はラベル番号が割り当てられた核領域から近接する核を結ぶ直線の方向を求めるループ処理である。
ステップＳ１８０４では１番目のラベル番号を処理対象として選択する。
続いて核間距離計算ステップＳ１８０５では、処理対象のラベル番号が割り当てられた核の重心とその他のラベル番号が割り当てられた核の重心の間の距離を求める。このとき、既に距離を計算したラベル番号の組合せに対し重複計算するのを避ける為、処理対象のラベル番号以前の番号が割り当てられたラベルとの核間距離計算は省略すると良い。その場合、計算結果として以前求めた同一の組合せの核間距離計算結果を適用する。

続いてソートステップＳ１８０６では、ステップＳ１８０５で求めた距離の値を用いて、ラベルの組合せを昇順（距離が小さい組合せが上位に来る順序）に並べる。
続いて距離上位選択ステップＳ１８０７では、距離を昇順でソートした結果の上位から順に一定数Ｎｃのラベルの組合せを選択する。例えば、観察対象である標本部位の細胞の近傍には４つの細胞が存在すると仮定すれば、Ｎｃ＝４となる。

続いて視点偏角計算ステップＳ１８０８では、ステップＳ１８０７求めたラベルの組合せのそれぞれについて、核の重心を結ぶ直線がＸ軸となす角度を求める。この直線の角度は、前述の通り、２つの細胞の境界にある細胞境界と直交する角度となるため、それを視点の偏角に設定する。
続いて、視点位置計算ステップＳ１８０９では、求めた視点の偏角から視点の位置を計算する。実施例３と同様に、予め定めた、レンズの絞り半径ｒａ内の複数の視点の動径と決定した偏角から、視点の位置（ｓ，ｔ）を求める。

このとき、さらに視点を絞るには、下記のような処理を追加すると良い。
具体的には、まず２つの核の重心の中間位置を通り、視点の偏角に直交する直線を中心とした一定の幅Δρを持つ帯状の領域を切り出す。その結果、図１９（ｄ）に示すようなＺスタック画像が得られる。このとき、核の影響を除くために核が存在しない範囲でＺスタック画像を切り出すことが望ましい。
そして、各々の視点の３次元的な視線方向（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）にＺスタック画像を加算した積算画像を作り、積算画像の分散が最も大きい視点を選択する。上記の処理により細胞境界の観察に適した視点を絞ることが出来る。なお、実施例３同様、先にＸＹ平面内での視線方向に（図１９（ｃ）では細胞境界の方向に相当）にＺスタック画像の帯状の領域内を積分することで、計算負荷を抑えることができる。

続いて、視点リスト追加ステップＳ１８１０では視点位置計算ステップＳ１８０９で求めた視点の位置をリストに追加する。なお、既にリストに同一の視点位置が記録されている場合には追加を行わない。
続いて、ステップＳ１８１１では全てのラベル番号に対して処理が終了したかを判定し、終了していない場合はステップＳ１８１２に進み、処理対象を次のラベル番号が割り振られた核領域に設定する。全てのラベル番号の処理が終了した場合には視点上位選択ステップＳ１８１３に進む。

視点上位選択ステップＳ１８１３は、視点リスト中の視点数を絞る処理であり、選択領域２０７内に細胞が多数存在する場合でも、有効な視点数を一定範囲に収めることが出来る。なお、フローチャートには図示しないが、視点リスト中の視点数が所定の視点数Ｎｄ以下の場合にはステップＳ１８１３の処理は実行しない。

まず、ステップＳ１８１３ではクラスタリング等の公知の技術を用いて、視点リスト中の視点位置の分布を分析する。クラスタリングでは予め決めたパラメータを設定する。そして、各々の分布の重心を代表視点位置とし、代表視点位置毎に分布内の視点数をカウントする。続いて分布内の視点数が多い順に視点位置をソートし、上位Ｎｄ個の視点位置を選択する。これにより、視点数を絞ることができる。
以上で、細胞の核の位置関係に基づく視点選定処理を終了する。

図１５の視点決定処理ステップＳ１５０１で上記のように求めた視点の位置を出力し、続く視点画像生成ステップＳ１５０２で視点画像を作れば、核と核の間に存在する細胞境界のコントラストを高め、細胞境界の抽出精度を向上させることができる。
本実施例の構成によれば、光学系や露出等の撮影条件の変更なしに、コントラストが弱い細胞膜や細胞境界を抽出・強調することが可能となり、医師の診断効率を高める効果が実現できる。

［実施例５］
本実施例では実施例３，４で説明した視点決定処理Ｓ１５０１を用いて、観察する視点位置を自動計算し、ユーザに提示することにより、病理医の診断効率を高める方法について述べる。

以下、図２０に示す自動視点画像計算設定画面を用いて説明する。
本実施例では実施例１と同様に、まず画像表示アプリケーションで観察したい領域２０７を選択し、機能拡張メニュー２０８を表示する。
続いて、機能拡張メニュー２０８の中から自動視点画像計算（不図示）を選択すると新規ウィンドウ７００が開き、左側領域７０１には領域２０７内の画像が表示され、右側領域７０２には計算した視点画像が表示される。その際、同時に図２０の自動視点画像計算設定画面２０００が表示される。

設定画面２０００内の自動計算ボタン２００１を押下すると、実施例３，４で説明した視点決定処理（Ｓ１５０１）および視点画像生成処理（Ｓ１５０２）が実行され、視点画像リスト２００２内に観察に適した視点がリストアップされる。
ユーザがマウスを用いて、視点画像リスト内の所望の視点を選択すると、該当する視点画像が右側領域７０２に表示される。

なお、視点画像の計算、即ち視点画像生成処理（Ｓ１５０２）は、ユーザが視点画像リスト内の所望の視点を選択した時に実行しても良い。このとき、ユーザが一度選択した視点の視点画像はメモリに記憶しておき、次回同じ視点が選択された場合には、視点画像生成処理は実行せずに、メモリから視点画像を読み込んで表示すると良い。
また、視点画像の表示だけでなく、視点画像に対して実施例１，２で述べたエッジ抽出や強調処理を適用した結果を表示しても良い。

また、実施例１，２で述べたエッジ抽出や強調処理を行わなくとも、コントラストが明瞭な視点画像のみを選択・合成すれば、様々な視線方向の画像が合わさった撮影像よりもエッジのコントラストが大きいことが期待できる。そのため、ユーザが視点画像リストから、観察対象箇所のコントラストが明瞭な視点画像を複数選択し、選択した複数の視点画像の合成画像を右側領域７０２に表示しても良い。例えば、自動計算ボタン２００１を押下して視点画像リストを生成し、続いて視点画像リスト２００２中の視点画像毎に存在するチェックボックス（不図示）をオンにすることで複数の画像を選択する。最後に１９０３に示す複数視点合成ボタンを押し、視点画像の合成画像をウィンドウ７００の右側領域７０２表示する。なお合成画像の強度が視点画像の強度と大きく変化しないように、合成画像の強度（画素値）を合成枚数で割るとよい。

本実施例の構成によれば、領域毎に観察に適した視点画像を自動的に計算することで病理医が所望する方向の視点画像を素早く表示することが可能となり、病理医の診断効率を高める効果が実現できる。

［実施例６］
本実施例では、実施例１、２の効果をより高める構成について述べる。
実施例１では、図６（ｂ）を用いて、視点画像の特徴として、透過率が異なる標本内の物質の境界が明瞭に見える点を述べた。視点画像は、この特徴の他に、もう１つ特徴的な性質を有している。それは、視点画像では、照明の一部領域から標本を照らして得る偏斜照明の観察像のように、ＸＹ平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像では偏斜照明の像と同様、光軸方向に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
（ただし、物理的には偏斜照明の像と視点画像は異なっている。偏斜照明の像はフォーカス位置の変更に伴って光学的なぼけが発生するが、視点画像はフォーカス位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像はピントを合わせるＺスタック画像のＺ位置Ｚｆによって変化するが、その変化はＸＹ方向の平行移動で表される。）

本実施例では、視点エッジ抽出（または強調）処理Ｓ９０３において、前記の視点画像の特徴を考慮することで、標本表面の凹凸を効果的に強調（または抽出）する構成について述べる。
以下、視点画像において視線方向が光軸から傾くほど、標本表面の凹凸のコントラストが高くなる理由について説明する。

図２１の２１００はプレパラート内の病理標本の表面に存在する凹凸を示す模式図である。図２１に示すｘｚ平面の凹凸は奥行き方向であるｙ方向にも続いているとする。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図２１に示すような起伏のある構造が存在している。
（図２１は簡易的なモデルであり、実際の標本の凹凸には図２１のようにとがった部分は少ない。また図２１のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。）
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。

図２１の２１１１は凹凸の無い面、２１１２は右上がりの斜面、２１１３は右下がりの斜面を示す。斜面２１１２、斜面２１１３がｘ軸となす傾斜角はそれぞれα（α＞０）である。
図２２は図２１の２１１１〜２１１３の面での観察角φにおける散乱光の強度を示す模式図である。図２２の（ａ）、（ｂ）、（ｃ）はそれぞれ平面２１１１、斜面２１１２、２１１３での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線は光軸（Ｚ軸）からφだけ傾けた角度から観察した場合の散乱光の強度を示している。（実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。）

完全拡散透過面では、面と直交する法線方向の光の強度をＩ_０、観察方向と面の法線のなす角をδとすると、δ方向の散乱光の強度Ｉ(δ)はＩ（δ）＝Ｉ_０cosδで表せる。
図２２の（ａ）、（ｂ）、（ｃ）において、観察方向と面の法線のなす角δはそれぞれφ、φ＋α、φ−αで表せるため、それぞれの散乱光の強度は、
Ｉ_０cosφ、Ｉ_０cos（φ＋α）、Ｉ_０cos（φ−α）
となる。
なお、観察方向から見てｚの値が増加する斜面（上りの斜面）では傾斜角αを正とし、Ｚの値が減少する斜面（下りの斜面）では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、Ｉ_０cos（φ−α）で表せる。

斜面２１１２、２１１３の観察角φ方向の散乱光の強度を平面２１１１の観察角φ方向の散乱光の強度で割った値をコントラストＣ（φ，α）として定義すると、コントラストは下記の式となる。

表１にφおよびαを変えたコントラストＣ（φ，α）の値を示す。

表１より、観察角φが小さいときは、傾斜角αが大きくても斜面２１１２、２１１３の間のコントラストは低いため観察しづらく、観察角φが大きくなるに従い、傾斜角αが小さくてもコントラストは大きくなり、観察しやすくなることが分かる。

次に、表面凹凸２１００の傾斜角αと、視点画像で観察されるパターンの空間周波数の関係について述べる。
図２１の病理標本の表面凹凸２１００の高さをＨ、幅をＷとすると、
Ｗ＝２Ｈ／tanα
の関係が成り立つ。組織診の病理標本の厚みは約４μｍであり、Ｈを厚みの１０％の０．４μｍと仮定する。また、画像を観察したときに凹凸の存在が視認できる限界のコントラストＣを０．１と仮定する。
表１で観察角φ＝１０度、２０度、３０度においてコントラストＣが０．１以上となる最小のα（それぞれα＝２０度、１０度、５度）から凹凸幅Ｗを求めた結果を表２に示す。

表２から、観察角φが大きいほど、傾斜角αの小さな凹凸でも視認しやすくなることがわかる。

病理標本の表面凹凸が周期的であると仮定すると、凹凸幅Ｗに対応する空間周波数は簡易的に１／Ｗで求めることが出来る。表３にセンサ画素ピッチを０．２５μｍと仮定した場合の凹凸幅Ｗ［μｍ］の空間周波数を示す。

表３から、コントラストＣが０．１以上として観察される標本の凹凸は、観察角φが小さい場合（１０度）には比較的高周波領域にあり、観察角φが大きい場合（３０度）には比較的低周波領域にあることが分かる。
そのため、視点エッジ抽出（強調）処理Ｓ９０３では、観察角φが小さい場合は主に高周波成分（空間周波数が高い像）に対してエッジ抽出（強調）を行うとよい。一方、観察角φが大きい場合には、観察角φが小さい場合に比べて、より低い周波数成分（空間周波数が低い像）にまでエッジ抽出（強調）を行う範囲を広げるとよい。すなわち、観察角φが大きい視点画像になるほど、より低周波の側からエッジ抽出（強調）を行うとよい。これにより、視点画像の特徴にあわせて、標本表面の凹凸を効果的に抽出（または強調）できる。

次に視点の偏角θと表面凹凸のコントラストの関係について述べる。
図２１は表面凹凸のエッジに垂直な方向（輝度変化の方向）と視点の偏角θ（θ＝０）が一致した場合の図である。表面凹凸のエッジに垂直な方向とｘ軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸２１００を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面２１１３とその反対方向の斜面２１１２の見かけ上の傾斜角α’は

で求まる。数１７から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差｜θ−β｜によって、コントラストＣが低下することが分かる。逆に言えば、凹凸方向角βと偏角θが一致する場合に最もコントラストが高くなり、表面凹凸が抽出しやすくなる。また、凹凸方向角βと偏角θの差｜θ−β｜が９０度となるときは、コントラストＣが最小（ゼロ）となる。

（エッジ強調）
前述のように、視線方向の観察角φが大きいほど、より低周波の側からエッジ強調（抽出）の処理を施すことが好ましい。そこで本実施例では、観察角φの大きさに応じて、エッジ強調（抽出）の効果が得られる空間周波数の範囲が可変するよう（観察角φが大きくなるほど範囲が低周波側に広がるよう）、エッジ強調（抽出）処理のパラメータを制御する。
以下、この方法を、実施例２で述べたアンシャープマスクによるエッジ強調処理に応用した場合の具体例を説明する。
アンシャープマスク処理では、空間上で与えたぼけのＭＴＦ（Modulation Transfer Function）を表すＭｔｆＢ（ｆ）とアンシャープマスク処理結果のＭＴＦを表すＭｔｆＵ（ｆ）の間には、以下の関係がある。
ＭｔｆＵ（ｆ）＝１＋Ａｍｏｕｎｔ×（１−ＭｔｆＢ（ｆ））
空間上で与えるぼけが大きい程、ＭｔｆＢ（ｆ）は周波数軸の原点側（低周波側）に寄り、アンシャープマスク処理結果のＭｔｆＵ（ｆ）は低周波側から大きな強調ができる。つまり、アンシャープマスク処理で用いるぼけ関数（数１４のガウス関数Ｇ（Ｘ，Ｙ））
によるぼけの広がりが大きい程、低周波側の強調を大きくすることができる。

具体的には、本実施例では数１５に示すぼけ関数の代わりに、以下のぼけ関数を用いる。

とする。
数１８のθは視点の偏角に対応し、σ_Ｘおよびσ_ＹはそれぞれＸ軸方向とＹ軸方向のぼけの広がりを表す標準偏差である。
以下にσ_Ｘ、σ_Ｙと観察角φの対応を示す。

ｃ、σ_Ｘ０、σ_Ｙ０は所定の定数とする。σ_Ｘは観察角φの関数ｆ（φ）であればよく、上記式はあくまで一例であり、それ以外の関数を用いることも可能である。

数１９によりアンシャープマスクで用いるぼけ関数と実際の撮像系における視点の偏角θと観察角φを対応付けることにより、数１８の関数Ｇ（Ｘ，Ｙ）は、実際の撮像系の偏角θおよび観察角φに対応して変化するぼけ関数となる。

図２４に数１８により生成される、視点位置によって変化するぼけ関数の模式図を示す。ぼけ関数２４０１、２４０２、２４０３から、動径（ｓ^２＋ｔ^２）^１／２の大きさに従ってぼけの半径σ_Ｘが長くなることが分かる。また、ぼけ関数２４０１、２４０４、２４０５から、ぼけの長辺が視点の偏角θ分だけ回転していることが分かる。
即ち、前述のぼけ関数を用いたアンシャープマスクで視点画像を強調すると、観察角φが大きな視点画像では、より低い周波数からＸ_θ軸方向の輝度変化がエッジ強調される。

図２５は本実施例における視点エッジ抽出処理Ｓ９０３の内部処理を示すフローチャートである。
まず視点偏角算出ステップＳ２５０１では、数３に従い、視点（ｓ，ｔ）より視点偏角θを算出する。
続いて、視点観察角算出ステップＳ２５０２では、数５に従い、視点（ｓ，ｔ）、Ｘ方向のセンサ画素ピッチ（画像のサンプリングピッチ）ΔＸ、およびＺ方向の移動間隔（レイヤー画像の間隔）ΔＺを用いて、観察角φを算出する。
続いて、フィルタ読み出し（生成）ステップＳ２５０３では、視点画像に適用するフィルタを読み出し（または生成）する。Ｓ２５０３ではまず、Ｓ２５０２で算出した観察角φを数１９に代入し、σ_Ｘおよびσ_Ｙを求める。次にＳ２５０１で計算した偏角θとＳ２５０２で算出したσ_Ｘおよびσ_Ｙの値をインデックスとして、数１８を用いて予め計算したぼけ関数が登録されているテーブルから、該当するぼけ関数のデータを読み出す。または、偏角θとσ_Ｘおよびσ_Ｙの値を数１８に代入し、ぼけ関数を生成（計算）してもよい。
続いて、フィルタ処理ステップＳ２５０４では、Ｓ２５０３で読み出した（または計算した）ぼけ関数を用いて、数１４および数１３に示すアンシャープマスクによるエッジ強調処理を行い、視点エッジ強調像を生成する。

続いてフィルタ処理ステップＳ２５０４の効果を高める内部処理について述べる。
実施例２で説明したアンシャープマスクによるエッジ強調手法は、効果が高く計算負荷が小さいため広く用いられるが、画像中に含まれる高周波ノイズが目立ちやすくなる課題がある。以下、アンシャープマスクに対する高周波ノイズの抑制方法について述べる。

（ノイズ抑制１）動的な閾値処理）
表１より、同じ傾斜角αでも観察角φによって観察される表面凹凸のコントラストが異なる。従って、観察角φに依存して数１３の閾値Thresholdを可変にするとよい。観察角
φが大きいほど、高周波ノイズの抑制効果が大きくなるように、エッジ処理のパラメータの一つである閾値Thresholdを変更するのである。すなわち、観察角φが小さいときは閾
値Thresholdを小さく、観察角φが大きいときは閾値Thresholdを大きく設定することで、視点毎に表面凹凸とノイズを適正に分離でき、ノイズを抑制できる。
例えば、閾値Thresholdを以下の式で設定するとよい。

なお、Ｔ_０は所定の定数である。

（ノイズ抑制２）閾値処理で輝度成分使用）
図２２で説明したように、標本表面の凹凸がある場合、観察角φによって散乱光の強度が変化する。従って、数１３に示す閾値処理は、色成分毎よりも輝度で計算し、差分画像のゼロおよび非ゼロの位置は各色共通化する方がよりノイズを抑えられる。
このような閾値処理を採用したアンシャープマスク処理の式を以下に記す。

添え字ｃは色成分を表し、Ｉｃ（Ｘ，Ｙ），Ｄｃ（Ｘ，Ｙ），Ｕｃ（Ｘ，Ｙ）はそれぞれ色成分ｃごとの画像、差分画像、アンシャープマスク適用画像を表す。Ｌ（Ｘ，Ｙ）は画像の色成分Ｉｃ（Ｘ，Ｙ）から求めた輝度成分である。また、ＤＬ（Ｘ，Ｙ）は輝度Ｌ（Ｘ，Ｙ）とぼけ関数Ｇ（Ｘ，Ｙ）から求めた差分画像であり、ＢＬ（Ｘ，Ｙ）はＤＬ（Ｘ，Ｙ）の絶対値を閾値Thresholdと比較して求めた２値画像である。Amountは数１３と
同じく、エッジ強調の程度を表す適応量である。＊＊は２次元の畳み込み演算を表す記号である。

（ノイズ抑制３）事前のローパスフィルタ適用）
また別のノイズ抑制方法として、原画像にローパスフィルタを適用した後で差分画像を計算する方法の好ましい。具体的には、数２１のＤｃ（Ｘ，Ｙ）、ＤＬ（Ｘ，Ｙ）の計算
において

を用いる。ここでＬＰ（）は画像に対するローパスフィルタ適用を表す関数である。ローパスフィルタとしてはガウス関数など様々なぼけ関数が適用可能である。またＬＰ（）にはメディアンフィルタやεフィルタ、バイラテラルフィルタなどのノイズ低減処理を適用することも可能である。
ローパスフィルタ処理により、Ｄｃ（Ｘ，Ｙ）、ＤＬ（Ｘ，Ｙ）では高周波成分が抑制され、アンシャープマスク結果画像での高周波成分の強調が抑えられる。標本表面の凹凸の中でも、注目する細胞境界や細胞と管や腔との境界の凹凸は比較的構造が大きく、空間周波数が低いため、上記のローパスフィルタ処理による影響は少ない。
なお上記以外にもアンシャープマスクには種々の高周波ノイズ除去方法や改良法が提案されており、フィルタ処理ステップＳ２５０４においてそれらを適用することも本発明の範疇とする。

（視点位置に応じた重み付け）
続いて、視点エッジ統合像生成ステップＳ９０４では視点エッジ抽出ステップＳ９０３で計算した複数の視点画像を集め、設定画面１００３で指定された重み付けを用いて視点エッジ統合像を作る。この重み付けは複数の視点エッジ抽出像のうち、どの視点エッジ抽出像を重視して統合するかを表している。
重み付けを制御することで視点エッジ統合像のぼけを制御できる。その際、設定画面１００３で「ガウスぼけ」を選択すると、一般的な撮像系のぼけと近い為、自然な見た目が得られる一方で、観察角φが大きくなる程、重み付けは小さくなるため、エッジ強調箇所の強度は弱まり、差が観察しづらくなる。
表１で既に示したように、観察角φが大きいほど、標本表面の凹凸が大きなコントラストで観察できる。従って、視点エッジ強調画像のうち、元の視点画像成分（数１３のＩ（Ｘ，Ｙ））は撮像系のぼけに近いぼけで統合し、視点エッジ強調成分（Ｄ（Ｘ，Ｙ））は撮像系のぼけよりも強度低下を抑えて統合できれば、標本表面の凹凸が観察しやすくなる。
そこで、観察角φが大きいエッジ抽出像ほど重みを小さくして合成する方法によりエッジ統合像を生成する場合は、予め、エッジ抽出像を求める際に、観察角φが大きい視点画像ほどエッジ強調（抽出）の度合いを大きくしておくとよい。これにより、エッジ統合像の生成時に、重みとエッジ強調（抽出）の度合いとが相互にキャンセルし、エッジ強調成分の低下を抑えることができる。

視点画像成分を統合する際に、視点（ｓ，ｔ）を通る光線の重みが下記のガウスぼけの式で表されるとする。

ここでσは視点エッジ統合像のぼけの広がりを表す標準偏差である。
このとき、アンシャープマスクの適応量Amountを視点位置（ｓ，ｔ）に応じて、下記のように制御する。Ａ_０は所定の定数である。

そうすると、元の視点画像成分の重み付けは数２３で示すガウスぼけとなるが、視点エッジ強調成分（Ｄ（Ｘ，Ｙ））の重み付けは数２３と数２４の掛け算となり、視点位置（ｓ，ｔ）の部分がキャンセルされ、視点に依存しない一定の比で統合することができる。

以下、フィルタ処理ステップＳ１２０３またはＳ２５０４に前述の処理を適用する手順を述べる。
まず、視点エッジ統合設定１００３での重み付けの設定情報に基づいて、数２４を用いて視点に依存した適応量Amountを求める。重み付けの設定情報とは、例えば、ガウスぼけなどの重み付けの形状を表す関数、ぼけの広がりを表す標準偏差σの値などが挙げられる。
続いて、数１３あるいは数２１において、視点に依存した適応量Amount(s,t)を用いて
エッジを強調する。以上により、視点エッジ統合像において原画像の雰囲気を留めつつ、エッジをより識別しやすくできる。なお、数１８は一例であり、他にも様々な関数が設定可能である。

以上では、アンシャープマスクを用いたエッジ強調について説明したが、同様の処理をエッジ抽出に適用することも可能である。アンシャープマスクの計算過程で求める数１４のＤ（Ｘ，Ｙ）（あるいは数２１、数２２のＤｃ（Ｘ，Ｙ）、ＤＬ（Ｘ，Ｙ））はエッジを抽出した画像を表しており、エッジ抽出像と見なせる。
従って、フィルタ処理Ｓ２５０４において、数１４あるいはアンシャープマスクの適用結果から原画像を減算した画像を出力すれば、エッジ抽出が実現できる。
なお、実施例１と同様、前記のエッジ抽出結果に対して絶対値や２乗値などを求めることで、さらに非線型性を高め、視点エッジ統合像におけるエッジを強めることも可能である。

（本実施例の利点）
以上述べたように、本実施例では視点の偏角θおよび観察角φを用いて、エッジ抽出または強調する周波数帯域、強さ、ノイズ低減条件などを制御することで、視点画像全体に対する過強調を抑え、効率的に表面に凹凸を強調することができる。その結果、表面に凹凸を持った細胞膜や細胞境界、細胞と管や腔との境界などを強調することができ、それにより診断に有用な画像の提示、Ｎ／Ｃ比の算出等の診断支援機能が実現できる。

［実施例７］
本実施例では、被写体の撮影に用いた撮像系のぼけ関数（３次元ぼけモデル）よりも大きなぼけを持つぼけ関数（３次元ぼけモデル）を用いてエッジ強調（またはエッジ抽出）用のフィルタ生成を行い、それにより視点エッジ画像を生成する方法について述べる。

図２６（ａ）の２６０１は直交座標系（ＸＹＺ）での撮像系の３次元ぼけあるいは撮像系の３次元ぼけに最も近い３次元ぼけを表し、図２６（ｂ）の２６０２は２６０１以上のぼけを持つ３次元ぼけを表す。図２６（ｃ）の２６０３は撮像系で取得した焦点ぼけ画像群（Ｚスタック画像）を表す。なお、３次元ぼけ２６０２はエッジ強調または抽出の目的で用いるため、以降、エッジ処理用の３次元ぼけとも呼ぶ。
３次元ぼけ２６０１、２６０２は、ピント位置（ぼけが最も小さいＺ位置）から距離Ｄにある所定のＺ位置のぼけ半径Ｒを用いて、下記式のガウスぼけで表される。

３次元ぼけ２６０１のぼけ半径をＲ_ｂ１、３次元ぼけ２６０２のぼけ半径をＲ_ｂ２とすると、Ｒ_ｂ２≧Ｒ_ｂ１の関係にある。

視点（ｓ，ｔ）から見た視点画像ａ_s,t（Ｘ，Ｙ）は、同一の視線方向のＺスタック画
像２６０３の積分値ｂ_s,t（Ｘ，Ｙ）を、同一の視線方向の撮像系の３次元ぼけ２６０１
の積分値ｃ_s,t（Ｘ，Ｙ）でデコンボリューションして得ることができる。（非特許文献
２の３．３節に対応する記載がある。非特許文献２の図７で示されるように、実空間情報ｆ（Ｘ，Ｙ，Ｚ）にフィルタｈ（Ｘ，Ｙ，Ｚ）をコンボリューションすることで統合的撮影画像群ｇ（Ｘ，Ｙ，Ｚ）が得られる関係は、視線方向への積分にかかわらず成立する。）
数式で表現すると下記のようになる。

ただし、Ａ_s,t（ｕ，ｖ），Ｂ_s,t（ｕ，ｖ），Ｃ_s,t（ｕ，ｖ）はそれぞれａ_s,t（Ｘ，Ｙ），ｂ_s,t（Ｘ，Ｙ），ｃ_s,t（Ｘ，Ｙ）のフーリエ変換であり、ｕ，ｖはそれぞれＸ，Ｙ方向の変化に対応する周波数座標である。

次に、エッジ処理用の３次元ぼけ２６０２の同一視線方向の積分値をｃ_s,t’（Ｘ，Ｙ
）とし、ｂ_s,t（Ｘ，Ｙ）をｃ_s,t’（Ｘ，Ｙ）でデコンボリューションして得られる画像ａ_s,t’（Ｘ，Ｙ）の特性について考える。画像ａ_s,t’（Ｘ，Ｙ）は下記の式で表現できる。

ただし、Ａ_s,t’（ｕ，ｖ），Ｃ_s,t’（ｕ，ｖ）はそれぞれａ_s,t’（Ｘ，Ｙ），ｃ_s,t’（Ｘ，Ｙ）のフーリエ変換である。

数２７は下記のように変形できる。

ただし、

である。
数２８から、画像ａ_s,t’（Ｘ，Ｙ）は、本来の視点画像ａ_s,t（Ｘ，Ｙ）が数２９で表
される周波数フィルタで処理された画像であることが分かる。

エッジ処理用の３次元ぼけ２６０２は３次元ぼけ２６０１以上のぼけを持つことから、それぞれの視線方向の積分値であるｃ_s,t’（Ｘ，Ｙ）、ｃ_s,t（Ｘ，Ｙ）を比べると、ｃ_s,t’（Ｘ，Ｙ）のぼけの方が大きいという関係が成り立つ。ｃ_s,t’（Ｘ，Ｙ）、ｃ_s,t
（Ｘ，Ｙ）は共に積分値が同一なので、Ｅ_s,t（ｕ，ｖ）の直流成分は１となる。視点や
周波数によって特性は異なるが全体としてはエッジ強調の特性を持ち、ｃ_s,t’（Ｘ，Ｙ
）のぼけが大きくなるほど、エッジ強調の特性が強く現れる。

図２７は本実施例における視点分解エッジ抽出・統合処理Ｓ８０２の内部処理を示すフローチャートである。実施例１とは異なり、視点画像生成ステップＳ９０２は不要となっている。以下処理フローを説明する。
まず、視点取得処理ステップＳ２７０１は、エッジ強調または抽出した視点画像の生成に必要な視点の位置情報を取得する。処理内容は視点取得処理ステップＳ９０１と同様のため、説明は省略する。
次に、視点エッジ強調ステップＳ２７０２では、視点エッジ抽出設定（７０５）に基づき、エッジ強調処理を行う。詳細は後述する。なお、視点が複数存在する場合は、図９と同様、視点数分の処理を実行する。
最後に、視点エッジ統合像生成ステップＳ２７０３では、視点エッジ統合設定（７０６）に基づき、ステップＳ２７０２で生成した視点エッジ強調像を合成し、視点エッジ統合像を生成する。処理内容は視点エッジ統合像生成ステップＳ９０４と同様のため、説明は省略する。

図２８は視点エッジ強調ステップＳ２７０２の内部処理を示すフローチャートである。
まず、視点観察角算出ステップＳ２８０１では、数５に従い、視点（ｓ，ｔ）、Ｘ方向のセンサ画素ピッチ（画像のサンプリングピッチ）ΔＸ、およびＺ方向の移動間隔（レイヤー画像の間隔）ΔＺを用いて、観察角φを算出する。
次に、エッジ処理用３次元ぼけ情報算出ステップＳ２８０２では、撮影像の３次元ぼけの情報（単位距離あたりのぼけ半径ｒ_ｂ１）とＳ２８０１で算出した観察角φを用いて、エッジ処理用の３次元ぼけの情報（単位距離あたりのぼけ半径ｒ_ｂ２）を求める。計算方法の一例を下記に示す。

ただし、ｃは所定の定数である。定数ｃの値は、視点エッジ抽出設定画面１００２でエッジ強調の強さの一部として設定することも可能である。
数３０より、観察角φ（光軸方向と視線方向のなす角度）が大きくなるほど、エッジ処理用の３次元ぼけの大きさ（ぼけ半径ｒ_ｂ２）が大きくなる。なお、撮影像の３次元ぼけの情報として、距離Ｄにおけるぼけ半径Ｒ_ｂ１が入力される場合、単位距離当たりのぼけ半径ｒ_ｂ１は、ｒ_ｂ１＝Ｒ_ｂ１／Ｄで計算できる。

続いて、フィルタ読み出し（フィルタ生成）ステップＳ２８０３では、視線方向のエッジ処理用の３次元ぼけ２６０２の積分値のフーリエ変換Ｃ’_s,t（ｕ，ｖ）を取得する。
予め計算されたＣ’_s,t（ｕ，ｖ）が記憶装置１３０やメインメモリ３０３に格納されて
いる場合は、Ｓ２８０２で求めたエッジ処理用の３次元ぼけの情報（ｒ_ｂ２）とＺスタック画像のレイヤー数を元に、対応するデータを読み出す。あるいは、エッジ処理用の３次元ぼけの情報（ｒ_ｂ２）とＺスタック画像のレイヤー数から３次元ぼけを計算し、視線方向への積分のフーリエ変換によってＣ’_s,t（ｕ，ｖ）を求めても良い。なお、予め、記
憶装置１３０やメインメモリにＣ’_s,t（ｕ，ｖ）^−１を格納し、ステップＳ２８０３で
読み出すことで計算量を低減しても良い。
なお、画像生成装置１００では様々な焦点ぼけを持つ撮影像から高速に視点画像を計算するために、複数の３次元ぼけ（例えば半径Ｒの異なるガウスぼけ）や複数の視点での３次元ぼけの積分値のフーリエ変換を予め計算し、記憶装置１３０やメインメモリ３０３に保持する。従って、新たにエッジ強調のためのフィルタを持つ必要がない。

続いて、デコンボリューションステップＳ２８０４では、はじめに、Ｚスタック画像２６０３を視点（ｓ，ｔ）からの視線方向に積分した積分値ｂ_s,t（Ｘ，Ｙ）を求める。続
いて、そのフーリエ変換Ｂ_s,t（ｕ，ｖ）を計算する。次に、ステップＳ２８０３で求め
たＣ’_s,t（ｕ，ｖ）を用いて、数２７から視点エッジ強調像のフーリエ変換であるＡ’_s,t（ｕ，ｖ）を求める。最後に、Ａ’_s,t（ｕ，ｖ）を逆フーリエ変換することで、視点
エッジ強調像であるａ’_s,t（Ｘ，Ｙ）を求める。
以上の処理により、視点の観察角φが大きくなるほど視点画像中のエッジ強調の度合いを高めた視点エッジ強調像を生成することができる。

また本実施例の視点分解エッジ抽出・統合処理Ｓ８０２は図９に示す構成をとることも可能である。その場合の視点エッジ抽出処理Ｓ９０３の内部処理を図２９に示す。
視点観察角算出ステップＳ２９０１およびはエッジ処理用３次元ぼけ情報算出ステップＳ２９０２はそれぞれＳ２８０１、Ｓ２８０２と同一の処理であるため、説明を省略する。
次にフィルタ読み出し（生成）ステップＳ２９０３では、Ｃ’_s,t（ｕ，ｖ）だけでな
く、さらに撮像系の３次元ぼけの視線方向の積分像のフーリエ変換であるＣ_s,t（ｕ，ｖ
）も取得する。Ｓ２９０３でも、図２８のＳ２８０３と同様、記憶装置１３０やメインメモリ３０３から予め計算されたデータを読み出しても良いし、計算により求めても良い。
次にエッジ強調フィルタ算出ステップＳ２９０４では、Ｓ２９０３で取得したＣ_s,t（
ｕ，ｖ）およびＣ’_s,t（ｕ，ｖ）を用いて数２９の式により、エッジ強調フィルタＥ_s,t（ｕ，ｖ）を算出する。
フィルタ処理ステップＳ２９０５では、ステップＳ９０２で予め計算した視点画像ａ_s,t（Ｘ，Ｙ）に対しフーリエ変換を実施してＡ_s,t（ｕ，ｖ）を求め、数２８によりエッジ強調フィルタＥ_s,t（ｕ，ｖ）を適用してＡ’_s,t（ｕ，ｖ）を求める。最後に、Ａ’_s,t
（ｕ，ｖ）を逆フーリエ変換することで、視点エッジ強調像であるａ’_s,t（Ｘ，Ｙ）を
求める。

なお、本実施例の構成は実施例６と同様、エッジ抽出にも適用可能である。Ｓ２８０３で読み出す周波数フィルタＣ’_s,t（ｕ，ｖ）やＳ２９０４で算出するエッジ強調フィル
タＥ_s,t（ｕ，ｖ）の直流成分を０とすれば、Ａ’_s,t（ｕ，ｖ）の直流成分は０となる。その逆フーリエ変換であるａ’_s,t（Ｘ，Ｙ）は各画素から画像平均値を引いた画像と等
しいため、エッジ抽出像と見なすことができる。

（本実施例の利点）
以上述べたように、本実施例では、実施例６と同様の効果が実現できる。また様々なぼけを持つＺスタック画像から視点画像を高速に求めるために画像生成装置１００に格納されたフィルタを活用できるため、新たにフィルタを生成する計算負荷がない（少ない）というメリットがある。またフィルタを格納するための追加の記憶容量が不要となるメリットもある。

［実施例８］
実施例７では非特許文献２の方法に基づいて視点エッジ統合像を生成する説明をしたが、実施例８では非特許文献３の方法に基づいて視点エッジ統合像を生成することで、実施例７に比べて計算負荷を大きく低減する構成について述べる。

図３０は実施例８における視点分解エッジ抽出・統合処理ステップＳ８０２の内部処理を示すフローチャートである。
まず、視点取得処理ステップＳ３００１では、ステップＳ８０２で生成する視点エッジ統合像の生成に必要な視点の位置情報を取得する。ステップＳ９０１とほぼ同様の処理であるため、説明は省略する。

次に、フーリエ変換処理ステップＳ３００２では、ステップＳ８０１で取得したＺスタック画像の各レイヤー画像に対し、２次元フーリエ変換を実行し、フーリエ変換したレイヤー画像を生成する。数式で表現すると下記になる。

ここでｎはＺスタック画像のｎ枚目のレイヤー画像を表す数字、Ｆ｛｝は２次元フーリエ変換を表す関数、ｇ^（ｎ）（Ｘ，Ｙ）はＺスタック画像のｎ枚目のレイヤー画像である。

次に、視点エッジ強調用フィルタ読み出し処理ステップＳ３００３ではステップＳ３００１で求めた視点位置毎に視点エッジ強調用フィルタＣ’_s,t（ｕ，ｖ）を読み出す。詳
細は後述する。

次に、ぼけ変更フィルタ生成処理ステップＳ３００４ではステップＳ３００３で読みだした視点画像強調用フィルタを用いて、３次元ぼけ変更フィルタＨ^（ｎ）（ｕ，ｖ）を生成する。数式で表現すると下記になる。

なお、ｋ_ａ（ｓ，ｔ）は所望の３次元的な焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）を構成する、視点（ｓ,ｔ）を通る光線の重みを表す関数であり、以下の関係が成立している。

ぼけ変更フィルタ適用処理ステップＳ３００５では、ステップ３００２で求めたＺスタック画像の各レイヤー画像のフーリエ変換ｇ^（ｎ）（Ｘ，Ｙ）とステップＳ３００４で求めた３次元ぼけ変更フィルタＨ^（ｎ）（ｕ，ｖ）の間で下記の演算を実施する。これにより、エッジ強調された視点エッジ統合像のフーリエ変換像Ａ’（ｕ，ｖ）を得る。

ただし、ここでＡ’（ｕ，ｖ）はＺスタック画像のｎｆ枚目（Ｚ方向の座標がＺ＝Ｚｆ）における視点エッジ統合像のフーリエ変換像である。なお、予め、数３２でＨ^{（ｎ−ｎｆ）}（ｕ，ｖ）を求めてから数３４を計算しても良い。

最後に、逆フーリエ変換処理ステップＳ３００６ではステップＳ３００５で求めた視点エッジ統合像のフーリエ変換Ａ’（ｕ，ｖ）に逆フーリエ変換を実施し、エッジ強調処理が適用された視点エッジ統合像ａ’（Ｘ，Ｙ）を得る。

続いて、ステップＳ３００３について説明する。
図３１は視点エッジ強調用フィルタ読み出し処理ステップＳ３００３の内部処理を示すフローチャートである。
まず、視点観察角算出ステップＳ３１０１では、ステップＳ２８０１と同様に、視点（ｓ，ｔ）、Ｘ方向のセンサの画素ピッチΔＸ、およびＺ方向の移動間隔（レイヤー画像の間隔）ΔＺを用いて、数５から観察角φを計算する。既にステップＳ２８０１で説明したため詳細は省略する。
次に、エッジ処理用３次元ぼけ情報算出ステップＳ３１０２では、ステップＳ２８０２と同様、撮影像の３次元ぼけの情報（ｒ_ｂ１）およびステップＳ３１０１で求めた観察角φを用いて数３０からエッジ処理用の３次元ぼけの情報（ｒ_ｂ２）を求める。
次に、フィルタ読み出し（生成）ステップＳ３１０３ではステップＳ２８０３と同様、記憶装置１３０やメインメモリ３０３から、ステップＳ３１０２で計算した情報（ｒ_ｂ２）を元に、Ｃ’_s,t（ｕ，ｖ）を取得する。ステップＳ２８０３と同様、記憶装置１３０
やメインメモリ３０３にＣ’_s,t（ｕ，ｖ）^−１を格納しておき、それを読み出しても良
い。その場合、ステップＳ３００４での数３２の計算を高速化することができる。既にステップＳ２８０３で説明したため詳細は省略する。

（本実施例の利点）
以上述べたように、本実施例では、実施例７と同様の効果が実現できる。また本実施例は実施例７に比べ、非特許文献３に記載のＭＦＩ任意視点／焦点ぼけ画像生成法を用いることで、視点エッジ統合像の計算負荷を大幅に低減できる。従って、ユーザの指示に対しより高速に所望の視点エッジ統合像が生成でき、エッジ抽出（または強調）機能の使い勝手をより一層高めることができる。

以上、複数の実施例を挙げて本発明の好適な実施形態を説明したが、本発明の構成はこれらの実施例に限られない。
例えば、上記実施例では明視野顕微鏡で撮影されたＺスタック画像を元画像として用いた場合について説明したが、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された画像に対しても適用可能である。
ライトフィールドカメラやライトフィールド顕微鏡は、ライトフィールドと呼ばれる４次元の情報（ＸＹの２次元画像に視点位置の自由度を加えた情報）が記録された画像を１回の撮影で取得可能な撮像装置である。これらの装置では、本来結像面となる位置にレンズアレイが配置されており、それよりも後方のイメージセンサでライトフィールドを撮影する。ライトフィールドが記録された元画像からは、公知の技術を用いて、任意の焦点位置の画像や任意の方向から観察した視点画像を生成できる。したがって、ライトフィールドカメラやライトフィールド顕微鏡で取得した元画像に対しても本発明を好ましく適用することが可能である。

また上記実施例では被写体として病理標本を例に説明してきたが、被写体はそれに限定されない。落射照明型顕微鏡の観察対象である金属等の反射物体でも構わない。また透過観察型顕微鏡の観察対象である透明な生物標本でも良い。また被写体はデジタルカメラの撮影対象である風景や人物でも構わない。いずれも場合においても特許文献１等で開示される技術を用いれば、被写体のピント位置を変えて撮影した複数枚の画像群から任意の視点画像が生成でき、本発明が適用できる。

また各実施例で説明した構成を互いに組み合わせてもよい。例えば、実施例１，２にお
ける視点取得処理（Ｓ９０１）を視点決定処理（Ｓ１５０１）に変更することが可能である。この場合、視点は予め視点分解設定（７０４）等で定めた設定から決定されるのではなく、Ｚスタック画像を解析して自動的に決定される。
また実施例３，４において、領域が大きい場合には領域をさらに小さなブロックに分割し、ブロック毎に計算する視点の方向を異ならせても良い。細胞膜や細胞境界が湾曲する場合や核が多数存在する場合でも、エッジの抽出精度を高めることが可能となる。

１００：画像生成装置

Claims

被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、
前記元画像から視点画像を生成する視点画像生成手段と、
前記視点画像生成手段で生成された視点画像に対し、エッジを強調または抽出するエッジ処理を適用することにより、エッジ画像を生成するエッジ処理手段と、
互いに視点が異なる複数の視点画像から生成された複数のエッジ画像を統合することにより、統合されたエッジ画像を生成する画像統合手段と、を有する
ことを特徴とする画像生成装置。
前記エッジ処理は、複数の画像を合成した後にその合成画像に対して当該エッジ処理を施した結果と、前記複数の画像のそれぞれに対して当該エッジ処理を施した後にそれらのエッジ画像を合成した結果とが、一致しない性質をもつ処理である
ことを特徴とする請求項１に記載の画像生成装置。
前記エッジ処理手段は、視点画像の視線方向に応じて、当該視点画像に適用するエッジ処理のパラメータを変更する
ことを特徴とする請求項１または２に記載の画像生成装置。
前記エッジ処理手段は、視線方向に直交する方向のエッジが強調または抽出されるように、前記エッジ処理のパラメータを変更する
ことを特徴とする請求項３に記載の画像生成装置。
前記エッジ処理は、前記視点画像にフィルタを適用する処理であり、
前記エッジ処理手段は、前記エッジ処理のパラメータとして、前記視点画像に適用するフィルタの係数を変更する
ことを特徴とする請求項４に記載の画像生成装置。
前記エッジ処理手段は、前記被写体の深さ方向と視線方向のなす角度が大きいほど、エッジの強調または抽出を行う空間周波数の範囲が低周波側に広がるように、前記エッジ処
理のパラメータを変更する
ことを特徴とする請求項３に記載の画像生成装置。
前記エッジ処理は、エッジ画像に含まれる高周波ノイズを抑制する処理を含んでおり、
前記エッジ処理手段は、前記被写体の深さ方向と視線方向のなす角度が大きいほど、高周波ノイズの抑制効果が大きくなるように、前記エッジ処理のパラメータを変更する
ことを特徴とする請求項３に記載の画像生成装置。
前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定する視点決定手段をさらに有する
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像生成装置。
前記画像統合手段は、前記複数のエッジ画像を重み付けして合成するものであり、
前記被写体の深さ方向と視線方向のなす角度が大きい視点画像から生成されたエッジ画像ほど、重みを小さくする
ことを特徴とする請求項１に記載の画像生成装置。
前記エッジ処理手段は、前記被写体の深さ方向と視線方向のなす角度が大きい視点画像ほど、エッジ強調またはエッジ抽出の度合いが大きくなるように、各エッジ画像の生成を行う
ことを特徴とする請求項９に記載の画像生成装置。
被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成装置において、
前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定する視点決定手段と、
前記視点決定手段で決定された視点に対し、前記元画像から視点画像を生成する視点画像生成手段と、を有する
ことを特徴とする画像生成装置。
前記視点決定手段は、前記推定されたエッジの方向と視線方向とが直交するように、視点画像を生成すべき視点を決定する
ことを特徴とする請求項８または１１に記載の画像生成装置。
前記視点決定手段は、前記元画像からエッジを検出し、その検出結果からエッジの方向を求める
ことを特徴とする請求項８、１１、１２のうちいずれか１項に記載の画像生成装置。
前記被写体は細胞であり、
前記視点決定手段は、前記元画像から細胞の核の位置を検出し、隣接する２つの核の位置関係に基づいて、その２つの核の間を横切る細胞境界のエッジの方向を求める
ことを特徴とする請求項８、１１、１２のうちいずれか１項に記載の画像生成装置。
被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成装置において、
前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき複数の視点を決定する視点決定手段と、
前記視点決定手段で決定された複数の視点に対し、前記元画像から複数の視点画像を生成する視点画像生成手段と、
前記複数の視点画像の中からユーザに２つ以上の視点画像を選択させる選択手段と、
ユーザにより選択された２つ以上の視点画像を合成する合成手段と、を有する
ことを特徴とする画像生成装置。
被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、
前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するフィルタ生成手段と、
前記元画像と前記フィルタを用いて、エッジ画像を生成するエッジ処理手段と、を有し、
前記フィルタは、前記元画像を撮影した撮像系のぼけ関数よりも大きなぼけをもつ、エッジ処理用のぼけ関数を用いて生成される
ことを特徴とする画像生成装置。
前記エッジ処理用のぼけ関数は、前記被写体の深さ方向と視線方向のなす角度が大きくなるほど、より大きなぼけをもつ
ことを特徴とする請求項１６に記載の画像生成装置。
異なる視線方向に応じて生成された複数のエッジ画像を統合することにより、統合されたエッジ画像を生成する画像統合手段をさらに有する
ことを特徴とする請求項１６又は１７に記載の画像生成装置。
被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成装置において、
前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するフィルタ生成手段と、
前記元画像と前記フィルタを用いて、エッジ画像を生成するエッジ処理手段と、を有し、
前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像から構成されるＺスタック画像、ライトフィールドが記録された画像、または、ピント位置を変えて前記被写体を撮影して得られた画像群である
ことを特徴とする画像生成装置。
被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、
コンピュータが、前記元画像から視点画像を生成するステップと、
コンピュータが、前記生成された視点画像に対し、エッジを強調または抽出するエッジ処理を適用することにより、エッジ画像を生成するステップと、
互いに視点が異なる複数の視点画像から生成された複数のエッジ画像を統合することにより、統合されたエッジ画像を生成するステップと、を有する
ことを特徴とする画像生成方法。
被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成方法であって、
コンピュータが、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき視点を決定するステップと、
コンピュータが、前記決定された視点に対し、前記元画像から視点画像を生成するステ
ップと、を有する
ことを特徴とする画像生成方法。
被写体を撮影して得られた元画像から、観察に適した視点画像を生成する画像生成方法であって、
コンピュータが、前記元画像を解析することにより前記元画像に含まれるエッジの方向を推定し、その推定されたエッジの方向に基づいて、視点画像を生成すべき複数の視点を決定するステップと、
コンピュータが、前記決定された複数の視点に対し、前記元画像から複数の視点画像を生成するステップと、
コンピュータが、前記複数の視点画像の中からユーザに２つ以上の視点画像を選択させるステップと、
コンピュータが、ユーザにより選択された２つ以上の視点画像を合成するステップと、を有する
ことを特徴とする画像生成方法。
被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、
コンピュータが、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するステップと、
コンピュータが、前記元画像と前記フィルタを用いて、エッジ画像を生成するステップと、を有し、
前記フィルタは、前記元画像を撮影した撮像系のぼけ関数よりも大きなぼけをもつ、エッジ処理用のぼけ関数を用いて生成される
ことを特徴とする画像生成方法。
被写体を撮影して得られた元画像から、エッジが強調または抽出された画像であるエッジ画像を生成する画像生成方法であって、
コンピュータが、前記被写体に対する視線方向に応じたエッジ強調またはエッジ抽出を行うためのフィルタを生成するステップと、
コンピュータが、前記元画像と前記フィルタを用いて、エッジ画像を生成するステップと、を有し、
前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像から構成されるＺスタック画像、ライトフィールドが記録された画像、または、ピント位置を変えて前記被写体を撮影して得られた画像群である
ことを特徴とする画像生成方法。
請求項２０〜２４のうちいずれか１項に記載の画像生成方法の各ステップをコンピュータに実行させるためのプログラム。