JP4512220B2 - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP4512220B2 JP4512220B2 JP29668499A JP29668499A JP4512220B2 JP 4512220 B2 JP4512220 B2 JP 4512220B2 JP 29668499 A JP29668499 A JP 29668499A JP 29668499 A JP29668499 A JP 29668499A JP 4512220 B2 JP4512220 B2 JP 4512220B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- low
- magnification image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Microscoopes, Condenser (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像表示装置に係り、特に、顕微鏡画像を表示する画像表示装置と、これを用いた操作装置に関する。
【０００２】
【従来の技術】
例えば、特許公報第２７７０６９９号に開示されている従来の画像表示装置においては、低倍率画像中の高倍率画像での観察範囲を表示するために、図１に示すような構成をとっている。
【０００３】
すなわち、この画像表示装置１は、観察倍率を変更するために倍率変更手段４と観察位置を移動させる観察位置移動手段５を有する観察倍率が可変の観察装置６と、該観察装置６により得られた比較的低倍率で観察された低倍率画像２（図２参照）を記憶する観察位置表示用画像記憶手段７と、前記倍率変更手段４から与えられる倍率信号から得られる観察視野倍率に反比例した大きさの矩形マークを発生すると共に、前記観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像上での位置を観察位置移動手段５から与えられる位置信号に基づいて演算するマーク発生手段８と、該マーク発生手段８により発生された矩形マークの画像を記憶するマーク画像記憶手段９と、前記観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と前記マーク画像記憶手段９に記憶されているマーク画像とを表示手段１０に合成表示する画像合成手段１１と、各観察視野において前記観察装置６により得られた高倍率画像３（図２参照）等の観察画像を複数記憶する画像情報記憶手段１２とを備えている。
【０００４】
このように構成される画像表示装置１において、マーク画像記憶手段９は画像情報記憶手段１２に観察画像が記憶される都度、マーク発生手段８が発生したマーク画像を重ね書きして記憶する。
【０００５】
そして、画像合成手段１１は、マーク画像記憶手段９に重ね書きして記憶されたマーク画像を観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と合成して表示手段１０に表示するようにしている。
【０００６】
また、例えば、一般に、２つ以上の画像を１画面上に表示する手法として、親子画面装置が存在する。
【０００７】
この親子画面装置では、あらかじめ、親画面に設定された所定の位置に、子画面が縮小されて重畳表示される。
【０００８】
また、例えば、前述した特許公報第２７７０６９９号では、マーク画像記憶手段９は画像情報記憶手段１２に観察画像が記憶される都度、マーク発生手段８が発生したマーク画像を重ね書きして記憶し、画像合成手段１１はマーク画像記憶手段９に重ね書きして記憶されたマーク画像を観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と合成して表示することにより、低倍率画像２上に高倍率画像３の観察位置の履歴が表示される。
【０００９】
また、例えば、一般に、顕微鏡のステージはジョイスティックやダイヤル、方向キーによる操作により移動させる。
【００１０】
また、動かしたい位置を画面上で指定するとその部分がステージの移動により画面中央に移動するものや、画面上の指標の動きにしたがって、ステージが移動するように構成された操作装置が存在する。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したような特許公報第２７７０６９９号による従来技術では、倍率変更手段４による倍率の切り替えにより低倍率画像２と高倍率画像３を切り替えているため、双方の画像を同時に更新しつつ連続的に表示し続けるという点について対応することができないという問題を有している（図２のａ）。
【００１２】
本発明は、この点に着目し、図２の（ｂ）に示すように、低倍率画像２と高倍率画像３を並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することを課題とする。
【００１３】
また、上述したような特許公報第２７７０６９９号による従来技術では、低倍率画像２の静止撮り込み画像に対して矩形マーカを重畳表示することにより、高倍率画像３の視野範囲を低倍率画像２上に表示しているので、画像全体の移動や、観察対象の変化が生じたときには、倍率を変更後、再取り込みの後に更新する必要があり、表示に空白時間が生じるという問題を有している（図２のａ）。
【００１４】
また、この従来技術では、低倍率画像２は撮りこみ静止画のため、リアルタイム性に欠けるという問題を有している。
【００１５】
本発明は、この点に着目し、低倍率画像２と高倍率画像３とが同時観察可能な画像入力手段を用いて取得した画像に対し、低倍率の画像中に高倍率の画像位置を示す指標を表示するのに適した画像表示装置を提供することを課題とする。
【００１６】
また、上述したような従来技術では、重畳画面と、重畳元画面間の位置や倍率差などの関係を表示することには対応できないという問題を有している。
【００１７】
本発明は、この点に着目し、高倍率画像３を低倍率画像２に重畳する際に、低倍率画像２内の高倍率画像３観察範囲相当位置に高倍率画像３を重畳する画像表示装置を提供することを課題とする。
【００１８】
また、上述したような従来技術では、低倍率画像２上での高倍率画像３視野相当位置を矩形マークにより表示するようにしているが、その内部の対応点をより詳しく表示することができないという問題を有している。
【００１９】
本発明はこの点に着目し、対応点を指示する指標をリアルタイムに高倍率画像３と低倍率画像２上に同期表示し、対応点を指し示ず画像表示装置を提供することを課題とする。
【００２０】
また、上述したような従来技術では、低倍率画像２に重畳する矩形マークは単に重ね書きされていくだけであり、記録画像から不要になった任意の矩形マークを除去したり、任意の時点での観察位置範囲を表示するといった要求には対応できないという問題を有している。
【００２１】
本発明は、この点に着目し、リアルタイムに記録した画像に観察時に得られた各種情報と、高倍率画像３、低倍率画像２の同期を取るための同期信号と共に記録し、任意時点の高倍率画像と低倍率画像ならびにその時点での、低倍率画像上での高倍率画像視野位置表示を再現できる画像表示装置を提供することを課題とする。
【００２２】
また、上述したような従来技術では、単−の画像に対する操作であり、複数の倍率の画像上での同時操作には対応していないという問題を有している。
【００２３】
本発明はこの点に着目し、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる操作装置を提供することを課題とする。
【００２４】
そして、本発明は、上述した課題のうち特には、低倍率画像と高倍率画像とを並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することを目的とする。
【００２５】
また、本発明は、上述した課題のうち特には、高倍率画像を低倍率画像に重畳する際に、低倍率画像２内の高倍率画像３観察範囲相当位置に高倍率画像を重畳する画像表示装置を提供することを目的とする。
【００２６】
また、本発明は、上述した課題のうち特には、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる画像表示装置を提供することを目的とする。
【００２７】
【課題を解決するための手段】
本発明によると、上記目的を達成するために、
（１） 観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
を具備することを特徴とする画像表示装置が提供される。
【００２８】
この（１）の構成は、後述する第１の実施形態が対応している。
また、本発明によると、上記目的を達成するために、
（２） 上記高倍率画像位置傾き処理手段は、
上記低倍率画像内で高倍率画像を縮小加工する高倍率画像加工部と、
上記高倍率画像加工部によって縮小加工された高倍率画像と、上記低倍率画像と、の相関値を演算する画像相関演算部と、
をさらに備え、
上記画像相関演算部によって、上記相対的な倍率と位置と傾きを求めることを特徴とする（１）に記載の画像表示装置が提供される。
この（２）の構成は、後述する第１の実施形態が対応している。
【００２９】
また、本発明によると、上記目的を達成するために、
（３） 上記低倍率画像取得手段で取得した画像と、上記高倍率画像取得手段で取得した画像の上記共通する画像領域より、両画像に共通した対応点を選択する対応点検出手段をさらに具備し、
上記高倍率画像位置傾き処理手段は、上記対応点検出部で選択した少なくとも３つの対応点を用いて、上記相対的な倍率と位置と傾きを求めることを特徴とする（１）または（２）に記載の画像表示装置が提供される。
【００３０】
この（３）の構成は、後述する第１の実施形態が対応している。
また、本発明によると、上記目的を達成するために、
（４） 上記低倍率画像取得手段で取得した低倍率画像と、上記高倍率画像取得手段で取得した高倍率画像と、上記高倍率画像位置傾き処理手段で処理した上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを含む高倍率画像位置傾き情報と、を時系列的に記録可能な記録手段をさらに具備し、
上記画像重畳手段は、上記記録手段に記録された時系列情報を用いて、任意の時点における上記指標を上記低倍率画像上に重畳することを特徴とする（１）乃至（３）の何れか一項に記載の画像表示装置が提供される。
この（４）の構成は、後述する第４の実施形態が対応している。
【００３１】
また、本発明によると、上記目的を達成するために、
（５） 観察対象において、撮像される部位を移動させる視野範囲移動手段と、
上記観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
上記低倍率画像取得手段で取得した画像上で、所定の位置を指定する位置指定手段と、
上記位置指定手段の位置指定に応じて上記視野範囲移動手段を駆動する駆動手段と、
を具備することを特徴とする画像表示装置が提供される。
【００３２】
この（５）の構成は、後述する第５の実施形態が対応している。
【００３３】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００３４】
（第１の実施形態）
まず、本発明による画像表示装置の第１の実施形態を図３及び図４を用いて説明する。
【００３５】
図３は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００３６】
図４は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００３７】
この発明の第１の実施形態は、次のように構成されている。
【００３８】
すなわち、図３に示すように、顕微鏡１５は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能な構成と成っている。
【００３９】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００４０】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００４１】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、それぞれ低倍率画像２と高倍率画像３を示し、画像処理装置１９０に入力される。
【００４２】
この画像処理装置１９０での処理結果は、ビデオモニタ２０に出力される。
【００４３】
そして、図４に示すように、画像処理装置１９０内部には、前記高倍率側ビデオカメラ１７からの入力が入る高倍率画像入力部２１と、前記低倍率側ビデオカメラ１９からの入力が入る低倍率画像入力部２２と、前記低倍率画像２と高倍率画像３部間の対応点の指定、検出を行う対応点検出部２３と、高倍率画像位置姿勢の初期情報を入力する高倍率画像位置姿勢初期情報入力部２４と、高倍率画像位置姿勢情報の入力や測定を行う高倍率画像位置姿勢処理部２５と、高倍率画像位置姿勢情報に基づいて、高倍率視野範囲指標の生成を行う高倍率視野範囲指標生成部２６と、低倍率画像への高倍率視野範囲指標の重畳等の処理を行う画像重畳装置２７と、ビデオモニタ２０に出力を行う表示出力部２８とが備えられている。
【００４４】
次に、この発明の第１の実施形態の作用を説明する。
【００４５】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００４６】
この際、低倍率画像２中での高倍率画像３の位置姿勢は、低倍率観察光学系１８と高倍率観察光学系１６の相対位置関係と倍率より、ほぼ決定されるので、低倍率観察光学系１８の位置と姿勢を調整する調整機構により低倍率画像２のほぼ中央部を高倍率観察光学系１６で観察できろよう調整する。
【００４７】
このようにしてほぼ決定した高倍率画像位置姿勢初期情報を高倍率画像位置姿勢初期情報入力部２４より画像処理装置１９０に入力する。
【００４８】
顕微鏡１５の光学系は、被検体の表裏から観察した像でも上下左右が一致するようプリズム、レンズ等が配置されており、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の天地を合わせることで一致させることができる。
【００４９】
さらに、高倍率画像位置姿勢処理部２５は高倍率画像３と低倍率画像２の対応点の画面内の位置と姿勢を計測することにより、詳細な位置合わせを行う。
【００５０】
前記位置合わせは、対応点検出部２３で指定した一直線上に載らない３点を高倍率、低倍率で同時に観察し、それぞれの点間距離から倍率比｜β２／β１｜を決定することができる。
【００５１】
また、高倍率画像３内での点間距離と視野の大きさの比から、低倍率上で表示すべき高倍率視野範囲指標の大きさを決定することができる。
【００５２】
さらに、低倍率画像２と高倍率画像３上での２点を結んだ対応する直線間の画面内の傾きの差から高倍率視野範囲指標の姿勢を決定することができる。
【００５３】
このようにして得られた高倍率画像３の低倍率画像２上の対応位置を示す指標として、低倍率画像２に対し、画像重畳装置２７を用いて高倍率視野指標を重畳し、これを表示出力部２８から出力し、ビデオモニタ２０上に表示する。
【００５４】
また、高倍率画像３は別途ビデオモニタ２００上に表示する。
【００５５】
そして、低倍率画像２上に重畳表示された高倍率視野指標により、高倍率画像３で観察している視野が、低倍率画像２のどの位置に対応するかを明確に表示することができると共に、低倍率画像２の視野範囲で起こった被検体の変化なども、常に観察可能なので、高倍率で詳細に観察している周囲の状況を常に確認することができ、高倍率で観察すべき個所へ速やかに高倍率視野を移動することができる。
【００５６】
したがって、この第１の実施形態には、本発明による本来の効果のほかに、次のような特有の効果がある。
【００５７】
例えば、高倍率画像３と低倍率画像２の画面の方向が一致するよう構成されているため、どちらの画面を見ていても視野移動させる方向が一致しているため視野移動を行い易い。
【００５８】
なお、この発明の第１の実施形態の各構成は、当然、各種の変形、変更が可能である。
【００５９】
例えば、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の各撮像面のサイズは同一でなくても良く、異なるサイズを用いれば、光学系を変更することなく、倍率すなわち観察視野を変更することができる。
【００６０】
また、画像の上下左右方向の補正は、光学的に行っていたものを高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９で取得した画像の方向表裏を電子的に変更することにより、対処するようにしても良い。
【００６１】
また、高倍率画像位置姿勢情報は、対応点の検出からではなく、高倍率観察光学系１６と、低倍率観察光学系１８の相対位置と、倍率比｜β２／β１｜から導かれる相当位置に表示する簡易表示としても、ほぼ同等の作用を得ることができる。
【００６２】
また、第１の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示するようにしてもよい。
【００６３】
これによれば、対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【００６４】
（第２の実施形態）
次に、本発明による画像表示装置の第２の実施形態を図５及び図６を用いて説明する。
【００６５】
図５は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００６６】
図６は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００６７】
この発明の第２の実施形態は、次のように構成されている。
【００６８】
すなわち、図５に示すように、顕微鏡１５の画像表示装置は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能なように構成されている。
【００６９】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００７０】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００７１】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、画像処理装置１９０に入力される。
【００７２】
この画像処理装置１９０での処理結果はビデオモニタ２０に出力される。
【００７３】
そして、図６に示すように、画像処理装置１９０内部には、高倍率側ビデオカメラ１７からの入力が入る高倍率画像入力部２１と、低倍率側ビデオカメラ１９からの入力が入る低倍率画像入力部２２、低倍率画像２と高倍率画像３間の対応点の指定、検出を行う対応点検出部２３と、高倍率画像位置姿勢の初期情報を入力する高倍率画像位置姿勢初期情報入力部２４と、高倍率画像位置姿勢情報の入力や測定を行う高倍率画像位置姿勢処理部２５と、高倍率画像位置姿勢情報に基づいて、高倍率画像を加工した加工高倍率画像の生成を行う高倍率画像加工部２９と、低倍率画像への加工高倍率画像の重畳等の処理を行う画像重畳装置２７と、ビデオモニタ２０に出力を行う表示出力部２８とが備えられている。
【００７４】
次に、この発明の第２の実施形態の作用を説明する。
【００７５】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００７６】
なお、高倍率画像位置姿勢入力部２４及び高倍率画像位置姿勢処理部２５までの作用は、上述した第１の実施形態と同様である。
【００７７】
そして、得られた高倍率画像位置姿勢情報に基づき、高倍率画像加工部２９は高倍率画像入力部２１からの高倍率画像３を高倍率観察視野範囲に合わせて縮小を行うと共に、姿勢情報に基づき、回転操作を行い加工高倍率画像を得る。
【００７８】
続いて、位置情報に基づいた位置に低倍率画像２上の対応位置を示す指標として、低倍率画像２に対し画像重畳装置２７を用いて加工高倍率像を重畳し、これを表示出力２８から出力し、ビデオモニタ２０上に表示する。
【００７９】
また、高倍率像は別途ビデオモニタ２００上に表示する。
【００８０】
そして、低倍率画像２上に重畳表示された加工高倍率像により、高倍率画像３で観察している視野が、低倍率画像２のどの位置に相当するかを明確に表示することができると共に、低倍率画像２の視野範囲で起こった被検体の変化なども、常に観察可能なので、高倍率で詳細に観察している周囲の状況を常に確認することができ、高倍率で観察すべき個所へ速やかに高倍率視野を移動することができる。
【００８１】
また、高倍率画像上の変化も同一画面上で確認することができる。
【００８２】
なお、この発明の第２の実施形態の各構成は、当然、各種の変形、変更が可能である。
【００８３】
この第２の実施形態では、上述した第１の実施形態における変更例に加え、高倍率画像加工部に高倍率視野範囲指標生成部と同様の、指標生成機能を持たせ、加工高倍率画像周囲に重畳することにより、より明確に高倍率観察視野範囲を表示することもできる。
【００８４】
また、第２の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示するようにしてもよい。
【００８５】
これによれば、対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【００８６】
（第３の実施形態）
次に、本発明による画像表示装置の第３の実施形態を図７及び図８を用いて説明する。
【００８７】
図７は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００８８】
図８は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００８９】
この発明の実施の形態は次のように構成されている。
【００９０】
すなわち、図７に示すように、顕微鏡１５の画像表示装置は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能なように構成されている。
【００９１】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００９２】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００９３】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、画像処理装置１９０に入力される。
【００９４】
また、後述する低倍率指示指標３０ａ，高倍率指示指標３０ｂを操作するための位置入力装置３１からの信号も、画像処理装置１９０に入力される。
【００９５】
この画像処理装置１９０での処理結果はビデオモニタ２０に出力される。
【００９６】
そして、図８に示すように、画像処理装置１９０の内部には、第１及び第２のの実施形態の構成に加え、低倍率画像２、高倍率画像３の中を指し示す低倍率指示指標３０ａと高倍率指示指標３０ｂを生成する低倍率指示指標生成部３２ａ及び高倍率指示指標生成部３２ｂと、位置入力装置３１からの信号を指示指標３０の画像上の操作量に変換する操作量入力装置３３と、高倍率画像位置姿勢情報と指示指標操作量に基づいて高倍率画像３内の指標位置を低倍率画像２内の低倍率指示指標の操作量に変換する高倍率−低倍率操作量変換部３４と、操作量に基づいて低倍率画像２と高倍率画像３内への指示指標の重畳等の処理を行う低倍率指標重畳部３５ａ及び高倍率指標重畳部３５ｂと、ビデオモニタ２０及び２００に出力を行う表示出力部２８及び２８０とが備えられている。
【００９７】
次に、この発明の実施の形態の作用を説明する。
【００９８】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００９９】
そして、位置入力装置３１から入力された信号は操作量入力装置３３により高倍率画像３上の操作量に変換され、高倍率指標生成部３２ｂで生成された高倍率指示指標３０ｂを高倍率指標重畳部３５ｂにより、高倍率画像２に重畳し表示出力に出力し、ビデオモニタ２００に出力する。
【０１００】
また、前述した第１及び第２の実施形態と同様にして高倍率画像位置姿勢情報が得られる。
【０１０１】
そして、低倍率画像２中の高倍率画像３の対応位置を示す高倍率画像位置姿勢情報と、位置入力装置３１から入力され操作量入力装置で変換された高倍率画像上での操作量を高倍率−低倍率操作量変換部３４に入力し、高倍率画像上の高倍率指示指標の移動量と移動方向を、低倍率画像上での低倍率指示指標の位置、姿勢に変換する。
【０１０２】
この低倍率指示指標位置姿勢情報に基づいて低倍率指示指標を低倍率画像上に低倍率指示指標重畳部３５ａを用いて重畳し、表示出力部２８０に出力し、ビデオモニタ２００上に表示する。
【０１０３】
これにより、低倍率画像２、高倍率画像３上に指示指標が同期されて表示される。
【０１０４】
なお、この発明の第３の実施形態の各構成は、当然、各種の変形、変更が可能である。
【０１０５】
本実施の形態では、高倍率画像３上の指示指標３０ｂを操作するように構成されていたが、低倍率画像２側の指示指標３０ａを操作するよう構成しても同様の効果が得られる。
【０１０６】
また、前述した第１及び第２の実施形態と同様に、高倍率画像位置姿勢情報を対応点の検出からでなく、高倍率観察光学系１６と低倍率観察光学系１８の相対位置と、倍率比｜β２／β１｜から導かれる変換にしたがって相当位置に指示指標を表示しても、ほぼ同等の作用を得ることができる。
【０１０７】
（第４の実施形態）
次に、本発明による画像表示装置の第４の実施形態を図９及び図１０を用いて説明する。
【０１０８】
図９は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【０１０９】
図１０は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における動作を説明するための画面を示す図である。
【０１１０】
この発明の第４の実施の形態は、次のように構成されている。
【０１１１】
すなわち、この第４の実施の形態では、図９に示すように、前述した第１、第２、第３の実施の形態に加えて、画像処理装置１９０内もしくはそれに接続した形態で、高倍率ビデオカメラ１７及び低倍率ビデオカメラ１９からの各画像等を記録する記録装置３６と、時間の同期を取るためのタイムコード発生部３７と、被検体を置載する顕微鏡ステージ３８の位置姿勢を出力するステージ位置信号出力部３９と、顕微鏡ステージ３８の駆動量を指示するステージ操作部４０と、顕微鏡ステージの位置姿勢情報を処理して、低倍率画像の位置姿勢情報とする低倍率画象位置姿勢処理部４１と、付加情報を入力するテキスト入力部４２と、インデックスフラグ生成部４３などが備えられている。
【０１１２】
また、再生手段には、タイムコード指定部４４と、座標指定部４５と、再生指示部４６と、インデックス画像表示部４７と、画像検索部４８と、付加情報検索部４９などが備えられている。
【０１１３】
次に、この発明の第４の実施形態の作用を説明する。
【０１１４】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【０１１５】
そして、図１０に示すように、顕微鏡ステージ３８の初期位置を顕微鏡ステージ位置姿勢座標５０の原点５１とすると共に、顕微鏡ステージ３８の位置信号は被検体が顕微鏡ステージ３８に固定されているものとし、被検体座標５１と同一と設定する。
【０１１６】
また、顕微鏡ステージ３８のステージ初期位置における顕微鏡ステージ３８の位置姿勢情報を低倍率画像位置姿勢情報５２の原点５３とする。
【０１１７】
また、顕微鏡ステージ３８の位置姿勢情報すなわち被検体座標５０に対して、低倍率画像位置姿勢情報が定義されるものとする。
【０１１８】
また、低倍率画像２内は、高倍率画像３の位置姿勢情報座標空間５４となっており、高倍率画像３の位置姿勢情報５５は低倍率画像２内での位置姿勢を示すものとする。
【０１１９】
このような座標定義に従い、低倍率画像位置姿勢処理部４１と、高倍率画像位置姿勢処理部２５とで低倍率位置姿勢情報並びに高倍率画像位置姿勢情報を出力する。
【０１２０】
また、記録時の時間情報をタイムコードとしてタイムコード発生部３７で生成する。
【０１２１】
そして、ステージ操作部４０の操作により、変更される、顕微鏡ステージ３８の位置情報はステージ位置信号出力部３９から出力され、低倍率画像位置姿勢処理部４１で低倍率位置姿勢情報に変換される。
【０１２２】
また、任意時点で、テキスト入力部４２から、被検体の説明などを入力することもできる。
【０１２３】
また、観察の開始時、終了時、ステージ移動の開始点、停止点、テキスト入力時の画像は、別途インデックス画像としてインデックスフラグ生成部４２により生成されるフラグが付加される。
【０１２４】
また、ステージ位置姿勢情報、低倍率画像位置姿勢情報、高倍率画像位置姿勢情報、タイムコード、テキストやインデックスフラグによる付加情報は、記録装置３６にすべてタイムコードに関連付けされた状態で入力される。
【０１２５】
ここで、インデックスが付加された画像は、インデックス画像表示部４７で、サムネイル表示される。
【０１２６】
再生手段に相当する再生指示部４６、タイムコード指定部４４、座標指定部４５からの入力によりタイムコードや、インデックス画像、付加情報、座標などを指定し、記録装置３６から情報を読み出し、前述した第１乃至第３の実施形態の各処理部に相当する信号を再入力することで、目的の画像を記憶装置３６から読み出し、任意の時点の画像の表示、重畳画像の再構成、画像の再生を行う。
【０１２７】
また、付加情報検索部４９、画像検索部４８により、検索キーとなるテキストやインデックスフラグ、画像を入力することで記録装置内の情報を検索する。
【０１２８】
なお、説明の簡単のため、前述した第１、第２、第３の実施の形態に相当する機能は図９においては、省略されている。
【０１２９】
なお、この発明の第４の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１３０】
本実施の形態では、タイムコードを別途生成したが、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像のフレーム情報を用いるようにしても良い。
【０１３１】
この際には、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の同期を取る同期信号を用いるものとする。
【０１３２】
（第５の実施形態）
次に、本発明による第５の実施形態として適用される操作装置を含む画像表示装置について図１１及び図１２を用いて説明する。
【０１３３】
図１１は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の構成を示すブロック図である。
【０１３４】
図１２は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の内部構成を示すブロック図である。
【０１３５】
この発明の第５の実施形態は、次のように構成されている。
【０１３６】
すなわち、図１１に示すように、この第５の実施形態では、前述した第１乃至第４の実施形態の構成で、視野移動手段である顕微鏡ステージ３８を自動ステージ５６に変更し、その制御信号を与えるステージ駆動装置５７と、該ステージ駆動装置５６にコマンドを送る制御装置５８とを備える。
【０１３７】
また、前述した第１、第２及び第４の実施形態には、前述した第３の実施の形態で用いた指示指標３０を画像上に重畳表示し操作するための構成をもつものとする。
【０１３８】
また、図１２に示すように、この第５の実施形態では、指示指標３０を操作するためのマウス等の位置入力装置３１と、該位置入力装置３１からの信号を画面上での指示指標の操作量に変換する操作量入力装置３３と、低倍率画像中で高倍率画像で次に観察したい着目位置を指示するための指示用高倍率視野範囲指標５９を生成する指示用高倍率視野範囲指標生成部６０を備える。
【０１３９】
また、前記位置入力装置３１による位置入力のほかに画像上の任意ポイントを指定すると共に、その指定を解除することができる指定入力部６１と、該指定入力部６１で指定された間の、操作量を、記憶する操作量記録部６２を備える。
【０１４０】
なお、説明の簡単のため、図１１及び図１２では、前述した第１乃至第４の実施形態の構成のうち、本実施形態の説明に不要なものは省略している。
【０１４１】
次に、この発明の実施の形態の作用を説明する。
【０１４２】
まず、指示指標３０の操作量入力装置３３から入力された操作量は、低倍率像位置姿勢情報に基づき、画面上での指標の移動の距離、方向、姿勢が画面上での被検体の動きに一致するように補正した駆動量に変換される。
【０１４３】
また、低倍率画像２上に重畳表示される高倍率視野範囲指標の位置姿勢に合わせて指示用高倍率視野範囲指標生成部６０で生成された指示用高倍率視野範囲指標５９を重畳表示する。
【０１４４】
また、指示用高倍率視野範囲指標５９は位置入力装置３１で操作される指示指標３０により指示され、さらに、指定入力部６１により指定されたとき、指示指標３０と画面内で同期して表示位置を変更する。
【０１４５】
そして、着目位置を指示用高倍率視野範囲指標５９で指示し、指定入力部６１の指定を解除する。
【０１４６】
この指定入力部６１によって指定された状態で指示用高倍率視野範囲指標５９の表示位置を変更した間に操作量記録部６２に記録されていた駆動量を制御装置５８に送ることで自動ステージ５６が駆動され、指示用高倍率視野範囲指標５９で指示した被検体の着目位置を高倍率視野範囲内に移動する。
【０１４７】
こうすることにより、ビデオモニタ２０に低倍率画像２中で着目指示した高倍率画像３視野を表示する。
【０１４８】
指示用高倍率視野範囲指標５９が、低倍率画像２端に接触した場合は、リアルタイムで接触した画像の辺の方向へ低倍率画豫視野が移動するよう、操作量入力装置３３からの信号が、操作量記録部６２をバイパスして制御装置５８に入力される。
【０１４９】
なお、この発明による第５の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１５０】
例えば、高倍率視野範囲指標で表示していた高倍率画像位置姿勢を、加工高倍率画像を重畳することで同一ビデオモニタ２０上に低倍率画像２、３を表示しても良い。
【０１５１】
また、低倍率画像２の視野の移動は低倍率画像端を指示指標３０で指定入力することにより、その方向に動く構成や低倍率画像領域を指定入力し指示指標３０に同期して、ステージが駆動することで低倍率画象の視野移動を行うようにしても良い。
【０１５２】
また、指示用高倍率視野範囲指標５９の代わりに指定入力で指定したときの高倍率画像視野範囲指標や加工高倍率画像を用いても良い。
【０１５３】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至３以外にも、以下に付記１乃至付記１７として示すような発明が含まれている。
【０１５４】
（付記１） 上記低倍率画像入力手段で取得した画像上の上記高倍率画像入力手段で入力した画像に対応する領域に、上記高倍率画像入力手段で入力した画像を、該領域に当てはまるように倍率、位置、姿勢を変更する高倍率画像加工手段をさらに具備し、上記指標として上記高倍率画像加工手段の出力を用いることを特徴とする請求項１または２に記載の画像表示装置。
【０１５５】
この付記（１）の構成は、後述する第２の実施形態が対応している。
【０１５６】
（付記２） 上記高倍率画像入力手段で入力した画像を表示する高倍率画像出力手段と、画像上の位置を指定可能な位置入力手段とをさらに具備し、
上記位置入力手段で指定された位置に対応した指示指標を、上記画像出力手段の出力画像と上記高倍率画像出力手段の出力画像の両方に表示可能であることを特徴とする請求項１または２若しくは付記１に記載の画像表示装置。
【０１５７】
この付記（２）の構成は、後述する第３の実施形態が対応している。
【０１５８】
（付記３） 上記低倍率画像入力手段で入力した画像と、上記高倍率画像入力手段で入力した画像と、両画像の相対的な倍率と位置と姿勢と、を含む情報を時系列に記録可能な記録手段をさらに具備することを特徴とする請求項１または２若しくは付記１または２に記載の画像表示装置。
【０１５９】
この付記（３）の構成は、後述する第４の実施形態が対応している。
【０１６０】
（付記４） 上記画像表示装置は、観察対象を対向する２つの方向から観察する顕微鏡の画像を表示するものであることを特徴とする請求項１、２または３若しくは付記１、２または３に記載の画像表示装置。
【０１６１】
（付記５） 対向した２つの倍率の異なる観察光学系を有し、高倍率、低倍率で観察可能な顕微鏡の画像表示装置において、
高倍率の観察光学系の画像を取得する高倍率画像取得手段と、
低倍率の画像を取得する低倍率画像取得手段と、
低倍率画像中での高倍率画像の位置姿勢を計測する高倍率画像位置姿勢計測手段と、
低倍率画像上に高倍率画像の対応位置を示す指標を重畳する重畳手段と、
画像を表示する表示手段とを備え、
低倍率画像上に高倍率画像の対応位置を表示することを特徴とする画像表示装置。
【０１６２】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１６３】
画像取得手段は、この実施の形態ではビデオカメラが該当する。
【０１６４】
また、表示手段は、この実施の形態ではビデオモニタが該当するが、計算機ディスプレイでも良い
（作用）
対向した２つの倍率の異なる観察光学系を有し、高倍率、低倍率で観察可能な顕微鏡の高倍率画像取得手段と低倍率画像取得手段によって得られた、画像の対応位置を低倍率画像上に重畳し、表示する。
【０１６５】
（効果）
被検体のどの部分を高倍率で観察しているのかを把握し易くする。
【０１６６】
（付記６） 対向した２つの倍率の異なる観察光学系を有し、低倍率の観察光学系の倍率をβ１、高倍率の観察光学系の倍率をβ２とするとき、｜β２／β１｜＞３という条件を満たす顕微鏡を用いることを特徴とする付記５に記載の画像表示装置。
【０１６７】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１６８】
（作用）
低倍率画像中での、高倍率画像の比率を、光学系の段階でほぼ１／３以下とする。
【０１６９】
（効果）
高倍率画像の観察視野周辺を十分に観察するために必要な範囲の視野が得られる。
【０１７０】
（付記７） 顕微鏡が、視野範囲移動手段を有することを特徴とする付記５に記載の画像表示装置。
【０１７１】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１７２】
視野移動手段は、この実施の形態では被検体を置載する顕微鏡ＸＹステージが相当するが、観察光学系の移動装置や、ピデオカメラ等の撮像素子の移動、撮像素子内での電気的な撮像範囲の移動などを用いることも可能である。
【０１７３】
（作用）
視野移動手段により、被検体の観察個所を変更する。
【０１７４】
（効果）
低倍率画像上で観察している範囲で着目したい箇所を視野を移動することにより高倍率画像で観察することが可能となる。
【０１７５】
また、低倍率画像により、観察しきれない被検体を視野の移動で観察することが可能となる。
【０１７６】
（付記８） 低倍率像上での高倍率視野範囲に相当する視野範囲を示す指標を生成する指標生成手段を備え、
前記指標生成手段によって生成された高倍率視野範囲指標を前記高倍率像位置姿勢計測手段により得られた高倍率像位置姿勢情報に基づき重畳表示することを特徴とする付記５に記載の画像表示装置。
【０１７７】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施形態が対応す。
【０１７８】
（作用）
指標生成手段により生成された、高倍率視野範囲指標を低倍率画豫中の高倍率像相当位置に重畳表示する。
【０１７９】
（効果）
低倍率画像中のどの部分を高倍率画像で観察しているかを常に表示することができる。
【０１８０】
（付記９） 高倍率像位置姿勢計測手段として、低倍率β１と高倍率β２の比率｜β２／β１｜の値と、低倍率光学系と高倍率光学系の位置姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記８に記載の画像表示装置。
【０１８１】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施の形態が対応する。
【０１８２】
（作用）
指標生成手段により生成された高倍率視野範囲指標を観察光学系の倍率と、配置から得られる情報に従い低倍率画像中の高倍率画像位置に表示する。
【０１８３】
（効果）
観察光学系が固定されている付記５の顕微鏡において、初期合せのみで容易に低倍率画像中の高倍率観察視野を表示することができる。
【０１８４】
（付記１０） 高倍率像位置姿勢計測手段として、高倍率像と低倍率像の対応点を検出する検出手段を備え、
その対応点問の位置、姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記９に記載の画像表示装置。
【０１８５】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施形態が対応する。
【０１８６】
（作用）
対応点検出手段により低倍率画像上での高倍率画像の位置姿勢情報を得る。
【０１８７】
（効果）
対応点検出手段より得られた高倍率画像位置姿勢情報により、高倍率視野範囲指標を生成し、正確に低倍率画像上に高倍率像の位置、姿勢を高倍率視野範囲指標により表示することができる。
【０１８８】
（付記１１） 低倍率像上での高倍率視野範囲に相当する視野範囲に合わせて高倍率画像を加工する高倍率画像加工手段を備え、前記高倍率画像加工手段によって生成された加工高倍率画像を前記高倍率像位置姿勢計測手段により得られた高倍率像位置姿勢情報に基づき重畳表示することを特徴とする付記５に記載の画像表示装置。
【０１８９】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９０】
（作用）
低倍率画像の高倍率画像相当位置に、高倍率画像を縮小表示する。
【０１９１】
（効果）
実画像を、画像間の相対位置を表示しながら単一の表示手段上に表示することで、直感的に被検体の状態を把握することができる。
【０１９２】
（付記１２） 高倍率像位置姿勢計測手段として、低倍率β１と高倍率β２の比率｜β２／β１｜の値と、低倍率光学系と高倍率光学系の位置姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記１１に記載の画像表示装置。
【０１９３】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９４】
（作用）
加工高倍率画像を観察光学系の倍率と、配置から得られる情報に従い低倍率画像中の高倍率画像位置に表示する。
【０１９５】
（効果）
光学系が固定されている付記５の顕微鏡において、初期合わせのみで加工高倍率画像を低倍率画像上に表示できる。
【０１９６】
（付記１３） 高倍率像位置姿勢計測手段として、高倍率像と低倍率像の対応点を検出する検出手段を備え、
その対応点間の位置、姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記１２に記載の画像表示装置。
【０１９７】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９８】
（作用）
対応点検出手段により低倍率画像上での高倍率画像の位置姿勢情報を得る。
【０１９９】
（効果）
対応点の検出手段より得られた高倍率画像位置姿勢情報により、加工高倍率画像を生成し、正確に低倍率画像上に高倍率像の位置、姿勢を加工高倍率画像により表示することができる。
【０２００】
（付記１４） 画像内の位置を指示する指示指標生成手段により、高倍率画像内での指示指標の位置を示す高倍率指示指標位置情報と、低倍率画像内での指示指標の位置を示す低倍率指示指標位置情報と、高倍率像位置姿勢情報に基づいて、低倍率指示指標位置情報と高倍率画像内位置情報を対応させて、低倍率画像上と高倍率画像上の対応点を指示指標により同時に指し示すことを特徴とする付記５、８または１１に記載の画像表示装置。
【０２０１】
（対応する発明の実施形態）
この発明に関する実施形態は、第３の実施形態が対応する。
【０２０２】
（作用）
座標変換手段により、高倍率像上での指示指標で位置を指し示した位置を、低倍率画像上での相当位置に変換し、低倍率画像上の指示指標を用いて低倍率画像上に表示する。
【０２０３】
（効果）
指示した低倍率画像、高倍率画像で対応する位置を同時に指示指標により表示することで、高倍率、低倍率画像での対応点を明確に表示することができる。
【０２０４】
（付記１５） 同期情報を発生する同期情報発生手段と、視野移動手段から出る視野移動情報と、低倍率光学系の視野移動情報に対する位置姿勢を示す低倍率画像位置姿勢情報を得る低倍率画像位置姿勢計測手段と、同期情報と低倍率位置姿勢情報と低倍率画像を記録する低倍率画像記録手段と、同期情報と高倍率画像位置姿勢情報と高倍率画像を記録する高倍率画像記録手段と記録手段とにより記録した記録情報を画像表示装置の入力として用いることで、情報ならびに画像を再生する再生手段を備えることを特徴とする付記５、８、１１または１４に記載の画像表示装置。
【０２０５】
（対応する発明の実施形態）
この発明に関する実施形態は、第４の実施の形態が対応する。
【０２０６】
同期情報は、この実施の形態ではタイムコードが該当する。
【０２０７】
また、視野移動情報は、顕微鏡ステージの駆動情報が該当する。
【０２０８】
（作用）
画像情報と共に、位置姿勢情報、同期情報を記録し、同期情報を基準として、画像情報や位置姿勢情報をリンクし、各情報により指示された画像表示の再生を行う。
【０２０９】
（効果）
画像情報と共に、位置姿勢情報、同期情報が記録されているため、任意時点の指標位置、低倍率画像上の高倍率画像、被検体のどの部分を観察したかなどをあとから再生表示することが可能であり、さらに必要とあればその時点の低倍率画像のみ、高倍率画像のみ、位置姿勢情報のみを再生表示することができる。
【０２１０】
（付記１６） 視野移動手段を操作する視野移動指示手段と、画像内で移動可能な指示用高倍率視野指標と、これを低倍率画像上に重畳する画像重畳手段を備え、視野移動指示手段を用い低倍率画像上に重畳表示された指示用高倍率視野表示手段を操作することで、視野移動手段を操作することを特徴とする付記５、８、１１、１４または１５に記載の画像表示装置。
【０２１１】
（対応する発明の実施形態）
この発明に関する実施形態は、第５の実施の形態が対応する。
【０２１２】
視野移動手段は、この実施の形態では顕微鏡ステージが該当する。
【０２１３】
また、視野移動指示手段は位置入力装置、指定入力部、操作量入力装置、操作量記録部から構成される。
【０２１４】
また、指示用高倍率視野表示手段は、指示用高倍率視野範囲指標生成部と指示用高倍率視野範囲指標とにそれぞれ相当する。
【０２１５】
（作用）
視野移動指示手段により、指示用高倍率視野表示手段を移動させると、視野移動手段が移動することで高倍率画像で観察する視野を移動することができる。
【０２１６】
（効果）
画像を操作する容易な操作で、目的の被検体を高倍率画像で観察できるよう視野移動手段を操作することができる。
【０２１７】
（付記１７） 上記低倍率画像入力手段で取得した画像に対して、上記高倍率画像入力手段で取得した画像を低倍率画像の倍率に合わせて縮小して加工高倍率画像を作成する高倍率画像加工手段と、
前記加工高倍率画像をテンプレートとしたテンプレートマッチング手段と、
をさらに具備し、両画像の相対的な位置と姿勢を求めることを特徴とする請求項１に記載の画像表示装置。
【０２１８】
（対応する発明の実施形態）
この発明に関する実施形態は、第１及び第２の実施形態の変形例が対応している。
【０２１９】
（作用）
第１及び第２の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示する。
【０２２０】
（効果）
対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【０２２１】
【発明の効果】
従って、以上説明したように、請求項１又は２に記載の本発明によれば、低倍率画像と高倍率画像とを並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することができる。
【０２２２】
また、請求項１又は２に記載の本発明によれば、高倍率画像を低倍率画像に重畳する際に、低倍率画像内の高倍率画像の観察範囲相当位置に高倍率画像を重畳する画像表示装置を提供することができる。
【０２２３】
また、請求項３に記載の本発明によれば、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、従来の画像表示装置の構成を示すブロック図である。
【図２】図２の（ａ）は、図１の従来の画像表示装置の動作を説明するための図であり、図２の（ｂ）は、本発明の課題を説明するための図である。
【図３】図３は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図４】図４は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図５】図５は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図６】図６は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図７】図７は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図８】図８は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図９】図９は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図１０】図１０は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における動作を説明するための画面を示す図である。
【図１１】図１１は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の構成を示すブロック図である。
【図１２】図１２は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の内部構成を示すブロック図である。
【符号の説明】
２…低倍率画像、
３…高倍率画像、
１５…顕微鏡、
１６…高倍率観察光学系、
１７…高倍率側ビデオカメラ、
１８…低倍率観察光学系、
１９…低倍率側ビデオカメラ、
１９０…画像処理装置、
２０、２００…ビデオモニタ、
２１…高倍率画像入力部、
２２…低倍率画像入力部、
２３…対応点検出部、
２４…高倍率画像位置姿勢初期情報入力部、
２５…高倍率画像位置姿勢処理部、
２６…高倍率視野範囲指標生成部、
２７…画像重畳装置、
２８、２８０…表示出力部、
２９…高倍率画像加工部、
３０ａ…低倍率指示指標、
３０ｂ…高倍率指示指標、
３１…位置入力装置、
３２ａ…低倍率指示指標生成部、
３２ｂ…高倍率指示指標生成部、
３３…操作量入力装置、
３４…高倍率−低倍率操作量変換部、
３５ａ…低倍率指標重畳部、
３５ｂ…高倍率指標重畳部、
３６…記録装置、
３７…タイムコード発生部、
３８…顕微鏡ステージ、
３９…ステージ位置信号出力部、
４０…ステージ操作部、
４１…低倍率画象位置姿勢処理部、
４２…テキスト入力部、
４３…インデックスフラグ生成部、
４４…タイムコード指定部、
４５…座標指定部、
４６…再生指示部、
４７…インデックス画像表示部、
４８…画像検索部、
４９…付加情報検索部、
５０…顕微鏡ステージ位置姿勢座標、
５１…被検体座標（原点）、
５２…低倍率画像位置姿勢情報、
５３…原点、
５４…高倍率画像３の位置姿勢情報座標空間、
５５…高倍率画像３の位置姿勢情報、
５６…自動ステージ、
５７…ステージ駆動装置、
５８…制御装置、
５９…指示用高倍率視野範囲指標、
６０…指示用高倍率視野範囲指標生成部、
６１…指定入力部、
６２…操作量記録部。
【発明の属する技術分野】
本発明は画像表示装置に係り、特に、顕微鏡画像を表示する画像表示装置と、これを用いた操作装置に関する。
【０００２】
【従来の技術】
例えば、特許公報第２７７０６９９号に開示されている従来の画像表示装置においては、低倍率画像中の高倍率画像での観察範囲を表示するために、図１に示すような構成をとっている。
【０００３】
すなわち、この画像表示装置１は、観察倍率を変更するために倍率変更手段４と観察位置を移動させる観察位置移動手段５を有する観察倍率が可変の観察装置６と、該観察装置６により得られた比較的低倍率で観察された低倍率画像２（図２参照）を記憶する観察位置表示用画像記憶手段７と、前記倍率変更手段４から与えられる倍率信号から得られる観察視野倍率に反比例した大きさの矩形マークを発生すると共に、前記観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像上での位置を観察位置移動手段５から与えられる位置信号に基づいて演算するマーク発生手段８と、該マーク発生手段８により発生された矩形マークの画像を記憶するマーク画像記憶手段９と、前記観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と前記マーク画像記憶手段９に記憶されているマーク画像とを表示手段１０に合成表示する画像合成手段１１と、各観察視野において前記観察装置６により得られた高倍率画像３（図２参照）等の観察画像を複数記憶する画像情報記憶手段１２とを備えている。
【０００４】
このように構成される画像表示装置１において、マーク画像記憶手段９は画像情報記憶手段１２に観察画像が記憶される都度、マーク発生手段８が発生したマーク画像を重ね書きして記憶する。
【０００５】
そして、画像合成手段１１は、マーク画像記憶手段９に重ね書きして記憶されたマーク画像を観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と合成して表示手段１０に表示するようにしている。
【０００６】
また、例えば、一般に、２つ以上の画像を１画面上に表示する手法として、親子画面装置が存在する。
【０００７】
この親子画面装置では、あらかじめ、親画面に設定された所定の位置に、子画面が縮小されて重畳表示される。
【０００８】
また、例えば、前述した特許公報第２７７０６９９号では、マーク画像記憶手段９は画像情報記憶手段１２に観察画像が記憶される都度、マーク発生手段８が発生したマーク画像を重ね書きして記憶し、画像合成手段１１はマーク画像記憶手段９に重ね書きして記憶されたマーク画像を観察位置表示用画像記憶手段７に記憶されている観察位置表示用画像と合成して表示することにより、低倍率画像２上に高倍率画像３の観察位置の履歴が表示される。
【０００９】
また、例えば、一般に、顕微鏡のステージはジョイスティックやダイヤル、方向キーによる操作により移動させる。
【００１０】
また、動かしたい位置を画面上で指定するとその部分がステージの移動により画面中央に移動するものや、画面上の指標の動きにしたがって、ステージが移動するように構成された操作装置が存在する。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したような特許公報第２７７０６９９号による従来技術では、倍率変更手段４による倍率の切り替えにより低倍率画像２と高倍率画像３を切り替えているため、双方の画像を同時に更新しつつ連続的に表示し続けるという点について対応することができないという問題を有している（図２のａ）。
【００１２】
本発明は、この点に着目し、図２の（ｂ）に示すように、低倍率画像２と高倍率画像３を並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することを課題とする。
【００１３】
また、上述したような特許公報第２７７０６９９号による従来技術では、低倍率画像２の静止撮り込み画像に対して矩形マーカを重畳表示することにより、高倍率画像３の視野範囲を低倍率画像２上に表示しているので、画像全体の移動や、観察対象の変化が生じたときには、倍率を変更後、再取り込みの後に更新する必要があり、表示に空白時間が生じるという問題を有している（図２のａ）。
【００１４】
また、この従来技術では、低倍率画像２は撮りこみ静止画のため、リアルタイム性に欠けるという問題を有している。
【００１５】
本発明は、この点に着目し、低倍率画像２と高倍率画像３とが同時観察可能な画像入力手段を用いて取得した画像に対し、低倍率の画像中に高倍率の画像位置を示す指標を表示するのに適した画像表示装置を提供することを課題とする。
【００１６】
また、上述したような従来技術では、重畳画面と、重畳元画面間の位置や倍率差などの関係を表示することには対応できないという問題を有している。
【００１７】
本発明は、この点に着目し、高倍率画像３を低倍率画像２に重畳する際に、低倍率画像２内の高倍率画像３観察範囲相当位置に高倍率画像３を重畳する画像表示装置を提供することを課題とする。
【００１８】
また、上述したような従来技術では、低倍率画像２上での高倍率画像３視野相当位置を矩形マークにより表示するようにしているが、その内部の対応点をより詳しく表示することができないという問題を有している。
【００１９】
本発明はこの点に着目し、対応点を指示する指標をリアルタイムに高倍率画像３と低倍率画像２上に同期表示し、対応点を指し示ず画像表示装置を提供することを課題とする。
【００２０】
また、上述したような従来技術では、低倍率画像２に重畳する矩形マークは単に重ね書きされていくだけであり、記録画像から不要になった任意の矩形マークを除去したり、任意の時点での観察位置範囲を表示するといった要求には対応できないという問題を有している。
【００２１】
本発明は、この点に着目し、リアルタイムに記録した画像に観察時に得られた各種情報と、高倍率画像３、低倍率画像２の同期を取るための同期信号と共に記録し、任意時点の高倍率画像と低倍率画像ならびにその時点での、低倍率画像上での高倍率画像視野位置表示を再現できる画像表示装置を提供することを課題とする。
【００２２】
また、上述したような従来技術では、単−の画像に対する操作であり、複数の倍率の画像上での同時操作には対応していないという問題を有している。
【００２３】
本発明はこの点に着目し、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる操作装置を提供することを課題とする。
【００２４】
そして、本発明は、上述した課題のうち特には、低倍率画像と高倍率画像とを並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することを目的とする。
【００２５】
また、本発明は、上述した課題のうち特には、高倍率画像を低倍率画像に重畳する際に、低倍率画像２内の高倍率画像３観察範囲相当位置に高倍率画像を重畳する画像表示装置を提供することを目的とする。
【００２６】
また、本発明は、上述した課題のうち特には、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる画像表示装置を提供することを目的とする。
【００２７】
【課題を解決するための手段】
本発明によると、上記目的を達成するために、
（１） 観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
を具備することを特徴とする画像表示装置が提供される。
【００２８】
この（１）の構成は、後述する第１の実施形態が対応している。
また、本発明によると、上記目的を達成するために、
（２） 上記高倍率画像位置傾き処理手段は、
上記低倍率画像内で高倍率画像を縮小加工する高倍率画像加工部と、
上記高倍率画像加工部によって縮小加工された高倍率画像と、上記低倍率画像と、の相関値を演算する画像相関演算部と、
をさらに備え、
上記画像相関演算部によって、上記相対的な倍率と位置と傾きを求めることを特徴とする（１）に記載の画像表示装置が提供される。
この（２）の構成は、後述する第１の実施形態が対応している。
【００２９】
また、本発明によると、上記目的を達成するために、
（３） 上記低倍率画像取得手段で取得した画像と、上記高倍率画像取得手段で取得した画像の上記共通する画像領域より、両画像に共通した対応点を選択する対応点検出手段をさらに具備し、
上記高倍率画像位置傾き処理手段は、上記対応点検出部で選択した少なくとも３つの対応点を用いて、上記相対的な倍率と位置と傾きを求めることを特徴とする（１）または（２）に記載の画像表示装置が提供される。
【００３０】
この（３）の構成は、後述する第１の実施形態が対応している。
また、本発明によると、上記目的を達成するために、
（４） 上記低倍率画像取得手段で取得した低倍率画像と、上記高倍率画像取得手段で取得した高倍率画像と、上記高倍率画像位置傾き処理手段で処理した上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを含む高倍率画像位置傾き情報と、を時系列的に記録可能な記録手段をさらに具備し、
上記画像重畳手段は、上記記録手段に記録された時系列情報を用いて、任意の時点における上記指標を上記低倍率画像上に重畳することを特徴とする（１）乃至（３）の何れか一項に記載の画像表示装置が提供される。
この（４）の構成は、後述する第４の実施形態が対応している。
【００３１】
また、本発明によると、上記目的を達成するために、
（５） 観察対象において、撮像される部位を移動させる視野範囲移動手段と、
上記観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
上記低倍率画像取得手段で取得した画像上で、所定の位置を指定する位置指定手段と、
上記位置指定手段の位置指定に応じて上記視野範囲移動手段を駆動する駆動手段と、
を具備することを特徴とする画像表示装置が提供される。
【００３２】
この（５）の構成は、後述する第５の実施形態が対応している。
【００３３】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００３４】
（第１の実施形態）
まず、本発明による画像表示装置の第１の実施形態を図３及び図４を用いて説明する。
【００３５】
図３は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００３６】
図４は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００３７】
この発明の第１の実施形態は、次のように構成されている。
【００３８】
すなわち、図３に示すように、顕微鏡１５は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能な構成と成っている。
【００３９】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００４０】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００４１】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、それぞれ低倍率画像２と高倍率画像３を示し、画像処理装置１９０に入力される。
【００４２】
この画像処理装置１９０での処理結果は、ビデオモニタ２０に出力される。
【００４３】
そして、図４に示すように、画像処理装置１９０内部には、前記高倍率側ビデオカメラ１７からの入力が入る高倍率画像入力部２１と、前記低倍率側ビデオカメラ１９からの入力が入る低倍率画像入力部２２と、前記低倍率画像２と高倍率画像３部間の対応点の指定、検出を行う対応点検出部２３と、高倍率画像位置姿勢の初期情報を入力する高倍率画像位置姿勢初期情報入力部２４と、高倍率画像位置姿勢情報の入力や測定を行う高倍率画像位置姿勢処理部２５と、高倍率画像位置姿勢情報に基づいて、高倍率視野範囲指標の生成を行う高倍率視野範囲指標生成部２６と、低倍率画像への高倍率視野範囲指標の重畳等の処理を行う画像重畳装置２７と、ビデオモニタ２０に出力を行う表示出力部２８とが備えられている。
【００４４】
次に、この発明の第１の実施形態の作用を説明する。
【００４５】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００４６】
この際、低倍率画像２中での高倍率画像３の位置姿勢は、低倍率観察光学系１８と高倍率観察光学系１６の相対位置関係と倍率より、ほぼ決定されるので、低倍率観察光学系１８の位置と姿勢を調整する調整機構により低倍率画像２のほぼ中央部を高倍率観察光学系１６で観察できろよう調整する。
【００４７】
このようにしてほぼ決定した高倍率画像位置姿勢初期情報を高倍率画像位置姿勢初期情報入力部２４より画像処理装置１９０に入力する。
【００４８】
顕微鏡１５の光学系は、被検体の表裏から観察した像でも上下左右が一致するようプリズム、レンズ等が配置されており、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の天地を合わせることで一致させることができる。
【００４９】
さらに、高倍率画像位置姿勢処理部２５は高倍率画像３と低倍率画像２の対応点の画面内の位置と姿勢を計測することにより、詳細な位置合わせを行う。
【００５０】
前記位置合わせは、対応点検出部２３で指定した一直線上に載らない３点を高倍率、低倍率で同時に観察し、それぞれの点間距離から倍率比｜β２／β１｜を決定することができる。
【００５１】
また、高倍率画像３内での点間距離と視野の大きさの比から、低倍率上で表示すべき高倍率視野範囲指標の大きさを決定することができる。
【００５２】
さらに、低倍率画像２と高倍率画像３上での２点を結んだ対応する直線間の画面内の傾きの差から高倍率視野範囲指標の姿勢を決定することができる。
【００５３】
このようにして得られた高倍率画像３の低倍率画像２上の対応位置を示す指標として、低倍率画像２に対し、画像重畳装置２７を用いて高倍率視野指標を重畳し、これを表示出力部２８から出力し、ビデオモニタ２０上に表示する。
【００５４】
また、高倍率画像３は別途ビデオモニタ２００上に表示する。
【００５５】
そして、低倍率画像２上に重畳表示された高倍率視野指標により、高倍率画像３で観察している視野が、低倍率画像２のどの位置に対応するかを明確に表示することができると共に、低倍率画像２の視野範囲で起こった被検体の変化なども、常に観察可能なので、高倍率で詳細に観察している周囲の状況を常に確認することができ、高倍率で観察すべき個所へ速やかに高倍率視野を移動することができる。
【００５６】
したがって、この第１の実施形態には、本発明による本来の効果のほかに、次のような特有の効果がある。
【００５７】
例えば、高倍率画像３と低倍率画像２の画面の方向が一致するよう構成されているため、どちらの画面を見ていても視野移動させる方向が一致しているため視野移動を行い易い。
【００５８】
なお、この発明の第１の実施形態の各構成は、当然、各種の変形、変更が可能である。
【００５９】
例えば、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の各撮像面のサイズは同一でなくても良く、異なるサイズを用いれば、光学系を変更することなく、倍率すなわち観察視野を変更することができる。
【００６０】
また、画像の上下左右方向の補正は、光学的に行っていたものを高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９で取得した画像の方向表裏を電子的に変更することにより、対処するようにしても良い。
【００６１】
また、高倍率画像位置姿勢情報は、対応点の検出からではなく、高倍率観察光学系１６と、低倍率観察光学系１８の相対位置と、倍率比｜β２／β１｜から導かれる相当位置に表示する簡易表示としても、ほぼ同等の作用を得ることができる。
【００６２】
また、第１の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示するようにしてもよい。
【００６３】
これによれば、対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【００６４】
（第２の実施形態）
次に、本発明による画像表示装置の第２の実施形態を図５及び図６を用いて説明する。
【００６５】
図５は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００６６】
図６は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００６７】
この発明の第２の実施形態は、次のように構成されている。
【００６８】
すなわち、図５に示すように、顕微鏡１５の画像表示装置は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能なように構成されている。
【００６９】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００７０】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００７１】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、画像処理装置１９０に入力される。
【００７２】
この画像処理装置１９０での処理結果はビデオモニタ２０に出力される。
【００７３】
そして、図６に示すように、画像処理装置１９０内部には、高倍率側ビデオカメラ１７からの入力が入る高倍率画像入力部２１と、低倍率側ビデオカメラ１９からの入力が入る低倍率画像入力部２２、低倍率画像２と高倍率画像３間の対応点の指定、検出を行う対応点検出部２３と、高倍率画像位置姿勢の初期情報を入力する高倍率画像位置姿勢初期情報入力部２４と、高倍率画像位置姿勢情報の入力や測定を行う高倍率画像位置姿勢処理部２５と、高倍率画像位置姿勢情報に基づいて、高倍率画像を加工した加工高倍率画像の生成を行う高倍率画像加工部２９と、低倍率画像への加工高倍率画像の重畳等の処理を行う画像重畳装置２７と、ビデオモニタ２０に出力を行う表示出力部２８とが備えられている。
【００７４】
次に、この発明の第２の実施形態の作用を説明する。
【００７５】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００７６】
なお、高倍率画像位置姿勢入力部２４及び高倍率画像位置姿勢処理部２５までの作用は、上述した第１の実施形態と同様である。
【００７７】
そして、得られた高倍率画像位置姿勢情報に基づき、高倍率画像加工部２９は高倍率画像入力部２１からの高倍率画像３を高倍率観察視野範囲に合わせて縮小を行うと共に、姿勢情報に基づき、回転操作を行い加工高倍率画像を得る。
【００７８】
続いて、位置情報に基づいた位置に低倍率画像２上の対応位置を示す指標として、低倍率画像２に対し画像重畳装置２７を用いて加工高倍率像を重畳し、これを表示出力２８から出力し、ビデオモニタ２０上に表示する。
【００７９】
また、高倍率像は別途ビデオモニタ２００上に表示する。
【００８０】
そして、低倍率画像２上に重畳表示された加工高倍率像により、高倍率画像３で観察している視野が、低倍率画像２のどの位置に相当するかを明確に表示することができると共に、低倍率画像２の視野範囲で起こった被検体の変化なども、常に観察可能なので、高倍率で詳細に観察している周囲の状況を常に確認することができ、高倍率で観察すべき個所へ速やかに高倍率視野を移動することができる。
【００８１】
また、高倍率画像上の変化も同一画面上で確認することができる。
【００８２】
なお、この発明の第２の実施形態の各構成は、当然、各種の変形、変更が可能である。
【００８３】
この第２の実施形態では、上述した第１の実施形態における変更例に加え、高倍率画像加工部に高倍率視野範囲指標生成部と同様の、指標生成機能を持たせ、加工高倍率画像周囲に重畳することにより、より明確に高倍率観察視野範囲を表示することもできる。
【００８４】
また、第２の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示するようにしてもよい。
【００８５】
これによれば、対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【００８６】
（第３の実施形態）
次に、本発明による画像表示装置の第３の実施形態を図７及び図８を用いて説明する。
【００８７】
図７は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【００８８】
図８は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【００８９】
この発明の実施の形態は次のように構成されている。
【００９０】
すなわち、図７に示すように、顕微鏡１５の画像表示装置は、対向した２つの倍率の異なる観察光学系を有し、高倍率β１、低倍率β２で観察可能なように構成されている。
【００９１】
ここで、高倍率観察光学系１６の画像を取得する高倍率側ビデオカメラ１７は、高倍率観察光学系１６のカメラポートに取りつけられている。
【００９２】
また、低倍率観察光学系１８の画像を取得する低倍率側ビデオカメラ１９は、低倍率観察光学系１８のカメラポートに取りつけられている。
【００９３】
そして、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像信号は、画像処理装置１９０に入力される。
【００９４】
また、後述する低倍率指示指標３０ａ，高倍率指示指標３０ｂを操作するための位置入力装置３１からの信号も、画像処理装置１９０に入力される。
【００９５】
この画像処理装置１９０での処理結果はビデオモニタ２０に出力される。
【００９６】
そして、図８に示すように、画像処理装置１９０の内部には、第１及び第２のの実施形態の構成に加え、低倍率画像２、高倍率画像３の中を指し示す低倍率指示指標３０ａと高倍率指示指標３０ｂを生成する低倍率指示指標生成部３２ａ及び高倍率指示指標生成部３２ｂと、位置入力装置３１からの信号を指示指標３０の画像上の操作量に変換する操作量入力装置３３と、高倍率画像位置姿勢情報と指示指標操作量に基づいて高倍率画像３内の指標位置を低倍率画像２内の低倍率指示指標の操作量に変換する高倍率−低倍率操作量変換部３４と、操作量に基づいて低倍率画像２と高倍率画像３内への指示指標の重畳等の処理を行う低倍率指標重畳部３５ａ及び高倍率指標重畳部３５ｂと、ビデオモニタ２０及び２００に出力を行う表示出力部２８及び２８０とが備えられている。
【００９７】
次に、この発明の実施の形態の作用を説明する。
【００９８】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【００９９】
そして、位置入力装置３１から入力された信号は操作量入力装置３３により高倍率画像３上の操作量に変換され、高倍率指標生成部３２ｂで生成された高倍率指示指標３０ｂを高倍率指標重畳部３５ｂにより、高倍率画像２に重畳し表示出力に出力し、ビデオモニタ２００に出力する。
【０１００】
また、前述した第１及び第２の実施形態と同様にして高倍率画像位置姿勢情報が得られる。
【０１０１】
そして、低倍率画像２中の高倍率画像３の対応位置を示す高倍率画像位置姿勢情報と、位置入力装置３１から入力され操作量入力装置で変換された高倍率画像上での操作量を高倍率−低倍率操作量変換部３４に入力し、高倍率画像上の高倍率指示指標の移動量と移動方向を、低倍率画像上での低倍率指示指標の位置、姿勢に変換する。
【０１０２】
この低倍率指示指標位置姿勢情報に基づいて低倍率指示指標を低倍率画像上に低倍率指示指標重畳部３５ａを用いて重畳し、表示出力部２８０に出力し、ビデオモニタ２００上に表示する。
【０１０３】
これにより、低倍率画像２、高倍率画像３上に指示指標が同期されて表示される。
【０１０４】
なお、この発明の第３の実施形態の各構成は、当然、各種の変形、変更が可能である。
【０１０５】
本実施の形態では、高倍率画像３上の指示指標３０ｂを操作するように構成されていたが、低倍率画像２側の指示指標３０ａを操作するよう構成しても同様の効果が得られる。
【０１０６】
また、前述した第１及び第２の実施形態と同様に、高倍率画像位置姿勢情報を対応点の検出からでなく、高倍率観察光学系１６と低倍率観察光学系１８の相対位置と、倍率比｜β２／β１｜から導かれる変換にしたがって相当位置に指示指標を表示しても、ほぼ同等の作用を得ることができる。
【０１０７】
（第４の実施形態）
次に、本発明による画像表示装置の第４の実施形態を図９及び図１０を用いて説明する。
【０１０８】
図９は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【０１０９】
図１０は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における動作を説明するための画面を示す図である。
【０１１０】
この発明の第４の実施の形態は、次のように構成されている。
【０１１１】
すなわち、この第４の実施の形態では、図９に示すように、前述した第１、第２、第３の実施の形態に加えて、画像処理装置１９０内もしくはそれに接続した形態で、高倍率ビデオカメラ１７及び低倍率ビデオカメラ１９からの各画像等を記録する記録装置３６と、時間の同期を取るためのタイムコード発生部３７と、被検体を置載する顕微鏡ステージ３８の位置姿勢を出力するステージ位置信号出力部３９と、顕微鏡ステージ３８の駆動量を指示するステージ操作部４０と、顕微鏡ステージの位置姿勢情報を処理して、低倍率画像の位置姿勢情報とする低倍率画象位置姿勢処理部４１と、付加情報を入力するテキスト入力部４２と、インデックスフラグ生成部４３などが備えられている。
【０１１２】
また、再生手段には、タイムコード指定部４４と、座標指定部４５と、再生指示部４６と、インデックス画像表示部４７と、画像検索部４８と、付加情報検索部４９などが備えられている。
【０１１３】
次に、この発明の第４の実施形態の作用を説明する。
【０１１４】
まず、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９により、図示しない観察対象としての被検体を顕微鏡１５を通して観察し、高倍率画像３、低倍率画像２を得る。
【０１１５】
そして、図１０に示すように、顕微鏡ステージ３８の初期位置を顕微鏡ステージ位置姿勢座標５０の原点５１とすると共に、顕微鏡ステージ３８の位置信号は被検体が顕微鏡ステージ３８に固定されているものとし、被検体座標５１と同一と設定する。
【０１１６】
また、顕微鏡ステージ３８のステージ初期位置における顕微鏡ステージ３８の位置姿勢情報を低倍率画像位置姿勢情報５２の原点５３とする。
【０１１７】
また、顕微鏡ステージ３８の位置姿勢情報すなわち被検体座標５０に対して、低倍率画像位置姿勢情報が定義されるものとする。
【０１１８】
また、低倍率画像２内は、高倍率画像３の位置姿勢情報座標空間５４となっており、高倍率画像３の位置姿勢情報５５は低倍率画像２内での位置姿勢を示すものとする。
【０１１９】
このような座標定義に従い、低倍率画像位置姿勢処理部４１と、高倍率画像位置姿勢処理部２５とで低倍率位置姿勢情報並びに高倍率画像位置姿勢情報を出力する。
【０１２０】
また、記録時の時間情報をタイムコードとしてタイムコード発生部３７で生成する。
【０１２１】
そして、ステージ操作部４０の操作により、変更される、顕微鏡ステージ３８の位置情報はステージ位置信号出力部３９から出力され、低倍率画像位置姿勢処理部４１で低倍率位置姿勢情報に変換される。
【０１２２】
また、任意時点で、テキスト入力部４２から、被検体の説明などを入力することもできる。
【０１２３】
また、観察の開始時、終了時、ステージ移動の開始点、停止点、テキスト入力時の画像は、別途インデックス画像としてインデックスフラグ生成部４２により生成されるフラグが付加される。
【０１２４】
また、ステージ位置姿勢情報、低倍率画像位置姿勢情報、高倍率画像位置姿勢情報、タイムコード、テキストやインデックスフラグによる付加情報は、記録装置３６にすべてタイムコードに関連付けされた状態で入力される。
【０１２５】
ここで、インデックスが付加された画像は、インデックス画像表示部４７で、サムネイル表示される。
【０１２６】
再生手段に相当する再生指示部４６、タイムコード指定部４４、座標指定部４５からの入力によりタイムコードや、インデックス画像、付加情報、座標などを指定し、記録装置３６から情報を読み出し、前述した第１乃至第３の実施形態の各処理部に相当する信号を再入力することで、目的の画像を記憶装置３６から読み出し、任意の時点の画像の表示、重畳画像の再構成、画像の再生を行う。
【０１２７】
また、付加情報検索部４９、画像検索部４８により、検索キーとなるテキストやインデックスフラグ、画像を入力することで記録装置内の情報を検索する。
【０１２８】
なお、説明の簡単のため、前述した第１、第２、第３の実施の形態に相当する機能は図９においては、省略されている。
【０１２９】
なお、この発明の第４の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１３０】
本実施の形態では、タイムコードを別途生成したが、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９からの各画像のフレーム情報を用いるようにしても良い。
【０１３１】
この際には、高倍率側ビデオカメラ１７及び低倍率側ビデオカメラ１９の同期を取る同期信号を用いるものとする。
【０１３２】
（第５の実施形態）
次に、本発明による第５の実施形態として適用される操作装置を含む画像表示装置について図１１及び図１２を用いて説明する。
【０１３３】
図１１は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の構成を示すブロック図である。
【０１３４】
図１２は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の内部構成を示すブロック図である。
【０１３５】
この発明の第５の実施形態は、次のように構成されている。
【０１３６】
すなわち、図１１に示すように、この第５の実施形態では、前述した第１乃至第４の実施形態の構成で、視野移動手段である顕微鏡ステージ３８を自動ステージ５６に変更し、その制御信号を与えるステージ駆動装置５７と、該ステージ駆動装置５６にコマンドを送る制御装置５８とを備える。
【０１３７】
また、前述した第１、第２及び第４の実施形態には、前述した第３の実施の形態で用いた指示指標３０を画像上に重畳表示し操作するための構成をもつものとする。
【０１３８】
また、図１２に示すように、この第５の実施形態では、指示指標３０を操作するためのマウス等の位置入力装置３１と、該位置入力装置３１からの信号を画面上での指示指標の操作量に変換する操作量入力装置３３と、低倍率画像中で高倍率画像で次に観察したい着目位置を指示するための指示用高倍率視野範囲指標５９を生成する指示用高倍率視野範囲指標生成部６０を備える。
【０１３９】
また、前記位置入力装置３１による位置入力のほかに画像上の任意ポイントを指定すると共に、その指定を解除することができる指定入力部６１と、該指定入力部６１で指定された間の、操作量を、記憶する操作量記録部６２を備える。
【０１４０】
なお、説明の簡単のため、図１１及び図１２では、前述した第１乃至第４の実施形態の構成のうち、本実施形態の説明に不要なものは省略している。
【０１４１】
次に、この発明の実施の形態の作用を説明する。
【０１４２】
まず、指示指標３０の操作量入力装置３３から入力された操作量は、低倍率像位置姿勢情報に基づき、画面上での指標の移動の距離、方向、姿勢が画面上での被検体の動きに一致するように補正した駆動量に変換される。
【０１４３】
また、低倍率画像２上に重畳表示される高倍率視野範囲指標の位置姿勢に合わせて指示用高倍率視野範囲指標生成部６０で生成された指示用高倍率視野範囲指標５９を重畳表示する。
【０１４４】
また、指示用高倍率視野範囲指標５９は位置入力装置３１で操作される指示指標３０により指示され、さらに、指定入力部６１により指定されたとき、指示指標３０と画面内で同期して表示位置を変更する。
【０１４５】
そして、着目位置を指示用高倍率視野範囲指標５９で指示し、指定入力部６１の指定を解除する。
【０１４６】
この指定入力部６１によって指定された状態で指示用高倍率視野範囲指標５９の表示位置を変更した間に操作量記録部６２に記録されていた駆動量を制御装置５８に送ることで自動ステージ５６が駆動され、指示用高倍率視野範囲指標５９で指示した被検体の着目位置を高倍率視野範囲内に移動する。
【０１４７】
こうすることにより、ビデオモニタ２０に低倍率画像２中で着目指示した高倍率画像３視野を表示する。
【０１４８】
指示用高倍率視野範囲指標５９が、低倍率画像２端に接触した場合は、リアルタイムで接触した画像の辺の方向へ低倍率画豫視野が移動するよう、操作量入力装置３３からの信号が、操作量記録部６２をバイパスして制御装置５８に入力される。
【０１４９】
なお、この発明による第５の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１５０】
例えば、高倍率視野範囲指標で表示していた高倍率画像位置姿勢を、加工高倍率画像を重畳することで同一ビデオモニタ２０上に低倍率画像２、３を表示しても良い。
【０１５１】
また、低倍率画像２の視野の移動は低倍率画像端を指示指標３０で指定入力することにより、その方向に動く構成や低倍率画像領域を指定入力し指示指標３０に同期して、ステージが駆動することで低倍率画象の視野移動を行うようにしても良い。
【０１５２】
また、指示用高倍率視野範囲指標５９の代わりに指定入力で指定したときの高倍率画像視野範囲指標や加工高倍率画像を用いても良い。
【０１５３】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至３以外にも、以下に付記１乃至付記１７として示すような発明が含まれている。
【０１５４】
（付記１） 上記低倍率画像入力手段で取得した画像上の上記高倍率画像入力手段で入力した画像に対応する領域に、上記高倍率画像入力手段で入力した画像を、該領域に当てはまるように倍率、位置、姿勢を変更する高倍率画像加工手段をさらに具備し、上記指標として上記高倍率画像加工手段の出力を用いることを特徴とする請求項１または２に記載の画像表示装置。
【０１５５】
この付記（１）の構成は、後述する第２の実施形態が対応している。
【０１５６】
（付記２） 上記高倍率画像入力手段で入力した画像を表示する高倍率画像出力手段と、画像上の位置を指定可能な位置入力手段とをさらに具備し、
上記位置入力手段で指定された位置に対応した指示指標を、上記画像出力手段の出力画像と上記高倍率画像出力手段の出力画像の両方に表示可能であることを特徴とする請求項１または２若しくは付記１に記載の画像表示装置。
【０１５７】
この付記（２）の構成は、後述する第３の実施形態が対応している。
【０１５８】
（付記３） 上記低倍率画像入力手段で入力した画像と、上記高倍率画像入力手段で入力した画像と、両画像の相対的な倍率と位置と姿勢と、を含む情報を時系列に記録可能な記録手段をさらに具備することを特徴とする請求項１または２若しくは付記１または２に記載の画像表示装置。
【０１５９】
この付記（３）の構成は、後述する第４の実施形態が対応している。
【０１６０】
（付記４） 上記画像表示装置は、観察対象を対向する２つの方向から観察する顕微鏡の画像を表示するものであることを特徴とする請求項１、２または３若しくは付記１、２または３に記載の画像表示装置。
【０１６１】
（付記５） 対向した２つの倍率の異なる観察光学系を有し、高倍率、低倍率で観察可能な顕微鏡の画像表示装置において、
高倍率の観察光学系の画像を取得する高倍率画像取得手段と、
低倍率の画像を取得する低倍率画像取得手段と、
低倍率画像中での高倍率画像の位置姿勢を計測する高倍率画像位置姿勢計測手段と、
低倍率画像上に高倍率画像の対応位置を示す指標を重畳する重畳手段と、
画像を表示する表示手段とを備え、
低倍率画像上に高倍率画像の対応位置を表示することを特徴とする画像表示装置。
【０１６２】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１６３】
画像取得手段は、この実施の形態ではビデオカメラが該当する。
【０１６４】
また、表示手段は、この実施の形態ではビデオモニタが該当するが、計算機ディスプレイでも良い
（作用）
対向した２つの倍率の異なる観察光学系を有し、高倍率、低倍率で観察可能な顕微鏡の高倍率画像取得手段と低倍率画像取得手段によって得られた、画像の対応位置を低倍率画像上に重畳し、表示する。
【０１６５】
（効果）
被検体のどの部分を高倍率で観察しているのかを把握し易くする。
【０１６６】
（付記６） 対向した２つの倍率の異なる観察光学系を有し、低倍率の観察光学系の倍率をβ１、高倍率の観察光学系の倍率をβ２とするとき、｜β２／β１｜＞３という条件を満たす顕微鏡を用いることを特徴とする付記５に記載の画像表示装置。
【０１６７】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１６８】
（作用）
低倍率画像中での、高倍率画像の比率を、光学系の段階でほぼ１／３以下とする。
【０１６９】
（効果）
高倍率画像の観察視野周辺を十分に観察するために必要な範囲の視野が得られる。
【０１７０】
（付記７） 顕微鏡が、視野範囲移動手段を有することを特徴とする付記５に記載の画像表示装置。
【０１７１】
（対応する発明の実施形態）
この発明に関する実施形態は、第１、第２、第３、第４と、第５の実施形態が対応する。
【０１７２】
視野移動手段は、この実施の形態では被検体を置載する顕微鏡ＸＹステージが相当するが、観察光学系の移動装置や、ピデオカメラ等の撮像素子の移動、撮像素子内での電気的な撮像範囲の移動などを用いることも可能である。
【０１７３】
（作用）
視野移動手段により、被検体の観察個所を変更する。
【０１７４】
（効果）
低倍率画像上で観察している範囲で着目したい箇所を視野を移動することにより高倍率画像で観察することが可能となる。
【０１７５】
また、低倍率画像により、観察しきれない被検体を視野の移動で観察することが可能となる。
【０１７６】
（付記８） 低倍率像上での高倍率視野範囲に相当する視野範囲を示す指標を生成する指標生成手段を備え、
前記指標生成手段によって生成された高倍率視野範囲指標を前記高倍率像位置姿勢計測手段により得られた高倍率像位置姿勢情報に基づき重畳表示することを特徴とする付記５に記載の画像表示装置。
【０１７７】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施形態が対応す。
【０１７８】
（作用）
指標生成手段により生成された、高倍率視野範囲指標を低倍率画豫中の高倍率像相当位置に重畳表示する。
【０１７９】
（効果）
低倍率画像中のどの部分を高倍率画像で観察しているかを常に表示することができる。
【０１８０】
（付記９） 高倍率像位置姿勢計測手段として、低倍率β１と高倍率β２の比率｜β２／β１｜の値と、低倍率光学系と高倍率光学系の位置姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記８に記載の画像表示装置。
【０１８１】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施の形態が対応する。
【０１８２】
（作用）
指標生成手段により生成された高倍率視野範囲指標を観察光学系の倍率と、配置から得られる情報に従い低倍率画像中の高倍率画像位置に表示する。
【０１８３】
（効果）
観察光学系が固定されている付記５の顕微鏡において、初期合せのみで容易に低倍率画像中の高倍率観察視野を表示することができる。
【０１８４】
（付記１０） 高倍率像位置姿勢計測手段として、高倍率像と低倍率像の対応点を検出する検出手段を備え、
その対応点問の位置、姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記９に記載の画像表示装置。
【０１８５】
（対応する発明の実施形態）
この発明に関する実施形態は、第１と第５の実施形態が対応する。
【０１８６】
（作用）
対応点検出手段により低倍率画像上での高倍率画像の位置姿勢情報を得る。
【０１８７】
（効果）
対応点検出手段より得られた高倍率画像位置姿勢情報により、高倍率視野範囲指標を生成し、正確に低倍率画像上に高倍率像の位置、姿勢を高倍率視野範囲指標により表示することができる。
【０１８８】
（付記１１） 低倍率像上での高倍率視野範囲に相当する視野範囲に合わせて高倍率画像を加工する高倍率画像加工手段を備え、前記高倍率画像加工手段によって生成された加工高倍率画像を前記高倍率像位置姿勢計測手段により得られた高倍率像位置姿勢情報に基づき重畳表示することを特徴とする付記５に記載の画像表示装置。
【０１８９】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９０】
（作用）
低倍率画像の高倍率画像相当位置に、高倍率画像を縮小表示する。
【０１９１】
（効果）
実画像を、画像間の相対位置を表示しながら単一の表示手段上に表示することで、直感的に被検体の状態を把握することができる。
【０１９２】
（付記１２） 高倍率像位置姿勢計測手段として、低倍率β１と高倍率β２の比率｜β２／β１｜の値と、低倍率光学系と高倍率光学系の位置姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記１１に記載の画像表示装置。
【０１９３】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９４】
（作用）
加工高倍率画像を観察光学系の倍率と、配置から得られる情報に従い低倍率画像中の高倍率画像位置に表示する。
【０１９５】
（効果）
光学系が固定されている付記５の顕微鏡において、初期合わせのみで加工高倍率画像を低倍率画像上に表示できる。
【０１９６】
（付記１３） 高倍率像位置姿勢計測手段として、高倍率像と低倍率像の対応点を検出する検出手段を備え、
その対応点間の位置、姿勢から得られる情報を用いて設定する、高倍率像位置姿勢情報を用いることを特徴とする付記１２に記載の画像表示装置。
【０１９７】
（対応する発明の実施形態）
この発明に関する実施形態は、第２と第５の実施形態が対応する。
【０１９８】
（作用）
対応点検出手段により低倍率画像上での高倍率画像の位置姿勢情報を得る。
【０１９９】
（効果）
対応点の検出手段より得られた高倍率画像位置姿勢情報により、加工高倍率画像を生成し、正確に低倍率画像上に高倍率像の位置、姿勢を加工高倍率画像により表示することができる。
【０２００】
（付記１４） 画像内の位置を指示する指示指標生成手段により、高倍率画像内での指示指標の位置を示す高倍率指示指標位置情報と、低倍率画像内での指示指標の位置を示す低倍率指示指標位置情報と、高倍率像位置姿勢情報に基づいて、低倍率指示指標位置情報と高倍率画像内位置情報を対応させて、低倍率画像上と高倍率画像上の対応点を指示指標により同時に指し示すことを特徴とする付記５、８または１１に記載の画像表示装置。
【０２０１】
（対応する発明の実施形態）
この発明に関する実施形態は、第３の実施形態が対応する。
【０２０２】
（作用）
座標変換手段により、高倍率像上での指示指標で位置を指し示した位置を、低倍率画像上での相当位置に変換し、低倍率画像上の指示指標を用いて低倍率画像上に表示する。
【０２０３】
（効果）
指示した低倍率画像、高倍率画像で対応する位置を同時に指示指標により表示することで、高倍率、低倍率画像での対応点を明確に表示することができる。
【０２０４】
（付記１５） 同期情報を発生する同期情報発生手段と、視野移動手段から出る視野移動情報と、低倍率光学系の視野移動情報に対する位置姿勢を示す低倍率画像位置姿勢情報を得る低倍率画像位置姿勢計測手段と、同期情報と低倍率位置姿勢情報と低倍率画像を記録する低倍率画像記録手段と、同期情報と高倍率画像位置姿勢情報と高倍率画像を記録する高倍率画像記録手段と記録手段とにより記録した記録情報を画像表示装置の入力として用いることで、情報ならびに画像を再生する再生手段を備えることを特徴とする付記５、８、１１または１４に記載の画像表示装置。
【０２０５】
（対応する発明の実施形態）
この発明に関する実施形態は、第４の実施の形態が対応する。
【０２０６】
同期情報は、この実施の形態ではタイムコードが該当する。
【０２０７】
また、視野移動情報は、顕微鏡ステージの駆動情報が該当する。
【０２０８】
（作用）
画像情報と共に、位置姿勢情報、同期情報を記録し、同期情報を基準として、画像情報や位置姿勢情報をリンクし、各情報により指示された画像表示の再生を行う。
【０２０９】
（効果）
画像情報と共に、位置姿勢情報、同期情報が記録されているため、任意時点の指標位置、低倍率画像上の高倍率画像、被検体のどの部分を観察したかなどをあとから再生表示することが可能であり、さらに必要とあればその時点の低倍率画像のみ、高倍率画像のみ、位置姿勢情報のみを再生表示することができる。
【０２１０】
（付記１６） 視野移動手段を操作する視野移動指示手段と、画像内で移動可能な指示用高倍率視野指標と、これを低倍率画像上に重畳する画像重畳手段を備え、視野移動指示手段を用い低倍率画像上に重畳表示された指示用高倍率視野表示手段を操作することで、視野移動手段を操作することを特徴とする付記５、８、１１、１４または１５に記載の画像表示装置。
【０２１１】
（対応する発明の実施形態）
この発明に関する実施形態は、第５の実施の形態が対応する。
【０２１２】
視野移動手段は、この実施の形態では顕微鏡ステージが該当する。
【０２１３】
また、視野移動指示手段は位置入力装置、指定入力部、操作量入力装置、操作量記録部から構成される。
【０２１４】
また、指示用高倍率視野表示手段は、指示用高倍率視野範囲指標生成部と指示用高倍率視野範囲指標とにそれぞれ相当する。
【０２１５】
（作用）
視野移動指示手段により、指示用高倍率視野表示手段を移動させると、視野移動手段が移動することで高倍率画像で観察する視野を移動することができる。
【０２１６】
（効果）
画像を操作する容易な操作で、目的の被検体を高倍率画像で観察できるよう視野移動手段を操作することができる。
【０２１７】
（付記１７） 上記低倍率画像入力手段で取得した画像に対して、上記高倍率画像入力手段で取得した画像を低倍率画像の倍率に合わせて縮小して加工高倍率画像を作成する高倍率画像加工手段と、
前記加工高倍率画像をテンプレートとしたテンプレートマッチング手段と、
をさらに具備し、両画像の相対的な位置と姿勢を求めることを特徴とする請求項１に記載の画像表示装置。
【０２１８】
（対応する発明の実施形態）
この発明に関する実施形態は、第１及び第２の実施形態の変形例が対応している。
【０２１９】
（作用）
第１及び第２の実施形態の画像処理装置１９０内の対応点検出部を高倍率画像加工部と画像相関演算部とし、低倍率画像内で、高倍率画像を縮小加工した加工高倍率画像をテンプレートとしたテンプレートマッチングを行い、相関演算値のピークを得る位置姿勢が高倍率画像位置姿勢情報であるとしてその位置に加工高倍率画像を表示する。
【０２２０】
（効果）
対応点の検出でなく、画像全体の対応の検出でも、低倍率画像と、高倍率画像との両画像の相対的な位置と姿勢を求めることができる。
【０２２１】
【発明の効果】
従って、以上説明したように、請求項１又は２に記載の本発明によれば、低倍率画像と高倍率画像とを並行表示しながら視野などの対応位置を表示可能な画像表示装置を提供することができる。
【０２２２】
また、請求項１又は２に記載の本発明によれば、高倍率画像を低倍率画像に重畳する際に、低倍率画像内の高倍率画像の観察範囲相当位置に高倍率画像を重畳する画像表示装置を提供することができる。
【０２２３】
また、請求項３に記載の本発明によれば、低倍率画像上での高倍率での観察範囲の移動など、視野移動を操作する際に直感的に画像上で操作できる画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、従来の画像表示装置の構成を示すブロック図である。
【図２】図２の（ａ）は、図１の従来の画像表示装置の動作を説明するための図であり、図２の（ｂ）は、本発明の課題を説明するための図である。
【図３】図３は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図４】図４は、本発明による画像表示装置の第１の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図５】図５は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図６】図６は、本発明による画像表示装置の第２の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図７】図７は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図８】図８は、本発明による画像表示装置の第３の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における画像処理装置１９０の内部構成を示すブロック図である。
【図９】図９は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置の構成を示すブロック図である。
【図１０】図１０は、本発明による画像表示装置の第４の実施形態として適用される顕微鏡１５の光学系を含む画像表示装置における動作を説明するための画面を示す図である。
【図１１】図１１は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の構成を示すブロック図である。
【図１２】図１２は、本発明による第５の実施形態として適用される操作装置を含む画像表示装置の内部構成を示すブロック図である。
【符号の説明】
２…低倍率画像、
３…高倍率画像、
１５…顕微鏡、
１６…高倍率観察光学系、
１７…高倍率側ビデオカメラ、
１８…低倍率観察光学系、
１９…低倍率側ビデオカメラ、
１９０…画像処理装置、
２０、２００…ビデオモニタ、
２１…高倍率画像入力部、
２２…低倍率画像入力部、
２３…対応点検出部、
２４…高倍率画像位置姿勢初期情報入力部、
２５…高倍率画像位置姿勢処理部、
２６…高倍率視野範囲指標生成部、
２７…画像重畳装置、
２８、２８０…表示出力部、
２９…高倍率画像加工部、
３０ａ…低倍率指示指標、
３０ｂ…高倍率指示指標、
３１…位置入力装置、
３２ａ…低倍率指示指標生成部、
３２ｂ…高倍率指示指標生成部、
３３…操作量入力装置、
３４…高倍率−低倍率操作量変換部、
３５ａ…低倍率指標重畳部、
３５ｂ…高倍率指標重畳部、
３６…記録装置、
３７…タイムコード発生部、
３８…顕微鏡ステージ、
３９…ステージ位置信号出力部、
４０…ステージ操作部、
４１…低倍率画象位置姿勢処理部、
４２…テキスト入力部、
４３…インデックスフラグ生成部、
４４…タイムコード指定部、
４５…座標指定部、
４６…再生指示部、
４７…インデックス画像表示部、
４８…画像検索部、
４９…付加情報検索部、
５０…顕微鏡ステージ位置姿勢座標、
５１…被検体座標（原点）、
５２…低倍率画像位置姿勢情報、
５３…原点、
５４…高倍率画像３の位置姿勢情報座標空間、
５５…高倍率画像３の位置姿勢情報、
５６…自動ステージ、
５７…ステージ駆動装置、
５８…制御装置、
５９…指示用高倍率視野範囲指標、
６０…指示用高倍率視野範囲指標生成部、
６１…指定入力部、
６２…操作量記録部。
Claims (5)
- 観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
を具備することを特徴とする画像表示装置。 - 上記高倍率画像位置傾き処理手段は、
上記低倍率画像内で高倍率画像を縮小加工する高倍率画像加工部と、
上記高倍率画像加工部によって縮小加工された高倍率画像と、上記低倍率画像と、の相関値を演算する画像相関演算部と、
をさらに備え、
上記画像相関演算部によって、上記相対的な倍率と位置と傾きを求めることを特徴とする請求項１に記載の画像表示装置。 - 上記低倍率画像取得手段で取得した画像と、上記高倍率画像取得手段で取得した画像の上記共通する画像領域より、両画像に共通した対応点を選択する対応点検出手段をさらに具備し、
上記高倍率画像位置傾き処理手段は、上記対応点検出部で選択した少なくとも３つの対応点を用いて、上記相対的な倍率と位置と傾きを求めることを特徴とする請求項１または２に記載の画像表示装置。 - 上記低倍率画像取得手段で取得した低倍率画像と、上記高倍率画像取得手段で取得した高倍率画像と、上記高倍率画像位置傾き処理手段で処理した上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを含む高倍率画像位置傾き情報と、を時系列的に記録可能な記録手段をさらに具備し、
上記画像重畳手段は、上記記録手段に記録された時系列情報を用いて、任意の時点における上記指標を上記低倍率画像上に重畳することを特徴とする請求項１乃至３の何れか一項に記載の画像表示装置。 - 観察対象において、撮像される部位を移動させる視野範囲移動手段と、
上記観察対象を所定の倍率で撮像した低倍率画像を取得する低倍率画像取得手段と、
上記低倍率画像入力手段の倍率より高倍率で、上記低倍率画像に含まれる領域を撮像した高倍率画像を、上記低倍率画像取得手段の上記低倍率画像取得と同時に取得する高倍率画像取得手段と、
上記低倍率画像と上記高倍率画像とに共通する画像領域の情報を用いて、上記高倍率画像の上記低倍率画像に対する相対的な倍率と位置と傾きとを求める高倍率画像位置傾き処理手段と、
上記高倍率画像位置傾き処理手段の処理結果を用いて、上記低倍率画像取得手段で取得した上記低倍率画像上に、上記高倍率画像取得手段で取得した画像範囲を示す指標を重畳する画像重畳手段と、
上記画像重畳手段の出力画像を表示する画像出力手段と、
上記低倍率画像取得手段で取得した画像上で、所定の位置を指定する位置指定手段と、
上記位置指定手段の位置指定に応じて上記視野範囲移動手段を駆動する駆動手段と、
を具備することを特徴とする画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29668499A JP4512220B2 (ja) | 1999-10-19 | 1999-10-19 | 画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29668499A JP4512220B2 (ja) | 1999-10-19 | 1999-10-19 | 画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001117018A JP2001117018A (ja) | 2001-04-27 |
| JP4512220B2 true JP4512220B2 (ja) | 2010-07-28 |
Family
ID=17836751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29668499A Expired - Fee Related JP4512220B2 (ja) | 1999-10-19 | 1999-10-19 | 画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4512220B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014210053A1 (de) * | 2014-05-27 | 2015-12-03 | Carl Zeiss Meditec Ag | Operationsmikroskop mit Dateneinheit und Verfahren zum Überlagern von Bildern |
| WO2020071834A1 (ko) * | 2018-10-04 | 2020-04-09 | (주) 솔 | 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템, 실시간 3차원 디지털 현미경, 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템 |
| KR102259841B1 (ko) * | 2018-11-06 | 2021-06-02 | (주) 솔 | 고배율 이미지가 저배율 이미지에 의해 가이드되는 디지털 현미경 및 디지털 현미경 시스템 |
| JP7222764B2 (ja) * | 2019-03-18 | 2023-02-15 | 株式会社キーエンス | 画像測定装置 |
| JP7240913B2 (ja) * | 2019-03-18 | 2023-03-16 | 株式会社キーエンス | 画像測定装置 |
| JP2022143508A (ja) * | 2021-03-17 | 2022-10-03 | 株式会社アマダ | デジタル投影機、工作機械及び投影像表示方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH076754U (ja) * | 1993-06-30 | 1995-01-31 | オリンパス光学工業株式会社 | 外観検査装置 |
-
1999
- 1999-10-19 JP JP29668499A patent/JP4512220B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001117018A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5555014B2 (ja) | バーチャルスライド作成装置 | |
| JP4878913B2 (ja) | 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム | |
| US10809515B2 (en) | Observation method and specimen observation apparatus | |
| US10215563B2 (en) | Surveying instrument | |
| US20060293557A1 (en) | Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray") | |
| JP3824116B2 (ja) | 顕微鏡画像遠隔制御システム | |
| US8014579B2 (en) | Microscope system and method for synthesizing microscopic images | |
| JP2010134357A (ja) | 顕微鏡用デジタルカメラシステム及び顕微鏡システム | |
| JP2011015163A (ja) | 撮像装置 | |
| JP2010004381A (ja) | 携帯情報端末 | |
| US11112952B2 (en) | Interface for display of multi-layer images in digital microscopy | |
| US20060176321A1 (en) | Endoscope apparatus | |
| JP2014029380A (ja) | 情報処理装置、情報処理方法、プログラム及び画像表示装置 | |
| WO2023100743A1 (ja) | 作業支援システム、作業対象特定装置および方法 | |
| TW200809698A (en) | A method and system for obtaining multiple views of an object for real-time video output | |
| JP4512220B2 (ja) | 画像表示装置 | |
| JP4296207B2 (ja) | 顕微測定装置 | |
| EP2211221B1 (en) | Image outputting system, image outputting method, and image outputting program | |
| US20170105809A1 (en) | Navigation assistance system for medical instruments | |
| JPH11337336A (ja) | 撮像装置付き測量機 | |
| JP5199634B2 (ja) | 計測内視鏡システム | |
| JP2007318555A (ja) | 拡大観察装置および拡大観察方法 | |
| JP2005266718A (ja) | 顕微鏡画像撮影システム | |
| JPH05333271A (ja) | ３次元物体の認識方法および装置 | |
| JP2003079637A (ja) | 手術ナビゲーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |