JP2024039546A - 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置 - Google Patents

案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置 Download PDF

Info

Publication number
JP2024039546A
JP2024039546A JP2022144171A JP2022144171A JP2024039546A JP 2024039546 A JP2024039546 A JP 2024039546A JP 2022144171 A JP2022144171 A JP 2022144171A JP 2022144171 A JP2022144171 A JP 2022144171A JP 2024039546 A JP2024039546 A JP 2024039546A
Authority
JP
Japan
Prior art keywords
coordinate
camera
coordinates
microscope
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022144171A
Other languages
English (en)
Inventor
晃嗣 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arkray Inc
Original Assignee
Arkray Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arkray Inc filed Critical Arkray Inc
Priority to JP2022144171A priority Critical patent/JP2024039546A/ja
Priority to EP23194954.6A priority patent/EP4336239A1/en
Priority to US18/462,249 priority patent/US20240085687A1/en
Priority to CN202311154009.3A priority patent/CN117687193A/zh
Publication of JP2024039546A publication Critical patent/JP2024039546A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

【課題】顕微鏡の接眼レンズに対する、カメラの位置調整を容易に行う。【解決手段】案内プログラム15Aは、顕微鏡の接眼レンズを通じて顕微鏡の視野を撮像するカメラ19を保持する保持具に保持されたカメラ19を、接眼レンズの光軸に対して適正な保持位置に案内する。案内プログラム15Aは、保持具に保持されたカメラ19が視野を撮像した画像をカメラ19から取得し、画像中の、視野に対応する視野領域を特定し、視野領域の重心座標を求め、重心座標と、保持位置に保持されたカメラ19が撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、保持位置への案内情報を作成することを、コンピュータに実行させる。【選択図】図2

Description

本開示は、案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置に関する。
例えば、特許文献1には、観察する試料の像を携帯情報端末が備えているカメラ機能により撮像し、ディスプレイに表示する顕微鏡が記載されている。この顕微鏡は、顕微鏡本体と、顕微鏡本体に対して複数の接続位置で着脱自在に接続可能であり、顕微鏡本体に接続された状態で携帯情報端末が載置される載置台とを備える。この顕微鏡本体は、試料を載置するための試料載置部と、試料載置部に載置された試料に光を照射する光源と、顕微鏡本体の内部に配置された光学系とを有する。この光学系は、試料載置部に載置された試料からの光が入射する対物レンズと、対物レンズからの光が入射し、入射した光を顕微鏡本体の外部に出射する対眼レンズとを含む。この載置台は、複数種類の携帯情報端末のうちのいずれかが載置されたときに、各種の携帯情報端末のいずれかのカメラレンズと一致する位置に形成された複数の透視窓を有し、携帯情報端末のカメラレンズと透視窓とが一致した状態で、透視窓が対眼レンズの位置に一致するように、載置台と顕微鏡本体とが接続可能に構成されている。
特開2018-31890号公報
ところで、試料を良好に観察するには、顕微鏡の接眼レンズの光軸とカメラの光軸を調整し、両者を可能な限り正確に合わす必要がある。しかし、高倍率の顕微鏡に備わる接眼レンズの光軸との位置調整には繊細な操作が必要とされる。
本開示は、顕微鏡の接眼レンズに対する、カメラの位置調整を容易に行うことができる案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置を提供することを目的とする。
上記目的を達成するために、本開示の一態様に係る案内プログラムは、顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを保持する保持具に保持された前記カメラを、前記接眼レンズの光軸に対して適正な保持位置に案内する案内プログラムであって、コンピュータを、前記保持具に保持された前記カメラが前記視野を撮像した画像を前記カメラから取得する画像取得部、前記画像中の、前記視野に対応する視野領域を特定する特定部、前記視野領域の重心座標を求める重心座標取得部、前記重心座標と、前記保持位置に保持された前記カメラが撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、前記保持位置への案内情報を作成する案内情報作成部、及び、前記案内情報を出力する出力部、として機能させる。
本開示によれば、顕微鏡の接眼レンズに対する、カメラの位置調整を容易に行うことができる、という効果が得られる。
第1の実施形態に係る顕微鏡装置の一例を模式的に示す側面図である。 第1の実施形態に係る撮像装置の電気的な構成の一例を示すブロック図である。 第1の実施形態に係る撮像装置の機能的な構成の一例を示すブロック図である。 実施形態に係る適正位置に保持された撮像装置と顕微鏡との位置関係の一例を模式的に示す平面図と側面図である。 適正位置で撮像された撮像画像、二値化画像、及び基準座標の一例を示す図である。 実施形態に係る適正位置からずれた位置に保持された撮像装置と顕微鏡との位置関係の一例を模式的に示す平面図と側面図である。 適正位置からずれた位置で撮像された撮像画像、二値化画像、及び重心座標の一例を示す図である。 適正位置からずれた位置で撮像された撮像画像、二値化画像、及び重心座標の一例を示す図である。 実施形態に係る基準座標と重心座標との関係の一例を示す図である。 実施形態に係る撮像画像と共に表示される案内情報の一例を示す図である。 実施形態に係る撮像画像と共に表示される案内情報の別の例を示す図である。 第1の実施形態に係る案内プログラムによる基準座標導出処理の流れの一例を示すフローチャートである。 第1の実施形態に係る案内プログラムによる案内情報表示処理の流れの一例を示すフローチャートである。 図13のステップS118で実行されるY方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。 図13のステップS120で実行されるX方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。 図13のステップS121で実行されるX方向案内情報及びY方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。 第2の実施形態に係る撮像装置及びモータの構成を模式的に示す図である。 第2の実施形態に係る案内プログラムによる案内情報出力処理の流れの一例を示すフローチャートである。 第3の実施形態に係る顕微鏡装置及び情報処理装置の一例を模式的に示す図である。 第3の実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。
[第1の実施形態]
図1は、第1の実施形態に係る顕微鏡装置100の一例を模式的に示す側面図である。
図1に示すように、本実施形態に係る顕微鏡装置100は、撮像装置10と、保持具20と、顕微鏡30と、を備えている。撮像装置10は、表示部16と、カメラ19と、を備えている。カメラ19は、例えば、CCD(Charge Coupled Device:電荷結合素子)を用いたカメラであり、カメラ19にはレンズ(以下、「カメラレンズ」という)19Aが設けられている。撮像装置10には、例えば、スマートフォン、タブレット端末、デジタルスチルカメラ等の携帯可能な装置が適用される。表示部16は、タッチパネルを一体で備えたディスプレイであり、カメラ19により撮像して得られた撮像画像を表示する。
なお、顕微鏡の視野をスマートフォンのカメラで撮像可能な顕微鏡装置の参考例として、携帯型顕微鏡(例えば、ハンディ顕微鏡DX(販売元:レイメイ藤井、型番:RXT300N)、参考HP:https://www.raymay.co.jp/nature/contents/micro/item/RXT300/)が挙げられる。
顕微鏡30は、筐体下部31、筐体支持部32、筐体上部33、光源34、ステージ35、及びレンズ36を備えている。筐体支持部32は、下端に筐体下部31が連結され、上端に筐体上部33が連結されている。筐体下部31には光源34が配置され、筐体上部33にはレンズ36が配置されている。光源34とレンズ36との間には、試料を載置するステージ35が配置されている。レンズ36は、接眼レンズ36A及び対物レンズ36Bを含む。接眼レンズ36Aは、接眼レンズ36Aの光軸が上方向を向くように筐体上部33に配置されている。光源34からの光はステージ35に照射され、ステージ35を透過した透過光は対物レンズ36Bを介して接眼レンズ36Aに入射され、接眼レンズ36Aに入射された光は撮像装置10に向けて出射される。
保持具20は、保持具20の上面と下面とを上下方向に貫通する貫通口21を有し、接眼レンズ36Aの光軸が貫通口21を通じて保持具20の上面側に露出するように顕微鏡30の筐体上部33上に配置される。保持具20は、撮像装置10のカメラレンズ19Aの光軸が下方向を向くように撮像装置10を着脱可能に保持する。具体的には、保持具20の上面に撮像装置10が載置される。撮像装置10のカメラレンズ19Aと顕微鏡30の接眼レンズ36Aとが、保持具20の貫通口21を介して、対向するように設けられる。それにより、撮像装置10は顕微鏡30の視野を撮像可能となる。保持具20は、カメラレンズ19Aの光軸と接眼レンズ36Aの光軸とが平行になるように、カメラ19、つまり、撮像装置10を保持する。ここでいう「平行」とは、完全な平行に限らず、予め定めた誤差を含むことが許容される。保持具20は、保持した撮像装置10を水平方向(つまり、表示部16の表示面に平行な方向)に移動可能な構造とし、カメラ19の2次元的な位置を調整可能とする。
図2は、第1の実施形態に係る撮像装置10の電気的な構成の一例を示すブロック図である。
図2に示すように、本実施形態に係る撮像装置10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Randam Access Memory)13と、入出力インタフェース(I/O)14と、記憶部15と、表示部16と、操作部17と、通信部18と、カメラ19と、を備えている。
CPU11、ROM12、RAM13、及びI/O14によって制御部が構成される。これらのCPU11、ROM12、RAM13、及びI/O14の各部はバスを介して各々接続されている。
I/O14には、記憶部15と、表示部16と、操作部17と、通信部18と、カメラ19と、を含む各機能部が接続されている。これらの各機能部は、I/O14を介して、CPU11と相互に通信可能とされる。
制御部は、撮像装置10の一部の動作を制御するサブ制御部として構成されてもよいし、撮像装置10の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部の各ブロックの一部又は全部には、例えば、LSI(Large Scale Integration)等の集積回路又はIC(Integrated Circuit)チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部の集積化には、LSIに限らず、専用回路又は汎用プロセッサを用いてもよい。
記憶部15としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等が用いられる。記憶部15には、本実施形態に係る案内プログラム15Aが記憶される。なお、この案内プログラム15Aは、ROM12に記憶されていてもよい。
案内プログラム15Aは、保持具20に保持されたカメラ19を接眼レンズ36Aの光軸に対して適正な保持位置、例えば、接眼レンズ36Aの光軸とカメラ19(カメラレンズ19A)の光軸が合う保持位置(以下、「適正位置」という。)に案内するためのプログラムである。案内プログラム15Aは、例えば、撮像装置10に予めインストールされていてもよい。案内プログラム15Aは、不揮発性の非一時的記憶媒体に記憶して、又はネットワーク回線を介して配布して、撮像装置10に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の非一時的記憶媒体の例としては、CD-ROM(Compact Disc Read Only Memory)、光磁気ディスク、HDD、DVD-ROM(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が想定される。なお、「接眼レンズ36Aの光軸とカメラ19の光軸が合う」とは、接眼レンズ36Aの光軸とカメラ19の光軸が完全に一致することだけでなく、顕微鏡30の視野をカメラ19が良好に撮影できるように、接眼レンズ36Aの光軸とカメラ19の光軸が概ね合うことも含む。
表示部16には、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイ等が用いられる。表示部16は、タッチパネルを一体的に有している。操作部17には、例えば、電源ボタン、音量ボタン等が設けられている。表示部16は、カメラ19によって撮像して得られた撮像画像を表示する。
通信部18は、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)等のネットワーク回線に接続されており、外部装置との間でネットワーク回線を介して通信が可能とされる。
カメラ19は、上述したように、例えば、CCDを用いたカメラであり、顕微鏡30の接眼レンズ36A及び対物レンズ36Bを通じて顕微鏡30の視野を撮像する。
ところで、上述したように、試料を良好に観察するには、顕微鏡の接眼レンズの光軸とカメラの光軸を調整し、両者を可能な限り正確に合わす必要がある。しかし、高倍率の顕微鏡に備わる接眼レンズの光軸との位置調整には繊細な操作が必要とされる。また、接眼レンズから見える像は上下左右が入れ替わって見える場合が多いため位置調整はより困難になる。
これに対して、本実施形態に係る撮像装置10は、保持具20に保持されたカメラ19を適正位置に案内する場合に、保持具20に保持されたカメラ19が撮像した撮像画像を取得し、取得した撮像画像から顕微鏡30の視野に対応する視野領域を特定し、視野領域の重心座標を求め、当該重心座標と、適正位置に保持されたカメラ19が撮像する撮像画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、適正位置への案内情報を作成して出力する。なお、適正位置とは、上述したように、接眼レンズ36Aの光軸とカメラ19、つまり、カメラレンズ19Aの光軸が合うときの保持位置である。
具体的に、本実施形態に係る撮像装置10のCPU11は、記憶部15又はROM12に記憶されている案内プログラム15AをRAM13に書き込んで実行することにより、図3に示す各部として機能する。
図3は、第1の実施形態に係る撮像装置10の機能的な構成の一例を示すブロック図である。
図3に示すように、本実施形態に係る撮像装置10のCPU11は、画像取得部11A、特定部11B、重心座標取得部11C、案内情報作成部11D、及び出力部11Eとして機能する。
画像取得部11Aは、保持具20に保持されたカメラ19が顕微鏡30の視野を撮像した撮像画像をカメラ19から取得する。撮像画像は、顕微鏡30の視野が写った領域(視野領域)をその撮像画像内に含む。換言すると、撮像画像内に、顕微鏡30の視野に対応する視野領域がある。
特定部11Bは、画像取得部11Aにより取得された撮像画像から視野に対応する視野領域を特定する。つまり、撮像画像中に含まれる、視野に対応する領域(視野領域)を領域抽出する。撮像画像には顕微鏡30の視野が視野以外の部分よりも明るく写るので、例えば、二値化処理により撮像画像を二値化し、二値化画像の高輝度領域を視野領域として特定する。領域抽出は、二値化処理の他に、Snake/Active Contour法、Mean Shift法、Graph Cuts法、Region Growing法、大津の二値化法などの公知の手法が用いられる。
重心座標取得部11Cは、特定部11Bにより特定された視野領域の重心座標を求める。具体的には、例えば、特定部11Bが特定した高輝度領域の重心座標を視野領域の重心座標として算出する。例えば、視野領域の各座標(各ピクセル)の重さは同じと仮定し、視野領域の単純平均を重心座標として求める。具体的には、視野領域に含まれる全ての座標(各ピクセル)のX座標値を合計し、得られた合計値を視野領域に含まれる座標数で割って得られた値を重心座標のX座標とする。同様に、視野領域に含まれる全ての座標(各ピクセル)のY座標値を合計し、得られた合計値を視野領域に含まれる座標数で割って得られた値を重心座標のY座標とする。重心座標算出処理には、公知の手法(例えば、1. https://www.higashisalary.com/entry/cv2-calc-moment、2. https://plant-raspberrypi3.hatenablog.com/entry/2018/11/13/185057、を参照)が用いられる。なお、この重心座標は、撮像画像の座標系における座標である。
案内情報作成部11Dは、重心座標取得部11Cにより求められた重心座標と、適正位置に保持されたカメラ19が撮像する撮像画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、適正位置への案内情報を作成する。
ここで、重心座標及び基準座標の各々は、撮像画像上の2次元的な位置を表す第1座標及び第2座標により表される。第1座標は例えばX座標であり、第2座標は例えばY座標である。撮像画像内のX座標はカメラ19の現在位置を原点とする横方向の座標に対応し、撮像画像内のY座標は、カメラ19の現在位置を原点とする縦方向の座標に対応する。つまり、撮像画像内のX、Y座標は、カメラ19の位置に対応している。このため、重心座標のX座標、Y座標と、基準座標のX座標、Y座標と、の比較に基づいて、カメラ19の縦方向の位置、横方向の位置が調整可能となる。
出力部11Eは、案内情報作成部11Dにより作成された案内情報を出力する。案内情報の出力先は、例えば、表示部16である。
次に、図4及び図5を参照して、適正位置に保持されたカメラ19が撮像する画像から得られる視野領域の重心に対応する基準座標を求める方法について具体的に説明する。
図4は、本実施形態に係る適正位置に保持された撮像装置10と顕微鏡30との位置関係の一例を模式的に示す平面図と側面図である。なお、説明を簡単にするために保持具20の図示は省略し、平面図への顕微鏡30の図示も省略する。また、図5は、適正位置で撮像された撮像画像、二値化画像、及び基準座標の一例を示す図である。
図4に示すように、撮像装置10の表示部16の表示面が水平方向に沿うように保持具20上の適正位置に配置する。接眼レンズ36Aの光軸とカメラレンズ19Aの光軸が合うときの撮像装置10の水平方向の保持位置が、撮像装置10の適正位置である。適正位置にある撮像装置10で顕微鏡の視野を撮像した撮像画像には円形状の視野領域が含まれる。そこで、表示部16に表示される撮像画像を見ながら撮像装置10の位置を調整し、円形状の視野領域を含む撮像画像が得られる撮像装置10の位置を適正位置とする。本実施形態においては、ユーザが表示部16を上から見たときに、撮像装置10の長手方向をユーザから見て上下方向とし、短手方向をユーザから見て左右方向とする。ここでは表示部16からカメラレンズ19Aに向かう方向を上方向とする。なお、撮像装置10を適正位置に配置する方法はこれに限定されず、例えば、顕微鏡30における接眼レンズ36Aの位置を計測し、計測結果に基づいて適正位置を定めることができる。
図5に示す撮像画像は、図4に示す適正位置で撮像された撮像画像である。視野領域は、顕微鏡30の視野に対応する領域であり、カメラ19により撮像され表示部16に表示される撮像画像から特定される。図5の例では、画像中央の円状の部分が視野(視野領域)を表している。二値化画像は、撮像画像を二値化して得られた画像であり、画像中央の円状の白い部分である高輝度領域が視野領域として特定される。二値化画像から特定された高輝度領域の重心座標を算出し、得られた重心座標を視野領域の重心座標とすることで基準座標P1(Xs、Ys)を求めることができる。
次に、図6~図8を参照して、適正位置からずれた位置に保持されたカメラ19が撮像する撮像画像内に含まれる視野領域の重心に対応する重心座標と基準座標に基づいてカメラ19を移動させる方向を求める方法について具体的に説明する。
図6は、本実施形態に係る適正位置からずれた位置に保持された撮像装置10と顕微鏡30との位置関係の一例を模式的に示す平面図と側面図である。なお、説明を簡単にするために保持具20の図示は省略し、平面図への顕微鏡30の図示も省略する。また、図7及び図8は、適正位置からずれた位置で撮像された撮像画像、二値化画像、及び重心座標の一例を示す図である。
図6に示すように、撮像装置10の表示部16の表示面が水平方向に沿うように配置する。ユーザが表示部16を見たときに、撮像装置10の長手方向をユーザから見て上下方向とし、短手方向をユーザから見て左右方向とする。ここでは表示部16からカメラレンズ19Aに向かう方向を上方向とする。「右ずれ位置」は、撮像装置10の水平方向の保持位置が適正位置から右方向にずれた位置である。「左ずれ位置」は、撮像装置10の水平方向の保持位置が適正位置から左方向にずれた位置である。「上ずれ位置」は、撮像装置10の水平方向の保持位置が適正位置から上方向にずれた位置である。「下ずれ位置」は、撮像装置10の水平方向の保持位置が適正位置から下方向にずれた位置である。撮像装置10を「右ずれ位置」、「左ずれ位置」、「上ずれ位置」、「下ずれ位置」に配置する。
図7に示す撮像画像は、図6に示す右ずれ位置及び左ずれ位置で撮像された撮像画像である。右ずれ位置の撮像画像では、視野の左側に暗い部分(ケラレ)が見える。換言すると、右ずれ位置の撮像装置10が撮像した撮像画像には、円の左側を欠いた形状の視野領域が含まれる。一方、左ずれ位置の撮像画像では、視野の右側に暗い部分(ケラレ)が見える。換言すると、左ずれ位置の撮像装置10が撮像した撮像画像には、円の右側を欠いた形状の視野領域が含まれる。それぞれの重心座標P2(Xi、Yi)は、二値化画像から特定された高輝度領域の重心座標として算出される。なお、右ずれ位置の視野領域の重心座標P2と適正位置の視野領域の重心座標P1(基準座標P1)との関係では、Yi=Ys、Xi>Xs、であり、左ずれ位置の視野領域の重心座標P2と適正位置の視野領域の重心座標P1(基準座標P1)との関係では、Yi=Ys、Xi<Xs、である。換言すると、Xi>Xsの場合、撮像装置10は適正位置から右方向にずれているので撮像装置10を左方向に移動させる。Xi<Xsの場合、撮像装置10は適正位置から左方向にずれているので撮像装置10を右方向に移動させる。
図8に示す撮像画像は、図6に示す上ずれ位置及び下ずれ位置で撮像された撮像画像である。上ずれ位置の撮像画像では、視野の下側に暗い部分(ケラレ)が見える。換言すると、上ずれ位置の撮像装置10が撮像した撮像画像には、円の下側を欠いた形状の視野領域が含まれる。一方、下ずれ位置の撮像画像では、視野の上側に暗い部分(ケラレ)が見える。換言すると、下ずれ位置の撮像装置10が撮像した撮像画像には、円の上側を欠いた形状の視野領域が含まれる。それぞれの重心座標P2(Xi、Yi)は、二値化画像から特定された高輝度領域の重心座標として算出される。なお、上ずれ位置の視野領域の重心座標P2と適正位置の視野領域の重心座標P1(基準座標P1)との関係では、Yi>Ys、Xi=Xs、であり、下ずれ位置の視野領域の重心座標P2と適正位置の視野領域の重心座標P1(基準座標P1)との関係では、Yi<Ys、Xi=Xs、である。換言すると、Yi>Ysの場合、撮像装置10は適正位置から上方向にずれているので撮像装置10を下方向に移動させる。Yi<Ysの場合、撮像装置10は適正位置から下方向にずれているので撮像装置10を上方向に移動させる。
図9は、本実施形態に係る基準座標P1と重心座標P2との関係の一例を示す図である。なお、図9に示すX、Y座標系は、表示部16に表示される画像に設定された2次元座標系を示す。
図9に示すように、案内情報作成部11Dは、重心座標P2(Xi、Yi)と基準座標P1(Xs、Ys)との距離L1が所定の範囲外である場合、案内情報を作成し、重心座標P2(Xi、Yi)と基準座標P1(Xs、Ys)との距離が所定の範囲内である場合、案内情報を作成しない。距離L1は、以下の式(1)を用いて算出される。なお、所定の範囲は、適切な撮像画像が得られる範囲として、撮像装置10及び顕微鏡30の仕様等に応じて適切な値が定められる。

・・・(1)
また、案内情報作成部11Dは、重心座標P2(Xi、Yi)のX座標Xiと基準座標P1(Xs、Ys)のX座標Xsとの差の絶対値を表す第1の値、及び、重心座標P2(Xi、Yi)のY座標Yiと基準座標P1(Xs、Ys)のY座標Ysとの差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、案内情報を作成し、第1の値及び第2の値の両方が所定の範囲内である場合、案内情報を作成しないようにしてもよい。
ここで、案内情報作成部11Dは、重心座標P2(Xi、Yi)のX座標Xiと基準座標P1(Xs、Ys)のX座標Xsとの差の絶対値を表す第1の値、及び、重心座標P2(Xi、Yi)のY座標Yiと基準座標P1(Xs、Ys)のY座標Ysとの差の絶対値を表す第2の値の両方が所定の範囲外である場合、例えば、図10に示すように、第1の値に対応するカメラ19の位置と、第2の値に対応するカメラ19の位置とを別々に調整するための案内情報を作成する。
図10は、本実施形態に係る撮像画像と共に表示される案内情報の一例を示す図である。
図10に示すように、出力部11Eは、画像取得部11Aにより取得された撮像画像と共に、案内情報として、カメラ19を案内する方向を表示部16に出力する。案内する方向は、例えば、文字及び図形の少なくとも一方により表される。図10の例では、「適正位置」の場合に「位置OK」という文字が表示される。「右ずれ位置」の場合に「カメラを左に動かしてください」という文字及び左向きの矢印が案内情報として表示される。左向きの矢印は、図形の一例である。ここでいう図形は、矢印に限定されるものではなく、方向を示唆する図形であればよい。同様に、「左ずれ位置」の場合に「カメラを右に動かしてください」という文字及び右向きの矢印が案内情報として表示される。「上ずれ位置」の場合に「カメラを下方向に動かしてください」という文字及び下向きの矢印が案内情報として表示される。「下ずれ位置」の場合に「カメラを上方向に動かしてください」という文字及び上向きの矢印が案内情報として表示される。但し、ここでいう上下左右の方向は、図4及び図6に示す上下左右の方向に対応する。
また、案内情報作成部11Dは、重心座標P2(Xi、Yi)のX座標Xiと基準座標P1(Xs、Ys)のX座標Xsとの差の絶対値を表す第1の値、及び、重心座標P2(Xi、Yi)のY座標Yiと基準座標P1(Xs、Ys)のY座標Ysとの差の絶対値を表す第2の値の両方が所定の範囲外である場合、第1の値に対応するカメラ19の位置と、第2の値に対応するカメラ19の位置とを同時に調整するための案内情報を作成するようにしてもよい。例えば、右斜め上にずれた位置の場合には、「カメラを左斜め下方向に動かしてください」という文字及び左斜め下向きの矢印が案内情報として表示される。他の斜め方向についても同様の関係性で案内情報が表示される。なお、この場合には、保持具20が、顕微鏡30に対して撮像装置10が上下左右に加えて斜め方向にも移動可能な構造とされる。
また、案内情報作成部11Dは、重心座標P2(Xi、Yi)のX座標Xiと基準座標P1(Xs、Ys)のX座標Xsとの差の絶対値を表す第1の値、及び、重心座標P2(Xi、Yi)のY座標Yiと基準座標P1(Xs、Ys)のY座標Ysとの差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、例えば、図11に示すように、第1の値又は第2の値に応じて、図形の長さを変化させるようにしてもよい。
図11は、本実施形態に係る撮像画像と共に表示される案内情報の別の例を示す図である。
例えば、「右ずれ位置」の場合、図11に示す撮像画像及び案内情報が表示される。案内情報は、「カメラを左に動かしてください」という文字及び左向きの矢印として示される。図11の例では、第1の値が大きい場合の矢印の長さが、第1の値が小さい場合の矢印の長さよりも長い。矢印の長さを変化させることにより、視覚的にもカメラ位置の調整量の程度を把握することが可能とされる。
次に、図12~図16を参照して、第1の実施形態に係る撮像装置10の作用を説明する。
図12は、第1の実施形態に係る案内プログラム15Aによる基準座標導出処理の流れの一例を示すフローチャートである。
案内プログラム15Aによる基準座標導出処理の実行が指示されると、撮像装置10のCPU11が、ROM12又は記憶部15に記憶されている案内プログラム15AをRAM13に書き込むことで実行される。
図12のステップS101では、CPU11が、保持具20によって適正位置に保持された撮像装置10のカメラ19を用いて、一例として、上述の図5に示すように、顕微鏡30の視野を撮像する。
ステップS102では、CPU11が、一例として、上述の図5に示すように、ステップS101で撮像して得られた撮像画像を二値化して二値化画像を生成する。
ステップS103では、CPU11が、一例として、上述の図5に示すように、ステップS102で生成した二値化画像から高輝度領域を特定し、視野領域を特定する。
ステップS104では、CPU11が、一例として、上述の図5に示すように、ステップS103で特定した視野領域の重心に対応する基準座標P1(Xs、Ys)を導出し、本案内プログラム15Aによる基準座標導出処理を終了する。
図13は、第1の実施形態に係る案内プログラム15Aによる案内情報表示処理の流れの一例を示すフローチャートである。
案内プログラム15Aによる案内情報表示処理の実行が指示されると、撮像装置10のCPU11が、ROM12又は記憶部15に記憶されている案内プログラム15AをRAM13に書き込むことで実行される。
図13のステップS111では、CPU11が、保持具20によって保持された撮像装置10のカメラ19を用いて、一例として、上述の図7及び図8に示すように、顕微鏡30の視野を撮像する。
ステップS112では、CPU11が、一例として、上述の図7及び図8に示すように、ステップS111で撮像して得られた撮像画像を二値化して二値化画像を生成する。
ステップS113では、CPU11が、一例として、上述の図7及び図8に示すように、ステップS112で生成した二値化画像から高輝度領域を特定し、視野領域を特定する。
ステップS114では、CPU11が、一例として、上述の図7及び図8に示すように、ステップS113で特定した視野領域の重心に対応する重心座標P2(Xi、Yi)を導出する。
ステップS115では、CPU11が、一例として、上述の図9に示すように、重心座標P2(Xi、Yi)のX座標Xiと基準座標P1(Xs、Ys)のX座標Xsとの差の絶対値を表す第1の値である|Xi-Xs|が所定の範囲内か否かを判定する。|Xi-Xs|が所定の範囲内であると判定した場合(肯定判定の場合)、ステップS116に移行し、|Xi-Xs|が所定の範囲外であると判定した場合(否定判定の場合)、ステップS119に移行する。
ステップS116では、CPU11が、一例として、上述の図9に示すように、重心座標P2(Xi、Yi)のY座標Yiと基準座標P1(Xs、Ys)のY座標Ysとの差の絶対値を表す第2の値である|Yi-Ys|が所定の範囲内か否かを判定する。|Yi-Ys|が所定の範囲内であると判定した場合(肯定判定の場合)、ステップS117に移行し、|Yi-Ys|が所定の範囲外であると判定した場合(否定判定の場合)、ステップS118に移行する。
ステップS117では、CPU11が、一例として、上述の図10に示すように、撮像装置10が適正位置にあることを示す情報(例えば、「位置OK」)を表示部16に表示し、本案内プログラム15Aによる案内情報表示処理を終了する。
一方、ステップS118では、CPU11が、Y方向案内情報を作成する。図14を参照して、Y方向案内情報作成サブルーチンについて説明する。
図14は、図13のステップS118で実行されるY方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。
図14のステップS131では、CPU11が、Yi-Ys>0であるか否かを判定する。Yi-Ys>0であると判定した場合(肯定判定の場合)、ステップS132に移行し、Yi-Ys>0ではないと判定した場合(否定判定の場合)、ステップS133に移行する。
ステップS132では、CPU11が、重心座標P2(Xi、Yi)が上ずれ位置とし、一例として、上述の図10に示すように、カメラ19を下方向に動かす案内情報を作成し、図13のステップS118にリターンする。
一方、ステップS133では、CPU11が、Yi-Ys<0であるか否かを判定する。Yi-Ys<0であると判定した場合(肯定判定の場合)、ステップS134に移行し、Yi-Ys<0ではないと判定した場合(否定判定の場合)、リターンに移行する。
ステップS134では、CPU11が、重心座標P2(Xi、Yi)が下ずれ位置とし、一例として、上述の図10に示すように、カメラ19を上方向に動かす案内情報を作成し、図13のステップS118にリターンする。
図13に戻り、ステップS119では、CPU11が、一例として、上述の図9に示すように、第2の値である|Yi-Ys|が所定の範囲内か否かを判定する。|Yi-Ys|が所定の範囲内であると判定した場合(肯定判定の場合)、ステップS120に移行し、|Yi-Ys|が所定の範囲外であると判定した場合(否定判定の場合)、ステップS121に移行する。
ステップS120では、CPU11が、X方向案内情報を作成する。図15を参照して、X方向案内情報作成サブルーチンについて説明する。
図15は、図13のステップS120で実行されるX方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。
図15のステップS141では、CPU11が、Xi-Xs>0であるか否かを判定する。Xi-Xs>0であると判定した場合(肯定判定の場合)、ステップS142に移行し、Xi-Xs>0ではないと判定した場合(否定判定の場合)、ステップS143に移行する。
ステップS142では、CPU11が、重心座標P2(Xi、Yi)が右ずれ位置とし、一例として、上述の図10に示すように、カメラ19を左方向に動かす案内情報を作成し、図13のステップS120にリターンする。
一方、ステップS143では、CPU11が、Xi-Xs<0であるか否かを判定する。Xi-Xs<0であると判定した場合(肯定判定の場合)、ステップS144に移行し、Xi-Xs<0ではないと判定した場合(否定判定の場合)、リターンに移行する。
ステップS144では、CPU11が、重心座標P2(Xi、Yi)が左ずれ位置とし、一例として、上述の図10に示すように、カメラ19を右方向に動かす案内情報を作成し、図13のステップS120にリターンする。
図13に戻り、ステップS121では、CPU11が、X方向案内情報及びY方向案内情報を作成する。図16を参照して、X方向案内情報及びY方向案内情報作成サブルーチンについて説明する。
図16は、図13のステップS121で実行されるX方向案内情報及びY方向案内情報作成サブルーチンによる処理の流れの一例を示すフローチャートである。
図16のステップS151では、CPU11が、Yi-Ys>0であるか否かを判定する。Yi-Ys>0であると判定した場合(肯定判定の場合)、ステップS152に移行し、Yi-Ys>0ではないと判定した場合(否定判定の場合)、ステップS153に移行する。
ステップS152では、CPU11が、重心座標P2(Xi、Yi)が上ずれ位置とし、一例として、上述の図10に示すように、カメラ19を下方向に動かす案内情報を作成する。
一方、ステップS153では、CPU11が、Yi-Ys<0であるか否かを判定する。Yi-Ys<0であると判定した場合(肯定判定の場合)、ステップS154に移行し、Yi-Ys<0ではないと判定した場合(否定判定の場合)、リターンに移行する。
ステップS154では、CPU11が、重心座標P2(Xi、Yi)が下ずれ位置とし、一例として、上述の図10に示すように、カメラ19を上方向に動かす案内情報を作成する。
次に、ステップS155では、CPU11が、Xi-Xs>0であるか否かを判定する。Xi-Xs>0であると判定した場合(肯定判定の場合)、ステップS156に移行し、Xi-Xs>0ではないと判定した場合(否定判定の場合)、ステップS157に移行する。
ステップS156では、CPU11が、重心座標P2(Xi、Yi)が右ずれ位置とし、一例として、上述の図10に示すように、カメラ19を左方向に動かす案内情報を作成し、図13のステップS121にリターンする。
一方、ステップS157では、CPU11が、Xi-Xs<0であるか否かを判定する。Xi-Xs<0であると判定した場合(肯定判定の場合)、ステップS158に移行し、Xi-Xs<0ではないと判定した場合(否定判定の場合)、リターンに移行する。
ステップS158では、CPU11が、重心座標P2(Xi、Yi)が左ずれ位置とし、一例として、上述の図10に示すように、カメラ19を右方向に動かす案内情報を作成し、図13のステップS121にリターンする。
図13に戻り、ステップS122では、CPU11が、ステップS118、ステップS120又はステップS121で作成した案内情報を表示部16に表示し、本案内プログラム15Aによる案内情報表示処理を終了する。
このように本実施形態によれば、顕微鏡の接眼レンズの光軸とカメラレンズの光軸とがずれている場合に、カメラを適正位置に移動させる方向が案内情報として表示される。ユーザは案内情報に従ってカメラを移動させるだけでよく、顕微鏡の接眼レンズに対する、カメラの位置調整を容易に行うことができる。
[第2の実施形態]
上記第1の実施形態では、ユーザが案内情報に従ってカメラを適正位置に移動させる形態について説明した。第2の実施形態では、案内情報によってモータを制御することにより自動的にカメラを適正位置に移動させる形態について説明する。
図17は、第2の実施形態に係る撮像装置10及びモータ40A、40Bの構成を模式的に示す図である。
図17に示すように、本実施形態に係る出力部11Eは、案内情報を、カメラ19の位置を調整するモータ40A、40Bに出力する。モータ40Aは、撮像装置10を上下方向に移動させるモータであり、モータ40Bは、撮像装置10を左右方向に移動させるモータである。モータ40A、40Bに出力される案内情報は、基準座標P1(Xs、Ys)と重心座標P2(Xi、Yi)とのずれ量に基づいて、移動方向及び移動量を含む情報とされる。
次に、図18を参照して、第2の実施形態に係る撮像装置10の作用を説明する。
図18は、第2の実施形態に係る案内プログラム15Aによる案内情報出力処理の流れの一例を示すフローチャートである。
案内プログラム15Aによる案内情報出力処理の実行が指示されると、撮像装置10のCPU11が、ROM12又は記憶部15に記憶されている案内プログラム15AをRAM13に書き込むことで実行される。
図18のステップS161~ステップS171の処理は、上述の図13に示すステップS111~ステップS121の処理と同様であるため、その繰り返しの説明は省略する。図13のフローでは、案内情報を表示部16に表示して出力するのに対して、図18のフローでは、案内情報をモータ40A、40Bに出力する点で相違する。
つまり、図18のステップS172では、CPU11が、ステップS168、ステップS170、又はステップS171で作成された案内情報を、一例として、上述の図17に示すように、モータ40A、40Bに出力し、本案内プログラム15Aによる案内情報出力処理を終了する。
このように本実施形態によれば、顕微鏡の接眼レンズの光軸とカメラレンズの光軸とがずれている場合に、案内情報によってモータを制御することにより自動的にカメラを適正位置に移動させることができる。このため、顕微鏡の接眼レンズに対する、カメラの位置調整を容易に行うことができる。
[第3の実施形態]
第3の実施形態では、案内プログラムを撮像装置ではなく、撮像装置とネットワークを介して接続された情報処理装置に備える形態について説明する。
図19は、第3の実施形態に係る顕微鏡装置100A及び情報処理装置50の一例を模式的に示す図である。
図19に示すように、顕微鏡装置100Aは、撮像装置10Aを備える。撮像装置10Aと情報処理装置50とはネットワークNを介して接続され、情報処理装置50は撮像装置10によってネットワークNを介してアクセス可能とされる。情報処理装置50には、例えば、サーバコンピュータ、パーソナルコンピュータ等の汎用的なコンピュータ装置が適用される。
図20は、第3の実施形態に係る情報処理装置50の電気的な構成の一例を示すブロック図である。
図20に示すように、本実施形態に係る情報処理装置50は、CPU51と、ROM52と、RAM53と、I/O54と、記憶部55と、表示部56と、操作部57と、通信部58と、を備えている。
CPU51、ROM52、RAM53、及びI/O54によって制御部が構成される。これらのCPU51、ROM52、RAM53、及びI/O54の各部はバスを介して各々接続されている。
I/O54には、記憶部55と、表示部56と、操作部57と、通信部58と、を含む各機能部が接続されている。これらの各機能部は、I/O54を介して、CPU51と相互に通信可能とされる。
制御部は、情報処理装置50の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置50の全体の動作を制御するメイン制御部の一部として構成されてもよい。
記憶部55としては、例えば、HDD、SSD、フラッシュメモリ等が用いられる。記憶部55には、本実施形態に係る案内プログラム15Aが記憶される。なお、この案内プログラム15Aは、ROM52に記憶されていてもよい。
表示部56には、例えば、液晶ディスプレイ(LCD)、有機ELディスプレイ等が用いられる。表示部56は、タッチパネルを一体的に有していてもよい。操作部57には、例えば、キーボード、マウス等の操作入力用のデバイスが設けられている。表示部56及び操作部57は、情報処理装置50のユーザから各種の指示を受け付ける。表示部56は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
通信部58は、インターネット、LAN、WAN等のネットワークNに接続されており、撮像装置10Aとの間でネットワークNを介して通信が可能とされる。
本実施形態に係る案内プログラム15Aは、撮像装置10Aではなく、情報処理装置50に格納されている。この場合、撮像装置10Aから情報処理装置50に対して顕微鏡30の視野を撮像した撮像画像が送信される。
本実施形態に係る情報処理装置50のCPU51は、記憶部55又はROM52に記憶されている案内プログラム15AをRAM53に書き込んで実行することにより、上述の図3に示す各部として機能する。つまり、情報処理装置50のCPU51は、画像取得部11A、特定部11B、重心座標取得部11C、案内情報作成部11D、及び出力部11Eとして機能する。本実施形態に係る画像取得部11Aは、撮像装置10Aから送信される、顕微鏡30の視野を撮像した撮像画像を取得し、出力部11Eは、案内情報を撮像装置10Aに出力する。特定部11B、重心座標取得部11C、及び案内情報作成部11Dは、上述の図3で説明した通りであるため、繰り返しの説明は省略する。但し、適正位置に対応する基準座標P1(Xs、Ys)は、予め撮像装置10Aから情報処理装置50に送信され、情報処理装置50で保持されている。
このように本実施形態によれば、案内プログラムを個々の撮像装置に備えていなくてもよく、ネットワーク経由で情報処理装置から案内情報を取得することができる。
なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えば、CPU:Central Processing Unit、等)や、専用のプロセッサ(例えば、GPU:Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
以上、実施形態に係る撮像装置、顕微鏡装置、及び情報処理装置を例示して説明した。実施形態は、撮像装置又は情報処理装置が備える各部の機能をコンピュータに実行させるための案内プログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。
その他、上記実施形態で説明した撮像装置、顕微鏡装置、及び情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
以上の実施形態に関し、更に以下を開示する。
第1態様に係る案内プログラムは、顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを保持する保持具に保持された前記カメラを、前記接眼レンズの光軸に対して適正な保持位置に案内する案内プログラムであって、コンピュータを、前記保持具に保持された前記カメラが前記視野を撮像した画像を前記カメラから取得する画像取得部、前記画像中の、前記視野に対応する視野領域を特定する特定部、前記視野領域の重心座標を求める重心座標取得部、前記重心座標と、前記保持位置に保持された前記カメラが撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、前記保持位置への案内情報を作成する案内情報作成部、及び、前記案内情報を出力する出力部、として機能させる。
第2態様に係る案内プログラムは、第1態様に係る案内プログラムにおいて、前記保持位置が、前記接眼レンズの光軸と前記カメラの光軸が合う前記カメラの保持位置である。
第3態様に係る案内プログラムは、第1態様に係る案内プログラムにおいて、前記案内情報作成部が、前記重心座標と前記基準座標との距離が所定の範囲外である場合、前記案内情報を作成し、前記重心座標と前記基準座標との距離が前記所定の範囲内である場合、前記案内情報を作成しない。
第4態様に係る案内プログラムは、第1態様~第3態様の何れか1態様に係る案内プログラムにおいて、前記重心座標及び前記基準座標の各々が、画像上の2次元的な位置を表す第1座標及び第2座標により表され、前記案内情報作成部が、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、前記案内情報を作成し、前記第1の値及び前記第2の値の両方が前記所定の範囲内である場合、前記案内情報を作成しない。
第5態様に係る案内プログラムは、第1態様~第3態様の何れか1態様に係る案内プログラムにおいて、前記重心座標及び前記基準座標の各々が、画像上の2次元的な位置を表す第1座標及び第2座標により表され、前記案内情報作成部が、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の両方が所定の範囲外である場合、前記第1の値に対応する前記カメラの位置と、前記第2の値に対応する前記カメラの位置とを別々に調整するための前記案内情報を作成する。
第6態様に係る案内プログラムは、第1態様~第3態様の何れか1態様に係る案内プログラムにおいて、前記重心座標及び前記基準座標の各々が、画像上の2次元的な位置を表す第1座標及び第2座標により表され、前記案内情報作成部が、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の両方が所定の範囲外である場合、前記第1の値に対応する前記カメラの位置と、前記第2の値に対応する前記カメラの位置とを同時に調整するための前記案内情報を作成する。
第7態様に係る案内プログラムは、第1態様~第3態様の何れか1態様に係る案内プログラムにおいて、前記重心座標及び前記基準座標の各々が、画像上の2次元的な位置を表す第1座標及び第2座標により表され、前記案内情報が、前記カメラを案内する方向を表す図形として表され、前記案内情報作成部が、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、前記第1の値又は前記第2の値に応じて、前記図形の長さを変化させる。
第8態様に係る案内プログラムは、第1態様~第7態様の何れか1態様に係る案内プログラムにおいて、前記出力部が、前記画像取得部により取得された画像と共に、前記案内情報として、前記カメラを案内する方向を表示部に出力する。
第9態様に係る案内プログラムは、第8態様に係る案内プログラムにおいて、前記案内する方向が、文字及び図形の少なくとも一方により表される。
第10態様に係る案内プログラムは、第1態様~第7態様の何れか1態様に係る案内プログラムにおいて、前記出力部が、前記案内情報を、前記カメラの位置を調整するモータに出力する。
第11態様に係る案内方法は、顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを保持する保持具に保持された前記カメラを、前記接眼レンズの光軸に対して適正な保持位置に案内する案内方法であって、前記保持具に保持された前記カメラが前記視野を撮像した画像を前記カメラから取得し、前記画像中の、前記視野に対応する視野領域を特定し、前記視野領域の重心座標を求め、前記重心座標と、前記保持位置に保持された前記カメラが撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、前記保持位置への案内情報を作成し、前記案内情報を出力する。
第12態様に係る撮像装置は、顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラと、前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、第1態様~第10態様の何れか1態様に記載の案内プログラムと、を備える。
第13態様に係る情報処理装置は、顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを備えた撮像装置によってアクセス可能な情報処理装置であって、前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、第1態様~第10態様の何れか1態様に記載の案内プログラム、を含む。
第14態様に顕微鏡装置は、顕微鏡と、前記顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラ、及び、前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、第1態様~第10態様の何れか1態様に記載の案内プログラムを備えた撮像装置を着脱可能に保持する保持具と、を含む。
10 撮像装置
11、51 CPU
11A 画像取得部
11B 特定部
11C 重心座標取得部
11D 案内情報作成部
11E 出力部
12、52 ROM
13、53 RAM
14、54 I/O
15、55 記憶部
15A 案内プログラム
16、56 表示部
17、57 操作部
18、58 通信部
19 カメラ
19A カメラレンズ
20 保持具
30 顕微鏡
36A 接眼レンズ
40A、40B モータ
50 情報処理装置
100、100A 顕微鏡装置

Claims (14)

  1. 顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを保持する保持具に保持された前記カメラを、前記接眼レンズの光軸に対して適正な保持位置に案内する案内プログラムであって、
    コンピュータを、
    前記保持具に保持された前記カメラが前記視野を撮像した画像を前記カメラから取得する画像取得部、
    前記画像中の、前記視野に対応する視野領域を特定する特定部、
    前記視野領域の重心座標を求める重心座標取得部、
    前記重心座標と、前記保持位置に保持された前記カメラが撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、前記保持位置への案内情報を作成する案内情報作成部、及び、
    前記案内情報を出力する出力部、
    として機能させる、
    案内プログラム。
  2. 前記保持位置は、前記接眼レンズの光軸と前記カメラの光軸が合う前記カメラの保持位置である
    請求項1に記載の案内プログラム。
  3. 前記案内情報作成部は、前記重心座標と前記基準座標との距離が所定の範囲外である場合、前記案内情報を作成し、
    前記重心座標と前記基準座標との距離が前記所定の範囲内である場合、前記案内情報を作成しない
    請求項1に記載の案内プログラム。
  4. 前記重心座標及び前記基準座標の各々は、画像上の2次元的な位置を表す第1座標及び第2座標により表され、
    前記案内情報作成部は、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、前記案内情報を作成し、
    前記第1の値及び前記第2の値の両方が前記所定の範囲内である場合、前記案内情報を作成しない
    請求項1に記載の案内プログラム。
  5. 前記重心座標及び前記基準座標の各々は、画像上の2次元的な位置を表す第1座標及び第2座標により表され、
    前記案内情報作成部は、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の両方が所定の範囲外である場合、前記第1の値に対応する前記カメラの位置と、前記第2の値に対応する前記カメラの位置とを別々に調整するための前記案内情報を作成する
    請求項1に記載の案内プログラム。
  6. 前記重心座標及び前記基準座標の各々は、画像上の2次元的な位置を表す第1座標及び第2座標により表され、
    前記案内情報作成部は、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の両方が所定の範囲外である場合、前記第1の値に対応する前記カメラの位置と、前記第2の値に対応する前記カメラの位置とを同時に調整するための前記案内情報を作成する
    請求項1に記載の案内プログラム。
  7. 前記重心座標及び前記基準座標の各々は、画像上の2次元的な位置を表す第1座標及び第2座標により表され、
    前記案内情報は、前記カメラを案内する方向を表す図形として表され、
    前記案内情報作成部は、前記重心座標の第1座標と前記基準座標の第1座標との差の絶対値を表す第1の値、及び、前記重心座標の第2座標と前記基準座標の第2座標との差の絶対値を表す第2の値の少なくとも一方が所定の範囲外である場合、前記第1の値又は前記第2の値に応じて、前記図形の長さを変化させる
    請求項1に記載の案内プログラム。
  8. 前記出力部は、前記画像取得部により取得された画像と共に、前記案内情報として、前記カメラを案内する方向を表示部に出力する
    請求項1に記載の案内プログラム。
  9. 前記案内する方向は、文字及び図形の少なくとも一方により表される
    請求項8に記載の案内プログラム。
  10. 前記出力部は、前記案内情報を、前記カメラの位置を調整するモータに出力する
    請求項1に記載の案内プログラム。
  11. 顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを保持する保持具に保持された前記カメラを、前記接眼レンズの光軸に対して適正な保持位置に案内する案内方法であって、
    前記保持具に保持された前記カメラが前記視野を撮像した画像を前記カメラから取得し、
    前記画像中の、前記視野に対応する視野領域を特定し、
    前記視野領域の重心座標を求め、
    前記重心座標と、前記保持位置に保持された前記カメラが撮像する画像から得られる視野領域の重心に対応する基準座標との比較に基づいて、前記保持位置への案内情報を作成し、
    前記案内情報を出力する、
    案内方法。
  12. 顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラと、
    前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、請求項1~請求項10の何れか1項に記載の案内プログラムと、
    を備えた撮像装置。
  13. 顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラを備えた撮像装置によってアクセス可能な情報処理装置であって、
    前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、請求項1~請求項10の何れか1項に記載の案内プログラム、
    を含む情報処理装置。
  14. 顕微鏡と、
    前記顕微鏡の接眼レンズを通じて前記顕微鏡の視野を撮像するカメラ、及び、前記カメラを前記接眼レンズの光軸に対して適正な保持位置に案内する、請求項1~請求項10の何れか1項に記載の案内プログラムを備えた撮像装置を着脱可能に保持する保持具と、
    を含む顕微鏡装置。
JP2022144171A 2022-09-09 2022-09-09 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置 Pending JP2024039546A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022144171A JP2024039546A (ja) 2022-09-09 2022-09-09 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置
EP23194954.6A EP4336239A1 (en) 2022-09-09 2023-09-01 Guidance program, guidance method, imaging device, information processing device, and microscope device
US18/462,249 US20240085687A1 (en) 2022-09-09 2023-09-06 Guidance method, non-transitory storage medium, imaging device, information processing device, and microscope device
CN202311154009.3A CN117687193A (zh) 2022-09-09 2023-09-07 引导方法、存储介质、成像装置、信息处理和显微镜装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022144171A JP2024039546A (ja) 2022-09-09 2022-09-09 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置

Publications (1)

Publication Number Publication Date
JP2024039546A true JP2024039546A (ja) 2024-03-22

Family

ID=87929357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022144171A Pending JP2024039546A (ja) 2022-09-09 2022-09-09 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置

Country Status (4)

Country Link
US (1) US20240085687A1 (ja)
EP (1) EP4336239A1 (ja)
JP (1) JP2024039546A (ja)
CN (1) CN117687193A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203825288U (zh) * 2014-05-12 2014-09-10 沈阳 便携式光学显微镜目镜-移动电话相机镜头连接装置
EP3267892A4 (en) * 2015-03-13 2019-01-23 Richard Awdeh METHOD AND SYSTEMS FOR REGISTERING WITH A MICROSCOPE INSERT
JP6418458B2 (ja) 2016-08-24 2018-11-07 アクアシステム株式会社 顕微鏡
AU2019251316A1 (en) * 2018-04-11 2020-09-10 Alcon Inc. Automatic XY centering for digital microscope
CN114300095A (zh) * 2021-09-07 2022-04-08 腾讯科技(深圳)有限公司 图像处理设备、图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4336239A1 (en) 2024-03-13
CN117687193A (zh) 2024-03-12
US20240085687A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
US11544874B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
US10478269B2 (en) Method for automatically moving object in simulation system and simulation system using the same
US20180120553A1 (en) System for image reconstruction using a known pattern
JP7071122B2 (ja) レンズの1つ以上の光学パラメータを決定するための機器、システム、および方法
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
CN106020436A (zh) 图像分析装置及图像分析方法
JP2015228954A (ja) 画像処理装置および画像処理方法
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2020173269A (ja) 基板検査装置及び基板検査方法
JP2022518191A (ja) レンズの1つ以上のパラメータを決定する装置、システム、及び方法
US20160110840A1 (en) Image processing method, image processing device, and robot system
JP2017201276A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2016114963A (ja) 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
US20200401805A1 (en) Image processing apparatus and method of controlling the same
JP2014134632A (ja) 撮像装置、顕微鏡システム及び撮像方法
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JPWO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
CN111539352A (zh) 一种判断人体关节运动方向的方法及系统
JP2014228527A (ja) 画像測定装置
JP2024039546A (ja) 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置
US11720166B2 (en) Video display system, video display method, and computer program
JP2019015541A (ja) レンズ測定装置
US20210281822A1 (en) Display system, display control device, and non-transitory computer readable medium
CN114518217A (zh) 镜头间中心距离确定方法、显微镜控制设备及存储介质
JP2021141424A (ja) 表示システム、表示制御装置及びプログラム