JP5813309B2 - 撮影システム - Google Patents

撮影システム Download PDF

Info

Publication number
JP5813309B2
JP5813309B2 JP2010266284A JP2010266284A JP5813309B2 JP 5813309 B2 JP5813309 B2 JP 5813309B2 JP 2010266284 A JP2010266284 A JP 2010266284A JP 2010266284 A JP2010266284 A JP 2010266284A JP 5813309 B2 JP5813309 B2 JP 5813309B2
Authority
JP
Japan
Prior art keywords
camera
monitor
display screen
user
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010266284A
Other languages
English (en)
Other versions
JP2012118188A (ja
Inventor
郁 玉置
郁 玉置
卓匡 浮谷
卓匡 浮谷
Original Assignee
株式会社ディテクト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ディテクト filed Critical 株式会社ディテクト
Priority to JP2010266284A priority Critical patent/JP5813309B2/ja
Publication of JP2012118188A publication Critical patent/JP2012118188A/ja
Application granted granted Critical
Publication of JP5813309B2 publication Critical patent/JP5813309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラとカメラで撮影した映像を表示するモニタとを備えたシステムに関するものである。
カメラとカメラで撮影した映像を表示するモニタとを備えたシステムとしては、XY移動ステージ上の標本の像を光学的に拡大する顕微鏡と、顕微鏡が拡大した標本の像を撮影するカメラと、カメラが撮影した映像を表示するモニタと、標本を自動追尾するように前記XY移動ステージの移動を制御する制御装置とを備えた顕微鏡システム(たとえば、特許文献1)など、様々なシステムが知られている。
一方、ユーザが注視しているコンピュータのモニタの表示画面上の座標を算出し、当該算出した座標をコンピュータに入力する視線入力の技術も知られている(たとえば、特許文献2)。
特開平07-248452号公報 特開平10-143316号公報
カメラとカメラで撮影した映像を表示するモニタとを備えたシステムにおいて、ユーザが、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることは必ずしも容易ではない。すなわち、観察対象が微細なものである場合にはカメラの撮影範囲を微少に精度良く変化させる操作を行う必要があり、観察対象が高速に移動するものである場合には、カメラの撮影範囲を観察対象に追従するように高速に変化させる操作を行う必要が生じるために、当該操作には熟練を要する。
そこで、本発明は、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることのできるシステムを提供することを課題とする。
前記課題達成のために、本発明は、カメラと、前記カメラの被写体を支持する支持体と、前記支持体を移動する移動機構と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上の前記注視位置に表れている被写体上の位置が、前記カメラの撮影範囲の中心に移動するように、前記移動機構を制御して、前記支持体を移動する制御手段とを備えた撮影システムを提供する。
このような撮影システムによれば、ユーザは、モニタに表示されたカメラ撮影映像中の興味有る位置を注視するだけで、当該位置が、カメラの撮影範囲の中心に移動してモニタの中央に表示されるように、カメラの撮影範囲を変化することができる。よって、本発明によれば、ユーザは、容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることができるようになる。
ここで、このような撮影システムは、たとえば、顕微鏡像を撮影するシステムに適用することができる。すなわち、この場合には、標本を支持するステージと、前記ステージを二軸方向に移動可能なアクチュエータとを備えた顕微鏡と、前記標本の前記顕微鏡による顕微鏡画像を撮影するカメラと、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上の前記注視位置に表れている前記標本上の位置が、前記カメラの撮影範囲の中心に移動するように、前記アクチュエータを制御して、前記ステージを移動する制御手段とを設けて撮影システムを構成するようにすれば良い。
また、本発明は、カメラと、前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記注視位置の移動ベクトルを算出する移動ベクトル算出手段と、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で、前記移動ベクトルの方向に対応する方向側を撮影する方向に変化するように、前記リモート雲台を制御する制御手段とを備えた撮影システムを提供する。
また、併せて、本発明は、カメラと、前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上において、前記モニタの表示画面に表れている被写体が、前記移動ベクトルの方向と反対方向に移動する方向に、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で変化するように、前記リモート雲台を制御する制御手段とを備えた撮影システムを提供する。
これらのような撮影システムによっても、同様に、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることができる。また、特に、このような撮影システムを、ゴルフや野球の中継に適用すれば、オペレータがモニタ上で飛球を目で追いかけるだけで、良好に飛球をカメラで撮影し続けることができるようになる。よって、熟練した技能を備えたカメラマンでなくても、飛球などの移動体をカメラで良好に捉え続けることができるようになる。
以上のように、本発明によれば、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることのできるシステムを提供することができる。
本発明の第1実施形態に係る顕微鏡システムの構成を示す図である。 本発明の第1実施形態に係る視線対応観察制御処理を示すフローチャートである。 本発明の第1実施形態に係る顕微鏡システムの動作例を示す図である。 本発明の第2実施形態に係る撮影システムの構成を示す図である。 本発明の第2実施形態に係る視線対応観察制御処理を示すフローチャートである。 本発明の第2実施形態に係る撮影システムの動作例を示す図である。
以下、本発明の実施形態について説明する。
まず、第1の実施形態について説明する。
図1に、本第1実施形態に係る顕微鏡システムの構成を示す。
図示するように、本顕微鏡システムは、顕微鏡装置1、制御装置2、モニタ3、視線センサ4、入力装置5とを有している。
顕微鏡装置1は、ステージアクチュエータ11、ステージアクチュエータ11によって水平二軸(XY)方向に移動可能なステージ12、ステージ12上に支持した標本13の顕微鏡像(拡大像)を光学的に生成する光学系14、光学系14の合焦動作や倍率を制御する光学系アクチュエータ15、光学系14が生成した顕微鏡像を撮影する顕微鏡用カメラ16とを備えている。
そして、モニタ3には、顕微鏡装置1の顕微鏡用カメラ16が撮影した映像が表示される。
また、視線センサ4は、モニタ3を観察するユーザの目を近赤外線で照らす2台の近赤外線照明41と、モニタ3を観察するユーザの目を撮影する、近赤外線に感光可能なアイカメラ42とを備えている。
そして、制御装置2は、注視点検出部21と、観察制御部22とを備えている。
注視点検出部21は、視線センサ4のアイカメラ42が撮影したユーザの目の映像より、ユーザが注視している(見ている)、モニタ3の表示画面上の座標を注視点座標として算出する。ここで、この注視点座標の算出は、アイカメラ42が撮影したモニタ3を観察するユーザの目の映像より画像認識処理により抽出したユーザの目の瞳孔の位置、ユーザの角膜の近赤外線照明の反射点などに基づいて、モニタ3に対する、ユーザの目の位置と視線方向を検出することにより行う。
また、観察制御部22は、入力装置5で受け付けたユーザ操作に応じて、顕微鏡装置1のステージアクチュエータ11や光学系アクチュエータ15を制御する動作を行う他、ユーザが入力装置5を介して視線対応観察モードを設定すると、次に示す視線対応観察制御処理を行う。
図2に、この視線対応観察制御処理の手順を示す。
図示するように、この視線対応観察制御処理では、注視点検出部21が算出している注視点座標を取得し(ステップ202)、注視点座標がモニタ3の表示画面の中央領域内の座標であるかどうかを調べる(ステップ204)。
ここで、モニタ3の表示画面の中央領域とは、表示画面の中心を中心として設定した所定サイズの正方形の領域であり、モニタ3の表示画面に表示されている映像が、図3aに示すような精子群の顕微鏡画像であるとして、図3bに示すように、モニタ3の表示画面の中央領域301は設定される。
次に、注視点座標がモニタ3の表示画面の中央領域内の座標でなければ、注視点座標の周辺に監視領域を設定する(ステップ206)。
ここで、監視領域は、注視点座標を中心として設定した所定サイズの正方形の領域であり、図3cに+で示す位置が注視点座標であれば、302で示すように監視領域を設定する。
そして、所定のタイムアウト時間(たとえば、1秒)を持つタイマAを設定し(ステップ208)、注視点検出部21が算出している注視点座標を取得しながら(ステップ210)、注視点座標が監視領域外となるか(ステップ212)、タイマAのタイムアウトが発生するのを待つ(ステップ214)。
そして、注視点座標が監視領域外となったならば、ステップ202に戻る。
一方、タイマAのタイムアウトが発生したならば(ステップ214)、最後に取得した注視点座標に表示されている標本13上の位置が、顕微鏡用カメラ16の撮影範囲の中心に撮影されるように、すなわち、当該位置がモニタ3の表示画面の中心に表示されるように、注視点座標とモニタ中心座標との差分と顕微鏡装置1の倍率等とに応じて、顕微鏡装置1のステージアクチュエータ11を制御して、ステージ12を標本13共々移動し(ステップ216)、ステップ202に戻る。
結果、ユーザが、モニタ3の表示画面の中央領域外の位置を所定時間(たとえば、1秒)以上注視すると、当該注視している位置に表示されている標本13上の位置が、顕微鏡用カメラ16の撮影範囲の中心に撮影されるようにステージ12が移動し、当該位置がモニタ3の表示画面の中心に表示されるようになる。したがって、たとえば、活動的な精子を探すユーザが、図3cの、+で示す中央領域外で着目した精子像の位置を所定時間以上注視すると、ステージ12が移動され、図3dに示すように、着目した精子像がモニタ3の表示画面の中心に表示され、そのようすをより容易に観察できるようになる。
さて、図2に戻り、ステップ202で取得した注視点座標がモニタ3の表示画面の中央領域内の座標である場合には(ステップ204)、所定のタイムアウト時間(たとえば、5秒)を持つタイマBを設定し(ステップ218)、注視点検出部21が算出している注視点座標を取得しながら(ステップ220)、注視点座標が中央領域外となるか(ステップ222)、タイマBのタイムアウトが発生するのを待つ(ステップ224)。
そして、注視点座標が監視領域外となったならば、ステップ202に戻る。
一方、タイマBのタイムアウトが発生したならば(ステップ224)、モニタ3に表示される映像が、現在の状態より所定の拡大率で拡大されて表示されるように顕微鏡装置1を制御する(ステップ226)。当該拡大の制御は、顕微鏡装置1の光学系14の倍率を光学系アクチュエータ15から変更可能である場合には、光学系アクチュエータ15を制御して光学系14の倍率を大きくすることにより行うようにしてもよいし、顕微鏡用カメラ16がデジタルズームの機能を備えているものである場合には、顕微鏡用カメラ16を制御して、顕微鏡用カメラ16のデジタルズームの倍率を大きくすることにより行うようにしてもよい。
この結果、図3dに示すように、図3dの、+で示す中央領域内の着目した精子像の位置をユーザが所定時間(たとえば、5秒)以上注視すると、顕微鏡装置1が制御され、図3eに示すように、注視していたモニタ3の中央部分の着目した精子像の映像がさらに拡大されてモニタ3の表示画面に表示され、当該精子をより詳細に観察できるようになる。
さて、このようにしてモニタ3に表示される映像が、所定の拡大率で拡大されるように顕微鏡装置1を制御したならば(ステップ226)、入力装置5へのユーザのリセット操作の発生を待ち(ステップ228)、リセット操作が発生したならば、モニタ3に表示される映像の拡大率を、ステップ226で当該拡大率を変更する前の拡大率に復帰し(ステップ230)、ステップ202に戻る。
以上、本発明の第1の実施形態について説明した。
以下、本発明の第2の実施形態について説明する。
図4に、本第2実施形態に係る撮影システムの構成を示す。
図示するように、撮影システムは、カメラ装置6、制御装置2、モニタ3、視線センサ4、入力装置5とを有している。
ここで、制御装置2と視線センサ4の構成は図1に示した前記第1実施形態の構成と同様である。
そして、カメラ装置6は、カメラ61、リモート制御に応答してカメラ61の撮影方向を電動機構によって変更可能なリモート雲台62とを備えている。
そして、カメラ61の撮影映像がモニタ3に表示される。
このような構成において、制御装置2の観察制御部22は、入力装置5で受け付けたユーザ操作に応じて、カメラ装置6のカメラ61のズーム動作やリモート雲台62の動作を制御する処理を行う他、ユーザが入力装置5を介して視線対応観察モードを設定すると、次に示す視線対応観察制御処理を行う。
図5aに、視線対応観察制御処理の手順を示す。
図示するように、この視線対応観察制御処理では、注視点検出部21が算出している注視点座標を取得し(ステップ502)、注視点座標の移動量と移動方向を表す移動ベクトルを算出し(ステップ504)、移動ベクトルの大きさに比例する速度で、移動ベクトルの方向と同じ方向にカメラ61の撮影方向が変化するように、リモート雲台62を制御する(ステップ506)、処理を繰り返す。すなわち、移動ベクトルの方向が左であれば、左方向にカメラ61の撮影方向を変化させ、移動ベクトルの方向が右であれば、右方向にカメラ61の撮影方向を変化させ、移動ベクトルの方向が上であれば、上方向にカメラ61の撮影方向を変化させ、移動ベクトルの方向が下であれば、下方向にカメラ61の撮影方向を変化させる。なお、注視点座標の移動ベクトルは、今回ステップ502で取得した注視点座標の前回ステップ502で取得した注視点座標に対する移動ベクトルとする。ただし、ステップ506では、移動ベクトルに代えて、注視点座標の移動ベクトルの所定の単位時間における平均ベクトルや移動平均ベクトルを用い、平均ベクトル/移動平均ベクトルの大きさに比例する速度で、平均ベクトル/移動平均ベクトルの方向と同じ方向にカメラ61の撮影方向が変化するように、リモート雲台62を制御するようにしてもよい。
このような視線対応観察制御処理によれば、たとえば、ゴルフや野球の中継をカメラ装置6を用いて行う際に、オペレータがモニタ3上で飛球を目で追いかけるだけで、たとえば、図6a-dにゴルフ中継の場合について示すように、飛球601のモニタ3上の移動速度によらずに、良好に飛球601をカメラ61で撮影し続けることができるようになる。
よって、熟練した技能を備えたカメラマンでなくても、飛球をカメラ61で良好に捉え続けることができるようになる。
なお、図5aに示した視線対応観察制御処理は、図5bに示すように、注視点座標を取得し(ステップ552)、モニタ3の表示画面の注視点座標に表れている被写体の、カメラ61から見た方向がカメラ61の撮影方向の中心方向となるように、すなわち、モニタ3の表示画面の注視点座標に表れている被写体上の位置がカメラ61の撮影範囲の中心に撮影されるように、リモート雲台62によってカメラ61の撮影方向を制御する(ステップ554)動作を繰り返する処理としてもよい。
以上、本発明の第2実施形態について説明した。
なお、制御装置2やモニタ3と、カメラ装置6とは、インターネットなどのネットワークを介して接続し、カメラ装置6からモニタ3への撮影映像の伝送や、制御装置2によるカメラ装置6の上述した各制御は当該ネットワークを介して行うものとしてもよい。
1…顕微鏡装置、2…制御装置、3…モニタ、4…視線センサ、5…入力装置、6…カメラ装置、11…ステージアクチュエータ、12…ステージ、13…標本、14…光学系、15…光学系アクチュエータ、16…顕微鏡用カメラ、21…注視点検出部、22…観察制御部、41…近赤外線照明、42…アイカメラ、61…カメラ、62…リモート雲台。

Claims (1)

  1. カメラと、
    前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、
    前記カメラが撮影した映像を表示するモニタと、
    ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、
    前記注視位置の移動ベクトルを算出する移動ベクトル算出手段と、
    前記モニタの表示画面上において、前記モニタの表示画面に表れている被写体が、前記移動ベクトルの方向と反対方向に移動する方向に、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で変化するように、前記リモート雲台を制御する制御手段とを有することを特徴とする撮影システム。
JP2010266284A 2010-11-30 2010-11-30 撮影システム Active JP5813309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010266284A JP5813309B2 (ja) 2010-11-30 2010-11-30 撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010266284A JP5813309B2 (ja) 2010-11-30 2010-11-30 撮影システム

Publications (2)

Publication Number Publication Date
JP2012118188A JP2012118188A (ja) 2012-06-21
JP5813309B2 true JP5813309B2 (ja) 2015-11-17

Family

ID=46501111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010266284A Active JP5813309B2 (ja) 2010-11-30 2010-11-30 撮影システム

Country Status (1)

Country Link
JP (1) JP5813309B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015108161A1 (ja) * 2014-01-17 2015-07-23 株式会社ニコン 電子機器、撮像装置及び通信装置
JP6668942B2 (ja) * 2016-05-23 2020-03-18 富士通株式会社 撮影制御装置、プログラム及び方法
KR20180034031A (ko) 2016-09-27 2018-04-04 삼성전자주식회사 전기화학 거울
JP7336266B2 (ja) * 2019-06-04 2023-08-31 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7356697B2 (ja) * 2019-06-11 2023-10-05 国立大学法人静岡大学 画像観察システム
JP7415912B2 (ja) * 2020-12-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0486906A (ja) * 1990-07-31 1992-03-19 Suzuki Motor Corp 遠隔操作装置
JPH05288982A (ja) * 1992-04-09 1993-11-05 Olympus Optical Co Ltd 注視点選択装置
JPH07248452A (ja) * 1994-03-14 1995-09-26 Nikon Corp 標本像自動追尾装置
JPH07309577A (ja) * 1994-05-17 1995-11-28 Ohbayashi Corp クレーン用テレビモニタ装置
JPH08149356A (ja) * 1994-11-17 1996-06-07 Canon Inc 動画表示装置
JP2007074033A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2012118188A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5813309B2 (ja) 撮影システム
US10571671B2 (en) Surgical control device, control method, and imaging control system
US9151942B2 (en) Microscope system
US20060044399A1 (en) Control system for an image capture device
JP4835898B2 (ja) 映像表示方法および映像表示装置
US20170325907A1 (en) Spectacle-style display device for medical use, information processing device, and information processing method
JP2006229322A (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
EP3531953A1 (en) Medical spatial orientation system
JP5885395B2 (ja) 撮影機器及び画像データの記録方法
EP2187623A1 (en) Autofocus system
JP2024036387A (ja) 電子機器およびその制御方法
JP5370380B2 (ja) 映像表示方法および映像表示装置
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR101526557B1 (ko) 다중 카메라 기반 시선 추적 장치 및 방법
WO2016157923A1 (ja) 情報処理装置及び情報処理方法
CN104679226B (zh) 非接触式医疗控制系统、方法及医疗设备
JP6276954B2 (ja) 映像監視システム
US20200099864A1 (en) Medical observation apparatus and control method
TW202002606A (zh) 影像擷取裝置與其操作方法
JP2012238088A (ja) 画像選択表示方法および装置
TW202247102A (zh) 電子裝置以及其影像擷取器的控制方法
US10587812B2 (en) Method of generating a digital video image using a wide-angle field of view lens
JP6168630B2 (ja) 画像選択表示方法および装置
JP6260399B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP7431609B2 (ja) 制御装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150916

R150 Certificate of patent or registration of utility model

Ref document number: 5813309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250