JP7235280B2

JP7235280B2 - 撮影装置、撮影システム及び、撮影装置の使用方法

Info

Publication number: JP7235280B2
Application number: JP2018204267A
Authority: JP
Inventors: 智西村
Original assignee: Jichi Medical University
Current assignee: Jichi Medical University
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2023-03-08
Anticipated expiration: 2038-10-30
Also published as: JP2020071316A

Description

本発明は撮影装置に関し、より具体的には繰り返し変化する撮影対象を、撮影対象の変化と同一または近接するタイミングで撮影し、あるいは実時間同期したタイミングで遅れなく撮影することで、撮影対象の変化をブレなく画像取得および分析することを可能にした撮影装置に関するものである。

動きのあるものを詳細に分析可能に撮影する場合には、先ずは、シャッタースピードを高速として撮影することが考えられる。この場合には、撮影対象の動きに基づくトリガを取得し、このトリガに基づいて連続的に一定時間シャッターを切ることが行われる。その場合、取得データは膨大になるためデータ処理量が限界となることが多い。

これに関連する技術としては、ボール１１をヒットするクラブヘッドのヒット前の通過をセンサ手段１３で検知し、この検知信号をトリガとする、ゴルフボールの運動測定方法が公知である（特許文献１参照）。この技術においては、上記の検知信号が制御ユニット１６のトリガ手段に送られ、このトリガ手段が検知信号を受けて、ヒットされたボール１１を撮影するためにセットされた互いに間隔を置いて横向きにセットされた第１及び第２カメラ１４、１５に時間をずらしてシャッター信号を送って撮影する。しかしながら、この技術だけでは、一度の撮影が行われるのみであり、高速で何度も繰り返す運動を、それぞれの事象について繰り返し画像取得し、あるいは分析可能に撮影することは困難であった。

また、高速で繰り返す運動を行う撮影対象（例えばＦＡＮのような回転の翼）を撮影するには、繰り返し周期（回転数）にあわせて撮影する必要があった。ここで、周期的な動きのある撮影対象を観察する方法として、ストロボスコープを用いる方法が知られている。このストロボスコープは、規則正しい間隔で強くシャープな光を点滅させる装置であり、高速で回転するものなどにストロボスコープの光を照射し、動いている撮影対象を静止したように観察可能とするものである。しかし、ストロボスコープを用いる方法は、あくまで、人の眼の残像効果を利用したものであって、この方法だけで、繰り返し行われる動きのある撮影対象を分析可能に撮影することは困難であった。また、自然光による撮影が不可能である問題もあった。さらに、実際の撮影タイミングは外乱等によって変化しており、安定した撮影が難しくブレやズレの多い画像になってしまうことが多い。また、その外乱自体を観察対象とすることも困難であった。

また、これに関連する技術としては、高速切削加工における回転時の工具挙動について高速度カメラで撮像する、高速切削加工における切削工具挙動の可視化技術が公知である（非特許文献１参照）。この技術においては、撮影タイミングは工具ホルダーの回転をレーザセンサで読み取り、トリガ装置を経て高速度シャッターカメラに伝え、常に一定の位置で撮影し、撮影画像を基準画像と比較し、変位を計測することが可能である。しかしながら、この場合でも撮影時間は限られており、連続的に加工が行われている現場で、連続的に撮影することはほぼ不可能である。実際の加工現場では、最小限の撮影リソースで、連続的にモニタリングする技術が求められている。

また、心臓ＭＲＩ画像において、心電図波形と同期させてＭＲＩ信号を収集することにより、拍動によるアーチファクトの少ない画像を得る技術が公知である（非特許文献２参照）。これは、撮像の起点（トリガ）となるＲ波を検知するＶＣＧ（ベクトル心電図）に関して、電極を４点装着し、２方向ベクトルの電位差よりＲ波を精度良く検知する事を可
能とし、検査スループットを向上させたものである。

さらに、呼吸運動をセンサでモニタリングし、位置変動の少ない呼気相でのみ信号収集を行う撮像法である呼吸同期撮像法が公知である（非特許文献３参照）。この撮像法においては、トリガポイントを変化させて撮影を行い、結果として、ファントムの動きが大きい位相に信号収集期間設定した場合ほどアーチファクト低減効果が見られず、呼吸運動波形にあったパラメータ設定を行うことが重要であることが確認されている。

上記の非特許文献１～３に記載の技術は、いずれも撮影のトリガとなる信号を撮影対象の物体側から取得するものであり、撮影の自由度が高いとは言えず、また、装置構成が大規模となる等の不都合があった。なお、非特許文献１に記載の技術のように、高速カメラを用いる場合には膨大なデータ処理を行うため、やはり装置コストが高くなり、情報処理に関わる装置が大型化してしまう。実際の撮影現場ではこれらの特殊なカメラが運用できないことも多いのが実情である。また、非特許文献２に記載の技術のように、堅牢性に優れ安定したパルス信号が別モダリティで得られる場面は限られており、撮影対象の物体への接触が困難な場合が多かった。

上記の従来技術には、通常サイズのイメージングセンサの撮影を実時間において合わせ込んで行う技術は開示されておらず、実時間におけるフィッティングが大きなメリットを出すことについても触れられていなかった。

特開平１０－１８６４７４号公報

南晃、「高速切削加工における切削工具挙動の可視化技術の開発」、鹿児島県工業技術センター研究報告Ｎｏ１６（２００２）、ｐ４３～ｐ４８松本光代、「心臓ＭＲＩ検査における撮像技術」、全国循環器撮影研究会誌Ｖｏｌ．１８、２００６、ｐ４９～ｐ５２荒尾信一、「ＭＲＩにおける呼吸同期撮像法に関する基礎的検討」、川崎医療短期大学紀要２８号、２００８、ｐ１３～ｐ１７

本発明は、上記のような状況に鑑みて発明されたものであり、その目的は、繰り返し運動する撮影対象を、より簡易な装置構成で、より高い自由度を有しかつ実時間の変動に合わせて分析可能に撮影することを可能とする技術を提供することである。

上記の課題を解決するための本発明は、周期的にあるいは任意のタイミングで繰り返し変化する撮影対象を撮影する撮影装置であって、
前記撮影対象の画像を結像させる撮像光学系と、
前記撮像光学系を通過して露光された、前記撮影対象の画像を電気信号に変換する撮像素子と、
前記撮像素子における、前記画像の露光のタイミングを、トリガ信号に基づいて制御する露光制御部と、
前記露光のタイミングを制御するためのトリガ信号を、前記露光制御部に繰り返し供給するトリガ供給部と、
前記露光制御部に繰り返し供給されるトリガ信号の供給タイミングを決定するタイミン
グ決定部と、
前記撮像素子により前記画像を変換して得られた電気信号を制御して、電子画像を形成する画像信号制御部と、
を備え、
前記撮影対象の変化のタイミングと、前記トリガ信号の供給タイミングの関係を変更することで、前記画像信号制御部により形成される電子画像の状態を調整可能とすることを特徴とする、撮影装置である。

すなわち、本発明においては、露光制御部が、撮像素子における露光のタイミングを、トリガ信号に基づいて制御する。より具体的には、トリガ信号が露光制御部に入力される度に遅滞なく、あるいはトリガ信号の入力から所定のディレイタイムの経過後に、露光が開始されるようにしてもよい。また、本発明においては、トリガ供給部から露光制御部に供給されるトリガ信号の供給タイミングはタイミング決定部によって決定される。

また、本発明では、撮像素子により画像を変換して得られた電気信号を制御して、電子画像を形成する画像信号制御部を備え、撮影対象の変化のタイミングと、トリガ信号の供給タイミングの関係を変更することで、画像信号制御部により形成される電子画像の状態を調整可能とする。

すなわち、本発明においては、撮影対象が繰り返しの動きを見せる場合には、トリガ信号の供給タイミングを撮影対象の動きのタイミングと一致させることで、繰り返し運動している撮影対象を静止しているかのように撮影することが可能となる。また、トリガ信号の供給タイミングを撮影対象の物体の動きのタイミングと若干異ならしめることで、撮影対象の物体の繰り返しの動きをコマ送り状に撮影することも可能である。より具体的には、トリガ信号の供給タイミングの間隔を撮影対象の物体の繰り返しの動きの間隔より若干長くすることで、撮影対象の物体の繰り返しの動きをコマ送り状に進めることができる。トリガ信号の供給タイミングの間隔を撮影対象の物体の繰り返しの動きの間隔より若干短くすることで、撮影対象の物体の繰り返しの動きをコマ送り状に遅らせることができる。本発明では、上記のように、撮影対象の繰り返し変化のタイミングとトリガ信号の供給タイミングの関係を変更することで、得られる電子画像の状態を任意に調整することができる。また、本発明は、撮影装置の露光タイミング（トリガ信号の供給タイミング）を適切に調整するという、容易な制御によって実現可能である。さらに一般的な撮像素子（例えばＣＭＯＳセンサ）に備えられたトリガモードを用いて運用することで、装置を複雑化することなく実現可能である。

また、本発明においては、前記画像信号制御部は、複数のトリガ信号による、前記撮像素子における複数回の前記露光に基づく電気信号によって、多重露光電子画像を形成するようにしてもよい。

ここで、本発明において、撮影対象の繰り返しの動きの間隔が短い場合、撮像素子の１回の露光において充分な光量の露光をすることができないことが考えられる。その場合には、撮像素子からの電気信号によって電子画像を形成する画像信号制御部は、複数のトリガ信号に基づく、撮像素子における複数回の露光による電子画像を重ねる多重露光によって、多重露光電子画像を形成するようにしてもよい。これによれば、撮影対象の繰り返しの動きの間隔が短く、撮像素子における露光時間が短い場合にも、各電子画像に対して充分な露光を確保し、明るく鮮明な画像を形成することが可能である。また、通常の撮像素子に備えられた多重露光モードを運用することで、撮像素子上で処理が完結するため新たな回路等を必要とせず、装置構成の複雑化を抑制できる。

また、本発明においては、前記画像信号制御部は、異なる時刻に前記露光制御部に供給
されたトリガ信号に基づく前記電子画像の自己相関を取得する自己相関取得部をさらに備え、
前記タイミング決定部は、前記自己相関取得部が取得した前記自己相関の値が所定値以上となるように前記トリガ信号の供給タイミングを決定するようにしてもよい。

ここで、前述のように、本発明においては、撮影対象が繰り返しの動きを見せる場合には、トリガ信号の供給タイミングを撮影対象の物体の繰り返しの動きのタイミングと一致させることで、繰り返して運動している物体を静止しているかのように撮影することが可能である。しかしながら、撮影対象の繰り返しの動きのタイミングと撮像素子における露光タイミングがずれていた場合には、撮影画像は前述のようにコマ送り状に変化し、完全に静止した電子画像を得ることができなくなる。

これに対し本発明においては、自己相関取得部が、異なる時刻に露光制御部に供給されたトリガ信号に基づく電子画像の自己相関を取得し、タイミング決定部は、自己相関取得部が取得した自己相関の値が所定値以上となるようにトリガ信号の供給タイミングを決定するようにした。これにより、撮影対象の繰り返しの動きのタイミングと撮像素子における露光タイミングのずれを、自己相関の値として定量的に捉えることが可能となる。そして、タイミング決定部が、自己相関取得部が取得した自己相関の値が所定値以上となるようにトリガ信号の供給タイミングを決定することで、より精度よく、撮影対象の繰り返しの動きのタイミングと撮像素子における露光タイミングとを一致させることが可能となる。

また、本発明においては、前記タイミング決定部は、前記トリガ信号の供給タイミングの値の入力を受付ける入力受付部を有するとともに、該入力受付部が受付けた値に基づいて、前記トリガ信号の供給タイミングを決定するようにしても構わない。

この場合には、使用者が、得られた電子画像を確認しつつ電子画像が静止するように、あるいは、自己相関の値を確認しつつ自己相関の値が所定値以上となるように、入力受付部からトリガ信号の供給タイミングの値を入力する。この入力受付部は、例えば、ダイヤル式であってもよい。また、スライド式でもよいし、実際のタイミング（例えば、周期あるいは周波数）の値をデジタル的に入力するものであってもよい。さらに、入力受付部がダイヤル式である場合には、周期の値の桁数と同数のダイヤルを備え、各桁をダイヤルで調整することが可能にしてもよい。これによれば、トリガ信号の周期について、より迅速に粗調整を行い、且つ、より精度よく微調整を行うことが可能となる。

また、本発明は、上記の撮影装置と、前記画像信号制御部により形成された電子画像を表示する表示部と、
前記撮像素子、前記画像信号制御部、前記トリガ供給部、前記タイミング決定部、前記表示部の少なくともいずれかを冷却する冷却装置と、
電源と、
を一体に構成したことを特徴とする、可搬型の撮影システムであってもよい。

これによれば、撮影対象の繰り返しの動きを止めて、あるいは、コマ送り状に撮影可能で、撮影対象を高い自由度で分析可能に撮影できるシステムを、持ち運び可能に実現することが可能である。

また、本発明は、上記の撮影装置の使用方法であって、
前記撮影対象の繰り返しの変化は振動であり、
前記タイミング決定部は、前記トリガ信号の周期が、前記振動の基本振動または倍振動の周期と一致するか、微小差が存在するように決定されることを特徴とする、撮影装置の
使用方法であってもよい。

なお、上記した課題を解決する手段は、可能な限り組合せて使用することができる。

本発明によれば、繰り返しの運動を行う撮影対象を、より簡易な装置構成で、より高い自由度で分析可能に撮影することができる。

本発明の実施例１に係る撮影装置の機能ブロック図である。本発明の実施例１に係る撮影装置による撮影状態を示す図である。本発明の実施例１に係る撮影装置で多重露光を行う場合のトリガ信号及び露光の状態を示す図である。本発明の実施例２に係る撮影装置の機能ブロック図である。本発明の実施例２に係るトリガ信号周期の制御内容を示すフローチャートである。本発明の実施例３に係る撮影装置の概略構成を示す図である。本発明の実施例４に係る撮影システムの概略構成を示す図である。本発明の実施例４に係る撮影システムにおいて得られる、撮影対象の動きに対応する波形の処理を説明するための図である。本発明の実施例４における撮影対象を肉眼で観察した場合について説明するための図である。本発明の実施例４に係る撮影システムを用いて撮影対象を観察した場合について説明するための図である。

以下、本発明の実施例について図面に基づいて説明する。以下の実施例に記載されている構成要素は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
まず、本発明の実施例１について説明する。図１は、本実施例における撮影装置１の機能ブロック図である。撮影装置１においては、撮像光学系１１により結像された撮影対象の画像が撮像素子１３上に露光される。この撮像光学系１１は、一般的なカメラ用のレンズであってもよい。また、本実施例における撮像素子１３はＣＭＯＳセンサとするが、これに限定するものでなくてもよく、ＣＣＤセンサ等としても良い。撮像素子１３において撮影対象の画像が変換された電気信号は、画像信号制御部１５に送信され、画像信号制御部１５において処理されて電子画像信号が形成される。この電子画像信号は表示部１６に送信され、表示部１６において電子画像として表示される。

また、撮影装置１には、撮像素子１３における露光状態を制御する露光制御部１７が備えられている。この露光制御部１７は、撮像素子１３における露光の開始と終了の時刻を制御する。露光制御部１７には、トリガ供給部１９が併設され、露光の開始タイミングは、トリガ供給部１９から供給されるトリガ信号の入力タイミングに基づいて決定される。本実施例では、露光制御部１７は、トリガ供給部１９からのトリガ信号の入力が検知されると遅滞なく撮像素子１３における露光を開始するが、トリガ信号の入力から所定のディレイタイムを伴って露光を開始するようにしてもよい。

また、トリガ供給部１９には、本発明のタイミング決定部に相当するトリガ周期調整部２１が接続されている。トリガ供給部１９は、このトリガ周期調整部２１によって決定さ
れた周期に基づいて周期的にトリガ信号を露光制御部１７に供給する。上記から、本実施例における撮影装置１は、トリガ周期調整部２１において調整された周期で、撮像素子１３における露光が間欠的に行われる。なお、図１に示す撮像素子１３は、制御基板２３上に実装されており、画像信号制御部１５、露光制御部１７、トリガ供給部１９、トリガ周期調整部２１は、制御基板２３上に形成された制御回路により実現される。また、画像信号制御部１５、露光制御部１７、トリガ供給部１９、トリガ周期調整部２１の各機能を実現するための信号処理は、制御基板２３上に実装されたメモリ内に記憶されたプログラムが、制御基板２３上に実装されたＣＰＵからの指令により実行されることで実現される。

図２には、本実施例に係る撮影装置１における撮影状態を示す。図２の上段は、撮影対象の状態の一例を示す。図２の中段は、トリガ供給部１９から露光制御部１７に入力されるトリガ信号の波形を示す。図２の下段は、露光制御部１７において制御される露光タイミングの波形を示す。図２に示すように、撮影対象は、状態１～状態６を一周期とし、状態１～状態６の状態を繰り返す周期的な運動を行っている。

そして、本実施例では、トリガ周期調整部２１によって、トリガ信号の周期が撮影対象の周期に一致するように決定されている。また、本実施例では、撮影対象の状態が状態３となるタイミングでトリガ信号が露光制御部１７に入力され、撮像素子１３における露光が開始されている。また、露光制御部１７によって制御される露光時間（すなわち、露光開始から露光終了までの時間）は、撮影対象における状態３の継続時間となっている。本実施例においては、周期的に運動する撮影対象の状態３のみを繰り返し撮影することになる。よって、本実施例の撮影装置１においては、周期的に運動する撮影対象の状態３のみが、静止画のように撮影される。

なお、撮影対象の周期が短い場合等には、図２の下段に記載した露光時間を充分に確保することができず、充分に明るい電子画像を得ることが困難な場合が考えられる。本実施例においては、そのような場合には、複数回の露光に係る電子画像を重ね合わせて、換言すると多重露光を行うことで、各露光に係る電子画像の見かけ上の露光時間を確保するようにしてもよい。

図３には、上記の多重露光を行う場合のトリガ信号及び露光の状態を示す。図３の上段にはトリガ供給部１９から入力されるトリガ信号を、図３の中段にはトリガ信号に同期して行われる露光の状態を示す。そして、図３の下段には多重露光した場合の露光の状態を示す。中段及び下段において縦軸は、露光光強度に相当する。本実施例では、図３に示すように、所定のトリガ信号の入力があった場合に、撮像素子１３において露光が行われ、その際に撮像素子１３において変換された電気信号によって、画像信号制御部１５で電子画像が形成される。また、その際に、前回及び前々回の露光に基づく電子画像が重ね合わせられて、多重露光による電子画像となる。これにより、撮影対象の運動の周期が短く、一回の露光では充分な光量が得られない場合にも、見かけ上、充分な光量に基づく電子画像を得ることが可能となる。

＜実施例２＞
次に、本発明の実施例２について説明する。本実施例においては、異なる露光タイミングにおいて得られた電子画像の自己相関関数を演算することで、より精度よく、トリガ信号の周期すなわち露光の周期を、撮影対象の運動の周期に一致させる例について説明する。

図４には、本実施例における撮影装置２の機能ブロック図を示す。本実施例における撮影装置２と、撮影装置１との相違点は、撮影装置２における画像信号制御部１５に、自己相関取得部１５ａが設けられている点である。この自己相関取得部１５ａは、制御基板２
３上に実装されたメモリ内に記憶されたプログラムが、制御基板２３上に実装されたＣＰＵからの指令により実行されることで実現される。

図５には、本実施例におけるトリガ信号周期を制御するトリガ周期制御ルーチンのフローチャートを示す。本ルーチンのプログラムは、上述のとおり、制御基板２３上に実装されたメモリ内に記憶されたものであり、撮影が開始された場合に所定時間毎に実行される。本ルーチンが実行されると、まずＳ１０１において、トリガ供給部１９によって供給されるトリガ信号が、撮影が開始された後の初回のトリガ信号の入力か否かが判定される。ここで、肯定判定すなわち、初回のトリガ信号の入力であると判定された場合には、Ｓ１０２の処理に進む。一方、Ｓ１０１において初回のトリガ入力ではないと否定判定された場合には、Ｓ１０２の処理は飛ばしてＳ１０３の処理に進む。

Ｓ１０２においては、初期のトリガ信号の周期が設定される。より具体的には、撮影対象の運動の周期と同一と想定される周期に設定される。この初期のトリガ信号の周期は、予めマニュアルで設定されてもよい。Ｓ１０２の処理が終了するとＳ１０３に進む。Ｓ１０３においては、トリガ供給部１９によってトリガ信号が露光制御部１７に入力される。Ｓ１０３の処理が終了するとＳ１０４に進む。Ｓ１０４においては、Ｓ１０３において入力されたトリガ信号に基づいて撮像素子１３で露光が行われる。Ｓ１０４の処理が終了するとＳ１０５に進む。Ｓ１０５では、Ｓ１０４の露光に基づいて撮像素子１３から出力された電気信号によって、画像信号制御部１５において電子画像が形成される。Ｓ１０５の処理が終了するとＳ１０６に進む。

Ｓ１０６においては、再度、今回形成された電子画像に係るトリガ信号が、撮影が開始された後の初回のトリガ信号か否かが判定される。そして、初回のトリガ信号であると判定された場合には、この時点では撮影開始後一回の露光しかなされておらず、後述の自己相関係数が算出できないと判断されるので、このまま本ルーチンを一旦終了する。一方、今回のトリガ信号が撮影が開始された後の初回のトリガ信号ではないと判定された場合には、Ｓ１０７に進む。

Ｓ１０７においては、Ｓ１０５で形成された電子画像と、前回の本ルーチンの実行時にＳ１０５で形成された電子画像との間の自己相関関数が算出される。自己相関関数の例としては以下の（１）式に係るものが例示される。

ここで、Ｘ_ｉは、例えば、電子画像における各画素の輝度としてもよい。μは、Ｘ_ｉの平均値、σ^２は分散である。Ｅは期待値である。ｋは、いくつ先のトリガ信号に係る電子画像と比較するか示す変数であり、本実施例では隣どうし（前回と今回）のトリガ信号に係る電子画像を比較するのでｋ＝１とする。また、本実施例では、各画素における自己相関関数Ｒ（１）の電子画像全体の平均値を求めてもよい。

Ｓ１０８においては、Ｓ１０７で算出された自己相関関数Ｒ（１）の電子画像全体の平均値が予め定められた閾値であるＡ１以上か否かが判定される。ここで、撮影対象の動きの周期とトリガ信号の周期がずれていた場合には、前回のＳ１０５の処理で形成された電子画像と今回のＳ１０５の処理で形成された電子画像の同一性は低下し、自己相関関数Ｒ（１）の電子画像全体の平均値は小さくなる。

すなわち、Ｓ１０８においては、前回のＳ１０５で形成された電子画像と今回のＳ１０５で形成された電子画像の同一性が充分に高いか否かが判定されることになる。従って、閾値Ａ１は、前回のＳ１０５で形成された電子画像と今回のＳ１０５で形成された電子画像の自己相関関数Ｒ（１）の値がこれ以上であれば、撮影対象の動きの周期とトリガ信号の入力の周期が充分に一致していると判定される閾値であり、予め実験的あるいは理論的に定められる。本実施例では例えば、０．９９としてもよい。

ここで、自己相関関数Ｒ（１）がＡ１以上と判定された場合には、前回の露光で得られた電子画像と今回の露光で得られた電子画像とが充分に高い同一性を示しており、撮影対象の動きの周期とトリガ信号の周期が充分に一致していると判断されるので、本ルーチンを一旦終了する。一方、Ｓ１０８において、自己相関関数Ｒ（１）がＡ１未満と判定された場合には、撮影対象の動きの周期とトリガ信号の周期がずれていると判断されるので、Ｓ１０９に進む。

Ｓ１０９においては、トリガ信号の周期が変更される。なお、トリガ信号の周期の変更の方向については、まず、トリガ信号の周期が大きくなる方向に変更し、次回の本ルーチンの実行時に、Ｓ１０７で得られる自己相関関数Ｒ（１）が大きくなっていた場合で、且つ、Ｓ１０８において、自己相関関数Ｒ（１）が再度Ａ１未満と判定された場合には、さらに同一の方向に変更し、一方、次回の本ルーチンの実行時に、Ｓ１０７で得られる自己相関関数Ｒ（１）がさらに小さくなっていた場合には、変化の方向を逆転させてトリガ周期を変更するといった処理内容であってもよい。

Ｓ１０９の処理が終了すると、本ルーチンを一旦終了する。

以上、説明したように、本実施例においては、連続する２回のトリガ信号に基づく露光によって得られた電子画像の自己相関関数を演算し、得られた自己相関関数が閾値未満であれば、トリガ信号の周期が撮影対象の動きの周期からずれていると判定して、トリガ信号の周期を、自己相関関数が大きくなるように変更することとした。これによれば、より確実に、トリガ信号の周期と撮影対象の動きの周期を自動的に一致させることが可能となり、より確実に、周期的に運動する撮影対象を静止させた電子画像を取得することが可能となる。

なお、本実施例においては、連続する２回のトリガ信号に基づいて得られた電子画像の自己相関関数を演算したが、必ずしも連続する２回のトリガ信号によらなくても構わない。何回か先のトリガ信号に基づいて得られた電子画像の自己相関関数を演算するようにしてもよい。また、２つの電子画像の自己相関を取得可能な関数であれば、自己相関関数は（１）式に示すものでなくてもよい。

＜実施例３＞
次に、本発明の実施例３について説明する。本実施例においては、本発明の撮影装置を一体に形成し可搬型とした例について説明する。

図５には、本実施例における撮影装置３の概略構成を示す。図５（ａ）は、撮影装置３を撮像光学系であるズームレンズ３１の光軸前側から見た図である。図５（ｂ）は、ズームレンズ３１の光軸に垂直な方向から見た装置断面図である。

図５に示すように、ズームレンズ３１の光軸後側には、撮像素子であるＣＭＯＳセンサ３３ａを備えたＣＭＯＳセンサユニット３３が配置されている。ＣＭＯＳセンサ３３ａにおいては、半導体基板上に複数の画素がアレイ状に配置されている。ＣＭＯＳセンサユニ
ット３３には、ＣＭＯＳセンサ３３ａの各画素を駆動するための駆動信号を行ごとに順次出力する垂直駆動回路（不図示）、ＣＭＯＳセンサ３３ａの各画素から出力される画素信号から、信号レベルを抽出して、画素データを出力するカラム処理回路（不図示）、カラム処理回路に、順次、所定のタイミングで、画素データを出力させる信号を供給する水平駆動回路（不図示）が内蔵されている。

また、ＣＭＯＳセンサユニット３３には、上述の垂直駆動回路、カラム処理回路、および水平駆動回路に対し、それぞれの動作に必要なクロック信号やタイミング信号などを供給して、各部を制御する制御回路（不図示）、カラム処理回路から出力される画素データを増幅して、後段の回路に出力する信号処理回路（不図示）等が内蔵されている。

ＣＭＯＳセンサユニット３３の後側には、発信回路を内蔵して一定周波数のパルス信号を生成し、ＣＭＯＳセンサ３３ａの露光開始タイミングを決めるためのトリガ信号として出力するトリガ信号生成ユニット３７が配置されている。

このトリガ信号生成ユニット３７には、撮影装置３の外部に配置されたトリガ周期調整ユニット４１が接続されている。このトリガ周期調整ユニット４１は、調整すべきトリガ周期（周波数）を示す５桁の数値の各々の数値に相当するダイヤル４１ａ～４１ｅの５つのダイヤルを備えている。使用者は、トリガ周期を調整する際に、粗調整するには、周波数１桁目に相当する４１ａから、例えば３桁目に相当する４１ｃまでを用いて周期の調整を行う。また、微調整を行う場合には、４桁目と５桁目に相当する、ダイヤル４１ｄ及び４１ｅを用いて周期の調整を行なう。また、トリガ信号生成ユニット３７と、ＣＭＯＳセンサユニット３３とを冷却するためのファンを搭載した冷却ユニット４５が、トリガ信号生成ユニット３７と、ＣＭＯＳセンサユニット３３の側面に配置されている。

そして、トリガ信号生成ユニット３７においては、トリガ周期調整ユニット４１によって、使用者により調整された周期に応じたトリガ信号が生成される。また、トリガ信号生成ユニット３７の後側には、ＣＭＯＳセンサユニット３３から出力された電気信号を受信し、電子画像を形成する電子画像形成部である画像プロセスユニット３５が配置される。また、画像プロセスユニット３５のさらに後方には、使用者が画像を直接視認可能なディスプレイ装置４３が配置されている。

また、本実施例におけるＣＭＯＳセンサユニット３３、トリガ信号生成ユニット３７、冷却ユニット４５、画像プロセスユニット３５は、これらを支持する台座であるベース４７上に固定されている。また、ベース４７の下側には、ＣＭＯＳセンサユニット３３、トリガ信号生成ユニット３７、冷却ユニット４５、画像プロセスユニット３５及びディスプレイ装置４３に電力を供給するためのバッテリ３９が配置されている。

さらに、本実施例では、ベース４７、バッテリ３９、ディスプレイ装置４３、トリガ周期調整ユニット４１は、筐体４９に保持されており、撮影装置３全体を一体として取り扱い可能となっている。

以上、説明したとおり、本実施例においては、撮影装置３に必要な構成全てが一体に構成されており、撮影装置３の利便性、可搬性を向上させている。また、本実施例においては、トリガ周期調整ユニット４１において、トリガ信号の周期（周波数）を示す数値の各々の桁に相当するダイヤルを備えることとしたので、使用者は、トリガ周波数の粗調整をより迅速に行うとともに、微調整をより精密に行うことが可能となっている。

なお、上記の実施例においては、トリガ信号及び露光に関し、その周期を制御することとして説明をしたが、そのために制御する数値自体は、周期であっても周波数であっても
良いことは当然である。

＜実施例４＞
次に、本発明の実施例４について説明する。本実施例においては、撮影対象の動きをセンサで検知し、検出された動きに応じて露光を行う撮影システムの例について説明する。すなわち、本実施例においては、撮影対象の繰り返しの動きが同一周期による周期的な動きではない場合を想定している。

図７には、本実施例の撮影システム５０について示す。撮影対象Ｏは、繰り返しの運動を行うもので、例として、心臓等の臓器や、呼吸をする動物を挙げることができる。本実施例では、この撮影対象Ｏを位置合わせ用の第１光源５１と、撮影対象Ｏの繰り返しの動きを検知するための第２光源５２を備えている。第１光源５１の波長は例えば７００ｎｍ以下の波長域に分布しており、第２光源５２の波長は例えば８５０ｎｍとする。

第１光源５１及び第２光源５２から撮影対象Ｏに照射された光は撮影対象Ｏの表面で反射し、分光ユニット６０に入射する。分光ユニット６０には、ダイクロイックミラー６１が設けられており、このダイクロイックミラー６１によって、位置合わせ用の光と動きの測定用の光は分離される。第１光源５１から照射された位置合わせ用の光はダイクロイックミラー６１を通過して直進し、第２光源５２から照射された動きの測定用の光はダイクロイックミラー６１において反射され光路は９０度屈曲する。

位置合わせ用の光は、位置合わせ用ＣＭＯＳセンサ６３で受光され電気信号に変換される。位置合わせ用ＣＭＯＳセンサ６３から出力された電気信号は、位置測定器５４に入力される。この位置測定器５４では、位置合わせ用の光の強度に基づいて、撮影対象Ｏの位置を測定する。本実施例では、位置測定器５４の測定結果を見ながら、図示しない位置調整ステージによって、撮影対象Ｏの位置を調整する。これにより、撮影対象Ｏと分光ユニット６０の間の位置関係を微調整し、より精度よく、撮影対象Ｏの動きを検知することが可能となる。

次に、ダイクロイックミラー６１で反射された、動きの測定用の光は、フィルター６５を通過することにより、余分な波長の光が除去された後、集光レンズ６７によってＩｎＧａＡｓフォトディテクター６９（以下、フォトディテクター６９）上に集光される。このフォトディテクター６９によって、撮影対象Ｏの繰り返し運動に応じて変化する測定用の光の強度が電気信号に変換される。フォトディテクター６９から出力される電気信号は、撮影対象Ｏの繰り返し運動に同期して変化する。

フォトディテクター６９から出力された電気信号は、アンプ５５で増幅され、ロックインアンプ５６に入力される。ロックインアンプ５６では、入力された電気信号のうちの特定周波数の信号のみが増幅される。ロックインアンプ５６から出力された電気信号はグラフィックイコライザー５７に入力され、周波数フィルタがかけられて波形整形される。グラフィックイコライザー５７から出力された電気信号は、コンパレーター５８に入力され、所定の閾値と比較されて矩形状のパルス波に変換される。このパルス波がトリガ信号として撮影装置３に入力されて露光タイミングを決定する。

このように、本実施例の撮影システム５０においては、撮影対象Ｏによる繰り返しの動きが光学的に検知され、その動きに応じて撮影装置３における露光タイミングが決定される。これによれば、コンパレーター５８における閾値を適切に調整することで、撮影対象Ｏの繰り返しの動きの中の所望の位相に係る画像を取得することが可能である。その結果、撮影対象Ｏの繰り返しの動きを静止させた画像を、高い自由度で位相を調整しつつ取得することが可能となる。また、本実施例においては、撮影対象Ｏの動きに同期するパルス
波を小規模なアナログ回路等で生成可能であり、より簡易で堅牢性に優れた構成で実現することが可能である。

また、本実施例では実時間での処理の調節が可能であるため、撮影対象Ｏの動きの測定と撮影とを行いつつ、トリガ信号の合わせ込みをすることが可能である。当然、事前にトリガ信号の周波数を決定することも可能である。また、特定周波数にロックインした場合には、残りの信号が差分として現れるため、より精度よくトリガ信号の調整をすることが可能である。例えば特定周波数を６０Ｈｚとした場合には、６０Ｈｚと６１Ｈｚ、６０Ｈｚと６０．１Ｈｚといった微小な周波数の差を識別し、調整することができる。なお、図７においては、第２光源５３は、撮影対象Ｏの繰り返しの動きを反射光によって取得する位置に配置されたば、撮影対象Ｏの繰り返しの動きを撮影対象Ｏの透過光によって取得する位置に配置しても構わない。

図８は、本実施例において取得される波形のイメージを説明するための図である。図８の最上段の波形は、フォトディテクター６９から出力される電気信号の波形の例である。図８に示すように、これは、撮影対象Ｏの繰り返しの動きをそのまま反映させた波形であり、ノイズを含み、波形もバラついている。この電気信号がアンプ５５及びロックインアンプ５６に入力され増幅されることで、特定周期で繰り返す成分の波形が抽出・増幅される。

次に、グラフィックイコライザー５７に入力され、上述の特定周期の近傍の各周期の振幅を調整することで波形整形される。そして、コンパレーター５８で閾値と比較されることで、最下段に示すようなパルス波形が得られる。このように、本実施例においては、撮影対象Ｏの繰り返しの動きを検出し、撮影装置３においてその繰り返しの動きの周期に応じて露光が行われるので、自動的に適切な露光周期が決定され、繰り返しの動きを行う撮影対象Ｏを静止させた画像を取得できる。

次に、図９及び図１０を用いて、撮影システム５０を用いた撮影態様の例を示す。図９及び図１０に示す例では、撮影対象Ｏをさざ波の立つ水面としている。図９は撮影対象Ｏとしての、さざ波の立つ水面を肉眼で観察した場合について示している。図９（ａ）は撮影対象Ｏの側面図、図９（ｂ）は水面の見え方を示している。図９（ａ）に示すように、水面のさざ波を肉眼で観察した場合には、図９（ｂ）に示すように、水面のさざ波が動いて見えるために、例えば水中に存在する魚は見えづらい状態となる。

これに対して、図１０（ａ）に示すように、撮影システム５０によって水面のさざ波の動きを測定し、さざ波の周期と同じ周期で撮影装置３における露光を行うことで、図１０（ｂ）に示すように、さざ波を静止させて観察することができる。これにより、水中の魚の画像をより鮮明に取得することが可能となる。

上記の実施例に示したように、本発明は、同一周期で周期的な運動をする撮影対象の他、完全に同一周期ではない準周期的な運動をする撮影対象や、任意のタイミングで繰り返しの運動をする撮影対象のいずれにも適用することが可能である。

上記の実施例に示したように、本発明によって、例えば、呼吸や心拍による繰り返しの動きを補償して、実時間において動きを止めて幼児することが可能となる。その結果、撮影対象Ｏを精緻に観察することが可能となるのみならず、実時間において揺らぎをとめて観察し、同時に物理的な外科処置を施すことが可能となる。すなわち、実際に撮影対象Ｏの動きを止めなくても、仮想現実下では静止していることとなり、ピエゾ素子やサーボ処理を組み合わせて処置側に同様の動きを重畳することで、撮影対象Ｏに適確で安全な処置を行うことが可能となる。

また、撮影対象Ｏの動きの周波数と撮影装置の露光周波数との関係を調整することより、周波数ずれを検出する、高調波による動きを抽出する、といった別の効果を得ることも可能である。撮影対象Ｏの共振周波数を視覚的に確認しながら測定することも可能である。共振周波数は撮影対象Ｏの局所的な物性そのものであり、例えば、非侵襲・非接触で生体の物性・物理パラメーターを取得することが可能となる。

また、本発明の他の適用例としては、カルシウム・電位イメージングと同期しながら、撮影装置によって筋肉を撮影し、生体力学を明らかにすること等も挙げることができる。この場合には、運動する際の協調動作のなかで、力学的な因果関係を明確に画像として取得することができる。そして、サルコメアパターンに現れないような、局所応力集中や剪断応力も観察することが可能となる。筋負荷を考える上で、これらの因子は重要であり、本発明は、老年医学やスポーツ医学にも貢献できると考えられる。

なお、本発明に係る撮影技術については、生体観察以外にも広いアプリケーションが考えられる。例えば、製造業においても非正規イメージングが求められている。製造業の現場では、加工中における加工対象の観察をいかにその場で行うかが大きな問題となっている。すなわち、品質・コスト管理上エラー（加工中の工具破損や異常動作）を検出する必要があるが、加工現場では、生体観察の場合と同じような「動き・ゆらぎによるブレ」が生じておりその場での観察を困難にしているのである。また、製造業の現場では、品質管理上、ナノスケールでのスキャンも求められており、「その場での超解像観察」も大きなインパクトを持つ。

このように、結像理論として正規的に計算できる範囲を超えてロバストなスキャンを行うことは、医療以外の多くのセンシング・イメージング分野において要求されており、本発明によりこの要求に答えることが可能となる。

１、２、３・・・撮影装置
１１・・・撮像光学系
１３・・・撮像素子
１５・・・画像信号制御部
１５ａ・・・自己相関取得部
１６・・・表示部
１７・・・露光制御部
１９・・・トリガ供給部
２１・・・トリガ周期調整部
２３・・・制御基板
３１・・・ズームレンズ
３３・・・ＣＭＯＳセンサユニット
３５・・・画像プロセスユニット
３７・・・トリガ信号生成ユニット
３９・・・バッテリ
４１・・・トリガ周期調整ユニット
４３・・・ディスプレイ装置
４５・・・冷却ユニット
４７・・・台座
４９・・・筐体

Claims

周期的にあるいは任意のタイミングで繰返し変化する撮影対象を撮影する撮影装置であって、
前記撮影対象の画像を結像させる撮像光学系と、
前記撮像光学系を通過して露光された、前記撮影対象の画像を電気信号に変換する撮像素子と、
前記撮像素子における、前記画像の露光のタイミングを、トリガ信号に基づいて制御する露光制御部と、
前記露光のタイミングを制御するためのトリガ信号を、前記露光制御部に繰り返し供給するトリガ供給部と、
前記露光制御部に繰り返し供給されるトリガ信号の供給タイミングを決定するタイミング決定部と、
前記撮像素子により前記画像を変換して得られた電気信号を制御して、電子画像を形成する画像信号制御部と、
を備え、
前記撮影対象の変化のタイミングと、前記トリガ信号の供給タイミングの関係を変更することで、前記画像信号制御部により形成される電子画像の状態を調整可能とし、
前記画像信号制御部は、
複数のトリガ信号による、前記撮像素子における複数回の前記露光に基づく電気信号によって、多重露光電子画像を形成し、
異なる時刻に前記露光制御部に供給された前記トリガ信号に基づく前記電子画像の自己相関を取得する自己相関取得部をさらに備え、
前記タイミング決定部は、前記自己相関取得部が取得した前記自己相関の値が所定値以上となるように前記トリガ信号の供給タイミングを決定することを特徴とする、撮影装置。
前記タイミング決定部は、前記トリガ信号の供給タイミングの値の入力を受付ける入力受付部を有するとともに、該入力受付部が受付けた値に基づいて、前記トリガ信号の供給タイミングを決定することを特徴とする、請求項１に記載の撮影装置。
請求項１または２に記載の撮影装置と、
前記画像信号制御部により形成された電子画像を表示する表示部と、
前記撮像素子、前記画像信号制御部、前記トリガ供給部、前記タイミング決定部、前記表示部の少なくともいずれかを冷却する冷却装置と、
電源と、
を一体に構成したことを特徴とする、可搬型の撮影システム。
請求項１または２に記載の撮影装置の使用方法であって、
前記撮影対象の繰り返しの変化は振動であり、
前記タイミング決定部は、前記トリガ信号の周期が、前記振動の基本振動または倍振動の周期と一致するか、微小差が存在するように決定されることを特徴とする、撮影装置の使用方法。