JP5531556B2 - 撮影データ処理装置及び撮影データ処理用プログラム - Google Patents

Description

本発明は、高速の現象を撮影するための高速ビデオカメラで撮影された画像データを管理したり保存したり、さらには別の装置に出力したりするための撮影データ処理装置、及びそうしたデータ処理をコンピュータ上で行うための撮影データ処理用プログラムに関する。

爆発、破壊、燃焼、衝突、放電、或いは物体の高速移動といった、通常のビデオカメラでは捉えることが困難であるような高速の現象を連続的に撮影するために、専用の高速ビデオカメラが開発されている。例えば非特許文献１、２に記載の高速ビデオカメラは、画素周辺記録型撮像素子（ＩＳ−ＣＣＤ＝image storage-CCD）と呼ばれる特殊な構造の撮像素子を搭載しており、最高で１００万フレーム／秒ものきわめて高速度の撮影が可能となっている。

本願発明者らが開発した非特許文献２に開示された高速ビデオカメラは、カメラ本体、制御用パーソナルコンピュータ（ＰＣ）、及び電源ユニットからシステムが構成されている。制御用ＰＣには、専用の制御・処理ソフトウエアが搭載され、このソフトウエア上で撮影周期等の撮影条件が設定できるようになっている。１回の撮影における連続撮影枚数は１００枚であり、１回の撮影が終了すると、カメラ本体から制御用ＰＣに１００枚分の画像データが順次転送され、この１００枚分の画像データは１個のファイルとして制御用ＰＣの記憶装置に保存される。通常、この際に、画像ファイルには撮影日時などからなるファイル名が自動的に付与される。例えば、撮影日時が２００９年６月１日９時１６分４３秒であれば、[20090601091643.dat]とのファイル名が自動的に付与され（但し、ファイル拡張子がdatである場合）、これによりファイルの特定が可能となる。

上記高速ビデオカメラは多くの場合、科学計測実験などにおいて使用される。こうした実験では、高速ビデオカメラを実験装置に組み込んで、実験条件を少しずつ変えながら同じ現象に対する撮影を何度も繰り返すことが多い。その場合、実験装置と高速ビデオカメラとの相対位置関係は変化しないため、画角やピントが同一である撮影データを多数収集することになり、それらが多数のファイルとして保存される。オペレータはそうしたファイル中の画像を確認し、例えば目的とする現象が所望のように生起している撮影データを見つけ、詳細な画像解析等を実行する。

上述のような作業を効率的に進めるためには、多数のファイルを画像によって特定できると便利である。例えばマイクロソフト社が提供するWindows XPやWindows Vista（登録商標）などの標準的なオペレーティングシステム（ＯＳ）では、エクスプローラの縮小版表示の機能などを利用すると、ＡＶＩ形式などの動画ファイルの第１フレームの画像がサムネイルとして表示されるようになっている。これを利用すれば、多数のファイルについて第１フレームのサムネイルを一覧表示することが可能である。

しかしながら、上記のように同じ現象を繰り返し撮影することで収集されたファイルでは、目的とする現象が未だ発生していない第１フレームの画像は殆ど同じものとなる。そのため、上記のような画像ファイル表示機能を利用して第１フレーム画像を一覧表示しても、この画像をオペレータが見てファイルを特定したり識別したりすることは非常に困難である。

近藤、ほか５名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、２００５年９月発行、第６２巻、第１・２号、ｐ．７９−８６ 近藤、ほか５名、「高速度ビデオカメラHPV-2と高速撮影アプリケーション」、島津評論、島津評論編集部、２００９年３月発行、第６５巻、第３・４号、ｐ．２１９−２２７

本発明は上記課題を解決するためになされたものであり、その目的とするところは、多数の撮影データの識別性を向上させることにより、撮影データの解析作業などの効率を改善することができる撮影データ処理装置及び撮影データ処理用プログラムを提供することである。

上記課題を解決するために成された第１発明は、所定フレーム数の連続撮影の開始タイミングや終了タイミングがトリガ信号に基づいて制御されるビデオカメラで収集された画像データを処理する撮影データ処理装置において、
a)前記トリガ信号の生成タイミングを基準として何フレーム先行した又は何フレーム遅れた画像を後記画像付加手段により複製する画像とするのかを、オペレータが予め入力設定するための入力設定手段と、
b)１回の撮影単位で得られる連続した所定フレーム数の画像データを含む１個のファイルを作成する画像ファイル作成手段と、
c)該画像ファイル作成手段によるファイル作成時に又はファイルが作成された後に、前記入力設定手段を用いた入力設定に応じて、前記ファイルに含まれる連続した所定フレーム数の画像の中でトリガ信号の生成タイミングに対応した画像、又はその生成タイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を複製し、連続した所定フレーム数の画像の前に先頭画像として付加する画像付加手段と、
を備え、当該装置で処理された画像データを含むファイルによるサムネイル表示を行う際に、前記画像付加手段により先頭画像として付加された特徴的な複製画像がサムネイル表示されるようにしたことを特徴としている。

また上記課題を解決するために成された第２発明は、所定フレーム数の連続撮影の開始タイミングや終了タイミングがトリガ信号に基づいて制御されるビデオカメラで収集された画像データを処理する撮影データ処理装置のためのプログラムであって、コンピュータを、
a)前記トリガ信号の生成タイミングを基準として何フレーム先行した又は何フレーム遅れた画像を後記画像付加部により複製する画像とするのかを、オペレータが予め入力設定するための入力設定部と、
b)１回の撮影単位で得られる連続した所定フレーム数の画像データを含む１個のファイルを作成する画像ファイル作成部、及び、
c)該画像ファイル作成部によるファイル作成時に又はファイルが作成された後に、前記入設定力部による入力設定に応じて、前記ファイルに含まれる連続した所定フレーム数の画像の中でトリガ信号の生成タイミングに対応した画像、又はその生成タイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を複製し、連続した所定フレーム数の画像の前に先頭画像として付加する画像付加部、
として機能させ、当該コンピュータで処理された画像データを含むファイルによるサムネイル表示を行う際に、前記画像付加部により先頭画像として付加された特徴的な複製画像がサムネイル表示されるようにしたことを特徴としている。

第１及び第２発明において、上記ビデオカメラとしては非特許文献１、２に開示された高速ビデオカメラを用いることができるが、これに限るものではない。

また、上記ビデオカメラにおいてトリガ信号は、例えば別のセンサの検出出力などにより目的とする現象の生起に同期して与えられるものであってもよいし、オペレータのボタン操作、マウスのクリック操作などによるものであってもよい。

例えば第２発明に係る撮影データ処理用プログラムをコンピュータ上で実行させることにより具現化される第１発明に係る撮影データ処理装置では、ビデオカメラから１回の撮影単位で得られる連続した所定フレーム数の画像データを受け取ると、画像ファイル作成手段が上記画像データを含む１個のファイルを作成する。このファイルが新たに作成される際に又は既に作成されたファイルに対し、画像付加手段は、そのファイルに含まれる連続した所定フレーム数の画像の中でトリガ信号の生成タイミングに対応した画像、又はその生成タイミングを基準として規定のフレーム数先行して若しくは遅れて得られた画像を抽出して複製画像を作成し、連続した所定フレーム数の画像の前にその複製画像を先頭画像として挿入する。

トリガ信号の生成タイミングに対応した画像を抽出するのか、或いは、トリガ信号の生成タイミングを基準として規定のフレーム数先行して若しくは遅れて得られた画像を抽出するのかの選択や、その規定のフレーム数の値などは、予めオペレータが入力設定手段により入力設定しておく。

一般に上記のような高速ビデオカメラで収集される撮影画像では、トリガ信号が与えられた時点付近の画像にその撮影を特徴付ける現象や物体などが現れていることが多い。第１発明に係る撮影データ処理装置及び第２発明に係る撮影データ処理用プログラムによれば、例えばWindows XPなどの標準的なＯＳに搭載された表示機能を利用して上記ファイルのサムネイル表示が行われたときに、連続画像の先頭画像ではなく特徴的な複製画像がサムネイル表示されるため、ファイルが多数存在する場合でもオペレータが各ファイルを特定することが容易になる。それによって、例えば目的とするファイルを迅速に見つけ出し、効率良く解析処理等を行うことができる。

また、トリガ信号の生成タイミングに対応した観察対象の現象が生起するような場合には、トリガ信号の生成タイミングに対応した画像をサムネイル表示することで、その現象が適切に生起しているか否かをサムネイルのみで評価することもできる。それにより、撮影の成功、失敗をオペレータが迅速に判断することができ、実験作業自体の効率化を図ることができる。

また第１発明に係る撮影データ処理装置では、１回の撮影単位における所定フレーム数の画像データを収集した際の撮影条件を含む撮影属性情報を、前記画像付加手段により先頭画像として付加される複製画像にスーパーインポーズする画像合成手段をさらに備える構成とするとよい。ここで撮影属性情報には、撮影速度、シャッタ速度、絞り条件などの撮影条件のほか、撮影実行日時、カメラ識別番号などの装置条件、実験者名など、様々な情報を加えることができる。

これにより、画像にスーパーインポーズされている情報を利用してファイルの特定が一層容易になる。また、例えば上記画像付加手段により複製画像が先頭画像として付加されたファイルとそうでないファイルとが混在しているような場合でも、サムネイルが一覧表示された状態で撮影属性情報がスーパーインポーズされているか否かによっていずれのファイルであるか、つまりはサムネイルがトリガ信号の生成タイミングに対応したものであるか否かを、オペレータが一目で判断することができる。

また、上記画像付加手段により実行する複製画像の付加処理は、上述したように標準的なＯＳに搭載されているファイル表示機能を利用する際に有用である。換言すれば、非特許文献１、２などに記載のようなシステムにおいて専用の制御・処理ソフトウエアが搭載されている制御用ＰＣ上では必ずしも必要ではなく、制御用ＰＣから別の汎用のコンピュータに画像ファイルを転送する際に上記のような処理を含むファイル変換処理がなされるとよい。

そこで、第１発明に係る撮影データ処理装置の一態様として、１回の撮影単位に対応した画像データを含むファイルの中の代表的な画像として、前記入力設定手段を用いたオペレータの設定に応じて、トリガ信号の生成タイミングに対応した画像、又はそのタイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を抽出して表示する画像抽出表示手段をさらに備え、当該装置から画像データを含むファイルを外部に出力する際に少なくとも前記画像付加手段により複製画像が先頭画像として付加されたファイルを出力する構成としてもよい。

本発明に係る撮影データ処理装置を含む高速撮影システムの一実施例の要部の構成図。 本実施例の高速撮影システムにおける撮影データ処理動作の一例の説明図。 本実施例の高速撮影システムにおける撮影データ処理動作の他の例の説明図。

本発明に係る撮影データ処理装置を含む高速撮影システムの一実施例について、添付図面を参照して説明する。図１はこの実施例の高速撮影システムの要部の構成図である。

図１に示すように、この高速撮影システム１は、被写体（図示しない）に対する高速撮影を行うビデオカメラ本体３と、ハードウエアとしては汎用パーソナルコンピュータ（ＰＣ）である制御用ＰＣ２と、を含む。ビデオカメラ本体３は、例えば非特許文献１、２等に記載のビデオカメラであり、画素周辺記録型撮像素子（ＩＳ−ＣＣＤ）３１を内蔵することにより１００万フレーム／秒もの高速度で１００フレームの連続撮影が可能である。このビデオカメラ本体３には外部トリガ信号が入力され、この外部トリガ信号に応じて撮影の開始や終了のタイミングが制御される。外部トリガ信号としては、例えば振動センサ、光センサ、音センサ等、撮影したい現象の生起を検知可能な各種のセンサの出力が用いられる。

キーボードやマウス等のポインティングデバイスである操作部２５、及びモニタ等の表示部２６が接続された制御用ＰＣ２は、ビデオカメラ本体３とＵＳＢ規格等の汎用インタフェイス規格に則ったケーブルで相互に接続される。この制御用ＰＣ２は、予めインストールされた専用の制御・処理ソフトウエアを実行することにより具現化される機能ブロックとして、再生表示処理部２１、出力用データ変換処理部２２、画像データ記憶部２３、撮影制御部２４などを備える。制御用ＰＣ２はＵＳＢ規格に則った又はＬＡＮなどのネットワークを介して外部のＰＣ４と接続され、ＰＣ４にインストールされたWindows XP等の標準的なＯＳ上で動作する動画再生ソフトウエア（例えばWindows Media Playerなど）で動画再生が可能であるほか、画像解析や計測解析が行えるようになっている。

ここで、ビデオカメラ本体３における撮影のタイミングとトリガ信号の発生タイミングとの関係について説明する。このビデオカメラ本体３では、外部トリガ信号の入力に対応したトリガポイントは、連続した１００フレームの中の第１フレームから第１００フレームまでの任意のフレームに設定が可能である。例えばトリガポイントを第１フレームに設定した場合には、外部トリガ信号が入力された時点から後の１００フレームの画像が取得される。即ち、外部トリガ信号の入力は撮影開始の指示である。一方、例えばトリガポイントを第１００フレームに設定した場合には、トリガ信号が入力された時点の直前の１００フレームの画像が取得される。即ち、外部トリガ信号の入力は撮影終了の指示である。また、トリガポイントを第Ｎ（Ｎ＝２〜９９）フレームに設定した場合には、外部トリガ信号が入力された時点以前のＮフレームとそれより後の（１００−Ｎ）フレームの画像が取得される。このときのトリガポイントと１００フレーム画像との関係を図２（ａ）に示す。

本実施例の高速撮影システムでは、撮影の実行に先立って、オペレータが操作部２５から様々な撮影条件を入力設定する。撮影条件としては例えば、撮影周期（又は撮影速度＝フレームレート）、露光時間、トリガポイント位置などがある。撮影制御部２４はこうして設定された撮影条件に基づく撮影制御パラメータをビデオカメラ本体３に転送する。これにより、ビデオカメラ本体３は設定された撮影条件で動作する。

外部トリガ信号の入力に伴って１回の撮影動作（１００フレームの連続撮影）が実行されると、ＩＳ−ＣＣＤ３１内部のメモリに１００フレーム分の画像信号が保持される。その撮影動作終了後に撮影制御部２４はビデオカメラ本体３に信号転送指示を送り、これに応じてビデオカメラ本体３から制御用ＰＣ２に、１００フレーム分の画像信号がＡ／Ｄ変換器３２で画素毎に１０ビットのデータに変換されて送出される。この１００フレームの画像を構成するデータは、制御用ＰＣ２においてハードディスクドライブなどの記憶装置である画像データ記憶部２３に格納される。

１回の撮影で得られた１００フレーム分の画像データは、例えば図２（ａ）、図３（ａ）などに示すようにフレーム番号の順に１つのファイルとして画像データ記憶部２３に格納される。その際、予め決められた規則に則ってファイル名が付与される。例えば撮影年月日時刻を示す数字がファイル名とされる。このときのファイルのデータ形式は専用の制御・管理ソフトウエアに対応した専用の形式であり、このソフトウエアで具現化される再生表示処理部２１を用いて再生表示が可能なものである。

上記画像データ記憶部２３に保存されるファイルのデータ形式は汎用的なものではないため、一般的な動画再生ソフトウエアでは再生することができない。そこで、制御用ＰＣ２から外部のＰＣ４に画像データを転送する際には、出力用データ変換処理部２２がファイルのデータ形式を例えばＡＶＩなどの汎用のデータ形式に変換する。また、その際に、次のような特徴的な処理を実行する。

即ち、出力用データ変換処理部２２は、１００フレームの連続画像の中でトリガポイントが付加されている画像を抽出し、この画像を複製する。図２の例では、第Ｎフレームにトリガポイントが設定されているから、この第Ｎフレームの画像を複製する。さらに、撮影条件等の撮影情報のテキストを複製画像上にスーパーインポーズする。そして、この複製画像を連続画像の先頭フレーム（第１フレーム）の前に挿入する（図２（ｂ）参照）。これにより、ファイルに含まれる画像は１フレーム分増加し、１０１フレームの画像となる。そして、この１０１フレームの画像データの先頭にヘッダを付加することにより、所定形式のファイルとする（図２（ｃ）参照）。

上記のようにして作成された標準形式の画像ファイルを外部のＰＣ４に出力し、ＰＣ４はこのファイルを受け取ると内部のハードディスクドライブ等の記憶装置に保存する。オペレータが操作部４２によりＰＣ４において標準ＯＳに搭載されたエクスプローラの縮小版表示モードで上記ファイルを表示する操作を行うと、保存されている上記ファイルの先頭フレームがサムネイルとして表示部４３の画面上に表示される。ファイルの先頭フレームは、撮影情報がスーパーインポーズされたトリガポイントに対応した画像の複製であり、この複製画像が表示部４３の画面上にこのファイルの画像を代表するサムネイルとして表示される。

同一の現象を例えば実験条件や撮影条件等を変えながら繰り返し撮影する場合、そうした多数回の撮影で得られた多数のファイルの先頭画像は殆ど同じである。したがって、１００フレーム連続画像のうちの第１フレームの画像をサムネイル表示したとしても、殆どのファイルでほぼ同じ画像となる可能性が高く、オペレータがこのサムネイルを見てファイルを特定するのはかなり困難である。これに対し、トリガポイントが設定された画像には観察対象である現象や物体などが現れている可能性が高く、それは撮影条件や実験条件によって異なる可能性が高い。上記実施例の高速撮影システムによれば、上述したようにトリガポイントに対応した画像がサムネイル表示されるため、しかも撮影条件等もその画像上に表示されるため、オペレータが各ファイルの特徴を容易に把握することができ、例えば目的とするファイルを見つけ出したり、或いは適切な現象が生起していない撮影失敗のファイルを特定して削除したりすることが簡単に行える。

図２の例はトリガポイントが設定された画像自体を複製して先頭画像として挿入するようにしていたが、観察目的の現象の種類によっては、トリガ信号の生成タイミングよりも少し先行して現象が起こったり、逆にトリガ信号の生成タイミングよりも少し遅れて現象が起こったりすることがある。そこで、トリガポイントの設定位置から所定フレームだけ時間的に先行した画像や時間的に遅れた画像を複製して連続画像の先頭の前に挿入することができるようにするとよい。例えば図３は、トリガポイントよりも３フレーム遅れた画像を複製し、その複製画像に撮影情報をスーパーインポーズして連続画像の先頭の前に挿入する場合の例である。このように、トリガポイントの位置を基準として、複製する画像の位置を操作部２５から設定できるようにしておくと便利である。

また、上記実施例では制御用ＰＣ２から外部のＰＣ４に画像ファイルを送出する際に、出力用データ変換処理部２２によりトリガポイントに対応した画像の複製や先頭への挿入を行うようにしていたが、ビデオカメラ本体３から送られてきた画像データを画像データ記憶部２３に保存する際に、同様の処理を実行してもよい。これにより、制御用ＰＣ２に搭載されている標準ＯＳのファイル表示機能を用いても、ＰＣ４で行ったのと同様のサムネイル表示を伴うファイル表示を行うことが可能である。

また、上記実施例は本発明の一例であり、本発明の趣旨の範囲で適宜修正、変形、追加を行っても本願特許請求の範囲に包含されることは当然である。

１…高速撮影システム
２…制御用ＰＣ
２１…再生表示処理部
２２…出力用データ変換処理部
２３…画像データ記憶部
２４…撮影制御部
２５…操作部
２６…表示部
３…ビデオカメラ本体
３１…ＩＳ−ＣＣＤ
３２…Ａ／Ｄ変換器
４…ＰＣ

Claims (6)

1. 所定フレーム数の連続撮影の開始タイミングや終了タイミングがトリガ信号に基づいて制御されるビデオカメラで収集された画像データを処理する撮影データ処理装置において、
   a)前記トリガ信号の生成タイミングを基準として何フレーム先行した又は何フレーム遅れた画像を後記画像付加手段により複製する画像とするのかを、オペレータが予め入力設定するための入力設定手段と、
   b)１回の撮影単位で得られる連続した所定フレーム数の画像データを含む１個のファイルを作成する画像ファイル作成手段と、
   c)該画像ファイル作成手段によるファイル作成時に又はファイルが作成された後に、前記入力設定手段を用いた入力設定に応じて、前記ファイルに含まれる連続した所定フレーム数の画像の中でトリガ信号の生成タイミングに対応した画像、又はその生成タイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を複製し、連続した所定フレーム数の画像の前に先頭画像として付加する画像付加手段と、
   を備え、当該装置で処理された画像データを含むファイルによるサムネイル表示を行う際に、前記画像付加手段により先頭画像として付加された特徴的な複製画像がサムネイル表示されるようにしたことを特徴とする撮影データ処理装置。
   
2. 請求項１に記載の撮影データ処理装置であって、
   １回の撮影単位における所定フレーム数の画像データを収集した際の撮影条件を含む撮影属性情報を、前記画像付加手段により先頭画像として付加される複製画像にスーパーインポーズする画像合成手段をさらに備えることを特徴とする撮像データ処理装置。
3. 請求項１又は２に記載の撮影データ処理装置であって、
   １回の撮影単位に対応した画像データを含むファイルの中の代表的な画像として、前記入力設定手段を用いた入力設定に応じて、トリガ信号の生成タイミングに対応した画像、又はそのタイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を抽出して表示する画像抽出表示手段をさらに備え、当該装置から画像データを含むファイルを外部に出力する際に少なくとも前記画像付加手段により複製画像が先頭画像として付加されたファイルを出力することを特徴とする撮影データ処理装置。
4. 所定フレーム数の連続撮影の開始タイミングや終了タイミングがトリガ信号に基づいて制御されるビデオカメラで収集された画像データを処理する撮影データ処理装置のためのプログラムであって、コンピュータを、
   a)前記トリガ信号の生成タイミングを基準として何フレーム先行した又は何フレーム遅れた画像を後記画像付加部により複製する画像とするのかを、オペレータが予め入力設定するための入力設定部と、
   b)１回の撮影単位で得られる連続した所定フレーム数の画像データを含む１個のファイルを作成する画像ファイル作成部、及び、
   c)該画像ファイル作成部によるファイル作成時に又はファイルが作成された後に、前記入設定力部による入力設定に応じて、前記ファイルに含まれる連続した所定フレーム数の画像の中でトリガ信号の生成タイミングに対応した画像、又はその生成タイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を複製し、連続した所定フレーム数の画像の前に先頭画像として付加する画像付加部、
   として機能させ、当該コンピュータで処理された画像データを含むファイルによるサムネイル表示を行う際に、前記画像付加部により先頭画像として付加された特徴的な複製画像がサムネイル表示されるようにしたことを特徴とする撮影データ処理用プログラム。
   
5. 請求項４に記載の撮影データ処理用プログラムであって、
   １回の撮影単位における所定フレーム数の画像データを収集した際の撮影条件を含む撮影属性情報を、前記画像付加部により先頭画像として付加される複製画像にスーパーインポーズする画像合成部としての機能をさらに備えることを特徴とする撮像データ処理用プログラム。
6. 請求項４又は５に記載の撮影データ処理用プログラムであって、
   １回の撮影単位に対応した画像データを含むファイルの中の代表的な画像として、前記入力設定部による入力設定に応じて、トリガ信号の生成タイミングに対応した画像、又はそのタイミングを基準として指定されたフレーム数先行して若しくは遅れて得られた画像を抽出して表示する画像抽出表示部の機能をさらに備え、当該装置から画像データを含むファイルを外部に出力する際に少なくとも前記画像付加部により複製画像が先頭画像として付加されたファイルを出力することを特徴とする撮影データ処理用プログラム。

Images