JP4360399B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体に関し、例えば記録手段を一体化したビデオカメラに適用することができる。本発明は、画像認識結果に基づいて、特定パターンの画像が特定の順序で検出されるタイミングを基準にして、メモリへの撮像結果の高速度の書き込みを終了し、このメモリに書き込んだ撮像結果を読み出して記録媒体に記録することにより、所望するシーンを確実にスローモーション撮影することができるようにする。

従来、特開平９−８３９５２号公報には、大容量のメモリを用いて撮像結果を遅延させて記録媒体に記録する方法が提案されている。この特開平９−８３９５２号公報に開示の手法によれば、ユーザーが撮影の開始を指示した時点より一定時間だけ逆上った時点の映像から記録することができ、貴重な撮影機会を逃さないようにすることができる。

またビデオカメラでは、近年、メモリを用いて撮像結果のフィールド周波数を低減し、スローモーションの映像を記録するものが提供されている。すなわちこのビデオカメラは、通常のビデオ信号のフィールド周波数５０〔ｆｐｓ（フィールド／秒）〕又は６０〔ｆｐｓ〕より高速度の、例えばフィールド周波数２４０〔ｆｐｓ〕で撮像素子から撮像結果を出力し、順次、メモリに格納する。またこのビデオカメラは、このメモリに格納した撮像結果を通常のビデオ信号のフィールド周波数で読み出して記録媒体に記録する。なおここでメモリは、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成され、記録媒体は、磁気ディスク、光ディスク、ハードディスク装置等により構成される。以下、このようにメモリを用いて撮像結果のフィールド周波数を低減し、スローモーションの映像を記録する処理をスローモーション撮影と呼ぶ。このビデオカメラでは、操作子の操作時点を基準にして、スローモーション撮影の期間を決定している。

しかしながらスローモーション撮影では、例えばゴルフのスイング、テニスのスイング、野球におけるバットスイング等を撮影する場合もあり、このような場合に、操作子の操作時点を基準にしてスローモーション撮影の期間を決定していたのでは、必ずしも的確に所望するシーンを撮影できない問題がある。すなわちこの場合、操作子の操作が速すぎたり、遅すぎたりする場合があり、無駄な部分を撮影したり、肝心な部分を撮影できなかったりする。

この問題を解決する１つの方法として、例えばボールの打撃音等を基準にする方法が考えられる。しかしながらこの方法では、例えばゴルフ練習場でゴルフのスイングを撮影する場合のように、同じような音が多数検出されるような場所では、他人の打撃音を基準にして撮影を開始する場合が予測される。従ってこの方法でも、的確に所望するシーンをスローモーション撮影できない問題がある。

また例えば特開平９−５５９３１号公報に開示されているように、移動物体の検出時点を基準にする方法も考えられる。この方法の場合、例えば割れる風船、ミルククラウン等の、静止した場面から撮影を開始するような場合には、確実に所望するシーンを撮影することができる。しかしながらこの方法の場合、例えばスポーツの特定シーンのように、元々動きのある映像の中から特定の一場面を記録する場合には、確実に所望するシーンをスローモーション撮影できない問題がある。
特開平９−８３９５２号公報 特開平９−５５９３１号公報

本発明は以上の点を考慮してなされたもので、所望するシーンを確実にスローモーション撮影することができる撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、撮像装置に適用して、撮像結果を出力する撮像部と、前記撮像部から出力される撮像結果を格納して出力するメモリと、前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を記録する記録媒体と、前記撮像結果を画像認識して画像認識結果を出力する画像認識部と、各部の動作を制御する制御部とを備え、前記制御部は、標準動作モードにおいて、第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、前記記録媒体に記録し、スローモーション撮影モードにおいて、前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納し、前記画像認識結果に基づいて、前記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して、前記記録媒体に記録する。

また請求項８の発明は、撮像結果を出力する撮像部と、前記撮像部から出力される撮像結果を格納して出力するメモリと、前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を記録する記録媒体と、前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法に適用して、標準動作モードにおいて、第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、前記記録媒体に記録する標準動作モードの記録ステップと、スローモーション撮影モードにおいて、前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納するスローモーション撮影モードの書き込みステップと、前記スローモーション撮影モードにおいて、前記画像認識結果に基づいて、前記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して、前記記録媒体に記録するスローモーション撮影モードの記録ステップとを備えるようにする。

また請求項９の発明は、撮像結果を出力する撮像部と、前記撮像部から出力される撮像結果を格納して出力するメモリと、前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を記録する記録媒体と、前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法のプログラムに適用して、標準動作モードにおいて、第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、前記記録媒体に記録する標準動作モードの記録ステップと、スローモーション撮影モードにおいて、前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納するスローモーション撮影モードの書き込みステップと、前記スローモーション撮影モードにおいて、前記画像認識結果に基づいて、前記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して、前記記録媒体に記録するスローモーション撮影モードの記録ステップとを備えるようにする。

また請求項１０の発明は、撮像結果を出力する撮像部と、前記撮像部から出力される撮像結果を格納して出力するメモリと、前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を記録する記録媒体と、前記撮像結果を画像認識して画像認識結果を出力する画像認識部とを備える撮像装置の制御方法のプログラムを記録した記録媒体に適用して、前記制御方法のプログラムは、標準動作モードにおいて、第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、前記記録媒体に記録する標準動作モードの記録ステップと、スローモーション撮影モードにおいて、前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納するスローモーション撮影モードの書き込みステップと、前記スローモーション撮影モードにおいて、前記画像認識結果に基づいて、前記撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して、前記記録媒体に記録するスローモーション撮影モードの記録ステップとを備えるようにする。

請求項１、請求項８、請求項９、又は請求項１０の構成によれば、画像認識結果に基づいて、撮像結果で特定パターンが所定の順序で検出されるタイミングを基準にして、スローモーション撮影する期間が設定されることになる。従って、いちいち操作子を操作する場合、音をトリガにする場合等に比して、確実に所望するシーンをスローモーション撮影することができる。

本発明によれば、所望するシーンを確実にスローモーション撮影することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１の撮像装置を示すブロック図である。この撮像装置１は、ユーザーの操作により、通常の撮影時の動作モードである標準動作モードと、スローモーション撮影モードとで、動作モードを切り換える。この撮像装置１は、このスローモーション撮影モードにおいて、メモリ２を用いて撮像結果のフィールド周波数を変換し、スローモーションの映像を映像記録媒体３に記録する。

ここでこの撮像装置１において、イメージセンサ４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）型の撮像素子等の固体撮像素子である。イメージセンサ４は、図示しない光学系によって撮像面に形成された光学像を光電変換処理し、撮像結果である撮像信号を出力する。なおこの実施例において、イメージセンサ４は、ＣＤＳ（Correlated Double Sampling）部を有し、このＣＤＳ部で撮像信号を相関二重サンプリング処理して出力する。

またイメージセンサ４は、制御部５の制御により動作を切り換え、標準動作モードでは、ＮＴＳＣ方式の仕様であるフィールド周波数６０〔ｆｐｓ〕で撮像結果を出力し、スローモーション撮影モードでは、この標準レートより高速度のフィールド周波数で撮像結果を出力する。この実施例では、この高速度のフィールド周波数が標準動作モードにおけるフィールド周波数の４倍のフィールド周波数２４０〔ｆｐｓ〕である。なおイメージセンサ４は、１ライン分の撮像信号を出力する際に、水平方向に隣接して配置された同色フォトセンサの出力信号を加算して出力する機能を有する。イメージセンサ４は、スローモーション撮影モードでは、この機能を利用して画素間引きして撮像信号を出力し、撮像信号におけるレートの増大を防止する。なお後段の処理部が十分な処理速度を有している場合には、この間引きの処理を省略してもよく、さらには加算する画素数を制御して任意のレートで撮像信号を出力してもよい。

ＡＦＥ（Analog Front End）６は、イメージセンサ４から出力される撮像信号をＡＧＣ（Automatic Gain Control）処理して撮像信号の利得を制御した後、アナログディジタル変換処理して画像データＤ１を出力する。

カメラ信号処理部７は、ＡＦＥ６から出力される画像データをカメラ信号処理して出力する。なおここでカメラ信号処理は、例えばホワイトバランス調整処理、色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理等である。

解像度変換処理部８は、標準動作モードにおいて、カメラ信号処理部７で処理された画像データＤ１を入力し、この画像データＤ１を記録用に動画像記録処理部１０に出力する。また解像度変換処理部８は、この画像データＤ１の解像度を表示部１２における表示に適した解像度に変換し、モニタ用に表示処理部９に出力する。

また解像度変換処理部８は、スローモーション撮影モードにおいて、カメラ信号処理部７で処理されたフィールド周波数２４０〔ｆｐｓ〕の画像データＤ１のフィールドを間引きし、モニタ用にフィールド周波数６０〔ｆｐｓ〕で表示処理部９に出力する。またこのカメラ信号処理部７で処理されたフィールド周波数２４０〔ｆｐｓ〕の画像データＤ１のサイズを調整し、メモリ２への記録用に画像圧縮伸長部１１に出力する。なおこのサイズ調整の処理は、画像圧縮伸長部１１、メモリ２の仕様に対応するように画像データＤ１のフォーマットを変更する処理であり、画像圧縮伸長部１１、メモリ２が十分な処理能力を有している場合には、省略することができる。

また解像度変換処理部８は、スローモーション撮影モードにおいて、制御部５の制御により動作を切り換え、カメラ信号処理部７で処理されたフィールド周波数２４０〔ｆｐｓ〕の画像データＤ１に代えて、画像圧縮伸長部１１から出力されるフィールド周波数６０〔ｆｐｓ〕の画像データを入力する。解像度変換処理部８は、この画像データを記録用に動画像記録処理部１０に出力する。またこの解像度変換処理部８は、この画像データの解像度を表示部１２における表示に適した解像度に変換し、モニタ用に表示処理部９に出力する。

表示部１２は、例えばＬＣＤ（Liquid Crystal Display）で構成される。表示処理部９は、解像度変換処理部８から出力されるモニタ用の画像データにより表示部１２を駆動し、表示部１２に撮像結果のモニタ画像を表示する。また制御部５の制御により動作を切り換え、映像記録媒体３に記録された動画像をモニタする場合には、動画像記録処理部１０から出力される画像データにより表示部１２を駆動し、映像記録媒体３に記録された動画像を表示部１２で表示する。なお表示部１２で画像データを表示する代わりに、外部出力するようにしてもよい。

動画像記録処理部１０は、映像記録媒体３への記録時、解像度変換処理部８から出力される記録用の画像データを、例えばＭＰＥＧ（Moving Picture Experts Group）等の動画像の符号化方式でデータ圧縮処理し、映像記録媒体３に記録する。また制御部５の制御により動作を切り換え、映像記録媒体３に記録された動画像を再生してデータ伸長し、画像データを表示処理部９に出力する。映像記録媒体３は、例えばハードディスク装置、光ディスク装置、メモリカード等の各種記録媒体である。

画像圧縮伸長部１１は、スローモーション撮影モードにおいて、メモリ２への記録用に解像度変換処理部８から出力される画像データを、例えば（Joint Photographic Experts Group）等の静止画像の符号化方式でデータ圧縮処理する。またデータ圧縮して得られる符号化データをメモリ制御部１３に出力する。また画像圧縮伸長部１１は、スローモーション撮影モードにおいて、制御部５の制御により動作を切り換え、メモリ制御部１３から出力される符号化データをデータ伸長し、画像データを復号して解像度変換処理部８に出力する。

メモリ制御部１３は、スローモーション撮影モードにおいて、画像圧縮伸長部１１から出力されるフィールド周波数２４０〔ｆｐｓ〕の符号化データをメモリ２に順次循環的に記録する。なおここでメモリ２は、例えばＳＤＲＡＭにより構成される。またメモリ制御部１３は、スローモーション撮影モードにおいて、制御部５の制御により動作を切り換え、メモリ２に記録された符号化データを順次読み出して画像圧縮伸長部１１に出力する。このメモリ２から符号化データを読み出す際に、メモリ制御部１３は、記録時の１／４の速度であるフィールド周波数６０〔ｆｐｓ〕で符号化データを読み出して出力する。

画像認識処理部１４は、スローモーション撮影モードにおいて、パターンマッチングの手法を適用してＡＦＥ６から出力される画像データを画像認識処理し、制御部５で指示された特定パターンを撮像結果から検出する。画像認識処理部１４は、この検出結果を制御部５に通知する。

ここで図３は、この画像認識処理部１４の詳細構成を示すブロック図である。画像認識処理部１４は、ＡＦＥ６から出力される画像データを前処理部１４Ａに入力し、ここでノイズ除去処理、画像サイズの正規化処理、特徴抽出処理等の前処理を実行する。また続く画像バッファ１４Ｂに画像データを一時格納して保持し、マッチング回路１４Ｃでパターンマッチングの処理を実行する。

ここでマッチング回路１４Ｃは、２点間の画素差分を用いたブースティングの手法により、メモリ１４Ｄに格納された辞書を用いてパターンマッチング処理を実行する。ここでブースティングとは、ランダムよりも少しだけ性能のいい弱い判別器を組み合わせて、有効な判別器（強い判別器）を構成する統計的な画像識別手法であり、数学的なフレームワークとして ada boost法が一般に知られている。画像認識処理部１４は、スローモーション撮影モードにおいて、この ada boost法により制御部５で指示された画像パターンを各フィールドで検出し、この画像パターンの有無、この画像パターンの位置を制御部５に通知する。

このため画像認識処理部１４は、図４に示すように、この特定の画像パターンの画像差分テーブルがメモリ１４Ｄに登録される。なおここで画像差分テーブルは、辞書とも呼ばれる。画像差分テーブルは、図５に示すように、検出対象である特定の画像パターン上の２点の画素値と、この２点の画素値の差分値を基準にして設定された判定基準用のしきい値とが登録される。なおここで図５（Ａ）及び（Ｂ）は、検出対象の画像パターンがそれぞれ丸形状及び矩形形状である場合を示す。この撮像装置１は、スローモーション撮影モードにおいて、複数種類の撮影モードから所望する撮影モードを選択できるように構成されており、撮影モード毎に特定の画像パターンが設定される。従ってメモリ１４Ｄには、撮影モード毎に画像差分テーブルが設けられる。なお実用上十分な精度を確保することができる場合には、複数の撮影モードで画像差分テーブルを共用化してもよい。

マッチング回路１４Ｃは、画像バッファ１４Ｂに一時保持された画像データの画像上に、パターンマッチング用の領域を設定し、このパターンマッチング用の領域を例えばラスタ走査の順序で順次移動させる。マッチング回路１４Ｃは、特徴点検出で検出された特徴点を基準にして、走査位置毎に、パターンマッチング用の領域から画像差分テーブルの記録に対応する座標間の画素差分値を計算する。またこの計算した画素差分値を画像差分テーブルのしきい値で判定し、検出対象の画像パターンが当該パターンマッチング用の領域に存在するか否かの弱仮説を設定する。なおここでマッチング回路１４Ｃは、検出対象の画像パターンが存在すると考えられる場合には、弱仮説を値１に設定し、存在しないと考えられる場合には、弱仮説を値−１に設定する。

マッチング回路１４Ｃは、走査位置毎に、この弱仮説の検出を複数回繰り返して累積加算し、累積加算値が一定のしきい値を越えている場合には、当該パターンマッチング用の領域毎に、検出対象の画像パターンが存在すると判定する。

なおこの実施例において、マッチング回路１４Ｃは、画像データＤ１のうちの輝度信号のみを用いて一連の処理を実行するが、例えば色情報を使った色検出処理と組み合わせて特定の画像パターンを検出してもよく、さらには他の複数の検出処理を種々に組み合わせて処理を実行するようにしてもよい。またブースティングの手法に代えて、遺伝的アルゴリズム（ＧＡ：Genetic Algorithms）等を用いるようにしてもよい。また動いている物体のみを認識する場合には、動画像記録処理部１０で検出される動きベクトルを利用するようにしてもよい。なおこのように他の手法と組み合わせてパターン認識処理すれば、処理速度を高速度化して精度を向上することができる。

制御部５は、この撮像装置１全体の動作を制御する制御手段であり、図示しないメモリに記録されたプログラムを実行し、この撮像装置１の各部の動作を制御する。この実施例において、このプログラムは、この撮像装置１に事前にインストールされて提供されるものの、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供してもよい。また画像認識処理部１４における画像認識処理をこの制御部５で併せて実行するようにしてもよい。

すなわち制御部５は、標準動作モードでは、フィールド周波数６０〔ｆｐｓ〕で撮像結果を取得するようにイメージセンサ４の動作を制御し、またこのフィールド周波数６０〔ｆｐｓ〕の撮像結果を表示部１２で表示するように、ＡＦＥ６、カメラ信号処理部７、解像度変換処理部８、表示処理部９の動作を制御する。従ってこの場合、この撮像装置１では、フィールド周波数６０〔ｆｐｓ〕の撮像結果が順次、ＡＦＥ６、カメラ信号処理部７、解像度変換処理部８、表示処理部９で処理されて表示部１２で表示される。また制御部５は、ユーザーが記録開始のトリガスイッチを操作すると、動画像記録処理部１０に動作の開始を指示し、表示部１２でモニタ画像を表示しながら、解像度変換処理部８から出力されるフィールド周波数６０〔ｆｐｓ〕の画像データを動画像記録処理部１０で順次データ圧縮して映像記録媒体３に記録する。またこの状態でユーザーが再びトリガスイッチを操作すると、動画像記録処理部１０に動作の停止を指示し、画像データの記録を停止する。

またユーザーが、映像記録媒体３の再生を指示すると、制御部５は、動画像記録処理部１０に映像記録媒体３の再生を指示し、映像記録媒体３に記録された符号化データを動画像記録処理部１０で順次データ伸長して表示処理部９に出力し、この画像データを表示部１２で表示する。

これに対してユーザーがスローモーション撮影モードを指示すると、制御部５は、スローモーション撮影モードへの動作モードの切り換えを所定のタイミングで各部に指示し、イメージセンサ４でフィールド周波数２４０〔ｆｐｓ〕の撮像結果を取得する。また図２との対比により図６に示すように、このフィールド周波数２４０〔ｆｐｓ〕の撮像結果を解像度変換処理部８でフィールド周波数６０〔ｆｐｓ〕の画像データに変換して表示部１２で表示しながら、フィールド周波数２４０〔ｆｐｓ〕の撮像結果をメモリ２に順次循環的に記録する。

また制御部５は、所定のタイミングで各部の動作を切り換え、図６との対比により図７に示すように、その時点でメモリ２に格納されているフィールド周波数２４０〔ｆｐｓ〕の撮像結果を順次フィールド周波数６０〔ｆｐｓ〕で読み出す。またこの読み出したデータを画像圧縮伸長部１１で元の画像データにデータ伸長し、この画像データを表示部１２で表示しながら、動画像記録処理部１０で映像記録媒体３に記録する。

制御部５は、このスローモーション撮影モードにおいて、メモリ２への画像データの書き込みを終了するタイミングを、画像認識処理部１４における画像パターンの検出結果を基準にして設定する。より具体的に、制御部５は、画像認識処理部１４における画像パターンの検出結果に基づいて、所定の特定パターンが所定の順序で検出されるタイミングを検出し、この検出したタイミングに基づいて、メモリ２への画像データの書き込みを終了するタイミングを決定する。

ここでこの実施例において、この特定パターンは、画像認識処理部１４における画像認識対象が、それぞれ撮像結果の特定の領域に存在する画像パターンであり、スローモーション撮影モードにおける撮影モード毎にそれぞれ複数のパターンが設けられる。

すなわち撮影モードがゴルフスイングモードの場合、画像認識処理部１４における画像認識対象がボールに設定され、図８に示すように、１フィールドの画面を水平方向及び垂直方向に分割して形成される複数領域において、水平方向の中央、最も下側の領域Ａにボールが存在するパターン（図８（Ａ）及び（Ｂ））が、これら特定パターンのうちの第１及び第２のパターンに設定される。また水平方向、最も右側の領域Ｂ又は最も左側の領域Ｃにボールが存在するパターン（図８（Ｃ））が、これら特定パターンのうちの第３のパターンに設定される。なおここでこの図８の例は、１画面の水平方向及び垂直方向の分割数がそれぞれ５及び３に設定された場合である。

ここでこの図８の例では、ボールをティーアップしてアドレスした後、ボールを打ち出すと、これら第１〜第３のパターンが順次検出されることになる。この場合、ボールを打ち出した状態である第３のパターンが検出されたフィールドから、所定フィールド数だけ逆上ったフィールドまでが、ゴルフスイングを撮影したフィールドであり、ユーザーが所望するシーンであると判断される。

そこで制御部５は、ゴルフスイングモードでは、ユーザーがスローモーション撮影モードを指示すると、メモリ２への撮像結果の書き込み開始を指示する。またボールを認識対象に設定して画像認識処理部１４に画像認識処理を指示し、画像認識処理結果に基づいて、順次、第１〜第３のパターンを検出する。また第３のパターンが検出されると、その後、所定の時間Ｔだけ経過した時点で、メモリ２への書き込みを終了し、その時点でメモリ２に格納されている撮像結果を読み出して映像記録媒体３に格納する。なおここでこの所定の期間Ｔは、撮影モードのユーザー設定時、ユーザーにより設定される時間である。

これに対して撮影モードが野球スイングモードの場合、画像認識処理部１４における画像認識対象がボールに設定される。また図９に示すように、水平方向、最も右側の領域Ｂにボールが存在するパターン（図９（Ａ））が、これら特定パターンのうちの第１のパターンに設定される。また水平方向、中央の領域Ｄ及び水平方向、最も右側の領域Ｂにボールが存在するパターン（図９（Ｂ）及び（Ｃ））が、これら特定パターンのうちの第２及び第３のパターンに設定される。

ここでこの図９の例では、投手が投げたボールが画面に進入した時点で第１のパターンが検出され、打者がボールを打つ瞬間に、第２のパターンが検出され、この打者が打ったボールが画面から飛び出す瞬間に、第３のパターンが検出されることになる。この場合、第３のパターンが検出されたフィールドから、所定フィールド数だけ逆上ったフィールドまでが、ユーザーの所望するシーンであると判断される。

そこで制御部５は、この野球スイングモードでも、ユーザーがスローモーション撮影モードを指示すると、メモリ２への撮像結果の書き込み開始を指示する。またボールを認識対象に設定して画像認識処理部１４に画像認識処理を指示し、画像認識処理結果に基づいて、順次、第１〜第３のパターンを検出する。また第３のパターンが検出されると、その後、所定の時間Ｔだけ経過した時点で、メモリ２への書き込みを終了し、その時点でメモリ２に格納されている撮像結果を読み出して映像記録媒体３に格納する。

また制御部５は、他の撮影モードでも、同様に、スローモーション撮影モードの指示により、メモリ２への撮像結果の書き込み開始を指示し、それぞれ撮影モードに対応する画像認識処理を画像認識処理部１４に指示する。また画像認識処理部１４による認識結果に基づいて、順次、第１、第２、第３のパターンを検出し、第３のパターンを検出した時点から所定時間Ｔだけ経過して、メモリ２への書き込みを終了し、その時点でメモリ２に格納されている撮像結果を読み出して映像記録媒体３に格納する。

図１は、このスローモーション撮影モードに関する制御部５の処理手順を示すフローチャートであり、図１０は、この図１との対比により、撮像装置１の各部の動作を示すタイムチャートである。なおこの図１０では、図２において各部に付した符号により対応する部位の動作を示し、２Ｗ及び２Ｒは、それぞれメモリ２の書き込み動作及び読み出し動作を示す。

制御部５は、標準動作モードにおいて、フィールド周波数６０〔ｆｐｓ〕で撮像結果を取得するようにイメージセンサ４の動作を制御し（図１０（Ａ））、またこのフィールド周波数６０〔ｆｐｓ〕の撮像結果を表示部１２で表示しながら（図１０（Ｆ）及び（Ｇ））、映像記録媒体３に記録する（図１０（Ｅ））。なお図１０では、時点ｔ１までの期間が、この標準動作モードによる動作期間である。

この状態で、スローモーション撮影モードの開始をユーザーが指示すると、図１の処理手順を開始し、撮影モードに応じた画像認識処理を画像認識処理部１４に指示し、またメモリ２へのフィールド周波数２４０〔ｆｐｓ〕の撮像結果の記録開始を各部に指示する。従ってこの場合、撮像装置１では、イメージセンサ４からフィールド周波数２４０〔ｆｐｓ〕の撮像結果を取得してメモリ２に順次循環的に格納しながら、フィールドを間引きしたフィールド周波数６０〔ｆｐｓ〕の撮像結果が表示部１２から提供される（図１０（Ａ）〜（Ｇ））。

制御部５は、このように各部の動作を設定すると、ステップＳＰ１からステップＳＰ２に移り、画像認識処理部１４の画像認識結果に基づいて、第１のパターンが検出されたか否か判断する。制御部５は、このステップＳＰ２で否定結果が得られると、ステップＳＰ２を繰り返し、第１のパターンが検出されるのを待機する。

また第１のパターンが検出されると、制御部５は、ステップＳＰ２からステップＳＰ３に移り、ここで続く画像認識処理部１４の画像認識結果に基づいて、第２のパターンが検出されたか否か判断する。このステップＳＰ３で否定結果が得られると、制御部５は、ステップＳＰ３を繰り返し、第２のパターンが検出されるのを待機する。

また第２のパターンが検出されると、制御部５は、ステップＳＰ３からステップＳＰ４に移り、ここで続く画像認識処理部１４の画像認識結果に基づいて、第３のパターンが検出されたか否か判断する。このステップＳＰ４で否定結果が得られると、制御部５は、ステップＳＰ４を繰り返し、第３のパターンが検出されるのを待機する。

制御部５は、ステップＳＰ４で第３のパターンが検出されると、ステップＳＰ４からステップＳＰ５に移り、ユーザーが設定した期間Ｔの経過を待機した後、メモリ２への書き込みを終了する。また続くステップＳＰ６において、その時点でメモリ２に格納されている撮像結果を読み出して映像記録媒体３に格納する。なお図１０では、時点ｔ１から時点ｔ２までの期間が、このスローモーション撮影モードにおけるメモリ２への書き込みの期間であり、続く時点ｔ２から時点ｔ３までの期間が、メモリ２からの読み出しの期間である。

制御部５は、メモリ２に格納した撮像結果の読み出しを完了すると、ステップＳＰ６からステップＳＰ７に移り、ユーザーがスローモーション撮影の繰り返しを指示しているか否か判断し、ここで肯定結果が得られると、フィールド周波数２４０〔ｆｐｓ〕の撮像結果のメモリ２への記録開始を指示した後、ステップＳＰ２に戻る。これに対してユーザーがスローモーション撮影の繰り返しを指示していない場合、ステップＳＰ７からステップＳＰ８に移ってこの処理手順を終了する。

なお制御部５は、メモリ２に撮像結果を書き込んでいる期間の間、タリーランプを点灯し、及び又は表示部１２に所定のマークを表示し、ユーザーが撮影状況を把握できるようにする。

（２）実施例の動作
以上の構成において、この撮像装置１では（図２）、標準動作モードに設定されると、イメージセンサ４において、フィールド周波数６０〔ｆｐｓ〕の撮像結果が取得され、この撮像結果がＡＦＥ６、カメラ信号処理部７、解像度変換処理部８、表示処理部９で順次処理されて表示部１２で表示される。また解像度変換処理部８から出力される画像データが動画像記録処理部１０でデータ圧縮処理された後、映像記録媒体３に記録される。

またスローモーション撮影モードに動作モードが切り換えられると、イメージセンサ４において、フィールド周波数２４０〔ｆｐｓ〕の撮像結果が取得され、このフィールド周波数２４０〔ｆｐｓ〕の撮像結果がＡＦＥ６、カメラ信号処理部７、画像圧縮伸長部１１、メモリ制御部１３を順次介してメモリ２に順次循環的に格納される（図６）。

撮像装置１では、所定のタイミングで、このフィールド周波数２４０〔ｆｐｓ〕の撮像結果のメモリ２への格納が終了し、その時点でメモリ２に格納されている撮像結果が、書き込み時より低速度で順次読み出される。また読み出された撮像結果が、順次、画像圧縮伸長部１１、解像度変換処理部８、動画像記録処理部１０で処理されて映像記録媒体３に記録される（図７）。

従ってこの撮像装置１では、スローモーション撮影モードに動作モードを切り換えて、所望の被写体をスローモーション撮影した映像を映像記録媒体３に記録することができる。

しかしながら例えば操作子の操作時点を基準にして、メモリ２への撮像結果の書き込みを終了したのでは、操作子の操作が速すぎたり、遅すぎたりする場合もあり、必ずしも的確に所望するシーンを撮影できない場合が発生する。また音声をトリガにした場合には、誤ったタイミングをトリガにする場合も予測され、この場合も的確に所望するシーンを撮影できなくなる。

そこでこの撮像装置１では、スローモーション撮影モードに設定されると、画像認識処理部１４における画像認識処理により（図３〜図５）、撮影モードに応じた画像パターンが検出され、制御部５において、この画像認識処理結果が解析されて、この画像パターンが撮像結果の何れの領域に存在するか判定される。またこの判定結果に基づいて、撮影モード毎の、特定パターンが予め指定された順序で検出されるタイミングが検出される。またこの検出したタイミングを基準にして、メモリ２の撮像結果の書き込みを終了し、その時点でメモリ２に格納されている撮像結果の読み出しが開始される。

従ってこの撮像装置１では、撮像結果のパターン認識結果に基づいてスローモーション撮影する期間が設定され、ユーザーによる操作子の操作を基準にしてスローモーション撮影する期間を設定する場合、音声を基準にしてスローモーション撮影する期間を設定する場合に比して、確実にユーザーの所望するシーンを撮影することができる。

またさらにこのパターン認識結果に基づいてスローモーション撮影する期間を設定する処理を、撮影モード毎の、特定パターンが予め指定された順序で検出されるタイミングを基準にして実行することから、基準とするタイミングの誤判定を有効に回避することができ、一段と確実に所望するシーンを的確に撮影することができる。

すなわち例えばゴルフスイングモードでは（図８）、水平方向の中央、最も下側の領域にボールが存在する第１のパターンに続いて、同様に水平方向の中央、最も下側の領域にボールが存在する第２のパターンが検出され、さらに水平方向、最も右側の領域にボールが存在する第３のパターンが検出されると、この第３のパターンが検出されたタイミングを基準にしてスローモーション撮影する期間が設定される。

この場合に、例えば第１又は第２のパターンのみを基準にしてスローモーション撮影する期間を設定していたのでは、この第１又は第２のパターンが、ボールがティーアップされている比較的長い期間のパターンであることから、メモリ２への撮像結果の書き込みを終了するタイミングを特定できないことになる。また第３のパターンのみを基準にしてスローモーション撮影する期間を設定していたのでは、例えばボール以外の蝶等が画面に飛び込んできた場合等に、誤ってメモリ２への撮像結果の書き込みを終了することになる。

また野球スイングモードでは（図９）、水平方向の最も右側の領域にボールが存在する第１のパターンに続いて、同様に水平方向の中央の領域にボールが存在する第２のパターンが検出され、さらに水平方向、最も右側の領域にボールが存在する第３のパターンが検出されると、この第３のパターンが検出されたタイミングを基準にしてスローモーション撮影する期間が設定される。

この場合に、例えば第１〜第３のパターンの何れかのパターンのみを基準にしてスローモーション撮影する期間を設定していたのでは、例えばバッターがボールを見送った場合にも、スローモーション撮影した映像を映像記録媒体３に記録することになり、無駄にスローモーション撮影することになる。

しかしながらこの実施例のように、これら第１〜第３のパターンが予め指定された順序で検出されるタイミングを基準にしてメモリ２への撮像結果の書き込みを終了すれば、このような無駄、誤動作を有効に回避して、ユーザーの所望するシーンを確実に撮影することができる。

またこのような特定パターンが、この実施例では、画像認識処理部の画像認識対象が、撮像結果の特定箇所に存在する画像であることから、例えば共通の画素差分テーブルを用いて複数種類の球技に対応する場合等、画像認識処理部における構成を簡略化することもでき、簡易な構成でユーザーの所望するシーンを確実に撮影することができる。

（３）実施例の効果
以上の構成によれば、特定パターンの画像が特定の順序で検出されるタイミングを基準にして、メモリへの撮像結果の高速度の書き込みを終了し、このメモリに書き込んだ撮像結果を記録媒体に記録することにより、所望するシーンを確実にスローモーション撮影することができる。

またこの特定パターンが、画像認識部で検出する画像認識対象が１画面中の特定箇所に存在する画像であることにより、簡易な構成でユーザーの所望するシーンを確実に撮影することができる。

図１１は、図８及び図９との対比により、本発明の実施例２の撮像装置における、スローモーション撮影時のタイミング設定の説明に供する略線図である。この実施例の撮像装置は、このタイミングの設定方法が異なる点を除いて、実施例１の撮像装置１と同一に構成される。従って以下においては、適宜、図２の構成を流用して説明する。

ここでこの実施例の撮像装置は、実施例１の撮像装置１と同様に、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定する。この実施例の撮像装置は、この特定パターンに、撮影対象の合図を検出するパターンが適用される。

具体的に、この実施例では、ゴルフスイングモードにおいて、両目を開いたパターンが第１のパターンに設定され（図１１（Ａ））、また右目を閉じたパターンが第２のパターンに設定される（図１１（Ｂ））。また両目を開いたパターンが第３のパターンに設定される（図１１（Ｃ））。制御部５は、これら第１〜第３のパターンを順次検出し、撮影対象のウインクによる合図を検出する。制御部５は、ウインクにより右目を閉じた後に、第３のパターンが検出されると、この第３のパターンの検出時点からメモリ２への撮像結果の書き込みを開始する。

また打ち終わってボールを見送っている横顔のパターンが第４のパターンに設定され、（図１１（Ｄ））、また正面に顔の向き直したパターンが第５のパターンに設定される（図１１（Ｅ））。さらに左目を閉じたパターンが第６のパターンに設定される（図１１（Ｆ））。制御部５は、これら第４〜第６のパターンを順次検出し、撮影対象のウインクによる合図を検出する。すなわちこの場合、撮影対象の人物がウインクにより左目を閉じると第６のパターンが検出され、制御部５は、この第６のパターンの検出時点からスローモーション撮影によるメモリ２への書き込みを停止し、メモリ２からの読み出しを開始する。

従ってこの実施例において、画像認識処理部１４は、開いた目のパターンと、閉じた目のパターンとが画素差分テーブルに記録されて保持され、制御部５の指示によりこれら開いた目のパターンと、閉じた目のパターンとを検出して制御部５に通知する。

この実施例によれば、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定するようにして、この所定の順序で検出される特定パターンが、撮影対象の合図を検出するパターンであることにより、撮影対象の意図が反映するようにスローモーション撮影して、一段と確実にユーザーの所望するシーンを撮影することができる。

図１２は、図８及び図９との対比により、本発明の実施例３の撮像装置における、スローモーション撮影時のタイミング設定の説明に供する略線図である。この実施例の撮像装置は、このタイミングの設定方法が異なる点を除いて、上述の実施例の撮像装置と同一に構成される。従って以下においては、適宜、図２の構成を流用して説明する。

この実施例では、実施例１の撮像装置１と同様に、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定する。この実施例の撮像装置は、この特定パターンに、一連の動作で検出される人物のポーズのパターンが適用される。従ってこの実施例の撮像装置は、撮影対象のポーズの変化を基準にしてスローモーション撮影する期間を設定する。

すなわちこの実施例では、図１２に示すように、ゴルフスイングモードにおいて、アドレスした時点である、ゴルフクラブを構えて静止したポーズが第１のパターンに設定され（図１２（Ａ））、またテークバックしたポーズが第２のパターンに設定される（図１２（Ｂ））。またさらに打ち終わってボールを目で追いかけているポーズが第３のパターンに設定される（図１２（Ｃ））。従ってこの実施例において、画像認識処理部１４は、これら第１〜第３のパターンを検出可能に辞書が作成される。

制御部５は、ユーザーがスローモーション撮影を指示すると、メモリ２への高速度の書き込みを開始する。また画像認識処理部１４に画像認識処理の開始を指示し、画像認識処理結果に基づいて、第１〜第３のパターンを順次検出する。また第３のパターンを検出した後、所定の期間Ｔだけ経過すると、メモリ２への書き込みを終了し、その時点でメモリ２に格納されている撮像結果の読み出しを開始する。

この実施例によれば、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定するようにして、この所定の順序で検出される特定パターンが、一連の動作で検出されるポーズであることにより、例えばゴルフスイングを撮影する場合のように、特定のポーズを伴う被写体の動きを的確に判定して、一段と確実にユーザーの所望するシーンを撮影することができる。

この実施例の撮像装置は、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定するようにして、この特定パターンの設定をユーザーの操作により受け付ける。この実施例の撮像装置は、この特定パターンの設定が異なる点を除いて、上述の各実施例の撮像装置と同一に構成される。従って以下においては、適宜、実施例１の撮像装置の構成を流用して実施例４の撮像装置の構成を説明する。

すなわちこの撮像装置において、制御部５は、ユーザーがスローモーション撮影の登録モードを選択すると、表示部１２にガイド用のメッセージを表示し、及び又はガイド用の音声を音声合成して出力し、これらの表示及び又は音声により、登録モードにおける一連の操作をユーザーに指示する。

制御部５は、これらのガイドに従ったユーザーの操作により、標準動作モードでスローモーション撮影する対象を試し撮りして映像記録媒体３に記録する。またこの試し撮りした動画像を再生して表示部１２で表示する。制御部５は、この動画像の再生において、一時停止の操作をユーザーに指示し、図１３に示すように、スローモーション撮影対象の一場面をユーザーに選択させて、表示部１２で表示する。

この状態で、制御部５は、画像認識処理部１４における画像認識対象の選択を受け付ける。すなわち制御部５は、所定のメニュー画面を表示して画像認識対象を囲む枠Ｗの選択を受け付け、表示部１２で表示した静止画像上でこの枠Ｗを表示する。また表示画面の側面に配置したアップ、ダウンの操作子１６、１７の操作に応動してこの枠Ｗの表示を拡大、縮小する。また上下方向、左右方向への移動を指示するメニュー１８Ｕ、１８Ｄ、１８Ｒ、１８Ｌを表示画面に表示し、タッチパネルを介して検出されるこれらメニュー１８Ｕ、１８Ｄ、１８Ｒ、１８Ｌの操作に応動して枠Ｗの表示位置を上下、左右に移動させる。またユーザーがＯＫのメニューを操作すると、枠Ｗで囲った画像を画像認識処理部１４の認識対象に設定する。

すなわちこの場合、制御部５は、この静止画像の画像データを画像認識処理部１４に転送して前処理した後、この前処理で検出される特徴点を基準にして、枠Ｗで囲った部位から画素検索テーブルに登録する２点の座標値を検出する。またこの２点の画素差分値を計算してしきい値を計算し、これら２点の座標値、しきい値をメモリ１４Ｄに登録する。なおこの場合に、上述したように、例えば色情報を使った色検出処理と組み合わせて特定の画像パターンを検出する場合、他の複数の検出処理を種々に組み合わせて処理を実行する場合、遺伝的アルゴリズムを用いる等にあっては、各処理の実行に必要な情報を取得してメモリ１４Ｄに辞書を構築する。

因みに、試し撮りの処理を実行しないで、単に枠Ｗの設定を受け付けて検出対象の登録を受け付けるようにしてもよい。この場合、制御部５は、ユーザーにより枠Ｗの設定を受け付けた後、スローモーション撮影の開始時、設定された枠Ｗで囲まれる画像を認識対象に設定するように、画像認識処理部１４に処理を指示する。画像認識処理部１４では、この制御部５の指示により、スローモーション撮影の開始時、枠Ｗで囲まれる画像より画素検索テーブルに検索対象を登録し、以降、この画素検索テーブルを用いて認識対象を検索する。

制御部５は、メモリ１４Ｄに辞書を登録すると、続いて第１〜第３のパターンの設定を受け付ける。ここで制御部５は、図１４に示すように、表示部１２の表示を切り換え、画面の左側に、パターン毎に、画像認識対象の有無を判定する領域の境界を表示する。またこのパターン毎の表示において、ユーザーによる領域の選択を受け付ける。なおこの図１４に示す第１〜第３のパターンは、１画面が水平方向に３つに分割されて３つの領域が設けられ、さらに中央の領域が上下に分割されて各領域が設定された例である。制御部５は、ユーザーにより各領域の選択をタッチパネルを介して検出し、ユーザーが選択した領域の表示色を切り換え、ユーザーに通知する。なおこの図１４では、ユーザーが選択した領域の表示をハッチングにより示す。従ってこの図１３、図１４の例では、水平方向の中央、下側の領域にボールが存在する場合が、第１及び第２のパターンに割り当てられ、水平方向、右側の領域にボールが存在する場合が、第３のパターンに割り当てられることになる。

なおこのような第１〜第３のパターンの領域を表示してユーザーによる領域の選択を受け付ける代わりに、直接、ユーザーにより表示画面上で領域の指定を受け付けるようにしてもよい。また試し撮りをした映像を再生して、各パターンに対応するシーンで一時停止の操作を受け付けるようにして、この一時停止した画像の画像処理により、各パターンの登録を受け付けるようにしてもよい。すなわちこの場合、一時停止した画像において、認識対象が存在する箇所を検出し、この検出結果に基づいて各パターンにおいて認識対象が存在する領域を検出する。また予め設定した所定の動きのパターンを表示し、この動きのパターンをユーザーにより選択させるようにしてパターンの登録を受け付けるようにしてもよい。また一般的な、例えばゴルフモード、テニスモード等の、あらかじめ設定されたパラメータを簡易設定モードとしてまとめて用意しておき、このパラメータの変更を受け付けて各パターンの登録を受け付けるようにしてもよい。

なお実施例３について上述したように、ポーズによるパターンでタイミングを検出する場合には、試し撮りをした映像を再生して一時停止の操作を受け付け、この一時停止した画像の解析により、ポーズ毎に、パターンの登録を受け付けるようにしてもよい。

制御部５は、ユーザーにより各パターンの領域が選択されると、所定の操作子の操作により、登録モードを終了し、特定パターンの設定受け付けを終了する。

また続いてスローモーション撮影が指示されると、制御部５は、実施例１と同様に、登録モードで登録された第１〜第３のパターンが順次検出されるタイミングを基準にして、メモリ２への撮像結果の書き込みを終了する。

この実施例において、さらに制御部５は、第１及び第２のパターンを検出する際には、この第１及び第２のパターンで認識対象が存在する水平方向の中央、下側の領域でのみ、画像認識処理するように、画像認識処理部１４に処理を指示する。また第２のパターンを検出した後は、第３のパターンで認識対象が存在する水平方向の右側の領域でのみ、画像認識処理するように、画像認識処理部１４に処理を指示する。またこの制御部５の指示に応動して、画像認識処理部１４は、図１５（Ａ）に示すように、制御部５で指示された領域だけで、パターンマッチングの領域を走査して認識対象であるボールの画像を検出し、パターンマッチングによる画像検出処理に必要となる前処理のひとつである、検出画像のスケーリング処理を省略する。また全画面におけるパターンマッチングの領域の走査を省き、一部領域だけで走査の処理を実行して処理を簡略化する。なおここで図１５（Ａ）は、図１３で説明した水平方向、中央、下側の領域だけで、認識対象を検出する場合を示す図であり、矢印でパターンマッチングの領域の走査を示す。

また画像認識処理部１４は、直前の画像認識結果を基準にして、パターンマッチングする領域の大きさを狭め、高速度に画像認識処理を実行する。すなわち画像認識処理部１４は、各領域での画像認識処理では、先頭の１フィールドで、図１５（Ａ）に示すように、画像認識処理が指示された領域の全てで、パターンマッチングの領域ＡＲをラスタ走査させて画像認識対象Ａを検出する。また続く２フィールド目以降では、図１５（Ｂ）に示すように、直前フィールドで検出した画像認識対象Ａの位置を中心とした一定の範囲ＡＲ１で、パターンマッチングの領域ＡＲをラスタ走査させて画像認識対象Ａを検出する。

なお実施例２で上述したように、目の開け閉めを検出する場合には、図１６（Ａ）に示すように、最初に顔に関する辞書（画素差分テーブル）を用いて顔の位置を特定した後、この特定した顔の位置から目が存在すると想定される範囲を設定し、図１６（Ｂ）に示すように、この設定した範囲を目に関する辞書を用いて検索して開いた目、閉じた目を検出することにより、直前の画像認識結果を基準にして、パターンマッチングする領域の大きさを狭め、高速度に画像認識処理を実行することができる。またこの場合、画像認識処理の精度を向上することができる。

この実施例によれば、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定するようにして、ユーザーの操作によりこの特定パターンの登録を受け付けることにより、種々の被写体の撮影に適用して、ユーザーの所望するシーンを確実にスローモーション撮影することができる。

図１７は、図１０との対比により、本発明の実施例５の撮像装置の動作の説明に供するタイムチャートである。この実施例の撮像装置においては、スローモーション撮影モードにおいて、メモリに高速度で記録した撮像結果を記録する期間についても、フィールド間引きした画像データを記録媒体に記録する。この実施例の撮像装置は、この記録媒体への記録に関する構成が異なる点を除いて、上述の各実施例と同一に構成される。従ってこの実施例では、図２の構成を流用して説明する。

すなわちこの実施例において、解像度変換処理部８は、標準動作モードでは、実施例１について上述したと同一に、カメラ信号処理部７で処理された画像データＤ１を記録用に動画像記録処理部１０に出力し、また解像度を変換してモニタ用に表示部１２に出力する。

これに対してスローモーション撮影モードにおいて、メモリ２への記録時、フィールド周波数２４０〔ｆｐｓ〕の画像データＤ１のフィールドを間引きしてモニタ用に表示部１２に出力しながら、フィールド周波数２４０〔ｆｐｓ〕の画像データＤ１をメモリ２への記録用に画像圧縮伸長部１１に出力するようにし、さらにフィールド間引きしたフィールド周波数６０〔ｆｐｓ〕の画像データＤ１を記録用に動画像記録処理部１０に出力する。これに対してメモリ２からの読み出し時、実施例１について上述したと同一に、画像圧縮伸長部１１から出力されるフィールド周波数６０〔ｆｐｓ〕の画像データを記録用に動画像記録処理部１０に出力し、また解像度を変換してモニタ用に表示部１２に出力する。

従ってこの実施例では、フィールド周波数６０〔ｆｐｓ〕の撮像結果を途切れることなく記録して、意図したシーンのみスローモーション撮影した撮像結果を自動的に記録することができる。

この実施例によれば、特定パターンの画像が特定の順序で検出されるタイミングを基準にしてスローモーション撮影する期間を設定するようにして、フィールド周波数６０〔ｆｐｓ〕の撮像結果を途切れることなく記録して、意図したシーンのみスローモーション撮影することができる。

図１８は、本発明の実施例６の撮像装置に適用されるメモリ２の構成を示す略線図である。この実施例の撮像装置は、このメモリ２に関する構成が異なる点を除いて、上述の実施例の撮像装置と同一に構成される。従ってこの実施例では、図２の構成を流用して説明する。

ここでこの実施例においてメモリ２は、記録可能な領域が複数の領域に区切られ、領域１〜領域５が形成される。この撮像装置では、連続したスローモーション撮影にこれら領域１〜領域５を順次循環的に割り当てて撮像結果を格納し、スローモーション撮影を繰り返すことができるようにする。なおこの図１８では、各領域における撮像結果の循環的な書き込みを矢印で示す。

ここで図１９は、図１との対比によりこの撮像装置の制御部５の処理手順を示すフローチャートである。また図２０は、この図１９に示す処理手順において、ユーザーが即時記録を選択していない場合の、撮像装置の各部の動作を図１７との対比により示すタイムチャートである。

制御部５は、スローモーション撮影モードの開始をユーザーが指示すると、図１９の処理手順を開始し、撮影モードに応じた画像認識処理を画像認識処理部１４に指示し、またメモリ２へのフィールド周波数２４０〔ｆｐｓ〕の撮像結果の記録開始を各部に指示する。また続いてステップＳＰ１１からステップＳＰ１２に移り、画像認識処理部１４の画像認識結果に基づいて、第１のパターンが検出されたか否か判断する。制御部５は、このステップＳＰ１２で否定結果が得られると、ステップＳＰ１２を繰り返し、第１のパターンが検出されるのを待機する。

また第１のパターンが検出されると、制御部５は、ステップＳＰ１２からステップＳＰ１３に移って第２のパターンが検出されるのを待機し、第２のパターンが検出されると、制御部５は、ステップＳＰ１３からステップＳＰ１４に移る。またこのステップＳＰ１４において、第３のパターンが検出されるのを待機し、第３のパターンが検出されると、ステップＳＰ１４からステップＳＰ１５に移る。

ここで制御部５は、ユーザーが設定した期間Ｔの経過を待機した後、メモリ２への書き込みを終了する。制御部５は、続くステップＳＰ１６において、ユーザーが即時記録を選択しているか否か判断し、ここで肯定結果が得られると、ステップＳＰ１６からステップＳＰ１７に移る。ここで制御部５は、その時点でメモリ２に格納されている撮像結果を読み出して映像記録媒体３に格納する。なお図２０では、時点ｔ１から時点ｔ２までの期間が、このスローモーション撮影モードにおけるメモリ２への書き込みの期間であり、続く時点ｔ２〜時点ｔ３までの期間が、メモリ２からの読み出しの期間である。

制御部５は、メモリ２からの読み出しが終了すると、ステップＳＰ１７からステップＳＰ１８に移り、ユーザーがスローモーション撮影の繰り返しを指示したか否か判断し、ここで肯定結果が得られると、フィールド周波数２４０〔ｆｐｓ〕の撮像結果のメモリ２への記録開始を指示した後、ステップＳＰ１２に戻る。これに対してユーザーがスローモーション撮影の繰り返しを指示していない場合、ステップＳＰ１８からステップＳＰ１９に移り、ユーザーが即時記録を選択しているか否か判断し、ここで肯定結果が得られると、この場合、それまでにメモリ２に格納した撮像結果を映像記録媒体３に記録する処理を完了していることから、ステップＳＰ１９からステップＳＰ２０に移ってこの処理手順を終了する。

従ってこの実施例の撮像装置は、ユーザーが即時記録を選択している場合には、上述の実施例と同様にしてスローモーション撮影の処理を実行する。

これに対してユーザーが即時記録を選択していない場合、ステップＳＰ１６において否定結果が得られることにより、制御部５は、メモリ２からの読み出しを実行することなく、ステップＳＰ１６からステップＳＰ１８に移り、ユーザーがスローモーション撮影の繰り返しを指示したか否か判断し、ここで肯定結果が得られると、フィールド周波数２４０〔ｆｐｓ〕の撮像結果のメモリ２への記録開始を指示した後、ステップＳＰ１２に戻る。またこのとき直前まで撮像結果を記録したメモリ２の領域に対して、続く領域に撮像結果を記録するように、メモリ制御部１３に動作の切り換えを指示する。

従ってこの場合、この実施例の撮像装置では、スローモーション撮影の繰り返しの指示をユーザーが停止するまで、順次、領域１〜領域５を選択して撮像結果を高速度でメモリ２に格納する。またこのときメモリ２に格納した撮像結果を読み出す処理を省略して、続く領域に撮像結果を格納する。

またこのようにして撮像結果を順次メモリ２に格納して、ユーザーがスローモーション撮影の繰り返しの指示を停止すると、又はユーザーがスローモーション撮影の繰り返しを指示していない場合、ステップＳＰ１８からステップＳＰ１９に移り、ここでユーザーが即時記録を選択しているか否か判断し、この場合は否定結果が得られることになる。制御部５は、この場合、ステップＳＰ１９からステップＳＰ２１に移り、それまでにメモリ２の各領域に格納されている撮像結果をメモリ２から読み出して映像記録媒体３に記録し、ステップＳＰ２０に移ってこの処理手順を終了する。

従ってこの実施例では、メモリ２に高速度で格納した撮像結果を最後に纏めて読み出して映像記録媒体３に格納し、図２０における時点ｔ４〜時点ｔ５の期間がこの処理の期間に該当することになる。

この実施例によれば、メモリを複数の領域に分割し、各領域をそれぞれスローモーション撮影における撮像結果の記録領域に順次設定することにより、連続してスローモーション撮影することができ、ユーザーの使い勝手を向上することができる。

なお上述の実施例においては、３つのパターンを用いてメモリ２への書き込み終了のタイミングを設定する場合について述べたが、本発明はこれに限らず、十分に確実に書き込み終了のタイミングを設定できる場合には、２つのパターンを用いてメモリ２への書き込み終了のタイミングを設定してもよく、さらには４つ以上のパターンを用いてメモリ２への書き込み終了のタイミングを設定してもよい。

また上述の実施例６においては、ユーザーが即時記録を選択していない場合に、動作を切り換え、メモリ２に高速度で格納した撮像結果を最後に纏めて読み出して映像記録媒体３に格納する場合について述べたが、本発明はこれに限らず、メモリ２への書き込み終了のタイミングを設定する場合と同様にして、動作の切り換え指示を検出するようにしてもよい。この場合、ユーザーは、撮像装置から離れた場所で、この撮像装置の動作を切り換えることができ、一段とユーザーの使い勝手を向上することができる。なおこの場合、例えばタリーランプの点滅等により、動作の切り換えをユーザーに通知し、誤った動作の切り換え指示を防止することが必要と考えられる。

また上述の実施例においては、メモリに格納した撮像結果を映像記録媒体に格納する場合には、この映像記録媒体に記録する撮像結果を表示部で表示してモニタする場合について述べたが、本発明はこれに限らず、この表示部で表示する処理を省略して、イメージセンサで得られる撮像結果を表示部で表示しながら、メモリに格納した撮像結果をバックグラウンドで映像記録媒体に記録するようにしてもよい。

また上述の実施例においては、標準動作モードではフィールド周波数６０〔ｆｐｓ〕で撮像結果を取得して映像記録媒体に記録する場合について述べたが、本発明はこれに限らず、標準動作モードでもフィールド周波数２４０〔ｆｐｓ〕で撮像結果を取得し、間引きして映像記録媒体に記録するようにしてもよい。

また上述の実施例においては、標準動作モードではフィールド周波数６０〔ｆｐｓ〕で撮像結果を取得し、スローモーション撮影モードではフィールド周波数２４０〔ｆｐｓ〕で撮像結果を取得する場合について述べたが、本発明はこれに限らず、本発明の趣旨を逸脱しない範囲で、必要に応じてこれらの周波数は種々に設定することができ、さらにはノンインターレース方式により撮像結果を取得して記録する場合等に広く適用することができる。

また上述の実施例においては、メモリ２に高速度で格納した撮像結果を、標準動作モードにおけるフィールド周波数でメモリから読み出して映像記録媒体に記録する場合について述べたが、本発明はこれに限らず、例えば標準動作モードにおけるフィールド周波数より高いフィールド周波数であって、かつメモリへの書き込み時より低いフィールド周波数でメモリから読み出して映像記録媒体に記録するようにしてもよい。このようにすればメモリに格納した撮像結果を短時間で映像記録媒体に格納することができ、例えばスローモーション撮影を繰り返す場合の時間的な余裕を増大させることができる。

本発明は、例えばビデオカメラに適用することができる。

本発明の実施例１の撮像装置のスローモーション撮影モードに関する処理手順を示すフローチャートである。 本発明の実施例１の撮像装置を示すブロック図である。 図２の撮像装置の画像認識処理部の詳細構成を示すブロック図である。 図３の画像認識処理部のメモリの構成を示す略線図である。 図４のメモリの内容の説明に供する略線図である。 図２の撮像装置のスローモーション撮影モードにおける画像データの流れを示すブロック図である。 図６の続きを示すブロック図である。 図２の撮像装置におけるゴルフスイングモードの説明に供する略線図である。 図２の撮像装置における野球スイングモードの説明に供する略線図である。 図２の撮像装置の各部の動作を示すタイムチャートである。 本発明の実施例２の撮像装置におけるスローモーション撮影時のタイミング設定の説明に供する略線図である。 本発明の実施例３の撮像装置におけるスローモーション撮影時のタイミング設定の説明に供する略線図である。 本発明の実施例４の撮像装置におけるパターン設定時の表示画面を示す平面図である。 図１３の続きを示す平面図である。 本発明の実施例４の撮像装置における画像認識処理の説明に供する略線図である。 図１５の続きを示す平面図である。 本発明の実施例５の撮像装置の動作の説明に供するタイムチャートである。 本発明の実施例６の撮像装置におけるメモリの構成を示す略線図である。 本発明の実施例６の撮像装置の処理手順を示すフローチャートである。 図１９の処理手順により撮像装置の動作の説明に供するタイムチャートである。

符号の説明

１……撮像装置、２……メモリ、３……映像記録媒体、４……イメージセンサ、５……制御部、１２……表示部、１４……画像認識処理部

Claims (2)

1. 撮像結果を出力する撮像部と、
   前記撮像部から出力される撮像結果を格納して出力するメモリと、
   前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を画像認識して画像認識結果を出力する画像認識部と、
   各部の動作を制御する制御部とを備え、
   前記制御部は、
   標準動作モードにおいて、
   第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、所定の記録媒体に記録し、
   スローモーション撮影モードにおいて、
   前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納し、
   前記画像認識結果に基づいて、撮影対象の合図を検出するパターンである特定パターンが前記撮像結果において所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して所定の記録媒体に記録する
   ことを特徴とする撮像装置。
2. 撮像結果を出力する撮像部と、
   前記撮像部から出力される撮像結果を格納して出力するメモリと、
   前記撮像部から出力される撮像結果、又は前記メモリから出力される撮像結果を画像認識して画像認識結果を出力する画像認識部と、
   各部の動作を制御する制御部とを備え、
   前記制御部は、
   標準動作モードにおいて、
   第１のフィールド周波数又はフレーム周波数で、前記撮像部から前記撮像結果を出力させ、所定の記録媒体に記録し、
   スローモーション撮影モードにおいて、
   前記第１のフィールド周波数又はフレーム周波数より周波数の高い、第２のフィールド周波数又はフレーム周波数で前記撮像部から前記撮像結果を出力させ、前記メモリに順次循環的に格納し、
   前記画像認識結果に基づいて、撮影対象の一連の動作で検出される特定のポーズのパターンである特定パターンが前記撮像結果において所定の順序で検出されるタイミングを基準にして、前記撮像結果の前記メモリへの格納を終了し、前記メモリに格納した前記撮像結果を、前記第２のフィールド周波数又はフレーム周波数より低い、第３のフィールド周波数又はフレーム周波数で読み出して所定の記録媒体に記録する
   ことを特徴とする撮像装置。
   

Images