JP5020705B2 - 動画撮像装置及び動画撮像方法 - Google Patents

Description

本発明は動画撮像装置及び動画撮像方法に関し、特に、ビデオカメラ等のように、複数シーンの動画を撮像するために用いて好適な技術に関する。

ビデオカメラなどの動画撮像装置は、CCD（charge Coupled Device）やCMOS(Complementary Metal Oxide Semiconductor)などの電子デバイスを備えている。そして、これらの電子デバイスで構成されたイメージセンサにより取り込まれた視覚情報を、画像信号として出力する。更に、この出力された画像ファイルを所定のデータファイルにしてテープ、HDD(Hard Disk Drive)、DVD(Digital Versatile Disk)、半導体メモリ等の記録部に記録する。

前記イメージセンサにより取り込まれた視覚情報は、一般に静止画像であるが、イメージセンサの多くは毎秒数十フレームの周期で静止画像を生成できる点に注目し、静止画像信号の記録動作を連続して行なう。これにより、前述のイメージセンサを用いて動画像記録を行なうことを可能にしている。

ところで、記録部の記録容量は、メモリ容量の増加により膨大になりつつある。そこで、記録媒体上に複数の動画データが記録されている場合における、ユーザーによる画像検索を容易に行なうことができるようにするための工夫が行われている。例えば、動画ファイルの内容を代表する１画像を圧縮したダイジェスト画像（以下、サムネイルとする）の一覧を、動画撮像装置に設けた画像表示部に表示させる方法が知られている。

前記動画ファイル中の、どの画像に基づいてサムネイルを作成するかについては、例えば、特許文献１に記載されている動画撮像装置のように、先頭から所定時間後のイントラ符号化画像を使用して作成する方法が開示されている。しかしながら、特許文献１に記載されている動画撮像装置では、作成されたサムネイルがその動画ファイルの内容を代表する有意な１画像であることを保証できない。

すなわち、先頭から所定時間後の画像が、動画ファイルの内容を全く代表しない画像、例えば、真っ黒な画像である可能性がある。また、一般的な動画撮像装置では、画面の領域は限られており、その中で複数のサムネイル画像を表示するため、各サムネイル画像をある程度小さなサイズにせざるを得ない。そのため、サムネイル画像が代表する動画ファイルの内容が解りづらく、所望のサムネイル画像を正確に選択することができないという問題点があった。

そこで、例えば、特許文献２に記載のビデオ再生装置では、サムネイル画像に加えて、字幕情報、音声情報の中から文字データを取得する。そして、取得した字幕情報、音声情報の中から文字データを選択して取得する。そして、この取得した文字データと、選択したサムネイル画像との両方を一緒に表示することで、サムネイル画像が示す動画ファイルの内容を解りやすくする技術が開示されている。

また、例えば、特許文献３に記載のサムネイル作成装置では、画像データを解析して文字情報の映っている画像を選択する文字認識手段と、この文字認識手段で選択した画像に基づいてサムネイル画像を作成するサムネイル選択手段とを備えている。そして、所定以上の大きさで文字列が映っている画像に基づいてサムネイルを作成することで、サムネイル画像が示す動画ファイルの内容を解りやすくする技術が開示されている。

特開平１１−３１３３１６号公報 特開２００５−０２０３５１号公報 特開２００２−０２７３６３号公報

しかしながら、前記特許文献２に記載のビデオ再生装置は、サムネイル画像の選択と、字幕情報、音声情報から取得した膨大な文字データの中から、文字列を適切に選択する処理をユーザーが別途に行なう必要があった。このような処理を行なうためには、多くの画像データを確認することが必要であるので、サムネイル画像を生成する操作が煩わしいという問題があった。

また、特許文献３に記載のサムネイル作成装置では、所定以上の大きさで複数のシーンにおいて文字列が映っている場合に、サムネイル画像を作成する基となる画像も複数発生する。このため、動画ファイルの内容を示す映像として、ユーザーが意図して撮影した画像を、サムネイル画像として適切に設定することができないという問題があった。

本発明は前述の問題点に鑑み、ユーザーが意図して撮影した画像をサムネイル画像として適切に設定できるようにすることを目的としている。

本発明の動画撮像装置は、視覚情報を取り込んで画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を記録媒体に記録する記録手段と、前記画像信号から文字情報を抽出する文字認識手段と、前記文字認識手段によって抽出された文字情報の出現の特徴に基づいた時間軸に関連したパラメータ値を前記文字情報と共に記憶するパラメータ値記憶手段と、前記パラメータ値記憶手段によって記憶されたパラメータ値を用いて文字情報ごとに評価値を演算する評価値演算手段と、前記文字情報の出現中に撮影者が押圧することで、異なるパラメータ値として前記評価値に加算させる操作手段と、前記演算された評価値の高い文字情報が抽出された画像信号に基づいて、サムネイルを作成するサムネイル作成手段とを有することを特徴とする。

本発明の動画撮像方法は、視覚情報を取り込んで画像信号を出力する撮像工程と、前記撮像工程において出力される画像信号を記録媒体に記録する記録工程と、前記画像信号から文字情報を抽出する文字認識工程と、前記文字認識工程において抽出された文字情報の出現の特徴に基づいた時間軸に関連したパラメータ値を前記文字情報と共に記憶するパラメータ値記憶工程と、前記パラメータ値記憶工程によって記憶されたパラメータ値を用いて文字情報ごとに評価値を演算する評価値演算工程と、前記文字情報の出現中に撮影者が押圧することで、異なるパラメータ値として前記評価値に加算させる操作工程と、前記演算された評価値の高い文字情報が抽出された画像信号に基づいて、サムネイルを作成するサムネイル作成工程とを有することを特徴とする。

本発明によれば、ユーザが特に操作を行わずにサムネイルを作成することができるとともに、ユーザが意図してサムネイル化したい文字列の優先度を上げることができる。これにより、サムネイル化したい文字列の選択と撮影者の意図する映像の矛盾を緩和することができる。

（第１の実施の形態）
以下、図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の実施形態に関わるビデオカメラの構成例を説明するブロック図である。
本実施形態のビデオカメラは撮像部１１と、画像処理部１２と、制御部１３と、メモリ部１４と、文字列変換処理部１５と、表示部１６と、操作部１７と、バッファ部１８と記録再生部１９とで構成されている。そして、撮像部１１で撮像した画像データ及び図示しない音声系回路で生成した音声データを光ディスク（optical disk）２０に記録する。

撮像部１１は、撮影レンズ群やメカニカルシャッタ機構などを収めたレンズ鏡筒と、レンズ鏡筒の後方に配置されたイメージセンサからなり、イメージセンサの受光面に被写体の像を、視覚情報として結像させるものである。撮像部１１は、制御部１３からの制御信号に基づいて、シャッター速度や露出値などを可変的に設定し、イメージセンサで生成された画像信号を画像処理部に出力するものである。

画像処理部１２は、イメージセンサから入力された画像信号を、輝度成分と色成分とに分離し、制御部１３からの制御信号とやりとりを行なうことで、輝度成分と色成分の補正を施した後、補正した画像信号をメモリ部１４に出力するものである。また、画像処理部１２は、制御部１３により制御されて画像ファイルや、各種設定のデータを所定のデータファイルとして纏めて出力するデータファイル生成手段として機能している。

制御部１３は、図示しないＣＰＵ(Central Processing Unit)と、プログラムメモリとワークメモリとを備えていて、プログラムメモリに格納された所定の制御プログラムをワークメモリにロードして実行する。これにより、画像処理部１２から出力される画像信号の取り込みや、撮像部１１の制御や、表示部１６への出力などを実行する。また、メモリ部１４へのデータ書き出しや、文字列変換処理部１５の制御を行ない、ビデオカメラ全体の動作を制御する。

表示部１６は、ビューファインダーとして設けられた３インチ程度の液晶表示器（ＬＣＤ）を備え、表示部１６の表示形式に変換されて制御部１３から出力される画像信号を表示する。

メモリ部１４は、所定のデータファイルとして纏められて画像処理部１２から出力される画像ファイルや、各種設定のデータを不揮発的に記録できる記録媒体で構成されている。記録媒体として、テープ、ＨＤＤ、ＤＶＤ、半導体メモリ等を記録媒体として用いることができる。メモリ部１４は、取り外し可能な状態でビデオカメラに実装されていてもよい。また、メモリ部１４を複数用意し、各種設定のデータと画像ファイルを別々の記録媒体に記録してもよい。

操作部１７は、動画像の撮影開始、終了操作を行なうトリガーキーや、撮像レンズ群の操作を行なうズームボタンや、メニュー操作ボタンや、ビデオカメラの動作モードを記録モードと再生モードに切り替える、記録／再生切り替えボタンを備える。また、撮像部により撮影されている文字列を優先的にサムネイルにするサムネイルボタンなどを備え、各種操作部からの操作信号は制御部１３に出力される。

文字列変換処理部１５は、制御部１３の制御により、撮像部１１より出力される画像信号の輝度成分を、所定のしきい値で、文字部分に対応する値と、背景部分に対応する値と、の２値化したデータとする。該２値化データを制御部１３のプログラムメモリに記録している文字認識パターンと照合することにより文字列を抽出し、抽出した文字列データを制御部１３に出力するものである。

バッファ部１８は、画像処理部１２において多重化されたストリームデータを保持するためのものである。画像処理部１２は圧縮符合化された映像・音声データを多重化してストリームデータを生成するほか、ストリームデータを多重分離して映像・音声データを生成するものである。光ディスク２０はＤＶＤ−ＲやＤＶＤ−ＲＷ等の記録可能なメディアであり、このメディアに対して映像や静止画が記録・再生される。

記録時、撮像部１１で得られた電気信号は、画像処理部１２においてデジタルデータに変換される。また、図示しないマイクより取得した音声信号も音声信号処理部（図示せず）においてデジタルデータに変換される。そして、これらの映像・音声データは、データ圧縮部（図示せず）によってそれぞれ圧縮され、画像処理部１２において多重化処理を施された後、バッファ部１８に保持される。

バッファ部１８は、１記録単位のストリームデータを保持できるだけの容量を有している。そして、ストリームデータが１記録単位分だけ蓄積されると、記録再生部１９を通してストリームデータを光ディスク２０へ書き込む。また、光ディスク２０に書き込んだストリームデータに関する情報を制御部１３のメモリへ書き込む。また、再生時には、光ディスク２０に記録された画像データが記録再生部１９によって読み出される。また、バッファ部１８を介して画像処理部１２に出力される。本実施形態の記録再生部１９は、光ディスク２０に対して光ビームを照射することによりデータの書き込み、読み出しを行なうピックアップを有する。また、光ディスク２０からのビーム反射光を受光するセンサを有する。更に、記録再生部１９は、ピックアップをディスクの半径方向に移動するシークモータや光ディスク２０を回転させるスピンドルモータ等のメカニズムを有する。

次に、本実施形態のビデオカメラによる撮影時の動作について説明する。
ビデオカメラの撮影時、ユーザーは操作部１７を操作し、ビデオカメラを起動し、表示部１６に画像データをリアルタイムで表示し、プレビューモードにする。ユーザーはプレビュー状態で、構図を確認後、操作部１７のトリガーキーを操作し、撮影を開始する。撮影終了時、ユーザーは操作部１７のトリガーキーを再度操作し、撮影を終了する。

ビデオカメラによって撮像された画像は、ビデオカメラ内の画像処理部１２で画像データに変換されるが、画像データ内の文字列は、撮影中、もしくは撮影終了後、文字列変換処理部１５で文字列として認識されテキストデータとして出力される。出力された該文字列のテキストデータは、文字情報出現の特徴によって決まるパラメータ値と組（ペア）でメモリ部１４に記録される。

本実施形態のビデオカメラにおいては、撮像中に生成される画像データ中で抽出された文字列に、パラメータ値を設定し、抽出された文字列の出現条件による画像の重み付けを行なうことで、サムネイルを選抜するものである。なお、本実施形態においては、パラメータ値設定手段として機能する画像処理部１２が、検出するタイミング、検出時間の長さ、検出頻度、文字の大きさ、文字列の画面内の位置、認識の精度の中から少なくとも１つ以上を用いてパラメータ値を設定する。

次に、『パラメータ値の設定』と、『サムネイルの基となる画像の選抜処理』の動作について説明する。最初に、本実施形態のビデオカメラにおける、『パラメータ値の設定』について説明する。
本実施形態では、パラメータとして、検出するタイミング、サムネイルボタン操作のタイミング、検出時間の長さ、抽出頻度、文字列の大きさ、画面内の位置、認識の精度を用いる。

検出するタイミングとは、認識された文字列の、ファイル内における時間軸上の位置である。また、サムネイルボタン操作のタイミングとは、動画撮像中に、ユーザーがサムネイルにしたい文字列が登場したタイミングであり、ユーザーが操作部１７に配設されているサムネイルボタンを操作することで、文字列への意図的な重み付けを可能にするものである。これにより、前記パラメータ値から評価値を演算する定義をユーザーが変更可能とすることができる。すなわち、操作部１７は評価値を演算する定義をユーザーが変更するための操作手段として機能する。これにより、評価値演算手段として機能する画像処理部１２が、パラメータ値から評価値を演算する際に、ユーザーの意図が反映される。

ここでのサムネイルボタンは、写真撮影用のフォトボタンと兼用してもよい。検出時間の長さとは、連続して検出されたことを表わすパラメータである。抽出頻度とは、ファイル内で検出される頻度を表わすパラメータである。

文字列の大きさとは、文字列の内、先頭の文字列の大きさを表わすパラメータである。動画撮像中に検出される文字列の大きさとは、イメージセンサの受光面に結像する文字列の大きさである。このため、ユーザーによる、ズームボタン操作によって行われる撮影レンズ群の移動や、被写体の移動により時間軸上で刻々と変化する。

画面内の位置とは、文字列の画面内の位置を表わすパラメータである。動画撮像中に検出される文字列の位置は、イメージセンサの受光面に結像する文字列の位置である。このため、前述の文字列の大きさと同様に、ユーザーによるズームボタン操作や、被写体の移動により時間軸上で刻々と変化する。

認識の精度とは、文字列認識の正確性を表わすパラメータである。認識の精度は、背景色が均一か否か、背景と文字列の輝度差がどの程度あるかによって決定される。そのため、動画撮像中のズームボタン操作や、被写体の移動によって、認識の精度は刻々と変化する。

次に、前述のパラメータ値について説明する。
検出するタイミングのパラメータ値は、ファイルの開始を「０」とした経過時間で表わされる。また、検出するタイミングのパラメータ値は、サムネイルの基となる画像との関連を表わしている。

検出時間の長さを表わすパラメータ値は、連続して撮影されている秒数で表わす。サムネイルボタン操作のタイミングを表わすパラメータ値は、ボタン操作の有無を表わす値で表わす。抽出頻度を表わすパラメータ値は、ファイル内での同じテキストデータの検出の回数で表わす。

文字列の大きさを表わすパラメータ値は、先頭の文字列が、あらかじめ規定された各種ピクセルサイズの四角形で隠れる大きさであり、あらかじめ規定された四角形に与えられている値で表わす。例えば、図４のように、Ａの四角サイズより小さければ「０」、Ａの四角サイズより大きくＢの四角サイズより小さければ「１」と表わす。また、Ｂの四角サイズより大きくＣの四角サイズより小さければ「２」と表わす。また、Ｃの四角サイズより大きければ「５」と表わす。

画面内の位置を表わすパラメータ値は、図３のように表示画面をＡ、Ｂ、Ｃ、Ｄの４つの領域に分割し、どの領域にあるかによって、それぞれ「０」、「１」、「２」、「５」と表わす。また、認識の精度を表わすパラメータ値は、検出の精度をパーセンテージで表わす。

図２は、文字列が映っているデータファイルＡ中の１シーンで、表示部１６の様子を示している。データファイルＡ中の文字列が映っているシーンは、図２（ａ）及び図２（ｂ）の２つのシーンのみである。図２（ａ）及び図２（ｂ）のシーンは、それぞれ撮影開始５秒後と、撮影開始５０分後のものである。

また、データファイルＡには６０分の連続記録が行われている。図２（ａ）のシーンからは『中区』の文字列が認識されており、図２（ｂ）のシーンからは『市民大運動会』の文字列が認識されている。それぞれのシーンで認識された、それぞれの文字列のパラメータ値は、以下のようになっている。

図２（ａ）のシーンにおける『中区』については、「検出するタイミング／００：００:０５」、「検出時間の長さ／５」、「文字列の検出頻度／１」である。また、「文字の大きさ／１」、「文字列の画面内の位置／５」、「サムネイルボタン押し圧／０」、「認識の精度／８０％」である。

図２（ｂ）のシーンにおける『市民大運動会』については、「検出するタイミング／００：００:５５」、「検出時間の長さ／２０」、「文字列の検出頻度／１」、「文字の大きさ／２」、「文字列の画面内の位置／２」である。また、「サムネイルボタン押し圧／０」、「認識の精度／９０％」である。

次に、検出された文字列のテキストデータと、前記文字列とペアで、前記メモリ部１４に記録されているパラメータ値を用いて行なう、『サムネイルの基となる画像の選抜処理』について、図５のフローチャートを参照しながら説明する。

図５は、本実施形態に関わる画像データの取り込みからサムネイル選抜動作の制御手順の一例を表わしたフローチャートである。
図５のフローチャートに示すように、ステップＳ１０１で、ファイルの先頭から順に、画像を取り込む。次に、ステップＳ１０２において、撮影したシーンに文字列があるかどうかの判断を行なう。

ステップＳ１０２の判断の結果、撮影したシーンに文字列がない場合にはステップＳ１１２に進み、ファイルエンドか否かを判断する。この判断の結果、ファイルエンドではない場合にはステップＳ１０１に戻り、文字列があるシーンまで次々と画像の読み込みを行なう。そして、ステップＳ１１２で、ファイル内の全てに文字列がないことを判断すると、すなわち、ファイルエンドであると判断するとステップＳ１１３に進み、先頭から所定時間後のイントラ符号化画像をサムネイルの基となる画像として設定して処理を終了する。

一方、ステップＳ１０２の判断の結果、撮影したシーンに文字列が存在する場合にはステップＳ１０３に進み、文字列変換処理部１５による文字認識を行なう。次に、ステップＳ１０４において、文字列変換処理部１５による文字認識成功の判断と、文字認識の正確性について評価を行なう。

ステップＳ１０４の判断の結果、文字認識が不成功の場合にはステップＳ１０１に戻って前述した処理を繰り返し行なう。また、文字認識が成功した場合にはステップＳ１０５に進んで、抽出された文字情報出現の特徴に応じてパラメータ値を設定する。このパラメータ値の設定は、パラメータ値設定手段として機能する画像処理部１２によって行われる。次に、ステップＳ１０６に進んで、文字列のテキストデータと、文字情報出現の特徴を表わすパラメータ値とをペアで前記メモリ部１４に保存する。

次に、ステップＳ１０７に進んで、パラメータ値を次のように変換し、変換されたパラメータ値を用いて評価値の演算を行なう。
先ず、検出するタイミングを表わすパラメータ値である撮影開始からの経過時間は、ファイルの先頭に近いことを表わす重み付けとして、「開始１０秒までを５ポイント」、「開始３０秒までを２ポイント」と変換する。また、「開始１分までを１ポイント」、「その後０ポイント」と変換する。

また、ファイルの終了に近いことを表わす重み付けとして、「終了１０秒前までを５ポイント」、「終了３０秒前までを２ポイント」、「終了１分前までを１ポイント」、その前を０ポイントと変換する。検出時間の長さを表わすパラメータ値は、パラメータ値である秒数に、「１／１０」をかけた数値として変換する。

サムネイルボタン操作のタイミングを表わすパラメータ値は、「ボタン操作有りを１ポイント」、「ボタン操作無しを０ポイント」と変換する。抽出頻度を表わすパラメータ値は、抽出回数をポイントと変換する。文字列の大きさを表わすパラメータ値は、各種四角形の大きさによって与えられた数値をポイントとして変換する。画面内の位置を表わすパラメータ値も、数値をポイントとして変換する。認識の精度を表わすパラメータ値は、文字認識の正確性の割合をそのまま用いる。

評価値Ｈを求める計算式Ｈは、「Ｈ＝検出回数×｛（サムネイルボタン操作＋１）×文字認識の正確性×（先頭からのタイミング＋検出時間の長さ＋終了からのタイミング＋文字列の大きさ＋画面内の位置）｝」で計算される。

次に、ステップＳ１０８において、演算された評価値がメモリ部に保存される。次に、ステップＳ１０９で、保存されている評価値同士の大きさの比較を行ない、ファイル内で最も大きい評価値Ｘの選抜を行なう（ここでは、初期の評価値Ｘ＝０と定義されている）。ここで、最も大きい評価値Ｘの選抜を行なえなかった場合には、「ｉ＝ｉ＋１」してステップＳ１０１に戻り、前述した処理を繰り返し行なう。

ステップＳ１０９において、最も大きい評価値Ｘの選抜を行なったら、次に、ステップＳ１１０において、ファイル内の文字列全てについて比較を行なったか否かを判断する。この判断の結果、全てについて比較を行なった場合にはステップＳ１１１に進む。ステップＳ１１１においては、最も大きい評価値Ｘｉを持つ文字列が映っている画像を動画ファイルのサムネイルの基となる画像として設定する。

例えば、ファイル内の全ての文字列が、図２a、図２b、のシーンである『中区』と『市民大運動会』の文字列が映っているシーンのみである場合、『中区』が９.２ポイント、『市民大運動会』が５.４ポイントである。したがって、『中区』の文字列のほうが評価値の高い文字列と判断され、このファイルのサムネイルの基となる画像は『中区』の文字列が映っている図２（ａ）のシーンと決定される。

このようにして設定されたサムネイルの基となる画像を基に、サムネイル作成手段として機能する画像処理部１２がサムネイルを作成し、表示部１６にサムネイルが表示される。なお、自動的に設定されたサムネイルがユーザーの意図と異なった場合、評価値の大きい順に、表示部１６にリスト表示された文字列の映っている画像の中から、ユーザーが別の画像を選択してサムネイルとすることができる。

前述のような処理を行なうことにより、文字情報出現の特徴で定義されるパラメータを使用することで、複数の文字列が映っている複数の画像データの中から、煩わしい操作をせずとも、適切なサムネイルの基となる画像を選抜することができる。

また、本実施形態では、評価値Ｈを求める計算式を、下記のようにすることで、ユーザーがサムネイルにしようと意図して撮影を行った文字列の映っている画像をサムネイルとして選択することが可能となり、より正確にサムネイルを設定することができる。

「Ｈ＝ｈ×検出回数×｛（ｎ×サムネイルボタン操作＋１）×ｌ×文字認識の正確性×（ｘ×先頭からのタイミング＋ｙ×終了からのタイミング＋ｑ×検出時間の長さ＋ｐ×文字列の大きさ＋ｚ×画面内の位置）｝」で計算する。

ここで、抽出頻度の優先度を表わす係数ｈ、ｎ、文字認識の正確性の優先度を表わす係数ｌ、先頭からのタイミングの優先度を表わす係数ｘ、終了からのタイミングの優先度を表わす係数ｙ、検出時間の長さの優先度を表わす係数ｑとする。また、文字列の大きさの優先度を表わす係数ｐ、画面内の位置の優先度を表わす係数ｚとし、前述の係数ｌ、ｘ、ｙ、ｑ、ｐ、ｚを『サムネイルらしさの重み』を表わす値とする。

すなわち、ユーザーが前述のパラメータのうち、「どれを」、「どの程度」優先するかを、表示部１６のメニュー操作ボタンで操作することで、サムネイルらしさの重みを表わす値を変化させることができる。

このように、サムネイルらしさの重みを表わす値を変更することで、ユーザーがサムネイルにしようと意図して撮影を行った文字列を、サムネイルとして選抜することがより正確にできる。

前述のサムネイルらしさの重みを表わす値は、画像信号のデータファイルと同じ記録媒体（本実施形態においては光ディスク２０）に記録することによって、１つの記録媒体内でのサムネイルに一貫性を持たせることができる。また、サムネイルらしさの重みを表わす値を、前記画像信号のデータファイルと異なる記録媒体であって、例えば、ビデオカメラ本体内部の不揮発メモリ部（本実施形態においてはメモリ部１４）に記録する。このようにすることによって、同一のビデオカメラを用いて行った撮影において得られたデータファイルにおいて、サムネイルに一貫性を持たせることができる。

また、サムネイルとして使われなかった文字列の映っている画像を検索する場合、例えば、表示部１６に抽出頻度順や文字列の大きさ順や、評価値順に、取得した文字データをリストアップする。これにより、文字列を含んだ多くのシーンの中から、意図したシーンを検索することが容易となる。

図６−１は、１つの動画データファイルであるファイルＢを模式的に表わしたものである。図６−１において示されるシーン６-１、シーン６-２、シーン６-３、シーン６-４、シーン６-５の部分において、図６−２に示したような画像が記録されている。この例の場合、シーン６-１、シーン６-２、シーン６-３、シーン６-４、シーン６-５のそれぞれに文字列を含んだ画像が記録されている。

それぞれの画像における、文字列の評価値の順序は、シーン６-１＞シーン６-２＞シーン６-５＞シーン６-４＞シーン６-３の文字列となっている。つまり、ファイルＢにおける最も高い評価値の文字列は、シーン６-１の「１.時代劇の起」の文字列であるため、ファイル１のサムネイルは「１.時代劇の起」と決定される。

図７は、画像信号検索手段として機能する画像処理部１２が画像信号を検索する時に、ビデオカメラの表示部１６に表示される画像の一例を示す図である。ユーザーによるデータファイルの検索時には、例えば図７に示したように、ビデオカメラの表示部１６に、前述の方法で決定されたファイルＡのサムネイル７１と、ファイルＢのサムネイル７２と、ファイルＣのサムネイル７３とが一覧として表示される。この時、各サムネイルはビデオカメラの表示部１６に対して非常に小さい画像であるため、サムネイル画面のみでデータファイルの内容の確認を行なうことが難しい場合がある。

そこで、本実施形態のビデオカメラにおいては、それぞれのファイル中の最も高い評価値の文字列を、図７の７４、７５、７６のように、サムネイル画像と合わせて抽出した文字列を大きなテキストデータで表示する。このように表示することによって、ビデオカメラにおける小さい表示部を用いて行なうデータファイルの内容把握を補助している。

このとき、サムネイル画像と合わせて表示される文字列は、評価値に限らず、検出するタイミング、サムネイルボタン操作のタイミング、検出時間の長さ、抽出頻度、文字列の大きさ、画面内の位置、認識の精度、のパラメータを利用している。なお、サムネイル画像に映っている文字列と異なる文字列に切り替え可能としてもよい。

また、図８に示すように、１つのファイルＢ内のキャプチャ画像を検索する際にも、抽出された文字列を符号８１を付して示したように一覧的にリストアップする方法を用いてもよい。

また、図９に示すように、キャプチャ画像の一覧と合わせて、符号９１のように文字列を表示部１６に表示することで、キャプチャ画面を用いて行なうデータファイルの内容把握を補助することができる。このように、抽出した文字列を、検索時に使用することによって、意図するシーンの検索を容易に行なうことが可能となる。

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における動画撮像装置を構成する各手段、並びに動画撮像方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。

本発明の実施形態を示し、ビデオカメラの構成例を説明するブロック図である。 本発明の実施形態を示し、表示部に文字列が映っているデータファイル中の１シーンの一例を表わす図である。 本発明の実施形態を示し、画面内の位置を表わすパラメータ値を説明する図である。 本発明の実施形態を示し、規定された文字列の大きさを表わすパラメータ値を説明する図である。 本発明の実施形態を示し、画像データの取り込みからサムネイル選抜動作の制御手順の一例を説明するフローチャートである。 本発明の実施形態を示し、１つの動画ファイルを模式的に表わした図である。 本発明の実施形態を示し、シーン６-１〜シーン６-５のそれぞれに文字列を含んだ画像が表示部に表示される例を説明する図である。 本発明の実施形態を示し、検索時において表示部に表示される３つのファイルのサムネイルが表示部に一覧表示される様子を示す図である。 本発明の実施形態を示し、１つのファイル内のキャプチャ画像を検索する際に、抽出された文字列が表示部にリストアップされる例を表わす図である。 本発明の実施形態を示し、表示部の様子を表わす図である。

符号の説明

１１ 撮像部
１２ 画像処理部
１３ 制御部
１４ メモリ部
１５ 文字列変換処理部
１６ 表示部
１７ 操作部
１８ バッファ部
１９ 記録再生部
２０ 光ディスク

Claims (4)

1. 視覚情報を取り込んで画像信号を出力する撮像手段と、
   前記撮像手段から出力される画像信号を記録媒体に記録する記録手段と、
   記画像信号から文字情報を抽出する文字認識手段と、
   前記文字認識手段によって抽出された文字情報の出現の特徴に基づいた時間軸に関連したパラメータ値を前記文字情報と共に記憶するパラメータ値記憶手段と、
   前記パラメータ値記憶手段によって記憶されたパラメータ値を用いて文字情報ごとに評価値を演算する評価値演算手段と、
   前記文字情報の出現中に撮影者が押圧することで、異なるパラメータ値として前記評価値に加算させる操作手段と、
   前記演算された評価値の高い文字情報が抽出された画像信号に基づいて、サムネイルを作成するサムネイル作成手段とを有することを特徴とする動画撮像装置。
2. 前記パラメータ値は、文字情報の検出のタイミング、検出時間の長さ、検出頻度、文字の大きさ、文字列の画面内の位置、認識の精度の中から少なくとも１つ以上が記憶されることを特徴とする請求項１に記載の動画撮像装置。
3. 視覚情報を取り込んで画像信号を出力する撮像工程と、
   前記撮像工程において出力される画像信号を記録媒体に記録する記録工程と、
   前記画像信号から文字情報を抽出する文字認識工程と、
   前記文字認識工程において抽出された文字情報の出現の特徴に基づいた時間軸に関連したパラメータ値を前記文字情報と共に記憶するパラメータ値記憶工程と、
   前記パラメータ値記憶工程によって記憶されたパラメータ値を用いて文字情報ごとに評価値を演算する評価値演算工程と、
   前記文字情報の出現中に撮影者が押圧することで、異なるパラメータ値として前記評価値に加算させる操作工程と、
   前記演算された評価値の高い文字情報が抽出された画像信号に基づいて、サムネイルを作成するサムネイル作成工程とを有することを特徴とする動画撮像方法。
4. 前記パラメータ値は、文字情報の検出のタイミング、検出時間の長さ、検出頻度、文字の大きさ、文字列の画面内の位置、認識の精度の中から少なくとも１つ以上が記憶されることを特徴とする請求項３に記載の動画撮像方法。

Images