JP4568797B2 - ビデオカメラの撮影支援プログラム及び編集支援プログラム - Google Patents

Description

本発明は、ユーザによるビデオカメラの撮影を支援するための撮影支援プログラム、及びビデオカメラで撮影された動画像の編集を支援するための編集支援プログラムに関するものである。

近年、安価のディジタルビデオカメラが広く普及して、一般ユーザが、気軽に動画像を撮影することができるようになった。また、ディジタル化によって動画像をノンリニアに取り扱うことが可能になり、さまざまな動画像編集ソフトも販売されている。しかしながら、一般ユーザが編集作業を行うのは稀で、各家庭で大量の動画像が未編集のまま残されているのが現状である。これには２つの原因が考えられる。

まず、１つ目の原因は、動画像編集の知識がないことである。動画像編集作業では、まず撮影で失敗したショットを除外し、次に、複数のショットの中から、前後のショットとの関係を考慮した上で１つのショットを選択する。そして、そのショットを、情報量を失わず、かつ冗長性のない適切な長さに切り取って、ショットの接続を行う。これらのショットの選択、及びショットの長さの決定の仕方は無限に存在するが，制作者側の意図することを視聴者に正確に伝えることを目的として編集した場合、ある普遍的な規則が存在する。これを映像文法と呼ぶ。しかしながら、一般ユーザは、この映像文法を学習する機会がなく、編集に際してどのショットを使用したらいいのか、またどのショットを何秒ほど用いればいいのかが分からないため、動画像編集は困難なものとなっている。

そして、２つ目の原因は、撮影された動画像中に編集に適した動画像が少ないことである。本来、動画像は、前述した映像文法を考慮して撮影されるべきであるが、一般ユーザが編集を意識して撮影するのは非常に困難である。そのため、撮影した動画像を編集する段階になって、撮影した動画像中に編集に適したショットがないことに気がつくことになる。

ところで、動画像撮影テクニック指導教材の分野において、ユーザが撮影した映像をディスプレイ上に上映して、この映像内で、プロカメラマンにベスト構図、ズーム、パン、チル等の最良のテクニックを駆使して、ビデオカメラで撮影してもらい、プロカメラマンが撮影しなかった部分にスモークをかけることにより、容易かつ低費用でプロカメラマンの撮影テクニックを習得することができるようにしたものが知られている（例えば、特許文献１参照）。

しかしながら、上記のようなユーザが撮影した映像をディスプレイ上に上映して、この映像内でプロカメラマンに再撮影してもらう方法では、真に上記の映像文法に沿った、制作者側の意図することを視聴者に正確に伝えることが可能なショットを撮影することは難しい。また、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することはできない。

また、ビデオ編集支援システムの分野において、ビデオデータベース内のビデオデータから映像表現技法のパターンを抽出し、そのパターンに基づいて、ユーザが新たに撮影するビデオ映像に対して、特定の表現意図に合った映像表現技法を提供するようにしたものが知られている（例えば、特許文献２参照）。

しかしながら、上記のビデオデータベース内のビデオデータから特定の表現意図に合った映像表現技法のパターンを抽出するビデオ編集支援システムでは、ビデオデータベースに蓄積されたビデオデータが理想的なものである保障はなく、しかも、このビデオ編集支援システムで提供可能な映像表現技法は、シーンの数や長さに限られるため、ユーザは、このシステムを用いて、真に編集に適したショットを撮影することはできない。また、この発明では、上記特許文献１に示される発明と同様に、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することはできない。
特開平６−４０１６号公報（第１−４頁、図１） 特開２００２−２６２２１９号公報（第１−５頁、図１−５）

本発明は、上記の問題を解決するためになされたものであり、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができるようにして、編集に適した動画像を多く含む撮影画像を得ることが可能なビデオカメラの撮影支援プログラムを提供することを目的とする。また、本発明は、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができるようにして、編集に適した動画像を多く含む撮影画像を得ることができ、しかも、撮影した動画像中のどの部分が編集に適しているかを瞬時に把握することが可能なビデオカメラの編集支援プログラムを提供することを目的とする。

上記目的を達成するために請求項１の発明は、ビデオカメラの撮影を支援するためにプロセッサを、撮影手段により撮影された動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、撮影手段により撮影された動画像を用いて映像を編集する場合に、編集者がその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基づいて、カメラワーク解析手段による解析結果として得られたカメラワークに対して、注意を喚起するためのナビゲーションが必要か否かを判定する判定手段、及び判定手段によりナビゲーションが必要であると判定されたときに、ナビゲーション用の信号を出力する出力手段として機能させるためのビデオカメラの撮影支援プログラムである。

請求項２の発明は、請求項１に記載のビデオカメラの撮影支援プログラムにおいて、判定手段は、カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、激しい手ぶれに相当する部分が存在する場合、パン処理（カメラを回転させながら撮影を行う処理）時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン処理時の動画像（パン画像）やズーム処理時の動画像（ズーム画像）の前後に１秒間以上のフィックス画像（固定された視点で撮影された動画像）が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合に、このカメラワークに対して、注意を喚起するためのナビゲーションが必要であると判定するものである。

請求項３の発明は、請求項２に記載のビデオカメラの撮影支援プログラムにおいて、プロセッサを、さらに、カメラワーク解析手段による解析結果に基づき、カメラワークの開始点や終了点を境界として、撮影手段により撮影された動画像をショットに分類するショット分類手段、ショット分類手段により分類されたショットに対して、激しい映像のぶれがないフィックス画像のショット、正常な（速すぎない）パン処理時の動画像のショット、正常な（速すぎない）ズーム処理時の動画像のショット、速すぎるパン処理時の動画像のショット、速すぎるズーム処理時の動画像のショット、及び激しい映像のぶれにより利用できないフィックス画像のショットといったラベル付けを行うインデキシング手段、撮影手段による動画像の撮影の終了時に、インデキシング手段による各ショットへのラベル付け結果に基づいて、激しい映像のぶれがないフィックス画像のショットのうち、撮影時間が十分なショットの割合である時間正常率と、パン画像のショットのうち、正常なパン画像のショットの割合であるパン正常率と、ズーム画像のショットのうち、正常なズーム画像のショットの割合であるズーム正常率と、フィックス画像のショットのうち、激しい映像のぶれがないフィックス画像のショットの割合である、ぶれ正常率とを算出する正常率算出手段、正常率算出手段により算出した時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づいて、撮影手段により撮影された動画像についてのスコアを算出するスコア算出手段、及び正常率算出手段により算出した時間正常率、パン正常率、ズーム正常率又はぶれ正常率が、所定の閾値以下であるか否かを判定する正常率判定手段として機能させ、上記出力手段が、スコア算出手段による算出結果を表す信号と、正常率判定手段により所定の閾値以下であると判定された項目についての注意を促すためのガイド情報を表す信号とを出力するものである。

請求項４の発明は、請求項３に記載のビデオカメラの撮影支援プログラムにおいて、プロセッサを、さらに、ビデオカメラ内の操作手段を用いて、ユーザにより、ビデオカメラによる撮影対象となる行事の種類が選択されたときに、この選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、プロセッサ内の記憶装置から読み取る読取手段、及び読取手段により読み取ったショットのデータに基づいて、このショットの表示用の信号をビデオカメラ内の表示手段に出力するショット出力手段として機能させるものである。

請求項５の発明は、ビデオカメラで撮影された動画像の編集を支援するためにプロセッサを、撮影手段により撮影された動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、撮影手段により撮影された動画像を用いて映像を編集する場合に、編集者がその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基づいて、カメラワーク解析手段による解析結果として得られたカメラワークに対して、注意を喚起するためのナビゲーションが必要か否かを判定する判定手段、カメラワーク解析手段による解析結果に基づき、カメラワークの開始点や終了点を境界として、撮影手段により撮影された動画像をショットに分類するショット分類手段、ショット分類手段により分類されたショットに対して、激しい映像のぶれがないフィックス画像（固定された視点で撮影された動画像）のショット、正常な（速すぎない）パン処理時の動画像のショット、正常な（速すぎない）ズーム処理時の動画像のショット、速すぎるパン処理時の動画像のショット、速すぎるズーム処理時の動画像のショット、及び激しい映像のぶれにより利用できないフィックス画像のショットといったラベル付けを行うインデキシング手段、インデキシング手段による各ショットへのラベル付け結果に基づいて、フィックス画像のショットの撮影時間が３秒間以上である区間か、正常なパン処理時の動画像のショットの前後のショットが、いずれも撮影時間１秒以上のフィックス画像のショットである区間か、正常なズーム処理時の動画像のショットの前後のショットが、いずれも撮影時間１秒以上のフィックス画像のショットである区間を、ビデオカメラで撮影された動画像の編集時に利用することが望ましい推奨区間として検出する利用推奨区間検出手段、及び利用推奨区間検出手段により検出された推奨区間をビデオカメラ内の表示手段に表示するための信号を出力すると共に、判定手段によりナビゲーションが必要であると判定されたときに、リアルタイムにナビゲーション用の信号を出力する出力手段として機能させるためのビデオカメラの編集支援プログラムであって、判定手段は、カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、激しい手ぶれに相当する部分が存在する場合、パン処理時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン処理時の動画像（パン画像）やズーム処理時の動画像（ズーム画像）の前後に１秒間以上のフィックス画像が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合に、このカメラワークに対して、注意を喚起するためのナビゲーションが必要であると判定するものである。

請求項６の発明は、請求項５に記載のビデオカメラの編集支援プログラムにおいて、プロセッサを、さらに、撮影手段による動画像の撮影の終了時に、インデキシング手段による各ショットへのラベル付け結果に基づいて、激しい映像のぶれがないフィックス画像のショットのうち、撮影時間が十分なショットの割合である時間正常率と、パン処理時の動画像のショットのうち、正常なパン画像のショットの割合であるパン正常率と、ズーム処理時の動画像のショットのうち、正常なズーム画像のショットの割合であるズーム正常率と、フィックス画像のショットのうち、激しい映像のぶれがないフィックス画像のショットの割合である、ぶれ正常率とを算出する正常率算出手段、正常率算出手段により算出した時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づいて、撮影手段により撮影された動画像についてのスコアを算出するスコア算出手段、及び正常率算出手段により算出した時間正常率、パン正常率、ズーム正常率又はぶれ正常率が、所定の閾値以下であるか否かを判定する正常率判定手段として機能させ、上記出力手段が、スコア算出手段による算出結果を表す信号と、正常率判定手段により所定の閾値以下であると判定された項目についての注意を促すためのガイド情報を表す信号とを出力するものである。

請求項７の発明は、請求項６に記載のビデオカメラの編集支援プログラムにおいて、プロセッサを、さらに、ビデオカメラ内の操作手段を用いて、ユーザにより、ビデオカメラによる撮影対象となる行事の種類が選択されたときに、この選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、プロセッサ内の記憶装置から読み取る読取手段、及び読取手段により読み取ったショットのデータに基づいて、このショットの表示用の信号をビデオカメラ内の表示手段に出力するショット出力手段として機能させるものである。

請求項１の発明によれば、リアルタイムにユーザのカメラワークを解析して、ユーザにそのカメラワークに関する注意を喚起するためのナビゲーションを行うことができる。これにより、ユーザが編集に適した動画像を多く含む撮影画像を得ることができる。

請求項２の発明によれば、カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、激しい手ぶれに相当する部分が存在する場合、パン処理時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン画像やズーム画像の前後に１秒間以上のフィックス画像が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合に、このカメラワークに対して、注意を喚起するためのナビゲーションが行われる。これにより、上記請求項1に記載の効果を的確に得ることができる。

請求項３の発明によれば、撮影された動画像について、時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づくスコアと、これらの正常率の中で所定の閾値以下である正常率についての注意を促すためのガイド情報とを出力することができる。これにより、ユーザにより撮影された動画像におけるカメラワークを客観的に評価、採点することができると共に、このカメラワークについての改善点を提示することができる。

請求項４の発明によれば、ユーザによる選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、ビデオカメラ内の表示手段に表示することができる。これにより、プロのカメラマンと同様なカメラワークやカメラアングルで撮影することができるので、見栄えのする動画像を得ることができる。

請求項５の発明によれば、リアルタイムにユーザのカメラワークを解析して、ユーザにそのカメラワークに関する注意を喚起するためのナビゲーションを行うことができる。これにより、ユーザが編集に適した動画像を多く含む撮影画像を得ることができる。また、フィックス画像のショットの撮影時間が３秒間以上である区間か、正常なパン処理時の動画像のショットの前後のショットがいずれも撮影時間１秒以上のフィックス画像のショットである区間か、正常なズーム処理時の動画像のショットの前後のショットがいずれも撮影時間１秒以上のフィックス画像のショットである区間を、ビデオカメラで撮影された動画像の編集時に利用することが望ましい推奨区間として検出することができるので、ユーザが、撮影した動画像中のどの部分が編集に適しているかを、客観的な基準に基づいて瞬時に把握することができる。

請求項６の発明によれば、上記請求項５に記載の効果に加えて、請求項３に記載の効果と同様な効果を得ることができる。

請求項７の発明によれば、上記請求項６に記載の効果に加えて、請求項４に記載の効果と同様な効果を得ることができる。

本発明を実施するための最良の形態について図面を参照して説明する。本発明は、ユーザによるビデオカメラの撮影を支援するための撮影支援プログラム、及びビデオカメラで撮影された動画像の編集を支援するための編集支援プログラムに関するものであり、編集に適した動画像を多く含む撮影画像を得ることができ、しかも、撮影した動画像中のどの部分が編集に適しているかを瞬時に把握することができるようにしたものである。本実施形態では、本発明による撮影支援プログラム及び編集支援プログラムをディジタルビデオカメラのＲＯＭ内に格納した場合の例について説明する。なお、以下に記載した実施形態は、本発明を網羅するものではなく、本発明は、下記の形態だけに限定されない。

図１は、本実施形態による撮影支援プログラム及び編集支援プログラム（以下、これらをまとめて支援プログラムと呼ぶ）を内蔵したディジタルビデオカメラの構成を示す。このディジタルビデオカメラ１は、支援プログラム２を記憶したＲＯＭ３と、このＲＯＭ３から各種のプログラムを読み込んで、カメラ全体の制御を行うマイクロプロセッサ４（プロセッサ）と、撮像素子であるＣＣＤ（Charge Coupled Device）５（撮影手段）と、ＣＣＤ５から出力されたアナログ信号の形式の動画像データをデジタル信号の形式に変換するＡ／Ｄ変換部６と、Ａ／Ｄ変換部６から出力されたデジタル信号（Ｒ，Ｇ，Ｂの撮像信号）の形式の動画像データを一時的に蓄積する画像メモリ７と、画像メモリ７から読み込んだＲ，Ｇ，Ｂの撮像信号の形式の動画像データに文字等のデータを重合させるためのＯＳＤ合成部８と、ＯＳＤ合成部８を経由したＲ，Ｇ，Ｂの撮像信号をＮＴＳＣコンポジット信号に変換するＮＴＳＣエンコーダ９と、ＮＴＳＣエンコーダ９からの出力信号をアナログ信号に変換して、テレビジョン等の外部出力機器に出力するＤ／Ａ変換部１０とを有している。また、ディジタルビデオカメラ１は、ＯＳＤ合成部８から出力されたＲ，Ｇ，Ｂの撮像信号の形式の動画像データに対するＭＰＥＧ方式の圧縮処理と、カードメモリ１３から読み出したＭＰＥＧ圧縮された動画像データに対する伸長処理とを行うＭＰＥＧ圧縮伸長部１２、及びＭＰＥＧ圧縮伸長部１２でＭＰＥＧ圧縮された動画像データを記憶するカードメモリ１３を有している。さらに、ディジタルビデオカメラ１は、ＯＳＤ合成部８を経由したＲ，Ｇ，Ｂの撮像信号に基づく画像を表示するための液晶ファインダ１１（表示手段）と、各種の操作キー等よりなる操作部１４とを有している。上記の液晶ファインダ１１は、ＲＯＭ内に格納された、各種の行事についてプロのカメラマンが予め撮影したショットの動画像を表示する際にも使用される。なお、請求項におけるカメラワーク解析手段、判定手段、出力手段、ショット分類手段、インデキシング手段、正常率算出手段、スコア算出手段、正常率判定手段、読取手段、ショット出力手段、利用推奨区間検出手段は、上記のマイクロプロセッサ４及び支援プログラム２により実現される。

次に、図２のフローチャートを参照して、上記の支援プログラム２に基づくマイクロプロセッサ４の処理について説明する。ユーザにより撮影（Ｓ１）が開始されると、ＣＣＤ５から出力されたアナログ信号の形式の動画像データが、Ａ／Ｄ変換部６によりデジタル信号の形式に変換されて、このデジタル信号（Ｒ，Ｇ，Ｂの撮像信号）の形式の動画像データが画像メモリ７に一時的に蓄積される。マイクロプロセッサ４は、支援プログラム２の命令に基づいて、画像メモリ７に格納されたＲ，Ｇ，Ｂの撮像信号の形式の動画像データを読み込んで、この動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析する（Ｓ２）。

次に、図３を参照して、上記Ｓ２に示されるカメラワーク解析処理について簡単に説明する。このカメラワーク解析処理は、投影法を用いたものであり、上記のように、撮影した動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、動画像を撮影した際のカメラワークを解析するものである。

一般に、ディジタル画像は、画素と呼ばれる正方形の集合によって表され、画像の縦や横の長さは何百画素というように表される。ディジタル画像では、色は、Ｒ，Ｇ，Ｂの３色の光の合成で表現されており、個々の画素は、この色情報をＲ，Ｇ，Ｂに分けてそれぞれ０〜２５５の２５６段階で保持している。

また、輝度は、単位面積あたりの明るさを表す尺度であり、白黒画像の明るさに等しい値となり、白いほど輝度が高くなる。輝度は、カラー画像を構成するＲ，Ｇ，Ｂの撮像信号を元に、
輝度 ＝ 赤×０．３０ ＋ 緑×０．５９ ＋ 青×０．１１
の式で求めることができる。

上記の式を用いて各画素の輝度を求め、すべての行と列に対して、その一列または一行の輝度の平均を求めることで、１枚の画像の特徴を２つのグラフに落とし込む（１つの縦×横×輝度の３次元情報から、縦×輝度、横×輝度の２つの２次元情報を得る）。これが輝度投影量で、白っぽい画素が多く存在する行や列は投影量が高くなり、黒っぽい画素が多く存在する行や列は投影量が低くなる。たとえば、図３に示されるフレーム２１の場合、行２２には人２３の存在が、行２４には人２３の存在と車２５の存在が投影量に影響を与えることになり、行２２と行２４の間には車２５の有無による投影量の違いが現れる。実際の作業では、画像のすべての行に対してこの作業が行われるため、図３のグラフ２６のような曲線的な変化になる。上記のように、撮影された動画像を構成する各フレーム画像には、明るい行や列、暗い行や列のばらつきが存在し、その特徴を横×輝度のグラフ２６や、縦×輝度のグラフ（図５中のグラフＰ_Ｙ（ｆ，ｉ）を参照）により取り出すことができる。この特徴量をフレーム画像毎に取り出して比較することで、ユーザのカメラワークを解析することができる。

上記のカメラワーク解析処理においては、縦横方向へのパン処理（ディジタルビデオカメラ１を回転させながら撮影を行う処理）による移動量の算出、ズーム処理におけるズーム量の算出、及び各フレームの明度算出が行われる。

上記の各処理のうち、横方向へのパン処理による移動量の算出は、以下のようにして行われる。まず、図４に示されるように、パン処理の前におけるフレーム画像２１における投影量を表す縦×輝度のグラフ３１と、パン処理の後におけるフレーム画像３２における投影量を表す縦×輝度のグラフ３３とを重ね合わせ、画像幅の±１０％の範囲で左右にずらしながら、最も特徴が似ている位置を探す。このパン処理の前のグラフ３１とパン処理の後のグラフ３３との重ね合わせには、パン処理の前のグラフ３１の中央部３４（フレーム画像からとり得る最大の移動量分だけそれぞれの両端から除いた中央の部分）と、パン処理の後のグラフ３３における、中央部３４と同じ大きさのエリア３４’が用いられる。そして、画像幅の±１０％の範囲で左右にずらしながら、最も特徴が似ている位置を探す。実際には、画像幅の±１０％の範囲で１ピクセルずつ左右にずらしながら、その輝度投影量の差を縦一列ごとに計算して合計し、その合計値が最小となるところをパン処理による移動量と推定する。図４の場合、左にずらした位置Ａにおいて、パン処理の前のグラフ３１の中央部３４とパン処理の後のグラフ３３におけるエリア３４’との投影量の差が最小となるので、右にパンした（パン処理により右方向に移動した）と推定される。実際には、図に示される位置Ａ，Ｂ，Ｃだけではなく、画像幅の±１０％の範囲で、およそ６０〜１２０通りの位置において、投影量の差が最小となるエリア３４’の検出処理が行われる。縦方向へのパン処理による移動量も同様の作業で推定される。また、ズーム処理におけるズーム量の推定処理は、輝度投影量の長さを拡大または縮小し、上記のパン処理による移動量の算出の場合と同様に、輝度の差の合計が最小値となるところをズーム量と推定する。これらの投影法を用いたカメラワーク解析法は、処理速度に優れている。従って、この投影法を用いたカメラワーク解析法を用いて、撮影中にリアルタイムでカメラワークの解析を行うことが可能である。

次に、上述した投影法を用いたカメラワーク解析処理の詳細について、数式を用いて説明する。まず、上記の輝度投影量について、数式を用いて説明する。図５は、投影分布作成の概念を示す。図において、フレームｆの画像について、水平方向に投影した分布をＰ_Ｘ(ｆ，ｊ)、垂直方向に投影した分布をＰ_Ｙ(ｆ，ｉ)で表している。ｉは、１からフレーム画像の幅ｗまでの範囲をとり、ｊは，同様に１から画像の高さｈまでの範囲をとる。図中のフレームｆとＰ_Ｘ(ｆ，ｊ)とは、それぞれ図３中のフレーム２１とグラフ２６中の投影分布とに相当する。画像フレームｆ中の座標（ｉ，ｊ）の輝度値をＧｒａｙ（ｆ，ｉ，ｊ）で表したとき、輝度投影量Ｐ_Ｘ(ｆ，ｊ)，Ｐ_Ｙ(ｆ，ｉ）の各値は、下記の式（１）、（２）のように表すことができる。

次に、上記のパン処理による移動量の推定処理（パン判定処理）について、数式を用いて説明する。このパン判定処理では、２つのフレーム間の縦横方向の移動量を算出する。図６は、移動量算出の概要を示す。図中のフレームｆ、フレーム（ｆ＋ｋ）、Ｐ_Ｙ(ｆ，ｉ）、Ｐ_Ｙ(ｆ＋ｋ，ｉ）は、それぞれ図４中のフレーム２１、フレーム３２、グラフ３１中の投影分布、グラフ３３中の投影分布に相当する。時間的に近接しているフレームｆとフレーム（ｆ＋ｋ）とからそれぞれ求めた投影分布、Ｐ_Ｙ(ｆ，ｉ）とＰ_Ｙ(ｆ＋ｋ，ｉ）とを比較することにより、フレームｆ〜フレーム（ｆ＋ｋ）間の横方向の移動量Ｐａｎ_ｌｒを計算する。また、Ｐ_Ｘ(ｆ，ｊ)とＰ_Ｘ(ｆ＋ｋ，ｊ)とを比較することにより、縦方向の移動量Ｐａｎ_ｕｄを計算する。横方向の比較には、フレームｆからとり得る最大の移動量ｄ_ｌｒ分だけ両端からそれぞれ除いた中央部のみを用い、フレーム（ｆ＋ｋ）の投影分布を±ｄ_ｌｒ画素の範囲で横方向にシフトさせながら比較を行う。同様に、縦方向の比較には、フレームｆからとり得る最大の移動量ｄ_ｕｄ分だけ上下からそれぞれ除いた中央部のみを用い、フレーム（ｆ＋ｋ）の投影分布を±ｄ_ｕｄ画素の範囲で縦方向にシフトさせながら比較を行う。最も相関の高いときのシフト量が縦横方向の移動量、Ｐａｎ_ｕｄ，Ｐａｎ_ｌｒとなる。ここで、２つのフレーム間の縦横方向の投影距離は、それぞれ下記の式（３）、（４）として計算され、横方向の移動量Ｐａｎ_ｌｒと縦方向の移動量Ｐａｎ_ｕｄは、それぞれ下記の式（５）、（６）として定義することができる。なお、δ_ｌｒには、（δ_ｌｒ＝−ｄ_ｌｒ，・・，０，・・ｄ_ｌｒ）を、δ_ｕｄには、（δ_ｕｄ＝−ｄ_ｕｄ，・・，０，・・ｄ_ｕｄ）をそれぞれ用いる。最小距離が複数現れた場合は、対応するδ_ｌｒ，δ_ｕｄのうち、前フレームと同符号のδ_ｌｒ，δ_ｕｄを優先とし，また絶対値が最も小さいδ_ｌｒ，δ_ｕｄを選択する。これは、小さい動きを優先することに相当する。

次に、上記のズーム処理におけるズーム量の推定処理（ズーム判定処理）について、数式を用いて説明する。図７は、ズーム量算出の概要を示す。図中のフレームｆは、図３中のフレーム２１に相当する。まず、式（２）で求めたフレームｆの水平方向の投影分布Ｐ_Ｘについて、とり得るズーム量を仮定し、その仮定ズーム量の分だけ拡大、縮小された投影分布図を作成する。拡大・縮小された投影量を、下記の式（７）に示す。

とり得る最大のズーム量をｄ_ｚとすると、上記の式（７）中のδ_ｚは、（−ｄ_ｚ，・・，０，・・ｄ_ｚ）画素の範囲で、１画素単位で変化するので、２×ｄ_ｚ＋１個の投影分布Ｐ_ｚを作成する。ｄ_ｚの値は、対応すべきズームの最大速度によって決定される。

このようにして求めた投影分布のそれぞれについて、近接するフレーム画像で求めた投影分布Ｐ_Ｘ(ｆ＋ｋ，ｊ)と比較することで、ズーム量を計算する。比較には、とり得る最大のズーム量ｄ_ｚ分だけ上下からそれぞれ除いた中央部のみを用い、最も相違度の低い投影分布を作成したときのズーム量を求める。このズーム量を求める式が下記の式（８）である。

上記と同様に、垂直方向のズーム率も得ることができるが、横より縦の画素数が少ない。このため、ズームによる拡大縮小の変化の特徴が投影量に出にくいことが予想され、検出精度が悪くなる可能性がある。また、ズーム量は水平方向からのみで十分算出されることを考えると、余計な計算は処理速度を落とすので、この実施形態では、垂直方向のズーム率を求めない。

ズームの倍率は、下記の式（９）で計算できる。

しかし、拡大は１より大きい実数、縮小は０より大きく１より小さい実数として計算されるため、正負の値を持つパン量と同列に比較することができない。そこで、パン量と同列に扱うため、下記の式（１０）を用いて変換する。式（１０）では、パン量とのスケールの違いを合わせるため、ｈ_ｄ＝６００を用いている。

次に、上記の各フレームの明度算出について、数式を用いて説明する。各フレームの持つ明るさは、上記の（２）式に示される輝度投影量Ｐ_Ｙ(ｆ，ｉ）のｉ＝１からｉ＝ｗまでの総和で表すことができる。フレームｆの明るさを、下記の式（１１）に示す。

次に、図２のフローチャートにおける処理の説明に戻る。マイクロプロセッサ４は、支援プログラム２の命令に基づいて、Ｓ２に示されるカメラワーク解析処理で得られた解析結果より、ユーザのカメラワークに対して、注意を喚起するためのナビゲーションが必要か否かを判定する（Ｓ３）。このナビゲーションが必要と判定される場合は、例えば、カメラワーク解析処理の結果として得られたカメラワークに、激しい手ぶれに相当する部分が存在する場合、パン処理（カメラを回転させながら撮影を行う処理）時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン処理時の動画像（パン画像）やズーム処理時の動画像（ズーム画像）の前後に１秒間以上のフィックス画像（固定された視点で撮影された動画像）が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合である。そして、マイクロプロセッサ４は、ナビゲーションが必要であると判定した場合は（Ｓ３でＹＥＳ）、必要であると判定した理由に応じて、「映像のぶれが極端に激しい」、「カメラワークが速すぎる」、「十分な時間のフィックス画像が撮影されなかった」等のナビゲーション情報を液晶ファインダ１１上に表示する（Ｓ４）。

マイクロプロセッサ４は、ユーザによる撮影が終了するまで（Ｓ５でＮＯ）、上記のＳ１乃至Ｓ４の処理を繰り返す。そして、上記Ｓ２に示されるカメラワーク解析の結果に基づき、カメラワークの開始点や終了点を境界として、Ｓ１の処理で撮影された動画像をショットに分類する。そして、分類後の各ショットに対して、激しい映像のぶれがないフィックス画像のショット、正常な（速すぎない）パン処理時の動画像のショット、正常な（速すぎない）ズーム処理時の動画像のショット、速すぎるパン処理時の動画像のショット、速すぎるズーム処理時の動画像のショット、及び激しい映像のぶれにより利用できないフィックス画像のショットといったラベル付け（インデキシング）を行う（Ｓ６）。

上記の各ショットに対するラベル付けが終了すると、マイクロプロセッサ４は、各ショットへのラベル付け結果のデータ（インデックス情報）に基づいて、Ｓ１で撮影された動画像の編集時に利用することが望ましい区間である推奨区間を検出する。具体的には、マイクロプロセッサ４は、上記のインデックス情報を読み込んで、このインデックス情報の中に、正常な（激しい映像のぶれがない）フィックス画像のショットの区間（以下、Ｆｉｘ区間という）が存在するか否かを、インデックス情報の先頭から順番に検索する。そして、Ｆｉｘ区間を検出すると（Ｓ７でＹＥＳ）、検出されたＦｉｘ区間の次のショットの区間が、正常な（激しい映像のぶれがない）フィックス画像のショットの区間（Ｆｉｘ区間）、正常な（速すぎない）パン処理時の動画像のショットの区間（Ｐａｎ区間）、又は正常な（速すぎない）ズーム処理時の動画像のショットの区間（Ｚｏｏｍ区間））であるか否かを判定する（Ｓ８）。この結果、正常である場合には（Ｓ８でＹＥＳ）、マイクロプロセッサ４は、さらに次のショットの区間がＦｉｘ区間であるか否かを判定する（Ｓ９）。そして、Ｓ９の判定の結果、Ｆｉｘ区間である場合には（Ｓ９でＹＥＳ）、上記のＳ７で検出されたＦｉｘ区間、及びＳ８、Ｓ９で判定対象となった区間を、推奨区間として検出する（Ｓ１０）。具体的には、連続する３つのショットの区間が、Ｆｉｘ区間−Ｐａｎ区間−Ｆｉｘ区間、Ｆｉｘ区間−Ｚｏｏｍ区間−Ｆｉｘ区間、又はＦｉｘ区間−Ｆｉｘ区間−Ｆｉｘ区間となったときに、これらの連続する３つのショットの区間を推奨区間として検出する。

上記のような推奨区間の決定方法を採用した理由は、以下の通りである。すなわち、フィックス画像のショットは、曖昧さを残さず見やすくわかりやすい映像、パン処理時やズーム処理時のショットは、曖昧さを多く残す映像となるため、パン処理やズーム処理を行う際には、この曖昧さを軽減するために、Ｐａｎ区間やＺｏｏｍ区間の前後にＦｉｘ区間があることが望ましいとされているからである。

なお、上記のように、単純に、連続する３つのショットの区間が、上記のいずれかの組み合わせになるか否かに基づいて、推奨区間を検出するのではなく、各ショットの区間の時間的な長さに注目して、推奨区間を検出することが望ましい。例えば、連続する３つの区間の組み合わせが、Ｆｉｘ区間−Ｆｉｘ区間−Ｆｉｘ区間であるときには、これらの区間の撮影時間が合計で３秒間以上であるときに、この区間を推奨区間とすることが望ましい。また、連続する３つの区間の組み合わせが、Ｆｉｘ区間−Ｐａｎ区間−Ｆｉｘ区間、又はＦｉｘ区間−Ｚｏｏｍ区間−Ｆｉｘ区間であるときには、Ｐａｎ区間又はＺｏｏｍ区間の前後のＦｉｘ区間の撮影時間が、いずれも１秒以上であることが望ましい。

マイクロプロセッサ４は、支援プログラム２の命令に基づいて、上記Ｓ７乃至Ｓ１０の処理で検出された推奨区間の開始点と終了点に相当するフレーム画像及び撮影時間を、液晶ファインダ１１に出力表示する（Ｓ１１）。また、本実施形態では、これらの推奨区間のショットを液晶ファインダ１１で再生したり、上記の推奨区間検出処理の結果を液晶ファインダ１１上にグラフで視覚的に表示することも可能である。

マイクロプロセッサ４は、上記の推奨区間検出処理と共に、下記のスコアリング処理も行う。すなわち、マイクロプロセッサ４は、支援プログラム２の命令に基づいて、上記Ｓ６のインデキシング処理の結果として得られたインデックス情報を読み込んで、このインデックス情報中におけるＦｉｘ区間の時間的な十分性（正常性）を判定する（Ｓ１２）。ただし、フィックス画像に必要な時間の長さは、その映像の距離感で異なるので、各ショットの距離感を考慮した上で、Ｆｉｘ区間の時間的な十分性を判定する。

上記の点について詳細に説明する。映像文法において、映像の距離感は、ルーズショット（ＬＳ）、ミディアムショット（ＭＳ）、タイトショット（ＴＳ）の３種類に大別される。これらは相対的なショットの概念であり、あるショットより対象に近寄ったショットをタイトショット、あるショットより対象から離れたショットをルーズショット、その中間をミディアムショットという。一般に、より遠くから撮影した画像は、近くから撮影した画像に比べて、一画面内により多くの情報を持つ。従って、人がこれを認識するためには、より多くの時間が必要となる。認識するのに必要とされる時間は経験的に定められており、映像文法では、この分類に基づき、フィックス画像に必要な時間の長さが、ＬＳは６秒、ＭＳは４秒、ＴＳは２．５秒と定義されている。これらは相対的な定義づけであるため、本実施形態では、個々のＦｉｘ区間に対し、ある画像が別の画像の一部として存在していないかなどを調べることで、ショットの分類を行っている。そして、この分類結果に応じて、Ｆｉｘ区間の時間的な十分性を判定している。

次に、マイクロプロセッサ４は、支援プログラム２の命令に基づいて、上記Ｓ１２に示されるＦｉｘ区間の時間的な正常性の判定結果を踏まえつつ、上記Ｓ６の処理で得られたインデックス情報を統計的にまとめる処理を行う（Ｓ１３）。そして、この統計処理の結果に基づいて、上記Ｓ１の撮影処理で得られた動画像に関するスコアを算出する（Ｓ１４）。

次に、上記のスコア算出処理について、具体的に説明する。例えば、上記のインデックス情報の統計的処理の結果が、以下のようであったとする。
Fix: 6 インデックス情報における正常な（激しい映像のぶれがない）Ｆｉｘ区間の総数が６である
Pan: 9 正常なＰａｎ区間の総数が９である
Zoom: 3 正常なＺｏｏｍ区間の総数が３である
Can't use: 4 映像のぶれが激しく利用に適さないと判定された区間が４である
Too fast pan: 3 速すぎると判定されたＰａｎ区間が３である
Too fast zoom: 7 速すぎると判定されたＺｏｏｍ区間が７である
Bright: 0 明るすぎる区間が０である
Dark: 0 暗すぎる区間が０である

マイクロプロセッサ４は、上記のインデックス情報の統計的処理の結果に基づいて、スコア算出の元となる中間値を求める。まず、フィックス画像のショットのうち、撮影時間が十分なショットの割合（Ｆｉｘ区間のうち撮影時間が十分な区間の割合）である時間正常率を求める。具体的には、上記Ｓ１２に示されるＦｉｘ区間の時間的な正常性の判定の結果、正常であると判定されたＦｉｘ区間が４つであったとすると、この時間的に正常なＦｉｘ区間の数と、上記のインデックス情報における正常な（激しい映像のぶれがない）Ｆｉｘ区間の総数とに基づいて、時間正常率は、４／６≒６６％となる。

また、パン処理時の動画像（パン画像）のショットのうち、正常なパン画像のショットの割合（正常なＰａｎ区間と速すぎると判定されたＰａｎ区間の合計のうち、正常なＰａｎ区間の割合）であるパン正常率は、Pan／（Pan + Too fast pan）＝９／（９＋３）＝７５％となる。さらにまた、ズーム処理時の動画像（ズーム画像）のショットのうち、正常なズーム画像のショットの割合（正常なＺｏｏｍ区間と速すぎると判定されたＺｏｏｍ区間のうち、正常なＺｏｏｍ区間の割合）であるズーム正常率は、Zoom／（Zoom + Too fast zoom）＝３／（３＋７）＝３０％となる。また、フィックス画像のショットのうち、激しい映像のぶれがないフィックス画像のショットの割合（正常な（激しい映像のぶれがない）Ｆｉｘ区間と映像のぶれが激しく利用に適さないと判定された区間のうち、正常なＦｉｘ区間の割合）である、ぶれ正常率は、Fix／（Fix + Can't use）＝６／（６＋４）＝６０％となる。

マイクロプロセッサ４は、上記の時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づいて、Ｓ１で撮影した動画像についてのスコアを算出する。そして、上記のスコアと共に、スコアの向上に有用な撮影ガイド情報を液晶ファインダ１１に出力する（Ｓ１５）。液晶ファインダ１１は、これらのスコアや撮影ガイド情報を表示する。上記の撮影ガイド情報は、例えば、上記の時間正常率、パン正常率、ズーム正常率又はぶれ正常率が、所定の閾値以下であると判定された場合や、所定の閾値以上であると判定された場合に、液晶ファインダ１１上に表示される。上記の例の場合、ズーム正常率が余りよくないので、液晶ファインダ１１上にユーザにズームに関する注意を促すためのガイド情報が表示される。

次に、上記の支援プログラム２により、ユーザの撮影時のスコアが、どのように向上していくかについて、実験結果に基づいて説明する。この実験では、１０人の被験者に、それぞれ２分程度、２〜３回の撮影を行ってもらった。１回目は、特に撮影法に関する指示を与えずに、任意に撮影をしてもらった。２回目は、１回目のスコアやガイドに従ってスコアの向上を目指してもらった。３回目は、１，２回目の結果をふまえて、さらに向上を目指してもらった。下記の実験において、カメラワーク検出は、秒間６回、すなわち１／６秒毎に行った。この実験では、上記図２中のＳ１５に示される撮影ガイド情報として、以下のような情報を表示した。
（ア）フィックス画像が十分な長さ（３秒間以上）で撮影されている
（イ）フィックス画像の撮影時間が短いもの（３秒未満）が多い
（ウ）適切なスピードのパン操作（過去１秒間において幅や高さの１５％以上の移動がないパン操作）で撮影できているものが多い
（エ）速すぎるパン操作（過去１秒間において幅や高さの１５％以上の移動があるパン操作）で撮影されたものが多い
（オ）適切なスピードのズーム操作（過去１秒間において１％以上のズームがないズーム操作）で撮影されたものが多い
（カ）速すぎるズーム操作（過去１秒間において１％以上のズームがあるズーム操作）が多い
（キ）映像のぶれが激しいもの（カメラワークの安定性が低いもの。すなわち、過去１秒間におけるPan量（移動量）の最大値と最小値の差がフレーム画像の幅や高さの１５％を超えるもの。具体例については後述する。）が多い
（ク）過去のスコアとの比較（２回目以降）

なお、上記（エ）における幅の１５％とは、横幅３２０ピクセルのフレーム画像の場合、４８ピクセルに相当する。また、上記（キ）に示される「過去１秒間におけるPan量（移動量）の最大値と最小値」は、例えば、過去１秒のカメラワークにおいて、横方向のPan量（移動量）が、右に１ピクセル、右に２ピクセル、右に１ピクセル，右に６ピクセル、右に６ピクセル、右に７ピクセルと検出された場合、７ピクセルと１ピクセルになる。従って、上記（キ）に示される「過去１秒間におけるPan量（移動量）の最大値と最小値の差」は、６ピクセルとなる。この例の場合、フレーム画像の横幅が３２０ピクセルであるとすれば、上記の差は、フレーム画像の横幅の１５％以内に収まるので、映像のぶれは問題ないと判定される。

図８及び図９に示されるように、２回目の実験において、１０人中９人のスコアの向上を確認することができた。３回目の実験においても、４人全員にスコアの向上が見られ、本システムの有効性を確認することができた。

次に、この支援プログラム２を格納したディジタルビデオカメラ１に導入されているパターンガイドについて説明する。一般に、素人が映像を撮影する際、何を撮っていいか分からない、どのように撮っていいか分からない、撮り漏らしがある等の問題がある。従来は、これらの問題を解決するためには、ユーザが、撮影の教則本を読む、上手な人から習う等の方法しかなかった。この支援プログラム２は、ディジタルビデオカメラ１の液晶ファインダ１１に、どのような映像を撮影すればよいかを表示することができるようにして、上記の問題を解消した。

具体的には、予めプロのカメラマンが撮影した映像のスナップショットを用意しておき、撮影すべき一連のシーンが液晶ファインダ１１上にメニューで表示されるようにする。例えば、結婚式の撮影では、図１０（ａ）に示される「新郎新婦の入場場面」や、図１０（ｂ）に示される「仲人の挨拶場面」等のシーンのサムネイル画像がメニューに表示される。ユーザが、メニュー上のいずれかのシーンのサムネイル画像を選択すると、選択されたサムネイル画像のフルスケール画像が液晶ファインダ１１上に表示されて、撮影の構図が示される。ユーザは、この構図に従って、似たようなアングルで撮影を行った後、上記のメニューに戻って、次に撮影すべきシーンのサムネイル画像を選択する。これにより、プロのカメラマンでなくても、プロのカメラマンと似たようなカメラワークやカメラアングルで撮影することができ、見栄えのする映像を撮影することができる。このようなガイダンス用のスナップショットのデータを、「誕生日」、「運動会」、「結婚式」等の典型的な行事毎に用意して、ＲＯＭ３内に格納しておく。

一方、行事ではなく、日常の撮影時には、支援プログラム２に含まれるパターンガイド用のプログラムは、一般的な撮影原則をユーザに提示する。例えば、撮影開始時には、「どこで（場面の遠景）」を見せるために、ロングショットで６秒間撮るように指示する。次に、「誰が」を見せるために、ミドルショットで４秒間撮るように指示する。さらに、「何を」を見せるために、タイトショットで３秒間撮るように指示する。そして、その後は、ミドルショットとタイトショットの組み合わせで撮影するように指示する。この場合、ミドルショットとかロングショットと言われても、素人には分からないので、液晶ファインダ１１上に、図１１に示されるようなマーク８２〜８４と時間８５の入った画像８１を表示する。この画像８１上の各マーク８２、８３、８４は、それぞれロングショット、ミドルショット、タイトショットに対応している。従って、画像８１上のマーク８２〜８４と時間８３は、まず、ロングショットを６秒間撮ってから、ミドルショットを４秒間撮り、その後、タイトショットを３秒間撮ることを意味している。

上記のように、本実施形態による支援プログラム２を内蔵したディジタルビデオカメラ１によれば、リアルタイムにユーザのカメラワークを解析して、ユーザにそのカメラワークに関する注意を喚起するためのナビゲーションを行うことができる。これにより、ユーザが編集に適した動画像を多く含む撮影画像を得ることができる。また、撮影された動画像について、時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づくスコアと、スコア向上のためのガイド情報とを出力することができる。これにより、ユーザによって撮影された動画像におけるカメラワークを客観的に評価、採点することができると共に、このカメラワークについての改善点を提示することができる。さらにまた、ユーザによる選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、液晶ファインダ１１に表示することができる。これにより、プロのカメラマンと同様なカメラワークやカメラアングルで撮影することができるので、見栄えのする動画像を得ることができる。また、動画像の編集時に利用することが望ましい推奨区間を検出することができるので、ユーザが、撮影した動画像中のどの部分が編集に適しているかを、客観的な基準に基づいて瞬時に把握することができる。

なお、本発明は、上記実施形態に限られるものではなく、様々な変形が可能である。例えば、上記実施形態では、支援プログラム２をディジタルビデオカメラ１内のＲＯＭ３に格納して、ディジタルビデオカメラ１内のマイクロプロセッサ４で実行した場合の例を示したが、ディジタルビデオカメラとパソコンとを接続して、支援プログラムをパソコン側で動作させるようにしてもよい。また、上記実施形態では、スコアを液晶ファインダ１１に出力表示する際に、撮影ガイド情報のみをスコアと一緒に表示したが、時間正常率、パン正常率、ズーム正常率、ぶれ正常率の一部又は全部をスコアと共に液晶ファインダ１１上に表示するようにしてもよい。また、これらの情報と共に、検出された推奨区間の数を表示するようにしてもよい。また、上記実施形態では、ユーザのカメラワークに対して注意を喚起するためのナビゲーション、スコア及び撮影ガイド情報を液晶ファインダ１１上に表示したが、これらの情報をディジタルビデオカメラの液晶モニタ上に表示するようにしてもよいし、音声で出力するようにしてもよい。

本実施形態による撮影支援プログラム及び編集支援プログラムを内蔵したディジタルビデオカメラの構成図。 上記支援プログラムに基づくマイクロプロセッサの処理のフローチャート。 図２中のカメラワーク解析処理の概要の説明図。 上記カメラワーク解析処理に含まれるパン処理による移動量の算出処理の概要の説明図。 上記カメラワーク解析処理における投影分布作成の概念を示す図。 上記カメラワーク解析処理における移動量算出の概要を示す図。 上記カメラワーク解析処理におけるズーム量算出の概要を示す図。 上記支援プログラムによりユーザの撮影時のスコアがどのように向上したかを示す表。 上記支援プログラムによりユーザの撮影時のスコアがどのように向上したかを示すグラフ。 （ａ）（ｂ）は、それぞれ「新郎新婦の入場場面」のシーンの画像を示す図と、「仲人の挨拶場面」のシーンの画像を示す図。 上記支援プログラムに含まれるパターンガイド用のプログラムが、日常の撮影時に、液晶ファインダ上に表示する画像の例を示す図。

符号の説明

１ ディジタルビデオカメラ
２ 支援プログラム（撮影支援プログラム、編集支援プログラム、カメラワーク解析手段、判定手段、出力手段、ショット分類手段、インデキシング手段、正常率算出手段、スコア算出手段、正常率判定手段、読取手段、ショット出力手段、利用推奨区間検出手段）
４ マイクロプロセッサ（プロセッサ、カメラワーク解析手段、判定手段、出力手段、ショット分類手段、インデキシング手段、正常率算出手段、スコア算出手段、正常率判定手段、読取手段、ショット出力手段、利用推奨区間検出手段）
５ ＣＣＤ（撮影手段）
１１ 液晶ファインダ（表示手段）

Claims (7)

1. ビデオカメラの撮影を支援するためにプロセッサを、
   撮影手段により撮影された動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、
   前記撮影手段により撮影された動画像を用いて映像を編集する場合に、編集者がその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基づいて、前記カメラワーク解析手段による解析結果として得られたカメラワークに対して、注意を喚起するためのナビゲーションが必要か否かを判定する判定手段、及び
   前記判定手段によりナビゲーションが必要であると判定されたときに、ナビゲーション用の信号を出力する出力手段、
   として機能させるためのビデオカメラの撮影支援プログラム。
2. 前記判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、激しい手ぶれに相当する部分が存在する場合、パン処理（カメラを回転させながら撮影を行う処理）時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン処理時の動画像（パン画像）やズーム処理時の動画像（ズーム画像）の前後に１秒間以上のフィックス画像（固定された視点で撮影された動画像）が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合に、このカメラワークに対して、注意を喚起するためのナビゲーションが必要であると判定することを特徴とする請求項１に記載のビデオカメラの撮影支援プログラム。
3. 前記プロセッサを、さらに、
   前記カメラワーク解析手段による解析結果に基づき、カメラワークの開始点や終了点を境界として、前記撮影手段により撮影された動画像をショットに分類するショット分類手段、
   前記ショット分類手段により分類されたショットに対して、激しい映像のぶれがないフィックス画像のショット、正常な（速すぎない）パン処理時の動画像のショット、正常な（速すぎない）ズーム処理時の動画像のショット、速すぎるパン処理時の動画像のショット、速すぎるズーム処理時の動画像のショット、及び激しい映像のぶれにより利用できないフィックス画像のショットといったラベル付けを行うインデキシング手段、
   前記撮影手段による動画像の撮影の終了時に、前記インデキシング手段による各ショットへのラベル付け結果に基づいて、激しい映像のぶれがないフィックス画像のショットのうち、撮影時間が十分なショットの割合である時間正常率と、パン画像のショットのうち、正常なパン画像のショットの割合であるパン正常率と、ズーム画像のショットのうち、正常なズーム画像のショットの割合であるズーム正常率と、フィックス画像のショットのうち、激しい映像のぶれがないフィックス画像のショットの割合である、ぶれ正常率とを算出する正常率算出手段、
   前記正常率算出手段により算出した時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づいて、前記撮影手段により撮影された動画像についてのスコアを算出するスコア算出手段、及び
   前記正常率算出手段により算出した時間正常率、パン正常率、ズーム正常率又はぶれ正常率が、所定の閾値以下であるか否かを判定する正常率判定手段
   として機能させ、
   前記出力手段が、前記スコア算出手段による算出結果を表す信号と、前記正常率判定手段により所定の閾値以下であると判定された項目についての注意を促すためのガイド情報を表す信号とを出力することを特徴とする請求項２に記載のビデオカメラの撮影支援プログラム。
4. 前記プロセッサを、さらに、
   前記ビデオカメラ内の操作手段を用いて、ユーザにより、前記ビデオカメラによる撮影対象となる行事の種類が選択されたときに、この選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、前記プロセッサ内の記憶装置から読み取る読取手段、及び
   前記読取手段により読み取ったショットのデータに基づいて、このショットの表示用の信号を前記ビデオカメラ内の表示手段に出力するショット出力手段として機能させるようにしたことを特徴とする請求項３に記載のビデオカメラの撮影支援プログラム。
5. ビデオカメラで撮影された動画像の編集を支援するためにプロセッサを、
   撮影手段により撮影された動画像を構成する各フレーム画像中の各画素の輝度を水平方向及び垂直方向に投影して、各フレーム画像間における水平方向及び垂直方向の輝度投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、
   前記撮影手段により撮影された動画像を用いて映像を編集する場合に、編集者がその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基づいて、前記カメラワーク解析手段による解析結果として得られたカメラワークに対して、注意を喚起するためのナビゲーションが必要か否かを判定する判定手段、
   前記カメラワーク解析手段による解析結果に基づき、カメラワークの開始点や終了点を境界として、前記撮影手段により撮影された動画像をショットに分類するショット分類手段、
   前記ショット分類手段により分類されたショットに対して、激しい映像のぶれがないフィックス画像（固定された視点で撮影された動画像）のショット、正常な（速すぎない）パン処理時の動画像のショット、正常な（速すぎない）ズーム処理時の動画像のショット、速すぎるパン処理時の動画像のショット、速すぎるズーム処理時の動画像のショット、及び激しい映像のぶれにより利用できないフィックス画像のショットといったラベル付けを行うインデキシング手段、
   前記インデキシング手段による各ショットへのラベル付け結果に基づいて、前記フィックス画像のショットの撮影時間が３秒間以上である区間か、前記正常なパン処理時の動画像のショットの前後のショットが、いずれも撮影時間１秒以上のフィックス画像のショットである区間か、前記正常なズーム処理時の動画像のショットの前後のショットが、いずれも撮影時間１秒以上のフィックス画像のショットである区間を、前記ビデオカメラで撮影された動画像の編集時に利用することが望ましい推奨区間として検出する利用推奨区間検出手段、及び
   前記利用推奨区間検出手段により検出された推奨区間を前記ビデオカメラ内の表示手段に表示するための信号を出力すると共に、前記判定手段によりナビゲーションが必要であると判定されたときに、リアルタイムにナビゲーション用の信号を出力する出力手段として機能させるためのビデオカメラの編集支援プログラムであって、
   前記判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、激しい手ぶれに相当する部分が存在する場合、パン処理時におけるカメラの回転操作の速度が速すぎる場合、ズーム処理の操作が速すぎる場合、パン処理時の動画像（パン画像）やズーム処理時の動画像（ズーム画像）の前後に１秒間以上のフィックス画像が撮影されていない場合、パン画像やズーム画像の前後以外の位置に存在するフィックス画像が３秒間以上撮影されていない場合、及び明るすぎるショットや暗すぎるショットが存在する場合に、このカメラワークに対して、注意を喚起するためのナビゲーションが必要であると判定することを特徴とするビデオカメラの編集支援プログラム。
6. 前記プロセッサを、さらに、
   前記撮影手段による動画像の撮影の終了時に、前記インデキシング手段による各ショットへのラベル付け結果に基づいて、激しい映像のぶれがないフィックス画像のショットのうち、撮影時間が十分なショットの割合である時間正常率と、パン処理時の動画像のショットのうち、正常なパン画像のショットの割合であるパン正常率と、ズーム処理時の動画像のショットのうち、正常なズーム画像のショットの割合であるズーム正常率と、フィックス画像のショットのうち、激しい映像のぶれがないフィックス画像のショットの割合である、ぶれ正常率とを算出する正常率算出手段、
   前記正常率算出手段により算出した時間正常率とパン正常率とズーム正常率とぶれ正常率とに基づいて、前記撮影手段により撮影された動画像についてのスコアを算出するスコア算出手段、及び
   前記正常率算出手段により算出した時間正常率、パン正常率、ズーム正常率又はぶれ正常率が、所定の閾値以下であるか否かを判定する正常率判定手段
   として機能させ、
   前記出力手段が、前記スコア算出手段による算出結果を表す信号と、前記正常率判定手段により所定の閾値以下であると判定された項目についての注意を促すためのガイド情報を表す信号とを出力するショット出力手段として機能させるようにしたことを特徴とする請求項５に記載のビデオカメラの編集支援プログラム。
7. 前記プロセッサを、さらに、
   前記ビデオカメラ内の操作手段を用いて、ユーザにより、前記ビデオカメラによる撮影対象となる行事の種類が選択されたときに、この選択内容に対応した行事についてプロのカメラマンが予め撮影したショットのデータを、前記プロセッサ内の記憶装置から読み取る読取手段、及び
   前記読取手段により読み取ったショットのデータに基づいて、このショットの表示用の信号を前記ビデオカメラ内の表示手段に出力するショット出力手段として機能させるようにしたことを特徴とする請求項６に記載のビデオカメラの編集支援プログラム。

Images