JP6494455B2 - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Description

本発明は、被写体に焦点を合わせるための処理を行う映像処理装置、方法、及びプログラムに関する。

映画などのコンテンツの制作に際して、映像コンテンツを構成するそれぞれの各シーンの映像は、複数のショット映像（撮影の最小単位となる短い映像）から構成されていることがある。そして、特定のシーン映像の各ショット映像を撮影する場合には、類似のシチュエーションで繰り返し撮影を行い、撮影された各ショット映像を比較して、最終的に使用されるショット映像を選択することによって当該特定のシーン映像を生成することができる。

また、このような撮影において、被写体に焦点を合わせる際、所望のフォーカス位置をプリセット位置として事前に記憶し、操作者等による所定のプリセット再生指示により、記憶したプリセット位置にフォーカスを合わせる方法が知られている（特許文献１）。

特開平８−３３４６７４号公報

上述した特許文献１に記載された方法では、事前に記憶されたプリセット位置（フォーカス位置）と異なる位置の被写体に対して、適切なタイミングでフォーカス（焦点）を合わせることができない。即ち、プリセット位置と異なる位置の被写体に対して焦点を合わせるためには、ユーザがプリセット再生後にマニュアル操作によってフォーカス調整を行う必要があり、ユーザにとって煩雑な手間を要していた。

本発明は、第一の撮影時に指定された焦点を合わせる位置及び当該指示を受け付けたタイミングに従って第二の撮影時に焦点を合わせる位置を制御することのできる映像処理装置、方法、及びプログラムを提供することを目的とする。

上記の課題を解決するための一手段として、本発明の映像処理装置は、以下の構成を有する。即ち、撮像部を用いて所定の被写体を撮影する第一の撮影時に、焦点を合わせる位置を指示する情報の入力を受け付ける受付手段と、前記受付手段によって、前記焦点を合わせる位置を指示する情報の入力が受け付けられたことに応じて、入力された前記情報に指示される前記焦点を合わせる位置を示す位置情報と、前記第一の撮影の開始後の基準時間から前記焦点を合わせる位置を指示する情報が入力されるまでの経過時間を示す時間情報とを取得する取得手段と、前記撮像部を用いて前記所定の被写体を再び撮影する第二の撮影時に、前記取得手段によって取得された前記位置情報と前記時間情報とに基づいて、焦点を合わせる位置を制御する制御手段とを有する。

本発明により、第一の撮影時に指定された焦点を合わせる位置及び当該指示を受け付けたタイミングに従って第二の撮影時に焦点を合わせる位置を制御することができる。

実施形態１における映像処理装置の構成例を示すブロック図 映像コンテンツの構成を示す図 実施形態１のリハーサル撮影時における、焦点の位置を記憶する処理を説明するフローチャート 実施形態１の本番の撮影時におけるフォーカス処理を説明するフローチャート スタジオセット内における被写体の立ち位置の遷移の例を示す図 実施形態１のリハーサル撮影時における表示画面を示す図 実施形態１の本番の撮影時における表示画面を示す図 実施形態２における映像処理装置の構成例を示すブロック図 実施形態２の本番の撮影時におけるフォーカス処理を説明するフローチャート 実施形態２の本番の撮影時における表示画面を示す図 実施形態３における映像処理装置の構成例を示すブロック図 実施形態３の本番の撮影時におけるフォーカス処理を説明するフローチャート 実施形態３の本番の撮影時における表示画面を示す図 映像処理装置に適応可能なコンピュータのハードウェアの構成例を示すブロック図 実施形態３の本番の撮影時におけるフォーカス処理の他の例を説明するフローチャート

以下、添付の図面を参照して、本発明の実施形態の一例を詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。以下、１以上の画像を含む映像データにおいて撮影の最小単位である１ショット分の映像データをショット映像と称し、１以上のショット映像を含むものを映像コンテンツと称す。尚、ショット映像及び映像コンテンツの詳細については図２を用いて後述する。

（実施形態１）
本実施形態における映像処理装置の構成について図１を用いて説明する。図１は、本実施形態に係る映像処理装置の構成例を示す図である。本実施形態における映像処理装置は、撮像部を有する撮像装置であるが、これに限定されない。本実施形態における映像処理装置１００は、被写体を撮影し、映像データを生成する。レンズ１０２は、撮像光学系を構成する。撮像部１１４は、被写体を撮像する為の撮像部であって、レンズ１０２を通して結像した光を電荷に変換して映像データを生成するセンサを有する。表示部１０３は、撮像部１１４で撮像された画像（映像）を表示する。表示制御部１０４は、表示部１０３に映像を表示するよう制御する。

入力部１０６は、操作者（ユーザ）の操作を受け付け、受け付けた操作に基づく指示の情報を取得する。例えば、入力部１０６は、ユーザによる表示部１０３へのタッチ操作を検出し、焦点を合わせる位置（焦点を合わせるべき表示画面上の位置）を指示する情報を取得する。尚、本実施形態において表示部１０３はユーザによる操作を受け付け、入力部１０６は表示部１０３へのユーザによる操作に基づく指示の情報を取得するが、これに限定されない。即ち、表示部１０３が入力部１０６の機能を備えていても構わない。

指示部１０５は、入力部１０６から焦点を合わせる位置を指示する情報を取得し、当該焦点を合わせる位置を指示する情報に基づいて、表示部１０３の表示画面上のタッチされた位置（タッチ位置）を示す情報を取得し、後段の処理部へ出力する。ここで、タッチ位置は、焦点を合わせる位置（焦点を合わせるべき表示画面上の位置）としてユーザによって指示された位置である。

焦点制御部１０７は、指示部１０５から取得したタッチ位置を示す情報に基づいて、当該タッチ位置に対応する被写体にフォーカス（焦点）が合うようにレンズ１０２を駆動させる（フォーカス処理を行う）。尚、本実施形態において焦点制御部１０７は、焦点を調整するために用いる方式に限定されず、撮像画面の特定の位置（指定された位置）に対してフォーカス処理を施すことが可能な手法であれば構わない。例えば、焦点制御部１０７は、位相差検出方式、コントラスト検出方式等を用いて、焦点を調整する（オートフォーカス処理を行う）ことができる。また、焦点制御部１０７は、撮像位置からタッチ位置に対応する被写体までの距離を測定して、当該距離に基づいてフォーカス処理を行ってもよい。また、レンズ１０２を介して入力された複数の光の位相差と、レンズ１０２の駆動量との関係を示すテーブルを用いてフォーカス処理を行っても構わない。

マイク１０８は、音声を電気信号として取り込み、音声情報（音声信号）を生成する。そして、マイク１０８は、生成した音声情報を検出部１０９へ出力する。検出部１０９は、マイク１０８から出力された音声情報に基づいて、ユーザ（撮影指揮者、監督等）による演技開始の号令（指示）であるアクションコール（所定の識別情報）を、音声認識によって検出する。また、検出部１０９は、アクションコールを検出したタイミング（時間情報）を取得する。計時部１１０は、検出部１０９によってアクションコールが検出された時点を開始点として時間を計測する。記憶部１１１は、計時部１１０によって計測された時間に基づいて、指示された焦点を合わせる位置（タッチ位置）を示す情報と、焦点を合わせる位置を指示する情報を取得した時間（タッチ時間）を示す情報とを記録（記憶）する。

撮影指示部１１２は、撮影済みのショット映像と類似のショット映像（同一ショットの他のテイク）の撮影を行う場合に、類似の撮影を行うことを示す再撮影情報を全体制御部１０１に出力する。座標取得部１１３は、記憶部１１１に記憶された位置情報（タッチ位置を示す情報）を取得する（読み出す、呼び出す）。

全体制御部１０１は、映像処理装置１００内の各部の制御及び各部間のパラメータ伝達を行う。尚、図１において、全体制御部１０１と映像処理装置１００内の各部との間の結線を省略している。そして、全体制御部１０１は映像処理装置１００内の各部の制御、及び各部間のパラメータの読み書きを、不図示のパラメータ信号線またはレジスタバスの少なくともいずれかを通じて行うことが可能である。また、本実施形態において、図１の全体制御部１０１は、映像処理装置１００内に設置されているが、これに限定されない。即ち、全体制御部１０１は、当該映像処理装置１００外に設置されてもよい。そして、映像処理装置１００の全体制御部１０１が映像処理装置１００内の各部の制御、及び各部間のパラメータの読み書きを、全体制御部１０１と映像処理装置１００とを継ぐパラメータ信号線またはレジスタバスの少なくともいずれかを通じて行ってもよい。

次に、映像コンテンツ及びショット映像の詳細について、図２（ａ）を用いて説明する。図２（ａ）は、１以上のショット映像を含む映像コンテンツであって、シネマ用の映像やドラマ用の映像等の映像コンテンツを作成する為の映像データの階層概念の一例を説明する図である。脚本やシナリオ等に基づく映像コンテンツは、一以上のシーケンスから構成されている。一つのシーケンス映像は、一以上のシーン（場面）から構成されている。さらに、一つのシーンは、一以上のショットから構成されている。尚、本実施形態における映像処理装置１００は、一つのショットを一回の撮影単位とする。

例えば、人物Ａと人物Ｂの二人が会話を行うシーンにおいて、種々の撮影手法で撮影し得る。会話している二人をワイドで撮影するロングショット、人物Ｂをズームで撮影するクローズアップショット、人物Ｂの肩越しに人物Ａを撮影するショルダーショット等、撮影の位置や角度に変化のあるショットが撮影される。ショットやシーンの撮影は、脚本やシナリオの順番（映像コンテンツの再生順序）で行われるとは限らず、撮像装置や撮影セットの都合で、映像コンテンツの再生順序とは異なる順番で行われる場合もある。また、一つのショットに関する撮影は、役者やスタッフのミス、監督の意向、予測不能な自然現象等の影響により、何度も撮り直しを行う場合がある。このように、同一のショットに対して行う撮影をテイクと呼び、同じショットを複数回撮影した場合には、各撮影を識別するためにテイクと呼ばれる番号を各ショット映像に付与する。

即ち、映像コンテンツに含まれる各ショット映像のファイル毎に、シーケンス、シーン、ショット、テイクの番号等の撮影情報を、ショットデータとして付加することによって、各ショット映像を特定（識別）することができる。例えば、図２（ａ）に示す映像２０１はシーケンス１シーン１ショット２テイク４と示され、映像２０２はシーケンス１シーン１ショット４テイク３と示される。尚、同じショットの番号を持つテイクが複数存在する場合に、これらのテイクは、映像コンテンツの作成において置き換え可能なテイクとして用いられる。このテイクを示す情報はテイクが書かれたボードを撮影することによってショット映像に付与されたり、ユーザによる手動入力によって付与される。尚、ここで説明したシーケンス、シーン、ショット、テイク等の用語は、本実施形態を説明する為の一例に過ぎず、異なる用語を用いても構わない。

また、図２（ｂ）は、同一のショットにおける複数のテイクの時間軸の一致（同期）を説明する図である。同一のショットにおける各テイクは、同じショットの撮り直しである為に映像の時間の長さはほぼ同一である場合が多い。また、同一のショットにおける各テイクは、映像コンテンツとして編集される際に互いに置き換えが可能である。しかしながら、実際の撮影においては、撮影を開始してから映像コンテンツに用いられる部分の映像の先頭までの時間が、各テイクのショット映像において異なる場合がある。このような場合、監督による演技開始の号令で（指示）であるアクションコール（所定の識別情報）のタイミングを演技の開始の時間（時刻）を示す時間情報として用いることによって、同一のショットの複数のテイクに対して同期処理を施すことができる。即ち、本実施形態における映像処理装置１００は、同一のショットの複数のテイクにおける各アクションコールのタイミングを一致（同期）させる。尚、アクションコールのタイミングは、ユーザによる演技開始の指示のタイミングに限定されず、ユーザによる種々の指示のタイミングでも構わない。また、風景のみの映像等のように、演技のないショット映像を撮影する場合は、撮影開始を示すロールコールのタイミングをアクションコールのタイミングとして用いても構わない。尚、ロールコールのタイミングは、ユーザによる撮影開始の指示のタイミングでも構わないし、撮像部１１４による撮影処理の開始のタイミングでも構わない。また、本実施形態において時間情報は、映像の先頭の時間を示すものとしたが、これに限定されず、基準となる所定の時間を示すものであれば構わない。

図２（ｂ）に示す具体例において、テイク１からテイク６までの、撮影開始を示すロールコールから演技開始を示すアクションコールまでの時間はバラバラである。しかしながら、役者はアクションコールに応じて演技を開始するので、アクションコールのタイミングを示す時間情報に基づいて各テイクに対して同期処理を施すことができる。本実施形態における映像処理装置１００は、例えば、アクションコールの時間情報を基準時間情報００：００として、同一ショットにおける複数のテイクの映像の時間軸を一致させることによって、同期処理を施すことができる。

次に、本実施形態における映像処理装置１００が、指示された焦点を合わせる位置を記憶する処理の手順の詳細について、図３、図５、及び図６を用いて説明する。尚、本実施形態における映像処理装置１００は、撮影のリハーサルをする際に、指示された焦点を合わせる位置を記憶する処理（図３の処理）を実行する。しかしながら、これに限定されず、映像処理装置１００は、実際の撮影をする際（例えば、同一のショットにおける１番目のテイクの撮影をする際）に、指示された焦点を合わせる位置を記憶する処理を実行しても構わない。

以下、図５に示すスタジオセットを用いて、ショット映像を撮影する場合について説明する。尚、図５は、撮影場所であるスタジオセットにおける、被写体の遷移の一例を示す図である。尚、図５は、部屋を模したスタジオセット５０１を天井から見た場合の図である。位置５０２は撮影を行う位置（図１に示す映像処理装置１００がセットされた位置）である。スタジオセット５０１にはドア５０３が設けられている。位置５０４は、役者Ａの立ち位置を示す。位置５０５は、リハーサルの撮影時に役者Ｂがドア５０３を開けた後に立ち止まった位置を示す。また、位置５０６は、本番の撮影時に役者Ｂがドア５０３を開けた後に立ち止まった位置を示す。

本実施形態では、撮影を開始すると、役者Ａをウエストショットで撮影する。さらに、アクションコールに対応する操作が行われ、アクションコールの５秒後に、役者Ｂがドア５０３を開けて入室する。そして、アクションコールに対応する操作が行われた時には、役者Ａに焦点を合わせている。次に、アクションコールの５秒後には、入室して来た役者Ｂに焦点を合わせる。

図６（ａ）、（ｂ）、及び（ｃ）は、指示された焦点を合わせる位置を記憶する場合の映像処理装置１００の表示部１０３における表示画面（操作画面）を示す図である。表示画面６０１は、表示部１０３における表示画面（操作画面）である。尚、図６（ａ）、（ｂ）、及び（ｃ）は、撮影における時間の経過に対応している。図６（ａ）、（ｂ）、及び（ｃ）において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。

図６（ａ）は、ユーザによってアクションコールに対応する操作が行われた時（検出部１０９がアクションコールを検出した時）に、表示部１０３に表示される画像を示す。アクションコールの操作が行われた時、図６（ａ）に示すように表示部１０３の表示画面６０１には、位置６０４に役者Ａが表示され、スタジオセットに設けられた入口６０２が表示されている。また、図６（ａ）に示すように、アクションコールの操作が行われた時には、役者Ａの位置６０４に焦点が合っている。

図６（ｂ）は、アクションコールの操作から５秒後に、表示部１０３に表示される画像を示す。アクションコールの操作の所定時間後、役者Ｂは入口６０２からスタジオセット内に入室する。そして、アクションコールの操作から５秒後、図６（ｂ）に示すように表示画面６０１には、位置６０５に役者Ｂが表示され、入口６０２と役者Ｂによって開けられたドア６０３とが表示されている。また、表示画面６０１には、図６（ａ）と同様に、位置６０４に役者Ａが表示されている。また、図６（ｂ）に示すように、アクションコールの操作から５秒後には、役者Ａの位置６０４に焦点が合っており、役者Ｂの位置６０５、入口６０２、及びドア６０３は、役者Ａの位置６０４より離れた後方の位置にあるため焦点が合っていない。この時、ユーザは、役者Ｂの位置６０５に焦点を合わせる為に、表示画面６０１の位置６０６をタッチする。尚、表示制御部１０４は、表示部１０３における表示画面６０１上のユーザによって指示された焦点を合わせる位置（位置６０６）に、図６（ｂ）に示すように円形状の図形（カーソルマーク：以下、単にカーソルと称す）を表示する。

図６（ｃ）は、図６（ｂ）に示した位置６０６に焦点を合わせるフォーカス処理が施された後に、表示部１０３に表示される画像を示す。図６（ｃ）に示すように、役者Ｂの位置６０５に焦点が合っている。また、入口６０２及びドア６０３の位置は位置６０６から所定範囲内（近傍）であるため、入口６０２及びドア６０３にも焦点が合っている。尚、役者Ａの位置６０４は位置６０６から所定範囲外（遠方）であるため、役者Ａには焦点が合っていない。

次に、図３は、本実施形態における映像処理装置１００が、ユーザにより指示された焦点を合わせる位置を記憶する処理の詳細を示すフローチャートである。

ステップＳ３０１において映像処理装置１００は、例えば、表示部１０３の所定位置をユーザがタッチすることによる撮影の開始を示す情報を取得する。そして、本実施形態における撮像部１１４は、取得した撮影開始を示す情報に基づいて、撮影を開始する。

ステップＳ３０２において映像処理装置１００は、アクションコールを検出したタイミング（アクションコールの時間情報）を取得する。本実施形態における検出部１０９は、ユーザから指示されるアクションコールを、マイク１０８から出力された音声情報（ユーザの声や特定の音等）に基づいて検出する。そして、検出部１０９は、アクションコールを検出したタイミング（アクションコールの時間情報）を取得する。尚、アクションコールの時間情報の検出は、音声情報に基づく方法に限定されず、アクションコールに対応するボタン（不図示）がユーザによって押下されたことに応じてアクションコールの時間情報を検出する方法を用いても構わない。また、ユーザによるアクションコールに対応するジェスチャを認識することに応じてアクションコールの時間情報を検出する方法を用いても構わない。尚、本実施形態のステップＳ３０２においてアクションコールを検出した際には、図６（ａ）に示すように、役者Ａに焦点が合っている状態である。

ステップＳ３０３において計時部１１０は、ステップＳ３０２において検出部１０９によって検出されたアクションコールの時間情報に基づいて、当該アクションコールが検出された時点からの計時を開始する。即ち、本実施形態における検出部１０９は、アクションコールが検出された時点を計時の開始時点（図２（ｂ）に示す００：００の時点）とする。

ステップＳ３０４において映像処理装置１００は、焦点を合わせる位置を指示する情報を取得（検出）したか否かを判定する。尚、本実施形態における入力部１０６は、表示部１０３がユーザによる焦点を合わせる位置を指示する操作を受け付けた場合に、焦点を合わせる位置を指示する情報を取得することができる。ステップＳ３０４において、焦点を合わせる位置を指示する情報を取得したと判定された場合（ステップＳ３０４においてＹＥＳ）、映像処理装置１００はステップＳ３０５の処理へ進む。一方、ステップＳ３０４において、焦点を合わせる位置を指示する情報を取得しなかったと判定された場合（ステップＳ３０４においてＮＯ）は、映像処理装置１００はステップＳ３０７の処理へ進む。

ステップＳ３０５において映像処理装置１００は、ステップＳ３０４において取得した焦点を合わせる位置を指示する情報に基づいて、フォーカス処理を行う。即ち、本実施形態における入力部１０６は、焦点を合わせる位置を指示する情報を指示部１０５へ出力する。そして、指示部１０５は、当該焦点を合わせる位置を指示する情報に基づいて、タッチ位置を示す情報を取得し、焦点制御部１０７へ出力する。ここで、タッチ位置は、焦点を合わせる位置を指示する情報に対応する位置であって、表示部１０３の表示画面６０１上におけるユーザによってタッチ（指示）された焦点を合わせる位置である。そして、焦点制御部１０７は、タッチ位置を示す情報に基づいて、当該タッチ位置の被写体に焦点が合うようにレンズ１０２を駆動させる処理（フォーカス処理）を行う。この処理によって、映像処理装置１００の表示部１０３の画面上のタッチ位置に対応する被写体に、焦点を合わせることができる。尚、本実施形態において焦点を合わせる位置を指示する情報を取得した場合には、図６（ｂ）に示すように、表示部１０３の表示画面６０１上の指示した位置６０６にカーソルが表示される。

ステップＳ３０６において記憶部１１１は、指示された焦点を合わせる位置（タッチ位置）を示す情報と、焦点を合わせる位置を指示する情報を取得したタイミング（タッチ時間）を示す情報とを記憶する。即ち、記憶部１１１は、指示部１０５から出力されたタッチ位置を示す情報と、計時部１１０から出力されたタッチ時間を示す情報とを記憶する。ここで、タッチ時間は、ステップ３０３における計時開始からステップＳ３０４において焦点を合わせる位置を指示する情報を取得するまでの時間である。即ち、本実施形態における映像処理装置１００は、図６（ｂ）に示す位置６０６を、タッチ位置を示す情報として記憶し、アクションコールから位置６０６がユーザにより指示されるまでの時間（本例では５秒間）を、タッチ時間を示す情報として記憶する。尚、本実施形態における映像処理装置１００は、タッチ位置を示す情報とタッチ時間を示す情報とを対応させて記憶する。

ステップＳ３０７において映像処理装置１００は、撮影が終了したか否か判定する。ステップＳ３０７において撮影が終了していないと判定した場合（ステップＳ３０７においてＮＯ）、映像処理装置１００はステップＳ３０４の処理へ戻る。一方、ステップＳ３０７において撮影が終了したと判定した場合（ステップＳ３０７においてＹＥＳ）は、映像処理装置１００は指示された焦点を合わせる位置を記憶する処理を終了する。

以上のようにして、本実施形態における映像処理装置１００は、指示された焦点を合わせる位置を記憶することができる。尚、映像処理装置１００は、ステップＳ３０７で撮影が終了した後に、ステップＳ３０６で記憶した情報を、１ショット映像分（即ち、リハーサル１回分、１テイク分）まとめたファイル等を、記憶部１１１又は他のメモリ（不図示）に保存してもよい。

次に、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図４及び図７を用いて説明する。尚、本実施形態における映像処理装置１００は、本番（同一のショットにおける１番目のテイク）の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理（図４の処理）を実行する。しかしながら、これに限定されず、映像処理装置１００は、指示された焦点を合わせる位置を記憶する処理（図３の処理）の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理（図４の処理）を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける１番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を２番目以降のテイクの撮影時に実行する。尚、図３に示す処理を行った場合と同様に、図５に示すスタジオセットを用いて、ショット映像を撮影する。

まず、図７（ａ）、（ｂ）、及び（ｃ）は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の、映像処理装置１００の表示部１０３における表示画面６０１を示す図である。尚、図７（ａ）、（ｂ）、及び（ｃ）は、撮影における時間の経過に対応している。また、図７（ａ）、（ｂ）、及び（ｃ）において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。

図７（ａ）は、ユーザによってアクションコールに対応する操作が行われた時（検出部１０９がアクションコールを検出した時）に、表示部１０３に表示された画像を示す。図７（ａ）に示すように、アクションコールの操作が行われた時には、役者Ａの位置７０４に焦点が合っている。

図７（ｂ）は、アクションコールの操作から５秒後に、表示部１０３に表示された画像を示す。図７（ｂ）に示すように、表示部１０３の表示画面６０１には、位置７０５に役者Ｂが表示され、入口６０２と役者Ｂによって開けられたドア６０３とが表示されている。また、表示画面６０１には、図７（ａ）と同様に、位置７０４に役者Ａが表示されている。また、図７（ｂ）に示すように、アクションコールの操作から５秒後には、リハーサルの撮影時と同様に、役者Ｂの位置７０５、入口６０２、及びドア６０３は、役者Ａの位置７０４より離れた後方の位置にあるため焦点が合っていない。尚、図７（ｂ）に示すように、アクションコールの操作から５秒後には、本番の撮影時に読み出されたタッチ位置を示す情報に対応する位置６０６に、カーソルを表示する。

図７（ｃ）は、図７（ｂ）に示した位置６０６に焦点を合わせるフォーカス処理が施された後に、表示部１０３に表示される画像を示す。図７（ｃ）に示すように、役者Ｂの位置７０５に焦点が合っている。尚、役者Ａの位置７０４は位置６０６から所定範囲外（遠方）であるため、役者Ａには焦点が合っていない。

次に、図４は、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。

ステップＳ４０１において映像処理装置１００は、記憶部１１１に記憶されているタッチ時間を示す情報を取得する。本実施形態にて撮影指示部１１２は、記憶された焦点を合わせる位置に基づくフォーカス処理を開始する場合に、指示された焦点を合わせる位置を記憶する処理（図３の処理）を行った撮影と類似の撮影を行うことを示す再撮影情報を全体制御部１０１へ出力する。そして、全体制御部１０１は、記憶部１１１に記憶されているタッチ時間を示す情報を取得する。ここでは、図３のステップＳ３０６において記憶されたタッチ時間（５秒間）が取得される。

尚、本実施形態における映像処理装置１００は、図３の処理を行ったリハーサルの撮影に対応する本番の撮影を行うため、リハーサルの撮影時に記憶部１１１に記憶された情報（タッチ位置及び／又はタッチ時間を示す情報）を取得するが、これに限定されない。図３の処理を第１の映像（例えば、テイク１）の撮影時に行い、第１の映像と同一ショットの第２の映像（例えば、テイク２）の撮影において図４の処理を行う場合に、映像処理装置１００は、図３の処理を行った撮影時に記憶された情報を取得すればよい。

また、図３の処理を複数の映像（例えば、同一ショットのテイク１とテイク２）の撮影時に行った後に、同一ショットの映像（例えば、テイク３）の撮影において図４の処理を行う場合に、本実施形態における映像処理装置１００は、次のような処理を行う。即ち、本実施形態における映像処理装置１００は、図３の処理を行った映像（テイク１とテイク２）の撮影のうち最後の撮影（テイク２の撮影）時に記憶された情報を取得する。尚、本実施形態における映像処理装置１００はこれに限定されず、図３の処理を複数の映像の撮影時に行った場合に、当該複数の映像の撮影時に記憶された複数の情報を記憶し、図４の処理を行う際に、記憶された複数の情報から選択する構成で合っても構わない。

各ステップＳ４０２〜Ｓ４０４の処理は、図３の各ステップＳ３０１〜３０３と同様の処理であるため、説明を省略する。尚、本実施形態のステップＳ４０３においてアクションコールを検出した際には、表示画面６０１には図７（ａ）に示す画像が表示されている。この時、図７（ａ）に示すように、役者Ａに焦点が合っている。

ステップＳ４０５において映像処理装置１００は、計時部１１０によって計測された時間とステップＳ４０１で取得したタッチ時間とを比較する。ここで、計時部１１０によって計測された時間とステップＳ４０１で取得したタッチ時間とが一致していないと判定された場合（ステップＳ４０５においてＮＯ）、映像処理装置１００はステップＳ４０８の処理へ進み、撮影が終了したか否かを判定する。

一方、ステップＳ４０５において計時部１１０によって計測された時間とステップＳ４０１で取得したタッチ時間とが一致していると判定された場合（ステップＳ４０５においてＹＥＳ）は、映像処理装置１００はステップＳ４０６の処理へ進む。本実施形態における映像処理装置１００は、計時部１１０によって計測された時間が５秒の時（即ち、アクションコールから５秒後）に、計時部１１０によって計測された時間とステップＳ４０１で取得したタッチ時間とが一致していると判定する。そして、映像処理装置１００は、ステップＳ４０６の処理へ進む。

ステップＳ４０６において映像処理装置１００は、記憶部１１１に記憶されているタッチ位置を示す情報を取得する。即ち、本実施形態における座標取得部１１３は、記憶部１１１に保存されたタッチ位置を示す情報を取得する（読み出す、呼び出す）。尚、タッチ位置を示す情報は、ステップＳ４０１で取得されたタッチ時間を示す情報に対応する情報である。ここでは、図３のステップＳ３０６において記憶されたタッチ位置（位置６０６）が取得される。そして、座標取得部１１３は、取得したタッチ位置を示す情報を指示部１０５へ出力する。さらに、指示部１０５は、タッチ位置を示す情報を焦点制御部１０７へ出力する。尚、本実施形態のステップＳ４０６においてタッチ位置を示す情報を取得した際に、映像処理装置１００は、図７（ｂ）に示すように、表示部１０３の表示画面６０１上のタッチ位置を示す情報に対応する位置６０６にカーソルを表示する。

ステップＳ４０７において映像処理装置１００は、ステップＳ４０６において記憶部１１１から取得したタッチ位置を示す情報に基づいて、フォーカス処理を行う。即ち、本実施形態における焦点制御部１０７は、指示部１０５から取得したタッチ位置に対応する実際の被写体に焦点が合うようにレンズ１０２を駆動させる処理（フォーカス処理）を行う。即ち、撮像部１１４と実際の被写体との実際の距離に従って被写体に焦点が合うように調整しつつフォーカス処理を行う。このとき被写体の位置が取得したタッチ位置とずれていた場合、実際の被写体の位置に焦点が合うように調整を行ったうえでフォーカス処理を行う。この処理によって、映像処理装置１００の表示部１０３の画面上のタッチ位置に対応する被写体に、焦点を合わせることができる。

ステップＳ４０８において映像処理装置１００は、図３のステップＳ３０７の処理と同様に、撮影が終了したか否かを判定する。そして、ステップＳ４０８において撮影が終了していないと判定した場合（ステップＳ４０８においてＮＯ）、映像処理装置１００はステップＳ４０５の処理へ戻る。一方、ステップＳ４０８において撮影が終了したと判定した場合（ステップＳ４０８においてＹＥＳ）は、映像処理装置１００は記憶された焦点を合わせる位置に基づくフォーカス処理を終了する。

図４の処理によって、本実施形態における映像処理装置１００は、本番の撮影時の役者Ｂの立ち位置（図５の位置５０６）が、リハーサルの撮影時の役者Ｂの立ち位置（図５の位置５０５）と異なる場合でも、役者Ｂに焦点を合わせることができる。即ち、図５に示される様に、撮影位置（位置５０２）からの距離が異なる（位置５０６は位置５０５よりも奥である）場合であっても、ステップＳ４０７において表示画面６０１上のタッチ位置（位置６０６）に対してフォーカス処理を行う。これによって、本実施形態における映像処理装置１００は、役者Ｂに焦点を合わせることができる。

以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。

尚、本実施形態における映像処理装置１００は、図４におけるステップＳ４０１においてタッチ時間を取得した後に、ステップＳ４０６においてタッチ位置を取得するが、これに限定されない。即ち、映像処理装置１００は、ステップＳ４０７においてフォーカス処理を行う前にタッチ位置を取得すればよい。例えば、映像処理装置１００は、ステップＳ４０１においてタッチ時間とタッチ位置とを取得しても構わない。

従来のフォーカス処理では、予め、撮影する撮像装置の位置と被写体が立つ予定の位置との間の距離を計測し、計測した距離に基づくフォーカス位置をプリセット位置として記憶していた。これに対し、本実施形態の映像処理装置は、予め（リハーサルの撮影時に）、指示された焦点を合わせる位置（タッチ位置）を示す情報と、焦点を合わせる位置を指示する情報を取得した時間（タッチ時間）とを記憶する。即ち、本実施形態の映像処理装置は、距離の情報ではなく、撮影画面上の焦点を合わせる位置を記憶する。これにより、本実施形態の映像処理装置は、再度撮影を行う際（本番の撮影時）に、被写体の位置が異なっても、適切にフォーカス処理をすることができる。さらに、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。

また、従来のフォーカス処理では、予め、複数のフォーカス位置をプリセット位置として記憶し、記憶した複数のプリセット位置から選択したプリセット位置に基づいて、フォーカス処理を行うものがあった。一方、本実施形態の映像処理装置は、焦点を合わせる位置を指示する情報を取得した時間（タッチ時間）を、指示された焦点を合わせる位置（タッチ位置）と対応させて記憶する。この処理によって、本実施形態の映像処理装置は、適切なタイミングでタッチ位置を読み出し、フォーカス処理を行うことができる。これにより、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。

（実施形態２）
上述の実施形態１における映像処理装置１００は、撮影時に焦点を合わせる位置を指示する情報が入力された場合に、次の処理を行う。即ち、実施形態１における映像処理装置１００は、指示された焦点を合わせる位置（タッチ位置）を示す情報と、焦点を合わせる位置を指示する情報を取得したタイミング（タッチ時間）を示す情報とを記憶した。そして、実施形態１における映像処理装置１００は、後の撮影（例えば、類似の撮影）を行う際に、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ時間に対応したタッチ位置に焦点を合わせるフォーカス処理を行った。本実施形態２における映像処理装置１００は、類似の撮影を行う際に、タッチ時間に対応したタッチ位置から所定距離以内（近傍）の範囲に対してオブジェクト検出を行い、検出結果に基づいてフォーカス処理を行う構成とする。

図８は、本実施形態に係る映像処理装置の構成例を示す図である。尚、本実施形態の図８において、実施形態１の図１の各部と同じ機能を有する部は同じ符号を付与し、その説明を省略する。本実施形態における映像処理装置１００は、オブジェクト検出部８０１を有する点で、実施形態１の図１に示す映像処理装置１００と異なる。オブジェクト検出部８０１は、撮像部１１４で撮影された画像（映像）を取得し、取得した画像において、タッチ位置から所定距離以内の範囲（タッチ位置を中心とした所定範囲）に対して、オブジェクトを検出する。

尚、本実施形態においてオブジェクト検出部８０１は、人体をオブジェクトとして検出するが、検出するオブジェクトの種類に限定されない。例えば、オブジェクト検出部８０１は、人体、顔、物体、文字、特定の形状、特定の色の領域等を、オブジェクトとして検出してもよい。尚、画像からオブジェクトを検出する手法としては、例えば、画像から特徴点を抽出したり、複数の画像を用いて動きを検出する手法等があるが、これらに限定されない。例えば、オブジェクト検出部８０１は、検出するオブジェクトの種類を顔とした場合に、画像から目や鼻や口等に対応する特徴点や輪郭等を抽出することによって、顔を検出することができる。また、オブジェクト検出部８０１によって検出するオブジェクトの種類を、入力部１０６がユーザによる操作を受け付けることによって取得し、オブジェクト検出部８０１は取得したオブジェクトの種類に基づいて、オブジェクト検出を行うようにしても構わない。

本実施形態における映像処理装置１００は、指示された焦点を合わせる位置を記憶する処理を、実施形態１における図３及び図６に示した処理と同様に行うため、説明を省略する。

次に、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図９及び図１０を用いて説明する。尚、本実施形態における映像処理装置１００は、本番（同一のショットにおける１番目のテイク）の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理（図９の処理）を実行する。しかしながら、これに限定されず、映像処理装置１００は、指示された焦点を合わせる位置を記憶する処理（図３の処理）の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理（図９の処理）を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける１番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を２番目以降のテイクの撮影時に実行する。尚、図３に示す処理を行った場合と同様に、図５に示すスタジオセットを用いて、ショット映像を撮影する。

まず、図１０（ａ）、（ｂ）、及び（ｃ）は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の映像処理装置１００の表示部１０３における表示画面６０１を示す図である。尚、図１０（ａ）、（ｂ）、及び（ｃ）は、撮影における時間の経過に対応している。また、図１０（ａ）、（ｂ）、及び（ｃ）において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。

図１０（ａ）は、映像処理装置１００がタッチ位置を読み出した場合に、表示部１０３に表示された図を示す。即ち、図１０（ａ）は、アクションコールの操作を検出してから、読み出したタッチ時間と一致する時間が経過した時に、表示部１０３に表示された図である。図１０（ａ）に示すように、表示部１０３の表示画面６０１には、位置１００５に役者Ｂが表示され、入口６０２と役者Ｂによって開けられたドア６０３とが表示されている。また、表示画面６０１には、位置１００４に役者Ａが表示されている。さらに、図１０（ａ）に示すように、表示画面６０１には、タッチ位置を示す情報に対応する位置６０６に、カーソルが表示される。尚、図１０（ａ）に示す例では、役者Ｂの位置１００５がタッチ位置（位置６０６）から所定範囲外であるため、役者Ｂに焦点が合っていない。

図１０（ｂ）は、タッチ位置（位置６０６）から所定距離以内（近傍）の範囲において、オブジェクトが検出された場合の映像処理装置１００の表示部１０３における表示画面６０１を示す図である。尚、枠１００６は、オブジェクト検出部８０１がオブジェクト（役者Ｂ）を検出した範囲を示す。

図１０（ｃ）は、オブジェクト検出の結果に基づいてフォーカス処理が施された後に、表示部１０３に表示される画像を示す。図１０（ｃ）に示すように、役者Ｂの位置１００５に焦点が合っている。尚、役者Ａの位置１００４は位置６０６から所定距離超（遠方）の範囲であり、オブジェクト検出を施す対象の範囲外であったため、役者Ａに対してはフォーカス処理が施されず、焦点が合っていない。

次に、図９は、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。

図９の各ステップＳ９０１〜Ｓ９０６の処理は、実施形態１における図４の各ステップＳ４０１〜Ｓ４０６と同様の処理であるため、説明を省略する。即ち、本実施形態における映像処理装置１００は、各ステップＳ９０１〜Ｓ９０６の処理によって、記憶部１１１に記憶されているタッチ位置を示す情報を取得することができる。ここでは、実施形態１と同様に、図３のステップＳ３０６において記憶されたタッチ位置（位置６０６）を示す情報が取得される。尚、本実施形態のステップＳ９０６においてタッチ位置を示す情報を読み出した場合に、映像処理装置１００は、図１０（ａ）に示すように、表示部１０３の表示画面６０１のタッチ位置を示す情報に対応する位置６０６にカーソルを表示する。この時、図１０（ａ）に示すように、フレームインした役者Ｂの位置１００５が、リハーサルの撮影時の役者Ｂの位置と異なり、タッチ位置（位置６０６）から所定範囲外であるため、役者Ｂに焦点が合っていない。

ステップＳ９０７において映像処理装置１００は、ステップＳ９０６において記憶部１１１から取得したタッチ位置を示す情報に基づいて、オブジェクト検出を行う。即ち、本実施形態においてオブジェクト検出部８０１は、タッチ位置から所定距離以内（近傍）の範囲において、オブジェクト検出の処理を行う。尚、本実施形態のステップＳ９０７においてオブジェクトが検出された場合に、図１０（ｂ）に示すように、表示部１０３の表示画面６０１には、オブジェクトを検出した範囲を示す枠１００６が表示される。そして、図１０（ｂ）は、枠１００６に含まれる役者Ｂがオブジェクトとして検出されたことを示す。

ステップＳ９０８において映像処理装置１００は、ステップＳ９０７におけるオブジェクト検出の結果に基づいて、フォーカス処理を行う。即ち、本実施形態における映像処理装置は、ステップＳ９０７において検出されたオブジェクトの位置を取得し、取得した位置に基づく範囲に対してフォーカス処理を施す。本実施形態におけるステップＳ９０８においてフォーカス処理が施された場合に、図１０（ｃ）に示すように、役者Ｂの位置１００５に焦点が合っている画像が表示部１０３の表示画面６０１に表示される。尚、本実施形態における映像処理装置１００は、オブジェクトの位置をオブジェクトの中心点とする。例えば図１０（ｂ）に示す検出されたオブジェクトの枠１００６の中心点１００７に対応する。例えば、本実施形態における映像処理装置１００は、図１０（ｂ）に示す検出されたオブジェクトの枠１００６の中心点１００７を、オブジェクトの位置として用いる。しかしながら、オブジェクトの位置は、オブジェクトの中心点に限定されない。オブジェクトの位置として、オブジェクトの端の点及び／又は領域を用いてもよいし、オブジェクトの範囲内の所定の点及び／又は領域を用いても構わない。

ステップＳ９０９以降の処理は、実施形態１における図４のステップＳ４０８以降と同様の処理であるため、説明を省略する。

図９の処理によって、本実施形態における映像処理装置１００は、本番の撮影時の役者Ｂの立ち位置（図１０の位置１００５）が、タッチ位置を示す情報に対応する位置（図１０の位置６０６）と異なる場合でも、役者Ｂに焦点を合わせることができる。即ち、図１０に示される様に、ステップＳ９０７においてタッチ位置（位置６０６）の近傍の範囲に対してオブジェクト検出を行うことによって表示画面６０１上のオブジェクトを検出した領域（枠１００６）に対してフォーカス処理を行う。これによって、本実施形態における映像処理装置１００は、役者Ｂに焦点を合わせることができる。

尚、本実施形態における映像処理装置１００は、ステップＳ９０７においてタッチ位置に基づく範囲にオブジェクトを検出できなかった場合に、ステップＳ９０８においてフォーカス処理を行わない。しかしながら、本実施形態における映像処理装置１００は、これに限定されない。例えば、映像処理装置１００は、ステップＳ９０７においてオブジェクトを検出できなかった場合に、ステップＳ９０８において、ステップＳ９０６において取得したタッチ位置に焦点が合うようにフォーカス処理を行っても構わない。また、映像処理装置１００は、ステップＳ９０７においてタッチ位置に基づく範囲にオブジェクトを検出できなかった場合に、タッチ位置に基づく範囲外にオブジェクト検出の処理を行っても構わない。そして、ステップＳ９０８において映像処理装置１００は、タッチ位置に基づく範囲外で検出されたオブジェクトのうち、タッチ位置に最も近い位置のオブジェクトに焦点が合うように、フォーカス処理を行っても構わない。

以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。

さらに、本実施形態の映像処理装置によれば、表示画面上における予め記憶されたタッチ位置と、被写体の位置とが異なる場合に、タッチ位置の近傍に対してオブジェクト検出を行うことで、タッチ位置の近傍の被写体に対してフォーカス処理を行うことができる。

また、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。

また、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。

（実施形態３）
上述の実施形態１における映像処理装置１００は、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ時間に対応したタッチ位置に焦点を合わせるフォーカス処理を行った。また、実施形態２における映像処理装置１００は、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ位置から特定の範囲内にオブジェクト検出を行い、検出結果に基づく位置に焦点を合わせるフォーカス処理を行った。本実施形態３における映像処理装置は、記憶されたタッチ位置を示す情報を読み出し、当該タッチ位置に対応するタッチ時間の前後（タッチ時間の所定時間前からタッチ時間の所定時間後）の時間において、予告の情報を表示する。尚、本実施形態における映像処理装置は、予告の情報として、タッチ位置に対応するカーソル、及びタッチ時間に基づくカウンタ情報を表示する。

図１１は、本実施形態に係る映像処理装置の構成例を示す図である。尚、本実施形態の図１１において、実施形態１の図１の各部と同じ機能を有する部は同じ符号を付与し、その説明を省略する。本実施形態における映像処理装置１００は、予告表示制御部１１０１を有する点で、実施形態１の図１に示す映像処理装置１００と異なる。予告表示制御部１１０１は、記憶部１１１に記憶されたタッチ位置を示す情報に対応する表示部１０３の表示画面６０１上の位置に、予告の情報を表示するよう制御する。ここで、本実施形態における予告表示制御部１１０１は、予告の情報を、表示制御部１０４から出力される画像に重畳させて、表示部１０３に表示するよう制御する。尚、本実施形態における映像処理装置１００は、予告表示制御部１１０１が予告の情報を表示部１０３に表示するよう制御するが、これに限定されない。例えば、表示制御部１０４が予告表示制御部１１０１の機能を備えていても構わない。

本実施形態における映像処理装置１００は、指示された焦点を合わせる位置を記憶する処理を、実施形態１における図３及び図６に示した処理と同様に行うため、説明を省略する。

次に、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図１２及び図１３を用いて説明する。尚、本実施形態における映像処理装置１００は、本番（同一のショットにおける１番目のテイク）の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理（図１２の処理）を実行する。しかしながら、これに限定されず、映像処理装置１００は、指示された焦点を合わせる位置を記憶する処理（図３の処理）の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理（図１２の処理）を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける１番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を２番目以降のテイクの撮影時に実行する。尚、図３に示す処理を行った場合と同様に、図５に示すスタジオセットを用いて、ショット映像を撮影する。

まず、図１３（ａ）、（ｂ）、及び（ｃ）は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の映像処理装置１００の表示部１０３における表示画面６０１を示す図である。尚、図１３（ａ）、（ｂ）、及び（ｃ）は、撮影における時間の経過に対応している。また、図１３（ａ）、（ｂ）、及び（ｃ）において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。

図１３（ａ）は、タッチ時間の所定時間前（ここでは、３秒前）に、表示部１０３に表示された図を示す。図１３（ａ）に示すように、表示部１０３の表示画面６０１には、位置１５０５に役者Ｂが表示され、入口６０２と役者Ｂによって開けられたドア６０３とが表示されている。また、表示画面６０１には、位置１５０６に役者Ａが表示されている。さらに、図１３（ａ）に示すように、表示画面６０１には、タッチ位置を示す情報に対応する位置６０６に、予告の情報を示す枠が表示される。また、表示画面６０１には、タッチ時間と計時部１１０から取得した時間情報とに基づいて、タッチ時間（即ち、リハーサルの撮影時に焦点を合わせる位置を指示する情報が入力された時間）までの残り時間を示す情報であるカウント情報１５０４が表示される。尚、本実施形態における図１３（ａ）に示すカウント情報１５０４は、［−３］と表示されており、タッチ時間まで残り３秒あることを示す。

図１３（ｂ）は、計時部１１０から取得した時間が、読み出したタッチ時間と一致する場合に、表示部１０３に表示された図である。図１３（ｂ）に示すように、表示部１０３の表示画面６０１には、位置１５０８に役者Ｂが表示されている。また、図１３（ｂ）に示すように、位置１５０７に示すカーソルは、ユーザによって新たに指示されたタッチ位置であって、焦点を合わせる位置として位置１５０７を指示する情報が入力されたことを示す。また、図１３（ｂ）は、読み出したタッチ時間と一致する時間における図であり、カウント情報１５０４は、［±０］と表示される。

図１３（ｃ）は、フォーカス処理が施された後（ここでは、タッチ時間の１秒後）に、表示部１０３に表示される画像を示す。図１３（ｃ）に示すように、ユーザによって新たに指示されたタッチ位置に基づいて、位置１５０８にいる役者Ｂに焦点が合っている。

尚、本実施形態における映像処理装置１００は、計時部１１０から取得した時間とタッチ時間とに基づいて、予告の情報（カウント情報１５０４及び／又は位置６０６のカーソル）の形状や色を変更する構成としても構わない。このように、形状や色を変更することによって、タッチ時間により近い時間帯の予告の情報を、タッチ時間により遠い時間帯の予告の情報よりも目立たせることができ、ユーザにとって視認し易い表示を行うことができる。

次に、図１２は、本実施形態における映像処理装置１００が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。

図１２の各ステップＳ１２０１〜Ｓ１２０４の処理は、実施形態１における図４の各ステップＳ４０１〜Ｓ４０４と同一の処理であるため、説明を省略する。即ち、本実施形態における映像処理装置１００は、ステップＳ１２０１において記憶部１１１に記憶されているタッチ時間を取得し、アクションコールの検出に応じて、ステップＳ１２０４において計時を開始する。

ステップＳ１２０５において映像処理装置１００は、計時部１１０によって計測された時間が、ステップＳ１２０１において記憶部１１１から取得したタッチ時間の所定時間前（Ｘ秒前）であるか否かを判定する。ここで、計時部１１０によって計測された時間が、タッチ時間の所定時間前であると判定された場合（ステップＳ１２０５においてＹＥＳ）、映像処理装置１００はステップＳ１２０６の処理へ進む。一方、タッチ時間の所定時間前でないと判定された場合（ステップＳ１２０５においてＮＯ）は、映像処理装置１００はステップＳ１２１２の処理へ進む。

ステップＳ１２０６において映像処理装置１００は、記憶部１１１に記憶されているタッチ位置を示す情報を取得する。即ち、本実施形態における座標取得部１１３は、記憶部１１１に保存されたタッチ位置を示す情報を取得する（読み出す、呼び出す）。尚、タッチ位置を示す情報は、ステップＳ１２０１で取得されたタッチ時間を示す情報に対応するタッチ位置を示す情報である。ここでは、図３のステップＳ３０６において記憶されたタッチ位置（位置６０６）が取得される。

ステップＳ１２０７において映像処理装置１００は、タッチ位置の予告の表示を開始する。即ち、映像処理装置１００は、ステップＳ１２０１で取得したタッチ位置に予告の情報を表示し、タッチ時間までの残り時間を示す情報（カウント情報）を表示する。例えば、本実施形態の映像処理装置１００は、ステップＳ１２０６においてタッチ位置を示す情報を取得した際に、図１３（ａ）に示すように、表示部１０３の表示画面６０１上のタッチ位置を示す情報に対応する位置６０６に予告の情報を示す枠を表示する。また、映像処理装置１００は、記憶部１１１から取得したタッチ時間と計時部１１０から取得した時間とに基づいて、カウント情報１５０４を表示する。ここで、カウント情報１５０４は、タッチ時間（即ち、リハーサルの撮影時に焦点を合わせる位置を指示する情報が入力された時間）までの残り時間をカウントダウン形式で示す情報である。

ステップＳ１２０８において映像処理装置１００は、焦点を合わせる位置を指示する情報を取得（検出）したか否かを判定する。本実施形態における入力部１０６は、表示部１０３がユーザによって、新たな焦点を合わせる位置を指示する操作（例えば、タッチ操作）を受け付けた場合に、焦点を合わせる位置を指示する情報を取得する。ステップＳ１２０８において、新たに焦点を合わせる位置を指示する情報を検出（タッチ操作を検出）した場合（ステップＳ１２０８においてＹＥＳ）、映像処理装置１００はステップＳ１２０９の処理へ進む。一方、新たに焦点を合わせる位置を指示する情報を検出しなかった場合（ステップＳ１２０８においてＮＯ）は、映像処理装置１００はステップＳ１２１０の処理へ進む。

ステップＳ１２０９において映像処理装置１００は、ステップＳ１２０８において取得した焦点を合わせる位置を指示する情報に基づいて、フォーカス処理を行う。即ち、即ち、本実施形態における入力部１０６は、焦点を合わせる位置を指示する情報を指示部１０５へ出力する。そして、指示部１０５は、当該焦点を合わせる位置を指示する情報に基づいて、タッチ位置を示す情報を取得し、焦点制御部１０７へ出力する。そして、焦点制御部１０７は、タッチ位置を示す情報に基づいて、当該タッチ位置に焦点が合うようにレンズ１０２を駆動させる処理（フォーカス処理）を行う。

尚、本実施形態のステップＳ１２０８において焦点を合わせる位置を指示する情報を取得した場合には、図１３（ｂ）に示すように、表示部１０３の表示画面６０１上の指示した位置１５０７にカーソルが表示される。ユーザは、リハーサルの撮影時に指示されたタッチ位置に対応する位置６０６に表示されたカーソルを参照することによって、役者Ｂに対するフォーカス処理を行うべき位置を予測することができる。さらに、ユーザは、表示されたカウント情報１５０４を参照することによって、フォーカス処理を行うべきタイミングを予測することができる。また、ステップＳ１２０９におけるフォーカス処理が施された後には、図１３（ｃ）に示すように、位置１５０８にいる役者Ｂに焦点が合っている。また、カウント情報１５０４が引き続き表示されている。本実施形態のステップＳ１２１０においてタッチ時間から所定時間経過したと判定されるまで、カウント情報１５０４とタッチ位置に対応するカーソルとが表示されるため、ユーザは経過時間を認識することができる。そして、役者Ｂがタッチ位置に対応する位置６０６に来るタイミングが遅れた場合であっても、ユーザはフォーカス処理を行うべき位置を予測することができる。

ステップＳ１２１０において映像処理装置１００は、計時部１１０によって計測された時間が、ステップＳ１２０１において記憶部１１１から取得したタッチ時間の所定時間後（Ｙ秒後；ＸとＹとは同一でもよいし、異なってもよい）であるか否かを判定する。ここで、計時部１１０によって計測された時間が、タッチ時間の所定時間後であると判定された場合（ステップＳ１２１０においてＹＥＳ）、映像処理装置１００はステップＳ１２１１の処理へ進む。一方、タッチ時間の所定時間後でないと判定された場合（ステップＳ１２１０においてＮＯ）は、映像処理装置１００はステップＳ１２０８の処理へ戻る。

ステップＳ１２１１において映像処理装置１００は、タッチ位置の予告の表示を終了する。即ち、映像処理装置１００は、ステップＳ１２０１で取得したタッチ位置に対する予告の情報と、タッチ時間を基準とした時間を示す情報（カウント情報）の表示を終了する。そして、映像処理装置１００は、ステップＳ１２１１の処理の後、ステップＳ１２１２へ進む。

ステップＳ１２１２において映像処理装置１００は、撮影が終了したか否かを判定し、終了したと判定した場合には記憶されたタッチ位置に基づくフォーカス処理を終了し、終了していないと判定した場合にはステップＳ１２０５の処理へ戻る。

図１２の処理によって、本実施形態における映像処理装置１００は、本番の撮影時の役者Ｂの立ち位置（図１３の位置１５０８）が、タッチ位置を示す情報に対応する位置（図１３の位置６０６）と異なる場合でも、役者Ｂに焦点を合わせることができる。即ち、図１３に示される様に、ステップＳ１２０７において予告の情報（位置６０６のカーソル及びカウント情報１５０４）を表示する。そして、ユーザは予告の情報を確認した後、新たに焦点を合わせる位置を指示する操作を行う。これによって、本実施形態における映像処理装置１００は、新たに指示された焦点を合わせる位置に対してフォーカス処理を施すため、役者Ｂに焦点を合わせることができる。

尚、本実施形態における映像処理装置１００は、図１２に示すステップＳ１２０８において、新たに焦点を指示する情報を検出しなかった場合（ステップＳ１２０８においてＮＯ）にステップＳ１２１０の処理へ進むとしたがこれに限定されない。例えば、図１５に示すように、新たに焦点を指示する情報を検出しなかった場合（ステップＳ１２０８においてＮＯ）に、ステップＳ１２１３の処理へ進んでも構わない。ステップＳ１２１３において映像処理装置１００は、計時部１１０から取得された時間が記憶部１１１から取得したタッチ時間を過ぎているか、及び、フォーカス処理を一度もしていないかどうかを判定する。そして、ステップＳ１２１３においてタッチ時間を過ぎており、一度もフォーカス処理をしていないと判定された場合（ステップＳ１２１３においてＹＥＳ）に、映像処理装置１００はステップＳ１２１４の処理へ進む。そして、ステップＳ１２１４において映像処理装置１００は、ステップＳ１２０６で読み出した（記憶された）タッチ位置に基づいて、フォーカス処理を行うようにしても構わない。尚、ステップＳ１２１３においてタッチ時間を過ぎていない、及び／又は、フォーカス処理を一度以上したと判定された場合（ステップＳ１２１３においてＮＯ）に、映像処理装置１００は、ステップＳ１２０８の処理へ戻る。このように、図１５の各ステップＳ１２１３〜Ｓ１２１４の処理を行うことによって、映像処理装置１００は、例えば、記憶されたタッチ位置と被写体の位置とが一致する場合に、記憶されたタッチ位置とタッチ時間とに基づくフォーカス処理を行うことができる。

以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。

さらに、本実施形態の映像処理装置によれば、予め記憶したタッチ位置及びタッチ時間を表示することができる。即ち、本実施形態の映像処理装置は、記憶したタッチ位置及びタッチ時間に基づいて、予告の情報（タッチ位置に対応するカーソル、及びタッチ時間に基づくカウンタ情報）を表示することができる。これによって、本実施形態の映像処理装置は、再度撮影を行う際（本番の撮影時）に、新たな焦点を合わせる位置を指示するユーザによる操作をアシストすることができる。例えば、被写体である役者の立ち位置や動作のタイミングが、タッチ位置やタッチ時間と異なる場合であっても、ユーザは、表示された予告の情報を確認することにとって、改めて焦点を合わせる位置を指示することが容易にできる。

また、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。

また、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。

尚、本実施形態における映像処理装置は、本番テイク撮影時に、予告の情報の表示のみを行う構成としたが、上述の実施形態１及び／又実施形態２と組み合わせる構成としても良い。このような構成により映像処理装置は、リハーサルの撮影時に記憶されたタッチ位置及びタッチ時間と対応する位置及び時間にフォーカス処理すると判定した場合に、新たな焦点を合わせる位置を指示する情報を受け付けなくても構わない。即ち、このような構成により映像処理装置は、例えば、記憶されたタッチ位置と被写体の位置とが一致する場合に、記憶されたタッチ位置とタッチ時間とに基づくフォーカス処理を行うようにしても構わない。

（実施形態４）
図１、図８、及び図１１に示した各部は、ハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した一部又は全部の各部で行う図３、図４、図９、図１２、及び図１５に示した処理をコンピュータプログラムでもって構成しても良い。以下、図１４を用いて本実施形態について説明する。図１４は、上記各実施形態に係る映像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る映像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図８、及び図１２に示した各処理部として機能することになる。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インタフェース）１４０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、画像メモリ（ピクチャメモリ）として割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。出力部１４０５は、ＣＰＵ１４０１による処理結果を出力する。また出力部１４０５は例えば液晶ディスプレイで構成され、ＣＰＵ１４０１による処理結果を表示する。

外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１４に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜、ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。

（その他の実施形態）
上述の各実施形態１〜３において映像処理装置の各部は、単一の装置に含まれる構成されるものとしたが、これに限定されない。即ち、映像処理装置の各部の一部を他の装置に含まれる構成としても良い。例えば、映像処理装置１００の表示部１０３と入力部１０６とを他の装置（例えば、タブレット装置）が備えていて、当該他の装置と映像処理装置１００とが有線又は無線で接続されている構成でも構わない。また、映像処理装置１００のレンズ１０２とマイク１０８とを他の装置（例えば、撮像装置）が備えていて、当該他の装置と映像処理装置１００とが有線又は無線で接続されている構成でも構わない。

また、上述の各実施形態１〜３において映像処理装置は、記憶されたタッチ位置を示す情報を読み出して、当該タッチ位置に対応する表示画面上の位置にカーソルを表示する。尚、上述の各実施形態１〜３において映像処理装置は、記憶されたタッチ位置が複数ある場合に、当該複数のタッチ位置に対応するカーソルを異なる方法で表示しても構わない。例えば、映像のうち１番目に焦点を合わせる位置が指示された場合に第１のタッチ位置と第１のタッチ時間を記憶し、次に（２番目に）新たな焦点を合わせる位置が指示された場合に第２のタッチ位置と第２のタッチ時間を記憶する。このような場合に、映像処理装置は、第１のタッチ位置に対応するカーソルと第２のタッチ位置に対応するカーソルを、異なる表示（例えば、異なる色）を用いて表示しても構わない。

以上のような種々の実施形態により第一の撮影時に指定された焦点を合わせる位置及び当該指示を受け付けたタイミングに従って第二の撮影時に焦点を合わせる位置を制御することが可能となる。即ち、第一の撮影時に指定された焦点を合わせる位置に基づく位置情報や時間情報を取得し、これらを用いて第二の撮影時に焦点を合わせる位置を制御できる。従って、第一の撮影時に焦点を合わせた位置からのズレや焦点を合わせた時間からのズレを考慮して、第二の撮影時に焦点を合わせる位置を調整しつつ制御できるため、容易に所望の位置やタイミングで焦点を合わせることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 映像処理装置
１０１ 全体制御部
１０２ レンズ
１０３ 表示部
１０４ 表示制御部
１０５ 指示部
１０６ 入力部
１０７ 焦点制御部
１０８ マイク
１０９ 検出部
１１０ 計時部
１１１ 記憶部
１１２ 撮影指示部
１１３ 座標取得部
１１４ 撮像部

Claims (18)

1. 撮像部を用いて所定の被写体を撮影する第一の撮影時に、焦点を合わせる位置を指示する情報の入力を受け付ける受付手段と、
   前記受付手段によって、前記焦点を合わせる位置を指示する情報の入力が受け付けられたことに応じて、入力された前記情報に指示される前記焦点を合わせる位置を示す位置情報と、前記第一の撮影の開始後の基準時間から前記焦点を合わせる位置を指示する情報が入力されるまでの経過時間を示す時間情報とを取得する取得手段と、
   前記撮像部を用いて前記所定の被写体を再び撮影する第二の撮影時に、前記取得手段によって取得された前記位置情報と前記時間情報とに基づいて、焦点を合わせる位置を制御する制御手段とを有することを特徴とする映像処理装置。
2. 前記制御手段は、前記第二の撮影時に、前記第二の撮影の開始後の基準時間からの経過時間と、前記取得手段によって取得された前記時間情報との比較に基づくタイミングで、前記取得手段によって取得された位置情報に基づく位置に焦点を合わせるよう前記撮像部の焦点調節を制御することを特徴とする請求項１に記載の映像処理装置。
3. 前記焦点を合わせる位置を指示する情報の入力とは、前記撮像部を用いて撮影される映像を表示する表示画面上の位置を指定する操作の入力であって、
   前記取得手段によって取得される位置情報は、前記表示画面上の位置を示す位置情報であって、
   前記制御手段は、前記取得手段によって取得された位置情報に対応する被写体に焦点が合うよう前記撮像部の焦点調節を制御することを特徴とする請求項１又は２に記載の映像処理装置。
4. さらに、前記撮像部を用いて撮影される映像から被写体であるオブジェクトを検出するオブジェクト検出手段を有し、
   前記オブジェクト検出手段は、前記第二の撮影時に、前記第二の撮影の開始後の基準時間からの経過時間と、前記取得手段によって取得された前記時間情報との比較に基づくタイミングで、前記映像のうち前記取得手段によって取得された位置情報に基づく領域に存在する被写体であるオブジェクトを検出し、
   前記制御手段は、前記オブジェクト検出手段による検出結果に基づく位置に焦点を合わせるよう前記撮像部の焦点調節を制御することを特徴とする請求項３に記載の映像処理装置。
5. 前記オブジェクト検出手段は、前記第二の撮影時に、前記第二の撮影の開始後の基準時間からの経過時間と、前記取得手段によって取得された前記時間情報との比較に基づくタイミングで、前記映像を表示する表示画面において前記取得手段によって取得された位置情報に基づく位置から所定距離以内の領域に存在するオブジェクトを検出し、
   前記制御手段は、前記オブジェクト検出手段によって検出されたオブジェクトの位置に焦点を合わせるよう前記撮像部の焦点調節を制御することを特徴とする請求項４に記載の映像処理装置。
6. さらに、前記取得手段によって取得された前記位置情報と前記時間情報とを対応させて記憶する記憶手段を有し、
   前記制御手段は、前記記憶手段に記憶された前記位置情報と前記時間情報とに基づいて、前記撮像部の焦点調節を制御することを特徴とする請求項１乃至請求項５のいずれか一項に記載の映像処理装置。
7. 前記第一の撮影および前記第二の撮影において、前記所定の被写体は、予め定められたシナリオに沿った動きを繰り返すことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
8. さらに、前記第一の撮影の開始後又は前記第二の撮影の開始後に、前記所定のアクションを検出する検出手段を有し、
   前記基準時間とは、所定のアクションが検出された時間であることを特徴とする請求項１乃至７のいずれか１項に記載の映像処理装置。
9. 前記検出手段は、所定の音声を集音したマイクから出力される音声情報に基づいて前記所定のアクションを検出することを特徴とする請求項８に記載の映像処理装置。
10. 前記検出手段は、所定の操作部に対する操作に基づいて前記所定のアクションを検出することを特徴とする請求項８に記載の映像処理装置。
11. 前記検出手段は、ユーザによる所定のジェスチャを認識することで前記所定のアクションを検出することを特徴とする請求項８に記載の映像処理装置。
12. 前記第二の撮影時に、前記第二の撮影の開始後の基準時間からの経過時間と、前記取得手段によって取得された前記時間情報との比較に基づくタイミングで、前記第二の撮影によって取得される映像を表示する表示画面に、さらに前記取得手段によって取得された前記位置情報に対応する位置を表す図形を表示するよう制御する表示制御手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の映像処理装置。
13. 前記表示制御手段は、前記第二の撮影の開始後の基準時間からの経過時間と、前記取得手段によって取得された前記時間情報との差を示す情報と、前記図形とを、前記第二の撮影によって取得される映像に重畳させて表示するよう制御することを特徴とする請求項１２に記載の映像処理装置。
14. 前記表示制御手段は、前記図形を、前記取得手段に前記位置情報に対応する位置に表示するよう制御することを特徴とする請求項１２又は請求項１３に記載の映像処理装置。
15. 撮像部を用いて所定の被写体を撮影する第一の撮影時に、焦点を合わせる位置を指示する情報の入力を受け付ける受付工程と、
    前記受付工程によって、前記焦点を合わせる位置を指示する情報の入力が受け付けられたことに応じて、入力された前記情報に指示される前記焦点を合わせる位置を示す位置情報と、前記第一の撮影の開始後の基準時間から前記焦点を合わせる位置を指示する情報が入力されるまでの経過時間を示す時間情報とを取得する取得工程と、
    前記撮像部を用いて前記所定の被写体を再び撮影する第二の撮影時に、前記取得工程によって取得された前記位置情報と前記時間情報とに基づいて、焦点を合わせる位置を制御する制御工程とを有することを特徴とする映像処理方法。
16. コンピュータを、請求項１乃至請求項１４のいずれか一項に記載の映像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載されたプログラムが記録されたコンピュータが読み取り可能な記憶媒体。
18. 撮像部を有する撮像装置であって、前記撮像部を用いて所定の被写体を撮影する第一の撮影時に、焦点を合わせる位置を指示する情報の入力を受け付ける受付手段と、
    前記受付手段によって、前記焦点を合わせる位置を指示する情報の入力が受け付けられたことに応じて、入力された前記情報に指示される前記焦点を合わせる位置を示す位置情報と、前記第一の撮影の開始後の基準時間から前記焦点を合わせる位置を指示する情報が入力されるまでの経過時間を示す時間情報とを取得する取得手段と、
    前記撮像部を用いて前記所定の被写体を再び撮影する第二の撮影時に、前記取得手段によって取得された前記位置情報と前記時間情報とに基づいて、焦点調節を行う制御手段とを有することを特徴とする撮像装置。

Images