以下、添付の図面を参照して、本発明の実施形態の一例を詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。以下、1以上の画像を含む映像データにおいて撮影の最小単位である1ショット分の映像データをショット映像と称し、1以上のショット映像を含むものを映像コンテンツと称す。尚、ショット映像及び映像コンテンツの詳細については図2を用いて後述する。
(実施形態1)
本実施形態における映像処理装置の構成について図1を用いて説明する。図1は、本実施形態に係る映像処理装置の構成例を示す図である。本実施形態における映像処理装置は、撮像部を有する撮像装置であるが、これに限定されない。本実施形態における映像処理装置100は、被写体を撮影し、映像データを生成する。レンズ102は、撮像光学系を構成する。撮像部114は、被写体を撮像する為の撮像部であって、レンズ102を通して結像した光を電荷に変換して映像データを生成するセンサを有する。表示部103は、撮像部114で撮像された画像(映像)を表示する。表示制御部104は、表示部103に映像を表示するよう制御する。
入力部106は、操作者(ユーザ)の操作を受け付け、受け付けた操作に基づく指示の情報を取得する。例えば、入力部106は、ユーザによる表示部103へのタッチ操作を検出し、焦点を合わせる位置(焦点を合わせるべき表示画面上の位置)を指示する情報を取得する。尚、本実施形態において表示部103はユーザによる操作を受け付け、入力部106は表示部103へのユーザによる操作に基づく指示の情報を取得するが、これに限定されない。即ち、表示部103が入力部106の機能を備えていても構わない。
指示部105は、入力部106から焦点を合わせる位置を指示する情報を取得し、当該焦点を合わせる位置を指示する情報に基づいて、表示部103の表示画面上のタッチされた位置(タッチ位置)を示す情報を取得し、後段の処理部へ出力する。ここで、タッチ位置は、焦点を合わせる位置(焦点を合わせるべき表示画面上の位置)としてユーザによって指示された位置である。
焦点制御部107は、指示部105から取得したタッチ位置を示す情報に基づいて、当該タッチ位置に対応する被写体にフォーカス(焦点)が合うようにレンズ102を駆動させる(フォーカス処理を行う)。尚、本実施形態において焦点制御部107は、焦点を調整するために用いる方式に限定されず、撮像画面の特定の位置(指定された位置)に対してフォーカス処理を施すことが可能な手法であれば構わない。例えば、焦点制御部107は、位相差検出方式、コントラスト検出方式等を用いて、焦点を調整する(オートフォーカス処理を行う)ことができる。また、焦点制御部107は、撮像位置からタッチ位置に対応する被写体までの距離を測定して、当該距離に基づいてフォーカス処理を行ってもよい。また、レンズ102を介して入力された複数の光の位相差と、レンズ102の駆動量との関係を示すテーブルを用いてフォーカス処理を行っても構わない。
マイク108は、音声を電気信号として取り込み、音声情報(音声信号)を生成する。そして、マイク108は、生成した音声情報を検出部109へ出力する。検出部109は、マイク108から出力された音声情報に基づいて、ユーザ(撮影指揮者、監督等)による演技開始の号令(指示)であるアクションコール(所定の識別情報)を、音声認識によって検出する。また、検出部109は、アクションコールを検出したタイミング(時間情報)を取得する。計時部110は、検出部109によってアクションコールが検出された時点を開始点として時間を計測する。記憶部111は、計時部110によって計測された時間に基づいて、指示された焦点を合わせる位置(タッチ位置)を示す情報と、焦点を合わせる位置を指示する情報を取得した時間(タッチ時間)を示す情報とを記録(記憶)する。
撮影指示部112は、撮影済みのショット映像と類似のショット映像(同一ショットの他のテイク)の撮影を行う場合に、類似の撮影を行うことを示す再撮影情報を全体制御部101に出力する。座標取得部113は、記憶部111に記憶された位置情報(タッチ位置を示す情報)を取得する(読み出す、呼び出す)。
全体制御部101は、映像処理装置100内の各部の制御及び各部間のパラメータ伝達を行う。尚、図1において、全体制御部101と映像処理装置100内の各部との間の結線を省略している。そして、全体制御部101は映像処理装置100内の各部の制御、及び各部間のパラメータの読み書きを、不図示のパラメータ信号線またはレジスタバスの少なくともいずれかを通じて行うことが可能である。また、本実施形態において、図1の全体制御部101は、映像処理装置100内に設置されているが、これに限定されない。即ち、全体制御部101は、当該映像処理装置100外に設置されてもよい。そして、映像処理装置100の全体制御部101が映像処理装置100内の各部の制御、及び各部間のパラメータの読み書きを、全体制御部101と映像処理装置100とを継ぐパラメータ信号線またはレジスタバスの少なくともいずれかを通じて行ってもよい。
次に、映像コンテンツ及びショット映像の詳細について、図2(a)を用いて説明する。図2(a)は、1以上のショット映像を含む映像コンテンツであって、シネマ用の映像やドラマ用の映像等の映像コンテンツを作成する為の映像データの階層概念の一例を説明する図である。脚本やシナリオ等に基づく映像コンテンツは、一以上のシーケンスから構成されている。一つのシーケンス映像は、一以上のシーン(場面)から構成されている。さらに、一つのシーンは、一以上のショットから構成されている。尚、本実施形態における映像処理装置100は、一つのショットを一回の撮影単位とする。
例えば、人物Aと人物Bの二人が会話を行うシーンにおいて、種々の撮影手法で撮影し得る。会話している二人をワイドで撮影するロングショット、人物Bをズームで撮影するクローズアップショット、人物Bの肩越しに人物Aを撮影するショルダーショット等、撮影の位置や角度に変化のあるショットが撮影される。ショットやシーンの撮影は、脚本やシナリオの順番(映像コンテンツの再生順序)で行われるとは限らず、撮像装置や撮影セットの都合で、映像コンテンツの再生順序とは異なる順番で行われる場合もある。また、一つのショットに関する撮影は、役者やスタッフのミス、監督の意向、予測不能な自然現象等の影響により、何度も撮り直しを行う場合がある。このように、同一のショットに対して行う撮影をテイクと呼び、同じショットを複数回撮影した場合には、各撮影を識別するためにテイクと呼ばれる番号を各ショット映像に付与する。
即ち、映像コンテンツに含まれる各ショット映像のファイル毎に、シーケンス、シーン、ショット、テイクの番号等の撮影情報を、ショットデータとして付加することによって、各ショット映像を特定(識別)することができる。例えば、図2(a)に示す映像201はシーケンス1シーン1ショット2テイク4と示され、映像202はシーケンス1シーン1ショット4テイク3と示される。尚、同じショットの番号を持つテイクが複数存在する場合に、これらのテイクは、映像コンテンツの作成において置き換え可能なテイクとして用いられる。このテイクを示す情報はテイクが書かれたボードを撮影することによってショット映像に付与されたり、ユーザによる手動入力によって付与される。尚、ここで説明したシーケンス、シーン、ショット、テイク等の用語は、本実施形態を説明する為の一例に過ぎず、異なる用語を用いても構わない。
また、図2(b)は、同一のショットにおける複数のテイクの時間軸の一致(同期)を説明する図である。同一のショットにおける各テイクは、同じショットの撮り直しである為に映像の時間の長さはほぼ同一である場合が多い。また、同一のショットにおける各テイクは、映像コンテンツとして編集される際に互いに置き換えが可能である。しかしながら、実際の撮影においては、撮影を開始してから映像コンテンツに用いられる部分の映像の先頭までの時間が、各テイクのショット映像において異なる場合がある。このような場合、監督による演技開始の号令で(指示)であるアクションコール(所定の識別情報)のタイミングを演技の開始の時間(時刻)を示す時間情報として用いることによって、同一のショットの複数のテイクに対して同期処理を施すことができる。即ち、本実施形態における映像処理装置100は、同一のショットの複数のテイクにおける各アクションコールのタイミングを一致(同期)させる。尚、アクションコールのタイミングは、ユーザによる演技開始の指示のタイミングに限定されず、ユーザによる種々の指示のタイミングでも構わない。また、風景のみの映像等のように、演技のないショット映像を撮影する場合は、撮影開始を示すロールコールのタイミングをアクションコールのタイミングとして用いても構わない。尚、ロールコールのタイミングは、ユーザによる撮影開始の指示のタイミングでも構わないし、撮像部114による撮影処理の開始のタイミングでも構わない。また、本実施形態において時間情報は、映像の先頭の時間を示すものとしたが、これに限定されず、基準となる所定の時間を示すものであれば構わない。
図2(b)に示す具体例において、テイク1からテイク6までの、撮影開始を示すロールコールから演技開始を示すアクションコールまでの時間はバラバラである。しかしながら、役者はアクションコールに応じて演技を開始するので、アクションコールのタイミングを示す時間情報に基づいて各テイクに対して同期処理を施すことができる。本実施形態における映像処理装置100は、例えば、アクションコールの時間情報を基準時間情報00:00として、同一ショットにおける複数のテイクの映像の時間軸を一致させることによって、同期処理を施すことができる。
次に、本実施形態における映像処理装置100が、指示された焦点を合わせる位置を記憶する処理の手順の詳細について、図3、図5、及び図6を用いて説明する。尚、本実施形態における映像処理装置100は、撮影のリハーサルをする際に、指示された焦点を合わせる位置を記憶する処理(図3の処理)を実行する。しかしながら、これに限定されず、映像処理装置100は、実際の撮影をする際(例えば、同一のショットにおける1番目のテイクの撮影をする際)に、指示された焦点を合わせる位置を記憶する処理を実行しても構わない。
以下、図5に示すスタジオセットを用いて、ショット映像を撮影する場合について説明する。尚、図5は、撮影場所であるスタジオセットにおける、被写体の遷移の一例を示す図である。尚、図5は、部屋を模したスタジオセット501を天井から見た場合の図である。位置502は撮影を行う位置(図1に示す映像処理装置100がセットされた位置)である。スタジオセット501にはドア503が設けられている。位置504は、役者Aの立ち位置を示す。位置505は、リハーサルの撮影時に役者Bがドア503を開けた後に立ち止まった位置を示す。また、位置506は、本番の撮影時に役者Bがドア503を開けた後に立ち止まった位置を示す。
本実施形態では、撮影を開始すると、役者Aをウエストショットで撮影する。さらに、アクションコールに対応する操作が行われ、アクションコールの5秒後に、役者Bがドア503を開けて入室する。そして、アクションコールに対応する操作が行われた時には、役者Aに焦点を合わせている。次に、アクションコールの5秒後には、入室して来た役者Bに焦点を合わせる。
図6(a)、(b)、及び(c)は、指示された焦点を合わせる位置を記憶する場合の映像処理装置100の表示部103における表示画面(操作画面)を示す図である。表示画面601は、表示部103における表示画面(操作画面)である。尚、図6(a)、(b)、及び(c)は、撮影における時間の経過に対応している。図6(a)、(b)、及び(c)において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。
図6(a)は、ユーザによってアクションコールに対応する操作が行われた時(検出部109がアクションコールを検出した時)に、表示部103に表示される画像を示す。アクションコールの操作が行われた時、図6(a)に示すように表示部103の表示画面601には、位置604に役者Aが表示され、スタジオセットに設けられた入口602が表示されている。また、図6(a)に示すように、アクションコールの操作が行われた時には、役者Aの位置604に焦点が合っている。
図6(b)は、アクションコールの操作から5秒後に、表示部103に表示される画像を示す。アクションコールの操作の所定時間後、役者Bは入口602からスタジオセット内に入室する。そして、アクションコールの操作から5秒後、図6(b)に示すように表示画面601には、位置605に役者Bが表示され、入口602と役者Bによって開けられたドア603とが表示されている。また、表示画面601には、図6(a)と同様に、位置604に役者Aが表示されている。また、図6(b)に示すように、アクションコールの操作から5秒後には、役者Aの位置604に焦点が合っており、役者Bの位置605、入口602、及びドア603は、役者Aの位置604より離れた後方の位置にあるため焦点が合っていない。この時、ユーザは、役者Bの位置605に焦点を合わせる為に、表示画面601の位置606をタッチする。尚、表示制御部104は、表示部103における表示画面601上のユーザによって指示された焦点を合わせる位置(位置606)に、図6(b)に示すように円形状の図形(カーソルマーク:以下、単にカーソルと称す)を表示する。
図6(c)は、図6(b)に示した位置606に焦点を合わせるフォーカス処理が施された後に、表示部103に表示される画像を示す。図6(c)に示すように、役者Bの位置605に焦点が合っている。また、入口602及びドア603の位置は位置606から所定範囲内(近傍)であるため、入口602及びドア603にも焦点が合っている。尚、役者Aの位置604は位置606から所定範囲外(遠方)であるため、役者Aには焦点が合っていない。
次に、図3は、本実施形態における映像処理装置100が、ユーザにより指示された焦点を合わせる位置を記憶する処理の詳細を示すフローチャートである。
ステップS301において映像処理装置100は、例えば、表示部103の所定位置をユーザがタッチすることによる撮影の開始を示す情報を取得する。そして、本実施形態における撮像部114は、取得した撮影開始を示す情報に基づいて、撮影を開始する。
ステップS302において映像処理装置100は、アクションコールを検出したタイミング(アクションコールの時間情報)を取得する。本実施形態における検出部109は、ユーザから指示されるアクションコールを、マイク108から出力された音声情報(ユーザの声や特定の音等)に基づいて検出する。そして、検出部109は、アクションコールを検出したタイミング(アクションコールの時間情報)を取得する。尚、アクションコールの時間情報の検出は、音声情報に基づく方法に限定されず、アクションコールに対応するボタン(不図示)がユーザによって押下されたことに応じてアクションコールの時間情報を検出する方法を用いても構わない。また、ユーザによるアクションコールに対応するジェスチャを認識することに応じてアクションコールの時間情報を検出する方法を用いても構わない。尚、本実施形態のステップS302においてアクションコールを検出した際には、図6(a)に示すように、役者Aに焦点が合っている状態である。
ステップS303において計時部110は、ステップS302において検出部109によって検出されたアクションコールの時間情報に基づいて、当該アクションコールが検出された時点からの計時を開始する。即ち、本実施形態における検出部109は、アクションコールが検出された時点を計時の開始時点(図2(b)に示す00:00の時点)とする。
ステップS304において映像処理装置100は、焦点を合わせる位置を指示する情報を取得(検出)したか否かを判定する。尚、本実施形態における入力部106は、表示部103がユーザによる焦点を合わせる位置を指示する操作を受け付けた場合に、焦点を合わせる位置を指示する情報を取得することができる。ステップS304において、焦点を合わせる位置を指示する情報を取得したと判定された場合(ステップS304においてYES)、映像処理装置100はステップS305の処理へ進む。一方、ステップS304において、焦点を合わせる位置を指示する情報を取得しなかったと判定された場合(ステップS304においてNO)は、映像処理装置100はステップS307の処理へ進む。
ステップS305において映像処理装置100は、ステップS304において取得した焦点を合わせる位置を指示する情報に基づいて、フォーカス処理を行う。即ち、本実施形態における入力部106は、焦点を合わせる位置を指示する情報を指示部105へ出力する。そして、指示部105は、当該焦点を合わせる位置を指示する情報に基づいて、タッチ位置を示す情報を取得し、焦点制御部107へ出力する。ここで、タッチ位置は、焦点を合わせる位置を指示する情報に対応する位置であって、表示部103の表示画面601上におけるユーザによってタッチ(指示)された焦点を合わせる位置である。そして、焦点制御部107は、タッチ位置を示す情報に基づいて、当該タッチ位置の被写体に焦点が合うようにレンズ102を駆動させる処理(フォーカス処理)を行う。この処理によって、映像処理装置100の表示部103の画面上のタッチ位置に対応する被写体に、焦点を合わせることができる。尚、本実施形態において焦点を合わせる位置を指示する情報を取得した場合には、図6(b)に示すように、表示部103の表示画面601上の指示した位置606にカーソルが表示される。
ステップS306において記憶部111は、指示された焦点を合わせる位置(タッチ位置)を示す情報と、焦点を合わせる位置を指示する情報を取得したタイミング(タッチ時間)を示す情報とを記憶する。即ち、記憶部111は、指示部105から出力されたタッチ位置を示す情報と、計時部110から出力されたタッチ時間を示す情報とを記憶する。ここで、タッチ時間は、ステップ303における計時開始からステップS304において焦点を合わせる位置を指示する情報を取得するまでの時間である。即ち、本実施形態における映像処理装置100は、図6(b)に示す位置606を、タッチ位置を示す情報として記憶し、アクションコールから位置606がユーザにより指示されるまでの時間(本例では5秒間)を、タッチ時間を示す情報として記憶する。尚、本実施形態における映像処理装置100は、タッチ位置を示す情報とタッチ時間を示す情報とを対応させて記憶する。
ステップS307において映像処理装置100は、撮影が終了したか否か判定する。ステップS307において撮影が終了していないと判定した場合(ステップS307においてNO)、映像処理装置100はステップS304の処理へ戻る。一方、ステップS307において撮影が終了したと判定した場合(ステップS307においてYES)は、映像処理装置100は指示された焦点を合わせる位置を記憶する処理を終了する。
以上のようにして、本実施形態における映像処理装置100は、指示された焦点を合わせる位置を記憶することができる。尚、映像処理装置100は、ステップS307で撮影が終了した後に、ステップS306で記憶した情報を、1ショット映像分(即ち、リハーサル1回分、1テイク分)まとめたファイル等を、記憶部111又は他のメモリ(不図示)に保存してもよい。
次に、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図4及び図7を用いて説明する。尚、本実施形態における映像処理装置100は、本番(同一のショットにおける1番目のテイク)の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理(図4の処理)を実行する。しかしながら、これに限定されず、映像処理装置100は、指示された焦点を合わせる位置を記憶する処理(図3の処理)の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理(図4の処理)を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける1番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を2番目以降のテイクの撮影時に実行する。尚、図3に示す処理を行った場合と同様に、図5に示すスタジオセットを用いて、ショット映像を撮影する。
まず、図7(a)、(b)、及び(c)は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の、映像処理装置100の表示部103における表示画面601を示す図である。尚、図7(a)、(b)、及び(c)は、撮影における時間の経過に対応している。また、図7(a)、(b)、及び(c)において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。
図7(a)は、ユーザによってアクションコールに対応する操作が行われた時(検出部109がアクションコールを検出した時)に、表示部103に表示された画像を示す。図7(a)に示すように、アクションコールの操作が行われた時には、役者Aの位置704に焦点が合っている。
図7(b)は、アクションコールの操作から5秒後に、表示部103に表示された画像を示す。図7(b)に示すように、表示部103の表示画面601には、位置705に役者Bが表示され、入口602と役者Bによって開けられたドア603とが表示されている。また、表示画面601には、図7(a)と同様に、位置704に役者Aが表示されている。また、図7(b)に示すように、アクションコールの操作から5秒後には、リハーサルの撮影時と同様に、役者Bの位置705、入口602、及びドア603は、役者Aの位置704より離れた後方の位置にあるため焦点が合っていない。尚、図7(b)に示すように、アクションコールの操作から5秒後には、本番の撮影時に読み出されたタッチ位置を示す情報に対応する位置606に、カーソルを表示する。
図7(c)は、図7(b)に示した位置606に焦点を合わせるフォーカス処理が施された後に、表示部103に表示される画像を示す。図7(c)に示すように、役者Bの位置705に焦点が合っている。尚、役者Aの位置704は位置606から所定範囲外(遠方)であるため、役者Aには焦点が合っていない。
次に、図4は、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。
ステップS401において映像処理装置100は、記憶部111に記憶されているタッチ時間を示す情報を取得する。本実施形態にて撮影指示部112は、記憶された焦点を合わせる位置に基づくフォーカス処理を開始する場合に、指示された焦点を合わせる位置を記憶する処理(図3の処理)を行った撮影と類似の撮影を行うことを示す再撮影情報を全体制御部101へ出力する。そして、全体制御部101は、記憶部111に記憶されているタッチ時間を示す情報を取得する。ここでは、図3のステップS306において記憶されたタッチ時間(5秒間)が取得される。
尚、本実施形態における映像処理装置100は、図3の処理を行ったリハーサルの撮影に対応する本番の撮影を行うため、リハーサルの撮影時に記憶部111に記憶された情報(タッチ位置及び/又はタッチ時間を示す情報)を取得するが、これに限定されない。図3の処理を第1の映像(例えば、テイク1)の撮影時に行い、第1の映像と同一ショットの第2の映像(例えば、テイク2)の撮影において図4の処理を行う場合に、映像処理装置100は、図3の処理を行った撮影時に記憶された情報を取得すればよい。
また、図3の処理を複数の映像(例えば、同一ショットのテイク1とテイク2)の撮影時に行った後に、同一ショットの映像(例えば、テイク3)の撮影において図4の処理を行う場合に、本実施形態における映像処理装置100は、次のような処理を行う。即ち、本実施形態における映像処理装置100は、図3の処理を行った映像(テイク1とテイク2)の撮影のうち最後の撮影(テイク2の撮影)時に記憶された情報を取得する。尚、本実施形態における映像処理装置100はこれに限定されず、図3の処理を複数の映像の撮影時に行った場合に、当該複数の映像の撮影時に記憶された複数の情報を記憶し、図4の処理を行う際に、記憶された複数の情報から選択する構成で合っても構わない。
各ステップS402〜S404の処理は、図3の各ステップS301〜303と同様の処理であるため、説明を省略する。尚、本実施形態のステップS403においてアクションコールを検出した際には、表示画面601には図7(a)に示す画像が表示されている。この時、図7(a)に示すように、役者Aに焦点が合っている。
ステップS405において映像処理装置100は、計時部110によって計測された時間とステップS401で取得したタッチ時間とを比較する。ここで、計時部110によって計測された時間とステップS401で取得したタッチ時間とが一致していないと判定された場合(ステップS405においてNO)、映像処理装置100はステップS408の処理へ進み、撮影が終了したか否かを判定する。
一方、ステップS405において計時部110によって計測された時間とステップS401で取得したタッチ時間とが一致していると判定された場合(ステップS405においてYES)は、映像処理装置100はステップS406の処理へ進む。本実施形態における映像処理装置100は、計時部110によって計測された時間が5秒の時(即ち、アクションコールから5秒後)に、計時部110によって計測された時間とステップS401で取得したタッチ時間とが一致していると判定する。そして、映像処理装置100は、ステップS406の処理へ進む。
ステップS406において映像処理装置100は、記憶部111に記憶されているタッチ位置を示す情報を取得する。即ち、本実施形態における座標取得部113は、記憶部111に保存されたタッチ位置を示す情報を取得する(読み出す、呼び出す)。尚、タッチ位置を示す情報は、ステップS401で取得されたタッチ時間を示す情報に対応する情報である。ここでは、図3のステップS306において記憶されたタッチ位置(位置606)が取得される。そして、座標取得部113は、取得したタッチ位置を示す情報を指示部105へ出力する。さらに、指示部105は、タッチ位置を示す情報を焦点制御部107へ出力する。尚、本実施形態のステップS406においてタッチ位置を示す情報を取得した際に、映像処理装置100は、図7(b)に示すように、表示部103の表示画面601上のタッチ位置を示す情報に対応する位置606にカーソルを表示する。
ステップS407において映像処理装置100は、ステップS406において記憶部111から取得したタッチ位置を示す情報に基づいて、フォーカス処理を行う。即ち、本実施形態における焦点制御部107は、指示部105から取得したタッチ位置に対応する実際の被写体に焦点が合うようにレンズ102を駆動させる処理(フォーカス処理)を行う。即ち、撮像部114と実際の被写体との実際の距離に従って被写体に焦点が合うように調整しつつフォーカス処理を行う。このとき被写体の位置が取得したタッチ位置とずれていた場合、実際の被写体の位置に焦点が合うように調整を行ったうえでフォーカス処理を行う。この処理によって、映像処理装置100の表示部103の画面上のタッチ位置に対応する被写体に、焦点を合わせることができる。
ステップS408において映像処理装置100は、図3のステップS307の処理と同様に、撮影が終了したか否かを判定する。そして、ステップS408において撮影が終了していないと判定した場合(ステップS408においてNO)、映像処理装置100はステップS405の処理へ戻る。一方、ステップS408において撮影が終了したと判定した場合(ステップS408においてYES)は、映像処理装置100は記憶された焦点を合わせる位置に基づくフォーカス処理を終了する。
図4の処理によって、本実施形態における映像処理装置100は、本番の撮影時の役者Bの立ち位置(図5の位置506)が、リハーサルの撮影時の役者Bの立ち位置(図5の位置505)と異なる場合でも、役者Bに焦点を合わせることができる。即ち、図5に示される様に、撮影位置(位置502)からの距離が異なる(位置506は位置505よりも奥である)場合であっても、ステップS407において表示画面601上のタッチ位置(位置606)に対してフォーカス処理を行う。これによって、本実施形態における映像処理装置100は、役者Bに焦点を合わせることができる。
以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。
尚、本実施形態における映像処理装置100は、図4におけるステップS401においてタッチ時間を取得した後に、ステップS406においてタッチ位置を取得するが、これに限定されない。即ち、映像処理装置100は、ステップS407においてフォーカス処理を行う前にタッチ位置を取得すればよい。例えば、映像処理装置100は、ステップS401においてタッチ時間とタッチ位置とを取得しても構わない。
従来のフォーカス処理では、予め、撮影する撮像装置の位置と被写体が立つ予定の位置との間の距離を計測し、計測した距離に基づくフォーカス位置をプリセット位置として記憶していた。これに対し、本実施形態の映像処理装置は、予め(リハーサルの撮影時に)、指示された焦点を合わせる位置(タッチ位置)を示す情報と、焦点を合わせる位置を指示する情報を取得した時間(タッチ時間)とを記憶する。即ち、本実施形態の映像処理装置は、距離の情報ではなく、撮影画面上の焦点を合わせる位置を記憶する。これにより、本実施形態の映像処理装置は、再度撮影を行う際(本番の撮影時)に、被写体の位置が異なっても、適切にフォーカス処理をすることができる。さらに、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。
また、従来のフォーカス処理では、予め、複数のフォーカス位置をプリセット位置として記憶し、記憶した複数のプリセット位置から選択したプリセット位置に基づいて、フォーカス処理を行うものがあった。一方、本実施形態の映像処理装置は、焦点を合わせる位置を指示する情報を取得した時間(タッチ時間)を、指示された焦点を合わせる位置(タッチ位置)と対応させて記憶する。この処理によって、本実施形態の映像処理装置は、適切なタイミングでタッチ位置を読み出し、フォーカス処理を行うことができる。これにより、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。
(実施形態2)
上述の実施形態1における映像処理装置100は、撮影時に焦点を合わせる位置を指示する情報が入力された場合に、次の処理を行う。即ち、実施形態1における映像処理装置100は、指示された焦点を合わせる位置(タッチ位置)を示す情報と、焦点を合わせる位置を指示する情報を取得したタイミング(タッチ時間)を示す情報とを記憶した。そして、実施形態1における映像処理装置100は、後の撮影(例えば、類似の撮影)を行う際に、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ時間に対応したタッチ位置に焦点を合わせるフォーカス処理を行った。本実施形態2における映像処理装置100は、類似の撮影を行う際に、タッチ時間に対応したタッチ位置から所定距離以内(近傍)の範囲に対してオブジェクト検出を行い、検出結果に基づいてフォーカス処理を行う構成とする。
図8は、本実施形態に係る映像処理装置の構成例を示す図である。尚、本実施形態の図8において、実施形態1の図1の各部と同じ機能を有する部は同じ符号を付与し、その説明を省略する。本実施形態における映像処理装置100は、オブジェクト検出部801を有する点で、実施形態1の図1に示す映像処理装置100と異なる。オブジェクト検出部801は、撮像部114で撮影された画像(映像)を取得し、取得した画像において、タッチ位置から所定距離以内の範囲(タッチ位置を中心とした所定範囲)に対して、オブジェクトを検出する。
尚、本実施形態においてオブジェクト検出部801は、人体をオブジェクトとして検出するが、検出するオブジェクトの種類に限定されない。例えば、オブジェクト検出部801は、人体、顔、物体、文字、特定の形状、特定の色の領域等を、オブジェクトとして検出してもよい。尚、画像からオブジェクトを検出する手法としては、例えば、画像から特徴点を抽出したり、複数の画像を用いて動きを検出する手法等があるが、これらに限定されない。例えば、オブジェクト検出部801は、検出するオブジェクトの種類を顔とした場合に、画像から目や鼻や口等に対応する特徴点や輪郭等を抽出することによって、顔を検出することができる。また、オブジェクト検出部801によって検出するオブジェクトの種類を、入力部106がユーザによる操作を受け付けることによって取得し、オブジェクト検出部801は取得したオブジェクトの種類に基づいて、オブジェクト検出を行うようにしても構わない。
本実施形態における映像処理装置100は、指示された焦点を合わせる位置を記憶する処理を、実施形態1における図3及び図6に示した処理と同様に行うため、説明を省略する。
次に、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図9及び図10を用いて説明する。尚、本実施形態における映像処理装置100は、本番(同一のショットにおける1番目のテイク)の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理(図9の処理)を実行する。しかしながら、これに限定されず、映像処理装置100は、指示された焦点を合わせる位置を記憶する処理(図3の処理)の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理(図9の処理)を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける1番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を2番目以降のテイクの撮影時に実行する。尚、図3に示す処理を行った場合と同様に、図5に示すスタジオセットを用いて、ショット映像を撮影する。
まず、図10(a)、(b)、及び(c)は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の映像処理装置100の表示部103における表示画面601を示す図である。尚、図10(a)、(b)、及び(c)は、撮影における時間の経過に対応している。また、図10(a)、(b)、及び(c)において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。
図10(a)は、映像処理装置100がタッチ位置を読み出した場合に、表示部103に表示された図を示す。即ち、図10(a)は、アクションコールの操作を検出してから、読み出したタッチ時間と一致する時間が経過した時に、表示部103に表示された図である。図10(a)に示すように、表示部103の表示画面601には、位置1005に役者Bが表示され、入口602と役者Bによって開けられたドア603とが表示されている。また、表示画面601には、位置1004に役者Aが表示されている。さらに、図10(a)に示すように、表示画面601には、タッチ位置を示す情報に対応する位置606に、カーソルが表示される。尚、図10(a)に示す例では、役者Bの位置1005がタッチ位置(位置606)から所定範囲外であるため、役者Bに焦点が合っていない。
図10(b)は、タッチ位置(位置606)から所定距離以内(近傍)の範囲において、オブジェクトが検出された場合の映像処理装置100の表示部103における表示画面601を示す図である。尚、枠1006は、オブジェクト検出部801がオブジェクト(役者B)を検出した範囲を示す。
図10(c)は、オブジェクト検出の結果に基づいてフォーカス処理が施された後に、表示部103に表示される画像を示す。図10(c)に示すように、役者Bの位置1005に焦点が合っている。尚、役者Aの位置1004は位置606から所定距離超(遠方)の範囲であり、オブジェクト検出を施す対象の範囲外であったため、役者Aに対してはフォーカス処理が施されず、焦点が合っていない。
次に、図9は、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。
図9の各ステップS901〜S906の処理は、実施形態1における図4の各ステップS401〜S406と同様の処理であるため、説明を省略する。即ち、本実施形態における映像処理装置100は、各ステップS901〜S906の処理によって、記憶部111に記憶されているタッチ位置を示す情報を取得することができる。ここでは、実施形態1と同様に、図3のステップS306において記憶されたタッチ位置(位置606)を示す情報が取得される。尚、本実施形態のステップS906においてタッチ位置を示す情報を読み出した場合に、映像処理装置100は、図10(a)に示すように、表示部103の表示画面601のタッチ位置を示す情報に対応する位置606にカーソルを表示する。この時、図10(a)に示すように、フレームインした役者Bの位置1005が、リハーサルの撮影時の役者Bの位置と異なり、タッチ位置(位置606)から所定範囲外であるため、役者Bに焦点が合っていない。
ステップS907において映像処理装置100は、ステップS906において記憶部111から取得したタッチ位置を示す情報に基づいて、オブジェクト検出を行う。即ち、本実施形態においてオブジェクト検出部801は、タッチ位置から所定距離以内(近傍)の範囲において、オブジェクト検出の処理を行う。尚、本実施形態のステップS907においてオブジェクトが検出された場合に、図10(b)に示すように、表示部103の表示画面601には、オブジェクトを検出した範囲を示す枠1006が表示される。そして、図10(b)は、枠1006に含まれる役者Bがオブジェクトとして検出されたことを示す。
ステップS908において映像処理装置100は、ステップS907におけるオブジェクト検出の結果に基づいて、フォーカス処理を行う。即ち、本実施形態における映像処理装置は、ステップS907において検出されたオブジェクトの位置を取得し、取得した位置に基づく範囲に対してフォーカス処理を施す。本実施形態におけるステップS908においてフォーカス処理が施された場合に、図10(c)に示すように、役者Bの位置1005に焦点が合っている画像が表示部103の表示画面601に表示される。尚、本実施形態における映像処理装置100は、オブジェクトの位置をオブジェクトの中心点とする。例えば図10(b)に示す検出されたオブジェクトの枠1006の中心点1007に対応する。例えば、本実施形態における映像処理装置100は、図10(b)に示す検出されたオブジェクトの枠1006の中心点1007を、オブジェクトの位置として用いる。しかしながら、オブジェクトの位置は、オブジェクトの中心点に限定されない。オブジェクトの位置として、オブジェクトの端の点及び/又は領域を用いてもよいし、オブジェクトの範囲内の所定の点及び/又は領域を用いても構わない。
ステップS909以降の処理は、実施形態1における図4のステップS408以降と同様の処理であるため、説明を省略する。
図9の処理によって、本実施形態における映像処理装置100は、本番の撮影時の役者Bの立ち位置(図10の位置1005)が、タッチ位置を示す情報に対応する位置(図10の位置606)と異なる場合でも、役者Bに焦点を合わせることができる。即ち、図10に示される様に、ステップS907においてタッチ位置(位置606)の近傍の範囲に対してオブジェクト検出を行うことによって表示画面601上のオブジェクトを検出した領域(枠1006)に対してフォーカス処理を行う。これによって、本実施形態における映像処理装置100は、役者Bに焦点を合わせることができる。
尚、本実施形態における映像処理装置100は、ステップS907においてタッチ位置に基づく範囲にオブジェクトを検出できなかった場合に、ステップS908においてフォーカス処理を行わない。しかしながら、本実施形態における映像処理装置100は、これに限定されない。例えば、映像処理装置100は、ステップS907においてオブジェクトを検出できなかった場合に、ステップS908において、ステップS906において取得したタッチ位置に焦点が合うようにフォーカス処理を行っても構わない。また、映像処理装置100は、ステップS907においてタッチ位置に基づく範囲にオブジェクトを検出できなかった場合に、タッチ位置に基づく範囲外にオブジェクト検出の処理を行っても構わない。そして、ステップS908において映像処理装置100は、タッチ位置に基づく範囲外で検出されたオブジェクトのうち、タッチ位置に最も近い位置のオブジェクトに焦点が合うように、フォーカス処理を行っても構わない。
以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。
さらに、本実施形態の映像処理装置によれば、表示画面上における予め記憶されたタッチ位置と、被写体の位置とが異なる場合に、タッチ位置の近傍に対してオブジェクト検出を行うことで、タッチ位置の近傍の被写体に対してフォーカス処理を行うことができる。
また、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。
また、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。
(実施形態3)
上述の実施形態1における映像処理装置100は、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ時間に対応したタッチ位置に焦点を合わせるフォーカス処理を行った。また、実施形態2における映像処理装置100は、記憶されたタッチ位置を示す情報とタッチ時間を示す情報とを読み出し、タッチ位置から特定の範囲内にオブジェクト検出を行い、検出結果に基づく位置に焦点を合わせるフォーカス処理を行った。本実施形態3における映像処理装置は、記憶されたタッチ位置を示す情報を読み出し、当該タッチ位置に対応するタッチ時間の前後(タッチ時間の所定時間前からタッチ時間の所定時間後)の時間において、予告の情報を表示する。尚、本実施形態における映像処理装置は、予告の情報として、タッチ位置に対応するカーソル、及びタッチ時間に基づくカウンタ情報を表示する。
図11は、本実施形態に係る映像処理装置の構成例を示す図である。尚、本実施形態の図11において、実施形態1の図1の各部と同じ機能を有する部は同じ符号を付与し、その説明を省略する。本実施形態における映像処理装置100は、予告表示制御部1101を有する点で、実施形態1の図1に示す映像処理装置100と異なる。予告表示制御部1101は、記憶部111に記憶されたタッチ位置を示す情報に対応する表示部103の表示画面601上の位置に、予告の情報を表示するよう制御する。ここで、本実施形態における予告表示制御部1101は、予告の情報を、表示制御部104から出力される画像に重畳させて、表示部103に表示するよう制御する。尚、本実施形態における映像処理装置100は、予告表示制御部1101が予告の情報を表示部103に表示するよう制御するが、これに限定されない。例えば、表示制御部104が予告表示制御部1101の機能を備えていても構わない。
本実施形態における映像処理装置100は、指示された焦点を合わせる位置を記憶する処理を、実施形態1における図3及び図6に示した処理と同様に行うため、説明を省略する。
次に、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の手順の詳細について、図12及び図13を用いて説明する。尚、本実施形態における映像処理装置100は、本番(同一のショットにおける1番目のテイク)の撮影をする際に、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理(図12の処理)を実行する。しかしながら、これに限定されず、映像処理装置100は、指示された焦点を合わせる位置を記憶する処理(図3の処理)の後に、記憶された焦点を合わせる位置に基づいてフォーカス処理(図12の処理)を実行すればよい。例えば、指示された焦点を合わせる位置を記憶する処理が同一ショットにおける1番目のテイクの撮影時に実行された場合、記憶された焦点を合わせる位置に基づくフォーカス処理を2番目以降のテイクの撮影時に実行する。尚、図3に示す処理を行った場合と同様に、図5に示すスタジオセットを用いて、ショット映像を撮影する。
まず、図13(a)、(b)、及び(c)は、記憶された焦点を合わせる位置に基づいてフォーカス処理する場合の映像処理装置100の表示部103における表示画面601を示す図である。尚、図13(a)、(b)、及び(c)は、撮影における時間の経過に対応している。また、図13(a)、(b)、及び(c)において、焦点が合っている部分の輪郭を実線で示し、焦点が合っていない部分の輪郭を点線で示す。
図13(a)は、タッチ時間の所定時間前(ここでは、3秒前)に、表示部103に表示された図を示す。図13(a)に示すように、表示部103の表示画面601には、位置1505に役者Bが表示され、入口602と役者Bによって開けられたドア603とが表示されている。また、表示画面601には、位置1506に役者Aが表示されている。さらに、図13(a)に示すように、表示画面601には、タッチ位置を示す情報に対応する位置606に、予告の情報を示す枠が表示される。また、表示画面601には、タッチ時間と計時部110から取得した時間情報とに基づいて、タッチ時間(即ち、リハーサルの撮影時に焦点を合わせる位置を指示する情報が入力された時間)までの残り時間を示す情報であるカウント情報1504が表示される。尚、本実施形態における図13(a)に示すカウント情報1504は、[−3]と表示されており、タッチ時間まで残り3秒あることを示す。
図13(b)は、計時部110から取得した時間が、読み出したタッチ時間と一致する場合に、表示部103に表示された図である。図13(b)に示すように、表示部103の表示画面601には、位置1508に役者Bが表示されている。また、図13(b)に示すように、位置1507に示すカーソルは、ユーザによって新たに指示されたタッチ位置であって、焦点を合わせる位置として位置1507を指示する情報が入力されたことを示す。また、図13(b)は、読み出したタッチ時間と一致する時間における図であり、カウント情報1504は、[±0]と表示される。
図13(c)は、フォーカス処理が施された後(ここでは、タッチ時間の1秒後)に、表示部103に表示される画像を示す。図13(c)に示すように、ユーザによって新たに指示されたタッチ位置に基づいて、位置1508にいる役者Bに焦点が合っている。
尚、本実施形態における映像処理装置100は、計時部110から取得した時間とタッチ時間とに基づいて、予告の情報(カウント情報1504及び/又は位置606のカーソル)の形状や色を変更する構成としても構わない。このように、形状や色を変更することによって、タッチ時間により近い時間帯の予告の情報を、タッチ時間により遠い時間帯の予告の情報よりも目立たせることができ、ユーザにとって視認し易い表示を行うことができる。
次に、図12は、本実施形態における映像処理装置100が、記憶された焦点を合わせる位置に基づいて実行するフォーカス処理の詳細を示すフローチャートである。
図12の各ステップS1201〜S1204の処理は、実施形態1における図4の各ステップS401〜S404と同一の処理であるため、説明を省略する。即ち、本実施形態における映像処理装置100は、ステップS1201において記憶部111に記憶されているタッチ時間を取得し、アクションコールの検出に応じて、ステップS1204において計時を開始する。
ステップS1205において映像処理装置100は、計時部110によって計測された時間が、ステップS1201において記憶部111から取得したタッチ時間の所定時間前(X秒前)であるか否かを判定する。ここで、計時部110によって計測された時間が、タッチ時間の所定時間前であると判定された場合(ステップS1205においてYES)、映像処理装置100はステップS1206の処理へ進む。一方、タッチ時間の所定時間前でないと判定された場合(ステップS1205においてNO)は、映像処理装置100はステップS1212の処理へ進む。
ステップS1206において映像処理装置100は、記憶部111に記憶されているタッチ位置を示す情報を取得する。即ち、本実施形態における座標取得部113は、記憶部111に保存されたタッチ位置を示す情報を取得する(読み出す、呼び出す)。尚、タッチ位置を示す情報は、ステップS1201で取得されたタッチ時間を示す情報に対応するタッチ位置を示す情報である。ここでは、図3のステップS306において記憶されたタッチ位置(位置606)が取得される。
ステップS1207において映像処理装置100は、タッチ位置の予告の表示を開始する。即ち、映像処理装置100は、ステップS1201で取得したタッチ位置に予告の情報を表示し、タッチ時間までの残り時間を示す情報(カウント情報)を表示する。例えば、本実施形態の映像処理装置100は、ステップS1206においてタッチ位置を示す情報を取得した際に、図13(a)に示すように、表示部103の表示画面601上のタッチ位置を示す情報に対応する位置606に予告の情報を示す枠を表示する。また、映像処理装置100は、記憶部111から取得したタッチ時間と計時部110から取得した時間とに基づいて、カウント情報1504を表示する。ここで、カウント情報1504は、タッチ時間(即ち、リハーサルの撮影時に焦点を合わせる位置を指示する情報が入力された時間)までの残り時間をカウントダウン形式で示す情報である。
ステップS1208において映像処理装置100は、焦点を合わせる位置を指示する情報を取得(検出)したか否かを判定する。本実施形態における入力部106は、表示部103がユーザによって、新たな焦点を合わせる位置を指示する操作(例えば、タッチ操作)を受け付けた場合に、焦点を合わせる位置を指示する情報を取得する。ステップS1208において、新たに焦点を合わせる位置を指示する情報を検出(タッチ操作を検出)した場合(ステップS1208においてYES)、映像処理装置100はステップS1209の処理へ進む。一方、新たに焦点を合わせる位置を指示する情報を検出しなかった場合(ステップS1208においてNO)は、映像処理装置100はステップS1210の処理へ進む。
ステップS1209において映像処理装置100は、ステップS1208において取得した焦点を合わせる位置を指示する情報に基づいて、フォーカス処理を行う。即ち、即ち、本実施形態における入力部106は、焦点を合わせる位置を指示する情報を指示部105へ出力する。そして、指示部105は、当該焦点を合わせる位置を指示する情報に基づいて、タッチ位置を示す情報を取得し、焦点制御部107へ出力する。そして、焦点制御部107は、タッチ位置を示す情報に基づいて、当該タッチ位置に焦点が合うようにレンズ102を駆動させる処理(フォーカス処理)を行う。
尚、本実施形態のステップS1208において焦点を合わせる位置を指示する情報を取得した場合には、図13(b)に示すように、表示部103の表示画面601上の指示した位置1507にカーソルが表示される。ユーザは、リハーサルの撮影時に指示されたタッチ位置に対応する位置606に表示されたカーソルを参照することによって、役者Bに対するフォーカス処理を行うべき位置を予測することができる。さらに、ユーザは、表示されたカウント情報1504を参照することによって、フォーカス処理を行うべきタイミングを予測することができる。また、ステップS1209におけるフォーカス処理が施された後には、図13(c)に示すように、位置1508にいる役者Bに焦点が合っている。また、カウント情報1504が引き続き表示されている。本実施形態のステップS1210においてタッチ時間から所定時間経過したと判定されるまで、カウント情報1504とタッチ位置に対応するカーソルとが表示されるため、ユーザは経過時間を認識することができる。そして、役者Bがタッチ位置に対応する位置606に来るタイミングが遅れた場合であっても、ユーザはフォーカス処理を行うべき位置を予測することができる。
ステップS1210において映像処理装置100は、計時部110によって計測された時間が、ステップS1201において記憶部111から取得したタッチ時間の所定時間後(Y秒後;XとYとは同一でもよいし、異なってもよい)であるか否かを判定する。ここで、計時部110によって計測された時間が、タッチ時間の所定時間後であると判定された場合(ステップS1210においてYES)、映像処理装置100はステップS1211の処理へ進む。一方、タッチ時間の所定時間後でないと判定された場合(ステップS1210においてNO)は、映像処理装置100はステップS1208の処理へ戻る。
ステップS1211において映像処理装置100は、タッチ位置の予告の表示を終了する。即ち、映像処理装置100は、ステップS1201で取得したタッチ位置に対する予告の情報と、タッチ時間を基準とした時間を示す情報(カウント情報)の表示を終了する。そして、映像処理装置100は、ステップS1211の処理の後、ステップS1212へ進む。
ステップS1212において映像処理装置100は、撮影が終了したか否かを判定し、終了したと判定した場合には記憶されたタッチ位置に基づくフォーカス処理を終了し、終了していないと判定した場合にはステップS1205の処理へ戻る。
図12の処理によって、本実施形態における映像処理装置100は、本番の撮影時の役者Bの立ち位置(図13の位置1508)が、タッチ位置を示す情報に対応する位置(図13の位置606)と異なる場合でも、役者Bに焦点を合わせることができる。即ち、図13に示される様に、ステップS1207において予告の情報(位置606のカーソル及びカウント情報1504)を表示する。そして、ユーザは予告の情報を確認した後、新たに焦点を合わせる位置を指示する操作を行う。これによって、本実施形態における映像処理装置100は、新たに指示された焦点を合わせる位置に対してフォーカス処理を施すため、役者Bに焦点を合わせることができる。
尚、本実施形態における映像処理装置100は、図12に示すステップS1208において、新たに焦点を指示する情報を検出しなかった場合(ステップS1208においてNO)にステップS1210の処理へ進むとしたがこれに限定されない。例えば、図15に示すように、新たに焦点を指示する情報を検出しなかった場合(ステップS1208においてNO)に、ステップS1213の処理へ進んでも構わない。ステップS1213において映像処理装置100は、計時部110から取得された時間が記憶部111から取得したタッチ時間を過ぎているか、及び、フォーカス処理を一度もしていないかどうかを判定する。そして、ステップS1213においてタッチ時間を過ぎており、一度もフォーカス処理をしていないと判定された場合(ステップS1213においてYES)に、映像処理装置100はステップS1214の処理へ進む。そして、ステップS1214において映像処理装置100は、ステップS1206で読み出した(記憶された)タッチ位置に基づいて、フォーカス処理を行うようにしても構わない。尚、ステップS1213においてタッチ時間を過ぎていない、及び/又は、フォーカス処理を一度以上したと判定された場合(ステップS1213においてNO)に、映像処理装置100は、ステップS1208の処理へ戻る。このように、図15の各ステップS1213〜S1214の処理を行うことによって、映像処理装置100は、例えば、記憶されたタッチ位置と被写体の位置とが一致する場合に、記憶されたタッチ位置とタッチ時間とに基づくフォーカス処理を行うことができる。
以上説明したように、本実施形態の映像処理装置によれば、予め記憶した焦点を合わせる位置と異なる位置に存在する被写体に対して、焦点を合わせることができる。
さらに、本実施形態の映像処理装置によれば、予め記憶したタッチ位置及びタッチ時間を表示することができる。即ち、本実施形態の映像処理装置は、記憶したタッチ位置及びタッチ時間に基づいて、予告の情報(タッチ位置に対応するカーソル、及びタッチ時間に基づくカウンタ情報)を表示することができる。これによって、本実施形態の映像処理装置は、再度撮影を行う際(本番の撮影時)に、新たな焦点を合わせる位置を指示するユーザによる操作をアシストすることができる。例えば、被写体である役者の立ち位置や動作のタイミングが、タッチ位置やタッチ時間と異なる場合であっても、ユーザは、表示された予告の情報を確認することにとって、改めて焦点を合わせる位置を指示することが容易にできる。
また、本実施形態の映像処理装置は、従来のフォーカス処理で距離を計測するために用いられる計測装置がなくても、適切にフォーカス処理を行うことができる。
また、本実施形態の映像処理装置は、複数のタッチ位置が記憶されていた場合に、タッチ時間を用いることにより、ユーザによって複数のタッチ位置から用いるタッチ位置を選択する操作を受け付けなくても、適切にフォーカス処理を行うことができる。
尚、本実施形態における映像処理装置は、本番テイク撮影時に、予告の情報の表示のみを行う構成としたが、上述の実施形態1及び/又実施形態2と組み合わせる構成としても良い。このような構成により映像処理装置は、リハーサルの撮影時に記憶されたタッチ位置及びタッチ時間と対応する位置及び時間にフォーカス処理すると判定した場合に、新たな焦点を合わせる位置を指示する情報を受け付けなくても構わない。即ち、このような構成により映像処理装置は、例えば、記憶されたタッチ位置と被写体の位置とが一致する場合に、記憶されたタッチ位置とタッチ時間とに基づくフォーカス処理を行うようにしても構わない。
(実施形態4)
図1、図8、及び図11に示した各部は、ハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した一部又は全部の各部で行う図3、図4、図9、図12、及び図15に示した処理をコンピュータプログラムでもって構成しても良い。以下、図14を用いて本実施形態について説明する。図14は、上記各実施形態に係る映像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
CPU1401は、RAM1402やROM1403に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る映像処理装置が行うものとして上述した各処理を実行する。即ち、CPU1401は、図1、図8、及び図12に示した各処理部として機能することになる。
RAM1402は、外部記憶装置1406からロードされたコンピュータプログラムやデータ、I/F(インタフェース)1407を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM1402は、CPU1401が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1402は、例えば、画像メモリ(ピクチャメモリ)として割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
ROM1403には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部1404は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU1401に対して入力することができる。出力部1405は、CPU1401による処理結果を出力する。また出力部1405は例えば液晶ディスプレイで構成され、CPU1401による処理結果を表示する。
外部記憶装置1406は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置1406には、OS(オペレーティングシステム)や、図14に示した各部の機能をCPU1401に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置1406には、処理対象としての各画像データが保存されていても良い。
外部記憶装置1406に保存されているコンピュータプログラムやデータは、CPU1401による制御に従って適宜、RAM1402にロードされ、CPU1401による処理対象となる。I/F1407には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F1407を介して様々な情報を取得したり、送出したりすることができる。1408は上述の各部を繋ぐバスである。
上述の構成からなる作動は前述のフローチャートで説明した作動をCPU1401が中心となってその制御を行う。
(その他の実施形態)
上述の各実施形態1〜3において映像処理装置の各部は、単一の装置に含まれる構成されるものとしたが、これに限定されない。即ち、映像処理装置の各部の一部を他の装置に含まれる構成としても良い。例えば、映像処理装置100の表示部103と入力部106とを他の装置(例えば、タブレット装置)が備えていて、当該他の装置と映像処理装置100とが有線又は無線で接続されている構成でも構わない。また、映像処理装置100のレンズ102とマイク108とを他の装置(例えば、撮像装置)が備えていて、当該他の装置と映像処理装置100とが有線又は無線で接続されている構成でも構わない。
また、上述の各実施形態1〜3において映像処理装置は、記憶されたタッチ位置を示す情報を読み出して、当該タッチ位置に対応する表示画面上の位置にカーソルを表示する。尚、上述の各実施形態1〜3において映像処理装置は、記憶されたタッチ位置が複数ある場合に、当該複数のタッチ位置に対応するカーソルを異なる方法で表示しても構わない。例えば、映像のうち1番目に焦点を合わせる位置が指示された場合に第1のタッチ位置と第1のタッチ時間を記憶し、次に(2番目に)新たな焦点を合わせる位置が指示された場合に第2のタッチ位置と第2のタッチ時間を記憶する。このような場合に、映像処理装置は、第1のタッチ位置に対応するカーソルと第2のタッチ位置に対応するカーソルを、異なる表示(例えば、異なる色)を用いて表示しても構わない。
以上のような種々の実施形態により第一の撮影時に指定された焦点を合わせる位置及び当該指示を受け付けたタイミングに従って第二の撮影時に焦点を合わせる位置を制御することが可能となる。即ち、第一の撮影時に指定された焦点を合わせる位置に基づく位置情報や時間情報を取得し、これらを用いて第二の撮影時に焦点を合わせる位置を制御できる。従って、第一の撮影時に焦点を合わせた位置からのズレや焦点を合わせた時間からのズレを考慮して、第二の撮影時に焦点を合わせる位置を調整しつつ制御できるため、容易に所望の位置やタイミングで焦点を合わせることができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。