WO2005015899A1 - 撮影装置及び撮影方法 - Google Patents

Abstract

　撮影装置１０は、撮影画像を取得するための撮影部１８と、格納されたデータをシナリオ映像を構成するように読み出すための合成再生部２０と、前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶するシナリオ格納部１２と、前記合成再生部２０により読み出される前記シナリオ映像に、前記撮影部１８により取得された撮影画像を、前記シナリオ格納部１２に記憶された合成情報に従って合成するための合成再生制御部２２と、前記合成再生制御部２２により得られる合成映像を表示する表示部２４とを備える。

Description

技術分野

撮影により得られる画像と、 シナリオ映像とを合成する装置及び方法に関する。 背景技術

従来から、 二つの映像を合成する技術が提案されている。 この技術の一つとし てクロマキ一合成が知られている。 クロマキ一合成では、 被写体を特定色 （一般 的には青色） の背景で撮影し、 その特定色の背景を透明にすることにより被写体 だけを抜き出した映像を作る。 そして、 抜き出した映像を他の映像に重ねること により合成映像を作成する。

特開 2 0 0 1— 3 4 6 0 9 9号公報は、 ク口マキ一合成による合成映像を容易 に作成できるように映像を蓄積する装置を開示している。 カメラで被写体を撮影 した実写映像と撮影時におけるカメラの撮影状況を対応づけて格納することによ り、 将来必要に応じて合成映像の作成に利用可能としている。

特開平 4ー 1 8 3 1 8 3号公報では、 カラオケ用ビデオソフトの再生画像に、 歌っている人の顔や姿を合成する画像信号処理装置が開示されている。 発明の開示

特開 2 0 0 1— 3 4 6 0 9 9号公報に開示された装置は、 撮影した映像を格納 しておき、 後で映像の合成を行うための装置である。 例えば、 テレビ放送に用い られる映像では、 精度の高い映像合成が求められ、 上記のような装置を利用して 映像を編集することが好ましい。 しかし、 使用する態様によっては、 映像合成の 際の操作容易性やスピーディ一な映像合成が要求される場合がある。

映像合成の際の操作容易性が重視される一例としては、 カメラ付きの携帯電話 で撮影した映像を他の映像と合成する場合がある。 携帯電話は画面の大きさゃキ 一の種類に制限があるので、 一旦撮影した映像を読み出し、 読み出した映像から 所望の箇所を切り出して編集するという作業は面倒である。 また、 携帯電話で撮影した画像を映像合成用の端末に移して処理することも可 能であるが、 編集した合成映像をすぐに見ることができない。

特開平 4— 1 8 3 1 8 3号公報に開示された装置では、 合成する撮影画像とし てカラオケを歌う人の顔や姿を前提としている。 この前提の下では、 歌う人が立 つ位置は、 歌詞を表示する画面の前で概ね一定しており、 撮影用ビデオカメラの 位置や向きを調整しなくても適切な撮影画像を取得することができる。 また、 撮 影画像の合成も演奏の開始と共に行えばよく、 合成タイミングを制御する必要も ない。

このように特開平 4一 1 8 3 1 8 3号公報に記載の画像信号処理装置において は、 合成される撮影画像は、 あらかじめ定められた対象 （カラオケを歌う人の顔 や姿） であり、 合成タイミングもカラオケ用ビデオソフトの再生中というように 固定されている。 再生されるシナリオ映像に合わせて、 合成する撮影画像の対象 やその合成タイミングを制御することができない。

本発明は上記のような背景に鑑み、 撮影しながら映像合成を行える撮影装置お よび撮影方法を提供することを目的とする。 また、 本発明は、 所望のタイミング に適切な撮影画像の合成を行うことができる撮影装置を提供することを目的とす る。

本発明の撮影装置は、 撮影画像を取得するための撮影手段と、 格納されたデ一 タをシナリオ映像を構成するように読み出すための読出手段と、 前記シナリオ映 像中に前記撮影画像を合成するための合成情報を記憶する記憶手段と、 前記読出 手段により読み出される前記シナリォ映像に、 前記撮影手段により取得された撮 影画像を、 前記記憶手段に記憶された合成情報に従って合成する合成手段と、 前 記合成手段により得られる合成映像を表示する表示手段と、 を備える。

このように記憶手段に記憶された合成情報に従つて、 撮影画像とシナリォ映像 とを合成し、 合成して得られた合成映像を表示手段によって表示する構成により、 ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができる。 例 えば、 適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うこ とや、 シナリオ映像にふさわしい撮影対象を選択することが可能となる。 すなわ ち、 表示手段に表示される合成映像を見ながら、 撮影装置を動かして所望の撮影 対象を捉えることができる。 また、 撮影しながら合成を行うことにより、 撮影の 終了とともに映像合成が完了するというスピ一ディ一な映像合成を実現できる。 なお、 「シナリオ映像」 とは、 撮影画像と合成される時間の概念を持つ映像であ り、 例えば、 動画、 アニメ一シヨン、 スライドショ一などである。 シナリオ映像 は、 一般的には、 シナリオ情報に従って表示等される。 ここで、 シナリオ情報と は、 例えば、 動画、 静止画、 テキスト、 または音声などのマルチメディアデ一夕 のうち、 どのデータを、 いつ、 どこに、 どのように出力するかを記述した情報で ある。 「撮影画像」 は、 シナリオ映像の再生中に撮影手段により取得される画像 であり、 ファイルなどの格納手段にあらかじめ格納されたデータにより構成され るものではない。 撮影画像は、 動画でもよいし、 静止画でもよい。

前記合成情報は、 前記撮影画像が前記シナリォ映像中に合成される時間に関す る情報を含む。

この構成により、 合成情報に基づいて、 撮影画像とシナリオ映像とが合成され る時間を規定することができる。 時間に関する情報は、 例えば、 合成を開始する シナリオ映像中の時刻または合成を終了するシナリオ映像中の時刻により規定さ れる。

前記合成情報は、 前記撮影画像が合成される合成領域の外形に関する情報と前 記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少な くとも一つを含む。

この構成により、 撮影画像が合成される合成領域を規定することができる。 合 成領域に撮影画像をはめ込むことにより、 撮影画像とシナリォ映像との合成を行 える。 なお、 撮影手段により撮影した画像の全体を合成領域に合成してもよいし、 撮影した画像の一部を合成領域に合成してもよい。

上記撮影装置は、 前記合成情報に基づいて、 前記撮影画像が前記シナリオ映像 中に合成される時刻以前に、 前記合成領域に関する情報を、 前記撮影手段に対す る制御を行なうべきユーザに提示する手段をさらに備えてもよい。

この構成により、 ユーザは撮影画像がシナリォ映像中に合成される時刻以前に 合成領域に関する情報を取得できる。 これにより、 ユーザは、 シナリオ映像に合 成すべき画像を撮影するために、 撮影手段であるカメラの位置や向き又は撮影条 件の変更等を行うことができる。 なお、 撮影画像がシナリオ映像中に合成される 時刻以前とは、 合成が開始される時刻より前でもよいし、 合成が開始される時刻 でもよい。 合成が開始される時刻に合成領域に関する情報を提示する場合には、 ユーザがカメラを制御する時間を確保するため、 シナリオ映像の再生を一時停止 することが好ましい。

前記ユーザに提示する合成領域に関する情報は、 前記合成情報のうち外形およ び位置に関する情報の少なくとも一方に基づくものであってもよい。

この構成により、 ユーザは、 合成領域に合成ざれるべき画像を予測することが でき、 撮影準備を行うことができる。 外形に関する情報に基づく情報の提示には、 例えば、 合成領域の輪郭を表示する方法がある。 これにより、 合成領域の形状お よび大きさを提示できる。 位置に関する情報の提示は、 撮影画像の一部を合成領 域に合成する場合であつて、 かつ撮影画像の全体とシナリォ映像を構成する画像 の全体をそのまま重ね合わせて合成する場合に有効である。 すなわち、 撮影画像 の中の合成すべき対象物の位置とシナリオ映像を構成する画像の中の合成領域の 位置とがー致するようにカメラの位置または向きを調整すればよい。

前記ユーザに提示する合成領域に関する情報は、 前記撮影手段により取得され た撮影画像を、 前記合成情報のうち外形および位置に関する情報の少なくとも一 方に従って加工して得られた画像を含んでもよい。

このように撮影画像を提示することにより、 ュ一ザは、 撮影手段によってどの ような撮影画像が得られているかを把握できる。 これにより、 例えば、 合成が開 始される時刻以前に、 合成されるべき撮影対象にピントを合わせておくことがで きる。 ここで、 合成情報に従って加工するとは、 例えば、 撮影画像の切り出し、 拡大縮小等の処理であり、 これにより撮影画像を合成領域にはめ込むとどのよう な画像となって表示されるかを把握することができる。 また、 撮影画像は、 例え ば、 合成が開始される時刻においてシナリオ映像を構成する画像と共に表示する こともできる。 あるいは、 表示手段に現在表示中の、 すなわち合成が開始される 時刻より前のシナリオ映像と共に表示することもできる。 後者の場合は、 撮影画 像と表示中のシナリオ映像を構成する画像とを重ねて表示してもよいし、 並べて 表示してもよい。 前記ユーザに提示する合成領域に関する情報は、 前記撮影手段により取得され た撮影画像を、 該合成領域が出現することになつているシナリォ映像を構成する 画像中に、 前記合成情報に従つて合成して得られた画像を含んでもよい。

このように撮影手段により取得された撮影画像と合成領域が出現することにな つているシナリオ映像を構成する画像とを合成した合成プレビュー画像をユーザ に提示することにより、 ユーザは合成領域に合成される撮影画像を所望の画像と することが可能となる。 すなわち、 ユーザは、 合成プレビュー画像を見ることに より、 合成領域にふさわしい画像を選択し、 撮影することができる。 また、 合成 領域の形状、 大きさに応じて、 撮影手段による撮影のズーム率を調節したり、 背 景となるシナリォ映像に合わせて撮影画像の明るさを調節したりすることもでき る。 合成プレビュー画像は、 シナリオ映像の再生を一時停止して表示することと してもよいし、 シナリォ映像再生中の画面とは異なる画面に表示することとして もよい。

上記撮影装置は、 前記シナリォ映像へ前記撮影画像の合成を開始する時刻に、 前記シナリオ映像の再生を一 P寺停止する手段を備える。

このようにシナリォ映像の再生を一時停止することにより、 ユーザが撮影手段 であるカメラを制御する時間を確保できる。

上記撮影装置は、 前記合成領域の前記シナリォ映像を構成する画像中における 位置が、 時間の経過に伴って移動するように設定してもよい。

この構成により、 カメラの位置や向きを変えなくてもシナリオ映像を構成する 画像中での合成領域の位置を時間の経過に伴って移動させることができる。 例え ば、 合成情報に含まれる合成領域の位置に関する情報を時間の関数で表すことに より、 合成領域を移動可能に設定できる。

上記撮影装置は、 前記合成領域の外形が、 時間の経過に伴って変化するように 設定してもよい。

この構成により、 合成領域の外形を時間の経過に伴って変化させることができ る。 例えば、 合成情報に合成領域の外形の情報として複数の形状の情報を含め、 それぞれの形状情報を時間に関連付けておくことにより、 合成領域の外形が変化 するように設定できる。 上記撮影装置は、 前記シナリォ映像へ前記撮影画像の合成を開始する時刻が近 づいたことをュ一ザに知らせる手段をさらに備えてもよい。

この構成により、 ュ一ザは合成すべき画像を撮影する準備を行うことができる。 ユーザに知らせる手段としては、 例えば、 文字によってカウントダウンする構成、 音や光により知らせる構成、 シナリオ映像の再生速度を遅くして知らせる構成な どがある。 ここで、 「ユーザ」 には、 撮影を行う人のほか、 被写体となる人も含 まれる。

上記撮影装置は、 前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含 む所定時間内において、 合成開始に関する情報をユーザに知らせる手段をさらに 備えてもよい。

この構成により、 ュ一ザが合成がまもなく開始されること、 または合成が開始 されたことを知ることができ、 合成すべき撮影画像を取得することができる。 合 成開始に関する情報をユーザに知らせる手段は、 例えば、 合成開始時刻を含む所 定時間内において、 音を出力する構成や、 光を点滅させる構成によって実現でき る。 合成開始時刻の前後で音や光を出力することで、 撮影画像を取得することを ュ一ザに促すことができる。 なお、 合成開始時刻が経過した後に、 ユーザが撮影 画像の撮影を開始した場合でも、 合成開始時刻からユーザが撮影を開始するまで の時間については、 例えば、 撮影開始後の撮影画像によって、 合成すべき画像を 補完することにより、 適切な合成映像を得ることが可能である。 ここで、 「ユー ザ」 には、 撮影を行う人のほか、 被写体となる人も含まれる。

上記撮影装置は、 前記合成映像を記録する手段をさらに備えてもよい。

この構成により、 撮影しながら合成した合成映像を後でそのまま再生すること ができる。

上記撮影装置は、 前記撮影手段により取得された撮影画像を前記シナリォ映像 の識別情報に関連付けて記録する手段をさらに備えてもよい。

この構成により、 関連付けられたシナリォ映像に撮影画像を合成しながら再生 することで合成映像を再生可能となる。 一つのシナリォ映像に対して複数の撮影 画像を記録しておけば、 一つのシナリオ映像から複数の異なる合成映像を再生す ることもできる。 前記撮影手段が、 前記合成情報に含まれる撮影条件に関する情報に基づいて撮 影してもよい。

この構成により、 合成領域に合成されるべき映像の内容に合った映像を撮影す ることができる。 撮影条件には、 例えば、 明るさ、 フォトライトの有無、 ズーム 率、 色調 （セピア、 白黒、 カラ一） などがある。

上記撮影装置は、 前記撮影画像と前記シナリォ映像との合成開始指示または合 成終了指示の少なくとも一方をユーザに入力させる入力手段を備えてもよい。 この構成により、 撮影画像とシナリォ映像との合成開始または合成終了のタイ ミングをユーザが選択可能となる。 合成開始指示を入力させる構成を採用すれば、 例えば、 合成映像の撮影準備ができた段階で合成を開始することができる。 また、 合成終了指示を入力させる構成を採用すれば、 例えば、 合成映像の撮影ができな くなつた場合には、 合成を終了することができる。 ここで、 ユーザとは撮影を行 う人である。

上記撮影装置は、 前記合成情報により規定された前記撮影画像の前記シナリォ 映像への合成開始時刻の経過後に前記合成開始指示が入力された場合には、 前記 規定された合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成 領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完して もよい。

この構成により、 合成情報により規定された合成開始時刻の経過後に、 ユーザ により合成開始指示が入力された場合にも適切な合成映像を作成できる。 撮影画 像で補完する方法としては、 例えば、 合成開始指示が入力された時点における撮 影画像を、 合成情報により規定された合成開始時刻から合成開始指示が入力され るまでの期間の合成領域に適用する方法、 または、 撮影画像の再生速度を遅くし て、 合成情報により規定された合成時間の長さに撮影画像を引き延ばす方法があ る。 シナリオ映像で補完する方法としては、 例えば、 合成情報により規定された 合成開始時刻から合成開始指示が入力されるまで、 合成領域にデフォルトのシナ リォ映像を表示する方法がある。

上記撮影装置は、 前記合成情報により規定された前記撮影画像の前記シナリォ 映像への合成終了時刻の前に前記合成終了指示が入力された場合には、 前記合成 終了指示が入力されてから前記規定された合成終了時刻までの間に前記合成領域 に合成される画像を前記撮影画像または前記シナリオ映像によって補完してもよ い。

この構成により、 合成情報により規定された合成終了時刻の前に合成終了指示 が入力された場合にも適切な合成映像を作成できる。 撮影画像で補完する方法と しては、 例えば、 合成終了指示が入力された時点での撮影画像を、 合成終了指示 が入力されてから合成情報により規定された合成終了時刻までの合成領域に適用 する方法、 または、 撮影画像の再生速度を遅くして、 合成情報により規定された 合成時間の長さに撮影画像を引き延ばす方法がある。 シナリォ映像で補完する方 法としては、 例えば、 合成終了指示の入力時から合成情報により規定された合成 終了時刻まで合成領域にデフォルトのシナリオ映像を表示する方法がある。 前記表示手段は複数画面からなり、 少なくとも一の画面で前記シナリォ映像ま たは前記合成映像を表示してもよい。

この構成により、 一の画面でシナリオ映像または合成映像を表示しつつ、 他の 画面でそれ以外の情報を確認することができる。 例えば、 撮影手段によって撮影 中の画像を他の画面に表示することが可能となる。 これにより、 合成されるべき 撮影対象に前もってピントを合わせ、 適切な撮影画像を取得できる。 また、 撮影 手段が捉えている画像をプレビュー画像として他の画面に表示することも可能で ある。 また、 画面の一つを被写体側に設ければ、 被写体に合成映像を見せること により、 被写体が合成映像を確認できる。

上記撮影装置は、 前記撮影手段により撮影されるべき点もしくは範囲を示す光 を照射する照射手段を備えてもよい。

この構成により、 被写体に照射された光によって、 ユーザは撮影手段により得 られる撮影画像を予想することができ、 この予想に基づいてカメラの位置や向き を制御することができる。

上記撮影装置において、 前記撮影手段により取得される撮影画像は連続的に撮 影される動画であり、 前記合成手段は、 前記シナリオ映像に前記動画を合成して もよい。

このように撮影手段により取得した動画を、 合成情報に基づいてシナリォ映像 に合成することができる。

上記撮影装置において、 前記撮影手段により取得される撮影画像は 1枚以上の 静止画であり、 前記合成手段は、 連続して読み出されるシナリオ映像に合成する 画像として前記静止画のうちの 1枚を所定時間内使用する。

このように撮影手段により取得した静止画を、 合成情報に基づいてシナリォ映 像に合成することができる。 なお、 所定時間とは、 合成情報により規定される合 成時間であってもよいし、 合成時間のうちの一部の時間でもよい。 合成時間のう ちの一部において静止画のうちの 1枚を合成する場合には、 静止画のうちの他の 1枚または複数枚を残りの合成時間において合成してもよい。

上記撮影装置は、 前記撮影手段により撮影した撮影画像の一部を部分画像とし て切り出す部分画像切出手段を備え、 前記合成手段は、 前記部分画像切出手段に より切り出された部分画像を前記シナリォ映像に合成してもよい。

この構成により、 撮影画像から切り出した部分画像をシナリォ映像に合成する ことができる。

上記撮影装置において、 前記記憶手段に記憶された合成情報は、 前記部分画像 切出手段にて部分画像を切り出す領域および時間帯を特定する部分画像特定情報 を含み、 前記部分画像切出手段は、 前記部分画像特定情報に基づいて前記撮影画 像から部分画像を切り出してもよい。

この構成により、 撮影画像から切り出す部分画像を合成情報に規定することが できる。 例えば、 シナリオ映像に合った部分画像を規定することが可能である。 上記撮影装置において、 前記部分画像特定情報によって特定された前記部分画 像の切出領域の位置は、 時間の経過に伴って移動してもよい。

この構成により、 カメラの位置や向きを変えなくても、 シナリオ映像に合成す る部分画像の位置を時間の経過に伴って移動させることができる。

上記撮影装置において、 前記部分画像特定情報によって特定された前記部分画 像の切出領域の形状は、 時間の経過に伴って変化してもよい。

この構成により、 部分画像の形状を時間の経過に伴って変化させることができ る。

上記撮影装置において、 前記部分画像特定情報は、 前記部分画像が含むべき対 象物によって部分画像を特定し、 前記部分画像切出手段は、 前記部分画像特定情 報にて特定された対象物が映つた部分を前記部分画像として前記撮影画像から切 り出してもよい。

この構成により、 対象物によって部分画像を特定するので、 シナリオ映像に合 つた部分画像を容易に特定できる。

上記撮影装置において、 前記合成情報は、 前記合成領域が含むべき対象物を特 定し、 前記合成手段は、 前記シナリオ映像のうち前記部分画像特定情報にて特定 された対象物が表示された部分を前記合成領域とし、 前記合成領域に前記撮影画 像を合成してもよい。

この構成により、 対象物によって合成領域を特定するので、 容易に合成領域を 特定できる。

上記撮影装置は、 前記撮影画像の合成を開始する時刻に再生を開始するデ一夕 があるときに、 そのデータの再生を開始した後に、 前記シナリオ映像を一時停止 する制御を行う制御手段を備えてもよい。

この構成により、 合成を開始する時刻にシナリオ映像の再生を一時停止する前 に、 同時刻に開始されるデータの再生を開始するので、 一時停止した状態で、 合 成の開始時刻におけるシナリオ映像を表示できる。

上記撮影装置は、 前記撮影画像の合成を開始する時刻に表示されるシナリオ映 像をプレビュー画像として記憶するプレビュー画像記憶手段と、 前記撮影画像の 合成を開始する時刻に、 前記プレビュー画像を表示し、 前記シナリオ映像を一時 停止する制御を行う制御手段とを備えてもよい。

この構成により、 合成を開始する時刻に表示されるシナリオ映像をプレビュー 画像として記憶し、 合成開始時刻に記憶されたプレビュー画像を表示するので、 一時停止した状態で、 合成開始時刻におけるシナリォ映像のプレビューを容易に 表示できる。

上記撮影装置において、 前記制御手段は、 前記シナリオ映像の再生を再開する 位置を前記合成の開始時刻に移動してもよい。

この構成により、 シナリオ映像再生の一時停止までに要した処理時間によらず、 合成の開始時刻からシナリォ映像の再生を再開することができる。 本発明のシナリオデ一夕は、 格納されたデータの出力方法を記述したシナリオ 情報と、 撮影により取得される撮影画像を、 前記シナリオ情報の記述にしたがつ て出力されるシナリオ映像に合成するための合成情報と、 を有する。

この構成により、 格納されたデ一夕に基づいて出力されるシナリオ映像と、 撮 影された撮影画像との合成を容易に行える。 合成情報は、 撮影画像をシナリオ映 像に合成するための情報であり、 例えば、 撮影画像を、 どのタイミングで、 どの 位置に合成するかを記述する情報である。 シナリオ情報は、 格納されたデータの 出力方法を記述する情報である。 シナリオ情報がどのデータを出力するかをあら かじめ記述しているのに対し、 合成情報では、 出力すべきデ一夕をあらかじめ固 定しておらず、 撮影の都度異なる撮影画像のデ一タを出力することを記述する。 撮影により取得された撮影画像を合成情報に基づいて出力し、 格納されたデータ をシナリォ情報に基づいて出力することにより、 シナリォ映像と撮影画像との合 成を容易に行える。

前記合成情報は、 前記撮影画像が前記シナリォ映像中に合成される時間に関す る情報を含んでもよい。

この構成により、 合成情報に基づいて、 撮影画像とシナリオ映像とが合成され る時間を規定することができる。 時間に関する情報は、 例えば、 合成を開始する シナリォ映像中の時刻または合成を終了するシナリォ映像中の時刻により規定さ れる。

前記合成情報は、 撮影画像が合成される合成領域の外形に関する情報と前記合 成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくと も一つを含んでもよい。

この構成により、 撮影画像が合成される合成領域を規定することができる。 合 成領域に撮影画像をはめ込むことにより、 撮影画像とシナリォ映像との合成を行 える。 なお、 撮影手段により撮影した画像の全体を合成領域に合成してもよいし、 撮影した画像の一部を合成領域に合成してもよい。

上記シナリオデータにおいて、 前記合成情報は、 前記撮像画像の一部を部分画 像として切り出す領域および時間帯を特定する部分画像特定情報を含んでもよい。 この構成により、 シナリォ映像に合成するために撮影画像から切り出す部分画 像を規定することができる。

前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、 時間の経過に伴って移動してもよい。

この構成により、 カメラの位置や向きを変えなくてもシナリォ映像に合成する 部分画像の位置を時間の経過に伴って移動させることができる。

前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、 時間の経過に伴つて変化してもよい。

この構成により、 部分画像の形状を時間の経過に伴つて変化させることができ る。

前記部分画像特定情報は、 部分画像が含むべき対象物によつて前記部分画像の 領域および時間帯を特定してもよい。 .

この構成により、 対象物によって部分画像を特定するので、 シナリオ映像に合 つた部分画像を容易に特定できる。

上記シナリオデータにおいて、 前記合成情報は、 撮影画像が合成される合成領 域が含むべき対象物によって前記合成領域およびシナリォ映像が合成領域を含む 時間帯を特定してもよい。

この構成により、 対象物によって合成領域およびシナリォ映像が合成領域を含 む時間帯を特定するので、 容易に合成領域を特定することができる。

本発明の撮影方法は、 格納されたデータをシナリォ映像を構成するように読み 出すステップと、 撮影画像を取得するステップと、 前記シナリオ映像中に前記撮 影画像を合成するための合成情報を読み出すステップと、 前記シナリオ映像に、 前記撮影画像を、 前記合成情報に従って合成するステップと、 前記合成するステ ップにおいて得られる合成映像を表示するステップと、 を備える。

このように合成情報に従って、 撮影画像とシナリオ映像とを合成し、 合成して 得られた合成映像を表示することにより、 ユーザは表示される合成映像を見なが ら撮影を行うことができる。 例えば、 適切な撮影画像を取得できるように撮影装 置の位置や向きの調整を行うことや、 シナリオ映像にふさわしい撮影対象を選択 することが可能となる。 すなわち、 表示される合成映像を見ながら、 撮影画像を 取得するための力メラを動かして所望の撮影対象を捉えることができる。 また、 撮影しながら合成を行うことにより、 撮影の終了とともに映像合成が完了すると いうスピーディーな映像合成を実現できる。

本発明のプログラムは、 撮影画像とシナリオ映像とを合成するためにコンビュ 一夕に、 格納されたデータをシナリオ映像を構成するように読み出すステップと、 撮影画像を取得するステップと、 前記シナリオ映像中に前記撮影画像を合成する ための合成情報を読み出すステップと、 前記シナリオ映像に、 前記撮影画像を、 前記合成情報に従つて合成するステップと、 前記合成するステップにおいて得ら れる合成映像を表示するステップと、 を実行させる。

このプログラムをコンピュータにより実行させることにより、 コンピュータは、 合成情報に従って、 撮影画像とシナリオ映像とを合成し、 合成して得られた合成 映像を表示する。 これにより、 ユーザは表示される合成映像を見ながら撮影を行 うことができる。 例えば、 適切な撮影画像を取得できるように撮影装置の位置や 向きの調整を行うことや、 シナリオ映像にふさわしい撮影対象を選択することが 可能となる。 すなわち、 表示される合成映像を見ながら、 撮影画像を取得するた めのカメラを動かして所望の撮影対象を捉えることができる。 また、 撮影しなが ら合成を行うことにより、 撮影の終了とともに映像合成が完了するというスピー ディ一な映像合成を実現できる。

本発明の撮影装置は、 シナリォ映像に撮影画像を合成するための合成情報に基 づいて撮影画像とシナリォ映像とを合成し、 表示手段によつて合成映像を表示す るので、 ユーザは表示手段に表示される合成映像を見ながら撮影を行うことがで き、 また、 合成される映像が適切に撮影されるように、 撮影装置の位置や向きを 調整できるというすぐれた効果を提供することができるものである。 図面の簡単な説明

第 1図は、 第 1の実施の形態の撮影装置の構成を示す図である。

第 2図は、 シナリオデータの例を示す図である。

第 3図は、 シナリオ映像の表示の例を示す図である。

第 4 A図は、 合成映像の記録方式について説明する図である。

第 4 B図は、 合成映像の記録方式について説明する図である。 第 5 A図は、 合成映像の記録方式について説明する図である。

第 5 B図は、 合成映像の記録方式について説明する図である。

第 6図は、 撮影装置による映像合成の動作の流れを示す図である。

第 7図は、 撮影手段の動作および表示手段の表示内容とシナリォデータとの閧 係を示す図である。

第 8 A図は、 合成プレビュー画像の例を示す図である。

第 8 B図は、 合成映像の例を示す図である。

第 9図は、 第 2の実施の形態の撮影装置の構成を示す図である。

第 1 0図は、 撮影手段の動作および表示手段の表示内容とシナリオデータとの 関係を示す図である。

第 1 1 A図は、 合成映像の例を示す図である。

第 1 1 B図は、 合成領域の提示例を示す図である。

'第 1 2図は、 第 3の実施の形態の撮影装置の構成を示す図である。

第 1 3図は、 第 4の実施の形態の撮影装置の構成を示す図である。

第 1 4図は、 撮影手段の動作および表示手段の表示内容とシナリオデータとの 関係を示す図である。

第 1 5図は、 撮影手段の動作および表示手段の表示内容とシナリオデ一夕との 関係を示す図である。

第 1 6図は、 第 5の実施の形態の撮影装置の構成を示す図である。

第 1 7図は、 撮影手段の動作および表示手段の表示内容とシナリオデ一夕との 関係を示す図である。

第 1 8図は、 撮影手段の動作および表示手段の表示内容とシナリオデ一夕との 関係を示す図である。

第 1 9図は、 第 6の実施の形態の撮影装置の構成を示す図である。

第 2 0図は、 シナリオデータの例を示す図である。

第 2 1 A図は、 撮影画像の例を示す図である。

第 2 1 B図は、 部分画像の例を示す図である。

第 2 2図は、 合成情報の例を示す図である。

第 2 3 A図は、 合成領域の変動の例を示す図である。 第 2 3 B図は、 部分画像の例を示す図である。

第 2 4図は、 合成情報の例を示す図である。

第 2 5図は、 第 7の実施の形態の撮影装置の構成を示す図である。

第 2 6図は、 シナリオデータの例を示す図である。

第 2 7 A図は、 撮影画像の例を示す図である。

第 2 7 B図は、 部分画像の例を示す図である。

第 2 8図は、 シナリオデータの例を示す図である。

第 2 9 A図は、 シナリオ映像の例を示す図である。

第 2 9 B図は、 シナリォ映像中の合成領域を示す図である。

第 3 0図は、 第 9の実施の形態の合成再生制御部の構成を示す図である。 第 3 1図 Aは、 シナリオデ一夕の例を示す図である。

第 3 1図 Bは、 スケジュールリストの例を示す図である。

第 3 2図は、 第 1 0の実施の形態の合成再生制御部の構成を示す図である。 第 3 3図 Aは、 シナリオデータの例を示す図である。

第 3 3図 Bは、 スケジュールリストの例を示す図である。

第 3 4図は、 第 1 1の実施の形態の合成再生制御部の構成を示す図である。 第 3 5図 Aは、 シナリオデータの例を示す図である。

第 3 5図 Bは、 スケジュールリストの例を示す図である。

第 3 6図は、 撮影装置が二画面有する場合のそれぞれの画面での表示例を示す 図である。 - 第 3 7図は、 撮影装置が二画面有する場合のそれぞれの画面での表示例を示す 図である。

第 3 8図は、 撮影装置が二画面有する場合のそれぞれの画面での表示例を示す 図である。 ' ， 第 3 9図は、 本発明のプログラムの例を示す図である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について図面を用いて説明する。 図 1は、 本発明の第 1の実施の形態の撮影装置 1 0の構成を示す図である。 第 1の実施の形態の撮影装置 1 0は、 ュ一ザが位置や向きを変えることにより、 撮 影の対象を変えることができる携帯型の撮影装置である。 例えば、 携帯型のビデ ォカメラや、 カメラ付携帯電話などが含まれる。 撮影装置 1 0は、 シナリオデ一 夕を格納するシナリォ格納部 1 2と、 撮影画像を取得する撮影部 1 8と、 シナリ ォ映像の再生およびシナリオ映像と撮影画像との合成を行う合成再生部 2 0と、 合成再生部 2 0を制御する合成再生制御部 2 2と、 合成されたシナリオ映像を表 示する表示部 2 4とを備えている。 撮影部 1 8は、 例えば、 C C Dや CMO Sな どの半導体素子により構成され、 デジタル画像を取得する機能を有する。 撮影部 1 8は、 動画および静止画の少なくとも一方を撮影可能である。

撮影装置 1 0の詳細な説明に先立って、 撮影装置 1 0において合成されるシナ リオデ一夕について説明する。 シナリオデ一夕は、 シナリオ情報 1 4と合成情報 1 6を含む。 シナリオ情報 1 4は、 出力すべき実体デーダの出力方法を記述した 情報である。 シナリオ情報 1 4に基づいて再生されるシナリオ映像は、 時間と共 に変化する映像であり、 例えば、 動画、 アニメ一シヨン、 スライドショ一などが これに該当する。 合成情報 1 6は、 撮影画像をシナリオ映像中に合成するための 合成領域の外形、 シナリオ映像を構成する画像中における合成領域の位置、 およ び合成領域が出現する時間に関する情報である。 合成領域が出現する時間は、 シ ナリォ映像に撮影画像が合成されるべき時間である。

図 2はシナリオデータの例を示す図、 図 3は図 2に示すデータにより画面に表 示されるシナリオ映像および合成領域の例を示す図である。 シナリオ映像は、 一 のメディアにより構成されてもよいし、 複数のメディアにより構成されてもよい。 図 3では、 シナリオ映像は、 メディア Aとメディア Bとからなり、 合成領域がメ ディア Aの映像上に位置する。 合成領域は、 撮影部 1 8により取得される撮影画 像が合成される領域である。 なお、 シナリオ映像は、 再生時間中にメディアが再 生されない時間帯を含んでいてもよい。 例えば、 図 2に示す例において、 T 2く T 3の場合には、 メディァ Aが再生される時間帯とメディア Bが再生される時間 帯とが重ならず、 時刻 T 2〜T 3の間は再生されるメディアが存在しないが、 そ のようなシナリオ映像も本発明の範囲に含まれる。 図 2に示す例では、 シナリォデータは、 シナリォ情報 1 4と合成情報 1 6とを 有する。 シナリオ情報 1 4は、 メディア Aの出力方法を記述したシナリオ情報 1 4 aとメディア Bの出力方法を記述したシナリオ情報 1 4 bとを有する。 それぞ れのシナリオ情報 1 4 a、 1 4 bは、 i ) メディア識別子、 i i ) 実体データの 格納場所、 i i i ) メディアを再生表示する時間に関する情報、 i v) 映像を表 示する領域に関する情報を含む。 ここでは、 シナリオ情報 1 4 a、 1 4 bがそれ ぞれ 4つの情報を含むが、 必要に応じて他の情報を含んでもよい。

メディア識別子は、 メディアを特定するための情報である。 実体データの格納 場所は、 メディァの実体データが格納されたディレクトリおよびファイル名を示 す情報である。 ここでは、 シナリオ情報 1 4は、 実体デ一夕の格納場所に関する 情報を有し、 実体データはシナリオデータとは別に格納されている。 また、 図 2 では、 メディア Aおよびメディア Bともに、 「h o m e」 のディレクトリに実体 データが格納されているが、 それぞれのメディァの実体デ一夕が格納される場所 は異なってもよい。 このように実体デ一夕の格納場所を指定できる構成により、 例えば、 既存のさまざまなデータをシナリオ映像として容易に利用可能となる。 メディァを再生表示する時間に関する情報は、 そのメディァに基づいて映像を再 生する時間を特定する情報である。 ここでは、 シナリオ映像の再生開始が指示さ れてからの経過時間により再生開始および再生終了のタイミングが規定され、 再 生表示時間が特定されている。 例えば、 メディア Aは、 シナリオ映像の再生開始 が指示されてから T 1秒経過した時刻に再生が開始され、 T 2秒経過した時刻で 再生が終了することが分かる。 映像を表示する領域に関する情報は、 そのメディ ァに基づく映像を表示する位置および形状に関する情報である。 例えば、 メディ ァ Aは、 座標 （X a， Y a ) の位置に表示され、 その形状は矩形であることが分 かる。

このようにシナリオ情報 1 4は、 そのメディアを表示する時間と領域に関する 情報を有することができる。 これらの情報に基づいて、 指定された時間および領 域にそのメディアの映像を表示する。 なお、 ここでは、 シナリオデータは、 メデ ィァごとに記述されているが、 そのほかの記述方法を採用することも可能である。 例えば、 シナリオ映像の再生時間ごとに出力方法を記述してもよい。 次に、 合成情報 1 6について説明する。 合成情報 1 6は、 シナリオ映像に撮影 画像を合成するための情報である。 合成情報 1 6は、 合成領域が出現する時間に 関する時間情報と、 合成領域の位置および外形に関する領域情報とを含んでいる。 時間情報は、 シナリオ映像中に合成領域が出現する時間を、 シナリオ映像の再生 開始時からの経過時間によって規定する情報である。 図 2に示す例では、 シナリ ォ映像再生開始から T 5秒経過時点から T 6秒経過時点までの期間に合成領域が 出現する。 すなわち、 この期間がシナリオ映像に撮影画像を合成する期間である。 領域情報は、 時間情報によって規定される期間に出現する合成領域の位置および 外形を規定する情報である。 図 2に示す例では、 合成領域の出現する位置は座標 (X c、 Y c ) であり、 合成領域の形状は半径 Rの円である。 なお、 合成領域が 出現する位置については、 出現位置を規定する座標を時間の関数とすることによ り、 合成領域の位置が移動するように設定することも可能である。 また、 合成領 域の外形についても、 時間のパラメータを設定することにより、 シナリオ映像の 再生時間の経過に伴って外形を変化させることができる。

合成領域に合成される映像は、 他の映像を上書きする形式で表示される。 合成 領域とメディァの映像が重なった場合には、 合成領域の映像が優先して表示され る。 例えば、 図 3に示すように、 合成領域とメディア Aの映像の表示領域が重な つた場合には、 合成領域はメディア Aの映像より前面に配置され、 撮影部 1 8に より撮影された画像によってメディア Aの映像を上書きする。

図 1に戻って、 撮影装置 1 0の構成について説明する。

シナリオ格納部 1 2は、 図 2で説明したようなシナリオデータを格納している。 撮影装置 1 0は、 シナリオ格納部 1 2に格納されたシナリオデ一夕を読み出して 表示部 2 4にシナリォ映像を再生し、 かつ撮影部 1 8により撮影された画像をシ ナリオ映像に合成する合成再生部 2 0と、 合成再生部 2 0を制御する合成再生制 御部 2 2とを有する。

合成再生制御部 2 2は、 シナリォ格納部 1 2からシナリォ情報 1 4および合成 情報 1 6を読み出し、 これらの情報に基づいて合成再生部 2 0を制御する。 合成 再生制御部 2 2は、 撮影部 1 8により撮影された画像を、 合成情報 1 6に基づい てシナリォ映像中の合成領域にはめ込むことにより、 撮影画像とシナリォ映像を 合成する。 このとき合成される画像は、 撮影部 1 8により取得した画像の全体で もよいし、 取得した画像の一部でもよい。 撮影部 1 8により取得した画像を合成 する際には、 合成領域の大きさに合うように画像を加工する。 例えば、 合成領域 に合うように、 合成すべき画像の切出し、 および Zまたは撮影画像の拡大縮小を 行う。 また、 撮影部 1 8により取得した画像の一部を合成に用いる場合には、 合 成領域の出現開始時刻においてシナリオ映像中の合成領域が位置する部分を撮影 画像から切り出して合成に用いると処理が簡単である。 すなわち、 表示されるシ ナリオ映像と、 撮影部 1 8により取得された画像とを表示部 2 4上で重ねて表示 したときに、 合成領域と重なる部分を撮影画像から切り出して合成に用いる。 こ れにより、 合成領域に入れるべき対象が撮影部 1 8によって撮影されるように撮 影装置 1 0の向きを調整しやすい。 また、 合成領域の出現する位置にかかわらず、 撮影画像の決まった位置 （例えば、 中央） の部分を合成領域の外形に合わせて切 り出して合成に用いるようにしてもよい。 撮影画像から切り出す位置に関する情 報を合成情報に含め、 この情報に基づいて、 合成領域に合成すべき画像を撮影画 像から切り出してもよい。

合成再生部 2 0は、 合成再生制御部 2 2の制御に基づいて、 シナリオ映像の再 生および合成映像の再生を行う。 シナリオ映像の再生は、 シナリオ格納部 1 2に 格納されたシナリォ情報に基づいて、 図 1に示さない格納部に格納された実体デ 一夕をシナリオ情報に従って読み出し、 読み出した実体データを再生する。 実体 データは、 図 1には示さないが、 どこに格納されていてもよい。 シナリオ格納部 1 2にシナリオデータと共に格納しておくことも可能である。 合成再生部 2 0は、 シナリオ情報により指定された格納場所から実体デ一夕を読み出して再生する。 なお、 合成再生制御部 2 2によって実体データを読み出し、 合成再生部 2 0に送 る構成とすることも可能である。

映像記録部 2 6には、 合成再生制御部 2 2により合成された映像が記録される。 ここで、 映像記録部 2 6への記録方式は、 画面に再生された合成映像をそのまま 記録する方式を採用してもよいし、 合成すべき撮影画像とシナリォ映像とを別々 に記録する方式を採用してもよい。 前者の方式を採用した場合には、 記録された 合成映像を読み出せばそのまま合成映像を再生できる。 後者の方式を採用する場合には、 撮影画像が合成されるシナリォ映像の識別情 報を関連付けておく。 例えば、 図 4 Aに示すように、 あらかじめ合成情報に i ) 合成情報識別子を含めておく。 ここでは、 「C a m e r a A」 という識別子が付 され、 C a m e r a Aで撮影された撮影画像が合成されることを示している。 そ して、 撮影画像を記録する際には、 図 4 Bに示すように、 撮影部 1 8により撮影 された撮影画像のデ一夕を格納した場所に関する情報 （ディレクトリおよびファ ィル名） をシナリオデータに関連付ける。 再生する際には、 記録された撮影画像 を読み出すと共にシナリオ映像を読み出す。 そして、 そのシナリオ映像の合成情 報に従って、 読み出した撮影画像を合成し、 その合成映像を表示することで合成 映像の再生を行える。

また、 合成情報に撮影画像の情報を含めたシナリオデータを生成してもよい。 すなわち、 '図 5 Aに示すように、 あらかじめ合成情報に i ) 合成情報識別子を含 めておく。 そして、 撮影画像を記録する際には、 図 5 Bに示すように、 撮影部 1 8により撮影した撮影画像をシナリオデータを構 するメディァの一つ （メディ ァ C) として取り扱い、 新たなシナリオデータを生成する。 メディア Cも、 メデ ィァ Aまたはメディア Bと同様に、 i ) メディア識別子、 i i ) 実体データの格 納場所、 i i i ) メディアを再生表示する時間に関する情報、 i v) 映像を表示 する領域に関する情報を含む。

また、 記録する範囲についても、 シナリオ映像の再生開始から再生終了まで記 録する方式を採用してもよいし、 合成領域が出現するシナリオ映像の部分を記録 する方式を採用してもよい。

撮影条件制御部 2 8は、 撮影部 1 8の撮影条件等を制御する機能を有する。 撮 影条件には、 例えば、 明るさ、 フォトライトの有無、 ズーム率、 色調 （セピア、 白黒、 カラー） などの条件がある。 合成情報 1 6に、 合成されるべき画像の撮影 条件の情報が含まれている場合には、 撮影条件制御部 2 8はその情報に基づいて 撮影条件を設定する。 また、 撮影条件制御部 2 8は、 ユーザによる撮影条件の設 定を受け付けることも可能である。

図 6は撮影装置 1 0による映像合成の動作の流れを示す図、 図 7は映像合成を 行う際の、 撮影部 1 8の動作および表示部 2 4での表示内容とシナリオデータと の関係を示す図である。 なお、 図 7においては、 横軸は時間軸を示し、 右に行く に従って時間が経過していることを示す。

まず、 ユーザが撮影装置 1 0に対してシナリオ映像の再生開始を指示する （ス テツプ S 1 ) 。 シナリオ映像再生開始の指示は、 合成再生制御部 2 2に入力され る。 合成再生制御部 2 2が合成再生部 2 0を制御することにより （ステップ S 2 ) 、 合成再生部 2 0がシナリオ映像の再生を行う。 すなわち、 合成再生部 2 0 は実体データ格納部 4 0からシナリォ情報 1 4を読み出し、 シナリォ情報 1 4に 基づいてシナリオ映像を再生する （ステップ S 3 ) 。 実体デ一夕格納部 4 0はど こにあってもよく、 図 6では点線で示している。 ここでは、 図 2に示すシナリオ デ一夕に従ってシナリオ映像が 生されるものとする。 すなわち、 シナリオ映像 中に合成領域が出現する期間は時刻 T 5から時刻 T 6の間である。 図 7に示すよ うに、 時刻 T Oから時刻 T 5までの間は、 シナリオデータに合成情報が含まれて おらず、 シナリオ映像が再生されるだけである。 なお、 メディア Aおよびメディ ァ Bは、 時刻 t = 0から時刻 t =T 7まで再生されるものとする。 すなわち、 メ ディァ Aの開始時刻 T 1とメディァ Bの開始時刻 T 3は t = 0、 メディァ Aの終 了時刻 T 2とメディア Bの終了時刻 T 4は t = T 7であるとする。

合成再生制御部 2 2は、 合成再生部 2 0によってシナリオ映像を再生する一方 で、 シナリオ格納部 1 2から読み出した合成情報 1 6に基づいて、 合成領域の出 現タイミングを管理する。 合成領域の出現タイミング （時刻 T 5 ) になると、 合 成再生制御部 2 2は合成再生部 2 0に対してシナリォ映像再生の一時停止を指示 する （ステップ S 4 ) 。 合成再生制御部 2 2は、 さらに撮影条件制御部 2 8に対 し、 プレビューモード （撮影画像を記録せずに画面に表示するモ一ド） での撮影 を指示する。 撮影条件制御部 2 8は、 合成再生制御部 2 2からの指示に従って、 撮影部 1 8を制御し、 プレビューモードでの撮影を開始する (ステップ S 4 ) 。 このとき、 合成情報 1 6に撮影条件に関する情報が含まれている場合には、 撮 影条件制御部 2 8がその撮影条件に基づいて撮影部 1 8を制御する。 これにより、 シナリオ映像に合った撮 画像を取得できる。 例えば、 シナリオ映像の色調がセ ピアである場合に、 合成される画像の色調もセピアであることが好ましいとシナ リオ映像の作成者が考えれば、 合成情報 1 6に撮影条件として色調がセピアであ ることを含ませる。 撮影条件制御部 2 8は、 合成情報 1 6に含まれる撮影条件に より撮影部 1 8を制御し、 色調がセピアの撮影画像を取得する。

撮影部 1 8によって撮影された画像は合成再生部 2 0に送られ、 合成再生部 2 0によって撮影画像とシナリオ映像とが合成される （ステップ S 5 ) 。 より詳し くは、 表示部 2 4には時刻 T 5におけるシナリオ映像が静止画として表示される。 シナリォ映像中に含まれる合成領域に撮影画像が合成され、 合成映像が作られる。 この合成映像が合成プレビュー画像である。 図 7に示すように、 シナリオ映像の 再生が時刻 T 5で一時停止され、 表示部 2 4に合成プレビュー画像が表示される。 図 8 A及び図 8 Bは、 合成プレビュー画像の例を示す図である。 シナリオ映像 の再生は停止されており、 静止画像が表示される。 合成領域には、 撮影部 1 8に より取得された撮影画像が表示される。 撮影装置 1 0を動かすと、 撮影部 1 8に より取得する画像が変わり、 図 8 A及び図 8 Bに示すように合成領域に合成され る画像が変化する。

ュ一ザは、 合成プレビュー画像を見ながら、 合成領域に所望の画像が入るよう に撮影装置 1 0の位置や向き、 ズーム率、 または明るさ等を調整する。 例えば、 図 8 A及び図 8 Bに示す例では、 シナリォ映像は、 キーパーがポ一ルをキヤツチ する瞬間の映像である。 合成領域は、 キーパーの顔の部分に位置し、 撮影部 1 8 による撮影画像が合成領域にはめ込まれる。 図 8 Aでは、 撮影画像がポールと足 であり、 シナリオ映像に合成される映像としては、 ふさわしくない。 そこで、 撮 影装置 1 0を動かして撮影箇所を変えることにより、 顔の画像を撮影する。 これ により、 図 8 Bに示すようにシナリォ映像にふさわしい合成映像を得ることがで きる。 このように合成プレビュー画像を表示することにより、 ユーザが撮影部 1 8により取得する画像を調整することが可能となる。

次に、 ユーザが撮影装置に対して一時停止解除の指示を行う。 この指示は、 例 えば、 ユーザが合成領域の所望の画像を合成できたと判断した場合になされる。 一時停止解除の指示は、 合成再生制御部 2 2に入力される （ステップ S 6 ) 。 合 成再生制御部 2 2は、 シナリォ映像再生の再開を合成再生部 2 0に指示するとと もに、 撮影条件制御部 2 8に対して記録モードでの撮影を指示する （ステップ S 6 ) 。 図 7に見られるように、 一時停止指示の時刻と一時停止解除の時刻 tはと もに T 5で同じであり、 シナリオデータ内の時刻が停止している。 なお、 この間、 実時間は経過している。

撮影部 1 8によって撮影された画像は、 合成再生部 2 0に送られ、 シナリオ映 像と合成される （ステップ S 7 ) 。 具体的には、 シナリオ映像に含まれる合成領 域に、 撮影画像がはめ込まれることにより、 合成映像が作成される。 なお、 撮影 部 1 8が動画を撮影する場合、 例えば被写体が動けば、 合成領域の中にはめ込ま れる画像が変化することとなる。

シナリォ映像中の合成領域がシナリォ映像の進行に伴つて移動するように作ら れている場合には、 合成される撮影画像の位置が移動する合成映像を作成できる。 また、 撮影画像の一部を切り出して合成領域に合成する場合に、 その切り出す位 置を一定とすれば、 撮影装置を動かさないで同じ対象物を撮影画像として捉えつ つ、 その対象物の画像がはめ込まれる合成領域がシナリォ映像中を移動するとい う合成映像を作成することができる。 また、 撮影画像の一部を切り出して合成領 域に合成する場合に、 その切り出す位置を合成領域の位置に合わせて移動させる ことも可能である。

そして、 合成再生部 2 0は、 合成映像を表示部 2 4に表示する。 また、 撮影部 1 8は、 図 6中破線矢印で示すように、 撮影画像を映像記録部 2 6に送り、 映像 記録部 2 6に記録する （ステップ S 7 ) 。 このとき、 再生中のシナリオ映像の識 別情報と共に撮影画像を記録する。 シナリォ映像と撮影画像とを関連付けておく ことにより、 合成映像を再生する際には、 撮影画像とその撮影画像に関連付けら れたシナリオ映像とを合成し、 撮影時に画面に表示された合成映像を再生できる。 なお、 映像記録部 2 6への記録は、 別の方式でも可能である。 すなわち、 図 6 中破線矢印で示すように、 撮影部 1 8からの撮影画像ではなく、 合成再生部 2 0 から出力される合成映像を映像記録部 2 6に記録する。

合成再生制御部 2 2は、 シナリォ格納部 1 2から読み出した合成情報 1 6に基 づいて、 合成領域の出現が終了するタイミングを管理する。 そして、 シナリオ映 像中から合成領域がなくなる時刻 Τ 6になると、 合成再生制御部 2 2は、 撮影条 件制御部 2 8に対して、 撮影終了を指示する。 これにより、 撮影条件制御部 2 8 は撮影部 1 8による撮影を終了させる （ステップ S 8 ) 。 合成再生制御部 2 2は、 シナリォ映像の再生の終了時刻 T 7になると、 シナリォ映像の再生終了を合成再 生部 2 0に知らせる （ステップ S 9 ) 。

以上、 第 1の実施の形態の撮影装置 1 0の動作例について説明した。

第 1の実施の形態の撮影装置 1 0においては、 シナリオデ一夕が、 撮影画像を 合成するための合成情報 1 6を有している。 合成情報 1 6に基づく合成再生制御 部 2 2の制御により、 合成再生部 2 0が、 撮影部 1 8によつて撮影した画像とシ ナリオ映像とを合成して合成映像を作り、 合成映像を表示部 2 4に表示する。 こ れにより、 撮影しながらシナリオ映像と撮影画像を合成することができる。 従つ て、 撮影した画像とシナリオ映像とをスピーディーに合成し、 合成映像を得るこ とができる。

また、 合成すべき画像の撮影中に表示部 2 4に合成映像を表示するので、 ユー ザは合成映像を見ることができ、 合成すべき画像を撮影時に調整することができ る。 すなわち、 シナリオ映像の再生中に撮影部 1 8により合成すべき対象を撮影 することにより、 撮影した画像をそのまま合成できる。 いったん撮影した撮影画 像を後で再生し、 撮影画像から合成すべき対象を切り出し、 シナリオ映像の再生 夕イミングに合わせて画像を合成するという手間がなく、 容易に映像の合成を行 うことができる。 特に、 例えば携帯端末のように画面やキーパッドに制限がある 場合には、 シナリオ映像と撮影画像の両方を再生し、 編集するのは困難なので、 シナリォ映像を表示部 2 4に表示する一方で、 撮影部 1 8により撮影画像を調整 する方法が有効である。

なお、 上記した実施の形態では、 ュ一ザからのシナリオ映像再生の指示によつ てシナリォ映像の再生を再開するが、 シナリォ映像を一時停止した時点から所定 の時間が経過した後に再開することとしてもよい。 また、 撮影中の画像の内容を 判断する手段を備え、 撮影画像が合成領域に入るべき画像であると判断したとき に、 自動的に再生を再開してもよい。 例えば、 図 8 Αおよび図 8 Βに示す例では、 撮影装置 1 0に顔を認識するルーチンを組み込んでおき、 合成領域に顔の画像が 合成されたと判定したときに、 シナリオ映像の再生を再開することができる。 また、 上記実施形態では、 画像の合成方法として、 合成領域に合成される撮影 画像をシナリオ映像に上書きする構成について説明したが、 他の合成方法を採用 することも可能である。 例えば、 シナリオ映像を構成する画像として透明色を指 定可能な透過 G I Fフォーマツトを用いる場合には、 シナリオ映像の下に撮影画 像を重ねることにより、 画像を合成してもよい。 これにより、 シナリオ映像の透 明色の部分には、 下にある撮影画像が表示されることになる。

また、 合成情報に撮影画像の回転角度の情報を含めてもよい。 これにより、 力 メラを動かさなくてもシナリォ映像に合った角度の画像を合成することが可能と なる。 例えば、 シナリオ映像が逆立ちしたキャラクタ一で、 この顔の部分に撮影 画像を合成したい場合、 合成情報に撮影画像の回転角度 （1 8 0 ° ) の情報を 含め、 この情報に基づいて撮影画像を回転して合成する構成とすれば、 被写体に 逆立ちしてもらったり、 カメラを逆さにして撮影しなくても、 適切な画像を合成 することができる。

図 9は、 第 2の実施の形態の撮影装置 1 0の構成を示す図である。 第 2の実施 の形態の撮影装置 1 0は、 第 1の実施の形態の撮影装置 1 0と基本的な構成は同 じであるが、 合成領域の外形の情報を提示する合成領域提示部 3 0をさらに備え ている点が異なる。 合成領域提示部 3 0は、 合成情報 1 6に基づいて、 合成領域 が出現する時刻より前に、 合成領域の外形の情報をユーザに提示する機能を有す る。 具体的には、 合成領域提示部 3 0は、 例えば、 合成領域の外形を枠としてシ ナリオ映像に重ねて表示する。 枠とは、 合成領域の輪郭を目立たせるための線で あり、 これにより、 合成領域の形状とその大きさがユーザに示される。

図 1 0は、 映像合成を行う際の、 撮影部 1 8の動作および表示部 2 4での表示 内容とシナリオデータとの関係を示す図である。 図 1 0を参照しながら、 第 2の 実施の形態の撮影装置 1 0による映像合成の動作について説明する。 なお、 図 1 0も図 7と同様に、 横軸を時間軸としている。

まず、 ユーザが撮影装置 1 0に対してシナリオ映像の再生開始を指示する。 こ こでは、 図 2に示すシナリオデータに従ってシナリオ映像の再生がなされるもの とする。 すなわち、 シナリオ映像中に合成領域が出現する期間は時刻 T 5から時 刻 T 6の間である。 また、 メディア Aおよびメディア Bは、 時刻 t = 0から時刻 t =T 7まで再生されるものとする。 図 1 0に示すように、 時刻 T Oから時刻 T 5までの間は、 シナリオデータに合成情報が含まれていない。 再生開始の指示が 入力された合成再生制御部 2 2が合成再生部 2 0を制御することによりシナリオ 映像の再生が開始される。

撮影装置 1 0は、 シナリオ映像の再生開始から時刻 T 5に達するまでは、 合成 再生部 2 0によってシナリオ情報 1 4を読み出してシナリオ映像を再生する。 合 成再生制御部 2 2は、 合成情報 1 6を参照し、 時刻 T 5に達する前の時刻 T pに おいて、 時刻 T 5に出現することになる合成領域の外形の情報を合成領域提示部 3 0に送り、 合成領域提示部 3 0は、 表示部 2 4に現在表示されているシナリオ 映像の画面に重ねて合成領域を囲む枠を表示する。

図 1 1 Aは時刻 T 5における合成映像の例を示す図、 図 1 1 Bは合成領域の外 形の情報を画面に表示した例を示す図である。 図 1 1 Aに示すように、 時刻 T 5 におけるシナリォ映像はポールをキャッチしたキーパーの映像であり、 その顔の 部分に円形の合成領域が位置する。 撮影装置 1 0は、 この合成領域の外形の情報 を、 合成領域が出現する時刻 T 5より前の時刻 T pの時点において表示部 2 4に 表示する。 すなわち、 図 1 1 Βに示すように、 合成領域の外形を枠 Fとしてシナ リオ映像に重ねて表示する。 そして、 撮影装置 1 0は、 この合成領域の外形の情 報を時刻 Τ ρから時刻 Τ 5までの間表示する。

時刻 Τ 5以降のシナリオ映像再生および映像合成の動作は、 第 1の実施の形態 の撮影装置 1 0と同様である。 すなわち、 時刻 Τ 5以降、 合成再生制御部 2 2は シナリオ映像と撮影部 1 8による撮影画像とを合成し、 合成映像を作る。 そして、 撮影装置 1 0は、 合成再生部 2 0によって、 表示部 2 4に合成映像を表示する。 シナリオデ一夕の合成情報 1 6によれば、 時刻 Τ 6以降に出現する合成領域は存 在しないので、 撮影装置 1 0は、 合成再生部 2 0によってシナリオ映像を再生の みを行う。

以上、 第 2の実施の形態の撮影装置 1 0の動作例について説明した。

第 2の実施の形態の撮影装置 1 0では、 合成領域が出現して映像合成が開始さ れる前に、 シナリオ映像に合成領域の外形を表示するので、 ユーザは、 合成領域 の外形の情報に基づいて、 合成領域に合成すべき画像を予測することができる。 これにより、 ユーザは、 合成すべき画像の撮影準備をすることができる。

また、 第 2の実施の形態の撮影装置 1 0は、 第 1の実施の形態の撮影装置 1 0 と同様に、 撮影した画像とシナリオ映像とを撮影しながら合成することができ、 簡易な操作でスピ一ディ一に映像合成を行うことができる。

上記した第 2の実施の形態では、 図 1 1 Bに示すように、 出現時点において合 成領域が表示される位置の情報も合成再生制御部 2 2が合成領域提示部 3 0へ送 つて、 シナリオ映像中のその位置に、 合成領域の外形を示す枠 Fを表示している。 このように位置の情報を前もって表示するのは、 合成開始時刻におけるシナリオ 映像中の合成領域の位置と、 撮影画像中の切り出す部分の位置を一致させる実装 の場合に有効である。 他の実装の場合、 合成領域の外形の情報は表示部 2 4のど こに表示してもよい。 また、 撮影装置 1 0が、 シナリオ映像を再生表示する画面 のほかにサブ画面を有する場合には、 サブ画面に合成領域の外形の情報を表示す ることも可能である。

また、 上記した第 2の実施の形態では、 合成領域の外形の情報を枠 Fで表示し ているが、 枠 F以外の表示により外形の情報を示してもよい。 例えば、 枠を表示 せずに、 合成領域の内部のシナリオ映像を他より薄く表示してもよい。 これによ つても、 ユーザは合成領域の輪郭を知ることができる。

また、 上記した第 2の実施の形態では、 合成領域提示部 3 0により提示される 外形の情報は、 実際に出現することとなる合成領域と形状および大きさが等しい 枠 Fで示しているが、 合成領域の形状のみ、 または大きさのみに関する情報を合 成領域提示部 3 0により提示することとしてもよい。

また、 上記した第 2の実施の形態では、 合成領域の外形の情報を表示している が、 これに加えて現在撮影部 1 8が捉えている撮影画像を表示してもよい。 この ように撮影部 1 8が捉えている撮影画像を表示することにより、 映像合成に先立 つて、 適切な画像を撮影できるように撮影部 1 8め位置や向きまたはズーム率な どを調整しておくことができる。

なお、 現在再生中のシナリォ映像と共に撮影部 1 8による撮影画像を一つの表 示部 2 4に表示する方式としては、 例えば、 撮影画像を透過処理してシナリオ映 像上に表示する方式がある。 また、 表示部 2 4に表示する撮影画像は、 撮影部 1 8により撮影される画像の全体でもよいし、 撮影画像のうちの合成される範囲の みの画像であってもよい。 前者の場合は、 例えば、 撮影画像の全体を透過処理し てシナリオ映像の全体に重ねて表示する。 後者の場合は、 合成領域の開始時刻に 出現する合成領域の位置に、 撮影画像から切り出される撮影画像の部分を現在撮 影中の撮影画像から切り出し、 透過処理してシナリオ映像上に重ねて表示する。 これにより、 実際に合成される撮影画像をュ一ザが知ることができると共に、 枠 を表示しなくてもユーザは合成領域の外形や位置を知ることができる。

なお、 第 2'の実施の形態では、 第 1の実施の形態と異なり、 合成領域と共に表 示されるはずの時刻 T 5におけるシナリオ映像を、 時刻 T 5より前にユーザが見 ることができない。 したがって、 時刻 T 5より前に上述したように合成領域の外 形の情報が表示されても、 そこに何を入れればシナリォ映像と合うのか分からな い可能性がある。 合成領域の属性 （例えば 「顔」 等） の情報も時刻 T pから時刻 Τ 5に表示してもよい （ただし、 ユーザはこの属性を無視して自由に撮影対象を 選ぶことができる） 。

図 1 2は、 本発明の第 3の実施の形態の撮影装置 1 0を示す図である。 第 3の 実施の形態の撮影装置 1 0は、 第 2の実施の形態の撮影装置 1 0と基本的な構成 は同じであるが、 合成領域の出現のタイミングが近づいたことを知らせる夕イミ ング報知部 3 2をさらに備えている点が異なる。

タイミング報知部 3 2は、 合成情報 1 6に含まれる合成領域が出現する時間に 関する情報とシナリォ再生開始からの経過時間とに基づいて、 合成領域の出現時 刻の接近を検知する。 タイミング報知部 3 2は、 例えば、 音を発することにより、 合成領域の出現時刻が近づいていることを報知する構成を採用できる。 合成領域 の出現時刻が近づくにつれて、 発生させる音を大きくする、 あるいは音の発生間 隔を短くすることにより、 合成領域の出現時刻の接近を知らせることができる。 図 1 0に示す例で説明すると、 例えば、 タイミング報知部 3 2は、 合成領域情報 を提示する時刻 Τ ρ力 ^ら、 合成領域の出現時刻が近づいていることをユーザに知 らせる。

これにより、 ユーザは合成領域の出現時刻が近づいていることを知ることがで きるので、 合成すべき画像を撮影する準備を整えることができる。

なお、 タイミング報知部 3 2は、 音以外の方法によって、 合成領域の出現時刻 が近づいていることを報知してもよい。 例えば、 映像シナリオの再生速度を遅く することにより、 出現タイミングが近づいたことを知らせる構成、 または画面に カウントダウンの数字を表示する構成を採用することもできる。 また、 合成領域 の出現時刻が経過した後も継続して、 出現時刻の直後であることを知らせてもよ い。 これにより、 ユーザに合成すべき画像の撮影を促すことができる。 なお、 こ の際、 出現時刻を境に音の高さや音量を変化させる構成としてもよい。

図 1 3は、 本発明の第 4の実施の形態の撮影装置 1 0の構成を示す図である。 第 4の実施の形態に係る撮影装置 1 0は、 第 2の実施の形態の撮影装置 1 0と基 本的な構成は同じであるが、 映像合成の開始および終了の指示を入力するための 合成タイミング入力部 3 4を備えている点が異なる。 合成タイミング入力部 3 4 から入力されたタイミング情報は、 合成再生制御部 2 2に送られる。 合成再生制 御部 2 2は、 合成タイミング入力部 3 4からのタイミング情報に基づいて、 撮像 画像とシナリオ映像との合成開始または合成終了タイミングを制御する。

•このように合成タイミング入力部 3 4を備え、 映像合成の開始および終了の指 示を入力可能とした構成により、 ユーザが映像合成のタイミングを選択すること ができる。 例えば、 ユーザは、 合成すべき画像の撮影準備が整った時点で合成を 開始することができ、 また合成すべき画像を撮影できなくなった場合には、 合成 を終了することができる。

第 4の実施の形態の撮影装置 1 0では、 映像合成の開始と終了のタイミングを ユーザが決定することができるので、 決定されたタイミングが合成情報に基づく 合成領域が出現するタイミングと異なる場合がある。 この点について説明する。 図 1 4は、 映像合成を行う際の、 撮影部 1 8の動作および表示部 2 4での表示 内容とシナリオ映像との関係を示す図である。 図 1 4を参照しながら、 実施の形 態の撮影装置 1 0による映像合成の動作について説明する。 なお、 図 1 4も図 7 と同様に、 横軸を時間軸としている。

まず、 ユーザが撮影装置 1 0に対してシナリオ映像の再生開始を指示する。 こ こでは、 図 2に示すシナリオデータに従ってシナリオ映像が再生されるものとす る。 すなわち、 シナリオ映像中に合成領域が出現する期間は時刻 T 5から時刻 T 6の間である。 また、 メディア Aおよびメディア Bは、 時刻 t = 0から時刻 t = T 7まで再生されるものとする。 図 1 4に示すように、 時刻 T Oから時刻 T 5ま での間は、 シナリオデ一夕に合成情報が含まれておらず、 シナリオ映像が再生さ れる。 すなわち、 再生開始の指示が入力された合成再生制御部 2 2が合成再生部 2 0を制御することによりシナリォ映像の再生が開始される。

時刻 T 5に達すると、 撮影装置 1 0の画面に再生されるシナリオ映像には合成 領域が表示される。 合成領域には、 撮影部 1 8によって撮影中の画像が表示され る。 ただし、 この時点では、 合成タイミング入力部 3 4に合成開始指示が入力さ れていないので、 表示部 2 4に表示されている映像は記録されない。

時刻 T sに合成開始指示が入力されると、 撮影装置 1 0は、 合成領域に表示さ れる撮影画像を映像記録部 2 6に記録する。 また、 撮影装置 1 0は、 合成領域の 出現時刻 T 5から合成開始が指示された時刻 T sまでの合成領域に、 時刻 T sに おける撮影画像 （静止画像） を合成して合成映像を作成し、 記録する。 これによ り、 合成開始指示が入力されるまでの合成領域の映像を、 時刻 T sにおける撮影 画像によって補完することができる。

以上、 合成開始指示の入力タイミングが合成領域の出現タイミングより遅くな つた場合の合成領域の補完方法について説明した。 なお、 記録時に補完を行う場 合には、 映像記録部 2 6と合成再生部 2 0との間にバッファを設け、 バッファに 蓄積された時刻 T 5〜 T sのシナリォ映像に、 時刻 T sでバッファに入力される 最初の撮影画像を合成し、 そこで得られた合成映像を、 映像記録部 2 6に記録す る。 次に、 合成領域がまだ出現しているときに合成終了指示が入力された場合の 補完方法について説明する。

図 1 5は、 映像合成を行う際の、 撮影部 1 8の動作および表示部 2 4での表示 内容とシナリオ映像との関係を示す図である。 図 1 5を参照しながら、 実施の形 態の撮影装置 1 0による映像合成の動作について説明する。 なお、 図 1 5も図 7 と同様に、 横軸を時間軸としている。

まず、 ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。 ここで は、 図 2に示すシナリオデータに従ってシナリオ映像の再生がなされるものとす る。 すなわち、 シナリオ映像中に合成領域が出現する期間は時刻 T 5から時刻 T 6の間である。 また、 メディア Aおよびメディア Bは、 時刻 t = 0から時刻 t = T 7まで再生されるものとする。 図 1 4に示すように、 時刻 T Oから時刻 T 5ま での間は、 シナリオデ一夕に合成情報が含まれておらず、 シナリオ映像が再生さ れる。 すなわち、 再生開始の指示が入力された合成再生制御部 2 2が合成再生部 2 0を制御することによりシナリォ映像の再生が開始される。

' 時刻 T 5に達すると、 撮影装置 1 0の画面に再生される映像シナリオには合成 領域が表示される。 合成領域には、 撮影部 1 8により撮影される画像が表示され る。 撮影装置 1 0は、 時刻 T 5以降、 画面に合成されている映像を映像記録部 2 6に記録する。

. 合成領域の出現期間の終点である時刻 T 6より前の時刻 T eに合成終了指示が 入力されると、 撮影装置 1 0は撮影部 1 8により撮影された画像の記録を終了す る。 合成終了を指示された時刻 T eから合成領域の出現終了時刻 T 6までの合成 領域に、 時刻 T eにおける撮影画像 （静止画像） を合成して合成映像を作成し、 記録する。 これにより、 合成終了指示が入力されてから時刻 T 6に合成領域の表 示が消えるまでの合成領域の映像を、 時刻 T eにおける撮影画像によって補完す ることができる。

このように合成開始指示または合成終了指示の入力タイミングが合成領域の出 現期間とずれた場合に、 ずれた期間における合成領域の画像を補完することによ り、 合成領域に撮影画像が合成されない事態を回避できる。

上記した実施の形態では、 撮影画像の合成開始時点または合成終了時点の画像 を用いて合成領域の画像を補完することとしたが、 他の方法により合成領域の画 像を補完してもよい。 撮像した画像を合成領域が出現する時間の長さに等しくな るように引き延ばして記録することも可能である。 例えば、 合成領域が出現する 時間が 1 0秒なのに対し、 撮影された画像の再生時間が 5秒だった場合には、 撮 影された画像の再生速度を半分にし、 画像の長さを合成領域の出現時間に合わせ ることができる。

また、 撮影画像とシナリオ映像を別々に記録しておく場合には、 再生時に上記 したような補完を行うことにより、 合成領域に撮影画像が合成されない事態を回 避し、 適切に合成映像を再生することができる。

なお、 上記では、 合成開始または合成終了の指示が、 合成領域の出現期間とず れた場合に、 合成情報に記述された出現期間に合わせて合成を行う例を説明した が、 合成開始または合成終了の指示に合わせて合成を行ってもよい。 この場合、 合成開始指示入力前または合成終了指示入力後であって、 合成領域の出現期間内 である期間は、 合成領域を空白にして表示するのではなく、 合成領域により隠れ るはずであつたシナリォ映像をそのまま表示するようにすればよい。

図 1 6は、 第 5の実施の形態の撮影装置 1 0の構成を示す図である。 第 5の実 施の形態の撮影装置 1 0の構成は、 第 1の実施の形態の撮影装置 1 0と基本的な 構成は同じであるが、 シナリオ映像に静止画像を合成する点が異なる。 第 5の実 施の形態の撮影装置 1 0は、 シャッター 3 6を備えている。 シャッター 3 6は撮 影部 1 8と接続されており、 シャッター 3 6が押下されると、 撮影部 1 8は、 そ の押下タイミングにおける静止画像を記録すべき画像として撮影する。

図 1 7は、 映像合成を行う際の、 撮影部 1 8の動作および表示部 2 4での表示 内容とシナリオデ一夕との関係を示す図である。 図 1 7を参照しながら、 実施の 形態の撮影装置 1 0による映像合成の動作について説明する。 なお、 図 1 7も図 7と同様に、 横軸を時間軸としている。

まず、 ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。 ここで は、 図 2に示すシナリオデータに従ってシナリオ映像の再生がなされるものとす る。 すなわち、 シナリオ映像中に合成領域が出現する期間は時刻 T 5から時刻 T 6の間である。 また、 メディア Aおよびメディア Bは、 時刻 t = 0から時刻 t = T 7まで再生されるものとする。 図 1 4に示すように、 時刻 T Oから時刻 T 5ま での間は、 シナリオデータに合成情報が含まれておらず、 シナリオ映像が再生さ れる。 すなわち、 再生開始の指示が入力された合成再生制御部 2 2が合成再生部 2 0を制御することによりシナリォ映像の再生が開始される。

時刻 T 5において、 撮影装置 1 0はシナリオ映像の再生を一時停止する。 この とき、 画面には時刻 T 5におけるシナリオ映像が表示される。 シナリオ映像には 合成領域が含まれている。 合成再生制御部 2 2が撮影部 1 8の視野に写っている 画像と、 一時停止されたシナリオ映像を合成して合成映像を作る。 合成再生部 2 0は、 合成再生制御部 2 2の制御に基づいて合成された映像を表示する。 この合 成映像が合成プレビュー画像である。

合成プレビュー画像に基づいて撮影装置 1 0の位置または向きなどを調整し、 合成する静止画像を撮影する。 所望の画像が合成領域に表示された時点でシャッ 夕一 3 6を押下し、 静止画像を取得する。 静止画像を取得した後に、 シナリオ映 像の再生を再開する。 シナリオ映像再生の再開は、 ユーザによりシャッター 3 6 が押下された時点で再生を再開してもよいし、 シナリォ映像を一時停止した時点 から所定の時間が経過した後に再開してもよい。

シナリオ映像の再生が再開されると、 合成再生制御部 2 2はシナリオ映像と撮 影部 1 8により撮影した静止画像とを合成し、 合成映像を作る。 具体的には、 合 成再生制御部 2 2の制御により合成再生部 2 0は、 取得した静止画像に対して切 出しまたは拡大縮小などの加工を行い、 加工した画像をシナリオ映像中の合成領 域に合成する。 そして、 撮影装置 1 0は、 合成再生部 2 0によって、 表示部 2 4 に合成映像を表示する。 この場合、 動画を撮影する場合と異なり、 シナリオ映像 は進行するが、 合成領域にはめ込まれる画像は静止画像のままとなる。 ただし、. 合成情報の中の位置情報が時間の関数となっている場合、 同じ静止画像のはめ込 まれた合成画像がシナリォ映像の進行と共に移動することは動画の場合と同様で ある。 合成再生制御部 2 2は、 シナリオ映像に合成領域が出現している間は、 撮 影画像をシナリオ映像に合成するように合成再生部 2 0を制御する。 すなわち、 時刻 T 5から時刻 T 6までの間は、 合成再生部 2 0が撮影画像とシナリオ映像の 合成を行う。

シナリオデータの合成情報 1 6によれば、 時刻 T 6以降に出現する合成領域は 存在しない。 撮影装置 1 0は、 合成再生部 2 0によってシナリオ映像を再生する。 撮影装置 1 0は、 シナリオ映像が再生されている間の映像を映像記録部 2 6に 記録する。 時刻 T 5から時刻 T 6については、 合成再生部 2 0からの出力を記録 するか、 撮影した静止画像を記録するかのいずれかの方式により、 合成映像を記 録する。 なお、 合成プレビュー画像は記録しない。

以上、 第 5の実施の形態の撮影装置 1 0の動作について説明した。 なお、 ここ では、 第 1の実施の形態の動作例に沿って静止画像の場合を説明したが、 第 2の 実施の形態の動作例や、 第 3の実施の形態のタイミング報知、 第 4の実施の形態 の補完方法を静止画像の合成に応用することももちろん可能である。

第 5の実施の形態の撮影装置 1 0は、 撮影した静止画像とシナリオ映像とをス ピ—ディーに合成し、 合成映像を得ることができる。

また、 合成すべき画像の撮影中に表示部 2 4に合成映像を表示するので、 ユー ザは合成映像を見ることができ、 合成すべき画像を撮影時に調整することができ る。 すなわち、 シナリオ映像の再生中に撮影部 1 8により合成すべき対象を撮影 することにより、 撮影した画像をそのまま合成できる。 これにより、 いったん撮 影した撮影画像を後で再生し、 撮影画像から合成すべき対象を切り出し、 シナリ ォ映像の再生タイミングに合わせて合成するという手間がなく、 容易に映像の合 成を行うことができる。 特に、 例えば携帯端末のように画面ゃキ一バッドに制限 がある場合には、 シナリオ映像と再生すると共に撮影した静止画像を表示し、 編 集するのは困難なので、 シナリオ映像を表示部 2 4に表示する一方で、 撮影部 1 8により撮影画像を調整する方法が有効である。

上記した第 5の実施の形態の撮影装置 1 0において、 静止画像を複数回撮影す ：ることとしてもよい。

図 1 8は、 静止画像を複数回撮影する場合の映像合成について説明するための 図である。 なお、 図 1 8も図 7と同様に、 横軸を時間軸としている。 図 1 8に示 すように、 1回目の撮影後 2回目の撮影がなされるまでは、 1回目に撮影した静 止画像とシナリオ映像とを合成した合成映像を表示する。 そして、 2回目の撮影 後 3回目の撮影がなされるまでは、 2回目に撮影された静止画像とシナリォ映像 とを合成した合成映像を表示する。 そして、 3回目の撮影後、 合成領域の出現期 間が終了するまでは、 3回目に撮影された静止画像とシナリオ映像とを合成した 合成映像を表示する。 これにより、 複数の静止画像をシナリオ映像の合成領域の 中でスライドショーのように表示することができる。

なお、 n回目の撮影後、 n + 1回目の撮影がなされるまでの間、 n回目の撮影 静止画像とシナリオ映像を合成した合成映像を映像記録部 2 6に記録するが、 表 示部 2 4には、 撮影部 1 8の視野に写っているプレビュー画像をシナリオ映像に 合成して得られる映像を表示してもよい。 これにより、 ユーザは、 シナリオ映像 の再生を進行させながら、 表示されたプレビュー画像を参考にして、 次回 （n + 1回目） の撮影準備を行うことができる。

なお、 静止画像を複数回撮影する場合に、 必ずしもすべての静止画像を利用し なければならないわけではない。 例えば、 複数の静止画像の中から合成に用いる 画像をユーザに選択させてもよいし、 最後に撮影した静止画像を用いて合成映像 を作成して記録することとしてもよい。 最後に撮影された静止画像を合成するこ ととすれば、 最も良く撮影できた時点で撮影を終了することにより、 ユーザが最 も良く撮影できた静止画像により合成映像を作成できる。 また、 例えば、 図 1 8 において、 合成シーン終了後に、 バッファに蓄積された撮影 1〜 3の静止画像の 中から、 撮影 2の静止画像をュ一ザが選択したとすると、 選択時 T 6またはシナ リォ映像の再生終了時 T 7で、 時刻 T 5〜時刻 T 6のシナリォ映像に、 撮影 2の 静止画像を合成し、 そこで得られた合成映像を映像記録部 2 6に記録する。 ある いは、 撮影時には撮影 1〜3の静止画像をシナリオ映像とは別に （ただし、 シナ リオ映像の識別情報を関連付けて） 日央像記録部 2 6に記録しておき、 再生時にュ —ザがその中から選んだ静止画像をシナリオ映像に合成しながら再生してもよい。 図 1 9は、 本発明の第 6の実施の形態の撮影装置 1 0を示す図である。 第 6の 実施の形態の撮影装置 1 0は、 第 3の実施の形態の撮影装置 1 0と基本的な構成 は同じであるが、 撮影画像の一部を切り出すクリッピング部 5 0を備える点が異 なる。

クリッピング部 5 0は、 撮影部 1 8によって撮影された撮影画像の一部を部分 画像として切り出す機能を有する。 クリッピング部 5 0は、 シナリオ格納部 1 2 に格納された合成情報 1 6に従って、 部分画像の切出しを行う。

図 2 0は、 シナリォ格納部 1 2に格納されたシナリォデータの例を示す図であ る。 シナリオデータは、 上述した実施の形態と同様に、 シナリオ情報 1 4と合成 情報 1 6とを含んでいる。 合成情報 1 6は、 合成領域を規定する情報に加えて、 撮影画像から部分画像を切り出すためのクリッピング情報を含んでいる。 図 2 0 に示す例では、 撮影画像からの切出し位置を特定する 「クリッピング位置」 、 切 出し形状を規定する 「クリッピング形状」 、 および部分画像の変化を示す 「クリ ッビング変化」 の各情報が記述されている。

次に、 第 6の実施の形態の撮影装置 1 0の動作について説明する。 第 6の実施 の形態の撮影装置 1 0の基本的な動作は、 上記した実施の形態の撮影装置 1 0の 動作と同じであるが、 クリッピング部 5 0にて撮影画像から切り出した部分画像 をシナリオ映像に合成する点が異なる。 以下、 第 6の実施の形態の撮影装置 1 0 の動作について説明する。

まず、 合成再生制御部 2 2は、 シナリォ格納部 1 2から合成情報 1 6を読み出 し、 合成情報 1 6に含まれるクリッビング情報をクリッピング部 5 0に渡す。 ク リツビング部 5 0は、 撮影部 1 8から撮影画像を受け取り、 受け取った撮影画像 から部分画像を切り出す。 具体的には、 合成再生制御部 2 2から渡されたクリッ ビング情報によって特定された位置および形状の領域を部分画像として撮影画像 から切り出す。

図 2 1 Aは撮影画像の例を示す図、 図 2 1 Bは部分画像の例を示す図である。 図 2 0に示す例のように、 クリッピング形状が 「楕円」 と記述されている場合に は、 図 2 1 Aに示す撮影画像から、 図 2 1 Bに示すような楕円形の部分画像 Pが 切り出される。

クリッピング部 5 0は、 撮影画像から切り出した部分画像を合成再生部 2 0に 渡す。 また、 合成再生制御部 2 2は、 シナリオ格納部 1 2からシナリオ情報 1 4 を読み出し、 読み出したシナリオ情報 1 4を合成再生部 2 0に渡す。 合成再生部 2 0は、 シナリオ映像の合成領域にクリッピング部 5 0から渡された部分画像を 合成する。 そして、 合成再生部 2 0は、 合成した映像を表示部 2 4および映像記 録部 2 6に送る。 表示部 2 4は、 合成再生部 2 0から送られた合成映像を表示す る。また、 映像記録部 2 6は合成再生部 2 0から送られた合成映像を記録する。 以上、 本発明の第 6の実施の形態の撮影装置 1 0について説明した。

第 6の実施の形態の撮影装置 1 0はクリッピング部 5 0を備え、 クリッピング 部 5 0にて撮影画像から切り出した部分画像をシナリオ映像に合成するので、 撮 影画像の一部をシナリォ映像に合成することができる。

また、 クリッピング部 5 0は、 合成情報 1 6に記述されたクリッピング情報に 従って部分画像を切り出すので、 どの部分を部分画像として切り出すかを合成情 報に規定しておくことができる。

なお、 上記した第 6の実施の形態では、 クリッピング情報は切り出すべき部分 画像の位置および形状を特定しているが、 別の態様によって部分画像を特定して よい。 図 2 2は、 クリッピング情報を記述した合成情報の他の例を示す図である。 図 2 2に示すように切り出すべき部分画像を合成領域に連動する領域として規定す ることも可能である。

図 2 3 Aは合成領域の位置および形状の変化を示す図、 図 2 3 Bは合成領域に 連動して撮影画像 （図 2 1 A参照） から切り出される部分画像を示す図である。 切り出される部分画像を合成領域に連動すると規定した場合、 図 2 3 Aに示すよ うに合成領域 Gが矩形から円形に形状を変えながら移動すると、 この変動に連動 して、 図 2 1 Aに示す撮影画像から切り出される部分画像は、 図 2 3 Bに示す部 分画像 Pのように変動する。 この構成により、 撮影画像から切り出される部分画 像が合成領域に連動するので、 あたかも合成領域から撮影画像を視いているかの ような合成映像が得られる。 これにより、 合成されるコンテンツの表現能力を向 上できる。

また、 上記した第 6の実施の形態では、 映像記録部 2 6に記録するデータが合 成再生部 2. 0にて合成された合成映像である例について説明したが、 撮影映像を 映像記録部 2 6に記録することとしてもよい。 この場合、 クリッピング部 5 0は、 撮影画像から切り出した部分画像を合成再生部 2 0に送る一方で、 撮影画像を映 像記録部 2 6に送る。 これにより、 合成再生部 2 0にて部分画像とシナリオ映像 が合成され、 表示部 2 4に合成映像が表示されると共に、 撮影された映像が映像 記録部 2 6に記録される。 このときシナリオデ一夕の合成情報には、 図 2 4に示 されるように、 合成される撮影映像の i ) 識別子および i i ) 格納場所が記録さ れる。 図 2 4に示す合成情報 1 6を用いて合成映像を再生するときには、 シナリ ォデータに記録された i ) 識別子が示す撮影映像を映像記録部 2 6から読み出し、 合成再生部 2 0にて合成情報 1 6を用いてシナリオ映像に合成しつつ再生するこ とにより、 合成映像を再現できる。

図 2 5は、 第 7の実施の形態の撮影装置 1 0の構成を示す図である。 第 7の実 施の形態の撮影装置 1 0は、 基本的な構成は第 6の実施の形態の撮影装置 1 0と 同じであるが、 第 7の実施の形態の撮影装置 1 0では、 撮影画像に含まれるべき 対象物の種類を指定することによつて撮影画像から切り出す部分画像を規定する 点が第 6の実施の形態の撮影装置 1 0と異なる。 これに伴い、 第 7の実施の形態 の撮影装置 1 0は、 画像認識部 5 2をさらに備えている。

図 2 6は、 第 7の実施の形態のシナリオデータの例を示す図である。 シナリオ データは、 上述した実施の形態と同様に、 シナリオ情報 1 4と合成情報 1 6を含 んでいる。 合成情報 1 6は、 合成領域を特定する情報に加えて、 部分画像を切り 出すためのクリッピング情報を含んでいる。 クリッピング情報は、 部分画像に含 まれる対象物を特定することによって部分画像を特定している。 以下、 部分画像 を特定するための対象物の情報を 「クリッピング対象物」 という。 図 2 6に示す 例では、 クリッピング対象物 「顔」 を含む部分を部分画像として撮影画像から切 り出すことが記述されている。

図 2 5に戻って、 画像認識部 5 2は、 撮影部 1 8にて撮影された撮影画像の画 像認識を行って撮影画像中に表示されたクリッビング対象物を識別する機能を有 する。 そして、 画像認識部 5 2は、 クリッピング対象物が表示された領域の情報 をクリッピング部 5 0に渡す。

次に、 第 7の実施の形態の撮影装置 1 0の動作について説明する。 第 7の実施 の形態の撮影装置 1 0の動作は、 基本的には第 6の実施の形態の撮影装置 1 0の 動作と同じであるが、 クリッピング部 5 0にて切り出す領域を画像認識部 5 2に よって求める点が異なる。

まず、 撮影装置 1 0の合成再生制御部 2 2は、 シナリオ格納部 1 2に格納され たシナリオデータから合成情報 1 6を読み出し、 部分画像を特定するクリツピン グ対象物の情報を取得する。 そして、 合成再生制御部 2 2は、 画像認識部 5 2に クリッピング対象物の情報を渡す。

画像認識部 5 2は、 撮影部 1 8にて撮影された撮影画像中で、 クリッビング対 象物が表示された領域を識別し、 その領域の情報をクリッビング部 5 0に渡す。 クリッピング部 5 0は、 画像認識部 5 2から渡された情報で示される領域を、 部 分画像として切り出す。

図 2 7 Aは撮影画像の例を示す図、 図 2 7 Bは部分画像の例を示す図である。 合成情報 1 6にてクリッピング対象物が 「顔」 と指定された場合には、 図 2 7 A に示す撮影画像中で 「顔」 が表示された領域を識別し、 図 2 7 Bに示すように 「顔」 を含む領域が部分画像 P として切り出される。 この例では、 「顔」 を含 む円形の領域を部分画像として切り出しているが、 クリッピング対象物を含む画 像を切り出す領域の形状は、 円形に限られない。 例えば、 矩形の領域を切り出し てもよいし、 クリッピング対象物の形状に合った領域を切り出してもよい。

そして、 クリッピング部 5 0は、 撮影画像から切り出した部分画像を合成再生 部 2 0に渡す。 合成再生部 2 0は、 シナリオ映像の合成領域にクリッピング部 5 0から渡された部分画像を合成する。 そして、 合成再生部 2 0は、 合成した映像 を表示部 2 4および映像記録部 2 6に送る。 表示部 2 4は、 合成再生部 2 0から 送られた合成映像を表示する。 また、 映像記録部 2 6は、 合成再生部 2 0から送 られた合成映像を記録する。

第 7の実施の形態の撮影装置 1 0は、 部分画像に含まれるべきクリッピング対 象物を指定することによつて部分画像を特定するので、 切り出すべき部分画像を 容易に特定できる。 そして、 撮影装置 1 0の画像認識部 5 2が、 クリッピング対 象物が表示された領域を識別し、 クリッビング対象物が含まれた領域を切り出す ことが可能となる。

また、 第 7の実施の形態の撮影装置 1 0は、 第 6の実施の形態の撮影装置 1 0 と同様に、 クリッピング部 5 0にて切り出した部分画像をシナリオ映像に合成す るので、 撮影画像のうちの一部をシナリォ映像に合成することができる。

なお、 上記した第 7の実施の形態の撮影装置 1 0では、 シナリオ映像に撮影画 像から切り出した部分画像を合成した合成映像を映像記録部 2 6に記録する構成 について説明したが、 第 6の実施の形態にて説明したのと同様に撮影画像そのも のを映像記録部 2 6に記録することも可能である。

次に、 本発明の第 8の実施の形態の撮影装置 1 0について説明する。 第 8の実 施の形態の撮影装置 1 0は、 基本的な構成は第 7の実施の形態の撮影装置 1 0と 同じであるが （図 2 5参照） 、 シナリオ格納部 1 2に格納された合成情報 1 6の 内容が異なる。 また、 画像認識部 5 2は、 撮影画像から対象物を識別すると共に、 シナリオ映像から対象物を識別する機能を有する。

図 2 8は、 第 8の実施の形態の撮影装置 1 0のシナリオ格納部 1 2に記憶され たシナリオデータの例を示す図である。 シナリオデータの合成情報 1 6には、 合 成領域が含むべき対象物を指定することによつて合成領域が規定されている。 こ の例では、 時刻 t = X _b〜Y _bにおいて、 シナリオ映像中で 「ポール」 が表示さ れる領域を合成領域として特定している。 なお、 合成情報 1 6において、 部分画 像は、 第 7の実施の形態と同様に部分画像が含むべきクリッピング対象物 「ポ一 ル」 によって特定されている。

次に、 第 8の実施の形態の撮影装置 1 0の動作について説明する。

まず、 撮影装置 1 0の合成再生制御部 2 2は、 シナリオ格納部 1 2に格納され たシナリオデータからシナリオ情報 1 4および合成情報 1 6を読み出し、 合成領 域を特定するための対象物の情報を取得する。 次に、 合成再生制御部 2 2は、 合 成再生部 2 0にシナリォ情報 1 4を渡す。 合成再生部 2 0は、 合成領域を特定す るための対象物の情報と共にシナリォ映像を画像認識部 5 2に渡す。 画像認識部 5 2は、 シナリオ映像中で、 対象物の画像が表示された領域を識別し、 その領域 の情報を合成領域情報として合成再生制御部 2 2に渡す。 例えば、 画像認識部 5 2は、 合成領域の位置および形状の情報を合成再生制御部 2 2に渡す。 そして、 合成再生制御部 2 2は、 合成再生部 2 0に合成領域情報を渡す。

図 2 9 Aはシナリオ映像の例を示す図、 図 2 9 Bはシナリオ映像中の合成領域 を示す図である。 合成情報 1 6にて合成領域が対象物 「ボール」 を含むと指定さ れた場合には、 図 2 9 Aに示すシナリオ映像のうちで 「ポール」 が表示された領 域が識別され、 図 2 9 Bに示すように 「ポール」 を含む領域が合成領域 Gとなる。 合成再生部 2 0は、 合成再生制御部 2 2から渡された合成領域情報に基づいて、 クリッピング部 5 0から渡された部分映像をシナリオ映像に合成する。 なお、 ク リッピング部 5 0によって撮影画像の一部を部分画像として切り出す処理は、 第 7の実施の形態の撮影装置 1 0と同じである。 そして、 合成再生部 2 0は、 合成 した映像を表示部 2 4および映像記録部 2 6に送る。 表示部 2 4は、 合成再生部 2 0から送られた合成映像を表示する。 また、 映像記録部 2 6は、 合成再生部 2 0から送られた合成映像を記録する。

第 8の実施の形態の撮影装置 1 0は、 合成領域に含まれるべき対象物を指定す ることによつて合成領域を容易に特定できる。

なお、 上記した第 8の実施の形態では、 撮影画像から切り出す部分画像を対象 物によって規定する例について説明したが、 第 6の実施の形態で説明したように、 切出し領域の位置および形状によってクリッピング情報を規定してもよい。 また、 クリッビング情報は必ずしも必要ではなく、 合成情報 1 6にクリッピング情報を 含まなくてもよい。 この場合、 撮影部 1 8にて撮影した撮影画像の全体が、 対象 物によって特定される合成領域に合成される。

' 次に、 本発明の第 9の実施の形態の撮影装置 1 0について説明する。 第 9の実 施の形態の撮影装置 1 0は、 基本的な構成は第 1の実施の形態の撮影装置 1 0と 同じであるが、 合成再生制御部 2 2の機能が異なる。

図 3 0は、 第 9の実施の形態における合成再生制御部 2 2の構成を示す図であ る。 図 3 0に示すように合成再生制御部 2 2は、 スケジュール生成部 5 4、 スケ ジュール実行部 5 6および合成再生指示部 5 8を有する。 スケジュール生成部 5 4は、 シナリォ格納部 1 2から読み出したシナリォ情報 1 4に基づいてデータの スケジュールリストを生成する機能を有する。 'スケジュール実行部 5 6は、 スケ ジュール生成部 5 4にて生成されたスケジュールリストから現在時刻におけるス ケジュールを抽出する機能を有する。 合成再生指示部 5 8は、 スケジュール実行 部 5 6にて抽出されたスケジュールの内容に基づいて、 合成再生部 2 0に合成表 示または再生を指示する機能を有する。

図 3 1 Aはシナリオデータの例を示す図、 図 3 1 Bは図 3 1 Aに示すシナリオ データから生成されるスケジュールリス卜を示す図である。 第 9の実施の形態で は、 合成の開始時刻 （この例では、 t = l 0 s ) にシナリオ映像の再生の一時停 止をする処理を記述したスケジュール （以下、 PAUSEスケジュールという） を 生成する。 なお、 合成の開始時刻に再生が開始されるメディア （以下、 同時刻再 生メディアという） がある場合は、 同時刻再生メディアの再生を実行した後に PAUSEスケジュールが実行される、 という順序になるように PAUSEスケジュ ールをスケジュールリストに追加する。

これにより、 同時刻再生メディアの再生を行った後にシナリオ映像を一時停止 するので、 一時停止した状態で同時刻再生メディアを含んだシナリオ映像を表示 することができる。 従って、 ユーザは表示された画像を見ながら、 シナリオ映像 に合成すべき適切な画像を撮影することができる。

次に、 本発明の第 1 0の実施の形態の撮影装置 1 0について説明する。 第 1 0 の実施の形態の撮影装置 1 0は、 基本的な構成は第 1の実施の形態の撮影装置 1 0と同じであるが、 合成再生制御部 2 2の機能が異なる。

図 3 2は、 第 1 0の実施の形態における合成再生制御部 2 2の構成を示す図で ある。 第 1 0の実施の形態における合成再生制御部 2 2は、 第 9の実施の形態に おける合成再生制御部 2 2の構成に加えて、 状態監視部 6 0およびスケジュール 補正部 6 2を有する。 状態監視部 6 0は、 C P Uの稼働率、 メモリの使用状況お よびデバイスの稼働率を監視する機能を有する。 スケジュール補正部 6 2は、 状 態監視部 6 0にて得られた各状態に基づいてメディァ再生のセットアップ時間を 設定する機能を有する。

図 3 3 Aはシナリオデータの例を示す図、 図 3 3 Bは図 3 3 Aに示すシナリオ データから生成されるスケジュールリストを示す図である。 第 1 0の実施の形態 では、 状態監視部 6 0の監視により得られた状態に基づいて、 スケジュール補正 部 6 2がメディアの再生、 またはデバイスの起動の準備に要する時間を求め、 求 めた時間に基づいてセットアップ時刻を決定する。 図 3 3 Bに示す例では、 メデ ィァ Bの再生開始時刻は時刻 t = 1 0 sからであるが、 再生を行うまでに準備の 時間を要するため時刻 t = 8 . 5 sからセットアップを行うことがスケジュール リストに記述されている。 また、 撮影部 1 8による撮影開始時刻は 1 0 sからで あるが撮影部 1 8を起動するまでに準備の時間を要するため時刻 t = 7 . 5 sか らセットアップを行うことがスケジュ一ルリストに記述されている。

このように、 スケジュール補正部 6 2がセットアップ時刻を設定することによ り、 シナリォデ一夕に規定されたメディァの再生開始時刻またはデバイスの起動 開始時刻から円滑に処理を開始させることができる。

次に、 本発明の第 1 1の実施の形態の撮影装置 1 0について説明する。 第 1 1 の実施の形態の撮影装置 1 0は、 基本的な構成は第 1の実施の形態の撮影装置 1 0と同じであるが、 合成再生制御部 2 2の機能が異なる。

図 3 4は、 第 1 1の実施の形態における合成再生制御部 2 2の構成を示す図で ある。 第 1 1の実施の形態における合成再生制御部 2 2は、 第 9の実施の形態に おける合成再生制御部 2 2の構成に加えて、 合成イメージ情報生成部 6 4および 合成イメージ生成部 6 6を有する。 合成イメージ情報生成部 6 4は、 シナリオデ 一夕を参照して合成の開始時刻を求め、 合成の開始時刻におけるシナリオ映像の スチルイメージである合成イメージを生成するための情報を合成イメージ生成部 6 6に渡す機能を有する。 合成イメージ生成部 6 6は、 合成イメージ情報生成部 6 4から渡された合成イメージ情報に基づいて合成イメージを生成する機能を有 する。 合成イメージ生成部 6 6は、 生成された合成イメージをシナリオ格納部 1 2に格納する。

スケジュール生成部 5 4は、 合成イメージの表示した後にシナリオ映像の一時 停止を記述したスケジュールリストを生成する。 さらに、 スケジュール生成部 5 4は、 一時停止されたシナリォ映像の再生を再開する位置を合成の開始時刻に調 整する処理をスケジュールリストに記述する。

図 3 5 Aはシナリオデータの例を示す図、 図 3 5 Bは図 3 5 Aに示すシナリオ データから生成されるスケジュールリストを示す図である。 図 3 5 Bに 「p r e v l m g」 と示されるように、 合成の開始時刻 （この例では、 時刻 t = 1 0 s ) において、 再生が開始されるメディア （m e d i a B) の再生を行い、 撮影部 1 8を起動した後、 合成イメージ生成部: 6 6にて生成された合成イメージを表示し、 その後シナリオ映像の一時停止を行うことがスケジュールリストに記述されてい る。 これにより、 あらかじめシナリオ格納部 1 2に格納された合成イメージが表 示されるので、 合成イメージを円滑に表示できる。 また、 スケジュールリストに は、 図 3 5 Bに 「S E E K：」 と示されるように、 再生の一時停止の再開位置を合 成の開始時刻に調整する処理 （以下 PAUSE位置補正処理という） が記述されて いる。 S E E K処理は、 指定された時刻に再生位置を移動する処理であり、 S E E K処理によって P AU S E処理を行つた時刻に再生位置を移動する。 これによ り、 P AU S E処理によって実際に再生が一時停止されるまでに要した時間分の ずれを元に戻す P AU S E位置補正が行われる。 この PAUSE位置補正処理は画 面上には表示されず、 画面には合成イメージと合成領域に表示される撮影画像と の合成映像が表示される。 こうすることで、 シナリオ映像の再生が一時停止され るまでに時間を要した場合にも、 合成の開始時刻からシナリオ映像の再生を再開 できる。

なお、 本実施の形態において説明した S E E K処理は、 他の実施の形態におい ても、 一時停止後のシナリオ映像を再開する場合に適用できる。 例えば、 第 9の 実施形態または第 1 0の実施の形態におけるスケジュール生成部 5 4が、 シナリ ォ映像の再生の再開位置を合成の開始時刻に調整する処理を記述したスケジユー ルリストを生成することも可能である。

以上、 本発明の撮影装置 1 0および撮影方法について、 実施の形態を挙げて詳 細に説明したが、 本発明は、 上記した実施の形態に限定されるものではない。 撮影装置 1 0は、 複数の画面を備えてもよい。 図 3 6〜図 3 8は、 撮影装置 1 0が二画面有する場合のそれぞれの画面での表示例を示す図である。 例えば、 図 3 6に示すように、 一方の画面 （左側） でシナリオ映像を再生表示し、 他方の画 面 （右側） で撮影部 1 8が捉えている撮影画像を表示することができる。 これに より、 撮影部 1 8が何を撮影しているのか把握でき、 合成領域にはめ込む映像を 適切に捉えることができる。 なお、 この例では、 シナリオ映像の表示画面には、 第 2の実施の形態で説明したのと同搽に合成領域の外形を示す枠 Fを表示してい る。 '

また、 図 3 7に示すように、 一方の画面 （左側） でシナリオ映像を再生表示し、 他方の画面 （右側） で合成領域の出現時刻におけるシナリオ映像と現在の撮影画 像との合成画像を合成した合成プレビュー画像を表示することもできる。 これに より、 第 1の実施の形態のようにシナリオ映像の再生を一時停止しなくても、 合 成領域の出現前に合成プレビュー画像を確認できる。

また、 シナリオ映像と撮影画像との合成中においては、 図 3 8に示すように、 . 一方の画面 （左側） で合成映像を表示し、 他方の画面 （右側） で撮影部 1 8によ る撮影画像を表示することができる。 これにより、 シナリオ映像との合成中にお いても撮影画像の全体を見ることができるので、 適切な撮影画像を取得できる。 さらに、 撮影装置 1 0が二画面有する場合には、 一方の画面を被写体側に設け ることも可能である。 被写体側の画面に合成映像または合成プレビュー画像を表 示して被写体にシナリォ映像に合成された自身の撮影画像を見せることにより、 どのような合成映像が作成されるのか被写体自身が把握できる。 これにより、 例 えば、 被写体はどのようなポーズをとればよいか判断できる。

上記実施形態では、 画面に表示される撮影画像を見て撮影装置 1 0に写る画像 を確認し、 撮影装置 1 0の位置、 向きまたはズーム率等を調整する撮影装置 1 0 について説明したが、 その他の方法で撮影装置 1 0に写る画像を確認可能とする 構成を採用してもよい。 例えば、 撮影装置 1 0に照射部を設け、 撮影装置 1 0の フアインダ一に収まっている範囲に光を照射することとしてもよい。 これにより、 表示部 2 4でシナリオ映像を見ながら、 被写体に照射される光によって撮影範囲 を確認できる。

また、 上記実施形態では、 本発明の撮影装置および撮影方法について説明した が、 上記撮影装置を構成するためのプログラムまたは上記撮影方法を実行するた めのプログラムも本発明の範囲に含まれる。

図 3 9は、 本発明のプログラムの一例を示す図である。 図 3 9に示すように、 プログラム 7 0は、 シナリオデータ管理モジュール 7 2、 読出モジュール 7 4、 撮影制御モジュール 7 6、 合成再生モジュール 7 8、 表示モジュール 8 0、 提示 モジュール 8 2を有する。 このプログラム 7 0がインス] ルされるコンピュー タとしては、 撮影部を有するコンピュータであり、 例えば、 デジタルカメラであ る。

シナリオデータ管理モジュール 7 2は、 コンピュータにシナリオデータを管理 させるためのモジュールである。 シナリオデータ管理モジュール 7 2を実行する ことにより、 上記の実施の形態の撮影装置 1 0におけるシナリオ格納部 1 2と同 様の格納部をコンピュータが有することになる。 読出モジュール 7 4は、 シナリ ォデ一タをコンピュ一夕に読み出させるためのモジュールである。 撮影制御モジ ユール 7 6は、 コンピュータに撮影を行わせ、 撮影画像を取得するためのモジュ —ルである。 撮影制御モジュール 7 6を実行することにより、 コンピュータは上 記の実施の形態の撮影装置 1 0における撮影条件制御部 2 8と同様の機能を有す る。 合成再生モジュール 7 8は、 コンピュータにシナリオ映像を再生させると共 に、 撮影画像とシナリオ映像を合成させるためのモジュールである。 表示モジュ —ル 8 0は、 コンピュータにシナリオ映像または合成映像を表示させるためのモ ジュールである。 提示モジュール 8 2は、 コンピュータに合成情報を、 コンビュ 一夕のユーザに対して提示させるためのモジュールである、 提示モジュール 8 2 を実行することにより、 上記の第 2の実施の形態の撮影装置 1 0における合成領 域提示部 3 0と同じ機能を実現できる。

このプログラム 7 0を実行することにより、 第 2の実施の形態の撮影装置 1 0 と同様の撮影装置を実現でき、 撮影しながらシナリオ映像と撮影画像を合成する ことができる。 産業上の利用性

以上のように、 本発明の撮影装置は、 シナリオ映像と撮影画像との合成映像を 表示手段によつて表示するので、 ユーザは表示手段に表示される合成映像を見な がら撮影を行うことができ、 また、 合成される映像が適切に撮影されるように、 撮影装置の位置や向きを調整できるというすぐれた効果を有し、 撮影により得ら れる画像をシナリオ映像に合成する装置等として有用である。

Claims

請求の範囲

1 . 撮影画像を取得するための撮影手段と、

格納されたデータをシナリオ映像を構成するように読み出すための読出手段と、 前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶する記憶 手段と、

前記読出手段により読み出される前記シナリォ映像に、 前記撮影手段により取 得された撮影画像を、 前記記憶手段に記憶された合成情報に従って合成する合成 手段と、

前記合成手段により得られる合成映像を表示する表示手段と、

を備えることを特徴とする撮影装置。

2 . 前記合成情報は、 前記撮影画像が前記シナリォ映像中に合成される時間に 関する情報を含む請求項 1に記載の撮影装置。

3 . 前記合成情報は、 前記撮影画像が合成される合成領域の外形に関する情報 と前記合成領域の前記シナリォ映像を構成する画像中の位置に関する情報のうち 少なくとも一つを含む請求項 2に記載の撮影装置。

4. 前記合成情報に基づいて、 前記撮影画像が前記シナリオ映像中に合成され る時刻以前に、 前記合成領域に関する情報を、 前記撮影手段に対する制御を行な うべきユーザに提示する手段をさらに備えることを特徴とする請求項 3に記載の

5 . 前記ユーザに提示する合成領域に関する情報は、 前記合成情報のうち外形 および位置に関する情報の少なくとも一方に基づくものであることを特徴とする 請求項 4に記載の撮影装置。

6 . 前記ユーザに提示する合成領域に関する情報は、 前記撮影手段により取得 された撮影画像を、 前記合成情報のうち外形および位置に関する情報の少なくと も一方に従って加工して得られた画像を含むことを特徴とする請求項 4に記載の

7 . 前記ユーザに提示する合成領域に関する情報は、 前記撮影手段により取得 された撮影画像を、 該合成領域が出現することになつている前記シナリォ映像を 構成する画像に、 前記合成情報に従って合成して得られた画像を含むことを特徴 とする請求項 4に記載の撮影装置。

8 . 前記シナリオ映像へ前記撮影画像の合成を開始する時刻に、 前記シナリオ 映像の再生を一時停止する手段を備えることを特徴とする請求項 4に記載の撮影

9 . 前記合成領域の前記シナリオ映像を構成する画像中における位置が、 時間 の経過に伴って移動することを特徴とする請求項 3に記載の撮影装置。

1 0 . 前記合成領域の外形が、 時間の経過に伴って変化することを特徴とする 請求項 3に記載の撮影装置。

1 1 . 前記シナリォ映像へ前記撮影画像の合成を開始する時刻が近づいたこと をユーザに知らせる手段をさらに備えることを特徴とする請求項 2に記載の撮影

1 2 . 前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含む所定時間 内において、 合成開始に関する情報をユーザに知らせる手段をさらに備えること を特徴とする請求項 2に記載の撮影装置。

1 3 . 前記合成映像を記録する手段をさらに備えることを特徴とする請求項 1

4. 前記撮影手段により取得された撮影画像を前記シナリォ映像の識別情報 ：関連付けて記録する手段をさらに備えることを特徴とする請求項 1に記載の撮

1 5 . 前記撮影手段が、 前記合成情報に含まれる撮影条件に関する情報に基づ いて撮影することを特徴とする請求項 1に記載の撮影装置。

1 6 . 前記撮影画像と前記シナリォ映像との合成開始指示または合成終了指示 の少なくとも一方をユーザに入力させる入力手段を備えることを特徴とする請求 項 3に記載の撮影装置。

1 7 . 前記合成情報により規定された前記撮影画像の前記シナリォ映像への合 成開始時刻の経過後に前記合成開始指示が入力された場合には、 前記規定された 合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成領域に合成 される画像を前記撮影画像または前記シナリォ映像によって補完することを特徴 とする請求項 1 6に記載の撮影装置。

1 8 . 前記合成情報により規定された前記撮影画像の前記シナリォ映像への合 成終了時刻の前に前記合成終了指示が入力された場合には、 前記合成終了指示が 入力されてから前記規定された合成終了時刻までの間に前記合成領域に合成され る画像を前記撮影画像または前記シナリォ映像によって補完することを特徴とす る請求項 1 6に記載の撮影装置。

1 9. 前記表示手段は複数画面からなり、 少なくとも一の画面で前記シナリオ 映像または前記合成映像を表示することを特徴とする請求項 1に記載の撮影装置。

2 0. 前記撮影手段により撮影されるべき点もしくは範囲を示す光を照射する 照射手段を備えることを特徴とする請求項 1に記載の撮影装置。

2 1 . 前記撮影手段により取得される撮影画像は連続的に撮影される動画であ り、 前記合成手段は、 前記シナリオ映像に前記動画を合成する、 ことを特徴とす る請求項 1に記載の撮影装置。

2 2 . 前記撮影手段により取得される撮影画像は 1枚以上の静止画であり、 前 記合成手段は、 前記シナリオ映像に合成する画像として前記静止画のうちの 1枚 を所定時間内使用することを特徴とする請求項 1に記載の撮影装置。

2 3 . 前記撮影手段により撮影した撮影画像の一部を部分画像として切り出す 部分画像切出手段を備え、

前記合成手段は、 前記部分画像切出手段により切り出された部分画像を前記シ ナリォ映像に合成することを特徴とする請求項 1に記載の撮影装置。

2 4. 前記記憶手段に記憶された合成情報は、 前記部分画像切出手段にて部分 画像を切り出す領域および時間帯を特定する部分画像特定情報を含み、

前記部分画像切出手段は、 前記部分画像特定情報に基づいて前記撮影画像から 部分画像を切り出すことを特徴とする請求項 2 3に記載の撮影装置。

2 5 . 前記部分画像特定情報によって特定された前記部分画像の切出領域の位 置は、 時間の経過に伴って移動することを特徴とする請求項 2 4に記載の撮影装

2 6 . 前記部分画像特定情報によって特定された前記部分画像の切出領域の形 状は、 時間の経過に伴って変化することを特徴とする請求項 2 4に記載の撮影装

2 7 . 前記部分画像特定情報は、 前記部分画像が含むべき対象物によって部分 画像を特定し、 前記部分画像切出手段は、 前記部分画像特定情報にて特定された対象物が映つ た部分を前記部分画像として前記撮影画像から切り出すことを特徴とする請求項 2 4に記載の撮影装置。

2 8 . 前記合成情報は、 前記合成領域が含むべき対象物によって合成領域を特 定し、

前記合成手段は、 前記シナリオ映像のうち前記部分画像特定情報にて特定され た対象物が表示された部分を前記合成領域とし、 前記合成領域に前記撮影画像を 合成することを特徴とする請求項 1に記載の撮影装置。

2 9 . 前記撮影画像の合成を開始する時刻に再生を開始するデータがあるとき に、 そのデータの再生を開始した後に、 前記シナリオ映像を一時停止する制御を 行う制御手段を備えることを特徴とする請求項 8に記載の撮影装置。

3 0 . 前記撮影画像の合成を開始する時刻に表示されるシナリオ映像をプレビ ユー画像として記憶するプレビュー画像記憶手段と、

' 前記撮影画像の合成を開始する時刻に、 前記プレビュー画像を表示し、 前記シ ナリオ映像を一時停止する制御を行う制御手段と、

を備えることを特徴とする請求項 8に記載の撮影装置。

3 1 . 前記制御手段は、 前記シナリオ映像の再生を再開する位置を、 前記合成 を開始する時刻に移動することを特徵とする請求項 2 9または 3 0に記載の撮影

3 2 . 格納されたデータの出力方法を記述したシナリオ情報と、

撮影により取得される撮影画像を、 前記シナリオ情報の記述にしたがって出力 されるシナリォ映像に合成するための合成情報と、

を有するシナリオデータ。

3 3 . 前記合成情報は、 前記撮影画像が前記シナリォ映像中に合成される時間 に関する情報を含む請求項 3 2に記載のシナリオデータ。

3 4 . 前記合成情報は、 撮影画像が合成される合成領域の外形に関する情報と 前記合成領域の前記シナリォ映像を構成する画像中の位置に関する情報のうち少 なくとも一つを含む請求項 3 2に記載のシナリオデータ。

3 5 . 前記合成情報は、 前記撮影画像の一部を部分画像として切り出す領域お よび時間帯を特定する部分画像特定情報を含むことを特徴とする請求項 3 2に記 載のシナリオデータ。

3 6 . 前記部分画像特定情報によって特定された前記部分画像の切出領域の位 置は、 時間の経過に伴って移動することを特徴とする請求項 3 5に記載のシナリ ォ ·5 "―夕。

3 7 . 前記部分画像特定情報によって特定された前記部分画像の切出領域の形 状は、 時間の経過に伴って変化することを特徴とする請求項 3 5に記載のシナリ ォ: J "一タ。

3 8 . 前記部分画像特定情報は、 部分画像が含むべき対象物によつて前記部分 画像の領域および時間帯を特定することを特徴とする請求項 3 5に記載のシナリ ォデータ。

3 9 . 前記合成情報は、 撮影画像が合成される合成領域が含むべき対象物によ つて前記合成領域およびシナリォ映像が合成領域を含む時間帯を特定することを 特徴とする請求項 3 2に記載のシナリオデ一夕。

4 0 . 格納されたデ一夕をシナリオ映像を構成するように読み出すステップと、 撮影画像を取得するステップと、 前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステ ップと、

前記シナリオ映像に、 前記撮影画像を、 前記合成情報に従って合成するステツ プと、

前記合成するステップにおいて得られる合成映像を表示するステツプと、 を備えることを特徴とする撮影方法。

4 1 . 撮影画像とシナリオ映像とを合成するためにコンピュータに、

格納されたデータをシナリォ映像を構成するように読み出すステツプと、 撮影画像を取得するステツプと、

前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステ ップと、

前記シナリオ映像に、 前記撮影画像を、 前記合成情報に従って合成するステツ プと、

前記合成するステップにおいて得られる合成映像を表示するステップと、 を実行させることを特徴とするプログラム。