JPH0548964A - 映像とその撮影情報の提示方法 - Google Patents

Abstract

(57)【要約】 【目的】 被写体の位置情報やカメラの撮影条件につい
ての情報等を視覚的に分かり易く表示する。 【構成】 表示装置２の位置表示画面６に、カメラ８と
被写体７の位置を鳥瞰図として示すとともに、その撮影
時刻を表示し、この撮影時刻に撮影した映像を画面１
１，１２として表示することを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、録画された映像を編集
する際に、編集を支援する被写体の位置情報やカメラの
撮影条件についての情報と、それを視覚的に分かり易く
表現する映像とその撮影情報の提示方法に関するもので
ある。

【０００２】

【従来の技術】従来の映像の編集方法は、映像を撮影し
た時の情報をスクリプタと呼ばれる人がその状況を克明
に台本に記述し、編集者がその記述から編集に必要な映
像を検索する方法が採られている。この方法は、映像作
成を本業としている放送局や、ポストプロダクションと
呼ばれる編集専門会社で用いられている。

【０００３】

【発明が解決しようとする課題】しかし、このスクリプ
タによる状況の記述は、大変な労力が必要とされ、かつ
そのスクリプタ記述の性格と編集者の希望する情報との
整合がよくないと記述内容が不十分になる場合が生じる
などの問題があり、これを機械化して、品質の一定した
情報とする必要がある。

【０００４】本発明は、被写体の位置情報やカメラの撮
影条件についての情報等を視覚的に分かり易く表示する
ことができる映像とその撮影情報の提示方法を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】本発明では、対象として
被写体の位置情報と、それを撮影するカメラの撮影条件
を被写体の動きやカメラの撮影条件を各種のセンサで収
集したり、被写体の位置情報を映像から抽出し、それら
を映像や音声と一緒に管理保管する。

【０００６】さらに、これを用いて編集するにあたって
は、収集した情報を表示装置に表示した撮影の現場を示
す鳥瞰図に展開し、カメラと被写体の関係や撮影の状況
についての情報を提供する手段を用いた。また、この鳥
瞰図とカメラが撮影した映像を同時に表示装置に表示
し、映像や音声と鳥瞰図の被写体やカメラの変化を同期
させて表示することにより、各映像が撮影されたときの
他の被写体やカメラの状況が視覚的に判るようにし、ま
た、台詞や音声を同期して表示したり、出力することが
できるようにしたものである。

【０００７】

【作用】本発明によると、鳥瞰図に示した被写体やカメ
ラの位置情報と、撮影情報が同時に、かつ視覚的に判る
ようになり、さらに、映像と音声を同期して見ることが
できるようになる。このため、複数台のカメラが同一現
場で映像をどのように収録したかを視覚的に判断できる
ようになり、編集者の意図した映像がどのカメラの映像
に存在するかが容易に判る。また、音声からは台詞が判
る以外に、その場の状況を思い出させる発言や周囲の背
景音を聞くことが可能になり、従来のスクリプタが記述
しなければならない作業の多くの情報が機械的に保存で
きることになる。また、台詞を表示することにより必要
なシーンが始まるタイミングを視覚的に認識できるよう
になる。このため、この台詞の表れる位置まで高速に情
報を移動することにより、目的とシーンを検索できるよ
うになる。

【０００８】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。図１は本発明の一実施例に用いる装置の構成ブロ
ック図である。この図において、１は文字キー，ファン
クションキー等を有したキーボードやマウス，ジョイス
ティック等の入力装置である。２は前記入力装置１によ
り入力された文字列や、視聴のための映像や、ガイドメ
ッセージや、その他の情報等を表示するＣＲＴや液晶等
の表示装置である。３は映像や音声や各種の映像に付加
した情報を格納する外部記憶装置であり、必要に応じて
複数台を設置する。４はプログラムやメッセージを格納
し、かつ外部記憶装置３内の各種の情報を一時的に保存
するための内部記憶装置、５はこれらの装置を制御し、
かつ必要な情報の処理を行う制御装置である。

【０００９】次に、表示装置２に表示する画像とその表
示に必要な情報について説明する。図２は表示装置２の
表示例である。位置表示画面６には、被写体７の位置と
カメラ８の位置と、カメラ８が撮影する方向とその画角
を、カメラ８から延びる扇状に広がる破線と実線で示し
た。ここで、被写体７やカメラ８は模式的に示してあ
り、実際の形状は表れていない。また、破線部分はカメ
ラ８のピントがずれている領域であり、実線部はピント
の合っている領域を示しており、その広がりが撮影され
ている範囲を示している。この広がりから画角が判断で
きる。ここで用いた破線や実線による区別は、線の種類
や線の色の使い分けによる方法や、その範囲内の映像の
色別けやボケの利用等に変更することが可能である。ま
た、この表示の下には、この映像のタイトルや映像出場
所や映像時刻が表示されている。９は位置表示画面６を
標準速度で前後に進めるボタンや、早送りをするボタン
や、停止用のボタンを表示するボタン表示領域である。
１０は前記位置表示画面６の方位や光が来る方向などを
表示する情報表示領域である。１１と１２は各々カメラ
Ｃ１とＣ２が撮影した映像の画面であり、位置表示画面
６の下の時刻表示と同一時刻の映像が表示されている。
１３は台詞を示す画面であり、現時点では黒丸（●）印
の部分まで音声が来たことを示しており、白丸（○）部
は話されていない台詞である。これらの情報を表示する
には、次の情報が必要である。位置表示画面６を表示す
るには、各被写体７の位置情報と、各カメラ８の位置，
撮影方向，画角，レンズの焦点，レンズの深度または絞
り，撮影年月日と時刻等の情報が必要である。これらの
情報をもとに各時刻における被写体７やカメラ８の位置
と撮影状況を位置表示画面６に表示する。また、これ等
の情報の分類として、タイトルや場所についての情報が
必要となる。ボタン表示領域９の情報は位置表示画面６
に表示の理解を助ける情報を表示する。ここでは、画面
の方位や光が来る方向の情報が示してある。映像を示す
１１と１２の画面には、位置表示画面６に示される時刻
に撮影した映像が表示できるようにタイムコードによる
時刻の情報と蓄積した媒体におけるフレーム番号が存在
し、これらを対応付けする管理情報が別途必要になる場
合もある。このフレーム番号は画面１１と１２の右下に
ＦＬ．Ｎｏ．として、その後の数字に示してある。ま
た、ここではカメラＣ１とＣ２の画面が各々画面１１と
画面１２に示してあるが、ここに表示できない画面も図
３の画面１４に示すように存在する。この画面１４の存
在は、位置表示画面６のカメラの番号Ｃ１〜Ｃ３と撮影
の範囲を示す扇状の線の存在から判断される。この画面
１４と画面１１か画面１２を交換することにより、実際
に映像を見ることが可能になる。また、別に設けた表示
用端末を用いることにより、その内容を見ることも可能
である。さらに、表示装置２の画面では映像は表示せ
ず、別に設けた表示用端末で全ての映像を見るようにす
ることも可能である。

【００１０】台詞を示す画面１３では、台詞が実際に話
された時刻の情報が必要である。さらに、音声について
も音声を録音した時刻の情報を収集して、位置表示画面
６の時刻と同期した音声が再生できるようにする必要が
ある。このように、各種の情報を収集することにより、
図２の表示装置２に各画面が表示可能になる。

【００１１】次に、これらの情報の収集方法について説
明する。各被写体７の位置情報やカメラ８の位置情報に
ついては、天井に設けたテレビカメラが撮影した画面か
ら、各被写体７やカメラ８の位置情報を収集する方法が
ある。この位置情報を求める装置（ビデオトラッカー：
応用計測研究所製等）は市販されている。また、各被写
体７の動きを映像の各フレーム間の差分として求め、そ
の差分値を２値化とした画像とした後、その重心の位置
を求めて、位置情報とする方法等が使用可能である。

【００１２】こうした天井から映像を収集する方法は、
スタジオ等の特殊な場所では使用可能であるが、屋外で
の使用は困難である。このような場合は、高い位置から
撮影した映像を、画像処理により真上から撮影したと同
じ映像に変換して、同様に位置情報が得られる。これ以
外に計測手段を用いる方法がある。この例としては、各
被写体７やカメラ８に無線発信器を取り付け、その電波
の来る方向を三角法により求める方法がある。これは電
波による汎用的な計測方法である。

【００１３】次に、カメラ８の操作条件として、撮影方
向，画角，レンズの焦点，レンズの絞り，被写体深度等
の情報がある。これらは、それぞれセンサを取り付けて
計測するが、そのセンサ類を実装したカメラ８が存在す
る。これらのデータは、タイムコード付きの映像の録画
と同時にメモリに蓄積して、時間により管理をしてお
く。その他のタイトルや映像場所，光の方向等の情報
は、状況が変わるたびに人がデータを入力する必要があ
る。また、台詞の開始とその後の進行については、音声
認識が簡易にできないため、現状では人手に頼る必要が
ある。しかし、ワードプロセッサにより入力した台詞
に、台詞の進行に伴う時刻を節目ごとに人が挿入して、
映像とある程度同期させた情報を作成することは比較的
容易である。

【００１４】これ等の情報は、各時間毎に記述する必要
があるが、単純な記述ではその情報量が多くなるため、
例えば次のように管理する。まず、記述する情報を説明
する。記述情報としては、・日付、・画面の情報と方位
との関係を示す基準方向、・縮尺率を示すスケール、・
各データの収集時間、・撮影に用いたカメラ台数、・そ
れらの座標位置、・撮影カメラ方向、・画角、・ピント
位置、・絞り等、および・動被写体の個数、・それらの
座標位置、および・静被写体の個数、・それらの座標位
置等がある。これ等の情報を記述する順序および数値の
記述方法と桁数を図４の（Ａ）に示す。ここで、（Ａ）
の中の＊は数値を示し、かつその数が桁数を表す。ま
た、各項目には区切りとして、カンマ，スラッシュ，コ
ロン，セミコロン等を使用した。図４の（Ｂ）は具体的
に数値を入れた記述例である。ただし、最後は省略した
記述部があるためｎとして示した。ここでは、上段に内
容、下段に数値を示した。ここで、カメラ８，動被写
体，静被写体が複数存在する場合には、その台数とそれ
らに必要な情報を繰り返して記述してある。図４（Ｃ）
はこれ等のデータを連続したデータとして記述した状態
であり、（Ｄ）は（Ｃ）のデータの０．０８秒後の状態
を示すデータ列である。（Ｄ）ではアンダーライン部の
み変化をして、他の条件は変化しなかったものとする。
（Ｅ）は（Ｃ）と（Ｄ）の差分（（Ｅ）＝（Ｃ）−
（Ｄ））である。差のない項目は０で示し、差分は正負
を＋−で示して記述してある。（Ｆ）は（Ｅ）の区切り
のマークを除去した状態である。（Ｆ）の中では差のな
い項目を０と示したが、（Ｇ）ではこれに相当する０は
＊で示し、差分値として生じた０はそのまま０で示した
状態である。ここには、＊の数を上段に示したが、この
値と差分値を並べて示したのが（Ｈ）である。このよう
に記述する方法を用いると、変化のない項目は一まとめ
に扱うことができるようになる。このため、データ量を
大幅に減らすことが可能になる。（Ｉ）は同じ内容の別
の記述方法である。しかし、これは（Ｇ）と基本的には
同じであり、異なる点は差分がある項目を（Ｄ）のその
項目のデータそのものを使用していることである。
（Ｊ）はそれを（Ｈ）と同様に列挙して示したデータで
ある。この記述方法では、データ量が元のデータに比べ
て大幅に減るとともに、変化した値がそのまま示されて
いるため、誤りに対して耐性が強くなる特徴がある。こ
のように、図４に示した記述方法を用いると、変化のな
い情報はまとめて記述し、変化した情報のみを詳細に記
述することができるため、映像情報と比べると非常に少
ない情報にまとめることが可能になり、情報量の多い映
像情報に比べて非常に少ない情報を付加することで情報
の保存ができるようになる。ここで、記述内容として図
４の例を示したが、情報を階層（ディレクトリ）的に管
理し、その中で日付やスケールやカメラ台数等の固定的
情報をまとめて管理し、記述項目の減少を図ることや、
ここに示されていない不足情報を付加することができる
ことは明らかである。

【００１５】このようにして保存した情報をもとにし
て、図２に示す表示装置２上の画面が形成されるが、こ
の方法を用いることにより、現状のスクリプタが記述す
る以上の多面的な情報を収集でき、かつスプリクタの労
力を軽減することが可能になる。

【００１６】ところで、図２に示した表示装置２上の画
面では鳥瞰図が得られるが、この中には遠景の情報を表
示することが困難である。つまり、遠景の情報を入れて
位置表示画面６を表示しようとすると、カメラ８近傍の
詳細な情報が判らなくなり、逆にカメラ８近傍の情報と
すると遠景の情報が判らなくなる問題点がある。そこ
で、ここでは図５に示すように、遠景を広角のカメラ８
で撮影し、その映像を位置表示画面６の時刻と同期して
画面１５に表示をする。この映像は、実際の編集画面に
使うことはほとんどないが、その場の状況を明らかにす
る補助手段として使うことが可能になる。この時、この
画面１５は、画面全体の一部を切り出したパノラマ写真
風の映像とすることにより、限られた表示装置２の画面
を有効に使うことができる。さらに、空や床などの冗長
な情報を省くことが可能になる。もちろん、空や床の情
報が必要な場合は、録画した映像中に存在するかぎり、
それを表示することが可能なことは明らかである。ま
た、図２の説明では、全てのカメラ８が録画をしている
状況を前提としたが、図５ではカメラ８のうちのＣ１だ
けが録画をしている状況である。このような場合、この
方法では、画角を示す扇状の広がりを示す線はカメラＣ
１のみから出ているだけで、他のカメラＣ２，Ｃ３から
は出ていない。このようにすると、撮影しているカメラ
が視覚的に明確に判る。

【００１７】

【発明の効果】本発明は以上説明したように、映像を撮
影する際にカメラと被写体の位置や動きや撮影条件等を
時間経過にともない録画するようにし、それをもとにし
て全体の状態を鳥瞰図として示すとともに、カメラの方
向，画角，ピントの合っている範囲当の撮影条件を視覚
的に判るようにし、さらに、それぞれのカメラが撮影し
た同時刻の映像を表示するようにし、また、鳥瞰図で表
すとその弊害が生じる遠景画像を映像として表示するよ
うにし、かつその画面が使用する表示装置上の面積を減
らすことができ、かつ情報が減少しない方法としてパノ
ラマ映像を使用した。これらにより従来のスクリプタが
手作業で記述していた方法を機械化することができるよ
うになり、さらに、スクリプタによる個人差による内容
記述の偏りの問題を解決できるようになった。また、カ
メラや被写体の情報が時間ごとに記述されるため、その
データ量が多くなるが、そのデータ量を圧縮して保存で
きるようにしたため、従来のテープや光ディスク等のメ
モリへの負担を少なくすることができるようになった。

【図面の簡単な説明】

【図１】本発明の実施例に用いる装置の構成例を示すブ
ロック図である。

【図２】図１の表示装置に表示する表示画像の例を示す
図である。

【図３】映像の例を示す図である。

【図４】収集したデータの例を示す図である。

【図５】図１の表示装置に表示する図２とは別の表示画
像の例を示す図である。

【符号の説明】

１ 入力装置 ２ 表示装置 ３ 外部記憶装置 ４ 内部記憶装置 ５ 制御装置 ６ 位置表示画面 ７ 被写体 ８ カメラ ９ ボタン表示領域 １０ 情報表示領域 １１ 画面 １２ 画面 １３ 画面 １４ 画面 １５ 画面

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年３月９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】 こうした天井から映像を収集する方法
は、スタジオ等の特殊な場所では使用可能であるが、屋
外での使用は困難である。このような場合は、高い位置
から撮影した映像を、画像処理により真上から撮影した
と同じ映像に変換して、同様に位置情報が得られる。こ
れ以外に計測手段を用いる方法がある。この例として
は、各被写体７やカメラ８に無線発信器を取り付け、そ
の電波の来る方向を三角法により求める方法がある。ま
た、被写体７やカメラ８が移動する場合は地図上の位置
が重要になる。この情報に関しては衛星からの信号を用
いて位置を決める衛星位置測定方法，地上局からの信号
を用いて位置を決める地上局位置測定方法，道路上やそ
の他の場所に設置されている発信局からの電波を用いて
位置を決める近接無線位置測定方法，針路，速度センサ
を用いて位置推定をする自律位置測定方法等がある。こ
のなかで、衛星位置測定方法はＧＰＳ衛星測位システム
を米国国防省が実用化しており、地球上の電波が届く場
所では何処でも利用できる利点がある。また、この衛星
電波が受信できないトンネル内やビルの影や屋内等の場
所では地上局位置測定方法，近接無線位置測定方法，自
律位置測定方法と組み合わせてＧＳＰの欠点を補ってい
る方式が既に開発されている。このような位置情報を収
集する装置の情報を用いることにより、移動する撮影の
場合でも位置情報を正確に得ることができる。また、高
度計を併用することにより、地図上の位置は同じでも、
高さ情報を得ることにより、建物の階数に付いての情報
を得ることが可能になり、撮影場所の特定により精度を
持たすことが可能になる。この高さ情報はＧＳＰによっ
ても得られるがこの方法は本来３０ｍ程度の誤差を持つ
ため、各階が平均３ｍの高さの建物では１０階分の誤差
を持つことになり、このままでは使用しにくい。一方、
気圧計を用いた高度計では１ｍ程度の誤差で地上からの
高さを検出可能であるため、地上での気圧を特定すれば
容易にその高さを特定でき、これに伴い撮影した場所の
高さを自動的に特定可能になる。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正内容】

【００１３】 次に、カメラ８の操作条件として、撮影
方向，画角，レンズの焦点，レンズの絞り，被写体深度
等の情報がある。これらは、それぞれセンサを取り付け
て計測するが、そのセンサ類を実装したカメラ８が存在
する。これらのデータは、タイムコード付きの映像の録
画と同時にメモリに蓄積して、時間により管理をしてお
く。その他のタイトルや映像場所，光の方向等の情報
は、状況が変わるたびにデータを入力する必要がある。
この内、映像場所と光の方向等は先に説明した位置測定
方法と光センサ等の組み合せにより、自動的なデータ取
り込みが可能である。また、台詞の開始とその後の進行
については、音声認識が簡易にできないため、現状では
人手に頼る必要がある。しかし、ワードプロセッサによ
り入力した台詞に、台詞の進行に伴う時刻を節目ごとに
人が挿入して、映像とある程度同期させた情報を作成す
ることは比較的容易である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 君山 博之 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 阿久津 明人 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 映像の撮影時に前記撮影をするカメラと
   被写体の位置情報を撮影時刻に対応付けて収集し、前記
   カメラと被写体の位置を前記撮影時刻に従い表示装置に
   鳥瞰図として示すとともに、前記と同時刻に撮影した前
   記映像を前記表示装置または別途設けた表示装置に表示
   することを特徴とする映像とその撮影情報の提示方法。
2. 【請求項２】 映像を撮影したカメラと被写体の位置情
   報を表示装置に鳥瞰図として示すに伴い、前記位置情報
   を収集したと同時刻で同一場所の遠景の映像を前記表示
   装置にパノラマ映像として表示することを特徴とする請
   求項１記載の映像とその撮影情報の提示方法。
3. 【請求項３】 撮影をするカメラの撮影条件の情報を撮
   影時刻に対応付けて収集し、前記撮影条件を前記撮影時
   刻に従い前記カメラの位置を中心とした扇形の範囲で表
   示装置に表示することを特徴とする請求項１記載の映像
   とその撮影情報の提示方法。
4. 【請求項４】 鳥瞰図が示す位置関係の情報を収集した
   のと同じ時刻に使用した台詞を、表示装置または別途設
   けた表示装置に表示することを特徴とする請求項１記載
   の映像とその撮影情報の提示方法。
5. 【請求項５】 映像の撮影時に、撮影時刻に対応付けて
   収集した少なくともカメラと被写体の位置情報とカメラ
   の撮影条件の情報とを列挙した情報として収集し、かつ
   前記撮影時刻に対応付けて得られた情報の内で前の情報
   と変わらない情報については変わらない情報が連続して
   続く個数を記述し、変化した情報についてはその変化し
   た後の値または前の情報との差分値を記述した情報を用
   いて、前記カメラと被写体の位置情報と前記カメラの撮
   影条件の情報を鳥瞰図として表すことを特徴とする請求
   項１記載の映像とその撮影情報の提示方法。