JP3879170B2

JP3879170B2 - 撮像装置及び撮像方法

Info

Publication number: JP3879170B2
Application number: JP08144497A
Authority: JP
Inventors: 武坂口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-03-31
Filing date: 1997-03-31
Publication date: 2007-02-07
Anticipated expiration: 2017-03-31
Also published as: JPH10285501A

Description

【０００１】
【発明の属する技術分野】
この発明は、録画機能を有する撮像装置に関する。詳しくは、撮像中の映像情報を録画すると同時に、撮像中の位置情報をも記録できるようにして映像素材の管理、検索などを容易に行えるようにしたものである。
【０００２】
【従来の技術】
録画機能を有した撮像装置（ＶＴＲ一体型ビデオカメラなど）では、「いつ」「どこで」「誰が」収録したなどと言った映像の属性情報を、記録映像データの中に記録できれば、録画した映像素材の管理、検索が容易になる。特にデジタル圧縮・伝送技術に基づく放送の多チャンネル化に伴って、より効率のよい映像制作が要求され、映像データベースに蓄積された素材を検索・活用する機会が増えることが予想されるので、素材に対する管理や検索操作は容易であることに越したことはない。また、記録する属性としては、素材運用に際して著作権を保護するためにも撮影者のデータなどが必要である。
【０００３】
【発明が解決しようとする課題】
ところで、現在、映像素材を管理するための属性情報として、収録と同時に映像情報や音声情報と共に自動的に記録するようにしているのは、タイムコードや日付と時間（日時情報）である。その他の属性情報例えば撮像位置や撮影者などの情報については、収録後に映像素材の管理者がその内容を確認した上で別途マニュアルで入力している。したがって、属性情報を記録するための作業効率が悪い。
【０００４】
また、このように収録後に属性情報を記録すると、誤ったデータを入力する可能性がある。したがって、撮影から映像データベースの構築までを円滑に実行できることが望まれる。特に、撮像中の映像情報の録画と同時に、タイムコード、収録日時、撮影者、撮像位置などの各種属性情報を自動的に記録できれば非常に便利である。
【０００５】
そこで、この発明はこのような従来の課題を解決したものであって、収録時に映像データ中に撮影日時、撮影場所、撮影者などの各種属性情報を同時に記録できる撮像装置を提案するものである。
【０００６】
【課題を解決するための手段】
上述の課題を解決するため、この発明に係る撮像装置では、被写体像を撮像すると共に撮像した上記被写体像を映像信号に変換する撮像手段と、上記被写体像を撮像した撮像位置の情報を含む属性情報を取得する測位手段と、上記映像信号をＭＰＥＧ２規則に基づいて圧縮符号化する圧縮符号化手段と、圧縮符号化された上記映像信号に上記属性情報が付加された状態で記録媒体に録画する録画手段とを備え、圧縮符号化された上記映像信号は、少なくともシーケンス層、ＧＯＰ層およびピクチャー層の複数層から構成され、上記シーケンス層、ＧＯＰ層およびピクチャー層は、上記属性情報を挿入するユーザデータエリアを有しており、上記属性情報は、映像の検索や管理に要求される精度に応じた何れかの上記層の上記ユーザデータエリアに挿入され、上記ユーザデータエリアは、少なくともユーザデータの開始を示すユーザデータ開始同期コード、属性情報が記述されていることを示す撮影データ開始コード、および上記属性情報の順番で記述されていることを特徴とする。
【０００７】
この発明では、ＧＰＳ情報を受信し、これより得られた撮像位置情報を、予め登録しておいた撮影者データなどと共に収録中の映像情報中に重畳して記録するので、映像を収録後にマニュアル操作で撮像位置情報や日時情報などを入力する必要がない。
【０００８】
【発明の実施の形態】
続いて、この発明に係る撮像装置の一実施形態を図面を参照して詳細に説明する。
【０００９】
本発明では、撮像装置に撮像位置を測位できる測位手段を設けたもので、これより得られる測位情報（撮像位置情報）を収録中の映像と共に同一記録媒体に同時に記録するようにしたものである。
【００１０】
測位手段としてこの発明ではＧＰＳ（Global Positioning System）を利用し、これより検出された日時データと測位データ（経度、緯度、高度）ならびに予めメモリに記録された撮影者情報を、ＭＰＥＧ（Moving Picture Experts Group）２方式によって圧縮された圧縮映像データ内に同時に記録するものである。
【００１１】
図１に示す撮像装置１０において、光学系１２を介して得られた被写体像はＣＣＤなどの撮像回路１４に供給されて映像信号に変換される。映像信号は映像エンコード回路１６に供給されて上述したＭＰＥＧ２に則って圧縮符号化される。
【００１２】
撮像装置１０には測位手段としてのＧＰＳシステムが搭載されており、ＧＰＳアンテナ１８を有する。ＧＰＳシステムは、周知のように複数の人工衛星から発信された電波をもとに、三次元空間の受信者の位置を求めるシステムであり、既にカー・ナビゲーションシステムなどにおいて実用化されている。
【００１３】
実際には、地上約２１０００ｋｍの軌道を回る２４個のＧＰＳ衛星の中から受信可能な３機以上の衛星の電波がＧＰＳアンテナ１８で受信され、これがＧＰＳ測位回路２０に供給される。
【００１４】
ＧＰＳ測位回路２０では各衛星の航法メッセージを解読して衛星からの距離を算出することによって、リアルタイムで受信位置の座標（経度、緯度および高度）が算出される。このＧＰＳシステムによれば全世界を対象として測位することができ、測位誤差は１５ｍ〜１００ｍである。
【００１５】
また、衛星には原子時計が積まれており、航法メッセージ中の時間データから正確な現在時間（撮像時間であって、日、時、分、秒）を得ることができる。ＧＰＳ測位回路２０で検出された座標データと日時データは、この例では映像エンコード回路１６に随時転送される。測位計測のタイミングは装置内に設けられたマイコンで構成された制御部６０からの測位指令信号を待って行うこともできれば、上例のように撮像中随時計測することもできる。
【００１６】
衛星から得られた時間情報をもとに装置内の内部時計２２の時刻が自動的に補正（リセット処理）される。
【００１７】
装置１０内にはさらにメモリ手段２４が設けられ、ここに撮影者に関する各種情報が予め蓄えられている。撮影者情報としては、撮影者の氏名や所属部署、連絡先、映像タイトルなどである。メモリ手段２４への情報の書き込みは上述した制御部６０に設けられた入力手段（図示はしない）を介して行われる。
【００１８】
映像エンコード回路１６では、測位手段で生成された座標データ、日時データなどが、メモリ手段２４からリードされた撮影者データとともに、映像データと同様にＭＰＥＧ２方式でデジタルデータ化され、映像データに重畳される。
【００１９】
ここで、ＭＰＥＧ２のデータ構造は図２の通りである。同図に示すように映像データは、シーケンス層、ＧＯＰ（Group of Pictures）層、ピクチャー層、スライス層、マクロブロック層、ブロック層の６階層構造となっている。最上位のシーケンス層は同じ属性をもつー連の画面グループを記述する。
【００２０】
ＧＯＰ層はランダムアクセスの単位となる画面グループの最小単位を示す。ピクチャー層は一枚の画面に共通した属性を記述する。スライス層では、一枚の画面を任意の長さに分割した小画面に共通の情報を、そしてマクロブロック層では、スライス層をさらに分割した画素ブロックに共通の情報を表している。最下位のブロック層では、ＤＣＴ（Discrete Cosine Transform）の変換係数（ＤＣＴ係数）を記述する。
【００２１】
ＭＰＥＧ２のビデオシーケンスは、上述した階層構造と同じであって、シーケンス層、ＧＯＰ層、ピクチャー層、スライス層、マクロブロック層、ブロック層の順で、シーケンス終了まで反復して記述される。
【００２２】
図３および図４を参照して説明すると、ビデオシーケンスにおいて最初に表されるシーケンス開始同期コードを先頭に、シーケンスに共通のデータ（画像サイズなど）がシーケンスヘッダデータとして、予め規定されたビット長で記述される（ステップ８１）。
【００２３】
次に、拡張データ開始同期コードと拡張データ識別コードに続き、予めＭＰＥＧで規定された走査方式などのシーケンス拡張データが規定ビット長で記述される（ステップ８２）。さらにＭＰＥＧでは、(1)Sequence Display Extensionおよび(2)Sequence Scalableという拡張データ（Sequence Extension）が規定されている。必要に応じて拡張データと同様に、拡張データ開始同期コードと拡張データ識別コードに続けて予め規定されたビット長で（１）、（２）の順に記述される。
【００２４】
拡張データ識別コードには各拡張データに１対１に対応したコードが割り当てられる。ＭＰＥＧで規定されていない独自データについては拡張データと同様にユーザデータ開始同期コードに続けて８×ｎビット長で記述することが許されている。
この発明では後述するように上述したシーケンス層のこのユーザデータ領域（ユーザデータ（１））に座標、日時、撮影者データなどが、８×ｎビット長で記述される（ステップ８３，８４）。この記述データはシーケンス単位の共通データとなり、ユーザデータ領域の前にユーザデータ開始同期コードがあてがわれる。ユーザデータ以外の拡張データの場合には、拡張データ開始同期コードと拡張データ識別コードをそれぞれ付加して拡張データが記述される（ステップ８３，８５）。
【００２５】
ＭＰＥＧでは、シーケンス層の後にＧＯＰ層が続く。ここにランダムアクセスに関するデータであるＧＯＰデータが記述される。ＧＯＰデータは必須要件ではないため、ＧＯＰデータが存在しない場合には下位層であるピクチャ層への記述に遷移する（ステップ８６、図４参照）。ＧＯＰデータを記述する場合はＧＯＰ開始同期コードに続けてＧＯＰヘッダデータが規定のビット長で記述される（ステップ８７）。
【００２６】
ＧＯＰ層には現在のところ、拡張データは規定されていないが、シーケンス層と同様にユーザデータ開始同期コードに続く８×ｎビット長のユーザデータ（ユーザデータ（２））の挿入が許されている（ステップ８８，８９）。したがってこのエリアに座標、日時、撮影者データなどを記述すれば、ＧＯＰ単位の精度が保証される。ユーザデータ（２）の前には上述したと同じようにユーザデータ開始同期コードが付加される。
【００２７】
ＧＯＰデータに続き、図４に示すように、一画面に共通な属性を示すピクチャー層のデータが記述される。この場合においてもピクチャー開始同期コードを先頭にピクチャー層に必須のデータ（ピクチャータイプなど）がピクチャーヘッダデータとして規定のビット長で記述される（ステップ９１）。
【００２８】
ピクチャー層にはシーケンス層と同様に、(1)Picture Coding Scalable、(2)Quant Matrix Extension 、(3)Picture Display Extension、(4)PictureSpatial Scalable Extension および (5)Picture Temporal Scalable Extensionの５つの拡張データが定義されている。拡張データの開始を示す拡張データ開始コードと拡張データ識別コードに続けて（１）から（５）の順に、ピクチャーコーディング拡張データとして記述される（ステップ９２）。（１）は必須の記述であるが、（２）から（５）までの記述はこれを省略できる。
【００２９】
このピクチャー層においても上位の層と同様に、ユーザデータ開始同期コードに続く８×ｎビット長のユーザデータを拡張データが挿入可能な位置にユーザデータ（３）として挿入することが許されている（ステップ９３，９４）。画面（ピクチャー）単位の精度が求められる場合には、このピクチャー層のユーザデータ（３）に記述される。
【００３０】
ピクチャー層のあとは画面内の符号化データ（ピクチャーデータ）が記述される。この発明には直接関係しないため図４にはその詳細を記述していないが、スライス層のデータ（量子化特性など）、マクロブロック層のデータ（マクロブロックに共通のデータ）、ブロック層のデータ（ＤＣＴ変換係数）が予め規定された順に一画面分記述される（ステップ９５）。
【００３１】
以上の過程をピクチャー、ＧＯＰ、シーケンスを単位として映像データの終了まで繰り返される（ステップ９６〜９９）。シーケンス終了時には最後にシーケンスの終了を示すシーケンス終了同期コードが記述される（ステップ１００）。
【００３２】
以上説明したシーケンス層のうちのユーザデータ（１）の層、ＧＯＰ層のうちのユーザデータ（２）の層およびピクチャー層のうちのユーザデータ（３）の層の全てのエリアあるいは一部のエリア（層）を利用して、上述した座標、日時、撮影者データなどの属性情報が記述されるものである。
【００３３】
このように記述する層によって、映像の検索や管理にそれぞれ求められている精度に対応することができどの階層に挿入するかは再生時に要求される精度によって決められる。
【００３４】
シーケンス単位の要求精度であればシーケンス層に設けられたユーザデータエリア（１）に挿入され、ＧＯＰ単位の要求精度であればＧＯＰ層に設けられたユーザデータエリア（２）に挿入され、そしてピクチャー単位の要求精度であればピクチャー層のユーザデータエリア（３）に挿入される。ピクチャー層への挿入が最も要求精度が高くなる。
【００３５】
図５にこの発明で使用したユーザデータのデータ構造の一例を示す。ユーザデータの開始を示すＵＤＳＣコード（４バイト構成）に続いて、本発明で定義したデータ（属性データ）が記述されていることを示すため、識別コードとしての撮影データ開始同期コードＳＤＳＣ（４バイト構成）が記述される。
【００３６】
ＳＤＳＣコードに続いて、この例では緯度データ（５バイト構成）、経度データ（５バイト構成）、高度データ（４バイト構成）、日付・時間データ（日、時、分、秒を表現するため８バイト構成）、撮影者データ（８×ｎバイト構成）の順番およびデータ幅でそれぞれの属性データが記述される。最後に、ユーザデータの終了を示す撮影データ終了同期コードＳＤＥＣ（４バイト）が記述される。
【００３７】
さて、図１に戻って音声はマイク２６で集音されて電気信号に変換された後、音声エンコード回路２８においてエンコード処理されてオーディオシーケンスとして出力される。このオーディオシーケンスと、上述した映像データと属性データを含んだビデオシーケンスは、多重化回路３０においてそれぞれパケット化された後に時分割多重される。実際には映像データの水平および垂直ブランキング期間を利用してオーディオデータが多重される。多重化データは記録回路３２にて変調された後、磁気テープ３４ａやディスク（ハードディスク、光ディスクなど）３４ｂを用いた記録メディア３２に書き込まれる（収録される）。
【００３８】
このデータ記録と同時に、この例では記録データの内容を確認するために、モニタ手段４０に設けられた記録／再生用スイッチ４２が記録側（ＲＥＣ側）に制御されて収録データと同じデータが分離回路４４に供給されて、ビデオシーケンスとオーディオシーケンスとに分離される。その後、音声デコード回路４６では音声データがデコードされスピーカ４８によって再生される。
【００３９】
同様に、ビデオシーケンスは映像デコード回路５０において映像データが再生されるが、座標データ、日時データ、撮影者データなどの属性データは、映像デコード回路５０にて映像データと分離されたのち属性データ再生回路５２へ転送される。属性データ再生回路５２には、図示はしないが文字発生回路とレイアウト制御回路が設けられており、デコードされた座標データ、日時データおよび撮影者データが文字映像化される。得られた文字映像はテロップ映像信号（文字映像信号）に変換されてから本来の映像信号に合成されたのち、表示手段５４上でオーバーレイ表示される。したがって表示された文字の内容によって属性情報を確認できる。
【００４０】
一方、再生時には、スイッチ４２が再生側（ＰＢ側）に切り替えられると共に、記録メディア３４に記録された記録データが再生回路５８で復調され、分離処理およびデコード処理された後、上述したと同様に映像信号、テロップ映像信号および音声信号が再生され、そして表示される。
【００４１】
図６はシーケンス層内のユーザデータエリア（１）に属性データが挿入されているときの処理例であって、この場合にはシーケンス開始同期コード（OO 00 01 B3h）がチェックされ（ステップ７２）、このコード検出に続いてユーザデータ開始同期コードＵＤＳＣ（00 00 01 B2h）および撮影データ開始コードＳＤＳＣ（FF FF FF FFh）が検出されたときには（ステップ７４）、ユーザデータエリアには属性データが挿入されていることになるので、この場合にはユーザデータのデコード処理およびテロップ用映像信号処理が行われる（ステップ７６）。その後このテロップ映像信号が本来の映像信号にオーバーレイされる（ステップ７８）。
【００４２】
図６とは異なる階層に属性データが挿入されているときは、ステップ７２における階層検出コードが相違するだけで、その後の処理は同じであるからその詳細な説明は割愛する。
【００４３】
これら一連の制御は上述した制御部６０によって管理されるものであり、したがって上述した処理全体を制御するＣＰＵ６２、制御手順を記録したＲＯＭ６４、各処理に不可欠なデータをー時蓄積するＲＡＭ６６などで制御部６０が構成され、ここで生成された各種制御信号は適宜装置本体１０Ａやモニタ手段４０に送出される。
【００４４】
上述したモニタ手段４０は装置１０本体と一体化してもよければ、別体構成でもよい。一体構成の場合には撮像装置１０そのものを編集機能を有した編集装置としても利用できる。また一体化構成の場合には表示手段５４としては装置のビューファインダＶＦを利用できる。別体構成の場合には制御部６０は装置本体に内蔵されることになる。
【００４５】
映像データの圧縮・符号化の具体例としてＭＰＥＧ２を例示したが、これに限るものではない。
【００４６】
【発明の効果】
以上説明したようにこの発明では、映像データ内に、収録場所の座標、収録日時ならびに撮影者情報などの属性情報を自動的に、しかも映像データと同時に記録するようにしたものである。
【００４７】
これによれば、映像と同時に撮像位置情報を含んだ属性情報を記録できるので、マニュアル入力を全廃できる。同時記録されたこの属性情報は映像データの素材管理・検索の鍵として広く活用できる。属性情報には撮像位置情報が含まれているが、この撮像位置情報はＧＰＳシステムを利用できるので、その実現が容易である。ニュース取材等の場合には、ＧＰＳ衛星からの電波を受信し易い屋外での撮影が多いので、撮像位置情報を取り込むのが比較的簡単である。したがって、迅速な取り扱いが要求されるニュース素材の管理などに利用して好適である。また放送用途では、映像素材の説明に不可欠なテロップの自動生成・送出用としてこの属性情報を利用できるので、放送局での編集作業が非常に簡単になるなどの特徴を有する。
【００４８】
また、ＧＰＳ測位により、非常に正確な時間情報を得ることができるため、撮像装置内の内部時計の自動補正が可能となり、正確な日時の記録が行えるなどの副次的な効果も得られる。
【００４９】
したがってこの発明はニューズ取材用の録画機能を有した撮像装置などに適用して極めて好適である。
【図面の簡単な説明】
【図１】この発明に係る撮像装置の一実施態様を示す要部の系統図である。
【図２】ＭＰＥＧ２映像データの階層構造図である。
【図３】ＭＰＥＧ２におけるビデオシーケンスの例を示すフローチャート（その１）である。
【図４】ＭＰＥＧ２におけるビデオシーケンスの例を示すフローチャート（その２）である。
【図５】ユーザデータ構造図である。
【図６】属性データ処理例を示すフローチャートである。
【符号の説明】
１０・・・撮像装置、１０Ａ・・・装置本体、１６・・・映像エンコード回路、１８・・・ＧＰＳアンテナ、２０・・・ＧＰＳ測位回路、２４・・・メモリ手段、３４・・・記録メディア、４０・・・モニタ手段、５２・・・属性データ再生回路、５４・・・表示手段、６０・・・制御部

Claims

被写体像を撮像すると共に撮像した上記被写体像を映像信号に変換する撮像手段と、
上記被写体像を撮像した撮像位置の情報を含む属性情報を取得する測位手段と、
上記映像信号をＭＰＥＧ２規則に基づいて圧縮符号化する圧縮符号化手段と、
圧縮符号化された上記映像信号に上記属性情報が付加された状態で記録媒体に録画する録画手段とを備え、
圧縮符号化された上記映像信号は、少なくともシーケンス層、ＧＯＰ層およびピクチャー層の複数層から構成され、
上記シーケンス層、ＧＯＰ層およびピクチャー層は、上記属性情報を挿入するユーザデータエリアを有しており、
上記属性情報は、映像の検索や管理に要求される精度に応じた何れかの上記層の上記ユーザデータエリアに挿入され、
上記ユーザデータエリアは、少なくともユーザデータの開始を示すユーザデータ開始同期コード、属性情報が記述されていることを示す撮影データ開始コード、および上記属性情報の順番で記述されていることを特徴とする撮像装置。
上記記録媒体に記録された上記映像信号を再生する再生手段と、
再生された上記映像信号をデコードするデコード手段とをさらに備え、
上記デコード手段は、シーケンス層、ＧＯＰ層またはピクチャー層の上記ユーザデータエリアに挿入された上記属性情報を検出し、検出した上記属性情報と上記映像信号とを合成させて表示手段に表示するようにしたことを特徴とする請求項１記載の撮像装置。
上記測位手段としてはＧＰＳシステムが利用されたことを特徴とする請求項１記載の撮像装置。
上記撮像場所を示す情報は、少なくとも撮像位置の緯度、経度情報であることを特徴とする請求項１記載の撮像装置。
上記属性情報は、上記撮像位置情報の他に、日時情報、撮影者データなどであることを特徴とする請求項１記載の撮像装置。