JPH10290456A - 動画像符号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像情報処理者の負担を軽減し、高品質の画
像出力を得るようにした画像符号化方法及び装置を提供
する。 【解決手段】 本発明は、カメラで取り込んだ動画像情
報にカメラの操作情報をディジタル透かし技術により埋
め込み、画像符号化時に埋め込まれた操作情報を検出
し、埋め込まれた操作情報を符号化パラメータとして符
号化処理する。また、本発明は、撮影時に、カメラで取
り込んだ動画像情報に該カメラの操作情報をディジタル
透かし技術により埋め込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方法
及び装置に係り、特に、ディジタルＶＴＲやテレビカメ
ラからのディジタル動画像信号を符号化する動画像符号
化方法及び装置に関する。

【０００２】

【従来の技術】従来、ディジタルＶＲＴやテレビカメラ
からのディジタル動画像信号の情報量は膨大なことから
その画像信号を伝送する場合には、圧縮符号化してデー
タ量を減らすことが必須である。例えば、カラー動画像
のディジタル符号／再生方式として、ＭＰＥＧ（Moving
Picture Experts Group）符号化がある。

【０００３】図９は、従来のディジタル動画像信号を符
号化する例を示す。同図において、右から左に向かって
道路を走る自動車を追いかけてカメラ撮影した動画像を
考える。この場合、カメラを左パンニングすることによ
り、自動車は、略静止し、背景のみ左から右に移動す
る。「左パンニング」操作情報を画像符号化時にパラメ
ータ化することにより、画面周辺は、時間方向の冗長度
を削減した動き補償の情報で復号が可能となり、情報量
を削減できる。そして、削減した分を他の画面部分に振
り分けることにより、効率の良い情報圧縮を行うことが
できる。

【０００４】また、従来において、情報記録媒体をカメ
ラに設け、撮影に関連する文字または、記録部に予め可
視可能に記録しておくとで、数値以外の情報であって
も、写し込み記録を可能とし、記録媒体を脱着すること
で、他人がその情報を勝手に記録することを防止する方
法（特開平７−３６０９８）がある。また、情報写込部
を有する二重露光モードを有するカメラにより情報画を
フィルムの任意の位置に写し込ませる方法（特開平１−
１５０１２１）がある。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
方法において、撮影者と画像情報処理者が同一人の場合
は、どのような状況で撮影したか認知しているので、撮
影状態に合わせて高品質な画像符号化処理が可能であ
る。しかし、撮影者と画像情報処理者が別人の場合に
は、画像情報処理者がカメラの操作情報（パンニングや
ズームなど）を認知していないため、画像処理の過程で
画質が劣化するという問題がある。

【０００６】もし、図９において、カメラ操作情報がな
いと、画面周辺において、画像の大きな変化があったと
判断して、必要以上の情報量を使うことになり、効率的
な情報圧縮を行うことができない。なお、カメラの操作
情報をドキュメントにして画像情報処理者に指示するこ
とも可能であるが、取り扱う画像情報が大量にあり、か
つそれぞれの画像情報の撮影時の状況が異なっているよ
うな場合には、画像情報処理者が混乱して、誤った画像
符号化処理を行う危険がある。

【０００７】また、情報記録媒体をカメラからなるシス
テムや、情報写込部を有するカメラ等においては、単に
静止画像を対象としており、ディジタル動画像信号には
適用できないとう問題がある。本発明は、上記の点に鑑
みなされたもので、ディジタル動画像に操作情報を埋め
込むことを可能とし、当該操作情報を抽出して符号化す
る場合においても、画像情報処理者の負担を軽減し、高
品質の画像出力を得るようにした画像符号化方法及び装
置を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明は、ディジタル動画像
を符号化する動画像符号化方法において、カメラで取り
込んだ動画像情報にカメラの操作情報をディジタル透か
し技術により埋め込み（ステップ１）、画像符号化時に
埋め込まれた操作情報を検出し（ステップ２）、埋め込
まれた操作情報を符号化パラメータとして符号化処理す
る（ステップ３）。

【０００９】また、本発明は、撮影時に、カメラで取り
込んだ動画像情報に該カメラの操作情報をディジタル透
かし技術により埋め込む。図２は、本発明の原理構成図
である。本発明は、ディジタル動画像を符号化する動画
像符号化装置であって、カメラから動画像情報を取り込
む動画像情報取得手段１１０と、動画像情報取得手段１
１０で取り込んだ動画像情報にカメラの操作情報をディ
ジタル透かし技術により埋め込む操作情報埋込手段１２
０と、操作情報埋込手段１２０において、埋め込まれた
操作情報を検出する操作情報検出手段２１０と、埋め込
まれた操作情報を符号化パラメータとして符号化処理す
る符号化手段２５０とを有する。

【００１０】また、本発明は、撮影時に、カメラで取り
込んだ動画像情報に該カメラの操作情報をディジタル透
かし技術により埋め込むカメラ操作情報埋込手段を更に
有する。このように、本発明は、カメラで取り込んだ動
画像情報にカメラの操作情報をディジタル透かし技術に
より、埋め込んでおくことにより、画像符号化時に、埋
め込まれている操作情報を検出し、この埋め込まれた操
作情報を符号化パラメータとして符号化処理を行うこと
が可能となる。つまり、撮影者により、カメラ操作情報
を入力して貰い、当該操作情報をディジタル透かし技術
を用いて動画像情報に埋め込んでおくことにより、当該
情報を符号化する際に、撮影者から与えられた鍵情報
（ディジタル透かし技術）に操作情報を抽出することが
可能であるため、画像処理者の負担が軽減される。

【００１１】さらに、撮影時において、カメラで取り込
んだ動画像情報にカメラの操作情報を、ディジタル透か
し技術を用いて埋め込むことにより、撮影者がカメラ操
作の終了後や、画像処理者による操作情報の埋込作業が
削減されるため、これらの作業者の負担が軽減される。
このように、操作者が直接カメラを操作中に操作情報を
動画像情報に埋め込んでおくことにより、多数の操作者
により生成された動画像情報であっても、画像処理者は
容易に操作情報から符号化処理を行うことが可能とな
る。

【００１２】

【発明の実施の形態】図３は、本発明の動画像符号化装
置の構成を示す。同図に示す動画像符号化装置１０は、
埋込処理部１００と画像処理部２００より構成される。
埋込処理部１００は、カメラから動画情報を取得して、
当該動画情報のパンニングやズーム等の操作情報を取得
する動画像情報取得部１１０、動画像情報取得部１１０
から取得した操作情報をディジタル透かし技術のアルゴ
リズムにより、動画情報に埋め込む操作情報埋込部１２
０から構成される。

【００１３】操作情報埋込部１２０における操作情報の
埋め込みを行う際に利用されるディジタル透かし技術を
説明する。本発明に利用されるディジタル透かし技術
は、動画像情報内に人間に知覚されないような別の情報
を埋め込み、必要時に埋め込んだ情報を取り出すことが
できるような技術である。

【００１４】図４は、本発明に利用されるディジタル透
かし技術の埋め込み時における処理を説明するための図
である。ステップ１０１の分解処理では、原画像を１ブ
ロックがｎ画素×ｍ画素の複数ブロックに分解する。動
画像の場合には、各フレーム毎に分け、それぞれのフレ
ームを複数ブロックに分解する。

【００１５】ステップ１０２の直交変換処理では、ステ
ップ１０１において分解処理されたそれぞれのブロック
に離散コサイン変換（ＤＣＴ変換）等の直交変換を施
し、ｎ×ｍの周波数成分行列を得る。埋め込み情報の埋
め込みに先立ち、直交変換処理で得られた周波数成分行
列のどの位置に埋め込み情報を埋め込むかを決定する埋
め込み位置を乱数により決定し、さらにその位置の周波
数成分の値をどの程度変更するかを示す変更量を決定
し、決定した埋め込み位置と変更量を鍵情報として取得
しておく。埋め込み情報を埋め込む場合、１つのブロッ
クに対する周波数成分行列に全てを埋め込む必要はな
く、複数のブロックの周波数成分行列にまたがって埋め
込んでもよい。埋め込み位置として、例えば、周波数成
分行列の低周波数部分を選択することにより、人間に知
覚できないように埋め込むことができる。また、変更量
を変えることにより、周波数成分行列のもとの値との差
を変えることができるため、画質の劣化を制御すること
ができる。

【００１６】ステップ１０３の埋め込み処理では、鍵情
報の埋め込み位置と変化量に基づいて、それぞれのブロ
ックの周波数成分行列の値を変え、埋め込み情報を埋め
込む。ステップ１０４の逆直交変換処理では、埋め込み
処理により、埋め込み情報が埋め込まれたそれぞれのブ
ロクの周波数成分行列を逆直交変換し、ｎ画素×ｍ画素
のブロック画像を得る。

【００１７】ステップ１０５の再構成処理では、ステッ
プ１０４の逆直交変換処理で得られた各ブロック画像を
つなぎ合わせ、埋め込み情報が埋め込まれた透かし画像
を得る。次に、画像処理部２００は、埋込処理部１００
の操作情報埋込部１２０で埋め込まれている操作情報
を、鍵情報を用いてディジタル透かし技術により抽出す
る操作情報抽出部２１０、操作情報抽出部２１０で抽出
された操作情報に基づいて、画像圧縮の符号化のための
パラメータを作成するパラメータ生成部２２０、パラメ
ータ生成部２２０で作成されたパラメータにより動き補
償を適用する部分を特定し、動画像情報の画像圧縮を行
い、低周波数成分には多くのビットを割り当て、そうで
ない部分には、少ないビットを割り当てる符号化処理を
行う動画像処理部２３０、動画像処理部２３０で符号化
された動画像情報を送信する送信部２４０より構成され
る。

【００１８】上記の操作情報抽出部２１０においてディ
ジタル透かし技術で埋め込まれている操作情報を抽出す
る方法について説明する。図５は、本発明に利用される
ディジタル透かし技術の抽出時における処理を説明する
ための図である。ステップ２０１の分解処理では、透か
し画像を１ブロックがｎ画素×ｍ画素の複数ブロックに
分解する。

【００１９】ステップ２０２の直交変換処理では、ステ
ップ２０１の分解処理で分解したそれぞれのブロックに
対し、直交変換を行い、ｎ×ｍの周波数成分行列を得
る。ステップ２０３の取り出し処理では、上記のステッ
プ１０３の埋込処理において、用いられた鍵情報から埋
込位置を変換量を得て、それぞれのブロックの周波数成
分行列から埋込情報を取り出す。

【００２０】上記の図４及び図５において、 ディジタル透かし技術は、埋込時に用いた鍵情報が
なければ埋込情報の取り出しができないこと； 鍵情報中の埋込情報は乱数により作成するため固定
されておらず、埋込情報は解読が困難なこと； 埋込位置を工夫することにより、人間に知覚できな
いように埋込情報を埋め込めること； 変更量を変えることにより画質の劣化の程度を制御
できること； 等の特徴がある。

【００２１】図６は、本発明の動画像符号化処理の動作
を示すフローチャートである。 ステップ３０１） カメラ２０により動画像が撮影され
る。 ステップ３０２） 埋込処理部１００の動画像情報取得
部１１０は、カメラ２０から動画像情報を抽出して操作
情報埋込部１２０に渡す。このとき、埋め込まれていた
操作情報は原画像情報から削除されるため、高画質の状
態で符号化処理を行うことができる。操作情報埋込部１
２０は、カメラのパンニング、ズーム等の操作情報と鍵
情報を撮影者から取得して、ディジタル透かし技術によ
り、取得した動画像情報に埋め込む。当該操作情報を動
画像情報に埋め込む操作は図４に示した方法による。

【００２２】ステップ３０３） 画像処理部２００の操
作情報抽出部２１０は、操作情報が埋め込まれた動画像
情報から操作情報を図５に示す方法に基づいて、撮影者
から取得した鍵情報を用いて操作情報を抽出する。 ステップ３０４） パラメータ生成部２２０は、抽出し
た操作情報に基づいて画像圧縮符号化のためのパラメー
タを作成する。当該パラメータは、動き補償を適用する
部分（操作情報が適用される位置情報）を特定するもの
である。

【００２３】ステップ３０５） パラメータ生成部２２
０により生成されたパラメータを用いて、動画像処理部
２３０において、動き補償を適用する部分に、動画像の
画像圧縮処理を行う。このとき、低周波数成分には、多
くのビットを、そうでない部分には、少ないビットを割
り当てる。 ステップ３０６） 送信部２４０より動画像処理部２３
０により処理された符号化された動画像情報が送信され
る。

【００２４】

【実施例】以下、図面と共に本発明の実施例を説明す
る。図７及び図８は、本発明の一実施例を説明するため
の図であり、動画像情報にカメラの操作情報を埋め込ん
だ場合のイメージを表したものである。図７は、カメラ
２０を左パンニングして走っている人を撮影したことを
『パン左』という操作情報であり、図８は、カメラ２０
をズームして人物を撮影したことを『ズーム』という操
作情報として埋め込んでいる。これらの図では、埋め込
まれた情報を目で認知できるように描かれているが、実
際は、特定の画像処理により、分散して埋め込まれてい
るので認知できない。埋込処理で使用した鍵情報を使っ
て読み取ることにより、初めて操作情報として認識でき
る。

【００２５】画像情報処理者は、操作情報抽出部２１０
において、撮影者から教示された鍵情報を用いて、操作
情報を抽出する。そして、抽出した当該操作情報に基づ
いて、パラメータ生成部２２０において、画像圧縮符号
化のためのパラメータを作成する。このパラメータによ
り、動画像処理部２３０では、動き補償を適用する部分
を特定し、動画像の圧縮を行うことにより、低周波数成
分に所定の値より多くのビットを、その他の部分には、
所定の値より少ないビットを割り当てて符号化を行う。

【００２６】また、図６に示したフローチャートには、
撮影した動画像情報に操作情報を後処理で埋め込む場合
を示しているが、この例に限定されることなく、撮影者
がカメラ撮影時に、当該カメラ２０で取り込んだ動画像
情報に撮影情報をディジタル透かし技術を用いて埋め込
むことも可能である。例えば、撮影者がカメラ２０のズ
ームボタンを操作しながら、撮影する場合には、ズーム
操作と連動して、ズーミングした画像情報に『ズーム』
と埋め込む。また、パンニングする場合には、カメラ２
０の旋回する動きを検出して、『パン右』等の操作情報
を動画像情報に埋め込む。これらの操作情報は、カメラ
２０の変位や角度変化の検出に関する公知の技術による
変位センサ等を用いて実現できるので、カメラ２０の変
位方向に応じて、操作情報を埋め込むことが実現でき
る。

【００２７】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。

【００２８】

【発明の効果】上述のように、本発明の動画像情報符号
化方法及び装置によれば、カメラ撮影した動画像信号の
中にカメラの操作情報が透かしで埋め込まれているの
で、撮影状況に合わせて、高品質の画像符号化を行うこ
とができ、さらに、画像再生時に高画質の画像を得るこ
とができる。

【００２９】また、撮影と同時にカメラの操作者により
カメラ操作情報が撮影した動画像情報に埋め込まれるこ
とによって、埋込作業を省略することが可能となる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明の動画像符号化装置の構成図である。

【図４】本発明に利用されるディジタル透かし技術の埋
込時における処理を説明するための図である。

【図５】本発明に利用されるディジタル透かし技術の抽
出時における処理を説明するための図である。

【図６】本発明の動画像符号化処理の動作を示すフロー
チャートである。

【図７】本発明の一実施例を説明するための図（その
１）である。

【図８】本発明の一実施例を説明するための図（その
２）である。

【図９】従来のディジタル動画像信号を符号化する例を
示す図である。

【符号の説明】

１０ 動画像符号化装置 ２０ カメラ １００ 埋込処理部 １１０ 動画像情報取得部，動画像情報取得手段 １２０ 操作情報埋込部，操作情報埋込手段 ２００ 画像処理部 ２１０ 操作情報抽出部，操作情報検出手段 ２２０ パラメータ生成部 ２３０ 動画像処理部 ２４０ 送信部 ２５０ 符号化手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ディジタル動画像を符号化する動画像符
   号化方法において、 カメラで取り込んだ動画像情報にカメラの操作情報をデ
   ィジタル透かし技術により埋め込み、 画像符号化時に埋め込まれた前記操作情報を検出し、 埋め込まれた前記操作情報を符号化パラメータとして符
   号化処理することを特徴とする動画像符号化方法。
2. 【請求項２】 撮影時に、前記カメラで取り込んだ動画
   像情報に該カメラの操作情報をディジタル透かし技術に
   より埋め込む請求項１記載の動画像符号化方法。
3. 【請求項３】 ディジタル動画像を符号化する動画像符
   号化装置であって、 カメラから動画像情報を取り込む動画像情報取得手段
   と、 前記動画像情報取得手段で取り込んだ動画像情報にカメ
   ラの操作情報をディジタル透かし技術により埋め込む操
   作情報埋込手段と、 前記操作情報埋込手段において、埋め込まれた前記操作
   情報を検出する操作情報検出手段と、 埋め込まれた前記操作情報を符号化パラメータとして符
   号化処理する符号化手段とを有することを特徴とする動
   画像符号化装置。
4. 【請求項４】 撮影時に、前記カメラで取り込んだ動画
   像情報に該カメラの操作情報をディジタル透かし技術に
   より埋め込むカメラ操作情報埋込手段を更に有する請求
   項３記載の動画像符号化装置。