JPH08307877A

JPH08307877A - 動画像構造化の符号化および復号化方法

Info

Publication number: JPH08307877A
Application number: JP11464295A
Authority: JP
Inventors: Yutaka Watanabe; 裕渡辺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1995-05-12
Filing date: 1995-05-12
Publication date: 1996-11-22

Abstract

(57)【要約】【目的】動画像の被写体を領域毎に画像データを圧縮
した形態のままで、個々の被写体の位置と、重なりと、
ぼけを自由に操作して、創造性に富む新規な動画像を生
成する動画像構造符号化および復号化方法を提供する。【構成】動画像に含まれる複数の被写体の領域検出を
行い、得られた複数の被写体および背景を別々に符号化
し、復号時に合成する符号化および復号化方法におい
て、被写体に対応する個々の任意形状領域の輪郭情報を
領域毎に基準位置からの相対位置として符号化し、個々
の領域の符号化データに、基準位置を表すデータと、撮
像系からの距離を表すデータと、焦点距離と被写界深度
のデータを付加し、復号処理時にはこれらのデータを制
御して種々の重なりと焦点深度に応じたぼけを持った領
域の画像データを生成し、合成して動画像を再生する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を構造化する画
像符号化および復号化方法に関する。

【０００２】

【従来の技術】従来の動画像構造化方法では、動画像に
含まれる被写体の領域が検出され、分離された後に、背
景だけを残して前景を除去するなどの画像処理が行われ
ていた。しかし、個々の領域の画像データのデータ圧縮
は行われていなかった。例えば、任意領域の射影変換や
アフィン変換を使った動き補償によるフレーム間予測符
号化などの高圧縮符号化は用いられていなかった。

【０００３】一方、従来の動画像の領域分割符号化で
は、個々の領域を独立した構成要素として符号化する試
みがなされ、任意形状の領域の動き補償によるデータ圧
縮率の向上が目的であった。しかし、個々の領域の画像
データを復号する際に、重なりや焦点を操作して合成す
る試みはなかった。

【０００４】このように従来の構造化方法とそれに伴う
符号化方法では、領域を分割する手法は用いられている
が、撮像系の焦点や被写界深度と、それに伴う領域の輪
郭周辺のぼけは考慮されていなかった。

【０００５】

【発明が解決しようとする課題】従来方法では、復号時
に被写体毎に高圧縮されたデータの配置や被写体の重な
りの順番を変更したり、焦点の合った被写体を変更し
て、残りの被写体の輪郭付近のぼけの程度を制御するこ
とは不可能であった。

【０００６】本発明の目的は、動画像の被写体を領域毎
に画像データを圧縮した形態のままで、個々の被写体の
位置と、重なりと、ぼけを自由に操作して、領域毎の圧
縮画像データを素材とした創造性に富む新規な動画像を
生成する動画像構造化の符号化および復号化方法を提供
することにある。

【０００７】

【課題を解決するための手段】本発明では、被写体に対
応する任意形状を持つ領域の符号化情報を生成する際
に、個々の領域の輪郭情報を領域毎の基準位置からの相
対位置を用いて符号化する。基準位置の情報は画像内の
絶対位置として与え、データとして付加する。同様に、
被写体毎にカメラなどの撮像系からの距離情報に対応す
るデータを付加し、画像全体では焦点距離と被写界深度
を表す情報を付加する。焦点距離は撮像系からどの距離
にある被写体を鮮鋭に再現するかを計算するために用い
る。また被写界深度はどれくらいの距離にわたってどの
程度のぼけを被写体の輪郭周辺に与えるかを決定するの
に用いる。表１に構造化された動画像符号化データを示
す。

【０００８】

【表１】符号化側で、焦点距離や被写界深度が未知あるいは検出
困難であるときには焦点距離を無限大に設定し、被写界
深度を十分大きな値に設定する。この場合には、被写体
から撮像系までの距離に関係なく、画像にぼけはないも
のとして符号化される。被写体の重なりは動画像シーケ
ンスの中で被写体が移動した場合に検出できる。この重
なりの順番に応じて被写体の撮像系からの距離を適当な
間隔で与える。焦点距離および被写界深度が既知あるい
は検出可能であるときには、被写体の種類と大きさか
ら、被写体から撮像系までの距離を推定する。図１に符
号化側での画像構造化の例を示す。

【０００９】復号時には、被写体毎に与えられた、符号
化時の基準位置、撮像系からの距離情報と画像単位で与
えられた焦点距離と被写界深度をそのまま用いることに
より、原画像の構造に忠実な再生画像を得ることができ
る。しかし本発明ではそれにとどまらず、基準位置のデ
ータを見てその値を変更することにより、画像中におけ
る被写体の位置を自由に制御することができる。また、
被写体の距離情報のデータを見て、その値を変更するこ
とによって、撮像系から見たときの被写体の重なりを変
えることができる。またすべての被写体を表示する必要
も必ずしもなく、特定の被写体だけを組み合わせること
も可能になる。

【００１０】さらに、焦点距離を変更することにより、
前景を鮮鋭に再現して背景を急激にぼかしたり、逆に前
景をぼかして背景を鮮鋭に再現することもできる。ま
た、被写界深度を大きく設定すれば、すべての被写体が
鮮鋭に再現される。図２に復号側での再生画像の例を示
す。

【００１１】すなわち、焦点距離と被写界深度および距
離情報でぼけの程度が決定される。いま、焦点距離を
ｆ、被写界深度をｐ、撮像系からある被写体までの距離
をｄとすれば、ぼけの量ｂはｂ＝Ｆ（ｆ−ｄ，ｐ）（１）なる関数Ｆで与えられる。通常のカメラなどの光学撮像
系では、比例係数をｋ、ｈとするとｂ＝ｋ・｜ｆ−ｄ｜（２）ｂ＝ｈ・１／ｐ（３）なる関係があるから、対応テーブルを準備しておき、ｂ
を決定する。ぼけを領域の周辺画素に限って処理する方
法を用いる場合には、ｂを画素数に変換するテーブルを
準備する。ただし、ｆ、ｄ、ｐの値から画素数を単位と
するｂに直接変換するテーブルを持つこともできる。ま
た被写体の領域全体をぼかす場合には、ｂの大きさに応
じて低域通過フィルタの係数を変更するなど、ぼけ関数
を施す処理に等価あるいは近似するような処理を行う。

【００１２】以上、ひとつの動画像の中の被写体を操作
して復号する場合について述べたが、複数の動画像シー
ケンスの符号化データから任意の被写体を取り上げて復
号し、合成して再生画像を得ることもできる。

【００１３】

【作用】本発明によれば、動画像に含まれる複数の被写
体の領域検出を行い、得られた複数の被写体および背景
を別々に符号化し、復号時に合成する動画像構造化の符
号化および復号化方法において、被写体に対応する個々
の任意形状を持つ領域の輪郭情報を領域毎に基準位置か
らの相対位置として符号化し、前記符号化された個々の
領域の符号化データに、基準位置を表すデータと、撮像
系からの距離を表すデータと、前記撮像系の焦点距離と
被写界深度のデータを付加し、復号処理時には前記相対
位置と撮像系からの距離と焦点距離と被写界深度のデー
タを制御して種々の重なりと焦点深度に応じたぼけを持
った領域の画像データを生成して、前記生成された画像
データを合成して動画像とし、前記動画像を再生する。

【００１４】

【実施例】次ぎに、本発明の実施例を図面を参照して説
明する。

【００１５】図３は本発明の一実施例である動画像符号
化方法のブロック図、図４は復号化方法のブロック図で
ある。

【００１６】動画像の符号化時には、図３に示すよう
に、入力画像０１は領域分割、焦点解析部０２におい
て、背景も含めてｎ個の被写体に分割されると同時に、
焦点距離０３と、被写界深度０４が決定される。

【００１７】被写体１（０５）、被写体２（０６）、・
・・、被写体ｎ（０７）に含まれる画像データはそれぞ
れ符号化部０８、符号化部０９、・・・、符号化部１０
において基準位置１（１１）、基準位置２（１４）、・
・・、基準位置ｎ（１７）と距離１（１２）、距離２
（１５）、・・・、距離ｎ（１８）が計算されると共
に、符号化データ１（１３）、符号化データ２（１
６）、・・・、符号化データｎ（１９）が出力される。

【００１８】動画像への復号時には、図４に示すよう
に、焦点距離２１と被写界深度２２は焦点制御部３２に
おいてどの位置であればどの程度のぼけとなるかを示す
焦点情報３９が計算される。

【００１９】基準位置１（２３）、基準位置２（２
６）、・・・、基準位置ｎ（２９）はそれぞれ位置情報
制御部３３、位置情報制御部３５、・・・、位置情報制
御部３７において画像内での位置が決められ、位置１
（４０）、位置２（４１）、・・・、位置ｎ（４２）が
出力される。

【００２０】符号化データ１（２５）、符号化データ２
（２８）、・・・、符号化データｎ（３１）はそれぞれ
復号部３４、復号部３６、・・・、復号部３８において
画像データに戻され、復号データ１（４３）、復号デー
タ２（４４）、・・・、復号データｎ（４５）が出力さ
れる。

【００２１】焦点情報３９および各被写体に対応する距
離１（２４）、距離２（２７）、・・・、距離ｎ（３
０）および復号データ１（４３）、復号データ２（４
４）、・・・、復号データｎ（４５）はそれぞれ、ぼけ
処理部４６、ぼけ処理部４７、・・・、ぼけ処理部４８
において所望のぼけが加えられ、復号被写体データ１
（４９）、復号被写体データ２（５０）、・・・、復号
被写体データｎ（５１）が出力される。

【００２２】位置１（４０）、位置２（４１）、・・
・、位置ｎ（４２）および復号被写体データ１（４
９）、復号被写体データ２（５０）、・・・、復号被写
体データｎ（５１）は合成部５２において、いくつかの
被写体データが適当な位置および順序で重ねられ、単一
の画像に変換されて表示画像５３として出力される。

【００２３】

【発明の効果】本発明では、動画像の被写体を領域毎に
画像データを圧縮した形態のままで、個々の被写体の画
像内での位置および、重なりとぼけを規定するいくつか
のデータを符号化データに独立な形で付加することによ
り、復号時に、通常の再生に加えて復号画像中の被写体
の操作を自由に行うことができると言う効果がある。

【図面の簡単な説明】

【図１】符号化側での画像構造化の例。

【図２】復号側での再生画像の例。（画像全体の焦点距
離、被写界深度および被写体１、２の距離、基準点を変
更した場合）

【図３】本発明の一実施例である動画像符号化方法のブ
ロック図。

【図４】本発明の一実施例である動画像復号化方法のブ
ロック図。

【符号の説明】

０１入力画像０２領域分割、焦点解析部０３焦点距離０４被写界深度０５被写体１Ｏ６被写体２０７被写体ｎ０８、０９、１０符号化部１１基準位置１１２距離１１３符号化データ１１４基準位置２１５距離２１６符号化データ２１７基準位置ｎ１８距離ｎ１９符号化データｎ２１焦点距離２２被写界深度２３基準位置１２４距離１２５符号化データ１２６基準位置２２７距離２２８符号化データ２２９基準位置ｎ３０距離ｎ３１符号化データｎ３２焦点制御部３３、３５、３７位置情報制御部３４、３６、３８復号部３９焦点情報４０位置１４１位置２４２位置ｎ４３復号データ１４４復号データ２４５復号データ３４６、４７、４８ぼけ処理部４９複号被写体データ１５０復号被写体データ２５１復号被写体データｎ５２合成部５３表示画像

Claims

【特許請求の範囲】

【請求項１】動画像に含まれる複数の被写体の領域検
出を行い、得られた複数の被写体および背景を別々に符
号化し、復号時に合成する動画像構造化の符号化および
復号化方法において、被写体に対応する個々の任意形状を持つ領域の輪郭情報
を領域毎に基準位置からの相対位置として符号化し、前記符号化された個々の領域の符号化データに、基準位
置を表すデータと、撮像系からの距離を表すデータと、
前記撮像系の焦点距離と被写界深度のデータを付加し、復号処理時には前記相対位置と撮像系からの距離と焦点
距離と被写界深度のデータを制御して種々の重なりと焦
点深度に応じたぼけを持った領域の画像データを生成し
て、前記生成された画像データを合成して動画像とし、前記動画像を再生することを特徴とする動画像構造化の
符号化および復号化方法。
【請求項２】前記被写体に対応する符号化データが、基準位置と距離が計算されると共に、出力される請求項
１記載の動画像構造化の符号化および復号化方法。
【請求項３】前記焦点距離と被写界深度が、復号時に、どの位置であればどの程度のぼけとなるかを
示す焦点情報を計算する請求項１記載の動画像構造化の
符号化および復号化方法。
【請求項４】前記基準位置が、画像内の特定位置に決められ、基準位置データとして出
力する請求項１記載の動画像構造化の符号化および復号
化方法。
【請求項５】前記符号化データが、画像データに戻され、復号データを出力する請求項１記
載の動画像構造化の符号化および復号化方法。
【請求項６】前記焦点情報および各被写体対応の距離
および復号データが、所望のぼけ処理を加え、復号被写体データとして出力す
る請求項１記載の動画像構造化の符号化および復号化方
法。
【請求項７】前記相対位置および復号被写体データ
が、個々に適当な位置および順序で重ねられ、単一の画像に
変換されて表示画像として出力する請求項１記載の動画
像構造化の符号化および復号化方法。