JPH10234035A - 画像符号化復号化方法および装置 - Google Patents
画像符号化復号化方法および装置Info
- Publication number
- JPH10234035A JPH10234035A JP3659497A JP3659497A JPH10234035A JP H10234035 A JPH10234035 A JP H10234035A JP 3659497 A JP3659497 A JP 3659497A JP 3659497 A JP3659497 A JP 3659497A JP H10234035 A JPH10234035 A JP H10234035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- drawing command
- texture
- motion
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 超低ビットレートで符号化でき、符号化デー
タのままで検索やノンリニア編集などの様々な画像利用
アプリケーションに対する有効利用が可能なマルチメデ
ィア環境に適した画像符号化技術を提供すること。 【解決手段】 画面上に存在する物体を選択する物体選
択手段と、選択された物体ごとに、その形状、テクスチ
ャ、動きの各特徴量と各物体の位置関係をそれぞれ異な
る描画コマンドにより独立に指定する描画コマンド編集
手段とを用い、原画像について、上記物体選択手段によ
り選択された各物体を上記描画コマンド編集手段により
それぞれ描画コマンドに変換して、画像情報を符号化す
る。
タのままで検索やノンリニア編集などの様々な画像利用
アプリケーションに対する有効利用が可能なマルチメデ
ィア環境に適した画像符号化技術を提供すること。 【解決手段】 画面上に存在する物体を選択する物体選
択手段と、選択された物体ごとに、その形状、テクスチ
ャ、動きの各特徴量と各物体の位置関係をそれぞれ異な
る描画コマンドにより独立に指定する描画コマンド編集
手段とを用い、原画像について、上記物体選択手段によ
り選択された各物体を上記描画コマンド編集手段により
それぞれ描画コマンドに変換して、画像情報を符号化す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画などの動きや
変化のある画像情報を効率的に伝送、蓄積あるいは編集
などの処理をするのに有用な画像符号化復号化方法およ
び装置に関する。
変化のある画像情報を効率的に伝送、蓄積あるいは編集
などの処理をするのに有用な画像符号化復号化方法およ
び装置に関する。
【０００２】近年、米の情報スーパーハイウェイ構想や
インターネットの浸透によって、動画などのマルチメデ
ィア情報通信に関する技術開発が盛んに行われている。
特に、画像データに関しては、そのデータ量が極めて多
いため、いかに圧縮するかが重要であり、様々な研究が
行われている。さらに、単なる圧縮だけではなく、圧縮
されたデータのままで、編集や検索などの画像処理アプ
リケーションに利用できるような画像符号化技術が求め
られている。
インターネットの浸透によって、動画などのマルチメデ
ィア情報通信に関する技術開発が盛んに行われている。
特に、画像データに関しては、そのデータ量が極めて多
いため、いかに圧縮するかが重要であり、様々な研究が
行われている。さらに、単なる圧縮だけではなく、圧縮
されたデータのままで、編集や検索などの画像処理アプ
リケーションに利用できるような画像符号化技術が求め
られている。
【０００３】本発明は、マルチメディアシステム上で動
作し、動画などを極めて少ないデータ量に圧縮できる画
像符号化技術を実現しようとするものであり、具体的に
は、本来画像は実３次元空間内の物体の２次元平面への
投影であると考え、符号化対象の３次元構造情報を画像
モデルとして利用する有用な構造利用符号化技術を提供
する。
作し、動画などを極めて少ないデータ量に圧縮できる画
像符号化技術を実現しようとするものであり、具体的に
は、本来画像は実３次元空間内の物体の２次元平面への
投影であると考え、符号化対象の３次元構造情報を画像
モデルとして利用する有用な構造利用符号化技術を提供
する。
【０００４】本発明によれば、画像は、抽出された物体
別かつそれらの物体の形状、テクスチャ（地色、柄）、
動き、位置関係別に符号化、復号化される。
別かつそれらの物体の形状、テクスチャ（地色、柄）、
動き、位置関係別に符号化、復号化される。
【０００５】
【従来の技術】従来、画像の構造を利用する符号化技術
には大きく分けて以下の３つがあった。 （１）モデルベース符号化 〔文献(1) ：「構造モデルを用いた画像の分析合成符号
化方式」，信学論B-I,Vol.J72-B-I,No.3,pp200-207, 19
89.3月〕符号化対象が限定されている場合には、対象に
関する先験的な知識を利用することができる。文献(1)
では、画像通信において人物顔画像の伝送が重要である
との認識から、顔の３次元構造モデル（ワイヤーフレー
ムモデル）を先験的知識として受信側と送信側で共有す
る符号化技術が述べられている。
には大きく分けて以下の３つがあった。 （１）モデルベース符号化 〔文献(1) ：「構造モデルを用いた画像の分析合成符号
化方式」，信学論B-I,Vol.J72-B-I,No.3,pp200-207, 19
89.3月〕符号化対象が限定されている場合には、対象に
関する先験的な知識を利用することができる。文献(1)
では、画像通信において人物顔画像の伝送が重要である
との認識から、顔の３次元構造モデル（ワイヤーフレー
ムモデル）を先験的知識として受信側と送信側で共有す
る符号化技術が述べられている。
【０００６】送信側では、画像の特徴抽出を行い、ワイ
ヤーフレームモデルを構成する各特徴点が画像のどこに
あるかを検出し、検出結果のみを伝送する。受信側で
は、伝送された認識結果と、送信側と共有しているワイ
ヤーフレームモデルから画像合成を行い、再生画像を得
る。 （２）Object-Oriented Analysis-Synthesis Coding 〔文献(2) ："Object-Oriented Analysis-Synthesis Co
ding Based on MovingTwo-Dimensional Objects", Sign
al Processing:Image Communication 2 Vol.2,No.4, De
c 1990〕図７に、本符号化方式のアルゴリズムを示す。
この符号化ではまず、現在のフレームと１つ前（過去）
のフレームの濃度値の差分をとり、輝度変化のある領域
を検出する。この領域に動物体が存在すると仮定する。
画像特徴の位置変化からこの領域を物体そのものの領域
Ａと、物体が動いたために今まで隠れていた新たに見え
た領域Ｂに分類する。この際、領域Ａが１フレームの間
にどの程度動いたか（動き情報）を抽出する。
ヤーフレームモデルを構成する各特徴点が画像のどこに
あるかを検出し、検出結果のみを伝送する。受信側で
は、伝送された認識結果と、送信側と共有しているワイ
ヤーフレームモデルから画像合成を行い、再生画像を得
る。 （２）Object-Oriented Analysis-Synthesis Coding 〔文献(2) ："Object-Oriented Analysis-Synthesis Co
ding Based on MovingTwo-Dimensional Objects", Sign
al Processing:Image Communication 2 Vol.2,No.4, De
c 1990〕図７に、本符号化方式のアルゴリズムを示す。
この符号化ではまず、現在のフレームと１つ前（過去）
のフレームの濃度値の差分をとり、輝度変化のある領域
を検出する。この領域に動物体が存在すると仮定する。
画像特徴の位置変化からこの領域を物体そのものの領域
Ａと、物体が動いたために今まで隠れていた新たに見え
た領域Ｂに分類する。この際、領域Ａが１フレームの間
にどの程度動いたか（動き情報）を抽出する。
【０００７】被写体としては、剛体ではなく柔軟な２次
元の平面を仮定しており、物体が動く場合には、完全な
平行移動のみということはありえない。よって、領域Ａ
の内部においても、前フレームと現フレームで形状が多
少変化している部分が存在する。そこで、領域Ａについ
ては、前フレームの画像と動き情報から現画像における
予測画像を作成する。そして、予測画像との濃度差を計
算する。濃度差が小さい部分に関しては前フレームにお
ける形状情報と動き情報のみを伝送する。濃度差が大き
い部分については、現画像から形状情報と色情報を符号
化する。また、領域Ｂについては、色情報のみを符号化
する。 （３）Video Odject Plane (VOP) 〔文献(3) ：「MPEG-4ビデオ検証モデル」，1996年TV学
会映像メディア部冬期大会講演予稿集，pp33-38, 1996.
12月〕ＭＰＥＧ−４では、画面上のオブジェクトを別の
プレーン上にある個別符号化対象として扱い、各ＶＯＰ
毎に、 その形状情報を符号化する。
元の平面を仮定しており、物体が動く場合には、完全な
平行移動のみということはありえない。よって、領域Ａ
の内部においても、前フレームと現フレームで形状が多
少変化している部分が存在する。そこで、領域Ａについ
ては、前フレームの画像と動き情報から現画像における
予測画像を作成する。そして、予測画像との濃度差を計
算する。濃度差が小さい部分に関しては前フレームにお
ける形状情報と動き情報のみを伝送する。濃度差が大き
い部分については、現画像から形状情報と色情報を符号
化する。また、領域Ｂについては、色情報のみを符号化
する。 （３）Video Odject Plane (VOP) 〔文献(3) ：「MPEG-4ビデオ検証モデル」，1996年TV学
会映像メディア部冬期大会講演予稿集，pp33-38, 1996.
12月〕ＭＰＥＧ−４では、画面上のオブジェクトを別の
プレーン上にある個別符号化対象として扱い、各ＶＯＰ
毎に、 その形状情報を符号化する。
【０００８】動き情報とテクスチャ情報を符号化す
る。 という２種類の符号化データを作成する。形状情報の符
号化では、形状情報を２値形状（Ｏor２５５：Ｏ→オブ
ジェクト外部の点，２５５→オブジェクト内部の点）の
マスクプレーンとして記述する場合には、従来のファク
シミリ画像の符号化に用いられたＭＭＲをマクロブロッ
ク単位に適用した手法を用いている。また、半透明の場
合を考慮して、１〜２５４の値（アルファ値）で透明度
を表現するグレイスケール形状符号化では、アルファ値
をテクスチャとして従来のＤＣＴ（離散コサイン変換）
による符号化を行う。
る。 という２種類の符号化データを作成する。形状情報の符
号化では、形状情報を２値形状（Ｏor２５５：Ｏ→オブ
ジェクト外部の点，２５５→オブジェクト内部の点）の
マスクプレーンとして記述する場合には、従来のファク
シミリ画像の符号化に用いられたＭＭＲをマクロブロッ
ク単位に適用した手法を用いている。また、半透明の場
合を考慮して、１〜２５４の値（アルファ値）で透明度
を表現するグレイスケール形状符号化では、アルファ値
をテクスチャとして従来のＤＣＴ（離散コサイン変換）
による符号化を行う。
【０００９】動き情報＋テクスチャ情報の符号化は、従
来の標準的な方式と同等のものを用いている。例えば、
マクロブロック単位のブロックマッチングによる動き補
償予測とＤＣＴによるテクスチャ符号化によって実現し
ている。
来の標準的な方式と同等のものを用いている。例えば、
マクロブロック単位のブロックマッチングによる動き補
償予測とＤＣＴによるテクスチャ符号化によって実現し
ている。
【００１０】
【発明が解決しようとする課題】従来例（１）において
は画像と知識（ワイヤーフレームモデル）との対応をと
るために、あるいは従来例（２）においては前フレーム
と現フレームでの動物体の位置の対応をとるために、画
像内の特徴検出を行っている。特徴検出を行うために
は、画像の特徴であるエッジ・色などの特徴検出を行う
必要がある。しかし、実環境においては、照明条件の微
妙な変化など様々な外乱が発生する。例え撮像時間が１
／３０秒（１フレーム間）ずれただけであっても、照明
が変化し、同一物体であっても同じ画像特徴を常に安定
して抽出することは困難である。このため、安定して物
体の特徴検出を行うことができにくいという問題があっ
た。
は画像と知識（ワイヤーフレームモデル）との対応をと
るために、あるいは従来例（２）においては前フレーム
と現フレームでの動物体の位置の対応をとるために、画
像内の特徴検出を行っている。特徴検出を行うために
は、画像の特徴であるエッジ・色などの特徴検出を行う
必要がある。しかし、実環境においては、照明条件の微
妙な変化など様々な外乱が発生する。例え撮像時間が１
／３０秒（１フレーム間）ずれただけであっても、照明
が変化し、同一物体であっても同じ画像特徴を常に安定
して抽出することは困難である。このため、安定して物
体の特徴検出を行うことができにくいという問題があっ
た。
【００１１】また、物体の移動に伴って、対象物体が別
の物体の陰に隠れる（オクルージョン）ことによって、
対象物体の特徴検出を行うことができず、誤認識を起こ
すことも有り得た。
の物体の陰に隠れる（オクルージョン）ことによって、
対象物体の特徴検出を行うことができず、誤認識を起こ
すことも有り得た。
【００１２】さらに、マルチメディア環境で使用される
画像符号化方式としては、低ビットレートであることは
勿論、符号化以外の画像利用アプリケーション、例え
ば、 キーワードのみならずキー画像あるいは、部分画像を
用いた画像検索（例：画像データベースから、川が写っ
ている画像のみを検索する） 画像編集 フレーム単位の挿入／削除のみならず、画像中の物体単
位の挿入／削除／変形などのノンリニア編集 画像合成 ＣＤ画像との合成など に利用できるような画像符号化方式が望まれるが、従来
例ではこのような画像利用アプリケーションは不可能で
あった。
画像符号化方式としては、低ビットレートであることは
勿論、符号化以外の画像利用アプリケーション、例え
ば、 キーワードのみならずキー画像あるいは、部分画像を
用いた画像検索（例：画像データベースから、川が写っ
ている画像のみを検索する） 画像編集 フレーム単位の挿入／削除のみならず、画像中の物体単
位の挿入／削除／変形などのノンリニア編集 画像合成 ＣＤ画像との合成など に利用できるような画像符号化方式が望まれるが、従来
例ではこのような画像利用アプリケーションは不可能で
あった。
【００１３】たとえば従来例（２）では、フレーム単位
で、前フレームとの差等を符号化しているため、符号化
データのままノンリニア編集を行おうとすると、その処
理が複雑になる可能性がある。
で、前フレームとの差等を符号化しているため、符号化
データのままノンリニア編集を行おうとすると、その処
理が複雑になる可能性がある。
【００１４】また従来例（３）では、画像シーケンスを
物体単位にその形状と動き＋テクスチャ情報に分けて符
号化しているが、これらの３種類の情報はいずれもフレ
ーム内のマクロブロックを単位に、従来の標準的な手法
（動き補償＋ＤＣＴ）を用い、２次元平面データとして
符号化している。そのため、様々なノンリニア画像編集
を行う際には、一旦原画と同じ画像シーケンスに復元し
てから行う方が楽である。例えば、白一色の物体の色だ
けを変化させる場合、当該ＶＯＰの全てのマクロブロッ
クのＤＣＴ係数を変更する必要がある等、符号化データ
のままノンリニア編集を行おうとすると、その処理が複
雑になる可能性がある。
物体単位にその形状と動き＋テクスチャ情報に分けて符
号化しているが、これらの３種類の情報はいずれもフレ
ーム内のマクロブロックを単位に、従来の標準的な手法
（動き補償＋ＤＣＴ）を用い、２次元平面データとして
符号化している。そのため、様々なノンリニア画像編集
を行う際には、一旦原画と同じ画像シーケンスに復元し
てから行う方が楽である。例えば、白一色の物体の色だ
けを変化させる場合、当該ＶＯＰの全てのマクロブロッ
クのＤＣＴ係数を変更する必要がある等、符号化データ
のままノンリニア編集を行おうとすると、その処理が複
雑になる可能性がある。
【００１５】本発明の目的は、超低ビットレートで符号
化でき、符号化データのままで検索やノンリニア編集な
どの様々な画像利用アプリケーションに対する有効利用
が可能なマルチメディア環境に適した画像符号化技術を
提供することにある。
化でき、符号化データのままで検索やノンリニア編集な
どの様々な画像利用アプリケーションに対する有効利用
が可能なマルチメディア環境に適した画像符号化技術を
提供することにある。
【００１６】
【課題を解決するための手段】本発明は、画像上に存在
する各物体の特徴量（形状・テクスチャ・動き）と各物
体の位置関係を、独立して指定するアルゴリズムを符号
化／復号側で共有し、原画シーケンス上の各物体の様子
を適当なアルゴリズムで描画することを指定するコマン
ドを次々に発行するような形式の符号化データを作成す
る。このようにすることで、復号側において、コマンド
自身を別なコマンドに変更すること等によって、簡単に
画像のノンリニア編集を行うことができる。
する各物体の特徴量（形状・テクスチャ・動き）と各物
体の位置関係を、独立して指定するアルゴリズムを符号
化／復号側で共有し、原画シーケンス上の各物体の様子
を適当なアルゴリズムで描画することを指定するコマン
ドを次々に発行するような形式の符号化データを作成す
る。このようにすることで、復号側において、コマンド
自身を別なコマンドに変更すること等によって、簡単に
画像のノンリニア編集を行うことができる。
【００１７】図１に、本発明の基本構成を示す。図１に
おいて、符号化装置１は、物体選択手段２と描画コマン
ド編集手段３を有し、物体選択手段２は、符号化対象の
画像データを原画像ファイル４から取り出し、ディスプ
レイ５に表示するとともに、画像の特徴分析を行い、画
像を要素の各物体に分解する。この分解による物体抽出
処理は自動的に行われるが利用者が対話により介入修正
することができる。
おいて、符号化装置１は、物体選択手段２と描画コマン
ド編集手段３を有し、物体選択手段２は、符号化対象の
画像データを原画像ファイル４から取り出し、ディスプ
レイ５に表示するとともに、画像の特徴分析を行い、画
像を要素の各物体に分解する。この分解による物体抽出
処理は自動的に行われるが利用者が対話により介入修正
することができる。
【００１８】利用者は、描画コマンド編集手段３によ
り、抽出された各物体について、物体単位で、その形
状、テクスチャ、動きと、奥行き方向での物体間の位置
関係を指定する描画コマンドを逐次作成する。作成され
た各描画コマンドは、符号化画像ファイル６に符号化画
像データとして蓄積され、さらには伝送されることがで
きる。
り、抽出された各物体について、物体単位で、その形
状、テクスチャ、動きと、奥行き方向での物体間の位置
関係を指定する描画コマンドを逐次作成する。作成され
た各描画コマンドは、符号化画像ファイル６に符号化画
像データとして蓄積され、さらには伝送されることがで
きる。
【００１９】復号化装置７は、描画コマンド実行手段８
を備えている。描画コマンド実行手段８は、入力された
符号化画像データの各描画コマンドを解析して、コマン
ドに指定されている形状、テクスチャ、動き、位置関係
で各物品を描画し、ディスプレイ９に復号化画像を表示
する。
を備えている。描画コマンド実行手段８は、入力された
符号化画像データの各描画コマンドを解析して、コマン
ドに指定されている形状、テクスチャ、動き、位置関係
で各物品を描画し、ディスプレイ９に復号化画像を表示
する。
【００２０】
【作用】本発明においては、入力画像に対してまずエッ
ジなどの画像の特徴抽出を行い、画像を何らかの意味的
にまとまった物体領域（セル画）に分類する。この時、
外乱のために画像特徴が安定して抽出できなかったり、
誤って抽出されるなどして送信者の意図通りにセル画化
できない場合には、インタラクティブ操作（対話）によ
って修正を加える。
ジなどの画像の特徴抽出を行い、画像を何らかの意味的
にまとまった物体領域（セル画）に分類する。この時、
外乱のために画像特徴が安定して抽出できなかったり、
誤って抽出されるなどして送信者の意図通りにセル画化
できない場合には、インタラクティブ操作（対話）によ
って修正を加える。
【００２１】分析された各セルを基に、インタラクティ
ブ操作により人間の創造性を利用して符号化画像を作成
する。図２に、本発明による描画コマンドを用いた符号
化処理の具体例を示す。
ブ操作により人間の創造性を利用して符号化画像を作成
する。図２に、本発明による描画コマンドを用いた符号
化処理の具体例を示す。
【００２２】図２において、例示された原画像は、空、
家、花畑、木を含む写真画像である。この原画像の特徴
抽出を行うことにより、空、家、花畑、木など、種々の
物体領域が分解抽出され得る。利用者は、インタラクテ
ィブ操作により、物体領域の境界を修正したり、伝送に
不要なセル画を削除することができる。図示の例では、
伝送を意図する画像のシーンは、空、家、花畑、木があ
れば十分に記述できるため、これらが順次選択され、そ
れぞれについて描画コマンドによる符号化が行われる。
描画コマンドは、コマンド群＃１，＃２，・・・に示さ
れるように、各セル画の形状、テクスチャ、動きについ
て別々に作成される。コマンドの配列は、画面の奥の物
体から前面の物体へと奥行き方向での物体の位置関係を
表すものと規定することができるが、独立した描画コマ
ンドにより各物体の位置関係を指定するようにしてもよ
い。各物体の形状は、単純化やシンボル化など任意にデ
フォルメすることができ、また画面上での位置も変更可
能である。テクスチャや動きについても同様に適切な変
更や創作を加えて描画コマンドを作成することができ
る。
家、花畑、木を含む写真画像である。この原画像の特徴
抽出を行うことにより、空、家、花畑、木など、種々の
物体領域が分解抽出され得る。利用者は、インタラクテ
ィブ操作により、物体領域の境界を修正したり、伝送に
不要なセル画を削除することができる。図示の例では、
伝送を意図する画像のシーンは、空、家、花畑、木があ
れば十分に記述できるため、これらが順次選択され、そ
れぞれについて描画コマンドによる符号化が行われる。
描画コマンドは、コマンド群＃１，＃２，・・・に示さ
れるように、各セル画の形状、テクスチャ、動きについ
て別々に作成される。コマンドの配列は、画面の奥の物
体から前面の物体へと奥行き方向での物体の位置関係を
表すものと規定することができるが、独立した描画コマ
ンドにより各物体の位置関係を指定するようにしてもよ
い。各物体の形状は、単純化やシンボル化など任意にデ
フォルメすることができ、また画面上での位置も変更可
能である。テクスチャや動きについても同様に適切な変
更や創作を加えて描画コマンドを作成することができ
る。
【００２３】本発明により符号化された画像データは、
復号化の段階においても、描画コマンドのデータレベル
で再編集することができ、各物体の形状・テクスチャ・
動きそれぞれのコマンドを別なコマンドに変更したり、
パラメータの内容を変更することによって、簡単に画像
を加工し、原画とは異なる画像を生成することができ
る。
復号化の段階においても、描画コマンドのデータレベル
で再編集することができ、各物体の形状・テクスチャ・
動きそれぞれのコマンドを別なコマンドに変更したり、
パラメータの内容を変更することによって、簡単に画像
を加工し、原画とは異なる画像を生成することができ
る。
【００２４】また本発明の画像符号化によれば、画像シ
ーケンスは従来のようなフレーム単位に２次元の画素デ
ータが配列されているのではなく、画像上の物体毎に形
状・テクスチャ・動きの様子を指定するコマンドとして
記述されているので、あるコマンドの有無を調べること
によって、専用の検索キー情報を用意することなく、簡
単に内容参照型の画像検索を行うことができる。
ーケンスは従来のようなフレーム単位に２次元の画素デ
ータが配列されているのではなく、画像上の物体毎に形
状・テクスチャ・動きの様子を指定するコマンドとして
記述されているので、あるコマンドの有無を調べること
によって、専用の検索キー情報を用意することなく、簡
単に内容参照型の画像検索を行うことができる。
【００２５】
【発明の実施の形態】図３ないし図６により、本発明の
実施の形態を説明する。図３は、本発明で使用できる描
画コマンドの例を示している。図３の（ａ）は描画コマ
ンドのフォーマット（データ形式）であり、描画識別子
と、表示開始フレーム、表示終了フレーム、パラメータ
／テクスチャデータで構成される。
実施の形態を説明する。図３は、本発明で使用できる描
画コマンドの例を示している。図３の（ａ）は描画コマ
ンドのフォーマット（データ形式）であり、描画識別子
と、表示開始フレーム、表示終了フレーム、パラメータ
／テクスチャデータで構成される。
【００２６】描画識別子は復号画像を生成するための描
画方式を指定するための識別子であり、符号化に際して
それらの描画方式の各手法は、送受信側で予め共有され
ている。
画方式を指定するための識別子であり、符号化に際して
それらの描画方式の各手法は、送受信側で予め共有され
ている。
【００２７】描画方式の具体的な例を図３の（ｂ）に示
す。描画方式は物体の形状を指定するもの、テクスチャ
を指定するもの、動きに関するものに分類され、それぞ
れパラメータ量は多いが原画に非常に近い高画質の画像
を生成するタイプのコマンド（例えば原画テクスチャを
そのまま付与するコマンド）から、原画とはＳＮＲ評価
の観点では必ずしも一致しないが、パラメータ量の少な
いタイプのもの（例えば一色塗りコマンド）まで、種々
のレベルのものが用意されている。利用者は、形状、テ
クスチャ、動きそれぞれの描画方式のタイプの中から適
切なものを選択し、対応する描画コマンドを作成する。
す。描画方式は物体の形状を指定するもの、テクスチャ
を指定するもの、動きに関するものに分類され、それぞ
れパラメータ量は多いが原画に非常に近い高画質の画像
を生成するタイプのコマンド（例えば原画テクスチャを
そのまま付与するコマンド）から、原画とはＳＮＲ評価
の観点では必ずしも一致しないが、パラメータ量の少な
いタイプのもの（例えば一色塗りコマンド）まで、種々
のレベルのものが用意されている。利用者は、形状、テ
クスチャ、動きそれぞれの描画方式のタイプの中から適
切なものを選択し、対応する描画コマンドを作成する。
【００２８】表示開始／終了フレームは、各物体が画像
上に現れた先頭／最終フレームを示す。パラメータ／テ
クスチャデータは、物体を表示するアルゴリズムが描画
の際に必要なデータである。これらのデータは各コマン
ドによって異なり、例えば物体の動きとしてアフィン変
換による動きを指定するコマンドでは、平行移動・回転
・拡大／縮小のパラメータ値が設定されており、物体の
形状として円形を指定するコマンドでは中心座標値と半
径の長さがセットされている。また、各物体が奥行き方
向にどのように配置されているかを示すレイヤに関する
コマンドも用意されている。各コマンドで記述された物
体は、レイヤコマンドによって遠くにある物体から描画
され、重ね合わせて復号画像を生成する。
上に現れた先頭／最終フレームを示す。パラメータ／テ
クスチャデータは、物体を表示するアルゴリズムが描画
の際に必要なデータである。これらのデータは各コマン
ドによって異なり、例えば物体の動きとしてアフィン変
換による動きを指定するコマンドでは、平行移動・回転
・拡大／縮小のパラメータ値が設定されており、物体の
形状として円形を指定するコマンドでは中心座標値と半
径の長さがセットされている。また、各物体が奥行き方
向にどのように配置されているかを示すレイヤに関する
コマンドも用意されている。各コマンドで記述された物
体は、レイヤコマンドによって遠くにある物体から描画
され、重ね合わせて復号画像を生成する。
【００２９】次にノンリニア画像編集への適用につい
て、図４のＡ〜Ｄに示すような、プレイヤがボールをラ
ケットで弾ませている手元の場面から始まって、観客の
前で二人のプレイヤがボールを打ち合っている画像シー
ケンスについて、ボールのテクスチャを変更したり、ボ
ールの軌跡表示を行う例により説明する。
て、図４のＡ〜Ｄに示すような、プレイヤがボールをラ
ケットで弾ませている手元の場面から始まって、観客の
前で二人のプレイヤがボールを打ち合っている画像シー
ケンスについて、ボールのテクスチャを変更したり、ボ
ールの軌跡表示を行う例により説明する。
【００３０】図４のＡに示す画像を、原画に近い形で符
号化および復号化した画像が図５のＡである。画面上の
各物体（壁・ボール・ラケット・プレイヤなど）は、そ
れぞれ描画コマンドによって記述されている。例えば、
背景である壁は、その形状として全画面を覆う矩形とし
て指定し、そのテクスチャは原画の壁のテクスチャの一
部をランダムに並べて貼り付けている。
号化および復号化した画像が図５のＡである。画面上の
各物体（壁・ボール・ラケット・プレイヤなど）は、そ
れぞれ描画コマンドによって記述されている。例えば、
背景である壁は、その形状として全画面を覆う矩形とし
て指定し、そのテクスチャは原画の壁のテクスチャの一
部をランダムに並べて貼り付けている。
【００３１】ボール形状は円形を指定するコマンドで記
述され、テクスチャは原画像から抽出した一色（白）で
塗るコマンドを発行している。また、動きについては、
原画シーケンスにおいてブロックマッチングによる動き
追跡を行い、各フレーム間の動ベクトルを抽出して指定
している。
述され、テクスチャは原画像から抽出した一色（白）で
塗るコマンドを発行している。また、動きについては、
原画シーケンスにおいてブロックマッチングによる動き
追跡を行い、各フレーム間の動ベクトルを抽出して指定
している。
【００３２】ここで、ボール形状を指定するコマンドの
パラメータ（半径）を変更させて大きな円を指定し、ま
たボールについて一色塗りのテクスチャコマンドを削除
して別画像から円形の人物顔の画像データをボール内に
付与するコマンドを追加した画像を図５のＢに示す。ま
た、ボールの動きに対して軌跡を表示させ、画像上の動
きを一枚の画像に重ね合わせた画像を図５のＣに示す。
パラメータ（半径）を変更させて大きな円を指定し、ま
たボールについて一色塗りのテクスチャコマンドを削除
して別画像から円形の人物顔の画像データをボール内に
付与するコマンドを追加した画像を図５のＢに示す。ま
た、ボールの動きに対して軌跡を表示させ、画像上の動
きを一枚の画像に重ね合わせた画像を図５のＣに示す。
【００３３】また原画シーケンスでは、カメラのズーム
アウト・パンによって静止物体であるポスターや台など
が、表示に際して画面上を動いて見えるようになってい
る。ここで、これらの物体は静止物体であることをパラ
メータ指示し、画面の枠を拡大／変形することによっ
て、図６に示すようなシーン全体での物体の位置関係を
把握できるパノラマ画像を作成することができる。
アウト・パンによって静止物体であるポスターや台など
が、表示に際して画面上を動いて見えるようになってい
る。ここで、これらの物体は静止物体であることをパラ
メータ指示し、画面の枠を拡大／変形することによっ
て、図６に示すようなシーン全体での物体の位置関係を
把握できるパノラマ画像を作成することができる。
【００３４】次に画像の内容参照型検索について述べ
る。たとえば図４の画像シーケンスを含む画像データベ
ースにおいて、白いボールが映っているシーンのみを検
索したい場合には、符号化データ（コマンド群）におい
て、同一の物体に対して形状として円形を指定している
コマンドとテクスチャとして白一色を指定しているコマ
ンドが含まれる画像シーケンスを検索すればよい。
る。たとえば図４の画像シーケンスを含む画像データベ
ースにおいて、白いボールが映っているシーンのみを検
索したい場合には、符号化データ（コマンド群）におい
て、同一の物体に対して形状として円形を指定している
コマンドとテクスチャとして白一色を指定しているコマ
ンドが含まれる画像シーケンスを検索すればよい。
【００３５】
【発明の効果】本発明によれば、復号画像に対して、各
物体の形状・テクスチャ・動きはそれぞれ別々のコマン
ドで記述されており、コマンド自身を別なコマンドに変
更したり、パラメータの内容を変更することによって、
簡単に画像を加工し、原画とは異なる画像を生成するこ
とができる。そのため、 (1) 物体の色や形、動きなどを独立に変更させることに
よって、ノンリニアな画像編集を行うことができる。 (2) 表示開始／終了フレーム値を一定の割合で縮小すれ
ば、復号側で概要把握のために復号画像を短時間で表示
することができる。 (3) 画像上の動きを一枚の画像に重ね合わせて描画し、
動画の軌跡を表示できる。 (4) 画像上の各物体の動きには、撮影しているカメラが
移動（ズーム・パン）するために相対的に動いて見える
ような場合がある。そこで、動画表示に際して、カメラ
ワークにより同一画面内で静止物体を動かすのではな
く、カメラの動きに合わせて画面枠を変化させ、画像シ
ーケンス内にある物体の位置関係が一目で把握できるよ
うなパノラマ画像を生成することができる。といった、
空間的な画像の編集のみならず、時間軸方向を含めた様
々な編集操作が可能となる。さらに、 (5) 特別な検索キーを用意することなく、内容参照型の
画像検索を行うことができる。 といった利点がある。
物体の形状・テクスチャ・動きはそれぞれ別々のコマン
ドで記述されており、コマンド自身を別なコマンドに変
更したり、パラメータの内容を変更することによって、
簡単に画像を加工し、原画とは異なる画像を生成するこ
とができる。そのため、 (1) 物体の色や形、動きなどを独立に変更させることに
よって、ノンリニアな画像編集を行うことができる。 (2) 表示開始／終了フレーム値を一定の割合で縮小すれ
ば、復号側で概要把握のために復号画像を短時間で表示
することができる。 (3) 画像上の動きを一枚の画像に重ね合わせて描画し、
動画の軌跡を表示できる。 (4) 画像上の各物体の動きには、撮影しているカメラが
移動（ズーム・パン）するために相対的に動いて見える
ような場合がある。そこで、動画表示に際して、カメラ
ワークにより同一画面内で静止物体を動かすのではな
く、カメラの動きに合わせて画面枠を変化させ、画像シ
ーケンス内にある物体の位置関係が一目で把握できるよ
うなパノラマ画像を生成することができる。といった、
空間的な画像の編集のみならず、時間軸方向を含めた様
々な編集操作が可能となる。さらに、 (5) 特別な検索キーを用意することなく、内容参照型の
画像検索を行うことができる。 といった利点がある。
【図１】本発明の基本構成図である。
【図２】描画コマンドを用いた符号化処理の具体例を示
す説明図である。
す説明図である。
【図３】描画コマンドの説明図である。
【図４】原画シーケンス例の説明図である。
【図５】画像加工例の説明図である。
【図６】パノラマ画像例の説明図である。
【図７】従来例（２）の符号化方式の説明図である。
１：符号化装置 ２：物体選択手段 ３：描画コマンド編集手段 ４：原画像ファイル ５：ディスプレイ ６：符号化画像ファイル ７：復号化装置 ８：描画コマンド実行手段 ９：ディスプレイ
【手続補正書】
【提出日】平成９年２月２６日
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正内容】
【図１】
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正内容】
【図２】
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正内容】
【図３】
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正内容】
【図４】
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正内容】
【図５】
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正内容】
【図６】
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原島 博 東京都港区芝二丁目31番19号 バンザイビ ル６Ｆ 通信・放送機構内 (72)発明者 金子 正秀 東京都港区芝二丁目31番19号 バンザイビ ル６Ｆ 通信・放送機構内
Claims (11)
- 【請求項１】 画像上に存在する物体を選択する物体選
択手段と、選択された物体ごとに、その形状、テクスチ
ャ、動きの各特徴量と各物体の位置関係をそれぞれ異な
る描画コマンドにより独立に指定する描画コマンド編集
手段とを用い、 原画像について、上記物体選択手段により選択された各
物体を上記描画コマンド編集手段によりそれぞれ描画コ
マンドに変換して、画像情報を符号化することを特徴と
する画像符号化方法。 - 【請求項２】 請求項１において、描画コマンドは、描
画識別子と、表示開始フレームと、表示終了フレーム
と、パラメータと、必要に応じてテクスチャデータとを
含むものであることを特徴とする画像符号化方法。 - 【請求項３】 請求項１において、描画コマンド編集手
段は、描画コマンドを変更、追加および削除する機能を
有することを特徴とする画像符号化方法。 - 【請求項４】 請求項２において、描画コマンドが物体
の動きを指定するものである場合、パラメータは、その
動きが空間内での物体固有の動きであるか、カメラワー
クに基づく動きであるかを指定する情報を含むことを特
徴とする画像符号化方法。 - 【請求項５】 画像上の物体の形状、テクスチャ、動き
の各特徴量と各物体の位置関係をそれぞれ独立に指定す
る描画コマンドを解析して、そこに指定されている特徴
量の形状、テクスチャ、動きあるいは位置関係で物体の
描画を実行する描画コマンド実行手段を用い、 上記描画コマンドにより符号化されている入力データに
ついて、その中の各描画コマンドを、上記描画コマンド
実行手段により実行して対応する物体を描画し、復号化
することを特徴とする画像復号化方法。 - 【請求項６】 請求項５において、描画コマンドは、描
画識別子と、表示開始フレームと、表示終了フレーム
と、パラメータと、必要に応じてテクスチャデータとを
含むものであることを特徴とする画像復号化方法。 - 【請求項７】 請求項６において、描画コマンド実行手
段は、表示開始フレームと表示終了フレームの間の動画
のフレームを指示により一定の割合で削減し、動画を短
時間で表示することを特徴とする画像復号化方法。 - 【請求項８】 請求項５において、描画コマンド実行手
段は、描画コマンドが物体の動きを指定するものである
場合，その動きが空間内での物体固有の動きであるが、
カメラワークに基づく動きであるかをパラメータに指定
されている情報により識別し、カメラワークに基づく動
きが指定されている場合、当該物体を静止物体とし、画
面の枠をカメラワークに応じて拡大変形してパノラマ画
像を生成することを特徴とする画像復号化方法。 - 【請求項９】 画像上に存在する物体を選択する物体選
択手段と、 選択された物体ごとに、その形状、テクスチャ、動きの
各特徴量と各物体の位置関係をそれぞれ異なる描画コマ
ンドにより独立に指定する描画コマンド編集手段と、を
備えていることを特徴とする画像符号化装置。 - 【請求項１０】 画像上に存在する物体を選択する物体
選択手段と、 選択された物体ごとに、その形状、テクスチャ、動きの
各特徴量と各物体の位置関係をそれぞれ異なる描画コマ
ンドにより独立に指定する描画コマンド編集手段と、 描画コマンドを解析して、そこに指定されている特徴量
の形状、テクスチャ、動きあるいは位置関係で対応する
物体の描画を実行する描画コマンド実行手段と、を備え
ていることを特徴とする画像符号化復号化装置。 - 【請求項１１】 画像上の物体の形状、テクスチャ、動
きの各特徴量と各物体の位置関係をそれぞれ独立に指定
する描画コマンドを入力とし、該描画コマンドを解析し
てそこに指定されている特徴量の形状、テクスチャ、動
きあるいは位置関係で対応する物体の描画を実行する描
画コマンド実行手段を備えていることを特徴とする画像
復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3659497A JPH10234035A (ja) | 1997-02-20 | 1997-02-20 | 画像符号化復号化方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3659497A JPH10234035A (ja) | 1997-02-20 | 1997-02-20 | 画像符号化復号化方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10234035A true JPH10234035A (ja) | 1998-09-02 |
Family
ID=12474118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3659497A Pending JPH10234035A (ja) | 1997-02-20 | 1997-02-20 | 画像符号化復号化方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10234035A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007306559A (ja) * | 2007-05-02 | 2007-11-22 | Mitsubishi Electric Corp | 画像特徴符号化方法及び画像検索方法 |
| CN110645917A (zh) * | 2019-09-24 | 2020-01-03 | 东南大学 | 基于阵列式相机的高空间分辨率三维数字图像测量方法 |
-
1997
- 1997-02-20 JP JP3659497A patent/JPH10234035A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007306559A (ja) * | 2007-05-02 | 2007-11-22 | Mitsubishi Electric Corp | 画像特徴符号化方法及び画像検索方法 |
| CN110645917A (zh) * | 2019-09-24 | 2020-01-03 | 东南大学 | 基于阵列式相机的高空间分辨率三维数字图像测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220215628A1 (en) | Methods and systems for producing content in multiple reality environments | |
| US6205260B1 (en) | Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes | |
| US9615082B2 (en) | Image sequence enhancement and motion picture project management system and method | |
| US6738424B1 (en) | Scene model generation from video for use in video processing | |
| US9270965B2 (en) | Multi-stage production pipeline system | |
| US6266068B1 (en) | Multi-layer image-based rendering for video synthesis | |
| US7894633B1 (en) | Image conversion and encoding techniques | |
| JP3177221B2 (ja) | 興味深いシーンのイメージを表示するための方法及び装置 | |
| US6047088A (en) | 2D mesh geometry and motion vector compression | |
| US8385684B2 (en) | System and method for minimal iteration workflow for image sequence depth enhancement | |
| CA2446150C (en) | Image sequence enhancement system and method | |
| WO2012058490A2 (en) | Minimal artifact image sequence depth enhancement system and method | |
| US20130183023A1 (en) | Motion picture project management system | |
| CN110035321A (zh) | 一种在线实时视频的装饰方法与系统 | |
| EP2812894A2 (en) | Motion picture project management system | |
| AU2015213286B2 (en) | System and method for minimal iteration workflow for image sequence depth enhancement | |
| CN113037947B (zh) | 一种连续动态图像中空间信息的编码方法 | |
| JPH10234035A (ja) | 画像符号化復号化方法および装置 | |
| Bove | Object-oriented television | |
| WO2001049028A1 (en) | Scene model generation from video for use in video processing | |
| JP3772185B2 (ja) | 画像符号化方式 | |
| JP2001008231A (ja) | ３次元空間における物体の多視点画像伝送方法及びシステム | |
| Lee et al. | Panoramic video representation using mosaic image | |
| CN117274140A (zh) | 基于色度抠像的图像合成方法、装置及视频直播系统 | |
| JPH06274597A (ja) | ビデオ映像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041001 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |