WO2000054512A1 - Method and apparatus for coding moving picture image - Google Patents

Description

明 細 書

動画像符号化装置お よ び動画像複号化装置 技術分野

本発 明 は 、 符号化 さ れた動画像 Z静止画像 を I S D N

( Integrated Services Digital etwork ) やイ ン タ 一 不 ッ ト 等 の 有線通信網 、 あ る い は P H S や衛星通信等 の無線通信 網 を 用 い て 伝送す る 情報伝送方式お よ びそ の方法が適用 さ れ る 情報伝送 シ ス テ ム に お け る 符号化 Z複号化装置 に 関す る 。 背景技術

近年、 画像 を は じ め と す る 各種情報のデ ィ ジ タ ル符号化技 術お よ び広帯域ネ ッ ト ワ ー ク 技術の進展 に よ り 、 こ れ ら を禾 IJ 用 し た ア プ リ ケ ー シ ョ ン の 開発 が盛ん に な つ て お り 、 圧縮符 号化 し た画像 な ど を 、 通信網 を利用 し て伝送す る シ ス テ ム 力 S 開 発 さ れて レヽ る 。

例 え ば 、 テ レ ビ 電話 、 テ レ ビ 会 議 シ ス テ ム 、 デ ィ ジ タ ノレ テ レ ビ放送 に お いて は 、 動画像や音声 を そ れぞれ少 な い情報量 に圧縮符号化 し 、 そ れ ら 圧縮 さ れた動画像符号列 、 音声符号 列や他のデー タ 符号列 を 多重化 し て 一つ の符号列 に ま と め て 伝送 Z蓄積す る 技術が 用 い ら れて い る 。

動画像信号の圧縮符号化技術 と し て は動 き 補償、 離散 コ サ イ ン 変 換 （ D C T ) 、 サ ブノく ン ド符号化 、 ピ ラ ミ ッ ド符 号化 可変長符号化等 の技術や、 こ れ ら を組み合 わせた 方式が 開発 さ れて い る 。 ま た 、 動画像符号化の 国 際標準方式 と し て は I S O M P E G — 1 , M P E G — 2 , I T U - T H . 2 6 1 , H . 2 6 2 , H . 2 6 3 力 存在 し 、 ま た動画像、 音声 ' オーデ ィ ォ信号を圧縮 し た符号列や他のデー タ を 多重化す る 国 際標準方式 と し て は I S O M P E G シ ス テ ム 、 I T U — T H . 2 2 1 , H . 2 2 3 力 S存在す る 。

上述 の動画像符号化国際標準方式の よ う な従来の動画像符 号化方式にお い て は 、 動画像信号 を フ レ ー ム 毎 に分割 し 、 さ ら に フ レ ー ム を 細 力 レ、領域に 分割 し た G O B (Group Of B 1 o c k )ゃマ ク ロ ブ 口 ッ ク 等 の 単位毎 に符号化 が行われ、 こ の フ レー ム 、 G O B 、 マ ク ロ ブ ロ ッ ク 毎 に符号化のモ ー ド等 を 示すヘ ッ ダ情報が付力 _D さ れ る 。 こ れ ら のへ ッ ダ情報 はそ の フ レ ー ム 、 G ◦ B 等全体の復号に必ず必要 な情報で あ る 。

こ の た め 、 も しヘ ッ ダ情報 に伝送路 /蓄積媒体におい て誤 り が混入 し 、 それが た め に動画像符号化装置 において正 し く 復号が で き な い と 、 そ のヘ ッ ダ情報の あ る フ レ ー ム 、 G O B 等 全体が 正 し く 復号で き ず 、 動画像復号化装置 にお け る 再生 動画像 の 品 質が 大 き く 劣化 し て し ま う こ と に な る 。

す な わ ち 、 圧縮符号化 さ れた画像 を通信網 を利用 し て伝送 す る 場合 に は 、 受信側 で は伝送 さ れて き た " 0 " / " 1 " の ビ ッ ト 列 カゝ ら 、 意味の あ る 情報 を 再生す る 復号処理が必要 に な る 。

そ の た め に は 、 一 定の ビ ッ ト 列 の ま と ま り 力 S ど の よ う な規 則 の も と に符号化 さ れて き た も の な の か を 指 し示す情報 と し て 、 前述 のヘ ッ ダ情報が非常 に重要 に な る こ のヘ ッ グ と は例 え ば、 現在復号 し て い る フ レ ー ム の 予測 タ イ プ （ フ レ ー ム 内 の符号化で あ る か、 フ レー ム 間 の符号化で あ る か、 等） 、 そ の フ レー ム を表示す る タ イ ミ ン グ を示す情報 （ タ イ ム ' レ フ ァ ラ ン ス ） 、 あ る い は量子化 を行 う 際の ス テ ッ プサ ィ ズ情報 な ど で あ る 。

従 っ て 、 こ れ ら のヘ ッ ダ情報が失われて し ま う と 、 それ以 後 に伝送 さ れて き た情報が 正 し く 復号で き な い こ と に な る 。

例 え ば前記 フ レ ー ム の予測 タ イ プが 、 本来は フ レ ー ム 間 の 符号化 で あ る こ と を 示 し て レ、 た に も 関 わ ら ず 、 何 ら かの原 因 で ビ ッ ト 歹 U に誤 り が 混入 し 、 フ レー ム 内 の符号化 を示す ビ ッ ト ノ タ ー ン に変化 し た と す る 。 こ の場合、 そ の後 の 実際 の情 報が 正 し く 伝送 さ れて き た と し て も 、 復号側 で は そ の信号 を フ レ ー ム 内符号化 の結果 と 判 断 し て し ま う た め 、 最終的 に は 正 し く 復号 さ れな い こ と に な る 。

よ っ て 、 動画像符号化装置 にお け る 再生動画像の 品質が 大 き く 劣化 し て し ま う こ と に な る 。

こ の よ う な誤 り の 混入 は 、 特 に無線テ レ ビ電話や携帯情報 端末 、 無線デ ィ ジ タ ルテ レ ビ受信装置等の よ う に無線伝送路 を 介 し て 動画像 を伝送 Z蓄積す る シ ス テ ム を 用 い た場合 に 多 発す る 。

従来の画像伝送 は 、 有線通信網 を 用 いた シ ス テ ム が 主流で あ り 、 仮 に無線通信網 を 用 い る 場合で も 誤 り 率が非常 に少 な い衛星通信 を想定 し て い た。 従 っ て 、 伝送す る 符号化列 の構 造 自 体 に つ い て の誤 り 耐性 につ いて は十分 な 考慮が な さ れて お ら ず、 ヘ ッ ダ情報等の重要情報 に対す る 伝送路誤 り 保護が 十分 で は な か っ た。

一方 、 今 後 の移動体通信 の 主流の一つ に な る と な る と 見 ら れ る P H S (簡易型携帯電話 （Portable Handyphone System) ) で は誤 り 率が衛星通信の十万倍〜 百万倍程度 に な る た め 、 従来の よ う に符号化 さ れた ビ ッ ト 列 に誤 り 訂正 を施 し た だ け で は十分 な訂正が不可能 な状態 に な る 。

ま た 、 P H S と 同様に今後 の通信の 主流に な る と 予想 さ れ る イ ン タ 一ネ ッ ト で は 、 レ、つ 、 ど の よ う な誤 り が 混入す る 力、 が統計的 に 明 ら かに な っ て お ら ず 、 適切 な誤 り 訂正が行 え な い場合 も あ る 。

し カゝ し な 力 S ら 従来の構成 に お い て は 、 H E C を 用 い て 二重 かで き る 情報 中 に は 、 任意形状 の画像符号化 の 際 に必要 と な る 情報が含 ま れて お ら ず、 オブ ジ ェ ク ト 単位で任意形状の画 像 を復号化 し た場合 に伝送誤 り に よ り V 〇 P ヘ ッ ダ情報 が失 われた場合 に 、 正 し く 復号で き な い と レヽ つ た 問題が あ っ た。

そ れ故、 任意形状 の画像符号化 を 用 い て符号化 さ れた符号 列 を伝送す る 場合 に 、 伝送デー タ の誤 り 耐性が 弱 く な つ て し ま う と レヽ ぅ 問題点 が あ っ た。

本発 明 に よ り 、 任意形状画像符号化の場合 で も 従来の長方 形画像の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が可能 と な る 。

発明 の 開 示

第 1 の発 明 は、 入力 さ れた動画像 を符号化 し て ビ ッ ト 列 を 生成す る 符号化部 と 、 こ の符号化部 に よ り 得 ら れ る 符号化情 報か ら 一 定の ビ ッ ト 列 の纏ま り 力 S ど の よ う な規則 の も と に符 号化 さ れて レ、 る か を指 し示す情報 と し て の重要情報 を 取 り 出 し て構成す る 重要情報構成部 と 、 同期信号 を 発生す る 同期信 号発生部 と 、 前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 に前 記 同期発生部か ら 出 力 さ れた 同期信号 と 前記重要情報構成部 に よ り 再構成 さ れた重要情報 を加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と を有す る 動画像符号化装置 を提供す る 。

第 2 の発 明 は 、 第 1 の発 明 にお け る 重要情報構成部 が符号 化情報 か ら フ レ ー ム を 方形領域単位で符号化す る 通常 の符号 化方式にお け る 重要情報 で あ る 通常画像 関連情報 を構成す る 通 常画像 関連重要情報構成部 と 、 符号化情報 か ら フ レ ー ム 内 の 画像 を 任意形状画像領域単位で符号化す る 任意形状符号化 方式に お け る 重要情報で あ る 任意形状画像関連重要情報 を構 成す る 任意形状画像 関連重要情報構成部 と 、 符号化情報か ら 符号化 し て い る 画像が任意形状画像で あ る か否かを判 定す る 任意形状符号化判定部 と 、 こ の任意形状符号化判 定部 が任意 形状画像 と 判 定 し た場合 に任意形状画像関連重要情報 を 出 力 す る 切替部 と 、 通 常画像 関連情報 と 切替部 の 出 力 と を 多重化 す る 多重化部 と か ら 構成 さ れて い る 画像符号化装置 を 提供す る 。

第 3 の 発 明 は 、 動画像 を 符号化 し て 同期情報 を含む ビ ッ ト 歹 IJ を 得 る と 共 に 、 こ の符号化 に お け る 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に 符号化 さ れた か を指 し示す情報 と し て の 重要情報 をヘ ッ ダ情報 と し て付カ卩 し た ビ ッ ト 列 を含 む符号化デー タ を復号す る 復号化装置で あ っ て 、 入力 さ れた ビ ッ ト 列 か ら 画像 ビ ッ ト 歹 lj を 分離す る 分離部 と 、 画像 ビ ッ ト 列 を 復号す る 復号化部 と 、 画像 ビ ッ ト 列 か ら 同期信号 を検 出 し復号化部へ通知す る 同期信号検 出部 と 、 復号化部の復号情 報 に誤 り が 存在 し な レ、 カゝ ど う カゝを判定す る エ ラ ー チ ェ ッ ク 部 と 、 こ の エ ラ 一 チ ェ ッ ク 部が誤 り な し と 判定 した と き 、 復号 化部 か ら 出 さ れたへ ッ ダ情報 か ら 重要情報 を構成 し 、 複号化 部 に通知す る 重要情報構成部 と を 有す る 画像復号化装置 を提 供す る 。

第 4 の 発 明 は 、 前記第 3 の 発 明 に お け る 重要情報構成部 が へ ッ ダ情報か ら 通常画像関連重要情報 を構成す る 通常画像関 連重要情報構成部 と 、 へ ッ ダ情報か ら 復号化 し て い る 画像が 任意形状画像か ど う か を判 定す る 任意形状符号化判定部 と 、 へ ッ ダ情報か ら 任意形状画像関連重要情報 を構成す る 任意形 状画像 関連重要情報構成部 と 、 任意形状符号化判 定部 が任意 形状画像 と 判 定 し た場合 に 、 へ ッ ダ情報 を任意形状画像 関連 情報再構成部へ入力 す る 第 1 の切替部 と 、 任意形状符号化判 定部 で任意形状画像 と 判定 し た場合 に 、 任意形状画像 関連重 要情報 を 出 力 す る 第 2 の切替部 と か ら 構成 さ れて レ、 る 画像復 号化装置 を提供す る 。

第 5 の発 明 は 、 入力 さ れた動画像 を符号化 し て ビ ッ ト 列 を 得 る 符号化部 と 、 符号化部 に よ り 得 ら れ る 符号化情報か ら一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れ て レ、 る か を指 し示す情報 と し て の重要情報 を 取 り 出 し て構成 す る 重要情報構成部 と 、 符号化部 に よ り 符号化 さ れた ビ ッ ト 歹リ を 分割す る ビ ッ ト 列分割部 と 、 重要情報構成部 に よ り 再構 成 さ れた重要情報か ら バ ケ ツ ト ヘ ッ ダ を 作成す る ノ ケ ッ ト へ ッ ダ作成部 と 、 ビ ッ ト 列分割部 に よ り 分割 さ れた ビ ッ ト 歹 U と ノ ケ ッ ト ヘ ッ ダ生成部 に よ り 生成 さ れたバ ケ ツ ト ヘ ッ ダ と を 用 い て バ ケ ツ ト を構成す る ノ、。 ケ ッ ト 構成部 と を 有す る 画像復 号化装置 を提供す る 。

第 6 の発 明 は、 第 5 の発 明 の重要情報構成部が 、 符号化情 報か ら 任意形状画像関連重要情報 を構成す る 任意形状画像 関 連重要情報構成部 と 、 符号化情報か ら 任意形状画像 関連重要 情報 を保持 さ せた拡張へ ッ ダ を バ ケ ツ ト へ ッ ダに付加す る か ど う か判 定す る 拡張へ ッ ダ挿入判定部 と 、 拡張ヘ ッ ダ挿入判 定部 で拡張ヘ ッ ダ を挿入す る と 判 定 さ れた場合 にへ ッ ダ情報 を任意形状画像 関連重要情報 に 入力 す る 切替部 と か ら 構成 さ れて い る 画像複号化装置 を提供す る 。

第 7 の 発 明 は 、 動画像 を 符 号化 し て ビ ッ ト 列 を 得 る と 共 に こ の符号化 に お け る 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な規 則 の も と に符号化 さ れて い る か を指 し示す情報 と し て の重要 情報 を バ ケ ツ 卜 へ ッ ダ情報 と し て付加 し た ビ ッ ト 列 を 有す る 動画像符号化デー タ を復号化す る 復号化装置で あ っ て 、 入力 さ れた ビ ッ ト 列 か ら 画像 ビ ッ ト 歹 IJ と ノ ケ ッ ト へ ッ ダ情報 を 分 離す る 分離部 と 、 画像 ビ ッ ト 列 を 復号す る 復号化部 と 、 復号 化部 の 復号情報カゝ ら 誤 り が存在 し な い カゝ ど う か を判定す る ェ ラ ー チ ェ ッ ク 部 と 、 ノ、。 ケ ッ ト ヘ ッ ダ情報か ら 一定の ビ ッ ト 歹 IJ の纏ま り 力 S ど の よ う な規則 の も と に符号化 さ れて レ、 る か を 指 し示す情報 と し て の 重要情報 を 取 り 出 し て 重要情報の 再構成 を行い 、 エ ラ ー チ ェ ッ ク 部で誤 り が あ る と 判 定 さ れ復号に重 要情報が必要 な場合 に 当 該構成 し た重要情報 を復号化部 に通 知 す る 重 要情 報構成部 と を 有す る 画像複 号化装置 を 提供す る 第 8 の 発 明 は 、 第 7 の発 明 の 重要情報構成部が 、 バ ケ ツ ト へ ッ ダ情報か ら 任意形状画像 関連重要情報 を構成す る 任意形 状画像 関連重要情報構成部 と 、 パケ ッ ト へ ッ ダ情報か ら 拡張 へ ッ ダがバ ケ ツ 卜 へ ッ ダに付力 D さ れて い る カゝ ど う か判 定す る 拡張ヘ ッ ダ挿入判 定部 と 、 拡張ヘ ッ ダ挿入判 定部で拡張へ ッ ダが挿入 さ れて レ、 る と 判 定 さ れた場合 にパ ケ ッ ト へ ッ ダ情報 を任意形状画像 関連重要情報 に入力 す る 切替部 と か ら 構成 さ れて い る 画像復号化装置 を提供す る 。

本発 明 は 、 動画像符号化 に お い て 、 符号化 し たデー タ に は ヘ ッ ダ を 設 け る と 共 に 、 へ ッ ダ に は更 に拡張へ ッ ダ部分 を設 け て ヘ ッ ダ に格納す る 通常 の 画像符号化方式 に お け る 重要情 報 の他 、 当 該拡張ヘ ッ ダに 、 任意形状画像符号化方式に お け る 重要情報 も 含 め る こ と が で き る の で 、 ヘ ッ ダが一部壊れて い て も 、 健全なヘ ッ ダ を持つ部分 につ い て は画像 を復号可能 に な る 。 ま た 、 画像デー タ に は 同期信号 を挿入 し て お く こ と に よ り 、 ビデ オ · バ ケ ツ ト V P の 同 期 外 れ の 問 題 も 解消 す る す な わ ち 、 ビデオ · ノ ケ ッ ト V P は 同期信号 R Mで始ま る ノ ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同 期外れが生 じ た 場合 で も こ の 同 期 信 号 R M で再 同 期 を す る こ と が 可能 で あ る こ れ ら の こ と 力ゝ ら 、 伝送時で の雑音 に対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化 の 場合で も 従来 の長方形画像の符 号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る 動画像符号化 技術が提供で き る 。

図面 の簡 単 な説明

図 1 は 、 本発 明 の第 1 の 実施形態 にお け る 符号化部 の基本 的構成 を 示す図。 図 2 は 、 本発 明 の第 1 の 実施形態 にお け る 符号化部の重要 情報構成部お よ び ビ ッ ト 列再構成部の詳細 な基本的構成 を示 す図。

図 3 は 、 本発 明 の 第 1 の 実施形態 にお け る ビ ッ ト 列再構成 部 の 基本 フ ロ ー を 示す図。

図 4 は 、 本発 明 の第 1 の実施形態 にお け る V P の拡張ヘ ッ ダ フ ォ 一 マ ツ ト を 示 し た 図。

図 5 は 、 本発 明 の第 1 の 実施形態 の復号化部 にお け る 基本 的構成 を 示す図。

図 6 は 、 本発 明 の 第 1 の 実施形態の複号化部 にお け る 重要 情報構成部 の詳細 な 基本的構成 を 示す図。

図 7 は 、 本発 明 で用 い る 符号語構成 を説明 す る た め の 図。 図 8 は 、 可変長符号化 の効果 を 説明 し た例 を示す図。

図 9 は 、 重要情報 に 可変長符号化 を 行 う こ と を示 し た 図。 図 1 0 は 、 本発 明 の第 2 の 実施形態 に お け る 符号化部 の基 本的構成図。

図 1 1 は 、 本発 明 の第 2 の 実施形態 にお け る 符号化部の重 要情報構成部 の詳細 な構成図。

図 1 2 は 、 本発 明 の第 2 の 実施形態 にお け る 拡張パ ケ ッ ト へ ッ ダの例 を 示 し た 図。

図 1 3 は 、 本発 明 の 第 2 の 実施形態 に お け る 拡張バ ケ ツ ト ヘ ッ ダ の 例 を 示 し た 図 （マ ー カ ー 有 り ） 。

図 1 4 は 、 本発 明 の第 2 の 実施形態 にお け る 復号化部 の基 本的構成 を 示す図。

図 1 5 は 、 本発 明 の第 2 の 実施形態 にお け る 複号化部 の重 要情報構成部 の詳細 な構成 を 示す図。

図 1 6 は 、 任意形状画像の符号化 を説明 し た 図。

図 1 7 は 任意形状画像 の複号化 を説明 し た 図。

図 1 8 は M P E G — 4 の V O P 構造 を示 し た 図。

図 1 9 は M P E G — 4 の V P 構造を 示 し た 図。

図 2 0 は M P E G — 4 の V P ヘ ッ ダ フ ォ ーマ ツ ト を示 し た 図。

図 2 1 は 通常の V P の 問題点 を 示 し た 図。

図 2 2 は 通 常 の V P の効果 を 示 し た 図。

図 2 3 は H E C を 用 い た場合の V P の 効果 を 示 し た 図。 図 2 4 は 任意形状画像 の 復号時 に 画像 を 合成 し て 再生す る 場合 の 必要情報 を 示 し た 図。

図 2 5 は 、 本発 明 の第 3 に 実施例 に係 る 符号化 /複号化装置が 適用 さ れ る 無線動画像伝送 シ ス テ ム の例 を 示す図。

図 2 6 は 、 第 1 の 実施形態 の符号化装置 に 対応 し た第 4 の 実 施形態 の符号化装置 を 示す図。

図 2 7 は 、 第 1 の 実施形態の復号化装置に対応す る 第 4 の実 施形態 の複号化装置 を示す図。

図 2 8 は 、 第 2 の 実施形態 の符号化装置 に 対応 し た 第 5 の 実 施形態 の復号化装置 を示す 図。

図 2 9 は 、 第 2 の 実施形態 の復号化装置 に 対応す る 第 5 の 実 施形態 の 複号化装置 を示す図。

図 3 0 は 、 第 3 の 実施形態 の複号化装置の フ ロ ー チ ャ ー ト を 示す図。

発 明 を 実施す る た め の最 良 の形態 以 下 、 図 面 を 参照 し て本発 明 の 実施例 を説明 す る 。 以 下、 本発 明 の 実施の形態 に つ いて 図面 を参照 し て説明す る 。

図 1 は 、 本発 明 の第 1 の 実施形態 に係 る 動画像符号化装置 の 基本構成 を 示す。 こ れ に よ る と 、 符 号化部 1 0 1 の 出 力 は 重要情報構成部 1 0 2 お よ び ビ ッ ト 列再構成部 1 0 4 に接続 さ れ る 。 重要情報構成部 1 0 2 の 出 力 は 同期信号発生部 1 0 3 の 出 力 と 共 に ビ ッ ト 列再構成部 1 0 4 に接続 さ れ る 。 ビ ッ ト 列 再構成部 1 0 4 の 出 力 は 多重化部 1 0 5 に接続 さ れ る 。 多重化部 1 0 5 の 出 力 は伝送路 1 0 6 に接続 さ れ る 。

符号化部 1 0 1 は、 入力 さ れた画像信号 1 3 1 を符号化 し て ビ ッ ト 列再構成部 1 0 4 に 出 力 し 、 ま た 、 符号化 し た 際の 符号化情報 1 3 3 を重要情報構成部 1 0 2 に 出 力 す る よ う 構 成 さ れ る 。 重要情報構成部 1 0 2 は符号化部 1 0 1 で符号化 し た 際 の符号化情報 1 3 3 を 受 け て復号に 必要 な重要情報 1 3 4 だ け を 選択 し て 出 力 す る よ う に構成 さ れ る 。

同期信号発 生部 1 0 3 は 、 任意 の 間 隔で 同期信号 1 3 5 を 発生す る 部で あ り 、 ビ ッ ト 列再構成部 1 0 4 は 、 同期信号発 生部 1 0 3 力ゝ ら の 同 期 信 号 1 3 5 を ビ ッ ト 歹 IJ 1 3 2 に挿入 し そ の 後 ろ に 、 必要で あれば重要情報構成部 1 0 2 か ら 出力 さ れた重要情報 1 3 4 を 、 決 め ら れた フ ォ ーマ ツ ト で揷入 し て 出 力 す る よ う に構成 さ れ る 。

多重化部 1 0 5 は 、 ビ ッ ト 列再構成部 1 0 4 で再構成 さ れ た ビ ッ ト 歹 U 1 3 6 を 、 他のデー タ （例 え ば音声デー タ 、 他の 物体 を 符号化 し た ビ ッ ト 列等） と 共に 多重化処理を し て 多重 化 ビ ッ ト 歹 ij 1 3 7 と し て伝送路 Z蓄積媒体 1 0 6 に 出力す る よ う に構成 さ れ る 。

上記の よ う な構成 に おい て 、 入力 さ れた動画像の画像信号 1 3 1 は符号化部 1 0 1 で符号化 さ れ る 。 こ の符号化部 1 0 1 に よ り 符号化 さ れて 出 力 さ れた ビ ッ ト 歹 ij 1 3 2 は ビ ッ ト 歹リ 再構成部 1 0 4 に 入力 さ れ る 。 ま た 、 符号化部 1 0 1 で符号 化 し た 際 の符号化情報 1 3 3 は重要情報構成部 1 0 2 に入力 さ れ、 復号に 必要 な重要情報 1 3 4 だ け が選択 さ れ 出 力 さ れ る 。

ビ ッ ト 列再構成部 1 0 4 で は 、 任意 の 間隔 で 同期信号発生 部 1 0 3 か ら 出 力 さ れた 同期信号 1 3 5 を ビ ッ ト 歹 IJ 1 3 2 に 挿入 し 、 そ の 後 ろ に 、 必要で あれば重要情報構成部 1 0 2 か ら 出 力 さ れた重要情報 1 3 4 を 決 め ら れた フ ォ ーマ ツ 卜 で挿 入す る 。

ビ ッ ト 列再構成部 1 0 4 で再構成 さ れた ビ ッ ト 歹 ij 1 3 6 は 多重化部 1 0 5 に 入力 さ れ、 他のデー タ （例 え ば音声デー タ 、 他 の 物体 を 符号化 し た ビ ッ ト 列 等） と 共 に 多重化処理が 行われ 多重化 ビ ッ ト 歹 Ij 1 3 7 が伝送路 /蓄積媒体 1 0 6 に 出 力 さ れ る 。

こ の よ う に 、 本実施例 では 、 動画像 を符号化 し て得た ビ ッ ト 列 に 、 任意 の 間 隔で 同期信号発生部 1 0 3 か ら 出 力 さ れた 同期信号 1 3 5 が挿入 さ れ 、 そ の 後 ろ に 、 必要で あれば重要 情報構成部 1 0 2 カゝ ら 出 力 さ れた重要情報 1 3 4 が決め ら れ た フ ォ ー マ ツ ト に従 っ て ビ ッ ト 列再構成部 1 0 4 に よ り 揷入 さ れ る 。 そ の た め 、 M P E G — 4 にお け る 任意形状の画像符号化 · 複号化 に必要 な情報、 例 え ば、 任意形状の画像符号化で は画 像サ イ ズの 幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た画 像 を 表示す る 位置 を 示すた め の 画像位置の X 座標 V H M S R の情報 、 y 座標 V V M S R の情報、 そ し て 、 形状情報の符号 化モ ー ド を 示す V O P シ ヱ ー プ · コ ーデ ィ ン グ · タ イ プ

" vop— shape一 coding一 type ( V S C T ) " や 、 形状情報の サ ィ ズ を 変換 し て カゝ ら 符号化す る カゝ ど う か を 示す フ ラ グで あ る change— conv— ratio— disable ( C C R D ) な ど力 S重要情報 1 3 4 と し て 生成 さ れ る 。 こ の重要情報が決 め ら れた フ ォ ーマ ツ 卜 で ビ ッ ト 列再構成部 1 0 4 に よ り 二重化 し て V P ヘ ッ ダ に 挿入 さ れ る と 、 任意形状画像符号化 に も 長方形画像 の符号化 と 同 等 の誤 り 耐性 を 持たせ る こ と が で き る よ う に な り 、 V 〇 p へ ッ ダゃ V P がー部壊れて い て も 動画像 の複号化が 可能 に な る 。

M P E G — 4 の場合 、 フ レ ー ム に相 当 す る も の を ビデオ · ォブ ジ ヱ ク ト · プ レ一 ン " Video Object Plane " と 呼ぶ

( 図 1 8 ) 。 さ ら に こ の Video Object Plane (以下 、 こ れ を V 〇 P と 呼ぶ） を複数のバ ケ ツ ト に分割す る こ と が 可能で あ り 、 こ れ を ビデオ · ノ、。 ケ ッ ト " V i d e 0 P a c k e t " と 呼ぶ （図

1 9 ) 。

ビデオ · ノ、。 ケ ッ ト " Video Packet" (以下 、 こ れ を V P と 呼ぶ） は 同期信号 （ Resync Marker, 以下 、 R M と 呼ぶ） で始 ま る ノ、。 ケ ッ ト で あ り 、 それ以前 に誤 り が 存在 し 、 同期外れが 生 じ た場合 で も こ の 同期信号で再 同期 をす る こ と は可能で あ W . ―

14 つ た。

従 っ て 、 先頭以外の ビデオ · パケ ッ ト V P で あれば、 誤 り に よ り 情報が破壊 //消失 し た と し て も 、 そ の後 の ビデォ · パ ケ ッ ト V P は正 し く 復号す る こ と が で き る 。 それは ビデオ · オ ブ ジ ェ ク ト · プ レ ー ン V O P の 先頭の V O P ヘ ッ ダが復号 出 来て い て 、 復号 に 必要 な情報が全て揃 う こ と か ら で あ る

( 図 2 0 ) 。

V O P ヘ ッ ダ情報 に は前述 し た よ う に ビデ ォ ' オブ ジ ェ ク ト * プ レ ー ン V O P の符号化 タ イ プ （ フ レ ー ム 内符号化 、 フ レ ー ム 間符号化等） 、 タ イ ム ' レ フ ァ ラ ン ス 、 ス テ ッ プサ イ ズ等 が含 ま れて い る 。 こ の情報 を失 う と 、 全て の ビデオ ' ノ ケ ッ ト V P の復号が 出 来な か っ た （図 2 1 A , 2 1 B ) 。

そ こ で 、 M P E G — 4 では 、 ビデオ ' ノ ケ ッ ト V P のへ ッ ダ の 中 に ヘ ッ ダ · ェ ク ス テ ン シ ョ ン · コ ー ド H E C を 定義 し こ の値に よ っ て 、 そ の後 に V 〇 P ヘ ッ ダの 中 の 重要 な情報 を 再度記述す る こ と が 可能 に な っ て い た。

こ の フ ォ ーマ ツ ト に つい て 、 図 2 1 A , 2 1 B に示す。 す な わ ち 、 図 2 1 A に示す よ う に 、 ビデオ · オブ ジ ェ ク ト · プ レ ー ン V O P は先頭 に V 〇 P へ ッ ダ と それ に続いてデー タ が 来 る と い っ た形式のノ タ ー ン を置 き 、 そ の次 に ビデオ · ノヽ。 ケ ッ ト V P のヘ ッ ダ と そ れ に続レ、て デー タ が 来 る と い っ た形式 の ノ タ ー ンが 幾つ か繰 り 返 さ れ る と 云 っ た フ ォ ーマ ツ 卜 で構 成 さ れて いた。

V P の ヘ ッ ダ の 中 に ヘ ッ ダ · ェ ク ス テ ン シ ョ ン · コ 一 ド H E C を 定義 し 、 こ の値に よ っ て 、 そ の 後 に V O P ヘ ッ ダの 中 -

15 の重要 な情報 を再度記述 し て お け ば、 ビデオ · ォブ ジ ュ ク ト · プ レー ン V 〇 P が壊れて レ、 な レ、 限 り 、 ビデオ ' バ ケ ツ ト V P のヘ ッ ダ と そ れ に続いて デー タ の組が一つや二つ壊れて い て も 、 正常 な V P ヘ ッ ダ と デー タ の組につ いて は、 V O P ヘ ッ ダ と そ のデー タ の情報 を 用 いて 、 復号可能で あ っ た。

図 2 2 A 、 2 2 B の例 の場合 、 ビデオ . オブ ジ ェ ク ト . プ レ ー ン V O P の へ ッ ダ と そ れの ペ ア と な る デー タ は壊れて い な い が 、 第 1 の ビデオ ' バ ケ ツ ト V P のヘ ッ ダ と そ れのペア と な る デー タ だ け壊れて い る 様子 を 示 し て い る 。 こ の場合、 図 2 2 B に 示す よ う に 、 ビデオ ' オブ ジ ェ ク ト . プ レ ー ン V O P と そ れのデー タ 部分 は壊れて い な い の で画像 の 第 1 の領 域は正常 に復号 さ れ、 次 の第 2 の領域は誤 り が生 じ て 劣化 の あ る 画像が復号 さ れ、 次の 第 3 の領域以降は正常 に復号 さ れ る の で 、 部分的 に は壊れて い る が 、 殆 ど が綺麗に 再生 さ れた 画像 と し て 復号で き た。

ま た 、 ヘ ッ ダ ' エ ク ス テ ン シ ョ ン · コ ー ド H E C を設 け な い方式の場合、 図 2 2 A に示す よ う に 、 V O P ヘ ッ ダが壊れ て いれば、 他の V P が壊れて い な く と も 復元の 余地は全 く な く 、 図 2 2 B の よ う に 、 誤 り の影響で全 く 画像 は得 ら れな い こ と に な る が 、 こ の よ う な場合で も ヘ ッ ダ · ェ ク ス テ ン シ ョ ン ♦ コ ー ド H E C を設 け る 方式の場合 は再生可能で あ っ た。 す な わ ち 、 ヘ ッ ダ ' エ ク ス テ ン シ ョ ン ' コ ー ド H E C を設 け る 方 式 の場合、 当 該ヘ ッ ダ · ェ ク ス テ ン シ ョ ン . コ ー ド H E C が真の場合 に は 、 こ の H E C の後 ろ に重要情報が 二重化 さ れ、 H E C が偽の場合 に は重要情報が 二重化 さ れな い形態が 取 ら れ る 。 誤 り の 多い伝送路 を利用 す る 場合 に 、 H E C を真 と す る と 共 に 、 そ の後 ろ に重要情報 を 二重化 し て付加す る よ う にす る 。

そ の結果、 図 2 3 A の よ う に 、 V O P の 先頭 に何 ら かの誤 り が存在 し 、 復 号で き な かっ た場合で も 、 H E C で保護 さ れ た情報 を利用 す る こ と で 、 先頭 を領域の画像は正常 に復元で き な く と も 、 第 2 の領域以 降 の部分 の ビデオ . ノ ケ ッ ト V P を 復号す る こ と が 可能 に な り 、 図 2 3 B に示す よ う に部分的 は壊れて い る が 、 殆 ど が綺麗に再生 さ れた画像 と し て復号 で き る こ と に な る 。

し か し な が ら 、 こ れは あ く ま で も 長方形の画像領域単位で 実現で き る に過 ぎ な かっ た。 つ ま り 、 V O P ヘ ッ ダ情報 を V P ヘ ッ ダ の 中 に H E C を用 い て 二重化す る こ と で、 V O P へ ッ ダが 失われ た場合で も 、 V P ヘ ッ ダの 中 に H E C に よ っ て V O P ヘ ッ ダが 二重化 さ れて いれば、 そ れ を利 用 す る こ と で そ の後 のデー タ を 正 し く 復 号す る こ と が可能 で あ る が 、 H E C を 用 い て 二重化で き る 情報 中 に は、 任意形状の画像符号化 の 際 に必要 に な る 情報が含 ま れて レ、 な い。 そ の た め 、 従来の 長方形の画像で あれば問題が な かっ た も の の 、 M P E G - 4 の よ う に 、 オブ ジ ェ ク ト 単位で任意形状の画像 を符号化で き る よ う に し た方式の場合、 複号化で き な かっ た。

こ れは M P E G - 4 にお け る オブ ジ ェ ク ト 単位で の任意形 状の画像の符号化 に は 、 長方形 の 画像 の符号化 に 比べて 更 に 多 く のヘ ッ ダ情報 が 追力 D さ れ て い る こ と 力ゝ ら 、 こ れ を 二重化 の対象 と で き な い こ と が 大 き な 問題で あ っ た。 ま た 、 別 の観点 力 ら みて み る 。 イ ン タ 一ネ ッ ト やイ ン ト ラ ネ ッ ト 等 の利用 が一般化 し て く る と 、 こ の よ う なネ ッ ト ヮ 一 ク を利用 し て の通信が多 く な り 、 イ ン タ ーネ ッ ト テ レ ビ電話 等 も 利用 さ れ る よ う に な っ て い る 。 こ の場合 、 動画像 を リ ア ル タ イ ム で伝送す る こ と に な る 。 し カゝ し な 力 S ら 、 動画像 を ィ ン タ ー ネ ッ ト ゃイ ン ト ラ ネ ッ ト 等で リ ア ノレ タ イ ム に伝送 し よ う と す る と 、 一般 に 用 レヽ ら れて い る T C P や U D P の プ ロ ト コ ノレで は 問題点 が 多い。 特 に 、 へ ッ ダが 時間情報 を持 っ て い な い 点 が 問題 で あ っ た。

そ こ で 、 近年、 動画像 /音声デー タ の伝送 に利用 さ れ る プ 口 ト コ ノレ と し て R T P (Real-time Transfer Protocol)力 S 注 目 を浴びて い る 。 す な わ ち 、 T C P な ど の プ ロ ト コ ノレ の場合、 バ ケ ツ ト 毎 に付属す る 時間情報 が な い た め 、 受信側で は そ の 受信 し たデー タ を いつ再生すれ ばいいの か を 知 る こ と が で き な か っ た。 そ の た め 、 デー タ を バ ケ ツ ト 伝送 し た場合 に 、 受 信側で はそ のデー タ が動画像デー タ や音声 · サ ゥ ン ドデー タ で あ る 場合 に は 旨 く 再生す る こ と が で き な か っ た。

し カゝ し 、 R T P ではバ ケ ツ ト 毎 に 時間情報 を 付加 し 、 受信 側 でそ れ を 元 に動画像デー タ や音声 · サ ゥ ン ドデー タ を 再生 す る こ と が 可能 と な る 。 こ の よ う に 、 R T P は リ ア ノレ タ イ ム デー タ の伝送 に適 し た プ ロ ト コ ル と な っ て い る 。

こ の プ ロ ト コ ノレ に は、 各 ア プ リ ケー シ ョ ン 毎 に拡張ヘ ッ ダ を 定義 で き る よ う に な っ て レ、 る 。

従来技術で説明 し た よ う に 、 M P E G — 4 で は V 〇 P へ ッ ダ情報 を V P ヘ ッ ダ の 中 に H E C を 用 い て 二 重ィヒす る こ と で V O P ヘ ッ ダが失われた場合 で も 、 V P ヘ ッ ダの 中 に H E C に よ っ て V O P ヘ ッ ダが 二重化 さ れて いれば、 そ れ を利用 す る こ と でそ の後 のデー タ を 正 し く 復号す る こ と が 可能で あ つ た。

し カゝ し 、 H E C を 用 レ、 て 二重化で き る 情報 中 に は 、 任意形 状の画像符号化 の 際 に必要 に な る 情報が含 ま れて い な い。 そ の た め 、 従 来 の 長 方形 の 画像 で あ れ ば 問 題 が な か っ た も の の 任意形状 の画像符号化で は長方形 の画像 の符号化 に 比べて へ ッ ダ情報が 追力 D さ れて い る こ と 力ゝ ら 、 こ れが 二重化で き な レヽ こ と が 大 き な 問題で あ っ た。

例 え ば、 任意形状 の画像符号化で は各 V O P 毎 に画像サ イ ズが 変更 に な る た め 、 V O P へ ッ ダ 中 に画像サ イ ズ の幅 vop一 width (以下 、 V W と 呼ぶ） と 高 さ vop— height (以 下 、 V H と 呼ぶ） を記述す る 。 ま た 、 復号 し た画像 を 表示す る 位 置 を示すた め の画像位置の X 座標

vop— horizontal— mc— spatial— ref (以下 、 V H M S R と 呼 ぶ） 、 y 座標 vop— vertical— mc— spatial— ref (以 下、 V V M S R と 呼ぶ） も 記述 さ れて レ、 る 。 こ れ ら の値の 関係が 図 2 4 に示 さ れ る 。

こ れ ら の情報 の な い ビデオ · バ ケ ツ ト V P の情報だ け で動 画像 を 復号 し ょ う と し た場合 、 任意形状の画像符号化で は正 し く 復号す る こ と が で き な く な る 。 すな わ ち 、 任意形状の画 像符号化で は画像サ イ ズの 幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た 画像 を表示す る 位置 を 示すた め の画像位置 の X 座標 V H M S R の情報、 y 座標 V V M S R の情報が な い と 正 し く 復号す る こ と が で き な 力、 つ た。

ま た 、 形状情報 の符号化モ一 ド を示す V O P シ ェ 一 プ · コ 一デ ィ ン グ · タ イ プ " vop— shape— coding— type (以下、 V S C T と 呼ぶ） " や、 形状情報のサ イ ズ を 変換 し て か ら 符号化す る 力、 ど う 力 を 示す フ ラ グで ぁ る change— conv— ratio— di sabl e (以下 、 C C R D と 呼ぶ） な ど も 正 し く 復号す る た め に は必 要で あ る 。

M P E G — 4 の H E C に よ る V O P ヘ ッ ダ の 二重ィ匕 は 、 こ れ ら の情報 を保護 し て い な い。

こ の よ う に 、 本 シ ス テ ム は 、 任意形状画像符号化 の場合 で も 従来の長方形画像の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が で き る 。 上記の構成 におい て本発明 の重要 な構成で あ る 重要情報構成部 1 0 2 と ビ ッ ト 列再構成部 1 0 4 を 図 2 を参 照 し て詳 し く 説明 す る 。

ま ず 、 重要情報構成部 1 0 2 の詳細 に つ いて 説明 す る 。

重要情報構成部 1 0 2 は 図 2 に 示す よ う に 、 通常画像 関連 重要情報構成部 2 0 6 、 任意形状画像 関連重要情報構成部 2 0 7 、 任意形状符号化判定部 2 0 8 、 多重化部 2 1 0 と よ り 構成 さ れ る 。

こ れ ら の う ち 、 通常画像 関連重要情報構成部 2 0 6 は 、 符 号化部 1 0 1 力ゝ ら の符号化情報 1 3 3 を受 け て 、 こ れ よ り 通 常の符号化の 際 、 重要 と 判断 さ れ る 情報 （例 え ば符号化モ ー ドゃ タ イ ム · レ フ ァ ラ ン ス 等） を選択 し 、 通 常画像関連重要 情報 2 3 8 と し て 多重化 部 2 1 0 に 出 力 す る よ う 構成 さ れ る 任意形状画像 関連重要情報構成部 2 0 7 は 、 任意形状画像符 号化 に 関連 し た重要情報 （例 え ば、 画像サ イ ズ、 位置、 符号 化モー ド 、 縮小変換モー ド等） を選択 して 、 こ れ を任意形状 画像関連重要情報 2 3 9 と し て 出 力す る よ う 構成 さ れ る 。

任意形状符号化判定部 2 0 8 は 、 符号化 さ れた画像が通常 の長方形 の 画像で あ る の か任意形状の画像で あ る の か を判定 す る 部 で あ っ て 、 判 定結 果 を 判 定信 号 2 4 0 と し て 出 力 す る 切替部 2 0 9 は 、 任意形状符号化判定部 2 0 8 か ら の判定 信号 2 4 0 に応 じ て 通 常画像関連重要情報構成部 2 0 7 か ら の任意形状画像 関連重要情報 2 3 9 を 多重化部 2 1 0 に 出 力 す る か ど う か の切替制御 を行 う 。 多重化部 2 1 0 は 、 通常画 像 関連重要情報構成部 2 0 6 か ら の通常画像 関連重要情報 2 3 8 と 、 任意形状画像符号化 に お い て任意形状符号化判定部 2 0 8 か ら 出 力 す る 任意形状画像 関連重要情報 2 3 9 と を 多 重化 し 、 重要情報 1 3 4 と し て 出 力 す る よ う 構成 さ れ る 。

上記 の よ う な構成 にお い て 、 符号化部 1 0 1 か ら の符号化 情報 1 3 3 は 、 重要情報構成部 1 0 2 の構成要素で あ る 通常 画像 関連重要情報構成部 2 0 7 に入力 さ れ 、 当 該通常画像関 連重要情報構成部 2 0 7 にお い て 、 通常の符号化の 際、 重要 と 判 断 さ れ る 情報 （例 え ば符号化モ ー ドや タ イ ム · レ フ ァ ラ ン ス 等） が選択 さ れ る こ と に よ っ て 、 こ の選択 さ れた情報が 通常画像 関連重要情報 2 3 8 と し て 多重化部 2 1 0 に 出 力 さ れ る 。 従 っ て 、 通常画像 関連重要情報 2 3 8 に は符号化モ ー ドゃ タ イ ム . レ フ ァ ラ ン ス 等 の よ う な通常 の符号化 の 際、 重 要 と 判断 さ れ る 情報 が集 め ら れた も の と な る 。

次 に 、 任意形状 画像 関 連重要 情報構成部 2 0 7 に お い て は 任意形状画像符号化 に 関連 し た重要情報 （例 え ば、 画像サ イ ズ、 位置 、 符号化モ ー ド 、 縮小変換モ ー ド等） が選択 さ れ、 任意形状画像関連重要情報 2 3 8 と し て 多重化部 2 1 0 に 出 力 さ れ る 。

一方 、 任意形状符号化判 定部 2 0 8 で は 、 符号化 さ れた画 像が通 常 の長方形 の画像で あ る の か、 任意形状の画像で あ る の か を判 定す る と 共に 、 そ の判定結果 を判定信号 2 4 0 と し て 出 力す る 。 こ の判 定信号 2 4 0 に よ り 切替部 2 0 9 は制御 さ れて 、 通 常画像 関連重要情報構成部 2 0 7 か ら の任意形状 画像 関連重要情報 2 3 9 を 出 力 す る か ど う かの切替制御 を す る 。

多重化部 2 1 0 で は 、 通常画像 関連重要情報 2 3 8 と 任意 形状画像符号化の場合 は任意形状画像関連重要情報 2 3 9 と を 多重化 し 、 重要情報 1 3 4 と し て 出 力 す る 。

こ の結果、 任意形状画像符号化 の場合 は通 常画像関連重要 情報 2 3 8 と 任意形状画像関連重要情報 2 3 9 と が 多重化 さ れた重要情報 1 3 4 と し て 多重化部 2 1 0 カゝ ら 出力 で き る 。 通 常画像符号化 の場合 は 、 通常画像関連重要情報 2 3 8 の み が 重要情報 1 3 4 と し て 出 力 で き る こ と と な る 。

次 に ビ ッ ト 列再構成部 1 0 4 の詳細 に つい て 説明 す る 。 ビ ッ ト 列 再構成部 1 0 4 は 図 2 の 上 半分 の 領域 に 示 し た よ う M B 境界判 定部 2 0 1 、 カ ウ ン タ 2 0 2 、 同 期信号挿入判 定 部 2 0 3 、 ヘ ッ ダ情報揷入部 2 0 5 、 力卩算部 2 0 6 と よ り 構 成 さ れ る 。

こ れ ら の う ち 、 M B 境界判 定部 2 0 1 は 、 前段の符号化部 1 0 1 に て 符 号化 さ れて 入 力 さ れ る ビ ッ ト 歹 IJ 1 3 2 に つ レ、 て そ の ビ ッ ト 歹 ij のデー タ がマ ク ロ ブ 口 ッ ク M B の境界 に 当 た る か否か を判 定す る も の で あ り 、 ま た 、 符号量カ ウ ン タ 部 2 0 2 は 、 前段の符号化部 1 0 1 に て符号化 さ れて 入力 さ れ る ビ ッ ト 歹 ij l 3 2 につ いて 、 そ の 符号量を カ ウ ン ト す る た め の も の で あ る 。

同 期信号挿入判 定部 2 0 3 は 、 M B 境界判 定部 2 0 1 が ビ ッ ト 歹 ij 1 3 2 につ レ、 て M B 境界 と 判 定 し 、 し 力、 も 、 当 該 ビ ッ ト 歹 IJ 1 3 2 に 对 し て 符号量カ ウ ン タ 部 2 0 2 の カ ウ ン ト 値力 S あ る 値 を超 え て い た場合、 挿入許可信号 2 3 4 を 出 力す る も の で あ る 。

ま た 、 ヘ ッ ダ情報揷入部 2 0 5 は、 入力 さ れた重要情報 1 3 4 と 同 期信号 1 3 5 カゝ ら ヘ ッ ダ情報 を 作成 し 、 同期信号挿 入判 定部 2 0 3 で挿入許可 と 判断 さ れた場合 に 、 符号化 さ れ た ビ ッ ト 歹 1 3 2 に対 し て 当 該作成 し たへ ッ ダ情報 2 3 7 を 付加すべ く 加算部 2 0 6 に 出 力 す る 。

ま た 、 加算部 2 0 6 は符号化部 1 0 1 に て 符号化 さ れて入 力 さ れ る ビ ッ ト 歹 IJ 1 3 2 と ヘ ッ ダ情報挿入部 2 0 5 の 出 力 と を加算 し て こ れ を ビ ッ ト 列再構成部 1 0 4 の再構成 ビ ッ ト 歹 ij 1 3 6 と し て 出力す る 部で あ る 。

こ の よ う な構成の ビ ッ ト 列再構成部 1 0 4 は 、 前段の符号 ィ匕部 1 0 1 で符号化 さ れた ビ ッ ト 歹 1 3 2 が 入力 さ れ る と 、 こ れ を ビ ッ ト 列再構成部 1 0 4 の構成要素の一つで あ る M B 境界判 定部 2 0 1 と 符号量カ ウ ン タ 部 2 0 2 と に入力 す る 。 こ の M B 境界判 定部 2 0 1 に お い て 入力 ビ ッ ト 歹リ 1 3 2 力 S 、 M B の境界で あ る 否か を判 定す る 。

ま た 、 符号量カ ウ ン タ 部 2 0 2 で は、 ビ ッ ト 歹 lj 1 3 2 の符 号量 を カ ウ ン ト す る 。 同期信号挿入判 定部 2 0 3 で は、 M B 境界判 定部 2 0 1 で の判 定 が M B 境界 と 判 定 さ れ、 且つ 、 力 ゥ ン タ 2 0 2 での符号量の カ ウ ン ト 値が 、 あ る 値 を超 え て い た場合 に 、 挿入許可信号 2 3 4 を発生 し 、 ヘ ッ ダ情報挿入部

2 0 5 に 出 力 す る よ う に動作す る 。

一方 、 ヘ ッ ダ情報挿入部 2 0 5 は、 入力 さ れた重要情報 1

3 4 と 同期信 号 1 3 5 カゝ ら ヘ ッ ダ情報 を 作成 し 、 同期信号挿 入判 定部 2 0 3 で挿入許可 と 判 断 さ れた場合 に 、 符号化 さ れ た ビ ッ ト 歹 ij 1 3 2 に作成 し たへ ッ ダ情報 2 3 7 を付加す る た め力!]算部 2 0 6 に送 る 。 こ れに よ り 、 力 []算部 2 0 6 は符号ィ匕 さ れた ビ ッ ト 歹 U 1 3 2 にへ ッ ダ情報 2 3 7 を挿入 し 、 再構成 さ れ た ビ ッ ト 歹 U 1 3 6 を 出 力 す る 。 こ の ビ ッ ト 歹 lj 1 3 6 力； ビ ッ ト 列再構成部 1 0 4 の 出 力 と な る 。

こ の結果、 符号化部で符号化 さ れて入力 さ れて 来 る 画像デ ー タ の ビ ッ ト 歹 lj 1 3 2 を調べて 、 マ ク ロ ブ ロ ッ ク M B の境界 位置 と な る ビ ッ ト が到来 し た 時点 におい て 、 それま で の符号 量が所定の値 を超 え て い た場合 に 、 挿入許可信号 2 3 4 が発 生 さ れ る 。 ヘ ッ ダ情報挿入部 2 0 5 におい て 作成 さ れた 、 入 力 さ れた重要情報 1 3 4 と 同期信号 1 3 5 を 元 に し て のへ ッ ダ情報が 、 上記 ビ ッ ト 歹り 1 3 2 に付加 で き る 。

重要情報構成部 1 0 2 は 、 そ の構成要素 の一つで あ る 通常 画像関連重要情報構成部 2 0 6 が符号化部 1 0 1 か ら の符号 ィ匕情報 1 3 3 を 元 に通常 の符号化の 際、 重要 と 判断 さ れ る 情 報 （例 え ば、 符号化モー ドや タ イ ム . レ フ ァ ラ ン ス 等） を選 び、 そ れ を 通常画像 関連重要情報 2 3 8 と す る 。 ま た 、 重要 情報構成部 1 0 2 にお け る 構成要素 の一つ で あ る 任意形状画 像 関連重要情報構成部 2 0 7 は 、 任意形状画像符号化 に 関連 し た重要情報 （例 え ば 、 画像サ イ ズ、 位置、 符号化モー ド 、 縮小変換モ ー ド等） を選び、 こ れ を任意形状画像関連重要情 報 2 3 9 と す る 。 通常 の画像 の場合 は通常画像関連重要情報

2 3 8 の み を 、 ま た 、 任意形状の画像の符号化の場合 に は通 常画像 関連重要情報 2 3 8 と 任意形状画像 関連重要情報 2 3

9 と を 多重化 し て 得て お り 、 従 っ て 、 ビ ッ ト 列 に挿入す る へ ッ ダ情報 に は通常画像情報 関連重要情報 と 任意形状画像 関連 重要情報 を 含 ま せ る こ と が で き 、 M P E G — 4 の符号化デー タ の画像再生 に必要 な情報 を V P ヘ ッ ダに含 ま せ る こ と が で き る 。

図 3 にヘ ッ ダ情報 の 作成 に 関す る フ ロ ー チ ヤ一 ト を示す。 ビ ッ ト 列再構成部 1 0 4 で は 、 ま ず第 1 段階 （ ス テ ッ プ S 5 0 2 ) と し て 、 符号化部 1 0 1 カゝ ら 入力 さ れて 来 る ビ ッ ト 歹 IJ に対 し 、 M B ( マ ク ロ ブ ロ ッ ク ） の境界位置 か ど う か の判 定 を ίザ う 。

第 2 段階 （ ス テ ッ プ S 5 0 3 ) と し て は 、 Μ Β で あ っ た場 合 、 同 期信号 R Μ を揷入すべ き か ど う か の判 定 を行 う 。 こ の 判 定は 、 ユーザの任意 の ア ル ゴ リ ズム で行 う こ と が 可能で あ る 。

例 え ば、 直前の 同期信号か ら 一定の ビ ッ ト 数 を超 え た な ら ば同期信号 R Μ を挿入す る と 云 っ た ア ル ゴ リ ズムや、 直前の 同期信号か ら 一定の M B 数を越 え た場合、 画像 中 の形状 に沿 つ て R M を挿入す る カゝ ど う かの判断を行 う な ど 、 様々 な方法 が利用 可能で あ る 。

ビデ オ · ノ ケ ッ ト V P は 同 期信号 R Mで始ま る ノ ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信号 R Mで再同期 をす る こ と が 可能 で あ る 。

ス テ ッ プ S 5 0 3 に お いて 同期信号 R M を揷入す る と 判 定 さ れた場合 、 R M を挿入 し 、 R M に続 く V P ヘ ッ ダ を挿入す る （図 3 の ス テ ッ プ S 5 0 4 ) 。 そ し て 、 ス テ ッ プ S 5 0 5 に進む。

第 3 段階 （ ス テ ッ プ S 5 0 5 ) は、 拡張ヘ ッ ダ と し て V O P ヘ ッ ダ の 重要情報 を 二重化す る か ど う か の判 定 を行 う 。

二重化す る と 判 定 さ れた場合 は 、 H E C を真 にセ ッ ト し 、 そ の後 、 V O P ヘ ッ ダ の 中 カゝ ら 長方形の画像符号化 にお け る 重要情報 を選択 し 、 出 力 す る （ 図 3 の ス テ ッ プ S 5 0 6 ) 。 そ し て 、 ス テ ッ プ S 5 0 7 に 進 む。

最後 の第 4 段階 （ ス テ ッ プ S 5 0 7 ) で は、 任意形状画像 か否 かの判 定 を行 う 。 任意形状画像の場合は 、 V O L へ ッ ダ 內 の任意形状画像符号化 に お け る 重要情報 を 選択 し 、 出 力 す る （ 図 3 の ス テ ッ プ S 5 0 8 ) 。

以上の 4 つ の段階 を経て V P ヘ ッ ダ部分 を 生成 し 、 ビ ッ ト 列 に挿入す る 。

図 4 に 、 任意形状画像の V P ヘ ッ ダの構成例 を 示す。 図 2

0 に示す従来の V P ヘ ッ ダ に 対 し 、 拡張ヘ ッ ダ E X — Η· e a d e r 力； 追カ卩 さ れ て お り 、 こ の拡張ヘ ッ ダ E x — H e a d e W

26 r に は任意形状画像符号化に お け る 重要情報、 すな わ ち 、 画 像の幅 （ V W ) 、 高 さ （ V H ) 、 画像 を貼 り 込む X座標 （ V H M S R ) 、 Y 座標 （ V V M S R ) 、 形状情報 を縮小変換 し て 符号化 し て レ、 る カゝ ど う か を 示す フ ラ グ （ C C R D ) 、 形状 情報 の 符号化 タ イ プ （ フ レ ー ム 内符号化 Z フ レ ー ム 間符号化 等） の 情報 （ V S C T ) が 追カ卩 さ れ る よ う に な る 。

尚 、 任意形状画像符号化 に お け る 重要情報 と し て は、 上記 情報 に 限定 さ れ る も の では な く 、 ア プ リ ケ ー シ ョ ン の用 途 に よ り 、 さ ら に他 の情報 を増やす こ と も 、 逆 に情報 を減 ら す こ と も 可能で あ る 。 但 し 、 送信側 、 受信側 でヘ ッ ダ フ ォ ー マ ッ 卜 に 関 し て 共通 の認識が必要 に な る 。

以上 、 任意形状画像符号化 に お け る 重要情報 の抽 出機能 と 任意形状画像 を使用 し て い る か否かの判 定機能 と 、 マ ク ロ ブ 口 ッ ク の境界検 出機能 を 持たせ、 V P ヘ ッ ダ に は拡張ヘ ッ ダ 部分 を 設 け て 通 常 の画像符号化 に お け る 重要情報 の他 、 同期 信号 を 含 め 、 任意形状画像符号化 にお い て は任意形状画像符 号ィ匕 に お け る 重 要情報 も 含 め る こ と が で き る よ う に し た カゝ ら ヘ ッ ダが 一部壊れて い て も 、 健全なヘ ッ ダ を持つ部分 にっレ、 て は画像 を復号可能に な る 。 ま た 、 同期信号が あ る の で ビデ ォ · ノ ケ ッ ト V P の 同期外れの 問題 も 解消す る 。 すな わ ち 、 ビデオ · バ ケ ツ ト V P は 同期信号 R Mで始ま る ノ、。ケ ッ ト で あ り 、 そ れ以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信号 R Mで再同期 を す る こ と が 可能 で あ る 。

こ れ ら の こ と 力ゝ ら 、 伝送時で の雑音 に 対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化 の 場合 で も 従来 の長方形画像の符 号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な る 動 画像符号化技術 を提供で き る 。

以上は 、 符号化側で の構成 と 処理の詳細 を説明 し た が 、 次 に復号側 の構成 と 処理の詳細 を説明 す る 。

復号部 に つい て説明す る 。 図 5 に示 さ れ る 第 1 の 実施形態 に か力ゝ る 復号部 に よ る と 、 符号化 ビ ッ ト 列 が 入力 さ れ る 分離 部 3 0 2 の 出 力 は 、 複号化部 3 0 3 お よ び同期検 出部 3 0 4 に接続 さ れ る 。 同期検 出 部 3 0 4 の 出 力 は復号化部 3 0 3 の 他方入 力 に接続 さ れ る 。 復 号化部 3 0 3 の 出 力 はエ ラ ーチ ェ ッ ク 部 3 0 5 に接続 さ れ る 。 こ の エ ラ ー チ ェ ッ ク 部 3 0 5 の 出 力 は複号化部 3 0 3 の 出 力 と 共 に重要情報構成部 3 0 6 に 接続 さ れ る 。 重要情報構成部 3 0 6 の 出力 は複号化部 3 0 3 に接続 さ れ る 。

分離部 3 0 2 は 、 伝送路 Z記憶媒体 1 0 6 か ら 受信 さ れた ビ ッ ト 歹 ij 3 3 1 を 画像用 の ビ ッ ト 歹 IJ 3 3 2 と そ れ以外のデー タ に 分離す る た め に設 け ら れて レ、 る 。 同期検 出部 3 0 4 は分 離部 3 0 2 カゝ ら 出 力 さ れ る ビ ッ ト 歹 ij 3 3 2 中 カゝ ら 同期信号 R M を 検 出す る 。 ま た 、 復号化部 3 0 3 は、 分離部 3 0 2 力 ら 分離 さ れて 出 力 さ れ る 画像用 ビ ッ ト 歹 IJ 3 3 2 に つ い て 復号化 処理 し て 画像デー タ を 生成す る 。 そ の 際 、 復 号化部 3 0 3 は 同期信号検 出部 3 0 4 に よ り 検 出 さ れた 同期信号に 同期 さ せ なが ら 復号処理 を 実施す る よ う に構成 さ れて い る 。

ま た 、 重要情報構成部 3 0 6 は、 復号化部 3 0 3 の 現在復 号処理 中 の デー タ を得て 、 こ れ よ り 当 該複号化部 ₃ 0 3 にお い て 現在復号 中 の V 0 P ( ビデオ · オブ ジ ェ ク ト · プ レー ン） の V O P ヘ ッ ダが存在 し て レ、 る 場合 は 、 そ の情報 を抽 出 し 、 出 力 し て 複 号化部 3 0 3 に 与 え る よ う に構成 さ れ て い る エ ラ ーチ ェ ッ ク 部 3 0 5 は 、 復号化部 3 0 3 の 出 力す る 復 号情報 3 3 4 を チ ェ ッ ク し て複号作業 中 に誤 り が 生 じ て い な い か を 検 出す る 部で あ り 、 誤 り が検 出 さ れた場合 、 エ ラ ー チ ユ ッ ク 部 3 0 5 は 、 重要情報構成部 3 0 6 に復号化処理に誤 り が あ っ た こ と を知 ら せて 、 重要情報 の復号化部 3 0 3 への 出 力 を抑止 さ せ る よ う に構成 さ れて い る 。

復号化部 3 0 3 は誤 り が発生 し た場合 に 、 そ の誤 り に 対応 し た 処理 を行 う よ う に構成 さ れて レ、 る 。 ま た 、 複号化部 3 0 3 は 、 そ の誤 り に 対応 し た処理 を行 っ た後 、 同期検 出部 3 0 4 が検 出 し た 次 の 同期信号の位置か ら 復号作業 を行 う 。

こ の よ う な構成 に お い て 、 伝送路 Z記憶媒体 1 0 6 力ゝ ら 受 信 さ れた ビ ッ ト 歹 3 3 1 は 、 分離部 3 0 2 に よ り 画像用 の ビ ッ ト 歹 ij 3 3 2 と 、 そ れ以外の デー タ に 分離 さ れ る 。 そ の他の デー タ は 、 夫 々 に 対応 し た復号化部 に送 ら れ る 。

分離部 3 0 2 に よ り 分離 さ れた画像用 ビ ッ ト 歹 lj 3 3 2 は 、 復号化部 3 0 3 に 入力 さ れ、 複号化が行われ る 。 そ の際、 同 期信号検 出部 3 0 4 に よ り 同期信号が ビ ッ ト 歹 IJ 3 3 2 中 カゝ ら 検 出 さ れ な が ら 復号処理が行われ る 。

復号化部 3 0 3 で復号化処理 さ れ る こ と に よ っ て 得 ら れ る 復号情報 3 3 4 カゝ ら エ ラ ー チ ェ ッ ク 部 3 0 5 で復号作業 中 に 誤 り が 生 じ て レ、 な レ、 か を検 出す る 。 誤 り が検 出 さ れた場合、 誤 り に 対応 し た処理が復号化部 3 0 3 で行われた後 、 同 期検 出 部 3 0 4 が検 出 し た 次 の 同期信号の位置か ら 復号作業が行 われ る 。

復号化部 3 0 3 は次の 同期信号の種類 を判 定 し 、 同期信号 R Mの場合でエ ラ ー信号 3 3 5 が真の場合 に 、 重要情報構成 部 3 0 6 カゝ ら V O P ヘ ッ ダの情報 3 4 3 を 取得す る 。

重要情報構成部 3 0 6 は、 復号化部 3 0 3 が現在復号中 の V O P ( ビデオ · オブ ジ ェ ク ト · プ レー ン） に V O P ヘ ッ ダ が存在 し て い る 場合 は 、 そ の情報 を 出 力 す る 。 ま た 、 現在復 号 中 の V O P に V 〇 P ヘ ッ ダが 存在 し な レ、場合、 V P ヘ ッ ダ 内 に H E C に よ り 重要情報が挿入 さ れて いれ ば、 そ れ を 出 力 す る 。

復号化部 3 0 3 で の復号化処理 に お い て は 、 重要情報構成 部 3 0 6 で得た 重要情報 が 用 い ら れ る 。 重要情報構成部 3 0 6 で得た重要情報 に は 、 複号化部 3 0 3 が現在復号 中 の V O P ( ビデオ ' オブ ジ ェ ク ト . プ レ ー ン ） に V O P ヘ ッ ダが存 在 し て い る 場合 は 、 そ の情報 を 出 力 し 、 現在復 号中 の V O P に V O P ヘ ッ ダが 存在 し な レ、場合 に は 、 V P ヘ ッ ダ内 に H E C に よ り 重要情報 が挿入 さ れて いれば、 それ を 出力 す る 。 符 号化処理側 で は 、 重要情報 と し て 通常の画像符号化 に お け る 重要情報 の他 、 任意形状画像符号化 に お い て は任意形状画像 符号化 に お け る 重要情報 も 含 め る よ う に し て あ る 力ゝ ら 、 へ ッ ダが 一部壊れて レヽ て も 、 健全なヘ ッ ダ を持つ部分 につ い て は 通 常 の画像 を符号化 し たデー タ で あ っ て も 、 ま た 、 任意形状 の画像 を 符号化 し たデー タ で あ っ て も 、 そ のデー タ か ら 画像 を 復号可能 に な る 。 ま た 、 同期信号が あ る の で ビデオ · パ ケ ッ ト V P の 同期外れの 問題 も 解消す る 。 す な わ ち 、 ビデオ ' バ ケ ツ ト V P は同期信号 R Mで始ま る ノ、。ケ ッ ト で あ り 、 そ れ 以前 に誤 り が存在 し 、 同期外れが 生 じ た場合で も こ の 同期信 号 R Mで再 同期 をす る こ と が 可能で あ る 。

こ れ ら の こ と か ら 、 伝送時で の雑音 に対す る 耐性の 高 い 、 ま た 、 任意形状画像符号化の場合 で も 従来の長方形画像 の符 号化 と 同等 の誤 り 耐性 を 持たせ る こ と が で き る 動画像符号化 技術の 複号化技術 を提供で き る 。

通常 の画像符号化 に お け る 重要情報の他、 任意形状画像符 号化 にお い て は そ の任意形状画像符号化 に お け る 重要情報 も ヘ ッ ダの情報 と し て持たせて 伝送す る こ と に よ り 、 伝送時で の雑音 に 対す る 耐性 を持たせ る 技術で あ り 、 受信側 で は こ の 重要情報 を 如何に し て抽 出 し て復号化部 3 0 3 に渡 し 、 復号 化処理 に禾 lj用 で き る よ う にす る カゝが重要で あ る 。

従 っ て 、 本実施例 の特徴的 な 点 は重要情報構成部 3 0 6 に あ る 。 そ こ で 、 重要情報構成部 3 0 6 に つ レ、 て 図 6 を 用 レヽ て 詳細 に説明 す る 。

重要情報構成部 3 0 6 は図 6 に示す よ う に 、 通常画像 関連 重要情報構成部 3 0 7 、 任意形状符号化判 定部 3 0 8 、 切替 部 3 0 9 , 3 1 1 、 任意形状画像関連重要情報構成部 3 1 0 と よ り 構成 さ れ る 。

通常画像 関連重要情報構成部 3 0 7 は、 復号化部 3 0 3 に お い て V P ヘ ッ ダが発見 さ れた場合 に 、 そ の V P ヘ ッ ダの情報 中 カゝ ら 符 号化モ ー ド情報 、 タ イ ム ' レ フ ァ ラ ン ス 等 を 復 号 し 出 力 す る よ う に構成 さ れ る 。

任意形状符号化判定部 3 0 8 は 、 復号化部 3 0 3 が現在復 号処理 し て い る 画像が任意形状画像か、 ま た は、 従来か ら の 長方形画像 か を判 定す る 部で あ っ て 、 そ の判 定結果に応 じ て 切 替部 3 0 9 , 3 1 1 は切 り 替 え 制御 さ れ る 。 切 替部 3 0 9 3 1 1 は 、 2 部の系統切 り 替 え ス ィ ッ チ で あ る 。

任意形状画像関連重要情報構成部 3 1 0 は任意形状画像 に 関す る 重要情報 （例 え ば、 画像サイ ズ、 画像位置等） を復号 す る 部 で あ り 、 任意形状画像の場合 は切替部 3 0 9 , 3 1 1 が 当 該任意形状画像 関連重要情報構成部 3 1 0 に接続 さ れ る よ う に 切 り 替 え ら れ、 任意形状画像 に 関す る 重要情報 が再構 成 さ れて 、 通 常画像関連重要情報構成部 3 0 7 に よ る 通常画 像 に 関連す る 重要情報 の他 に任意形状画像 に 関す る 重要情報 を も 復号化部 3 0 3 に 与 え て 、 復号化部 3 0 3 で の任意形状 画像 に 関す る 復号化 も 可能 に し て レヽ る 。

こ の よ う な構成の重要情報構成部 3 0 6 において は、 復号 ィヒ部 3 0 3 にお いて入力 ビ ッ ト 列 に V P へ ッ ダが発見 さ れた 場合 は 、 ま ず通 常画像 関連重要情報構成部 3 0 7 が符号化モ — ド情報 、 タ イ ム ' レ フ ァ ラ ン ス 等 を復号す る 。

ま た 、 任意形状符号化判 定部 3 0 8 は復号化部 3 0 3 に お いて 現在復号処理 さ れて い る 画像が 、 任意形状画像 かま た は 従来か ら の長方形画像か を判 定 し 、 こ の判 定結果に応 じ た制 御信号 を発生す る 。

任意形状符号化判定部 3 0 8 か ら の制御信号に よ り 切替部 3 0 9 , 3 1 1 は制御 さ れ る 。 こ の と き 、 任意形状画像の場 合 は任意形状画像関連重要情報構成部 3 1 0 が任意形状画像 に 関す る 重要情報 （例 え ば、 画像サイ ズ、 画像位置等） を 復 号 し 、 最終的 な重要情報 3 4 3 を作成 し 、 重要情報構成部 3 0 6 の 出 力 と し て復号ィ匕部 3 0 3 に与 え る 。 こ れに よ つ て 、 ヘ ッ ダ に拡張ヘ ッ ダ を設 け て こ の拡張へ ッ ダ に任意形状画像 に 関す る 重要情報 を 埋め込 んでお け ば、 復号側 で も こ れ を抽 出 し て 任意形状画像の復号に必要 な重要情報 を 複号化部 3 0 3 に 与 え る こ と が で き る 。

以上 、 本実施形態 に よ れば、 任意形状画像符号化 の場合で も 従来 の長方形画像 の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が 可能 と な る 。

第 1 の 実施形態お よ び こ れか ら 説明す る 第 2 の 実施形態 に おい て 、 任意形状画像の符号化では "画像の サ イ ズ " 、 "位 置情報 " を記述す る 必要が あ る 。 こ れ ら の 情報 は M P E G — 4 の場合 、 そ れぞれは 1 3 ビ ッ ト ずつ で表現 さ れ る こ と に な り 、 "画像 の サ イ ズ " 、 "位置情報 " それぞれ縦横の情報が 必要 で あ る こ と 力ゝ ら 計 4 つ の情報が必要で 、 そ の必要 ビ ッ ト 数は 4 X I 3 = 5 2 の計 5 2 ビ ッ ト が 必要 に な る 。 こ れは低 ビ ッ ト レー ト で の伝送の場合 に は大 き な 冗長 と な る 可能性が あ る 。 そ こ で 、 で き る だ け こ のデー タ を圧縮 し て伝送す る こ と と す る 。 以下、 そ の方法につ い て説明 す る 。

ビデオ . オブ ジ ェ ク ト . プ レー ン V O P の サ イ ズ等 は M P E G — 4 で は 1 3 ビ ッ ト で表現 さ れ る 力 S 、 1 3 ビ ッ ト 全て を 使用 し な い ケ ー ス も 多 々 あ る 。 そ こ で、 サイ ズの表現を 可変 長 に し符号量 を減少す る 方法 を 考 え る 。

基本的 な方針は 、 こ こ で は "符号語長 " + "値 " の組で表 現す る も の と す る 。 図 7 に 示す よ う に符号長 を 表すヘ ッ ダ部 と それ に続 く デー タ 部 と の組合せ にす る 。 す な わ ち 、 ヘ ッ ダ " h e a d e r 1 " と ヘ ッ ダ " h e a d e r 2 " 力 ^ あ り 、 前者は 1 ビ ッ ト 構成、 後者は 3 ビ ッ ト 構成 を採 る 。 値 1 力ゝ ら 値 5 4 2 ま で の 範囲 で採用 し 、 値 " 1 " と 値 " 2 " は符号語長 を 5 ビ ッ ト 構成 と し 、 値 " 3 ら 値 " 6 " ま で は符号語長 を 6 ビ ッ ト 構成 と し 、 値 " 7 力 ら 値 " 1 4 " ま で は符号語長 を 7 ビ ッ ト 構成 と す る 。 値 1 5 " 力ゝ ら 値 " 3 0 " ま で は符号語長 を 8 ビ ッ ト 構成 と し 値 3 1 力ゝ ら 値 9 4 ま で は符号語長 を 9 ビ ッ ト 構成 と し 、 値 9 5 " 力ゝ ら 値 " 1 5 8 " ま で は符号語長 を 1 0 ビ ッ ト 構成 と す る 。 値 " 1 5 9 " 力 ら 値 " 2 8 6 " ま で は符 号語長 を 1 1 ビ ッ ト 構成 と し 、 値 " 2 8 7 " 力ゝ ら 値 " 5 4 2 " ま で は符号語長 を 1 2 ビ ッ ト 構成 と す る 。 値 " 5 4 3 " 力 ら 値 " 8 2 2 2 " ま で はヘ ッ ダ " header 1 " と へ ッ ダ " h e a d e r 2 " を 前者は 1 ビ ッ ト 構成、 後者 は 2 ビ ッ ト 構成 と し 、 値 " 5 4 3 " 力 ら 値 " 1 0 5 4 " ま で は符号語長 を 1 2 ビ ッ ト 構成 と し 、 値 " 1 0 5 5 " 力 ら 値 " 2 0 7 8 " ま で は符号語長 を 1 3 ビ ッ ト 構成 と し 、 値 " 2 0 2 9 " 力ゝ ら 値 " 4 1 2 6 " ま で は符号語長 を 1 4 ビ ッ ト 構成 と し 、 値 " 4 1 2 7 " 力、 ら 値 " 8 2 2 2 " ま で は符号語長 を 1 5 ビ ッ ト 構 成 と す る 。

こ う す る こ と で、 語長 は 1 3 ビ ッ ト 固 定が数値に よ り 5 ビ ッ ト カゝ ら 1 5 ビ ッ ト ま での 可変長 に な る 。 こ の 結果、 ヘ ッ ダ を含 め て も 最大 1 8 ビ ッ ト で済む こ と に な り 、 従来の 5 2 ビ ッ ト に 比べ る と 3 4 ビ ッ ト も 構成 ビ ッ ト 数力 S少 な く て 済む。

小 さ い画像 の場合 は低 ビ ッ ト レー ト で符号化 さ れ る こ と を 要求す る こ と が一般的 に 多 く 、 大 き い画像 は符号化 し た ビ ッ ト 歹 IJ も 大 き な サ イ ズに な る こ と 力ゝ ら 、 ビ ッ ト レー ト に余裕力 S あ る 場合が 多レ、 と 思われ る 。 そ の意味で も 、 可変長 に し て小 さ いサ イ ズ に短い符号 を 有 り 当 て る こ と に は効果が あ る 。

例 え ば、 プ レ ゼ ン テ ー シ ョ ン · レ イ ヤ " Presentation Layer" 力 Q C I F ( 1 7 6 画素 X I 4 4 画素） の 画像 の 場合 V W， V H は最大で

1 1 [bit] X 2 = 2 2 [bit]

位置情報 （ V H M S R , V V M S R ) に 関 し て も 最大

1 1 [ bit] X 2 = 2 2 [ bit]

従 っ て 、 両者の合計 4 4 [ b i t ]で、 8 [ b i t ]分 が圧縮可 能 と な る 。

そ の他 、 図 8 の よ う な画像構成 の場合で は 、

V W = 1 2 8 画素 = 1 0 [bit] ,

V H = 8 0 画素 = 9 [bit] ,

V H M S R = 3 2 画素 = 9 [bit] ,

V V M S R = 2 0 画素 = 8 [bit]

で合計

1 0 + 9 + 8 + 9 = 3 6 [bit]

に な り 、 1 6 [ b i t ]の 削減 と な る 。

本変形例 の 基本構成図 を 図 9 に示す。 図 9 にお い て 、 1 0 0 1 は 可 変長 符 号化部 、 1 0 0 2 は 可変 長 符 号生成部 で あ り 可変長符号生成部 1 0 0 2 はサ イ ズ情報 を 受 け て 、 こ れ を符 号語に変換す る も の で あ る 。 ま た 、 可変長符号化部 1 0 0 1 は入力 さ れた重要情報 1 0 3 1 か ら サ イ ズ情報 を読み 出 し 、 そ の サ イ ズの情報 1 0 3 2 を 可変長符号生成部 1 0 0 2 に送 る と 共に 、 可変長符号生成部 1 0 0 2 か ら 得 ら れ る 符号語 1 0 3 3 を 符号語 1 0 3 4 と し て 出 力 す る 。

こ の よ う な 構成 に ぉ レ、 て 、 重要情 報 1 0 3 1 を 入 力 す る と 当 該重要情報 1 0 3 1 は可変長符号化部 1 0 0 1 に入力 さ れ る 。 可変長符号化部 1 0 0 1 では 当 該入力 さ れた重要情報 1 0 3 1 カゝ ら サ イ ズ情報 を読み 出 し 、 サイ ズ情報 1 0 3 2 を 可 変長 符 号 生成部 1 0 0 2 に 送 り 、 符 号語 1 0 3 3 を 生成す る 可変長符号化部 1 0 0 1 で は可変長符号生成部 1 0 0 2 力 ら 得 ら れた符号語 1 0 3 3 にサ イ ズ情報 を 変換 し て な る 符号 語 1 0 3 4 を 出 力 す る こ と に な る 。

本実施形態 は M P E G — 4 に つ い て述べて い る が 、 M P E G — 4 以外 の任意形状符号化 の伝送 に 関 し て も 同様の情報 を 付加す る こ と で 、 誤 り 耐性 を 向 上す る こ と が可能で あ る 。

次 に 、 別 の 実施例 を 第 2 の 実施形態 と し て 説明 す る 。

図 1 0 は本発 明 の 第 2 の 実施形態 に係 る 動画像符号化装置 の 基本構 成 図 で あ る 。 図 1 0 に 示す動画像符 号化装置 よ る と 符号化部 6 0 1 の 出 力 が 、 ビ ッ ト 列分割部 6 0 2 お よ び重要 情報構成部 6 0 3 に接続 さ れ る 。 重要情報構成部 6 0 3 の 出 カ は ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 に接続 さ れ る 。 ビ ッ ト 列分 割咅 6 0 2 お よ びパ ケ ッ ト ヘ ッ ダ生成部 の 出 力 はバ ケ ツ ト 構 成部 6 0 5 に接続 さ れ る 。 ノ、。 ケ ッ ト 構成部 6 0 5 の 出 力 は伝 送路 1 0 6 に接続 さ れ る 。

符号化部 6 0 1 は 、 入力 さ れた画像信号 1 3 1 を符号化 し て ビ ッ ト 列 分割部 6 0 2 に 出 力 し 、 ま た 、 符号化 し た 際の符 号化情報 6 3 4 を重要情報構成部 1 0 2 に 出 力す る よ う 構成 さ れ る 。

ま た 、 重要情報構成部 1 0 2 は符号化部 1 0 1 で符号化 し た 際 の符号化情報 6 3 4 を 受 け て復号に必要 な重要情報 6 3 5 だ け を選択 し て 出力 す る 部で あ る 。 特に 、 通常画像 関連重 要情報 の他 に 、 M P E G - 4 にお け る 任意形状の画像符号 化 · 複号化 に 必要 な情報、 例 え ば、 任意形状の画像符号化で は画像サイ ズの幅 V Wの情報 と 高 さ V H の情報お よ び復号 し た画像 を 表示す る 位置 を 示すた め の画像位置 の X 座標 V H M S R の情報 、 y 座標 V V M S R の情報、 そ し て 、 形状情報の 符号化モ ー ド を 示す V O P シ ： — プ · コ ーデ ィ ン グ · タ イ プ " vop— shape— cod i ng— type ( V S C T ) " や、 形状情報の サ イ ズ を 変換 し て カゝ ら 符号化す る カゝ ど う か を 示す フ ラ グ で あ る change— conv— ratio— disable ( C C R D ) な ど の任意开 状画 像関連重要情報 を重要情報 6 3 5 と して 取得 さ れ る 。 こ れ ら 重要情 報 6 3 5 が 、 バ ケ ツ ト ヘ ッ ダ 生成部 6 0 4 に 与 え ら れ 通常画像関連重要情報 につ い て はパ ケ ッ ト へ ッ ダ に通常 に反 映 さ せ、 任意形状画像 関連重要情報 につ い て はバ ケ ツ ト へ ッ ダ に新た に設 け た拡張ヘ ッ ダ 中 に 、 決め ら れた フ ォ ーマ ツ ト で反映 さ せた本発 明独 自 の形式でパ ケ ッ ト ヘ ッ ダ を 生成 さ せ る 。

こ の よ う に 、 パ ケ ッ ト ヘ ッ ダ生成部 6 0 4 は 、 重要情報 6 3 5 を ノ、。 ケ ッ ト へ ッ ダ 内 に組み込 んでノ ケ ッ ト へ ッ ダ 6 3 6 と し て バ ケ ツ ト 構成部 6 0 5 に 出 力 し 、 ビ ッ ト 歹 IJ分割部 6 0 2 は 、 符号化部 6 0 1 カゝ ら 出 力 さ れた ビ ッ ト 歹り 6 3 2 を ノ、。 ケ ッ ト サ イ ズに 分割 し て 出 力す る よ う に構成 さ れ る 。

バ ケ ツ ト 構成部 6 0 5 は、 ビ ッ ト 列分割部 6 0 2 カゝ ら 出 力 さ れた 分割 ビ ッ ト 歹リ 6 3 3 と ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 力 ら 出 力 さ れた ノ ケ ッ ト ヘ ッ ダ 6 3 6 を 多重 し 、 得 ら れた 多重 デー タ 6 3 7 を伝送路 /蓄積媒体 1 0 6 に 出 力 す る よ う に構 成 さ れ る 。

こ の よ う な構成 におい て 、 入力 さ れた動画像の画像信号 1 3 1 は符号化部 6 0 1 で符号化 さ れ る 。 こ の と き 、 符号化部 6 0 1 か ら は符号化 し た際の符号化情報 6 3 4 が 出 力 さ れ重 要情 報 構成部 6 0 3 に 入 力 さ れ る 。 重要情 報構成部 6 0 3 は 入力 さ れた符号化情報 6 3 4 か ら 復号に必要 な重要情報 6 3 5 だ け を選択 し 、 出 力 す る 。 重要情報 6 3 5 は ノ ケ ッ ト へ ッ ダ生成部 6 0 4 に お いて 、 バ ケ ツ ト ヘ ッ ダ内 に組み込 ま れノ ケ ッ ト ヘ ッ ダ 6 3 6 と し て 出 力 さ れ る 。

一方 、 ビ ッ ト 列分割部 6 0 2 で は 、 符号ィ匕部 6 0 1 力ゝ ら 出 力 さ れた ビ ッ ト 歹 6 3 2 を ノ ケ ッ ト サ イ ズ に 分割 し て 出 力 す る 。 ノ ケ ッ ト 構成部 6 0 5 で は 、 ビ ッ ト 歹 IJ分割部 6 0 2 力 ら 出 力 さ れた 分割 ビ ッ ト 歹 1J 6 3 3 と ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 力、 ら 出 力 さ れた ノ ケ ッ ト ヘ ッ ダ 6 3 6 を 多重 し 、 多重デー タ 6 3 7 を伝送路 /蓄積媒体 1 0 6 に 出 力す る 。

こ の よ う に 、 本実施例 で は 、 動画像 を符号化 し て 得た ビ ッ ト 列 に 、 重要情報構成部 6 0 2 カゝ ら 出 力 さ れた重要情報 6 3 5 を 決 め ら れた フ ォ ーマ ツ ト で ノ、。 ケ ッ ト ヘ ッ ダ生成部 6 0 4 に よ り ヘ ッ ダ に揷入 し 、 こ れ を 動画像 の符号化デー タ に付加 し て パ ケ ッ ト ィ匕 し 、 伝送す る よ う に し た も の で あ る 。 ノ ケ ッ ト へ ッ ダに は拡張ヘ ッ ダが設 け ら れて お り 、 こ の拡 張ヘ ッ ダ に は通常画像 関連重要情報以外の重要情報 を格納 し て送 る の に使用 さ れ る 部分で あ る 。

そ の た め 、 通常画像関連重要情報以外 の重要情報 と し て 、 M P E G — 4 にお け る 任意形状 の 画像符号化 · 復号化 に必要 な情報 、 例 え ば、 任意形状の画像符号化で は画像サイ ズの幅 V Wの 情報 と 高 さ V H の情報お よ び復号 し た画像 を表示す る 位置 を 示すた め の画像位置の X 座標 V H M S R の情報 、 y 座 標 V V M S R の情報、 そ し て 、 形状情報の符号化モ ー ド を示 す V 〇 P シ ヱ ー プ ' コ ーデ ィ ン グ . タ イ プ

" vop一 shape— coding— type ( V S C T ) " や、 形状情報の サイ ズ を 変換 し て か ら 符号化す る か ど う か を示す フ ラ グで あ る change— conv— ratio— disable ( C C R D ) な ど を 重要情報 6

3 5 と し て 得て 、 こ れ を 決 め ら れた フ ォ ーマ ツ ト で ノ ケ ッ ト ヘ ッ ダ生成部 6 0 4 に よ り 拡張ヘ ッ ダ と し て ノ ケ ッ ト ヘ ッ ダ に揷入 さ れ る 。 復号部 は こ の バ ケ ツ 卜 の拡張ヘ ッ ダカゝ ら 取 り 出 し た 情 報 を 利 用 し て 復 号化 処理 を 行 う よ う に 構成 さ れ る と パ ケ ッ ト 毎 に任意形状の画像 を 再生で き る よ う に な り 、 任意 形状画像符号化の場合で も 従来 の長方形画像 の符号化 と 同等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な っ て 、 V O P へ ッ ダゃ一部 の V P が壊れて い て も 動画像 の復号化が 可能 に な る 。

こ の よ う に 、 本 シス テ ム は 、 任意形状画像符号化の場合で も 従来 の長方形画像 の符号化 と 同 等 の誤 り 耐性 を持たせ る こ と が で き る よ う に な る も の で あ る が 、 上記 の構成 に お い て 本 発 明 の 重要 な構成で あ る 重要情報構成部 6 0 を 図 1 1 を 参照 し て詳細 に説明す る 。

図 1 1 に重要情報構成部 6 0 3 の ブ ロ ッ ク 図 を示す。 重要 情報構成部 6 0 3 は こ の 実施形態 で の 重要 な ポ イ ン ト で あ り 図 1 1 に 示す よ う に 、 重要情報構成部 6 0 3 は、 切替部 2 2 0 1 と 、 拡張ヘ ッ ダ挿入判定部 2 2 0 2 と 、 任意形状画像 関 連重要情報構成部 2 2 0 3 と よ り 構成 さ れ る 。

拡張ヘ ッ ダ挿入判 定部 2 2 0 2 は、 拡張ヘ ッ ダ を ケ ッ ト へ ッ ダ に付加す る カゝ ど う カゝ の判 定 を行 う 部で あ り 、 符号化部 6 0 1 カゝ ら 入 力 さ れ た符号化情報 6 3 4 カゝ ら 符号化部 6 0 1 が任意形状の 画像符号化 を 実施 し て い る か否 か を判 断 し て任 意形状の画像符号化 を 実施 し て い る 場合 に拡張ヘ ッ ダ を パ ケ ッ ト へ ッ ダ に付力 [1す る 。

切替部 2 2 0 1 は 、 部開 閉 ス ィ ッ チ で あ っ て 、 拡張ヘ ッ ダ 挿入判定部 2 2 0 2 が拡張ヘ ッ ダ をノ、。 ケ ッ ト へ ッ ダ に付カロす る と 判 断 し た場合 に 、 当 該拡張ヘ ッ ダ挿入判 定部 2 2 0 2 ら 出 力 さ れ る 制御信号に よ り 切替部 2 2 0 1 は 、 部が 閉 じ ら れて符号化部 6 0 1 か ら の符 号化情報 6 3 4 が任意形状画像 関連重要情報構成部 2 2 0 3 に 与 え ら れ る 。

任意形状画像 関連重要情報構成部 2 2 0 3 は切替部 2 2 0 1 を介 し て 入力 さ れ る 符号化情報 6 3 4 を 入力 符号化情報 2 2 3 3 と し て受 け て 、 こ れ よ り 任意形状符号化 に 関連す る V O P ヘ ッ ダ情報 を選択 し 、 重要情報 6 3 5 と し て 出 力 す る よ う 構成 さ れ る 。

こ の よ う な構成 に おいて 、 符号化部 6 0 1 か ら 重要情報構 成部 6 0 3 に入力 さ れた符号化情報 6 3 4 は拡張ヘ ッ ダ挿入 判 定部 2 2 0 2 に よ り 拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダに付カ卩す る 力、 ど う かの判 定 を行 う 。 付加す る と 判 定 さ れた場合 、 切替 部 2 2 0 1 か ら 任意形状画像関連重要情報構成部 2 2 0 3 に 入力 符号化情報 2 2 3 3 が入力 さ れ る 。 任意形状画像 関連重 要情報構成部 2 2 0 3 で は入力符号化情報 2 2 3 3 か ら 任意 形状符号化 に 関連す る V O P へ ッ ダ情報 を選択 し 、 重要情報

6 3 5 を 出力 す る 。

以 下 に バ ケ ツ ト ヘ ッ ダへの 重要情報の組み込み に 関 し詳細 に述べ る 。

任意形 状 画 像 の 符 号化 の 際 、 長 方形画像 の 符 号化 に 比 べ て 画像 の 幅 （ V W ) 、 高 さ （ V H ) 、 画像 を配置す る X 座標

( V H M S R ) 、 Y 座標 （ V V M S R ) 、 形状情報 を縮小変 換 し て 符号化 し て レ、 る カゝ ど う カゝ を 示す フ ラ グ （ C C R D ) 、 形状情 報 の 符 号化 モ ー ド （ V S C T ) が 必要 に な る 。 こ の他 ァ ノレ フ ァ · ブ レ ンデ ィ ン グの 際の ァ ノレ フ ァ 値 を一 定に設定す る た め の フ ラ グ （VCA)お よ び値 （ V C A V ) 、 計算精度 を符号 ィ匕 Z復号化で 同 じ にす る た め の 丸 め演算 のや り 方 を示す フ ラ グ （ V R T ) な ど の情報 も 含 め る こ と も 可能で あ る が 、 こ こ で は 前者 の V W 、 V H 、 V H M S R 、 V V M S R 、 C C R D V S C T を 組み込む こ と と す る 。 そ の 際 の バ ケ ツ ト ヘ ッ ダ拡 張部分 の フ ォ ーマ ツ ト を 、 図 1 2 に示す。 こ こ で上の数字は ビ ッ ト 数 を 表 し 、 横 1 列 で 3 2 ビ ッ ト 分 を表す よ う に な っ て レヽ る 。 M P E G — 4 の場合 、 V W、 V H 、 V H M S R 、 V V M S R は各 1 3 ビ ッ ト で表現 さ れ、 残 り の C C E D 、 V S C T は各 1 ビ ッ ト で あ る 。

こ こ で は 、 例 と し て 3 2 ビ ッ ト に ァ ラ イ ンす る た め に 、 最 後 に リ ザー ブ " R e s e r v e " の ビ ッ ト （ R V ) を挿入 し て い る 。 V W 、 V H な ど が連続す る こ と で同期信号な ど の ビ ッ ト 列 と 同 じ も の が 出現す る 可能性が あ る 場合 に は、 例 え ば、 図 1 3 の よ う に 、 マ ー カ （ M ) を 各値の 間 に挿入 し 、 同期信号の よ う な絶対 に他 に 出 て き て は な ら な レ、 ビ ッ ト 列 に一致 し な レ、 よ

0 す る こ と も 可能で あ る 。 ま た 、 マ ー カ M の位置は 、 各† 報の 間 で あ る 必要 も な く 、 送信側 /受信側 で 同 一 の規則 に な つ て いれば、 ど こ に埋 め込 んで も かま わ な い。

最後 に 、 拡張ヘ ッ ダが あ る こ と を 示す フ ラ グ を通常 のへ ッ ダ情報の 中 に埋め 込む必要が あ る 。 そ こ で 、 1 ビ ッ ト の情報 で 、 通常ヘ ッ ダ内 に拡張ヘ ッ ダが存在す る カゝ ど う かの情報 を 埋め込む こ と に な る 。 こ れ ら の フ ォ ーマ ッ ト は例で あ り 、 こ の一部 の デー タ だ け でヘ ッ ダ情報 を構成 し た り 、 こ れ以外 の 情報 と 組合せて 用 い る こ と も 可能で あ る 。

以上の よ う に し て 、 本実施形態で は 、 動画像 を符号化 して バ ケ ツ ト 化す る 場合に 、 通常画像関連重要情報 を埋め込むパ ケ ッ ト ヘ ッ ダ に拡張へ ッ ダ を 付力 Qで き る よ う に し 、 任意形状 画像 を 符号化 し て 送 る 場合 に 、 そ の任意形状画像関連重要情 報 を拡張ヘ ッ ダ に埋め込 んでパ ケ ッ ト ヘ ッ ダ と し てデー タ に 付カロ し 、 ノ、。 ケ ッ ト イ匕す る よ う に し て い る 。 従 っ て 、 パ ケ ッ ト 毎 に任意形状の画像 を 再生で き る よ う に な り 、 ま た 、 任意形 状画像符号化の場合で も 従来の長方形画像の符号化 と 同 等の 誤 り 耐性 を持たせ る こ と が で き 、 V O P ヘ ッ ダや一部の V P が壊れて い て も 動画像の復号化が可能 に な る 。

次 に 、 こ の よ う なパ ケ ッ ト の復号 をす る 復号部 の例 を説明 す る 。

復号部 の構成例 に つ い て 、 以下 に説明 をす る 。 図 1 4 に示 す復号部 に よ る と 、 符号化 ビ ッ ト ス ト リ ー ム を 受 け る 分離部 7 0 2 の 出 力 は 、 複 号化部 7 0 3 お よ び重要情報構成部 7 0 5 に接続 さ れ る 。 復号化部 7 0 3 の 出 力 は 、 エ ラ ー チ ェ ッ ク 部 7 0 4 を 介 し て 重要情報構成部 7 0 5 に接続 さ れ る 。 重要 情報構成部 7 0 5 の 出力 は復号化部 7 0 3 に接続 さ れ る 。 分離部 7 0 2 は伝送路 Z蓄積媒体 1 0 6 カゝ ら 入 力 さ れ る ビ ッ ト 歹 IJ 7 3 1 を 分離処理 し て 画像用 の ビ ッ ト 歹 IJ 7 3 2 と バ ケ ツ ト ヘ ッ ダ 7 3 5 、 そ し て 、 そ れ以外のデー タ と に分 け る た め の も の で あ る 。

ま た 、 複号化部 7 0 3 は 、 分離 さ れた画像用 ビ ッ ト 歹 ij 7 3 2 を重要情報構成部 7 0 5 か ら の重要情報 を 用 い て 復号化処 理 し 、 元 の画像デー タ を得 る 部 で あ り 、 エ ラ ー チ ェ ッ ク 部 7 〇 4 は 、 復号化部 7 0 3 に て得 ら れ る 復号情報 7 3 3 力ゝ ら 復 号 中 に誤 り が発生 し て レヽ な レヽ カ ど う か を チ エ ッ ク す る た め の 部 で あ る 。

ま た 、 重要情報構成部 7 0 5 は 、 分離部 7 0 2 で分離処理 さ れた う ち のノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 の情報カゝ ら 重要情報 を構 成 し て復号化部 7 0 3 に 与 え る よ う に構成 さ れ る 。

こ の よ う な構成 にお い て 、 伝送路 /蓄積媒体 1 0 6 力ゝ ら 入 力 さ れ た ビ ッ ト 歹 ij 7 3 1 は 、 分離部 7 0 2 に よ り 画像用 の ビ ッ ト 歹 IJ 7 3 2 と ノ ケ ッ ト ヘ ッ ダ 7 3 5 、 そ し て 、 それ以外の デー タ と に 分離 さ れ る 。 そ の他 のデー タ は 、 夫 々 に対応 し た 復号部 に送 ら れ る 。 分離 さ れた画像用 ビ ッ ト 歹リ 7 3 2 は復号 化部 7 0 3 に入力 さ れ、 復号化が行われ る 。 復号化部 7 0 3 にお け る 複号化処理は、 分離 さ れた画像用 ビ ッ ト 歹 U 7 3 2 に つい て 重要情報構成部 7 0 5 か ら の重要情報 を用 い て行 う 。

エ ラ ー チ ェ ッ ク 部 7 0 4 は 、 復号化部 7 0 3 力ゝ ら の復号情 報 7 3 3 力 ら 復号中 に誤 り が発生 し て レ、 な レ、 力 ど う 力 を チ ェ ッ ク す る 。 チ ェ ッ ク の結果、 誤 り が あ り と 判定 さ れた場合 、 重要情報構成部 7 0 5 はバ ケ ツ ト ヘ ッ ダ 7 3 5 内 に存在す る 重要情報 7 3 6 を 構成 し 、 複 号化部 7 0 3 は重要情報 7 3 6 を 用 い て 符号化 ビ ッ ト 列 の復 号 を 開始す る 。

本 シ ス テ ム で は 、 動画像 を 符号化 し て バ ケ ツ ト 化す る 場合 に 、 通常画像 関連重要情報 を 埋 め込むバケ ツ ト へ ッ ダ に拡張 ヘ ッ ダが付加 で き る 。 ま た 、 任意形状画像 を符号化 し て 送 る 場合 に 、 そ の任意形状画像関連重要情報 を拡張へ ッ ダ に埋め 込 ん だ バ ケ ツ ト ヘ ッ ダ が デー タ に 付力 Q さ れ る 。 こ の 用 に し て 動画像が 、 パ ケ ッ ト 化 さ れて レ、 る の で 、 拡張ヘ ッ ダ よ り 任意 形状画像 関連重要情報 を 取得で き 、 任意形状画像 を復号で き る 。

本実施形態 にお い て 重要 な 要素 で あ る 重要情報構成部 7 0 5 を 図 1 5 を 参照 し て詳細 を説 明 す る 。

図 1 5 に示す よ う に 、 重要情報構成部 7 0 5 は 、 切替部 2 3 0 1 と 、 拡張ヘ ッ ダ挿入判 定部 2 3 0 2 と 、 任意形状画像 関連重要情報復号部 2 3 0 3 と よ り 構成 さ れ る 。

拡張ヘ ッ ダ挿入判 定部 2 3 0 2 は 、 拡張へ ッ ダがノ、。ケ ッ ト ヘ ッ ダに付力 D さ れて い る カゝ ど う カゝ の判定 を行 う 部で あ り 、 分 離部 7 0 2 カゝ ら 入力 さ れた ノ ケ ッ ト ヘ ッ ダ 7 3 5 の情報力、 ら 画像用 ビ ッ ト 列 7 3 2 が任意形状の画像符号化 を 実施 し て い る か否か を判 断 し て任意形状の画像符号化 を 実施 し て い る 場 合 に拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダ に付力 [1 し て い る と 判断 し 、 判 断に 対応す る 制御信号 を 出 力 す る よ う 構成 さ れて い る 。

切替部 2 3 0 1 は 、 部 開 閉 ス ィ ッ チ で あ っ て 、 拡張ヘ ッ ダ 挿入判 定部 2 3 0 2 が拡張ヘ ッ ダ を / ケ ッ ト へ ッ ダ に付カ卩 し て レ、 る と 判断 し た場合 に 、 当 該拡張へ ッ ダ挿入判 定部 2 3 0 2 カゝ ら 出 力 さ れ る 制御信号に よ り 切替部 2 3 0 1 は、 部が 閉 じ ら れて 分離部 7 0 2 カゝ ら の ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 の情報 を 任意形状画像 関連重要情報復号部 2 3 0 3 に 与 え ら れ る 。

任意形状画像 関連重要情報復号部 2 3 0 3 は切替部 2 3 0 1 を 介 し て 入力 さ れ る ノ ケ ッ ト ヘ ッ ダ 7 3 5 の情報 を 入力 情 報 2 3 3 3 と し て 受 け て 、 こ れ よ り 任意形状符号化 に 関連す る 情報 を 復元 し 、 重要情報 6 3 6 と し て 出 力 す る よ う に構成 さ れ る 。

こ の よ う な 構成 の 重要情 報構成部 7 0 5 の 作用 を 説 明 す る 入力 さ れた ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 は拡張ヘ ッ ダ揷入判 定部 2 3 0 2 にお い て 、 パ ケ ッ ト へ ッ ダ情報 に拡張へ ッ ダが付力□ さ れて レ、 る カゝ ど う カゝ を パ ケ ッ ト ヘ ッ ダ情報 を 復号す る こ と で 判定す る 。 そ の結果、 拡張ヘ ッ ダ が あ る と 判 定 さ れた場合 、 拡張ヘ ッ ダ挿入判 定部 2 3 0 2 は切替部 2 3 0 1 を 閉 じ る ベ く 制御す る こ と に よ り 、 ノ、。 ケ ッ ト ヘ ッ ダ 7 3 5 を通 し 、 こ れ を ノ ケ ッ ト ヘ ッ ダ情報 2 3 3 3 と し て任意形状画像関連重要 情報復号部 2 3 0 3 に入力 す る 。

任意形状画像関連重要情報復号部 2 3 0 3 はパケ ッ ト へ ッ ダ情報 2 3 3 3 を 元 に し て任意形状の符号化 に 関す る 重要情 報 を 復号 し 、 そ れ を重要情報 7 3 6 と し て 出 力 し 、 復号化部 7 0 3 へ与 え る こ と に な る 。

こ の よ う に し て 、 任意形状画像 関連の重要情報 を埋 め込む こ と が で き る よ う に設 け た拡張ヘ ッ ダ 中 の情報か ら 、 任意形 状画像 関連 の重要情報 を復号す る こ と が で き る よ う に な る 。

以上、 本第 2 の 実施形態の 技術 を 用 い る こ と で 、 第 1 の 実 施形態 と 同様 に任意形状画像符号化の場合で も 従来の長方形 画像 の 符号化 と 同 等 の誤 り 耐性 を 有す る こ と が 可能 と な る 。 さ ら に 、 伝送路の プ ロ ト コ ル の拡張ヘ ッ ダ を 用 レ、 る こ と に よ り 、 画像符号化 に 関 し て は ビ ッ ト 列 を 変更す る こ と な く 実装 で き る 。 こ れ は 、 既存 の標準方式等 を利用 す る 際 に 有効 で あ る 。

第 1 の 実施形態 の 変形例 と 同 様 に V W , V H , V H M S R V V M S R を 可変長符号化 にす る こ と に よ り 符号量 を 削減す る こ と が可能で あ る 。

な お 、 本実施形態 は M P E G — 4 につ い て述べて い る が 、 M P E G — 4 以外の任意形状画像符号化 の伝送に 関 し て も 同 様 の情報 を 付加す る こ と で 、 誤 り 耐性 を 向 上す る こ と が 可能 で め る 。

次 に 、 本発 明 の応用 例 と し て 、 本発 明 の符号化装置 /復号 化装置 を適用 し た動画像伝送 シ ス テ ム の 実施例 を 図 2 5 を 参 照 し て説明 す る 。 パ ソ コ ン 3 0 0 1 に備 え付 け ら れた （図示 し ない） カ メ ラ よ り 入力 さ れた動画像信号は、 ノ ソ コ ン 3 0 0 1 に組み込ま れた符号化装置 （ あ る い は符号化 ソ フ ト ウ ェ ア ） に よ っ て動 画像符号化が行われ る 。 こ の符号化装置か ら 出 力 さ れ る 動画 像信号は 、 他 の音声やデー タ の情報 と 共に 、 無線機 3 0 0 3 に よ り 無線で伝送 さ れ、 他の無線機 3 0 0 4 に よ っ て 受信 さ れ る 。 こ の無線機に は例 え ば、 携帯電話 、 P H S 、 無線 L A N 装置 な ど を 用 い て も 良 い。 無線機 3 0 0 4 で受信 さ れた信 号は 、 動画像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号は ノ ー ト パ ソ コ ン 3 0 0 5 に組み 込ま れた複号化装置 （ あ る い は複号化 ソ フ ト ウ ェ ア ） に よ つ て 復号 さ れ、 ノ ー ト P C 3 0 0 5 の デ ィ ス プ レ イ に表示 さ れ る 。

一方 、 ノ ー ト パ ソ コ ン 3 0 0 5 に備 え付 け ら れた （ 図示 し な い） カ メ ラ よ り 入力 さ れた動画像信号は、 ノ ー ト /く ソ コ ン 3 0 0 5 に組み込ま れた符号化装置 （ あ る い は符号化 ソ フ ト ウ ェ ア ） を 用 い て 上記 と 同様 に復号化 さ れ る 。 生成 さ れた動 画像信号は 、 他 の音声やデー タ の情報 と 多重化 さ れ 、 無線機 3 0 0 4 に よ り 無線 で送信 さ れ、 無線機 3 0 0 3 に よ っ て 受 信 さ れ る 。 無線機 3 0 ◦ 3 に よ っ て 受信 さ れた信号は 、 動画 像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号はノ、。 ソ コ ン 3 0 0 1 に組み込 ま れた複号化装 置 （ あ る い は復号化 ソ フ ト ウ ェ ア ） に よ っ て 復号 さ れ、 パ ソ コ ン 3 0 0 1 の デ ィ ス プ レ イ に表示 さ れ る 。

パ ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ、° ソ コ ン 3 0 0 5 と 、 携帯 テ レ ビ電話 3 0 0 6 と の 間 の動画像通信 に本発明 に よ る 符号 化 Z複号化装置 を応用 す る こ と も で き る 。 ノ ソ コ ン 3 0 0 1 ま た は ノ ー ト パ ソ コ ン 3 0 0 5 に組み込 ま れた符号化装置 に よ っ て 生成 さ れ、 無線機 3 0 0 3 ま た は 3 0 0 4 カゝ ら 無線 に よ っ て 伝送 さ れた動画像信号は 、 携帯テ レ ビ電話 3 0 0 6 に 組み込 ま れた無線機で受信 さ れ る 。 無線機で受信 さ れた信号 は動画像信号お よ び音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信号は携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた復号化装置 （ あ る い は復号化 ソ フ ト ウ ェ ア ） に よ っ て復 号 さ れ、 携帯テ レ ビ電話 3 0 0 6 のデ ィ ス プ レイ に表示 さ れ る 。

一方、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた カ メ ラ 1 0 0 7 よ り 入力 さ れた動画像信号は 、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた符号化装置 （ あ る い は符号化 ソ フ ト ウ エ ア ） を 用 い て 上記のノ ソ コ ン 3 0 0 1 お よ び ノ 一 ト ノ、° ソ コ ン 3 0 〇 5 の例 と 同様 に符号化 さ れ る 。 生成 さ れた動画像信号は 、 他の音声やデー タ の情報 を 多重化 さ れ 、 携帯テ レ ビ電話 3 0 0 6 に組み込 ま れた無線機 に よ り 無線で送信 さ れ、 無線機 3 0 0 3 ま た は 3 0 0 4 に よ っ て受信 さ れ る 。 無線機 3 0 0 3 ま た は 3 0 0 4 に よ っ て受信 さ れた信号は、 動画像信号 よ び 音声やデー タ の情報 に分解 さ れ る 。 こ れ ら の う ち 、 動画像信 号はノ、。 ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ、° ソ コ ン 3 0 0 5 に組み 込 ま れ た 複号化装置 （ あ る レ、 は復号化 ソ フ ト ウ ェ ア ） に よ つ て復号 さ れ、 ノ ソ コ ン 3 0 0 1 ま た は ノ ー ト ノ ソ コ ン 3 0 0 5 のデ ィ ス プ レ イ に表示 さ れ る 。

図 2 6 は 、 図 1 の第 1 の 実施形態 の符号化装置に対応 し た 第 4 の 実施形態 の 符号化装置 を 示 し て い る 。 こ の第 4 の 実施 形態 に よ る と 、 多重化部 1 0 5 カゝ ら 出 力 さ れ る 多重化 ビ ッ ト 列 が記録媒体 1 0 7 格納 さ れ る 。 こ の記録媒体 1 0 7 は、 本 発 明 に従 っ て フ ォ ーマ ッ ト さ れて レ、 る 。 即 ち 、 記録媒体 1 0 7 は、 形状情報ヘ ッ ダ と 、 こ れに続 く 複数の V O P が格納 さ れて い る 。 形状情報へ ッ ダ は符号化デー タ 内 で共通 に扱われ る 情報 を納 め た フ ィ ー ル ドで あ り 、 V 〇 P ヘ ッ ダ よ り も 上位 の情報が格納 さ れて い る 。 例 え ば、 矩形画像の画像サ イ ズ等 が格納 さ れ る 。 各 V 〇 P は複数のマ ク ロ ブ 口 ッ ク を含んでお り 、 最初 のマ ク ロ ブ ロ ッ ク に は V O P ヘ ッ ダ と こ の V O P へ ッ ダの後 ろ に設 け た M B デー タ と で構成 さ れ 、 以降の マ ク 口 ブ ロ ッ ク は V P ヘ ッ ダ と こ の V P へ ッ ダ に 後続す る M B デー タ と で構成 さ れ る 。 V P ヘ ッ ダ は 図 4 に従 っ て フ ォ ーマ ッ チ ン グ さ れ る 。

図 2 7 は 、 図 5 の第 1 の 実施形態の複号化装置 に対応す る 第 4 の 実施形態の複号化装置 を 示 して い る 。 こ の複号化装置 は 、 第 4 の 実施形態の符号化装置 に よ っ て記録媒体 1 0 7 に 格納 さ れた 多重化 ビ ッ ト 列 を読み取 り 、 復号化す る 。

図 2 8 は 、 図 1 0 の 第 2 の 実施形態 の符号化装置に 対応 し た第 5 の 実施形態 の復号化装置 を示 し て い る 。 こ の符号化装 置 は 、 バ ケ ツ ト 構成部 6 0 5 カゝ ら 出力 さ れ る 多重化デー タ を 記録媒体 1 0 7 に本発 明 の フ ォ ーマ ツ ト に従 っ て 格納す る 。 即 ち 、 フ ォ ー マ ツ ト は形状情報ヘ ッ ダ と 複数 の V 〇 P を 含 み 各 V O P の複数のマ ク ロ ブ ロ ッ ク の各 々 に は V P ヘ ッ ダ力 S設 け ら れ る 。

図 2 9 は、 図 1 4 の第 2 の 実施形態の複号化装置に対応す る 第 5 の 実施形態 の復号化装置 を示 し て い る 。 こ の複号化装 置は 、 第 5 の 実施形態 の符号化装置 に よ っ て記録媒体 1 0 7 に格納 さ れた 多重化 ビ ッ ト 列 を 読み取 り 、 復号化す る 。

以 下 、 図 3 0 に し た が っ て 図 2 7 の復号化装置 3 0 3 で の 処理の 内容 を 説明 す る 。 蓄積媒体 1 0 7 か ら 画像符 号列 を 順 次 読 み 込 み 、 ま ず 同 期 符 号 を 検 出 す る （ ス テ ッ プ S 1 1 ) 。 も し 、 検 出 さ れ た 同 期 符 号 力 S V O P s t a r t c o d e だ っ た ら （ ス テ ッ プ S 1 2 の Y E S ) 、 直前 に 復 号 さ れ た V O P ( フ レ ー ム ） を 画 像情 報 出 力 装置へ 出 力 す る 処理 を 行 う （ ス テ ッ プ S 1 3 ) 。 そ し て 、 画像符 号列 中 V O P s t a r t c o d e に 弓 I き 続 く V O P ヘ ッ ダ （ 図 2 9 中 V O P h e a d e r ) の 復号 を 行 う （ ス テ ッ プ S 1 4 ) 。 も し 、 V O P ヘ ッ ダ 力 S 正 し く 復 号で き た ら （ ス テ ッ プ S 1 5 の Y E S ) 、 復 号化装置 中 の 一 時記憶 回 路 に 記録 さ れ て い る 情 報 を 復 号 さ れ た V 〇 P ヘ ッ ダ 情 報 （ 時刻 情 報 、 V O P 予測 モ ー ド等） で 置 き 換 え る （ ス テ ッ プ S 1 6 ) 。 そ し て V 〇 P ヘ ッ ダ に 弓 I き 続 く マ ク ロ ブ ロ ッ ク デ ー タ （ 図 2 9 中 M B d a t a ) を 復 号 し 、 そ の ビデオ パ ケ ッ ト の 復 号 を 行 う （ ス テ ッ プ S 1 7 ) 。

も し 、 検 出 さ れ た 同 期 符 号 力 S r e s y n c m a r k e r だ つ た ら （ ス テ ッ プ S 1 8 の Y E S ) 、 r e s y n c m a r k e r に 弓 I き 続 く ビデ オ ノ ケ ッ ト ヘ ッ ダ （ マ ク ロ ブ ロ ッ ク 番 号 （ M B A ) 、 ビデ オ パ ケ ッ ト 量子ィヒノ、° ラ メ ー タ （ S Q ) 、 ヘ ッ ダ拡 張 コ ー ド H E C ) ) の 復 号 を 行 う （ ス テ ッ プ S 1 9 ) 。 も し 、 ビデ オパ ケ ッ ト ヘ ッ ダ 中 の ヘ ッ ダ拡 張 コ ー ド H E C = " 0 " だ っ た場合 に は （ ス テ ッ プ S 2 0 の N 〇 ） 、 そ の ビデ オ パ ケ ッ ト の 復 号 を 行 う （ ス テ ッ プ S 1 7 ) 。 も し 、 ヘ ッ ダ拡 張 コ ー ド H E C = " 1 " だ つ た 場合 に は （ ス テ ツ プ S 2 0 の Y E S ) 、 そ れ に 引 き 続 く 二重化情報 （ 図 2 9 中 D U P H ) の 復 号 を 行 う （ ス テ ッ プ S 2 1 ) 。 こ の と き 、 任意 形 状 か 否 か を 判 定 し （ ス テ ッ プ S 2 1 — 1 ) 、 Y E S で あ れ ば 、 任意形状 画像 関 連重要 情 報 を 複 号化す る （ ス テ ッ プ S 2 1 一 2 ) 。 判 定 力 S N O で あ れ ば 、 ス テ ッ プ 2 2 に ジ ャ ン プす る 。 も し 、 二 重化情報 が 正 し く 復号で き た な ら ば （ ス テ ッ プ S 2 2 の Y E S ) 、 こ の 二重化情報 と 、 一 時記憶 回 路 に 保存 さ れ て い た 情 報 を 比較す る （ ス テ ッ プ S 2 3 ) 。 も し 比較結 果 が 等 し け れ ば （ ス テ ッ プ S 2 3 の N O ) 、 ビデオ ノ ケ ッ ト ヘ ッ ダ に 弓 I き 続 く マ ク ロ ブ ロ ッ ク デー タ （ 図 2 9 中 M B d a t a ) を 復 号 し 、 そ の ビデ オ パ ケ ッ ト を 復 号す る （ ス テ ッ プ S 1 7 ) 。 も し 、 比較結 果 が 等 し く な け れ ば （ ス テ ッ プ S 2 3 の Y E S ) 、 こ の ビ デ オ ノ、。 ケ ッ ト は 直前 に 復 号 さ れ た V O P と は 異 な る V O P に 属 す る と 判 定 し 、 直前 に 復 号 し た V 〇 P を 画像情報 出 力 装置 に 出 力 す る 処理 を 行 い （ ス テ ッ プ S 2 4 ) 、 一 時記憶装置 に 記録 さ れて い る 情報 を 復 号 し た 二重化 情報 で置 き 換 え る （ ス テ ッ プ S 2 5 ) 。 さ ら に そ の ビデ オパ ケ ッ ト の 復 号 を 行 う （ ス テ ッ プ S 1 7 ) „

以 上 、 図 3 0 に 示 し た 同 期 符 号検 出 力ゝ ら 始 ま る 一連 の 処理 を 、 蓄積媒体 8 1 0 に記録 さ れ て い る 画像符 号列 を 順次読み 込 み な が ら 繰 り 返 し て い き 、 動画像信号 を 再生す る

な お 、 画像符 号列 を そ の ま ま 蓄積媒体 に 記録す る の で は な く 、 音 声信 号や オ ー デ ィ オ信 号 を 符 号化 し た 符 号列 、 ァ ー タ 制 御 情 報 等 と の 多重化 を 行 っ た 符 号列 を 蓄積媒体 に記録す る よ う に し て も 良 レ、 。 こ の 場合 、 蓄積媒体 に 記録 し た 情 報 を 画 像符 号化装置 8 2 0 で符 号す る 前 に 、 逆 多重化 装置 で 画像符 号列 と 音 声 · オ ー デ ィ オ 符 号列 、 デ― タ 、 制 御 情 報 を 逆 多 重 化す る 処理 を 行 い 、 逆 多重化 さ れ た 画像符 号列 を 符 号化装置 8 2 0 で復 号す る 。

ま た 、 図 2 9 で は 、 蓄積媒体 8 1 0 に記録 さ れ て レ、 る 情 報 が 復 号化装置 8 2 0 に 信号線 8 0 を 介 し て 伝達 さ れ る 例 を 示 し た が 、 信 号線以 外 に 、 有線 Z無線 /赤外線等 の 伝送路 を 介 し て 情 報 を 伝達 し て も 構 わ な レヽ 。

以 上 の よ う に 本発 明 に よ れ ば 、 蓄積媒体 に 記録 さ れ て い る 符 号列 は 、 重要 な 情報 が 二 重化 し て 記録 さ れ て レ、 る た め 、 蓄 積媒体 に 記録 さ れ た 情報 に 誤 り が あ る 場合や 、 蓄積情報 に記 録 さ れ た 情 報 を 再 生画像 に 送 る 信号線や伝送路 に お い て 誤 り が 生 じ る 場合 に お い て も 、 劣化 の 少 な い 再 生画像 を 再生す る P

51 こ と 力； で き る 。

以上の よ う に本発明 に よ れば、 任意形状画像 を符号化 し た 場合で も 、 従来の長方形画像 の 符号化 と 同 等 の誤 り 耐性能力 を 持たせ る こ と が可能 と な る 。 ま た 、 動画像 Z音声デー タ の 伝送に利用 さ れ る プ ロ ト コ ノレ と し て の R T P の拡張ヘ ッ ダ を 用 レ、 る こ と でデー タ を バ ケ ツ ト 伝送す る 場合 にお い て も 、 M P E G - 4 な ど の既存の標準方式に則 つ た かた ち で符号化 し て伝送で き 、 し か も 、 従来の長方形画像の符号化 と 同 等 の誤 り 耐性能力 を 持たせ る こ と が 可能 と な る 。

産業上 の利用 可能性

以上 の よ う に本発 明 に よ る と 、 任意形状画像符号化 の場合 で も 従来の長方形画像 の符号化 と 同等の誤 り 耐性 を持たせ る こ と が で き る の で 、 符号化 さ れた動画像 Z静止画像 を I S D

N ( Integrated services Digital Network ) ゃィ ン タ ーネ ッ ト 等 の有線通信網 、 あ る い は P H S や衛星通信等 の無線通 信網 を 用 い て 伝送す る 情報伝送 シ ス テ ム に適用 で き る 。

Claims

請 求 の 範 囲

1 . 入力 さ れた動画像 を符号化 した符号化情報 を ビ ッ ト 歹 IJ と し て 生成す る 符号化部 と 、

前記符号化部の符号化情報か ら 、 一定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る かを指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、

同期信号 を 発生す る 同 期信号発生部 と 、

前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 に 前記 同期発生 部か ら 出 力 さ れた 同 期信号 と 前記重要情報再構成部 に よ り 再 構成 さ れた 重要情報 を加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再 構成部 と 、

を 具備 し た動画像符号化装置。

2 . 前記重要情報再構成部 は 、

前記符号化情報か ら フ レ ー ム を 方形領域単位で符号化す る 通常 の符号化形態 にお け る 重要情報で あ る 通常画像 関連情報 を 再構成す る 第 1 の重要情報再構成部 と 、

前記符号化情報か ら フ レ ー ム 内 の画像 を任意形状画像領域 単位で符号化す る 任意形状符号化形態 に お け る 重要情報 で あ る 任意形状画像 関連重要情報 を 再構成す る 第 2 の重要情報再 構成部 と 、

前記符号化情報 に基づ き 符号化画像が任意形状画像で あ る か否か を判 定す る 任意形状符号化判 定部 と 、

前記任意形状符号化判定部が任意形状画像 と 判 定 し た場合 に前記任意形状画像関連重要情報 を 出 力す る 切替部 と 、

前記通常画像関連情報 と 切替部の 出力 と を 多重化す る 多重 化部 と 、

を備 え る 、 請求項 1 記載の動画像符号化装置。

3 . 前記任意形状符号化判 定部 は、 符号化画像が長方形画 像で あ る の か、 任意形状画像で あ る の か を判 定 し 、 判定信号 を 出 力 し 、 こ の判 定信号 に応 じ て 前記切替部 を制御す る 請求 項 2 記載の動画像符号化装置。

4 . 前記 ビ ッ ト 列再構成部 は 、 前記重要情報 を 決 め ら れた フ ォ ー マ ツ ト に 二重化 し てヘ ッ ダ に挿入す る 請求項 1 記載の 動画像符号化装置。

5 . 前記 ビ ッ ト 列再構成部 は、 符号化 ビ ッ ト 列がマ ク ロ ブ 口 ッ ク の境界 に 当 た る か否か を判 定す る マ ク ロ ブ 口 ッ ク 境界 判 定回 路 と 、 前記符号化 ビ ッ ト 列 の符号量を カ ウ ン ト す る 力 ゥ ン タ と 、 前記マ ク ロ ブ ロ ッ ク 境界判定回路が前記 ビ ッ ト 歹 1J につい て マ ク ロ ブ ロ ッ ク 境界 を判 定 し 、 当 該 ビ ッ ト 列 の符号 量の 力 ゥ ン ト 値が あ る 値 を超 え て いた と き 、 挿入許可信号 を 出 力す る 同期信号挿入判 定回路 と 、 前記重要情報 と 前記 同期 信号 と か ら 拡張ヘ ッ ダ情報 を 作成 し 、 前記同期信号挿入判定 回路か ら の挿入許可信号に応答 し て 、 前記符号化 ビ ッ ト 列 に 前記拡張へ ッ ダ情報 を 付加す る へ ッ ダ情報挿入回路 と に よ り 構成 さ れ る 請求項 1 記載の動画像符号化装置。

6 . 前記拡張ヘ ッ ダ情報 は 同 期信号で始ま る ビデォパ ケ ッ 卜 に設 け ら れ る 請求項 5 記載の動画像符号化装置。

7 . 動画像 を 符号化 し て 生成 さ れ る 符号化動画像情報お よ び同期情報 、 並び に前記動画像 を 符号化す る と き に一定の ビ ッ ト 列 の纏ま り 力 ' ど の よ う な規則 の も と に符号ィヒ さ れて レ、 る か を 指 し 示す重要情報 を含むヘ ッ ダ情報 を有す る 符号化 ビ ッ ト 歹 を受 け る ビ ッ ト 列受 け入れ部 と 、

前記符号化 ビ ッ ト 列か ら 前記動画像情報 に対応す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を 復号す る 複号化部 と 、

前記 ビ ッ ト 列 か ら 同期信号 を 検 出 し 前記複 号化部へ通知す る 同 期信号検 出部 と 、

前記復号化部 の復号情報 か ら 誤 り が存在 し な い か ど う か を 判 定す る エ ラ ーチ ェ ッ ク 部 と 、

前記エ ラ 一 チ ェ ッ ク 部 が誤 り な し と 判 定 し た と き 、 前記復 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情報 を 再構成 し 復号化部 に通知す る 重要情報再構成部 と 、

を 具備 し た動画像復号化装置。

8 . 前記重要情報再構成部 は、

前記へ ッ ダ情報か ら 通常画像関連重要情報 を 再構成す る 第 1 の重要情報再構成部 と 、

前記へ ッ ダ情報か ら 復号化 し て い る 画像が任意形状画像か ど う か を判 定す る 任意形状符号化判 定部 と 、

前記へ ッ ダ情報 か ら 任意形状画像関連重要情報 を 再構成す る 第 2 の 重要情報再構成部 と 、

前記任意形状符号化判 定部が任意形状画像 と 判定 し た場合 に 、 前記へ ッ ダ情報 を 前記第 2 の重要情報再構成部へ導入す る 第 1 の切替部 と 、

前記任意形状符号化判定部が任意形状画像 と 判 定 し た と き に 、 前記任意形状画像関連重要情報 を 出 力す る 第 2 の切替部 と 、

を 具備 し た請求項 7 記載 の動画像復号化装置。

9 . 前記重要情報再構成部 は 、 前記復号化部 が復号 中 の 前 記 ビ ッ ト 歹 IJ に V O P ( ビデ オ · ォ ブ ジ ェ ク ト ' プ レ ー ン ） へ ッ ダが 存在 し て レ、 る 場合 は 、 V 〇 P ヘ ッ ダ情報 を 出 力 し 、 復 号 中 の 前記 ビ ッ ト 歹 ij に V O P へ ッ ダが 存在 し な い場合、 V P ヘ ッ ダ の前記重要情報 を 出 力す る 請求項 7 記載の動画像復 号 化装置。

1 0 . 前記重要情報再構成部 は 、 前記複号化部 にお い て 前 記 ビ ッ ト 列 か ら 前記 V P ヘ ッ ダが発見 さ れた場合は、 ま ず通 常画像 関連重要情報 を復号す る 請求項 9 記載の動画像複号化

1 1 . 前記 エ ラ ー チ ェ ッ ク 部 が 誤 り を 検 出 し た と き 、 前記 符 号化部 は誤 り に 対応 し た 処理 を 行 っ た 後 、 前記 同 期 検 出 部 が 検 出 し た 次 の 同 期信 号 の位置 か ら 復 号作業 を 行 う 請求項 7 記載 の 動 画像復 号化装置。

1 2 . 入 力 さ れ た 動 画像 を 符 号化 し た 符号化情報 を 符号化 ビ ッ ト 歹 ij と し て 生成す る 符 号化部 と 、

前記符号化部で の符号化情報か ら 一定 の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る カゝ を指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、

前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 を分割 し 、 複数 の分割 ビ ッ ト 列 を生成す る ビ ッ ト 列分割部 と 、

前記重要情報再構成部 に よ り 再構成 さ れた重要情報か ら パ ケ ッ ト ヘ ッ ダ を 作成す る バ ケ ツ ト へ ッ ダ作成部 と 、

前記分害 iJ ビ ッ ト 歹 IJ と 前記ノ ケ ッ ト へ ッ ダ と を 用 い て ノ ケ ッ ト を構成す る ノ、。 ケ ッ ト 構成部 と 、

を 具備 し た動画像符号化装置。

1 3 . 前記重要情報再構成部 は 、

前記符号化情報か ら 任意形状画像関連重要情報 を 再構成す る 任意形状画像 関連重要情報再構成部 と 、

前記符号化情報 か ら 任意形状画像関連重要情報 を保持 さ せ た拡張ヘ ッ ダ を ノ ケ ッ ト へ ッ ダに付加す る か否か を判 定す る 拡張へ ッ ダ挿入判 定部 と 、

前記拡張ヘ ッ ダ を挿入す る こ と を前記拡張ヘ ッ ダ挿入判 定 部が判 定 し た場合 に 、 前記へ ッ ダ情報 を前記任意形状画像関 連重要情報 に導入す る 切替部 と 、

を 具備 し た請求項 1 2 記載の動画像符号化装置。

1 4 . 前記バ ケ ツ ト ヘ ッ ダ生成部 は 、 重要情報 を バ ケ ツ ト へ ッ ダ 内 に組み込 んでバ ケ ツ ト ヘ ッ ダ と し て 前記ノ ケ ッ ト 構 成部 に 出 力 し 、 前記 ビ ッ ト 列分割部は、 前記符号化部か ら 出 力 さ れた ビ ッ ト 列 を バ ケ ツ ト サ イ ズに分割 し て 出 力 す る 請求 項 1 2 記載の動画像符号化装置。

1 5 . 動画像 を 符号化 し て 生成 さ れ る 符号化動画像情報お よ び同期情報、 並びに前記動画像 を符号化す る と き に一 定の ビ ッ ト 列 の纏ま り 力 ど の よ う な規則 の も と に符号化 さ れて レ、 る かを指 し示す重要情報 を含むバケ ツ ト ヘ ッ ダ情報 を有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け入れ部 と 、

入力 さ れた前記 ビ ッ ト 列 か ら 前記動画像情報 の画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を復号す る 復号化部 と 、

前記復号化部 の復号情報か ら 誤 り が 存在 し な い か ど う かを 判定す る エ ラ ー チ ェ ッ ク 部 と 、

前記パ ケ ッ ト へ ッ ダ情報か ら 前記重要情報 を 取 り 出 し て 重 要情報 を 再構成 し 、 前記エ ラ ー チ ェ ッ ク 部で誤 り が あ る と 判 定 さ れ、 復号 に重要情報が必要 な場合 に 当 該再構成 し た重要 情報 を複号化部 に通知す る 重要情報再構成部 と 、

を 具備 し た動画像復号化装置。

1 6 . 前記重要情報再構成部 は 、

前記バ ケ ツ ト へ ッ ダ情報 か ら 任意形状画像 関連重要情報 を 再構成す る 第 1 の重要情報再構成部 と 、

前記バ ケ ツ ト へ ッ ダ情報か ら 拡張へ ッ ダがバ ケ ツ ト へ ッ ダ に 付カ卩 さ れ て い る か否 か を 判 定す る 拡 張へ ッ ダ揷 入判 定部 と 拡張ヘ ッ ダが挿入 さ れて い る こ と を 前記拡張ヘ ッ ダ挿入判 定部が判 定 し た場合 に前記パ ケ ッ ト へ ッ ダ情報 を 前記任意形 状画像 関連重要情報 に導入す る 切替部 と 、

を 具備 し た請求項 1 5 記載の動画像符号化装置。

1 7 . 動画像 を符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画 像符号化装置 を含むサーバ コ ン ピ ュ ー タ と 、

前記サー バ コ ン ピ ュ ー タ の符号化 ビ ッ ト 列 を 送信す る 送信 機 と 、

前記サー バ コ ン ピ ュ ー タ か ら の符号化 ビ ッ ト 列 を受信す る 受信機 と 、

前記受信機か ら の符号化 ビ ッ ト 列 を 複 号化す る 動画像復号 ィヒ装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、 を 具備 し 、

前記動画像符号化装置は 、

入力 さ れた動画像 を符号化 し て符号化情報 を前記 ビ ッ ト 列 と し て 生成す る 符号化部 と 、

前記符号化部 の符号化情報か ら 、 一定の ビ ッ ト 列 の纏ま り が ど の よ う な規則 の も と に符号化 さ れて い る か を指 し示す情 報 と し て の重要情報 を 取 り 出 し て 再構成す る 重要情報再構成 部 と 、

同期信号 を発生す る 同期信号発生部 と 、

前記符 号化部 に よ り 符 号化 さ れた ビ ッ ト 列 に 前記 同 期 発 生 部 か ら 出 力 さ れ た 同 期 信 号 と 前記重 要情報 再構成部 に よ り 再 構成 さ れ た 重要情報 を 加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列 再 構成部 と 、

で構成 さ れ 、

前記動画像復号化装置 は 、

受信 し た前記符号化 ビ ッ ト 列 か ら 前記動画像情報 に対応す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を復号す る 復号化部 と 、

前記 ビ ッ ト 列 か ら 同期信号 を検 出 し前記復号化部へ通知す る 同 期信号検 出部 と 、

前記復号化部 の復号情報か ら 誤 り が存在 し な いか ど う か を 判 定す る エ ラ ーチ ェ ッ ク 部 と 、

前記 エ ラ 一 チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記復 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情報 を 再構成 し 復 号化 部 に 通 知 す る 重要情報 再構成部 と 、

で構 成 さ れ る 、

動 画像伝送 シ ス テ ム 。

1 8 . 動画像 を符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画 像符号化装置 を 含むサー バ コ ン ピ ュ ー タ と 、

前記サー バ コ ン ピ ュ ー タ の符号化 ビ ッ ト 列 を送信す る 送信 機 と 、

前記サーバ コ ン ピ ュ ー タ か ら の符号化 ビ ッ ト 列 を受信す る 受信機 と 、

前記受信機か ら の符号化 ビ ッ ト 列 を復号化す る 動画像復号 化装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、

を 具備 し 、

前記動 画像符 号化装置 は 、

入 力 さ れ た 動 画像 を 符 号化 し た 符号化情 報 を 符 号化 ビ ッ ト 列 と し て 生成す る 符 号化部 と 、

前記符号化部 で の符号化情報 か ら 一 定の ビ ッ ト 列 の纏ま り 力 S ど の よ う な 規則 の も と に符 号化 さ れて レ、 る か を指 し示す重 要情報 を 取 り 出 し て 再構成す る 重要情報再構成部 と 、

前記符号化部 に よ り 符号化 さ れた ビ ッ ト 列 を分割 し 、 複数 の分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列分割部 と 、

前記重要情報再構成部に よ り 再構成 さ れた重要情報か ら パ ケ ッ ト ヘ ッ ダ を 作成す る バ ケ ツ ト へ ッ ダ作成部 と 、

前記 分割 ビ ッ ト 歹 IJ と 前記パ ケ ッ ト ヘ ッ ダ と を 用 レ、 て ノ ケ ッ ト を 構成す る バ ケ ツ ト 構成部 と 、

で構成 さ れ 、

前記動 画像複 号化装置 は 、

受信 さ れた前記 ビ ッ ト 列 か ら 前記動画像情報 の画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を復号す る 複号化部 と 、

前記複号化部 の復号情報か ら 誤 り が存在 し な いか ど う か を 判 定す る エ ラ 一チ ェ ッ ク 部 と 、

前記バ ケ ツ ト へ ッ ダ情報 か ら 前記重要情報 を 取 り 出 し て 重 要情 報 を 再構成 し 、 前記 エ ラ ー チ ェ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復 号 に 重要情報 が 必要 な 場合 に 当 該再構成 し た 重要 情報 を 復 号化部 に 通 知 す る 重要情報再構成部 と

で構成 さ れ る 、 動画像伝送 シ ス テ ム 。

1 9 . 記録すべき 画像の任意形状情報 を格納す る 形状情報へ ッ ダ と 、

各々 が複数のマ ク ロ ブ 口 ッ ク を含 んでお り 、 各マ ク ロ ブ 口 ッ ク は V P ヘ ッ ダ と こ の V P ヘ ッ ダの後 ろ に設 け た M B デー タ と で構成 さ れ、 前記 V P ヘ ッ ダは符号化 ビ ッ ト 列の一定の ビ ッ ト 列 の纏ま り が どの よ う な規則 の も と に符号化 さ れて レ、 る か を指 し示す重要情報 を含む、 複数の V O P ( Video Object Plane)と

が記録 さ れた記録媒体。

2 0 . 前記 V P ヘ ッ ダの重要情報 は画像の幅、 画像 の 高 さ 、 画像 を貼 り 込む X 座標お よ び Y座標、 形状情報 を縮小変換 し て符号化 し て い る カゝ ど う か を示す フ ラ グ 、 形状情報の符号化 タ イ プ の情報 を含む請求項 1 9 の記録媒体。

2 1 . 入力 さ れた ビ ッ ト 列 か ら 画像列 を 分離す る 分離手段 と 前記が画像 ビ ッ ト 列 を復号す る 複号化手段 と 、

前記画像 ビ ッ ト 列か ら 同期信号を検出 し 、 前記復号化手段 へ通知す る 同期信号検 出手段 と 、

前記復号化手段か ら 出 さ れたヘ ッ ダ情報か ら 重要情報 を再 構成 し 、 復号化手段 に通知す る 重要情報再構成手段 と 、

を具備す る 動画像複号化装置。

2 2 . 前記ヘ ッ ダ情報か ら 通常画像関連重要情報再構成手段 と 、

前記へ ッ ダ情報か ら 複号化 し て い る 画像が任意形状画像か ど う かを判定す る 任意形状符号化判定手段 と 、

へ ッ ダ情報か ら 任意形状画像関連重要情報 を再構成す る 任 意形状画像関連重要情報再構成手段 と 、

前記任意形状符号化判定手段が任意形状で あ る と 判定 し た 場合 にへ ッ ダ情報 を任意形状画像 関連情報再構成手段へ入力 す る 切 り 替 え手段 と 、 前記任意形状符 号化判 定 手段 で任意形状画像 だ と 判 定 さ れ た 場合 に 前記任意形状画像 関 連重要情報 を 出 力 す る 切 り 替 え 手段 と 、

を 具備 す る 請求項 2 2 の 動 画像符 号化装置。

補正書の請求の範囲

[2000年 6月 27日 （27. 06. 00 ) 国際事務局受理：出願当初の請求の範囲 1 , 2, 7— 10, 1 2, 1 3, 1 5— 1 9, 21及び 22は補正された；新しい請求の範囲 23 - 29が加えられた；他の請求の範囲は変更なし。 （9頁）]

1 . (補 正 後 ） 入 力 さ れ た 動 像 を 任意 形状 符 号化 し た 符 号 化情報 を ビ ッ ト 歹 IJ と し て 生 ^ る 符 号化部 と 、

前記 符 号 化 部 の 符 号 化情 報 ら 、 一 定 の ビ ッ 卜 列 の 纏 ま り が ど の よ う な 規則 の も と に 符 号化 さ れ て レ、 る カ を 指 し 示 す重 要情報 を 取 り 出 し て 構成す る 重 要情報構成部 と 、

同期信 号 を 発 生す る 同 期 信 号発 生部 と 、

前記符 号化部 に よ り 符 号 化 さ れ た ビ ッ ト 列 に 前記 同 期 発 生 部か ら 出 力 さ れた 同期信号 と 前記重要情報が 二重化 さ れて い る か否かを 示す H E C 符号 と 前記重要情報構成部 に よ り 構成 さ れ た重要情報 を力 D え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と 、 を 具備 し た 動画像符号化装置 -

2 . (補正後 ） 前記重要情 報構成部 は 、

前記符号化情 報 か ら フ レ ー ム を 方形 領域 単位 で 符 号化す る 通 常 の 符 号化形態 に お け る 重 要 情 報 で あ る 通 常 画 像 関 連情報 を構成す る 第 1 の 重要情報構成部 と 、

前記符号化情報 か ら フ レ ー ム 内 の 画像 を 任意形 状画像領域 単位で符号化す る 任意形状 符 号化形態 に お け る 重要情報 で あ る 任意形状画像 関連重要情 報 を 構成す る 第 2 の 重要情報構成 部 と 、

前記符号化情報 に 基 づ き 符 号化画像 が 任意形状画像 で あ る か否か を判 定す る 任意形状符号化判 定部 と 、

前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た 場合 に前記任意形状画像 関連重要情報 を 出 力 す る 切 替部 と 、

前記通 常画像 関連情 報 と 切 替部 の 出 力 と を 多 重化す る 多重 化部 と 、

を備 え る 、 請求項 1 記載 の 動画像符号化装置。

3 . 前記任意形状符 号化判 定部 は 、 符号化画像 が 長方形 画 像で あ る の か、 任意形状画像 で あ る の か を 判 定 し 、 判 定信 号 を 出力 し 、 こ の判 定信号 に 応 じ て 前記切替部 を 制御す る 請求 補正された用紙 （条約第 19条） 項 2 記載 の 動画像符号化装置。

4 . 前記 ビ ッ ト 列 再構成 部 は 、 前 記重 要情 報 を 決 め ら れ た フ ォ ー マ ツ ト に 二重 化 し て ヘ ッ ダ に 挿入す る 請 求項 1 記載 の 動画像符 号化装置。

5 . 前記 ビ ッ ト 歹 IJ 再構成部 は 、 符 号化 ビ ッ ト 歹 IJ 力 S マ ク 口 ブ 口 ッ ク の 境 界 に 当 た る か否 カゝ を 判 定す る マ ク ロ ブ 口 ッ ク 境 界 判 定 回 路 と 、 前記符 号化 ビ ッ ト 列 の 符 号量 を カ ウ ン ト す る 力 ゥ ン タ と 、 前記 マ ク ロ ブ ロ ッ ク 境界判 定回 路 が 前記 ビ ッ ト 歹リ に つ レ、 て マ ク ロ ブ ロ ッ ク 境界 を 判 定 し 、 当 該 ビ ッ ト 歹 U の 符 号 量 の カ ウ ン ト 値 が あ る 値 を 超 え て レ、 た と き 、 挿 入許可信号 を 出 力 す る 同 期信 号挿入判 定 回 路 と 、 前記重要情 報 と 前記 同 期 信号 と か ら 拡張ヘ ッ ダ情報 を 作成 し 、 前記 同 期 信 号挿入判 定 回 路 か ら の挿入許可信 号 に応答 し て 、 前記符 号化 ビ ッ ト 列 に 前記拡張へ ッ ダ情報 を 付加 す る へ ッ ダ情報挿入 回 路 と に よ り 構成 さ れ る 請求項 1 記載 の 動画像符号化装置。

6 . 前記拡張ヘ ッ ダ情 報 は 同 期 信号 で始 ま る ビデォパ ケ ッ ト に設 け ら れ る 請求項 5 記載 の動画像符号化装置。

7 . (補正後 ） 動画像 を 任意形状符号化 し て 生成 さ れ る 符号 化動 画像情報 お よ び 同 期 情報 、 並び に 前記動画像 を 符 号化す る と き に 一 定 の ビ ッ ト 列 の 纏 ま り が どの よ う な 規貝 U の も と に 符号化 さ れ て い る か を 指 し 示 す重要情 報 を 含 む ヘ ッ ダ情報 を 有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け 入れ部 と 、

前記符号化 ビ ッ ト 列 か ら 前記動画像情報 に 対応す る 画像 ビ ッ ト 列 を分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を 復 号す る 複号化部 と 、

前記 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 前記復 号化部 へ通知 す る 同期信号検 出部 と 、

前記複号化部 の 復 号情報 か ら 誤 り が 存在 し な レ、 カゝ ど う か を 判定す る エ ラ ー チ ェ ッ ク 部 と 、

前記エ ラ ー チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記復

補正された用紙 （条約第 I⁹条） 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要情 報 を 構成 し 、 複号化部 に 通知 す る 重要情報構成部 と 、

を 具備 し た 動画像復号化装置。

8 . (補正後 ） 前記重要情報構成部 は 、

前記へ ッ ダ情 報 か ら 通 常 画像 関 連重 要情 報 を 構成す る 第 1 の 重要情報構成部 と 、

前記へ ッ ダ情 報 か ら 復 号化 し て い る 画像 が 任意形状 画像 か ど う か を判 定す る 任意形状符号化判 定部 と 、

前記へ ッ ダ情報 か ら 任意形状画像 関連重要情 報 を 構成す る 第 2 の重要情報構成部 と 、

前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た場合 に 、 前記へ ッ ダ情報 を 前記 第 2 の 重要情報構成部へ導入す る 第 1 の切替部 と 、

前記任意形状符 号化判 定部 が 任意形状画像 と 判 定 し た と き に 、 前記任意形 状画像 関連 重要 情報 を 出 力 す る 第 2 の 切替部 と 、

を 具備 し た請求項 7 記載 の 動 画像複号化装置。

9 . (補正後 ） 前記重要情報構成部 は 、 前記復号化部 が復号 中 の 前記 ビ ッ ト 歹 IJ に V O P ( ビデ オ . オ ブ ジ ェ ク ト · プ レ ー ン） ヘ ッ ダ が 存在 し て い る 場合 は 、 V O P ヘ ッ ダ情報 を 出 力 し 、 復 号 中 の前記 ビ ッ ト 歹 IJ に V O P ヘ ッ ダが 存在 し な レヽ場合、 V P ヘ ッ ダ の 前記重要情報 を 出 力 す る 請求項 7 記載 の 動画像 複号化装置。

1 0 . (補正後 ） 前記重要情報構成部 は 、 前記復号化部 に お い て 前記 ビ ッ ト 列 か ら 前記 V P へ ッ ダ が 発 見 さ れた 場合 は 、 ま ず通 常画像 関 連重要情報 を 復 号す る 請求項 9 記載 の 動 画像 復号化装置。

1 1 . 前記エ ラ 一 チ ヱ ッ ク 部 が 誤 り を 検 出 し た と き 、 前記 符号化部 は誤 り に 対応 し た 処理 を 行 っ た 後 、 前記 同 期 検 出 部 が検 出 し た 次 の 同 期信 号 の 位置 か ら 復 号作業 を 行 う 請 求項 7

補正された用紙 （条約第 19条） 記載 の動画像復 号化装置。

1 2 . (補正後 ） 入 力 さ れ た 動画像 を任意形状符号化 し た符 号化情報 を 符号化 ビ ッ ト 歹 ij と し て 生成す る 符号化部 と 、

前記符 号化部 で の 符 号化 情 報 か ら 一 定 の ビ ッ ト 列 の 纏 ま り が ど の よ う な 規則 の も と に 符 号化 さ れ て い る か を 指 し 示 す重 要情報 を 取 り 出 し て 構成す る 重 要情報構成部 と 、

前記符 号化部 に よ り 符 号化 さ れ た ビ ッ ト 列 を 分割 し 、 複 数 の 分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列 分割部 と 、

前記重要情報構成部 に よ り 構成 さ れ た 重要情報 か ら パ ケ ッ ト ヘ ッ ダ を 作成す る ノ ケ ッ ト へ ッ ダ作成部 と 、

前記分割 ビ ッ ト 列 と 前記 ノ ケ ッ ト へ ッ ダ と を 用 い て パ ケ ッ ト を構成す る バ ケ ツ ト 構成部 と 、

を 具備 し た動画像符号化装置。

1 3 . (補正後） 前記重要情報構成部 は 、

前記符号化情報 か ら 任意 形状画像 関連重要情 報 を 構成す る 任意形状画像 関連重要情報構成部 と 、

前記符号化情報 か ら 任意 形状画像 関連重要情 報 を保持 さ せ た拡 張へ ッ ダ を ノ、° ケ ッ 卜 へ ッ ダ に 付加 す る か否 か を 判 定す る 拡張へ ッ ダ挿入判 定部 と 、

前記拡張ヘ ッ ダ を 挿入す る こ と を 前記拡張ヘ ッ ダ挿入判 定 部 が判 定 し た場合 に 、 前記へ ッ ダ情報 を 前記任意形状画像 関 連重要情報に導入す る 切替部 と 、

を 具備 し た請求項 1 2 記載 の 動画像符号化装置。

1 4 . 前記ノ、。 ケ ッ ト ヘ ッ ダ生成部 は 、 重要情 報 を ノ、。 ケ ッ ト へ ッ ダ 内 に 組み込 ん でノ ケ ッ ト ヘ ッ ダ と し て 前記ノ ケ ッ ト 構 成部 に 出 力 し 、 前記 ビ ッ ト 列 分割 部 は 、 前記符 号化部 力ゝ ら 出 力 さ れた ビ ッ ト 列 を バ ケ ツ ト サ イ ズ に 分割 し て 出 力 す る 請 求 項 1 2 記載の動画像符号化装置。

1 5 . (補正後）動画像を任意形状符号化 して生成される符号化動 画像情報、 同期情報、 並びに前記動画像を符号化する と き に一定の

補正された用紙 （条約第 19条） ビ ッ ト 歹 IJ の 纏 ま り 力 ど の よ う な 規貝 IJ の も と に 符 号化 さ れ て レ、 る か を 指 し 示 す 重要情 報 を 含 む バ ケ ツ ト へ ッ ダ 情報 を 有す る 符号化 ビ ッ ト 列 を 受 け る ビ ッ ト 列受 け入れ部 と 、

入 力 さ れ た 前記 ビ ッ ト 列 か ら 前記動 画像 情報 の 画像 ピ ッ ト 列 と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を 復号す る 復 号化部 と 、

前記 復 号化部 の 復 号情報 カゝ ら 誤 り が 存在 し な い カゝ ど う か を 判 定す る エ ラ ー チ ェ ッ ク 部 と 、

前記バ ケ ツ ト へ ッ ダ情報 か ら 前記重要情 報 を 取 り 出 し て 重 要情報 を 構成 し 、 前記 エ ラ 一 チ ェ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復号 に 重要情報 が 必 要 な 場合 に 当 該構成 し た 重要情報 を 複 号化部 に通知す る 重要情報構成部 と 、

を 具備 し た 動画像複号化装置。

1 6 . (補正後） 前記重要情報構成部 は 、

前記バ ケ ツ ト へ ッ ダ情報 か ら 任意形状画像 関 連重要情報 を 構成す る 第 1 の 重要情報構 成部 と 、

前記ノ ケ ッ ト へ ッ ダ情報 力 ら 拡張へ ッ タ カ ^s ノ ケ ッ ト へ ッ グ に 付加 さ れ て い る か否 か を 判 定す る 拡張ヘ ッ ダ挿入判 定部 と 拡張ヘ ッ ダ が挿入 さ れて い る こ と を 前記拡張ヘ ッ ダ挿入判 定部 が 判 定 し た 場合 に 前記 ノ ケ ッ ト へ ッ ダ情報 を 前記任意形 状画像 関連重要情報 に導入す る 切 替部 と 、

を 具備 し た請求項 1 5 記載 の 動画像複号化装置。

1 7 . (補正後 ） 動画像 を 任意形状符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画像符 号化 装置 を含 むサ ー バ コ ン ピ ュ ー タ と 前記サ ー バ コ ン ピ ュ ー タ の 符 号化 ビ ッ ト 列 を 送信す る 送信 機 と 、

前記サ ー バ コ ン ピ ュ ー タ 力ゝ ら の 符号化 ビ ッ ト 列 を 受信す る 受信機 と 、

前記受信機か ら の 符 号化 ビ ッ ト 列 を 複 号化す る 動画像復 号 化装置 を含む ク ラ イ ア ン ト コ ン ピ ュ ー タ と 、

補正された用紙 （条約第 19条） を 具備 し 、

前記動画像符号化装置 は 、

入 力 さ れ た 動 画像 を 符 号化 し て 符 号化 情報 を 前記 ビ ッ ト 列 と し て 生成す る 符号化部 と 、

前記符号化部 の符号化情報 か ら 、 一 定の ビ ッ ト 列 の纏ま り が ど の よ う な 規則 の も と に 符 号化 さ れて い る か を 指 し 示す ,ト 報 と し て の 重要情報 を 取 り 出 し て 構成す る 重要情報構成部 と 、 同 期信号 を 発 生す る 同 期信号発生部 と 、

前記符 号化部 に よ り 任意形状符号化 さ れ た ビ ッ ト 列 に 前 記 同 期 発 生部 か ら 出 力 さ れ た 同 期信 号 と 前記重要情報 が 二重 化 さ れ て い る か否 か を 示す H E C 符 号 と 前記重要情報構成部 に よ り 構成 さ れ た 重要 情報 を 加 え ビ ッ ト 列 を 再構成す る ビ ッ ト 列再構成部 と 、

で構成 さ れ 、

前記動画像複号化装置 は 、

受信 し た 前記符 号化 ビ ッ ト 列 か ら 前記動 画像情報 に 対応 す る 画像 ビ ッ ト 列 を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を 復 号す る 複号化部 と 、

前記 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 前記複 号化部 へ通 知 す る 同期信号検 出部 と 、

前記復 号化部 の 復 号情 報 か ら 誤 り が 存在 し な い か ど う か を 判 定す る エ ラ ー チ ェ ッ ク 部 と 、

前記エ ラ ー チ ェ ッ ク 部 が 誤 り な し と 判 定 し た と き 、 前記 複 号化部 か ら 出 さ れ た 前記へ ッ ダ情報 か ら 重要 情報 を 構成 し 複号化部 に通知す る 重要情報構成部 と 、

で構成 さ れ る 、

動画像伝送 シ ス テ ム 。

1 8 . (補正後 ） 動画像 を任意形状符号化 し 、 符号化 ビ ッ ト 列 を 生成す る 動画像符 号化装置 を 含む サ ー バ コ ン ピ ュ ー タ と 前記サー バ コ ン ピ ュ ー タ の 符 号化 ビ ッ ト 列 を 送信す る 送信

補正された用紙 （条約第 19条） 機 と 、

前記 サ ー バ コ ン ピ ュ ー タ カゝ ら の 符号化 ビ ッ ト 歹 IJ を 受信 す る 受信機 と 、

前記受信機 か ら の 符 号化 ビ ッ ト 列 を 復 号化す る 動 画像復 号 化装置 を含 む ク ラ イ ア ン ト コ ン ピ ュ 一 タ と 、

を 具備 し 、

前記動画像符 号化装置 は 、

入 力 さ れ た 動 画像 を 任意形 状符 号化 し た 符 号化情報 を 符 号化 ビ ッ ト 歹 IJ と し て 生成す る 符 号化部 と 、

前記符 号化 部 で の 符 号化情 報 か ら 一 定 の ビ ッ ト 列 の 纏 ま り 力 s ど の よ う な 規貝 ij の も と に 符 号化 さ れ て レヽ る 力 を 指 し 示す 重要情報 を 取 り 出 し て 構成す る 重要情報構成部 と 、

前記符 号化部 に よ り 符 号化 さ れた ビ ッ ト 列 を 分割 し 、 複 数の 分割 ビ ッ ト 列 を 生成す る ビ ッ ト 列分割部 と 、

前記重要情報構成部 に よ り 構成 さ れ た 重要 情報 か ら パ ケ ッ ト ヘ ッ ダ を 作成す る パ ケ ッ ト へ ッ ダ作成部 と 、

前記分割 ビ ッ ト 列 と 前記ノ ケ ッ ト へ ッ ダ と を 用 い て パ ケ ッ ト を構成す る ノ、" ケ ッ ト 構成部 と 、

で構成 さ れ 、

前記動画像復号化装置 は 、

受 信 さ れた 前記 ビ ッ ト 列 か ら 前記動 画像情 報 の画像 ピ ッ ト 歹 IJ と バ ケ ツ ト へ ッ ダ情報 と を 分離す る 分離部 と 、

前記画像 ビ ッ ト 列 を 復号す る 復号化部 と 、

前記複 号化部 の 復 号情 報 か ら 誤 り が 存在 し な い か ど か を判 定す る エ ラ 一 チ - ッ ク 部 と 、

前記バ ケ ツ ト へ ッ ダ情 報 か ら 前記重要情報 を 取 り 出 し て 重要情報 を 構成 し 、 前記エ ラ ー チ ヱ ッ ク 部 で誤 り が あ る と 判 定 さ れ 、 復 号 に 重要情報 が 必要 な 場合 に 当 該構成 し た 重要情 報 を復号化部 に通知す る 重要情報構成部 と 、

で構成 さ れ る 、

補正された用紙 （条約第 19条） 動画像伝送 シ ス テ ム 。

1 9 . (補正後）符号化データ内で共通に扱われる情報を納めたヘッダと、 V O P ヘ ッ ダ と マ ク ロ ブ ロ ッ ク デー タ と を 含 む 第 1 の ビ デ オ ノ ケ ッ ト と 、 V P ヘ ッ ダ と マ ク ロ ブ ロ ッ ク デー タ と を 含 む 少 な く と も 1 つ の 第 2 の ビ デ オ ノ ケ ッ ト と 力 ら な る V O P 力 S 記録 さ れた記録媒体 に お い て 、

前記 V P ヘ ッ ダ は 、 同 期 信 号 と 、 任意形状符 号化 さ れ た 符 号化情報 力 ど の よ う な 規則 の も と に 符 号化 さ れ て レ、 る か を 指 し 示 す 重要 情 報 が 二重化 さ れ て い る か否 か を 示す H E C 符 号 と を含む こ と を 特徴 と す る 記録媒体。

2 0 . 前記 V P ヘ ッ ダ の 重要 情報 は画像 の 幅 、 画像 の 高 さ 、 画像 を 貼 り 込 む X 座標 お よ び Y 座標 、 形状情報 を 縮小 変換 し て 符 号化 し て い る カゝ ど う か を 示す フ ラ グ 、 形状情報 の 符 号化 タ イ プ の情報 を含む請求項 1 9 の記録媒体。

2 1 . (補正後） 入力 さ れ た ビ ッ ト 列 か ら 画像列 を 分離す る 分離手段 と 、

前記画像 ビ ッ ト 列 を 復号す る 複号化手段 と 、

前記画像 ビ ッ ト 列 か ら 同 期 信 号 を 検 出 し 、 前記復号化手段 へ通知す る 同 期信号検 出 手段 と 、

前記復号化手段 か ら 出 さ れ た へ ッ ダ情報 か ら 重要情報 を 構 成 し 、 複号化手段 に通知す る 重要情報構成手段 と 、

を 具備す る 動画像複 号化装置。

2 2 . (補正後）前記ヘッダ情報から通常画像関連重要情報構成手段と 前記へ ッ ダ情報 か ら 複号化 し て い る 画像 が任意形状画像 か ど う か を判 定す る 任意形状符号化判 定手段 と 、

へ ッ ダ情報 か ら 任意形状画像 関 連重要情報 を 構成す る 任意 形状画像 関連重要情報構成手段 と 、

前記任意形状符 号化判 定 手段 が任意形状 で あ る と 判 定 し た 場合 に へ ッ ダ情報 を任意形 状画像 関連情報構成手段へ入力 す る 切 り 替 え 手段 と 、

補正された用紙 （条約第 19条） WO 00/54512 ― PCT/JPOO/01354

69

前記任意形状符 号化判 定 手段 で任意形 状画像 だ と 判 定 さ れ た 場合 に 前記任意形状画像 関 連 重要情報 を 出 力 す る 切 り 替 え 手段 と 、

を 具備す る 請求項 2 1 の動画像符号化装置。

2 3 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示 す情報 を 含 む こ と を 特徴 と す る 請 求項 1 記載 の 動 画像符 号 化装置。

2 4 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請 求項 7 記載 の 動 画像復 号 化装置。

2 5 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及 び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 2 記載 の 動 画像符 号化装置。

2 6 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及 び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 5 記載 の 動 画像復 号化装置。

2 7 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 7 記載 の 動 画像伝 送 シ ス テ ム 。

2 8 . (追加 ） 前記重要情報 は 、 画像サ イ ズ及び画像位置 を 示す情報 を 含 む こ と を 特徴 と す る 請求項 1 8 記載 の動画像伝 送 シ ス テ ム 。

2 9 . (追加 ） 前記 V P ヘ ッ ダ は 、 重要情報 が 二重化 さ れて い る こ と を 示す H E C 符号 と 、 二重化 さ れ た任意形状符号 に 関 す る 重要情報 と を 含 む こ と を 特徴 と す る 請求項 1 9 記載 の 記録媒体。

補正された用紙 （条約第 19条）