WO2006100736A1

WO2006100736A1 - 動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法

Info

Publication number: WO2006100736A1
Application number: PCT/JP2005/005013
Authority: WO
Inventors: Tsutomu Togo; Atsuko Tada
Original assignee: Fujitsu Limited
Priority date: 2005-03-18
Filing date: 2005-03-18
Publication date: 2006-09-28
Also published as: US20080063378A1; JPWO2006100736A1; JP4312246B2; US8532468B2

Abstract

　各フレームが予め区画された画素ブロック毎に符号化されている動画像データを編集して、画像の一部にマスク処理を施す動画像データ編集装置（１）を提供する。動画像データ編集装置（１）は、入力された動画像データ（７１）のデータストリームから、前記マスク処理を施す範囲（７２）に対応する前記画素ブロック（ＢＬ２、ＢＬ４）を取り出す画素ブロック取出手段（１１）と、前記データストリーム中の、取り出された前記画素ブロック（ＢＬ２、ＢＬ４）の位置に、予め符号化された固定パターンデータ（７３）を挿入する固定パターン挿入手段（１２）と、取り出された前記画素ブロック（ＢＬ２、ＢＬ４）を、ユーザデータとして前記データストリームに挿入する画素ブロック挿入手段（１３）と、を備えて構成される。

Description

明細書

動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法

技術分野

[0001] 本発明は、一般に、符号化された動画像データに特殊視聴効果を施す技術、及びこのような特殊視聴効果を再生時に有効 Z無効化する技術に関し、より詳しくは、動画像データの符号化標準である MPEG (Moving Picture coding Experts Group)に準拠した動画像データに特殊視聴効果を施す技術、及び特殊視聴効果を再生時に有効 Z無効化する技術に関する。

背景技術

[0002] 従来より、動画像の上映又は配布に際し、個人情報保護などの様々な目的のため、動画像の一部を隠蔽することが行われている。このような動画像の隠蔽処理 (マスク処理)は、例えば、医療系の診断用映像 (超音波診断や内視鏡により得られる診断動画)や手術映像を医学教育用などに二次利用する場合に行われる。

図 19は、実際の超音波診断による診断動画像を示す図である。実際の診断動画像 81には、範囲 82に示すように患者を特定するための個人情報が併せて記録される。そして医療現場では、力かる個人情報を目視することにより、診断の基となる診療動画像が実際の患者を撮影したものであることを医師が確認することを可能としている。

[0003] 一方で、医学教育目的のために、このような診断動画像が不特定多数の受講者に対して上映される場合には、画像に映し出されてヽる患者の個人情報保護のために、力かる個人情報部分にマスク処理を施す必要がある。

また、手術映像のように患者の人相や外見が動画像から直接分力ゝる場合には、画像に映し出されている患者が特定できない程度に動画像にマスク処理を施すことが必要となる。

[0004] 特許文献 1：特開昭 64— 36460号公報

特許文献 2：特許第 3552945号公報発明の開示

発明が解決しょうとする課題

[0005] 従来、ビデオテープレコーダなどのアナログ信号形式の動画像保存方式が使用されていた場合には、マスク処理が施されていないマスター動画像データと、このマスター動画像データにマスク処理を施したコピーデータと、をそれぞれ作成して使用用途に応じて使い分けていた。このため 1つの動画像データに対して、マスク処理「あり」と「なし」との 2通りのデータを管理する必要があり、非常に煩雑なものとなっていた。

[0006] また、近年の動画像データ圧縮技術の進展により、これら動画像データをディジタル形式で保存することが普及しているが、従来のマスク処理方式では、符号化された動画像データを一度元の動画像信号に復号してから、特殊視聴効果ツール (イフェタトツール)等を用いて、元の動画像信号にマスク処理を施し、再符号化を行う必要があった。したがって動画像データの復号、マスク処理及び再符号化によって、膨大な処理時間が必要となり、さらに動画像の再符号ィ匕により生じる画質劣化の問題があつた。また、この場合にもマスター動画像データとコピーデータとが発生するため、上記のデータ 2元管理の問題は依然として回避されな力つた。

[0007] このように、従来のマスク処理方式では、上記の医師による診療と医療教育目的の視聴のように再生側の条件の相違に応じてマスク処理の有無を変更するには、マスク処理が施された動画像データと施されていない動画像データの 2つを用意する他なぐ 1つの動画像データを再生側の条件の相違に応じて再生態様を変更することはできなかった。

[0008] 上記問題点に鑑みて、本発明は、簡便な手段と労力で、符号化された動画像データの一部にマスク処理を行うことが可能な動画像データ編集装置及び動画像データ編集方法を提供することを目的とする。

さらに本発明は、このようにマスク処理が施された動画像データから、マスク処理前の原動画像を再生する動画像データ再生装置及び動画像データ再生方法を提供することにより、マスク処理済み動画像をそのまま再生する通常の再生器と比べて再生態様を変えることを目的とする。

課題を解決するための手段 [0009] 上記目的を達成するために、本発明に係る動画像データ編集装置及び動画像データ編集方法は、各フレームが予め区画されたマクロブロック毎に符号ィ匕されている動画像データを編集して画像の一部にマスク処理を施す際に、入力された動画像データのデータストリームからマスク処理を施す範囲に対応するマクロブロックを取り出し、データストリーム中の、取り出されたマクロブロックの位置に、予め符号化された固定パターンデータを挿入し、取り出されたマクロブロックをユーザデータとしてデータストリームに挿入する。

[0010] さらに、本発明に係る動画像データ再生装置及び動画像データ再生方法は、各フレームが予め区画されたマクロブロック毎に符号化されかつ画像の一部にマスク処理が施された動画像データを再生する際に、入力された動画像データのデータストリームから、ユーザデータとして挿入されたマクロブロックを抽出し、データストリーム中の、マスク処理を施された範囲に対応するマクロブロックの位置にあるデータに代えて、抽出されたマクロブロックを挿入してマスク処理前の動画像を復元する。

図面の簡単な説明

[0011] [図 1]図 1は、本発明による動画像データ編集装置の基本構成図である。

[図 2A]図 2Aは、本発明による動画像データ編集装置がマスク処理の対象とする動画像データの説明図であり、動画像データを構成する複数のフレームの説明図である。

[図 2B]図 2Bは、図 2Aの各フレームを構成する画素ブロックの説明図である。

[図 3]図 3は、図 2の動画像データのデータストリーム構成の説明図である。

[図 4A]図 4Aは、マスク処理を行う前の元の動画像を示す図である。

[図 4B]図 4Bは、マスク処理後の動画像を示す図である。

[図 5]図 5は、図 1の動画像データ編集装置によるマスク処理の説明図である。

[図 6]図 6は、本発明による動画像データ再生装置の基本構成図である。

[図 7]図 7は、図 6の動画像データ再生装置によるマスク無効化処理の説明図である

[図 8]図 8は、本発明による動画像データ編集装置の実施例の全体構成図である。

[図 9A]図 9Aは、 MPEG動画像データを構成する複数のピクチャの説明図である。 [図 9B]図 9Bは、図 9Aの各ピクチャを構成するマクロブロックの説明図である。

[図 10]図 10は、 MPEG動画像データのデータストリーム構成の説明図である。

[図 11A]図 11Aは、マスク処理を行う前の元の超音波診断動画像を示す図である。

[図 11B]図 11Bは、マスク処理後の超音波診断動画像を示す図である。

[図 12]図 12は、図 8に示す分析 Z編集部の第 1実施例の構成図である。

[図 13]図 13は、図 8の動画像データ編集装置によるマスク処理の第 1例の説明図である。

[図 14]図 14は、本発明による動画像データ再生装置の実施例の全体構成図である

[図 15]図 15は、図 14の動画像データ再生装置によるマスク無効化処理の第 1例の説明図である。

[図 16]図 16は、図 8の動画像データ編集装置によるマスク処理の第 2例の説明図である。

[図 17]図 17は、図 14の動画像データ再生装置によるマスク無効化処理の第 2例の説明図である。

[図 18]図 18は、図 8に示す分析 Z編集部の第 2実施例の構成図である。

[図 19]図 19は、実際の超音波診断による診断動画像を示す図である。

符号の説明

1 動画像データ編集装置

2 動画像データ再生装置

15 マスク情報生成部

61 マスク済動画像データ

62 マスク情報

51 ビデ才力メラ

53 動画像元データ保存部

54 表示部

71、 81 動画像

72、 82 マスク領域 73 固定パターンデータ

B1— B6 Bピクチャ

BL1— BL5 画素ブロック

BM1— BM4 マクロブロック

Fl— F6 フレーム

II、 12 Iピクチャ

Pl、 P2 Pピクチャ

発明を実施するための最良の形態

[0013] 以下、図 1一図 7を参照して本発明の基本構成を説明する。図 1は、本発明による動画像データ編集装置の基本構成図である。また、図 2は、図 1に示す動画像データ編集装置 1がマスク処理の対象とする動画像データの説明図であり、ここに図 2A は動画像データを構成する複数のフレームの説明図であり、図 2Bは、図 2Aの各フレームを構成する画素ブロックの説明図である。さらに、図 3は、図 2の動画像データのデータストリーム構成の説明図である。

[0014] まず、本発明による動画像データ編集装置 1がマスク処理の対象とする動画像データの構成を説明する。一般に動画像データは、図 2Aに示すように、時間経過に従つて順次表示される複数の画像 (フレーム) F1— F6' · ·から構成される。そして各フレーム F1— F6…は、動画像の画像フォーマットに規定される解像度に応じた数の複数の画素から成って!/、る。

動画像データがディジタル信号である場合には、データ量を低減するために、一般に動画像データは符号化されて圧縮される。このとき動画像データの符号化は、その動画像データが準拠する動画像符号ィ匕標準に従って行われる。

[0015] ここで、本発明による動画像データ編集装置 1は、動画像データを構成する各フレームが、予め区画された画素ブロック毎に符号ィヒされる動画像符号ィヒ標準に従う動画像データを対象とする。例えば図 2Bに示す例では、各フレームが M X Nピクセルの大きさを有する画素ブロック BL1— BL4' "を単位として符号化されている。

このような、動画像符号ィ匕標準に従う動画像データのデータストリーム構成は、図 3 のような構成を持つものとして一般ィ匕して示すことができる。図 3の上段に示すように、データストリームは時間経過に従って順次表示される複数のフレーム Fl— F5' "を含む構成を有する。そして各フレーム F1— F5…は、図 3の下段に示すように、当該フレームを構成する複数の画素ブロック BL1— BL5' "を、フレーム内におけるそれぞれの配置位置に応じた順序で順次配置して有して、る。

[0016] ここで本発明による動画像データ編集装置 1が対象とする動画像データは、さら〖こ、データストリームが、少なくともフレーム単位に、ユーザデータを挿入するためのュ一ザデータ領域を有することを許容する動画像符号化標準に従うものとする。ここ〖こユーザデータとは、動画像データを作成 Z編集する作成者や編集者が、本来の動画像情報に加えて動画像データに挿入することができる任意の情報をいうものとする

[0017] 本発明による動画像データ編集装置 1は、上記説明した一般的な動画像符号化標準に従う動画像データであれば、これを編集して画像の一部にマスク処理を施すことが可能である。そのために、動画像データ編集装置 1は、図 1に示すように、入力された動画像データのデータストリームから、マスク処理を施す範囲に対応する画素ブロックを取り出す画素ブロック取出部 11と、この取り出された画素ブロックが位置して!/ヽたデータストリーム中の元の位置に、予め符号ィ匕された固定パターンデータを挿入する固定パターン揷入部 12と、取り出された画素ブロックを、ユーザデータとしてデータストリームのユーザ領域に挿入する画素ブロック挿入部 13と、を備えて構成される。

[0018] 以下、動画像データ編集装置 1によるマスク処理を、図 4及び図 5を参照して説明する。図 4Aはマスク処理を行う前の元の動画像を示す図であり、図 4Bはマスク処理後の動画像を示す図である。いま、図 4Aに示す動画像 71のうち、破線で囲まれた領域 72を固定パターン (例えば単一色)で塗りつぶしマスク処理を施して隠蔽する場合を想定する。このようなマスク処理を施すことにより図 4Aに示す動画像 71は、図 4B に示すマスク済動画像 71のように編集される。

[0019] まず、図 1に示す画素ブロック取出部 11は、図 5に示すように、入力された元の動画像データのデータストリームから、マスク領域 72の範囲内に存在する画素ブロック BL2及び BL4を取り出す。

次に、図 1に示す固定パターン挿入部 12は、画素ブロック BL2及び BL4が取り出されたデータストリームの、画素ブロック BL2及び BL4が位置して!/、た元の位置のそれぞれに、固定パターンデータ 73を挿入する。この固定パターンデータ 73は、画素ブロックと同じ大きさを有する固定パターンをフレーム内符号ィ匕する、あるいはこのような符号化データを模擬的に生成して取得し、予め記憶しておくことが可能である。

[0020] そして画素ブロック揷入部 13は、取り出された画素ブロック BL2及び BL4を、ユーザデータとしてデータストリームのユーザ領域に挿入する。

このように動画像データ編集装置 1によって編集されたマスク処理済動画像データを、通常の再生装置で再生すると、マスク領域 72には固定パターンが表示され、つユーザデータ部は読み飛ばされるために、図 4Bに示す動画像 71のようにマスク済動画像が表示されることになる。

[0021] また動画像データ編集装置 1は、動画像データの復号及び再符号化を行うことなくマスク処理を行うため、処理時間が少なぐさらに動画像の再符号化により生じる画質劣化の問題もない。

[0022] 図 6は、本発明による動画像データ再生装置の基本構成図である。動画像データ再生装置 2は、動画像データ編集装置 1によって編集されたマスク処理済動画像データを入力して、マスク処理前の動画像を復元して再生するために使用される。このため、動画像データ再生装置 2は、入力された動画像データのデータストリームから、ユーザデータとして挿入された元の画素ブロックを抽出する画素ブロック抽出部 21 と、データストリーム中の、マスク領域に対応する画素ブロックの位置にあるデータに代えて、抽出された元の画素ブロックを挿入してマスク処理前の動画像を復元する動画像復元手段 22と、を備えて構成される。

[0023] 以下、動画像データ再生装置 2によるマスク無効化処理を、図 7を参照して説明する。まず、図 6に示す画素ブロック抽出部 21は、図 7に示すように、入力された動画像データのマスク領域に本来位置して、た元の画素ブロック BL2及び BL4を、データストリームの各フレームのユーザデータ領域力抽出する。

ここで、入力されたデータストリーム中のマスク領域に対応する画素ブロックの位置には、図 5に示すように固定パターンデータ 73が挿入されているので、図 6に示す動画像復元手段 22は、抽出された元の画素ブロック BL2及び BL4を、図 7に示すように、固定パターンデータ 73に代えて挿入することにより、動画像データ編集装置 1によるマスク処理前の動画像を復元する。

[0024] このように復元された動画像データを復号することにより、図 4Bに示す動画像 71に現れて、たマスク処理が無効化され、図 4Aに示す元の動画像 71のような動画像を表示することができる。

したがって、特定の施設、人間や、場所等 (上記の診断動画像に例に従って例えると、個人情報部分にマスク処理を施す必要のない医療現場)のみに、本発明による動画像データ再生装置による動画像データの再生を許すこととすれば、これらの特定の施設や人間などにより再生される場合のみマスク処理が無効化され、反対に、不特定多数の施設や人間などが通常の再生装置で再生する場合にはマスク処理が依然有効なままとなる。このようにして、 1つの動画像データを再生側の条件の相違に応じて再生態様を変更することが可能となる。

[0025] 以下、図 8—図 18を参照して本発明の実施例を説明する。図 8は、本発明による動画像データ編集装置の実施例の全体構成図である。

動画像データ編集装置 1は、入力された符号化動画像元データを復号する復号器 14と、復号された動画像データを入力して表示することによりオペレータがこの動画像を見ながらマスク処理に関する指示を行うことを可能とし、かっこの指示を受け付けてこれに基づ、てマスク処理に関するマスク情報 62を生成する、本発明に係る挿入位置情報生成手段であるマスク情報生成部 15と、入力された符号化動画像元データを分析し、マスク情報生成部 15が生成したマスク情報 62に基づいて符号ィ匕動画像元データにマスク処理を施して、マスク処理済動画像データ 61を出力する分析 Z編集部 16と、を備えて構成される。

[0026] 動画像データ編集装置 1に入力される符号化動画像元データは、例えばビデオ力メラ 51により撮像されたアナログビデオ信号を、一般に入手可能な符号器 52に入力してディジタル形式の符号化動画像データを符号化して得られる動画像データとしてよい。そしてこのような符号ィ匕動画像元データを、ハードディスクドライブ装置やメモリ装置などの記憶装置や CD— ROM、 DVDディスクなどのリムーバブル記録媒体などで実現可能な動画像元データ保存部 53に記憶して、この動画像元データ保存部 53から動画像データ編集装置 1に入力されることとしてよ、。

[0027] 以下、動画像データ編集装置 1が、動画像符号化標準の一つである MPEG形式に準拠した符号化動画像データをマスク処理する場合について説明する。

図 9Aは、 MPEG動画像データを構成する複数のピクチャの説明図である。図示するとおり MPEG動画像データは、時間経過に従って順次表示されるピクチャと呼ばれる複数のフレーム II、 B1— B3、 Pl、 B4— Β6、 Ρ2· ··、 12· ··から成り立つている。各ピクチャはその符号ィ匕タイプに応じて 3つの種類に分けられ、フレーム内符号ィ匕画面である Iピクチャ II、 12…と、前方向予測符号ィ匕画面である Ρピクチャ Ρ1、 Ρ2· ··と、双方向予測符号ィ匕画面である Βピクチャ B1— Β6…と、を含んでいる。なお、以下の実施例にぉヽて、動画像データを構成し時間経過に従って順次表示される各画像を「ピクチャ」と示すが、このピクチャは図 1一図 7を参照して説明した本発明の基本構成に係る動画像データ構造における「フレーム」と同じ意味で使用される。

[0028] MPEG符号ィ匕方式では、 Pピクチャ及び Bピクチャにおいて動き補償予測符号ィ匕を行うために、図 9Bに示すように、各ピクチャを 16 X 16ピクセルの区間に分割して複数のマクロブロック MB1— ΜΒ4· ··を構成し、このマクロブロックを単位としてブロックマッチングを行い予測符号ィ匕が行われる。また、 Iピクチャ、 Pピクチャ及び Bピクチャのいずれの場合でも、マクロブロックがフレーム内符号化される場合には、このマクロブロックを単位として DCT係数の直流成分 (DC成分）の係数の符号化が行われる

[0029] 図 10は、 MPEG動画像データのデータストリーム構成の説明図である。図示するとおり MPEG動画像データのデータストリーム構成は、シーケンス層と、 GOP層と、ピクチャ層と、スライス層と、マクロブロック層とを含んで構成される。

シーケンス層は、 1つのビデオプログラム全体の符号化信号を含む層で、シーケンスヘッダで始まり、 1つ以上の GOP (Group of Picture)を含んで構成される。

[0030] GOP層は、 Iピクチャと、 Pピクチャ及び Bピクチャのうちの両方又は一方と、力構成され、 MPEGデータからのランダムアクセスを行うポイントとして用いることができるピクチャ群である。このため各 GOPの最初のピクチャは必ず Iピクチャが挿入されて構成される。各 GOPの先頭には、画像復元時に音声などとの時間あわせを行うためのタイムスタンプ情報を含む GOPヘッダが挿入される。

ピクチャ層は、動画像信号 1枚 1枚の各画面に対応し、原則として I、 P及び Bピクチャのいずれか一種により構成される。各ピクチャの先頭には、 I、 P及び Bピクチャのいずれかを識別するための情報や、各ピクチャの表示順序を指定する情報を含むピクチヤヘッダが挿入される。ピクチャ層は、画面内で横長の領域を示すスライスを 1っ以上含んでいる。さらに、各ピクチャ層にはユーザデータを挿入するためのユーザデータ領域を挿入することが可能である。

[0031] スライス層は、 1つ以上のマクロブロックを含んで構成される。画面を複数のスライスで構成することにより、あるスライス層でエラーが発生しても次のスライス層でエラー回復を可能とするため設けられる。また、スライス層の先頭には、このスライス内で使用される量子化特性を表す情報などを含むスライス情報が挿入される。

マクロブロック層は、マクロブロックを構成する複数の 8 X 8ピクセノレのブロック力ら構成される。マクロブロック層の先頭に挿入されるマクロブロック情報には、例えば当該マクロブロックがフレーム内符号化されるか、動き補償符号化されるか等を示す符号化タイプ等の情報が含まれる。

[0032] 図 8に戻り、マスク情報生成部 15は、復号器 14によって復号された動画像データをオペレータに表示することが可能な CRTや液晶ディスプレイなどの表示部、ォペレータがこの動画像を見ながらマスク処理に関する指示を入力するのに必要なキーボード、マウス、タツチペン、タツチノッド等の入力部と、作成したマスク情報 62を分析 Z編集部 16に出力する出力インタフェースと、このマスク情報 62を、分析 Z編集部 1 6が編集したマスク処理済み動画像データ 61と同時に配布可能な形式にして出力可能なフレキシブルディスクドライブ装置、リムーバブルディスクドライブ装置と、備えるパーソナルコンピュータ等の計算手段により実現することとしてよい。

[0033] 以下、超音波診断動画像の動画像データを編集するオペレータがマスク処理に関する指示を入力する手順を説明する。図 11Aはマスク処理を行う前の元の超音波診断動画像を示す図であり、図 11Bはマスク処理後の超音波診断動画像を示す図である。いま、図 11Aに示す動画像 81のうち、破線で囲まれた領域 82を固定パターン (例えば赤一色)で塗りつぶしマスク処理を施して隠蔽する場合を想定する。このようなマスク処理を施すことにより図 11 Aに示す動画像 81は、図 11Bに示すマスク済動画像 81のように編集される。

[0034] 動画像データを編集するオペレータ力マスク処理を施そうとする動画像 81の領域

(マスク領域 82)を指示する場合には、マスク情報生成部 15の表示部に表示される動画像 81を見ながら、例えばマウスを使用して画面上のある範囲を指定して、この動画像 81にマスク処理を施すべきマスク領域 82を指示する。またオペレータは、キーボードから入力することにより、あるいはマスク情報生成部 15上で動作するアプリケーシヨンが表示部に表示する GUI (graphical user interface)をマウスで操作することにより、マスク領域 82に施そうとするマスクの種類を指示する。

マスク情報生成部 15は、オペレータによる上記のようなマスク処理に関する指示を受け付けると、これらの指示に基づきマスク情報 62を作成する。マスク情報 62の第 1 例を表 1に示す。

[0035] [表 1]

表 1

[0036] 表 1に示すように、マスク情報生成部 15は、オペレータからの指示に基づいてマスク処理を施すべき各ピクチャ毎に、画面内のマスク領域 82の位置に対応するマクロブロックを指定する。表 1のピクチャ IIに対する指示の例では、画面左上から、水平方向に右へ 10— 12番目かつ垂直方向に 40— 41番目のマクロブロックが指定されている。

併せて、マスク領域 82に施そうとするマスクの種類を指示する。そのために、例えば表 1の例に示すようにマスクの種類を示す属性値（"red-ίϊΓ)を使用してもよ、。このようにマスク情報を構成することにより、オペレータは、表 1のピクチャ 1101に対する指示に見られるように、 1つビデオシーケンスの途中の任意のピクチャで、マスク領域 82の位置を自由に変更することができる。このときマスクの種類を変更することも当然に可能である。

[0037] 図 12は、図 8に示す分析 Z編集部 16の第 1実施例の構成図である。分析 Z編集部 16は、マスク情報生成部 15が生成したマスク情報 62に含まれるマスク領域 82の位置に関する情報（表 1の例ではマスク領域 82の位置に対応するマクロブロックの指定情報）に基づいて、入力された動画像の元データのデータストリームから、マスク処理を施す範囲に対応するマクロブロックを取り出すマクロブロック取出部 11と、この取り出されたマクロブロックが位置していたデータストリーム中の元の位置に、マスク情報 62に含まれるマスクの種類に関する情報に基づいて、対応する固定パターンデータを揷入する固定パターン揷入部 12と、取り出されたマクロブロックを、ユーザデータとしてデータストリームのユーザ領域に挿入するマクロブロック挿入部 13と、を備えて構成される。

[0038] さらに、分析 Z編集部 16は、固定パターン挿入部 12が挿入する固定パターンデータを記憶しておく固定パターン記憶部 17を備える。固定パターン記憶部 17には、マスクの種類毎に固定パターンデータが記憶され、分析/編集部 16は、固定パターン記憶部 17に記憶された複数種の固定パターンデータの中から、マスク情報 62内のマスクの種類を示す指示に応じてマスク量領域 82に挿入するべき固定パターンデータを選択する。

個々の固定パターンデータの元となる固定パターンは、すでに説明したマクロブロックと同一サイズ (すなわち 16 X 16ピクセル)で構成された画像データであり、固定パターン記憶部 17に記憶される固定パターンデータは、これらの固定パターンをフレーム内符号ィ匕して得られた符号ィ匕画像データである。この固定パターンデータ 73 は、実際に固定パターンをフレーム内符号ィ匕して作成してもよいし、あるいは模擬的に生成してもよい。

[0039] なお、この分析 Z編集部 16は、ワークステーションやパーソナルコンピュータなどで構成される計算手段で実現することが可能であり、分析 Z編集部 16を構成する各構成要素は、それぞれの機能を実現するソフトウェアモジュールによって実現することとしてもよぐあるいは専用のハードウェア回路によって実現することとしてもよい。

[0040] 以下、動画像データ編集装置 1によるマスク処理を、図 13を参照して説明する。

まず、図 12に示すマクロブロック取出部 11は、マスク情報 62に基づいて、入力された元の動画像データのデータストリームのスライス層に含まれる、マスク領域 82の範囲内に存在するマクロブロック（図 13にて「MB」と記す）の位置を特定して、その位置にあるマクロブロック 93及び 95を取り出す（図 13参照）。

[0041] 次に、図 12に示す固定パターン挿入部 12は、固定パターン記憶部 17に予め記憶されている複数種の固定パターンデータの中から、マスク情報 62に指定されたマスクの種類に対応する固定パターンデータ 73を選択する。そして、データストリームのスライス層の、マクロブロック 93及び 95が位置していた元の位置のそれぞれに、選択された固定パターンデータ 73を挿入する。

[0042] そしてマクロブロック揷入部 13は、取り出されたマクロブロック 93及び 95を、ユーザデータとして、データストリーム中のピクチャ層毎に設けられたユーザ領域に挿入し、こうして編集されたデータストリームをマスク済動画像データ 61として出力する。ここで、マスク情報が表 1に示す第 1例のように作成された場合、後述の表 2に示すマスク情報の第 2例が含むような、取り出されたマクロブロックをどのピクチヤのユーザ領域に挿入する力を指定する情報がマスク情報に含まれないため、マクロブロック挿入部 13は、マクロブロック 93及び 95を、これらのマクロブロックを取り出したピクチャ自身のユーザ領域に挿入する。このとき、取り出したマクロブロック 93及び 95に併せて、これらのマクロブロックが画像中のどの位置に配置されて!、たかを示す位置情報を、ユーザ領域に挿入してもよい。

[0043] 上記図 9を参照して説明したように、各ピクチャの符号ィ匕はマクロブロックを単位にして行われている。したがって、予めフレーム内符号ィ匕した固定パターンデータを、取り出したマクロブロックに代えて挿入することにより、上述の MPEG形式に準拠する全ての再生装置においてエラーを生じることなぐマスク処理済み動画像データを再生することが可能である。

そして、このように編集されたマスク処理済動画像データを、通常の再生装置で再生すると、マスク領域 82には固定パターンが表示され、かつユーザデータ部は読み飛ばされるために、図 11Bに示すマスク済動画像 81のように動画像が表示されることになる。

[0044] 図 14は、本発明による動画像データ再生装置の基本構成図である。動画像データ再生装置 2は、動画像データ編集装置 1によって編集されたマスク済動画像データ 6 1とマスク情報 62とを入力して、マスク処理前の動画像を復元して再生して表示部 54 上に表示するために使用される。

このため、動画像データ再生装置 2は、マスク情報 62に基づいて、入力された動画像データ 61のデータストリームから、各ピクチャ層のユーザ領域にユーザデータとして挿入された元のマクロブロックを抽出するマクロブロック抽出部 21と、データストリーム中の各ピクチヤのマスク領域に対応するマクロブロックの位置に挿入された固定パターンデータに代えて、抽出された元のマクロブロックを挿入することにより、マスク処理前の動画像を復元する動画像復元手段 22と、を備えて構成される。

[0045] 以下、動画像データ再生装置 2によるマスク無効化処理を、図 15を参照して説明する。まず、図 14に示すマクロブロック抽出部 21は、マスク情報 62が与えられる場合には、このマスク情報 62に基づいて、入力された動画像データ 61のいずれのピクチャにマスク処理が施されているかを判断する。

そして、マスク情報 62に基づいて、マスク処理が施されているピクチヤのそれぞれについてマスク領域 82を特定し、このマスク領域 82に位置していた元のマクロブロック 93及び 95を、各ピクチャのユーザデータ領域から抽出する（図 15参照）。

入力されたデータストリーム中のマスク領域 82に対応するマクロブロックの位置には、動画像データ編集装置 1によって挿入されていた固定パターンデータ 73が挿入されているので、図 14に示す動画像復元手段 22は、抽出された元のマクロブロック 93 及び 95をこの固定パターンデータ 73に代えて挿入することにより、マスク処理前の動画像を復元する。

[0046] また、上述の通り、動画像データ編集装置 1が、各ピクチャのユーザデータ領域に、マクロブロック 93及び 95が画像中のどの位置に配置されていたかを示す位置情報を挿入して、マスク処理を行った場合には、動画像データ再生装置 2は、マスク情報 62 の入力無しにマスク処理前の動画像を復元することが可能である。

このとき、動画像データ再生装置 2のマクロブロック抽出部 21は、まず、入力された動画像データ 61に挿入される各ピクチャのそれぞれについて、ユーザデータ領域にマクロブロック情報が含まれる力否かを判断する。そして、マクロブロック情報が含まれる場合には、ユーザデータ領域に挿入されたマクロブロックの位置情報を抽出して、マスク領域 82を特定する。すなわち抽出したマクロブロック 93及び 95を戻すべき揷入位置が、動画像データ 61のいずれの位置であるかを特定する。そして、動画像復元手段 22は、この位置情報に基づいて、抽出された元のマクロブロック 93及び 95を動画像データ中の元の位置に挿入する。

[0047] また、マスク情報生成部 15は、マスク情報 62を、マスク処理済み動画像データ 61と同時に配布可能な形式にして出力する際に、マスク情報を容易に解読されることがな、ように暗号ィ匕して出力することとしてもよ!/、。

[0048] 以下、各ピクチャから取り出したマクロブロックを、取り出し元のピクチヤと異なるピクチヤのユーザデータ領域に挿入する場合について説明する。

上述のように、各ピクチャから取り出したマクロブロックを取り出し元と同一ピクチヤに挿入する方式では、取り出したマクロブロックの格納場所を容易に特定することが可能であるため、例えば、上記のマスク処理手順を知った悪意あるユーザによってマスク処理を解除されるおそれが生じる。そこで、各ピクチャカゝら取り出したマクロブロックを、取り出し元のピクチヤと異なるピクチャのユーザデータ領域に挿入することにより、取り出したマクロブロックの発見を困難にして、予定されて!ヽな、ユーザによるマスク処理の解除を防止する。

[0049] そのために、マスク情報生成部 15は、オペレータによるマスク処理に関する指示を受け付けると、マスク処理を行うピクチヤのそれぞれのマスク領域 82の位置に対応するマクロブロックについて、挿入先となるピクチャを決定し、以下の表 2に示すようなマスク情報 62を作成する。マスク情報 62の第 2例を表 2に示す。

[0050] [表 2]

表 2

[0051] 表 2に示すように、マスク情報 62の第 2例には、マスク領域 82の位置に対応するマクロブロックを収容する場所に関する情報が含まれている。表 2の例では、例えば、第

1行目に指定されるピクチャ IIの左上端力も水平方向に 10番目、垂直方向に 40番目のマクロブロックは、ピクチャ P2のピクチャ層に含まれるユーザデータ領域の第 1 番目のマクロブロックの領域に挿入され、第 2行目に指定されるピクチャ IIの左上端力水平方向に 11番目、垂直方向に 40番目のマクロブロックは、ピクチャ P1のピクチヤ層に含まれるユーザデータ領域の第 3番目のマクロブロックの領域に挿入されるなお、表 2では、 1つのピクチヤのマスク領域 82から取り出される各マクロブロックを、それぞれ異なるピクチャのユーザデータとして挿入する挿入例を示した力 1つのピクチャのマスク領域 82から取り出されるマクロブロックが、取り出したピクチャとは別の 1っピクチャのユーザデータとして挿入されることとしてもよい。

[0052] 上記マスク情報 62の第 2例に基づくマスク処理を、図 16を参照して説明する。

まず、図 12に示すマクロブロック取出部 11は、マスク情報 62に基づいて、入力された元の動画像データのデータストリームに含まれるピクチャ 91に含まれる、マスク領域 82の範囲内に存在するマクロブロック（図 16にて「MB」と記す）の位置を特定して、その位置にあるマクロブロック 93及び 95を取り出す（図 16参照）。

次に、図 12に示す固定パターン揷入部 12は、データストリームのピクチャ 91の、マクロブロック 93及び 95が位置していた元の位置のそれぞれに、選択された固定パターンデータ 73を挿入する。

[0053] そしてマクロブロック揷入部 13は、マスク情報 62においてマクロブロック収容先として指定された、ピクチャ 91と別のピクチャ 97のユーザデータ領域に、取り出されたマクロブロック 93及び 95を挿入する。このときマスク情報 62においてユーザデータ領域中における各マクロブロックの挿入位置や順序が定められている場合には、その位置又は順序に従ってマクロブロックを挿入する。そして、こうして編集されたデータストリームをマスク済動画像データ 61として出力する。

[0054] 以下、図 17を参照して上記マスク情報 62の第 2例に基づきマスク処理された動画像データのマスク無効化処理を、説明する。

まず、図 14に示すマクロブロック抽出部 21は、このマスク情報 62に基づいて、入力された動画像データ 61のいずれのピクチャにマスク処理が施されているかを判断する（ここではピクチャ 91にマスク処理が施されていると判断する)。そして、マスク情報 62に基づいて、マスク処理が施されているピクチャ 91のマスク領域 82を特定する。

[0055] 次に、マクロブロック抽出部 21は、このマスク領域 82に位置していた元のマクロブロック 93及び 95を、マスク情報 62においてマスクブロック収容先として指定されたピクチヤ 97のユーザデータ領域から抽出する（図 17参照)。

そして、図 14に示す動画像復元手段 22は、抽出された元のマクロブロック 93及び 95を、ピクチャ 91に挿入されている固定パターンデータ 73に代えて、挿入することにより、マスク処理前の動画像を復元する。

[0056] 動画像データには、例えば図 11Aに示す医療診断動画像データのように、 1つの画面中に、画像が動く部分とほとんど画像が静止している部分とを含む場合がある。例えば図 11Aに示す医療診断動画像では、図の点線で示された領域 82は、個人特定情報などを表示する全く静止した部分である一方、それ以外の領域は診断する臓器の動作を表す動画部分である。

[0057] マスク領域 82として静止部分 (この場合には個人特定情報部分)を指定する場合には、その画像情報の殆どがフレーム内符号ィ匕ピクチャである Iピクチャ内に保存され、フレーム内符号化ピクチャ (動き補償符号ィ匕ピクチャ）である Pピクチャ及び Bピクチヤには、画像情報が殆ど含まれない。

したがって、動画像データ編集装置 1は、フレーム内符号ィ匕ピクチャ Iピクチャのみについて、上記マスク処理を施すこととしてもよい。

[0058] すなわち、動画像データ編集装置 1のマクロブロック取出部 11は、マスク領域 82に対応するマクロブロックを、フレーム内符号ィ匕ピクチャ Iピクチャのみから取り出す。そして、固定パターン揷入部 12は、データストリーム中の Iピクチャのマクロブロックが位置して、た元の位置のそれぞれに、固定パターンデータを挿入する。

その後、マクロブロック揷入部 13は、データストリーム中のピクチヤのユーザデータ領域に、取り出されたマクロブロックを挿入することとしてよ、。

[0059] また、動画像データ再生装置 2は、フレーム内符号ィ匕ピクチャ Iピクチャのみにっヽて、元画像を復元することとしてよい。

すなわち、動画像データ再生装置 2のマクロブロック抽出部 21は、 Iピクチャのいずれかにマスク処理が施されているかを判断する。そして、マスク処理が施されている各 Iピクチャについてマスク領域 82を特定する。

次に、マクロブロック抽出部 21は、このマスク領域 82に位置していたマクロブロックを、データストリーム中のピクチヤのユーザデータ領域力抽出する。

そして、動画像復元手段 22は、抽出された元のマクロブロックを、当該 Iピクチャに挿入されている固定パターンデータに代えて挿入することにより、マスク処理前の動画像を復元することとしてよヽ。

[0060] 反対に、マスク領域 82として動画部分が指定される場合には、マスク領域 82内の元の画像信号が、その周囲のマクロブロックの動き補償符号ィ匕に使用される場合がある。この場合、もし、動画像データ再生装置 1が、動画像データ中のマスク領域 82 に対応するマクロブロックを固定パターンデータに置換し、その周囲のマクロブロックをそのままの状態にしておくと、その周囲のマクロブロックの画像に乱れが生じる場合がある。

[0061] したがって、動画像データ再生装置 1は、動画像データ中のマスク領域 82に対応するマクロブロックを固定パターンデータに置換する際に、そのマクロブロックの画像信号を動き補償符号ィ匕に使用する周囲をフレーム内符号ィ匕することが望ましい。このような動画像データ再生装置 1の動作に対応する分析 Z編集部 16を、図 18を参照して説明する。

[0062] 図 18は、図 8に示す分析 Z編集部 16の第 2実施例の構成図である。分析 Z編集部 16は、マスク領域 82に対応するマクロブロックの周囲のマクロブロックをフレーム内符号ィ匕する周囲ブロック再符号部 18を備える。

周囲ブロック再符号部 18は、マスク情報 62に含まれるマスク領域 82の位置情報に基づいて、入力される動画像データのうち、マスク領域 82に対応するマクロブロックを動き補償符号ィ匕に使用しているマクロブロックを抽出し、このマクロブロックを復号した後に、マクロブロック単位でフレーム内符号ィ匕して再度動画像データの元の位置に挿入する。

[0063] または、周囲ブロック再符号部 18は、マスク領域 82に対応するマクロブロックを動き補償符号ィ匕に使用している可能性のある、マスク領域 82に対応するマクロブロックの周囲のマクロブロックを全て抽出し (例えば、マスク領域 82の周囲の動き補償範囲内にある全てのマクロブロックを抽出し）、これらマクロブロックを復号した後に、マクロブロック単位でフレーム内符号ィ匕して再度動画像データの元の位置に挿入する。

[0064] このように、周囲ブロック再符号部 18により、マスク領域 82の周囲のマクロブロックをフレーム内符号ィ匕することにより、動画像データ中のマスク領域 82に対応するマクロブロックを固定パターンデータに置換しても、その周囲のマクロブロックの画像に乱れが生じることを防止する。

[0065] 以上、好適な実施例を参照して説明した、本発明に係る動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法は、符号化された動画像データに特殊視聴効果を施す技術、及びこのような特殊視聴効果を再生時に有効 Z無効化する技術に、広く利用可能であるが。特に、動画像データの符号化標準である MPEGに準拠した動画像データに特殊視聴効果を施し、及び特殊視聴効果を再生時に有効 Z無効化する技術に関する。

このような動画像データ編集装置、動画像データ再生装置、動画像データ編集方法及び動画像データ再生方法の具体的な応用例として、上記説明した診療用映像等を医学教育用などに二次利用する場合の他に、例えばディジタル放送サービスなどの分野にぉ、て、特定の視聴者に対してはマスク処理が施されてヽな、動画を再生可能とし、一般の視聴者にはマスク処理が施された制限付きの動画のみを再生可能とする場合に利用することが可能である。

以上、説明のために選択された特定の実施例を参照して本発明を説明した力これらに対して、本発明の基本的な考え方及び範囲力逸脱することなぐ様々な変更を加えることが可能であることは当業者に明らかであり、これら変更例も、当然に本発明の範囲に含まれるものと考えるべきである。

Claims

請求の範囲

[1] 各フレームが予め区画された画素ブロック毎に符号化されて!/ヽる動画像データを編集して、画像の一部にマスク処理を施す動画像データ編集装置であって、

入力された動画像データのデータストリームから、前記マスク処理を施す範囲に対応する前記画素ブロックを取り出す画素ブロック取出手段と、

前記データストリーム中の、取り出された前記画素ブロックの位置に、予め符号化された固定パターンデータを挿入する固定パターン挿入手段と、

取り出された前記画素ブロックを、ユーザデータとして前記データストリームに挿入する画素ブロック挿入手段と、

を備えることを特徴とする動画像データ編集装置。

[2] 前記固定パターンデータは、予めフレーム内符号ィ匕されていることを特徴とする請求項 1に記載の動画像データ編集装置。

[3] 前記データストリームは、フレーム単位に、前記ユーザデータが挿入されるユーザデータ領域を有し、

前記画素ブロック挿入手段は、取り出された前記画素ブロックを、取り出された元のフレーム、あるいはこれと異なるフレームのユーザデータとして前記データストリームに挿入する、

ことを特徴とする請求項 1に記載の動画像データ編集装置。

[4] どのフレームから取り出された前記画素ブロックを、どのフレームに挿入したかを示す挿入位置情報を生成する挿入位置情報生成手段を、さらに備えることを特徴とする請求項 3に記載の動画像データ編集装置。

[5] 前記画素ブロック取出手段は、フレーム内符号ィ匕がなされるフレームのみについて前記画素ブロックを取り出すことを特徴とする請求項 1に記載の動画像データ編集装置。

[6] 前記動画像データは、 MPEGに準拠した動画像データであり、

前記画素ブロック取出手段は、前記マスク処理を施す範囲に対応するマクロブロックを取り出すことを特徴とする請求項 1に記載の動画像データ編集装置。

[7] 前記画素ブロック取出手段は、取り出された前記マクロブロックを、取り出された元のフレーム、あるいはこれと異なるフレームのユーザデータ領域に挿入する、ことを特徴とする請求項 6に記載の動画像データ編集装置。

[8] どのフレームから取り出された前記マクロブロックを、どのフレームに挿入したかを示す挿入位置情報を生成する挿入位置情報生成手段を、さらに備えることを特徴とする請求項 7に記載の動画像データ編集装置。

[9] 各フレームが予め区画された画素ブロック毎に符号ィ匕され、かつ画像の一部にマスク処理が施された動画像データを再生する、動画像データ再生装置であって、入力された動画像データのデータストリームから、ユーザデータとして挿入された前記画素ブロックを抽出する画素ブロック抽出手段と、

前記データストリーム中の、前記マスク処理を施された範囲に対応する前記画素ブロックの位置にあるデータに代えて、抽出された前記画素ブロックを挿入してマスク処理前の動画像を復元する動画像復元手段と、

を備えることを特徴とする動画像データ再生装置。

[10] 前記動画像データ再生装置は、前記データストリームとして、前記ユーザデータが挿入されるユーザデータ領域をフレーム単位に有し、かつ各々のユーザデータ領域には、元の動画像の他のフレーム力取り出された前記画素ブロックが挿入されたデ一タストリーム、を入力し、

前記動画像復元手段は、前記画素ブロック抽出手段により抽出された前記画素ブロックを、該画素ブロックが取り出された元のフレームに挿入してマスク処理前の動画像を復元する、

ことを特徴とする請求項 9に記載の動画像データ再生装置。

[11] 前記動画像データ再生装置は、どのフレームのユーザデータとして挿入された前記画素ブロック力どのフレームから取り出された前記画素ブロックである力を示す挿入位置情報を、さらに入力し、

前記動画像復元手段は、前記挿入位置情報に基づいて、前記抽出された前記画素ブロックを、該画素ブロックが取り出された元のフレームに挿入する、

ことを特徴とする請求項 10に記載の動画像データ再生装置。

[12] 前記動画像データは、 MPEGに準拠した動画像データであり、前記動画像復元手段は、前記データストリーム中の、前記マスク処理が施された範囲に対応するマクロブロックの位置に、前記画素ブロック抽出手段により抽出されたマクロブロックを挿入して、マスク処理前の動画像を復元する請求項 9に記載の動画像再生装置。

[13] 前記動画像データ再生装置は、前記データストリームとして、前記ユーザデータが挿入されるユーザデータ領域をフレーム単位に有し、かつ各々のユーザデータ領域には、元の動画像の他のフレームから取り出された前記マクロブロックが挿入されたデータストリーム、を入力し、

前記動画像復元手段は、前記画素ブロック抽出手段により抽出された前記マクロブロックを、該マクロブロックが取り出された元のフレームに挿入してマスク処理前の動画像を復元する、

ことを特徴とする請求項 12に記載の動画像データ再生装置。

[14] 前記動画像データ再生装置は、どのフレームのユーザデータとして挿入された前記マクロブロックが、どのフレームから取り出された前記マクロブロックである力、を示す挿入位置情報を、さらに入力し、

前記動画像復元手段は、前記挿入位置情報に基づいて、前記抽出された前記マクロブロックを、該マクロブロックが取り出された元のフレームに挿入する、

ことを特徴とする請求項 13に記載の動画像データ再生装置。

[15] 各フレームが予め区画された画素ブロック毎に符号化されて!/ヽる動画像データを編集して、画像の一部にマスク処理を施す動画像データ編集方法であって、

入力された動画像データのデータストリームから、前記マスク処理を施す範囲に対応する前記画素ブロックを取り出し、

前記データストリーム中の、取り出された前記画素ブロックの位置に、予め符号化された固定パターンデータを挿入し、

取り出された前記画素ブロックを、ユーザデータとして前記データストリームに挿入する、

ことを特徴とする動画像データ編集方法。

[16] 前記固定パターンデータは、予めフレーム内符号ィ匕されていることを特徴とする請求項 15に記載の動画像データ編集方法。

[17] 前記データストリームは、前記ユーザデータが挿入されるユーザデータ領域をフレーム単 1 に有し、

取り出された前記画素ブロックは、取り出された元のフレーム、あるいはこれと異なるフレームのユーザデータとして前記データストリームに挿入される、

ことを特徴とする請求項 15に記載の動画像データ編集方法。

[18] どのフレームから取り出された前記画素ブロック力どのフレームに挿入されたかを示す挿入位置情報を、さらに生成することを特徴とする請求項 17に記載の動画像データ編集方法。

[19] フレーム内符号化がなされるフレームのみについて、前記画素ブロックを取り出すことを特徴とする請求項 15に記載の動画像データ編集方法。

[20] 前記動画像データは、 MPEGに準拠した動画像データであり、

前記マスク処理を施す範囲に対応するマクロブロックを取り出すことを特徴とする請求項 15に記載の動画像データ編集方法。

[21] 取り出された前記マクロブロックを、取り出された元のフレーム、あるいはこれと異なるフレームのユーザデータ領域に挿入する、

ことを特徴とする請求項 20に記載の動画像データ編集方法。

[22] どのフレームから取り出された前記マクロブロック力どのフレームに挿入されたかを示す挿入位置情報を、さらに生成することを特徴とする請求項 21に記載の動画像データ編集方法。

[23] 各フレームが予め区画された画素ブロック毎に符号ィ匕され、かつ画像の一部にマスク処理が施された動画像データを再生する、動画像データ再生方法であって、入力された動画像データのデータストリームから、ユーザデータとして挿入された前記画素ブロックを抽出し、

前記データストリーム中の、前記マスク処理を施された範囲に対応する前記画素ブロックの位置にあるデータに代えて、抽出された前記画素ブロックを挿入してマスク処理前の動画像を復元する、

ことを特徴とする動画像データ再生方法。

[24] 前記データストリームとして、前記ユーザデータが挿入されるユーザデータ領域をフレーム単位に有し、かつ各々のユーザデータ領域には、元の動画像の他のフレーム力も取り出された前記画素ブロックが挿入されたデータストリーム、を入力し、前記画素ブロック抽出手段により抽出された前記画素ブロックを、該画素ブロックが取り出された元のフレームに挿入してマスク処理前の動画像を復元する、

ことを特徴とする請求項 23に記載の動画像データ再生方法。

[25] どのフレームのユーザデータとして挿入された前記画素ブロック力どのフレームから取り出された前記画素ブロックである力を示す挿入位置情報を、さらに入力し、前記挿入位置情報に基づいて、前記抽出された前記画素ブロックを、該画素プロックが取り出された元のフレームに挿入する、

ことを特徴とする請求項 24に記載の動画像データ再生方法。

[26] 前記動画像データは、 MPEGに準拠した動画像データであり、

前記データストリーム中の、前記マスク処理が施された範囲に対応するマクロブロックの位置に、前記画素ブロック抽出手段により抽出されたマクロブロックを挿入して、マスク処理前の動画像を復元する請求項 23に記載の動画像再生方法。

[27] 前記データストリームとして、前記ユーザデータが挿入されるユーザデータ領域をフレーム単位に有し、かつ各々のユーザデータ領域には、元の動画像の他のフレーム力も取り出された前記マクロブロックが挿入されたデータストリーム、を入力し、前記画素ブロック抽出手段により抽出された前記マクロブロックを、該マクロブロックが取り出された元のフレームに挿入してマスク処理前の動画像を復元する、

ことを特徴とする請求項 26に記載の動画像データ再生方法。

[28] どのフレームのユーザデータとして挿入された前記マクロブロックが、どのフレーム力取り出された前記マクロブロックである力、を示す挿入位置情報を、さらに入力し前記挿入位置情報に基づいて、前記抽出された前記マクロブロックを、該マクロブロックが取り出された元のフレームに挿入する、

ことを特徴とする請求項 27に記載の動画像データ再生方法。