JP4217316B2 - 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 - Google Patents
画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 Download PDFInfo
- Publication number
- JP4217316B2 JP4217316B2 JP34544798A JP34544798A JP4217316B2 JP 4217316 B2 JP4217316 B2 JP 4217316B2 JP 34544798 A JP34544798 A JP 34544798A JP 34544798 A JP34544798 A JP 34544798A JP 4217316 B2 JP4217316 B2 JP 4217316B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding mode
- image data
- decoding
- encoded
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体に関し、特に画像の著作権保護を行うための画像処理に関するものである。
【０００２】
【従来の技術】
近年、動画像符号化技術の標準化が急速に進んでいる。MPEG-1, 2やH.261, H.263 （これらの符号化方式はＩＳＯ(International Organization for Standardization：国際標準化機構)やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている）といった符号化の標準が制定されおり、さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてMPEG-4の国際標準化作業が進められている。上記符号化技術によって画像のディジタル化が進み、動画像データの蓄積、通信を急速に発展させた。
【０００３】
例えばMPEG-4においては、例えばある瞬間の動画シーンを、その構成要素である「人」「自動車」「背景」「音楽」「ビデオ」などのオブジェクト毎の集合体と考え、各オブジェクト毎に適応的な符号化処理を行って動画像データを高能率に符号化する。
【０００４】
MPEG-4のようなマルチオブジェクト符号化技術においては、圧縮符号化された各オブジェクトの組み合わせ方で１つのシーンが表現される。従って、あるMPEG-4データに他のMPEG-4データからのオブジェクトデータを再利用して別のシーンを容易に表現することが可能である。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心して優良なコンテンツを提供することができない、という問題が生じている。
【０００６】
MPEG-4ではこの問題は深刻である。何故ならば上述したようにMPEG-4ではオブジェクト別に符号化され、操作／加工することが可能であるからである。従って、MPEG-4のようなマルチオブジェクト符号化では、オブジェクト単位の知的所有権保護は円滑な各オブジェクト再利用の観点から当然の要求となり、また、その対象が人等であった場合、肖像権の保護も必要となってきている。
【０００７】
そこで、動画像の一部の著作権を保護するために、動画像の一部を再生させないために動画像の復号を一時的に停止させる方法が考えられる。動画像での肖像権や著作権を考えた時、それらが関係する部分の復号を停止させ、関係する部分が終了した後、復号を再開する方式である。
【０００８】
【発明が解決しようとする課題】
しかしながら、以下のような問題が発生する。
【０００９】
動画像の符号化方式ではフレーム間相関を利用した符号化が一般的に用いられる。前述のH.261, H.263やMPEG-1, 2さらにはMPEG-4といった符号化方式が有名である。これらの符号化方式では基本的に時間的に前のフレーム或いは前後のフレームを参照し、動き補償を行って符号化を行っている。
【００１０】
図１４にH.261, H.263等の再生の様子を示す。I*はフレーム内符号化（イントラ(intra)符号化）を行うフレームを、P*はフレーム間符号化（インター(inter)符号化）するフレームを表している。図１４中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。
【００１１】
今、P4からP9の期間に対して著作権の保護（Security）する目的で復号が停止されたとする。動画像の復号がP3で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、P4からP9の符号化データは廃棄される。そのため、P10からの復号を開始すると本来P10が参照すべきP9は廃棄されているので、P10以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまでのP10からP13のフレームの画像が乱れたり、或いは復号動作が中断してしまう。
【００１２】
また、MPEG-1,2,4符号化方式では時間的に前後から予測を行う両方向動き補償も用いられる。
【００１３】
図１５にその様子を示す。B*は両方向（双方向）フレーム間符号化するフレームを表している。図１５中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。Ｂフレームによって画面の符号化処理順序と原画面の順序とは異なっている。
【００１４】
今、B10からP3の符号化データに対して著作権の保護によって復号が停止されたとする。図１４と同様に正しく動き補償が行われないため、B30やB31、B40やB41のフレームの画像が復号処理が正常に行われず、画像が乱れたり、復号動作が中断してしまう。
【００１５】
従って、本発明は前記課題を考慮して画像の著作権保護による画像の再生／停止を好適に処理する画像処理装置及び方法並びに画像処理プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、前記判断手段の出力と前記符号化モード判定手段の出力との両方の出力に応じて、乱れた画像が出力されないように前記復号化手段の復号化処理の停止及び再開を制御する制御手段とを有し、前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データまで復号化処理を停止するように制御することを特徴とする。
【００１７】
また、本発明の画像処理方法は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、前記判断結果と前記判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化する復号化工程とを有し、前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止することを特徴とする。
【００１８】
また、本発明の画像処理プログラムが記録されたコンピュータ可読記録媒体は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程の手順コードと、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程の手順コードと、前記符号化された画像データの符号化モードを判定する符号化モード判定工程の手順コードと、前記判断工程の判断結果と前記符号化モード判定工程の判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化し、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止する復号化工程の手順コードとを記録したことを特徴とする。
【００１９】
【発明の実施の形態】
＜第１実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２０】
図１は、本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【００２１】
図１において、１００１は動画像データを蓄積している記憶装置である。動画像データは各動画像の符号化データと著作権を保護する為の情報を符号化したセキュリティ符号化データとで構成されている。尚、本実施例ではセキュリティ符号化データは、動画像データが送信される前に伝送されるものとする。しかし、この方式に限定されるものではなく、セキュリティ符号化データは、動画像データに時分割多重されて伝送されてもよい。
【００２２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化されている場合について説明する。尚、MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に説明を容易にするためにフレーム単位での符号化がなされているものとし、フレーム内符号化を行うIフレームとフレーム間相関を用いるPフレームとから成っているものとする。尚、この動画像データはフレーム内符号化のフレームとフレーム間相関を用いた符号化方式であればどんなものでもよい。もちろんフィールド単位の符号化を用いても構わない。
【００２３】
図２は、セキュリティ符号化データの構成を示す。
【００２４】
図２において、２００１はセキュリティ符号化データの符号長を表すCodeLength符号、２００２は著作権の認証に必要な情報を表すIPcode符号、２００３は著作権等の保護を開始する時間を示すSecurityStartTime符号、２００４は著作権等の保護を解除する時間を示すSecurityEndTime符号である。尚、２００２〜２００４の符号はセキュリティをかけたい動画像部分が分割されて複数あればその組み合わせが複数連続する。
【００２５】
図１の説明に戻り、１００２は通信回路であり、LANや公衆回線、無線回線、放送電波等で構成されている。１００３は通信インターフェースであり、通信回路１００２から動画像データを受信する。
【００２６】
１００４は上述したセキュリティ符号化データを復号し、認証データと比較して動画像の再生の停止と再生の再開を指示するセキュリティ復号部、１００５は動画像符号化データを復号し、動画像を再生するビデオ復号部、１００６は再生された動画像を表示するモニタである。
【００２７】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【００２８】
不図示の操作者は、まず、記憶装置１００１から再生する動画像データを選択する。選択された動画像データの動画像符号化データとセキュリティ符号化データを読み出し、動画像符号化データをビデオ復号部１００５に、セキュリティ符号化データをセキュリティ復号部１００４に入力する。
【００２９】
図３は、セキュリティ復号部１００４の詳細なブロック図である。
【００３０】
図３において、１５１はセキュリティ符号化データを入力する入力端子、１５２はセキュリティ符号化データを復号し、認証情報、著作権保護を行う時間に関する情報を獲得するセキュリティ復号器、１５３は認証情報を解析し、復号を行うか禁止するかを決定するセキュリティ認証器、１５４は動画像の再生を正しく行うために時刻を発生させるのタイマ、１５５はセキュリティ認証器１５３の決定に従ってビデオ復号部１００５の制御を行う信号を発生させる制御信号発生器、１５６は制御信号発生器１５５で発生した制御信号をビデオ復号部１００５に出力する出力端子である。
【００３１】
上記のように構成されたセキュリティ復号部１００４の復号動作を以下で説明する。
【００３２】
入力端子１５１から入力されたセキュリティ符号化データは、セキュリティ復号器１５２で復号され、図２に示す符号から、CodeLength符号を復号し、符号化データの全体量を把握し、著作権保護を行う各部分について、著作権の認証に必要な情報を表すIPcode符号、著作権保護を開始する時間を示すSecurityStartTime符号、著作権保護を解除する時間を示すSecurityEndTime符号を復号しそれぞれの情報を獲得する。
【００３３】
認証に必要な情報はセキュリティ認証器１５３に入力される。また、制御信号発生器１５５はセキュリティ認証器１５３からの指示が無い場合、ビデオ復号部１００５が動画像データの復号処理を行うように出力端子１５６からビデオ復号部１００５へ制御信号を発生させる。
【００３４】
セキュリティ認証器１５３は予め獲得されているか操作者が入力した認証情報と比較を行い、復号を許可するか否かを判定する。復号処理を許可する場合には制御信号発生器１５５には復号許可を知らせる。この時、すでにビデオ復号部１００５が動画像データの復号を行うように制御信号を発生させている場合は、その制御信号をそのまま維持する。
【００３５】
一方、復号処理を禁止する場合、セキュリティ認証器１５３は復号処理を禁止する信号を制御信号発生器１５５へ出力し、制御信号発生器１５５はセキュリティ復号器１５２から入力された該当する著作権保護を行う時間に関する情報（SecurityStartTime符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を開始する時間と前記時刻が等しくなった時、動画像の復号を停止させる信号を端子１５６から出力する。
【００３６】
また、該当する著作権保護を行う時間に関する情報（SecurityEndTime符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を終了する時間と前記時刻が等しくなった時、動画像の復号を再開させる信号を出力端子１５６から出力する。
【００３７】
ビデオ復号部１００５は、記憶装置１００１から動画像符号化データを、セキュリティ復号部１００４から制御信号を入力する。
【００３８】
図４は、ビデオ復号部１００５の詳細なブロック図である。
【００３９】
図４において、１０１は記憶装置１００１から動画像符号化データを入力する画像データ入力端子、１０２はセキュリティ復号部１００４から制御信号を入力する制御信号入力端子である。
【００４０】
１０３は入力された動画像符号化データを格納するバッファ、１０４はバッファ１０３からMPEG-1符号化データを読み出し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する分離器である。
【００４１】
１０５は分離されたヘッダ情報を復号するヘッダ復号器であり、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００４２】
１０６は動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得する動き補償復号器、１０７はテクスチャ復号器であり、符号を復号し、量子化係数、DCT変換係数の量子化結果等を獲得する。
【００４３】
１０８は逆量子化・IDCT器であり、量子化係数、DCT変換係数の量子化結果等を入力し、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。
【００４４】
１０９は動き補償結果と前記誤差データを加算する加算器、１１０は動き補償に必要な参照フレームを格納する参照フレームメモリ、１１１は参照フレームメモリ１１０の内容を動きベクトル復号器１０６の結果にしたがって動き補償を行う動き補償器である。
【００４５】
１１３は復号されたフレームの画像を表示するために一時格納する表示フレームメモリ、１１２はヘッダ復号器１０５からフレームの符号化モードを入力し、IフレームかPフレームかを判定するフレームモード判定器である。尚、フレームモード判定器１１２は参照フレームメモリ１１０、表示フレームメモリ１１３等を制御する。１１４はモニタ１００６に動画像データを出力する出力端子である。
【００４６】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００４７】
バッファ１０３は制御信号入力端子１０２からの制御信号が復号可能を指示している場合、動画像符号化データを画像データ入力端子１０１から入力し、その情報を蓄積する。バッファ１０３は制御信号入力端子１０２からの制御信号が復号禁止を指示している場合、動画像符号化データの蓄積は行わず、データを読み捨てる。
【００４８】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００４９】
分離器１０４はバッファ１０３から符号化データを入力し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する。ヘッダ復号器１０５は、分離器１０４によって分離されたヘッダ情報から各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００５０】
動き補償復号器１０６は、分離器１０４によって分離された動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Pフレームであればこれらの情報を動き補償器１１１に出力し、動き補償を行う。
【００５１】
テクスチャ復号器１０７は、分離器１０４によって分離された符号化データを復号して量子化係数、DCT変換係数の量子化結果等を獲得する。その復号された量子化データは逆量子化・IDCT器１０８に入力され、画素データまたは動き補償による誤差データを求める。
【００５２】
前記誤差データは、加算器１０９において動き補償器１１１からの出力データと加算される。動き補償器１１１は、動き補償復号器１０６からフレーム内符号を行うマクロブロックであれば値０を、そうでなければ得られた動きベクトルにしたがって、参照フレームメモリ１１０から動き補償を行い、参照データを加算器１０９へ出力する。
【００５３】
加算器１０９で求められた画素値は参照フレームメモリ１１０及び表示フレームメモリ１１３に格納される。表示フレームメモリ１１３に格納された画像データは出力端子１１４を介してモニタ１００６へ出力され表示される。
【００５４】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００５５】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止する。この結果、出力端子１１４からは最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００５６】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００５７】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００５８】
フレームモード判定器１１２はフレームの符号化モードがPフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止した状態を維持する。
【００５９】
また、フレームモード判定器１１２はフレームの符号化モードがIフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を再開する。以後、制御信号が復号禁止になるまで、各部の動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００６０】
上述したような一連の選択動作により復号が再開された場合に、フレーム内符号化を行ったフレームから処理を行うことでフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００６１】
例えば、図５に示したようにP4〜P9までの符号化フレーム期間が著作権の保護（Security）により復号が禁止された場合でも、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP3のフレームの表示が続き、次のI1のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。
【００６２】
また、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００６３】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、通信回路１００２から通信インターフェース１００３を介して入力された動画像データに対しても同様の動作を行うことで、通信のデータに対しても同様の効果がある。
【００６４】
また、図６に示すような出力端子１９９を設け、ヘッダ復号器１０５の情報、例えばフレームの復号時刻に関する情報（例えば、group of pictureのtime_code符号の復号結果、pictureのtemporal_reference符号の復号結果）を外部に出力することによって復号再開時の音声等との同期の再構築等を容易にすることも可能である。
【００６５】
＜第２実施例＞
図７は、本発明の第２の実施例としてのビデオ復号部１００５の構成を示すブロック図である。尚、第１の実施例と同様の構成要素については同一番号を付し、その詳細な説明は省略する。
【００６６】
図７において、２０１はPフレームの動き補償に加えて、Bフレームの動き補償である両方向の動き補償を行うことが可能な動き補償器、２０２，２０３は動き補償に必要な参照フレームを格納する参照フレームメモリであり、参照フレームメモリ１１０と同様に機能する。
【００６７】
２０４は表示フレームメモリであり、表示フレームメモリ１１３と同様に動作するが、その入力先が加算器１０９に加え、参照フレームメモリ２０２, ２０３も選択される。
【００６８】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００６９】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００７０】
分離器１０４はバッファ１０３から符号化データを入力し、各情報に分離する。ヘッダ復号器１０５、動き補償復号器１０６、テクスチャ復号器１０７に符号を分配する。
【００７１】
動き補償器１０６は各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、P、Bフレームであればこれらの情報を動き補償器２０１に入力し、動き補償を行う。Pフレームであれば動き補償器２０１は参照フレーム２０２、２０３のうちから最後に更新されたフレームの内容を参照して動き補償を行う。Bフレームであれば参照フレーム２０２、２０３を参照し、最後に更新されたフレームの内容を前方予測の参照フレーム、そうでない方を後方予測の参照フレームとして動き補償を行う。
【００７２】
テクスチャ復号器１０７と、逆量子化・IDCT器１０８とによって、画素データまたは動き補償による誤差データを求め、加算器１０９で誤差データと動き補償器２０１の結果を加算する。
【００７３】
加算器１０９で求められた画素値（復号画像）がIフレームまたはPフレームであれば、参照フレームメモリ２０２または２０３のうち、時間的に過去に復号されたフレームの内容を格納している参照フレームメモリに格納する。続いてBフレームが続く場合、ＩフレームまたはＰフレームの復号画像は表示フレームメモリ２０４への格納は行われず、Bフレームの復号、表示メモリへの出力が終わった後に前記IフレームまたはPフレームの復号画像を格納した参照フレームメモリ２０２または２０３から表示フレームメモリ１１３への転送が行われる。
【００７４】
また、加算器１０９で求められた画素値（復号画像）がBフレームであれば、参照フレームメモリ２０２、２０３への書き込みは行われず、表示フレームメモリ２０４への書き込みだけが行われる。
【００７５】
表示フレームメモリ２０４に格納された画像データは出力端子１１４を介してモニタ１００６に出力され表示される。
【００７６】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００７７】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ２０２、参照フレームメモリ２０３、表示フレームメモリ２０４の更新を禁止する。
【００７８】
フレームモード判定器１１２の結果、Iフレームの復号後であればそのまま更新を禁止する。Pフレームの復号後であれば復号して書き込みが行われた参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。Bフレームの復号後であった場合、最後に更新された参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。
【００７９】
この結果、出力端子１１４からは時間的に最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００８０】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００８１】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００８２】
フレームモード判定器１１２はフレームの符号化モードがP，Bフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ２０２，２０３、表示フレームメモリ２０４の更新を禁止した状態を維持する。
【００８３】
フレームモード判定器１１２はフレームの符号化モードがIフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ２０２，２０３及び表示フレームメモリ２０４の更新を再開する。そのIフレームに続くBフレームの符号化データは復号せず、次に続くIフレームまたはPフレーム以降は、制御信号が許可であるので通常の復号、更新を制御信号が復号禁止になるまで、各部の復号動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００８４】
このような一連の選択動作により復号が再開された場合にフレーム内符号化を行ったフレームから処理を行うことでBフレームを含む動画像においても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００８５】
例えば、図８に示すようにB10〜P3までの符号化フレーム期間が著作権の保護（Security）により復号が禁止された場合でも、その禁止期間によって正常に復号されない前記禁止期間よりも前の画面から前記禁止期間以降の初めに現れるI1フレームまで、前記Securityがかかる直前に正常に復号されたP1のフレームの表示が続き、I1のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。乱れの無い画像を操作者に提示できる。
【００８６】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００８７】
＜第３実施例＞
図９は、本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【００８８】
図９において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（CPU）、３０１は本装置の制御に必要なオペレーティングシステム（OS）、ソフトウェア、演算に必要な必要な記憶領域を提供するメモリである。
【００８９】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバス、３０３は動画像データを蓄積する記憶装置、３０４は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。
【００９０】
３０５は通信回路３０４から動画像データを受信する通信インターフェース、３０６は表示する動画像のフレームデータを格納する表示フレームメモリ、３０７は再生された動画像を表示するモニタである。
【００９１】
ここでメモリ３０１のメモリの使用、格納状況を図１０に示す。
【００９２】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのOS、音声や動画像の同期制御のための情報を符号化した符号化データを復号するSystemsデコーダソフト、著作権等の保護を行うための符号化データを復号するセキュリティデコーダソフト、動画像の復号を行う動画像デコーダソフト、音声等の復号を行うオーディオデコーダソフトが格納されている。また、復号した画像を表示や動き補償時に参照するために格納する画像エリア、各種演算のパラメータ等を格納しておくワーキングエリア存在する。
【００９３】
このような構成において、処理に先立ち、Systemsデコーダを動作させ、動画像と音声の同期等を別途監視させる。記憶装置３０３または通信インターフェース３０５からセキュリティ符号化データ、動画像符号化データ、音声符号化データで構成される動画像データを入力し、メモリ３０１のワークエリアに格納する。尚、動画像符号化データはMPEG-1で符号化されたものとして説明を続けるが、動き補償を行う符号化方式であれば構わない。
【００９４】
第３の実施例で使用されるセキュリティ符号化データの構成を図１１に示す。
【００９５】
第３の実施例で使用されるセキュリティ符号化データは、第１の実施例で示した図２の各符号に加え、音声に対する著作権保護か、動画像に対する著作権かを識別する為のA/Vフラグ２００５が追加されている。
【００９６】
次に、CPU３００による復号動作を図１２に示すフローチャートに従って説明する。
【００９７】
まず、Streamが入力されているか否かをステップS01で判断し、Streamが入力されている場合はステップS02へ進み、Streamが入力されていない時はフローを終了する。
【００９８】
ステップS02では、セキュリティデコーダソフトを動作させ、当該動画像データにおいて復号を許可するか否かを判定する。セキュリティデコーダの復号の結果が復号許可であればステップS03へ進み、セキュリティデコーダの復号の結果が禁止となった場合はステップS05へ進む。
【００９９】
ステップS03では、動画像デコーダソフトを動作させて動画像をMPEG-1の復号方式に従って復号し、復号画像をメモリ３０１の画像エリアに格納し、ステップS04へ進み、前記画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップS01に戻る。
【０１００】
ステップS05では動画像デコーダソフトを停止させる。しかしながら、セキュリティが音声と動画像で個別に設定できることから、同期を確保するため、復号停止中の符号化データの読み出しは同期を取って行われるが、メモリ３０１のワーキングエリアには格納されず、読み捨てられる。
【０１０１】
次に、ステップS06ではセキュリティデコーダから復号再開が指示されたか否かを判断し、再開が指示されていない場合はステップS05に戻り、再開が指示された時はステップS07に進む。
【０１０２】
ステップS07では、セキュリティデコーダから復号再開が指示されたら(ステップS06)、動画像デコーダソフトを停止した状態から動作させるが、最初は各フレームのフレームモードを表すPTYPE符号までをデコードする。
【０１０３】
次に、ステップS08ではPTYPEがIフレームか否かを判断する。Iフレーム以外であればステップS07に戻り、次のPTYPE符号をデコードする。IフレームであればステップS09に進む。
【０１０４】
ステップS09は、PTYPE以降の復号を再開し、動画像をMPEG-1の復号方式に従って復号し、復号画像はメモリ３０１の画像エリアに格納し、ステップS10に進む。
【０１０５】
ステップS10では、画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップS01に戻る。
【０１０６】
このような一連の選択動作により装置の一部、または全てをソフトウェアで実現することが可能になる。また、音声と動画像と個別に著作権等の保護のためのセキュリティが行えることを示した。
【０１０７】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばデジタルテレビ、デジタルＶＴＲ）からなる装置に適用してもよい。
【０１０８】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１０９】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１１０】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１１１】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１１２】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１１３】
また、MPEG-4のマルチオブジェクトについては図１３に示すようにオブジェクトを識別するためのObjectcode符号２００６を追加し、オブジェクト毎にセキュリティを復号し、ビデオ復号部を複数持ち、各ビデオ復号部で各オブジェクトのI-VOPから復号、表示を行うことによって同様に復号の安全性の確保と画質の劣化を防ぐことができる。
【０１１４】
また、復号の開始をフレーム単位としたが、これに限定されず、フィールド単位や複数のマクロブロックを単位としてももちろん構わない。
【０１１５】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。
【０１１６】
また、上記実施例ではSecurityをかける期間が予め決っていたが、それに限るものではない。例えば、ユーザーがSecurityを解除するパスワードを入力し、そのパスワードの認証をおこなった後、Securityを解除するようにし、Securityを解除するタイミングをユーザーによって決められるようにしてもよい。
【０１１７】
【発明の効果】
以上の説明から明らかなように、本発明では、画像が乱れたり復号動作が中断するといったことなく、画像の知的財産権等の保護による画像の再生／停止を好適に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例におけるセキュリティ符号化データを説明するための図である。
【図３】本発明の第１の実施例におけるセキュリティ復号部１００４の構成を示す図である。
【図４】本発明の第１の実施例におけるビデオ復号部１００５の構成を示す図である。
【図５】本発明の第１の実施例における復号の様子を説明するための図である。
【図６】本発明の第１の実施例におけるビデオ復号部１００５の別な構成を示す図である。
【図７】本発明の第２の実施例におけるビデオ復号部１００５の構成を示す図である。
【図８】本発明の第２の実施例における復号の様子を説明するための図である。
【図９】本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【図１０】本発明の第３の実施例としてのメモリ３０１の内容を示す図である。
【図１１】本発明の第３の実施例におけるセキュリティ符号化データを説明する。
【図１２】本発明の第３の実施例としての画像処理動作を示すフローチャートである。
【図１３】本発明の実施例におけるMPEG-4マルチオブジェクトに対応したセキュリティ符号化データを説明するための図である。
【図１４】従来の復号の様子を説明するための図である。
【図１５】従来の復号の様子を説明するための図である。
【発明の属する技術分野】
本発明は、画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体に関し、特に画像の著作権保護を行うための画像処理に関するものである。
【０００２】
【従来の技術】
近年、動画像符号化技術の標準化が急速に進んでいる。MPEG-1, 2やH.261, H.263 （これらの符号化方式はＩＳＯ(International Organization for Standardization：国際標準化機構)やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている）といった符号化の標準が制定されおり、さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてMPEG-4の国際標準化作業が進められている。上記符号化技術によって画像のディジタル化が進み、動画像データの蓄積、通信を急速に発展させた。
【０００３】
例えばMPEG-4においては、例えばある瞬間の動画シーンを、その構成要素である「人」「自動車」「背景」「音楽」「ビデオ」などのオブジェクト毎の集合体と考え、各オブジェクト毎に適応的な符号化処理を行って動画像データを高能率に符号化する。
【０００４】
MPEG-4のようなマルチオブジェクト符号化技術においては、圧縮符号化された各オブジェクトの組み合わせ方で１つのシーンが表現される。従って、あるMPEG-4データに他のMPEG-4データからのオブジェクトデータを再利用して別のシーンを容易に表現することが可能である。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心して優良なコンテンツを提供することができない、という問題が生じている。
【０００６】
MPEG-4ではこの問題は深刻である。何故ならば上述したようにMPEG-4ではオブジェクト別に符号化され、操作／加工することが可能であるからである。従って、MPEG-4のようなマルチオブジェクト符号化では、オブジェクト単位の知的所有権保護は円滑な各オブジェクト再利用の観点から当然の要求となり、また、その対象が人等であった場合、肖像権の保護も必要となってきている。
【０００７】
そこで、動画像の一部の著作権を保護するために、動画像の一部を再生させないために動画像の復号を一時的に停止させる方法が考えられる。動画像での肖像権や著作権を考えた時、それらが関係する部分の復号を停止させ、関係する部分が終了した後、復号を再開する方式である。
【０００８】
【発明が解決しようとする課題】
しかしながら、以下のような問題が発生する。
【０００９】
動画像の符号化方式ではフレーム間相関を利用した符号化が一般的に用いられる。前述のH.261, H.263やMPEG-1, 2さらにはMPEG-4といった符号化方式が有名である。これらの符号化方式では基本的に時間的に前のフレーム或いは前後のフレームを参照し、動き補償を行って符号化を行っている。
【００１０】
図１４にH.261, H.263等の再生の様子を示す。I*はフレーム内符号化（イントラ(intra)符号化）を行うフレームを、P*はフレーム間符号化（インター(inter)符号化）するフレームを表している。図１４中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。
【００１１】
今、P4からP9の期間に対して著作権の保護（Security）する目的で復号が停止されたとする。動画像の復号がP3で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、P4からP9の符号化データは廃棄される。そのため、P10からの復号を開始すると本来P10が参照すべきP9は廃棄されているので、P10以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまでのP10からP13のフレームの画像が乱れたり、或いは復号動作が中断してしまう。
【００１２】
また、MPEG-1,2,4符号化方式では時間的に前後から予測を行う両方向動き補償も用いられる。
【００１３】
図１５にその様子を示す。B*は両方向（双方向）フレーム間符号化するフレームを表している。図１５中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。Ｂフレームによって画面の符号化処理順序と原画面の順序とは異なっている。
【００１４】
今、B10からP3の符号化データに対して著作権の保護によって復号が停止されたとする。図１４と同様に正しく動き補償が行われないため、B30やB31、B40やB41のフレームの画像が復号処理が正常に行われず、画像が乱れたり、復号動作が中断してしまう。
【００１５】
従って、本発明は前記課題を考慮して画像の著作権保護による画像の再生／停止を好適に処理する画像処理装置及び方法並びに画像処理プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、前記判断手段の出力と前記符号化モード判定手段の出力との両方の出力に応じて、乱れた画像が出力されないように前記復号化手段の復号化処理の停止及び再開を制御する制御手段とを有し、前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データまで復号化処理を停止するように制御することを特徴とする。
【００１７】
また、本発明の画像処理方法は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、前記判断結果と前記判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化する復号化工程とを有し、前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止することを特徴とする。
【００１８】
また、本発明の画像処理プログラムが記録されたコンピュータ可読記録媒体は、少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程の手順コードと、前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程の手順コードと、前記符号化された画像データの符号化モードを判定する符号化モード判定工程の手順コードと、前記判断工程の判断結果と前記符号化モード判定工程の判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化し、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止する復号化工程の手順コードとを記録したことを特徴とする。
【００１９】
【発明の実施の形態】
＜第１実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２０】
図１は、本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【００２１】
図１において、１００１は動画像データを蓄積している記憶装置である。動画像データは各動画像の符号化データと著作権を保護する為の情報を符号化したセキュリティ符号化データとで構成されている。尚、本実施例ではセキュリティ符号化データは、動画像データが送信される前に伝送されるものとする。しかし、この方式に限定されるものではなく、セキュリティ符号化データは、動画像データに時分割多重されて伝送されてもよい。
【００２２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化されている場合について説明する。尚、MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に説明を容易にするためにフレーム単位での符号化がなされているものとし、フレーム内符号化を行うIフレームとフレーム間相関を用いるPフレームとから成っているものとする。尚、この動画像データはフレーム内符号化のフレームとフレーム間相関を用いた符号化方式であればどんなものでもよい。もちろんフィールド単位の符号化を用いても構わない。
【００２３】
図２は、セキュリティ符号化データの構成を示す。
【００２４】
図２において、２００１はセキュリティ符号化データの符号長を表すCodeLength符号、２００２は著作権の認証に必要な情報を表すIPcode符号、２００３は著作権等の保護を開始する時間を示すSecurityStartTime符号、２００４は著作権等の保護を解除する時間を示すSecurityEndTime符号である。尚、２００２〜２００４の符号はセキュリティをかけたい動画像部分が分割されて複数あればその組み合わせが複数連続する。
【００２５】
図１の説明に戻り、１００２は通信回路であり、LANや公衆回線、無線回線、放送電波等で構成されている。１００３は通信インターフェースであり、通信回路１００２から動画像データを受信する。
【００２６】
１００４は上述したセキュリティ符号化データを復号し、認証データと比較して動画像の再生の停止と再生の再開を指示するセキュリティ復号部、１００５は動画像符号化データを復号し、動画像を再生するビデオ復号部、１００６は再生された動画像を表示するモニタである。
【００２７】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【００２８】
不図示の操作者は、まず、記憶装置１００１から再生する動画像データを選択する。選択された動画像データの動画像符号化データとセキュリティ符号化データを読み出し、動画像符号化データをビデオ復号部１００５に、セキュリティ符号化データをセキュリティ復号部１００４に入力する。
【００２９】
図３は、セキュリティ復号部１００４の詳細なブロック図である。
【００３０】
図３において、１５１はセキュリティ符号化データを入力する入力端子、１５２はセキュリティ符号化データを復号し、認証情報、著作権保護を行う時間に関する情報を獲得するセキュリティ復号器、１５３は認証情報を解析し、復号を行うか禁止するかを決定するセキュリティ認証器、１５４は動画像の再生を正しく行うために時刻を発生させるのタイマ、１５５はセキュリティ認証器１５３の決定に従ってビデオ復号部１００５の制御を行う信号を発生させる制御信号発生器、１５６は制御信号発生器１５５で発生した制御信号をビデオ復号部１００５に出力する出力端子である。
【００３１】
上記のように構成されたセキュリティ復号部１００４の復号動作を以下で説明する。
【００３２】
入力端子１５１から入力されたセキュリティ符号化データは、セキュリティ復号器１５２で復号され、図２に示す符号から、CodeLength符号を復号し、符号化データの全体量を把握し、著作権保護を行う各部分について、著作権の認証に必要な情報を表すIPcode符号、著作権保護を開始する時間を示すSecurityStartTime符号、著作権保護を解除する時間を示すSecurityEndTime符号を復号しそれぞれの情報を獲得する。
【００３３】
認証に必要な情報はセキュリティ認証器１５３に入力される。また、制御信号発生器１５５はセキュリティ認証器１５３からの指示が無い場合、ビデオ復号部１００５が動画像データの復号処理を行うように出力端子１５６からビデオ復号部１００５へ制御信号を発生させる。
【００３４】
セキュリティ認証器１５３は予め獲得されているか操作者が入力した認証情報と比較を行い、復号を許可するか否かを判定する。復号処理を許可する場合には制御信号発生器１５５には復号許可を知らせる。この時、すでにビデオ復号部１００５が動画像データの復号を行うように制御信号を発生させている場合は、その制御信号をそのまま維持する。
【００３５】
一方、復号処理を禁止する場合、セキュリティ認証器１５３は復号処理を禁止する信号を制御信号発生器１５５へ出力し、制御信号発生器１５５はセキュリティ復号器１５２から入力された該当する著作権保護を行う時間に関する情報（SecurityStartTime符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を開始する時間と前記時刻が等しくなった時、動画像の復号を停止させる信号を端子１５６から出力する。
【００３６】
また、該当する著作権保護を行う時間に関する情報（SecurityEndTime符号を復号した情報）とタイマ１５４から入力される時刻とを比較し、著作権保護を終了する時間と前記時刻が等しくなった時、動画像の復号を再開させる信号を出力端子１５６から出力する。
【００３７】
ビデオ復号部１００５は、記憶装置１００１から動画像符号化データを、セキュリティ復号部１００４から制御信号を入力する。
【００３８】
図４は、ビデオ復号部１００５の詳細なブロック図である。
【００３９】
図４において、１０１は記憶装置１００１から動画像符号化データを入力する画像データ入力端子、１０２はセキュリティ復号部１００４から制御信号を入力する制御信号入力端子である。
【００４０】
１０３は入力された動画像符号化データを格納するバッファ、１０４はバッファ１０３からMPEG-1符号化データを読み出し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する分離器である。
【００４１】
１０５は分離されたヘッダ情報を復号するヘッダ復号器であり、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００４２】
１０６は動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得する動き補償復号器、１０７はテクスチャ復号器であり、符号を復号し、量子化係数、DCT変換係数の量子化結果等を獲得する。
【００４３】
１０８は逆量子化・IDCT器であり、量子化係数、DCT変換係数の量子化結果等を入力し、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。
【００４４】
１０９は動き補償結果と前記誤差データを加算する加算器、１１０は動き補償に必要な参照フレームを格納する参照フレームメモリ、１１１は参照フレームメモリ１１０の内容を動きベクトル復号器１０６の結果にしたがって動き補償を行う動き補償器である。
【００４５】
１１３は復号されたフレームの画像を表示するために一時格納する表示フレームメモリ、１１２はヘッダ復号器１０５からフレームの符号化モードを入力し、IフレームかPフレームかを判定するフレームモード判定器である。尚、フレームモード判定器１１２は参照フレームメモリ１１０、表示フレームメモリ１１３等を制御する。１１４はモニタ１００６に動画像データを出力する出力端子である。
【００４６】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００４７】
バッファ１０３は制御信号入力端子１０２からの制御信号が復号可能を指示している場合、動画像符号化データを画像データ入力端子１０１から入力し、その情報を蓄積する。バッファ１０３は制御信号入力端子１０２からの制御信号が復号禁止を指示している場合、動画像符号化データの蓄積は行わず、データを読み捨てる。
【００４８】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００４９】
分離器１０４はバッファ１０３から符号化データを入力し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する。ヘッダ復号器１０５は、分離器１０４によって分離されたヘッダ情報から各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００５０】
動き補償復号器１０６は、分離器１０４によって分離された動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Pフレームであればこれらの情報を動き補償器１１１に出力し、動き補償を行う。
【００５１】
テクスチャ復号器１０７は、分離器１０４によって分離された符号化データを復号して量子化係数、DCT変換係数の量子化結果等を獲得する。その復号された量子化データは逆量子化・IDCT器１０８に入力され、画素データまたは動き補償による誤差データを求める。
【００５２】
前記誤差データは、加算器１０９において動き補償器１１１からの出力データと加算される。動き補償器１１１は、動き補償復号器１０６からフレーム内符号を行うマクロブロックであれば値０を、そうでなければ得られた動きベクトルにしたがって、参照フレームメモリ１１０から動き補償を行い、参照データを加算器１０９へ出力する。
【００５３】
加算器１０９で求められた画素値は参照フレームメモリ１１０及び表示フレームメモリ１１３に格納される。表示フレームメモリ１１３に格納された画像データは出力端子１１４を介してモニタ１００６へ出力され表示される。
【００５４】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００５５】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止する。この結果、出力端子１１４からは最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００５６】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００５７】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００５８】
フレームモード判定器１１２はフレームの符号化モードがPフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を禁止した状態を維持する。
【００５９】
また、フレームモード判定器１１２はフレームの符号化モードがIフレームであれば、動き補償復号器１０６、動き補償器１１１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ１１０、表示フレームメモリ１１３の更新を再開する。以後、制御信号が復号禁止になるまで、各部の動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００６０】
上述したような一連の選択動作により復号が再開された場合に、フレーム内符号化を行ったフレームから処理を行うことでフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００６１】
例えば、図５に示したようにP4〜P9までの符号化フレーム期間が著作権の保護（Security）により復号が禁止された場合でも、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP3のフレームの表示が続き、次のI1のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。
【００６２】
また、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００６３】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、通信回路１００２から通信インターフェース１００３を介して入力された動画像データに対しても同様の動作を行うことで、通信のデータに対しても同様の効果がある。
【００６４】
また、図６に示すような出力端子１９９を設け、ヘッダ復号器１０５の情報、例えばフレームの復号時刻に関する情報（例えば、group of pictureのtime_code符号の復号結果、pictureのtemporal_reference符号の復号結果）を外部に出力することによって復号再開時の音声等との同期の再構築等を容易にすることも可能である。
【００６５】
＜第２実施例＞
図７は、本発明の第２の実施例としてのビデオ復号部１００５の構成を示すブロック図である。尚、第１の実施例と同様の構成要素については同一番号を付し、その詳細な説明は省略する。
【００６６】
図７において、２０１はPフレームの動き補償に加えて、Bフレームの動き補償である両方向の動き補償を行うことが可能な動き補償器、２０２，２０３は動き補償に必要な参照フレームを格納する参照フレームメモリであり、参照フレームメモリ１１０と同様に機能する。
【００６７】
２０４は表示フレームメモリであり、表示フレームメモリ１１３と同様に動作するが、その入力先が加算器１０９に加え、参照フレームメモリ２０２, ２０３も選択される。
【００６８】
上記のように構成されたビデオ復号部１００５における復号化処理を以下で説明する。
【００６９】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００７０】
分離器１０４はバッファ１０３から符号化データを入力し、各情報に分離する。ヘッダ復号器１０５、動き補償復号器１０６、テクスチャ復号器１０７に符号を分配する。
【００７１】
動き補償器１０６は各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、P、Bフレームであればこれらの情報を動き補償器２０１に入力し、動き補償を行う。Pフレームであれば動き補償器２０１は参照フレーム２０２、２０３のうちから最後に更新されたフレームの内容を参照して動き補償を行う。Bフレームであれば参照フレーム２０２、２０３を参照し、最後に更新されたフレームの内容を前方予測の参照フレーム、そうでない方を後方予測の参照フレームとして動き補償を行う。
【００７２】
テクスチャ復号器１０７と、逆量子化・IDCT器１０８とによって、画素データまたは動き補償による誤差データを求め、加算器１０９で誤差データと動き補償器２０１の結果を加算する。
【００７３】
加算器１０９で求められた画素値（復号画像）がIフレームまたはPフレームであれば、参照フレームメモリ２０２または２０３のうち、時間的に過去に復号されたフレームの内容を格納している参照フレームメモリに格納する。続いてBフレームが続く場合、ＩフレームまたはＰフレームの復号画像は表示フレームメモリ２０４への格納は行われず、Bフレームの復号、表示メモリへの出力が終わった後に前記IフレームまたはPフレームの復号画像を格納した参照フレームメモリ２０２または２０３から表示フレームメモリ１１３への転送が行われる。
【００７４】
また、加算器１０９で求められた画素値（復号画像）がBフレームであれば、参照フレームメモリ２０２、２０３への書き込みは行われず、表示フレームメモリ２０４への書き込みだけが行われる。
【００７５】
表示フレームメモリ２０４に格納された画像データは出力端子１１４を介してモニタ１００６に出力され表示される。
【００７６】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００７７】
バッファ１０３は符号の入力を停止させ、ヘッダ復号器１０５、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を停止させる。さらに、参照フレームメモリ２０２、参照フレームメモリ２０３、表示フレームメモリ２０４の更新を禁止する。
【００７８】
フレームモード判定器１１２の結果、Iフレームの復号後であればそのまま更新を禁止する。Pフレームの復号後であれば復号して書き込みが行われた参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。Bフレームの復号後であった場合、最後に更新された参照フレームメモリの内容を参照フレームメモリ２０２または２０３から読み出し、表示フレームメモリ２０４に転送した後に全ての更新を禁止する。
【００７９】
この結果、出力端子１１４からは時間的に最後に復号されたフレームの画像データが出力される。このため、モニタ１００６では復号が許可されていた最終フレームが表示され続ける。
【００８０】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００８１】
バッファ１０３は符号の入力を再開させ、ヘッダ復号器１０５を動作させる。ヘッダ復号器１０５は次のスタートコードを検知、判定する。フレームのスタートコードを認識した場合、フレームモード判定器１１２にそのフレームの符号化モードを入力する。
【００８２】
フレームモード判定器１１２はフレームの符号化モードがP，Bフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作は再開せず、参照フレームメモリ２０２，２０３、表示フレームメモリ２０４の更新を禁止した状態を維持する。
【００８３】
フレームモード判定器１１２はフレームの符号化モードがIフレームであれば、動き補償復号器１０６、動き補償器２０１、テクスチャ復号器１０７の動作を再開させ、参照フレームメモリ２０２，２０３及び表示フレームメモリ２０４の更新を再開する。そのIフレームに続くBフレームの符号化データは復号せず、次に続くIフレームまたはPフレーム以降は、制御信号が許可であるので通常の復号、更新を制御信号が復号禁止になるまで、各部の復号動作を継続させる。これにより、モニタ１００６の表示も更新され、動画像の表示が再開される。
【００８４】
このような一連の選択動作により復号が再開された場合にフレーム内符号化を行ったフレームから処理を行うことでBフレームを含む動画像においても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００８５】
例えば、図８に示すようにB10〜P3までの符号化フレーム期間が著作権の保護（Security）により復号が禁止された場合でも、その禁止期間によって正常に復号されない前記禁止期間よりも前の画面から前記禁止期間以降の初めに現れるI1フレームまで、前記Securityがかかる直前に正常に復号されたP1のフレームの表示が続き、I1のフレーム以降から復号処理が再開されるので、画像の途切れや画像の乱れがなくなり、操作者に不愉快な画像を見せることがなくなる。乱れの無い画像を操作者に提示できる。
【００８６】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００８７】
＜第３実施例＞
図９は、本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【００８８】
図９において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（CPU）、３０１は本装置の制御に必要なオペレーティングシステム（OS）、ソフトウェア、演算に必要な必要な記憶領域を提供するメモリである。
【００８９】
３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバス、３０３は動画像データを蓄積する記憶装置、３０４は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。
【００９０】
３０５は通信回路３０４から動画像データを受信する通信インターフェース、３０６は表示する動画像のフレームデータを格納する表示フレームメモリ、３０７は再生された動画像を表示するモニタである。
【００９１】
ここでメモリ３０１のメモリの使用、格納状況を図１０に示す。
【００９２】
メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのOS、音声や動画像の同期制御のための情報を符号化した符号化データを復号するSystemsデコーダソフト、著作権等の保護を行うための符号化データを復号するセキュリティデコーダソフト、動画像の復号を行う動画像デコーダソフト、音声等の復号を行うオーディオデコーダソフトが格納されている。また、復号した画像を表示や動き補償時に参照するために格納する画像エリア、各種演算のパラメータ等を格納しておくワーキングエリア存在する。
【００９３】
このような構成において、処理に先立ち、Systemsデコーダを動作させ、動画像と音声の同期等を別途監視させる。記憶装置３０３または通信インターフェース３０５からセキュリティ符号化データ、動画像符号化データ、音声符号化データで構成される動画像データを入力し、メモリ３０１のワークエリアに格納する。尚、動画像符号化データはMPEG-1で符号化されたものとして説明を続けるが、動き補償を行う符号化方式であれば構わない。
【００９４】
第３の実施例で使用されるセキュリティ符号化データの構成を図１１に示す。
【００９５】
第３の実施例で使用されるセキュリティ符号化データは、第１の実施例で示した図２の各符号に加え、音声に対する著作権保護か、動画像に対する著作権かを識別する為のA/Vフラグ２００５が追加されている。
【００９６】
次に、CPU３００による復号動作を図１２に示すフローチャートに従って説明する。
【００９７】
まず、Streamが入力されているか否かをステップS01で判断し、Streamが入力されている場合はステップS02へ進み、Streamが入力されていない時はフローを終了する。
【００９８】
ステップS02では、セキュリティデコーダソフトを動作させ、当該動画像データにおいて復号を許可するか否かを判定する。セキュリティデコーダの復号の結果が復号許可であればステップS03へ進み、セキュリティデコーダの復号の結果が禁止となった場合はステップS05へ進む。
【００９９】
ステップS03では、動画像デコーダソフトを動作させて動画像をMPEG-1の復号方式に従って復号し、復号画像をメモリ３０１の画像エリアに格納し、ステップS04へ進み、前記画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップS01に戻る。
【０１００】
ステップS05では動画像デコーダソフトを停止させる。しかしながら、セキュリティが音声と動画像で個別に設定できることから、同期を確保するため、復号停止中の符号化データの読み出しは同期を取って行われるが、メモリ３０１のワーキングエリアには格納されず、読み捨てられる。
【０１０１】
次に、ステップS06ではセキュリティデコーダから復号再開が指示されたか否かを判断し、再開が指示されていない場合はステップS05に戻り、再開が指示された時はステップS07に進む。
【０１０２】
ステップS07では、セキュリティデコーダから復号再開が指示されたら(ステップS06)、動画像デコーダソフトを停止した状態から動作させるが、最初は各フレームのフレームモードを表すPTYPE符号までをデコードする。
【０１０３】
次に、ステップS08ではPTYPEがIフレームか否かを判断する。Iフレーム以外であればステップS07に戻り、次のPTYPE符号をデコードする。IフレームであればステップS09に進む。
【０１０４】
ステップS09は、PTYPE以降の復号を再開し、動画像をMPEG-1の復号方式に従って復号し、復号画像はメモリ３０１の画像エリアに格納し、ステップS10に進む。
【０１０５】
ステップS10では、画像エリアの画像データを表示順に表示フレームメモリ３０６に送り、モニタ３０７に表示し、ステップS01に戻る。
【０１０６】
このような一連の選択動作により装置の一部、または全てをソフトウェアで実現することが可能になる。また、音声と動画像と個別に著作権等の保護のためのセキュリティが行えることを示した。
【０１０７】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばデジタルテレビ、デジタルＶＴＲ）からなる装置に適用してもよい。
【０１０８】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１０９】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１１０】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１１１】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１１２】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１１３】
また、MPEG-4のマルチオブジェクトについては図１３に示すようにオブジェクトを識別するためのObjectcode符号２００６を追加し、オブジェクト毎にセキュリティを復号し、ビデオ復号部を複数持ち、各ビデオ復号部で各オブジェクトのI-VOPから復号、表示を行うことによって同様に復号の安全性の確保と画質の劣化を防ぐことができる。
【０１１４】
また、復号の開始をフレーム単位としたが、これに限定されず、フィールド単位や複数のマクロブロックを単位としてももちろん構わない。
【０１１５】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。
【０１１６】
また、上記実施例ではSecurityをかける期間が予め決っていたが、それに限るものではない。例えば、ユーザーがSecurityを解除するパスワードを入力し、そのパスワードの認証をおこなった後、Securityを解除するようにし、Securityを解除するタイミングをユーザーによって決められるようにしてもよい。
【０１１７】
【発明の効果】
以上の説明から明らかなように、本発明では、画像が乱れたり復号動作が中断するといったことなく、画像の知的財産権等の保護による画像の再生／停止を好適に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例におけるセキュリティ符号化データを説明するための図である。
【図３】本発明の第１の実施例におけるセキュリティ復号部１００４の構成を示す図である。
【図４】本発明の第１の実施例におけるビデオ復号部１００５の構成を示す図である。
【図５】本発明の第１の実施例における復号の様子を説明するための図である。
【図６】本発明の第１の実施例におけるビデオ復号部１００５の別な構成を示す図である。
【図７】本発明の第２の実施例におけるビデオ復号部１００５の構成を示す図である。
【図８】本発明の第２の実施例における復号の様子を説明するための図である。
【図９】本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【図１０】本発明の第３の実施例としてのメモリ３０１の内容を示す図である。
【図１１】本発明の第３の実施例におけるセキュリティ符号化データを説明する。
【図１２】本発明の第３の実施例としての画像処理動作を示すフローチャートである。
【図１３】本発明の実施例におけるMPEG-4マルチオブジェクトに対応したセキュリティ符号化データを説明するための図である。
【図１４】従来の復号の様子を説明するための図である。
【図１５】従来の復号の様子を説明するための図である。
Claims (9)
- 少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力手段と、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断手段と、
前記符号化された画像データの符号化モードを判定する符号化モード判定手段と、
前記符号化された画像データを復号化し、その復号化された画像データを出力する復号化手段と、
前記判断手段の出力と前記符号化モード判定手段の出力との両方の出力に応じて、乱れた画像が出力されないように前記復号化手段の復号化処理の停止及び再開を制御する制御手段とを有し、
前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データまで復号化処理を停止するように制御することを特徴とする画像処理装置。 - 前記インター符号化モードは、少なくとも、前方向予測符号化モード、もしくは、双方向予測符号化モードの何れか一方を含むことを特徴とする請求項１記載の画像処理装置。
- 前記制御手段は、前記判断手段により再生不許可から再生許可になった場合、前記符号化モード判定手段がイントラ符号化モードと判定した画像データから復号化処理を再開するように制御することを特徴とする請求項１記載の画像処理装置。
- 前記画像データは動画像データであることを特徴とする請求項１乃至３記載の画像処理装置。
- 前記符号化された画像データは、ＭＰＥＧ−１、もしくは、ＭＰＥＧ−２、もしくは、ＭＰＥＧ−４に準拠して符号化されたデータであることを特徴とする請求項４記載の画像処理装置。
- 前記セキュリティデータは、少なくとも著作権を認証するための符号を含むことを特徴とする請求項１乃至５記載の画像処理装置。
- 前記符号化された画像データには、前記符号化モードを識別するための符号を含み、前記符号化モード判定手段は前記符号により符号化モードを判定することを特徴とする請求項１乃至６記載の画像処理装置。
- 少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程と、
前記符号化された画像データの符号化モードを判定する符号化モード判定工程と、
前記判断結果と前記判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化する復号化工程とを有し、
前記復号化工程は、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止することを特徴とする画像処理方法。 - 画像処理プログラムが記録されたコンピュータ可読記録媒体であって、
少なくともイントラ符号化モードとインター符号化モードとを有する符号化モードを用いて符号化された画像データと前記画像データを保護するためのセキュリティデータとを入力する入力工程の手順コードと、
前記セキュリティデータに基づいて前記符号化された画像データの再生が許可か否かを判断する判断工程の手順コードと、
前記符号化された画像データの符号化モードを判定する符号化モード判定工程の手順コードと、
前記判断工程の判断結果と前記符号化モード判定工程の判定結果との両方の結果に応じて、乱れた画像が出力されないように前記符号化された画像データを復号化し、前記判断工程により再生不許可から再生許可になった場合、前記符号化モード判定工程がイントラ符号化モードと判定した画像データまで復号化処理を停止する復号化工程の手順コードとを記録したことを特徴とする画像処理プログラムが記録されたコンピュータ可読記録媒体。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34544798A JP4217316B2 (ja) | 1998-12-04 | 1998-12-04 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
| SG1999006086A SG75189A1 (en) | 1998-12-04 | 1999-12-01 | Image processing apparatus method therefor and recording medium storing image processing program |
| EP99309709A EP1006727B1 (en) | 1998-12-04 | 1999-12-02 | Image processing apparatus, method therefor and recording medium storing image processing program |
| AU63034/99A AU764575B2 (en) | 1998-12-04 | 1999-12-02 | Image processing apparatus, method therefor and recording medium storing image processing program |
| US09/452,185 US6763071B1 (en) | 1998-12-04 | 1999-12-02 | Image processing apparatus, method therefor and recording medium storing image processing program |
| DE69940048T DE69940048D1 (de) | 1998-12-04 | 1999-12-02 | Bildverarbeitungsvorrichtung, entsprechend Verfahren, und Aufzeichnungsmedium zur Speicherung eines Bildverarbeitungsprogramms |
| AT99309709T ATE417465T1 (de) | 1998-12-04 | 1999-12-02 | Bildverarbeitungsvorrichtung, entsprechend verfahren, und aufzeichnungsmedium zur speicherung eines bildverarbeitungsprogramms |
| CNB991209982A CN1178501C (zh) | 1998-12-04 | 1999-12-03 | 图象处理设备、其方法 |
| KR10-1999-0055047A KR100416032B1 (ko) | 1998-12-04 | 1999-12-04 | 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34544798A JP4217316B2 (ja) | 1998-12-04 | 1998-12-04 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004304159A Division JP2005051818A (ja) | 2004-10-19 | 2004-10-19 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175162A JP2000175162A (ja) | 2000-06-23 |
| JP4217316B2 true JP4217316B2 (ja) | 2009-01-28 |
Family
ID=18376662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34544798A Expired - Fee Related JP4217316B2 (ja) | 1998-12-04 | 1998-12-04 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4217316B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1288942B1 (en) | 2001-08-08 | 2005-01-12 | Matsushita Electric Industrial Co., Ltd. | Copyright protection system, recording device, and reproduction device |
| KR101535016B1 (ko) | 2014-04-15 | 2015-07-07 | 현대자동차주식회사 | 차량용 블랙박스의 영상 처리 장치 및 그 방법 |
-
1998
- 1998-12-04 JP JP34544798A patent/JP4217316B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000175162A (ja) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100416032B1 (ko) | 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 | |
| JP4083302B2 (ja) | 動画像スクランブル／デスクランブル装置 | |
| EP0769780B1 (en) | Information recording device and information output device | |
| US8218949B2 (en) | Video information recording device, video information recording method, and recording medium containing the video information recording program | |
| JPH08163533A (ja) | 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置 | |
| JP3976932B2 (ja) | データ処理方法及び装置並びに記憶媒体 | |
| JPH11220736A (ja) | 画像処理装置および方法、記録媒体 | |
| JP3976942B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| JP4109772B2 (ja) | データ処理方法及びその装置 | |
| JP2005535242A (ja) | Ｍｐｅｇ−４タイプの音響映像マルチメディアコンテンツのスクランブル装置 | |
| JP4217316B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| US20070154185A1 (en) | Method and system for transcoding video information to enable digital video recording (DVR) trick modes | |
| JP3496613B2 (ja) | デジタルコンテンツのコピー制御方法及び装置 | |
| JPH09171658A (ja) | 情報記録装置および情報出力装置 | |
| JP2000165889A (ja) | 動きベクトルを再計算せずに圧縮されたビデオを修正する装置および方法 | |
| JP2002300528A (ja) | ビデオストリーム編集方法及び装置 | |
| EP1422945A1 (en) | Image data recording with after-recording on the recording medium | |
| JP2005051818A (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| KR100590457B1 (ko) | 가전 기록 장치의 제어 장치 | |
| JP2000312359A (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| JP4018235B2 (ja) | 画像伝送システム及び方法 | |
| JP4018305B2 (ja) | 画像処理方法及びその装置と記憶媒体 | |
| JP2004064746A (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JP2001157161A (ja) | 画像編集装置、画像編集方法及びプログラム記録媒体 | |
| JP2000332612A (ja) | 情報処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041019 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041025 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080925 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |