JP3792780B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3792780B2 JP3792780B2 JP12353196A JP12353196A JP3792780B2 JP 3792780 B2 JP3792780 B2 JP 3792780B2 JP 12353196 A JP12353196 A JP 12353196A JP 12353196 A JP12353196 A JP 12353196A JP 3792780 B2 JP3792780 B2 JP 3792780B2
- Authority
- JP
- Japan
- Prior art keywords
- still image
- image
- encoding
- processing
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像信号から静止画像信号を取り込んで処理する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より動画像信号を伝送したりディジタル記録する場合、動画像を画面単位内で、例えば各フレーム内で符号化を行い、伝送媒体や記録媒体等の媒体に順次送っていく方法が用いられている。
この方法で符号化された動画像を再生中に、これらの動画像情報から静止画情報を得て、例えば印刷出力したりテレビジョン画面に出力表示したりする場合、従来は動画像を再生出力する過程でフレーム・メモリに取り込まれた１フレーム分の画像情報を抽出して、その抽出されたデータを静止画像として扱っていた。このとき、テレビジョン画像の飛び越し走査によって、表示される静止画像がフリッカによって乱れたり、画像の輪郭部分に走査線の影響が現われて滑らかでなくなったり、データ読み取りのエラーやドロップ・アウトによって静止画像が完全に再生できないなどの問題を生じていた。
【０００３】
上記の問題の対策として、より整った静止画像を再生するために、動画像を伝送または記録している途中で、伝送または記録しておきたい１フレーム分の静止画像を数フレーム分のデータとして繰り返し記録する方法が用いられるようになってきている。
図８は１フレーム分の静止画像データを動画像３フレーム分の領域で伝送または記録する様子を示したものである。
図中のｎｏ．２フレームの伝送または記録中に静止画として処理したい場合が現れた時、静止画取り込みスイッチを押すことによって、ｎｏ．３フレームの位置Ａから静止画の処理が始まる。
【０００４】
ｎｏ．３フレームの画像をＡの位置で取り込んで処理した後、このフレームの再生時にエラーが発生したときや、走査線の影響を受けた画像中の輪郭部の補間などに用いるための、同じ内容の予備の静止画像のデータをＢ、Ｃのフレームの位置にあたるところで再び処理していく。そしてこの３フレーム分の静止画像を処理した後、Ｄのフレームにあたる位置から動画像ｎｏ．６フレームからの処理を再開し、引き続き動画像の処理を継続する。
【０００５】
図９は上述の画像信号処理方式を実現する装置の一例を示したブロック図である。
ディジタル画像データの入力端子９０１から入力された動画像データは、符号化回路９０２でフレーム内符号化された後、フォーマット化回路９０３において記録フォーマットに合うようにフォーマット化され、バッファ９０４に送られた後、媒体９０５に伝送される。
この動画像情報の処理中に、静止画情報として処理しておきたいフレームのところで静止画取り込みスイッチを押すことによって、入力端子９０６から静止画取り込み信号が入力される。この信号に応じて、それまで動画像を処理するために入力されてきた動画像データを順次フォーマット化してバッファ９０４に送出していたフォーマット化回路９０３は図８におけるＡにあたるフレームの画像データに続いてＢ、Ｃのフレームに相当する位置に同じ内容のデータを繰り返し出力して、媒体９０５に伝送するように成す。このようにして、連続して処理される動画像フレームに静止画像フレームを挿入して処理していく方法が用いられている。
【０００６】
画像信号を符号化する場合、図１０に示されるようなフレーム内符号化のシステムが用いられている。
これは、画像信号を複数の画素から成るブロックに分割するとともに、そのデータを直交変換し、上記複数のブロックで、ある範囲の符号量となるように、上記直交変換したデータを量子化および可変長符号化し、これを伝送または記録するようにした画像処理装置である。
【０００７】
図１０について説明する前に上記ブロック分割について説明する。
ブロックの分割の方法の一例としては、図２に示すものが考えられている。図２において、（Ａ）は画像全体を示し、横にＩ：１〜Ｎまで分割され、さらに各分割領域を（Ｂ）のように直交変換するブロックに分割する。
このブロックをＸ個集めて、この複数ブロックの範囲内で固定長符号化する場合、（Ａ）の各々のＩ（Ｉ：１〜Ｎ）からＹ個ずつの直交変換するブロックを選択してＸ個のブロック（Ｘ＝Ｙ×Ｎ）と成し、この集められたＸ個のブロックのエリアの範囲内で、符号量がある一定の値となるように、量子化および可変長符号化を行う。
この時、量子化特性は（Ａ）の各々のＩの中のＹ個の直交変換ブロック毎、もしくは各直交変換ブロック毎に与えられる。
【０００８】
次に図１０について説明する。
図１０において、符号化時には、外部から供給されるディジタル入力画像信号Ｓ１の入力端子１０１を介して内部に導入されたディジタル画像信号Ｓ１は、まず直交変換のためのブロックを形成し、さらにそのブロックをＸ個集めたものからなるエリアにするためのメモリ回路１０２に与えられて蓄積される。
このメモリ回路１０２は、アドレス、および書き込み／読み出し動作がメモリ制御部１０３により制御されるように成されている。
【０００９】
メモリ制御部１０３の後述する読み出し制御に基いてメモリ回路１０２からブロック化されて読み出された画像データＳ２は、次に直交変換回路１０４に与えられて直交変換される。この直交変換された画像データＳ３は、次に量子化器１０５に与えられ、後述する符号量計算部１０６からの制御に基づいた量子化データで量子化される。量子化された画像データＳ４は、次に可変長符号化回路１０７に与えられて可変長符号化される。
【００１０】
上記直交変換された画像データＳ３は、符号量計算部１０６にも与えられていて、Ｘ個のブロックからなるエリア単位で量子化、可変長符号化した場合に、ある範囲の符号量となる（以下、Ｘブロック固定長符号化という）ような量子化テーブルが、符号量計算部１０６によって計算された値に基いて、量子化器１０５で選択される。このようにして与えられた量子化テーブルを用いて、量子化された画像データＳ４は、次に可変長符号化回路１０７に与えられて可変長符号化される。
【００１１】
この可変長符号化された画像データＳ５は、次にデータ処理部１０８に与えられる。データ処理部１０８では、伝送媒体や記録媒体に適したデータに画像データＳ５を処理し、処理したデータＳ６を伝送媒体や記録媒体である媒体１２０に送る。このデータ処理を行う場合、入力端子１１０から静止画取り込み信号が入力されたときは、図８について説明した静止画処理が行われる。
【００１２】
次に、復号化時には、媒体１２０を介したデータＳ７は、伝送媒体や記録媒体に適したデータの処理に対して復号化するデータ復号化部１３１に与えられ、復号化された画像データＳ８を可変長復号化回路１３２に出力する。可変長復号化回路１３２では、画像データＳ８を可変長復号化して画像データＳ９を出力し、次に逆量子化器１３３で、逆量子化を行った画像データＳ１０を逆直交変換処理部１３５に与える。
【００１３】
逆直交変換処理部１３５では、画像データＳ１０を逆直交変換して画像データＳ１１を各ブロック化されたデータをラスタ走査に戻すためのブロック・エリア解除メモリ１３６に与えて蓄積する。このブロック・エリア解除メモリ回路１３６は、アドレス、および書き込み／読み出し動作がメモリ制御部１３４により制御されるように構成されている。
【００１４】
また、逆量子化器１３３で使用した逆量子化特性はデータＳ１２として出力され、メモリ制御部１３４へ与えられる。メモリ制御部１３４の読み出しアドレス制御に基いて、ブロック・エリア解除メモリ回路１３６から読み出された画像データＳ１３は、ディジタル出力画像信号として出力端子１３７から出力される。
【００１５】
【発明が解決しようとする課題】
前述した従来の画像処理装置を用いて動画像の処理の途中で静止画の処理を行った場合、図８に示されるように、静止画像を処理している間のＢ及びＣのフレームの位置に該当する動画像ｎｏ．４及びｎｏ．５フレームが伝送または記録されないために、動画像を復号化する再生時に画面の連続性が失われ、画像が乱れるという問題があった。
【００１６】
また、上記の従来の画像処理装置では、動画モード／静止画モードに関係なくデータの圧縮方法が同じであるが、人間の視覚特性は静止画像の方が動画像より画質劣化が判別しやすい。このため従来の画像処理装置では、静止画モードで画質劣化が目立ちやすいという問題があった。
【００１７】
本発明は上述の問題点に鑑み、静止画像を画像処理し伝送または記録する場合に、動画像の連続性を失わず、かつ動画像の中の所望の静止画像を複数画面だけ記録、伝送することができ、さらに再生される静止画像の画質劣化を目立たないようにすることのできる画像処理装置を得ることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の画像処理装置は、入力される符号化画像データを復号化する復号化処理手段と、上記入力される符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを備えた画像処理装置であって、上記静止画像データは同一画面のものが複数枚存在し、かつ各画面において互いに異なる特定の部分が他の部分より画質が良くなるように符号化されており、上記出力手段は、上記保持手段における各画面から上記特定の部分を取り出し、一枚の静止画像として出力することを特徴とする。
【００１９】
また、本発明の画像処理装置は、入力される画像信号を符号化する符号化処理手段と、上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、上記取り込まれた静止画像信号を蓄積する蓄積手段と、上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを備えた画像処理装置であって、上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする。
【００２０】
また、本発明の画像処理装置は、入力される画像信号を符号化する符号化処理手段と、上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、上記取り込まれた静止画像信号を蓄積する蓄積手段と、上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを有する符号化装置と、上記符号化処理手段により符号化された符号化画像データを復号化する復号化処理手段と、上記符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを有する復号化装置とを備えた画像処理装置であって、上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする。
【００２１】
【作用】
本発明によれば、符号化処理を行いながら静止画像信号を取り込んで蓄積しておき、上記符号化処理が終了した後で蓄積された静止画像信号の符号化を行う。従って、符号化画像データの復号化時に再生画像信号の連続性が失われることがない。
【００２３】
また、符号化装置において、符号化処理を行いながら静止画像信号を取り込んで蓄積しておき、上記符号化処理が終了した後で蓄積された静止画像信号の符号化を行う。復号化装置では、符号化装置で符号化された符号化画像データを復号化処理を行いながら静止画像信号を保持する。従って、復号化された再生画像信号の連続性が損なわれることがない。また任意のときに静止画像信号を出力させることができる。
【００２４】
【発明の実施の形態】
図１は本発明による画像処理装置の実施の形態を示すブロック図である。図１における１０１〜１０８、１１０、１２０、１３１〜１３７は、図４の同一符号部分と実質的に同じ機能を有しており、重複する説明を省略する。
【００２５】
動画像信号は図８について説明したように順次符号化されて媒体１２０に送られていき、さらに媒体１２０から送られてきたデータが復号化されていくが、次に本発明のポイントであるところの静止画像信号を伝送または記録するための処理を行う際に用いられるフレームメモリ制御部分について説明する。
まず、各静止画像を１フレームにつき１フレーム分のデータを媒体１２０に送り、複数の場面の静止画像の画面を処理するモードについて説明する。
動画像信号を取り込んで符号化を行い、媒体１２０に伝送している途中で、静止画像として取り込みたい画像があるとき、静止画取り込みスイッチを押すことにより入力端子１１０から静止画取り込み信号が入力される。また、入力端子１０９には、１画面につき１フレーム分のデータを媒体１２０に送るモードを示すモード切り換え信号が入力される。
【００２６】
上記の２種類の信号を受けたメモリの切換え制御部１１２は、メモリ書き込み切換えスイッチ１１３に信号を送り、１フレームの静止画像を取り込む度にスイッチを切り換えて３つのフレームメモリＦＭ１〜３（１１５〜１１７）に異なる３種類の場面の静止画像信号を１フレームずつ順次送り込む。
【００２７】
次に、動画像の取り込みが終了したことを示す動画処理終了信号が入力端子１１１から入力されると、これに応じてメモリ読み出し切り換えスイッチ１１４を切り換えて、静止画像信号を１フレームずつ順次読み出して、符号化を行うための回路系に信号を送る。そして、動画像符号化データに引き続き静止画像符号化データの符号化処理を動画像と同様に行い、データ処理部１０８において静止画像データであることを示すフラグを付加して媒体１２０に伝送する。
【００２８】
次に、媒体１２０から送られてきた静止画像データを復号再生する場合は、データ復号部１３１において静止画像データを示すフラグを検出した信号を復号メモリ制御部１３４に送り、その信号に応じて復号メモリ制御部１３４は、メモリ書き込みスイッチ１４１を切り換えて、復号された静止画像信号を１フレームずつ復号フレームメモリＦＭ４〜６（１４２〜１４４）に順次書き込んでいく。
【００２９】
復号フレームメモリ１４２〜１４４に蓄えられた静止画像信号は、入力端子１３９から入力された静止画像読み出し信号に応じてメモリ読み出しスイッチ１４０のスイッチを切り換えて、動画像の読み出し中、動画像の読み出し後、または静止画像のみを読み出したい時などの必要に応じて各静止画像の希望の場面を１フレーム分ずつ読み出す。次に、各フレームメモリから読み出された静止画像信号は、ブロック・エリア解除メモリ１３６に送られて、メモリ制御部１３４の信号に応じたメモリ制御部１３８の制御により、複数個の直交変換ブロックを含めたエリアのデータ配列からラスタ走査に変換するような読み出しアドレス順に各フレームメモリからデータを読み出して、ディジタル画像信号出力端子１３７から静止画像信号を出力する。
【００３０】
次に、１フレームの静止画像をＮフレーム（ここでは３フレーム）分のデータとして繰り返し媒体１２０に送り、高画質の静止画像を処理するモードについて説明する。
動画像信号を取り込んで符号化を行い媒体１２０に伝送している途中で、静止画像として取り込みたい画像があるとき、静止画取り込みスイッチを押すことによって、入力端子１１０から静止画取り込み信号が入力される。また、入力端子１０９には、１画面につき３フレーム分のデータを媒体１２０に送るモードを示すモード切換え信号を入力する。
【００３１】
上記の２種類の信号を受けたメモリ切り換え制御部１１２は、メモリ書き込み切り換えスイッチ１１３に信号を送り、スイッチをすべて閉じて、一度にフレームメモリＦＭ１〜３（１１５〜１１７）にそれぞれ１フレーム分の同一の静止画像信号を送り込むようにする。
【００３２】
次に、動画像の取り込みが終了したことを示す動画処理終了信号が入力端子１１１から入力されると、これに応じてメモリ読み出し切り換えスイッチ１１４を切り換えて、静止画像信号を１フレームずつ順次読み出して、符号化を行なう回路に信号を送り、動画像符号化データに引き続き静止画像符号化データの符号化を行い、データ処理部１０８において静止画像データであることを示すフラグを付加して媒体１２０に伝送する。
【００３３】
次に、媒体１２０から送られてきた静止画像データを復号再生する場合は、データ復号部１３１において静止画像データを示すフラグを検出した信号を復号メモリ制御部１３４に送り、その信号に応じて復号メモリ制御部１３４は、メモリ書き込みスイッチ１４１を切り換えて、復号された静止画像信号を１フレームずつ復号フレームメモリＦＭ４〜６（１４２〜１４４）に順次書き込んでいく。
【００３４】
復号フレームメモリに蓄えられた静止画像信号は、入力端子１３９から入力された静止画像読み出し信号に応じてメモリ読み出しスイッチ１４０のスイッチを切り換えて、動画像の読み出し中、動画像の読み出し後、または静止画像のみを読み出したい時など、必要に応じて後述する要領によって高画質の１フレームの静止画像を完成させるために、必要なエリアのデータをそれぞれのフレームから順次読み出す。
【００３５】
次に、フレームメモリから読み出された静止画像信号は、ブロック・エリア解除メモリ１３６に送られて、メモリ制御部１３８の制御により、複数個の直交変換ブロックを含めたエリアのデータ配列からラスタ走査に変換するような読み出しアドレス順にメモリからデータを読み出して、ディジタル画像信号出力端子１３７から静止画像信号を出力する。
【００３６】
次に、各フレームメモリにおける制御や符号化の方法について説明する。
直交変換するブロックの分割、およびＸブロック固定長符号化するエリアの選択は、上記メモリ制御部１０３で行っている。ブロックの分割の方法としては従来例と同様に図２に示すように行われる。図２において（Ａ）は画像全体を示し、横にＩ：１〜Ｎまで分割され、さらに（Ｂ）のように直交変換するブロックに分割する。
このブロックをＸ個（Ｘ＝Ｎ×Ｙ、ただしＹは１以上の整数）でＸブロック固定長符号化する場合、（Ａ）の各々のＩ：１〜ＮからＹ個の直交変換するブロックを選択し、ある範囲の符号量となるように量子化および可変長符号化を行う。
【００３７】
図３（Ａ）は、図２（Ａ）でＮ＝３にした場合の画像全体を示すもので、横にＩ：１〜３まで分割されている。
Ｘブロック固定長符号化（Ｘ＝Ｎ×Ｙ）する場合には、各々のＩの部分からＹ個の直交変換するブロックを選択し、ある範囲の符号量となるように、あらかじめ符号量計算部１０６において量子化特性を決定し、その結果に基づいて量子化及び可変長符号化を行う。
【００３８】
このようにして、Ｘ個の直交変換ブロックからなるエリアごとに直交変換を行っていける順序で画像データをメモリ１０２から読み出していくように、メモリ制御部１０３からアドレスを指定する信号を発生させる。そして、読み出された動画像データはそのまま直交変換回路１０４に送られる。また、静止画像として処理されるデータは一旦フレームメモリＦＭ１〜３（１１５〜１１７）に送られ、動画像の処理後に直交変換回路１０４に送られる。
【００３９】
量子化特性は各直交変換ブロック毎、もしくは図２（Ａ）の各々Ｉ：１〜Ｎに与えられ、その特性に従った量子化が量子化回路１０５において行われた後に、可変長符号化回路１０７により可変長符号化される。この可変長符号化された符号化データは、与えられた量子化特性とともにデータ処理部１０８に送られ処理された後、媒体１２０に伝送される。
【００４０】
ここで、静止画像１画面をＮフレーム（本実施の形態では３フレーム）分のメモリに蓄えて処理するモードにおいては、次のように量子化特性を与える。
初めに記録または伝送するためにフレームメモリＦＭ１（１１５）に送られた画像データは、図３（Ｂ）の斜線部（Ｉ＝１）内の各ブロックに与える量子化特性を他の領域（Ｉ＝２、３）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
【００４１】
次に記録または伝送するためにフレームメモリＦＭ２（１１６）に送られた画像データは、図３（Ｃ）の斜線部（Ｉ＝２）内の各ブロックに与える量子化特性を他の領域（Ｉ＝１、３）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
さらに次に記録または伝送するためにフレームメモリＦＭ３（１１７）に送られた画像データは、図３（Ｄ）の斜線部（Ｉ＝３）内の各ブロックに与える量子化特性を他の領域（Ｉ＝１、２）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
【００４２】
上述した領域の選択は、図４（Ａ）〜（Ｃ）に示されるように、Ｘブロック固定長符号化される各エリアごとに、画質が良くなる量子化特性を振り分ける方法を用いてもよい。
【００４３】
上述のように選択することにより、選択されるブロックごとの水平・垂直方向の相関性が少なくなり、エラーが発生した場合でも視覚上目立たなくすることができる。
【００４４】
さらに上記領域の選択は、輝度信号成分や色差信号成分の区別によって画質が良くなる量子化特性を振り分ける方法を用いてもよい。
【００４５】
同じ静止画像を複数回（本実施の形態では３回）伝送または記録する場合は、以上のようにしてＸブロック固定長符号化が行われる。
【００４６】
次に上述のようにして伝送または記録された１画面に対してＮフレーム（本実施の形態では３フレーム）分の静止画像データが媒体１２０から送られてきた場合の復号を行うためのメモリ制御は以下のように行われる。
媒体１２０から伝送されてきて可変長復号化され、逆量子化回路１３３において逆量子化が行なわれたときに、各データに与えられていた量子化特性も復号されて、メモリ制御部１３４に送られる。この信号とデータ復号処理部１３１において検出されたモードを示す信号とに応じてメモリ制御部１３４は、フレームメモリＦＭ４〜６（１４２〜１４４）に逆直交変換された静止画像データを書き込み、さらに、複数回（３回）伝送または記録されたデータの内、いちばん画質劣化の少ない量子化特性で量子化されていた画像データを選択して、スイッチ１４０に切換えて出力する。
【００４７】
図５（Ａ）は時間Ｔ＝１〜３に伝送または記録された画像を示し、斜線部分は量子化特性を他のブロックより画質が良くなるようにした部分である。
図５（Ｂ）はメモリ回路１３６に蓄積される画像データの様子を示したものである。
まず、Ｔ＝１の画像データを処理した画像データをメモリ回路１３６へ蓄積し、次にメモリ回路１３６に蓄積されている画像データより画質劣化の少ない量子化特性で量子化された画像データが与えられた場合、メモリ回路１３６のデータを書き換え、それ以外は与えられた画像データを捨てるようにして画像全体で画質劣化の少ない画像データをメモリ回路１３６へ蓄積する。
【００４８】
同様に図４のように、エリアごとに高画質の量子化特性を振り分けて符号化したときの復号時におけるメモリ回路１３６へのデータの蓄積の様子を図６に示す。
【００４９】
以上のように、通常よりも特定ブロックの画質劣化の少ないデータを複数回に分けて符号化伝送または記録し、復号する場合に最も画質劣化の少ないデータを選択して１つの画像信号とするため、通常よりも画質劣化の少ない静止画像信号を伝送または記録する画像処理装置を実現できる。
なお、このシステムを用いることにより、例えばＶＴＲのように、符号化と復号化を同じローカルな場所で行うような機器では、符号化部と復号化部を共用することができる。
【００５０】
本実施の形態の説明では、１画面を１フレームの単位で扱ったが、１画面をフィールドの単位で扱ってもよい。
また、本実施の形態では、符号化方式をフレーム内符号化に限定して説明を行ったが、フレーム間符号化を用いても、フレーム間での符号化の相関が完結している単位の間で静止画像信号を扱うことにより、本実施の形態を適用することができる。
【００５１】
図７は１フレーム画面を３フレーム分取り込んで静止画像として記録する場合の様子を示す。
フレームｎｏ．１〜９の動画像が入力され、これを順次符号化して記録しているとき、ｎｏ．３フレームで静止画取り込みスイッチをＯＮにすると、このｎｏ．３フレームの画面が３画面分フレームメモリに取り込まれて保持される。一方、このｎｏ．３フレームを含むｎｏ．９フレームまでの動画像が順次符号化処理されて記録される。そしてｎｏ．９フレームで記録停止スイッチがＯＮされると、動画像の処理が終了し、次にフレームメモリから３枚のｎｏ．３フレームの静止画像が取り出されて符号化、記録される。この符号化の際に、前述したように３枚の各画面の互いに異なる特定エリアの量子化特性を制御してそこだけ高画質となるように符号化する。従って符号化時に高画質部分のみを合成することにより一枚の高画質静止画像が得られる。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、動画像を取り込んで処理している途中で静止画像を取り込む命令を入力しても、復号化時に再生動画像の連続性を失うことなく、動画像処理後に静止画像を得るようにすることができる。
【００５３】
また、動画像の符号化データを復号化処理しながら静止画像を保持し、保持した静止画像をいつでも出力させることができる。また動画像の復号化終了後に静止画像を出力させれば、動画像の連続性が失われることがない。
【００５５】
また、同一画面の静止画像信号を複数画面分蓄積することで、それらを高画質を得るための補間に用いることができると共に、動画像の連続性も保たれる。
【００５６】
また、複数枚の静止画像のそれぞれ高画質に符号化された部分を合成することにより、１枚の高画質静止画像を得ることができると共に、動画像の連続性も保つことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す画像処理装置のブロック図である。
【図２】画像処理装置において行われるＸブロック固定長符号化のブロック選択法を示す構成図である。
【図３】本発明におけるＸブロック固定長符号化の様子を示す構成図である。
【図４】本発明におけるＸブロック固定長符号化の様子を示す構成図である。
【図５】本発明におけるＸブロック固定長符号化の様子とデータを復号する場合のメモリ回路へのデータ蓄積法とを示す構成図である。
【図６】図４の場合におけるデータを復号する場合のメモリ回路へのデータ蓄積法を示す構成図である。
【図７】動画像信号の処理中に静止画像信号を処理する命令を受けたときの各画面の処理順序を示す構成図である。
【図８】動画像信号の処理中に静止画像信号を処理する命令を受けたときの従来例における各画面の処理順序を示す構成図である。
【図９】動画像信号の処理中に静止画像信号を処理する命令を受けたときに静止画像の処理を行うことのできる従来のシステムの一例を示すブロック図である。
【図１０】従来例のフレーム内符号化を行う画像処理装置の一例を示すブロック図である。
【符号の説明】
１０１ ディジタル画像信号の入力端子
１０２ ブロック・エリア化メモリ回路
１０３ ブロック・エリア化メモリ制御部
１０４ 直交変換処理部
１０５ 量子化器
１０６ 符号量計算部
１０７ 可変長符号化部
１０８ データ処理部
１０９ 静止画像処理モード切り換え信号の入力端子
１１０ 静止画像取り込み信号の入力端子
１１１ 動画像処理終了信号の入力端子
１１２ メモリ入力切り換えスイッチの切り換え制御部
１１３ 静止画像符号化メモリの入力切り換えスイッチ
１１４ 静止画像符号化メモリの出力切り換えスイッチ
１１５、１１６、１１７ 静止画像符号化フレームメモリ
１３１ データ復号部
１３２ 可変長復号化部
１３３ 逆量子化器
１３４ 復号化メモリ制御部
１３５ 逆直交変換処理部
１３６ ブロック・エリア解除メモリ
１３７ ブロック・エリア解除メモリ制御部
１３８ ディジタル画像信号の出力端子
１３９ 静止画像読み出し信号の入力端子
１４０ 静止画像再生メモリの出力切り換えスイッチ
１４１ 静止画像再生メモリの入力切り換えスイッチ
１４２、１４３、１４４ 静止画像再生フレームメモリ
【発明の属する技術分野】
本発明は、入力画像信号から静止画像信号を取り込んで処理する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より動画像信号を伝送したりディジタル記録する場合、動画像を画面単位内で、例えば各フレーム内で符号化を行い、伝送媒体や記録媒体等の媒体に順次送っていく方法が用いられている。
この方法で符号化された動画像を再生中に、これらの動画像情報から静止画情報を得て、例えば印刷出力したりテレビジョン画面に出力表示したりする場合、従来は動画像を再生出力する過程でフレーム・メモリに取り込まれた１フレーム分の画像情報を抽出して、その抽出されたデータを静止画像として扱っていた。このとき、テレビジョン画像の飛び越し走査によって、表示される静止画像がフリッカによって乱れたり、画像の輪郭部分に走査線の影響が現われて滑らかでなくなったり、データ読み取りのエラーやドロップ・アウトによって静止画像が完全に再生できないなどの問題を生じていた。
【０００３】
上記の問題の対策として、より整った静止画像を再生するために、動画像を伝送または記録している途中で、伝送または記録しておきたい１フレーム分の静止画像を数フレーム分のデータとして繰り返し記録する方法が用いられるようになってきている。
図８は１フレーム分の静止画像データを動画像３フレーム分の領域で伝送または記録する様子を示したものである。
図中のｎｏ．２フレームの伝送または記録中に静止画として処理したい場合が現れた時、静止画取り込みスイッチを押すことによって、ｎｏ．３フレームの位置Ａから静止画の処理が始まる。
【０００４】
ｎｏ．３フレームの画像をＡの位置で取り込んで処理した後、このフレームの再生時にエラーが発生したときや、走査線の影響を受けた画像中の輪郭部の補間などに用いるための、同じ内容の予備の静止画像のデータをＢ、Ｃのフレームの位置にあたるところで再び処理していく。そしてこの３フレーム分の静止画像を処理した後、Ｄのフレームにあたる位置から動画像ｎｏ．６フレームからの処理を再開し、引き続き動画像の処理を継続する。
【０００５】
図９は上述の画像信号処理方式を実現する装置の一例を示したブロック図である。
ディジタル画像データの入力端子９０１から入力された動画像データは、符号化回路９０２でフレーム内符号化された後、フォーマット化回路９０３において記録フォーマットに合うようにフォーマット化され、バッファ９０４に送られた後、媒体９０５に伝送される。
この動画像情報の処理中に、静止画情報として処理しておきたいフレームのところで静止画取り込みスイッチを押すことによって、入力端子９０６から静止画取り込み信号が入力される。この信号に応じて、それまで動画像を処理するために入力されてきた動画像データを順次フォーマット化してバッファ９０４に送出していたフォーマット化回路９０３は図８におけるＡにあたるフレームの画像データに続いてＢ、Ｃのフレームに相当する位置に同じ内容のデータを繰り返し出力して、媒体９０５に伝送するように成す。このようにして、連続して処理される動画像フレームに静止画像フレームを挿入して処理していく方法が用いられている。
【０００６】
画像信号を符号化する場合、図１０に示されるようなフレーム内符号化のシステムが用いられている。
これは、画像信号を複数の画素から成るブロックに分割するとともに、そのデータを直交変換し、上記複数のブロックで、ある範囲の符号量となるように、上記直交変換したデータを量子化および可変長符号化し、これを伝送または記録するようにした画像処理装置である。
【０００７】
図１０について説明する前に上記ブロック分割について説明する。
ブロックの分割の方法の一例としては、図２に示すものが考えられている。図２において、（Ａ）は画像全体を示し、横にＩ：１〜Ｎまで分割され、さらに各分割領域を（Ｂ）のように直交変換するブロックに分割する。
このブロックをＸ個集めて、この複数ブロックの範囲内で固定長符号化する場合、（Ａ）の各々のＩ（Ｉ：１〜Ｎ）からＹ個ずつの直交変換するブロックを選択してＸ個のブロック（Ｘ＝Ｙ×Ｎ）と成し、この集められたＸ個のブロックのエリアの範囲内で、符号量がある一定の値となるように、量子化および可変長符号化を行う。
この時、量子化特性は（Ａ）の各々のＩの中のＹ個の直交変換ブロック毎、もしくは各直交変換ブロック毎に与えられる。
【０００８】
次に図１０について説明する。
図１０において、符号化時には、外部から供給されるディジタル入力画像信号Ｓ１の入力端子１０１を介して内部に導入されたディジタル画像信号Ｓ１は、まず直交変換のためのブロックを形成し、さらにそのブロックをＸ個集めたものからなるエリアにするためのメモリ回路１０２に与えられて蓄積される。
このメモリ回路１０２は、アドレス、および書き込み／読み出し動作がメモリ制御部１０３により制御されるように成されている。
【０００９】
メモリ制御部１０３の後述する読み出し制御に基いてメモリ回路１０２からブロック化されて読み出された画像データＳ２は、次に直交変換回路１０４に与えられて直交変換される。この直交変換された画像データＳ３は、次に量子化器１０５に与えられ、後述する符号量計算部１０６からの制御に基づいた量子化データで量子化される。量子化された画像データＳ４は、次に可変長符号化回路１０７に与えられて可変長符号化される。
【００１０】
上記直交変換された画像データＳ３は、符号量計算部１０６にも与えられていて、Ｘ個のブロックからなるエリア単位で量子化、可変長符号化した場合に、ある範囲の符号量となる（以下、Ｘブロック固定長符号化という）ような量子化テーブルが、符号量計算部１０６によって計算された値に基いて、量子化器１０５で選択される。このようにして与えられた量子化テーブルを用いて、量子化された画像データＳ４は、次に可変長符号化回路１０７に与えられて可変長符号化される。
【００１１】
この可変長符号化された画像データＳ５は、次にデータ処理部１０８に与えられる。データ処理部１０８では、伝送媒体や記録媒体に適したデータに画像データＳ５を処理し、処理したデータＳ６を伝送媒体や記録媒体である媒体１２０に送る。このデータ処理を行う場合、入力端子１１０から静止画取り込み信号が入力されたときは、図８について説明した静止画処理が行われる。
【００１２】
次に、復号化時には、媒体１２０を介したデータＳ７は、伝送媒体や記録媒体に適したデータの処理に対して復号化するデータ復号化部１３１に与えられ、復号化された画像データＳ８を可変長復号化回路１３２に出力する。可変長復号化回路１３２では、画像データＳ８を可変長復号化して画像データＳ９を出力し、次に逆量子化器１３３で、逆量子化を行った画像データＳ１０を逆直交変換処理部１３５に与える。
【００１３】
逆直交変換処理部１３５では、画像データＳ１０を逆直交変換して画像データＳ１１を各ブロック化されたデータをラスタ走査に戻すためのブロック・エリア解除メモリ１３６に与えて蓄積する。このブロック・エリア解除メモリ回路１３６は、アドレス、および書き込み／読み出し動作がメモリ制御部１３４により制御されるように構成されている。
【００１４】
また、逆量子化器１３３で使用した逆量子化特性はデータＳ１２として出力され、メモリ制御部１３４へ与えられる。メモリ制御部１３４の読み出しアドレス制御に基いて、ブロック・エリア解除メモリ回路１３６から読み出された画像データＳ１３は、ディジタル出力画像信号として出力端子１３７から出力される。
【００１５】
【発明が解決しようとする課題】
前述した従来の画像処理装置を用いて動画像の処理の途中で静止画の処理を行った場合、図８に示されるように、静止画像を処理している間のＢ及びＣのフレームの位置に該当する動画像ｎｏ．４及びｎｏ．５フレームが伝送または記録されないために、動画像を復号化する再生時に画面の連続性が失われ、画像が乱れるという問題があった。
【００１６】
また、上記の従来の画像処理装置では、動画モード／静止画モードに関係なくデータの圧縮方法が同じであるが、人間の視覚特性は静止画像の方が動画像より画質劣化が判別しやすい。このため従来の画像処理装置では、静止画モードで画質劣化が目立ちやすいという問題があった。
【００１７】
本発明は上述の問題点に鑑み、静止画像を画像処理し伝送または記録する場合に、動画像の連続性を失わず、かつ動画像の中の所望の静止画像を複数画面だけ記録、伝送することができ、さらに再生される静止画像の画質劣化を目立たないようにすることのできる画像処理装置を得ることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の画像処理装置は、入力される符号化画像データを復号化する復号化処理手段と、上記入力される符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを備えた画像処理装置であって、上記静止画像データは同一画面のものが複数枚存在し、かつ各画面において互いに異なる特定の部分が他の部分より画質が良くなるように符号化されており、上記出力手段は、上記保持手段における各画面から上記特定の部分を取り出し、一枚の静止画像として出力することを特徴とする。
【００１９】
また、本発明の画像処理装置は、入力される画像信号を符号化する符号化処理手段と、上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、上記取り込まれた静止画像信号を蓄積する蓄積手段と、上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを備えた画像処理装置であって、上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする。
【００２０】
また、本発明の画像処理装置は、入力される画像信号を符号化する符号化処理手段と、上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、上記取り込まれた静止画像信号を蓄積する蓄積手段と、上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを有する符号化装置と、上記符号化処理手段により符号化された符号化画像データを復号化する復号化処理手段と、上記符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを有する復号化装置とを備えた画像処理装置であって、上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする。
【００２１】
【作用】
本発明によれば、符号化処理を行いながら静止画像信号を取り込んで蓄積しておき、上記符号化処理が終了した後で蓄積された静止画像信号の符号化を行う。従って、符号化画像データの復号化時に再生画像信号の連続性が失われることがない。
【００２３】
また、符号化装置において、符号化処理を行いながら静止画像信号を取り込んで蓄積しておき、上記符号化処理が終了した後で蓄積された静止画像信号の符号化を行う。復号化装置では、符号化装置で符号化された符号化画像データを復号化処理を行いながら静止画像信号を保持する。従って、復号化された再生画像信号の連続性が損なわれることがない。また任意のときに静止画像信号を出力させることができる。
【００２４】
【発明の実施の形態】
図１は本発明による画像処理装置の実施の形態を示すブロック図である。図１における１０１〜１０８、１１０、１２０、１３１〜１３７は、図４の同一符号部分と実質的に同じ機能を有しており、重複する説明を省略する。
【００２５】
動画像信号は図８について説明したように順次符号化されて媒体１２０に送られていき、さらに媒体１２０から送られてきたデータが復号化されていくが、次に本発明のポイントであるところの静止画像信号を伝送または記録するための処理を行う際に用いられるフレームメモリ制御部分について説明する。
まず、各静止画像を１フレームにつき１フレーム分のデータを媒体１２０に送り、複数の場面の静止画像の画面を処理するモードについて説明する。
動画像信号を取り込んで符号化を行い、媒体１２０に伝送している途中で、静止画像として取り込みたい画像があるとき、静止画取り込みスイッチを押すことにより入力端子１１０から静止画取り込み信号が入力される。また、入力端子１０９には、１画面につき１フレーム分のデータを媒体１２０に送るモードを示すモード切り換え信号が入力される。
【００２６】
上記の２種類の信号を受けたメモリの切換え制御部１１２は、メモリ書き込み切換えスイッチ１１３に信号を送り、１フレームの静止画像を取り込む度にスイッチを切り換えて３つのフレームメモリＦＭ１〜３（１１５〜１１７）に異なる３種類の場面の静止画像信号を１フレームずつ順次送り込む。
【００２７】
次に、動画像の取り込みが終了したことを示す動画処理終了信号が入力端子１１１から入力されると、これに応じてメモリ読み出し切り換えスイッチ１１４を切り換えて、静止画像信号を１フレームずつ順次読み出して、符号化を行うための回路系に信号を送る。そして、動画像符号化データに引き続き静止画像符号化データの符号化処理を動画像と同様に行い、データ処理部１０８において静止画像データであることを示すフラグを付加して媒体１２０に伝送する。
【００２８】
次に、媒体１２０から送られてきた静止画像データを復号再生する場合は、データ復号部１３１において静止画像データを示すフラグを検出した信号を復号メモリ制御部１３４に送り、その信号に応じて復号メモリ制御部１３４は、メモリ書き込みスイッチ１４１を切り換えて、復号された静止画像信号を１フレームずつ復号フレームメモリＦＭ４〜６（１４２〜１４４）に順次書き込んでいく。
【００２９】
復号フレームメモリ１４２〜１４４に蓄えられた静止画像信号は、入力端子１３９から入力された静止画像読み出し信号に応じてメモリ読み出しスイッチ１４０のスイッチを切り換えて、動画像の読み出し中、動画像の読み出し後、または静止画像のみを読み出したい時などの必要に応じて各静止画像の希望の場面を１フレーム分ずつ読み出す。次に、各フレームメモリから読み出された静止画像信号は、ブロック・エリア解除メモリ１３６に送られて、メモリ制御部１３４の信号に応じたメモリ制御部１３８の制御により、複数個の直交変換ブロックを含めたエリアのデータ配列からラスタ走査に変換するような読み出しアドレス順に各フレームメモリからデータを読み出して、ディジタル画像信号出力端子１３７から静止画像信号を出力する。
【００３０】
次に、１フレームの静止画像をＮフレーム（ここでは３フレーム）分のデータとして繰り返し媒体１２０に送り、高画質の静止画像を処理するモードについて説明する。
動画像信号を取り込んで符号化を行い媒体１２０に伝送している途中で、静止画像として取り込みたい画像があるとき、静止画取り込みスイッチを押すことによって、入力端子１１０から静止画取り込み信号が入力される。また、入力端子１０９には、１画面につき３フレーム分のデータを媒体１２０に送るモードを示すモード切換え信号を入力する。
【００３１】
上記の２種類の信号を受けたメモリ切り換え制御部１１２は、メモリ書き込み切り換えスイッチ１１３に信号を送り、スイッチをすべて閉じて、一度にフレームメモリＦＭ１〜３（１１５〜１１７）にそれぞれ１フレーム分の同一の静止画像信号を送り込むようにする。
【００３２】
次に、動画像の取り込みが終了したことを示す動画処理終了信号が入力端子１１１から入力されると、これに応じてメモリ読み出し切り換えスイッチ１１４を切り換えて、静止画像信号を１フレームずつ順次読み出して、符号化を行なう回路に信号を送り、動画像符号化データに引き続き静止画像符号化データの符号化を行い、データ処理部１０８において静止画像データであることを示すフラグを付加して媒体１２０に伝送する。
【００３３】
次に、媒体１２０から送られてきた静止画像データを復号再生する場合は、データ復号部１３１において静止画像データを示すフラグを検出した信号を復号メモリ制御部１３４に送り、その信号に応じて復号メモリ制御部１３４は、メモリ書き込みスイッチ１４１を切り換えて、復号された静止画像信号を１フレームずつ復号フレームメモリＦＭ４〜６（１４２〜１４４）に順次書き込んでいく。
【００３４】
復号フレームメモリに蓄えられた静止画像信号は、入力端子１３９から入力された静止画像読み出し信号に応じてメモリ読み出しスイッチ１４０のスイッチを切り換えて、動画像の読み出し中、動画像の読み出し後、または静止画像のみを読み出したい時など、必要に応じて後述する要領によって高画質の１フレームの静止画像を完成させるために、必要なエリアのデータをそれぞれのフレームから順次読み出す。
【００３５】
次に、フレームメモリから読み出された静止画像信号は、ブロック・エリア解除メモリ１３６に送られて、メモリ制御部１３８の制御により、複数個の直交変換ブロックを含めたエリアのデータ配列からラスタ走査に変換するような読み出しアドレス順にメモリからデータを読み出して、ディジタル画像信号出力端子１３７から静止画像信号を出力する。
【００３６】
次に、各フレームメモリにおける制御や符号化の方法について説明する。
直交変換するブロックの分割、およびＸブロック固定長符号化するエリアの選択は、上記メモリ制御部１０３で行っている。ブロックの分割の方法としては従来例と同様に図２に示すように行われる。図２において（Ａ）は画像全体を示し、横にＩ：１〜Ｎまで分割され、さらに（Ｂ）のように直交変換するブロックに分割する。
このブロックをＸ個（Ｘ＝Ｎ×Ｙ、ただしＹは１以上の整数）でＸブロック固定長符号化する場合、（Ａ）の各々のＩ：１〜ＮからＹ個の直交変換するブロックを選択し、ある範囲の符号量となるように量子化および可変長符号化を行う。
【００３７】
図３（Ａ）は、図２（Ａ）でＮ＝３にした場合の画像全体を示すもので、横にＩ：１〜３まで分割されている。
Ｘブロック固定長符号化（Ｘ＝Ｎ×Ｙ）する場合には、各々のＩの部分からＹ個の直交変換するブロックを選択し、ある範囲の符号量となるように、あらかじめ符号量計算部１０６において量子化特性を決定し、その結果に基づいて量子化及び可変長符号化を行う。
【００３８】
このようにして、Ｘ個の直交変換ブロックからなるエリアごとに直交変換を行っていける順序で画像データをメモリ１０２から読み出していくように、メモリ制御部１０３からアドレスを指定する信号を発生させる。そして、読み出された動画像データはそのまま直交変換回路１０４に送られる。また、静止画像として処理されるデータは一旦フレームメモリＦＭ１〜３（１１５〜１１７）に送られ、動画像の処理後に直交変換回路１０４に送られる。
【００３９】
量子化特性は各直交変換ブロック毎、もしくは図２（Ａ）の各々Ｉ：１〜Ｎに与えられ、その特性に従った量子化が量子化回路１０５において行われた後に、可変長符号化回路１０７により可変長符号化される。この可変長符号化された符号化データは、与えられた量子化特性とともにデータ処理部１０８に送られ処理された後、媒体１２０に伝送される。
【００４０】
ここで、静止画像１画面をＮフレーム（本実施の形態では３フレーム）分のメモリに蓄えて処理するモードにおいては、次のように量子化特性を与える。
初めに記録または伝送するためにフレームメモリＦＭ１（１１５）に送られた画像データは、図３（Ｂ）の斜線部（Ｉ＝１）内の各ブロックに与える量子化特性を他の領域（Ｉ＝２、３）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
【００４１】
次に記録または伝送するためにフレームメモリＦＭ２（１１６）に送られた画像データは、図３（Ｃ）の斜線部（Ｉ＝２）内の各ブロックに与える量子化特性を他の領域（Ｉ＝１、３）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
さらに次に記録または伝送するためにフレームメモリＦＭ３（１１７）に送られた画像データは、図３（Ｄ）の斜線部（Ｉ＝３）内の各ブロックに与える量子化特性を他の領域（Ｉ＝１、２）内の各ブロックに与える量子化特性よりも画質が良くなるようにする。
【００４２】
上述した領域の選択は、図４（Ａ）〜（Ｃ）に示されるように、Ｘブロック固定長符号化される各エリアごとに、画質が良くなる量子化特性を振り分ける方法を用いてもよい。
【００４３】
上述のように選択することにより、選択されるブロックごとの水平・垂直方向の相関性が少なくなり、エラーが発生した場合でも視覚上目立たなくすることができる。
【００４４】
さらに上記領域の選択は、輝度信号成分や色差信号成分の区別によって画質が良くなる量子化特性を振り分ける方法を用いてもよい。
【００４５】
同じ静止画像を複数回（本実施の形態では３回）伝送または記録する場合は、以上のようにしてＸブロック固定長符号化が行われる。
【００４６】
次に上述のようにして伝送または記録された１画面に対してＮフレーム（本実施の形態では３フレーム）分の静止画像データが媒体１２０から送られてきた場合の復号を行うためのメモリ制御は以下のように行われる。
媒体１２０から伝送されてきて可変長復号化され、逆量子化回路１３３において逆量子化が行なわれたときに、各データに与えられていた量子化特性も復号されて、メモリ制御部１３４に送られる。この信号とデータ復号処理部１３１において検出されたモードを示す信号とに応じてメモリ制御部１３４は、フレームメモリＦＭ４〜６（１４２〜１４４）に逆直交変換された静止画像データを書き込み、さらに、複数回（３回）伝送または記録されたデータの内、いちばん画質劣化の少ない量子化特性で量子化されていた画像データを選択して、スイッチ１４０に切換えて出力する。
【００４７】
図５（Ａ）は時間Ｔ＝１〜３に伝送または記録された画像を示し、斜線部分は量子化特性を他のブロックより画質が良くなるようにした部分である。
図５（Ｂ）はメモリ回路１３６に蓄積される画像データの様子を示したものである。
まず、Ｔ＝１の画像データを処理した画像データをメモリ回路１３６へ蓄積し、次にメモリ回路１３６に蓄積されている画像データより画質劣化の少ない量子化特性で量子化された画像データが与えられた場合、メモリ回路１３６のデータを書き換え、それ以外は与えられた画像データを捨てるようにして画像全体で画質劣化の少ない画像データをメモリ回路１３６へ蓄積する。
【００４８】
同様に図４のように、エリアごとに高画質の量子化特性を振り分けて符号化したときの復号時におけるメモリ回路１３６へのデータの蓄積の様子を図６に示す。
【００４９】
以上のように、通常よりも特定ブロックの画質劣化の少ないデータを複数回に分けて符号化伝送または記録し、復号する場合に最も画質劣化の少ないデータを選択して１つの画像信号とするため、通常よりも画質劣化の少ない静止画像信号を伝送または記録する画像処理装置を実現できる。
なお、このシステムを用いることにより、例えばＶＴＲのように、符号化と復号化を同じローカルな場所で行うような機器では、符号化部と復号化部を共用することができる。
【００５０】
本実施の形態の説明では、１画面を１フレームの単位で扱ったが、１画面をフィールドの単位で扱ってもよい。
また、本実施の形態では、符号化方式をフレーム内符号化に限定して説明を行ったが、フレーム間符号化を用いても、フレーム間での符号化の相関が完結している単位の間で静止画像信号を扱うことにより、本実施の形態を適用することができる。
【００５１】
図７は１フレーム画面を３フレーム分取り込んで静止画像として記録する場合の様子を示す。
フレームｎｏ．１〜９の動画像が入力され、これを順次符号化して記録しているとき、ｎｏ．３フレームで静止画取り込みスイッチをＯＮにすると、このｎｏ．３フレームの画面が３画面分フレームメモリに取り込まれて保持される。一方、このｎｏ．３フレームを含むｎｏ．９フレームまでの動画像が順次符号化処理されて記録される。そしてｎｏ．９フレームで記録停止スイッチがＯＮされると、動画像の処理が終了し、次にフレームメモリから３枚のｎｏ．３フレームの静止画像が取り出されて符号化、記録される。この符号化の際に、前述したように３枚の各画面の互いに異なる特定エリアの量子化特性を制御してそこだけ高画質となるように符号化する。従って符号化時に高画質部分のみを合成することにより一枚の高画質静止画像が得られる。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、動画像を取り込んで処理している途中で静止画像を取り込む命令を入力しても、復号化時に再生動画像の連続性を失うことなく、動画像処理後に静止画像を得るようにすることができる。
【００５３】
また、動画像の符号化データを復号化処理しながら静止画像を保持し、保持した静止画像をいつでも出力させることができる。また動画像の復号化終了後に静止画像を出力させれば、動画像の連続性が失われることがない。
【００５５】
また、同一画面の静止画像信号を複数画面分蓄積することで、それらを高画質を得るための補間に用いることができると共に、動画像の連続性も保たれる。
【００５６】
また、複数枚の静止画像のそれぞれ高画質に符号化された部分を合成することにより、１枚の高画質静止画像を得ることができると共に、動画像の連続性も保つことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す画像処理装置のブロック図である。
【図２】画像処理装置において行われるＸブロック固定長符号化のブロック選択法を示す構成図である。
【図３】本発明におけるＸブロック固定長符号化の様子を示す構成図である。
【図４】本発明におけるＸブロック固定長符号化の様子を示す構成図である。
【図５】本発明におけるＸブロック固定長符号化の様子とデータを復号する場合のメモリ回路へのデータ蓄積法とを示す構成図である。
【図６】図４の場合におけるデータを復号する場合のメモリ回路へのデータ蓄積法を示す構成図である。
【図７】動画像信号の処理中に静止画像信号を処理する命令を受けたときの各画面の処理順序を示す構成図である。
【図８】動画像信号の処理中に静止画像信号を処理する命令を受けたときの従来例における各画面の処理順序を示す構成図である。
【図９】動画像信号の処理中に静止画像信号を処理する命令を受けたときに静止画像の処理を行うことのできる従来のシステムの一例を示すブロック図である。
【図１０】従来例のフレーム内符号化を行う画像処理装置の一例を示すブロック図である。
【符号の説明】
１０１ ディジタル画像信号の入力端子
１０２ ブロック・エリア化メモリ回路
１０３ ブロック・エリア化メモリ制御部
１０４ 直交変換処理部
１０５ 量子化器
１０６ 符号量計算部
１０７ 可変長符号化部
１０８ データ処理部
１０９ 静止画像処理モード切り換え信号の入力端子
１１０ 静止画像取り込み信号の入力端子
１１１ 動画像処理終了信号の入力端子
１１２ メモリ入力切り換えスイッチの切り換え制御部
１１３ 静止画像符号化メモリの入力切り換えスイッチ
１１４ 静止画像符号化メモリの出力切り換えスイッチ
１１５、１１６、１１７ 静止画像符号化フレームメモリ
１３１ データ復号部
１３２ 可変長復号化部
１３３ 逆量子化器
１３４ 復号化メモリ制御部
１３５ 逆直交変換処理部
１３６ ブロック・エリア解除メモリ
１３７ ブロック・エリア解除メモリ制御部
１３８ ディジタル画像信号の出力端子
１３９ 静止画像読み出し信号の入力端子
１４０ 静止画像再生メモリの出力切り換えスイッチ
１４１ 静止画像再生メモリの入力切り換えスイッチ
１４２、１４３、１４４ 静止画像再生フレームメモリ
Claims (7)
- 入力される符号化画像データを復号化する復号化処理手段と、
上記入力される符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、
上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを備えた画像処理装置であって、
上記静止画像データは同一画面のものが複数枚存在し、かつ各画面において互いに異なる特定の部分が他の部分より画質が良くなるように符号化されており、上記出力手段は、上記保持手段における各画面から上記特定の部分を取り出し、一枚の静止画像として出力することを特徴とする画像処理装置。 - 入力される画像信号を符号化する符号化処理手段と、
上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、
上記取り込まれた静止画像信号を蓄積する蓄積手段と、
上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを備えた画像処理装置であって、
上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする画像処理装置。 - 入力される画像信号を符号化する符号化処理手段と、上記符号化処理手段による処理が行われているときに上記入力される画像信号から指定された画面の静止画像信号を取り込む取り込み手段と、上記取り込まれた静止画像信号を蓄積する蓄積手段と、上記符号化処理手段による上記入力される画像信号の処理が終了した後に上記蓄積手段に蓄積された静止画像信号を上記符号化処理手段に入力させる入力手段とを有する符号化装置と、
上記符号化処理手段により符号化された符号化画像データを復号化する復号化処理手段と、上記符号化画像データに存在する静止画像データを復号化した静止画像信号を保持する保持手段と、上記保持手段に保持された上記静止画像信号を指示に応じて取り出し出力する出力手段とを有する復号化装置とを備えた画像処理装置であって、
上記蓄積手段は取り込まれた同一画面の静止画像信号を複数画面分蓄積し、上記符号化処理手段は上記蓄積された複数画面分の静止画像信号を処理するのに際して各画面における互いに異なる特定の部分を他の部分より画質が良くなるように符号化することを特徴とする画像処理装置。 - 上記特定の部分は、画面の水平、垂直に対して相関を持たないように選択されることを特徴とする請求項２又は３記載の画像処理装置。
- 上記特定の部分は、静止画像信号における輝度信号か色差信号かによって選択されることを特徴とする請求項２又は３記載の画像処理装置。
- 上記符号化処理手段は、直交変換、量子化、可変長符号化を行うものであり、上記特定の部分の画質をよくするために上記量子化を制御する制御手段を設けたことを特徴とする請求項２又は３記載の画像処理装置。
- 上記符号化処理手段が上記蓄積された静止画像信号を符号化した符号化画像データに対して識別情報を付加する付加手段を設けたことを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12353196A JP3792780B2 (ja) | 1996-05-17 | 1996-05-17 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12353196A JP3792780B2 (ja) | 1996-05-17 | 1996-05-17 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09307850A JPH09307850A (ja) | 1997-11-28 |
| JP3792780B2 true JP3792780B2 (ja) | 2006-07-05 |
Family
ID=14862925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12353196A Expired - Fee Related JP3792780B2 (ja) | 1996-05-17 | 1996-05-17 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792780B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100323771B1 (ko) * | 2000-02-03 | 2002-02-19 | 서평원 | 영상 수신기 및 그의 정지 영상 획득 방법 |
| JP3750462B2 (ja) * | 2000-02-22 | 2006-03-01 | コニカミノルタフォトイメージング株式会社 | デジタルカメラおよび記録媒体 |
-
1996
- 1996-05-17 JP JP12353196A patent/JP3792780B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09307850A (ja) | 1997-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3787398B2 (ja) | 画像処理装置及びその方法 | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| EP0613297B1 (en) | Digital high definition television video recorder with trick-play features | |
| US6046971A (en) | Apparatus for insertion of information into existing information record | |
| KR100297538B1 (ko) | 디지탈고선명텔레비젼수상기 | |
| US5343248A (en) | Moving image compressing and recording medium and moving image data encoder and decoder | |
| US6690881B1 (en) | Digital camera apparatus and recording method thereof | |
| JPH04318791A (ja) | 信号処理方法及び記録再生装置 | |
| JPH089319A (ja) | ディジタルビデオ信号の記録方法、記録装置及び再生装置 | |
| US5852706A (en) | Apparatus for recording and reproducing intra-frame and inter-frame encoded video data arranged into recording frames | |
| JPH0759058A (ja) | ディジタル画像信号伝送装置 | |
| KR19990062665A (ko) | 비디오 기록 장치, 비디오 재생 장치 및 비디오 기록재생 장치 | |
| JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| EP0632653A2 (en) | Digital high definition video recorder having high definition display in trick-play modes | |
| JP3792780B2 (ja) | 画像処理装置 | |
| US6611286B1 (en) | Image sensing apparatus using a non-interlace scanning type image sensing device | |
| US6430221B1 (en) | Transmitter, receiver, transmitting method and receiving method | |
| JP2001352524A (ja) | 再生装置及び再生方法 | |
| JP3104805B2 (ja) | テレビ電話 | |
| JP3852114B2 (ja) | 圧縮画像データ伝送方法及び装置 | |
| JP3235917B2 (ja) | 画像記録再生装置 | |
| JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
| JP3060501B2 (ja) | 映像信号伝送装置 | |
| JPH0898142A (ja) | 画像再生装置 | |
| JP3519846B2 (ja) | 静止画生成回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |