JP3984665B2 - Image signal coding and compression apparatus and method - Google Patents
Image signal coding and compression apparatus and method Download PDFInfo
- Publication number
- JP3984665B2 JP3984665B2 JP34181095A JP34181095A JP3984665B2 JP 3984665 B2 JP3984665 B2 JP 3984665B2 JP 34181095 A JP34181095 A JP 34181095A JP 34181095 A JP34181095 A JP 34181095A JP 3984665 B2 JP3984665 B2 JP 3984665B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- intra
- frame
- encoding
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像信号の符号化圧縮装置および方法に関するものである。
【０００２】
【従来の技術】
従来、ディジタル形式の画像を撮像したり記録したりする場合には、大容量の画像信号を高速に伝送および記録する必要がある。そこで、例えばＪＰＥＧ等の符号化圧縮技術により上記の画像信号の情報量を効率良く削減し、かつ画質の劣化が少なくなる手法が用いられている。また、近年は静止画に加えて動画にも対応できる手法が提案されている。
【０００３】
ところで、動画像中の全ての情報を静止画と同様のデータ化を行うことは、莫大な記憶容量を消費する等の点からも非現実的である。そのため、時間軸方向での冗長性を圧縮する手法を取り入れたＭＰＥＧ等の方法が実現されている。
【０００４】
このようなディジタル画像符号化圧縮装置を用いたビデオカメラの一例を、図１１に示す。上記ビデオカメラは、被写体を撮像するためのレンズ１０１、被写体像をアナログ電気信号に変換するための撮像素子１０２、上記アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、ディジタル電気信号を所定形式の画像信号に変換するための画像信号変換部１０４を有している。
【０００５】
また、上記画像信号の時間軸方向の符号化圧縮処理を行うための第１符号化部１０７と、上記画像信号のフレーム内符号化圧縮処理を行う第２符号化部１０８とを有している。
【０００６】
上記第１符号化部１０７は、上記画像信号変換部１０４からの画像信号を上記第１符号化部１０７と上記第２符号化部１０８とに選択的に出力するためのセレクタ１１０と、上記画像信号を保持するためのメモリ１１１と、上記セレクタ１１０から与えられる画像信号と、上記メモリ１１１から読みだされる画像信号との差分画像を生成するための差分器１１２とからなっている。
【０００７】
また、上記第２符号化部１０８によって符号化圧縮された画像信号を記録するための記録部１０９が設けられている。
【０００８】
このように構成されたビデオカメラにおいて、被写体像はレンズ１０１により撮像素子１０２上に結像され、アナログ電気信号に変換される。
【０００９】
そして、上記撮像素子１０２からのアナログ電気信号はＡ／Ｄ変換部１０３に与えられてディジタル電気信号に変換され、次に、画像信号変換部１０４により所定形式の画像信号として出力される。
【００１０】
上記画像信号の圧縮には、静止画の場合は直交変換である離散コサイン変換（ＤＣＴ）に加え、可変長符号化によるフレーム内符号化圧縮処理が用いられる。また、動画像を扱う場合には、上記フレーム内符号化圧縮処理に加えて、画像間の差分を取ることで時間軸方向の情報量を圧縮する処理が行われる。なお、動画像を静止画像の集合と考え、ここでは動画像の処理方法について説明する。
【００１１】
動画像処理では、時間的に連続した一群の画像中、注目する一枚の画像と他の画像とがよく似ていることを利用し、任意の枚数の画像をひとつのグループと見なし、その中の先頭画像は通常のフレーム内符号化圧縮方法を行う。また、残りの画像は画像間差分をとった上でフレーム内圧縮により表すことで、時間軸方向の冗長性を削減し、かつ画像の転送レートを低く保つようにしている。
【００１２】
この時の差分の取り方としては、全ての差分を先頭画像からとる方法と、常に直前の画像からの差分をとる方法とが挙げられるが、ここでは累積誤差の問題のないので、全ての差分を代表画像からとる方法を用いている。
【００１３】
上記のように前方の画像との差分を取ることで時間軸方向に圧縮した後に符号化される画像は、前方予測符号化画像（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐピクチャ）と呼ばれ、このＰピクチャを生成する際の基準となる画像は、画像内符号化画像（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ，Ｉピクチャ）と呼ばれる。
【００１４】
この２種類の画像を生成するための、時間軸方向の圧縮を第１符号化部１０７では処理される画像の枚数をカウントし、一定枚数ごとにセレクタ１１０を切り替えてＩピクチャおよびＰピクチャを生成する。
【００１５】
また、Ｉピクチャ生成時は、時間軸方向の圧縮は行わず、入力信号をそのまま第２符号化部１０８へ出力する。また、後のＰピクチャ生成のために画像信号をメモリ１１１に保存する。そして、Ｐピクチャ生成時には、入力信号とメモリ１１１内から読みだした画像信号との差分をとり、これを第２符号化部１０８へ出力する。
【００１６】
一方、第２符号化部１０８では、フレーム内符号化圧縮を行う。このフレーム内符号化圧縮処理は、図示しないがＤＣＴ符号化処理、量子化処理、可変長符号化処理からなり、８×８画素を１ブロック単位としてＤＣＴ変換を行った画像データに量子化を行って圧縮し、これにハフマン符号化処理を行い冗長性を削減し、圧縮画像データを生成する。
【００１７】
このようにして生成された圧縮画像データは、ＤＣＴ量子化テーブルおよびハフマン符号化テーブルをヘッダとして付けた形で記録部１０９へ送られ、記録媒体上（図示せず）に記録される。
【００１８】
【発明が解決しようとする課題】
これまでの画像の符号化圧縮方法では、装置の記憶容量や転送速度の点から全体の圧縮率を設定する。そして、上記設定した圧縮率に見合う形でＩピクチャ生成とＰピクチャ生成とを時間的に切り替えるといった方法が採られており、記録される画像側から圧縮率を判断することはなかった。
【００１９】
例えば上述した時間的にＩピクチャとＰピクチャを切り替えて記録する方法において、画像撮像中にシーンチェンジが行われた場合、シーンチェンジ前後の不連続な画像間の差分を取ることで圧縮率がかえって悪化してしまう場合が考えられる。
【００２０】
また、記録後の編集を考えた場合でも、シーンチェンジにまたがって記録が行われていることから、シーンチェンジ前の余分な画像を読み出す必要があり、余分な処理が発生していた。
【００２１】
また、通常の撮像を行っている場合においても、被写体が何かの影に入って画質が一時的に低下する場合など、画質の安定しない状況がしばしば生じることがある。このような場合でも、これまでは一定の圧縮率で処理を行っていたため、効率的な圧縮を行うことができなかった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、シーンチェンジ時や画質が一時的に低下した時でも画像信号を符号化する処理を効率的に行うことができるようにすることを目的とする。
【００２３】
【課題を解決するための手段】
本発明の画像信号の符号化圧縮方法は、光学系を通して画像信号を入力する画像信号入力処理と、上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化処理と、上記入力された画像信号と上記フレーム内符号化処理において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化処理とを有し、上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮方法であって、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶手段に記憶する記憶処理と、上記画像信号入力処理において入力された画像信号の画面内における輝度情報を求める輝度情報算出処理と、上記輝度情報算出処理で求められた輝度情報と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出処理と、上記差分値算出処理で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断処理とを含み、上記差分値判断処理による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換える。
【００２４】
本発明の画像信号の符号化圧縮方法における他の態様は、上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断処理による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理において、上記入力された画像信号と上記記憶処理により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成する。
【００２５】
また、本発明の画像信号の符号化圧縮方法におけるその他の態様は、上記輝度情報算出処理は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出する。
【００２６】
また、本発明の画像信号の符号化圧縮方法におけるその他の態様は、上記画像信号入力処理により入力された画像信号が上記輝度情報算出処理による上記輝度情報の検出領域内か否かの判断を行う検出領域判断処理と、上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算処理と、上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断処理と、上記フレーム内符号化処理あるいは上記フレーム間符号化処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御処理とを更に含み、上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶手段に記憶し、上記輝度情報算出処理は、上記領域終了判断処理による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、上記差分値算出処理は、上記輝度情報算出処理で求められた輝度値の平均値と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、上記差分値判断処理は、上記差分値算出処理で求められた差分値が上記閾値を越えたか否かを判断し、上記圧縮率制御処理は、上記差分値判断処理において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理を行うことによって、上記入力された画像信号の圧縮率を変える。
【００２７】
本発明の画像信号の符号化圧縮装置は、光学系を通して画像信号を入力する画像信号入力手段と、上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化手段と、上記入力された画像信号と上記フレーム内符号化手段において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化手段とを有し、上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮装置であって、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶する記憶手段と、上記入力された画像信号の画面内における輝度情報を求める輝度情報算出手段と、上記輝度情報算出手段で求められた輝度情報と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出手段と、上記差分値算出手段で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断手段とを含み、上記差分値判断手段による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化手段による上記フレーム内符号化画像の生成を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換える。
【００２８】
本発明の画像信号の符号化圧縮装置における他の態様は、上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号を記憶し、上記差分値判断手段による判断の結果、上記差分値が上記閾値以下の場合には、上記フレーム間符号化手段は、上記入力された画像信号と上記記憶手段により記憶されている上記フレーム内符号化画像に対応する入力画像信号とに基づいて、上記フレーム間符号化画像を生成する。
【００２９】
また、本発明の画像信号の符号化圧縮装置におけるその他の態様は、上記輝度情報算出手段は、上記入力された画像信号の画面内に任意の領域を設定し、上記設定した領域内の輝度値の平均値を算出する。
【００３０】
また、本発明の画像信号の符号化圧縮装置におけるその他の態様は、上記画像信号入力手段により入力された画像信号が上記輝度情報算出手段による上記輝度情報の検出領域内か否かの判断を行う検出領域判断手段と、上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算手段と、上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算手段による加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断手段と、上記フレーム内符号化画像の生成処理あるいは上記フレーム間符号化画像の生成処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御手段とを更に含み、上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶し、上記輝度情報算出手段は、上記領域終了判断手段による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、上記差分値算出手段は、上記輝度情報算出手段で求められた輝度値の平均値と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、上記差分値判断手段は、上記差分値算出手段で求められた差分値が上記閾値を越えたか否かを判断し、上記圧縮率制御手段は、上記差分値判断手段において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化画像の生成処理を行うことによって、上記入力された画像信号の圧縮率を変える。
【００３５】
【作用】
本発明は上記技術手段を有するので、例えば、隣接したフレーム間の変化に応じて圧縮手法を切り替える場合に比べて、画像全体の輝度値が変化するようなシーンチェンジを精度高く検出することができる。
【００３９】
【発明の実施の形態】
以下、本発明の画像信号の符号化圧縮装置および方法の一実施形態を図面を参照して説明する。
【００４０】
図１は、本発明の画像信号の符号化圧縮装置を適用した撮像装置の概略構成を示す機能構成図である。
図１において、Ａは光学系、Ｂは画像信号生成手段、Ｃは符号化圧縮手段、Ｄは検出手段、Ｅは圧縮制御手段、Ｉは記録手段である。
【００４１】
上記画像信号生成手段Ｂは、上記光学系Ａにより導入された被写体からの光を光電変換して画像信号を生成するためのものである。本実施形態の画像信号生成手段Ｂは、撮像手段Ｆおよび画像信号変換手段Ｇによって構成されている。
【００４２】
上記撮像手段Ｆは、上記光学系Ａにより導入された被写体からの光を光電変換して電気信号を生成するためのものである。また、上記画像信号変換手段Ｇは、上記撮像手段Ｆにより生成された電気信号から所定形式の画像信号を生成するためのものである。
【００４３】
符号化圧縮手段Ｃは、上記画像信号生成手段Ｂにより生成された画像信号を符号化圧縮するものであり、第１の符号化部Ｈ1 、第２の符号化部Ｈ2 、…第ｎの符号化部Ｈn によって構成されている。
【００４４】
検出手段Ｄは、上記画像信号生成手段Ｂにより生成された画像信号の輝度値から露光状態を表す値を検出するためのものである。
圧縮制御手段Ｅは、上記符号化圧縮手段Ｃで符号化圧縮される画像信号の圧縮率を、上記検出手段Ｄにより検出された値に基いて変えるように制御するためのものである。
【００４５】
また、上記記録手段Ｉは、上記符号化圧縮手段Ｃで符号化圧縮された画像信号を記録して保持するために設けられている。
【００４６】
上記第１の符号化圧縮部Ｈ1 〜第ｎの符号化圧縮部Ｈn は、画像信号を符号化圧縮する符号化方法が異なるものであり、上記検出手段Ｄからの検出値に基いて、これら複数の符号化圧縮部Ｈ1 〜Ｈn の中から最適な符号化圧縮部を選択し、上記画像信号の圧縮率を変えることができるようにしている。
【００４７】
したがって、本実施形態の画像信号の符号化圧縮装置によれば、撮像された画像の状態に基づいて画像信号の符号化圧縮を行うことができるので、例えば、通常の画像は低圧縮にして高画質を保つようにするとともに、高画質を必要としない画像には高圧縮処理を行うようにすることが可能となり、高画質を保持しながら高圧縮率で画像を符号化圧縮することができる。
【００４８】
また、本実施形態の場合、複数の符号化圧縮方法のうちのひとつとして、任意の画像間の差分をとる処理を行うようにしたので、画質を低下させずに効率の良い画像信号の符号化圧縮を行うことができるようになる。
【００４９】
また、本実施形態の他の特徴によれば、画像に検出領域を設けるとともに、上記検出領域内の輝度値を検出するようにしたので、上記検出値に基づいてシーンチェンジ等による画像の大きな変化を簡単に検出することができるようになり、画像信号の符号化圧縮を効率良く行うことができる。
【００５０】
次に、本発明の画像信号の符号化圧縮装置および方法を図面を参照しながらより具体的に説明する。
【００５１】
図２は、本発明の第１の実施形態に係わる符号化圧縮装置を備えた撮像装置である。この第１の実施形態では、撮像時のシーンチェンジを検出し、画像信号の圧縮方法を選択する処理方法について述べる。
【００５２】
図２に示した撮像装置は、被写体からの光を内部に導入するためのレンズ１０１、上記内部に導入された被写体からの光をアナログ電気信号に変換するための撮像素子１０２、上記アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３を有している。
【００５３】
また、上記ディジタル電気信号を所定の形式の画像信号に変換するための画像信号変換部１０４、上記画像信号から撮像状態の変化を検出する検出部１０５、画像信号を一時的に保持するためのＦＩＦＯメモリ１０６を有している。
【００５４】
また、上記画像信号の時間軸方向の符号化圧縮処理を行うための第１符号化部１０７と、上記画像信号のフレーム内符号化圧縮処理を行う第２符号化部１０８とを有している。
【００５５】
上記第１符号化部１０７は、上記画像信号変換部１０４からの画像信号を上記第１符号化部１０７と上記第２符号化部１０８とに選択的に出力するためのセレクタ１１０と、上記画像信号を保持するためのメモリ１１１と、上記セレクタ１１０から与えられる画像信号と、上記メモリ１１１から読みだされる画像信号との差分画像を生成するための差分器１１２とからなっている。
【００５６】
また、上記第２符号化部１０８によって符号化圧縮された画像信号を記録するための記録部１０９が設けられている。
【００５７】
このように構成された撮像装置により撮像される被写体からの光は、レンズ１０１を通じて撮像素子１０２の撮像面上に結像される。そして、上記撮像素子１０２の撮像面上に結像された被写体からの光は撮像素子１０２によりアナログ電気信号に変換される。
【００５８】
上記アナログ電気信号は、Ａ／Ｄ変換部１０３に与えられ、アナログからディジタルの電気信号に変換される。また、上記ディジタルに変換された電気信号は、画像信号変換部１０４により任意の形式の画像信号に変換される。
【００５９】
上記画像信号変換部１０４により任意の形式の信号に変換された画像信号を、そのまま記録することも可能であるが、膨大な記憶容量と高速なデータ通信が必要となるため、第１符号化部１０７で時間軸方向に圧縮するとともに、第２符号化部１０８でフレーム内の圧縮を行い、信号の冗長性を除く処理を行うようにしている。
【００６０】
この際、本実施形態の撮像装置の場合は、撮像された画像に適した圧縮を行うようにするため、上記画像信号変換部１０４からの画像信号を検出部１０５に入力する。そして、後述する検出方法による検出結果を元にして、第１符号化部１０７内のセレクタ１１０を制御して撮像された画像をＩピクチャとするか、Ｐピクチャとするかを選択するようにしている。
【００６１】
なお、上記検出部１０５での時間の遅れを調整するために、画像信号変換部１０４からの画像信号はＦＩＦＯ１０６を介してタイミング調整を行った後に第１符号化部１０７のセレクタ１１０へ出力するようにしている。
【００６２】
次に、上記検出部１０５で行う処理の流れを図３を参照しながら説明する。本実施形態の検出部１０５では、画像の撮像状態変化を考慮し、高画質・高圧縮処理が行えるように圧縮符号化方法を選択するようにしている。
【００６３】
すなわち、まず、検出部１０５では、最初のステップＳ１において画像信号が入力されると、次に、ステップＳ２において検出領域内か否かの判断を行う。そして、図４で示される入力画像３１内にあらかじめ設定された検出領域３２内の画素については、次のステップＳ３において各画素の輝度値を加算し、その後、ステップＳ４に進む。また、ステップＳ２の判断の結果、検出領域内でない場合にはステップＳ４にジャンプする。
【００６４】
ステップＳ４では、検出領域が終了したか否かを判断し、終了していない場合にはステップＳ１に戻って上述した処理を繰り返し行う。
また、ステップＳ４の判断の結果、検出領域が終了した場合にはステップＳ５に進み、検出領域内の輝度値の平均値を求める。
【００６５】
次に、ステップＳ６に進み、上記ステップＳ５で求めた平均値と、検出部１０５内部に保持していた直前のＩピクチャの輝度値の平均値との差分値を算出するようにする。
次に、ステップＳ７に進み、ステップＳ６で算出した差分値があらかじめ設定された閾値を越えたか否かを判断する。
【００６６】
ステップＳ７の判断の結果、上記差分値が閾値を越えた場合には撮像中にシーンチェンジが行われたものと判断してＩピクチャを更新するようにする。また、ステップＳ７の判断の結果、閾値を越えていない場合には、撮像中にシーンチェンジが行われていないと判断してＰピクチャとするようにする。
【００６７】
上述のようにして、画像の符号化方法が決定された後、処理方法がＩピクチャの場合、次のＩピクチャ更新の判定を行うため、検出された輝度値の平均値を検出部１０５の内部に保持する。
【００６８】
圧縮方法が決定した後、第１符号化部１０７へ信号を出力し、実際の画像信号の処理を開始する。すなわち、検出部１０５からの結果により、画像をＩピクチャとして処理する場合には、ステップＳ７からステップＳ８に進む。ステップＳ８においては、第１符号化部１０７ではこの画像を後の画像との差分の対象とするためメモリ１１１に保存し、画像信号はそのまま第２符号化部１０８へ出力する。
【００６９】
また、上記ステップＳ７の判断の結果、画像をＰピクチャとして処理する場合はステップＳ９に進み、第１符号化部１０７内で画像信号をメモリ１１１内のデータと差分を取ったものを第２符号化部１０８へ出力する。
【００７０】
第２符号化部１０８では、フレーム内の冗長性を除くため、画像信号に対してＤＣＴ符号化処理、量子化処理、可変長符号化処理を行う。すなわち、画像中の８×８画素を１ブロック単位とし、ＤＣＴ変換を行った画像データを、設定された圧縮度合いに対応する量子化テーブルに基いて量子化し、これにハフマン符号化処理を行い圧縮画像データを生成する。
【００７１】
このようにして生成された圧縮画像データは、図６（ａ）に示すように、Ｉピクチャの場合は画像データにＤＣＴ量子化テーブルおよびハフマン符号化テーブルをヘッダとして付けた形で出力する。
【００７２】
また、Ｐピクチャの場合は、図６（ｂ）に示すように、Ｉピクチャの後に続く複数枚のグループを１つの集団とし、この集団の先頭にＤＣＴ量子化テーブルおよびハフマン符号化テーブルを独立テーブルとして送り、この後に各画像データを連続する形で出力する。これらの画像データは記録部１０９へ送られて記録媒体（図示せず）に記録される。
【００７３】
以上の処理により、撮像される画像の輝度値の変化を監視し、シーンチェンジ等が行われたために画像全体の輝度値に大きな変化が生じた場合には、新たにＩピクチャを設定できる。
【００７４】
これにより、シーンチェンジ時に圧縮効率および画質の両方に劣化の少ない符号化圧縮方法を選択することができる。また、Ｉピクチャ・Ｐピクチャに限らず、圧縮率の異なる複数の手法を使い分ける場合においても、画像の変化が小さいときには高圧縮手法を用いるとともに、画像の変化が激しいときには低圧縮手法を用いることで、シーケンシャルに圧縮手法を切り替える場合に比べ、より画質が高く、かつ圧縮効率の良い画像を供給することができる。
【００７５】
さらに、上述した第１の実施形態において、検出部１０５で処理を行う画像中の検出領域を、図５中において符号４１〜４５で示した領域Ａ〜Ｅのように複数個設定することも可能である。この場合、各領域中の輝度値の平均値を算出し、保持していた直前画像の各領域平均値との差分を取る。
【００７６】
この差分値に対し、画像中の領域位置に対応した重み付けをした演算を行い、評価値を求める。例えば、周辺部の変化が大きいときをシーンチェンジとする場合、周辺部の重み付けを重くすることで評価値に反映することができる。
【００７７】
この評価値と閾値とを比較し、閾値を越えた場合はＩピクチャと判定し、その他はＰピクチャと判定する。これにより、各領域毎の輝度値の分布状態を検出することができ、更に画像の状態を細かく把握することができるので、撮像状況に適した符号化圧縮方法を選択することができる。
【００７８】
次に、本発明の第２の実施形態を説明する。この第２の実施形態では、撮像時の画像の露出状態を検出し、これに基いて圧縮率を変化させる処理方法について述べる。
【００７９】
図７は、第２の実施形態に係わる符号化圧縮装置を備えた撮像装置である。なお、上述した第１の実施形態と同じ処理を行う部分については、図２と同じ番号を付して詳細な説明を省略する。
【００８０】
図７の撮像装置は、被写体を撮像するためのレンズ１０１、映像をアナログ電気信号に変換するための撮像素子１０２、撮像素子１０２へ入射する光量を調節するための絞り調整部６２、アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、画像の露出状態を検出する検出部１０５を有している。
【００８１】
また、画像の露出状態を補正するＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）６３、電気信号を画像信号に変換するための画像信号変換部１０４、システムの制御を行うＣＰＵ６４、画像信号の符号化圧縮を行う符号化部６６、画像信号を保持するためのメモリ１１１、符号化圧縮された画像信号を記録する記録部１０９、撮像された画像を撮像者に表示する表示部６７およびＲＯＭ６５からなっている。
【００８２】
このように構成された撮像装置において、レンズ１０１を通じて撮像素子１０２上に結像された画像はアナログ電気信号に変換され、さらにＡ／Ｄ変換部１０３によりディジタル電気信号に変換される。
【００８３】
上記ディジタル電気信号は、上記検出部１０５およびＡＧＣ６３に入力される。上記検出部１０５では入力されたディジタル電気信号から、ＡＧＣ６３による補正のためのデータを検出するとともに、後の符号化手段選択のための画像状態の検出を行う。
【００８４】
すなわち、上記検出部１０５では、まずＡＧＣ６３で行うゲイン補正および逆光補正のために、図５に示される入力画像３１中に設定された複数領域ごとの輝度値の平均値を求める。
【００８５】
次に、各領域の平均値に対し、画像中央部に重み付けた演算の結果算出される評価値を求める。また、符号化方法および圧縮率決定のため、上述した各領域ごとに、輝度値が上・下限値付近の画素数を求める。このようにして求めた値をＣＰＵ６４へ送る。
【００８６】
ＣＰＵ６４では、まず上記評価値をＲＯＭ６５内のテーブルと比較した結果により決定される露出状態を適当に補正するための信号をＡＧＣ６３へ送る。また、絞り６１を調整するために、絞り調整部６２へ適切な露光状態となるように補正信号を送る。
【００８７】
次に、領域ごとの輝度値が上下限付近の画素数から、画像をＩピクチャまたはＰピクチャとして扱うための選択および圧縮率の設定を、図８に示されるＲＯＭ６５内のテーブルと比較して行う。通常、ＣＰＵ６４では記録部１０９での処理速度の上限を越えないように、一定の割合でＩ、Ｐピクチャを切り換えている。この判断に、画像からの判断を加えることで、高画質・高圧縮処理を実現している。
【００８８】
今、各領域中の輝度値が零付近の画素数が多く、高輝度画素の少ない暗い画像（図８中ｃの条件）が入力された場合を考える。低輝度画素数は閾値ｎL を越え、高輝度画素数は閾値ｎH を越えていない場合、ＣＰＵ６４はＲＯＭ６５内テーブルと比較し、画像を高圧縮状態で処理する。
【００８９】
この場合、後述する符号化部６６での、画像一枚毎の圧縮率を高くするとともに、ＰピクチャとＩピクチャの単位時間中の枚数比（Ｐ／Ｉ比）を高くし、全体の圧縮率を下げる。また、上述の状態とは逆に、高輝度の画像（図８中ｂの条件）が入力した場合、ＲＯＭ６５のテーブルと比較し、低輝度画像と同様に高圧縮状態で処理する。
【００９０】
ＣＰＵ６４で上記のように判断された画像は、ＡＧＣ６３でゲイン補正を受けた後、画像信号変換部１０４で任意の形式の画像信号に変換され、ＣＰＵ６４により符号化部６６および表示部６７へ送られる。
【００９１】
表示部６７へ送られた信号は、画像表示手段を介して撮像者に対して表示される。画像信号が入力された符号化部６６では、ＣＰＵ６４により指示された圧縮方法で信号を処理する。
【００９２】
これ以降の画像信号処理は以下のようになる。すなわち、まず画像をＩピクチャとして符号化する場合は、画像信号を符号化部６６へ送るのと同時にメモリ１１１への書き込みを行う。
【００９３】
符号化部６６へ送られた信号は、空間軸上の冗長性を除く処理として、ＤＣＴ変換後、設定された圧縮率に見合う量子化処理が行われ、更に可変長符号化の処理を行った後、ＤＣＴテーブル、可変長符号化テーブル等のヘッダ情報の付いた画像データとして出力される。出力された画像データは記録部１０９において記録媒体上に記録される。
【００９４】
画像をＰピクチャとして処理する場合は、まず時間軸上の冗長性の削減のため、入力される画像信号とメモリ１１１上の画像との差分画像を生成し、この差分画像に上記ＤＣＴ変換・量子化・可変長符号化処理を行い、圧縮画像データを生成する。
【００９５】
この後、第１実施形態と同様に、Ｉピクチャの後に続く複数枚のＰピクチャグループを１つの集団とする。そして、集団の先頭にＤＣＴ量子化テーブルおよびハフマン符号化テーブルを独立テーブルとして送り、この後に各画像データが連続する形で出力する。出力された画像データは記録部１０９において記録媒体上に記録される。
【００９６】
このようにして、第２の実施形態では、撮像状態が安定していない間に撮像された画像を判定し、圧縮率を変化させることにより、全体として効率の良い符号化圧縮を行うことができる。
【００９７】
次に、本発明の第３の実施形態を説明する。この第３の実施形態では、撮像時の画像の露出状態を検出し、これに基いて圧縮率を変化させる処理方法について述べる。なお、第３の実施形態では、画像中に生じる外乱に左右されずシーンチェンジを認識できる処理方法について述べる。
【００９８】
図９は、第３の実施形態に関わる符号化圧縮装置を示す構成図である。なお、上述した第１の実施形態および第２の実施形態と同じ処理を行う部分については同じ番号としてある。図９の撮像装置は、被写体を撮像するためのレンズ１０１、被写体像をアナログ電気信号に変換するための撮像素子１０２、アナログ電気信号をディジタル電気信号に変換するためのＡ／Ｄ変換部１０３、画像の露出状態を検出する検出部１０５、ディジタル電気信号を所定の形式の画像信号に変換するための画像信号変換部１０４を有している。
【００９９】
また、撮像者からの操作を入力する操作部８１、システムの制御を行うＣＰＵ６４、画像信号の処理経路を切り換えるセレクタ１１０、差分画像を生成するための差分器１１２、復号のための加算を行う加算器８６、画像信号を保持するためのメモリ１１１、画像信号のフレーム内符号化／復号化処理を行うフレーム内符号化／復号化部８２、符号化圧縮された画像信号を記録する記録部１０９、撮像された画像を撮像者に表示する表示部６７を有している。
【０１００】
このように構成された撮像装置において、まず撮像時には、撮像者が操作部８１へ記録を指示した時点から記録が開始される。これにより、レンズ１０１を通じて撮像素子１０２上に結像された被写体からの光はアナログ電気信号に変換され、さらにＡ／Ｄ変換部１０３によりディジタル信号に変換される。
【０１０１】
上記ディジタルの電気信号は検出部１０５および画像信号変換部１０４に入力される。検出部１０５では入力されたディジタルの電気信号から、後の符号化手段選択のための画像状態の検出を行う。画像信号変換部１０４では、上記ディジタルの電気信号を任意の画像信号に変換する。
【０１０２】
また、検出部１０５では、画像中の輝度値の分布の変化を調べることでシーンチェンジの判定を行う。すなわち、まずディジタルの電気信号から得られる画像中の輝度値分布をズーム９（ａ）に示すようにヒストグラム化し、外乱の影響を抑えるためにズーム９（ｂ）に示す関数との重み付け演算を行い、図１０（ｃ）に示すように輝度分布を補正する。
【０１０３】
これは、例えば、撮像時の微小な動きで鏡面等を持つ物体の反射光が変化し、画像中に小さな高輝度領域を生じる場合に、この一部の輝度値の変化から誤ってシーンチェンジと判断することを避けるためである。
【０１０４】
このようにして求められた輝度値分布は、直前のＩピクチャの輝度値分布との差分量を基に、符号化方法をＩ・Ｐピクチャのどちらかに決定し、決定した結果はＣＰＵ６４へ送られる。また、このときの判定からＩピクチャを更新する場合、この後の判定基準とするため、現在の画像の補正後輝度値分布を検出部１０５内に保持する。
【０１０５】
ＣＰＵ６４では、検出部１０５からの検出結果に従い、セレクタ１１０およびメモリ１１１の制御を行う。まず画像をＩピクチャとして処理する場合、行う処理はフレーム内符号化圧縮のみとなるので、ＣＰＵ６４は画像信号が第１の経路８３を通るようにセレクタ１１０を操作する。
【０１０６】
また、後のＰピクチャ生成のため、画像信号をメモリ１１１に保存する。第１の経路８３では信号は演算処理を受けることなく、フレーム内符号化のためフレーム内符号化／復号化部８２へ送られ、ＤＣＴ変換・量子化・ハフマン符号化処理により圧縮された後に記録部１０９へ送られ、記録媒体上に記録される。
【０１０７】
このときの記録形式は、第１の実施形態で示したＩ・Ｐそれぞれのピクチャ記録形式と同様のものとなっている。また、画像信号はＣＰＵ６４により表示部へ送られ、撮像者に対して表示される。
【０１０８】
画像をＰピクチャとして処理する場合は、時間差分画像を生成するために画像信号が第２の経路８４を通るようにセレクタ１１０を切り換える。第２の経路８４では、経路中の減算器１１２によりメモリ１１１内のＩピクチャデータと入力された画像信号との差分が行われ、差分画像信号が生成される。そして、Ｉピクチャでの処理と同様に、差分画像信号はフレーム内符号化のためフレーム内符号化／復号化部８２へ送られ圧縮され、記録部１０９内に記録される。また、映像信号は表示部へ送られ、同様に表示される。
【０１０９】
次に、記録部１０９上に保存された圧縮画像データを再生・表示する方法について述べる。操作部８１からの入力により画像データを再生する場合、まず再生画像がＩピクチャまたはＰピクチャのどちらであるかを、上記ＣＰＵ６４でヘッダ情報から判別する。
【０１１０】
そして、上記判別の結果がＩピクチャの場合は、まず圧縮画像信号をフレーム内符号化／復号化部８２で復号化し、画像信号に変換する。復号化された画像信号は第３の経路８５を通って加算器８６へ入力される。
【０１１１】
Ｉピクチャ再生の場合、ＣＰＵ６４によりメモリ１１１は内部データの出力を行わないため信号の加算は行われず、画像信号はそのままバス６８へ送られる。バス６８上の画像信号はＣＰＵ６４により表示部６７へ送られ観察者に対して表示される。また、後のＰピクチャ再生のため、再生画像信号はメモリ１１１内に保存される。
【０１１２】
Ｐピクチャ再生では、圧縮画像信号はまずフレーム内符号化／復号化部８２へ送られて復号化される。復号化時点で生成される信号は直前のＩピクチャとの差分信号となっている。
【０１１３】
この直前のＩピクチャは上述したように復号化された状態でメモリ１１１内に保存されているので、差分画像信号は第３の経路８５上の加算器８６によるメモリ１１１内信号との加算の結果、通常の画像信号に復号化される。この再生画像信号はバス６８を通じて表示部６７へ送られ、観察者に対して表示される。
【０１１４】
このようにして、第３の実施形態の撮像装置は符号化圧縮を行うので、反射光などの外乱が生じた場合でも、シーンチェンジを確実に検出することができ、より効率の良い画像信号の符号化圧縮を行うことができる。
【０１１５】
【発明の効果】
本発明によれば、入力された画像信号における輝度情報と記憶手段に記憶されている直前のフレーム内符号化画像に対応する入力画像信号における輝度情報との差分値が閾値を越えていた場合には、フレーム内符号化画像の生成処理を行い、生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報で記憶手段の値を書き換えることによって、常に入力された画像と直前のフレーム内符号化画像に対応する入力画像信号の輝度情報とを比較するため、隣接したフレーム間の変化を検出して圧縮手法を切り替える場合に比べて、例えば、画像全体の輝度値が徐々に変化して圧縮効率が低下するようなシーンチェンジであっても、これを精度高く検出することが可能となり、またフレーム内符号化画像の生成を行うことにより、高画質で撮影状況に適した圧縮効率の高い符号化を行うことが可能となる。さらに、直前のフレーム内符号化画像に対応する入力画像信号における輝度情報を記憶手段に記憶しているため、入力画像信号そのものを保持して比較するよりも、記憶手段の容量を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の主要な機能の概略構成を示す機能構成図である。
【図２】本発明の第１の実施形態を示すブロック図である。
【図３】第１の実施形態中の検出部の処理の流れを示すフローチャートである。
【図４】画像中の輝度値の検出領域を示す図である。
【図５】画像中の輝度値の検出領域を示す図である。
【図６】記録時の画像データ形式を示す図である。
【図７】本発明の第２の実施形態を示すブロック図である。
【図８】第２の実施形態中の符号化方法選択のためのテーブルを示す図である。
【図９】本発明の第３の実施形態を示すブロック図である。
【図１０】第３の実施形態中の画像の輝度値分布を示す図である。
【図１１】従来の符号化圧縮方法を示す図である。
【符号の説明】
１０１ レンズ
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像信号変換部
１０５ 検出部
１０６ ＦＩＦＯメモリ
１０７ 第１符号化部
１０８ 第２符号化部
１０９ 記録部
１１０ セレクタ
１１１ メモリ
１１２ 差分器
６１ 絞り
６２ 絞り調整部
６３ ＡＧＣ
６４ ＣＰＵ
６５ ＲＯＭ
６６ 符号化部
６７ 表示部
８１ 操作部
８２ フレーム内符号化／復号化部
８６ 加算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal encoding / compression apparatus and method.
[0002]
[Prior art]
Conventionally, when a digital image is captured or recorded, a large-capacity image signal needs to be transmitted and recorded at high speed. Therefore, for example, a technique is used in which the amount of information of the image signal is efficiently reduced by using an encoding compression technique such as JPEG, and the deterioration of image quality is reduced. In recent years, a method that can handle moving images in addition to still images has been proposed.
[0003]
By the way, it is impractical to convert all information in a moving image into data similar to a still image from the viewpoint of consuming a huge storage capacity. Therefore, a method such as MPEG that incorporates a technique for compressing redundancy in the time axis direction has been realized.
[0004]
An example of a video camera using such a digital image encoding / compression device is shown in FIG. The video camera includes a lens 101 for capturing an image of an object, an image sensor 102 for converting an object image into an analog electric signal, an A /
[0005]
Further, the image processing apparatus includes a first encoding unit 107 that performs encoding / compression processing of the image signal in the time axis direction, and a
[0006]
The first encoding unit 107 includes a
[0007]
Further, a
[0008]
In the video camera configured as described above, the subject image is formed on the image sensor 102 by the lens 101 and converted into an analog electric signal.
[0009]
The analog electric signal from the image sensor 102 is supplied to the A /
[0010]
For compression of the image signal, in the case of a still image, in addition to discrete cosine transform (DCT) which is orthogonal transform, intra-frame coding compression processing by variable length coding is used. In addition, when handling moving images, in addition to the intra-frame coding compression processing, processing for compressing the amount of information in the time axis direction is performed by taking the difference between images. Note that a moving image is considered as a set of still images, and a moving image processing method will be described here.
[0011]
In moving image processing, it takes advantage of the fact that one image of interest and other images are very similar in a group of images that are continuous in time, and an arbitrary number of images are regarded as one group. The first image of is subjected to a normal intra-frame coding compression method. The remaining images are represented by intra-frame compression after taking the difference between the images, thereby reducing the redundancy in the time axis direction and keeping the image transfer rate low.
[0012]
At this time, there are a method of taking all the differences from the first image and a method of always taking the difference from the immediately preceding image, but since there is no problem of cumulative error, all the differences are taken. Is used from a representative image.
[0013]
An image that is encoded after being compressed in the time axis direction by taking a difference from the preceding image as described above is called a forward predictive encoded image (Predictive-coded P picture), and generates this P picture. The reference image is called an intra-coded picture (I-picture).
[0014]
The first encoding unit 107 counts the number of images to be processed in order to generate these two types of images in the time axis direction, and switches the
[0015]
Further, when generating an I picture, the input signal is output to the
[0016]
On the other hand, the
[0017]
The compressed image data generated in this way is sent to the
[0018]
[Problems to be solved by the invention]
In conventional image coding and compression methods, the overall compression rate is set in terms of the storage capacity and transfer speed of the apparatus. A method of temporally switching between I-picture generation and P-picture generation in a form commensurate with the set compression rate is employed, and the compression rate is not judged from the recorded image side.
[0019]
For example, in the above-described method of switching and recording between an I picture and a P picture, when a scene change is performed during image capture, the compression ratio is changed by taking the difference between discontinuous images before and after the scene change. It may be worsened.
[0020]
Even when editing after recording is considered, since recording is performed across scene changes, it is necessary to read an extra image before the scene change, resulting in extra processing.
[0021]
Even when normal imaging is performed, a situation in which the image quality is not stable often occurs, such as a case where the image quality is temporarily lowered due to the subject in the shadow of something. Even in such a case, until now, processing has been performed at a constant compression rate, so efficient compression has not been possible.
[0022]
The present invention has been made in view of such a situation, and an object of the present invention is to enable efficient processing of encoding an image signal even when a scene change or image quality temporarily decreases. And
[0023]
[Means for Solving the Problems]
The image signal encoding / compression method of the present invention includes an image signal input process for inputting an image signal through an optical system, and an intra-frame code for generating an intra-frame encoded image by encoding the input image signal in a frame. Encoding process, the input image signal and the intra-frame encoded image generated in the intra-frame encoding process Input image signal corresponding to Using inter-frame coding processing for performing inter-frame predictive coding in the time axis direction and generating an inter-frame coded image by using the difference between the intra-frame coded image and the inter-frame coding An intra-frame encoded image encoded by the intra-frame encoding process, the encoding / compression method for recording an image Input image signal corresponding to Storage processing for storing the luminance information in the storage means; In the above image signal input processing Luminance information calculation processing for obtaining luminance information within the screen of the input image signal, luminance information obtained by the luminance information calculation processing, and the intra-frame encoded image immediately before stored in the storage processing Input image signal corresponding to A difference value calculation process for calculating a difference value that is a difference from the luminance information in the screen of the image and a difference value determination for determining whether or not the difference value obtained by the difference value calculation process exceeds a preset threshold value If the difference value exceeds the threshold value as a result of the determination by the difference value determination process, the intra-frame encoded image generation process is performed and stored in the storage means Intraframe coded image Input image signal corresponding to Intra-frame coded image generated when the luminance information exceeds the threshold value Input image signal corresponding to Rewrite the brightness information.
[0024]
According to another aspect of the image signal encoding / compression method of the present invention, the storage process is performed by the intra-frame encoded image encoded by the intra-frame encoding process. Input image signal corresponding to If the difference value is less than or equal to the threshold value as a result of the determination by the difference value determination process, the input image signal and the storage process are stored in the inter-frame encoding process. Intraframe coded image Input image signal corresponding to Based on the above, the inter-frame encoded image is generated.
[0025]
Another aspect of the image signal encoding and compression method of the present invention is the above-described method. Luminance information In the calculation process, an arbitrary area is set in the screen of the input image signal, and an average value of luminance values in the set area is calculated.
[0026]
According to another aspect of the image signal encoding and compression method of the present invention, it is determined whether or not the image signal input by the image signal input process is within the detection region of the luminance information by the luminance information calculation process. As a result of the determination by the detection area determination process and the detection area determination process, if the input image signal is within the detection area, the detection area is set in advance in the screen of the input image signal. As for the pixel, as a result of the cumulative addition process of adding the luminance value of each pixel and the determination by the detection area determination process, when the input image signal is not within the detection area, and after the cumulative addition process is performed Switching between region end determination processing for determining whether processing in the detection region has ended, and intra-frame encoding processing or inter-frame encoding processing Further comprising a compression ratio control process for controlling to vary the compression ratio of the input image signal by, the storage process, it encoded the intra-frame coded picture by the intra-frame coding process Input image signal corresponding to Is stored in the storage means, and the luminance information calculation process determines the average of the luminance values in the detection area when the process in the detection area is completed as a result of the determination in the area end determination process. And the difference value calculation process includes the average value of the luminance values obtained in the luminance information calculation process and the intra-frame encoded image immediately before stored in the storage process. Input image signal corresponding to A difference value that is a difference from an average value of luminance values in the image is calculated, and the difference value determination process determines whether or not the difference value obtained in the difference value calculation process exceeds the threshold value, and the compression rate The control process performs the intra-frame encoding process when the difference value exceeds the threshold value in the difference value determination process, and the inter-frame encoding process when the difference value is equal to or less than the threshold value. By performing the processing, the compression rate of the input image signal is changed.
[0027]
An image signal encoding / compression device of the present invention includes an image signal input means for inputting an image signal through an optical system, and an intra-frame code for generating an intra-frame encoded image by encoding the input image signal in a frame. Encoding means, the input image signal and the intra-frame encoded image generated by the intra-frame encoding means Input image signal corresponding to And inter-frame coding means for performing inter-frame predictive coding in the time axis direction and generating an inter-frame coded image by using the difference between the intra-frame coded image and the inter-frame coding. An intra-frame encoded image encoded by the intra-frame encoding means Input image signal corresponding to Storage means for storing brightness information, brightness information calculation means for obtaining brightness information in the screen of the input image signal, brightness information obtained by the brightness information calculation means, and stored in the storage means The immediately preceding intra-frame encoded image Input image signal corresponding to A difference value calculation means for calculating a difference value that is a difference from the luminance information in the screen of the image, and a difference value determination for determining whether or not the difference value obtained by the difference value calculation means exceeds a preset threshold value When the difference value exceeds the threshold as a result of the determination by the difference value determination means, the intra-frame encoding means generates the intra-frame encoded image and the storage Intra-frame coded image stored in the means Input image signal corresponding to Intra-frame coded image generated when the luminance information exceeds the threshold value Input image signal corresponding to Rewrite the brightness information.
[0028]
According to another aspect of the image signal encoding / compression device of the present invention, the storage means is the intra-frame encoded image encoded by the intra-frame encoding means. Input image signal corresponding to If the difference value is equal to or smaller than the threshold value as a result of the determination by the difference value determination means, the inter-frame encoding means stores the input image signal and the storage means described above. Intraframe coded image Input image signal corresponding to Based on the above, the inter-frame encoded image is generated.
[0029]
Another aspect of the image signal encoding / compression device of the present invention is the above Luminance information The calculation means sets an arbitrary area in the screen of the input image signal and calculates an average value of luminance values in the set area.
[0030]
According to another aspect of the image signal encoding / compression device of the present invention, it is determined whether or not the image signal input by the image signal input means is within the luminance information detection region by the luminance information calculation means. If the input image signal is within the detection area as a result of the determination by the detection area determination means and the detection area determination means, the detection area is set within the detection area set in advance in the screen of the input image signal. For a pixel, cumulative addition means for adding the luminance value of each pixel and if the input image signal is not within the detection area as a result of determination by the detection area determination means, and addition processing by the cumulative addition means is performed. An area end determination means for determining whether or not the process in the detection area has ended, and the intra-frame encoded image generation process or the frame Compression ratio control means for performing control to change the compression ratio of the input image signal by switching the process of generating the inter-coded image, and the storage means is encoded by the intra-frame encoding means Intra-frame coded image Input image signal corresponding to The luminance information calculation means obtains the average value of the luminance values in the detection area when the processing in the detection area is completed as a result of the determination by the area end determination means. The difference value calculation means includes an average value of the luminance values obtained by the luminance information calculation means and the intra-frame encoded image immediately before stored in the storage means. Input image signal corresponding to A difference value that is a difference from an average value of luminance values in the image is calculated, and the difference value determination unit determines whether or not the difference value obtained by the difference value calculation unit exceeds the threshold value, and the compression rate The control means performs the intra-frame encoded image generation processing when the difference value exceeds the threshold value in the difference value determination means. When the difference value is equal to or less than the threshold value, the control means By performing the process of generating the inter-coded image, the compression rate of the input image signal is changed.
[0035]
[Action]
Since the present invention has the above technical means, for example, a scene change in which the luminance value of the entire image changes can be detected with higher accuracy than when the compression method is switched according to a change between adjacent frames. .
[0039]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an image signal coding and compression apparatus and method according to the present invention will be described with reference to the drawings.
[0040]
FIG. 1 is a functional configuration diagram showing a schematic configuration of an imaging apparatus to which an image signal encoding / compression apparatus of the present invention is applied.
In FIG. 1, A is an optical system, B is an image signal generation means, C is an encoding compression means, D is a detection means, E is a compression control means, and I is a recording means.
[0041]
The image signal generation means B is for photoelectrically converting light from the subject introduced by the optical system A to generate an image signal. The image signal generation means B of the present embodiment is constituted by an imaging means F and an image signal conversion means G.
[0042]
The imaging means F is for photoelectrically converting light from a subject introduced by the optical system A to generate an electrical signal. The image signal conversion means G is for generating an image signal of a predetermined format from the electrical signal generated by the imaging means F.
[0043]
The encoding / compression unit C encodes and compresses the image signal generated by the image signal generation unit B, and includes a first encoding unit H. 1 , Second encoding unit H 2 , ... n-th encoding unit H n It is constituted by.
[0044]
The detecting means D is for detecting a value representing the exposure state from the luminance value of the image signal generated by the image signal generating means B.
The compression control means E is for controlling the compression rate of the image signal encoded and compressed by the encoding compression means C so as to change based on the value detected by the detection means D.
[0045]
The recording means I is provided for recording and holding the image signal encoded and compressed by the encoding and compressing means C.
[0046]
The first encoding / compression unit H 1 To nth encoding compression unit H n Are different in the encoding method for encoding and compressing the image signal, and based on the detection value from the detection means D, the plurality of encoding compression units H 1 ~ H n An optimum encoding / compression unit is selected from the above, and the compression rate of the image signal can be changed.
[0047]
Therefore, according to the image signal coding and compression apparatus of the present embodiment, the image signal can be coded and compressed based on the state of the captured image. While maintaining the image quality, it is possible to perform high compression processing on an image that does not require high image quality, and the image can be encoded and compressed at a high compression rate while maintaining high image quality.
[0048]
In the case of the present embodiment, as one of a plurality of encoding and compression methods, a process of taking a difference between arbitrary images is performed, so that efficient image signal encoding is performed without degrading image quality. Compression can be performed.
[0049]
Further, according to another feature of the present embodiment, the detection area is provided in the image and the luminance value in the detection area is detected, so that a large change in the image due to a scene change or the like based on the detection value. Can be detected easily, and the encoding and compression of the image signal can be performed efficiently.
[0050]
Next, the image signal coding and compression apparatus and method of the present invention will be described more specifically with reference to the drawings.
[0051]
FIG. 2 is an image pickup apparatus including the encoding / compression apparatus according to the first embodiment of the present invention. In the first embodiment, a processing method for detecting a scene change at the time of imaging and selecting an image signal compression method will be described.
[0052]
The imaging apparatus shown in FIG. 2 includes a lens 101 for introducing light from a subject into the interior, an imaging element 102 for converting light from the subject introduced into the interior into an analog electrical signal, and the analog electrical signal. Is converted to a digital electric signal.
[0053]
Also, an
[0054]
Further, the image processing apparatus includes a first encoding unit 107 that performs encoding / compression processing of the image signal in the time axis direction, and a
[0055]
The first encoding unit 107 includes a
[0056]
Further, a
[0057]
Light from the subject imaged by the imaging apparatus configured in this way forms an image on the imaging surface of the imaging element 102 through the lens 101. The light from the subject imaged on the imaging surface of the image sensor 102 is converted into an analog electrical signal by the image sensor 102.
[0058]
The analog electric signal is supplied to the A /
[0059]
The image signal converted into a signal of an arbitrary format by the image
[0060]
At this time, in the case of the imaging apparatus of the present embodiment, the image signal from the image
[0061]
In order to adjust the time delay in the
[0062]
Next, the flow of processing performed by the
[0063]
That is, first, when an image signal is input in the first step S1, the
[0064]
In step S4, it is determined whether or not the detection area has ended. If not, the process returns to step S1 to repeat the above-described processing.
If the result of determination in step S4 is that the detection area has ended, the process proceeds to step S5, and the average value of the luminance values in the detection area is obtained.
[0065]
Next, the process proceeds to step S6, and the difference value between the average value obtained in step S5 and the average value of the luminance values of the immediately preceding I picture held in the
Next, the process proceeds to step S7, where it is determined whether or not the difference value calculated in step S6 exceeds a preset threshold value.
[0066]
If the difference value exceeds the threshold value as a result of the determination in step S7, it is determined that a scene change has been performed during imaging, and the I picture is updated. If the threshold value is not exceeded as a result of the determination in step S7, it is determined that no scene change has been performed during imaging and a P picture is set.
[0067]
After the image encoding method is determined as described above, when the processing method is I picture, the average value of the detected luminance values is determined in the
[0068]
After the compression method is determined, a signal is output to the first encoding unit 107, and actual image signal processing is started. That is, according to the result from the
[0069]
If it is determined in step S7 that the image is to be processed as a P picture, the process proceeds to step S9. In the first encoding unit 107, the difference between the image signal and the data in the
[0070]
The
[0071]
As shown in FIG. 6A, the compressed image data generated in this way is output in a form in which a DCT quantization table and a Huffman coding table are added as headers to image data in the case of an I picture.
[0072]
In the case of a P picture, as shown in FIG. 6 (b), a plurality of groups following the I picture are set as one group, and a DCT quantization table and a Huffman coding table are set as independent tables at the head of the group. After that, each image data is output in a continuous form. These image data are sent to the
[0073]
With the above processing, a change in the luminance value of the image to be captured is monitored, and when a large change occurs in the luminance value of the entire image due to a scene change or the like, a new I picture can be set.
[0074]
As a result, it is possible to select an encoding compression method with little deterioration in both compression efficiency and image quality at the time of a scene change. Also, not only for I-pictures and P-pictures, even when a plurality of methods having different compression rates are used properly, a high compression method is used when the image change is small, and a low compression method is used when the image change is severe. Compared with the case where the compression method is switched sequentially, an image with higher image quality and better compression efficiency can be supplied.
[0075]
Furthermore, in the first embodiment described above, a plurality of detection areas in the image to be processed by the
[0076]
The difference value is subjected to a weighted operation corresponding to the region position in the image to obtain an evaluation value. For example, when the scene change is when the change in the peripheral part is large, the weight can be reflected in the evaluation value by increasing the weight of the peripheral part.
[0077]
This evaluation value is compared with a threshold value. If the threshold value is exceeded, it is determined as an I picture, and the others are determined as P pictures. Thereby, the distribution state of the luminance value for each region can be detected, and the state of the image can be grasped in detail, so that an encoding compression method suitable for the imaging situation can be selected.
[0078]
Next, a second embodiment of the present invention will be described. In the second embodiment, a processing method for detecting the exposure state of an image at the time of imaging and changing the compression rate based on this will be described.
[0079]
FIG. 7 shows an imaging apparatus including the encoding / compression apparatus according to the second embodiment. In addition, about the part which performs the same process as 1st Embodiment mentioned above, the same number as FIG. 2 is attached | subjected and detailed description is abbreviate | omitted.
[0080]
The imaging apparatus in FIG. 7 includes a lens 101 for imaging a subject, an imaging element 102 for converting an image into an analog electrical signal, an
[0081]
Also, an AGC (Auto Gain Control) 63 for correcting the exposure state of the image, an image
[0082]
In the imaging apparatus configured as described above, an image formed on the imaging element 102 through the lens 101 is converted into an analog electrical signal, and further converted into a digital electrical signal by the A /
[0083]
The digital electric signal is input to the
[0084]
That is, the
[0085]
Next, an evaluation value calculated as a result of a calculation weighted to the center of the image is obtained for the average value of each region. Further, in order to determine the encoding method and compression rate, the number of pixels whose luminance values are near the upper and lower limit values is obtained for each of the above-described regions. The value obtained in this way is sent to the
[0086]
First, the
[0087]
Next, based on the number of pixels whose luminance values for each region are near the upper and lower limits, selection for setting an image as an I picture or P picture and setting of a compression rate are performed in comparison with the table in the
[0088]
Now, consider a case where a dark image (condition c in FIG. 8) is input with a large number of pixels whose luminance value is near zero in each region and a small number of high luminance pixels. The number of low luminance pixels is the threshold value n L And the number of high luminance pixels is the threshold value n H If not exceeded, the
[0089]
In this case, the
[0090]
The image determined as described above by the
[0091]
The signal sent to the
[0092]
Subsequent image signal processing is as follows. That is, when an image is first encoded as an I picture, the image signal is sent to the
[0093]
The signal sent to the
[0094]
When processing an image as a P picture, first, in order to reduce redundancy on the time axis, a difference image between the input image signal and the image on the
[0095]
Thereafter, as in the first embodiment, a plurality of P picture groups following the I picture are set as one group. Then, the DCT quantization table and the Huffman coding table are sent as independent tables to the head of the group, and thereafter each image data is output in a continuous form. The output image data is recorded on a recording medium by the
[0096]
As described above, in the second embodiment, it is possible to perform efficient coding compression as a whole by determining an image captured while the imaging state is not stable and changing the compression rate. .
[0097]
Next, a third embodiment of the present invention will be described. In the third embodiment, a processing method for detecting the exposure state of an image at the time of imaging and changing the compression rate based on this will be described. In the third embodiment, a processing method capable of recognizing a scene change without being influenced by disturbance generated in an image will be described.
[0098]
FIG. 9 is a configuration diagram illustrating an encoding / compression device according to the third embodiment. Note that the same numbers are assigned to parts that perform the same processing as in the first and second embodiments described above. 9 includes a lens 101 for imaging a subject, an image sensor 102 for converting a subject image into an analog electrical signal, an A /
[0099]
Also, an
[0100]
In the imaging apparatus configured as described above, at the time of imaging, recording is started from the time when the photographer instructs the
[0101]
The digital electrical signal is input to the
[0102]
In addition, the
[0103]
This is because, for example, when the reflected light of an object having a mirror surface or the like changes due to a minute movement at the time of imaging, and a small high luminance area is generated in the image, a scene change and an erroneous change from this partial luminance value change. This is to avoid judging.
[0104]
The luminance value distribution obtained in this way is determined based on the difference from the luminance value distribution of the immediately preceding I picture, and the encoding method is determined to be either an I or P picture, and the determined result is sent to the
[0105]
The
[0106]
In addition, the image signal is stored in the
[0107]
The recording format at this time is the same as the I / P picture recording format shown in the first embodiment. The image signal is sent to the display unit by the
[0108]
When processing an image as a P picture, the
[0109]
Next, a method for reproducing / displaying the compressed image data stored on the
[0110]
If the determination result is an I picture, the compressed image signal is first decoded by the intraframe encoding /
[0111]
In the case of I picture reproduction, the
[0112]
In P picture reproduction, the compressed image signal is first sent to the intra-frame encoding /
[0113]
Since the immediately preceding I picture is stored in the
[0114]
In this way, since the imaging apparatus of the third embodiment performs coding compression, a scene change can be reliably detected even when a disturbance such as reflected light occurs, and a more efficient image signal can be detected. Encoding compression can be performed.
[0115]
【The invention's effect】
According to the present invention, If the difference between the luminance information in the input image signal and the luminance information in the input image signal corresponding to the immediately preceding intra-frame encoded image stored in the storage means exceeds the threshold, intra-frame encoding is performed. By performing image generation processing and rewriting the value of the storage means with the luminance information of the input image signal corresponding to the generated intra-frame encoded image, it always corresponds to the input image and the previous intra-frame encoded image. In order to compare with the luminance information of the input image signal, Changes between adjacent frames Detect Compared to switching compression methods, For example, The brightness value of the entire image gradually change Compression efficiency decreases Scene change Even this To detect with high accuracy In addition, by generating an intra-frame coded image, Suitable for shooting conditions High compression efficiency Encoding can be performed. further, Since the luminance information in the input image signal corresponding to the immediately preceding intra-frame encoded image is stored in the storage means, the capacity of the storage means can be greatly reduced compared to holding and comparing the input image signal itself. Possible .
[Brief description of the drawings]
FIG. 1 is a functional configuration diagram showing a schematic configuration of main functions of the present invention.
FIG. 2 is a block diagram showing a first embodiment of the present invention.
FIG. 3 is a flowchart showing a processing flow of a detection unit in the first embodiment.
FIG. 4 is a diagram illustrating a luminance value detection region in an image.
FIG. 5 is a diagram illustrating a luminance value detection region in an image.
FIG. 6 is a diagram showing an image data format at the time of recording.
FIG. 7 is a block diagram showing a second embodiment of the present invention.
FIG. 8 is a diagram showing a table for selecting an encoding method in the second embodiment.
FIG. 9 is a block diagram showing a third embodiment of the present invention.
FIG. 10 is a diagram illustrating a luminance value distribution of an image in the third embodiment.
FIG. 11 is a diagram illustrating a conventional coding compression method.
[Explanation of symbols]
101 lens
102 Image sensor
103 A / D converter
104 Image signal converter
105 detector
106 FIFO memory
107 1st encoding part
108 Second encoding unit
109 Recording section
110 Selector
111 memory
112 Differencer
61 Aperture
62 Aperture adjustment section
63 AGC
64 CPU
65 ROM
66 Coding section
67 Display
81 Operation unit
82 Intra-frame encoding / decoding unit
86 Adder
Claims (8)
上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化処理と、
上記入力された画像信号と上記フレーム内符号化処理において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化処理とを有し、
上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮方法であって、
上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶手段に記憶する記憶処理と、
上記画像信号入力処理において入力された画像信号の画面内における輝度情報を求める輝度情報算出処理と、
上記輝度情報算出処理で求められた輝度情報と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出処理と、
上記差分値算出処理で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断処理とを含み、
上記差分値判断処理による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換えることを特徴とする画像信号の符号化圧縮方法。Image signal input processing for inputting an image signal through an optical system;
An intra-frame encoding process for generating an intra-frame encoded image by encoding the input image signal in a frame;
By using the difference between the input image signal and the input image signal corresponding to the intra-frame encoded image generated in the intra-frame encoding process, inter-frame predictive encoding is performed in the time axis direction. An inter-frame encoding process for generating an encoded image,
An encoding compression method for recording the intra-frame encoded image and the inter-frame encoded image,
A storage process for storing the luminance information of the input image signal corresponding to the intra-frame encoded image encoded by the intra-frame encoding process in a storage unit;
Luminance information calculation processing for obtaining luminance information within the screen of the image signal input in the image signal input processing ;
A difference value, which is a difference between the luminance information obtained in the luminance information calculation process and the luminance information in the screen of the input image signal corresponding to the immediately preceding intra-frame encoded image stored in the storage process, is calculated. Difference value calculation processing;
A difference value determination process for determining whether or not the difference value obtained in the difference value calculation process exceeds a preset threshold value,
If the difference value exceeds the threshold value as a result of the determination by the difference value determination process, the intra-frame encoded image is generated and the intra-frame encoded image stored in the storage means A method of encoding and compressing an image signal, wherein the luminance information of the input image signal corresponding to the input image signal is rewritten to the luminance information of the input image signal corresponding to the intra-frame encoded image generated when the threshold value is exceeded .
上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算処理と、
上記検出領域判断処理による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断処理と、
上記フレーム内符号化処理あるいは上記フレーム間符号化処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御処理とを更に含み、
上記記憶処理は、上記フレーム内符号化処理によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶手段に記憶し、
上記輝度情報算出処理は、上記領域終了判断処理による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、
上記差分値算出処理は、上記輝度情報算出処理で求められた輝度値の平均値と、上記記憶処理において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、
上記差分値判断処理は、上記差分値算出処理で求められた差分値が上記閾値を越えたか否かを判断し、
上記圧縮率制御処理は、上記差分値判断処理において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化処理を行うことによって、上記入力された画像信号の圧縮率を変えることを特徴とする請求項１に記載の画像信号の符号化圧縮方法。A detection area determination process for determining whether the image signal input by the image signal input process is within the detection area of the luminance information by the luminance information calculation process;
As a result of the determination by the detection area determination process, when the input image signal is in the detection area, the pixels in the detection area set in advance in the screen of the input image signal are A cumulative addition process of adding luminance values;
An area for determining whether or not the process in the detection area is completed after the input image signal is not within the detection area as a result of the determination by the detection area determination process and after the cumulative addition process is performed. End determination processing,
A compression rate control process for performing control to change the compression rate of the input image signal by switching the intra-frame encoding process or the inter-frame encoding process,
The storage process stores an average value of luminance values of input image signals corresponding to the intra-frame encoded image encoded by the intra-frame encoding process in a storage unit,
The luminance information calculation process obtains an average value of the luminance values in the detection area when the process in the detection area ends as a result of the determination by the area end determination process,
The difference value calculation process includes an average value of luminance values obtained in the luminance information calculation process and an average value of luminance values in the input image signal corresponding to the immediately preceding intra-frame encoded image stored in the storage process. The difference value that is the difference between and
The difference value determination process determines whether or not the difference value obtained in the difference value calculation process exceeds the threshold value,
The compression rate control process performs the intra-frame encoding process when the difference value exceeds the threshold value in the difference value determination process, and the frame rate when the difference value is equal to or less than the threshold value. The method of encoding and compressing an image signal according to claim 1, wherein the compression rate of the input image signal is changed by performing an inter-coding process.
上記入力された画像信号をフレーム内で符号化してフレーム内符号化画像を生成するフレーム内符号化手段と、
上記入力された画像信号と上記フレーム内符号化手段において生成されたフレーム内符号化画像に対応する入力画像信号との差分を用いることによって時間軸方向にフレーム間の予測符号化を行い、フレーム間符号化画像を生成するフレーム間符号化手段とを有し、
上記フレーム内符号化画像と上記フレーム間符号化画像とを記録するための符号化圧縮装置であって、
上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度情報を記憶する記憶手段と、
上記入力された画像信号の画面内における輝度情報を求める輝度情報算出手段と、
上記輝度情報算出手段で求められた輝度情報と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号の画面内における輝度情報との差分である差分値を算出する差分値算出手段と、
上記差分値算出手段で求められた差分値があらかじめ設定された閾値を越えたか否かを判断する差分値判断手段とを含み、
上記差分値判断手段による判断の結果、上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化手段による上記フレーム内符号化画像の生成を行うとともに、上記記憶手段に記憶されているフレーム内符号化画像に対応する入力画像信号の輝度情報を、上記閾値を越えていた場合に生成されたフレーム内符号化画像に対応する入力画像信号の輝度情報に書き換えることを特徴とする画像信号の符号化圧縮装置。Image signal input means for inputting an image signal through an optical system;
Intra-frame encoding means for encoding the input image signal in a frame to generate an intra-frame encoded image;
By using the difference between the input image signal and the input image signal corresponding to the intra-frame encoded image generated by the intra-frame encoding means, predictive encoding between frames in the time axis direction is performed, and Inter-frame encoding means for generating an encoded image,
An encoding and compression device for recording the intra-frame encoded image and the inter-frame encoded image,
Storage means for storing luminance information of an input image signal corresponding to the intra-frame encoded image encoded by the intra-frame encoding means;
Luminance information calculation means for obtaining luminance information in the screen of the input image signal,
A difference value that is a difference between the luminance information obtained by the luminance information calculating unit and the luminance information in the screen of the input image signal corresponding to the immediately preceding intra-frame encoded image stored in the storage unit is calculated. Difference value calculating means;
Difference value determination means for determining whether or not the difference value obtained by the difference value calculation means exceeds a preset threshold value,
If the difference value exceeds the threshold value as a result of the determination by the difference value determining means, the intra-frame encoded image is generated by the intra-frame encoding means and stored in the storage means. image, characterized in that rewrites the luminance information of an input image signal corresponding to the intra-frame coded images are, the luminance information of the input image signal corresponding to the generated intra-frame encoded image when exceeds the above threshold Signal coding and compression apparatus.
上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内の場合に、上記入力された画像信号の画面内にあらかじめ設定された上記検出領域内の画素について、各画素の輝度値を加算する累積加算手段と、
上記検出領域判断手段による判断の結果、上記入力された画像信号が上記検出領域内でない場合、および上記累積加算手段による加算処理が行われた後に、上記検出領域における処理が終了したか否かを判断する領域終了判断手段と、
上記フレーム内符号化画像の生成処理あるいは上記フレーム間符号化画像の生成処理を切り替えることによって上記入力された画像信号の圧縮率を変える制御を行う圧縮率制御手段とを更に含み、
上記記憶手段は、上記フレーム内符号化手段によって符号化された上記フレーム内符号化画像に対応する入力画像信号の輝度値の平均値を記憶し、
上記輝度情報算出手段は、上記領域終了判断手段による判断の結果、上記検出領域における処理が終了した場合に、上記検出領域内の輝度値の平均値を求め、
上記差分値算出手段は、上記輝度情報算出手段で求められた輝度値の平均値と、上記記憶手段において記憶された直前の上記フレーム内符号化画像に対応する入力画像信号における輝度値の平均値との差分である差分値を算出し、
上記差分値判断手段は、上記差分値算出手段で求められた差分値が上記閾値を越えたか否かを判断し、
上記圧縮率制御手段は、上記差分値判断手段において上記差分値が上記閾値を越えていた場合には、上記フレーム内符号化画像の生成処理を行い、上記差分値が上記閾値以下の場合には、上記フレーム間符号化画像の生成処理を行うことによって、上記入力された画像信号の圧縮率を変えることを特徴とする請求項５に記載の画像信号の符号化圧縮装置。Detection area determination means for determining whether the image signal input by the image signal input means is within the detection area of the luminance information by the luminance information calculation means;
As a result of the determination by the detection area determination means, when the input image signal is within the detection area, the pixels in the detection area set in advance in the screen of the input image signal are A cumulative addition means for adding luminance values;
As a result of the determination by the detection area determination means, whether the input image signal is not within the detection area, and whether or not the processing in the detection area has ended after the addition processing by the cumulative addition means has been performed. An area end judging means for judging;
Compression rate control means for performing control to change the compression rate of the input image signal by switching the generation process of the intra-frame encoded image or the generation process of the inter-frame encoded image,
The storage means stores an average value of luminance values of input image signals corresponding to the intra-frame encoded image encoded by the intra-frame encoding means,
The luminance information calculation unit obtains an average value of luminance values in the detection region when the processing in the detection region is completed as a result of the determination by the region end determination unit,
The difference value calculating means includes an average value of luminance values obtained by the luminance information calculating means and an average value of luminance values in an input image signal corresponding to the immediately preceding intra-frame encoded image stored in the storage means. The difference value that is the difference between and
The difference value determining means determines whether or not the difference value obtained by the difference value calculating means exceeds the threshold value,
The compression rate control means performs the intra-frame encoded image generation process when the difference value exceeds the threshold value in the difference value determination means, and when the difference value is equal to or less than the threshold value. 6. The image signal encoding / compression apparatus according to claim 5, wherein a compression rate of the input image signal is changed by performing processing for generating the inter-frame encoded image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34181095A JP3984665B2 (en) | 1995-12-27 | 1995-12-27 | Image signal coding and compression apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34181095A JP3984665B2 (en) | 1995-12-27 | 1995-12-27 | Image signal coding and compression apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09186989A JPH09186989A (en) | 1997-07-15 |
| JP3984665B2 true JP3984665B2 (en) | 2007-10-03 |
Family
ID=18348939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34181095A Expired - Fee Related JP3984665B2 (en) | 1995-12-27 | 1995-12-27 | Image signal coding and compression apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3984665B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6777663B2 (en) * | 1999-05-07 | 2004-08-17 | Intel Corporation | Enhanced Photocell with sample and hold amplifier |
| JP4136403B2 (en) * | 2002-03-08 | 2008-08-20 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
| JP4561508B2 (en) * | 2005-07-08 | 2010-10-13 | ソニー株式会社 | Image processing apparatus, image processing method and program thereof |
| JP4605183B2 (en) * | 2007-04-27 | 2011-01-05 | ソニー株式会社 | Image signal processing apparatus and method |
| JP7308363B2 (en) * | 2020-06-30 | 2023-07-13 | 富士フイルム株式会社 | IMAGING DEVICE, IMAGING METHOD, AND IMAGING PROGRAM |
-
1995
- 1995-12-27 JP JP34181095A patent/JP3984665B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09186989A (en) | 1997-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3093233B2 (en) | Image encoding apparatus and method | |
| JP4123567B2 (en) | Image signal processing apparatus and method | |
| US8872937B2 (en) | Image capture apparatus and image capturing method | |
| JP4682990B2 (en) | Camera image compression processing apparatus and compression processing method | |
| EP1949705B1 (en) | Image signal processing apparatus | |
| JP3783238B2 (en) | Imaging system, image processing apparatus, encoding apparatus, encoding method, and method for removing random noise | |
| KR100893419B1 (en) | Imaging apparatus and imaging method | |
| JP2004200989A (en) | Imaging apparatus and supervisory system | |
| JPH04373374A (en) | Image pickup device | |
| US20110176027A1 (en) | Method and device for compressing moving image | |
| JP3221785B2 (en) | Imaging device | |
| JP3592025B2 (en) | Captured image recording device | |
| JP2000350211A (en) | Method and device for encoding moving picture | |
| JP3984665B2 (en) | Image signal coding and compression apparatus and method | |
| JPH08289156A (en) | Image signal encoding device of elecronic still camera | |
| JP2008113112A (en) | Imaging apparatus | |
| JP3888533B2 (en) | Image coding apparatus according to image characteristics | |
| JP2004180345A (en) | Photographed image recording apparatus | |
| WO2019142836A1 (en) | Coding device, decoding device, coding method, decoding method, coding program, and decoding program | |
| JP4700992B2 (en) | Image processing device | |
| JP3121044B2 (en) | Imaging device | |
| KR0170735B1 (en) | Jpeg | |
| JPH09186919A (en) | Image pickup device | |
| JP3151244B2 (en) | Image recording device | |
| JP2005217493A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |