JP3406924B2 - 画像処理装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は画像処理装置及びその
方法にかかり、特に画像データを電気的に拡大処理する
機能を有する画像処理装置及びその方法に関する。

【０００２】

【従来の技術】光学像を電気的信号に変換する撮像手段
を具備する撮像装置、例えば、ビデオカメラ、電子スチ
ルビデオカメラ、テレビカメラなどには、撮影画像を一
時記憶する画像メモリを設けることにより、スナップ、
手ぶれ補正及び電子ズームなどの映像効果を施す機能が
付加されている。

【０００３】撮影画像を一時記憶する画像メモリは通
常、少なくとも１画面（フィールドまたはフレーム）分
の記憶容量を必要とする。例えば、１フィールド分の輝
度及び色差信号を共に８ビットで記憶すると、そのまま
では記憶容量として３Ｍｂｉｔ必要になり、画像メモリ
が大型化するだけでなく、画像メモリが高価になる。

【０００４】そこで、画像メモリの入力側に圧縮符号化
回路を設けると共に、前記画像メモリの出力側に伸長復
号化回路を設けて、画像メモリの記憶容量を少なくて済
むようにした構成が提案されている。

【０００５】

【発明が解決しようとする課題】このように画像メモリ
の記憶前後で圧縮伸長処理を行う回路構成で、電子ズー
ム機能を組み込む場合に、以下のような弊害が生じる。

【０００６】まず、電子ズームとは画像の一部を切り出
して、その切り出した部分を標準の画角に拡大するため
に不足する画素値を近隣の画素値により補間処理するこ
とにより、画像を電気的に拡大するものである。

【０００７】従って、電子ズームの倍率が大きい程、上
述した補間処理により画像（画質）の劣化が大きくな
る。

【０００８】また、画像メモリに画像信号を一時記憶す
るために圧縮処理を施すが、この圧縮処理により画質は
少なからず劣化する。

【０００９】従って、従来の画像処理装置では電子ズー
ムを行った場合、画像メモリに一時記憶するために行う
圧縮伸長処理により画像は劣化し、その劣化した画像に
電子ズーム処理を行うので、更に画像が劣化してしま
う。

【００１０】上述したような様な問題は、アナログ画像
信号をデジタル画像信号に変換して記録媒体に記録する
画像処理装置、例えばデジタルＶＴＲにも当てはまる。

【００１１】デジタルＶＴＲではデジタル画像信号を記
録媒体に記録する際、画像信号に圧縮処理を行います。
従って、上述した電子ズーム処理を行った画像を記録す
ると、圧縮処理により電子ズームで劣化した画像を更に
劣化させてしまう。

【００１２】本願発明は斯かる背景下において、上述の
問題を解消して電気的に画像を拡大した時に画像劣化を
防止する画像処理装置及びその方法を提供することを目
的とする。

【００１３】

【課題を解決するための手段】本願は斯かる目的下にそ
の一つの発明として、画像データを入力する入力手段
と、前記入力手段によって入力された画像データを電気
的に拡大する拡大手段と、前記拡大手段によって拡大処
理された画像データをブロック分割する分割手段と、前
記分割手段によって分割されたブロック単位に前記画像
データを周波数成分データに変換する変換手段と、前記
変換手段によって変換された画像データを量子化係数で
除算する量子化手段と、前記量子化手段によって処理さ
れた画像データを符号化する符号化手段と、前記拡大手
段の拡大倍率に応じて前記量子化係数を制御する制御手
段とを有し、前記制御手段は、前記拡大手段の拡大倍率
が大きくなるに従って、前記量子化係数が小さくなるよ
うに制御することを特徴とする画像処理装置を提示す
る。また、本願は斯かる目的下にその一つの発明とし
て、画像データを入力する入力工程と、前記入力された
画像データを電気的に拡大する拡大工程と、前記拡大処
理された画像データをブロック分割する分割工程と、前
記分割されたブロック単位に前記画像データを周波数成
分データに変換する変換工程と、前記変換された画像デ
ータを量子化係数で除算する量子化工程と、前記量子化
処理された画像データを符号化する符号化工程と、前記
拡大工程の拡大倍率に応じて前記量子化係数を制御する
制御工程とを有し、前記制御工程では、前記拡大倍率が
大きくなるに従って、前記量子化係数が小さくなるよう
に制御することを特徴とする画像処理方法を提示する。

【００１４】

【００１５】

【実施例】以下、第１の実施例のビデオカメラを例にと
って説明する。

【００１６】図１は、第１の実施例のカメラ一体型ＶＴ
Ｒの構成ブロック図である。

【００１７】図１において、１０は撮影レンズ、１２は
光学像を電気信号に変換する撮像素子、１４は撮像素子
１２からのアナログ画像信号をデジタル画像信号に変換
するＡ／Ｄ変換器、１６はデジタル信号処理回路（ＤＳ
Ｐ）であり、ＤＳＰ１６は、例えばγ補正，色バランス
調整などの周知のカメラ信号処理を行い、それぞれ８ビ
ットの輝度信号及び色差信号の形態で画像信号を出力す
る。尚、以下では説明を容易にするため、輝度信号に関
して説明する。

【００１８】１７はＤＳＰ１６より出力された画像デー
タを操作部３４によって入力される電子ズーム倍率に応
じて必要である画像データのみを抽出する画像抽出回路
である。

【００１９】１８はＤＳＰ１６の出力データを１／２、
１／４に圧縮可能とする圧縮回路、２２は圧縮回路１８
により圧縮された１画面分の画像データを記憶できる画
像メモリであり、本実施例の画像メモリ２２では標準の
１画面分の画像データを１／４に圧縮すれば１画面分の
画像データを記憶することが可能である。

【００２０】２４は圧縮回路１８の圧縮率に対応した伸
長率を有する伸長回路、２８は伸長回路２４からの信号
を電気的に拡大処理を行う電子ズーム回路、２９はＤＳ
Ｐ１６からの出力または電子ズーム回路２８からの出力
を選択する切換スイッチ、３０はデジタル信号をアナロ
グ信号に変換するＤ／Ａ変換器、３１はＤ／Ａ変換器３
０により出力された信号を電気的に表示する電子ビュー
ファインダ（ＥＶＦ）、３４は電子ズーム機能の指示
（例えば、電子ズーム倍率等）を入力する操作部、３６
はシステム制御回路であり、前記操作部３４の指示に応
じて、画像抽出回路１７、圧縮回路１８、伸長回路２
２、電子ズーム回路２８（例えば、ズーム倍率）及び切
換スイッチ２９を制御する。

【００２１】３７は磁気テープ３９に記録するための所
定の処理（例えば、変調等）を行う記録処理回路、３８
は磁気ヘツド、３９は磁気テープである。

【００２２】次に、圧縮回路１８の内部ブロック図を図
２に示す。

【００２３】図２において、入力端子４０には画像抽出
回路１７から出力されるデータが入力される。

【００２４】プレフィルタ４２は、サブサンプリングの
前処理として、入力端子４０から入力された輝度データ
の斜め成分を除去する。サブサンプリング回路４４はプ
リフィルタ４２の出力を水平方向で１／２に間引き、更
にＤＰＣＭ回路４６により１／２に圧縮される。

【００２５】ここで、輝度信号の場合について、圧縮の
様子を具体的に説明する。入力端子４０に輝度データが
図３（ａ）に示すように水平６４０画素、２４０ライ
ン、８ビットで、約１．２３Ｍｂｉｔのフィールド画が
入力されたとする。

【００２６】これをサブサンプリング回路４４でサブサ
ンプリングすると、図３（ｂ）に示すように、水平方向
の画素数が半分の３２０になり、１フィールドで約０．
６１Ｍｂｉｔとなる。

【００２７】これを更にＤＰＣＭ回路４６で８ビットか
ら４ビットに圧縮すると、図３（ｃ）に示すように深さ
方向が半分になり、約０．３Ｍｂｉｔとなる。

【００２８】切換スイッチ４１により入力端子４０から
入力されたデータの圧縮率を０，１／２，１／４に可変
することができる。切換スイッチ４１はシステム制御回
路３６により制御されている。

【００２９】つまり、圧縮処理を行わない場合は、スイ
ッチ４１はｃ側に接続されて圧縮されていない画像デー
タが画像メモリ２２へ出力されている。

【００３０】圧縮率を１／２に設定する場合は、スイッ
チ４１はｂ側に接続されて、画像データはプレフィルタ
４２及びサブサンプリング回路４４によりデータ量が１
／２に圧縮され、その圧縮された画像データが画像メモ
リ２２へ出力される。

【００３１】圧縮率を１／４に設定する場合は、スイッ
チ４１はａ側に接続されて、画像データはプレフィルタ
４２、サブサンプリング回路４４及びＤＰＣＭ回路４６
により、データ量が１／４に圧縮され、その圧縮された
画像データが画像メモリ２２へ出力される。

【００３２】次に、伸長回路２４の内部ブロック図を図
４に示す。

【００３３】図４において、入力端子５０には画像メモ
リ２２から読み出された画像データが入力する。

【００３４】ＤＰＣＭ復号化回路５２は、入力端子５０
からの４ビットデータをＤＰＣＭ復号化し、８ビットデ
ータを出力する。

【００３５】補間回路５４はサブサンプリング回路４４
で間引いた画素を補間する。例えば、ゼロ値を挿入す
る。或は、両側又は近隣の画素値の平均値でもよい。

【００３６】補間回路５４の出力はポストフィルタ５６
で平滑化される。力端子５８から電子ズーム回路２８に
供給される。

【００３７】すなわち、伸長回路２４ではＤＰＣＭ復号
化回路５２が、深さ方向を４ビットから８ビットに伸長
し、補間回路５４が水平方向の画素数を２倍にする。こ
れにより、画像データは６４０×２４０×８ビットにな
っている。

【００３８】また、切換スイッチ５１，５３により圧縮
回路１８の圧縮率に対応させて伸長率を変えることがで
きる。

【００３９】つまり、入力端子５０に入力された画像デ
ータが圧縮されていない場合、スイッチ５３はｂ側に接
続され、入力端子５０に入力された画像データは直接、
出力端子５８から出力され、電子ズーム回路２８へ出力
される。

【００４０】また、入力端子５０に入力された画像デー
タが１／２に圧縮されていた場合、スイッチ５１はｂ側
に接続され、スイッチ５３はａ側に接続される。入力さ
れた画像データは補間回路５４及びポストフィルタ５６
により２倍に伸長処理されて、電子ズーム回路２８’へ
入力される。

【００４１】また、入力端子５０に入力された画像デー
タが１／４に圧縮されていた場合、スイッチ５１，５３
はａ側に接続される。入力された画像データはＤＰＣＭ
復号化回路５２、補間回路５４及びポストフィルタ５６
により４倍に伸長処理されて、電子ズーム回路２８’へ
入力される。

【００４２】圧縮回路１８及び伸長回路２４内には、図
示しないが図２及び図４に示すような回路が輝度用と色
差用の２つ設けられている。

【００４３】以下、第１の実施例の電子ズーム機能を実
行する際の画像処理動作を説明する。尚、本実施例では
通常の撮影（電子ズーム機能を実行していない）では切
換スイッチ２９はｃ側に接続されており、画像メモリ２
２に画像信号を記憶することはない。操作部３４により
電子ズーム機能を実行する指示が入力されると切換スイ
ッチ２９がｄ側に接続され、画像信号を画像メモリ２２
に記憶し、電子ズーム処理が行われる。

【００４４】まず、操作部３４により電子ズーム機能を
実行する指示が入力され、その電子ズーム倍率が２倍未
満の場合の動作を説明する。ここでは、電子ズーム倍率
が１．５倍を例にとって説明する。

【００４５】撮像素子１２は撮影レンズ１０による光学
像を電気信号に変換し、Ａ／Ｄ変換器１４は撮像素子１
２の出力をデジタル信号に変換する。

【００４６】Ａ／Ｄ変換器１４の出力はＤＳＰ１６で処
理された後、画像抽出回路１７に入力される。

【００４７】画像抽出回路１７では図５に示すように撮
影された画像データ（水平６４０画素×垂直２４０ライ
ン）の中央部分から電子ズーム処理に必要な水平５２３
画素×垂直１９６ラインの画像データを抽出し、その抽
出された画像データを圧縮回路１８へ出力する。

【００４８】圧縮回路１８は入力された画像データを上
述のように１／４に圧縮する。圧縮された画像データは
画像メモリ２２に一時記憶される。

【００４９】画像メモリ２２に記憶された圧縮画像デー
タは読み出され、伸長回路２４に入力される。伸長回路
２４は入力する圧縮画像データを圧縮率に対応させて上
述のように伸長し、電子ズーム回路２８に入力される。
電子ズーム回路２８は、入力画像を標準の画像の大きさ
に電気的に拡大する（図５参照）。

【００５０】拡大されたデジタル画像データはＤ／Ａ変
換器３０によりアナログ信号に変換され、記録処理回路
３７により所定の処理（例えば変調処理等）を施して、
磁気ヘツド３８により磁気テープ３９に記録する。ま
た、ＥＶＦ３１により電気的に拡大された画像を確認す
ることもできる。

【００５１】次に、操作部３４により電子ズーム機能を
実行する指示が入力され、その電子ズーム倍率が２倍以
上４倍未満の場合の動作を説明する。ここでは、ズーム
倍率が２倍を例にとって説明する。

【００５２】撮像素子１２は撮影レンズ１０による光学
像を電気信号に変換し、Ａ／Ｄ変換器１４は撮像素子１
２の出力をデジタル信号に変換する。

【００５３】Ａ／Ｄ変換器１４の出力はＤＳＰ１６で処
理された後、画像抽出回路１７に入力される。

【００５４】画像抽出回路１７では図６に示すように撮
影された標準の画像データ（水平６４０画素×垂直２４
０ライン）の中央部分から電子ズーム処理に必要な水平
４５３画素×垂直１７０ラインの画像データを抽出し、
その抽出された画像データを圧縮回路１８へ出力する。

【００５５】圧縮回路１８は入力された画像データを上
述のように１／２に圧縮する。圧縮された画像データは
画像メモリ２２に一時記憶される。

【００５６】画像メモリ２２に記憶された圧縮画像デー
タは読み出され、伸長回路２４に入力される。伸長回路
２４は入力された圧縮画像データをその圧縮率に対応さ
せて上述のように２倍に伸長し、電子ズーム回路２８に
入力される。電子ズーム回路２８は、入力画像を標準画
像の大きさに電気的に拡大する（図６参照）。

【００５７】拡大されたデジタル画像データはＤ／Ａ変
換器３０によりアナログ信号に変換され、記録処理回路
３７により所定の処理（例えば変調処理等）を施して、
磁気ヘツド３８により磁気テープ３９に記録する。ま
た、ＥＶＦ３１により電気的に拡大された画像を確認す
ることもできる。

【００５８】次に、操作部３４により電子ズーム機能を
実行する指示が入力され、その電子ズーム倍率が４倍以
上の場合の動作を説明する。ここでは、ズーム倍率が４
倍を例にとって説明する。

【００５９】撮像素子１２は撮影レンズ１０による光学
像を電気信号に変換し、Ａ／Ｄ変換器１４は撮像素子１
２の出力をデジタル信号に変換する。

【００６０】Ａ／Ｄ変換器１４の出力はＤＳＰ１６で処
理された後、画像抽出回路１７に入力される。画像抽出
回路１７では図７に示すように撮影された標準の画像デ
ータ（水平６４０画素×垂直２４０ライン）の中央部分
から電子ズーム処理に必要な水平３２０画素×垂直１２
０ラインの画像データを抽出し、その抽出された画像デ
ータは圧縮回路１８へ入力される。

【００６１】圧縮回路１８は入力された画像データに圧
縮処理を行わず、画像メモリ２２へ出力する。画像メモ
リ２２は非圧縮画像データを一時記憶する。

【００６２】画像メモリ２２に記憶された画像データは
読み出され、伸長回路２４に入力される。伸長回路２４
は入力された画像データに伸長処理を行わず、電子ズー
ム回路２８に入力される。電子ズーム回路２８は、入力
画像を標準画像の大きさに電気的に拡大する（図７参
照）。

【００６３】拡大されたデジタル画像データはＤ／Ａ変
換器３０によりアナログ信号に変換され、記録処理回路
３７により所定の処理（例えば変調処理等）を施して、
磁気ヘツド３８により磁気テープ３９に記録する。ま
た、ＥＶＦ３１により電子的に拡大された画像を確認す
ることができる。

【００６４】以下、第２の実施例のカメラ一体型デジタ
ルＶＴＲを説明する。

【００６５】図８は第２の実施例のカメラ一体型デジタ
ルＶＴＲのブロック図である。

【００６６】図８において、１００は撮影レンズ、１０
２は撮像素子、１０４は撮像素子１０２からの画像信号
に所定のカメラ処理を行うカメラ処理回路、１０６はＡ
／Ｄ変換器、１０８は切換スイッチ、１１０は電子ズー
ム回路、１１２はＤ／Ａ変換器、１１４は電子ビューフ
ァインダ（ＥＶＦ）、１１６はブロック化回路、１１８
はＤＣＴ（Discrete Cosine Transform)回路、１２０は
量子化回路、１２２は可変長符号化回路（ＶＬＣ）、１
２４はバッファメモリ、１２６は多重化回路、１２８は
記録処理回路、１３０は磁気ヘツド、１３２は磁気テー
プ、１３４は符号量制御回路、１３６は電子ズ−ム機能
の実行を指示する操作部、１３８はシステム制御回路で
あり、システム制御回路１３８は操作部１３６の操作に
応じて切換スイッチ１０８、電子ズーム１１０、符号量
制御回路１３４を制御する。

【００６７】尚、電子ズーム回路１１０は、第１の実施
例で説明した、画像抽出回路１７、圧縮回路１８、画像
メモリ２２、伸長回路２４、電子ズーム回路２８より構
成されている。また、拡大処理も第１の実施例で説明し
たものと同様である。

【００６８】まず、通常の撮影（電子ズームを使用しな
い）での記録処理動作を説明する。

【００６９】撮像素子１２は撮影レンズ１０による光学
像を電気信号に変換し、カメラ処理回路１０４により所
定の信号処理が行われる。

【００７０】カメラ処理回路１０４から出力された画像
データはＡ／Ｄ変換器１０６によりデジタル信号に変換
する。この変換されたデジタル信号はスイッチ１０８
（ａ側接続）を介してブロック化回路１１６とＤ／Ａ変
換器１１２に入力される。

【００７１】Ｄ／Ａ変換器１１２ではデジタル信号がア
ナログ信号に変換されＥＶＦ１１４により撮影された画
像を表示することができる。

【００７２】一方、ブロック化回路１１２では８×８画
素からなるブロックに分割される。その分割されたブロ
ックデータはＤＣＴ回路１１８により直交変換が行わ
れ、周波数成分に変換される。ＤＣＴ回路１１８から出
力された周波数係数データは量子化回路１２０に入力さ
れる。量子化回路１２０では各周波数成分ごとのデータ
係数の集合を後述するように制御された数値にて除算
し、小数点以下を切り捨て、ビット数を低減させて全体
の量子化データ量を圧縮させる。

【００７３】量子化データはＶＬＣ１２２に入力され
る。ここでは、１次元データ列に変換するために水平と
垂直の低周波成分から高周波成分へジグザグスキャン
し、データを並べ替え、このデータに対して可変長符号
化を行う。可変長符号化されたデータは符号量制御回路
１３４及びバッファメモリ１２４に入力される。

【００７４】符号量制御回路１３４では符号化されたデ
ータのデータ量を算出し、その算出結果に応じて符号化
データが所定のデータ量になるように量子化回路１２０
の量子化係数を制御する。

【００７５】一方、バッファメモリ１２４では一定のデ
ータレートにて、符号化されたデータが多重化回路１２
６に出力する。

【００７６】また、バッファメモリ１２４に記憶されて
いるデータの蓄積量が符号量制御回路１３４に入力さ
れ、バッファメモリ１２４がアンダーフローまたはオー
バーフローにならないように量子化回路１２０の量子化
係数を制御する。

【００７７】また、符号量制御回路１３４から量子化回
路１２０の量子化係数を示す量子化ステップ情報が多重
化回路１２６へ出力されており、多重化回路１２６は符
号化されたデータと量子化ステップ情報とを多重し、記
録のためのフォーマット化を行い、記録処理回路１２８
にて所定の記録処理（例えば変調処理）が施されて、磁
気ヘツド１３０により磁気テープ１３２に記録される。

【００７８】以下、電子ズーム機能を使用した記録処理
動作を説明する。

【００７９】上述した電子ズーム機能を使用していない
時の記録処理動作と異なる処理部分のみを説明します。

【００８０】操作部１３６により電子ズーム機能の実行
が指示されると電子ズーム制御回路１３８によりスイッ
チ１０８がｂ側に接続される。

【００８１】電子ズーム制御回路１３８は、操作部１３
６により指示されたズーム倍率に応じて電子ズーム回路
１１０を制御している。

【００８２】例えば、操作部１３６により電子ズーム倍
率が２倍の指示があれば、電子ズーム回路１１０は図６
のように標準の画像データ（水平６４０画素×垂直２４
０ライン）から中央部分の画像データ（水平４５３画素
×垂直１７０ライン）の抽出を行い、補間処理によって
標準の大きさに拡大処理を行う。

【００８３】また、電子ズーム制御回路１３８から電子
ズーム倍率情報が符号量制御回路１３４へ出力されてい
る。

【００８４】符号量制御回路１３４は入力された電子ズ
ーム倍率情報に応じて、通常撮影よりも量子化回路１２
０の量子化係数を小さい方向にシフト制御を行う。

【００８５】

【発明の効果】以上説明したように本願発明によれば、
画像データの電気的な拡大処理における拡大倍率が大き
くなるに従って、量子化処理の量子化係数が小さくなる
ように制御しているので、電気的に拡大された画像デー
タの画像劣化を防止しながら前記画像データを符号化処
理することができる。

【図面の簡単な説明】

【図１】第１の実施例のカメラ一体型ＶＴＲのブロック
図である。

【図２】図１中の圧縮回路１８の内部回路図である。

【図３】圧縮回路１８の圧縮処理を説明する図である。

【図４】図１中の伸長回路２４の内部回路図である。

【図５】電子ズーム倍率が１．５倍の時の模式的な説明
図である。

【図６】電子ズーム倍率が２倍の時の模式的な説明図で
ある。

【図７】電子ズーム倍率が４倍の時の模式的な説明図で
ある。

【図８】第２の実施例のカメラ一体型ＶＴＲのブロック
図である。

【符号の説明】

１７ 画像抽出回路 １８ 圧縮回路 ２２ 画像メモリ ２４ 伸長回路 ２８，１１０ 電子ズーム回路 ３６ システム制御回路 １１６ ブロック化回路 １１８ ＤＣＴ回路 １２０ 量子化回路 １３４ 符号量制御回路

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 画像データを入力する入力手段と、 前記入力手段によって入力された画像データを電気的に
   拡大する拡大手段と、 前記拡大手段によって拡大処理された画像データをブロ
   ック分割する分割手段と、 前記分割手段によって分割されたブロック単位に前記画
   像データを周波数成分データに変換する変換手段と、 前記変換手段によって変換された画像データを量子化係
   数で除算する量子化手段と、 前記量子化手段によって処理された画像データを符号化
   する符号化手段と、 前記拡大手段の拡大倍率に応じて前記量子化係数を制御
   する制御手段とを有し、 前記制御手段は、前記拡大手段の拡大倍率が大きくなる
   に従って、前記量子化係数が小さくなるように制御する
   ことを特徴とする画像処理装置。
2. 【請求項２】 前記入力手段は、被写体像を撮像し、前
   記画像データを発生する撮像手段を含むことを特徴とす
   る請求項１に記載の画像処理装置。
3. 【請求項３】 更に、前記符号化手段によって符号化さ
   れた画像データを記録媒体に記録する記録手段とを有す
   ることを特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】 画像データを入力する入力工程と、 前記入力された画像データを電気的に拡大する拡大工程
   と、 前記拡大処理された画像データをブロック分割する分割
   工程と、 前記分割されたブロック単位に前記画像データを周波数
   成分データに変換する変換工程と、 前記変換された画像データを量子化係数で除算する量子
   化工程と、 前記量子化処理された画像データを符号化する符号化工
   程と、 前記拡大工程の拡大倍率に応じて前記量子化係数を制御
   する制御工程とを有し、 前記制御工程では、前記拡大倍率が大きくなるに従っ
   て、前記量子化係数が小さくなるように制御することを
   特徴とする画像処理方法。