JPH07222048A

JPH07222048A - 撮像装置

Info

Publication number: JPH07222048A
Application number: JP1081594A
Authority: JP
Inventors: Ryushi Nishimura; 龍志西村; Takuya Imaide; 宅哉今出
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-02-02
Filing date: 1994-02-02
Publication date: 1995-08-18
Anticipated expiration: 2016-12-17
Also published as: JP3239583B2

Abstract

(57)【要約】【目的】撮像した画像を符号化して出力する撮像装置に
おいて、符号化効率が高く、かつ画質劣化が少ない撮像
装置を提供する。【構成】撮像手段２と信号処理手段４と符号化手段７と
からなる撮像装置に、被写体を抽出する手段５を設け、
抽出した被写体信号を用いて符号化特性を変化させるよ
うに構成した。【効果】被写体情報を用いることにより効率良く符号化
できるので、符号化の効率向上すると共に画質劣化を防
止できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は撮像装置に係り、撮像し
た画像を符号化し、画像情報量を圧縮して出力する撮像
装置に関する。

【０００２】

【従来の技術】映像信号のディジタル化が進み、動画像
の高能率符号化が行われるようになった。このような符
号化アルゴリズムの一例として、映像信号におけるフレ
ーム間の差分を符号化するフレーム間予測符号化があ
る。これは、隣接するフレーム画像間の相関を利用して
情報量を低減する符号化方式である。さらにこの方式に
動き補償を加えて、速い動きを含む画像の符号化効率向
上をはかる、動き補償フレーム間予測符号化が知られて
いる。

【０００３】このような符号化方式は、蓄積メディア用
の符号化標準規格であるＭＰＥＧ（Moving Picture Exp
ert Group）や、テレビ電話等、通信用の符号化標準規
格である、ＣＣＩＴＴのＨ．２６１等に採用されてい
る。これらの規格に従って符号化、復号化する方法に関
し、例えば、テレビジョン学会誌Ｖｏｌ．４５、Ｎｏ．
７（１９９１年）第７９３頁から第７９９頁、第８０７
頁から第８１２頁に記載されている。

【０００４】なお、本発明に関連する技術として、特開
昭５−１１０９３６号公報に記載のものがある。

【０００５】

【発明が解決しようとする課題】しかし、これらの方式
によって画像情報を符号化する場合、符号化の効率と、
画質は一般に相反する関係にある。すなわち、高い圧縮
率を得ようとする画質が劣化し、画質を高品位に保とう
とすると符号化効率が低下してしまうという問題があっ
た。

【０００６】本発明の目的は、上記問題点を解決し、高
い圧縮効率であり、かつ高品位の画像を生成する撮像装
置を提供することにある。

【０００７】

【課題を解決するための手段】上記問題点を解決するた
め本発明では、撮像手段と、信号処理手段と、抽出手段
と、符号化手段と、制御手段とによって撮像装置を構成
し、抽出手段の出力によって符号化特性を変化させるよ
うにした。

【０００８】

【作用】一般に、動画像の情報量は非常に大きいが、す
べての情報が必要なわけではない。従って、画面の中の
重要な部分だけ高品位な画像を送ればそれで十分な場合
が多い。本発明はこのことを利用したものである。撮像
手段は、入射した光信号を電気信号に変換するＣＣＤ等
の撮像素子を備えたものである。

【０００９】撮像手段の出力する撮像信号は、信号処理
手段において、ビデオ信号に変換される。抽出手段は、
信号処理手段の出力するビデオ信号から、撮影している
被写体を抽出して、被写体領域を表すキー信号を出力す
る。符号化手段は、抽出手段の出力するキー信号を用い
て、キー信号の出力されている領域と、その他の領域に
おいて、異なる符号化特性によって符号化する。このと
き、被写体領域では高画質が得られるよう、符号化の
際、ビットの割当てを大きくし、その他の領域では、ビ
ットの割当てを少なくするようにする。こうすることに
より、画像の中の重要な部分は高品位で、重要でない部
分の画質は、画質より符号化効率を優先させるようにす
る。したがって、高品質と高い符号化効率を両立させる
ことができる。

【００１０】

【実施例】以下本発明の実施例について説明する。図１
は、本発明による撮像装置の構成を示すブロック図であ
る。１はレンズであり、入射した光信号をＣＣＤ(Charg
eCoupled Device)撮像素子２に結像させる。ＣＣＤ２
は、結像した光信号を電気信号に変換し、撮像信号とし
て出力する。３はＡ／Ｄ変換回路であり、アナログの撮
像信号をディジタル信号に変換する。信号処理回路４は
ディジタル化された撮像信号にガンマ補正やホワイトバ
ランス補正等の公知の処理を施して、輝度信号および色
差信号からなるディジタルビデオ信号を出力する。

【００１１】抽出回路５では、信号処理回路４の出力す
るディジタルビデオ信号から、被写体を抽出して、被写
体領域を表すキー信号を出力する。被写体は、撮影して
いる画像の中で最も重要な部分であるから、十分な画質
が必要である。これに対して、被写体以外の領域は、被
写体に比べると、重要度は落ちることが多い。被写体抽
出手段は、被写体を抽出することによって、画像中のよ
り重要な部分と、優先度の低い部分を領域分けしている
ことになる。

【００１２】符号化回路７は、信号処理回路４の出力す
るディジタルビデオ信号の情報量を低減するために、符
号化する。符号化する際には、抽出回路５の出力するキ
ー信号を用いて、被写体領域と、その他の領域に分け、
各々の領域において異なる符号化特性によって符号化す
るようにする。具体的には、被写体領域では、画質を重
視して、ビット割当てを大きくして符号化し、被写体以
外の領域では、符号化の効率を重視して、ビットの割当
てを減らして圧縮率を高めるようにする。

【００１３】このように符号化することにより、画面の
重要でない部分の圧縮率を高め、圧縮率が高くかつ高品
質の画質を実現することが出来る。

【００１４】図２は、本実施例における抽出回路５の構
成の一例を示すブロック図である。２０〜２１は２値化
回路であり、入力端子２００から入力されるビデオ信号
を２値化することによって、被写体の候補領域を生成す
るものである。入力ビデオ信号はカラービデオ信号であ
り、輝度信号と、２種類の色差信号を含んでいる。ま
た、２値化回路２０〜２１は、制御回路インターフェー
ス回路２０１から２値化の閾値を入力される。３チャン
ネルの２値化回路の各々の閾値を適当に設定することに
より、映像信号の中の特定の色と明るさを持った部分を
抽出することが出来る。図３は、撮像する映像の一例を
示す図で、同図において（ａ）が抽出回路５の入力画像
である。中央の人物が被写体であり、背景は特に重要で
はない。このような映像から人物被写体を抽出するた
め、３チャンネルの２値化回路２０〜２１の閾値を適当
に設定することにより、髪、顔、服を別々の２値化回路
によって抽出する。抽出条件、つまり２値化の閾値は、
制御回路６が自動的に設定するものである。もちろん、
手動で設定するような手段を設け、手動で２値化の閾値
設定することもでることもできる。

【００１５】このようにして２値化回路２０〜２１が生
成する２値信号を、ＯＲ回路２３で合成する。さらに、
ＡＮＤ回路２４でゲートをかける。ＡＮＤ回路２４の他
方の入力は、ＡＮＤ回路２４の出力信号を、メモリ制御
回路２８によって制御されるメモリ２５に記憶させるこ
とにより、ビデオ信号における１フィールド（または１
フレーム）期間遅延させ、拡大回路２６で垂直、水平方
向に一回り拡大させた信号である。このようにして、１
フィールド前に抽出した信号を一回り大きくしてゲート
をかけることによって、動く被写体も抽出でき、また、
同じ色や明るさを持った物体が画面内にあったとして
も、最初に狙った被写体を抽出することが、可能であ
る。なお、このような被写体の抽出方法に関しては、特
開平４−２０５０７０や、１９９３年テレビジョン学会
全国大会予稿集、第９１から第９２頁に述べられてい
る。また、演算回路２７は、メモリに記憶された被写体
情報から、その大きさや、位置等の特徴量を算出して出
力する。制御回路６では、これらの特徴量に基づいて、
抽出すべき被写体の抽出条件を制御する。このようにし
て、図２のＡＮＤ回路２７の出力画像として、図３の
（ｂ）に示すような、被写体領域を表す２値画像が得ら
れる。

【００１６】図４は、図１に示した本実施例による撮像
装置における符号化回路７の構成を表すブロック図であ
る。４１は直交変換回路であって、ＤＣＴ(Discrete Co
sineTransform)やウェーブレット変換等の変換を行な
う。これらの変換に関しては、多くの文献があり、例え
ば前者については１９９１年オーム社発行、画像情報圧
縮、第１０４から第１０８頁、後者についてはＣＱ出版
社インターフェース誌、１９９２年８月号第１４７から
第１６９頁等に詳述されている。このような変換により
直交変換回路４１から出力される変換係数は、量子化回
路４２によって適当なビット数を割り当てられ、量子化
される。このとき、定性的には、高周波成分へのビット
割当てを減らすことにより、トータルの情報量を削減す
る。このビット数の割当ては、パラメータ設定回路４４
によって行なわれる。パラメータ設定は、対応する変換
係数に応じて、量子化テーブル４７の値に従って行なわ
れる。量子化回路４２の出力は、可変長符号化回路４３
においてハフマン符号化等の可変長符号化が行なわれ
る。可変長符号化され信号は、バッファ４５に蓄えられ
た後、出力される。

【００１７】量子化特性を決めるパラメータ設定回路４
４の動作についてさらに詳しく説明する。パラメータ設
定回路４４には、制御回路６からの入力端子４０から、
抽出回路５の出力に基づき、現在量子化している領域が
画面上の被写体領域かその他の領域であるかの判定信号
が供給される。パラメータ設定回路４４は、この結果に
基づき、量子化テーブルに用意された量子化を行なう。
量子化は、被写体領域でのビット割当てを大きくして画
質を重視するようにし、また、被写体領域外では、符号
化効率を高める用にする。パラメータ設定回路４４は、
量子化テーブルにあらかじめ用意された被写体領域用と
背景用のテーブルを使いわけて量子化ビットの割当てを
行なう。また、この際、可変長符号化回路４３から出力
される符号化された信号の累積情報量を監視し、バッフ
ァがオーバーフローすることのないようにし、トータル
ビット長の固定化もはかる。

【００１８】図５は、図３（ａ）の画像を符号化した画
像の様子を模式的に示した図である。図５の（ａ）は、
背景部分のビット割当てを減らした場合の画像あり、背
景部分の画質はやや劣化するが、人物については劣化し
ない。図５の（ｂ）は、背景部分のビット割当てを最小
限にした場合で、背景の画像を消去したことに相当す
る。この場合、背景部分の画像がないことと同じである
から、大幅に画像情報量を低減できる。

【００１９】以上説明したように、本実施例では、被写
体を抽出することにより、画面上の重要な部分と、そう
でない部分を分け、各々の領域において異なるのような
動作によって符号化することにより画面上の重要な部分
の画質を劣化させることなく、かつ、被写体以外の部分
のビット割当てを減らすことにより、符号化効率を高く
することができる。

【００２０】本発明の他の一実施例について説明する。
本実施例は、図１に示した実施例と同様の構成を有する
ものであるが、符号化回路７において、フレーム間予測
符号化を行なうものである。図６は、本実施例における
符号化回路７の構成を示すブロック図である。６０は、
複数のフィールドあるいはフレーム画像を記憶させるメ
モリである。ここでは、１フレーム毎に処理を行なうも
のとする。６１は引き算回路で、メモリ６０の出力する
入力画像から、前フィールドの予測誤差を引き算したフ
レーム間差分信号を変換符号化する。変換符号化に関し
ては、図４に示した実施例と同様である。

【００２１】以上説明したように、本実施例では、被写
体を抽出することにより、画面上の重要な部分と、そう
でない部分を分け、各々の領域において異なるのような
動作によって符号化することにより画面上の重要な部分
の画質を劣化させることなく、かつ、被写体以外の部分
のビット割当てを減らすことにより、符号化効率を高く
することが出来る。また本実施例では、前述の実施例と
同様、可変長符号化回路６４から出力される符号化され
た信号の累積情報量を監視し、バッファがオーバーフロ
ーすることのないように制御するが、上記符号化効率の
向上により、一定内に伝送できる画像のフレーム数を増
やすことができるので、動きの滑らかな動画像を伝送す
ることができる。

【００２２】本発明のその他の一実施例について説明す
る。図７は、本発明による撮像装置の一実施例を示すブ
ロック図である。７０は、加工回路であり、その他の部
分は、図１の実施例と同様出ある。第１図に示した実施
例では、抽出回路の出力するキー信号によって、符号化
特性を変化させることにより符号化効率を高めたが、本
実施例では、符号化回路の前に加工回路７０をプリフィ
ルタとして挿入してある。そして、抽出回路５の出力に
応じて、加工回路７０の特性を変化させる。図８は、加
工回路の構成例を示すブロック図であり、８０は、ロー
パスフィルタ、８１は、ＹＣ変換回路出ある。制御回路
からの制御信号に応じて、ローパスフィルタ８０ト、Ｙ
Ｃ変換回路の特性を変化させることができる構成となっ
ている。ローパスフィルタを最大にしたときは、背景を
消去することに相当する。またＹＣ変換回路８１は、輝
度信号Ｙ、色信号Ｃに任意の割合で任意のレベルの信号
を加算することにより入力のＹ，Ｃ信号を変換する回路
である。この回路は、背景部分にフィルタ処理を施すだ
けでなく、Ｙ，Ｃ信号のレベルを変化させることができ
るようにして、背景部分にローパスフィルタをかけたと
きの不自然さを取り除くようにしたものである。

【００２３】このように符号化する前にプリフィルタを
かけることにより、特に重要でない被写体の背景部分の
情報量が低減されるので、符号化効率を高めることがで
きる。本実施例においても、符号化回路７は、図４ある
いは図６に示した構成とすれば良い。

【００２４】本実施例によれば、第１の実施例と同様に
被写体部分の画質を向上させることができると同時に、
動きを滑らかにすることができる。これは、１フレーム
あたりの画像情報量を大幅に圧縮できるので、一定時間
内に電送できるフレーム数を増大できるからである。

【００２５】本発明の他の一実施例について説明する。
図９は、本発明による撮像装置の一実施例の構成を示す
ブロック図である。本実施例は、図１に示した実施例に
記録回路９０、再生回路９１を設け、磁気テープ等の記
録媒体９１に符号化された信号を記録、再生できるよう
にしたものである。また、記録媒体９１に記録された信
号は、再生回路９１において再生された後、復号化回路
９３で復号化された後、スイッチ９４を介してＤ／Ａ変
換８でディジタル信号に変換され、出力される。

【００２６】本実施例における効果は、既に説明した実
施例と同様である。

【００２７】本発明の他の一実施例について説明する。
図１０は、本発明による撮像装置の一実施例の構成を示
すブロック図である。本実施例は、第１から第４の実施
例テレビ電話等に用いる画像伝送に応用した実施例出あ
る。同図において、１００は撮像部であり、図１や図７
に同一番号を付けたブロックに対応する部分である。１
０１は、受信あるいは送信した画像を表示する液晶やＣ
ＲＴ(Cathode Rey Tube)等の表示装置出ある。１０４
は、画像コーデックであり、図９における符号化回路７
と、復号化回路９３とからなり、送信画像の符号化と受
信画像の復号化を行なうものである。また、音声の処理
を行なうため、送受話を行なう送受話器１０３と、音声
信号の符号化、復号化を行なう音声コーデック１０６を
備えている。これらの音声処理は、公知の電話装置と同
様である。１０２は操作部であり、ダイヤル等のテレビ
電話の送受信に関する操作を行なうものである。この操
作部１０２では、被写体抽出のオンオフ切り替えや、抽
出する被写体の指定等も行なう。１０７はマルチメディ
ア多重、分離回路であり、送信時には画像コーデック１
０４と音声コーデック１０６から出力される画像信号と
音声信号を多重する。この多重信号は、伝送インターフ
ェースにより、伝送路へ送り出される。また、受信時に
は伝送インターフェースから得られる画像と音声の多重
信号を分離して符号化された画像信号および音声信号を
各々画像コーデックと音声コーデックに供給する。画像
コーデックにおいて符号化を行なうときには、第１から
第３の実施例と同様に被写体抽出を行ない、抽出した被
写体情報を符号化に利用する。

【００２８】本実施例の撮像装置によれば、テレビ電話
の画像入力として用いることによりテレビ電話で必要な
送受信者の顔画像を高画質で送受信することができる。
また背景部分の情報量を前処理で低減することにより、
動きの滑らかな画像を送受信でき、画質の良いテレビ電
話を実現できる。

【００２９】

【発明の効果】本発明によれば、被写体を抽出を行な
い、抽出領域とその他の領域で符号化特性を変えるの
で、画像の中の重要な部分を効率良く符号化することが
でき、符号化効率を高く、かつ画質の良い撮像装置を提
供することができる。

【図面の簡単な説明】

【図１】本発明による撮像装置の一実施例の構成を示す
ブロック図である。

【図２】抽出回路の一構例を示すブロック図である。

【図３】入力画像（ａ）と抽出画像（ｂ）を示す抽出回
路動作の説明図である。

【図４】符号化回路の一構例を示すブロック図である。

【図５】符号された画像を示す符号化回路動作の説明図
である。

【図６】符号化回路の一構例を示すブロック図である。

【図７】本発明による撮像装置の一実施例の構成を示す
ブロック図である。

【図８】加工回路の一構例を示すブロック図である。

【図９】本発明による撮像装置の一実施例の構成を示す
ブロック図である。

【図１０】本発明による撮像装置の一実施例の構成を示
すブロック図である。

【符号の説明】

１…レンズ、２…ＣＣＤ撮像素子、３…Ａ／Ｄ変換回路、４…信号処理回路、５…抽出回路、６…制御回路、７…符号化回路、８…Ｄ／Ａ変換回路、２０〜２２…２値化回路、２６…拡大回路、２７…演算回路、４１…直交変換回路、４２…量子化回路、４３…可変長符号化回路、７０…加工回路、８０、８１…ＹＣ変換回路、９０…記録回路、９２…再生回路、１００…撮像部、１０１…表示部、１０２…操作部、１０４…画像コーデック、１０７…マルチメディア多重、分離回路。

Claims

【特許請求の範囲】

【請求項１】光学像を光電変換し、電気的な映像信号を
生成する撮像手段と、該撮像手段の出力する映像信号から特定の物体を抽出
し、該抽出物体の特徴を表す抽出信号を出力する抽出手
段と、該撮像手段の出力する映像信号を符号化する符号化手段
と、該符号化手段における符号化特性を制御手段とからなる
撮像装置であって、該制御手段は、該抽出手段の出力する抽出信号に基づい
て該符号化手段における符号化特性を変化させることを
特徴とする撮像装置。
【請求項２】請求項１において、上記抽出手段は、複数
の２値化手段と、該複数の２値化手段の出力の論理和を
とる第１の演算手段と、２値画像信号を記憶するメモリ
手段と、該メモリ手段に記憶した２値画像信号を拡大す
る第２の演算手段と、該第１の演算手段の出力信号と第
２の演算手段の出力信号との論理積をとる第３の演算手
段から構成され、上記撮像手段の出力する映像信号から
特定物体を抽出し、該抽出信号として特定物体の存在す
る抽出領域を表す２値信号を出力すことを特徴とする撮
像装置。
【請求項３】請求項１または２において、上記符号化手
段は、少なくとも、上記撮像手段の出力する映像信号を
直行変換する手段と、直交変換された信号を量子化する
手段を有し、上記抽出手段の出力する抽出信号に基づい
て、該量子化する手段における量子化ビット数を変化さ
せるように構成したことを特徴とする撮像装置。
【請求項４】請求項２において、上記符号化手段は、少
なくとも、上記撮像手段の出力する映像信号を直行変換
する手段と、直交変換された信号を量子化する手段を有
し、上記抽出手段の出力する抽出信号に基づいて、特定
物体の抽出領域とそれ以外の領域で、該量子化する手段
における量子化ビット数を変化させるように構成したこ
とを特徴とする撮像装置。
【請求項５】請求項１乃至４において、符号化手段はフ
レーム間では予測符号化を行ないフレーム内では変換符
号化を行ない、抽出領域と非抽出領域とで量子化ビット
数と、予測符号化の特性を変化させるように構成したこ
とを特徴とする撮像装置。
【請求項６】光学像を光電変換し、電気的な映像信号を
生成する撮像手段と、該撮像手段の出力する映像信号から特定の物体を抽出
し、該抽出物体の特徴を表す抽出信号を出力する抽出手
段と、該映像信号にフィルタリング等の処理を施す加工処理手
段と、該加工処理手段における処理特性を制御する制御手段
と、該加工手段の出力する映像信号を符号化する符号化手段
とからなる撮像装置であって、該加工処理手段における処理特性を、該抽出手段の出力
する抽出信号に基づいて変化させることを特徴とする撮
像装置。
【請求項７】請求項１乃至６に記載した撮像装置は、該
撮像装置の出力する映像信号を磁気テープ等の記録媒体
に記録する手段と、この記録した映像信号を再生する手
段と、再生した信号を復号化する手段とを具備した記録
再生装置付き撮像装置に搭載されることを特徴とする撮
像装置。
【請求項８】請求項１乃至７に記載した撮像装置は、符
号化された映像信号を送受信する伝送インターフェース
と、符号化および復号化を行なう画像コーデックとを具
備したテレビ電話装置に搭載されることを特徴とする撮
像装置。