JP3239583B2 - 撮像装置及び撮像装置を有するテレビ電話装置 - Google Patents
撮像装置及び撮像装置を有するテレビ電話装置Info
- Publication number
- JP3239583B2 JP3239583B2 JP1081594A JP1081594A JP3239583B2 JP 3239583 B2 JP3239583 B2 JP 3239583B2 JP 1081594 A JP1081594 A JP 1081594A JP 1081594 A JP1081594 A JP 1081594A JP 3239583 B2 JP3239583 B2 JP 3239583B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- extraction
- image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
た画像を符号化し、画像情報量を圧縮して出力する撮像
装置に関する。
の高能率符号化が行われるようになった。このような符
号化アルゴリズムの一例として、映像信号におけるフレ
ーム間の差分を符号化するフレーム間予測符号化があ
る。これは、隣接するフレーム画像間の相関を利用して
情報量を低減する符号化方式である。さらにこの方式に
動き補償を加えて、速い動きを含む画像の符号化効率向
上をはかる、動き補償フレーム間予測符号化が知られて
いる。
の符号化標準規格であるMPEG(Moving Picture Exp
ert Group)や、テレビ電話等、通信用の符号化標準規
格である、CCITTのH.261等に採用されてい
る。これらの規格に従って符号化、復号化する方法に関
し、例えば、テレビジョン学会誌Vol.45、No.
7(1991年)第793頁から第799頁、第807
頁から第812頁に記載されている。
昭5−110936号公報に記載のものがある。
によって画像情報を符号化する場合、符号化の効率と、
画質は一般に相反する関係にある。すなわち、高い圧縮
率を得ようとする画質が劣化し、画質を高品位に保とう
とすると符号化効率が低下してしまうという問題があっ
た。
い圧縮効率であり、かつ高品位の画像を生成する撮像装
置及び撮像装置を有するテレビ電話装置を提供すること
にある。
め本発明では、撮像手段と、抽出手段と、加工手段と、
符号化手段と、制御手段とによって撮像装置を構成し、
抽出手段の出力によって加工手段におけるローパスフィ
ルタとYC変換回路の処理特性を変化させるようにし
た。
べての情報が必要なわけではない。従って、画面の中の
重要な部分だけ高品位な画像を送ればそれで十分な場合
が多い。本発明はこのことを利用したものである。撮像
手段は、入射した光信号を電気信号に変換するCCD等
の撮像素子を備えたものである。
手段において、ビデオ信号に変換される。抽出手段は、
信号処理手段の出力するビデオ信号から、撮影している
被写体を抽出して、被写体領域を表すキー信号を出力す
る。加工手段は、抽出手段の出力するキー信号を用い
て、キー信号の出力されている領域と、その他の領域に
おいて、ローパスフィルタとYC変換回路の処理特性を
変化させる。例えば、背景領域では、ローパスフィルタ
をかけて背景を消去し、Y,C信号のレベルを変化させ
ることにより背景部分にローパスフィルタをかけたとき
の不自然さを取り除くようにする。このように、符号化
する前にプリフィルタをかけることにより、特に重要で
ない被写体の背景部分の情報量が低減されるので、符号
化効率を高めることができる。したがって、高品質と高
い符号化効率を両立させることができる。
は、本発明による撮像装置の構成を示すブロック図であ
る。1はレンズであり、入射した光信号をCCD(Charg
eCoupled Device)撮像素子2に結像させる。CCD2
は、結像した光信号を電気信号に変換し、撮像信号とし
て出力する。3はA/D変換回路であり、アナログの撮
像信号をディジタル信号に変換する。信号処理回路4は
ディジタル化された撮像信号にガンマ補正やホワイトバ
ランス補正等の公知の処理を施して、輝度信号および色
差信号からなるディジタルビデオ信号を出力する。
るディジタルビデオ信号から、被写体を抽出して、被写
体領域を表すキー信号を出力する。被写体は、撮影して
いる画像の中で最も重要な部分であるから、十分な画質
が必要である。これに対して、被写体以外の領域は、被
写体に比べると、重要度は落ちることが多い。被写体抽
出手段は、被写体を抽出することによって、画像中のよ
り重要な部分と、優先度の低い部分を領域分けしている
ことになる。
るディジタルビデオ信号の情報量を低減するために、符
号化する。符号化する際には、抽出回路5の出力するキ
ー信号を用いて、被写体領域と、その他の領域に分け、
各々の領域において異なる符号化特性によって符号化す
るようにする。具体的には、被写体領域では、画質を重
視して、ビット割当てを大きくして符号化し、被写体以
外の領域では、符号化の効率を重視して、ビットの割当
てを減らして圧縮率を高めるようにする。
重要でない部分の圧縮率を高め、圧縮率が高くかつ高品
質の画質を実現することが出来る。
成の一例を示すブロック図である。20〜21は2値化
回路であり、入力端子200から入力されるビデオ信号
を2値化することによって、被写体の候補領域を生成す
るものである。入力ビデオ信号はカラービデオ信号であ
り、輝度信号と、2種類の色差信号を含んでいる。ま
た、2値化回路20〜21は、制御回路インターフェー
ス回路201から2値化の閾値を入力される。3チャン
ネルの2値化回路の各々の閾値を適当に設定することに
より、映像信号の中の特定の色と明るさを持った部分を
抽出することが出来る。図3は、撮像する映像の一例を
示す図で、同図において(a)が抽出回路5の入力画像
である。中央の人物が被写体であり、背景は特に重要で
はない。このような映像から人物被写体を抽出するた
め、3チャンネルの2値化回路20〜21の閾値を適当
に設定することにより、髪、顔、服を別々の2値化回路
によって抽出する。抽出条件、つまり2値化の閾値は、
制御回路6が自動的に設定するものである。もちろん、
手動で設定するような手段を設け、手動で2値化の閾値
設定することもでることもできる。
成する2値信号を、OR回路23で合成する。さらに、
AND回路24でゲートをかける。AND回路24の他
方の入力は、AND回路24の出力信号を、メモリ制御
回路28によって制御されるメモリ25に記憶させるこ
とにより、ビデオ信号における1フィールド(または1
フレーム)期間遅延させ、拡大回路26で垂直、水平方
向に一回り拡大させた信号である。このようにして、1
フィールド前に抽出した信号を一回り大きくしてゲート
をかけることによって、動く被写体も抽出でき、また、
同じ色や明るさを持った物体が画面内にあったとして
も、最初に狙った被写体を抽出することが、可能であ
る。なお、このような被写体の抽出方法に関しては、特
開平4−205070や、1993年テレビジョン学会
全国大会予稿集、第91から第92頁に述べられてい
る。また、演算回路27は、メモリに記憶された被写体
情報から、その大きさや、位置等の特徴量を算出して出
力する。制御回路6では、これらの特徴量に基づいて、
抽出すべき被写体の抽出条件を制御する。このようにし
て、図2のAND回路27の出力画像として、図3の
(b)に示すような、被写体領域を表す2値画像が得ら
れる。
装置における符号化回路7の構成を表すブロック図であ
る。41は直交変換回路であって、DCT(Discrete Co
sineTransform)やウェーブレット変換等の変換を行な
う。これらの変換に関しては、多くの文献があり、例え
ば前者については1991年オーム社発行、画像情報圧
縮、第104から第108頁、後者についてはCQ出版
社インターフェース誌、1992年8月号第147から
第169頁等に詳述されている。このような変換により
直交変換回路41から出力される変換係数は、量子化回
路42によって適当なビット数を割り当てられ、量子化
される。このとき、定性的には、高周波成分へのビット
割当てを減らすことにより、トータルの情報量を削減す
る。このビット数の割当ては、パラメータ設定回路44
によって行なわれる。パラメータ設定は、対応する変換
係数に応じて、量子化テーブル47の値に従って行なわ
れる。量子化回路42の出力は、可変長符号化回路43
においてハフマン符号化等の可変長符号化が行なわれ
る。可変長符号化され信号は、バッファ45に蓄えられ
た後、出力される。
4の動作についてさらに詳しく説明する。パラメータ設
定回路44には、制御回路6からの入力端子40から、
抽出回路5の出力に基づき、現在量子化している領域が
画面上の被写体領域かその他の領域であるかの判定信号
が供給される。パラメータ設定回路44は、この結果に
基づき、量子化テーブルに用意された量子化を行なう。
量子化は、被写体領域でのビット割当てを大きくして画
質を重視するようにし、また、被写体領域外では、符号
化効率を高める用にする。パラメータ設定回路44は、
量子化テーブルにあらかじめ用意された被写体領域用と
背景用のテーブルを使いわけて量子化ビットの割当てを
行なう。また、この際、可変長符号化回路43から出力
される符号化された信号の累積情報量を監視し、バッフ
ァがオーバーフローすることのないようにし、トータル
ビット長の固定化もはかる。
像の様子を模式的に示した図である。図5の(a)は、
背景部分のビット割当てを減らした場合の画像あり、背
景部分の画質はやや劣化するが、人物については劣化し
ない。図5の(b)は、背景部分のビット割当てを最小
限にした場合で、背景の画像を消去したことに相当す
る。この場合、背景部分の画像がないことと同じである
から、大幅に画像情報量を低減できる。
体を抽出することにより、画面上の重要な部分と、そう
でない部分を分け、各々の領域において異なるのような
動作によって符号化することにより画面上の重要な部分
の画質を劣化させることなく、かつ、被写体以外の部分
のビット割当てを減らすことにより、符号化効率を高く
することができる。
本実施例は、図1に示した実施例と同様の構成を有する
ものであるが、符号化回路7において、フレーム間予測
符号化を行なうものである。図6は、本実施例における
符号化回路7の構成を示すブロック図である。60は、
複数のフィールドあるいはフレーム画像を記憶させるメ
モリである。ここでは、1フレーム毎に処理を行なうも
のとする。61は引き算回路で、メモリ60の出力する
入力画像から、前フィールドの予測誤差を引き算したフ
レーム間差分信号を変換符号化する。変換符号化に関し
ては、図4に示した実施例と同様である。
体を抽出することにより、画面上の重要な部分と、そう
でない部分を分け、各々の領域において異なる動作によ
って符号化することにより画面上の重要な部分の画質を
劣化させることなく、かつ、被写体以外の部分のビット
割当てを減らすことにより、符号化効率を高くすること
が出来る。また本実施例では、前述の実施例と同様、可
変長符号化回路64から出力される符号化された信号の
累積情報量を監視し、バッファがオーバーフローするこ
とのないように制御するが、上記符号化効率の向上によ
り、一定内に伝送できる画像のフレーム数を増やすこと
ができるので、動きの滑らかな動画像を伝送することが
できる。
る。図7は、本発明による撮像装置の一実施例を示すブ
ロック図である。70は、加工回路であり、その他の部
分は、図1の実施例と同様である。第1図に示した実施
例では、抽出回路の出力するキー信号によって、符号化
特性を変化させることにより符号化効率を高めたが、本
実施例では、符号化回路の前に加工回路70をプリフィ
ルタとして挿入してある。そして、抽出回路5の出力に
応じて、加工回路70の特性を変化させる。図8は、加
工回路の構成例を示すブロック図であり、80は、ロー
パスフィルタ、81は、YC変換回路である。制御回路
からの制御信号に応じて、ローパスフィルタ80と、Y
C変換回路の特性を変化させることができる構成となっ
ている。ローパスフィルタを最大にしたときは、背景を
消去することに相当する。またYC変換回路81は、輝
度信号Y、色信号Cに任意の割合で任意のレベルの信号
を加算することにより入力のY,C信号を変換する回路
である。この回路は、背景部分にフィルタ処理を施すだ
けでなく、Y,C信号のレベルを変化させることができ
るようにして、背景部分にローパスフィルタをかけたと
きの不自然さを取り除くようにしたものである。
かけることにより、特に重要でない被写体の背景部分の
情報量が低減されるので、符号化効率を高めることがで
きる。本実施例においても、符号化回路7は、図4ある
いは図6に示した構成とすれば良い。
被写体部分の画質を向上させることができると同時に、
動きを滑らかにすることができる。これは、1フレーム
あたりの画像情報量を大幅に圧縮できるので、一定時間
内に電送できるフレーム数を増大できるからである。
図9は、本発明による撮像装置の一実施例の構成を示す
ブロック図である。本実施例は、図1に示した実施例に
記録回路90、再生回路91を設け、磁気テープ等の記
録媒体91に符号化された信号を記録、再生できるよう
にしたものである。また、記録媒体91に記録された信
号は、再生回路91において再生された後、復号化回路
93で復号化された後、スイッチ94を介してD/A変
換8でディジタル信号に変換され、出力される。
施例と同様である。
図10は、本発明による撮像装置の一実施例の構成を示
すブロック図である。本実施例は、第1から第4の実施
例テレビ電話等に用いる画像伝送に応用した実施例であ
る。同図において、100は撮像部であり、図1や図7
に同一番号を付けたブロックに対応する部分である。1
01は、受信あるいは送信した画像を表示する液晶やC
RT(Cathode Rey Tube)等の表示装置である。104
は、画像コーデックであり、図9における符号化回路7
と、復号化回路93とからなり、送信画像の符号化と受
信画像の復号化を行なうものである。また、音声の処理
を行なうため、送受話を行なう送受話器103と、音声
信号の符号化、復号化を行なう音声コーデック106を
備えている。これらの音声処理は、公知の電話装置と同
様である。102は操作部であり、ダイヤル等のテレビ
電話の送受信に関する操作を行なうものである。この操
作部102では、被写体抽出のオンオフ切り替えや、抽
出する被写体の指定等も行なう。107はマルチメディ
ア多重、分離回路であり、送信時には画像コーデック1
04と音声コーデック106から出力される画像信号と
音声信号を多重する。この多重信号は、伝送インターフ
ェースにより、伝送路へ送り出される。また、受信時に
は伝送インターフェースから得られる画像と音声の多重
信号を分離して符号化された画像信号および音声信号を
各々画像コーデックと音声コーデックに供給する。画像
コーデックにおいて符号化を行なうときには、第1から
第3の実施例と同様に被写体抽出を行ない、抽出した被
写体情報を符号化に利用する。
の画像入力として用いることによりテレビ電話で必要な
送受信者の顔画像を高画質で送受信することができる。
また背景部分の情報量を前処理で低減することにより、
動きの滑らかな画像を送受信でき、画質の良いテレビ電
話を実現できる。
抽出領域とその他の領域でローパスフィルタとYC変換
回路の処理特性を変えるので、画像の中の重要な部分を
効率良く符号化することができ、符号化効率を高く、か
つ画質の良い撮像装置及び撮像装置を有するテレビ電話
装置を提供することができる。
ブロック図である。
路動作の説明図である。
である。
ブロック図である。
ブロック図である。
すブロック図である。
Claims (5)
- 【請求項1】 光学像を光電変換し、電気的な映像信号
を生成する撮像手段と、 該撮像手段から出力された映像信号から特定の物体を抽
出し、該抽出された物体の領域を表す抽出信号を出力す
る抽出手段と、 該映像信号にフィルタリング処理を施すローパスフィル
タと、YC変換回路とを有する加工手段と、 該加工手段から出力された映像信号を符号化する符号化
手段と、 前記抽出手段の出力する抽出信号に基づいて、特定物体
の抽出領域とそれ以外の領域で、該ローパスフィルタと
該YC変換回路の特性を変化させるように、該加工手段
における処理特性を制御する制御手段と、 を有することを特徴とする撮像装置。 - 【請求項2】 前記制御手段は、前記抽出信号に基づい
て前記符号化手段における符号化特性を変化させるよう
に制御することを特徴とする請求項1に記載の撮像装
置。 - 【請求項3】 前記符号化手段は、前記撮像手段の出力
する映像信号を直交変換する手段と、該直交変換された
信号を量子化する手段とを有し、 前記制御手段は、上記抽出手段の出力する抽出信号に基
づいて、特定物体の抽出領域とそれ以外の領域で、該量
子化する手段における量子化ビット数を変化させるよう
に制御することを特徴とする請求項2に記載の撮像装
置。 - 【請求項4】 前記抽出手段は、 入力された前記映像信号を2値化する複数の2値化手段
と、 該複数の2値化手段の論理和を演算する第1の演算手段
と、 該2値化された2値化信号の領域を拡大する第2の演算
手段と、 該第2の演算手段から出力された1フィールドまたは1フ
レーム前の信号と、該第1の演算手段から出力された信
号との論理積をとる演算手段とを有し、 該抽出信号として特定物体の存在する抽出領域を表す2
値信号を出力することを特徴とする請求項1乃至3のい
ずれか1項に記載の撮像装置。 - 【請求項5】 前記符号化された映像信号を送受信する
伝送インターフェースと、符号化および復号化を行なう
画像コーデックとを有するテレビ電話装置であって、請
求項1乃至4のいずれか1項に記載の撮像装置を有する
テレビ電話装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1081594A JP3239583B2 (ja) | 1994-02-02 | 1994-02-02 | 撮像装置及び撮像装置を有するテレビ電話装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1081594A JP3239583B2 (ja) | 1994-02-02 | 1994-02-02 | 撮像装置及び撮像装置を有するテレビ電話装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07222048A JPH07222048A (ja) | 1995-08-18 |
JP3239583B2 true JP3239583B2 (ja) | 2001-12-17 |
Family
ID=11760852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1081594A Expired - Fee Related JP3239583B2 (ja) | 1994-02-02 | 1994-02-02 | 撮像装置及び撮像装置を有するテレビ電話装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3239583B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4064022B2 (ja) * | 1999-03-31 | 2008-03-19 | 株式会社リコー | デジタルカメラ |
JP4701448B2 (ja) * | 2000-09-19 | 2011-06-15 | 株式会社メガチップス | 関心領域符号化方法 |
JP4686854B2 (ja) * | 2000-12-08 | 2011-05-25 | 株式会社ニコン | 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体 |
JP4517504B2 (ja) * | 2000-12-22 | 2010-08-04 | 株式会社ニコン | 画像符号化装置、電子カメラおよび記録媒体 |
FR2849329A1 (fr) * | 2002-12-20 | 2004-06-25 | France Telecom | Procede de codage d'une image par ondelettes, procede de decodage, dispositifs, signal et applications correspondantes |
-
1994
- 1994-02-02 JP JP1081594A patent/JP3239583B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07222048A (ja) | 1995-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10841580B2 (en) | Apparatus and method of adaptive block filtering of target slice based on filter control information | |
KR100616262B1 (ko) | 디지털 카메라 장치 및 기록 방법 | |
JP4186242B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
KR100803492B1 (ko) | 디지털 카메라와, 그것에 이용 가능한 메모리 제어 장치,화상 처리 장치 및 화상 처리 방법 | |
US9405989B2 (en) | Image processing apparatus and method | |
JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
US7444031B2 (en) | Image processing apparatus | |
EP0840516B1 (en) | Apparatus and method for predictive coding and decoding | |
WO2019003676A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JPH0795566A (ja) | 画像符号化方法および装置 | |
US20130022285A1 (en) | Image processing device and method | |
US20200195923A1 (en) | Image processing apparatus and image processing method | |
JP3239583B2 (ja) | 撮像装置及び撮像装置を有するテレビ電話装置 | |
JP3406924B2 (ja) | 画像処理装置及びその方法 | |
JPS6146684A (ja) | フレ−ム間符号化・復号化方式および装置 | |
JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
JP2776424B2 (ja) | セル廃棄補償画像復号化方式 | |
JPH0686130A (ja) | 画像処理装置 | |
JPH07162853A (ja) | 撮像装置 | |
JPH0865565A (ja) | 撮像記録装置 | |
JP2004236298A (ja) | 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム | |
JP2001008208A (ja) | 圧縮データ内容判別方法及び圧縮データ内容判別装置 | |
JP2000175200A (ja) | 高能率符号化装置及び高能率復号化装置 | |
JPH0530536A (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071012 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081012 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091012 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091012 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |