JP3080003B2

JP3080003B2 - カラー画像入力装置

Info

Publication number: JP3080003B2
Application number: JP08159828A
Authority: JP
Inventors: 敬訓田中
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-06-20
Filing date: 1996-06-20
Publication date: 2000-08-21
Anticipated expiration: 2016-06-20
Also published as: EP0814617A2; KR100267198B1; EP0814617A3; JPH1013846A; TW366653B; KR980007778A; JPH11146404A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はカラー画像入力装置
に関し、特に画像信号処理を信号処理構成が簡単かつ小
型・軽量・低消費電力で、雑音が少なく解像度の良いカ
ラー画像入力装置に関する。

【０００２】

【従来の技術】パーソナルコンピュータやワークステー
ションなどにカラー画像をデジタル化情報として取り込
む方法については、従来、ホームビデオカメラなどに代
表されるテレビジョンカメラと、映像信号をデジタル信
号化して取り込むためのビデオキャプチャ手段とを組み
合わせて用いている。

【０００３】テレビジョンカメラで被写体を撮像して得
られるカラーテレビジョン信号はアナログ映像信号であ
るためデジタル信号を処理するパーソナルコンピュータ
などに直接入力する事ができない。このためアナログ映
像信号をデジタル信号に変換してパーソナルコンピュー
タなどへ取り込むために前記のビデオキャプチャ手段を
必要としていた。このビデオキャプチャ手段にテレビジ
ョンカメラからのアナログのカラーテレビジョン信号を
入力し、このビデオキャプチャ手段ではアナログのカラ
ーテレビジョン信号を輝度信号と複数の色信号に分離し
た後、一個以上のアナログデジタル変換器（以下、ＡＤ
変換器と略記する。）でデジタル情報に変換しこのデジ
タル情報をパーソナルコンピュータなどに取り込んでい
た。

【０００４】図７はこの従来の方法の一例を示す模式図
である。図に於いて、画像を撮像するテレビジョンカメ
ラ３８から得られるカラーテレビジョン信号が、カラー
画像をデジタル情報として取り込むためのビデオキャプ
チャ手段３９に入力されている。

【０００５】テレビジョンカメラ３８は、色フィルタア
レイ４０が組み合わされた撮像素子４１から得られる出
力信号をアナログ信号処理手段４２で振幅調整や非線形
処理等のアナログ信号処理を行った後、ＡＤ変換器４３
でデジタル信号に変換する。次にこのデジタル信号をデ
ジタル信号処理手段４４において複数の色信号と輝度信
号に分離すると共に、帯域制限やガンマ補正等の映像信
号処理を行った後、デジタルのカラーテレビジョン信号
を形成する。次に、このデジタルのカラーテレビジョン
信号をデジタルアナログ変換器４５（以下、ＤＡ変換器
と略記する。）でアナログ信号に変換してカラーテレビ
ジョン信号を得ている。このテレビジョンカメラ３８の
構成は一例として、テレビジョン学会誌Ｖｏｌ．４５、
Ｎｏ．９、ｐｐ．１０６０〜１０６６“カメラ信号処理
回路のデジタル化”等に示されている。

【０００６】次に、このテレビジョンカメラ３８を用い
てカラー画像をデジタル情報として取り込んで記録する
ために、ＤＡ変換器４５から出力されたアナログカラー
テレビジョン信号をビデオキャプチャ手段３９に入力す
る。ビデオキャプチャ手段３９は、アナログ信号処理手
段４６によって、入力されたアナログカラーテレビジョ
ン信号から輝度信号と複数の色信号を分離し、次にこの
輝度信号と複数の色信号を複数のＡＤ変換器４７でデジ
タル信号に変換する。このデジタル信号を、画像信号処
理装置４８（例えばパーソナルコンピュータ）でデジタ
ル化されたカラー画像情報として取り込んでいる。

【０００７】すなわち、テレビジョンカメラからは通常
のテレビジョン受像機やＶＴＲに入力するためのアナロ
グ映像信号が出力されるため、パーソナルコンピュータ
などで処理できるデジタル信号に変換する信号処理が余
分に必要であった。

【０００８】

【発明が解決しようとする課題】以上述べた従来の方法
の第一の問題点は、カラー画像を撮像する手段における
信号処理構成が複雑なため、大型で消費電力が大きく、
高価格であることである。

【０００９】その理由は、従来の技術において、カラー
画像を撮像する手段としてカラーテレビジョンカメラを
使用しているが、前記図７において説明したとおり、カ
ラーテレビジョンカメラ３８は撮像素子４１の出力信号
からカラーテレビジョン信号を形成するために、撮像素
子４１の出力信号を、一旦、ＡＤ変換器４３でデジタル
信号に変換した後、デジタル信号処理手段４４において
映像信号処理を行ってデジタルのカラーテレビジョン信
号を得ているが、テレビジョンカメラからは通常のテレ
ビジョン受像機やＶＴＲに入力するためのアナログ映像
信号が出力される必要があるため、デジタルアナログ変
換器４５で、再度、アナログ映像信号に変換しなければ
ならず、アナログとデジタルの信号処理手段を備え、構
成が複雑であることにある。

【００１０】第二の問題点は、カラー画像をデジタル情
報として取り込む手段における構成が複雑であることで
ある。

【００１１】その理由は、従来の技術において、カラー
画像をデジタル情報として取り込むためにカラーテレビ
ジョンカメラを使用していたが、前記のとおり、カラー
テレビジョンカメラからは通常のテレビジョン受像機や
ＶＴＲに入力するためのアナログ映像信号が出力される
ため、これをデジタル信号化して取り込むためのビデオ
キャプチャ手段が必要である。このビデオキャプチャ手
段は前記図７において説明したとおり、ＡＤ変換器４７
の前にカラーテレビジョン信号から輝度と色信号を分離
するためのアナログ信号処理手段４６が必要であるた
め、構成が複雑であることにある。

【００１２】第三の問題点は、取り込んだカラー画像の
雑音や解像度が劣化し、画質が低いことである。

【００１３】その理由は、従来の技術のカラーテレビジ
ョンカメラにおいては、前記図７において説明したとお
り、撮像素子４１から得られる出力信号は、デジタル信
号処理手段４４において映像信号処理を行ってデジタル
のカラーテレビジョン信号を得るためにアナログ信号処
理手段４２とＡＤ変換器４３とを介し、さらにデジタル
信号処理手段４４の出力をＤＡ変換器４５でアナログカ
ラーテレビジョン信号に形成し、次にビデオキャプチャ
手段３９においては、この信号がさらに、ビデオキャプ
チャ手段３９でＡＤ変換器４７でデジタル信号に変換す
るためにアナログ信号処理手段４６を必要とし、多くの
信号処理を経由するため、各信号処理において雑音が劣
化する。さらに、カラーテレビジョンカメラ３８が前記
のとおり、通常のテレビジョン受像機やＶＴＲに入力す
るためのアナログ映像信号が出力される必要性からＤＡ
変換器４５を備えているが、このためにビデオキャプチ
ャ手段３９において再度、デジタル信号に変換するＤＡ
変換器４７が必要になっている。すなわち、アナログカ
ラーテレビジョン信号で接続するためのＤＡ変換とＡＤ
変換とが全くの無駄な処理である。また、この接続にお
いて、テレビジョンカメラ側のＡＤ／ＤＡ変換の変換ク
ロックパルスは撮像素子４１の画素に対応した周期と位
相であるのに対して、ビデオキャプチャ手段３９のＡＤ
変換の変換クロックパルスは取り込む画像に必要な周期
と位相であって、互いに周期と位相が異なるため解像度
が劣化することにある。

【００１４】本発明の目的は前記従来の欠点を解決する
ためになされたもので、パーソナルコンピュータやワー
クステーションなどの双方向入出力端子からデジタル信
号で画像信号を入力し、従来テレビジョンカメラで行っ
ていた信号処理をソフトウエアの処理で構成すること
で、信号処理構成が簡単で、小型、軽量、低消費電力で
あって、かつ、ビデオキャプチャ手段を必要とせず、雑
音が少なく、解像度の良いカラー画像入力装置を低価格
で実現することにある。

【００１５】

【課題を解決するための手段】本発明のカラー撮像装置
は、水平と垂直方向に所定の繰り返し周期で配列されて
なる色フィルタアレイが組み合わされ、輝度情報を表す
輝度信号に色情報を表す複数の色信号が変調成分として
多重化されて得られるように構成された二次元固体撮像
素子と、前記色フィルタアレイに対応して輝度信号に色
信号成分が変調成分として多重化されて得られる多重化
信号を多重化デジタル信号に変換するアナログデジタル
変換器と、該多重化デジタル信号を伝送するためのイン
ターフェース回路と、前記インターフェース回路から双
方向入出力端子を介して伝送された前記多重化デジタル
信号からソフトウエアによる信号処理によって三原色カ
ラー画像信号を分離する画像信号処理手段とを少なくと
も備え、前記画像信号処理手段は、双方向入出力端子か
ら、多重化デジタル信号を二次元固体撮像素子の駆動に
同期して１画素ごとに順次取り込む手段と、この順次取
り込んだ多重化デジタル信号から輝度信号成分と複数の
変調成分とを分離し、この輝度信号成分と複数の変調成
分から三原色信号を合成して二次元カラー画像信号を形
成する手段と、前記三原色信号の大きさに対応して白バ
ランスを調整する白バランス制御手段と、前記輝度信号
成分の大きさに対応して二次元固体撮像素子の光電変換
時間とアナログデジタル変換器に入力する信号の大きさ
とを調整する感度制御手段と、前記双方向入出力端子か
ら該感度制御を行う制御信号をインターフェース回路へ
送る手段を備えたことを特徴とする。また、前記画像信
号処理手段は、撮像画角もしくは撮像解像度の変更を制
御する手段を備えていてもよい。これはコンピュータの
ＣＰＵ内等でソフトウェア処理される。

【００１６】インターフェース回路は多重化デジタル信
号を画像信号処理手段に伝送すると共に、感度調整を行
う制御信号と撮像画角もしくは撮像解像度の変更を制御
する制御信号を画像信号処理手段から受け取る機能を備
えており、また前記双方向入出力端子との間の伝送速度
差を調停するため、及び前記撮像画角もしくは撮像解像
度の変更を行うための一時記憶手段を備えたことを特徴
とする。ここで前記一時記憶手段は二次元固体撮像素子
の、垂直方向には最初の走査線から所定数の走査線まで
と最後の走査線から遡った所定数の走査線まで、水平方
向には最初の画素から所定数の画素までと最後の画素か
ら遡った所定数の画素までを無効画素とし、この水平と
垂直方向の周囲の無効画素を除いた中央部の所定の画素
を有効画素として撮像できる画角を変更して単位時間あ
たりの画像フレーム数を変更し、他方、二次元固体撮像
素子の出力信号の、垂直方向には所定数の走査線おき
に、水平方向には所定数の画素おきに所定の画素を有効
画素として解像度を変更して単位時間あたりの画像フレ
ーム数が変更できるように前記二次元固体撮像素子の出
力信号を記憶または読み出しを行う。

【００１７】以上述べたような構成のカラー画像入力装
置において、前記画像信号処理装置は中央処理装置（Ｃ
ＰＵ）、具体的にはパーソナルコンピュータなどを使用
し、ソフトウエアで上記各信号処理を実現することがで
きる。この構成によれば、画像信号処理装置のソフトウ
エアで従来の各信号処理を実現するため、従来のカラー
テレビジョンカメラのような、アナログ信号処理手段と
デジタルの信号処理手段が不要で構成が簡単なため、小
型、軽量、低消費電力、低価格のカラー画像入力装置が
実現でき、かつ、従来のビデオキャプチャ手段が不要
で、ＡＤ変換器がカラー撮像素子の１画素ごとに対応し
たクロックパルスで変換したデジタル信号がそのまま信
号処理されるため従来のような解像度の劣化が無く、高
解像度の画像が低価格で得られる。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は本発明の実施
の形態を示す構成図である。

【００１９】図１を参照すると、色フィルタが水平と垂
直方向に所定の繰り返し周期で配列されて構成された色
フィルタアレイが組み合わされた二次元のカラー撮像素
子１を駆動回路２によって駆動し、被写体画像を撮像す
る。カラー撮像素子１は被写体に対応した入射光を受
け、前記色フィルタアレイによって、輝度情報を表す信
号に色情報を表す複数の信号が変調成分として多重化さ
れて得られる画像信号を出力する。カラー撮像素子１の
画像出力信号は次に、ＡＤ変換器３に供給される。ＡＤ
変換器３はこの画像出力信号を１画素ごとに対応した周
期と位相のクロックパルスでデジタル信号に変換する。
デジタル化された画像信号は前述のとおり、輝度情報を
表す信号に色情報を表す複数の信号が変調成分として多
重化された画像出力信号の振幅に対応したデジタル信号
である。次に、このデジタル化された画像信号は、カラ
ー撮像素子の駆動と対応した同期信号と共に、信号を入
出力するためのインターフェース回路４に送られる。

【００２０】タイミング回路５はインターフェース回路
４によって制御され、カラー撮像素子１を駆動するため
の水平と垂直クロックパルスを発生し、また、これに対
応した同期信号を発生する。さらに、ＡＤ変換器３とイ
ンターフェース回路４を制御すると共に、駆動するため
のクロックパルスを発生する。

【００２１】次に、デジタル化画像信号はインターフェ
ース回路４を介して接続された双方向の入出力端子６を
備えた画像信号処理装置７に入力される。画像信号処理
装置７はインターフェース回路４から双方向の入出力端
子６へ入力された同期信号に同期して、カラー撮像素子
１からの１画素毎のデジタル化画像信号を順次取り込
む。次に、この取り込まれたデジタル化画像信号に含ま
れた、輝度情報を表す信号と色情報を表す複数の信号と
から三原色のカラー画像信号を分離合成する。また、こ
の画像信号処理装置７は得られた三原色のカラー画像信
号のそれぞれの大きさを調整し、白バランスの制御を行
う。

【００２２】さらに、この画像信号処理装置７は取り込
まれたデジタル化画像信号の振幅を所定の大きさに制御
するため、カラー撮像素子１の光電変換を行う蓄積時間
の制御、および、ＡＤ変換器３に供給されるカラー撮像
素子１の出力信号の振幅の調整との二つの制御を行うた
めの信号を生成し、この二つの制御信号を双方向の入出
力端子６からインターフェース回路４を介してタイミン
グ回路５に送る。タイミング回路５はこの二つの制御信
号から、カラー撮像素子１を駆動するための駆動パルス
を制御して光電変換を行う蓄積時間を制御し、さらに、
ＡＤ変換器３に供給されるカラー撮像素子１の出力信号
の振幅を調整して感度調整を行う。

【００２３】以上述べた実施の形態において、前記画像
信号処理装置７は中央処理装置（ＣＰＵ）、具体的には
パーソナルコンピュータなどを使用し、ソフトウエアで
上記各信号処理を実現する。

【００２４】

【実施例】

（実施例１）次に、本発明のカラー画像入力装置の第一
の実施例について図面を参照して詳細に説明する。図２
と図３は本発明のカラー画像入力装置の第一の実施例を
示す構成図、図４は図２に示す実施例における信号処理
手段の動作を説明するフローチャートである。

【００２５】図２を参照すると、二次元固体撮像素子８
には色フィルタが水平と垂直方向に所定の繰り返し周期
で配列されて構成された色フィルタアレイ９が組み合わ
されてカラー撮像素子１を構成している。カラー撮像素
子１は被写体に対応した入射光を受け、前記色フィルタ
アレイ９によって、輝度情報を表す信号に色情報を表す
複数の信号が変調成分として多重化されて得られる画像
信号を出力する。このカラー撮像素子１から得られる出
力信号は雑音除去回路１０で雑音除去の信号処理、例え
ば、昭和５３年発行の”電荷転送デバイスＣＣＤ，ＢＢ
Ｄの基礎と応用”ｐ４９に記載の相関二重サンプリング
などの信号処理を行った後、アンプ１１で所定の大きさ
に振幅を調整する。アンプ１１で振幅調整された出力信
号は次にＡＤ変換器３に供給される。ＡＤ変換器３はこ
の画像出力信号をカラー撮像素子１の１画素ごとに対応
した周期と位相のクロックパルスでデジタル信号に変換
する。次に、このデジタル化された画像信号は、信号を
入出力するためのインターフェース回路４に送られる。

【００２６】インターフェース回路４は次に画像信号処
理装置へこのデジタル化画像信号を送る。この画像信号
処理装置はインターフェース回路４に接続された、デジ
タル化画像信号を受け取るとともに、カラー固体撮像素
子１の駆動の制御や感度調整等の制御信号を送り返すた
めの双方向入出力端子６と、取り込んだデジタル化画像
信号を記憶するためのメモリ１２と、取り込んだデジタ
ル化画像信号の処理とカラー固体撮像素子１の駆動の制
御や感度調整等の処理を行う信号処理手段１３から構成
されている。本実施例において具体的には、画像信号処
理装置はパーソナルコンピュータを使用して構成され、
図２において、双方向入出力端子６はパーソナルコンピ
ュータのデータ入出力用の端子であり、例えば、プリン
タ用入出力端子を使用することができる。インターフェ
ース回路４はこのプリンタ用入出力端子などの取り込み
速度との差がある場合にはこれを調停するために一時記
憶手段を備えることもできる。また、メモリ１２はパー
ソナルコンピュータのメモリであり、破線で囲まれた信
号処理手段１３はソフトウエア手段で構成されている。

【００２７】次に図２、図３および図４を参照して図２
に示す信号処理手段１３の動作について説明する。

【００２８】図２において、前記インターフェース回路
４は双方向入出力端子６へ、垂直同期信号と水平同期信
号と１画素ごとのクロック信号の全部か一部の信号とデ
ジタル化画像信号とを送る。取り込み手段１４はまずこ
の同期信号を検出（ステップＰ１）する。同期信号を検
出すると、後述するカラー撮像素子１の出力信号振幅を
調整するアンプ１１の増幅率を制御するための制御信号
と、カラー撮像素子１の光電変換の蓄積時間を制御する
ための制御信号と、画像の画角の大きさかあるいは解像
度の変更を行うための画像制御信号を双方向入出力端子
６とインターフェース回路４を介してデコーダＡ２６、
デコーダＢ２７へ送る（ステップＰ２）。

【００２９】次に双方向入出力端子６からデジタル化画
像信号を取り込み（ステップＰ３）、メモリ１２へ格納
（ステップＰ４）する。メモリ１２に格納されたデジタ
ル化画像信号から色信号成分と輝度信号成分を分離しこ
れを基に三原色信号を分離形成する。この輝度信号と三
原色信号の分離形成と併せて輝度検出手段１７は輝度信
号の大きさを検出し、これを基に、ゲイン制御手段１９
で、ＡＤ変換器３に供給されるカラー撮像素子１の出力
信号振幅を調整するアンプ１１の増幅率を制御するため
の制御信号を、さらに、蓄積時間制御手段２０で、カラ
ー撮像素子１の光電変換の蓄積時間を制御する制御信号
を形成し、前記増幅率の制御と光電変換の蓄積時間の制
御を組み合わせて感度の調整を行う。同様に、白バラン
ス検出手段１８は三原色信号の白バランスを検出（ステ
ップＰ５）する。

【００３０】前述のとおり、メモリ１２に格納されたデ
ジタル化画像信号は、輝度情報を表す信号に色情報を表
す複数の信号が変調成分として多重化された画像出力信
号の振幅に対応したデジタル信号である。図３は前記二
次元固体撮像素子８に組み合わされた色フィルタアレイ
９の色フィルタ配列の一例を示す模式図である。図３に
おいて、二次元固体撮像素子８の受光素子３１の第ｎ番
目の行にはマゼンタ（Ｍｇ）フィルタ３２と緑（Ｇ）フ
ィルタ３３が交互に配置され、第ｎ＋１番目の行の受光
素子にはシアン（Ｃｙ）フィルタ３４と黄色（Ｙｅ）フ
ィルタ３５が交互に配置され、第ｎ＋２番目の行の受光
素子には前記マゼンタ（Ｍｇ）と緑（Ｇ）フィルタが前
記第ｎ番目の行と逆位相に配置され、同様に第ｎ＋３番
目の受光素子には前記シアン（Ｃｙ）と黄色（Ｙｅ）フ
ィルタが前記第ｎ＋１番目の行と同位相に配置されて構
成された色フィルタアレイ９が組み合わされている。前
記二次元固体撮像素子８は垂直方向に隣接する前記第ｎ
番目と第ｎ＋１番目の受光素子の信号電荷を垂直転送レ
ジスタで加え合わせて第Ｎ番目の行の画像信号を、同様
に前記第ｎ＋２番目と第ｎ＋３番目の受光素子の信号電
荷を垂直転送レジスタで加え合わせて第Ｎ＋１番目の行
の画像信号を得るように駆動され、第Ｎ番目の行からは
（Ｍｇ＋Ｃｙ）→（Ｇ＋Ｙｅ）→・・・、第Ｎ＋１番目
の行からは（Ｇ＋Ｃｙ）→（Ｍｇ＋Ｙｅ）→・・・の順
序で画像信号が出力される。

【００３１】前述のとおり、メモリ１２に格納されたデ
ジタル化画像信号はこの二次元固体撮像素子８の出力画
像信号をデジタル化したデジタル化画像信号である。図
２において、このメモリ１２に格納されたデジタル化画
像信号から輝度信号処理手段１５において、水平方向に
は第Ｎ番目の行では（Ｍｇ＋Ｃｙ）と（Ｇ＋Ｙｅ）を平
均し、同様に第Ｎ＋１番目の行では（Ｇ＋Ｃｙ）と（Ｍ
ｇ＋Ｙｅ）を平均して、それぞれ第Ｎ番目の行と第Ｎ＋
１番目の行の広帯域の輝度信号を合成する。さらにこの
広帯域輝度信号から水平と垂直の輪郭信号等を形成す
る。

【００３２】他方、色信号処理手段１６において、同様
に、メモリ１２に格納されたデジタル化画像信号から、
第Ｎ番目の行では（Ｍｇ＋Ｃｙ）と（Ｇ＋Ｙｅ）の差を
とって色差信号Ｂ−Ｙ信号を、同様に第Ｎ＋１番目の行
では（Ｇ＋Ｃｙ）と（Ｍｇ＋Ｙｅ）の差をとって色差信
号Ｒ−Ｙ信号を得、さらに（Ｍｇ＋Ｃｙ）と（Ｇ＋Ｙ
ｅ）と（Ｇ＋Ｃｙ）と（Ｍｇ＋Ｙｅ）を平均した低域の
輝度信号を得、この二つの色差信号Ｂ−ＹとＲ−Ｙと低
域輝度信号を所定の大きさで互いに加算と減算してＲ、
Ｇ，Ｂの三原色信号を分離形成する。この色信号の分離
の際には前記色フィルタアレイ９の色フィルタ配列の繰
り返し周期が二次元固体撮像素子８の受光素子の繰り返
し周期よりも少ないことに起因して偽の色信号が発生す
るため、これを抑制して画質の劣化を防ぐ（ステップＰ
６）。

【００３３】次に、白バランス検出手段１８で検出され
た白バランスを基に、白バランス制御手段２１が補正手
段２２において前記色信号処理手段１６から得られる三
原色信号を制御して白バランスを補正（ステップＰ７）
して色再現を最適に調整する。補正手段２２はさらに白
バランス補正後の三原色信号に水平と垂直の輪郭信号等
を加算して解像度の補正を行う（ステップＰ８）。

【００３４】次に、ガンマ手段２３でガンマ補正を行っ
て（ステップＰ９）三原色の画像信号が得られる。得ら
れた三原色画像信号は、以後、水平と垂直に所定の順序
で配列し二次元のカラー画像を得る（ステップ１０）こ
とができる。

【００３５】この輝度信号と三原色信号の分離形成方法
と白バランス制御、解像度の補正、ガンマ補正、感度制
御などの信号処理に関しては、テレビジョン学会誌Ｖｏ
ｌ．４５、Ｎｏ．９、ｐｐ．１０６０〜１０６６、“カ
メラ信号処理回路のデジタル化”等に示されているとお
り、ハードウェアの信号処理で実現する方法が周知であ
るが、本発明においてはこの信号処理をすべてソフトウ
エアの信号処理で実現している。

【００３６】ステップＰ１０において１画面の画像を得
た後、取り込む画像が１画面のみの静止画であれば取り
込み動作が終了する。他方、連続して取り込み、動画像
を得る場合には最初のステップＰ１に戻り（ステップＰ
１１）次の画像の取り込みを行う。

【００３７】次に、図２において、インターフェース回
路４に備えられた一時記憶手段３０はインターフェース
回路４と双方向入出力端子６との間の伝送速度差を調停
する機能を持ち、これと同時に、画像制御手段２４によ
って制御され、取り込む画像の画角や解像度を変更する
ための手段である。画像制御手段２４は取り込む画像の
画角の大きさを変更できるようにカラー固体撮像素子１
の画素の、水平と垂直の周辺部を除いた所定の中央部の
みの画素を使用するか、あるいは取り込む画像の解像度
を変更できるように水平と垂直に所定の複数画素おきに
画素を間引いて使用するように一時記憶手段３０を制御
する。この制御を行うと画像の画角や解像度を変更でき
ることに加えて、画像の有効画素数を縮小することがで
きるから、インターフェース回路４から双方向入出力端
子６、取り込み手段１４を介してメモリ１２へデジタル
化画像信号を取り込む時間が短縮でき、これと同時に信
号処理手段１３での前記カラー画像を得る信号処理や白
バランス補正、感度制御などの信号処理時間が短縮でき
るから、単位時間当たりの画像のフレーム数を高速化す
ることができる。

【００３８】図５にこの画像制御手段２４で取り込む画
像の画角の大きさを変更できるようにカラー固体撮像素
子１の画素の、水平と垂直の周辺部を除いた所定の中央
部のみの画素を使用する制御方法を示す。図において、
前記カラー固体撮像素子１の全ての画素の領域を実線３
６で示す。ＡＤ変換器３から得られる全画素領域３６か
らのデジタル信号を前記一時記憶手段３０に書き込む。
通常のこの全有効画素を使用して撮像する場合には、一
時記憶手段３０に書き込まれている全画素領域３６のデ
ジタル信号を読み出して双方向入出力端子６に送る。一
方、取り込む画像の画角の大きさを変更する場合には、
一時記憶手段３０に書き込まれている全画素領域３６中
の一点鎖線３７で示す画素数を縮小した領域を有効画素
領域として使用するように、垂直方向の記号ｖ１とｖ３
で示す領域の走査線と、また、記号ｖ２で示す領域の走
査線の水平方向の記号ｖ２１とｖ２３で示す領域を使用
しないように読み出して双方向入出力端子６に送る。

【００３９】同様に図６にこの画像制御手段２４で取り
込む画像の解像度を変更できるように水平と垂直に所定
の複数画素おきに画素を間引いて使用する制御方法を示
す。前述のとおり、カラー撮像素子１には色フィルタが
水平と垂直方向に所定の繰り返し周期で配列されて構成
された色フィルタアレイ９が組み合わされているから通
常はこの全ての色フィルタに対応した出力信号を使用し
て信号処理を行うが、解像度を変更する場合には、図６
に斜線で示す画素を用いる。すなわち、一時記憶手段３
０に書き込まれている全画素領域３６のデジタル信号中
の、垂直方向には、色フィルタの繰り返しに対応して第
Ｎ行と第Ｎ＋１行（Ｌ１とＬ２、Ｌ５とＬ６・・・）か
らの出力信号を有効信号とし、水平方向には色フィルタ
の繰り返しに対応して２画素おきに有効信号として読み
出して双方向入出力端子６に送る。なお、図６におい
て、ａは（Ｍｇ＋Ｃｙ）、ｂは（Ｇ＋Ｙｅ）、ｃは（Ｇ
＋Ｃｙ）、ｄは（Ｍｇ＋Ｙｅ）である。

【００４０】なお、図５の画像の画角の大きさの変更と
図６の解像度の変更は一時記憶手段３０に書き込まれて
いる全画素領域３６のデジタル信号中の読み出しで行っ
たが、これは書き込み時に行っても全く同様である。

【００４１】次に、図２において、送出手段２５はゲイ
ン制御手段１９と、蓄積時間制御手段２０と、画像制御
手段２４で形成された制御信号を双方向入出力端子６と
インターフェース回路４を介してデコーダＡ２６、デコ
ーダＢ２７へ送る。なお、この制御信号の送出は図４の
フローチャートのステップＰ２で行われる。

【００４２】前記デコーダＡ２６はゲイン制御手段１９
からの増幅率を制御するための制御信号を受け、アンプ
１１の増幅率を制御すると共に、蓄積時間制御手段２０
からカラー撮像素子１の光電変換の蓄積時間を制御する
制御信号を受け、タイミング回路５の蓄積時間制御パル
ス発生回路２８を制御し、蓄積時間制御パルス発生回路
２８はカラー撮像素子１の光電変換の蓄積時間制御パル
スを発生する。この蓄積時間制御パルスは駆動パルス発
生回路２９で形成されたカラー撮像素子１を駆動する駆
動パルスと共に駆動回路２に供給される。駆動回路２は
この駆動パルスと前記蓄積時間制御パルスを用いてカラ
ー撮像素子１を駆動する。

【００４３】同様に、デコーダＢ２７は画像制御手段２
４からの画像制御信号を受け、これを基に一時記憶手段
３０を制御して、前述した画像の画角の大きさの変更
と、解像度の変更を行う。

【００４４】なお、以上の説明においては色フィルタア
レイの配列はＭｇ，Ｇ，Ｃｙ，Ｙｅの４色をモザイク状
に配列して例について説明したが、詳細な説明から明ら
かなとおり、本発明は従来のハードウエアによる信号処
理をソフトウェアによって実現しており、色フィルタの
色配列は限定されるものではなく、例えば、緑（Ｇ）フ
ィルタと赤（Ｒ）フィルタと青（Ｂ）フィルタ、あるい
は、白（Ｗ）フィルタ、マゼンタ（Ｍｇ）フィルタ、黄
色（Ｙｅ）フィルタ、シアン（Ｃｙ）フィルタなどを市
松状やストライプ状に配列して構成した色フィルタアレ
イを使用しても同様に本発明を実現できる。

【００４５】

【発明の効果】以上述べたように本発明のカラー画像装
置によれば、画像信号処理装置のソフトウエアで従来の
色信号と輝度信号などの画像信号処理や、ゲイン制御、
カラー撮像素子の光電変換蓄積時間制御などの制御を実
現するため、従来のカラーテレビジョンカメラが備えて
いたような、アナログ信号処理手段とデジタルの信号処
理手段が不要となり、その結果、構成が簡単なため、小
型、軽量、低消費電力、低価格のカラー画像入力装置が
実現できる。

【００４６】また、従来のような多くの信号処理を経由
しないため、各信号処理において雑音が劣化せず、さら
に、画像信号処理装置の双方向入出力端子から画像信号
が入力できるため、従来のビデオキャプチャ手段が不要
であり、その結果、ＡＤ変換器がカラー撮像素子の１画
素ごとに対応したクロックパルスで変換したデジタル信
号がそのまま信号処理されるため従来のような解像度の
劣化が無く、雑音が少なく、高解像度の画像が得られ
る。同時に、従来のビデオキャプチャ手段が不要である
からこれによっても低価格にできる。

【図面の簡単な説明】

【図１】本発明のカラー画像入力装置の実施形態を示す
ブロック図である。

【図２】本発明のカラー画像入力装置の実施例を示すブ
ロック図である。

【図３】実施例における色フィルタアレイを示す模式図
である。

【図４】図２に示す実施例における信号処理手段の動作
を説明するフローチャートである。

【図５】実施例における、画角を縮小して単位時間当た
りの画像のフレーム数を高速化する方法の動作を示す説
明図である。

【図６】実施例における、解像度を低くして単位時間当
たりの画像のフレーム数を高速化する方法の動作を示す
説明図である。

【図７】従来のカラー画像をデジタル化情報として取り
込んで記録する方法を示すブロック図である。

【符号の説明】

１カラー撮像素子２駆動回路３ＡＤ変換器４インターフェース回路５タイミング回路６双方向入出力回路７画像信号処理装置８二次元固体撮像素子９色フィルタアレイ１０雑音除去回路１１アンプ１２メモリ１３信号処理手段１４取り込み手段１５輝度信号処理手段１６色信号処理手段１７輝度検出手段１８白バランス検出手段１９ゲイン制御手段２０蓄積時間制御手段２１白バランス制御手段２２補正手段２３ガンマ手段２４画像制御手段２５送出手段２６、２７デコーダＡ、デコーダＢ２８蓄積時間制御パルス発生回路２９駆動パルス発生回路３０一時記憶手段３１受光素子３２マゼンタフィルタ３３緑フィルタ３４シアンフィルタ３５黄色フィルタ３６全画素領域３７縮小した有効画素領域３８テレビジョンカメラ３９ビデオキャプチャ手段４０色フィルタアレイ４１撮像素子４２アナログ信号処理手段４３ＡＤ変換器４４デジタル信号処理手段４５ＤＡ変換器４６アナログ信号処理手段４７ＡＤ変換器４８パーソナルコンピュータ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/04 - 9/11 H04N 5/225 - 5/253 H04N 9/64 - 9/78

Claims

(57)【特許請求の範囲】

【請求項１】水平と垂直方向に所定の繰り返し周期で配
列されてなる色フィルタアレイが組み合わされ、輝度情
報を表す輝度信号に色情報を表す複数の色信号が変調成
分として多重化されて得られるように構成された二次元
固体撮像素子と、前記色フィルタアレイに対応して輝度信号に色信号成分
が変調成分として多重化されて得られる多重化信号を多
重化デジタル信号に変換するアナログデジタル変換器
と、該多重化デジタル信号を伝送するためのインターフェー
ス回路と、前記インターフェース回路から双方向入出力端子を介し
て伝送された前記多重化デジタル信号からソフトウエア
による信号処理によって三原色カラー画像信号を分離す
る画像信号処理手段とを少なくとも備え、前記画像信号処理手段は、双方向入出力端子から、多重
化デジタル信号を二次元固体撮像素子の駆動に同期して
１画素ごとに順次取り込む手段と、この順次取り込んだ多重化デジタル信号から輝度信号成
分と複数の変調成分とを分離し、この輝度信号成分と複
数の変調成分から三原色信号を合成して二次元カラー画
像信号を形成する手段と、前記三原色信号の大きさに対応して白バランスを調整す
る白バランス制御手段と、前記輝度信号成分の大きさに対応して二次元固体撮像素
子の光電変換時間とアナログデジタル変換器に入力する
信号の大きさとを調整する感度制御手段と、前記双方向入出力端子から該感度制御を行う制御信号を
インターフェース回路へ送る手段を備えたことを特徴と
するカラー画像入力装置。
【請求項２】前記画像信号処理手段が撮像画角もしくは
撮像解像度の変更を制御する手段を備えたことを特徴と
する請求項１記載のカラー画像入力装置。
【請求項３】インターフェース回路は多重化デジタル信
号を画像信号処理手段に伝送すると共に、感度調整を行
う制御信号と撮像画角もしくは撮像解像度の変更を制御
する制御信号を画像信号処理手段から受け取る手段を備
えたことを特徴とする請求項２記載のカラー画像入力装
置。
【請求項４】インターフェース回路は前記双方向入出力
端子との間の伝送速度差を調停するための一時記憶手段
を備えたことを特徴とする請求項３記載のカラー画像入
力装置。
【請求項５】インターフェース回路は前記撮像画角もし
くは撮像解像度の変更を行うための一時記憶手段を備え
たことを特徴とする請求項３記載のカラー画像入力装
置。
【請求項６】前記一時記憶手段は前記二次元固体撮像素
子の出力信号の書き込みか読み出しを画像の画角あるい
は画像の解像度を変更するように行う機能を備えたこと
を特徴とする請求項５記載のカラー画像入力装置。
【請求項７】前記双方向入出力端子がコンピュータのデ
ータ入出力用の端子であることを特徴とする請求項１か
ら６のいずれかに記載のカラー画像入力装置。
【請求項８】前記画像信号処理手段が、前記インターフ
ェース回路から前記双方向入出力端子へ伝送された同期
信号を検出するステップと、前記二次元固体撮像素子の出力信号振幅を調整するアン
プの増幅率を制御するための制御信号と、前記二次元固体撮像素子の光電変換の蓄積時間を制御す
るための制御信号と、画像の画角あるいは解像度の変更を行うための画像制御
信号からなる三種の制御信号を前記双方向入出力端子と
前記インターフェース回路を介してデコーダに伝送する
ステップと、前記多重化デジタル信号を前記双方向入出力端子から取
り込み、メモリに格納するステップと、前記メモリに格納された多重化デジタル信号から三原色
信号を分離形成し、かつ輝度信号の大きさを検出して前
記三種の制御信号を形成して感度の調整を行い、あわせ
て白バランスを検出するステップと、色信号の分離の際におこる偽色信号を抑制するステップ
と、検出された白バランスをもとに白バランス制御手段によ
って前記三原色信号を制御して白バランスを補正するス
テップと、白バランス補正後の三原色信号の解像度の補正を行うス
テップと、得られた信号にガンマ補正を行い三原色の画像信号を得
るステップとからなるソフトウェアから実現されること
を特徴とする請求項１に記載のカラー画像入力装置。