JPWO2006043483A1 - 映像信号処理装置 - Google Patents

Abstract

低コストで電子ズーム機能を実現することができる映像信号処理装置を提供すること。 撮像素子１２から出力された映像信号は、アナログ前処理手段１３により、ノイズ除去とゲイン調整された後、Ａ／Ｄ変換器１４により水平同期信号およびＡ／Ｄ変換のクロックに従ってディジタル信号に変換され、Ｙ／Ｃ信号処理手段１５により、輝度信号及び色差信号が生成され、ライン遅延手段１６により、１水平走査期間遅延される。内挿手段１８は、Ｙ／Ｃ信号処理手段１５の出力とライン遅延手段１６の出力からズーム制御手段１７の出力する垂直内挿係数に従って垂直方向の内挿処理を行い、ズーム制御手段１７の出力する水平内挿係数に従って水平方向に隣接する画素間で水平方向の内挿処理を行う。

Description

本発明は映像信号の電子ズーム処理を行う映像信号処理装置に関するものである。

一般的なビデオカメラ等では、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の固体撮像素子で撮像した映像信号を電子ズーム処理により拡大や縮小している（例えば、特許文献１参照）。

図１３は、従来の電子ズームを用いる撮像装置のブロック図である。

図１３に示すように、従来の撮像装置は、撮像レンズ・絞り・フィルターを有するレンズ５１と、撮像素子であるＣＣＤ５２と、ガンマ補正・ローパスフィルター・クリップ回路を有する撮像信号処理回路５３と、アナログ信号をディジタル信号に変換するＡＤコンバータ（ＡＤＣ）５４と、１フレームごとの撮像信号を格納するフレームメモリ５５と、画像の画素間データを補間する補間回路５６と、画像のエッジ強調を行うエッジ強調処理回路５７と、ディジタル信号をアナログ信号に変換するＤＡコンバータ（ＤＡＣ）５８と、撮像信号を記録する記録回路５９と、フレームメモリ５５の書込みアドレスを指定する書込みアドレスコントローラ６０と、フレームメモリ５５の読出しアドレスを指定する読出しアドレスコントローラ６１と、テレ（望遠）とワイド（広角）とを切り替えるテレワイド（Ｔ／Ｗ）切替スイッチ６２と、テレワイド切替スイッチ６２の切替状態に応じて電子ズームの倍率を発生する倍率発生回路６３とを備えている。

このような撮像装置において、電子ズームの機能は、フレームメモリ５５と、書込みアドレスコントローラ６０と、読出しアドレスコントローラ６１と、補間回路５６と、倍率発生回路６３とによって実現されている。

この撮像装置においては、ＡＤコンバータ５４でＡＤ変換された信号は、書込みアドレスコントローラ６０に指示されたフレームメモリ５５内のアドレスに書き込まれる。１フレーム分書き込まれた後、倍率発生回路６３の指示により、読出しアドレスコントローラ６１が読出しアドレスを生成し、そのアドレスから信号が読み出される。

読み出された信号は、倍率発生回路６３の指示に基づいて補間回路５６により補間されることで所望の倍率の撮像信号が得られる。
特開平７−１７０４６１号公報

しかしながら、このような従来の撮像装置においては、撮像素子の出力信号を１フレーム（１画面）分記憶することができるフレームメモリが必要となるが、このフレームメモリは、一般的に高価であるため、コストアップに繋がるという問題点があった。また、部品点数が増大し、カメラ形状が大きくなるという問題もあった。

本発明は、従来の問題を解決するためになされたもので、低コストで電子ズーム機能を実現することができる映像信号処理装置を提供することを目的とする。

本発明の映像信号処理装置は、映像信号を１水平走査期間分遅延させるライン遅延手段と、前記映像信号と前記ライン遅延手段の出力から垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する内挿手段とを備える構成を有している。

この構成により、内挿処理が水平方向と垂直方向に分けて行われ、垂直方向の処理は１ライン毎に行われるので、フレームメモリを使う必要が無くなることとなる。

さらに、前記内挿手段が出力する信号を少なくとも２ラインずつ使って垂直方向の補間処理を行うとともに、水平方向に隣接する画素間で水平方向の補間処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する補間手段を備える構成とした。

この構成により、内挿処理とともに補間処理も行われ、縮小から拡大まで任意の倍率で電子ズームを行うことができる。

また、本発明の映像信号処理装置は、水平同期信号及び垂直同期信号に同期して映像信号を出力する映像信号出力手段と、前記映像信号を前記水平同期信号の１周期と同じ期間分遅延するライン遅延手段と、前記ライン遅延手段が遅延した映像信号を前記映像信号出力手段が出力した映像信号と比較し、前記ライン遅延手段が遅延した映像信号によって表わされる映像の垂直方向に隣接する画素間を内挿する内挿手段と、垂直倍率に応じて前記垂直方向に隣接する画素間を内挿するよう前記内挿手段を制御するズーム制御手段とを備える構成を有している。

この構成により、フレームメモリを使うことなく垂直方向の画素間の内挿処理を実行することができる。

また、前記内挿手段は、更に、前記垂直方向に隣接する画素間が内挿された映像の水平方向に隣接する画素間を内挿し、前記ズーム制御手段は、水平倍率に応じて前記水平方向に隣接する画素間を内挿するよう前記内挿手段を制御する構成を有している。

この構成により、フレームメモリを使うことなく水平方向の画素間の内挿処理を実行することができる。

さらに、前記ズーム制御手段は、前記ライン遅延手段によって遅延される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成を有している。

この構成により、水平方向の画素間の内挿処理を実行したあとで垂直方向の画素間の内挿処理を実行することができる。

さらに、前記内挿手段は、前記垂直方向に隣接する画素間を内挿した映像が示された映像信号を生成する垂直内挿手段と、前記水平方向に隣接する画素間を内挿した映像が示された映像信号を生成する水平内挿手段とを有し、前記ズーム制御手段は、前記垂直内挿手段が生成した映像信号の有効な期間を垂直ライン有効フラグで指示する垂直ズーム制御手段と、前記水平内挿手段が生成した映像信号の有効な期間を水平ライン有効フラグで指示する水平ズーム制御手段と、前記水平ライン有効フラグと前記垂直ライン有効フラグの指示に応答し、前記水平方向と前記垂直方向の両方が有効な期間を示す有効フラグ信号を生成し、前記生成した有効フラグ信号を前記水平内挿手段が生成する映像信号に同期して出力する論理積回路を有する構成とした。

この構成により、垂直方向の内挿処理と水平方向の内挿処理を個別に行うことができる。

さらに、前記垂直ズーム制御手段は、前記垂直倍率から垂直内挿係数を算出し、前記垂直内挿手段は、前記ライン遅延手段が遅延した映像信号に前記垂直倍率を乗算する第１の乗算器と、前記映像信号出力手段が出力した映像信号に前記垂直倍率の補数を乗算する第２の乗算器と、前記垂直倍率が乗算された映像信号と前記垂直倍率の補数が乗算された映像信号との和を示す映像信号を生成する加算器とを有し、前記垂直ズーム制御手段は、前記垂直内挿手段が、前記加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して前記水平内挿手段に出力するよう制御する構成とした。

この構成により、垂直倍率から算出する垂直内挿係数を使って垂直方向の内挿処理を容易に行うことができる。

さらに、前記水平ズーム制御手段は、前記水平倍率から水平内挿係数を算出し、前記水平内挿手段は、前記垂直内挿手段から受け取った映像信号を１画素分遅延する１画素遅延手段と、前記垂直内挿手段から受け取った映像信号に前記水平内挿係数を乗算する第１の乗算器と、前記１画素遅延手段が遅延した映像信号に前記水平内挿係数の補数を乗算する第２の乗算器と、前記水平内挿係数を乗算した映像信号と前記水平内挿係数の補数を乗算した映像信号の和を示す映像信号を生成する加算器とを有し、前記水平ズーム制御手段は、前記水平内挿手段の加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して出力する構成とした。

この構成により、水平倍率から算出する水平内挿係数を使って水平方向の内挿処理を容易に行うことができる。

さらに、前記ライン遅延手段は、映像信号が表わす映像の水平方向の１ライン分を記憶することが可能な３つのバンクを有するライン記憶手段によって構成され、前記ライン記憶手段は、前記３つのバンクの内の１つ目のバンクから順次前記水平方向の１ライン分の映像を書き込み、３つ目のバンクに１ライン分の映像を書き込み後、前記１つ目のバンクに戻って、先に書き込んだ前記１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで前記３つのバンクへの書込み動作を繰り返し、前記ライン記憶手段は、前記３つバンクの何れか１つに書き込むとき、前記３つのバンクの内の残りの２つに記憶されている２ライン分の映像を読み出し、前記読み出した２ライン分の映像を前記内挿手段に出力し、前記内挿手段は、前記ライン記憶手段が読み出した２ライン分の映像の垂直方向に隣接する画素間を内挿する構成とした。

この構成により、３つのバンクの内の１つ目のバンクから順次水平方向の１ライン分の映像を書き込み、３つ目のバンクに１ライン分の映像を書き込み後、１つ目のバンクに戻って、先に書き込んだ１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで３つのバンクへの書込み動作を繰り返すようにしているので、容易に、垂直方向の隣接する画素間の内挿処理を実行することができる。

さらに、前記ズーム制御手段は、前記ライン記憶手段に記憶される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成とした。

この構成により、水平方向の内挿処理と垂直方向の内挿処理の順序を容易に変更することができる。

本発明によれば、ライン遅延手段で遅延したラインと入力されたラインとにより垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行っているので、フレームメモリを使う必要が無く、低コストで電子ズーム機能を実現することができる。

図１は、本発明の第１の実施の形態における映像信号処理装置のブロック図である。 図２は、本発明の第１の実施の形態における映像信号処理装置の同期信号と撮像素子の出力信号を示すタイミングチャートである。 図３は、本発明の第１の実施の形態における映像信号処理装置のズーム制御手段と内挿手段のブロック図である。 図４は、本発明の第１の実施の形態における映像信号処理装置の垂直内挿手段のブロック図である。 図５は、本発明の第１の実施の形態における映像信号処理装置の垂直内挿の動作を示すタイミングチャートである。 図６は、本発明の第１の実施の形態における映像信号処理装置の水平内挿手段のブロック図である。 図７は、本発明の第１の実施の形態における映像信号処理装置の水平内挿の動作を示すタイミングチャートである。 図８は、本発明の第１の実施の形態における映像信号処理装置の電子ズーム処理後の出力信号を示すタイミングチャートである。 図９は、本発明の第２の実施の形態における映像信号処理装置のブロック図である。 図１０は、本発明の第２の実施の形態における映像信号処理装置の補間手段のブロック図である。 図１１は、本発明の第２の実施の形態における映像信号処理装置の垂直補間の動作を示すタイミングチャートである。 図１２は、本発明の第２の実施の形態における映像信号処理装置の水平補間の動作を示すタイミングチャートである。 図１３は、従来の撮像装置のブロック図である。

符号の説明

１１ レンズ
１２ 撮像素子
１３ アナログ前処理手段
１４ アナログデジタル（Ａ／Ｄ）変換器
１５ Ｙ／Ｃ信号処理手段
１６ ライン遅延手段
１７ ズーム制御手段
１８ 内挿手段
１９ 撮像素子駆動手段
２１ 補間手段
１７１ 垂直ズーム制御手段
１７２ 水平ズーム制御手段
１７３ 論理積回路
１８１ 垂直内挿手段
１８１ａ 演算部
１８１ｂ 第１の乗算器
１８１ｃ 第２の乗算器
１８１ｄ 加算器
１８２ 水平内挿手段
１８２ａ 演算部
１８２ｂ 第１の乗算器
１８２ｃ １画素遅延手段
１８２ｄ 第２の乗算器
１８２ｅ 加算器
２１１ ライン記憶手段
２１２ 垂直補間演算手段
２１３ 画素記憶手段
２１４ 水平補間演算手段
２１５ 垂直補間制御手段
２１６ 水平補間制御手段
５１ レンズ
５２ ＣＣＤ
５３ 撮像信号処理回路
５４ ＡＤコンバータ（ＡＤＣ）
５５ フレームメモリ
５６ 補間回路
５７ エッジ強調処理回路
５８ ＤＡコンバータ（ＤＡＣ）
５９ 記録回路
６０ 書込みアドレスコントローラ
６１ 読出しアドレスコントローラ
６２ テレワイド（Ｔ／Ｗ）切替スイッチ
６３ 倍率発生回路

以下、図面を参照し、本発明の実施の形態の映像信号処理装置について説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の映像信号処理装置の構成を示すブロック図である。

図１に示すように、本実施の形態の映像信号処理装置は、光を集光し、像が予め設定された位置に結像するようフォーカス調整を行うレンズ１１と、レンズ１１が集光した光を電気信号に変換し、予め設定された位置に結像した像を示すナログ映像信号を生成する撮像素子１２と、撮像素子１２から出力されたアナログ映像信号をアナログ前処理し、アナログ映像信号のノイズ除去とゲイン調整を行うアナログ前処理手段１３と、アナログ前処理手段１３によってアナログ前処理されたアナログ映像信号をデジタル信号に変換するアナログデジタル変換器（以下単にＡ／Ｄ変換器という）１４と、Ａ／Ｄ変換器１４から出力されたデジタル信号に対して輝度（Ｙ）信号処理と色差（Ｃ）信号処理を行い、輝度信号及び色差信号を生成するＹ／Ｃ信号処理手段１５と、撮像素子１２を駆動する駆動パルス信号（水平同期信号及び垂直同期信号を含む）を生成する撮像素子駆動手段１９と、Ｙ／Ｃ信号処理手段１５が生成した輝度信号及び色差信号を予め設定された時間だけ遅延するライン遅延手段１６と、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号の内挿処理を行う内挿手段１８と、内挿手段１８が内挿処理を行うよう制御するズーム制御手段１７と、内挿処理に必要な垂直倍率と水平倍率をズーム制御手段１７に設定する図示しない倍率設定手段とを備えている。

ここで、アナログ前処理手段１３と、Ａ／Ｄ変換器１４と、Ｙ／Ｃ処理手段１５と、撮像素子駆動手段１とが映像信号出力手段を構成している。映像信号出力手段は、映像信号を水平同期信号及び垂直同期信号に同期してライン遅延手段１６と内挿手段１８に出力するようになっている。

ここで、本実施例のライン遅延手段１６の予め設定された遅延時間は、水平同期信号の１周期（１水平走査期間）と同じである。

図２は、撮像素子１２が生成するアナログ映像信号の水平同期信号及び垂直同期信号に対するタイミングを示すタイミングチャートである。

図２に示すように、撮像素子１２は、水平同期信号及び垂直同期信号に同期してアナログ映像信号をＹ／Ｃ信号処理手段１５に出力するようになっている。一方、Ｙ／Ｃ信号処理手段１５は、水平同期信号及び垂直同期信号に同期して輝度信号及び色差信号をライン遅延手段１６と内挿手段１８に出力するようになっている。

内挿手段１８は、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号とライン遅延手段１６が遅延した輝度信号及び色差信号を水平同期信号及び垂直同期信号に同期して取得するようになっている。したがって、内挿手段１８は、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号よりも水平同期信号の１周期に等しい時間だけ遅れた輝度信号及び色差信号をライン遅延手段１６から取得できるので、垂直方向に隣接した２つの画素の輝度と色差夫々について容易に比較することができる。

なお、本実施例では、Ｙ／Ｃ信号処理手段１５が、Ａ／Ｄ変換器１４で変換されたデジタル信号から輝度信号及び色差信号を生成するようになっているが、輝度信号及び色差信号の代わりに、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）信号を生成するようにしてもよい。したがって、内挿手段１８が、ＲＧＢ信号の内挿処理を行うようにしてもよい。

次に、図３を参照し、本実施の形態の映像信号処理装置のズーム制御手段１７と内挿手段１８の構成を更に詳しく説明する。なお、ＲＢＧ信号であっても、輝度信号及び色差信号の内挿処理と同じように電子ズーム処理することができるので、輝度信号及び色差信号やＲＢＧ信号のように信号の種類を明記しないで説明する。

電子ズーム処理では、垂直方向の内挿処理と水平方向の内挿処理を独立に行えばよいため、図３に示すように、ズーム制御手段１７は、垂直方向のズーム制御を行う垂直ズーム制御手段１７１と、水平方向のズーム制御を行う水平ズーム制御手段１７２と、垂直ズーム制御手段１７１が出力する垂直ライン有効フラグと水平ズーム制御手段１７２が出力する水平画素有効フラグとの論理積をとる論理積回路１７３とを備えており、内挿手段１８は、垂直方向の処理を行う垂直内挿手段１８１と、水平方向の処理を行う水平内挿手段１８２とを備えている。

まず、垂直方向の内挿処理を行う垂直ズーム制御手段１７１と垂直内挿手段１８１とについて説明する。

図４は、垂直内挿手段１８１の構成を更に詳しく示すブロック図である。図４に示すように、垂直内挿手段１８１は、入力される垂直内挿係数αｖから１−αｖを演算する演算部１８１ａと、入力される垂直内挿係数αｖとＹ／Ｃ信号処理手段１５の出力とを乗算する第１の乗算器１８１ｂと、演算部１８１ａの出力する１−αｖとライン遅延手段１６の出力とを乗算する第２の乗算器１８１ｃと、第１の乗算器１８１ｂの出力と第２の乗算器１８１ｃの出力とを加算する加算器１８１ｄとを備えている。

図５は、垂直倍率２／３の場合の映像信号処理装置の動作例を、垂直同期信号と、Ｙ／Ｃ信号処理手段１５の出力信号と、ライン遅延手段１６の出力信号と、垂直内挿手段１８１の出力信号と、垂直ライン有効フラグのタイミングチャートで示している。ここで、垂直倍率２／３とは、垂直内挿手段１８１の入力画素数：垂直内挿手段１８１の出力画素数＝３：２を意味している。また、図５では、１垂直走査期間中の有効ライン数が１２ラインの例を示している。

図５において、Ｖ（０），Ｖ（１），…，Ｖ（１１）は、垂直内挿手段１８１への入力信号であり、１ライン分の各画素に対応していることを示している。ライン遅延手段１６からの出力信号は、Ｙ／Ｃ信号処理手段１５の出力の１ライン遅れとなっている。Ｗ（０），Ｗ（１），…，Ｗ（７）は、垂直内挿手段１８１の出力信号であり、１ライン分の各画素に対応していることを示している。

垂直内挿手段１８１では、次式に基づいて、入力信号Ｖ（ｉ）（ｉ＝０，１，２，…，１１）から出力信号Ｗ（ｊ）（ｊ＝０，１，２，…，７）を生成するようになっている。
Ｗ（ｊ）＝（１−αｖ）×Ｖ（ｉｎｔ（βｖ））＋αｖ×Ｖ（ｉｎｔ（βｖ）＋１）
ここで、
βｖ＝ｊ／垂直倍率＝ｊ×３／２
αｖ＝βｖ−ｉｎｔ（βｖ）
ｉｎｔ（β）は、βの小数点以下を切り捨てて、整数にしている。

なお、上式は、２点からの線形内挿の演算式であるが、高次の内挿を行ってもよい。

また、垂直内挿手段１８１において、出力信号Ｗ（ｊ）の演算を行うためには、入力信号Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が必要となるため、Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が入力されるラインで演算を行ようにしている。つまり、ライン毎にＶ（ｉ）が入力されるが、全ラインで演算する必要は無く、Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が入力されたときだけ演算すればよい。なお、１ライン中の演算は各画素単位で行い、同一の水平位置の画素に対して行う必要がある。

この演算を行っているラインにおいて、垂直内挿手段１８１の出力信号が有効となり、それ以外のラインにおける出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この垂直ライン有効フラグを垂直ズーム制御手段１７１で生成している。

垂直ズーム制御手段１７１は、垂直倍率を入力され、この垂直倍率に基づいてαｖとβｖを演算し、上式に基づいてＷ（ｊ）の演算を行うタイミングを算出し、有効ラインを示す垂直ライン有効フラグを出力するとともに、Ｗ（ｊ）の演算を行うタイミングに合わせて対応する垂直内挿係数αｖを垂直内挿手段１８１に出力する。ここでは、”Ｈ”レベルを有効ライン、”Ｌ”レベルを無効ラインとしている。

次に、水平方向の内挿処理を行う水平ズーム制御手段１７２と水平内挿手段１８２について説明する。

図６は、水平内挿手段１８２の構成を更に詳しく示すブロック図である。図６に示すように、水平内挿手段１８２は、入力される水平内挿係数αｈから１−αｈを演算する演算部１８２ａと、入力される水平内挿係数αｈと垂直内挿手段１８１の出力とを乗算する第１の乗算器１８２ｂと、垂直内挿手段１８１の出力を１画素分遅延させる１画素遅延手段１８２ｃと、演算部１８２ａの出力する１−αｈと１画素遅延手段１８２ｃの出力とを乗算する第２の乗算器１８２ｄと、第１の乗算器１８２ｂの出力と第２の乗算器１８２ｄの出力とを加算する加算器１８２ｅとを備えている。

図７は、水平倍率２／３の場合の映像信号処理装置の動作例を、水平同期信号と、クロックと、水平内挿手段１８２への入力信号と、水平内挿手段１８２の出力信号と、水平画素有効フラグのタイミングチャートで示している。ここで、水平倍率２／３とは、水平内挿手段１８２の入力画素数：水平内挿手段１８２の出力画素数＝３：２を意味している。また、図７に示すように、１水平走査期間中の有効画素数が１５画素の例を示しており、１クロックで１画素を処理するようになっている。

図７において、ｘ（０），ｘ（１），…，ｘ（１４）は、水平内挿手段１８２への入力信号で、１ライン分の入力画素に対応しており、ｙ（０），ｙ（１），…，ｙ（９）は、水平内挿手段１８２の出力信号で、１ライン分の出力画素に対応している。

水平内挿手段１８２では、次式に基づいて、入力信号ｘ（ｉ）（ｉ＝０，１，２，…，１４）から出力信号ｙ（ｊ）（ｊ＝０，１，２，…，９）を生成するようになっている。
ｙ（ｊ）＝（１−αｈ）×ｘ（ｉｎｔ（βｈ））＋αｈ×ｘ（ｉｎｔ（βｈ）＋１）
ここで、
βｈ＝ｊ／水平倍率＝ｊ×３／２
αｈ＝βｈ−ｉｎｔ（βｈ）
である。

なお、上式は、２点からの線形内挿の演算式であるが、高次の内挿を行ってもよい。

また、水平内挿手段１８２において、出力信号ｙ（ｊ）の演算を行うためには、入力信号ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が必要となるため、ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が入力されたタイミングで演算を行うようにしている。つまり、クロック毎にｘ（ｉ）が入力されるが、全クロックで演算する必要は無く、ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が入力されたクロック期間だけ演算すればよい。

この演算を行っている期間が、水平内挿手段１８２の出力信号が有効となり、それ以外の期間における出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この水平画素有効フラグを水平ズーム制御手段１７２で生成している。

水平ズーム制御手段１７２は、水平倍率を入力され、この水平倍率に基づいてαｈとβｈを演算し、上式に基づいてｙ（ｊ）の演算を行うタイミングを算出し、有効ラインを示す水平画素有効フラグを出力するとともに、ｙ（ｊ）の演算を行うタイミングに合わせて対応する水平内挿係数αｈを水平内挿手段１８２に出力する。ここでは、”Ｈ”レベルを有効画素、”Ｌ”レベルを無効画素としている。

さらに、ズーム制御手段１７の論理積回路１７３において、垂直ライン有効フラグと水平画素有効フラグとのＡＮＤ（論理積）を行って有効フラグ信号を生成するようになっている。

図８は、水平同期信号と垂直同期信号に同期して撮像素子１２から出力される映像信号（出力信号）と、電子ズーム処理後の出力信号と、論理積回路１７３の有効フラグ信号のタイミングチャートである。図８に示すように、映像信号処理装置から出力される電子ズーム処理後の出力信号と有効フラグ信号を受け取った機器は、有効フラグ信号に基づいて電子ズーム処理後の出力信号から有効な画素情報だけを取り出すことができる。したがって、電子ズーム処理後の出力信号と有効フラグ信号を受け取った機器は、電子ズームされた画像を取得することができる。

以上説明したように、本実施の形態の映像信号処理装置は、電子ズーム処理を水平方向と垂直方向に分けて行い、垂直方向の処理を１ライン毎に行っているので、フレームメモリを使う必要が無く、ラインメモリだけで電子ズーム機能を実現することができ、低コストで電子ズーム機能を実現することができる。

なお、水平倍率と垂直倍率とが異なる値でも電子ズーム処理を行うことができる。

また、本実施の形態の映像信号処理装置では、垂直内挿を行った後で、水平内挿を行っている。しかしながら、垂直方向の処理と水平方向の処理は独立で順序は問わないので、水平内挿を行った後に垂直内挿を行うようにしてもかまわない。ただし、その場合には、水平内挿手段１８２と垂直内挿手段１８１の間にライン遅延手段１６を入れる構成となる。

また、ライン遅延手段が、映像信号が表わす映像の水平方向の１ライン分を記憶することが可能な３つのバンクを有するライン記憶手段によって構成されてもよい。この場合、ライン記憶手段は、３つのバンクの内の１つ目のバンクから水平方向の１ライン分の映像を順次書き込み、３つ目のバンクに１ライン分の映像を書き込み後、１つ目のバンクに戻って、先に書き込んだ１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで３つのバンクへの書込み動作を繰り返し、ライン記憶手段は、３つバンクの何れか１つに書き込むとき、３つのバンクの内の残りの２つに記憶されている２ライン分の映像を読み出し、読み出した２ライン分の映像を内挿手段に出力するようになっている。一方、内挿手段では、ライン記憶手段が読み出した２ライン分の映像の垂直方向に隣接する画素間を内挿するようになっている。

（第２の実施の形態）
次に、図９は、本発明の第２の実施の形態の映像信号処理装置の構成を示すブロック図である。なお、本実施の形態の映像信号処理装置は、上述の第１の実施の形態の映像信号処理装置と略同様に構成されており、同一の構成要素には同一の符号を付し、同一の符号を付した構成要素の説明を省略し、第１の実施の形態の映像信号処理装置の構成要素と異なる特徴部分についてのみ説明する。

本実施の形態の映像信号処理装置は、内挿手段１８が出力する電子ズーム処理後の出力信号に対し補間処理を行う補間手段２１を備えることを特徴としている。

補間手段２１は、電子ズーム出力信号を書込みアドレス・バンクに応じて記憶し、読出しアドレス・バンクに応じて２つのバンクを同時に読み出すことができるライン記憶手段２１１と、ライン記憶手段２１１から出力される２ライン分の信号から垂直補間係数に応じて補間処理を行う垂直補間演算手段２１２と、１画素分の信号を記憶する画素記憶手段２１３と、画素記憶手段２１３の出力から水平補間係数に応じて補間処理を行う水平補間演算手段２１４と、ライン記憶手段２１１と垂直補間演算手段２１２を制御して垂直補間処理を制御する垂直補間制御手段２１５と、水平補間演算手段２１４を制御して水平補間処理を制御する水平補間制御手段２１６とを備えている。

このような補間手段２１において垂直方向に２倍の補間処理を行う場合を説明する。

図１１は、垂直方向に２倍の補間処理行う場合の動作例を示すタイミングチャートである。

図１１において、Ｚ（０），Ｚ（１），…は、内挿手段１８が出力する電子ズーム出力で補間手段２１の入力であり、Ｌ（０），Ｌ（１），…は、垂直補間演算手段２１２の出力である。

補間手段２１に入力された電子ズーム出力は、垂直補間制御手段２１５が出力する書込みアドレス・バンクに従ってライン記憶手段２１１に記憶される。

ライン記憶手段２１１は、３バンクの記憶領域を有しており、ライン毎に書き込むバンクが切り替えられる。３バンクを順次切り替えることで、読み出しが完了するまで上書きされないようにしている。

補完したい倍率をＮｖ（図では２）とすると、ライン記憶手段２１１からの読み出しは、既に書き込みが完了している２つのバンクから、書込み速度のＮｖ倍の速度で、Ｎｖ回だけ読み出す。図１１では、２倍の速度で２回同じバンクからラインを読み出す。

Ｎｖ回読み出したうちのｉ回目の垂直補間係数γｖは、
γｖ＝（ｉ−１）／Ｎｖ（ｉ＝１，２，…，Ｎｖ）
である。

垂直補間演算手段２１２は、Ｎｖ回読み出した２つのライン（Ｚ（ｊ），Ｚ（ｊ＋１）（ｊ＝０，１，…）に対して、それぞれの読出し回数ｉ（ｉ＝１，２，…，Ｎｖ）に対応した垂直補間係数γｖにより次式に基づいてＬ（０），Ｌ（１），Ｌ（２），…を生成する。
Ｌ（ｊ×Ｎｖ＋ｉ−１）＝（１−γｖ）×Ｚ（ｊ）＋γｖ×Ｚ（ｊ＋１）
図１１の２倍補間の例では、１回目の垂直補間係数＝０、２回目の垂直補間係数＝０．５である。

また、ライン記憶手段２１１は、入力される有効フラグも記憶しており、Ｎｖ倍速で読み出した有効フラグを垂直補間有効フラグとする。

次に、水平方向に２倍の補間処理を行う場合を説明する。

図１２は、水平方向に２倍の補間処理行う場合の動作例を示すタイミングチャートである。

図１２において、Ｋ（０），Ｋ（１），…は、垂直補間演算手段２１２の出力で水平補間演算手段２１４の入力画素であり、Ｍ（０），Ｍ（１），…は、水平補間演算手段２１４の出力画素である。

垂直補間演算手段２１２が出力した垂直補間出力は、水平補間演算手段２１４に入力されるとともに、画素記憶手段２１３にも入力され、画素記憶手段２１３により１画素分のタイミングを遅延されて水平補間演算手段２１４に入力される。

補完したい倍率をＮｈ（図では２）とすると、水平補間演算手段２１４は、入力の１クロック（画素）の間にＮｈクロック（画素）分の補間処理を行い、入力された信号クロックのＮｈ倍のクロック単位で補間した画素を出力する。

Ｎｈ回演算（補間処理）するうちのｉ回目の水平補間係数γｈは、
γｈ＝（ｉ−１）／Ｎｈ（ｉ＝１，２，…，Ｎｈ）
である。

水平補間演算手段２１４は、垂直補間演算手段２１２から入力された画素Ｋ（ｊ＋１）と画素記憶手段２１３で遅延された画素Ｋ（ｊ）に対して、それぞれの演算回数ｉ（ｉ＝１，２，…，Ｎｈ）に対応した垂直補間係数γｈにより次式に基づいてＭ（０），Ｍ（１），Ｍ（２），…を生成する。
Ｍ（ｊ×Ｎｈ＋ｉ−１）＝（１−γｈ）×Ｋ（ｊ）＋γｈ×Ｋ（ｊ＋１）
図１２の２倍補間の例では、１クロック目は水平補間係数＝０で補間し、２クロック目は水平補間係数＝０．５で補間する。

このように本実施の形態においては、補間手段２１により内挿手段１８の出力に補間処理を行っているので、映像処理装置の倍率としては、内挿の倍率×補間の倍率となるため、縮小から拡大まで任意の倍率を設定することができる。

以上のように、本発明にかかる映像信号処理装置は、低コストで電子ズーム機能を実現することができるという効果を有し、映像信号の電子ズーム処理を行う映像信号処理装置等として有用である。

本発明は映像信号の電子ズーム処理を行う映像信号処理装置に関するものである。

一般的なビデオカメラ等では、ＣＣＤ（Charge-Coupled Device）等の固体撮像素子で撮像した映像信号を電子ズーム処理により拡大や縮小している（例えば、特許文献１参照）。

図１３は、従来の電子ズームを用いる撮像装置のブロック図である。

図１３に示すように、従来の撮像装置は、撮像レンズ・絞り・フィルターを有するレンズ５１と、撮像素子であるＣＣＤ５２と、ガンマ補正・ローパスフィルター・クリップ回路を有する撮像信号処理回路５３と、アナログ信号をディジタル信号に変換するＡＤコンバータ（ＡＤＣ）５４と、１フレームごとの撮像信号を格納するフレームメモリ５５と、画像の画素間データを補間する補間回路５６と、画像のエッジ強調を行うエッジ強調処理回路５７と、ディジタル信号をアナログ信号に変換するＤＡコンバータ（ＤＡＣ）５８と、撮像信号を記録する記録回路５９と、フレームメモリ５５の書込みアドレスを指定する書込みアドレスコントローラ６０と、フレームメモリ５５の読出しアドレスを指定する読出しアドレスコントローラ６１と、テレ（望遠）とワイド（広角）とを切り替えるテレワイド（Ｔ／Ｗ）切替スイッチ６２と、テレワイド切替スイッチ６２の切替状態に応じて電子ズームの倍率を発生する倍率発生回路６３とを備えている。

このような撮像装置において、電子ズームの機能は、フレームメモリ５５と、書込みアドレスコントローラ６０と、読出しアドレスコントローラ６１と、補間回路５６と、倍率発生回路６３とによって実現されている。

この撮像装置においては、ＡＤコンバータ５４でＡＤ変換された信号は、書込みアドレスコントローラ６０に指示されたフレームメモリ５５内のアドレスに書き込まれる。１フレーム分書き込まれた後、倍率発生回路６３の指示により、読出しアドレスコントローラ６１が読出しアドレスを生成し、そのアドレスから信号が読み出される。

読み出された信号は、倍率発生回路６３の指示に基づいて補間回路５６により補間されることで所望の倍率の撮像信号が得られる。
特開平７−１７０４６１号公報

しかしながら、このような従来の撮像装置においては、撮像素子の出力信号を１フレーム（１画面）分記憶することができるフレームメモリが必要となるが、このフレームメモリは、一般的に高価であるため、コストアップに繋がるという問題点があった。また、部品点数が増大し、カメラ形状が大きくなるという問題もあった。

本発明は、従来の問題を解決するためになされたもので、低コストで電子ズーム機能を実現することができる映像信号処理装置を提供することを目的とする。

本発明の映像信号処理装置は、映像信号を１水平走査期間分遅延させるライン遅延手段と、前記映像信号と前記ライン遅延手段の出力から垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する内挿手段とを備える構成を有している。

この構成により、内挿処理が水平方向と垂直方向に分けて行われ、垂直方向の処理は１ライン毎に行われるので、フレームメモリを使う必要が無くなることとなる。

さらに、前記内挿手段が出力する信号を少なくとも２ラインずつ使って垂直方向の補間処理を行うとともに、水平方向に隣接する画素間で水平方向の補間処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する補間手段を備える構成とした。

この構成により、内挿処理とともに補間処理も行われ、縮小から拡大まで任意の倍率で電子ズームを行うことができる。

また、本発明の映像信号処理装置は、水平同期信号及び垂直同期信号に同期して映像信号を出力する映像信号出力手段と、前記映像信号を前記水平同期信号の１周期と同じ期間分遅延するライン遅延手段と、前記ライン遅延手段が遅延した映像信号を前記映像信号出力手段が出力した映像信号と比較し、前記ライン遅延手段が遅延した映像信号によって表わされる映像の垂直方向に隣接する画素間を内挿する内挿手段と、垂直倍率に応じて前記垂直方向に隣接する画素間を内挿するよう前記内挿手段を制御するズーム制御手段とを備える構成を有している。

この構成により、フレームメモリを使うことなく垂直方向の画素間の内挿処理を実行することができる。

また、前記内挿手段は、更に、前記垂直方向に隣接する画素間が内挿された映像の水平方向に隣接する画素間を内挿し、前記ズーム制御手段は、水平倍率に応じて前記水平方向に隣接する画素間を内挿するよう前記内挿手段を制御する構成を有している。

この構成により、フレームメモリを使うことなく水平方向の画素間の内挿処理を実行することができる。

さらに、前記ズーム制御手段は、前記ライン遅延手段によって遅延される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成を有している。

この構成により、水平方向の画素間の内挿処理を実行したあとで垂直方向の画素間の内挿処理を実行することができる。

さらに、前記内挿手段は、前記垂直方向に隣接する画素間を内挿した映像が示された映像信号を生成する垂直内挿手段と、前記水平方向に隣接する画素間を内挿した映像が示された映像信号を生成する水平内挿手段とを有し、前記ズーム制御手段は、前記垂直内挿手段が生成した映像信号の有効な期間を垂直ライン有効フラグで指示する垂直ズーム制御手段と、前記水平内挿手段が生成した映像信号の有効な期間を水平ライン有効フラグで指示する水平ズーム制御手段と、前記水平ライン有効フラグと前記垂直ライン有効フラグの指示に応答し、前記水平方向と前記垂直方向の両方が有効な期間を示す有効フラグ信号を生成し、前記生成した有効フラグ信号を前記水平内挿手段が生成する映像信号に同期して出力する論理積回路を有する構成とした。

この構成により、垂直方向の内挿処理と水平方向の内挿処理を個別に行うことができる。

さらに、前記垂直ズーム制御手段は、前記垂直倍率から垂直内挿係数を算出し、前記垂直内挿手段は、前記ライン遅延手段が遅延した映像信号に前記垂直倍率を乗算する第１の乗算器と、前記映像信号出力手段が出力した映像信号に前記垂直倍率の補数を乗算する第２の乗算器と、前記垂直倍率が乗算された映像信号と前記垂直倍率の補数が乗算された映像信号との和を示す映像信号を生成する加算器とを有し、前記垂直ズーム制御手段は、前記垂直内挿手段が、前記加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して前記水平内挿手段に出力するよう制御する構成とした。

この構成により、垂直倍率から算出する垂直内挿係数を使って垂直方向の内挿処理を容易に行うことができる。

さらに、前記水平ズーム制御手段は、前記水平倍率から水平内挿係数を算出し、前記水平内挿手段は、前記垂直内挿手段から受け取った映像信号を１画素分遅延する１画素遅延手段と、前記垂直内挿手段から受け取った映像信号に前記水平内挿係数を乗算する第１の乗算器と、前記１画素遅延手段が遅延した映像信号に前記水平内挿係数の補数を乗算する第２の乗算器と、前記水平内挿係数を乗算した映像信号と前記水平内挿係数の補数を乗算した映像信号の和を示す映像信号を生成する加算器とを有し、前記水平ズーム制御手段は、前記水平内挿手段の加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して出力する構成とした。

この構成により、水平倍率から算出する水平内挿係数を使って水平方向の内挿処理を容易に行うことができる。

さらに、前記ライン遅延手段は、映像信号が表わす映像の水平方向の１ライン分を記憶することが可能な３つのバンクを有するライン記憶手段によって構成され、前記ライン記憶手段は、前記３つのバンクの内の１つ目のバンクから順次前記水平方向の１ライン分の映像を書き込み、３つ目のバンクに１ライン分の映像を書き込み後、前記１つ目のバンクに戻って、先に書き込んだ前記１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで前記３つのバンクへの書込み動作を繰り返し、前記ライン記憶手段は、前記３つバンクの何れか１つに書き込むとき、前記３つのバンクの内の残りの２つに記憶されている２ライン分の映像を読み出し、前記読み出した２ライン分の映像を前記内挿手段に出力し、前記内挿手段は、前記ライン記憶手段が読み出した２ライン分の映像の垂直方向に隣接する画素間を内挿する構成とした。

この構成により、３つのバンクの内の１つ目のバンクから順次水平方向の１ライン分の映像を書き込み、３つ目のバンクに１ライン分の映像を書き込み後、１つ目のバンクに戻って、先に書き込んだ１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで３つのバンクへの書込み動作を繰り返すようにしているので、容易に、垂直方向の隣接する画素間の内挿処理を実行することができる。

さらに、前記ズーム制御手段は、前記ライン記憶手段に記憶される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成とした。

この構成により、水平方向の内挿処理と垂直方向の内挿処理の順序を容易に変更することができる。

本発明によれば、ライン遅延手段で遅延したラインと入力されたラインとにより垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行っているので、フレームメモリを使う必要が無く、低コストで電子ズーム機能を実現することができる。

以下、図面を参照し、本発明の実施の形態の映像信号処理装置について説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の映像信号処理装置の構成を示すブロック図である。

図１に示すように、本実施の形態の映像信号処理装置は、光を集光し、像が予め設定された位置に結像するようフォーカス調整を行うレンズ１１と、レンズ１１が集光した光を電気信号に変換し、予め設定された位置に結像した像を示すナログ映像信号を生成する撮像素子１２と、撮像素子１２から出力されたアナログ映像信号をアナログ前処理し、アナログ映像信号のノイズ除去とゲイン調整を行うアナログ前処理手段１３と、アナログ前処理手段１３によってアナログ前処理されたアナログ映像信号をデジタル信号に変換するアナログデジタル変換器（以下単にＡ／Ｄ変換器という）１４と、Ａ／Ｄ変換器１４から出力されたデジタル信号に対して輝度（Ｙ）信号処理と色差（Ｃ）信号処理を行い、輝度信号及び色差信号を生成するＹ／Ｃ信号処理手段１５と、撮像素子１２を駆動する駆動パルス信号（水平同期信号及び垂直同期信号を含む）を生成する撮像素子駆動手段１９と、Ｙ／Ｃ信号処理手段１５が生成した輝度信号及び色差信号を予め設定された時間だけ遅延するライン遅延手段１６と、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号の内挿処理を行う内挿手段１８と、内挿手段１８が内挿処理を行うよう制御するズーム制御手段１７と、内挿処理に必要な垂直倍率と水平倍率をズーム制御手段１７に設定する図示しない倍率設定手段とを備えている。

ここで、アナログ前処理手段１３と、Ａ／Ｄ変換器１４と、Ｙ／Ｃ処理手段１５と、撮像素子駆動手段１とが映像信号出力手段を構成している。映像信号出力手段は、映像信号を水平同期信号及び垂直同期信号に同期してライン遅延手段１６と内挿手段１８に出力するようになっている。

ここで、本実施例のライン遅延手段１６の予め設定された遅延時間は、水平同期信号の１周期（１水平走査期間）と同じである。

図２は、撮像素子１２が生成するアナログ映像信号の水平同期信号及び垂直同期信号に対するタイミングを示すタイミングチャートである。

図２に示すように、撮像素子１２は、水平同期信号及び垂直同期信号に同期してアナログ映像信号をＹ／Ｃ信号処理手段１５に出力するようになっている。一方、Ｙ／Ｃ信号処理手段１５は、水平同期信号及び垂直同期信号に同期して輝度信号及び色差信号をライン遅延手段１６と内挿手段１８に出力するようになっている。

内挿手段１８は、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号とライン遅延手段１６が遅延した輝度信号及び色差信号を水平同期信号及び垂直同期信号に同期して取得するようになっている。したがって、内挿手段１８は、Ｙ／Ｃ信号処理手段１５が出力した輝度信号及び色差信号よりも水平同期信号の１周期に等しい時間だけ遅れた輝度信号及び色差信号をライン遅延手段１６から取得できるので、垂直方向に隣接した２つの画素の輝度と色差夫々について容易に比較することができる。

なお、本実施例では、Ｙ／Ｃ信号処理手段１５が、Ａ／Ｄ変換器１４で変換されたデジタル信号から輝度信号及び色差信号を生成するようになっているが、輝度信号及び色差信号の代わりに、ＲＧＢ（Red-Green-Blue）信号を生成するようにしてもよい。したがって、内挿手段１８が、ＲＧＢ信号の内挿処理を行うようにしてもよい。

次に、図３を参照し、本実施の形態の映像信号処理装置のズーム制御手段１７と内挿手段１８の構成を更に詳しく説明する。なお、ＲＢＧ信号であっても、輝度信号及び色差信号の内挿処理と同じように電子ズーム処理することができるので、輝度信号及び色差信号やＲＢＧ信号のように信号の種類を明記しないで説明する。

電子ズーム処理では、垂直方向の内挿処理と水平方向の内挿処理を独立に行えばよいため、図３に示すように、ズーム制御手段１７は、垂直方向のズーム制御を行う垂直ズーム制御手段１７１と、水平方向のズーム制御を行う水平ズーム制御手段１７２と、垂直ズーム制御手段１７１が出力する垂直ライン有効フラグと水平ズーム制御手段１７２が出力する水平画素有効フラグとの論理積をとる論理積回路１７３とを備えており、内挿手段１８は、垂直方向の処理を行う垂直内挿手段１８１と、水平方向の処理を行う水平内挿手段１８２とを備えている。

まず、垂直方向の内挿処理を行う垂直ズーム制御手段１７１と垂直内挿手段１８１とについて説明する。

図４は、垂直内挿手段１８１の構成を更に詳しく示すブロック図である。図４に示すように、垂直内挿手段１８１は、入力される垂直内挿係数αｖから１−αｖを演算する演算部１８１ａと、入力される垂直内挿係数αｖとＹ／Ｃ信号処理手段１５の出力とを乗算する第１の乗算器１８１ｂと、演算部１８１ａの出力する１−αｖとライン遅延手段１６の出力とを乗算する第２の乗算器１８１ｃと、第１の乗算器１８１ｂの出力と第２の乗算器１８１ｃの出力とを加算する加算器１８１ｄとを備えている。

図５は、垂直倍率２／３の場合の映像信号処理装置の動作例を、垂直同期信号と、Ｙ／Ｃ信号処理手段１５の出力信号と、ライン遅延手段１６の出力信号と、垂直内挿手段１８１の出力信号と、垂直ライン有効フラグのタイミングチャートで示している。ここで、垂直倍率２／３とは、垂直内挿手段１８１の入力画素数：垂直内挿手段１８１の出力画素数＝３：２を意味している。また、図５では、１垂直走査期間中の有効ライン数が１２ラインの例を示している。

図５において、Ｖ（０），Ｖ（１），…，Ｖ（１１）は、垂直内挿手段１８１への入力信号であり、１ライン分の各画素に対応していることを示している。ライン遅延手段１６からの出力信号は、Ｙ／Ｃ信号処理手段１５の出力の１ライン遅れとなっている。Ｗ（０），Ｗ（１），…，Ｗ（７）は、垂直内挿手段１８１の出力信号であり、１ライン分の各画素に対応していることを示している。

垂直内挿手段１８１では、次式に基づいて、入力信号Ｖ（ｉ）（ｉ＝０，１，２，…，１１）から出力信号Ｗ（ｊ）（ｊ＝０，１，２，…，７）を生成するようになっている。
Ｗ（ｊ）＝（１−αｖ）×Ｖ（ｉｎｔ（βｖ））＋αｖ×Ｖ（ｉｎｔ（βｖ）＋１）
ここで、
βｖ＝ｊ／垂直倍率＝ｊ×３／２
αｖ＝βｖ−ｉｎｔ（βｖ）
ｉｎｔ（β）は、βの小数点以下を切り捨てて、整数にしている。

なお、上式は、２点からの線形内挿の演算式であるが、高次の内挿を行ってもよい。

また、垂直内挿手段１８１において、出力信号Ｗ（ｊ）の演算を行うためには、入力信号Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が必要となるため、Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が入力されるラインで演算を行ようにしている。つまり、ライン毎にＶ（ｉ）が入力されるが、全ラインで演算する必要は無く、Ｖ（ｉｎｔ（ｊ／垂直倍率）＋１）が入力されたときだけ演算すればよい。なお、１ライン中の演算は各画素単位で行い、同一の水平位置の画素に対して行う必要がある。

この演算を行っているラインにおいて、垂直内挿手段１８１の出力信号が有効となり、それ以外のラインにおける出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この垂直ライン有効フラグを垂直ズーム制御手段１７１で生成している。

垂直ズーム制御手段１７１は、垂直倍率を入力され、この垂直倍率に基づいてαｖとβｖを演算し、上式に基づいてＷ（ｊ）の演算を行うタイミングを算出し、有効ラインを示す垂直ライン有効フラグを出力するとともに、Ｗ（ｊ）の演算を行うタイミングに合わせて対応する垂直内挿係数αｖを垂直内挿手段１８１に出力する。ここでは、”Ｈ”レベルを有効ライン、”Ｌ”レベルを無効ラインとしている。

次に、水平方向の内挿処理を行う水平ズーム制御手段１７２と水平内挿手段１８２について説明する。

図６は、水平内挿手段１８２の構成を更に詳しく示すブロック図である。図６に示すように、水平内挿手段１８２は、入力される水平内挿係数αｈから１−αｈを演算する演算部１８２ａと、入力される水平内挿係数αｈと垂直内挿手段１８１の出力とを乗算する第１の乗算器１８２ｂと、垂直内挿手段１８１の出力を１画素分遅延させる１画素遅延手段１８２ｃと、演算部１８２ａの出力する１−αｈと１画素遅延手段１８２ｃの出力とを乗算する第２の乗算器１８２ｄと、第１の乗算器１８２ｂの出力と第２の乗算器１８２ｄの出力とを加算する加算器１８２ｅとを備えている。

図７は、水平倍率２／３の場合の映像信号処理装置の動作例を、水平同期信号と、クロックと、水平内挿手段１８２への入力信号と、水平内挿手段１８２の出力信号と、水平画素有効フラグのタイミングチャートで示している。ここで、水平倍率２／３とは、水平内挿手段１８２の入力画素数：水平内挿手段１８２の出力画素数＝３：２を意味している。また、図７に示すように、１水平走査期間中の有効画素数が１５画素の例を示しており、１クロックで１画素を処理するようになっている。

図７において、ｘ（０），ｘ（１），…，ｘ（１４）は、水平内挿手段１８２への入力信号で、１ライン分の入力画素に対応しており、ｙ（０），ｙ（１），…，ｙ（９）は、水平内挿手段１８２の出力信号で、１ライン分の出力画素に対応している。

水平内挿手段１８２では、次式に基づいて、入力信号ｘ（ｉ）（ｉ＝０，１，２，…，１４）から出力信号ｙ（ｊ）（ｊ＝０，１，２，…，９）を生成するようになっている。
ｙ（ｊ）＝（１−αｈ）×ｘ（ｉｎｔ（βｈ））＋αｈ×ｘ（ｉｎｔ（βｈ）＋１）
ここで、
βｈ＝ｊ／水平倍率＝ｊ×３／２
αｈ＝βｈ−ｉｎｔ（βｈ）
である。

なお、上式は、２点からの線形内挿の演算式であるが、高次の内挿を行ってもよい。

また、水平内挿手段１８２において、出力信号ｙ（ｊ）の演算を行うためには、入力信号ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が必要となるため、ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が入力されたタイミングで演算を行うようにしている。つまり、クロック毎にｘ（ｉ）が入力されるが、全クロックで演算する必要は無く、ｘ（ｉｎｔ（ｊ／水平倍率）＋１）が入力されたクロック期間だけ演算すればよい。

この演算を行っている期間が、水平内挿手段１８２の出力信号が有効となり、それ以外の期間における出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この水平画素有効フラグを水平ズーム制御手段１７２で生成している。

水平ズーム制御手段１７２は、水平倍率を入力され、この水平倍率に基づいてαｈとβｈを演算し、上式に基づいてｙ（ｊ）の演算を行うタイミングを算出し、有効ラインを示す水平画素有効フラグを出力するとともに、ｙ（ｊ）の演算を行うタイミングに合わせて対応する水平内挿係数αｈを水平内挿手段１８２に出力する。ここでは、”Ｈ”レベルを有効画素、”Ｌ”レベルを無効画素としている。

さらに、ズーム制御手段１７の論理積回路１７３において、垂直ライン有効フラグと水平画素有効フラグとのＡＮＤ（論理積）を行って有効フラグ信号を生成するようになっている。

図８は、水平同期信号と垂直同期信号に同期して撮像素子１２から出力される映像信号（出力信号）と、電子ズーム処理後の出力信号と、論理積回路１７３の有効フラグ信号のタイミングチャートである。図８に示すように、映像信号処理装置から出力される電子ズーム処理後の出力信号と有効フラグ信号を受け取った機器は、有効フラグ信号に基づいて電子ズーム処理後の出力信号から有効な画素情報だけを取り出すことができる。したがって、電子ズーム処理後の出力信号と有効フラグ信号を受け取った機器は、電子ズームされた画像を取得することができる。

以上説明したように、本実施の形態の映像信号処理装置は、電子ズーム処理を水平方向と垂直方向に分けて行い、垂直方向の処理を１ライン毎に行っているので、フレームメモリを使う必要が無く、ラインメモリだけで電子ズーム機能を実現することができ、低コストで電子ズーム機能を実現することができる。

なお、水平倍率と垂直倍率とが異なる値でも電子ズーム処理を行うことができる。

また、本実施の形態の映像信号処理装置では、垂直内挿を行った後で、水平内挿を行っている。しかしながら、垂直方向の処理と水平方向の処理は独立で順序は問わないので、水平内挿を行った後に垂直内挿を行うようにしてもかまわない。ただし、その場合には、水平内挿手段１８２と垂直内挿手段１８１の間にライン遅延手段１６を入れる構成となる。

また、ライン遅延手段が、映像信号が表わす映像の水平方向の１ライン分を記憶することが可能な３つのバンクを有するライン記憶手段によって構成されてもよい。この場合、ライン記憶手段は、３つのバンクの内の１つ目のバンクから水平方向の１ライン分の映像を順次書き込み、３つ目のバンクに１ライン分の映像を書き込み後、１つ目のバンクに戻って、先に書き込んだ１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで３つのバンクへの書込み動作を繰り返し、ライン記憶手段は、３つバンクの何れか１つに書き込むとき、３つのバンクの内の残りの２つに記憶されている２ライン分の映像を読み出し、読み出した２ライン分の映像を内挿手段に出力するようになっている。一方、内挿手段では、ライン記憶手段が読み出した２ライン分の映像の垂直方向に隣接する画素間を内挿するようになっている。

（第２の実施の形態）
次に、図９は、本発明の第２の実施の形態の映像信号処理装置の構成を示すブロック図である。なお、本実施の形態の映像信号処理装置は、上述の第１の実施の形態の映像信号処理装置と略同様に構成されており、同一の構成要素には同一の符号を付し、同一の符号を付した構成要素の説明を省略し、第１の実施の形態の映像信号処理装置の構成要素と異なる特徴部分についてのみ説明する。

本実施の形態の映像信号処理装置は、内挿手段１８が出力する電子ズーム処理後の出力信号に対し補間処理を行う補間手段２１を備えることを特徴としている。

補間手段２１は、電子ズーム出力信号を書込みアドレス・バンクに応じて記憶し、読出しアドレス・バンクに応じて２つのバンクを同時に読み出すことができるライン記憶手段２１１と、ライン記憶手段２１１から出力される２ライン分の信号から垂直補間係数に応じて補間処理を行う垂直補間演算手段２１２と、１画素分の信号を記憶する画素記憶手段２１３と、画素記憶手段２１３の出力から水平補間係数に応じて補間処理を行う水平補間演算手段２１４と、ライン記憶手段２１１と垂直補間演算手段２１２を制御して垂直補間処理を制御する垂直補間制御手段２１５と、水平補間演算手段２１４を制御して水平補間処理を制御する水平補間制御手段２１６とを備えている。

このような補間手段２１において垂直方向に２倍の補間処理を行う場合を説明する。

図１１は、垂直方向に２倍の補間処理行う場合の動作例を示すタイミングチャートである。

図１１において、Ｚ（０），Ｚ（１），…は、内挿手段１８が出力する電子ズーム出力で補間手段２１の入力であり、Ｌ（０），Ｌ（１），…は、垂直補間演算手段２１２の出力である。

補間手段２１に入力された電子ズーム出力は、垂直補間制御手段２１５が出力する書込みアドレス・バンクに従ってライン記憶手段２１１に記憶される。

ライン記憶手段２１１は、３バンクの記憶領域を有しており、ライン毎に書き込むバンクが切り替えられる。３バンクを順次切り替えることで、読み出しが完了するまで上書きされないようにしている。

補完したい倍率をＮｖ（図では２）とすると、ライン記憶手段２１１からの読み出しは、既に書き込みが完了している２つのバンクから、書込み速度のＮｖ倍の速度で、Ｎｖ回だけ読み出す。図１１では、２倍の速度で２回同じバンクからラインを読み出す。

Ｎｖ回読み出したうちのｉ回目の垂直補間係数γｖは、
γｖ＝（ｉ−１）／Ｎｖ（ｉ＝１，２，…，Ｎｖ）
である。

垂直補間演算手段２１２は、Ｎｖ回読み出した２つのライン（Ｚ（ｊ），Ｚ（ｊ＋１）（ｊ＝０，１，…）に対して、それぞれの読出し回数ｉ（ｉ＝１，２，…，Ｎｖ）に対応した垂直補間係数γｖにより次式に基づいてＬ（０），Ｌ（１），Ｌ（２），…を生成する。
Ｌ（ｊ×Ｎｖ＋ｉ−１）＝（１−γｖ）×Ｚ（ｊ）＋γｖ×Ｚ（ｊ＋１）
図１１の２倍補間の例では、１回目の垂直補間係数＝０、２回目の垂直補間係数＝０．５である。

また、ライン記憶手段２１１は、入力される有効フラグも記憶しており、Ｎｖ倍速で読み出した有効フラグを垂直補間有効フラグとする。

次に、水平方向に２倍の補間処理を行う場合を説明する。

図１２は、水平方向に２倍の補間処理行う場合の動作例を示すタイミングチャートである。

図１２において、Ｋ（０），Ｋ（１），…は、垂直補間演算手段２１２の出力で水平補間演算手段２１４の入力画素であり、Ｍ（０），Ｍ（１），…は、水平補間演算手段２１４の出力画素である。

垂直補間演算手段２１２が出力した垂直補間出力は、水平補間演算手段２１４に入力されるとともに、画素記憶手段２１３にも入力され、画素記憶手段２１３により１画素分のタイミングを遅延されて水平補間演算手段２１４に入力される。

補完したい倍率をＮｈ（図では２）とすると、水平補間演算手段２１４は、入力の１クロック（画素）の間にＮｈクロック（画素）分の補間処理を行い、入力された信号クロックのＮｈ倍のクロック単位で補間した画素を出力する。

Ｎｈ回演算（補間処理）するうちのｉ回目の水平補間係数γｈは、
γｈ＝（ｉ−１）／Ｎｈ（ｉ＝１，２，…，Ｎｈ）
である。

水平補間演算手段２１４は、垂直補間演算手段２１２から入力された画素Ｋ（ｊ＋１）と画素記憶手段２１３で遅延された画素Ｋ（ｊ）に対して、それぞれの演算回数ｉ（ｉ＝１，２，…，Ｎｈ）に対応した垂直補間係数γｈにより次式に基づいてＭ（０），Ｍ（１），Ｍ（２），…を生成する。
Ｍ（ｊ×Ｎｈ＋ｉ−１）＝（１−γｈ）×Ｋ（ｊ）＋γｈ×Ｋ（ｊ＋１）
図１２の２倍補間の例では、１クロック目は水平補間係数＝０で補間し、２クロック目は水平補間係数＝０．５で補間する。

このように本実施の形態においては、補間手段２１により内挿手段１８の出力に補間処理を行っているので、映像処理装置の倍率としては、内挿の倍率×補間の倍率となるため、縮小から拡大まで任意の倍率を設定することができる。

以上のように、本発明にかかる映像信号処理装置は、低コストで電子ズーム機能を実現することができるという効果を有し、映像信号の電子ズーム処理を行う映像信号処理装置等として有用である。

図１は、本発明の第１の実施の形態における映像信号処理装置のブロック図 図２は、本発明の第１の実施の形態における映像信号処理装置の同期信号と撮像素子の出力信号を示すタイミングチャート 図３は、本発明の第１の実施の形態における映像信号処理装置のズーム制御手段と内挿手段のブロック図 図４は、本発明の第１の実施の形態における映像信号処理装置の垂直内挿手段のブロック図 図５は、本発明の第１の実施の形態における映像信号処理装置の垂直内挿の動作を示すタイミングチャート 図６は、本発明の第１の実施の形態における映像信号処理装置の水平内挿手段のブロック図 図７は、本発明の第１の実施の形態における映像信号処理装置の水平内挿の動作を示すタイミングチャート 図８は、本発明の第１の実施の形態における映像信号処理装置の電子ズーム処理後の出力信号を示すタイミングチャート 図９は、本発明の第２の実施の形態における映像信号処理装置のブロック図 図１０は、本発明の第２の実施の形態における映像信号処理装置の補間手段のブロック図 図１１は、本発明の第２の実施の形態における映像信号処理装置の垂直補間の動作を示すタイミングチャート 図１２は、本発明の第２の実施の形態における映像信号処理装置の水平補間の動作を示すタイミングチャート 図１３は、従来の撮像装置のブロック図

符号の説明

１１ レンズ
１２ 撮像素子
１３ アナログ前処理手段
１４ アナログデジタル（Ａ／Ｄ）変換器
１５ Ｙ／Ｃ信号処理手段
１６ ライン遅延手段
１７ ズーム制御手段
１８ 内挿手段
１９ 撮像素子駆動手段
２１ 補間手段
１７１ 垂直ズーム制御手段
１７２ 水平ズーム制御手段
１７３ 論理積回路
１８１ 垂直内挿手段
１８１ａ 演算部
１８１ｂ 第１の乗算器
１８１ｃ 第２の乗算器
１８１ｄ 加算器
１８２ 水平内挿手段
１８２ａ 演算部
１８２ｂ 第１の乗算器
１８２ｃ １画素遅延手段
１８２ｄ 第２の乗算器
１８２ｅ 加算器
２１１ ライン記憶手段
２１２ 垂直補間演算手段
２１３ 画素記憶手段
２１４ 水平補間演算手段
２１５ 垂直補間制御手段
２１６ 水平補間制御手段
５１ レンズ
５２ ＣＣＤ
５３ 撮像信号処理回路
５４ ＡＤコンバータ（ＡＤＣ）
５５ フレームメモリ
５６ 補間回路
５７ エッジ強調処理回路
５８ ＤＡコンバータ（ＤＡＣ）
５９ 記録回路
６０ 書込みアドレスコントローラ
６１ 読出しアドレスコントローラ
６２ テレワイド（Ｔ／Ｗ）切替スイッチ
６３ 倍率発生回路

Claims (10)

1. 映像信号を１水平走査期間分遅延させるライン遅延手段と、前記映像信号と前記ライン遅延手段の出力から垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する内挿手段とを備えることを特徴とする映像信号処理装置。
2. 前記内挿手段が出力する信号を少なくとも２ラインずつ使って垂直方向の補間処理を行うとともに、水平方向に隣接する画素間で水平方向の補間処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する補間手段を備えることを特徴とする請求項１記載の映像信号処理装置。
3. 水平同期信号及び垂直同期信号に同期して映像信号を出力する映像信号出力手段と、
   前記映像信号を前記水平同期信号の１周期と同じ期間分遅延するライン遅延手段と、
   前記遅延手段が遅延した映像信号を前記映像信号出力手段が出力した映像信号と比較し、前記遅延手段が遅延した映像信号によって表わされる映像の垂直方向に隣接する画素間を内挿する内挿手段と、
   垂直倍率に応じて前記垂直方向に隣接する画素間を内挿するよう前記内挿手段を制御するズーム制御手段とを備える映像信号処理装置。
4. 前記内挿手段は、更に、前記垂直方向に隣接する画素間が内挿された映像の水平方向に隣接する画素間を内挿し、
   前記ズーム制御手段は、水平倍率に応じて前記水平方向に隣接する画素間を内挿するよう前記内挿手段を制御するようにしたことを特徴とする請求項３に記載の映像信号処理装置。
5. 前記ズーム制御手段は、前記ライン遅延手段によって遅延される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御するようにしたことを特徴とする請求項３に記載の映像信号処理装置。
6. 前記内挿手段は、前記垂直方向に隣接する画素間を内挿した映像が示された映像信号を生成する垂直内挿手段と、前記水平方向に隣接する画素間を内挿した映像が示された映像信号を生成する水平内挿手段とを有し、
   前記ズーム制御手段は、前記垂直内挿手段が生成した映像信号の有効な期間を垂直ライン有効フラグで指示する垂直ズーム制御手段と、前記水平内挿手段が生成した映像信号の有効な期間を水平ライン有効フラグで指示する水平ズーム制御手段と、前記水平ライン有効フラグと前記垂直ライン有効フラグの指示に応答し、前記水平方向と前記垂直方向の両方が有効な期間を示す有効フラグ信号を生成し、前記生成した有効フラグ信号を前記水平内挿手段が生成する映像信号に同期して出力する論理積回路を有することを特徴とする請求項４に記載の映像信号処理装置。
7. 前記垂直ズーム制御手段は、前記垂直倍率から垂直内挿係数を算出し、
   前記垂直内挿手段は、前記ライン遅延手段が遅延した映像信号に前記垂直倍率を乗算する第１の乗算器と、前記映像信号出力手段が出力した映像信号に前記垂直倍率の補数を乗算する第２の乗算器と、前記垂直倍率が乗算された映像信号と前記垂直倍率の補数が乗算された映像信号との和を示す映像信号を生成する加算器とを有し、
   前記垂直ズーム制御手段は、前記垂直内挿手段が、前記加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して前記水平内挿手段に出力するよう制御するようにしたことを特徴とする請求項６に記載の映像信号処理装置。
8. 前記水平ズーム制御手段は、前記水平倍率から水平内挿係数を算出し、
   前記水平内挿手段は、前記垂直内挿手段から受け取った映像信号を１画素分遅延する１画素遅延手段と、前記垂直内挿手段から受け取った映像信号に前記水平内挿係数を乗算する第１の乗算器と、前記１画素遅延手段が遅延した映像信号に前記水平内挿係数の補数を乗算する第２の乗算器と、前記水平内挿係数を乗算した映像信号と前記水平内挿係数の補数を乗算した映像信号の和を示す映像信号を生成する加算器とを有し、
   前記水平ズーム制御手段は、前記水平内挿手段の加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して出力するようにしたことを特徴とする請求項７に記載の映像信号処理装置。
9. 前記ライン遅延手段は、映像信号が表わす映像の水平方向の１ライン分を記憶することが可能な３つのバンクを有するライン記憶手段によって構成され、
   前記ライン記憶手段は、前記３つのバンクの内の１つ目のバンクから順次前記水平方向の１ライン分の映像を書き込み、３つ目のバンクに１ライン分の映像を書き込み後、前記１つ目のバンクに戻って、先に書き込んだ前記１ライン分の映像の上に次の１ライン分の映像を書き込み、１フレーム分の映像の水平方向の全ラインの映像を書き込むまで前記３つのバンクへの書込み動作を繰り返し、
   前記ライン記憶手段は、前記３つバンクの何れか１つに書き込むとき、前記３つのバンクの内の残りの２つに記憶されている２ライン分の映像を読み出し、前記読み出した２ライン分の映像を前記内挿手段に出力し、
   前記内挿手段は、前記ライン記憶手段が読み出した２ライン分の映像の垂直方向に隣接する画素間を内挿するようにしたことを特徴とする請求項３に記載の映像信号処理装置。
10. 前記ズーム制御手段は、前記ライン記憶手段に記憶される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御するようにしたことを特徴とする請求項９に記載の映像信号処理装置。

Images