WO2006043483A1

WO2006043483A1 - 映像信号処理装置

Info

Publication number: WO2006043483A1
Application number: PCT/JP2005/018968
Authority: WO
Inventors: Kenji Tabei
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-10-18
Filing date: 2005-10-14
Publication date: 2006-04-27
Also published as: JPWO2006043483A1; US20090046176A1

Abstract

　低コストで電子ズーム機能を実現することができる映像信号処理装置を提供すること。　撮像素子１２から出力された映像信号は、アナログ前処理手段１３により、ノイズ除去とゲイン調整された後、Ａ／Ｄ変換器１４により水平同期信号およびＡ／Ｄ変換のクロックに従ってディジタル信号に変換され、Ｙ／Ｃ信号処理手段１５により、輝度信号及び色差信号が生成され、ライン遅延手段１６により、１水平走査期間遅延される。内挿手段１８は、Ｙ／Ｃ信号処理手段１５の出力とライン遅延手段１６の出力からズーム制御手段１７の出力する垂直内挿係数に従って垂直方向の内挿処理を行い、ズーム制御手段１７の出力する水平内挿係数に従って水平方向に隣接する画素間で水平方向の内挿処理を行う。

Description

映像信号処理装置

技術分野

[0001] 本発明は映像信号の電子ズーム処理を行う映像信号処理装置に関するものである背景技術

[0002] 一般的なビデオカメラ等では、 CCD (Charge-Coupled Device)等の固体撮像素子で撮像した映像信号を電子ズーム処理により拡大や縮小している（例えば、特許文献 1参照)。

[0003] 図 13は、従来の電子ズームを用いる撮像装置のブロック図である。

[0004] 図 13に示すように、従来の撮像装置は、撮像レンズ ·絞り 'フィルターを有するレンズ 51と、撮像素子である CCD52と、ガンマ補正'ローパスフィルター 'クリップ回路を有する撮像信号処理回路 53と、アナログ信号をディジタル信号に変換する ADコンバータ (ADC) 54と、 1フレームごとの撮像信号を格納するフレームメモリ 55と、画像の画素間データを補間する補間回路 56と、画像のエッジ強調を行うエッジ強調処理回路 57と、ディジタル信号をアナログ信号に変換する DAコンバータ (DAC) 58と、撮像信号を記録する記録回路 59と、フレームメモリ 55の書込みアドレスを指定する書込みアドレスコントローラ 60と、フレームメモリ 55の読出しアドレスを指定する読出しアドレスコントローラ 61と、テレ（望遠）とワイド (広角）とを切り替えるテレワイド (TZ W)切替スィッチ 62と、テレワイド切替スィッチ 62の切替状態に応じて電子ズームの倍率を発生する倍率発生回路 63とを備えてヽる。

[0005] このような撮像装置において、電子ズームの機能は、フレームメモリ 55と、書込みァドレスコントローラ 60と、読出しアドレスコントローラ 61と、補間回路 56と、倍率発生回路 63とによって実現されて、る。

[0006] この撮像装置においては、 ADコンバータ 54で AD変換された信号は、書込みアドレスコントローラ 60に指示されたフレームメモリ 55内のアドレスに書き込まれる。 1フレーム分書き込まれた後、倍率発生回路 63の指示により、読出しアドレスコントローラ 6 1が読出しアドレスを生成し、そのアドレス力も信号が読み出される。

[0007] 読み出された信号は、倍率発生回路 63の指示に基づいて補間回路 56により補間されることで所望の倍率の撮像信号が得られる。

特許文献 1：特開平 7— 170461号公報

発明の開示

発明が解決しょうとする課題

[0008] し力しながら、このような従来の撮像装置においては、撮像素子の出力信号を 1フレーム（1画面）分記憶することができるフレームメモリが必要となる力このフレームメモリは、一般的に高価であるため、コストアップに繋がるという問題点があった。また、部品点数が増大し、カメラ形状が大きくなるという問題もあった。

[0009] 本発明は、従来の問題を解決するためになされたもので、低コストで電子ズーム機能を実現することができる映像信号処理装置を提供することを目的とする。

課題を解決するための手段

[0010] 本発明の映像信号処理装置は、映像信号を 1水平走査期間分遅延させるライン遅延手段と、前記映像信号と前記ライン遅延手段の出力から垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する内挿手段とを備える構成を有している。

[0011] この構成により、内挿処理が水平方向と垂直方向に分けて行われ、垂直方向の処理は 1ライン毎に行われるので、フレームメモリを使う必要が無くなることとなる。

[0012] さらに、前記内挿手段が出力する信号を少なくとも 2ラインずつ使って垂直方向の補間処理を行うとともに、水平方向に隣接する画素間で水平方向の補間処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する補間手段を備える構成とした。

[0013] この構成により、内挿処理とともに補間処理も行われ、縮小から拡大まで任意の倍率で電子ズームを行うことができる。

[0014] また、本発明の映像信号処理装置は、水平同期信号及び垂直同期信号に同期して映像信号を出力する映像信号出力手段と、前記映像信号を前記水平同期信号の 1周期と同じ期間分遅延するライン遅延手段と、前記ライン遅延手段が遅延した映像信号を前記映像信号出力手段が出力した映像信号と比較し、前記ライン遅延手段が遅延した映像信号によって表わされる映像の垂直方向に隣接する画素間を内挿する内挿手段と、垂直倍率に応じて前記垂直方向に隣接する画素間を内挿するよう前記内挿手段を制御するズーム制御手段とを備える構成を有している。

[0015] この構成により、フレームメモリを使うことなく垂直方向の画素間の内挿処理を実行することができる。

[0016] また、前記内挿手段は、更に、前記垂直方向に隣接する画素間が内挿された映像の水平方向に隣接する画素間を内挿し、前記ズーム制御手段は、水平倍率に応じて前記水平方向に隣接する画素間を内挿するよう前記内挿手段を制御する構成を有している。

[0017] この構成により、フレームメモリを使うことなく水平方向の画素間の内挿処理を実行することができる。

[0018] さらに、前記ズーム制御手段は、前記ライン遅延手段によって遅延される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成を有している

[0019] この構成により、水平方向の画素間の内挿処理を実行したあとで垂直方向の画素間の内挿処理を実行することができる。

[0020] さらに、前記内挿手段は、前記垂直方向に隣接する画素間を内挿した映像が示された映像信号を生成する垂直内挿手段と、前記水平方向に隣接する画素間を内挿した映像が示された映像信号を生成する水平内挿手段とを有し、前記ズーム制御手段は、前記垂直内挿手段が生成した映像信号の有効な期間を垂直ライン有効フラグで指示する垂直ズーム制御手段と、前記水平内挿手段が生成した映像信号の有効な期間を水平ライン有効フラグで指示する水平ズーム制御手段と、前記水平ライン有効フラグと前記垂直ライン有効フラグの指示に応答し、前記水平方向と前記垂直方向の両方が有効な期間を示す有効フラグ信号を生成し、前記生成した有効フラグ信号を前記水平内挿手段が生成する映像信号に同期して出力する論理積回路を有する構成とした。

[0021] この構成により、垂直方向の内挿処理と水平方向の内挿処理を個別に行うことができる。

[0022] さらに、前記垂直ズーム制御手段は、前記垂直倍率から垂直内挿係数を算出し、前記垂直内挿手段は、前記ライン遅延手段が遅延した映像信号に前記垂直倍率を乗算する第 1の乗算器と、前記映像信号出力手段が出力した映像信号に前記垂直倍率の補数を乗算する第 2の乗算器と、前記垂直倍率が乗算された映像信号と前記垂直倍率の補数が乗算された映像信号との和を示す映像信号を生成する加算器とを有し、前記垂直ズーム制御手段は、前記垂直内挿手段が、前記加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して前記水平内挿手段に出力するよう制御する構成とした。

[0023] この構成により、垂直倍率から算出する垂直内挿係数を使って垂直方向の内挿処理を容易に行うことができる。

[0024] さらに、前記水平ズーム制御手段は、前記水平倍率から水平内挿係数を算出し、前記水平内挿手段は、前記垂直内挿手段から受け取った映像信号を 1画素分遅延する 1画素遅延手段と、前記垂直内挿手段から受け取った映像信号に前記水平内挿係数を乗算する第 1の乗算器と、前記 1画素遅延手段が遅延した映像信号に前記水平内挿係数の補数を乗算する第 2の乗算器と、前記水平内挿係数を乗算した映像信号と前記水平内挿係数の補数を乗算した映像信号の和を示す映像信号を生成する加算器とを有し、前記水平ズーム制御手段は、前記水平内挿手段の加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して出力する構成とした。

[0025] この構成により、水平倍率力算出する水平内挿係数を使って水平方向の内挿処理を容易に行うことができる。

[0026] さらに、前記ライン遅延手段は、映像信号が表わす映像の水平方向の 1ライン分を記憶することが可能な 3つのバンクを有するライン記憶手段によって構成され、前記ライン記憶手段は、前記 3つのバンクの内の 1つ目のバンク力順次前記水平方向の 1ライン分の映像を書き込み、 3つ目のバンクに 1ライン分の映像を書き込み後、前記 1つ目のバンクに戻って、先に書き込んだ前記 1ライン分の映像の上に次の 1ライン分の映像を書き込み、 1フレーム分の映像の水平方向の全ラインの映像を書き込むまで前記 3つのバンクへの書込み動作を繰り返し、前記ライン記憶手段は、前記 3つバンクの何れか 1つに書き込むとき、前記 3つのバンクの内の残りの 2つに記憶されて V、る 2ライン分の映像を読み出し、前記読み出した 2ライン分の映像を前記内挿手段に出力し、前記内挿手段は、前記ライン記憶手段が読み出した 2ライン分の映像の垂直方向に隣接する画素間を内挿する構成とした。

[0027] この構成により、 3つのバンクの内の 1つ目のバンクから順次水平方向の 1ライン分の映像を書き込み、 3つ目のバンクに 1ライン分の映像を書き込み後、 1つ目のバンクに戻って、先に書き込んだ 1ライン分の映像の上に次の 1ライン分の映像を書き込み、 1フレーム分の映像の水平方向の全ラインの映像を書き込むまで 3つのバンクへの書込み動作を繰り返すようにしているので、容易に、垂直方向の隣接する画素間の内挿処理を実行することができる。

[0028] さらに、前記ズーム制御手段は、前記ライン記憶手段に記憶される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御する構成とした。

[0029] この構成により、水平方向の内挿処理と垂直方向の内挿処理の順序を容易に変更することができる。

発明の効果

[0030] 本発明によれば、ライン遅延手段で遅延したラインと入力されたラインとにより垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行つているので、フレームメモリを使う必要が無ぐ低コストで電子ズーム機能を実現することができる。

図面の簡単な説明

[0031] [図 1]図 1は、本発明の第 1の実施の形態における映像信号処理装置のブロック図である。

[図 2]図 2は、本発明の第 1の実施の形態における映像信号処理装置の同期信号と撮像素子の出力信号を示すタイミングチャートである。

[図 3]図 3は、本発明の第 1の実施の形態における映像信号処理装置のズーム制御手段と内挿手段のブロック図である。

[図 4]図 4は、本発明の第 1の実施の形態における映像信号処理装置の垂直内挿手段のブロック図である。

[図 5]図 5は、本発明の第 1の実施の形態における映像信号処理装置の垂直内挿の動作を示すタイミングチャートである。

[図 6]図 6は、本発明の第 1の実施の形態における映像信号処理装置の水平内挿手段のブロック図である。

[図 7]図 7は、本発明の第 1の実施の形態における映像信号処理装置の水平内挿の動作を示すタイミングチャートである。

[図 8]図 8は、本発明の第 1の実施の形態における映像信号処理装置の電子ズーム処理後の出力信号を示すタイミングチャートである。

[図 9]図 9は、本発明の第 2の実施の形態における映像信号処理装置のブロック図である。

[図 10]図 10は、本発明の第 2の実施の形態における映像信号処理装置の補間手段のブロック図である。

[図 11]図 11は、本発明の第 2の実施の形態における映像信号処理装置の垂直補間の動作を示すタイミングチャートである。

[図 12]図 12は、本発明の第 2の実施の形態における映像信号処理装置の水平補間の動作を示すタイミングチャートである。

[図 13]図 13は、従来の撮像装置のブロック図である。

符号の説明

11 レンズ

12 撮像素子

13 アナログ前処理手段

14 アナログデジタル (AZD)変換器

15 YZC信号処理手段

16 ライン遅延手段

17 ズーム制御手段

18 内挿手段

19 撮像素子駆動手段補間手段

垂直ズーム制御手段水平ズーム制御手段論理積回路垂直内挿手段a 演算部

b 第 1の乗算器c 第 2の乗算器d 加算器

水平内挿手段a 演算部

b 第 1の乗算器c 1画素遅延手段d 第 2の乗算器e 加算器

ライン記憶手段垂直補間演算手段画素記憶手段水平補間演算手段垂直補間制御手段水平補間制御手段レンズ

CCD

撮像信号処理回路 ADコンバータ（ADC) フレームメモリ補間回路

エッジ強調処理回路 58 DAコンバータ（DAC)

59 記録回路

60 書込みアドレスコントローラ

61 読出しアドレスコントローラ

62 テレワイド (TZW)切替スィッチ

63 倍率発生回路

発明を実施するための最良の形態

[0033] 以下、図面を参照し、本発明の実施の形態の映像信号処理装置について説明する。

[0034] (第 1の実施の形態）

図 1は、本発明の第 1の実施の形態の映像信号処理装置の構成を示すブロック図である。

[0035] 図 1に示すように、本実施の形態の映像信号処理装置は、光を集光し、像が予め設定された位置に結像するようフォーカス調整を行うレンズ 11と、レンズ 11が集光した光を電気信号に変換し、予め設定された位置に結像した像を示すナログ映像信号を生成する撮像素子 12と、撮像素子 12から出力されたアナログ映像信号をアナログ前処理し、アナログ映像信号のノイズ除去とゲイン調整を行うアナログ前処理手段 13 と、アナログ前処理手段 13によってアナログ前処理されたアナログ映像信号をデジタル信号に変換するアナログデジタル変 (以下単に AZD変という） 14と、 A ZD変換器 14から出力されたデジタル信号に対して輝度 (Y)信号処理と色差 (C)信号処理を行い、輝度信号及び色差信号を生成する YZC信号処理手段 15と、撮像素子 12を駆動する駆動パルス信号 (水平同期信号及び垂直同期信号を含む)を生成する撮像素子駆動手段 19と、 YZC信号処理手段 15が生成した輝度信号及び色差信号を予め設定された時間だけ遅延するライン遅延手段 16と、 YZC信号処理手段 15が出力した輝度信号及び色差信号の内挿処理を行う内挿手段 18と、内挿手段 18が内挿処理を行うよう制御するズーム制御手段 17と、内挿処理に必要な垂直倍率と水平倍率をズーム制御手段 17に設定する図示しない倍率設定手段とを備えている。 [0036] ここで、アナログ前処理手段 13と、 AZD変換器 14と、 YZC処理手段 15と、撮像素子駆動手段 1とが映像信号出力手段を構成している。映像信号出力手段は、映像信号を水平同期信号及び垂直同期信号に同期してライン遅延手段 16と内挿手段 1 8に出力するようになっている。

[0037] ここで、本実施例のライン遅延手段 16の予め設定された遅延時間は、水平同期信号の 1周期（1水平走査期間）と同じである。

[0038] 図 2は、撮像素子 12が生成するアナログ映像信号の水平同期信号及び垂直同期信号に対するタイミングを示すタイミングチャートである。

[0039] 図 2に示すように、撮像素子 12は、水平同期信号及び垂直同期信号に同期してァナログ映像信号を YZC信号処理手段 15に出力するようになっている。一方、 YZC 信号処理手段 15は、水平同期信号及び垂直同期信号に同期して輝度信号及び色差信号をライン遅延手段 16と内挿手段 18に出力するようになって、る。

[0040] 内挿手段 18は、 YZC信号処理手段 15が出力した輝度信号及び色差信号とライン遅延手段 16が遅延した輝度信号及び色差信号を水平同期信号及び垂直同期信号に同期して取得するようになっている。したがって、内挿手段 18は、 YZC信号処理手段 15が出力した輝度信号及び色差信号よりも水平同期信号の 1周期に等しい時間だけ遅れた輝度信号及び色差信号をライン遅延手段 16から取得できるので、垂直方向に隣接した 2つの画素の輝度と色差夫々につ、て容易に比較することができる。

[0041] なお、本実施例では、 YZC信号処理手段 15が、 AZD変換器 14で変換されたデジタル信号から輝度信号及び色差信号を生成するようになって!/ヽるが、輝度信号及び色差信号の代わりに、 RGB (Red-Green-Blue)信号を生成するようにしてもよい。したがって、内挿手段 18が、 RGB信号の内挿処理を行うようにしてもよい。

[0042] 次に、図 3を参照し、本実施の形態の映像信号処理装置のズーム制御手段 17と内挿手段 18の構成を更に詳しく説明する。なお、 RBG信号であっても、輝度信号及び色差信号の内挿処理と同じように電子ズーム処理することができるので、輝度信号及び色差信号や RBG信号のように信号の種類を明記しな、で説明する。

[0043] 電子ズーム処理では、垂直方向の内挿処理と水平方向の内挿処理を独立に行えばよいため、図 3に示すように、ズーム制御手段 17は、垂直方向のズーム制御を行う垂直ズーム制御手段 171と、水平方向のズーム制御を行う水平ズーム制御手段 172 と、垂直ズーム制御手段 171が出力する垂直ライン有効フラグと水平ズーム制御手段 172が出力する水平画素有効フラグとの論理積をとる論理積回路 173とを備えており、内挿手段 18は、垂直方向の処理を行う垂直内挿手段 181と、水平方向の処理を行う水平内挿手段 182とを備えている。

[0044] まず、垂直方向の内挿処理を行う垂直ズーム制御手段 171と垂直内挿手段 181とについて説明する。

[0045] 図 4は、垂直内挿手段 181の構成を更に詳しく示すブロック図である。図 4に示すように、垂直内挿手段 181は、入力される垂直内挿係数 ανから 1— ανを演算する演算部 181aと、入力される垂直内挿係数 ανと YZC信号処理手段 15の出力とを乗算する第 1の乗算器 181bと、演算部 181aの出力する 1 ανとライン遅延手段 16の出力とを乗算する第 2の乗算器 181cと、第 1の乗算器 181bの出力と第 2の乗算器 181 cの出力とを加算する加算器 181dとを備えている。

[0046] 図 5は、垂直倍率 2Z3の場合の映像信号処理装置の動作例を、垂直同期信号と、 YZC信号処理手段 15の出力信号と、ライン遅延手段 16の出力信号と、垂直内挿手段 181の出力信号と、垂直ライン有効フラグのタイミングチャートで示している。ここで、垂直倍率 2Z3とは、垂直内挿手段 181の入力画素数:垂直内挿手段 181の出力画素数 =3 :2を意味している。また、図 5では、 1垂直走査期間中の有効ライン数が 12ラインの例を示して、る。

[0047] 図 5において、 V(O), V(l), ···, V(ll)は、垂直内挿手段 181への入力信号であり、 1ライン分の各画素に対応していることを示している。ライン遅延手段 16からの出力信号は、 YZC信号処理手段 15の出力の 1ライン遅れとなっている。 W(O), W(l) , ···, W(7)は、垂直内挿手段 181の出力信号であり、 1ライン分の各画素に対応して、ることを示している。

[0048] 垂直内挿手段 181では、次式に基づいて、入力信号 V(i) (i=0, 1, 2, ···, 11)から出力信号 W(j)(j = 0, 1, 2, ···, 7)を生成するようになっている。

W(j) = (l- αν) XV(int(j8v)) + avXV(int(j8v)+l) ここで、

|8 叫7垂直倍率=；! >< 372

int dS )は、 j8の小数点以下を切り捨てて、整数にしている。

[0049] なお、上式は、 2点力の線形内挿の演算式である力高次の内挿を行ってもよい

[0050] また、垂直内挿手段 181において、出力信号 W (j)の演算を行うためには、入力信号 V (int (jZ垂直倍率） + 1)が必要となるため、 V(int (jZ垂直倍率） + 1)が入力されるラインで演算を行ようにしている。つまり、ライン毎に V (i)が入力されるが、全ラインで演算する必要は無ぐ V (int (jZ垂直倍率） + 1)が入力されたときだけ演算すればよい。なお、 1ライン中の演算は各画素単位で行い、同一の水平位置の画素に対して行う必要がある。

[0051] この演算を行っているラインにおいて、垂直内挿手段 181の出力信号が有効となり、それ以外のラインにおける出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この垂直ライン有効フラグを垂直ズーム制御手段 171で生成している

[0052] 垂直ズーム制御手段 171は、垂直倍率を入力され、この垂直倍率に基づいて α νと

ι8 Vを演算し、上式に基づいて W(j)の演算を行うタイミングを算出し、有効ラインを示す垂直ライン有効フラグを出力するとともに、 W(j)の演算を行うタイミングに合わせて対応する垂直内挿係数 α νを垂直内挿手段 181に出力する。ここでは、 "Η"レベルを有効ライン、 "L"レベルを無効ラインとしている。

[0053] 次に、水平方向の内挿処理を行う水平ズーム制御手段 172と水平内挿手段 182について説明する。

[0054] 図 6は、水平内挿手段 182の構成を更に詳しく示すブロック図である。図 6に示すように、水平内挿手段 182は、入力される水平内挿係数 a hから 1 a hを演算する演算部 182aと、入力される水平内挿係数 a hと垂直内挿手段 181の出力とを乗算する第 1の乗算器 182bと、垂直内挿手段 181の出力を 1画素分遅延させる 1画素遅延手段 182cと、演算部 182aの出力する 1— a hと 1画素遅延手段 182cの出力とを乗算する第 2の乗算器 182dと、第 1の乗算器 182bの出力と第 2の乗算器 182dの出力とを加算する加算器 182eとを備えて、る。

[0055] 図 7は、水平倍率 2Z3の場合の映像信号処理装置の動作例を、水平同期信号と、クロックと、水平内挿手段 182への入力信号と、水平内挿手段 182の出力信号と、水平画素有効フラグのタイミングチャートで示している。ここで、水平倍率 2Z3とは、水平内挿手段 182の入力画素数:水平内挿手段 182の出力画素数 =3:2を意味している。また、図 7に示すように、 1水平走査期間中の有効画素数が 15画素の例を示しており、 1クロックで 1画素を処理するようになって!/、る。

[0056] 図 7において、 x(O), x(l), ···, x(14)は、水平内挿手段 182への入力信号で、 1 ライン分の入力画素に対応しており、 y(O), y(l), ···, y(9)は、水平内挿手段 182 の出力信号で、 1ライン分の出力画素に対応している。

[0057] 水平内挿手段 182では、次式に基づいて、入力信号 x(i) (i=0, 1, 2, ···, 14)から出力信号 y(j) (j = 0, 1, 2, ···, 9)を生成するようになっている。

y(j) = (l- ah) Xx(int(j8h)) + α1ιΧχ(ίηί(|81ι)+1)

ここで、

β h=jZ水平倍率 =j X 3/2

である。

[0058] なお、上式は、 2点力の線形内挿の演算式である力高次の内挿を行ってもよい

[0059] また、水平内挿手段 182において、出力信号 y(j)の演算を行うためには、入力信号 x(int(jZ水平倍率） +1)が必要となるため、 x(int(jZ水平倍率） +1)が入力されたタイミングで演算を行うようにしている。つまり、クロック毎に x(i)力 S入力される力全クロックで演算する必要は無ぐ x(int(jZ水平倍率） +1)が入力されたクロック期間だけ演算すればよい。

[0060] この演算を行っている期間が、水平内挿手段 182の出力信号が有効となり、それ以外の期間における出力は無効となるため、有効か無効かを示す有効フラグが必要となる。この水平画素有効フラグを水平ズーム制御手段 172で生成している。 [0061] 水平ズーム制御手段 172は、水平倍率を入力され、この水平倍率に基づいて a h と i8 hを演算し、上式に基づいて y(j)の演算を行うタイミングを算出し、有効ラインを示す水平画素有効フラグを出力するとともに、 y (j)の演算を行うタイミングに合わせて対応する水平内挿係数 a hを水平内挿手段 182に出力する。ここでは、 "H"レベルを有効画素、 "L"レベルを無効画素としている。

[0062] さらに、ズーム制御手段 17の論理積回路 173において、垂直ライン有効フラグと水平画素有効フラグとの AND (論理積)を行って有効フラグ信号を生成するようになつている。

[0063] 図 8は、水平同期信号と垂直同期信号に同期して撮像素子 12から出力される映像信号 (出力信号)と、電子ズーム処理後の出力信号と、論理積回路 173の有効フラグ信号のタイミングチャートである。図 8に示すように、映像信号処理装置から出力される電子ズーム処理後の出力信号と有効フラグ信号を受け取った機器は、有効フラグ信号に基づいて電子ズーム処理後の出力信号から有効な画素情報だけを取り出すことができる。したがって、電子ズーム処理後の出力信号と有効フラグ信号を受け取つた機器は、電子ズームされた画像を取得することができる。

[0064] 以上説明したように、本実施の形態の映像信号処理装置は、電子ズーム処理を水平方向と垂直方向に分けて行い、垂直方向の処理を 1ライン毎に行っているので、フレームメモリを使う必要が無ぐラインメモリだけで電子ズーム機能を実現することができ、低コストで電子ズーム機能を実現することができる。

[0065] なお、水平倍率と垂直倍率とが異なる値でも電子ズーム処理を行うことができる。

[0066] また、本実施の形態の映像信号処理装置では、垂直内挿を行った後で、水平内挿を行っている。しかしながら、垂直方向の処理と水平方向の処理は独立で順序は問わないので、水平内挿を行った後に垂直内挿を行うようにしても力まわない。ただし、その場合には、水平内挿手段 182と垂直内挿手段 181の間にライン遅延手段 16を入れる構成となる。

[0067] また、ライン遅延手段が、映像信号が表わす映像の水平方向の 1ライン分を記憶することが可能な 3つのバンクを有するライン記憶手段によって構成されてもょ、。この場合、ライン記憶手段は、 3つのバンクの内の 1つ目のバンク力水平方向の 1ライン分の映像を順次書き込み、 3つ目のバンクに 1ライン分の映像を書き込み後、 1つ目のバンクに戻って、先に書き込んだ 1ライン分の映像の上に次の 1ライン分の映像を書き込み、 1フレーム分の映像の水平方向の全ラインの映像を書き込むまで 3つのバンクへの書込み動作を繰り返し、ライン記憶手段は、 3つバンクの何れか 1つに書き込むとき、 3つのバンクの内の残りの 2つに記憶されている 2ライン分の映像を読み出し、読み出した 2ライン分の映像を内挿手段に出力するようになっている。一方、内挿手段では、ライン記憶手段が読み出した 2ライン分の映像の垂直方向に隣接する画素間を内挿するようになって、る。

[0068] (第 2の実施の形態）

次に、図 9は、本発明の第 2の実施の形態の映像信号処理装置の構成を示すプロック図である。なお、本実施の形態の映像信号処理装置は、上述の第 1の実施の形態の映像信号処理装置と略同様に構成されており、同一の構成要素には同一の符号を付し、同一の符号を付した構成要素の説明を省略し、第 1の実施の形態の映像信号処理装置の構成要素と異なる特徴部分についてのみ説明する。

[0069] 本実施の形態の映像信号処理装置は、内挿手段 18が出力する電子ズーム処理後の出力信号に対し補間処理を行う補間手段 21を備えることを特徴としている。

[0070] 補間手段 21は、電子ズーム出力信号を書込みアドレス 'バンクに応じて記憶し、読出しアドレス 'バンクに応じて 2つのバンクを同時に読み出すことができるライン記憶手段 211と、ライン記憶手段 211から出力される 2ライン分の信号力垂直補間係数に応じて補間処理を行う垂直補間演算手段 212と、 1画素分の信号を記憶する画素記憶手段 213と、画素記憶手段 213の出力から水平補間係数に応じて補間処理を行う水平補間演算手段 214と、ライン記憶手段 211と垂直補間演算手段 212を制御して垂直補間処理を制御する垂直補間制御手段 215と、水平補間演算手段 214を制御して水平補間処理を制御する水平補間制御手段 216とを備えている。

[0071] このような補間手段 21にお、て垂直方向に 2倍の補間処理を行う場合を説明する

[0072] 図 11は、垂直方向に 2倍の補間処理行う場合の動作例を示すタイミングチャートである。 [0073] 図 11において、 Z(0), Z(l),…は、内挿手段 18が出力する電子ズーム出力で補間手段 21の入力であり、 L(O), L(l),…は、垂直補間演算手段 212の出力である

[0074] 補間手段 21に入力された電子ズーム出力は、垂直補間制御手段 215が出力する書込みアドレス 'バンクに従ってライン記憶手段 211に記憶される。

[0075] ライン記憶手段 211は、 3バンクの記憶領域を有しており、ライン毎に書き込むバンクが切り替えられる。 3バンクを順次切り替えることで、読み出しが完了するまで上書きされないようにしている。

[0076] 補完したい倍率を Nv (図では 2)とすると、ライン記憶手段 211からの読み出しは、既に書き込みが完了している 2つのバンクから、書込み速度の Nv倍の速度で、 Nv回だけ読み出す。図 11では、 2倍の速度で 2回同じバンク力もラインを読み出す。

[0077] Nv回読み出したうちの i回目の垂直補間係数 γ νは、

である。

[0078] 垂直補間演算手段 212は、 Nv回読み出した 2つのライン (Z(j), Z(j + 1) (j = 0, 1 ,…；)に対して、それぞれの読出し回数 i(i=l, 2, ···, Nv)に対応した垂直補間係数 γνにより次式に基づいて L(O), L(l), L(2),…を生成する。

L(jXNv+i-l) = (l-₇v) XZ(j) + ₇vXZ(j + l)

図 11の 2倍補間の例では、 1回目の垂直補間係数 =0、 2回目の垂直補間係数 = 0.5である。

[0079] また、ライン記憶手段 211は、入力される有効フラグも記憶しており、 Nv倍速で読み出した有効フラグを垂直補間有効フラグとする。

[0080] 次に、水平方向に 2倍の補間処理を行う場合を説明する。

[0081] 図 12は、水平方向に 2倍の補間処理行う場合の動作例を示すタイミングチャートである。

[0082] 図 12において、 K(O), K(l),…は、垂直補間演算手段 212の出力で水平補間演算手段 214の入力画素であり、 Μ(Ο), M(l),…は、水平補間演算手段 214の出力画素である。 [0083] 垂直補間演算手段 212が出力した垂直補間出力は、水平補間演算手段 214に入力されるとともに、画素記憶手段 213にも入力され、画素記憶手段 213により 1画素分のタイミングを遅延されて水平補間演算手段 214に入力される。

[0084] 補完したい倍率を Nh (図では 2)とすると、水平補間演算手段 214は、入力の 1クロック（画素）の間に Nhクロック（画素）分の補間処理を行、、入力された信号クロックの Nh倍のクロック単位で補間した画素を出力する。

[0085] Nh回演算 (補間処理)するうちの i回目の水平補間係数 γ hは、

である。

[0086] 水平補間演算手段 214は、垂直補間演算手段 212から入力された画素 K (j + 1)と画素記憶手段 213で遅延された画素 K(j)に対して、それぞれの演算回数 i (i= l, 2 , · ··, Nh)に対応した垂直補間係数 γ ΐιにより次式に基づいて M (O) , M (l) , M (2) ,…を生成する。

M (j X Nh + i— 1) = (l - y h) XK(j) + y h XK(j + l)

図 12の 2倍補間の例では、 1クロック目は水平補間係数 =0で補間し、 2クロック目は水平補間係数 =0. 5で補間する。

[0087] このように本実施の形態においては、補間手段 21により内挿手段 18の出力に補間処理を行っているので、映像処理装置の倍率としては、内挿の倍率 X補間の倍率となるため、縮小から拡大まで任意の倍率を設定することができる。

産業上の利用可能性

[0088] 以上のように、本発明にかかる映像信号処理装置は、低コストで電子ズーム機能を実現することができるとヽぅ効果を有し、映像信号の電子ズーム処理を行う映像信号処理装置等として有用である。

Claims

請求の範囲

[1] 映像信号を 1水平走査期間分遅延させるライン遅延手段と、前記映像信号と前記ライン遅延手段の出力から垂直方向の内挿処理を行い、水平方向に隣接する画素間で水平方向の内挿処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する内挿手段とを備えることを特徴とする映像信号処理装置。

[2] 前記内挿手段が出力する信号を少なくとも 2ラインずつ使って垂直方向の補間処理を行うとともに、水平方向に隣接する画素間で水平方向の補間処理を行い、出力する信号が有効となる期間を示す有効フラグを出力する補間手段を備えることを特徴とする請求項 1記載の映像信号処理装置。

[3] 水平同期信号及び垂直同期信号に同期して映像信号を出力する映像信号出力手段と、

前記映像信号を前記水平同期信号の 1周期と同じ期間分遅延するライン遅延手段と、

前記遅延手段が遅延した映像信号を前記映像信号出力手段が出力した映像信号と比較し、前記遅延手段が遅延した映像信号によって表わされる映像の垂直方向に隣接する画素間を内挿する内挿手段と、

垂直倍率に応じて前記垂直方向に隣接する画素間を内挿するよう前記内挿手段を制御するズーム制御手段とを備える映像信号処理装置。

[4] 前記内挿手段は、更に、前記垂直方向に隣接する画素間が内挿された映像の水平方向に隣接する画素間を内挿し、

前記ズーム制御手段は、水平倍率に応じて前記水平方向に隣接する画素間を内挿するよう前記内挿手段を制御するようにしたことを特徴とする請求項 3に記載の映像信号処理装置。

[5] 前記ズーム制御手段は、前記ライン遅延手段によって遅延される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御するようにしたことを特徴とする請求項 3に記載の映像信号処理装置。

[6] 前記内挿手段は、前記垂直方向に隣接する画素間を内挿した映像が示された映像信号を生成する垂直内挿手段と、前記水平方向に隣接する画素間を内挿した映像が示された映像信号を生成する水平内挿手段とを有し、

前記ズーム制御手段は、前記垂直内挿手段が生成した映像信号の有効な期間を垂直ライン有効フラグで指示する垂直ズーム制御手段と、前記水平内挿手段が生成した映像信号の有効な期間を水平ライン有効フラグで指示する水平ズーム制御手段と、前記水平ライン有効フラグと前記垂直ライン有効フラグの指示に応答し、前記水平方向と前記垂直方向の両方が有効な期間を示す有効フラグ信号を生成し、前記生成した有効フラグ信号を前記水平内挿手段が生成する映像信号に同期して出力する論理積回路を有することを特徴とする請求項 4に記載の映像信号処理装置。

[7] 前記垂直ズーム制御手段は、前記垂直倍率から垂直内挿係数を算出し、

前記垂直内挿手段は、前記ライン遅延手段が遅延した映像信号に前記垂直倍率を乗算する第 1の乗算器と、前記映像信号出力手段が出力した映像信号に前記垂直倍率の補数を乗算する第 2の乗算器と、前記垂直倍率が乗算された映像信号と前記垂直倍率の補数が乗算された映像信号との和を示す映像信号を生成する加算器とを有し、

前記垂直ズーム制御手段は、前記垂直内挿手段が、前記加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して前記水平内挿手段に出力するよう制御するようにしたことを特徴とする請求項 6に記載の映像信号処理装置。

[8] 前記水平ズーム制御手段は、前記水平倍率から水平内挿係数を算出し、

前記水平内挿手段は、前記垂直内挿手段から受け取った映像信号を 1画素分遅延する 1画素遅延手段と、前記垂直内挿手段から受け取った映像信号に前記水平内挿係数を乗算する第 1の乗算器と、前記 1画素遅延手段が遅延した映像信号に前記水平内挿係数の補数を乗算する第 2の乗算器と、前記水平内挿係数を乗算した映像信号と前記水平内挿係数の補数を乗算した映像信号の和を示す映像信号を生成する加算器とを有し、

前記水平ズーム制御手段は、前記水平内挿手段の加算器が生成した映像信号を前記水平同期信号及び垂直同期信号に同期して出力するようにしたことを特徴とする請求項 7に記載の映像信号処理装置。

[9] 前記ライン遅延手段は、映像信号が表わす映像の水平方向の 1ライン分を記憶することが可能な 3つのバンクを有するライン記憶手段によって構成され、

前記ライン記憶手段は、前記 3つのバンクの内の 1つ目のバンク力順次前記水平方向の 1ライン分の映像を書き込み、 3つ目のバンクに 1ライン分の映像を書き込み後、前記 1つ目のバンクに戻って、先に書き込んだ前記 1ライン分の映像の上に次の

1ライン分の映像を書き込み、 1フレーム分の映像の水平方向の全ラインの映像を書き込むまで前記 3つのバンクへの書込み動作を繰り返し、

前記ライン記憶手段は、前記 3つバンクの何れか 1つに書き込むとき、前記 3つのバンクの内の残りの 2つに記憶されている 2ライン分の映像を読み出し、前記読み出した 2ライン分の映像を前記内挿手段に出力し、

前記内挿手段は、前記ライン記憶手段が読み出した 2ライン分の映像の垂直方向に隣接する画素間を内挿するようにしたことを特徴とする請求項 3に記載の映像信号処理装置。

前記ズーム制御手段は、前記ライン記憶手段に記憶される前に、前記内挿手段が水平方向に隣接する画素間を内挿するよう制御するようにしたことを特徴とする請求項 9に記載の映像信号処理装置。