JPH077655A - 高精細撮像装置 - Google Patents

Abstract

(57)【要約】 【構成】 ＣＣＤを含むカメラ１２からのＮＴＳＣ画像
データを静止領域画像生成回路１８，動領域画像生成回
路２０および動き量検出回路２２に与える。静止領域画
像生成回路１８でｎフィールド分の画像データを合成し
静止画像データを得る。動領域画像生成回路２０でフィ
ールド内内挿によって静止画像データと同じサンプリン
グ数の動画像データを得る。動き量検出回路２２で各画
像データの動き量を検出する。動き適応画像生成回路２
４で、静止画像データと動画像データとを動き量に応じ
て加算し、ハイビジョン画像を得る。 【効果】 少ない画素数のＣＣＤを用いても、動きに対
する動ぼけのない高解像度の画像を生成できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は高精細撮像装置に関
し、特にたとえばビデオカメラなどに用いられる、高精
細撮像装置に関する。

【０００２】

【従来の技術】画素数自体を増加することなく、たとえ
ばＣＣＤのような固体撮像素子（以下、単に「ＣＣＤ」
という）の解像度を向上させる従来技術として、昭和５
８年１０月２８日（金）にテレビジョン学会で発表され
た「スイング撮像による高解像度ＣＣＤ」（東芝総合研
究所：テレビジョン学会技術報告書ＥＤ７３６の１頁〜
６頁）がある。この技術を用いて水平方向および垂直方
向にＣＣＤをスイングし解像度を向上させると以下のよ
うになる。

【０００３】まず、被写体が結像したＣＣＤの位置を２
フィールド毎に周期的に縦・横方向にそれぞれ１／２画
素ずつずらすことによって、空間的なサンプリング数を
４倍に増やす。そして、合計８フィールドの入力画像デ
ータから１フレームの画像を合成することにより、高精
細な静止画像を得る。８フィールド合成画像のサンプリ
ング位置を図１４に示す。図１４（Ｂ）において、１Ａ
は第１フレーム奇数フィールドの入力画像データであ
り、１Ｂは第１フレーム偶数フィールドの入力画像デー
タである。２Ａ〜４Ｂは、１Ａに対しＣＣＤの位置をず
らしたときの第２〜第４フレームの入力画像データであ
る。

【０００４】

【発明が解決しようとする課題】この従来技術は、静止
した被写体に対して高精細な静止画像を得るためのもの
である。したがって、この動作を連続して行って８フィ
ールドの入力画像データから画像を合成すると、動画像
を撮影した場合には、いわゆる動ぼけという現象が起き
る。この様子を図１５に示す。図１５の合成画像を奇数
フィールドの画像とすると、フィールド１は１Ａ，フィ
ールド２は１Ｂ，フィールド３は２Ａ，そしてフィール
ド４は２Ｂを示す。このように、８フィールド間に被写
体が動いた場合、合成するそれぞれの入力画像において
被写体の位置がずれるので、被写体の合成画像はぼけて
しまう。

【０００５】それゆえに、この発明の主たる目的は、Ｃ
ＣＤの画素数自体を増加することなく、より高精細な画
像が得られる、高精細撮像装置を提供することである。

【０００６】

【課題を解決するための手段】この発明は、被写体を撮
像する固体撮像素子、固体撮像素子から与えられかつフ
ィールド毎にサンプリング位置がずれたｎフィールド分
の入力画像を合成することによってサンプリング密度が
入力画像のｎ倍の静止画像を生成する静止領域画像生成
手段、入力画像に対してフィールド内内挿を行うことに
よって静止画像と同じサンプリング数の動画像を生成す
る動領域画像生成手段、入力画像に基づいて動き量を検
出する動き量検出手段、および動き量検出手段による動
き量に応じて静止画像と動画像とを重み付けして加算す
ることによって動き適応画像を生成する動き適応画像生
成手段を備える、高精細撮像装置である。

【０００７】

【作用】ＣＣＤを含むカメラの駆動タイミングはタイミ
ング制御手段で制御され、カメラからのＮＴＳＣの画像
は静止領域画像生成手段，動領域画像生成手段および動
き量検出手段に与えられる。静止領域画像生成手段で、
フィールド毎にサンプリング位置がずれたｎフィールド
分のフィールド画像を合成することによって静止画像が
生成される。動領域画像生成手段で、静止画像の各サン
プリング位置に相当する位置の動画像を現入力画像から
フィールド内内挿によって生成する。すなわち、動領域
画像生成手段で、補間によって、静止画像と同じサンプ
リング数の動画像を生成する。動き量検出手段で、現入
力画像と過去８フィールド分の画像のうちの任意の画像
とをドット単位で比較し、現入力画像の各サンプリング
位置における動き量を求める。また、静止画像の各サン
プリング位置に相当する位置の動き量も補間によって求
める。動き適応画像生成手段で、動画像と静止画像とを
各位置毎に重み付けして、それらを加算することによっ
て静止画像と動画像との合成画像（動き適応画像）を得
て、ハイビジョン画像として出力する。このように、動
き量に応じて静止画像と動画像とを合成するため、動き
量が大きい領域ではぼけの少ない動画像となり、動き量
が小さい領域では高精細な静止画像となる。

【０００８】

【発明の効果】この発明によれば、少ない画素数のＣＣ
Ｄを用いても、動きのある被写体に対する動ぼけのない
高解像度の画像を生成できる高精細撮像装置を得ること
ができる。この発明の上述の目的，その他の目的，特徴
および利点は、図面を参照して行う以下の実施例の詳細
な説明から一層明らかとなろう。

【０００９】

【実施例】図１を参照して、この実施例の高精細撮像装
置１０は、ＮＴＳＣのカメラ１２で撮像した画像を合成
し、ハイビジョン画像として出力するものであり、カメ
ラ１２および回路部１４を含む。回路部１４に含まれる
タイミング制御回路１６からカメラ１２には、水平同期
信号ＨＤ，垂直同期信号ＶＤ，クロックＣＬＫが与えら
れ、カメラ１２からタイミング制御回路１６へは、カメ
ラ１２が被写体を撮影しているポジションを示すＦＩＤ
信号が与えられる。また、カメラ１２からのＮＴＳＣの
画像データは、静止領域画像生成回路１８，動領域画像
生成回路２０および動き量検出回路２２に与えられる。
そして、静止領域画像生成回路１８によってフィールド
合成されて得られた高精細な静止画像データ，動領域画
像生成回路２０によってフィールド内内挿されて得られ
た動画像データおよび動き量検出回路２２からの動き量
データは、それぞれ動き適応画像生成回路２４に与えら
れる。そして、動き適応画像生成回路２４から、合成画
像である所望のハイビジョン画像が出力される。

【００１０】ここで、タイミング制御回路１６からは、
ＮＴＳＣタイミングで駆動するためのＮＴＳＣタイミン
グ制御信号およびハイビジョンタイミングで駆動するた
めのハイビジョンタイミング制御信号がそれぞれ出力さ
れる。静止領域画像生成回路１８および動領域画像生成
回路２０へのＮＴＳＣ画像データの書き込みおよび動き
領域検出回路２２での処理動作は、それぞれＮＴＳＣタ
イミングで駆動される。一方、静止画像領域生成回路１
８からの静止画像データの読み出し，動領域画像生成回
路２０からの動画像データの読み出しおよび動き適応画
像生成回路２４での処理動作は、それぞれハイビジョン
タイミングで駆動される。このように、タイミング制御
回路１６によって、ＮＴＳＣ側のフィールド周波数（５
９．６Ｈｚ）を、ハイビジョン側のフィールド周波数
（６０Ｈｚ）に合わせる処理を行う。

【００１１】図１に示す高精細撮像装置１０のより詳し
いブロック図を図２ないし図４に示す。図１と図２ない
し図４との対応関係を説明すると、図１に示すタイミン
グ制御回路１６は、図２に示すハイビジョン側の基準ク
ロックを発生するクロック発生回路２６，ハイビジョン
側のタイミング制御回路２８，ＮＴＳＣ側の基準クロッ
クを発生するクロック発生回路３０，ＮＴＳＣ側のタイ
ミング制御回路３２，ＰＬＬカウンタ３４，ＰＬＬ回路
３６，メモリ制御回路３８，制御回路４０，図３に示す
メモリ制御回路４２および並べ換え制御回路４４に相当
する。また、図１に示す静止領域画像生成回路１８は、
図２に示すメモリ４６および選択回路４８に相当する。
図１に示す動領域画像生成回路２０は、図２に示すメモ
リ５０およびフィールド内内挿回路５２に相当する。図
１に示す動き量検出回路２２は、図２に示すメモリ５
４，フィールド内内挿回路５６，係数変換回路５８，図
３に示すメモリ６０，エッジ検出回路６２，メモリ６
４，並べ換え回路６６，レベル差算出回路６８および動
き量算出回路７０に相当する。さらに、図１に示す動き
適応画像生成回路２４は、図２に示す加重平均回路７
２，図４に示すブランキング回路７４，Ｄ／Ａ変換器７
６およびバッファアンプ７８に相当する。

【００１２】なお、図２の端子Ａ，Ｂ，ＣおよびＤはそ
れぞれ図３の端子Ａ，Ｂ，ＣおよびＤに接続され、図２
の端子Ｅ，ＦおよびＧはそれぞれ図４の端子Ｅ，Ｆおよ
びＧに接続される。図２ないし図４を参照して、カメラ
１２には、ＮＴＳＣ用のカメラが用いられ、たとえば図
５に示すように構成される。図５に示すカメラ１２はＣ
ＣＤ８０を含み、ＣＣＤ８０の後部には透明板８２が固
着される。透明板８２の上下，左右にはそれぞれ圧電素
子８４が取り付けられる。そして、信号発生器８６には
タイミング制御回路１６から水平同期信号ＨＤ，垂直同
期信号ＶＤおよびクロックＣＬＫが与えられ、信号発生
器８６からタイミング発生器８８へ水平同期信号ＨＤお
よび垂直同期信号ＶＤが与えられる。タイミング発生器
８８からはこれらの信号に基づいて発生するＣＣＤ駆動
パルスがＣＣＤ８０に与えられ、被写体を撮像するＣＣ
Ｄ８０の操作が制御される。そして、ＣＣＤ８０からの
画像は信号処理回路９０で処理された後、Ａ／Ｄ変換器
９２を介してカメラ１２からディジタルの画像データと
して出力される。また、信号発生器８６からの垂直同期
信号ＶＤは圧電素子制御回路９４に与えられ、圧電素子
制御回路９４からは、垂直同期信号ＶＤに基づいて、圧
電素子４８を制御する圧電素子制御信号が出力される。
すなわち、圧電素子制御回路９４から４つの圧電素子８
４へそれぞれ電圧が印加されることによって、フレーム
周期に同期させて透明板８２を上下方向および左右方向
に回転振動させる。したがって、ＣＣＤ８０も同様に、
図６に示すように回転振動する。これによって、ＣＣＤ
８０の撮像面上で被写体像がフレーム毎に上下，左右に
シフトする。このように、透明板８２を回転振動させる
ことによって、光が屈折し、ＣＣＤ８０の撮像面上で被
写体像がシフトする。

【００１３】ここで、カメラ１２のタイミングチャート
を図７に示す。図７において、映像入力の１Ａおよび１
Ｂは、それぞれ第１フレームの奇数フィールドおよび偶
数フィールドを示し、２Ａおよび２Ｂは、それぞれ第２
フレームの奇数フィールドおよび偶数フィールドを示
し、３Ａおよび３Ｂは、それぞれ第３フレームの奇数フ
ィールドおよび偶数フィールドを示し、４Ａおよび４Ｂ
は、それぞれ第４フレームの奇数フィールドおよび偶数
フィールドを示す。１Ａないし４Ｂのそれぞれの期間は
１／６０秒であり、カメラ１２には、１／１００電子シ
ャッタが用いられる。１／１００電子シャッタを用いる
ことによって、カメラ１２の露光時間は１／１００秒と
なり、カメラ１２からの画像データは次のフィールドで
出力される。なお、ＣＣＤ８０は、露光されていない時
間帯にフレーム毎に移動する（Ｓ１ないしＳ４に示
す）。また、ＣＣＤ８０はフレーム蓄積によって駆動さ
れる。

【００１４】図２に戻って、クロック発生回路２６から
の７４．２５ＭＨｚのクロックは、ハイビジョン側のタ
イミング制御回路２８に与えられ、タイミング制御回路
２８は後述するような種々の制御信号を発生する。ま
た、クロック発生回路３０からの２８．７ＭＨｚのクロ
ックおよびタイミング制御回路２８からのフレームリセ
ット信号（ＶＲＳＴ）がそれぞれＮＴＳＣ側のタイミン
グ制御回路３２に与えられる。フレームリセット信号は
１／３０秒毎に出力され、フィールド周波数を合わせる
ためには直接関係なく、ＮＴＳＣ側とハイビジョン側と
のフレームの先頭を合わせるために用いられる。そし
て、タイミング制御回路３２からはハイビジョンとフィ
ールド周波数を同じにしたＮＴＳＣ側のタイミング制御
信号すなわち垂直同期信号ＶＤ，水平同期信号ＨＤおよ
びクロックＣＬＫがカメラ１２に出力される。

【００１５】また、ＮＴＳＣ側の１フレームのクロック
数とハイビジョン側の１フレームのクロック数との任意
の公約数をＦとすると、ＰＬＬカウンタ３４は、（ＮＴ
ＳＣ側の１フレームのクロック数／Ｆ）クロック周期の
信号をＰＬＬ回路３６に与える。同時に、タイミング制
御回路２８は、（ハイビジョン側の１フレームのクロッ
ク数／Ｆ）クロック周期の信号をＰＬＬ回路３６に与え
る。より具体的には、１フレームのクロック数として
は、ＮＴＳＣ側およびハイビジョン側ともライン数が用
いられる。すなわち、ＮＴＳＣ側の１フレームのライン
数は５２５本であり、ハイビジョン側の１フレームのラ
イン数は１１２５本である。そしてその公約数Ｆ＝２５
を用いることによって、ＮＴＳＣ側では５２５／２５＝
２１Ｈ，ハイビジョン側では１１２５／２５＝４５Ｈと
なり、ＮＴＳＣ側では２１Ｈ周期の信号が出力され、ハ
イビジョン側では４５Ｈ周期の信号が出力される。この
ような周期の信号を出力することによって、ＮＴＳＣ側
およびハイビジョン側ともに１フレームで２５個の信号
が出力される。

【００１６】そして、ＰＬＬ回路３６は、これらの２つ
の信号の位相が或る位置で固定するように、クロック発
生回路３０に電圧を印加し、クロック発生回路３０の出
力クロックの周波数を制御する。そして、カメラ１２
は、さらに、画像データのサンプリング位置（１Ａない
し４Ｂのいずれか）を示すＦＩＤ信号をタイミング制御
回路３２に出力する。ＦＩＤ信号は、画像データの８つ
のサンプリング位置１Ａないし４Ｂのいずれであるかを
識別できるようにたとえば３ビットで構成され、１Ａは
「０００」，１Ｂは「００１」，２Ａは「０１０」，…
４Ａは「１１０」，４Ｂは「１１１」というように、１
Ａから４Ｂに進むに従ってビット数を１ずつインクリメ
ントしてサンプリング位置を識別する。このＦＩＤ信号
はタイミング制御回路３２を介して、タイミング制御回
路２８およびメモリコントロール回路３８に与えられ
る。また、タイミング制御回路３２はＨカウンタ３２ａ
およびＶカウンタ３２ｂを含み、タイミング制御回路３
２からメモリコントロール回路３８へは、ＦＩＤ信号の
ほかに、Ｈカウント値およびＶカウント値が入力され
る。

【００１７】また、カメラ１２から出力される画像デー
タは、メモリ４６，５０，５４，図３に示すメモリ６０
および６４に与えられる。メモリ４６，５０，５４およ
び６０のそれぞれへのデータの書き込みならびにメモリ
６０からのデータの読み出しは、メモリ制御回路３８に
よって制御される。メモリ４６，５０および５４からの
データの読み出しは、画像合成制御回路４０によって制
御される。メモリ６４へのデータの書き込みおよびメモ
リ６４からのデータの読み出しは、メモリ制御回路４２
によって制御される。

【００１８】ここで、画像合成制御回路４０には、タイ
ミング制御回路２８からライン信号およびＦＩＤ信号が
与えられる。ライン信号は、奇数ラインまたは偶数ライ
ンのどちらの画像データを取り出すかを示す信号であ
る。画像合成制御回路４０は、ハイビジョン画像を合成
するための静止画像データの合成と動画像データおよび
動き量データの生成を制御する回路である。画像合成制
御回路４０は、メモリ４６からの画像データの読み出し
の他、選択回路４８を制御し、８フィールドのＮＴＳＣ
の画像データから静止画像データを合成する。

【００１９】静止画像データは以下のように生成され
る。メモリ４６は静止画像合成用のメモリであり、ＮＴ
ＳＣの１フィールド分の画像データを各々記憶できる８
個のメモリＭＥＭ（１Ａ）〜ＭＥＭ（４Ｂ）を有する。
８個のメモリＭＥＭ（１Ａ）〜ＭＥＭ（４Ｂ）は、それ
ぞれ画像データのサンプリング位置に対応したもので、
たとえば１Ａのサンプリング位置での画像データはメモ
リＭＥＭ（１Ａ）に書き込まれる。メモリ制御回路３８
は、与えられたＦＩＤ信号をデコードして、画像データ
のサンプリング位置を識別し、メモリＭＥＭ（１Ａ）か
らＭＥＭ（４Ｂ）の中からサンプリング位置に対応する
メモリを選択して、そのメモリに入力許可信号を送る。
また、メモリ制御回路３８は、与えられたＨカウント
値，Ｖカウント値に基づいて、フィールド毎にリセット
信号，ラインリセット信号等を生成し、メモリ５０の２
つのメモリＭＥＭ（Ｍ１）およびＭＥＭ（Ｍ２）に同時
に同じ画像データを書き込む。これによって、画像デー
タのサンプリング位置に対応したメモリへの画像データ
の書き込みが行われる。

【００２０】画像データの読み出し時において、奇数フ
ィールド奇数ラインではメモリＭＥＭ（１Ａ）とＭＥＭ
（２Ａ）とから画像データが出力され、奇数フィールド
偶数ラインではメモリＭＥＭ（１Ｂ）とＭＥＭ（２Ｂ）
とから画像データが出力される。同様に、偶数フィール
ド奇数ラインではメモリ（４Ａ）とＭＥＭ（３Ａ）とか
ら画像データが出力され、偶数フィールド偶数ラインで
はメモリＭＥＭ（４Ｂ）とＭＥＭ（３Ｂ）とから画像デ
ータが出力される。このとき、画像合成制御回路４０か
らメモリ４６の各メモリに与えられる読み出しアドレス
は、それぞれ２クロック毎に水平読み出しアドレスがイ
ンクリメントされ、２Ｈ毎に垂直読み出しアドレスがイ
ンクリメントされる。１クロック毎のタイミングは、７
４．２５ＭＨｚに相当する。

【００２１】そして、選択回路４８は、水平方向の奇数
番目の画素についてはメモリＭＥＭ（１Ａ），（１
Ｂ），（４Ａ）または（４Ｂ）からの画素データを選択
し、水平方向の偶数番目の画素についてはメモリＭＥＭ
（２Ａ），（２Ｂ），（３Ａ）または（３Ｂ）からの画
像データを選択して出力する。その結果、選択回路４８
からは、図８（Ｃ）に示すように合成された静止画像デ
ータが出力される。

【００２２】図８に、高精細撮像装置１０におけるフィ
ールドとサンプリング位置との関係を示す。ＣＣＤ８０
を上述のように回転振動させることによって、図８
（Ａ）に示す第１フレームの奇数フィールド（１Ａ）お
よび偶数フィールド（１Ｂ）入力画像データのサンプリ
ング位置に対し、第２〜第４フレームの各フィールドの
入力画像データのサンプリング位置は図８（Ｂ）に示す
ようにずれていく。したがって、４フレームの入力画像
データから図８（Ｃ）に示すような１フレームの高精細
な静止画像データを生成することができる。

【００２３】このように、ＣＣＤ８０の空間サンプリン
グ位置をフレーム毎に縦・横方向とも１／２画素ずつ変
えることによって、４フレームの画像データから高精細
な静止画像データが生成される。また、動画像データお
よび動き係数データＫＫおよび（１−ＫＫ）は以下のよ
うに生成される。

【００２４】メモリ５０は動画像生成用のメモリであ
り、ＮＴＳＣの１フィールド分の画像データを記憶でき
る２個のメモリＭＥＭ（Ｍ１）およびＭＥＭ（Ｍ２）を
有する。この２個のメモリＭＥＭ（Ｍ１）およびＭＥＭ
（Ｍ２）はメモリ制御回路３８によって制御され、毎フ
ィールド画像データが書き込まれかつ読み出される。メ
モリ５４は動き量算出回路７０から出力される動き量デ
ータＫを書き込むためのメモリであり、ＮＴＳＣの１フ
ィールド分の画像データを記憶することができる２個の
メモリＭＥＭ（Ｋ１）およびＭＥＭ（Ｋ２）を有する。
これらのメモリＭＥＭ（Ｋ１）およびＭＥＭ（Ｋ２）へ
の書き込みは、メモリ制御回路３８によって制御され
る。

【００２５】メモリ５０および５４からのデータの読み
出し時において、メモリ５０からはＮＴＳＣの画像デー
タが、メモリ５４からは動き量データＫがそれぞれ同じ
タイミングで読み出される。メモリＭＥＭ（Ｍ２）はメ
モリＭＥＭ（Ｍ１）に対し、またメモリＭＥＭ（Ｋ２）
はメモリＭＥＭ（Ｋ１）に対し、それぞれ２Ｈ遅れたタ
イミングで読み出しを開始する。また、画像合成制御回
路４０からメモリ５０および５４に与えられる読み出し
アドレスは、２クロック毎に水平読み出しアドレスがイ
ンクリメントされ、２Ｈ毎に垂直読み出しアドレスがイ
ンクリメントされる。このため、メモリＭＥＭ（Ｍ１）
とＭＥＭ（Ｍ２）とからは１ライン隣合う画像データ
が、メモリＭＥＭ（Ｋ１）とＭＥＭ（Ｋ２）とからは１
ライン隣合う動き量データＫが、それぞれ同時に出力さ
れる。なお、メモリ５０および５４は、それぞれ１つの
フィールドメモリと２Ｈ遅延回路とを用いて構成されて
もよい。

【００２６】フィールド内内挿回路５２および５６に
は、それぞれメモリ５０および５４から画像データと動
き量データＫとが入力され、静止画像データと同じサン
プリング数の動画像データと動き係数データＫＫとが補
間処理によって生成される。このとき、フィールド内内
挿回路５２および５６は、それぞれ画像合成制御回路４
０から入力されるＦＩＤ信号によって画像データのサン
プリング位置のずれに対応した補間処理（フィールド内
内挿）を行う。係数変換回路５８にはフィールド内内挿
回路５６から動き係数データＫＫが入力され、係数変換
回路５８は動き係数データ（１−ＫＫ）およびＫＫを同
時に出力する。

【００２７】ここで、メモリ５４に与えられる動き量デ
ータＫは以下のように生成される。図３に示すメモリ６
０はエッジ検出回路６２のバッファメモリであり、ＮＴ
ＳＣの１フィールド分の画像データを記憶することがで
きる。メモリ６０はメモリ制御回路３８によって書き込
みと読み出しとが制御され、画像データのメモリ６０へ
の書き込みとメモリ６０からの画像データの読み出しと
が毎フィールド行われる。

【００２８】メモリ６４は、現入力フィールドから過去
８フィールドまでの合計９フィールドの画像データを同
時に得るための動き検出用メモリであり、ＮＴＳＣの１
フィールド分の画像データを記憶できる９個のメモリＭ
ＥＭ１〜ＭＥＭ９を有する。９個のメモリＭＥＭ１〜Ｍ
ＥＭ９は、メモリ制御回路４２によって書き込みと読み
出しとが制御される。並べ換え制御回路４４は９フィー
ルド周期のフィールドカウンタであり、９フィールドを
カウントできるようにたとえば４ビットの信号「０００
０」〜「１０００」が繰り返されてメモリ制御回路４２
および並べ換え回路６６へ与えられる。ここで「０００
０」は現フィールドを示し、１つインクリメントされて
いく毎に過去のフィールドにさかのぼっていく。

【００２９】メモリ制御回路４２は、メモリ６４に書き
込み許可信号を送り、画像データが毎フィールドメモリ
ＭＥＭ１からＭＥＭ９に対して巡回しながら書き込まれ
るようにメモリ６４を制御する。また、メモリ制御回路
４２はメモリ６４に読み出し制御信号を送り、毎フィー
ルド９個のメモリＭＥＭ１〜ＭＥＭ９から画像データを
同時に読み出す。メモリ６４の全てのメモリへの画像デ
ータの書き込みが開始された後に、画像データの読み出
しは開始される。これによって、メモリ６４は、現入力
画像データから８フィールド前の入力画像データまでの
合計９フィールド分の画像データを同時に入力する。

【００３０】並べ換え回路６６は、並べ換え制御回路４
４からの制御信号を受けて、メモリ６４から入力される
９フィールド分の画像データを時間軸方向に並べ換えて
出力する。ここで、Ｆ０は現入力画像データであり、Ｆ
１は１フィールド前に入力された画像データ、Ｆ２は２
フィールド前に入力された画像データとなり、以下Ｆ
３，Ｆ４，…Ｆ８は同様に解釈される。そして、レベル
差算出回路６８は、現フィールドの画像データＦ０と過
去８フィールド分の各々の画像データＦ１〜Ｆ８とのレ
ベル差Ｄ１〜Ｄ８（絶対値）を、現フィールドの各画素
データに対して算出する。動きのある画像が入力された
場合には、レベル差Ｄ１〜Ｄ８は大きいレベルとなる。

【００３１】また、エッジ検出回路６２は、現フィール
ドの画像データのエッジを検出する回路である。画像の
水平方向または垂直方向の輝度レベル差をエッジ信号Ｅ
として出力する。エッジ信号Ｅは、メモリ６０からの画
像データ（ＦＯＥ）の輝度差が大きい（画像データの高
周波成分のある）部分で大きい値となる。すなわち、画
像データの高周波成分によって輝度レベルの変化点をみ
つけ、エッジを検出する。

【００３２】エッジ検出回路６２は、たとえば図９に示
すように構成される。図９に示すエッジ検出回路６２
は、２つの１Ｈ遅延回路９６，９８，垂直フィルタ１０
０，３つのＤ−ＦＦ１０２，１０４，１０６および水平
フィルタ１０８を含む。このように、エッジ検出回路６
２は、垂直フィルタ１００と水平フィルタ１０８とを含
む２次元ハイパスフィルタを有する。垂直フィルタ１０
０には、メモリ６０からの画像データが与えられる。こ
のとき、遅延回路９６および９８を用いることによっ
て、垂直フィルタ１００には、隣接する３Ｈ分の画像デ
ータが与えられる。垂直フィルタ１００では、時系列的
に最も古いラインの画像データから順に、（−１）倍，
２倍，（−１）倍された後加算される。その後、画像デ
ータがドット毎にすなわち画素データがＤ−ＦＦ１０２
に与えられる。Ｄ−ＦＦ１０２ないし１０６には、それ
ぞれタイミング制御回路３２からＮＴＳＣ用の１４ＭＨ
ｚのクロックが与えられ、Ｄ−ＦＦ１０２ないし１０６
では、それぞれ入力された画素データが１ドットずつ遅
延されて水平フィルタ１０８に与えられる。

【００３３】水平フィルタ１０８では、連続する３ドッ
ト分の画素データに対し、時系列に古いものから順に、
（−１）倍，２倍，（−１）倍され、それぞれが加算さ
れた値がエッジ信号Ｅとして出力される。すなわち、こ
のようなエッジ検出回路６２では、現在与えられている
画素データとその周囲の８つの画素データとが選択さ
れ、合計９個の画素データに対して、それぞれ図１０に
示すような係数が掛けられ、その加算値がエッジ信号Ｅ
として出力される。図１０に示す場合には、現在の画素
データには４が掛けられ、その周囲の画素データには１
あるいは−２のいずれかが掛けられる。

【００３４】図３に戻って、動き量算出回路７０には、
レベル差算出回路６８からＤ１〜Ｄ８信号が、エッジ検
出回路６２からエッジ信号Ｅがそれぞれ入力され、動き
量検出回路７０は、現フィールドの各画素データに対し
動き量データＫを算出して出力する。このとき、メモリ
制御回路３８および４２でそれぞれメモリ６０および６
４からの画像データの読み出しのタイミングが制御され
ることによって、同じ空間サンプリング位置の画素デー
タのＤ１〜Ｄ８信号およびエッジ信号Ｅが動き量算出回
路７０へ入力される。動き量算出回路７０は、Ｄ１〜Ｄ
８信号の値に大きい値が存在する場合には動き量データ
Ｋを大きくし、エッジ信号Ｅが大きい場合には動き量デ
ータＫを小さくして、動き量データＫをメモリ５４の２
つのメモリＭＥＭ（Ｋ１）およびＭＥＭ（Ｋ２）に与え
る。

【００３５】ここで、動き量データＫは、数１によって
求められる。

【００３６】

【数１】Ｋ＝ΣＤ／（１＋Ｅ） ただし、数１の計算に、Ｄ１〜Ｄ８信号を全て用いると
は限らず、任意のＤ信号を用いることができる。たとえ
ば奇数フィールドおよび偶数フィールドの静止画像デー
タを生成する場合には、それぞれ対応する４つのＤ信号
を８つのＤ１〜Ｄ８信号の中から選択して用いればよ
い。

【００３７】図２に戻って、加重平均回路７２は、選択
回路４８から出力される静止画像データとフィールド内
内挿回路５２から出力される動画像データとに対し、係
数変換回路５８からそれぞれ出力される動き係数データ
（１−ＫＫ）とＫＫとの重み付けを行った後それらを加
算し、その結果として動き適応画像データを出力する。
静止画像データに対しては動き係数データ（１−ＫＫ）
が、動画像データに対しては動き係数データＫＫがそれ
ぞれ重み付けされる。このとき、画像合成制御回路４０
は、加重平均回路７２に入力される静止画像データと動
画像データとが同じ位置のデータになるように、メモリ
４６，５０および５４からの各データの読み出しのタイ
ミングを制御している。メモリ４６，５０および５４か
らの各データの読み出しは、メモリ５４への動き量デー
タＫの書き込みが開始された後であり、かつ垂直方向の
書き込みアドレスが読み出しアドレスを追い越さない条
件で開始される。

【００３８】そして、図４に示すブランキング回路７４
は、タイミング制御回路２８からのブランキング信号Ｂ
ＬＫに基づいて、加重平均回路７２から出力される動き
適応画像データのない部分を任意のレベルに固定し、ブ
ランキングする。この動き適応画像データのない部分と
は、図１１に示す斜線部分である。図１１は、ハイビジ
ョン用の画面（アスペクト比９：１６）にＮＴＳＣ側の
画像（アスペクト比３：４）を映し出した状態を示す。
ブランキング回路７４からの動き適応画像データはＤ／
Ａ変換器７６によってアナログ信号に変換された後、バ
ッファアンプ７８を通ってハイビジョン画像として出力
される。また、タイミング制御回路２８から出力される
同期信号ＳＹＮＣ（水平同期信号と垂直同期信号とのコ
ンポジット信号）は、Ｄ／Ａ変換器７６によってアナロ
グ信号に変換された後、バッファアンプ７８を通ってハ
イビジョン同期信号として出力される。

【００３９】このような高精細撮像装置１０の１フィー
ルド毎の各メモリへの書き込みや読み出し等のタイミン
グをまとめて図示したものを図１２に示す。図１２
（Ａ）はＮＴＳＣタイミングでの動作を示し、図１２
（Ｂ）はハイビジョンタイミングでの動作を示す。ここ
で、図面の左側の見出し欄に示す数字は、各構成要素の
参照番号を示す。図１２（Ｂ）の「５０，５４の出力
１」はメモリ５０のＭＥＭ（Ｍ１）からの出力およびメ
モリ５４のＭＥＭ（Ｋ１）からの出力を示し、「５０，
５４の出力２」はメモリ５０のＭＥＭ（Ｍ２）からの出
力およびメモリ５４のＭＥＭ（Ｋ２）からの出力を示
す。

【００４０】なお、上述の実施例において、ｎフィール
ドの合成画像データの入力画像データに対するサンプリ
ング密度がｎ倍となるのは順次走査を行う場合であり、
サンプリング密度がｎ／２となるのは飛び越し走査（イ
ンタレース走査）を行う場合である。すなわち、図８に
示す場合では、画像入力側および画像出力側の両方とも
飛び越し走査をしており、この場合奇数，偶数の各々の
フィールドについて、静止画像データの生成には、８フ
ィールドの画像データのうち４フィールドの画像データ
しか使用していない。このため、出力される静止画像デ
ータのサンプリング密度は入力画像データのｎ／２倍す
なわち４倍となる。

【００４１】このとき、画像出力側を順次走査にすれ
ば、奇数フィールド，偶数フィールドに拘わらず１フィ
ールド期間に８フィールド全ての画像データが出力され
るので、この場合には出力される静止画像データのサン
プリング密度は入力画像データのｎ倍すなわち８倍とな
る。また、画像入力側および画像出力側の両方を順次走
査する場合の入力画像データと出力される静止画像デー
タとの関係を図１３に示す。この場合、ＣＣＤ８０の画
素ずらしはフィールド毎に行う。また、４フィールドの
入力画像データから静止画像データを合成するためｎ＝
４となる。したがって、この場合には出力される静止画
像データのサンプリング密度は入力画像データのｎ倍す
なわち４倍となる。

【００４２】なお、この実施例では、ハイビジョン側の
基本クロックを７４．２５ＭＨｚとしたが、この場合、
高精細撮像装置１０から出力されるハイビジョン画像
は、元の画像に対して横方向に略１．０７（８０／７
４．２５）倍延びた画像となる。これは、ＮＴＳＣおよ
びハイビジョンのそれぞれの画素数およびアスペクト比
に起因する。ハイビジョン側の基本クロックを７４．２
５ＭＨｚに限定せず、８０ＭＨｚにすると、正しい縦横
比の画像が出力される。

【００４３】また、上述の実施例では、ＮＴＳＣ用のカ
メラ１２で撮影した画像データ４フレームから１フレー
ムの高精細な動き適応画像データを生成し、ハイビジョ
ン画像として出力する装置について述べたが、この発明
は、ＮＴＳＣ，ハイビジョン等の映像信号規格または合
成するフレームあるいはフィールド数についての制限を
何ら受けない。

【００４４】さらに、上述の実施例は、１つのＣＣＤ８
０を用いたモノクロの高精細撮像装置であるが、３枚の
ＣＣＤを用いた三板式カメラにこの発明を用いることに
より、フルカラーの動き適応高精細画像を得ることがで
きる。また、三板式カメラでなく単板式であっても、カ
ラーフィルタを装備したものあるいはダイクロイックプ
リズムを用いてＲＧＢ分離できるものを用いればよい。
この場合には、動き量検出回路２２およびタイミング制
御回路１６を共通して用い、その他の静止領域画像生成
回路１８および動き適応画像生成回路２４等を３組作れ
ばよい。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】図１実施例のブロック図の一部をより詳細に説
明するブロック図である。

【図３】図１実施例のブロック図の一部をより詳細に示
すブロック図である。

【図４】図１実施例のブロック図の一部をより詳細に示
すブロック図である。

【図５】カメラの一例を示すブロック図である。

【図６】ＣＣＤの回転振動の状態を示す図解図である。

【図７】カメラの動作を示すタイミング図である。

【図８】飛び越し走査の場合の入力画像データ，空間サ
ンプリング位置のフレーム毎の移動動作および出力され
る静止画像データを示す図解図である。

【図９】エッジ検出回路の一例を示すブロック図であ
る。

【図１０】エッジ検出回路で各画素データに掛けられる
係数の一例を示す図解図である。

【図１１】ハイビジョン用の画面の中でブランキングす
る部分を示す図解図である。

【図１２】ＮＴＳＣタイミングおよびハイビジョンタイ
ミングでの各構成要素の動作を示すタイミング図であ
る。

【図１３】順次走査の場合の入力画像データ，空間サン
プリング位置のフレーム毎の移動動作および出力される
静止画像データを示す図解図である。

【図１４】従来技術の画像合成方法を示す図解図であ
る。

【図１５】従来技術によって動きのある被写体を撮像し
た場合を示す図解図である。

【符号の説明】

１０ …高精細撮像装置 １２ …カメラ １６ …タイミング制御回路 １８ …静止領域画像生成回路 ２０ …動領域画像生成回路 ２２ …動き量検出回路 ２４ …動き適応画像生成回路 ２６，３０ …クロック発生回路 ２８，３２ …タイミング制御回路 ３４ …ＰＬＬカウンタ ３６ …ＰＬＬ回路 ３８，４２ …メモリ制御回路 ４０ …画像合成制御回路 ４４ …並べ換え制御回路 ４６，５０，５４，６０，６４ …メモリ ４８ …選択回路 ５２，５６ …フィールド内内挿回路 ５８ …係数変換回路 ６２ …エッジ検出回路 ６６ …並べ換え回路 ６８ …レベル差算出回路 ７０ …動き量算出回路 ７２ …加重平均回路 ７４ …ブランキング回路 ７６ …Ｄ／Ａ変換器 ７８ …バッファアンプ ８０ …ＣＣＤ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上平 員丈 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 村木 隆浩 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】被写体を撮像する固体撮像素子、 前記固体撮像素子から与えられかつフィールド毎にサン
   プリング位置がずれたｎフィールド分の入力画像を合成
   することによってサンプリング密度が入力画像のｎ倍の
   静止画像を生成する静止領域画像生成手段、 前記入力画像に対してフィールド内内挿を行うことによ
   って前記静止画像と同じサンプリング数の動画像を生成
   する動領域画像生成手段、 前記入力画像に基づいて動き量を検出する動き量検出手
   段、および前記動き量検出手段による前記動き量に応じ
   て前記静止画像と前記動画像とを重み付けして加算する
   ことによって動き適応画像を生成する動き適応画像生成
   手段を備える、高精細撮像装置。
2. 【請求項２】前記動き量に対しフィールド内内挿を行う
   ことによって前記各動画像に対応した動き量を生成する
   補間手段を含み、 前記動き適応画像生成手段は前記補間手段からの前記動
   き量に応じて前記静止画像と前記動画像とを重み付けし
   て加算する、請求項１記載の高精細撮像装置。
3. 【請求項３】前記動き量検出手段は、（ｎ＋１）フィー
   ルド分の画像をそれぞれフィールド毎に順次書き込みか
   つ現フィールドから過去ｎフィールドまでの（ｎ＋１）
   フィールド分の画像を同時に読み出す（ｎ＋１）個の第
   １記憶手段、および前記各第１記憶手段からそれぞれ出
   力される現フィールドの画像と過去ｎフィールド分の画
   像のうちの任意の画像とを比較する比較手段、および前
   記比較手段による比較結果に応じて現フィールドの画像
   の各サンプリング位置における動き量を算出する算出手
   段を含む、請求項１または２記載の高精細撮像装置。
4. 【請求項４】前記静止領域画像生成手段は、ｎフィール
   ド分の画像をフィールド毎にそれぞれ順次書き込みかつ
   前記各々の画像を同時に読み出すｎ個の第２記憶手段、
   および前記第２記憶手段からのｎフィールド分の画像に
   対し入力時のサンプリング位置に応じた画像合成を行う
   ことによって入力画像のｎ倍またはｎ／２倍のサンプリ
   ング密度の静止画像を生成する画像生成手段を含む、請
   求項１または２記載の高精細撮像装置。
5. 【請求項５】前記固体撮像素子によって画像入力側の第
   １のフィールド周波数で撮像された入力画像を画像出力
   側の第２のフィールド周波数で出力するように制御する
   タイミング制御手段を含む、請求項１記載の高精細撮像
   装置。