JP4454837B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置関し、特に、メモリを用いて異なる画素数の画像信号を処理する装置に関する。
【０００２】
【従来の技術】
従来、ビデオカメラにより撮影された画像信号をデジタル信号として磁気テープに記録するビデオカメラ一体型デジタルＶＴＲが知られている。また、近年では、メモリカードスロットを備え、動画像データについては従来通り磁気テープに記録し、メモリカードに対して静止画像を記録可能なデジタルＶＴＲも開発されている。
【０００３】
【発明が解決しようとする課題】
一方、近年の半導体技術の向上により、ＣＣＤの画素数が飛躍的に増加しており、前記のデジタルＶＴＲにおいても従来のものより多画素のＣＣＤを用いて静止画像を撮影、記録することが考えられる。
【０００４】
しかし、従来のデジタルでは、動画像データと静止画像データとが同一の画素数の信号であることを前提として設計されている。そのため、このようにＣＣＤの画素数が増加し、その結果、静止画像データの画素数が増加した場合に、容易に対応することができない。
【０００５】
また、近年では、回路特性の安定化や消費電力の削減のため、メモリを含めた動画像処理回路、静止画像処理回路などの各回路を同一の集積回路上に配置するのが一般的である。
【０００６】
しかし、画像信号の画素数が増加した場合、特に静止画処理については画像データの画素数に対応した記憶容量のメモリが必要となるが、静止画処理用のメモリまでもが同一の集積回路上に配置されている場合、メモリ回路のみを増設、あるいはより大容量のものに交換することができない。そのため、画像信号の画素数が増加する度に新たに集積回路を設計しなおす必要があり、大変な労力、コストがかかっていた。
【０００７】
本発明は、前述の如き問題を解決することを目的とする。
【０００８】
本発明の他の目的は、画像信号の画素数が変更した場合であっても容易に動画像、静止画像データの処理を可能とする処にある。
【０００９】
本発明の更に他の目的は、画像信号の画素数が変更された場合であっても集積回路の設計を変更することなく容易に静止画像データの処理を可能とする処にある。
【００１０】
【課題を解決するための手段】
本発明は、所定の記録フォーマットに対応した所定の画素数よりも多い第１の画素数の画像信号を出力する撮像手段と、前記撮像手段から出力された前記第１の画素数の画像信号を前記所定の画素数の画像信号に変換する変換手段と、前記所定の画素数に対応した記憶容量を持ち、前記変換手段から出力される前記所定の画素数の画像信号を記憶する第１のメモリと、前記第１の画素数に対応した記憶容量を持ち、前記撮像手段より出力された前記第１の画素数の画像信号を記憶する第２のメモリと、前記第２のメモリのアドレスを発生し、前記撮像手段より出力された前記第１の画素数の画像信号を前記第２のメモリに書き込むと共に前記第２のメモリより前記第１の画素数の画像信号を読み出すメモリインターフェイスと、前記第１のメモリに記憶されている前記所定の画素数の画像信号を、前記所定の記録フォーマットに従って動画像データとして記録媒体に記録する記録手段と、前記第２のメモリから読み出された前記第１の画素数の画像信号を静止画像データとして出力する静止画処理手段とを備え、前記変換手段、前記第１のメモリ、前記メモリインターフェイス及び前記静止画処理手段を同一の集積回路上に配置し、前記撮像手段、前記記録手段及び前記第２のメモリを前記集積回路とは独立した回路として構成した。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００１２】
図１は本発明が適用されるカメラ一体型デジタルＶＴＲ１００の構成を示すブロック図である。本形態のデジタルＶＴＲは、メモリカードを装着するカードスロットを備え、動画像データを磁気テープに記録する動画モードと、静止画像データをメモリカードに記録する静止画モードとを持つ。まず、動画モード時の動作について説明する。
【００１３】
図１において、１０１は撮像回路であり、レンズ、絞り等を含む光学系１０３と、ＣＣＤとその駆動回路やＡ／Ｄ変換器等を含む撮像素子１０５からなる。図１の装置では、撮像素子として、一般的な補色フィルタを配した単版のＣＣＤを用いており、ＣＣＤの画素数は約２００万画素、１フレームの有効画素数が水平１６００画素×垂直１２００画素のＵＸＧＡサイズの画像データを出力するものである。本形態では、ＣＣＤの色フィルタはシアン（Ｃｙ）、イエロー（Ｙ）、グリーン（Ｇ）、マゼンタ（Ｍｇ）で構成され、図２に示す配列となっている。
【００１４】
ＣＣＤから画像データを読み出す際、動画モードにおいては、隣接する２ラインの画素を加算して読み出すのが一般的である。撮像回路１０１は、不図示の制御回路によりその読み出し動作が制御され、操作スイッチ１４３により動画記録モードに設定されると、以下のように画像信号を読み出す。
【００１５】
例えば、図２の配列の場合、１フレームの画像データのうち、第１フィールドの画像信号はＮライン＋（Ｎ＋１）ライン、（Ｎ＋２）ライン＋（Ｎ＋３）ラインの順に読み出し、第２フィールドの画像信号は（Ｎ＋１）ライン＋（Ｎ＋２）ライン、（Ｎ＋３）ライン＋（Ｎ＋４）ラインの順に読み出す。
【００１６】
撮像回路１０１から出力されたデジタル画像信号は入力端子１０９を介してカメラ信号処理回路１１１に出力される。カメラ信号処理回路１１１は、入力端子１０９を介して出力された画像データに対してクランプ処理、ホワイトバランス処理の後色分離処理を行う。更に、輪郭補正処理、γ補正処理の後、マトリクス回路により輝度信号Ｙと色差信号Ｃｒ，Ｃｂ信号に変換し、動画モードにおいては、変換された画像信号を縮小回路１１３に出力する。
【００１７】
縮小回路１１３は、カメラ信号処理回路１１１から出力された画像信号に対して、ＬＰＦにより垂直・水平方向の２次元に帯域制限をかける。そして、この帯域制限された画像信号をＩＴＵ−Ｒ６０１に準拠したサンプリング構造でサブサンプルすることで、カメラ信号処理回路１１１から出力される画像信号の１フレームの画素数をテープＴに記録する上で規定されたフォーマットに従う所定の画素数、例えば本形態では、図３に示すように水平７２０画素×垂直４８０画素となるように変換し、そのサイズを縮小する。
【００１８】
縮小回路１１３により処理された画像信号はメモリ回路１１５に書き込まれる。メモリ回路１１５は１フレーム分の前記所定の画素数、例えば７２０×４８０画素の画像信号をベースバンドのまま、即ち圧縮・符号化処理していない状態で記憶可能な容量を持つ。
【００１９】
メモリ回路１１５に記憶された画像信号は、その出力するべきタイミングに同期して映像処理回路１１７により読み出される。映像処理回路１１７はメモリ回路１１５から読み出した画像信号に対し、電子ズーム処理やワイプ、フェード等の周知の合成処理や特殊効果処理を施し、映像出力回路１１９に出力する。映像出力回路１１９は映像処理回路１１７からの画像信号に対して水平、垂直同期信号を付加し、基準規格のＩＴＵ−Ｒ６０１／Ｒ６５６に準拠したデジタル映像信号に変換して出力端子１２１を介して映像記録処理回路１３５に出力する。
【００２０】
映像記録処理回路１３５は出力端子１２１を介して出力されたデジタル画像信号に対して周知のブロック符号化処理を施してその情報量を圧縮する。そして、圧縮符号化された画像データに対して、同期、ＩＤデータの付加、あるいはエラー訂正符号化等の処理を施し、記録データ列を生成して記録回路１３７に出力する。記録回路１３７は映像記録処理回路１３５から出力された記録データ列に対してデジタル変調等の処理を施すと共に、回転ヘッドによりテープＴ上に多数のトラックを形成して記録する。
【００２１】
次に、静止画モードについて説明する。静止画モードとは、操作スイッチ１４３の静止画記録用シャッタボタンが操作されたことに応じて撮像回路１０１から出力される画像信号のうちの１フレームを抽出し、静止画像データとしてメモリカードＭに記録するモードである。
【００２２】
操作スイッチ１４３の静止画記録スイッチが操作されると、撮像回路１０１は静止画記録スイッチの操作タイミングに応じた１フレームの画像信号を非加算読み出しにてＣＣＤより読み出し、入力端子１０９に出力する。
【００２３】
即ち、撮像回路１０１は静止画記録スイッチが操作されていない状態では前述のように加算読み出しにより画像信号を読み出し、不図示のモニタに出力している。従って、ユーザは静止画像の記録待機状態ではこのモニタにより通常の動画像データを確認することができる。そこで、ユーザが静止画記録スイッチを操作すると、撮像回路１０１はその操作タイミングに応じた１フレームの画像信号のみ非加算読み出しにてＣＣＤより読み出す。
【００２４】
例えば、図２に示すフィルタ配列の場合、非加算読み出し時においては、第１フィールドの画像信号はＮライン、（Ｎ＋２）ラインの順に読み出し、第２フィールドの画像信号は（Ｎ＋１）ライン、（Ｎ＋３）ラインの順に、隣接ラインの画素が加算されない状態で読み出される。
【００２５】
このように入力端子１０９より入力された１フレームの画像信号は一旦メモリインターフェイス回路１２３に出力され、静止画メモリ回路１４１に記憶される。
【００２６】
メモリインターフェイス回路１２３は操作スイッチ１４３の指示を受けた制御ＣＰＵ１３３により制御され、静止画メモリ回路１４１に対して画像データの書き込み、読み出しを行う回路である。静止画メモリ回路１４１は撮像回路１０１のＣＣＤの有効画素数に対応する画素数の１フレームの画像データを縮小することなく記憶可能な容量を持つものである。
【００２７】
また、本形態では、静止画メモリ回路１２５として、汎用のＳＤＲＡＭ(Synchronous Dynamic RAM)を使用している。従って、メモリインターフェイス回路１２３は静止画メモリ回路１２５として使用される汎用ＳＤＲＡＭの規格に準拠してカメラ信号処理回路１１１からの画像データをパケット化し、コマンドを付加して静止画メモリ回路１２５にアクセスする。更に、メモリインターフェイス回路１２３にて発生する汎用ＤＲＡＭアドレスに関しては、メモリの拡張性を考慮し、十分な本数を確保している。また、本形態では、例えば、静止画メモリ回路１２５として、記憶容量が６４Ｍビット程度以上の汎用のＳＤＲＡＭを用いることができる。
【００２８】
静止画メモリ回路１２５に書き込まれた１フレームの画像データは、メモリインテーフェイス回路１２３により順次（ノンインターレース）走査にて読み出され、カメラ信号処理回路１１１に出力される。
【００２９】
カメラ信号処理回路１１１は動画モードと同様、メモリインターフェイス回路１２３より出力される画像信号に対し、クランプ処理、ホワイトバランス処理の後色分離処理を行い、更に、輪郭補正処理、γ補正処理の後、マトリクス回路により輝度信号Ｙと色差信号Ｃｒ，Ｃｂ信号に変換する。カメラ信号処理回路１１１により処理された１フレームの画像信号は再びメモリインターフェイス回路１２３に出力され、静止画メモリ回路１２５に記憶される。
【００３０】
輝度信号と色差信号に変換されて静止画メモリ１４１に書き込まれた１フレームの画像信号は、メモリインターフェイス回路１２３により、静止画処理回路１２７による処理に適した順序で読み出され、静止画処理回路１２７に出力される。
【００３１】
静止画処理回路１２７はメモリインターフェイス回路１２３から出力される画像信号をＪＰＥＧ規格に従って符号化し、静止画像データとして静止画出力回路１２９に出力する。静止画出力回路１２９はメモリカードインターフェイス１３９にて扱うファイルフォーマットに従う形態に変換し、出力端子１３１を介してメモリカードインターフェイス１３９に出力する。メモリカードインターフェイス１３９はメモリカードＭ上の書き込みアドレスを指定し、出力端子１３１から出力された１フレームの符号化された静止画像データを一つのファイルとしてメモリカードＭに記録する。メモリカードＭはＶＴＲ１００に設けられたメモリカードスロットを介してＶＴＲ１００本体に着脱可能に構成される。
【００３２】
ここで、図１において、カメラ信号処理回路１１１、縮小回路１１３、メモリ回路１１５、映像処理回路１１７、映像出力回路１１９、メモリインターフェイス回路１２３、静止画処理回路１２７、静止画出力回路及び、制御ＣＰＵ１３３は同一の集積回路１０７上に構成されている。そして、静止画メモリ回路１２５はこれら集積回路１０７とは別の回路として構成される。
【００３３】
即ち、本形態では、動画処理と静止画処理に係る回路の大部分は同一の集積回路上に置くことで回路特性の均一化、消費電力の抑制を図っている。そして、動画処理と静止画素処理に係る回路のうち、静止画メモリ回路１２５については集積退路とは別の回路構成とすることで、撮像回路１０１にて用いるＣＣＤの画素数がより多くなった場合にも、容易に対応できるようにした。
【００３４】
即ち、撮像回路１０１にて用いるＣＣＤの画素数がより多くなった場合、縮小回路１１３による縮小処理を撮像回路１０１からの画像信号のサイズに応じて変更し、静止画メモリ１２５を撮像回路１０１からの画像信号のサイズに応じた容量を持つ、例えば、１２８Ｍビットの汎用ＳＤＲＡＭや６４Ｍビットの汎用ＳＤＲＡＭを複数設けることで容易に対応可能となる。
【００３５】
また、動画像処理用のメモリ１１５については、動画像処理にて扱う画像信号の画素数が、テープＴに対する記録フォーマットにて規定された所定の画素数、即ち７２０画素×４８０画素と決まっているため、ＣＣＤの画素数が変更してもそれに応じてメモリ回路１１５の容量を変更する必要がない。
【００３６】
このように画像信号の画素数が増加することを考慮し、前述のように、メモリインターフェイス回路１２３にて発生するアドレスを予め十分確保しておくことが望ましい。
【００３７】
また、静止画メモリ回路１２５の記憶容量については、連写機能を考慮して複数フレーム分の容量を持つメモリを使用することも可能である。
【００３８】
図１の装置では、動画処理用のメモリ回路１１５を集積回路１０７上に配置したが、この動画処理用のメモリ回路も静止画メモリ回路１２５と同様、汎用のＳＤＲＡＭを使い、別の回路として構成することも可能である。
【００３９】
図４はこのように動画処理用のメモリ回路も汎用のＳＤＲＡＭを用いた場合のカメラ一体型ＶＴＲ１００の構成を示す図である。図４において、図１と同様の構成については同一番号を付し、その詳細な説明は省略する。
【００４０】
図４において、動画モードにおいては、縮小回路１１３により縮小された画像信号がメモリインターフェイス回路１２３に出力される。メモリインターフェイス回路１２３は制御ＣＰＵ１３３からの制御信号に応じて書き込みアドレスを発生し、縮小回路１１３から出力された画像信号をメモリ回路１４３に書き込む。そして、メモリインターフェイス回路１２３はメモリ回路１４３に記憶された画像信号を所定の出力タイミングに同期して読み出し、映像処理回路１１７に出力する。
【００４１】
また、静止画モード時の動作は図１の装置と同様である。
【００４２】
本形態では、メモリ回路１４３も汎用のＳＤＲＡＭとすることで、更に使い勝手が向上する。
【００４３】
即ち、撮像回路１０１にて用いられるＣＣＤの画素数が３６万画素程度の場合、メモリ回路１４３を３２Ｍビット程度の汎用ＳＤＲＡＭとし、メモリ回路１４３の記憶領域を動画処理用領域と静止画処理用領域とに分けて使用することで、特に静止画メモリ回路１２５を設けることなく動画像データの処理と静止画像データの処理を実現することが可能となる。
【００４４】
一方、ＣＣＤの画素数が増えた場合には、メモリ回路１４３に加え、新たに静止画メモリ回路１２５を追加することで、動画像データよりも画素数の多い静止画像データの処理を行うことが可能となる。
【００４５】
このように、動画像処理用のメモリ回路１４３と静止画メモリ回路１２５のメモリインターフェイスを共通の汎用のＳＤＲＡＭ用インターフェイスとすることで、回路の大幅な設計変更することなく画素数が３６万画素程度の画像信号から、１００万画素を超えるような多画素の画像信号まで処理可能となる。
【００４６】
なお、前述の実施形態では、静止画メモリ回路１２５として汎用のＳＤＲＡＭを使っていたが、勿論これ以外のメモリを使用することも可能である。
【００４７】
【発明の効果】
以上述べたように、本発明によれば、画像信号の画素数が変更した場合であっても容易に動画像、静止画像データの処理が可能となる。また、撮像された画像信号の画素数が変更された場合であっても集積回路の設計を変更することなく容易に静止画像データの処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明が適用されるカメラ一体型ＶＴＲの構成を示す図である。
【図２】図１の装置にて用いる撮像素子のフィルタ構成を示す図である。
【図３】図１の装置による縮小処理を示す図である。
【図４】本発明が適用されるカメラ一体型ＶＴＲの他の構成を示す図である。

Claims (1)

1. 所定の記録フォーマットに対応した所定の画素数よりも多い第１の画素数の画像信号を出力する撮像手段と、
   前記撮像手段から出力された前記第１の画素数の画像信号を前記所定の画素数の画像信号に変換する変換手段と、
   前記所定の画素数に対応した記憶容量を持ち、前記変換手段から出力される前記所定の画素数の画像信号を記憶する第１のメモリと、
   前記第１の画素数に対応した記憶容量を持ち、前記撮像手段より出力された前記第１の画素数の画像信号を記憶する第２のメモリと、
   前記第２のメモリのアドレスを発生し、前記撮像手段より出力された前記第１の画素数の画像信号を前記第２のメモリに書き込むと共に前記第２のメモリより前記第１の画素数の画像信号を読み出すメモリインターフェイスと、
   前記第１のメモリに記憶されている前記所定の画素数の画像信号を、前記所定の記録フォーマットに従って動画像データとして記録媒体に記録する記録手段と、
   前記第２のメモリから読み出された前記第１の画素数の画像信号を静止画像データとして出力する静止画処理手段とを備え、
   前記変換手段、前記第１のメモリ、前記メモリインターフェイス及び前記静止画処理手段を同一の集積回路上に配置し、前記撮像手段、前記記録手段及び前記第２のメモリを前記集積回路とは独立した回路として構成したことを特徴とする画像処理装置。

Images