JP3848023B2

JP3848023B2 - 動き適応型映像高感度化装置

Info

Publication number: JP3848023B2
Application number: JP24718599A
Authority: JP
Inventors: 健二大関; 徳唯山中; 俊一林
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1999-09-01
Filing date: 1999-09-01
Publication date: 2006-11-22
Anticipated expiration: 2019-09-01
Also published as: JP2001078056A

Description

【０００１】
【発明の属する技術分野】
本発明は、画素加算技術を用いて映像を高感度化する技術に係り、特に、従来技術において見られたような動画部における過度のフレーム間画素加算による残像等の映像破綻を最小限に抑えながら、映像を高感度化するようにした動き適応型映像高感度化装置に関する。
【０００２】
【従来の技術】
テレビジョンカメラの高感度化は、テレビジョン番組の制作に際して、夜間撮影、星空撮影、照明が当てられない特殊撮影などで強い要求がある。信号対雑音比を悪くしないで感度を向上する手段として、従来、
ａ．映像のフレーム蓄積を利用する、
ｂ．撮像素子に特殊撮像管（スーパーＨＡＲＰ）を用いる、
ｃ．撮像素子の前段に光増倍デバイス（例えば、イメージ・インテンシファイア（Ｉ．Ｉ））を付加する、および
ｄ．撮像素子の高感度化を図る
などにより高感度化が行われてきた。
【０００３】
また、高感度化に関するものとして、撮像素子自体の高感度化を図るものではないが、ＣＣＤテレビジョンカメラ内の動きベクトル検出回路で検出された被写体の動き量に応じて、ＣＣＤ撮像素子からの信号読み出し間隙を制御して光感度性能を調整するとともに、フィールド（またはフレーム）内の画素信号の画素の加算処理を行うことで光感度性能を調整することにより、高感度モードで動作させても、動き被写体の再生映像の動き解像度の劣化を抑制するようにしたもの（特開平９−２３３３９５号）もある。
【０００４】
【発明が解決しようとする課題】
上述の従来の技術について、
ａ．の技術は、テレビジョンの通常のフレーム周波数（３０フレーム／秒）を少なくする方法であるので、映像中に動きがある場合、動きの軌跡が残像として出現するという欠点がある、
ｂ．の技術は、現在最も画質の良い高感度撮像手段であるが、撮像管を用いたカメラであるため運用性が悪いと共に、撮像管および撮像管カメラの製造・保守が困難な状況となってきている、
ｃ．の技術は、軍需用として開発された技術で特殊撮像としての利用はあるが、放送等で使用する場合、光ショット雑音などの影響で十分な画質（信号対雑音比に代表される）が得られない、
ｄ．の技術は、現在主流の固体撮像デバイス（ＣＣＤやＭＯＳ）の開口率を改善したり増幅型デバイス化を図ることであるが理論限界まで改善されたとしても２〜３倍の改善しか得られない
という、それぞれ問題点を含んでいる。
【０００５】
なお、上述の特開平９−２３３３９５号明細書記載の方法は、ＣＣＤ撮像素子からの信号読み出し間隔を制御するなど、テレビジョンカメラの高感度化のみに関する技術である。
【０００６】
本発明の目的は、テレビジョンカメラの撮像映像に限らず、広く一般に、すでに映像信号として与えられた映像の高感度化を実現する装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明動き適応型映像高感度化装置は、映像における動画部の動解像度および信号対雑音比が視覚的に低下するという特性に着目し、動き適応型画素加算により動画部の周辺画素加算と時間軸加算とを動きベクトルの大きさと方向に基づいて可変合成することによって、自然な画素加算画像を得るようにしたものである。
【０００８】
すなわち、本発明動き適応型映像高感度化装置は、入力映像信号から映像の動きベクトルを検出する動きベクトル検出回路、該動きベクトル検出回路によって動きベクトルが検出されたときに、該検出された動きベクトルの大きさと方向に応じて画素加算の領域が制御される周辺画素加算手段、および前記動きベクトル検出回路によって動きベクトルが検出されたときにはその大きさに応じてフレーム方向の画素加算数が制御され、前記動きベクトル検出回路によって動きベクトルが検出されないときには、フレーム方向に所定数の画素加算を行うフレーム間画素加算手段を少なくとも具えてなることを特徴とするものである。
【０００９】
また、本発明動き適応型映像高感度化装置は、前記周辺画素加算手段による画素加算と前記フレーム間画素加算による画素加算との双方における画素加算数の和が、画面上のすべての位置において前記所定数であることを特徴とするものである。
【００１０】
また、本発明動き適応型映像高感度化装置は、前記動きベクトル検出回路が、入力画像信号をフレーム方向に画素加算した信号をもとに動きベクトル検出を行うように構成されていることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明動き適応型映像高感度化装置の構成を、概念図にて示している。
図１において、Ａはテレビジョンカメラによって撮像された撮像映像をＦ_k からＦ_k+m までのフレーム映像で示している。ここで、撮像映像は山、道路および車を含んでいるものとする。まず、動き検出を行って静止画部と動画部とに分離する。これにより、静止画部は山と道路のみの映像Ｂ、動画部は車だけの映像Ｃとなる。
【００１２】
感度改善のために、本発明では、映像Ｂ（静止画部の映像）に対してはフレーム方向（時間軸ｔの方向）に（ｍ＋１）個の画素加算を行う。一方、映像Ｃ（動画部の映像）に対しては、当該映像の動きベクトルの大きさと方向に応じて、ｎ個の周辺画素の加算をフォアグラウンド動画部分およびアンカーバックグラウンド動画部分に実施するとともに、フレーム方向にも（ｍ−ｎ＋１）個の画素加算（図１においては、フレームＦ_k+n からフレームＦ_k+m までの画素加算で示される) を行う。
【００１３】
上記において、動画部の映像に対して行う周辺画素加算とフレーム方向の画素加算は、検出された動きベクトルに適応させ、動きベクトルが大きいときには周辺画素加算の加算画素数を増加し、フレーム方向の加算画素数を減少させるように行う。また、動きベクトルが小さいときには、周辺画素加算の加算画素数を減少し、フレーム方向の加算画素数を増加させるように行う。さらに、周辺画素加算は、当該画素をとり囲む周辺画素を均等に加算するのでなく、動きベクトルの方向に沿った画素を重点的に加算する。
【００１４】
ここで、動きベクトルの大きさと方向に応じた周辺画素加算の仕方について説明する。
図２は、周辺画素加算の一例を示している。
本発明において、周辺画素加算は動きベクトルが大きいときには大きな周辺エリアに含まれる画素を加算の対象とするが、その際、動きベクトルの方向を参照する。図２に示すように、動きベクトルの元方向の画素は本来ぼけを含んでいるため大きなエリア（画素数ｎを多くする）を加算の対象にしても画質的にほとんど問題がないと言える。これに対し、現フレームの動き部分に該当する画素のベクトル方向先端および左右両サイド周辺画素の加算エリアは小さくする。丁度、流星の尾の形状のように周辺画素を加算するのが好ましい。
【００１５】
これの実施にあたっては、例えば、動きベクトルの方向に沿った複数の画素加算エリアの基本パターンを決定し予めＲＯＭなどに書き込んでおき、読み出し時に動きベクトルの大きさによってエリア拡大倍率を可変するアルゴリズムを用いるなどすればよい。
【００１６】
再び図１に戻って、静止画部について（ｍ＋１）個のフレーム方向の画素加算が行われ、また、動画部についてｎ個の周辺画素加算と（ｍ−ｎ＋１）個のフレーム方向の画素加算が行われ、それぞれ感度改善された画像信号は、図１に＋で示す加算処理を経て画面全体が高感度化された映像が得られる。
【００１７】
なお、静止画部におけるフレーム方向の画素加算数ｍと、動画部におけるフレーム方向および周辺画素の画素加算数（それぞれ、（ｍ−ｎ＋１）およびｎ）の合計（ｍ＋１）とを等しくしてあるのは、静止画部と動画部それぞれにおける感度上昇を等しくするだけでなく、画面上のすべての位置における映像の感度上昇を均一にするためでもある。
【００１８】
図３は、本発明動き適応型映像高感度化装置の一実施形態をブロック図にて示している。
図３において、１はフレーム間画素加算回路Ｉ、２はフレーム間画素加算回路II、３は周辺画素加算回路、４は動きベクトル検出回路、および５は加算総数設定回路である。
【００１９】
また、図４（ａ）〜（ｄ）は、図３中のフレーム間画素加算回路ＩおよびIIで画素加算が行われる期間（それぞれ、図４（ａ）および（ｂ））、そして動きベクトル検出に必要な信号が取り出される期間（図４（ｃ）および（ｄ））をそれぞれ示している。
【００２０】
これら図３および図４を参照して、映像の高感度化の動作を説明する。
まず、図３において、映像の高感度化のための信号処理が行われるのは、上記の符号２で示されるフレーム間画素加算回路IIと周辺画素加算回路３においてであり、これら両回路出力が加算器で加算されて、高感度化が行われた出力映像信号が得られる。
【００２１】
ここで、フレーム間画素加算は、上述したように、静止画部では（ｍ＋１）フレーム期間、動画部では（ｍ−ｎ＋１）フレーム期間加算する必要があり、これら加算期間の制御は、図３に示される動きベクトル検出回路４の出力を用いて行う。すなわち、動きベクトル検出回路４からは動きベクトルの大きさ情報ｎと方向情報ｏが得られるが、大きさ情報ｎは静止画部の加算期間であるｍフレームの値ｍを設定する加算総数設定回路５からの値ｍとの間で減算を行い、減算結果の（ｍ−ｎ＋１）によって符号２で示されるフレーム間画素加算IIを制御し、動きベクトルの大きさに応じた（ｍ−ｎ＋１）フレームのフレーム間画素加算を行うようにする。
【００２２】
一方、周辺画素加算は、図３に示される周辺画素加算回路３で行われるが、当該回路３に入力され周辺画素加算の対象となる映像信号は、動き画像の場合のフレーム間画素加算回路IIの出力である最新の入力映像信号（現フレーム）または現フレームを含めた数フレームの映像信号である。また、周辺画素加算回路３には、動きベクトル検出回路４からの動きベクトルの大きさ情報ｎと方向情報ｏが供給され、動きベクトルの大きさと方向に応じた周辺画素加算が行われる。
【００２３】
次に、動きベクトル検出について説明する。上記においては、動きベクトルは動きベクトル検出回路４において検出されるものとしたが、実際には、本発明の対象とする高感度化が必要な映像信号の場合、入力映像信号が検知限より小さく、通常の方法では動きベクトルを検出できないものと考えられる。
【００２４】
そこで、本発明においては、映像中のノイズの影響を避けて動きベクトルの検出ができるように、入力映像の Lフレームのフレーム方向の画素加算を行って信号対雑音比を改善した映像信号をもとに動きベクトルの検出を行うものとする。
【００２５】
この考えに基づく動きベクトルの検出を図４（ａ）〜（ｄ）を参照して説明する。
図４（ａ）は、任意のフレーム時間ｋから（ｋ＋ｍ）フレーム経過までのフレーム加算出力を示す。また、図４（ｂ）は、フレーム時間ｋから Lフレーム経過した後の時間（ｋ＋L ）より（ｋ＋L ＋ｍ）フレームまでのフレーム加算を示している。これら図４（ａ）および図４（ｂ）に示すフレーム加算出力信号から、それぞれ図４（ｃ）および図４（ｄ）に示すフレーム加算信号を生成する。
【００２６】
これら２種類の信号は、図３中に符号１および２で示すフレーム間画素加算回路ＩおよびIIでそれぞれ生成され、減算回路において図４（ｄ）の信号から図４（ｃ）の信号が差し引かれ動画部検出用信号が得られる。この動画部検出用信号を図３中の動きベクトル検出回路４に供給して、符号２で示すフレーム間画素加算回路および周辺画素加算回路３の制御に必要な動きベクトルの大きさ情報ｎおよび方向情報ｏを得る。
【００２７】
図５は、図３中の符号１，２で示されるフレーム間画素加算回路ＩおよびIIの一構成例を示している。また、図５に示す各フレーム間画素加算は、図４（ａ）〜（ｄ）の画素加算の例を示していて、特に、動きベクトル検出用の Lフレーム加算は、 Lが３の場合を示している。しかし、これは入力映像信号の信号対雑音比の程度に応じて任意のフレーム数に設定できるものである。なお、図中、Ｄ_xは１フレーム遅延回路を表している。
【００２８】
最後に、本発明は、テレビジョンカメラの撮影出力に適用して信号対雑音比の改善を図ることができるだけでなく、広く一般に信号対雑音比の小さい映像信号を、本発明により高感度化することによって、従来、雑音に埋まって認識することが困難であった映像の認識性を高めるなどに使用することができる。
【００２９】
【発明の効果】
本発明によれば、動画部のフレーム方向画素加算による残像等の映像破綻を最小限に抑えながら、入力映像信号の高感度化を実現することができる。
【００３０】
また、本発明による動き適用型映像高感度化装置をテレビジョン番組の制作に使用すれば、通常の高画質カメラを使用している状態から、時間と共に照度が低下した被写体の撮影への移行が信号対雑音比を低下させることなく可能になる。さらにまた、本発明によれば、取材された映像についてどの時点においても映像補償処理（高感度化）することができる。
【図面の簡単な説明】
【図１】本発明動き適応型映像高感度化装置の構成を概念図にて示している。
【図２】周辺画素加算の一例を示している。
【図３】本発明動き適応型映像高感度化装置の一実施形態をブロック図にて示している。
【図４】図３中のフレーム間画素加算回路ＩおよびIIで画素加算が行われる期間、そして動きベクトル検出に必要な信号が取り出される期間を示している。
【図５】図３中のフレーム間画素加算回路ＩおよびIIの一構成例を示している。
【符号の説明】
１フレーム間画素加算回路Ｉ
２フレーム間画素加算回路II
３周辺画素加算回路
４動きベクトル検出回路
５加算総数設定回路
Ａテレビジョンカメラによって撮像された撮像映像
Ｂ撮像映像中の静止画部
Ｃ撮像映像中の動画部
Ｄ_x １フレーム遅延回路

Claims

入力映像信号から映像の動きベクトルを検出する動きベクトル検出回路、
該動きベクトル検出回路によって動きベクトルが検出されたときに、該検出された動きベクトルの大きさと方向に応じて画素加算の領域が制御される周辺画素加算手段、および
前記動きベクトル検出回路によって動きベクトルが検出されたときにはその大きさに応じてフレーム方向の画素加算数が制御され、前記動きベクトル検出回路によって動きベクトルが検出されないときには、フレーム方向に所定数の画素加算を行うフレーム間画素加算手段
を少なくとも具えてなることを特徴とする動き適応型映像高感度化装置。
請求項１記載の動き適応型映像高感度化装置において、前記周辺画素加算手段による画素加算と前記フレーム間画素加算による画素加算との双方における画素加算数の和は、画面上のすべての位置において前記所定数であることを特徴とする動き適応型映像高感度化装置。
請求項１または２記載の動き適応型映像高感度化装置において、前記動きベクトル検出回路は、入力画像信号をフレーム方向に画素加算した信号をもとに動きベクトル検出を行うように構成されていることを特徴とする動き適応型映像高感度化装置。