JP3733248B2

JP3733248B2 - 再生装置及びその方法

Info

Publication number: JP3733248B2
Application number: JP26457098A
Authority: JP
Inventors: 信吾池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-09-18
Filing date: 1998-09-18
Publication date: 2006-01-11
Anticipated expiration: 2018-09-18
Also published as: JP2000101974A

Description

【０００１】
【発明の属する技術分野】
本発明は再生装置及びその方法に関し、特には、再生画像信号の補間処理に関するものである。
【０００２】
【従来の技術】
従来より、画像信号をデジタル信号として記録再生するデジタルＶＴＲが知られている。
【０００３】
このようなデジタルＶＴＲにおいて、例えば１／２倍速のスロー再生を行う場合について説明する。
【０００４】
この場合には、テープを記録時の１／２の速度で搬送して画像信号を再生するので、同一の画像信号が２回繰り返し再生される。そこで、再生された画像信号をメモリに記憶しておき、メモリから同一のフレームの画像信号を２回繰り返し読み出すことにより１／２倍速のスロー再生画像を得ることができる。
【０００５】
【発明が解決しようとする課題】
通常ＣＲＴモニタは１フレームの画像を２フィールドのインタレースした画像として表示するため、ＶＴＲからモニタに出力する際もインタレース形式に変換して出力する場合が多い。
【０００６】
そこで、前述のスロー再生時に通常再生と同様にインタレース変換処理を施すと、出力される画像の様子は図１２の通りとなる。この場合、スロー再生画像としてフレームＦＲ１の第２フィールドｆ２が出力された後で再びＦＲ１の第１フィールドｆ１が出力される。そのため、再生画像の時間経過が不連続になり、再生画像が不自然になってしまう。
【０００７】
そこで、メモリから読み出す順序を図１３または図１４の通りにすることで、再生画像の時間経過の不連続を解消することができる。即ち、図１３においては、各フレームの第１フィールドｆ１のみを出力し、図１４においては、各フレームの第１フィールドｆ１を２回繰り返し出力した後、第２フィールドｆ２を２回繰り返し出力している。
【０００８】
しかし、図１３、図１４の例では、一方のフィールドだけで１フレームの画像を構成するため、再生される画像の解像度が通常再生時の１／２になってしまい、また、画面上の斜め線も滑らかに表示できないという問題がある。
【０００９】
本発明は前述の如き問題を解決することを目的とする。
【００１０】
本発明の他の目的は、記録媒体より画像を再生する際に、高精細な補間画像を得る処にある。
【００１１】
【課題を解決するための手段】
このような目的下において、本発明においては、互いにインタレースした複数のフィールドで１フレームが構成された画像信号を記録媒体から再生する再生手段と、前記再生画像信号の１フレームを構成する複数のフィールド中、基準フィールドの画像信号を用いて前記基準フィールド以外の他のフィールドの画像信号を補間する補間手段と、前記複数のフィールドから前記基準フィールドを選択的に設定する制御手段とを備える構成とした。
【００１２】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について詳細に説明する。
【００１３】
図１は本発明が適用されるＶＴＲの構成を示すブロック図である。
【００１４】
図１において、通常の記録時においては、撮像回路１０１により得られた画像信号はメモリ１０３に記憶される。メモリ１０３は複数フレーム分の画像信号を記憶可能である。ＤＣＴ回路１０５はメモリ１０３に書き込まれた画像信号を図２に示した垂直８画素×水平８画素からなるブロック毎に読み出し、ブロック単位でＤＣＴ処理を施して量子化回路１０７及び符号量見積回路１０９に出力する。なお、このとき、ＤＣＴ回路１０５は後述の圧縮・符号化に適したシャフリングを行う。
【００１５】
符号量見積回路１０９は符号量を見積り、所定数のＤＣＴブロック毎に所定の情報となるよう、量子化回路１０７で用いる量子化係数を決定して量子化回路１０７に出力する。量子化回路１０７は符号量見積回路１０９にて決定された量子化係数を用いてＤＣＴ回路１０５からの出力を量子化し、可変長符号化回路１１１に出力する。可変長符号化回路１１１は量子化された画像データを可変長符号化し、記録処理回路１１３に出力する。
【００１６】
記録処理回路１１３は可変長符号化された画像データに対して同期、ＩＤの付加、誤り訂正符号化、デジタル変調等周知の処理を施して記録再生回路１１５に出力する。記録再生回路１１５は回転ヘッドを用いて記録処理回路１１３から出力された画像データを磁気テープ上に記録する。このとき、制御回路１３３は記録再生回路１１５におけるキャプスタン等を含むメカニズムに対して、所定の速度でテープを搬送するよう制御信号を出力する。
【００１７】
次に、このように記録された画像データを再生する通常再生時の動作について説明する。
【００１８】
操作部１３１により通常再生の指示があると、制御回路１３３は記録再生回路１１５に対し、記録時に対応した速度でテープを搬送するよう制御信号を出力する。記録再生回路１１５は磁気テープ前述の通り圧縮符号化された画像信号を再生し再生処理回路１１７に出力する。再生処理回路１１７は再生データを復調すると共に記録時に付加された誤り訂正符号を用いた誤り訂正処理等周知の処理を施し、更に、同期、ＩＤデータを検出して可変長符号復号回路１１９に出力する。
【００１９】
可変長符号復号回路１１９は再生処理回路１１７からの画像信号に対して記録時に対応した可変長符号の復号処理を施し、逆量子化回路１２１に出力する。逆量子化回路１２１は記録時に応じた量子化係数に従って再生信号を逆量子化し、逆ＤＣＴ回路１２３に出力する。
【００２０】
前述の通り、本形態における画像信号は、記録時に１フレームの縦８画素×横８画素毎にＤＣＴ処理されており、逆ＤＣＴ回路１２３は逆量子化回路１２１から出力された画像信号に対して逆ＤＣＴ処理を施し、ＤＣＴ係数から通常の画像データに変換する。
【００２１】
逆ＤＣＴ回路１２３からブロック単位で出力された画像信号は、記録時のシャフリングの順に従ってメモリ１２５に書き込まれる。そして、メモリ１２５からラスタスキャンの順に読み出され、出力回路１２９より外部モニタ等に出力される。なお、補間処理回路１２７は後述のように、スロー再生時及び静止画再生時においてメモリ１２５に記憶された画像信号に対して補間処理を施し、再びメモリ１２５に書き込む。また、メモリ１２５は少なくとも３フレーム分の画像信号を記憶可能であり、メモリ１０３と共用することももちろん可能である。
【００２２】
さて、このような構成において、操作部１３１によりスロー再生の指示があったときの動作について説明する。
【００２３】
以下、本形態では、スロー再生時においては簡単のためテープを記録時の１／２の速度で搬送して画像信号を再生するものとする。
【００２４】
本形態のデジタルＶＴＲにおいては、１フレームの画像信号を複数のトラックに記録しているが、スロー再生時においては、これら各トラックを２回づつ繰り返しトレースして画像信号を再生する。そして、制御回路１３３は補間処理回路１２７に対して補間処理を実行させる旨の制御信号を出力すると共に、基準フィールドを切り換えるための制御信号を出力する。
【００２５】
補間処理回路１２７はメモリ１２５から読み出した画像信号に対して後述の如く補間処理を施し、再びメモリ１２５に書き込む。本形態ではメモリ１２５を２バンク構成とし、各バンク１フレームの画像信号を記憶可能とする。そして、制御回路１３３はメモリ１２５に対して補間処理回路１２７により１フレーム分の補間処理済みの画像信号が書き込まれた後、読み出しバンクを切り換えて補間処理された画像信号を出力回路１２９に出力する。
【００２６】
図３は補間処理回路１２７の構成を示すブロック図である。
【００２７】
図３において、メモリ１２５より画面の左上から順に読み出された画像信号はラインメモリ２０１及び補間信号生成回路２０５に出力される。ラインメモリ２０１は入力された画像信号を１ライン期間遅延させてラインメモリ２０３及び補間信号生成回路２０５に出力する。ラインメモリ２０３はラインメモリ２０１から出力された画像信号を更に１ライン期間遅延させて補間信号生成回路２０５に出力する。
【００２８】
従って、補間信号生成回路２０５には画面上で垂直方向に隣接する３画素の画像信号が同時に供給されることになる。
【００２９】
メモリ１２５より補間処理回路１２７に出力される画像信号の様子を図４に示す。
【００３０】
図４は１フレーム分の画像信号の様子を示し、メモリ１２５からは最初のラインＡの左端の画素から順に補間処理回路１２７に読み出され、その後、ラインＢ、ラインＣの順に読み出される。従って、図４において、例えばラインＡ、Ｂ、Ｃの垂直方向に隣接する３画素の画像信号が同時に補間信号生成回路２０５に入力される。
【００３１】
補間信号生成回路２０５はこれら３画素の画像信号を用いてフィールド間の動きを検出し、この動きに基づいて他方のフィールドの画像信号を補間する。
【００３２】
また、本形態の補間信号生成回路２０５は、制御回路１３３からの制御信号に従い、図５に示したようにフィールドｆ１の画像信号を基準としてフィールドｆ２の補間画像信号ｆ１ｄを補間生成する状態と、図６に示したようにフィールドｆ２の画像信号を基準としてフィールドｆ１の補間画像信号ｆ２ｄを補間生成する状態とを選択的に設定可能である。
【００３３】
補間信号生成回路２０５は、図７に示したように、連続する３画素の画像信号Ａ、Ｂ、Ｃのうち、中央の画素Ｂの画像信号の値と、その上下の画素Ａ、Ｃの画像信号の値の平均値ＡＶＥとの差βを求め、この動き量βを所定の閾値と比較して３値のデータＭＯＶＥを求める。そして、検出した動きデータＭＯＶＥに基づいて補間画像信号を生成する。なお、動きデータＭＯＶＥは１〜３の値をとり、ＭＯＶＥが１のときには動画を、ＭＯＶＥが３のときには静止画を、ＭＯＶＥが２のときには動画と静止画の中間であることを示す。
【００３４】
ここで、図５のＩや図６のＬのように、上下に隣接する画素が存在する場合の補間画像信号の求めかたは、Ａ、Ｂ、Ｃ、Ｉをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、Ｉ＝（Ａ＋Ｃ）／２
ＭＯＶＥ＝２のとき、Ｉ＝（Ａ＋Ｂ＋Ｃ）／３
ＭＯＶＥ＝３のとき、Ｉ＝Ｃ
の通りである。
【００３５】
また、図５のＪのように補間画素が画面の一番下のラインの場合、動きデータＭＯＶＥはその１ライン上の画素に対する動きデータ、即ち図４のラインＧの画素に対する動きデータを用る。そして、その求めかたは、Ｆ、Ｇ、Ｈ、Ｊをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、Ｊ＝Ｇ
ＭＯＶＥ＝２のとき、Ｊ＝（Ｇ＋Ｇ＋Ｈ）／３
ＭＯＶＥ＝３のとき、Ｊ＝Ｈ
の通りである。
【００３６】
また、図６のＫのように補間画素が画面の一番上のラインの場合、動きデータＭＯＶＥはその１ライン下の画素に対するデータ、即ち図４のラインＢの画素に対する動きデータを用いる。そして、その求めかたは、Ａ、Ｂ、Ｃ、Ｋをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、Ｋ＝Ｂ
ＭＯＶＥ＝２のとき、Ｋ＝（Ａ＋Ｂ＋Ｂ）／３
ＭＯＶＥ＝３のとき、Ｋ＝Ａ
の通りである。
【００３７】
このように、補間信号合成回路２０５においてはフィールドｆ１を基準とした補間画像信号ｆ１ｄと、フィールドｆ２を基準とした補間画像信号ｆ２ｄとを生成可能なものである。制御回路１３３は、スロー再生時において図７に示したように各フィールドの画像信号を出力するべく補間信号生成回路２０５に対して基準フィールドの切り換えを示す制御信号を出力する。
【００３８】
即ち、スロー再生においては、フレームＦＲ１の再生画像信号について、まずフィールドｆ１を基準フィールドとして第２フィールドの補間画像信号ｆ２を生成してフィールドｆ１、ｆ１ｄの順に出力し、次にフィールドｆ２を基準として第１フィールドの補間画像信号ｆ２ｄを生成してフィールドｆ２ｄ、ｆ２の順に出力する。以下、フレームＦＲ２以降についても同様の制御を繰り返す。
【００３９】
このように、本形態においては、スロー再生時において同一フィールドの画像を繰り返し出力するのではなく、フィールド間の動きに応じて他方のフィールドの画像を補間して出力している。そのため、スロー再生において再生画像の解像度の低下を防止することができる。
【００４０】
また、本形態においては、補間の基準フィールドをフレーム毎に切り換えている。そのため、スロー再生時において、動きのある画像を滑らかに表示することができ、且つ、静止している画像については十分な解像度を得ることができる。
【００４１】
即ち、本形態では、図８において、フィールドｆ１の画像を出力した後、フィールドｆ１を基準として生成した補間画像ｆ１ｄを出力している。フィールドｆ１ｄはフィールドｆ１とｆ２の動きが反映されたフィールドｆ１を基準とした画像である。そして、次にフィールドｆ２を基準として生成した補間画像ｆ２ｄを出力している。このｆ２ｄもフィールドｆ１とｆ２との間の動きが反映されているが、基準となるフィールドをｆ２としているので、画像としてはフィールドｆ２により近い画像となっている。そして、最後にフィールドｆ２の画像をそのまま出力する。
【００４２】
例えば、フィールドｆ１とｆ２との動きが大きいとき、図１４の如く単純にｆ１とｆ２とを繰り返し出力した場合にはフィールド間のぶれが目立ってしまう。これに対し、本形態では、フレーム毎に基準フィールドを変更しつつ補間画像を出力するので、動きが大きい場合にもぶれることなく、滑らかな画像を表示することができる。
【００４３】
次に、本発明の他の実施形態について説明する。
【００４４】
図９は本発明の他の実施形態としてのデジタルＶＴＲの構成を示す図である。図９において、図１と同様の構成については同一番号を付して説明する。
【００４５】
図１の装置では、逆ＤＣＴ回路１２３からの画像信号を一度メモリ１２５に書き込んだ後に補間処理回路１２７にて補間画像信号を生成したが、本形態では、逆ＤＣＴ回路１２３からメモリ１２５へ画像信号を出力するまでの間に補間処理回路１３５により補間画像信号を生成するものである。図９の装置は逆ＤＣＴ回路１２３からメモリ１２５に画像信号が出力されるまでの間の処理以外は図１の装置と同じであるので、詳細な説明は省略する。
【００４６】
図１０は補間処理回路１３５の構成を示すブロック図である。
【００４７】
本形態では８画素×８画素からなるブロック毎にＤＣＴ処理を施しているので、逆ＤＣＴ回路１２３からは、図１１に示した順で８画素×８画素からなるブロック単位で画像信号が出力され、補間処理回路１３５に出力される。
【００４８】
逆ＤＣＴ回路１２３から出力された画像信号は８画素メモリ３０１及び補間信号生成回路３０５に出力される。８画素メモリ３０１は入力された画像信号を８画素分遅延させて８画素メモリ３０３及び補間信号生成回路９０５に出力する。８画素メモリ３０３は８画素メモリ３０１より出力された画像信号を更に８画素分遅延させて補間信号生成回路３０５に出力する。
【００４９】
従って、補間信号生成回路３０５には同一ブロックの画面上で垂直方向に隣接する３画素の画像信号が同時に供給されることになる。
【００５０】
逆ＤＣＴ回路１２３より補間処理回路１３５に出力される画像信号の様子を図２に示す。
【００５１】
図２（ａ）は逆ＤＣＴ回路１２３より出力される１ブロック分の画像信号の様子を示し、逆ＤＣＴ回路１２３からは図１０に示すように最初のラインａの左端の画素から順に補間処理回路１３５に読み出され、その後、ラインｂ、ラインｃの順に読み出される。従って、図２（ａ）において、例えばラインａ、ｂ、ｃの垂直方向に隣接する３画素の画像信号が同時に補間信号生成回路９０５に入力される。
【００５２】
補間信号生成回路３０５はこれら３画素の画像信号を用いて前述の実施形態と同様にフィールド間の動きを検出し、この動きに基づいて他方のフィールドの画像信号を補間する。
【００５３】
また、本形態の補間信号生成回路３０５は、先の実施形態と同様に、制御回路１３３からの制御信号に従い、図２（ｂ）に示したようにフィールドｆ１の画像信号を基準としてフィールドｆ２の補間画像信号ｆ１ｄを補間生成する状態と、図２（ｃ）に示したようにフィールドｆ２の画像信号を基準としてフィールドｆ１の補間画像信号ｆ２ｄを補間生成する状態とを選択的に設定可能である。
【００５４】
即ち、補間信号生成回路３０５は、図７に示したように、連続する３画素の画像信号ａ、ｂ、ｃのうち、中央の画素ｂの画像信号の値と、その上下の画素ａ、ｃの画像信号の値の平均値ＡＶＥとの差βを求め、この動き量βを所定の閾値と比較して３値のデータＭＯＶＥを求める。そして、検出した動きデータＭＯＶＥに基づいて補間画像信号を生成する。なお、動きデータＭＯＶＥは１〜３の値をとり、ＭＯＶＥが１のときには動画を、ＭＯＶＥが３のときには静止画を、ＭＯＶＥが２のときには動画と静止画の中間であることを示す。
【００５５】
ここで、図２（ｂ）のｉや図２（ｃ）のｌのように、上下に隣接する画素が存在する場合の補間画像信号の求めかたは、ａ、ｂ、ｃ、ｉをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、ｉ＝（ａ＋ｃ）／２
ＭＯＶＥ＝２のとき、ｉ＝（ａ＋ｂ＋ｃ）／３
ＭＯＶＥ＝３のとき、ｉ＝ｃ
の通りである。
【００５６】
また、図２（ｂ）のｊのように補間画素が画面の一番下のラインの場合、動きデータＭＯＶＥはその１ライン上の画素に対する動きデータ、即ち図２（ａ）のラインｇの画素に対する動きデータを用る。そして、その求めかたは、ｆ、ｇ、ｈ、ｊをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、ｊ＝ｇ
ＭＯＶＥ＝２のとき、ｊ＝（ｇ＋ｇ＋ｈ）／３
ＭＯＶＥ＝３のとき、ｊ＝ｈ
の通りである。
【００５７】
また、図２（ｃ）のｋのように補間画素が画面の一番上のラインの場合、動きデータＭＯＶＥはその１ライン下の画素に対するデータ、即ち図２（ａ）のラインｂの画素に対する動きデータを用いる。そして、その求めかたは、ａ、ｂ、ｃ、ｋをそれぞれ各画素の画像信号の値とすると、
ＭＯＶＥ＝１のとき、ｋ＝ｂ
ＭＯＶＥ＝２のとき、ｋ＝（ａ＋ｂ＋ｂ）／３
ＭＯＶＥ＝３のとき、ｋ＝ａ
の通りである。
【００５８】
このように、補間信号生成回路３０５においてはフィールドｆ１を基準とした補間画像信号ｆ１ｄと、フィールドｆ２を基準とした補間画像信号ｆ２ｄとを生成可能なものである。そして、制御回路１３３はスロー再生時において図７に示したように各フィールドの画像信号を出力するべく補間信号生成回路３０５に対して基準フィールドの切り換えを示す制御信号を出力する。
【００５９】
このように処理された各フィールドの画像信号はメモリ１２５に書き込まれる。制御回路１３５はスロー再生時において、図７に示した通りに各画像信号を出力するようメモリ１２５からの画像信号の読み出しを制御する。
【００６０】
このように、本形態においても、スロー再生時において同一フィールドの画像を繰り返し出力するのではなく、フィールド間の動きに応じて他方のフィールドの画像を補間して出力している。そのため、スロー再生において再生画像の解像度の低下を防止することができる。
【００６１】
また、本形態においては、補間の基準フィールドをフレーム毎に切り換えている。そのため、スロー再生時において、動きのある画像を滑らかに表示することができ、且つ、静止している画像については十分な解像度を得ることができる。
【００６２】
更に、本形態では、逆ＤＣＴ回路１２３から出力された画像信号に対して補間処理を施している。従って、補間処理回路１３５にはブロック単位で画像信号が供給されることになり、補間処理回路１３５は図１０に示したように、ラインメモリではなく、８画素メモリを設けるだけで済む。そのため、回路規模を著しく削減することが可能となる。
【００６３】
なお、本形態では画像信号を８画素×８画素のブロックに分割して符号化したが、これに限らず、例えば垂直ｍ×水平ｎ画素毎にブロック化して記録再生する装置に対しても本発明を適用可能である。この場合、図１０の補間処理回路においては、８画素メモリの代わりにｎ画素分遅延するメモリを設ければよい。
【００６５】
また、図３、図１０に示した補間信号生成回路による動き検出処理及び補間信号の生成処理はマイクロコンピュータを用いたソフトウェア処理により実行可能であり、この場合にも前述の実施形態と同様の効果を有する。
【００６６】
また、このときプログラムの各ステップを記憶したコンピュータ読み取り可能な記憶媒体も当然本発明の構成となる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、再生画像の状態に応じた最適な補間画像を得ることができる。
【図面の簡単な説明】
【図１】本発明が適用されるＶＴＲの構成を示す図である。
【図２】図１の装置で扱う画像信号の構成を示す図である。
【図３】図１の装置における補間処理回路の構成を示す図である。
【図４】図３の回路の動作を説明するための図である。
【図５】図３の回路による補間画像信号の様子を示す図である。
【図６】図３の回路による補間画像信号の様子を示す図である。
【図７】図３の回路の動作を説明するための図である。
【図８】図１の装置より出力される画像の様子を示す図である。
【図９】本発明が適用されるＶＴＲの他の構成を示す図である。
【図１０】図９における補間処理回路の構成を示す図である。
【図１１】図１０の回路で扱う画像の様子を示す図である。
【図１２】従来のスロー再生時の再生画像の様子を示す図である。
【図１３】従来のスロー再生時の再生画像の様子を示す図である。
【図１４】従来のスロー再生時の再生画像の様子を示す図である。

Claims

互いにインタレースした二つのフィールドで１フレームが構成された画像信号を記録媒体から再生する再生手段と、
前記再生手段により再生された画像信号を記憶するメモリと、
前記メモリに記憶された１フレームの前記画像信号を構成する二つのフィールド中、基準フィールドの画像と他のフィールドの画像の間の動きを検出し、前記検出結果に従って前記基準フィールドの画像信号と他のフィールドの画像信号とを合成することにより補間画像信号を生成する補間手段と、
スロー再生モードにおいて、前記メモリに記憶された１フレームの画像信号における前記基準フィールドの画像信号と前記補間手段により生成された補間画像信号とを１フィールド毎に交互に選択して出力すると共に、前記基準フィールドを１フレーム毎に変更するよう前記補間手段を制御する制御手段とを備える再生装置。
互いにインタレースした二つのフィールドで１フレームが構成された画像信号を記録媒体から再生する方法であって、
前記再生された画像信号をメモリに記憶すると共に、前記メモリに記憶された１フレームの前記画像信号を構成する二つのフィールド中、基準フィールドの画像と他のフィールドの画像の間の動きを検出し、前記検出結果に従って前記基準フィールドの画像信号と他のフィールドの画像信号とを合成することにより補間画像信号を生成し、スロー再生モードにおいて、前記メモリに記憶された１フレームの画像信号における前記基準フィールドの画像信号と前記補間画像信号とを１フィールド毎に交互に選択して出力すると共に、前記基準フィールドを１フレーム毎に変更することを特徴とする再生方法。