JP4594161B2

JP4594161B2 - 映像処理装置及び映像処理方法

Info

Publication number: JP4594161B2
Application number: JP2005137889A
Authority: JP
Inventors: 一郎松山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-10
Filing date: 2005-05-10
Publication date: 2010-12-08
Anticipated expiration: 2025-05-10
Also published as: JP2006319480A

Description

本発明は映像処理技術に関し、例えば、テープやディスク等の記録媒体に記録された映像の再生中に静止画を取り込み、同一の記録媒体やメモリカード等の異なる記録媒体に記録可能とした映像処理技術に関する。

従来の映像処理装置として、秒間24フレームで撮影されたプログレッシブ映像（24p）に対して、2:3:2:3プルダウン変換処理や、2:3:3:2プルダウン変換処理によって重複フィールドを挿入し、秒間60フィールドのインターレース映像(60i)として記録媒体に記録するように構成された映像処理装置がある（例えば、特許文献１参照）。

また、従来の映像処理装置として、記録媒体に記録された秒間60フィールドのインターレース映像を再生する場合に、トップ・フィールドとボトム・フィールドを動き適応によって合成するか、もしくはトップ・フィールド又はボトム・フィールドより他のフィールドを得るフィールド内補間を行うことで、秒間60フレームのプログレッシブ映像に変換して出力するよう構成された映像処理装置がある（例えば、特許文献２参照）。また、この映像処理装置は、記録された映像が上記のように秒間24フレームのプログレッシブ映像をプルダウン変換した映像である場合には、重複フィールドを検出することでプルダウン変換のシーケンスを認識し、同一フレームに属するトップ・フィールドとボトム・フィールドを合成して、秒間60フレームのプログレッシブ映像に再変換して出力する。

一方で、従来の映像処理装置として、テープなどの記録媒体に記録された映像を再生しているときに、ユーザがシャッターボタンを押した瞬間の映像を静止画としてメモリカードといった異なる記録媒体に記録するよう構成された映像処理装置がある。秒間60フィールドのインターレース映像から静止画を記録するためには、トップ・フィールドとボトム・フィールドの間で生じる1/60秒の時間差を、上記の動き適応やフィールド内補間によって時間差を補正する必要がある。また、秒間24フレームのプログレッシブ映像がプルダウン処理された映像から静止画を記録する際には、異なるフレームのフィールドを合成することがないように、上記のフィールド合成によってプログレッシブ映像へと再変換する必要がある。
特開２００３−２８４００７公報特開平１０−３２７３９３号公報

しかしながら、従来の映像処理装置では、上記のようにプルダウン変換された映像の再生時にプログレッシブ映像への変換を行わず、秒間60フィールドのインターレース映像のまま外部に出力する場合にも、静止画を得るためには、プログレッシブ映像への変換が必要であるため、構成が複雑となり処理負荷が大きくなる。

本発明は、上記課題を解決するためになされたもので、その目的は、再生された映像から静止画を取り込むための処理負荷を軽減する映像処理技術を提供することである。

上述の課題を解決し、目的を達成するために、本発明の映像処理装置は、再生中の映像から静止画を取得して記録媒体に記録可能な映像処理装置であって、前記記録媒体に記録されたプログレッシブ映像を、トップフィールドとボトムフィールドにプルダウン変換してインターレース映像として再生する再生手段と、前記プルダウン変換時に挿入された重複フィールドを検出する検出手段と、再生される前記インターレース映像のトップフィールドとボトムフィールドを格納する第１のフレームメモリ領域を有し、前記第１のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力する記憶手段と、再生中の映像から静止画を取り込む場合、前記検出手段による検出結果に基づいて、前記プルダウン変換前の同一のフレームに属するトップフィールドとボトムフィールドが前記第１のフレームメモリ領域に存在するときに静止画の取り込みを行う画像取り込み手段とを具備し、前記記憶手段は、前記画像取り込み手段によって静止画の取り込みが行われる際、前記第１のフレームメモリ領域に格納された前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドを静止画取り込み対象データとして出力すると共に、前記第１のフレームメモリ領域とは異なる第２のフレームメモリ領域を用意し、前記静止画取り込みが行われる期間に再生される前記インターレース映像のトップフィールドとボトムフィールドを前記第２のフレームメモリ領域に格納し、前記第２のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力することによって前記インターレース映像の再生を継続する。

また、本発明の映像処理方法は、再生中の映像から静止画を取得して記録媒体に記録可能な映像処理装置の映像処理方法であって、前記記録媒体に記録されたプログレッシブ映像を、トップフィールドとボトムフィールドにプルダウン変換してインターレース映像として再生する再生工程と、前記プルダウン変換時に挿入された重複フィールドを検出する検出工程と、再生される前記インターレース映像のトップフィールドとボトムフィールドを第１のフレームメモリ領域に格納すると共に、前記第１のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力する記憶工程と、再生中の映像から静止画を取り込む場合、前記検出工程による検出結果に基づいて、前記プルダウン変換前の同一のフレームに属するトップフィールドとボトムフィールドが前記第１のフレームメモリ領域に存在するときに静止画の取り込みを行う画像取り込み工程とを備え、前記記憶工程では、前記画像取り込み工程によって静止画の取り込みが行われる際、前記第１のフレームメモリ領域に格納された前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドを静止画取り込み対象データとして出力すると共に、前記第１のフレームメモリ領域とは異なる第２のフレームメモリ領域を用意し、前記静止画取り込みが行われる期間に再生される前記インターレース映像のトップフィールドとボトムフィールドを前記第２のフレームメモリ領域に格納し、前記第２のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力することによって前記インターレース映像の再生を継続する。

本発明によれば、プルダウン変換されたインターレース映像の再生時に、プログレッシブ映像への再変換を行わない簡素な構成で、異なるフレームに属するフィールドを合成することなく静止画を取り込むことができ、処理負荷を軽減できる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
本実施形態は、プルダウン変換されたインターレース映像の再生時に、プログレッシブ映像への変換を行わなくとも、異なるフレームに属するフィールドを合成することなく静止画を得ることができるように構成した例である。

図１は本発明に係る第１の実施形態の映像処理装置の構成を示すブロック図である。

図１に示す映像処理装置100において、CPU102は、バス101を介してRAM103、ROM104、キー操作処理部105、入力信号処理部111、出力信号処理部121に接続されている。CPU102はROM104に格納されている制御プログラムに従って動作し、動作時の一時的な情報の格納場所としてRAM103を用いる。ユーザによるキー操作の情報がキー操作処理部105を介してCPU102に通知され、上記制御プログラムは上記操作情報に基づいて入力信号処理部111と出力信号処理部121とを制御して、後述する映像の記録動作や再生動作、静止画の取り込み動作を行う。

＜記録動作＞
先ず、図１を用いて、映像の記録動作について説明する。

通常、CCD112より撮影される映像は秒間60フィールドのインターレース映像となっている。入力信号処理部111の制御により、CCD112で撮影された秒間60フィールドのインターレース映像が、入力信号処理部111に入力され、画像処理が行われた後にRAM114のフレーム・メモリ領域に格納される。

次に、上記フレーム・メモリ領域に格納された映像が入力信号処理部111より出力され、出力信号処理部121に入力される。出力信号処理部121は入力された映像をビデオ信号出力部122及び液晶モニター123に出力する。また、出力信号処理部121は入力された映像を上記RAM125に格納する。続いて、出力信号処理部121はMPEG符号化／復号化部124を制御し、上記RAM125格納された映像のトップ・フィールドとボトム・フィールドを合成して得られる秒間30フレームのピクチャを符号化して、符号としてRAM125に書き戻す。次に、出力信号処理部121はテープ制御部126を制御し、上記RAM125に格納された符号を読み出してテープに記録する。

続いて、CCD112より撮影される映像が秒間24フレームのプログレッシブ映像である場合の記録動作について説明するのに先だち、図２と図３を用いプルダウン変換処理について説明する。

図２は2:3:2:3プルダウン変換処理の概要を示しており、撮影又は受信した秒間24フレームのプログレッシブ映像201の連続する４つのフレームをA、B、C、Dとした場合に、第１のフレームAをトップ・フィールドAoとボトム・フィールドAeに分けて出力し、第２のフレームBをトップ・フィールドBoとボトム・フィールドBeに分けて出力するのに続いて、再度トップ・フィールドBoを重複フィールドとして出力し、第３のフレームCをボトム・フィールドCeとトップ・フィールドCoに分けて出力し、第４のフレームDをボトム・フィールドDeとトップ・フィールドDoに分けて出力するのに続いて、再度ボトム・フィールドDeを重複フィールドとして出力することで、上記４つのフレームが10のフィールドとなり、秒間60フィールドのインターレース映像202に変換される。

図３は2:3:3:2プルダウン変換処理の概要を示しており、撮影又は受信した秒間24フレームのプログレッシブ映像301の連続する４つのフレームをA、B、C、Dとした場合に、第１のフレームAをトップ・フィールドAoとボトム・フィールドAeに分けて出力し、第２のフレームBをトップ・フィールドBoとボトム・フィールドBeに分けて出力するのに続いて、再度トップ・フィールドBoを重複フィールドとして出力し、第３のフレームCをボトム・フィールドCeとトップ・フィールドCoに分けて出力するのに続いて、再度ボトム・フィールドCeを重複フィールドとして出力し、第４のフレームCをトップ・フィールドCoとボトム・フィールドCeに分けて出力することで、上記４つのフレームが10のフィールドとなり、秒間60フィールドのインターレース映像302に変換される。

上記プルダウン変換処理の説明を踏まえ、再び図１を参照することにより、CCD112により撮影される映像が秒間24フレームのプログレッシブ映像である場合の記録動作について説明する。

CPU102で動作している制御プログラムは、キー操作処理部105から通知されるユーザのキー操作に従って、記録される映像を、通常の秒間60フィールドのインターレース映像から秒間24フレームのプログレッシブ映像に切り替えるよう、入力信号処理部111と出力信号処理部121を制御する。また、秒間24フレームのプログレッシブ映像を記録する場合に、上記制御プログラムは、上記キー操作処理部105から通知されるユーザのキー操作に従って、2:3:2:3プルダウン変換処理と、2:3:3:2プルダウン変換処理のどちらを行うかを選択し、その結果に従い入力信号処理部111と出力信号処理部121を制御する。

入力信号処理部111により、CCD112より撮影された秒間24フレームのプログレッシブ映像が、入力信号処理部111に入力される。ここで、画像処理が行われた後に、上述したプルダウン変換が行われ、秒間60フィールドのインターレース映像に変換され、RAM114のフレーム・メモリ領域に格納される。

次に、上記フレーム・メモリ領域に格納された映像が入力信号処理部111より出力され、出力信号処理部121に入力され、RAM125に格納される。ここで、入力信号処理部111の出力するフィールドが、プルダウン変換により挿入された重複フィールドであるとき、CPU102は入力信号処理部111から重複フィールドを出力したという状態を取得し、出力信号処理部121に対して出力信号処理部121が入力したフィールドが重複フィールドであることを通知する。

出力信号処理部121は上記RAM125に格納された映像をビデオ信号出力部122及び液晶モニター123に出力する。また、出力信号処理部121はMPEG符号化／復号化部124を制御し、上記RAM125に格納された映像から、重複フィールドを除いて２つの連続するフィールドを合成することにより得られる秒間24フレームのピクチャを符号化させ、符号としてRAM125に書き戻す。出力信号処理部121はテープ制御部126を制御し、前記RAM125に書き戻された上記の符号を読み出して、テープに記録する。

ここで、上記記録動作において、出力信号処理部121がMPEG符号化／復号化部124を制御して行う、上記フィールドの合成処理と符号化処理の内容について説明する。

入力信号処理部111にて図２で示した2:3:2:3プルダウン変換処理が行われた場合、出力信号処理部121は入力された10のフィールド、Ao、Ae、Bo、Be、Bo、Ce、Co、De、Do、Deから、重複フィールドのBo、Deを除いて、連続するフィールドAoとAe、BoとBe、CeとCo、DeとDoから、４つのピクチャA、B、C、Dを得る。MPEG符号化／復号化部124は上記４つのピクチャを符号化する際に、それぞれのピクチャの再生方法を付加してRAM125に書き戻す。まず、第１のピクチャAには、まずトップ・フィールドを出力し、続けてボトム・フィールドを出力するよう指示するトップ・フィールド・ファースト・フラグが付加され、第２のピクチャBには、上記トップ・フィールド・ファースト・フラグと、最初のフィールドを３枚目のフィールドとして繰り返し出力する、リピート・ファースト・フィールド・フラグが付加される。第３のピクチャCにはボトム・フィールドから出力し、続けてファースト・フィールドを出力するよう指示するボトム・フィールド・ファースト・フラグが付加され、第４のピクチャDには、上記ボトム・フィールド・ファースト・フラグと上記リピート・ファースト・フィールド・フラグが付加される。一方、入力信号処理部111にて図３で示した2:3:3:2プルダウン変換処理が行われた場合、出力信号処理部121は入力された10のフィールド、Ao、Ae、Bo、Be、Bo、Ce、Co、Ce、Do、Deから、重複フィールドのBo、Ceを除いて、連続するフィールドAoとAe、BoとBe、CeとCo、DoとDoから、４つのピクチャA、B、C、Dを得る。MPEG符号化／復号化部124は上記４つのピクチャを符号化する際に、それぞれのピクチャの再生方法を付加してRAM125に書き戻す。第１のピクチャAには、上記トップ・フィールド・ファースト・フラグが付加され、第２のピクチャBには、上記トップ・フィールド・ファースト・フラグと上記リピート・ファースト・フィールド・フラグが付加される。第３のピクチャCには上記ボトム・フィールド・ファースト・フラグと上記リピート・ファースト・フィールド・フラグが付加され、第４のピクチャDには、上記ボトム・フィールド・ファースト・フラグが付加される。

＜再生動作＞
次に、再び図１を参照して記録された映像の再生動作について説明する。

出力信号処理部121はテープ制御部126を制御し、テープに記録されている符号を読み出して、RAM125に格納する。次に、出力信号処理部121はMPEG符号化／復号化部124を制御し、上記RAM125に格納された符号を復号化して、映像としてRAM125に書き戻す。この際に、上記符号が秒間30フレームのピクチャ、即ち秒間60フィールドで撮影されたインターレース映像であった場合、出力信号処理部121は上記RAM125に書き戻された映像をトップ・フィールド、ボトム・フィールドの順に入力信号処理部111に出力する。ここで入力信号処理部111は、出力信号処理部121より入力された映像に対して画像処理を行った後にRAM114のフレーム・メモリ領域に格納する。次に、上記RAM114のフレーム・メモリ領域に格納された映像が入力信号処理部111より出力され、出力信号処理部121へと戻される。出力信号処理部121は戻された映像をビデオ信号出力部122及び液晶モニター123に出力する。

ここで図７はテープに記録されている符号が、秒間60フィールドのインターレース映像として撮影され、秒間30フレームのピクチャとして符号化された映像の再生動作における、入力信号処理部111が映像を格納するRAM114の状態を表している。即ち、出力信号処理部121よりAo、Be、Co、De、Eo、Fe、Go、He、Io、Je、Ko、Le、Mo、Ne、Oo、Peという順で添え字がoのトップ・フィールドと添え字がeのボトム・フィールドが1/60秒ごとに交互に出力される場合に、まずRAM114のフレーム・メモリ領域に画像処理されたトップ・フィールドAoが格納される（1001）。次に、画像処理されたボトム・フィールドBeが格納されると同時に、Aoが読み出されてトップ・フィールドとして入力信号処理部111より出力される（1002）。次に、画像処理されたトップ・フィールドCoが格納され、Aoは上書きにより消滅し、それと同時にBeが読み出されてボトム・フィールドとして入力信号処理部111より出力される（1003）。次に、画像処理されたボトム・フィールドDeが格納され、Beは上書きにより消滅し、それと同時にCoが読み出されてトップ・フィールドとして入力信号処理部111より出力される（1004）。以後も、出力信号処理部121より出力されるトップ・フィールドとボトム・フィールドに対して、入力信号処理部111において同様に処理される。

一方、上述した再生動作において、上記符号が秒間24フレームのピクチャ、即ち秒間24フレームで撮影されたプログレッシブ映像であった場合について説明する。

出力信号処理部121は、MPEG符号化／復号化部124の復号結果に基づき、上記トップ・フィールド・ファースト・フラグが付加されたピクチャはトップ・フィールド、ボトム・フィールドの順で入力信号処理部111に出力し、上記ボトム・フィールド・ファースト・フラグが付加されたピクチャはボトム・フィールド、トップ・フィールドの順で入力信号処理部111に出力し、上記リピート・ファースト・フィールド・フラグが付加されたピクチャは３つ目のフィールドとして最初のフィールドを繰り返し入力信号処理部111に出力する。これにより、秒間24フレームのピクチャをプルダウン変換処理した秒間60フィールドのインターレース映像が、入力信号処理部111に出力される。また、出力信号処理部121が出力したフィールドが、上記リピート・ファースト・フィールド・フラグの指示により繰り返し出力された重複フィールドである場合に、出力信号処理部121はCPU102に対して重複フィールドの出力を通知する。

ここで、図１０はテープに記録されている符号が、秒間24フレームのプログレッシブ映像として撮影され、2:3:2:3プルダウン変換処理され記録された映像の再生動作における、入力信号処理部111が映像を格納するRAM114の状態を表している。即ち、出力信号処理部121よりAo、Ae、Bo、Be、Bo、Ce、Co、De、Do、De、Eo、Ee、Fo、Fe、Fo、Geという順で添え字がoのトップ・フィールドと添え字がeのボトム・フィールドが1/60秒ごとに交互に出力され、入力信号処理部111は図７に示した場合と同様に、画像処理した各フィールドをRAM114に格納して出力する。

また、図１１は秒間24フレームのプログレッシブ映像が2:3:3:2プルダウン変換された上記映像の再生動作において、入力信号処理部111が映像を格納するRAM114の状態を表している。上記2:3:2:3プルダウン変換された映像の場合に対して、入力されるフィールドの構成がAo、Ae、Bo、Be、Bo、Ce、Co、Ce、Do、De、Eo、Ee、Fo、Fe、Fo、Geと異なっているが、入力信号処理部111は図７に示した場合と同様に、画像処理した各フィールドをRAM114に格納して出力する。

ここで、図４はCPU102で動作する制御プログラムにより、記録された映像の再生動作時に、出力信号処理部121が出力する秒間60フィールドの映像に同期して実行されるプルダウン変換の認識処理を示すフローチャートである。

ステップS401において、出力信号処理部121より重複フィールドの出力通知が行われていた場合、カウント値に1を代入して（S403）処理を終了する。上記出力通知が行われておらず、ステップS402においてカウント値が1から6の範囲内である場合、カウント値に１を加え（S404）処理を終了する。これらは、プルダウン変換された映像であると判断した場合に、撮影時のフレームと出力信号処理部121から出力されたフィールドとの対応関係を認識するための処理である。いずれも成り立たない場合は、カウント値に0を代入する（S405）。これは、プルダウン変換された映像でないと判断した場合の処理である。この認識処理で得られた上記カウント値を用いて、後述する静止画取り込み動作が行われる。

＜静止画取り込み動作＞
再び図１を用いて、映像の再生動作中に、ユーザのキー操作と同期して行う静止画取り込み動作について説明する。

CPU102で動作している制御プログラムは、キー操作処理部105から通知されるユーザのキー操作に従って、再生中の映像を静止画としてカードに記録するよう入力信号処理部111を制御する。

ここで、図５は上記制御プログラムが出力信号処理部121より出力される秒間60フィールドの映像に同期して行う静止画取り込み処理を示すフローチャートである。

ステップS501において、キー操作処理部105から静止画の取り込みが指示されていた場合に、静止画取り込みの処理（S502〜S506）を行う。ステップS502において、上記カウント値が0の場合、出力信号処理部121が出力している映像は秒間60フィールドのインターレース映像だと判断し、入力信号処理部111を制御して、フィールド内補間による静止画の取り込みを行う（S504）。上記カウント値が0でない場合、出力信号処理部121が出力している映像は秒間24フレームのプログレッシブ映像がプルダウン変換された映像だと認識する。ステップS503において、カウント値が奇数（最下位ビットが1）である場合には、RAM114のフレーム・メモリ領域に同じフレームのトップ・フィールドとボトム・フィールドが格納されていると判断し、入力信号処理部111を制御して、フィールド合成による静止画の取り込みを行う（S505）。静止画の取り込みが行われた場合（S504又はS505）、ユーザのキー操作による静止画の取り込み指示をクリアして（S506）処理を終える。カウント値が偶数（最下位ビットが0）である場合には、上記フレーム・メモリ領域に異なるフレームのトップ・フィールドとボトム・フィールドが格納されていると判断し、静止画取り込みの処理を保留して、次のフィールドが出力信号処理部121より出力される際に本図に示した静止画取り込み処理を行うことで、上記フレーム・メモリ領域に同じフレームのトップ・フィールドとボトム・フィールドが格納されるまで静止画の取り込みを遅延させる。

入力信号処理部111はJPEG符号化／復号化部113を制御し、上記静止画取り込み処理により得られたフレーム映像をRAM114のフレーム・メモリ領域より読み込んでJPEG符号化し、符号としてRAM114に書き戻させる。そして、入力信号処理部111はカード制御部115を制御し、RAM114に書き戻された上記符号を読み込み、カードに記録する。

ここで図８は、秒間60フィールドで撮影されたインターレース映像が、出力信号処理部121から出力されている場合に、上記ステップS504でフィールド内補間による静止画取り込みを行う前後のRAM114の状態を表している。即ち、RAM114に画像処理されたフィールドFeが格納されて（1106）から、画像処理されたフィールドGoが格納される（1107）までの間に、キー操作処理部105から静止画の取り込みが指示された場合に、入力信号処理部111はトップ・フィールドGoからフィールド内補間によってボトム・フィールドGeを得てフレーム・メモリ領域に格納する（1108）。それと同時に、RAM114に第２のフレーム・メモリ領域を用意して、出力信号処理部121より出力され画像処理を行ったフィールドHeを格納する。フィールド内補間により得られたフレームG（トップ・フィールドGoとボトム・フィールドGeの合成フレーム）をJPEG符号化／復号化部113が読み込み、符号JpegとしてRAM114の異なる領域に格納する（1109〜1112）。この間、出力信号処理部121より出力され画像処理されたフィールド（Io〜Le）は、第２のフレーム・メモリ領域に格納され、出力信号処理部121に出力される。上記符号化が終了すると、第２のフレーム・メモリは解放され、画像処理されたフィールドを格納するフレーム・メモリ領域は元の位置に戻り、符号Jpegはカードに記録される間（1113〜1115）RAM114上に保持される。

一方で図１１は、秒間24フレームで撮影されたプログレッシブ映像が2:3:2:3プルダウン変換され記録された映像が、出力信号処理部121から出力されている場合に、上記ステップS505でフィールド合成による静止画取り込みを行う前後のRAM114の状態を表している。また、各状態（1401〜1416）の上部には各状態における上記カウント値が記述されている。例えば、RAM114に画像処理されたフィールドBoが格納されて（1405）から、画像処理されたフィールドCeが格納される（1406）までの間に静止画の取り込みが指示された場合に、1406でのカウント値が2（偶数）であるため、静止画の取り込みは遅延される。上記遅延が行われた場合、又は、画像処理されたフィールドCeが格納されて（1406）から、画像処理されたフィールドCoが格納される（1407）までの間に、キー操作処理部105から静止画の取り込みが指示された場合、入力信号処理部111は1407でフレーム・メモリ領域に格納されているトップ・フィールドCoと格納されるボトム・フィールドCeを静止画取り込みの対象とする（1408）。それと同時に、RAM114に第２のフレーム・メモリ領域を用意して、出力信号処理部121より出力され画像処理を行ったフィールドDeを格納する。トップ・フィールドCoとボトム・フィールドCeの合成により得られたフレームCをJPEG符号化／復号化部113が読み込み、符号JpegとしてRAM114の異なる領域に格納する（1408〜1411）。この間、出力信号処理部121より出力され画像処理されたフィールド（De〜Eo）は、第２のフレーム・メモリ領域に格納され、出力信号処理部121に出力される。上記符号化が終了すると、第２のフレーム・メモリが解放され、画像処理されたフィールドを格納するフレーム・メモリ領域は元の位置に戻り、符号Jpegはカードに記録される間（1412〜1414）RAM114上に保持される。

また、ここでは図示しないが、秒間24フレームで撮影されたプログレッシブ映像が2:3:3:2プルダウン変換され記録された映像が、出力信号処理部121から出力されている場合についても、同じく図５に示したフローチャートに従って静止画取り込み処理を行うことにより、入力信号処理部111は同一のフレームに属するトップ・フィールドとボトム・フィールドから合成したフレームをJPEG符号化／復号化部113にて符号化し、カード制御部115によってカードに記録することができる。

［第２の実施形態］
第２の実施形態の映像処理装置は、第１の実施形態の映像処理装置に比べ、上述した映像の再生中における静止画取り込み処理において、静止画として取り込むフレーム（トップ・フィールド及びボトム・フィールド）を格納するRAM114のフレーム・メモリ領域と、JPEG符号化／復号化部113が上記フレームを符号化している間に、出力信号処理部121が出力し画像処理されるフィールドを格納するRAM114のフレーム・メモリ領域が異なる。また、上述した静止画取り込み処理のフローチャートにおいて、再生している映像がプルダウン変換されたものであった場合に、フィールド合成を行うか、フィールド合成を行わず静止画取り込み処理を遅延させるかの条件が異なる。

ここで、図６は上記制御プログラムが出力信号処理部121より出力される秒間60フィールドの映像に同期して行う、静止画取り込み処理を示すフローチャートである。

図５で示したフローチャートのステップS503に対して、ステップS603において、カウント値が偶数（最下位ビットが0）である場合に、その時点から出力信号処理部121が出力する連続した２つのフィールドが同じフレームに属するトップ・フィールドとボトム・フィールドであると判断し、入力信号処理部111を制御して、フィールド合成による静止画の取り込みを行う（S605）点が異なる。カウント値が奇数（最下位ビットが1）である場合には、その時点から出力信号処理部121が出力する連続した２つのフィールドが異なるフレームに属すると判断し、静止画取り込みの処理を保留して、次のフィールドが出力信号処理部121より出力される際に本図に示した静止画取り込み処理取り込みを行うことで、出力信号処理部121が同じフレームに属する２つのフィールドを連続して出力するまで、静止画の取り込みを遅延させる。

ここで、図９は、秒間60フィールドで撮影されたインターレース映像が、出力信号処理部121から出力されている場合に、上記ステップS604でフィールド内補間による静止画取り込みを行う前後のRAM114の状態を表している。即ち、RAM114に画像処理されたフィールドFeが格納されて（1206）から、画像処理されたフィールドGoが格納される（1207）までの間に、キー操作処理部105から静止画の取り込みが指示された場合に、入力信号処理部111はRAM114に第２のフレーム・メモリ領域を用意して、トップ・フィールドGoを格納し（1208）、続いてフィールド内補間によってボトム・フィールドGeを得て第２のフレーム・メモリ領域に格納する（1209）と同時に、トップ・フィールドGoを入力信号処理部111より出力する。また、それと同時に、出力信号処理部121より出力され画像処理を行ったフィールドHeを元のフレーム・メモリ領域に格納する。次に、フィールド内補間により得られたフレームG（トップ・フィールドGoとボトム・フィールドGeの合成フレーム）をJPEG符号化／復号化部113が読み込み、符号JpegとしてRAM114の異なる領域に格納する（1209〜1212）。この際、入力信号処理部111より出力されるフィールドは元のフレーム・メモリ領域に格納されたフィールド（He〜）に戻っている。上記符号化が終了すると、第２のフレーム・メモリは解放され、符号Jpegはカードに記録される間（1213〜1215）RAM114上に保持される。

一方で図１１は、秒間24フレームで撮影されたプログレッシブ映像が2:3:2:3プルダウン変換され記録された映像が、出力信号処理部121から出力されている場合に、上記ステップS605でフィールド合成による静止画取り込みを行う前後のRAM114の状態を表している。また、各状態（1501〜1516）の上部には各状態における上記カウント値が記述されている。例えば、RAM114に画像処理されたフィールドCeが格納されて（1406）から、画像処理されたフィールドCoが格納される（1407）までの間に静止画の取り込みが指示された場合に、1407でのカウント値が3（奇数）であるため、静止画の取り込みは遅延される。上記遅延が行われた場合、又は、画像処理されたフィールドCoが格納されて（1407）から、画像処理されたフィールドDeが格納される（1408）までの間に、キー操作処理部105から静止画の取り込みが指示された場合、入力信号処理部111はRAM114に第２のフレーム・メモリ領域を用意して、出力信号処理部121より出力され画像処理されたボトム・フィールドDeを格納し（1508）、続けて出力信号処理部121より出力され画像処理されたトップ・フィールドDoを第２のフレーム・メモリ領域に格納する（1509）と同時に、ボトム・フィールドDeを入力信号処理部111より出力する。次に、出力信号処理部121より出力され画像処理を行ったボトム・フィールドDe（重複フィールド）を元のフレーム・メモリ領域に格納すると同時に、トップ・フィールドDoを入力信号処理部111より出力する。また、それと同時に、第２のフレーム・メモリ領域においてボトム・フィールドDeとトップ・フィールドDoの合成により得られたフレームDをJPEG符号化／復号化部113が読み込み、符号JpegとしてRAM114の異なる領域に格納する（1510〜1513）。この際、入力信号処理部111より出力されるフィールドは元のフレーム・メモリ領域に格納されたフィールド（Deの重複フィールド〜）に戻っている。上記符号化が終了すると、第２のフレーム・メモリが解放され、符号Jpegはカードに記録される間（1514〜1516）RAM114上に保持される。

また、ここでは図示しないが、秒間24フレームで撮影されたプログレッシブ映像が2:3:3:2プルダウン変換され記録された映像が、出力信号処理部121から出力されている場合についても、同じく図６に示したフローチャートに従って静止画取り込み処理を行うことにより、入力信号処理部111は同一のフレームに属するトップ・フィールドとボトム・フィールドから合成したフレームをJPEG符号化／復号化部113にて符号化し、カード制御部115によってカードに記録することができる。

［他の実施形態］
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図示の各フローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

［効果］
本実施形態によれば、秒間24フレームから秒間60フレームへプルダウン変換されたインターレース映像の再生時に、プログレッシブ映像への再変換を行わない簡素な構成で、異なるフレームに属するフィールドを合成することなく静止画を取り込むことができるため、処理負荷も小さくできる。

また、MPEG方式で符号化された映像を再生する場合に、符号に含まれるリピート・ファースト・フラグを元に重複フィールドを検出するので、検出のための特別な処理を行う必要がない。

また、フレーム・メモリ領域から静止画を取り込む期間、再生される映像のトップ・フィールドとボトム・フィールドを第２のフレーム・メモリ領域に格納するので、静止画を取り込んでいる間も、続けて再生している映像を外部に出力することができる。

本発明に係る実施形態の映像処理装置の構成を示すブロック図である。 2:3:2:3プルダウン変換処理の概要を説明する図である。 2:3:3:2プルダウン変換処理の概要を説明する図である。第１及び第２の実施形態のプルダウン変換の認識処理を示すフローチャートである。第１の実施形態の静止画取り込み処理を示すフローチャートである。第２の実施形態の静止画取り込み処理を示すフローチャートである。第１及び第２の実施形態の秒間60フィールドのインターレース映像の再生動作におけるRAM114の状態を示す図である。第１の実施形態の秒間60フィールドのインターレース映像の再生動作中に行う静止画取り込み動作におけるRAM114の状態を示す図である。第２の実施形態の秒間60フィールドのインターレース映像の再生動作中に行う静止画取り込み動作におけるRAM114の状態を示す図である。第１及び第２の実施形態の秒間24フレームのプログレッシブ映像が2:3:2:3プルダウン変換された映像の再生動作におけるRAM114の状態を示す図である。第１の実施形態の秒間60フィールドのインターレース映像の再生動作中に行う静止画取り込み動作におけるRAM114の状態を示す図である。第２の実施形態の秒間60フィールドのインターレース映像の再生動作中に行う静止画取り込み動作におけるRAM114の状態を示す図である。秒間24フレームのプログレッシブ映像が2:3:3:2プルダウン変換された映像の再生動作におけるRAM114の状態を示す図である。

符号の説明

100 映像処理装置
101 CPUバス
102 CPU
103 RAM
104 ROM
105 キー操作処理部
111 入力信号処理部
112 CCD
113 JPEG符号化／復号化部
114 RAM
115 カード制御部
121 出力信号処理部
122 ビデオ信号出力部
123 LCD
124 MPEG符号化／復号化部
125 RAM
126 テープ制御部
201 秒間24フレームのプログレッシブ映像
202 2:3:2:3プルダウン変換された映像
301 秒間24フレームのプログレッシブ映像
302 2:3:3:2プルダウン変換された映像

Claims

再生中の映像から静止画を取得して記録媒体に記録可能な映像処理装置であって、
前記記録媒体に記録されたプログレッシブ映像を、トップフィールドとボトムフィールドにプルダウン変換してインターレース映像として再生する再生手段と、
前記プルダウン変換時に挿入された重複フィールドを検出する検出手段と、
再生される前記インターレース映像のトップフィールドとボトムフィールドを格納する第１のフレームメモリ領域を有し、前記第１のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力する記憶手段と、
再生中の映像から静止画を取り込む場合、前記検出手段による検出結果に基づいて、前記プルダウン変換前の同一のフレームに属するトップフィールドとボトムフィールドが前記第１のフレームメモリ領域に存在するときに静止画の取り込みを行う画像取り込み手段とを具備し、
前記記憶手段は、前記画像取り込み手段によって静止画の取り込みが行われる際、前記第１のフレームメモリ領域に格納された前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドを静止画取り込み対象データとして出力すると共に、前記第１のフレームメモリ領域とは異なる第２のフレームメモリ領域を用意し、前記静止画取り込みが行われる期間に再生される前記インターレース映像のトップフィールドとボトムフィールドを前記第２のフレームメモリ領域に格納し、前記第２のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力することによって前記インターレース映像の再生を継続することを特徴とする映像処理装置。
前記記録媒体には、ＭＰＥＧ方式により符号化されたプログレッシブ映像が記録されており、
前記検出手段は、符号化された前記プログレッシブ映像の繰り返し出力されるフィールドを重複フィールドとして検出することを特徴とする請求項１に記載の映像処理装置。
ユーザ操作に応じて前記画像取り込み手段へ、再生中の映像から静止画を取り込むための指示を行う指示手段をさらに具備し、
前記画像取り込み手段は、前記第１のフレームメモリ領域に前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドが格納されていない状態で前記指示手段からの指示を受け付けた場合、前記第１のフレームメモリ領域に前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドが格納されるまで、静止画の取り込みを遅延させることを特徴とする請求項１に記載の映像処理装置。
再生中の映像から静止画を取得して記録媒体に記録可能な映像処理装置の映像処理方法であって、
前記記録媒体に記録されたプログレッシブ映像を、トップフィールドとボトムフィールドにプルダウン変換してインターレース映像として再生する再生工程と、
前記プルダウン変換時に挿入された重複フィールドを検出する検出工程と、
再生される前記インターレース映像のトップフィールドとボトムフィールドを第１のフレームメモリ領域に格納すると共に、前記第１のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力する記憶工程と、
再生中の映像から静止画を取り込む場合、前記検出工程による検出結果に基づいて、前記プルダウン変換前の同一のフレームに属するトップフィールドとボトムフィールドが前記第１のフレームメモリ領域に存在するときに静止画の取り込みを行う画像取り込み工程とを備え、
前記記憶工程では、前記画像取り込み工程によって静止画の取り込みが行われる際、前記第１のフレームメモリ領域に格納された前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドを静止画取り込み対象データとして出力すると共に、前記第１のフレームメモリ領域とは異なる第２のフレームメモリ領域を用意し、前記静止画取り込みが行われる期間に再生される前記インターレース映像のトップフィールドとボトムフィールドを前記第２のフレームメモリ領域に格納し、前記第２のフレームメモリ領域に順次格納されるトップフィールドとボトムフィールドを交互に読み出して所定の時間間隔で連続して出力することによって前記インターレース映像の再生を継続することを特徴とする映像処理方法。
前記記録媒体には、ＭＰＥＧ方式により符号化されたプログレッシブ映像が記録されており、
前記検出工程では、符号化された前記プログレッシブ映像の繰り返し出力されるフィールドを重複フィールドとして検出することを特徴とする請求項４に記載の映像処理方法。
ユーザ操作に応じて、前記画像取り込み工程において、再生中の映像から静止画を取り込むための指示を行う指示工程をさらに備え、
前記画像取り込み工程では、前記第１のフレームメモリ領域に前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドが格納されていない状態で前記指示を受け付けた場合、前記第１のフレームメモリ領域に前記プルダウン変換前の同一のフレームに属するトップフィールド及びボトムフィールドが格納されるまで、静止画の取り込みを遅延させることを特徴とする請求項４に記載の映像処理方法。