JP6255751B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像のインターレースを解除するための画像処理プログラムおよび画像処理装置に関する。

従来より、画像のインターレースを解除するための、言い換えると、インターレース画像をプログレッシブ画像に変換するための様々な技術が知られている。ここで、周知のとおり、インターレース画像とは、異なるタイミングで撮像されたトップフィールド画像（最初の行を奇数番号からナンバリングする場合には、奇数行の画像であり、偶数番号からナンバリングする場合は、偶数行の画像）と、ボトムフィールド画像（最初の行を奇数番号からナンバリングする場合には、偶数行の画像であり、偶数番号からナンバリングする場合は、奇数行の画像）とを組み合わせた画像である。そして、この時間差により、インターレース画像には、奇数行と偶数行とで同じ被写体が横方向に互い違いにずれて写り、その結果、インターレース縞と呼ばれる横方向の縞模様が現れがちである。

このインターレース縞は、人の目にはギザギザやちらつきとして写るため、インターレース画像が静止画として管理される場合等、インターレースの解除が望まれる場面は多い。特許文献１は、動画の中から静止画をキャプチャする装置に関するものであるが、この装置は、キャプチャしようとするフレームがインターレース画像であるか否を自動的に判断し、インターレース画像であると判断されたフレームのインターレースを自動的に解除する。

特開２０１０−１４１７１７号公報

しかしながら、特許文献１の装置は、フレームがインターレース画像であるか否を判断するために、動画データ中の所定のデータエリア内に各フレームに対し記録されている所定のフラグを参照している。このフラグは、動画データ中のフレームがインターレース画像であるか、プログレッシブ画像であるかを「０」又は「１」で表すフラグであり、動画データ中においてフレームのデータ本体に多重化されたメタデータである。

従って、特許文献１の装置では、上述のフラグが記録されていない動画データのフレームに対しては、インターレース画像であるか否かを自動的に判断することはできない。さらに、動画データ中において上述のフラグが記録されるデータエリアは、動画データを圧縮したエンコーダのアルゴリズムにより決まるものである。従って、動画データ中に上述のフラグが記録されていたとしても、どのようなアルゴリズムのエンコーダが用いられたのかが分からなければ、このフラグは参照され得ない。すなわち、特許文献１の装置では、どのようなデータ形式のフレームに対してもインターレース画像であるか否かを正しく判断できるわけではなく、インターレース画像であるか否かを正しく判断することが可能なデータ形式は限られている。

本発明は、多種多様なデータ形式のフレームに対し、インターレース画像であるか否かを正しく判断することが可能な画像処理プログラムおよび画像処理装置を提供することを目的とする。

本発明の第１観点に係る画像処理プログラムは、インターレース判断ステップと、インターレース解除ステップとをコンピュータに実行させる。インターレース判断ステップは、フレームの本体データを画像処理することにより、フレームがインターレース画像であるか否かを判断するステップである。インターレース画像には、タイムライン上の異なるタイミングのトップフィールド画像及びボトムフィールド画像が含まれる。インターレース解除ステップは、フレームがインターレース画像であると判断された場合には、フレームをインターレース解除し、新たなフレームを生成するステップである。

ここでは、フレームのインターレースが解除される前提として、フレームがインターレース画像であるか否か、言い換えると、フレームのデータ本体がインターレース解除を必要としているか否かが、フレームのデータ本体に基づいて自動的に判断される。従って、所定のデータエリアに所定のフラグを記録している前述のデータ形式のフレームに限らず、多種多様なデータ形式のフレームに対し、インターレース画像であるか否かを正しく判断することができる。

なお、「新たなフレームを生成する」場合には、トップフィールド画像及びボトムフィールド画像の少なくとも一方をそのままインターレース解除後のフレームとする場合が含まれるものとする。また、ここでは、元のフレーム１枚に対する新たなフレームの枚数は、何ら限定されないものとする。

本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、インターレース判断ステップは、トップフィールド画像とボトムフィールド画像とを比較し、フレーム内における移動体の存否を判断することにより、フレームがインターレース画像であるか否かを判断するステップである。

フレームがインターレース画像である場合、トップフィールド画像の属する時間と、ボトムフィールド画像の属する時間との間には、タイムラグが存在する。従って、フレーム内を移動する被写体（移動体）が存在すれば、トップフィールド画像とボトムフィールド画像との比較結果には、そのような被写体の動きが反映されることになる。なお、トップフィールド画像とボトムフィールド画像との比較結果とは、典型的には、トップフィールド画像とボトムフィールド画像との差分画像である。

ここでは、以上の点に鑑み、フレームがインターレース画像であるか否かを判断すべく、トップフィールド画像とボトムフィールド画像との比較結果から、移動体の存否が判断される。従って、フレームがインターレース画像であるか否かを精度よく判断することができる。
なお、本明細書において、トップフィールド画像とは、インターレース画像に含まれる奇数又は偶数行の画像（最初の行を奇数番号からナンバリングする場合には、奇数行の画像であり、最初の行を偶数番号からナンバリングする場合には、偶数行の画像である。以下、同様）のことだけでなく、プログレッシブ画像に含まれる奇数又は偶数行の画像のことも意味するものとする。ボトムフィールド画像についても、同様である。

本発明の第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、インターレース判断ステップは、タイムライン上の複数のフレームの本体データを用いて、フレーム内の非移動体の影響を低減した後、フレーム内における移動体の存否を判断することにより、フレームがインターレース画像であるか否かを判断するステップである。

上記のとおり、移動体の存在に注目することは、フレームがインターレース画像であるか否かを判断するための１つの重要なアプローチとなる。しかしながら、通常、フレーム内には、移動体だけでなく、フレーム内で静止している被写体（非移動体）が写し出され、この非移動体は、移動体の存在に注目する上でノイズとなる。従って、フレーム内の非移動体の存在は、できる限りキャンセルされることが好ましい。
ところで、タイムライン上の複数のフレームを見れば、移動体と非移動体とを区別することが容易になる。タイムライン上の複数のフレームにおいては、移動体は、異なる位置に存在するが、非移動体は同じ位置に存在するからである。

ここでは、以上の点に鑑み、タイムライン上の複数のフレームの本体データを用いて、フレーム内の非移動体の影響を低減した後、すなわち、相対的にフレーム内の移動体の存在を強調した後、フレーム内における移動体の存否が判断される。従って、フレームがインターレース画像であるか否かを精度よく判断することができる。
なお、トップフィールド画像とボトムフィールド画像とを比較する動作（第２観点）と、フレーム内の非移動体の影響を低減する動作（第３観点）との両方が実行される場合においては、両ステップの先後は問わない。

本発明の第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、インターレース判断ステップは、タイムライン上のフレーム群に含まれる少なくとも一部のフレームの本体データを画像処理することにより、前記フレーム群がインターレース画像群であるか否かを判断するステップである。インターレース解除ステップは、前記フレーム群がインターレース画像群であると判断された場合に、前記フレーム群をインターレース解除し、新たなフレーム群を生成するステップである。

通常、同じタイムラインに属するフレーム群は、全てインターレース画像であるか、全てプログレッシブ画像であるかのどちらかであることが多く、同じタイムライン上のフレーム群の一部のみがインターレース画像であることは少ないと考えられる。

そのため、ここでは、フレームがインターレース方式であるか否かの判断が、タイムライン上のフレーム群全体に対して行われる。そして、全体としてインターレース方式であると判断された場合には、そのようなフレーム群全体に対してインターレース解除が行われる。従って、合理的にインターレース解除を行うことができる。

本発明の第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、フィールドオーダー判断ステップをさらにコンピュータに実行させる。フィールドオーダー判断ステップは、フレームがインターレース画像であると判断された場合には、フレームの本体データを画像処理することにより、トップフィールド画像及びボトムフィールド画像のフィールドオーダーを判断するステップである。

ここでは、インターレース画像であると判断されたフレームのフィールドオーダーが自動的に判断される。従って、フィールドオーダーを考慮しながら、フレームのインターレース解除を行うことができる。なお、フィールドオーダーとは、同じフレームに属するトップフィールド画像の属する時間とボトムフィールド画像の属する時間の順番である。

本発明の第６観点に係る画像処理プログラムは、第５観点に係る画像処理プログラムであって、フィールドオーダー判断ステップは、第１差分と、第２差分とを比較し、第１差分及び第２差分の大小に応じて、フィールドオーダーを判断するステップである。第１差分は、タイムライン上の第１フレームのトップフィールド画像と、タイムライン上の第２フレームのボトムフィールド画像との差分である。第２差分は、第１フレームのボトムフィールド画像と、第２フレームのトップフィールド画像との差分である。

２つのフレームから、異なるフレームの異なるフィールドどうしがペアになるように、フィールド画像のペアを２組規定したとする。このとき、一方の組に属する２枚のフィールド画像間の時間差は、他方の組に属する２枚のフィールド画像間の時間差よりも、必ず大きくなる。その結果、時間差の大きい方の組に属する２枚のフィールド画像間の差分は、通常、時間差の小さい方の組に属する２枚のフィールド画像間の差分よりも大きくなる。

従って、第１フレームが第２フレームよりもタイムライン上で早い時間に属するものとした場合、トップフィールド画像が先となるフィールドオーダーであれば、通常、第１差分は、第２差分よりも大きくなる。一方、トップフィールド画像が後となるフィールドオーダーであれば、通常、第１差分は、第２差分よりも小さくなる。ここでは、かかる点に鑑み、フィールドオーダーを判断すべく、第１差分及び第２差分の大小が判断される。従って、フィールドオーダーを精度よく判断することができる。

本発明の第７観点に係る画像処理プログラムは、第１観点から第６観点のいずれかに係る画像処理プログラムであって、インターレース解除ステップは、新たなフレームとして、トップフィールド画像及びボトムフィールド画像の少なくとも一方に対応するフレームを生成するステップである。

ここでは、インターレース解除の結果、トップフィールド画像及びボトムフィールド画像の少なくとも一方に対応するフレームが生成される。
なお、トップフィールド画像及びボトムフィールド画像に対応するフレームを生成する場合には、トップフィールド画像及びボトムフィールド画像のどちらにも対応する１枚のフレームを生成する場合と、トップフィールド画像及びボトムフィールド画像にそれぞれ対応する２枚のフレームを生成する場合とが含まれるものとする。また、トップフィールド画像に対応するフレームを生成する場合には、トップフィールド画像をそのまま新たなフレームとする場合と、トップフィールド画像の欠落している行をボトムフィールド画像を用いることなく補完した画像を生成する場合と、トップフィールド画像の欠落している行をボトムフィールド画像を用いて補完した画像を生成する場合とが含まれるものとする。ボトムフィールド画像に対応するフレームを生成する場合についても、同様である。

本発明の第８観点に係る画像処理プログラムは、第１観点から第７観点のいずれかに係る画像処理プログラムであって、インターレース解除ステップは、新たなフレームとして、トップフィールド画像及びボトムフィールド画像にそれぞれ対応する２枚のフレームを生成するステップである。
ここでは、インターレース解除の結果、トップフィールド画像及びボトムフィールドにそれぞれ対応する２枚のフレームが生成される。従って、新たなフレームにおいて、元のフレームの有する情報の欠損が抑制される。

本発明の第９観点に係る画像処理プログラムは、第５観点又は第６観点に係る画像処理プログラムであって、インターレース解除ステップは、新たなフレームとして、トップフィールド画像及びボトムフィールド画像にそれぞれ対応する２枚のフレームを生成し、判断されたフィールドオーダーに従って、２枚のフレームを順序付けるステップである。

すなわち、ここでは、正しいフィールドオーダーに従って、新たなフレームの属するタイムライン上において、フレームの配列の整合性が維持される。その結果、新たなフレームのタイムライン上では、真っ直ぐ進む移動体は、真っ直ぐ進んでいるものとして記録され、行きつ戻りつしながら進むように記録されることはない。

本発明の第１０観点に係る画像処理装置は、インターレース判断部と、インターレース解除部とを備える。インターレース判断部は、フレームの本体データを画像処理することにより、フレームがインターレース画像であるか否かを判断する。インターレース画像は、タイムライン上の異なるタイミングのトップフィールド画像及びボトムフィールド画像を含む画像である。インターレース解除部は、フレームがインターレース画像であると判断された場合には、フレームをインターレース解除し、新たなフレームを生成する。

ここでは、フレームのインターレースが解除される前提として、フレームがインターレース画像であるか否か、言い換えると、フレームのデータ本体がインターレース解除を必要としているか否かが、フレームのデータ本体に基づいて自動的に判断される。従って、所定のデータエリアに所定のフラグを記録している前述のデータ形式のフレームに限らず、多種多様なデータ形式のフレームに対し、インターレース画像であるか否かを正しく判断することができる。

本発明によれば、フレームのインターレースが解除される前提として、フレームがインターレース画像であるか否か、言い換えると、フレームのデータ本体がインターレース解除を必要としているか否かが、フレームのデータ本体に基づいて自動的に判断される。従って、所定のデータエリアに所定のフラグを記録している前述のデータ形式のフレームに限らず、多種多様なデータ形式のフレームに対し、インターレース画像であるか否かを正しく判断することができる。

本発明の一実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 １のタイムラインに属する静止画群を示す図。 環境設定ウィンドウの図。 データ取込み処理の流れを示すフローチャート。 図６の続きで、データ取込み処理の流れを示すフローチャート。 インターレース検出処理を示すフローチャート。 フィールドオーダー検出処理を示すフローチャート。 インターレース検出処理のアルゴリズムを示す概念図。 （ａ）インターレース画像の例を示す図。（ｂ）プログレッシブ画像の例を示す図。 （ａ）インターレース画像に対するインターレース検出処理の中で生成される別のフレームの例を示す図。（ｂ）プログレッシブ画像に対する同様の図。 （ａ）インターレース画像に対するインターレース検出処理の中で生成される別のフレームの例を示す図。（ｂ）プログレッシブ画像に対する同様の図。 （ａ）インターレース画像に対するインターレース検出処理の中で生成される別のフレームの例を示す図。（ｂ）プログレッシブ画像に対する同様の図。 フィールドオーダー検出処理のアルゴリズムを示す概念図。 （ａ）トップフィールドを先に並べた場合の外側の組に対応する差分画像の例を示す図。（ｂ）トップフィールドを先に並べた場合の内側の組に対応する差分画像の例を示す図。 変形例に係るインターレース検出処理のアルゴリズムを示す概念図。 変形例に係るフィールドオーダー検出処理のアルゴリズムを示す概念図。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ等のコンピュータが読み取り可能な記録媒体等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理プログラム２は、特に本発明に関連する機能として、インターレース画像をインターレース解除する機能を有している。ここで、インターレース画像とは、タイムライン上の異なる時間に属するトップフィールド画像とボトムフィールド画像とを含む画像である。従って、同じインターレース画像に含まれるトップフィールド画像が撮像されたタイミングと、ボトムフィールド画像が撮像されたタイミングとの間には、タイムラグが存在する。画像処理プログラム２のインターレース解除機能は、インターレース画像からこのタイムラグにより生じるインターレース縞を除去したプログレッシブ画像を生成する機能である。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線やケーブル等５で接続されており、適宜、通信可能である。本実施形態では、ディスプレイ１０は、液晶ディスプレイである。入力部２０は、マウスおよびキーボート等から構成される。記憶部３０は、ハードディスク等から構成される。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。ディスプレイ１０は、後述する画面等をユーザに対し表示する。入力部２０は、画像処理装置１に対するユーザからの操作を受け付ける。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１、表示制御部４２、インターレース判断部４３、フィールドオーダー判断部４４及び設定受付部４５として動作する。各部４１〜４５の動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４２により制御される。

＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。ただし、後述するとおり、静止画ファイル群の取込み元となる静止画ファイルがインターレース画像に由来するものである場合には、オリジナル画像領域５１に保存される静止画ファイル群は、インターレース解除後の静止画ファイル群となり得る。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４２は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の長さの区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。なお、このとき、静止画ファイル群の取込み元となる動画ファイルがインターレース画像に由来するものである場合には、オリジナル画像領域５１に保存される静止画ファイル群は、インターレース解除後の静止画ファイル群となり得る。

従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルであり、オリジナル画像領域５１へ静止画ファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部の区間単位で取り込まれる。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

＜２−２．静止画ファイル群の再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４２は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

表示制御部４２は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４、タイムラインバーＴ５およびＦＰＳ設定エリアＴ６が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４２は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４２は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

ＦＰＳ設定エリアＴ６は、アクティブフレーム群の動画としての再生時のフレームレートを表示しつつ、その変更をユーザから受け付ける。

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４１は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４１は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。

ところで、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２に表示される対象を変更するという意味もある。

＜２−４．インターレース解除処理及びスクイーズ拡大処理＞
次に、インターレース解除処理及びスクイーズ拡大処理について説明する。インターレース解除処理及びスクイーズ拡大処理は、オリジナル画像領域５１への静止画ファイル群の取込み処理(以下、データ取込み処理)の中で自動的に実行される処理である。

上記のとおり、ユーザは、データ取込み処理を開始させるに当たり、静止画ファイル群の取込み元となる画像データ（以下、対象画像データ）を指定する。インターレース解除処理は、ユーザにより指定された対象画像データに含まれるフレーム群（以下、対象フレーム群）がインターレース画像群であるか否かを判断し、対象フレーム群がインターレース画像群であると判断されると、対象フレーム群のインターレースを自動的に解除する処理である。なお、インターレース解除処理は、インターレース解除設定がＯＮになっている場合には実行されるが、ＯＦＦになっている場合にはスキップされる。

一方、スクイーズ拡大処理は、対象フレーム群が所定の画像サイズであるか否かを判断し、対象フレーム群が所定の画像サイズであると判断されると、対象フレーム群を自動的に横方向に拡大する処理である。また、スクイーズ拡大処理も、インターレース解除処理と同様、スクイーズ拡大設定がＯＮになっている場合にのみ実行される。

以下、インターレース解除設定及びスクイーズ拡大設定のＯＮ／ＯＦＦの設定処理について説明した後、インターレース解除処理及びスクイーズ拡大処理を含む、データ取込み処理の詳細について説明する。

＜２−４−１．インターレース解除設定及びスクイーズ拡大設定＞
表示制御部４２は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、基本画面Ｗ１上に環境設定ウィンドウＷ３（図５参照）を重ねて表示させる。環境設定ウィンドウＷ３は、インターレース解除設定及びスクイーズ拡大設定のＯＮ／ＯＦＦの設定をユーザから受け付ける。

具体的には、ユーザが、環境設定ウィンドウＷ３上の設定エリアＣ１の選択ボックスにチェックを入れた状態で、同じく環境設定ウィンドウＷ３上のＯＫボタンＢ１を押すと、設定受付部４５によりその旨が検知され、インターレース解除設定フラグが「１」に設定される。同様に、ユーザが、設定エリアＣ１の選択ボックスのチェックを外した状態でＯＫボタンＢ１を押すと、設定受付部４５によりその旨が検知され、インターレース解除設定フラグが「０」に設定される。なお、インターレース解除設定フラグとは、インターレース解除設定がＯＮであるかＯＦＦであるかを示すフラグであり、ソフトウェア管理領域５０内の所定のエリア内で管理されている。

スクイーズ拡大設定についても同様に、ユーザが、環境設定ウィンドウＷ３上の設定エリアＣ２の選択ボックスにチェックを入れた／外した状態でＯＫボタンＢ１を押すと、設定受付部４５によりその旨が検知され、スクイーズ拡大設定フラグがそれぞれ「１」／「０」に設定される。スクイーズ拡大設定フラグは、スクイーズ拡大設定がＯＮであるかＯＦＦであるかを示すフラグであり、インターレース解除設定フラグと同様、ソフトウェア管理領域５０内の所定のエリア内で管理されている。

＜２−４−２．データ取込み処理の詳細＞
以下、図６及び図７を参照しつつ、データ取込み処理の詳細について説明する。なお、上記のとおり、データ取込み処理は、ユーザが入力部２０を介して対象画像データを指定しつつ、その取込みの命令を入力した時に開始する。
まず、ステップＳ１では、画像処理部４１が、対象画像データをデコードし、対象フレーム群をＲＡＭ上に展開する。

続くステップＳ２では、インターレース判断部４３が、インターレース解除設定フラグを参照し、ステップＳ３〜Ｓ１２に係るインターレース解除処理を実行するか否かを判断する。ここでは、インターレース解除設定フラグの値が「１」であれば、処理はステップＳ３に進められる。一方、「０」であれば、処理はステップＳ１３に進められ、インターレース解除処理に係るステップＳ３〜Ｓ１２がスキップされる。

次に、ステップＳ３では、インターレース判断部４３が、対象フレーム群に２枚以上のフレームが含まれているか否かを判断する。そして、対象フレーム群に２枚以上のフレームが含まれていると判断されると、処理はステップＳ４に進められる。一方、対象フレーム群にフレームが１枚しか含まれていないと判断されると、処理はステップＳ１３に進められ、インターレース解除処理に係る残りのステップＳ４〜Ｓ１２がスキップされる。なお、ここでこのような判断がされるのは、インターレース解除処理に係る残りのステップＳ４〜Ｓ１２の中で、２枚以上の対象フレームが必要になるからである。以下、Ｋ枚のフレームからなる対象フレーム群を、対象フレーム群Ｆ₁，・・・，Ｆ_Kと表す（Ｋは、１以上の整数）。なお、対象フレーム群Ｆ₁，・・・，Ｆ_Kは、タイムライン上でこの順に配列されているものとする。

次に、ステップＳ４では、インターレース判断部４３が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの本体データを画像処理することにより、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であるか否かを判断する。対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であるか否かの判断のアルゴリズム（図８参照）については、後述する。ここで、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であると判断された場合には、処理はステップＳ５に進められる。一方、対象フレーム群Ｆ₁，・・・，Ｆ_Kがノンインターレース画像群（プログレッシブ画像群）であると判断された場合には、処理はステップＳ１３に進められ、インターレース解除処理に係る残りのステップＳ５〜Ｓ１２がスキップされる。

ステップＳ５では、フィールドオーダー判断部４４が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの本体データを画像処理することにより、対象フレーム群Ｆ₁，・・・，Ｆ_Kのフィールドオーダーを判断する。対象フレーム群Ｆ₁，・・・，Ｆ_Kのフィールドオーダーを判断するアルゴリズム（図９参照）については、後述する。なお、フィールドオーダーとは、同じフレームに含まれるトップフィールド画像及びボトムフィールド画像のタイムライン上での順番である。従って、トップフィールドファーストのフィールドオーダーであれば、トップフィールド画像が先に撮像されたことになり、ボトムフィールドファーストのフィールドオーダーであれば、ボトムフィールド画像が先に撮像されたことになる。ここでは、トップフィールドファーストのフィールドオーダーであると判断されると、処理がステップＳ６に進められ、ボトムフィールドファーストのフィールドオーダーであると判断されると、処理がステップＳ７に進められる。

ステップＳ６及びステップＳ７では、画像処理部４１が、対象フレーム群Ｆ₁，・・・，Ｆ_Kに含まれるＫ枚のトップフィールド画像群Ｏ₁，・・・，Ｏ_Kと、Ｋ枚のボトムフィールド画像群Ｅ₁，・・・，Ｅ_Kとを、タイムライン上に配列する。具体的には、トップフィールドファーストのフィールドオーダーであると判断された後に実行されるステップＳ６では、Ｏ₁，Ｅ₁，Ｏ₂，Ｅ₂，・・・，Ｏ_K，Ｅ_Kの順に配列される。一方、ボトムフィールドファーストのフィールドオーダーであると判断された後に実行されるステップＳ７では、Ｅ₁，Ｏ₁，Ｅ₂，Ｏ₂，・・・，Ｅ_K，Ｏ_Kの順に配列される。以下、説明の便宜上、配列後の２Ｋ枚のフィールド画像群Ｏ₁，Ｅ₁，Ｏ₂，Ｅ₂，・・・，Ｏ_K，Ｅ_K又はフィールド画像群Ｅ₁，Ｏ₁，Ｅ₂，Ｏ₂，・・・，Ｅ_K，Ｏ_Kを、フィールド画像群Ｇ₁，・・・，Ｇ_2Kと表す。フィールド画像群Ｇ₁，・・・，Ｇ_2Kは、タイムライン上でこの順に配列されているものとする。

ステップＳ６及びステップＳ７が終了すると、処理はステップＳ８に進められる。ステップＳ８では、画像処理部４１が、スクイーズ拡大設定フラグを参照し、ステップＳ９，Ｓ１０に係るスクイーズ拡大処理を実行するか否かを判断する。ここでは、スクイーズ拡大設定フラグの値が「１」であれば、処理はステップＳ９に進められる。一方、「０」であれば、処理はステップＳ１１に進められ、スクイーズ拡大処理に係るステップＳ９，Ｓ１０がスキップされる。

ステップＳ９では、画像処理部４１が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの画像サイズが横１４４０ピクセル×縦１０８０ピクセルであるか否かを判断する。そして、対象フレーム群Ｆ₁，・・・，Ｆ_Kの画像サイズが上記サイズであれば、処理はステップＳ１０に進められ、上記サイズでなければ、ステップＳ１１に進められる。なお、ここでこのような判断がされるのは、対象フレーム群Ｆ₁，・・・，Ｆ_K（より正確には、フィールド画像群Ｇ₁，・・・，Ｇ_2K）をスクイーズ拡大する必要があるか否かを判断するためである。すなわち、横１４４０ピクセル×縦１０８０ピクセル（アスペクト比４：３）である対象フレーム群Ｆ₁，・・・，Ｆ_Kは、データ容量を削減する目的等でそのような画像サイズで記録されているものの、本来、横１９２０ピクセル×縦１０８０ピクセル（アスペクト比１６：９）のフルＨＤで表示することを目的として撮像された画像である可能性が高い。その結果、そのような対象フレーム群Ｆ₁，・・・，Ｆ_Kをスクイーズ拡大せずに再生すると、現実よりも被写体が横方向に１４４０／１９２０（＝３／４）の割合で圧縮された映像が得られることになる。従って、縦１０８０ピクセルでありながら、アスペクト比が４：３である画像データについては、スクイーズ拡大することが望ましくなる。

このような点に鑑み、スクイーズ拡大が必要とされる場合に実行されるステップＳ１０では、フィールド画像群Ｇ₁，・・・，Ｇ_2Kの画像サイズを横１４４０ピクセルから横１９２０ピクセルへと拡大しながら、フィールド画像群Ｇ₁，・・・，Ｇ_2Kのインターレース補完を行う。一方、スクイーズ拡大が必要とされない場合に実行されるステップＳ１１では、フィールド画像群Ｇ₁，・・・，Ｇ_2Kの横方向の画像サイズを変更することなく、フィールド画像群Ｇ₁，・・・，Ｇ_2Kのインターレース補完を行う。なお、いずれにせよ、ステップＳ１０，Ｓ１１では、２Ｋ枚のフィールド画像群Ｇ₁，・・・，Ｇ_2Kにそれぞれ対応する２Ｋ枚の新たなフレーム群（以下、プログレッシブフレーム群）Ｈ₁，・・・，Ｈ_2Kが生成される。すなわち、ステップＳ１０，Ｓ１１では、対象フレーム群Ｆ₁，・・・，Ｆ_Kのインターレースが解除される。

より具体的には、ステップＳ１０では、画像処理部４１が、フィールド画像群Ｇ₁，・・・，Ｇ_2Kに含まれる各フィールド画像に対し、横方向の画像サイズを１４４０ピクセルから１９２０ピクセルへと拡大すべく３列に１列の割合で画素データを補完しながら、２行に１行の割合で欠落している行の画素データを補完してゆく。ところで、一般に、横方向に画素データを補完し、その値を確定させた後、縦方向の画素データの補完を行うと、補完された画素データがさらに別の画素データの補完に用いられることになり、画像の劣化が目立つようになる。縦方向に画素データを補完し、その値を確定させた後、横方向の画素データの補完を行う場合も、同様である。しかしながら、ステップＳ１０では、縦方向の補完と横方向の補完とが同時に行われるため、補完された画素データがさらに別の画素データの補完に用いられることを抑制することができる。ステップＳ１０では、画素データの補完には、その画素データを含むフィールド画像にもともと存在していた画素データのみが用いられ、もともと存在しておらず、補完により生成された画素データは用いられない。

画像処理部４１は、２Ｋ枚のプログレッシブフレーム群Ｈ₁，・・・，Ｈ_2Kにそれぞれ対応する２Ｋ個の静止画ファイル群を、オリジナル画像領域５１に保存する。そして、ステップＳ１０が終了すると、処理はステップＳ１２に進められる。

一方、ステップＳ１１では、画像処理部４１は、フィールド画像群Ｇ₁，・・・，Ｇ_2Kに含まれる各フィールド画像に対し、横方向の画像サイズを変更することなく、欠落している行の画素データを補完してゆく。その後、画像処理部４１は、ステップＳ１０と同様に、２Ｋ枚のプログレッシブフレーム群Ｈ₁，・・・，Ｈ_2Kにそれぞれ対応する２Ｋ個の静止画ファイル群を、オリジナル画像領域５１に保存する。そして、ステップＳ１１が終了すると、処理はステップＳ１２に進められる。

なお、ステップＳ１０，Ｓ１１において用いられる画素データの補完のアルゴリズムとしては、ニアレストネイバー、バイリニア、バイキュービック等の公知の技術の中から任意のものを適宜選択し得る。また、本実施形態では、画素データの補完には、同じ画像に含まれる画素データが用いられるが、別の画像に含まれる画素データを用いてもよい。その場合、ステップＳ６，Ｓ７で判断されたフィールド画像群Ｇ₁，・・・，Ｇ_2Kの配列上で隣接する又は近傍の画像の画素データを用いることが好ましい。このとき、同じフレームの異なるフィールドの画像の画素データを用いてもよいし、異なるフレームの同じ又は異なるフィールドの画像の画素データを用いてもよいし、これらを任意に組み合わせて用いてもよい。

次に、ステップＳ１２では、画像処理部４１は、プログレッシブフレーム群Ｈ₁，・・・，Ｈ_2Kのフレームレートを計算する。すなわち、本実施形態では、対象フレーム群Ｆ₁，・・・，Ｆ_Kをインターレース解除することで、２倍の枚数のフレーム群が生成されるため、画像処理部４１は、対象フレーム群Ｆ₁，・・・，Ｆ_Kのフレームレートを２倍し、プログレッシブフレーム群Ｈ₁，・・・，Ｈ_2Kのフレームレートとする。なお、対象フレーム群Ｆ₁，・・・，Ｆ_Kのフレームレートは、例えば、対象画像データ内にメタデータとして記録されている値を参照することにより特定される。そして、ステップＳ１２が終了すると、データ取込み処理が終了する。

次に、ステップＳ１３について説明する。ステップＳ１３は、上記のとおり、インターレース解除設定が「ＯＦＦ」であると判断された場合（ステップＳ２）、対象フレーム群Ｆ₁，・・・，Ｆ_Kにフレームが１枚しか含まれていないと判断された場合（ステップＳ３）、又は対象フレーム群Ｆ₁，・・・，Ｆ_Kがプログレッシブ画像群であると判断された場合（ステップＳ４）に実行されるステップである。ステップＳ１３では、ステップＳ８と同様に、画像処理部４１が、スクイーズ拡大設定フラグを参照し、ステップＳ１４，Ｓ１５に係るスクイーズ拡大処理を実行するか否かを判断する。ここでは、スクイーズ拡大設定フラグの値が「１」であれば、処理はステップＳ１４に進められ、「０」であれば、処理はステップＳ１６に進められる。

次に、ステップＳ１４では、ステップＳ９と同様に、画像処理部４１が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの画像サイズが横１４４０ピクセル×縦１０８０ピクセルであるか否かを判断し、対象フレーム群Ｆ₁，・・・，Ｆ_Kの画像サイズが上記サイズであれば、処理をステップＳ１５に進め、上記サイズでなければ、ステップＳ１６に進める。

ステップＳ１５では、ステップＳ１０と同様に、画像処理部４１が、対象フレーム群Ｆ₁，・・・，Ｆ_Kに含まれる各フレームに対し、横方向の画像サイズを１４４０ピクセルから１９２０ピクセルへと拡大すべく、３列に１列の割合で画素データを補完してゆく。ただし、ステップＳ１５が実行されるのは、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像ではない、又はインターレース画像か否かを判断できない、あるいはユーザがインターレース解除を望まない場合であるため、縦方向の補完は実行されない。そして、スクイーズ拡大が完了すると、画像処理部４１は、スクイーズ拡大後のＫ枚の対象フレーム群Ｆ₁，・・・，Ｆ_Kにそれぞれ対応するＫ個の静止画ファイル群を、オリジナル画像領域５１に保存する。そして、ステップＳ１５が終了すると、データ取込み処理が終了する。

一方、ステップＳ１６では、画像処理部４１は、Ｋ枚の対象フレーム群Ｆ₁，・・・，Ｆ_KをそのままＫ個の静止画ファイル群としてオリジナル画像領域５１に保存する。そして、ステップＳ１６が終了すると、データ取込み処理が終了する。

＜２−４−３．インターレース検出処理＞
次に、図８を参照しつつ、上述のステップＳ４に含まれる、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であるか否かを判断するための処理（以下、インターレース検出処理）について説明する。

まず、ステップＳ２１では、インターレース判断部４３が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの中から、タイムライン上で隣り合うフレーム対のうち、変化の大きい上位Ｌ組のフレーム対を特定する。なお、Ｌは、所定の値（例えば、５）であるが、所定の値が（Ｋ−１）より大きい場合には、（Ｋ−１）となる。

具体的には、インターレース判断部４３は、Ｋ枚の対象フレーム群Ｆ₁，・・・，Ｆ_Kから、（Ｋ−１）枚の差分画像Ｐ₁，・・・，Ｐ_K-1を生成する。差分画像Ｐ_iは、フレームＦ_iとフレームＦ_i+1との差分画像であり（ｉ＝１，２，・・・，Ｋ−１）、各画素について、フレームＦ_iのその画素の画素値からフレームＦ_i+1のその画素の画素値を減算することにより生成される。なお、以下では、差分画像がしばしば算出されるが、同様の方法によるものとする。続いて、インターレース判断部４３は、差分画像Ｐ₁，・・・，Ｐ_K-1に含まれる各差分画像Ｐ_iに対し、全ての画素値の絶対値を加算した差分度Ｄ_iを算出する。差分度Ｄ_iは、フレームＦ_iとフレームＦ_i+1との変化の度合いを表す指数となる。そして、インターレース判断部４３は、（Ｋ−１）個の差分度Ｄ₁，・・・，Ｄ_K-1の中から、値の大きい上位Ｌ個の差分度Ｄ_iを選択し、これらＬ個の差分度Ｄ_iにそれぞれ対応するＬ組のフレーム対Ｆ_i，Ｆ_i+1を特定する。

次に、インターレース判断部４３は、ステップＳ２１で特定されたＬ組のフレーム対に含まれる各フレーム対に対し、ステップＳ２２〜Ｓ２５を繰り返す。以下、図１０を参照しつつ、１組のフレーム対Ｆ_I，Ｆ_I+1に対し、ステップＳ２２〜Ｓ２５が実行される様子を説明する。なお、図１１（ａ）は、インターレース画像であるフレームＦ_Iの例であり、図１１（ｂ）は、プログレッシブ画像であるフレームＦ_Iの例である。

まず、ステップＳ２２では、インターレース判断部４３が、フレームＦ_Iをトップフィールド画像Ｏ_Iとボトムフィールド画像Ｅ_Iとに分離する。続いて、インターレース判断部４３は、フィールド画像Ｏ_I，Ｅ_Iを、ステップＳ１０，Ｓ１１と同様の方法でそれぞれインターレース補完し、フレームＯ_I’，Ｅ_I’を生成する。また、同様に、インターレース判断部４３は、フレームＦ_I+1から２枚のフレームＯ_I+1’，Ｅ_I+1’を生成する（図１０の矢印ａ１参照）。なお、図１２（ａ）は、フレームＦ_Iがインターレース画像である場合のフレームＯ_I’の例であり、図１２（ｂ）は、フレームＦ_Iがプログレッシブ画像である場合のフレームＯ_I’の例である。

続くステップＳ２３では、インターレース判断部４３は、フレームＯ_I’とフレームＥ_I’との差分画像Ｑ_Iと、フレームＯ_I+1’とフレームＥ_I+1’との差分画像Ｑ_I+1を生成する（図１０の矢印ａ２参照）。なお、図１３（ａ）は、フレームＦ_Iがインターレース画像である場合の差分画像Ｑ_Iの例であり、図１３（ｂ）は、フレームＦ_Iがプログレッシブ画像である場合の差分画像Ｑ_Iの例である。

ここで、フレームＦ_Iがインターレース画像である場合、トップフィールド画像Ｏ_Iの属する時間と、ボトムフィールド画像Ｅ_Iの属する時間との間には、タイムラグが存在する。従って、フレームＦ_I内を移動する被写体（移動体）が存在すれば、トップフィールド画像Ｏ_Iをインターレース補完したフレームＯ_I’と、ボトムフィールド画像Ｅ_Iをインターレース補完したフレームＥ_I’との比較結果である差分画像Ｑ_Iには、そのような被写体の動きが反映されることになる。差分画像Ｑ_I+1についても、同様である。すなわち、差分画像Ｑ_I，Ｑ_I+1を生成するステップＳ２３は、フレームＦ_I，Ｆ_I+1がインターレース画像であるか否かを判断できるように、差分画像Ｑ_I，Ｑ_I+1上に移動体の存在を浮かび上がらせるためのステップである。なお、本実施形態では、差分画像Ｑ_I，Ｑ_I+1を、フレームＯ_I’，Ｏ_I+1’と、フレームＥ_I’，Ｅ_I+1’との差分画像としたが、インターレース補完前のトップフィールド画像Ｏ_I，Ｏ_I+1と、ボトムフィールド画像Ｅ_I，Ｅ_I+1との差分画像としても、同様の効果が期待される。

ところで、上記のとおり、差分画像Ｑ_I，Ｑ_I+1は、異なるフィールドに由来する画像どうしの差分画像である。従って、差分画像Ｑ_I，Ｑ_I+1には、移動体だけでなく、フレームＦ_I，Ｆ_I+1内で静止している被写体（非移動体）の存在（特に、横方向に延びる輪郭線）が比較的大きく残ってしまうことがあるが、この非移動体の存在は、差分画像Ｑ_I，Ｑ_I+1上で移動体を検出する上でノイズとなる。従って、差分画像Ｑ_I，Ｑ_I+1上で移動体を精度よく検出するためには、その前に、差分画像Ｑ_I，Ｑ_I+1上の非移動体の存在をできる限りキャンセルしておくことが好ましい。

そこで、続くステップＳ２４では、インターレース判断部４３が、差分画像Ｑ_Iと差分画像Ｑ_I+1との差分をさらにとり、差分画像Ｒ_Iを生成する（図１０のａ３参照）。タイムライン上の複数のフレームＦ_I，Ｆ_I+1においては、移動体は異なる位置に存在するが、非移動体は同じ位置に存在するため、複数のフレームＦ_I，Ｆ_I+1にそれぞれ由来する差分画像Ｑ_I，Ｑ_I+1の差分画像Ｒ_I上では、非移動体の影響がさらに低減されることが期待されるからである。従って、ステップＳ２４では、相対的に移動体の存在を強調することができる。なお、図１４（ａ）は、フレームＦ_Iがインターレース画像である場合の差分画像Ｒ_Iの例であり、図１４（ｂ）は、フレームＦ_Iがプログレッシブ画像である場合の差分画像Ｒ_Iの例である。

続くステップＳ２５では、インターレース判断部４３は、差分画像Ｒ_Iを二値化し、この二値化画像上に所定の閾値よりも大きな連続した領域が存在するか否かを判断する（ラベリング処理）。そして、そのような連続した領域が存在すれば、差分画像Ｑ_I，Ｑ_I+1上に移動体が存在したものと判断できるから、フレームＦ_I，Ｆ_I+1をインターレース画像であると判断し、インターレースフラグを１つインクリメントする。一方、そのような連続した領域が存在しなければ、差分画像Ｑ_I，Ｑ_I+1上に移動体が存在しなかったものと判断できるから、フレームＦ_I，Ｆ_I+1をプログレッシブ画像であると判断し、プログレッシブフラグを１つインクリメントする。なお、図８に示すとおり、インターレースフラグ及びプログレッシブフラグは、ステップＳ２１の前に０に設定されているものとする。

従って、Ｌ組のフレーム対に対するステップＳ２２〜Ｓ２５のループを抜けた時、インターレースフラグ及びプログレッシブフラグは、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像であるか否かのＬ回の判断の結果を示している。その結果、ステップＳ２５の終了後、図８に示すインターレース検出処理を抜け、図６のステップＳ４に戻った時に、これらのフラグを参照することにより、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であるか否かを判断することができる。本実施形態では、インターレースフラグの値がプログレッシブフラグの値よりも所定の値（０以上の整数）だけ大きい場合に、対象フレーム群Ｆ₁，・・・，Ｆ_Kがインターレース画像群であると判断するものとする。

＜２−４−４．フィールドオーダー検出処理＞
以下、図９を参照しつつ、上述のステップＳ５に含まれる、対象フレーム群Ｆ₁，・・・，Ｆ_Kのフィールドオーダーを判断するための処理（以下、フィールドオーダー検出処理）について説明する。
まず、ステップＳ３１では、フィールドオーダー判断部４４が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの中から、タイムライン上で隣り合うフレーム対のうち、変化の大きい上位Ｌ組のフレーム対を特定する。なお、ここでは、ステップＳ２１の結果が流用される。

次に、フィールドオーダー判断部４４は、ステップＳ３１で特定されたＬ組のフレーム対に含まれる各フレーム対に対し、ステップＳ３２〜Ｓ３４を繰り返す。以下、図１５を参照しつつ、１組のフレーム対Ｆ_I，Ｆ_I+1に対し、ステップＳ３２〜Ｓ３４が実行される様子を説明する。
まず、ステップＳ３２では、フィールドオーダー判断部４４が、ステップＳ２２の結果を流用し、フレームＯ_I’，Ｅ_I’，Ｏ_I+1’，Ｅ_I+1’を取得する（図１５のｂ１参照）。

続くステップＳ３３では、フィールドオーダー判断部４４が、フレームＯ_I’とフレームＥ_I+1’との差分画像Ｕ_Iと、フレームＥ_I’とフレームＯ_I+1’との差分画像Ｕ_I+1を生成する（図１５のｂ２参照）。なお、図１６（ａ）は、差分画像Ｕ_Iの例であり、図１６（ｂ）は、差分画像Ｕ_I+1の例である。

すなわち、ステップＳ３３では、２枚の差分画像Ｕ_I，Ｕ_I+1を生成するための２組のフレームのペア（すなわち、フレームＯ_I’，Ｅ_I+1’のペアとフレームＥ_I’，Ｏ_I+1’のペア）を規定するに当たり、異なるフレームＦ_I，Ｆ_I+1の異なるフィールドに由来するフレームどうしをペアにしている。従って、差分画像Ｕ_Iに対応する２枚のフレームＯ_I’，Ｅ_I+1’間の時間差と、差分画像Ｕ_I+1に対応する２枚のフレームＥ_I’，Ｏ_I+1’間の時間差とでは、必ずどちらかが大きくなる。その結果、通常、時間差の大きい方の組に属する２枚のフレームの差分画像に現れる変化は、時間差の小さい方の組に属する２枚のフレームの差分画像に現れる変化よりも大きくなる。そのため、通常、トップフィールドが先となるフィールドオーダーであれば、差分画像Ｕ_Iに現れる変化が差分画像Ｕ_I+1に現れる変化よりも大きくなり、トップフィールドが後となるフィールドオーダーであれば、差分画像Ｕ_Iに現れる変化が、差分画像Ｕ_I+1に現れる変化よりも小さくなる。

そこで、続くステップＳ３４では、フィールドオーダー判断部４４は、フィールドオーダーを判断すべく、差分画像Ｕ_Iに現れる変化と、差分画像Ｕ_I+1に現れる変化との大小を比較する。具体的には、フィールドオーダー判断部４４は、差分画像Ｕ_I，Ｕ_I+1をそれぞれ二値化し、この２枚の二値化画像上に現れる領域の大小を比較する。そして、差分画像Ｕ_I上の領域の方が大きければ、トップフィールドファーストのフィールドオーダーであると判断し、トップフラグを１つインクリメントする。この場合、差分画像Ｕ_Iに現れる変化の方が、差分画像Ｕ_I+1に現れる変化よりも大きく、差分画像Ｕ_Iに対応するフレームＯ_I’，Ｅ_I+1’ 間の時間差が、差分画像Ｕ_I+1に対応するフレームＥ_I’，Ｏ_I+1’間の時間差よりも大きいと判断できるからである。一方、差分画像Ｕ_I+1上の領域の方が大きければ、ボトムフィールドファーストのフィールドオーダーであると判断し、ボトムフラグを１つインクリメントする。この場合、差分画像Ｕ_I+1に現れる変化の方が、差分画像Ｕ_Iに現れる変化よりも大きく、差分画像Ｕ_I+1に対応するフレームＥ_I’，Ｏ_I+1’間の時間差が、差分画像Ｕ_Iに対応するフレームＯ_I’，Ｅ_I+1’ 間の時間差よりも大きいと判断できるからである。なお、図９に示すとおり、トップフラグ及びボトムフラグは、ステップＳ３１の前に０に設定されているものとする。

従って、Ｌ組のフレーム対に対するステップＳ３２〜Ｓ３４のループを抜けた時、トップフラグ及びボトムフラグは、フィールドオーダーのＬ回の判断の結果を示している。その結果、ステップＳ３４の終了後、図９に示すフィールドオーダー検出処理を抜け、図６のステップＳ５に戻った時に、これらのフラグを参照することにより、対象フレーム群Ｆ₁，・・・，Ｆ_Kのフィールドオーダーを判断することができる。本実施形態では、トップフラグの値の方が大きければ、トップフィールドファーストであり、ボトムフラグの方が大きければ、ボトムフィールドファーストであると判断するものとする。

＜３．用途＞
画像処理プログラム２は、多種多様な静止画及び動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析するのにも利用され得る。防犯カメラの監視映像を解析していくためには、監視映像を静止画単位で画像処理していくことが重要になり得るが、インターレース画像に現れるギザギザやちらつきは、静止画において問題となり易い。従って、画像データの取込み時にインターレース解除処理を自動的に実行する画像処理プログラム２の上記機能は、防犯カメラの監視映像を画像処理するのに特に有用である。

＜４．特徴＞
＜４−１＞
上記実施形態では、対象フレーム群の本体データを画像処理することにより、対象フレーム群がインターレース画像群であるか否かが自動的に判断される。そして、対象フレーム群がインターレース画像群であると判断された場合には、自動的にインターレース解除される。従って、インターレース画像であることを示すフラグをメタデータとして記録しているようなデータ形式のフレームに限らず、多種多様なデータ形式のフレームに対し、インターレース画像であるか否かを正しく判断することができる。

＜４−２＞
上記実施形態では、同じ対象フレームのトップフィールド画像とボトムフィールド画像とを比較し（ステップＳ２３）、また、異なる複数の対象フレームを用いて非移動体の影響を低減した（ステップＳ２４）後、移動体の存否が判断される（ステップＳ２５）。すなわち、移動体が強調され、非移動体のノイズが低減された後、移動体の存否が判断される。従って、対象フレーム群がインターレース画像であるか否かを精度よく判断することができる。

＜４−３＞
上記実施形態では、インターレース画像群であると判断された対象フレーム群のフィールドオーダーが自動的に判断される（ステップＳ５）。また、ステップＳ１０，Ｓ１１で生成されるプログレッシブフレーム群は、ステップＳ６，Ｓ７により、ステップＳ５で判断されたフィールドオーダーに従って正しく順序付けられることになる。従って、プログレッシブフレーム群の配列は、時間の流れと整合し、真っ直ぐ進む移動体は、真っ直ぐ進んでいるものとして記録され、行きつ戻りつしながら進むように記録されることはない。

＜４−４＞
上記実施形態では、インターレース解除の結果、対象フレーム群に含まれる各フレームに対し、トップフィールド画像及びボトムフィールド画像にそれぞれ対応する２枚のフレームが生成される。従って、新たなプログレッシブフレーム群において、元の対象フレーム群の有する情報の欠損が抑制される。

＜４−５＞
上記実施形態では、対象フレーム群が全体としてインターレース方式であるか否かを判断するために、対象フレーム群に含まれる一部のフレーム（Ｌ組のフレーム対）に対してのみステップＳ２２〜Ｓ２５が実行される。従って、計算の負荷を下げることができる。そして、全体としてインターレース方式であると判断された場合には、そのような対象フレーム群全体がインターレース解除される（ステップＳ１０，Ｓ１１）。従って、一部の対象フレームのみがインターレース解除され、フレームレートに歪みが生じてしまうことがない。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上述のインターレース解除処理が実行されるタイミングは、データ取込み処理の実行時に限られない。例えば、インターレース解除処理を、選択フレーム群に対して実行可能な画像処理モジュールの１つとして実装し、画像データの取り込み後、ユーザの命令を受けて実行されるようにしてもよい。また、再生処理時に実行されるようにしてもよい。

＜５−２＞
上記実施形態では、対象フレーム群がインターレース画像群であるか否かを判断するために、対象フレーム群に含まれる一部のフレームに対してのみステップＳ２２〜Ｓ２５が実行されたが、全てのフレームに対して実行されてもよい。また、上記実施形態では、インターレース解除を行う場合には、対象フレーム群全体に対してのみインターレース解除が可能であったが、一部の対象フレームのみに対するインターレース解除を可能にしてもよい。

＜５−３＞
ステップＳ９で判定される、スクイーズ拡大を行うための条件は、上述したものに限られない。異なるアスペクト比で再生することを前提に、異なるアスペクト比で記録されたと考えられる画像データの画像サイズであれば、任意のものを採用し得る。

＜５−４＞
上記実施形態では、同じ対象フレームに属する２枚のフィールド画像どうし（より正確には、２枚のフィールド画像にそれぞれ由来する２枚のフレームどうし）を比較するステップ（ステップＳ２３）の後に、複数の対象フレームを比較するステップＳ２４が実行された。しかしながら、複数の対象フレームを比較するステップの後に、同じ対象フレームに属する２枚のフィールド画像どうしを比較するステップを実行してもよい。例えば、２枚の対象フレームの差分画像を生成した後に、その差分画像をインターレース解除して２枚のフィールド画像を生成し、それらの差分画像をさらに生成し、その後、ステップＳ２５の二値化処理を行うようにしてもよい。

＜５−５＞
差分画像からノイズを低減する方法は、ステップＳ２４の方法に限られず、様々な公知の技術を利用することができる。例えば、上述した方法に代えて又は加えて、膨張収縮処理を実行してもよい。これにより、非移動体に対応する比較的小さな領域は消えるが、移動体に対応する比較的大きな領域を残すことができる。

＜５−６＞
上記実施形態では、インターレース解除により、１枚の対象フレームから２枚のプログレッシブフレームが生成されるようになっていたが、１枚の対象フレームから生成されるプログレッシブフレームの枚数は、１枚であってもよいし、３枚以上であってもよい。

＜５−７＞
ステップＳ１０，Ｓ１１におけるプログレッシブフレームの生成の態様は、上述したものに限られず、対象フレームのトップフィールド画像及びボトムフィールド画像の少なくとも一方に対応するフレームを生成する限り、任意の態様を採用することができる。例えば、トップフィールド画像及びボトムフィールド画像を補完することなく、そのままインターレース解除後のフレームとしてもよい。

＜５−８＞
ステップＳ２２において、まず、インターレース判断部４３は、所定のルールに従って、フレームＦ_I，Ｆ_I+1から特定のエリアＺ１を除外した後、この特定のエリアＺ１が除外されたフレームＦ_I，Ｆ_I+1をトップフィールド画像Ｏ_I，Ｏ_I+1とボトムフィールド画像Ｅ_I，Ｅ_I+1とに分離するようにしてもよい（図１７参照）。ここで、除外される特定のエリアＺ１とは、例えば、フレームの下方の横に細長い領域である。この場合、特定のエリアＺ１の位置を特定するための所定のルールとして、例えば、フレームの下方のＸ％を除外するようにする（又は、フレームの上方のＸ％を残すようにする）等の情報が、予め定められているものとすればよい。なお、特定のエリアＺ１を除外するのは、そのようなエリアＺ１には、時刻等の字幕の情報が表示されることが多いからである。言い換えると、特定のエリアＺ１を残した状態では、以後のステップＳ２３〜Ｓ２５において、差分画像Ｑ_I，Ｑ_I+1，Ｒ_I上に字幕の変化が反映されてしまい、移動体の存否を正しく判断することができなくなり得るからである。

従って、この観点からは、特定のエリアＺ１としては、フレームの下方のエリアに代えて又は加えて、例えば、フレームの上方のＸ％を除外するようにすることもできる。あるいは、除外される特定のエリアＺ１は、その位置が予め定められているものに限られず、フレームＦ_I，Ｆ_I+1を画像処理することにより、字幕等の除外すべき情報を表示するエリアが存在しているか否かを自動的に判断し、そのようなエリアが存在すると判断された場合に限り、そのようなエリアが特定のエリアＺ１として除外されるようにしてもよい。あるいは、データ取込み処理を開始する前に、ユーザに特定のエリアＺ１（又は、特定のエリアＺ１以外の残すべきエリア）を手動で選択させるようにしてもよい。

さらに、同様の観点から、ステップＳ２１において、インターレース判断部４３が、対象フレーム群Ｆ₁，・・・，Ｆ_Kの中から変化の大きい上位Ｌ組のフレーム対を特定する場合においても、特定のエリアＺ１を除外するようにしてもよい。すなわち、インターレース判断部４３が、特定のエリアＺ１が除外された（Ｋ−１）枚の差分画像Ｐ₁，・・・，Ｐ_K-1を生成するようにしてもよい。この場合、差分画像Ｐ₁，・・・，Ｐ_K-1上に字幕の変化が反映されてしまい、移動体による変化の大きいフレーム対を正しく判断することができなくなる状況を回避することができる。

さらに、同様の観点から、ステップＳ３１及び／又はステップＳ３２〜Ｓ３４においても、フィールドオーダー判断部４４が、処理対象となるフレームから特定のエリアＺ１を除外した後、上述の処理を実行するようにしてもよい（図１８参照）。この場合も、ステップＳ３１及び／又はステップＳ３２〜Ｓ３４において、処理対象となるフレーム上に字幕の変化が反映されてしまい、フィールドオーダーを正しく判断することができなくなる状況を回避することができる。

＜５−９＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４１ 画像処理部（インターレース解除部）
４３ インターレース判断部
４４ フィールドオーダー判断部
Ｆ₁，・・・，Ｆ_K 対象フレーム群（フレーム）
Ｏ₁，・・・，Ｏ_K トップフィールド画像群（トップフィールド画像）
Ｅ₁，・・・，Ｅ_K ボトムフィールド画像群（ボトムフィールド画像）
Ｈ₁，・・・，Ｈ_2K プログレッシブフレーム群（新たなフレーム）

Claims (10)

1. フレームの本体データを画像処理することにより、前記フレームがタイムライン上の異なるタイミングのトップフィールド画像及びボトムフィールド画像を含むインターレース画像であるか、プログレッシブ画像であるかを判断するステップと、
   前記フレームが前記プログレッシブ画像であると判断された場合には、前記フレームをインターレース解除せず、新たなフレームを生成しないが、前記フレームが前記インターレース画像であると判断された場合には、前記フレームをインターレース解除し、新たなフレームを生成するステップと
   をコンピュータに実行させる、
   画像処理プログラム。
2. 前記フレームが前記インターレース画像であるか否かを判断するステップは、前記トップフィールド画像と前記ボトムフィールド画像とを比較し、前記フレーム内における移動体の存否を判断することにより、前記フレームが前記インターレース画像であるか否かを判断するステップである、
   請求項１に記載の画像処理プログラム。
3. 前記フレームが前記インターレース画像であるか否かを判断するステップは、前記タイムライン上の複数の前記フレームの前記本体データを用いて、前記フレーム内の非移動体の影響を低減した後、前記フレーム内における移動体の存否を判断することにより、前記フレームが前記インターレース画像であるか否かを判断するステップである、
   請求項１又は２に記載の画像処理プログラム。
4. 前記フレームが前記インターレース画像であるか否かを判断するステップは、前記タイムライン上のフレーム群に含まれる少なくとも一部の前記フレームの前記本体データを画像処理することにより、前記フレーム群が一群の前記インターレース画像であるか否かを判断するステップであり、
   前記フレームをインターレース解除するステップは、前記フレーム群が一群の前記インターレース画像であると判断された場合に、前記フレーム群をインターレース解除し、前記新たなフレーム群を生成するステップである、
   請求項１から３のいずれかに記載の画像処理プログラム。
5. 前記フレームが前記インターレース画像であると判断された場合には、前記フレームの前記本体データを画像処理することにより、前記トップフィールド画像及び前記ボトムフィールド画像のフィールドオーダーを判断するステップ、
   をさらにコンピュータに実行させる、
   請求項１から４のいずれかに記載の画像処理プログラム。
6. 前記フィールドオーダーを判断するステップは、前記タイムライン上の第１フレームの前記トップフィールド画像と、前記タイムライン上の第２フレームの前記ボトムフィールド画像との第１差分と、前記第１フレームの前記ボトムフィールド画像と、前記第２フレームの前記トップフィールド画像との第２差分とを比較し、前記第１差分及び前記第２差分の大小に応じて、前記フィールドオーダーを判断するステップである、
   請求項５に記載の画像処理プログラム。
7. 前記フレームをインターレース解除するステップは、前記新たなフレームとして、前記トップフィールド画像及び前記ボトムフィールド画像の少なくとも一方に対応するフレームを生成するステップである、
   請求項１から６のいずれかに記載の画像処理プログラム。
8. 前記フレームをインターレース解除するステップは、前記新たなフレームとして、前記トップフィールド画像及び前記ボトムフィールド画像にそれぞれ対応する２枚のフレームを生成するステップである、
   請求項１から７のいずれかに記載の画像処理プログラム。
9. 前記フレームをインターレース解除するステップは、前記新たなフレームとして、前記トップフィールド画像及び前記ボトムフィールド画像にそれぞれ対応する２枚のフレームを生成し、前記判断されたフィールドオーダーに従って、前記２枚のフレームを順序付けるステップである、
   請求項５又は６に記載の画像処理プログラム。
10. フレームの本体データを画像処理することにより、前記フレームがタイムライン上の異なるタイミングのトップフィールド画像及びボトムフィールド画像を含むインターレース画像であるか、プログレッシブ画像であるかを判断するインターレース判断部と、
    前記フレームが前記プログレッシブ画像であると判断された場合には、前記フレームをインターレース解除せず、新たなフレームを生成しないが、前記フレームが前記インターレース画像であると判断された場合には、前記フレームをインターレース解除し、新たなフレームを生成するインターレース解除部と
    を備える、
    画像処理装置。