JP5088164B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP5088164B2
JP5088164B2 JP2008039539A JP2008039539A JP5088164B2 JP 5088164 B2 JP5088164 B2 JP 5088164B2 JP 2008039539 A JP2008039539 A JP 2008039539A JP 2008039539 A JP2008039539 A JP 2008039539A JP 5088164 B2 JP5088164 B2 JP 5088164B2
Authority
JP
Japan
Prior art keywords
frame
pixel
dfd
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008039539A
Other languages
English (en)
Other versions
JP2009200760A (ja
Inventor
朋範 河瀬
孝文 森藤
邦雄 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008039539A priority Critical patent/JP5088164B2/ja
Priority to US12/378,733 priority patent/US8279930B2/en
Publication of JP2009200760A publication Critical patent/JP2009200760A/ja
Application granted granted Critical
Publication of JP5088164B2 publication Critical patent/JP5088164B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
従来より、テレビジョン信号の動きを検出する動きベクトル検出回路からの複数の動きベクトルデータの平均動きベクトルデータに基づいて、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施すことが可能である。
内挿フレームの生成は、例えば、次のようにして行われる。動きベクトルvで対応づけられる2つのフレームである、時刻tのフレーム、および時刻t+1のフレーム上の交点をそれぞれ点q、点rとする。ここで、時刻tのフレーム、および時刻t+1のフレームの間に新たなフレームであって時刻t+kのフレーム上の画素pの値を、点q、点rから時間位置の逆比(1-k)：kにより次式のように線形補間してFt+k(p)を求める。
Ft+k(p) = (1-k)Ft(q) + kFt+1(r)
このようにして画素値が演算された画素により構成されるフレームが内挿フレームになる。
しかし、例えば、２つの動物体として背景と前景が違う動きを持っている動画像において内挿フレームを生成する場合、時刻t0と時刻t1との間では、画像の領域によって、異なる方向の動きベクトルが生成されることになるため、内挿フレーム生成を行う時刻において動きベクトルが通過しない領域が生じてしまい、内挿フレームを生成することができない。
このような場合、従来は、内挿フレームを生成するために、例えば、周辺の動きベクトル等を利用したベクトル補償が行われていた。このとき、2フレーム間の差分絶対値和(DFD: Displaced Frame Difference)が最小となるように、動きベクトルの割り付けが行われる。
差分絶対値和DFDは、例えば、動き量の評価値として用いられ、注目するベクトル量分だけずらしたブロック同士で求められる。一般的にはDFDが小さいほどフレーム間のブロックの波形が一致しており、動きベクトルの信頼度が高いと判定でき、例えば、複数の候補から確からしいベクトルを選びだす場合などに利用される。
また、内挿フレームの破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降0ベクトルと称する)により時間補間を行った画素値とある割合で混合することが提案されている（例えば、特許文献１参照）。これにより、画像的な破綻を目立たなくすることができる。
特開２００７−７４５８８号公報
しかしながら、背景と前景が違う動きを持っている動画像においては、背景と前景との境界付近の領域では、動きベクトルが不安定となり、正しい動きベクトルの候補が得られにくい。
また、時間の経過に伴って、前景により隠れる背景の領域、または前景の後から現れる背景の領域においては、正しい動きベクトルの候補が得られたとしても時刻t0、時刻t1間のDFDでは、正しく評価できない。
すなわち、上述した領域は、時刻t0と時刻t1において対応する領域が存在しないので、結果として背景のテクスチャと前景のテクスチャとの差分をDFDにより演算することになってしまう。
このような領域では、正しい動きベクトルを選択することが難しく、また、内挿フレームの画素を適切に生成することが難しい。そのため、例えば、内挿フレームの画像に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。
本発明はこのような状況に鑑みてなされたものであり、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにするものである。
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置である。
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトルの信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
前記領域判定手段は、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定するようにすることができる。
前記演算方式決定手段は、前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、前記注目画素に割り付けられた動きベクトルに基づいて、前記第１のフレームの画素、前記第２のフレームの画素、前記第３のフレームの画素、および前記第４のフレームの画素を特定し、前記現在のDFD、前記過去のDFD、および前記未来のDFDを演算するようにすることができる。
演算方式決定手段は、前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定するようにすることができる。
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定するステップを含む画像処理方法である。
本発明の第１の側面は、コンピュータを、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させるプログラムである。
本発明の第１の側面においては、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルが割り付けられ、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルが割り付けられ、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかが判定され、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式が決定される。
本発明によれば、内挿フレームの画像のどの領域においても、適切に画素を生成することができるようにする。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段（例えば、図１３のベクトル割り付け部３０２）と、前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段（例えば、図１３の補償割り付け部３２１）と、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段（例えば、図１０のC/UC領域判定部１２５）と、前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する演算方式決定手段（例えば、図１４の補間方式決定部３２５）とを備える。
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段（例えば、図１３の背景ベクトル抽出部３２２）をさらに備え、前記領域判定手段は、注目画素について、前記背景ベクトル（例えば、図９の背景ベクトル１１１）の信頼性を評価するための評価値を複数演算し、前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトル（例えば、図９の補償割り付けベクトル１１３）の信頼性を評価するための評価値を演算し、前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレーム（例えば、時刻t-1のフレーム）の画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレーム（例えば、時刻t+2のフレーム）の画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
本発明の第１の側面の画像処理方法は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け（例えば、図１５のステップＳ１０１の処理）、前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け（例えば、図１３のステップＳ１０３の処理）、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し（例えば、図１５のステップＳ１０５の処理）、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する（例えば、図１５のステップＳ１０６の処理）ステップを含む。
以下、図面を参照して、本発明の実施の形態について説明する。
最初に、内挿フレームについて説明する。
時間的に連続するフレームからなる動画像などのデータにおいて、例えば、図1に示されるように、時刻tにおけるフレームの位置qの画素に設定されている動きベクトルvにより、位置qの画素は、時刻t+1におけるフレームにおいて位置ｒの画素に対応づけられる。なお、時刻tにおけるフレームの各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルが付加されているものとする。
例えば、時刻tにおけるフレームと時刻t+1におけるフレームは、時間的に連続しており、本来時刻tのフレームが再生された後、次に再生されるフレームは、時刻t＋1のフレームとなるが、動画像の時間方向の解像度を向上させるために、時刻tと時刻t+1の間に位置する時刻t+kのフレームを生成する。このとき生成される時刻t+kのフレームを内挿フレームと称する。
従来、内挿フレーム（時刻t+kのフレーム）の画素値は、例えば、次のようにして生成されていた。
時刻t+kのフレームの位置pの画素の動きベクトルｖにより対応付けられる時刻tおよび時刻t＋1のフレームの画素の位置は、位置pおよび位置ｒとなる。時刻t＋kのフレームの位置pの画素値Ft+k(p)は、式（１）に示されるように、２つの点q、rから時間位置の逆比(1-k)：kにより線形補間して求められる。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。
Ft+k(p) = (1-k)Ft(q) + kFt+1(r) ・・・(1)
次に、動きベクトルの補償について説明する。
例えば、動画像の各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルを付加することができる。
例えば、図２に示されるように、前景であるオブジェクトが時間の経過に伴って、図中右方向に移動していく場合を考える。図２は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものである。ここでは、説明を簡単にするために、フレームの画像を１次元（線状）で表現している。すなわち、図２の縦軸は時間を表し、図２の横軸は画像（画素）の位置を表すことになる。
図２において時間的に最も前の画像である時刻t-1のフレームのオブジェクト２１は、時刻t0のフレームにおいてはやや右方向に移動しており、時刻t1のフレームにおいてはさらに右方向に移動しており、時間的に最も後の画像である時刻t2のフレームにおいてはさらに右方向に移動している。また、同図では表現されていないが、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。
時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた従来の方式による動きベクトルの検出を行うと、図３の矢印で示されるような動きベクトルが検出される。すなわち、オブジェクト２１の画素では、図中右側に向かう動きベクトルが検出され、背景の画素では、図中左側に向かう動きベクトルが検出されることになる。
図３に示されるような動きベクトルに基づいて、時刻t0と時刻t1の間の時刻t+jおよび時刻t+kのフレームを内挿フレームとして生成する場合、内挿フレームの画素に割り付けられる動きベクトルは、図４に示されるようになる。
図４乃至図７は、オブジェクト２１が表示される動画像の例を示しており、時刻t0、時刻t+j、時刻t+k、および時刻t1の４つの時刻のフレームの画像を示すものである。ここで、時刻t+jのフレーム、および時刻t+kのフレームは、内挿フレームとされる。また、ここでも、説明を簡単にするために、フレームの画像を１次元（線状）で表現しており、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。
時刻t+jの内挿フレームの領域３１ａおよび領域３１ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられる。一方、時刻t+jの内挿フレームの領域３１bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
また同様に、時刻t+kの内挿フレームの領域３２ａおよび領域３２ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられ、時刻t+kの内挿フレームの領域３２bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
しかし、図５に示されるように、時刻t+jの内挿フレームの領域３３ａの画素および領域３３ｃの画素には、動きベクトルが割り付けられていない。領域３３ａの画素は、本来背景の画像の画素であるが、時刻t0のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。また、領域３３ｃの画素は、本来背景の画像の画素であるが、時刻t1のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。
同様に、時刻t+kの内挿フレームの領域３４ａの画素および領域３４ｃの画素にも、やはり動きベクトルが割り付けられていない。
このように、前景と背景の動きが異なる動画像などの場合、内挿フレームの生成などに用いる動きベクトルを割り付けられない領域が生じることになる。図６に示されるように、領域３３ｃおよび領域３４ｃを含む図中の三角形の領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、Ｃ（Covered）領域と称することとする。また、領域３３ａおよび領域３４ａを含む図中の逆三角形の領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、ＵＣ（UnCovered）領域と称することとする。
例えば、内挿フレームの生成において、Ｃ領域、およびＵＣ領域は、動きベクトルが通過しない領域と言い換えることもできる。
内挿フレームの生成において、動きベクトルが通過しない領域の画素を生成するためには、その領域に何らかの動きベクトルを割り付けて動きベクトルを補償する必要がある。このような領域において動きベクトルを補償する場合、例えば、注目画素の周辺のベクトルや０ベクトルの中から最も適した動きベクトルが選択されて、注目画素の動きベクトルとして割り付けられる。このように補償されて割り付けられる動きベクトルを、補償割り付けベクトルと称することにする。
なお、補償割り付けベクトルは、例えば、注目画素の周辺の画素のそれぞれに割り付けられている動きベクトルのうち、注目画素の動きベクトルとして最適なものが選択されることにより割り付けられる。
例えば、時刻tにおけるフレームの位置Pの画素が、動きベクトルｖにより時刻t+1におけるフレームで位置Ｐ´の画素に対応付けられる場合、位置Ｐの画素を中心とするｍ×ｎ個の画素と、位置Ｐ´の画素を中心とするｍ×ｎ個の画素のそれぞれとの間での差分絶対値和（DFD：Displaced Frame Difference)を演算する。DFDは、例えば、動きベクトルの信頼性を評価するための評価値として用いられ、DFDが小さくなれば、その動きベクトルは、注目画素の動きを適切に反映していると言える。注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてこのようにDFDを演算し、DFDの値が最も小さい動きベクトルが補償割り付けベクトルとして選択される。
図７は、従来の内挿フレーム生成処理を説明するフローチャートである。
すなわち、ステップＳ１１において、入力画像の時刻ｔのフレームと、時刻t+1のフレームに基づいて、動きベクトルが検出される。このとき、例えば、勾配法、ブロックマッチング法などにより動きベクトルが検出される。
ステップＳ１２において、ステップＳ１１で検出された動きベクトルを時刻t+kのフレームである内挿フレームの各画素に割り付ける。
ステップＳ１３において、内挿フレームのＣ領域、ＵＣ領域の画素など、動きベクトルが割り付けられていない画素に、例えば、周辺の動きベクトルを割り付けるなどして補償割り付けする。
ステップＳ１４において、内挿フレームの各画素の画素値が、ステップＳ１２の処理により割り付けられた動きベクトル、または、ステップＳ１３の処理により補償割り付けされた動きベクトル（補償割り付けベクトル）を用いて演算される。このとき、例えば、式（１）を参照して上述したような、線形補間により画素値が演算される。
しかしながら、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえない。
上述したように、Ｃ領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、時間的に後のフレームにおいてＣ領域の画素に対応する画素が存在しないからである。また、ＵＣ領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、時間的に前のフレームにおいてUC領域の画素に対応する画素が存在しないからである。
このため、内挿フレームの所定の画素を生成する場合、その画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、またはそれらのいずれでもない領域（通常領域と称することにする）の画素であるかを判定して、それらの領域に対応する方式で画素を生成することが必要となる。
そこで、本発明においては、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定して、それらの領域に対応する方式で画素を生成することにする。
注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかは、例えば、次のようにして判定できる。
図８は、オブジェクト１２１が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
いま、内挿フレームのＵＣ領域の画素１０１と、Ｃ領域の画素１０２を、それぞれ注目画素として、注目画素の領域を判定する場合の例について説明する。
注目画素の領域を判定するために、背景の画像の動きを表す動きベクトルである背景ベクトルを、注目画素に仮に割り付ける。なお、背景ベクトルの抽出については後述する。そして、背景ベクトルに基づいて、上述したようにDFDを演算する。
図８の例では、画素１０１と画素１０２に、仮に割り付ける背景ベクトルとして図中の太線の矢印で示される背景ベクトル１１１と背景ベクトル１１２が示されている。同図の例では、背景ベクトル１１１と背景ベクトル１１２は、図中点線で示される従来の方式により検出された動きベクトルであって、背景の動きを表す動きベクトルとほぼ同じ向きとされている。この背景ベクトル１１１と背景ベクトル１１２を、時刻t-1乃至時刻t+2に至るように時間的に延長する。すなわち、背景ベクトル１１１または背景ベクトル１１２により、時刻tのフレームの画素または時刻t+1のフレームの画素に対応付けられる時刻t+2のフレームの画素、または時刻t-1のフレームの画素を特定する。
Ｃ領域またはＵＣ領域では、背景ベクトルに基づいて、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになってしまう。図８の例では、時刻t0のフレームの画像と時刻t1のフレームの画像を用いると、背景ベクトル１１１に基づいて前景の画像の領域１２１ａと背景の画像の領域１３１の差分絶対値和が演算され、背景ベクトル１１２に基づいて前景の画像の領域１２１bと背景の画像の領域１３３の差分絶対値和が演算されることになる。
そこで、本発明では、さらに、時刻t+1よりも時間的に後の時刻t+2のフレームの画像と、時刻tよりも時間的に前の時刻t-1のフレームの画像とを、DFDの演算に用いることとする。
図８の例において、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いれば、背景ベクトル１１１に基づいて背景の画像の領域１３１と背景の画像の領域１３２の差分絶対値和が演算されることになる。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いれば、背景ベクトル１１２に基づいて背景の画像の領域１３３と背景の画像の領域１３４の差分絶対値和が演算されることになる。
ここで、時刻tのフレームの画像と時刻t+1のフレームの画像を用いてDFDを「現在のDFD」と称することとし、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いたDFDを「未来のDFD」と称することとする。また、時刻tのフレームの画像と時刻t-1のフレームの画像を用いたDFDは「過去のDFD」と称することとする。
すなわち、ＵＣ領域の画素は、背景ベクトルに基づいて未来のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。また、Ｃ領域の画素は、背景ベクトルに基づいて過去のDFDを演算すると、そのDFDの値は小さくなるはずである。上述したように、背景の画像の領域同士の差分絶対値和が演算されるからである。
また、Ｃ領域またはＵＣ領域では、それぞれの画素に割り付けられた補償割り付けベクトルが、その画素の動きを適切に反映している可能性は少ない。このため、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値は小さくならないはずである。
図９は、図８と同様に、オブジェクト１２１が表示される動画像の例を示しており、同図の例では、Ｃ領域の画素１０１に補償割り付けベクトル１１３が割り付けられており、ＵＣ領域の画素１０２に補償割り付けベクトル１１４が割り付けられている。
図９の例では、時刻tのフレームの画像と時刻t+1のフレームの画像を用い、補償割り付けベクトル１１３に基づいて前景および背景の画像の領域１４１と背景の画像の領域１４２の差分絶対値和が演算され、補償割り付けベクトル１１４に基づいて前景および背景の画像の領域１４３と背景の画像の領域１４４の差分絶対値和が演算されることになる。
このように、Ｃ領域またはＵＣ領域では、補償割り付けベクトルに基づいてDFDを演算しても、そのDFDの値が小さくなる可能性は低い。
本発明では、上述したように、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの、４つのDFDを演算し、それぞれの大小を比較することにより注目画素の領域を判定する。
すなわち、上述した４つのDFDのうち、過去のDFDが最小であった場合、注目画素は、Ｃ領域の画素であると判定される。
また、上述した４つの評価値のうち、未来のDFDが最小であった場合、注目画素は、UＣ領域の画素であると判定される。
さらに、上述した４つの評価値のうち、現在のDFDが最小であった場合、または補償割り付けベクトルのDFDが最小であった場合、注目画素の領域は、通常領域であると判定される。
ただし、所定の場合には、このような方式では、注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定できない。例えば、図１０に示されるような場合を考える。
図１０は、オブジェクト１２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト１２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト１２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。図１０の場合、図８の場合よりも、背景の動きが大きく、また、前景であるオブジェクトの面積が小さい。
図１０に示される例では、UC領域の画素１０３に、背景ベクトル１１５を割り当てても、未来のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１５が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０３についての未来のDFDは、背景の画像の領域１５２と背景の画像の領域１５３との差分絶対値和となり、DFDが小さくなる可能性が高いが、過去のDFDも、背景の画像の領域１５１と背景の画像の領域１５４との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１５１と背景の画像の領域１５２との差分絶対値和となり、DFDが小さくなる可能性が高い。
また、図１０に示される例では、C領域の画素１０４に、背景ベクトル１１６を割り当てても、過去のDFDが最小になるとは限らない。背景の動きが大きいため、背景ベクトル１１６が前景（オブジェクト１２２）を貫いてしまうからである。従って、画素１０４についての過去のDFDは、背景の画像の領域１６１と背景の画像の領域１６４との差分絶対値和となり、DFDが小さくなる可能性が高いが、未来のDFDも、背景の画像の領域１６２と背景の画像の領域１６３との差分絶対値和となり、DFDが小さくなる可能性が高い。同様に、現在のDFDも、背景の画像の領域１６１と背景の画像の領域１６２との差分絶対値和となり、DFDが小さくなる可能性が高い。
このように、現在のDFD、過去のDFD、未来のDFDが、全て小さい値である場合、その注目画素の領域の判定結果は信頼性が低いと考えられる。そこで、現在のDFD、過去のDFD、未来のDFDのそれぞれを、予め設定された閾値と比較し、現在のDFD、過去のDFD、未来のDFDのそれぞれが、閾値より小さい場合、注目画素は、通常領域と判定されるようにする。
以上のようにして、内挿フレームの注目画素が、Ｃ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかが判定される。
上述したように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、２つのフレームの画素を用いた線形補間により内挿フレームの画素値を演算することは、適切とはいえないので、本発明では、Ｃ領域とUC領域においては、式（１）を参照して上述した方式とは異なる方式で内挿フレームの画素を生成する。次に、Ｃ領域とUC領域における内挿フレームの画素の生成の方式について説明する。
図１１は、オブジェクト２２１が表示される動画像の例を示しており、時刻tのフレームおよび時刻t+1のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
上述したように、UC領域の画素２０１は、過去のフレーム（時間的に前のフレーム）においては、対応する画素がないので、UC領域の画素生成の際に過去のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻t+1のフレームの画素２０３のみである。画素２０３は、背景の動きを表す動きベクトル２１１により画素２０１と対応付けられることになる。
また、C領域の画素２０２は、未来のフレーム（時間的に後のフレーム）においては、対応する画素がないので、C領域の画素生成の際に未来のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまう。すなわち、画素２０１の画素値の演算において用いるべき画素は、時刻tのフレームの画素２０４のみである。画素２０４は、背景の動きを表す動きベクトル２１２により画素２０２と対応付けられることになる。
このように、Ｃ領域とUC領域においては、式（１）を参照して上述したように、時刻tおよび時刻t+1の２つのフレームの画素を用いた線形補間（適宜、両側補間と称する）により内挿フレームの画素値を演算するのではなく、時刻tのフレームまたは時刻t+1のフレームのうちの１つのフレームの画素を用いて補間（適宜、片側補間と称する）するようにすれば、適切に画素値を演算することができる。片側補間の場合、例えば、画素２０１の画素値は、画素２０３の画素値と同じ値とされ、例えば、画素２０２の画素値は、画素２０４の画素値と同じ値とされる。
しかしながら、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できる保証はない。Ｃ領域とUC領域においては、もともと動きベクトルが割り付けられていないので、何らかの動きベクトルを選択して補償する必要がある。このとき、正確に背景の動きを表す動きベクトル２１１または動きベクトル２１２を抽出できれば、上述した片側補間により適切な画素値を得ることができるが、例えば、背景の動きを表す動きベクトルとして、動きベクトル２１３または動きベクトル２１４が抽出されてしまった場合、上述した片側補間により適切な画素値が得られる可能性は低くなる。
また、注目画素の領域が誤って判定された場合、やはり上述した片側補間により適切な画素値が得られる可能性は低くなる。例えば、通常領域の画素、またはＵＣ領域の画素が誤って、Ｃ領域の画素と判定された場合、仮に正確に背景の動きを表す動きベクトルを抽出できたとしても、片側補間により注目画素の画素値を演算すると適切な画素値を得ることはできない。
一方、Ｃ領域とUC領域の画素に割り付けられた補償割り付けベクトルを用いた片側補間について考える。図１２は、図１１と同様にオブジェクト２２１が表示される動画像の例を示している。同図の例において、画素２３１は、ＵＣ領域の画素とし、画素２３３は、Ｃ領域の画素とする。
いま、画素２３１に補償割り付けベクトル２４１が割り付けられているものとする。補償割り付けベクトル２４１は、例えば、画素２３１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４１は、画素２３１の動きを適切に反映してない。
画素２３１について、補償割り付けベクトル２４１により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３２であり、上述したように片側補間すると、画素２３１の画素値は、画素２３２の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
同様に、画素２３３に補償割り付けベクトル２４２が割り付けられているものとする。補償割り付けベクトル２４２は、例えば、画素２３２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４２は、画素２３２の動きを適切に反映してない。
画素２３２について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３４であり、上述したように片側補間すると、画素２３２の画素値は、画素２３４の画素値と同じ値とされてしまい、内挿フレームの画像が劣化する。
しかしながら、注目画素の領域が誤って判定された場合、補償割り付けベクトルを用いた片側補間により適切な画素値が得られる可能性は高くなる。
図１２において、画素２３５は、本来は通常領域（オブジェクト２２１の一部）の画素であるが、誤ってＵＣ領域の画素と判定されたものとし、画素２３７は、本来は通常領域の画素であるが、誤ってＣ領域の画素と判定されたものとする。なお、多くの場合、通常領域の画素には、補償割り付けを行わなくても予め動きベクトルが割り付けられるのであるが、ここでは、画素２３５と画素２３７には、ブロックマッチング法、勾配法などにより検出された動きベクトルが割り付けられておらず、動きベクトルが補償割り付けされたものとして説明する。
いま、画素２３５に補償割り付けベクトル２４３が割り付けられているものとする。補償割り付けベクトル２４３は、例えば、画素２３５の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４３は、画素２３１の動きを適切に反映している。
画素２３５について、補償割り付けベクトル２４３により対応付けられる時刻t+1のフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３６であり、上述したように片側補間すると、画素２３５の画素値は、画素２３６の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
同様に、画素２３７に補償割り付けベクトル２４４が割り付けられているものとする。補償割り付けベクトル２４４は、例えば、画素２３７の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。いまの場合、補償割り付けベクトル２４４は、画素２３７の動きを適切に反映している。
画素２３７について、補償割り付けベクトル２４２により対応付けられる時刻tのフレームの画素は、オブジェクト２２１の画像の一部を構成する画素２３８であり、上述したように片側補間すると、画素２３７の画素値は、画素２３８の画素値と同じ値とされる。この場合、内挿フレームの画像は劣化しない。
図１１と図１２を参照して上述したように、Ｃ領域とUC領域の画素の画素値の演算は、背景の動きを正確に表す動きベクトルを抽出し、その動きベクトルを用いて片側補間により画素値を演算することが理想的であると言える。この場合、Ｃ領域とUC領域の画素に、従来の方式により補償された補償割り付けベクトルとは別に、背景の動きを正確に表す動きベクトルを割り付けて補償する必要がある。
しかしながら、背景の動きを正確に表す動きベクトルを抽出できるという確証はなく、また、注目画素の領域が誤判定されることもあるという技術的背景を考慮すると、内挿フレームの生成にあたって、Ｃ領域とUC領域の画素に、背景の動きを表す動きベクトルを割り付けて補償する方式を採用することは得策とは言えない。
そこで、本発明においては、内挿フレームのＣ領域とUC領域の画素について、所定の条件を満たす場合にのみ、補償割り付けベクトルを用いて片側補間により画素値の演算を行うこととする。図１３を参照して、この所定の条件を満たす場合について説明する。
図１３は、オブジェクト２２２が表示される動画像の例を示しており、時刻t-1乃至時刻t+2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２２は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２２の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
同図の例において、画素２５１は、内挿フレームのＵＣ領域の画素であり、かつＵＣ領域の画素であると判定されたものとし、画素２５３は、内挿フレームのＣ領域の画素であり、かつＣ領域の画素であると判定されたものとする。
いま、画素２５１に補償割り付けベクトル２７１が割り付けられているものとする。補償割り付けベクトル２７１は、例えば、画素２５１の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。また、画素２５２に補償割り付けベクトル２７２が割り付けられているものとする。補償割り付けベクトル２７２は、例えば、画素２５２の周辺の画素に割り付けられているそれぞれの動きベクトルの中から選択されたものとされる。
本発明においては、ＵＣ領域の画素２５１の画素値の演算に先立って、補償割り付けベクトル２７１に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２２２ａと時刻t+1のフレームの領域２６１の差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２２２ａと時刻t-1のフレームの領域２２２ｂの差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２６１と時刻t+2のフレームの領域２６２の差分絶対値和が演算されることになる。
そして、補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小である場合、補償割り付けベクトル２７１を用いた片側補間により、画素２５１の画素値が演算される。より具体的には、画素２５１は、ＵＣ領域の画素であると判定されたので、時刻t+1のフレームにおいて、補償割り付けベクトル２７１により画素２５１と対応付けられた画素の画素値が、注目画素である画素２５１の画素値とされる。
補償割り付けベクトル２７１に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、未来のDFDが最小ではない場合は、補償割り付けベクトル２７１を用いた両側補間により、画素２５１の画素値が演算される。
同様に、本発明においては、Ｃ領域の画素２５２の画素値の演算に先立って、補償割り付けベクトル２７２に基づく、現在のDFD、過去のDFD、および未来のDFDを演算することとする。なお、いまの場合の現在のDFDとしては、時刻tのフレームの領域２６３と時刻t+1のフレームの領域２２２ｃの差分絶対値和が演算されることになる。また、過去のDFDとしては、時刻tのフレームの領域２６３と時刻t-1のフレームの領域２６４の差分絶対値和が演算されることになる。さらに、未来のDFDとしては、時刻t+1のフレームの領域２２２ｃと時刻t+2のフレームの領域２２２ｄの差分絶対値和が演算されることになる。
そして、補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小である場合、補償割り付けベクトル２７２を用いた片側補間により、画素２５２の画素値が演算される。より具体的には、画素２５２は、Ｃ領域の画素であると判定されたので、時刻tのフレームにおいて、補償割り付けベクトル２７２により画素２５２と対応付けられた画素の画素値が、注目画素である画素２５２の画素値とされる。
補償割り付けベクトル２７２に基づいて演算された現在のDFD、過去のDFD、および未来のDFDのうち、過去のDFDが最小ではない場合は、補償割り付けベクトル２７２を用いた両側補間により、画素２５２の画素値が演算される。
図１４は、本発明の一実施の形態に係る画像処理装置３００の構成例を示すブロック図である。
この画像処理装置３００は、例えば、時間的に連続する動画像である入力画像から内挿フレームの画像を生成して出力するようになされている。図１４に示されるように、画像処理装置３００は、ベクトル検出部３０１、ベクトル割り付け部３０２、補償割り付け部３２１、背景ベクトル抽出部３２２、評価値演算部３２３、Ｃ／ＵＣ領域判定部３２４、補間方式決定部３２５および内挿フレーム生成部３３１により構成されている。
ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの画像の各画素に付加する。
補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。補償割り付け部３２１は、例えば、動きベクトルを補償すべき注目画素の周辺の画素に割り付けられている動きベクトルのそれぞれについてDFDを演算し、DFDの値が最も小さい動きベクトルを、補償割り付けベクトルとして注目画素に割り付けるようになされている。
背景ベクトル抽出部３２２は、次のようにして背景ベクトルの候補を抽出する。
ここで、背景ベクトルは、注目画素を含む内挿フレームの背景の画像の動きベクトルとされる。また、通常、動画像において、大きく移動するオブジェクトは背景に対して小さく表示されている場合が多いので、当該内挿フレーム全体の中で背景の画像が占める割合が大きいものと推定できる。従って、背景ベクトルは、当該フレームの画像の支配的な動きを表す動きベクトルと言い換えることもできる。
画像の支配的な動きを表す動きベクトルである背景ベクトルは、例えば、注目画素を含む内挿フレームの全ての画素に付加されている動きベクトル（補償割り付けベクトルも含む）のヒストグラムに基づいて得ることができる。例えば、各画素に付加されている動きベクトルを、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出し、そのヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。このようにすることで、当該内挿フレームの各画素に付加されている動きベクトルのうち、多くの画素に付加されているものが背景ベクトルとして抽出される。
従って、背景ベクトル抽出部３２２は、画像の支配的な動きを表す動きベクトルが画像の背景の動きを表す動きベクトルであると仮定して、背景ベクトルを抽出することになる。
なお、ヒストグラムの算出においては、動きベクトルにより特定される始点または終点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。
また、背景ベクトルの抽出においては、ヒストグラムに対して微分や積分を適用した結果が大きい順に抽出してもよい。ヒストグラムに対して微分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、フレーム内の特定の領域の画素の動きベクトルが背景ベクトルとして集中的に抽出されてしまうことが抑止される。また、ヒストグラムに対して積分を適用した結果に基づいて背景ベクトルを抽出するようにすれば、例えば、ヒストグラムの特異点である動きベクトルが背景ベクトルとして抽出されてしまうことが抑止される。
ここでは、１つの内挿フレームの画面全体の支配的な動きとして背景ベクトルが抽出されると説明したが、例えば、内挿フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出し、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
ここでは、評価値算出部３２３が、背景ベクトル、補償割り付けベクトルなどの動きベクトルの評価値としてDFDを算出する場合の例について説明したが、DFDとは異なる評価値が算出されるようにしても構わない。
Ｃ／ＵＣ領域判定部３２４は、評価値算出部３２３による、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFD、並びに補償割り付けベクトルに基づくDFDの４つのDFDの大小を比較することにより、注目画素がＣ領域の画素であるか、ＵＣ領域のであるか、または通常領域の画素であるかを判定する。
補間方式決定部３２５は、図１３を参照して上述したように、Ｃ／ＵＣ領域判定部３２４によりＣ領域またはＵＣ領域の画素と判定された注目画素について、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づく現在のDFD、過去のＤＦＤ、および未来のＤＦＤを算出し、３つのDFDの大小を比較することにより、注目画素の画素値を両側補間により演算するか、片側補間により演算するかを決定する。なお、注目画素の画素値を片側補間により演算すべきと決定される場合には、Ｃ／ＵＣ領域判定部３２４の判定結果に基づいて、時刻tのフレームまたは時刻t+1のフレームのいずれのフレームからの片側補間であるかも合わせて決定される。
内挿フレーム生成部３３１は、補間方式決定部３２５が決定した方式に基づいて、内挿フレームの注目画素の画素値を演算する。これにより、内挿フレームの各画素が生成されて内挿フレームの画像が出力されることになる。
次に、図１５のフローチャートを参照して、本発明の画像処理装置３００による内挿フレーム生成処理について説明する。
ステップＳ１０１において、ベクトル検出部３０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
ステップＳ１０２において、ベクトル割り付け部３０２は、ベクトル検出部３０１により検出された動きベクトルを、内挿フレームの各画素に割り付ける。
ステップＳ１０３において、補償割り付け部３２１は、内挿フレームの画像の画素のうち、ベクトル割り付け部３０２によって動きベクトルが割り付けられなかった画素について、動きベクトルの補償（割り付け）を行う。これにより、例えば、Ｃ領域の画素、ＵＣ領域の画素などに補償割り付けベクトルが割り付けられることになる。
ステップＳ１０４において、背景ベクトル抽出部３２２は、図１６を参照して後述する背景ベクトル抽出処理を実行する。
ここで、図１６のフローチャートを参照して、図１５のステップＳ１０４の背景ベクトル抽出処理の詳細について説明する。
ステップＳ１２１において、背景ベクトル抽出部３２２は、フレームの各画素に付加されている動きベクトルを、例えば、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出する。
ステップＳ１２２において、背景ベクトル抽出部３２２は、ステップＳ１２１の処理で算出されたヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。
このようにして、背景ベクトルが抽出される。
なお、上述したように、ステップＳ１２２の処理では、ヒストグラムに対して微分や積分を適用した結果が大きい順に背景ベクトルを抽出してもよい。
また、例えば、フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
図１５に戻って、ステップＳ１０４の処理の後、ステップＳ１０５において、評価値算出部３２３と、Ｃ／ＵＣ領域判定部３２４は、図１７を参照して後述する領域判定処理を実行する。
ここで、図１７のフローチャートを参照して、図１５のステップＳ１０５の領域判定処理の詳細について説明する。なお、この処理は、内挿フレームの画像の中で、ステップＳ１０３の処理で補償割り付けの対象となった画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
ステップＳ１４１において、評価値算出部３２３は、図９を参照して上述したように、補償割り付け部３２１により割り付けられた補償割り付けベクトルに基づくDFDを算出する。
ステップＳ１４２において、評価値算出部３２３は、図９を参照して上述したように、背景ベクトル抽出部３２２により抽出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを算出する。
ステップＳ１４３において、Ｃ／ＵＣ領域判定部３２４は、図１８を参照して後述する比較判定処理を実行する。ここで、図１８のフローチャートを参照して、図１７のステップＳ１４３の比較判定処理の詳細について説明する。
ステップＳ１６１において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを比較する。
ステップＳ１６２において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て予め設定された閾値より小さいか否かを判定する。
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDが全て閾値より小さいと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。このような場合、図１０を参照して上述したように、その注目画素の領域の判定結果は信頼性が低いと考えられるからである。
ステップＳ１６２において、背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、少なくとも１つのDFDが閾値より小さくないと判定された場合、処理は、ステップＳ１６３に進む。
ステップＳ１６３において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、補償割り付けベクトルに基づくDFDが最小であったか否かを判定する。
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小であったと判定された場合、処理は、ステップＳ１６４に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
ステップＳ１６３において、補償割り付けベクトルに基づくDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６５に進む。
ステップＳ１６５において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく過去のDFDが最小であったか否かを判定する。
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小であったと判定された場合、処理は、ステップＳ１６６に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、Ｃ領域の画素であると判定する。
ステップＳ１６５において、背景ベクトルに基づく過去のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６７に進む。
ステップＳ１６７において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく現在のDFDが最小であったか否かを判定する。
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小であったと判定された場合、処理は、ステップＳ１６８に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、通常領域の画素であると判定する。
ステップＳ１６７において、背景ベクトルに基づく現在のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１６９に進む。
ステップＳ１６９において、Ｃ／ＵＣ領域判定部３２４は、ステップＳ１６１の比較の結果、ステップＳ１４１の処理で算出された補償割り付けベクトルに基づくDFD、並びにステップＳ１４２の処理で算出された背景ベクトルに基づく現在のDFD、過去のDFD、および未来のDFDのうち、背景ベクトルに基づく未来のDFDが最小であったか否かを判定する。
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小であったと判定された場合、処理は、ステップＳ１７０に進み、Ｃ／ＵＣ領域判定部３２４は、注目画素が、ＵＣ領域の画素であると判定する。
ステップＳ１６９において、背景ベクトルに基づく未来のDFDが最小ではなかったと判定された場合、処理は、ステップＳ１７１に進み、エラー処理が実行されることになる。
なお、ステップＳ１６９とステップＳ１７１の処理は、省略して、ステップＳ１６７において、現在のDFDが最小でなかったと判定された場合、処理は、ステップＳ１７０に進み、注目画素の領域は、ＵＣ領域であると判定されるようにしてもよい。
このようにして、注目画素の領域が判定される。なお、ステップＳ１０３の処理で補償割付の対象とならなかった画素については、全て通常領域の画素とされるものとする。これにより、内挿フレームの全ての画素の領域が特定され、以降の処理においては、その特定結果に基づいて注目画素の領域が判定される。
比較判定処理の終了に伴って、図１７の領域判定処理も終了され、処理は、図１５のステップＳ１０６に進むことになる。ステップＳ１０６において、補間方式決定部３２５は、図１９を参照して後述する画素生成方式決定処理を実行する。
ここで、図１９のフローチャートを参照して、図１５のステップＳ１０６の画素生成方式決定処理の詳細について説明する。この処理は、内挿フレームの画像を構成する画素のそれぞれが、注目画素として設定され、個々の注目画素について実行される。
ステップＳ１９１において、補間方式決定部３２５は、注目画素の領域を判定する。この判定は、ステップＳ１４３の処理結果に基づいて行われる。ステップＳ１９１において、注目画素がＣ領域の画素であると判定された場合、処理は、ステップＳ１９２に進む。
ステップＳ１９２において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
ステップＳ１９３において、補間方式決定部３２５は、ステップＳ１９２の処理で演算された３つのDFDのうち、過去のDFDが最小であるか否かを判定し、過去のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９４に進む。
ステップＳ１９４において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
一方、ステップＳ１９１において、注目画素がＵＣ領域の画素であると判定された場合、処理は、ステップＳ１９５に進む。
ステップＳ１９５において、補間方式決定部３２５は、例えば、図１３を参照して上述したように、注目画素の補償割り付けベクトルに基づく現在のDFD、過去のDFD、および未来のDFDを演算する。
ステップＳ１９６において、補間方式決定部３２５は、ステップＳ１９５の処理で演算された３つのDFDのうち、未来のDFDが最小であるか否かを判定し、未来のＤＦＤが最小であると判定された場合、処理は、ステップＳ１９７に進む。
ステップＳ１９７において、補間方式決定部３２５は、注目画素については、時刻ｔ+1のフレームからの片側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
ステップＳ１９１において、注目画素が通常領域の画素であると判定された場合、処理は、ステップＳ１９８に進む。また、ステップＳ１９３において、過去のＤＦＤが最小ではないと判定された場合、および、ステップＳ１９６において、未来のＤＦＤが最小ではないと判定された場合、やはり処理は、ステップＳ１９８に進む。
ステップＳ１９８において、補間方式決定部３２５は、注目画素については、時刻ｔのフレームおよび時刻ｔ+1のフレームからの両側補間により画素値を求めるものとして、注目画素の画素生成方式を決定する。
このようにして、内挿フレームの画像を構成する画素のそれぞれの画素生成方式が決定される。
図１５に戻って、ステップＳ１０６の処理の後、処理は、ステップＳ１０７に進み、内挿フレーム生成部３３１は、注目画素の画素値を演算することにより、内挿フレームの画素を生成する。このとき、図１９のステップＳ１９４、ステップＳ１９７、またはステップＳ１９８の処理で決定された方式に従って画素値が演算されることになる。
このようにして、内挿フレームの画像が生成される。
このようにすることで、例えば、内挿フレームにおいて動きベクトルが通過しない領域である、Ｃ領域またはUC領域の画素についても画像の劣化を抑えた内挿フレームの生成が可能となる。すなわち、内挿フレームの画像のどの領域においても、適切に画素を生成することができる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図２０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
内挿フレームについて説明する図である。 動画像の例を示す図である。 従来の動きベクトルの検出について説明する図である。 動きベクトルが通過する領域を説明する図である。 動きベクトルが通過しない領域を説明する図である。 Ｃ領域とUC領域を説明する図である。 従来の内挿フレーム生成処理を説明するフローチャートである。 Ｃ領域またはＵＣ領域でのDFDの演算について説明する図である。 DFDに基づく領域の判定について説明する図である。 DFDに基づく領域の判定について説明する図である。 内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。 内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。 内挿フレームのＣ領域とUC領域の画素値の演算について説明する図である。 本発明を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 本発明の画像処理装置による内挿フレーム生成処理を説明するフローチャートである。 背景ベクトル抽出処理を説明するフローチャートである。 領域判定処理を説明するフローチャートである。 比較判定処理を説明するフローチャートである。 画素生成方式決定処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
３００ 画像処理装置， ３０１ ベクトル検出部， ３０２ ベクトル割り付け部， ３２１ 補償割り付け部， ３３２ 背景ベクトル抽出部， ３２３ 評価値算出部， ３２４ C/UC領域判定部， ３２５補間方式決定部， ３３１ 内挿フレーム生成部， ７０１ CPU， ７１１ リムーバブルメディア

Claims (9)

  1. 動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
    前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
    前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
    前記内挿フレームの画像の中の注目画素が含まれる領域について、
    前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
    前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
    前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
    を判定する領域判定手段と、
    前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
    前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、
    前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、
    前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、
    前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、
    前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する演算方式決定手段と
    を備える画像処理装置。
  2. 前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段をさらに備え、
    前記領域判定手段は、注目画素について、
    前記背景ベクトルの信頼性を評価するための評価値を複数演算し、
    前記動きベクトル割り付け手段または前記動きベクトル補償手段により前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値を演算し、
    前記演算された評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定する
    請求項１に記載の画像処理装置。
  3. 前記領域判定手段は、
    前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
    前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、
    前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、
    前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、
    前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、
    前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して前記注目画素に割り付けられた動きベクトルのDFDとし、
    前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDを前記評価値として、前記注目画素が含まれる領域を判定する
    請求項２に記載の画像処理装置。
  4. 前記領域判定手段は、
    前記背景ベクトルの前記現在のDFD、前記過去のDFD、および前記未来のDFD、並びに前記注目画素に割り付けられた動きベクトルのDFDのうち、
    前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、
    前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、
    前記現在のDFDが最小である場合、または、前記注目画素に割り付けられた動きベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、通常領域であると判定する
    請求項３に記載の画像処理装置。
  5. 前記演算方式決定手段は、
    前記注目画素に割り付けられた動きベクトルの信頼性を評価するための評価値として、
    前記注目画素に割り付けられた動きベクトルに基づいて、前記第１のフレームの画素、前記第２のフレームの画素、前記第３のフレームの画素、および前記第４のフレームの画素を特定し、前記現在のDFD、前記過去のDFD、および前記未来のDFDを演算する
    請求項３に記載の画像処理装置。
  6. 演算方式決定手段は、
    前記注目画素に割り付けられた動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、
    前記領域判定手段により、前記注目画素が前記C領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記過去のDFDが最小である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
    前記領域判定手段により、前記注目画素が前記ＵC領域の画素であると判定され、かつ前記注目画素に割り付けられた動きベクトルの信頼性を評価するための複数の前記評価値のうち、前記未来のDFDが最小である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素の画素値とするように、前記注目画素の画素値の演算方式を決定し、
    それ以外の場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素の画素値を演算するように、前記注目画素の画素値の演算方式を決定する
    請求項５に記載の画像処理装置。
  7. 動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、
    前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付け、
    前記動きベクトルが割り付けられなかった前記内挿フレームの画素について動きベクトルの補償により動きベクトルを割り付け、
    前記内挿フレームの画像の中の注目画素が含まれる領域について、
    前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
    前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
    前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
    を判定し、
    前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
    前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、
    前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、
    前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、
    前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、
    前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定するステップ
    を含む画像処理方法。
  8. コンピュータを、
    動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
    前記第１のフレームの画像および前記第２のフレームの画像に基づいて、前記内挿フレームの画素に動きベクトルを割り付ける動きベクトル割り付け手段と、
    前記動きベクトル割り付け手段により、動きベクトルが割り付けられなかった前記内挿フレームの画素の動きベクトルを補償する動きベクトル補償手段と、
    前記内挿フレームの画像の中の注目画素が含まれる領域について、
    前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ領域であるか、
    前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ領域であるか、または、
    前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
    を判定する領域判定手段と、
    前記判定手段により、前記注目画素が前記Ｃ領域の画素であるか、または前記ＵＣ領域の画素であると判定された場合、
    前記注目画素に割り付けられた動きベクトルに基づいて、内挿フレームの中の注目画素に対応する第１のフレームの画素、第２のフレームの画素、第１のフレームより時間的に前の第３のフレームの画素、および、第２のフレームより時間的に後の第４のフレームの画素を特定し、
    前記特定された第１のフレームの画素と第２のフレームの画素との間でDFDを演算して現在のDFDとし、
    前記特定された第１のフレームの画素と第３のフレームの画素との間でDFDを演算して過去のDFDとし、
    前記特定された第２のフレームの画素と第４のフレームの画素との間でDFDを演算して未来のDFDとし、
    前記現在のDFD、過去のDFD、および未来のDFDの大小を比較することで注目画素の画素値の演算方式を決定する演算方式決定手段とを備える画像処理装置として機能させる
    プログラム。
  9. 請求項８に記載のプログラムが記録されている記録媒体。
JP2008039539A 2008-02-21 2008-02-21 画像処理装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP5088164B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008039539A JP5088164B2 (ja) 2008-02-21 2008-02-21 画像処理装置および方法、プログラム、並びに記録媒体
US12/378,733 US8279930B2 (en) 2008-02-21 2009-02-19 Image processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008039539A JP5088164B2 (ja) 2008-02-21 2008-02-21 画像処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2009200760A JP2009200760A (ja) 2009-09-03
JP5088164B2 true JP5088164B2 (ja) 2012-12-05

Family

ID=40998277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008039539A Expired - Fee Related JP5088164B2 (ja) 2008-02-21 2008-02-21 画像処理装置および方法、プログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US8279930B2 (ja)
JP (1) JP5088164B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
JP2011211370A (ja) * 2010-03-29 2011-10-20 Renesas Electronics Corp 画像処理装置および画像処理方法
US8559763B2 (en) * 2010-12-14 2013-10-15 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
KR101908388B1 (ko) * 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US9563960B2 (en) * 2014-04-09 2017-02-07 Mediatek Inc Method for detecting foreground
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
KR102404389B1 (ko) * 2017-11-17 2022-06-02 엘지디스플레이 주식회사 디스플레이장치 및 그 제어 방법
KR102326163B1 (ko) * 2017-11-21 2021-11-16 엘지디스플레이 주식회사 디스플레이장치 및 그 제어 방법
KR102508757B1 (ko) * 2018-08-03 2023-03-09 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889B1 (en) * 1993-08-06 2001-01-17 Lg Electronics Inc. Device for converting the frame rate of an image
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
KR101157053B1 (ko) * 2004-04-09 2012-06-21 소니 주식회사 화상 처리 장치 및 방법, 기록 매체, 및 프로그램
JP4650683B2 (ja) 2005-09-09 2011-03-16 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP4303748B2 (ja) * 2006-02-28 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置

Also Published As

Publication number Publication date
JP2009200760A (ja) 2009-09-03
US20090213937A1 (en) 2009-08-27
US8279930B2 (en) 2012-10-02

Similar Documents

Publication Publication Date Title
JP5088164B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4740657B2 (ja) カラーセグメンテーションに基づくステレオ３次元再構成システムおよびプロセス
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
US7936950B2 (en) Apparatus for creating interpolation frame
US8204124B2 (en) Image processing apparatus, method thereof, and program
JP2005210697A (ja) 動き補償フレームレート変換
JP5547464B2 (ja) フィルムモードまたはカメラモードの検出方法
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
WO2012108088A1 (ja) 相違領域検出システム及び相違領域検出方法
KR20160138239A (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
JP4213035B2 (ja) オクルージョン領域を検出するオクルージョン検出器および方法
JP2005528708A (ja) 現動きベクトルを推定するユニット及び方法
JP2005528709A (ja) 現動きベクトルを推定するユニット及び方法
JP2009533887A (ja) 動きベクトル場修正装置及び方法
JP4419062B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2019079114A (ja) 画像処理装置、画像処理方法およびプログラム
US20090310679A1 (en) Video processing apparatus and methods
JP2010114596A (ja) 動きベクトル検出装置、その処理方法およびプログラム
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
JP4622264B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5059855B2 (ja) 大域的動き推定方法
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2005033788A (ja) フレームレートを変換する時の動作ベクトル検出装置及び方法
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
JP2005250561A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees