JP5192087B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5192087B2 JP5192087B2 JP2011544172A JP2011544172A JP5192087B2 JP 5192087 B2 JP5192087 B2 JP 5192087B2 JP 2011544172 A JP2011544172 A JP 2011544172A JP 2011544172 A JP2011544172 A JP 2011544172A JP 5192087 B2 JP5192087 B2 JP 5192087B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion compensation
- motion vector
- compensation strength
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 369
- 239000013598 vector Substances 0.000 claims abstract description 156
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000013459 approach Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 abstract description 21
- 230000009467 reduction Effects 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 20
- 230000007423 decrease Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Television Systems (AREA)
Description
本発明は、動画像のフレームレートを変換するフレームレート変換を行う画像処理装置及び画像処理方法に関するものである。
従来、120Hzの動画像を表示する表示装置では、60Hzの動画像をそのまま表示することはできないため、60Hzの動画像を120Hzの動画像に変換するフレームレート変換処理を行う。このフレームレート変換処理は、60Hzの動画像の2フレームの画像から、当該2フレームの中間の補間画像を作成する処理である。具体的には、このフレームレート変換処理は、60Hzの動画像の2枚のフレームから、任意のブロックサイズで動きベクトルを算出し、この動きベクトルを用いて当該2枚のフレームの間の中間フレームを作成するものである。
しかしながら、画面上で複数の物体がそれぞれ別の方向に移動している場合には、生成した補間画像が破たんする場合がある。
この補間画像の破綻は、物体の境界付近での動きベクトルの検出エラー、又は高速で移動する物体の動きベクトルの検出エラーなど、いくつかの動きベクトルの検出エラーが表面化したものである。このため、この補間画像のエラーを抑制するための方法として、エラーが生ずる場合には、フレームレート変換処理において論理的に決定される正規の補間画像ではなく、原画像に近い補間画像を作成する方法が提案されている(例えば、特許文献1参照)。
しかしながら、従来の補間画像のエラーを抑制する方法では、画面全体の補間位相を一括して正規の位相から変化させるものであるために、画面の位置によっては不具合が生じてしまうという問題がある。
つまり、動きベクトルを用いた動き補償処理で、補間位相の制御を行う場合に、画面一律に補間位相を制御すると、画面の位置により補間位相の最適値が異なる。このため、補間画像のエラー低減をしたために滑らかさが失われて、ジャダー(動きの不自然さ)感が増加する箇所が発生する。
そこで、本発明は、このような問題に鑑みてなされたものであり、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置及び画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部とを備える。
これによれば、所定の領域ごとに、動きベクトル量に基づいて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、さらに、前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する。
これによれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する。
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
これらによれば、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する。
また、前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成することにしてもよい。
これらによれば、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する。
これによれば、連続する動き補償強度が連続的に変化するように動き補償強度を決定する。このため、滑らかな補間画像を生成することができる。
また、好ましくは、前記補償強度決定部は、さらに、前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
これによれば、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。
本発明に係る画像処理装置によれば、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、以下の実施の形態は、ハードウェアやソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
(実施の形態1)
以下に、本発明の一実施の形態について、図1を用いて説明する。
以下に、本発明の一実施の形態について、図1を用いて説明する。
図1は、本実施の形態1における画像処理装置10の機能構成を示すブロック図である。
画像処理装置10は、入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する装置である。同図に示すように、画像処理装置10は、動きベクトル検出部11、ヒストグラム作成部12、補償強度決定部13、及び補間画像生成部14を備えている。
動きベクトル検出部11は、原画像を複数のブロックに分割して、当該ブロックごとに、入力される動画像に含まれる時間的に前後する2枚の原画像間での動きベクトルを検出する。このブロックとは、例えばマクロブロックである。
そして、動きベクトル検出部11は、当該動きベクトルの動きベクトル量を検出する。ここで、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値である。つまり、動きベクトルの大きさが異なると、動きベクトル量の値も異なり、また、動きベクトルの向きが異なると、動きベクトル量の値も異なる。
ヒストグラム作成部12は、複数のブロックからなる所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量のヒストグラムを作成する。
補償強度決定部13は、所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量に基づいて、入力された原画像と補間画像との一致度合いを示す動き補償強度を決定する。具体的には、補償強度決定部13は、ヒストグラム作成部12が作成したヒストグラムを用いて、当該動き補償強度を決定する。
補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する。具体的には、補間画像生成部14は、所定の領域ごとに、動きベクトル検出部11が検出した2枚の原画像間での動きベクトルと、補償強度決定部13が決定した動き補償強度で示される原画像と補間画像との一致度合いとを用いて、2枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、補間画像を生成する。
次に、画像処理装置10が補間画像を生成する処理について、説明する。
図2は、本実施の形態1における画像処理装置10の動作の一例を示すフローチャートである。
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理(S104〜S110)が繰り返し行われる(ループ1:S102〜S112)。
まず、動きベクトル検出部11は、ブロックごとに動きベクトルを検出し、当該動きベクトルの動きベクトル量を検出する(S104)。
ここで、動きベクトルとは、画像の動き状態を表すものであり、この動きベクトルを検出する方法としては、ブロックマッチング法がある。
ブロックマッチング法とは、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域(以下、候補ブロックと呼ぶ)との相関度をそれぞれ評価する。そして、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとする。
なお、上記の探索範囲は、注目ブロックが含まれるフレームに対して、前のフレーム及び後のフレームのうちの1つ以上のフレームにわたる所望の範囲に設定されるものであればよい。
また、相関値は、注目ブロックと候補ブロックとの間で、それぞれに対応する画素同士の差分絶対値の総和、又はそれぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度が大きい程、示す値が小さくなるものであればよい。
そして、ヒストグラム作成部12は、所定の領域ごとに、動きベクトル検出部11が検出した複数の動きベクトル量のヒストグラムを作成する(S106)。
次に、補償強度決定部13は、所定の領域ごとに、ヒストグラム作成部12が作成したヒストグラムを用いて、動き補償強度を決定する(S108)。
そして、補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する(S110)。
以上により、画像処理装置10が補間画像を生成する処理は、終了する。
次に、所定の領域ごとに、ヒストグラム作成部12がヒストグラムを作成し、補償強度決定部13が動き補償強度を決定し、補間画像生成部14が補間画像を生成する処理(図2のS106〜S110)について、詳細に説明する。
まず、画像処理装置10が補間画像を生成する処理について説明する。
図3は、本実施の形態1における画像処理装置10が補間画像を生成する処理を模式的に示す図である。具体的には、同図は、入力フレームnの画像データあるいは入力フレームn+1の画像データから中間フレームの画像データである補間画像を生成する投影処理を模式的に示した図である。
同図では、入力フレームnと入力フレームn+1のフレームの位相差を1.0とした場合の位相関係を示しており、動きベクトル検出部11が検出した動きベクトルのフレーム間距離が1.0である場合に相当する。
そして、入力フレームnの画像データからの投影処理により補間画像n+Kの画像データを生成するには、動きベクトルに補間位相係数Kmを乗じてゲイン処理を行う。
また、入力フレームn+1の画像データからの投影処理によって補間画像n+Kを生成する場合には、先ほどの入力フレームnから作成する場合とは時間方向が逆になるので、動きベクトルに−(1−Km)を乗じてゲイン処理を行う。なお、入力フレームnと入力フレームn+1のちょうど中間の位相すなわちKm=0.5の場合を正規位相と呼び、以下の説明でも用いる。
正規位相のKm=0.5に対して、たとえばKm=0.4又は0.3での補間画像n+Kを作成した場合の方が、生成される補間画像n+Kの画像データは入力フレームnの成分が強くなる。入力フレームnは補間画像n+Kの画像データの生成前の原画像であるという理由により、このKm=0.4又は0.3での補間位相を、原画寄りの位相と呼び、以下の説明でも用いる。
なお、Km=0.6又は0.7の場合には、生成される補間画像n+Kの画像データは
入力フレームn+1の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
入力フレームn+1の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
補間画像n+Kの画像の壊れに対して、Km=0.5での正規位相よりも原画寄りの補間位相を設定することで、より原画の成分が強くなるため、補間画像n+Kの画像のエラーの低減を行う手段としては有効である。
しかしながら、画面全体で一律に補間位相の補正値を決定すると、不具合が生ずる。
この解決手段として、所定の領域ごとに、ヒストグラム作成部12がヒストグラムを作成し、補償強度決定部13が、ヒストグラム作成部12が作成したヒストグラムの結果に応じて補間位相を変化させて動き補償強度を決定し、補間画像生成部14が補間画像を生成することを、以下説明する。
ヒストグラム作成部12が作成したヒストグラムにより、動き補償強度を決定するわけであるが、本実施の形態1では、この決定の方法として、動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法に関して、説明する。
動画像の動きベクトル量の分布での場合分けを考えると、たとえば横方向あるいは縦方向といった単一の方向に画面全体がスクロールしている場合では、その時の動きベクトル量の分布は画面全体で同一の方向のベクトルを有しているため、すべて同じ値となり、その値に分布が集中した結果が得られる。
これに対して、たとえば背景とは反対方向に物体が移動している場合には、背景の動きを示す値と物体の動きを示す値とに分布が現れることになる。この場合には、分布は二つの範囲に集中することになり、ある値は背景の動きを表し、もう一つの値は物体の動きを表すことになる。
図4A及び図4Bは、本実施の形態1における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
具体的には、図4Aは、単一の方向に動いている場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。また、図4Bは、異なる方向に物体が動いている、あるいは同じ方向でも物体の動く速度が異なる場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の広がりを示している。
そして、これらの図に示す動きベクトル量の分布の広がり幅DWの大小が、補間画像の作成時のエラー出現の目安となる。
つまり、動きベクトルの方向が異なる領域の境界では、動きベクトル検出部11では動きベクトルを完全には検出できず、その結果、実際の動き量とは異なる方向を動きベクトルと検出することで、エラーの一因となっている。
よって、この境界を挟んで隣接する動きベクトルの差が小さい場合に比べて、その差が大きい場合にはエラーの発生確率がさらに高くなることは明らかである。そして、動きベクトル量の分布の幅DWが大きい場合には、この境界での動きベクトルの差が大きくなる可能性がある。
このように、異なる動きベクトルが隣接して存在する場合に、その差に応じて補間位相を制御することは有効であり、その差が大きいほど補間位相を原画に近い値に設定することでエラー低減を図ることができる。
すなわち、図4Aのようなヒストグラムの場合には、補償強度決定部13は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
また、図4Bのように分布の広いヒストグラムの場合には、補償強度決定部13は、補間位相が原画寄りになるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。このようにすることで、エラーの発生確率を低くすることが可能になる。
図5は、本実施の形態1におけるヒストグラムに示された動きベクトル量の分布の幅DWと動き補償強度との関係を示す図である。
同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の広がり幅DWが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、分布の広がり幅DWが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、分布の広がり幅DWが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、分布の広がり幅DWが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
また、この補間位相を制御する方法は、テロップが出ている領域に対しても有効である。たとえば、テロップが画面に対して水平方向に出ている場合に、全体を正規の位相で補間画像を作成してしまうと、テロップの領域は正規位相での補間画像作成により滑らかな動きとすることができるが、テロップでない領域が前述のように、動きが異なる物体がすれ違う画像であった場合には、当然エラーが発生することになる。
このとき、領域ごとに補間位相を変えることでこのエラー発生が低減できる。つまり、テロップの領域でない箇所は、画像の特徴に応じて補間位相を決定するようにし、テロップと判断した領域は正規位相で画像を作成する。これにより、画面全体で補間位相を処理していた場合にはスクロールの文字がゆがんだりして見づらくなる場合が生じていた不具合を、減少させることが可能となる。
このように、画面単位すなわちフレーム単位で補間位相を変える場合と比較して、領域ごとに補間位相を制御することで画面の各領域に応じた画像データを作成することができ、画質が向上することは明らかである。
また、スクロールに関しては既に説明しているが、画面が部分的にスクロールしている画像に対しても同様に画質が向上することは言うまでもない。
繰り返しの説明になるが、全体がスクロールしている画像では問題はないが、たとえば、画面の上半分はスクロールをしているが下半分は異なる動きをしている場合を考える。このとき、上半分のスクロールをしている領域は、正規の位相を設定することで滑らかな動きとなるが、下半分に関してはスクロールとは異なり、複数の方向に物体が動いている場合であって、上半分と同じく正規の位相を設定した場合には、エラーが発生する可能性が高くなる。
したがって、この場合は、前述のように動きベクトルから作成したヒストグラムの特徴に応じて、補間位相を設定すればよい。
このように、画面全体に対して補間位相を決定するのではなく、各々の領域に対して補間位相を決定する手法は、画面が部分的にスクロールしている画像に対しても有効である。
以上までは、ヒストグラムを作成する所定の領域に関して特に規定することなく説明を行ったが、特に、ライン単位ヒストグラムを作成することが、とりわけ効果がある。
具体的には、ヒストグラム作成部12は、画像の水平方向であるライン方向に連続する複数のブロックからなるライン領域を所定の領域として、ライン領域ごとにヒストグラムを作成する。そして、補償強度決定部13は、ライン領域ごとに動き補償強度を決定し、補間画像生成部14は、ライン領域ごとに補間画像を生成する。
このように、ライン単位でこのヒストグラムを作成し、ライン毎に補間位相を設定するようにすることで、容易に処理回路を構成することができる。例えば、水平方向に流れるテロップに対しては、テロップが流れるラインを的確に検出することができる。このように、画面全体でのヒストグラムを作成した場合と比較し、個々の動きに適応した補間位相の制御ができ、違和感のない効果的な補間位相の制御ができる。
また、水平方向のライン単位ではなく、垂直方向のカラム単位で実施することも、動画像によっては有効である。たとえば、垂直方向にテロップが流れている場合などである。
具体的には、ヒストグラム作成部12は、画像の垂直方向であるカラム方向に連続する複数のブロックからなるカラム領域を所定の領域として、カラム領域ごとにヒストグラムを作成する。そして、補償強度決定部13は、カラム領域ごとに動き補償強度を決定し、補間画像生成部14は、カラム領域ごとに補間画像を生成することにしてもよい。
テロップはその動き量が一定であることが多いため、水平方向あるいは垂直方向に流れているテロップについては、ライン方向あるいはカラム方向のヒストグラムを作成すれば、テロップ部とテロップでない部分との判別が容易である。このため、テロップと判定したラインあるいはカラムにおいては正規の位相を設定して画像を作成することにより、テロップ部の滑らかな動きを得ることができる。
このように、ライン単位あるいはカラム単位でのヒストグラムを作成し、これを基に補間位相を制御して動き補償強度を決定することで、動画像の特徴に応じた補間画像の作成が可能になる。
なお、ライン方向にヒストグラムを作成して、その分布により補間位相を制御する場合、隣接する、すなわち、上もしくは下のラインとの補間位相が大きく異なる場合には、段差が生ずるような見え方となってしまう可能性が高い。
このため、隣接するラインでは補間位相が大きく異ならないように、フィルタをかけて、ライン方向の補間位相の変化がなだらかになるように設定することが有効である。これは、カラム方向でも同様である。
図6は、本実施の形態1における補償強度決定部13が行うフィルタ処理の一例を説明する図である。
補償強度決定部13は、隣接する所定の領域間での動き補償強度が連続的に変化するように、動き補償強度を決定する。
具体的には、同図に示すように、中心の領域での動き補償強度が例えば「0.4」で、その領域に隣接する上下左右の領域での動き補償強度が「0」の場合、補償強度決定部13は、フィルタ処理を行い、中心の領域での動き補償強度を「0.2」に変更し、また、その領域に隣接する上下左右の領域での動き補償強度を「0.1」に変更する。
このように、補償強度決定部13は、動き補償強度が連続的に変化するように、決定した動き補償強度を変更する。
また、以上の説明は、60Hzの動画像を変換して120Hzの動画像を表示する表示装置に関して述べてきたが、たとえば、24Hzの動画像を変換して120Hzの動画像を表示する表示装置に関しても同様である。24Hzの動画像を変換して120Hzの動画像を表示する表示装置で表示させるには、2フレームから新たに4枚の補間画像を生成する。
図7は、本実施の形態1における24Hzから120Hzに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
同図に示すように、補間画像の正規位相は、補間位相の位置で言うと、補間位相係数Km=0.2,0.4,0.6,0.8の4つの位置に相当する。つまり、入力フレームnと入力フレームn+1との間に、補間画像1〜4の4枚のフレームが生成される。
ここで、正規位相がKm=0.2の補間画像1の場合には、Kmの値が小さくなるほど、入力フレームnの原画像と補間画像1との一致度合いが大きくなるため、補償強度決定部13は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Kmの値が小さくなるように、動き補償強度を決定する。
また、正規位相がKm=0.8の補間画像4の場合には、Kmの値が大きくなるほど、入力フレームn+1の原画像と補間画像4との一致度合いが大きくなるため、補償強度決定部13は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Kmの値が大きくなるように、動き補償強度を決定する。
なお、補償強度決定部13が動き補償強度を決定する方法は、上記の方法に限定されず、例えば、補間画像1を入力フレームn+1に近づけるように、動き補償強度を決定することにしてもよい。
なお、2フレームから1枚の補間画像を作成する60Hzの動画像の場合に対して、2フレームから4枚の補間画像を作成する24Hzの動画像は、検出したベクトルの信頼性が低い場合には、エラーによる画像の壊れ、破たんが大きくなってしまう。
このため、60Hzの動画像に対し、24Hzであるシネマの動画像は原画に近い位相を設定する傾向を強くしておくことで、画像の破たんを抑制することができる。
以上により、本実施の形態1における画像処理装置10によれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
また、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。
また、連続する動き補償強度が連続的に変化するように動き補償強度を決定するため、滑らかな補間画像を生成することができる。
(実施の形態2)
上記実施の形態1では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態2では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
上記実施の形態1では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態2では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
動画像の場合では、画面全体がスクロールしている場合では前述のように動きベクトルが同一の値を有するために特定の値に集中することで、分布の山の数は一つになる。つまりひと山になるわけである。
これに対し、背景とは反対方向に物体が移動している場合には、背景の動きを示す動きベクトル量と、物体の動きを示す動きベクトル量との2つがピークとして出現するヒストグラムとなる。
図8A及び図8Bは、本実施の形態2における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
具体的には、図8Aは、山が一つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図8Bは、山が二つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の山の数と山の間隔とを示している。
ここで、背景と物体の動きの差に関して述べると、動きの方向が逆の場合はもちろん、同一の方向でも動き量に差がある場合には、分布の山が二つ以上できる。また、移動方向の差が大きい場合には、分布のピークの山の差つまり山の間隔が大きくなる。図8Bに示された間隔Lは、この山の間隔を表している。
なお、山の間隔とは、隣り合う山のピークの位置同士での動きベクトル量の差であり、具体的には、一方の山における動きベクトル量の度数が最大のときの動きベクトル量と、他方の山における動きベクトル量の度数が最大のときの動きベクトル量との差である。
分布のピークがふた山の場合にはこの山の間隔もエラーの発生に関係があり、間隔が大きい場合には、エラーの発生確率も高くなるため、この間隔Lを基準に動き補償強度を決定すればよい。すなわち、間隔Lが大きくなるほど原画寄りの補間位相になるように動き補償強度を決定する。
このように、ヒストグラムの動きベクトル量の分布の山の数に着目する場合、生成されたヒストグラムの結果により、分布の種類には、分布の山が1つである場合、分布の山が二つである場合、分布の山が三つ以上の場合等に分類することができる。また、さらには分布の山が二つの場合において、その山のピークの位置の差が大きい場合と小さい場合等に分類することができる。
具体的には、図8Aに示したように、ヒストグラムの分布によりまず、山の数が一つの場合には画面は同一方向にスクロールしていると判断する。そして、同一方向にスクロールしている場合には、物体と背景がすれ違う等の場面も存在せず、エラーが発生している箇所はないと考えられる。このため、補償強度決定部13は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
また、図8Bに示したように、山の数が2つの場合には背景と物体とは異なる方向に動くと考えられるので、たとえば背景と物体がすれ違う箇所があると考えられる。このため、エラーが発生している可能性があるため、これを抑制するために、補償強度決定部13は、補間位相が原画に近い位相になるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
これにより、画面の中でスクロールをしている箇所と、物体と背景とがすれ違う箇所とが混在している場合でも、スクロールをしている箇所では補間位相を正規の位相に設定し、物体と背景とがすれ違う箇所に対しては、補間位相を原画に近い位相に設定する。これにより、スクロールしている箇所の滑らかさは失うことなく、補間画像のエラーの低減を図ることができる。また、物体と背景とがすれ違う部分のエラーを抑制しても、スクロールをしている部分の滑らかさ、スムースさを失うことがない。
従来、画面全体での補間位相制御では、滑らかさを優先して正規の位相を設定した場合には、エラーで破たんする箇所が発生する場合があり、またエラー低減を優先させて補間位相を原画の近くの位相に設定した場合にはスクロールしている部分の滑らかさが失われる場合があった。しかし、領域ごとに画面の特徴に応じて補間位相を制御することで、画面全体で補間位相を制御する場合には不可能であったエラーの低減と滑らかさの確保ができる。
つまり、領域ごとに補間位相の設定値である動き補償強度を変えることにより、エラーの発生を抑制したい領域と、滑らかさを確保したい領域とを、画面の中で混在させることが可能になる。
次に、動きの方向がさらに三つ以上といった場合には、以下のようにすればよい。
動きの集まりを示している山が三つ以上に増えることになるため、動きを特定することができず、判断が困難になる。このときは、滑らかさとエラーの低減とのうち優先させる項目に応じて、補間位相を決定すればよい。すなわち、滑らかさを優先するのであれば、位相は正規の位相に近づける値に設定し、エラー低減を優先するのであれば、原画に近い位相に設定すればよい。
以下に、補償強度決定部13が動き補償強度を決定する処理について、具体的に説明する。
図9は、本実施の形態2におけるヒストグラムに示された動きベクトル量の分布の山の間隔Lと動き補償強度との関係を示す図である。
分布の山の間隔Lが小さければ、分布の山の数が1つである可能性が高く、分布の山の間隔Lが大きければ、分布の山の数が2つ以上である可能性が高い。そして、分布の山の数が1つの場合には、補間画像を原画像に近づける必要はない。また、分布の山の数が2つの場合には、分布の山の間隔Lが大きいほど、エラーの発生確率が高くなるため、補間画像を原画像に近づける必要がある。
このため、同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の山の間隔Lが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、分布の山の間隔Lが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、分布の山の間隔Lが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、分布の山の間隔Lが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
このようにして、本実施の形態2における画像処理装置10によれば、ヒストグラムの分布の山の数及び山の間隔に応じて、簡単に、動き補償強度を決定することができるため、エラー発生が低減され、かつ、滑らかさが確保された高画質な補間画像を作成することができる。
(実施の形態3)
上記実施の形態1及び2では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態3では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
上記実施の形態1及び2では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態3では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
図10A及び図10Bは、本実施の形態3における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
具体的には、図10Aは、最大値と最小値との差が小さい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図10Bは、最大値と最小値との差が大きい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
これらの図に示すように、ヒストグラム作成部12は、動きベクトル量のヒストグラムを作成する。
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の最大値と最小値との差Mを示している。
図10Aに示した分布のように、動きベクトル量の最大値と最小値の差Mが小さいということは、動きベクトル量が特定の値に集中しているということである。つまり、この場合の領域の動きとしては、スクロール等の単一の動きであると判断すれば良く、この場合はエラー発生の可能性が低いと考えられる。
このため、補償強度決定部13は、補間位相が正規位相に近い値となるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。これにより、滑らかさを確保することができる。
これに対し、図10Bに示したように、動きベクトル量の最大値と最小値の差Mが大きい場合には、動きベクトル量が特定の値に集中しておらず、少なくとも異なる二つの値がある、言い換えれば動きの異なる物体が存在しているということである。
したがって、エラーの発生が生じている可能性があり、この場合にはエラーの低減のために、補償強度決定部13は、補間位相が原画の近くの位相になるように動き補償強度を決定し、補間画像生成部14が当該動き補償強度に応じた補間画像を生成する。
図11は、本実施の形態3におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Mと動き補償強度との関係を示す図である。
同図に示すように、補償強度決定部13は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の最大値と最小値との差が大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
具体的には、補償強度決定部13は、最大値と最小値との差Mが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図3に示された補間位相係数Km(Kmは0.5以下の数値)である場合には、Kmの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部13は、最大値と最小値との差Mが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
そして、補間画像生成部14は、動きベクトルに動き補償強度(補間位相係数Km)を乗じてゲイン処理を行うことで、補間画像を生成する。
なお、動き補償強度が、例えば、補間位相係数Km(Kmは0.5以上の数値)の場合には、Kmの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部13は、最大値と最小値との差Mが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
このように、動きベクトル量の最大値と最小値との差が大きくなるほどエラー発生の可能性が高くなるため、その差が大きくなるに応じて補間位相を原画により近い位相に設定することで、エラー発生の頻度抑制が可能である。
以上により、本実施の形態3における画像処理装置10によれば、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
(実施の形態4)
上記実施の形態1〜3では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態4では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
上記実施の形態1〜3では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態4では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
これにより、単純なスクロールやテロップの箇所は、正規位相に近い動き補償強度を設定することで、滑らかなスクロールやテロップが保たれ、エラーが従来発生していた箇所に関しては、補間位相を原画像に近い所に設定することによって、エラーの低減を図ることができる。
図12は、本実施の形態4における画像処理装置10の動作の一例を示すフローチャートである。
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理(S204〜S214)が繰り返し行われる(ループ2:S202〜S216)。
まず、動きベクトル検出部11は、ブロックごとに動きベクトル量を検出し(S204)、ヒストグラム作成部12は、所定の領域ごとに、動きベクトル量のヒストグラムを作成し(S206)、補償強度決定部13は、動き補償強度を決定する(S208)。なお、これらの処理は、図2で説明した処理(S104〜S108)と同様であるため、詳細な説明については省略する。
次に、補償強度決定部13は、さらに、スクロール又はテロップの度合いを取得する(S210)。このスクロール又はテロップの度合いは、例えば、動画像が画面全体でスクロールしている可能性を示す全体スクロール度合い、所定の領域ごとに動画像がスクロールしている可能性を示す領域スクロール度合い、又は、所定の領域ごとに動画像にテロップが動いて表示されている可能性を示すテロップ度合いである。
ここで、動画像が画面全体でスクロールしている可能性が高いほど、全体スクロール度合いは大きな値となり、所定の領域で動画像がスクロールしている可能性が高いほど、領域スクロール度合いは大きな値となり、また、所定の領域で動画像にテロップが動いて表示されている可能性が高いほど、全体スクロール度合いは大きな値となる。
なお、補償強度決定部13は、スクロール又はテロップの度合いをどのように取得してもよいが、ここでは、外部の処理部から取得する。
そして、補償強度決定部13は、取得したスクロール又はテロップの度合いが大きいほど、ヒストグラムを用いて決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する(S212)。
図13A及び図13Bは、本実施の形態4における補償強度決定部13が動き補償強度を新たに決定する処理を説明する図である。
図13Aに示すように、スクロール又はテロップの度合いが小さい「小」の場合は、補償強度決定部13は、ヒストグラムを用いて決定される補間位相を、動き補償強度として決定する。また、スクロール又はテロップの度合いが大きい「大」の場合は、補償強度決定部13は、正規位相を動き補償強度として決定する。
また、スクロール又はテロップの度合いが「大」と「小」の間の「中」場合は、補償強度決定部13は、ヒストグラムを用いて決定される補間位相と正規位相との中間の位相を、動き補償強度として決定する。
なお、スクロール又はテロップの度合いは、大中小の3段階に限られず、4以上の多段階で動き補償強度を決定してもよい。
図13Bは、スクロール又はテロップの度合いが多段階の場合の、補償強度決定部13が動き補償強度を新たに決定する処理を説明する図である。
同図のグラフAに示すように、補償強度決定部13は、スクロール又はテロップの度合いが大きくなるほど、ヒストグラムを用いて決定される補間位相から正規位相に近付くように、動き補償強度を決定する。
また、同図のグラフBに示すように、スクロール又はテロップの度合いが「大」の場合でも、動き補償強度を正規位相の値に決定せずに、動き補償強度を正規位相の値よりも小さい値に決定することにしてもよい。
以上のように、補償強度決定部13は、所定の領域ごとに、領域スクロール度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
また、補償強度決定部13は、所定の領域ごとに、テロップ度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
また、動画像が画面全体でスクロールしている場合には、補間画像全体を原画像に近づけるように、補間画像内での全ての動き補償強度を変更する。
つまり、補償強度決定部13は、全体スクロール度合いが大きいほど、ヒストグラムを用いて決定した補間画像内での全ての動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
図12に戻り、次に、補間画像生成部14は、所定の領域ごとに、補償強度決定部13が決定した動き補償強度に応じた補間画像を生成する(S214)。
以上により、本実施の形態4における画像処理装置10が補間画像を生成する処理は、終了する。
なお、本実施の形態4では、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い、又はテロップ度合いを取得して、動き補償強度を決定することとした。しかし、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い、及びテロップ度合いのうちの2つ又は全部を取得して、取得した度合いの情報に応じて、動き補償強度を決定することにしてもよい。
例えば、補償強度決定部13は、領域スクロール度合い及びテロップ度合いを取得した場合、領域スクロール度合いに応じた動き補償強度を決定し、さらに、テロップ度合いに応じて、決定した動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
また、補償強度決定部13は、全体スクロール度合い、領域スクロール度合い及びテロップ度合いを取得した場合、全体スクロール度合いに応じた動き補償強度を決定し、さらに、領域スクロール度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定し、さらに、テロップ度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。
つまり、当原画像に近い補間画像を作成する必要のない領域においては、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
以上説明したように、本実施の形態1〜4における画像処理装置10によれば、補間位相を画面の特徴に応じて適応的に制御することで、エラー低減と滑らかさ、スムースさの両立が実現できるという格別の効果を有するものである。画面の特徴に応じた補間画像の画像データの生成が可能となり、ディスプレイの表現力を大幅に高めることができる。
なお、本発明は、このような画像処理装置10として実現できるだけでなく、画像処理装置10に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像処理装置10の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような画像処理装置10を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。具体的には、図1又は図12に示された全ての構成要素を備える集積回路として実現することができる。
また、集積回路化は個別に1チップ化されてもよいし、一部又はすべてを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
以上、本発明に係る画像処理装置10について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、上記実施の形態では、動画像はフレーム単位で構成されていることとした。しかし、動画像はフィールド単位で構成されていることにしてもよい。
また、上記実施の形態では、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値であることとした。しかし、動きベクトル量は、動きベクトルの大きさのみを示す値であってもよいし、動きベクトルの方向のみを示す値であってもよい。この場合でも、動きベクトル量のヒストグラムを作成することで、上記実施の形態と同じ効果が得られる。
本発明に係る画像処理装置は、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる補間画像を作成する画像処理装置として有用である。
10 画像処理装置
11 動きベクトル検出部
12 ヒストグラム作成部
13 補償強度決定部
14 補間画像生成部
11 動きベクトル検出部
12 ヒストグラム作成部
13 補償強度決定部
14 補間画像生成部
Claims (15)
- 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える画像処理装置。 - さらに、
前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、
前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する
請求項1に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項2に記載の画像処理装置。 - 前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する
請求項2〜5のいずれか1項に記載の画像処理装置。 - 前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成する
請求項2〜5のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する
請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、
前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項2〜8のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、
前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項1〜9のいずれか1項に記載の画像処理装置。 - 前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、
前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項1〜10のいずれか1項に記載の画像処理装置。 - 前記動きベクトル検出部は、前記ブロックごとに、前記2枚の原画像間での動きベクトルを検出し、
前記補間画像生成部は、前記所定の領域ごとに、前記動きベクトル検出部が検出した動きベクトルと、前記補償強度決定部が決定した動き補償強度で示される前記原画像と前記補間画像との一致度合いとを用いて、前記2枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、前記補間画像を生成する
請求項1〜11のいずれか1項に記載の画像処理装置。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理方法であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
を含む画像処理方法。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換するためのプログラムであって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
をコンピュータに実行させるプログラム。 - 入力される動画像に含まれる時間的に前後する2枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置を制御する集積回路であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記2枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011544172A JP5192087B2 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009274011 | 2009-12-01 | ||
JP2009274011 | 2009-12-01 | ||
PCT/JP2010/002313 WO2011067869A1 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
JP2011544172A JP5192087B2 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011067869A1 JPWO2011067869A1 (ja) | 2013-04-18 |
JP5192087B2 true JP5192087B2 (ja) | 2013-05-08 |
Family
ID=44114733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011544172A Expired - Fee Related JP5192087B2 (ja) | 2009-12-01 | 2010-03-30 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120008692A1 (ja) |
EP (1) | EP2509306A4 (ja) |
JP (1) | JP5192087B2 (ja) |
WO (1) | WO2011067869A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9820497B2 (en) | 2003-12-19 | 2017-11-21 | Fuji Chemical Industry Co., Ltd. | Astaxanthin-containing pet foods |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5887764B2 (ja) * | 2011-08-29 | 2016-03-16 | 株式会社Jvcケンウッド | 動き補償フレーム生成装置及び方法 |
JP5887763B2 (ja) * | 2011-08-29 | 2016-03-16 | 株式会社Jvcケンウッド | 動き補償フレーム生成装置及び方法 |
EP3843380A4 (en) * | 2018-08-22 | 2021-10-20 | Sony Group Corporation | DISPLAY DEVICE, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD |
US20230088882A1 (en) * | 2021-09-22 | 2023-03-23 | Samsung Electronics Co., Ltd. | Judder detection for dynamic frame rate conversion |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08508138A (ja) * | 1992-07-03 | 1996-08-27 | スネル・アンド・ウィルコックス・リミテッド | 動き補正を伴う映像信号処理 |
JPH08223536A (ja) * | 1995-02-08 | 1996-08-30 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
JPH11513541A (ja) * | 1995-09-21 | 1999-11-16 | インノビジョン リミティッド | 動作補償補間 |
JP2005236937A (ja) * | 2004-01-21 | 2005-09-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2006270823A (ja) * | 2005-03-25 | 2006-10-05 | Tama Tlo Kk | 画像レート変換方法及び画像レート変換装置 |
JP2008099281A (ja) * | 2006-10-12 | 2008-04-24 | Thomson Licensing | 動き補償画像の補間方法、及びその方法を実現する装置 |
WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
JP2008236098A (ja) * | 2007-03-19 | 2008-10-02 | Hitachi Ltd | 映像処理装置及び映像表示装置 |
WO2008136116A1 (ja) * | 2007-04-26 | 2008-11-13 | Pioneer Corporation | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
JP2009181067A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2009194843A (ja) * | 2008-02-18 | 2009-08-27 | Sony Corp | 映像処理装置、及び映像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1134991C (zh) * | 1997-07-31 | 2004-01-14 | 日本胜利株式会社 | 数字视频信号块间内插预测编码/解码装置及高效编码方法 |
FR2851397B1 (fr) * | 2003-02-14 | 2005-05-13 | Canon Europa Nv | Procede et dispositif d'analyse de sequences video dans un reseau de communication |
KR100766085B1 (ko) * | 2006-02-28 | 2007-10-11 | 삼성전자주식회사 | 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법 |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP4844370B2 (ja) * | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
WO2008085473A1 (en) * | 2006-12-27 | 2008-07-17 | The Johns Hopkins University | Mri methods using diffusion tensor imaging techniques and mri systems embodying same |
US8437397B2 (en) * | 2007-01-04 | 2013-05-07 | Qualcomm Incorporated | Block information adjustment techniques to reduce artifacts in interpolated video frames |
US8355442B2 (en) * | 2007-11-07 | 2013-01-15 | Broadcom Corporation | Method and system for automatically turning off motion compensation when motion vectors are inaccurate |
-
2010
- 2010-03-30 WO PCT/JP2010/002313 patent/WO2011067869A1/ja active Application Filing
- 2010-03-30 EP EP10834326.0A patent/EP2509306A4/en not_active Withdrawn
- 2010-03-30 JP JP2011544172A patent/JP5192087B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-22 US US13/240,188 patent/US20120008692A1/en not_active Abandoned
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08508138A (ja) * | 1992-07-03 | 1996-08-27 | スネル・アンド・ウィルコックス・リミテッド | 動き補正を伴う映像信号処理 |
JPH08223536A (ja) * | 1995-02-08 | 1996-08-30 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
JPH11513541A (ja) * | 1995-09-21 | 1999-11-16 | インノビジョン リミティッド | 動作補償補間 |
JP2005236937A (ja) * | 2004-01-21 | 2005-09-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2006270823A (ja) * | 2005-03-25 | 2006-10-05 | Tama Tlo Kk | 画像レート変換方法及び画像レート変換装置 |
JP2008099281A (ja) * | 2006-10-12 | 2008-04-24 | Thomson Licensing | 動き補償画像の補間方法、及びその方法を実現する装置 |
WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
JP2008236098A (ja) * | 2007-03-19 | 2008-10-02 | Hitachi Ltd | 映像処理装置及び映像表示装置 |
WO2008136116A1 (ja) * | 2007-04-26 | 2008-11-13 | Pioneer Corporation | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
JP2009181067A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2009194843A (ja) * | 2008-02-18 | 2009-08-27 | Sony Corp | 映像処理装置、及び映像処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9820497B2 (en) | 2003-12-19 | 2017-11-21 | Fuji Chemical Industry Co., Ltd. | Astaxanthin-containing pet foods |
Also Published As
Publication number | Publication date |
---|---|
EP2509306A4 (en) | 2013-05-15 |
US20120008692A1 (en) | 2012-01-12 |
JPWO2011067869A1 (ja) | 2013-04-18 |
WO2011067869A1 (ja) | 2011-06-09 |
EP2509306A1 (en) | 2012-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768103B2 (en) | Video processing apparatus and video display apparatus | |
JP5107349B2 (ja) | 動きベクトルに基づく画像のスケーリング | |
WO2011067870A1 (ja) | 画像処理装置および画像処理方法 | |
US8290308B2 (en) | Program, apparatus and method for determining interpolation method | |
US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
EP2161687B1 (en) | Video signal processing device, video signal processing method, and video signal processing program | |
JP5192087B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
US8274605B2 (en) | System and method for adjacent field comparison in video processing | |
JP2006352611A (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
US9215353B2 (en) | Image processing device, image processing method, image display device, and image display method | |
US20090185756A1 (en) | Image processing device and image processing method | |
JP2009147670A (ja) | 映像処理装置及びそれを用いた映像表示装置 | |
US7750974B2 (en) | System and method for static region detection in video processing | |
JP5147655B2 (ja) | 映像信号処理装置および映像表示装置 | |
JP2005318588A (ja) | ビデオシーケンスの補助データ処理 | |
JP2010213287A (ja) | 映像処理装置及び映像表示装置 | |
JP2011223086A (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
WO2011152039A1 (ja) | 立体映像処理装置及び立体映像処理方法 | |
JP2005184442A (ja) | 画像処理装置 | |
JP2010161712A (ja) | フレームレート変換装置及びフレームレート変換方法 | |
JP2011082932A (ja) | テロップ画像検出方法およびテロップ画像検出装置 | |
JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム | |
JP5891913B2 (ja) | 映像信号処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |