JP5219608B2 - フレームレート変換装置、方法及びプログラム - Google Patents

フレームレート変換装置、方法及びプログラム Download PDF

Info

Publication number
JP5219608B2
JP5219608B2 JP2008119987A JP2008119987A JP5219608B2 JP 5219608 B2 JP5219608 B2 JP 5219608B2 JP 2008119987 A JP2008119987 A JP 2008119987A JP 2008119987 A JP2008119987 A JP 2008119987A JP 5219608 B2 JP5219608 B2 JP 5219608B2
Authority
JP
Japan
Prior art keywords
motion
degree
luminance
frame
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008119987A
Other languages
English (en)
Other versions
JP2009272780A (ja
JP2009272780A5 (ja
Inventor
愛 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008119987A priority Critical patent/JP5219608B2/ja
Priority to US12/423,345 priority patent/US8842137B2/en
Priority to EP09158050A priority patent/EP2114066A1/en
Priority to CN2009101376656A priority patent/CN101572077B/zh
Publication of JP2009272780A publication Critical patent/JP2009272780A/ja
Publication of JP2009272780A5 publication Critical patent/JP2009272780A5/ja
Application granted granted Critical
Publication of JP5219608B2 publication Critical patent/JP5219608B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Description

本発明は、入力画像(入力フレーム)のフレームレート変換を行なうフレームレート変換装置、方法及びプログラムに関する。
表示装置をその表示特性から分類すると、インパルス型とホールド型に大別される。図12(b)のように、1フレーム期間中の表示をほぼ一定に保持する液晶パネルなどの装置をホールド型表示装置と呼ぶ。これに対し、図12(a)のように、1フレーム中の発光期間が短いものをインパルス型表示装置と呼ぶ。
インパルス型表示装置には、CRT(Cathode Ray Tube)や、フィールドエミッションタイプのディスプレイなどが挙げられる。インパルス型表示は画素が点滅を繰り返すため、画面がちらついて見えるフリッカを起こす特性がある。フリッカは高輝度・大面積になるほど検知され易い特性があるため、近年のディスプレイの大画面化によって、インパルス型表示装置のフリッカは一層改善すべき問題となっている。
フリッカを低減する方法としては、入力フレームを任意の割合で複数のサブフレームに分配することでフレームレートを上げて表示する方法が挙げられる。例えば、入力フレームを6対4の割合で2つのサブフレームに分配してフレームレートを倍に上げた場合、点滅の周波数が高くなるためフリッカは検知されにくくなる。
しかし、この表示を視覚した場合、図13に示すように、1フレーム期間中において時間的に後方にあるサブフレームが視線の追従からずれてしまうため、視覚特性に依存した擬似輪郭が発生する。
そこで、擬似輪郭を低減するためにサブフレームの空間周波数のうち高周波成分を増減させて擬似輪郭を低減する方法が開示されている(特許文献1)。
特開2002−35382号公報
しかしながら、特許文献1に開示された技術では、高周波成分しか制御しないため、画が動いた時に尾引きが発生してしまうおそれがある。図14は、特許文献1の技術を適用した場合における表示出力の概要とそれを視覚により捉えた場合の見え方との関係を示す図である。図14を参照すると、1フレーム期間中において時間的後方のサブフレームに低周波成分の輝度が残っているのが分かる。この場合、この低周波成分の輝度により、尾引きが発生してしまう。
本発明は、上記課題に鑑みてなされたものであり、フリッカを低減する効果を維持しつつ、擬似輪郭及び尾引きを低減させるようにしたフレームレート変換装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の一態様は、入力フレームの輝度を複数のサブフレームに分配してフレームレート変換を行なうフレームレート変換装置であって、
前記入力フレームにおける画像の動き度を検出する動き検出手段と、
前記動き検出手段により検出された動き度に応じて前記複数のサブフレームの輝度分配量を決定する決定手段と、
前記決定手段により決定された輝度分配量に応じて前記入力フレームの輝度を前記複数のサブフレームに分配して出力する出力手段とを具備し、
前記決定手段は、前記動き検出手段により検出された動き度が予め定められた値より小さければ、該動き度が予め定められた値よりも大きい場合よりも、前記出力手段により出力される前記複数のサブフレーム間の輝度差を小さくすることを特徴とする。
本発明によれば、入力フレームにおける画像の動き度を検出し、その検出結果に応じてサブフレームの分配量を決定する。これにより、フリッカを低減する効果を維持しつつ、擬似輪郭及び尾引きを低減することができる。
以下、本発明に係わるフレームレート変換装置、方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。なお、以下の実施形態において示す構成は、あくまで一例に過ぎず、本発明は図示された構成に限定されるものではない。
(実施形態)
図1は、本発明の一実施の形態に係わるフレームレート変換装置の概略構成の一例を示すブロック図である。
フレームレート変換装置には、コンピュータが組み込まれている。コンピュータには、CPU等の主制御部、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶部が具備される。この他、コンピュータには、例えば、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等が具備されていてもよい。なお、これら各構成部は、バス等により接続され、主制御部が記憶部に記憶されたプログラムを実行することで制御される。
フレームレート変換装置は、入力画像(以下、入力フレームと言う)を複数のサブフレームに分配してフレームレートを複数倍(整数)にして出力する。入力フレームの分配に際しては、フレーム間差分から動きを検出し、その動きの検出結果をフレーム単位で反映させて分配量を決定する。なお、本実施形態においては、フレームレート変換により入力フレームを2倍のフレームレートに変換する場合を例に挙げて説明する。
フレームレート変換装置は、画面のちらつき、すなわち、フリッカの発生を低減させるように、入力フレームのフレームレート変換を行なう。フリッカが起きる度合いは、分配されたサブフレーム間のコントラストに関係する。すなわち、図1の場合には、サブフレームs203とサブフレームs204とのコントラストの関係によりフリッカの発生が左右される。これらの輝度差が大きい程、フリッカは検知され易いが、輝度差が小さい程、フリッカは検知されにくい。なお、サブフレームs203は、1フレーム期間中において時間的に後方に出力され、サブフレームs204は、1フレーム期間中において時間的に先方に出力されるフレームとする。
フレームレート変換装置は、サブフレームs203とサブフレームs204とのコントラストを制御する。この制御は、各フレーム間で検出される動きとフリッカとの関係に基づいて行なわれる。サブフレームs203とサブフレームs204とを足し合わせると入力フレームs201の輝度に一致する。すなわち、輝度はフレームレート変換前後で同等となる。
ここで、フレームレート変換装置は、その機能的な構成として、フレームメモリ102と、動き検出部103と、分配補正係数生成部104と、分配処理部106と、差分処理部107と、切替器108とを具備して構成される。
フレームメモリ102は、入力フレームを1枚以上順次保持し、動き検出部103は、フレームメモリ102に保持されたフレームと入力フレームs201とを比較し、入力フレームs201における画像の動き度Mを算出し出力する。
分配補正係数生成部104は、動き度Mに応じて分配補正係数Rを算出し、分配処理部106に出力する。分配処理部106は、入力フレームs201の値を基本分配関数及び分配補正係数Rに応じて変換し、サブフレームs203として出力する。
差分処理部107は、サブフレームs203と入力フレームs201とに基づいてサブフレームs204を算出し出力する。切替器108は、サブフレームs203とサブフレームs204とを交互に切り替えて出力する。
図2は、分配処理部106における入出力関係の一例を示す図である。分配処理部106では、入力フレームs201の各信号を分配関数に従って変換し、サブフレームs203の信号として出力する。分配関数は、分配補正係数生成部104から入力される分配補正係数Rと基本分配関数との積で算出される。基本分配関数は、入力が静止画の場合のサブフレームs203の値を示している。
Figure 0005219608
サブフレームs203は、フレーム単位で入力される分配補正係数Rによって動的に増減する。例えば、入力フレームの動き度Mが大きい場合、分配補正係数Rは小さい値となり、出力されるサブフレームs203の値は小さくなる。これにより、入力フレームの動きが大きい場合には、1フレーム期間中において時間的後方に出力されるサブフレームの信号量が小さくなるため、疑似輪郭及び尾引きが改善される。
図3は、動き検出部103における処理の一例を示すフローチャートである。動き検出部103では、入力フレームと、当該入力フレームよりも前(例えば、直前)に入力されたフレームとからフレーム間差分を算出する(ステップS101及びステップS102)。そして、その差分(絶対値)において閾値Dを越える画素の総数を入力フレームの動き度Mとして出力する(ステップS103及びステップS104)。
Figure 0005219608
図4は、分配補正係数生成部104における入出力関係の一例を示す図である。ここで、入力値は動き度Mであり、出力値は動き度Mに応じて出力される分配補正係数Rである。
分配補正係数生成部104は、入力された動き度Mが(予め定められた)閾値m1以下であればr2を出力し、入力された動き度Mが閾値m1よりも大きければr1を出力する。r1とr2は、例えば、0以上1以下の値であり、r2はr1より大きい。
動領域の面積が小さく動き度Mが小さい場合は、フリッカが検知され易いので、サブフレームs203の出力値は大きい方がいい。そのため、サブフレームs203の信号量が静止画に必要な信号量と同程度になるように分配補正係数Rを定める。この場合における分配補正係数Rは1に近い値r2となる。
一方、動領域の面積が大きく動き度Mが大きい場合には、フリッカは検知され難いので、サブフレームs203の出力値は小さくても問題ない。また更に、サブフレームs203の出力値が小さい方が疑似輪郭及び尾引きが低減されるので分配補正係数Rは0に近い値r1となる。このように本実施形態における分配補正係数生成部104は、閾値処理により分配補正係数Rを生成するため、演算が簡単となる。
差分処理部107は、入力フレームs201からサブフレームs203の差分をとった結果をサブフレームs204として出力する。したがって、出力されるサブフレームの合計は入力フレームと一致する。インパルス型表示装置の場合には、任意の時間内に表示される信号の合計が一致すれば見かけ上の明るさは同等に見えることから、フレームレート変換前後で同等の明るさを維持できることになる。
図5(a)は入力フレームs201を示し、図5(b)及び図5(c)は分配補正係数Rが変化した場合の出力を示している。
入力フレームの動き度Mが小さい場合には、上述した通り、分配補正係数Rは大きくなる。そのため、1フレーム期間中において時間的後方に出力されるサブフレームs203の分配量が高くなりその信号量は大きくなる。この場合、各サブフレームの輝度は、図5(b)に示す波形で示される。入力フレームの動き度Mが小さい場合はフリッカが検知され易いが、サブフレームs203の信号量は、フリッカの低減が可能なレベル分確保されるため、フリッカの発生を防ぐことができる。
一方、入力フレームの動き度Mが大きい場合には、上述した通り、分配補正係数Rは小さくなる。そのため、1フレーム期間中において時間的後方に出力されるサブフレームs203の分配量は低くなりその信号量は小さくなる。この場合、各サブフレームの輝度は、図5(c)に示す波形で示される。入力フレームの動き度Mが大きい場合はフリッカが検知され難いため、サブフレームs203の信号量が小さくても、フリッカが発生する可能性は低い。
ここで、例えば、各サブフレームの輝度が図5(c)に示す波形となる場合における表示出力の概要とそれを視覚により捉えた場合の見え方は、図6に示す関係となる。図6に示すように、入力フレームの動き度Mが大きい場合には、時間的に後方にあるサブフレームの信号量が低レベルに制限されるため、疑似輪郭が低減されることが分かる。
次に、図7を用いて、図1に示すフレームレート変換装置における処理の流れについて説明する。
フレームレート変換装置は、入力フレームs201が入力されると(ステップS201)、そのフレームをフレームメモリ102に格納する(ステップS202)。この格納が済むと、フレームレート変換装置は、動き検出部103において、当該入力フレームs201と、フレームメモリ102に既に格納されているフレームとを比較し動き度Mを算出する(ステップS203)。
続いて、フレームレート変換装置は、分配補正係数生成部104において、当該算出された動き度Mに応じた分配補正係数Rを算出する(ステップS204)。分配補正係数Rの算出が済むと、フレームレート変換装置は、分配処理部106において、入力フレームs201の値を基本分配関数及び分配補正係数Rに応じて変換しサブフレームs203を生成する(ステップS205)。
サブフレームs203の生成が済むと、フレームレート変換装置は、差分処理部107において、入力フレームs201とサブフレームs203との差分から得られるサブフレームs204を生成する(ステップS206)。その後、フレームレート変換装置は、切替器108において、サブフレームs203とサブフレームs204とを交互に切り替えて出力する(ステップS207)。以下、入力フレームが入力される都度、上述した処理を繰り返し実行する。
上述したように本実施形態によれば、入力フレームs201から動き度を検出し、その検出結果に応じてサブフレーム(s203、s204)の分配量を決定する。これにより、フリッカを低減する効果を維持しつつ、擬似輪郭及び尾引きを低減させることができる。
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
例えば、上述した実施形態の応用として、図1に示すフレームレート変換装置における構成に、LPF(ローパスフィルタ)105を追加してもよい。LPF105は、低周波数のみを通過させるフィルタである。すなわち、雑音となりやすい高周波数域の信号を除去する機能を果たす。例えば、図8に示すように、LPF105は、分配処理部106の上流位置に設けられ、分配処理部106に入力される高周波数域の信号を取り除く。このように構成した場合、表示出力の概要とそれを視覚により捉えた場合の見え方は、図9に示す関係となる。ここでは、入力フレームの動き度Mが大きい場合の表示出力の概要とその見え方との関係を示す。この場合、1フレーム期間中において時間的に後方にあるサブフレームは、その信号量が低く抑えられており、また、高周波数成分が除去され、主に低周波数成分から構成されている。これにより、上述した構成よりも更に、尾引きを低減させられる。
また、上述した実施形態においては、フレーム間差分において閾値Dを越える画素の総数を動き度Mとして入力フレームの動き度Mを検出する場合を例に挙げて説明したが、動き度Mは、これ以外の方法により算出してもよい。例えば、フレーム間差分において閾値Dを越える差分値(絶対値)を有する画素の差分値の合計を動き度Mとしてもよい(式3参照)。ここで、図10を用いて、この場合における動き検出部103における処理の流れについて説明する。動き検出部103では、入力フレームと、当該入力フレームよりも前(例えば、直前)に入力されたフレームとからフレーム間差分を算出する(ステップS301及びステップS302)。そして、その差分(絶対値)において閾値Dを越える差分を有する画素の差分値(絶対値)の合計を入力フレームの動き度Mとして出力する(ステップS303及びステップS304)。この動き検出方法は、同じオブジェクトでも動き量が大きい、また同じ動き量でもオブジェクトのコントラストが高い程、フレーム間差分が大きくなるという傾向を利用している。
Figure 0005219608
また、上述した実施形態においては、分配補正係数生成部104から出力される分配補正係数Rが2値(r1、r2)である場合を例に挙げて説明したが、これに限られない。ここで、図11は、分配補正係数生成部104における入出力関係の一例を示す図である。なお、入力値は動き度Mであり、出力値は動き度Mに応じて出力される分配補正係数Rである。
分配補正係数Rは、例えば、複数の関数、若しくはルックアップテーブルを用いて算出する。分配補正係数生成部104では、分配補正係数Rとして、入力された動き度Mが、第1の値としての閾値m2以下であればr2を出力し、第2の値としての閾値m3よりも大きければr1を出力する。また、動き度Mがm2からm3の間であれば、分配補正係数Rは、r2からr1の間の値を出力する。ここで、動き度Mがm2からm3の間である場合、分配補正係数Rの値は、動き度Mが大きくなる程、滑らかに小さくなる。この場合、動き度Mの変化に伴ってサブフレームs203の信号量が滑らかに低く変化することになる。
なお、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータが該供給されたプログラムコードを読み出して実行することにより実施形態の機能が達成される場合をも含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OS(Operating System)に供給するスクリプトデータ等の形態であってもよい。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU(Central Processing Unit)などが実際の処理の一部又は全部を行なう。
本発明の一実施の形態に係わるフレームレート変換装置の概略構成の一例を示すブロック図である。 図1に示す分配処理部106における入出力関係の一例を示す図である。 図1に示す動き検出部103における処理の一例を示すフローチャートである。 図1に示す分配補正係数生成部104における入出力関係の一例を示す図である。 発光輝度の一例を示す図である。 図5(c)の場合における表示出力の概要とそれを視覚により捉えた見え方の概要の一例を示す図である。 図1に示すフレームレート変換装置における処理の流れの一例を示すフローチャートである。 変形実施形態に係わるフレームレート変換装置の概略構成の一例を示すブロック図である。 変形実施形態に係わる表示出力の概要とそれを視覚により捉えた見え方の概要の一例を示す図である。 変形実施形態に係わる動き検出部103における処理の一例を示すフローチャートである。 変形実施形態に係わる分配補正係数生成部104における入出力関係の一例を示す図である。 表示装置における発光輝度の一例を示す図である。 擬似輪郭が発生した場合の表示出力の概要とそれを視覚により捉えた見え方の概要の一例を示す図である。 ボケが発生した場合の表示出力の概要とそれを視覚により捉えた見え方の概要の一例を示す図である。
符号の説明
102 フレームメモリ
103 動き検出部
104 分配補正係数生成部
105 LPF
106 分配処理部
107 差分処理部
108 切替器

Claims (11)

  1. 入力フレームの輝度を複数のサブフレームに分配してフレームレート変換を行なうフレームレート変換装置であって、
    前記入力フレームにおける画像の動き度を検出する動き検出手段と、
    前記動き検出手段により検出された動き度に応じて前記複数のサブフレームの輝度分配量を決定する決定手段と、
    前記決定手段により決定された輝度分配量に応じて前記入力フレームの輝度を前記複数のサブフレームに分配して出力する出力手段とを具備し、
    前記決定手段は、前記動き検出手段により検出された動き度が予め定められた値より小さければ、該動き度が予め定められた値よりも大きい場合よりも、前記出力手段により出力される前記複数のサブフレーム間の輝度差を小さくすることを特徴とするフレームレート変換装置。
  2. 前記決定手段は、
    前記動き検出手段により検出された動き度に応じて前記複数のサブフレームの輝度分配量を補正する分配補正係数を生成することにより前記輝度分配量を決定し、
    前記出力手段は、
    前記決定手段により生成された分配補正係数に応じて入力フレームの輝度をサブフレームに分配する分配処理手段と、
    前記分配処理手段により分配されたサブフレームの輝度と前記入力フレームの輝度との差分からサブフレームを生成する差分処理手段と、
    前記分配処理手段により輝度が分配されたサブフレームと前記差分処理手段により生成されたサブフレームとを切り替えて出力する切替手段と
    を具備することを特徴とする請求項1記載のフレームレート変換装置。
  3. 前記動き検出手段は、
    前記入力フレームと該入力フレームよりも前に入力されたフレームとからフレーム間差分を算出し、該算出したフレーム間差分において閾値を越える画素の総数を該入力フレームの動き度として検出する
    ことを特徴とする請求項1記載のフレームレート変換装置。
  4. 前記動き検出手段は、
    前記入力フレームと該入力フレームよりも前に入力されたフレームとからフレーム間差分を算出し、該フレーム間差分において閾値を越える差分値を有する画素の差分値の合計を該入力フレームの動き度として検出する
    ことを特徴とする請求項1記載のフレームレート変換装置。
  5. 前記決定手段は、
    前記動き検出手段により検出された動き度が予め定められた値より小さければ、該動き度が予め定められた値よりも大きい場合よりも、前記出力手段により時間的に後方に出力されるサブフレームの輝度分配量を高くすることで、前記複数のサブフレーム間の輝度差を小さくする
    ことを特徴とする請求項1記載のフレームレート変換装置。
  6. 前記決定手段は、
    前記動き検出手段により検出された動き度が予め定められた値より大きければ、該動き度が予め定められた値よりも小さい場合よりも、前記出力手段により時間的に後方に出力されるサブフレームの輝度分配量を低くすることで、前記複数のサブフレーム間の輝度差を大きくする
    ことを特徴とする請求項1又は5に記載のフレームレート変換装置。
  7. 第1の値と該第1の値よりも大きな第2の値とが予め定められており、
    前記決定手段は、
    前記動き検出手段により検出された動き度が前記第1の値から前記第2の値の間であれば、該動き度が該第1の値より小さい場合に前記出力手段により時間的に後方に出力されるサブフレームの輝度分配量よりも低くし、かつ該動き度が大きくなる程、該輝度分配量を低くすることで、前記複数のサブフレーム間の輝度差を大きくする
    ことを特徴とする請求項1記載のフレームレート変換装置。
  8. 前記決定手段は、
    前記動き検出手段により検出された動き度が前記第1の値より小さければ、該動き度が該第1の値より大きい場合よりも、前記出力手段により時間的に後方に出力されるサブフレームの輝度分配量を高くすることで、前記複数のサブフレーム間の輝度差を小さくし、前記動き検出手段により検出された動き度が前記第2の値より大きければ、該動き度が該第2の値より小さい場合よりも、前記出力手段により時間的に後方に出力されるサブフレームの輝度分配量を低くすることで、前記複数のサブフレーム間の輝度差を大きくする
    ことを特徴とする請求項7記載のフレームレート変換装置。
  9. 前記出力手段は、
    時間的に後方に出力するサブフレームに高周波数成分を除去したものを用いる
    ことを特徴とする請求項1乃至7のいずれか1項に記載のフレームレート変換装置。
  10. 入力フレームの輝度を複数のサブフレームに分配してフレームレート変換を行なうフレームレート変換装置におけるフレームレート変換方法であって、
    動き検出手段が、前記入力フレームにおける画像の動き度を検出する動き検出工程と、
    決定手段が、前記動き検出工程により検出された動き度に応じて前記複数のサブフレームの輝度分配量を決定する決定工程と、
    出力手段が、前記決定工程により決定された輝度分配量に応じて前記入力フレームの輝度を前記複数のサブフレームに分配して出力する出力工程とを含み、
    前記決定工程では、前記動き検出工程において検出された動き度が予め定められた値より小さければ、該動き度が予め定められた値よりも大きい場合よりも、前記出力工程において出力される前記複数のサブフレーム間の輝度差を小さくすることを特徴とするフレームレート変換方法。
  11. 入力フレームの輝度を複数のサブフレームに分配してフレームレート変換を行なうフレームレート変換装置に内蔵されたコンピュータを、
    前記入力フレームにおける画像の動き度を検出する動き検出手段、
    前記動き検出手段により検出された動き度に応じて前記複数のサブフレームの輝度分配量を決定する決定手段、
    前記決定手段により決定された輝度分配量に応じて前記入力フレームの輝度を前記複数のサブフレームに分配して出力する出力手段
    として機能させるためのプログラムであって、
    前記決定手段は、前記動き検出手段により検出された動き度が予め定められた値より小さければ、該動き度が予め定められた値よりも大きい場合よりも、前記出力手段により出力される前記複数のサブフレーム間の輝度差を小さくすることを特徴とするプログラム。
JP2008119987A 2008-05-01 2008-05-01 フレームレート変換装置、方法及びプログラム Expired - Fee Related JP5219608B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008119987A JP5219608B2 (ja) 2008-05-01 2008-05-01 フレームレート変換装置、方法及びプログラム
US12/423,345 US8842137B2 (en) 2008-05-01 2009-04-14 Frame rate conversion apparatus, frame rate conversion method, and computer-readable storage medium
EP09158050A EP2114066A1 (en) 2008-05-01 2009-04-16 Frame rate conversion apparatus, frame rate conversion method, and computer-readable storage medium
CN2009101376656A CN101572077B (zh) 2008-05-01 2009-05-04 帧速率变换设备和帧速率变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008119987A JP5219608B2 (ja) 2008-05-01 2008-05-01 フレームレート変換装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2009272780A JP2009272780A (ja) 2009-11-19
JP2009272780A5 JP2009272780A5 (ja) 2011-06-16
JP5219608B2 true JP5219608B2 (ja) 2013-06-26

Family

ID=40863660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008119987A Expired - Fee Related JP5219608B2 (ja) 2008-05-01 2008-05-01 フレームレート変換装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US8842137B2 (ja)
EP (1) EP2114066A1 (ja)
JP (1) JP5219608B2 (ja)
CN (1) CN101572077B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5479064B2 (ja) * 2009-12-11 2014-04-23 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
WO2014188799A1 (ja) * 2013-05-22 2014-11-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2031686B (en) 1978-09-14 1983-02-02 Micro Consultants Ltd Movement detection
NL8100603A (nl) 1981-02-09 1982-09-01 Philips Nv Rasterfrequentieverdubbelingsschakeling voor een televisiesignaal.
DE3814570A1 (de) 1988-04-29 1989-11-09 Grundig Emv Verfahren und schaltungsanordnung zur flimmerreduktion bei einem fernsehempfaenger
DE4327733C1 (de) 1993-08-18 1994-06-01 Grundig Emv Bewegungsdetektor
JP3758294B2 (ja) 1997-04-10 2006-03-22 株式会社富士通ゼネラル ディスプレイ装置の動画補正方法及び動画補正回路
EP1125428B1 (de) 1998-09-30 2002-07-17 Micronas Munich GmbH Schaltung zur wandlung einer bildrate
US7071902B1 (en) 1999-04-12 2006-07-04 Matsushita Electric Industrial Co., Ltd. Image display
JP2001296841A (ja) 1999-04-28 2001-10-26 Matsushita Electric Ind Co Ltd 表示装置
KR20010053114A (ko) * 1999-04-28 2001-06-25 모리시타 요이찌 표시장치
US7085318B2 (en) 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
US7116372B2 (en) 2000-10-20 2006-10-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for deinterlacing
JP2002351382A (ja) * 2001-03-22 2002-12-06 Victor Co Of Japan Ltd ディスプレイ装置
US6784942B2 (en) 2001-10-05 2004-08-31 Genesis Microchip, Inc. Motion adaptive de-interlacing method and apparatus
US7050501B2 (en) 2002-07-16 2006-05-23 Broadcom Corporation Digital noise reduction techniques
KR100486715B1 (ko) * 2002-10-09 2005-05-03 삼성전자주식회사 펄스수 변조방식 디지털 디스플레이 패널에서 의사 윤곽감소를 위한 방법 및 장치
JP4080951B2 (ja) * 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4003713B2 (ja) 2003-08-06 2007-11-07 ソニー株式会社 画像処理装置および画像処理方法
US20050047504A1 (en) * 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US7153268B2 (en) * 2003-09-09 2006-12-26 General Electric Company Motion adaptive frame averaging for ultrasound doppler color flow imaging
JP2005173387A (ja) * 2003-12-12 2005-06-30 Nec Corp 画像処理方法、表示装置の駆動方法及び表示装置
KR100989314B1 (ko) 2004-04-09 2010-10-25 삼성전자주식회사 디스플레이장치
TW200627362A (en) 2004-11-01 2006-08-01 Seiko Epson Corp Signal processing for reducing blur of moving image
JP3841105B1 (ja) 2005-08-17 2006-11-01 セイコーエプソン株式会社 動画ボケ改善のための信号処理
KR100691324B1 (ko) * 2005-07-22 2007-03-12 삼성전자주식회사 액정 디스플레이장치
JP4306671B2 (ja) 2005-11-04 2009-08-05 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
KR100766085B1 (ko) * 2006-02-28 2007-10-11 삼성전자주식회사 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
JP4172495B2 (ja) * 2006-05-09 2008-10-29 ソニー株式会社 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
TWI323605B (en) 2006-05-12 2010-04-11 Realtek Semiconductor Corp Apparatus and method for reducing temporal noise
JP4462234B2 (ja) 2006-05-26 2010-05-12 セイコーエプソン株式会社 電気光学装置及び電子機器
TWI338276B (en) 2006-11-13 2011-03-01 Novatek Microelectronics Corp Method and apparatus for driving an lcd monitor
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP2008261984A (ja) 2007-04-11 2008-10-30 Hitachi Ltd 画像処理方法及びこれを用いた画像表示装置
JP4525946B2 (ja) 2007-10-19 2010-08-18 ソニー株式会社 画像処理装置、画像表示装置および画像処理方法
KR20090127690A (ko) 2008-06-09 2009-12-14 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5202246B2 (ja) * 2008-11-20 2013-06-05 キヤノン株式会社 動画像処理装置、及び方法、プログラム
JP2010197785A (ja) 2009-02-26 2010-09-09 Seiko Epson Corp 画像表示装置、電子機器および画像表示方法

Also Published As

Publication number Publication date
JP2009272780A (ja) 2009-11-19
EP2114066A1 (en) 2009-11-04
US20090273541A1 (en) 2009-11-05
US8842137B2 (en) 2014-09-23
CN101572077A (zh) 2009-11-04
CN101572077B (zh) 2012-02-08

Similar Documents

Publication Publication Date Title
JP5219609B2 (ja) フレームレート変換装置、方法及びプログラム
JP4586052B2 (ja) 画像処理装置及びその制御方法
US8576925B2 (en) Image processing apparatus and image processing method, and program
JP5398365B2 (ja) 画像処理装置、画像処理方法
JP5306061B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4525946B2 (ja) 画像処理装置、画像表示装置および画像処理方法
JP2008261984A (ja) 画像処理方法及びこれを用いた画像表示装置
US8462267B2 (en) Frame rate conversion apparatus and frame rate conversion method
JP5202347B2 (ja) 動画像処理装置および動画像処理方法
JP2008209671A (ja) 画像表示装置および画像表示方法
JP2010028575A (ja) 画像処理装置及びその制御方法
JP2011124893A (ja) 画像処理装置およびその制御方法、プログラム
JP5219608B2 (ja) フレームレート変換装置、方法及びプログラム
JP5848543B2 (ja) 画像表示装置、画像表示方法、及びコンピュータプログラム
JP2011059312A (ja) 画像表示装置およびその制御方法
JP5558766B2 (ja) 画像処理装置及びその制御方法
JP2011033707A (ja) 画像処理装置及びその制御方法
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
JP5340104B2 (ja) 画像処理装置、画像処理方法
JP6320022B2 (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
JP2010028576A (ja) 画像処理装置及びその制御方法
JP2010283695A (ja) 画像処理装置、画像処理方法
JP2013239784A (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees