WO2018207298A1

WO2018207298A1 - 映像表示装置、映像表示システム、及び映像表示方法

Info

Publication number: WO2018207298A1
Application number: PCT/JP2017/017786
Authority: WO
Inventors: 浜田　宏一; 甲　展明
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2017-05-11
Filing date: 2017-05-11
Publication date: 2018-11-15
Anticipated expiration: 2019-11-11

Abstract

表示フレームレートが不規則に可変するフレームレートの映像を受信し、映像フレームを等間隔の固定フレームレートで表示する表示部に表示する際に、表示される映像の動きの滑らかさを考慮した高画質な表示を実現することを目的とする。　そのために、映像フレームレートが変動する映像信号を受信して、映像フレームを等間隔の固定フレームレートで表示する映像表示装置であって、映像受信部で受信した映像を表示部で表示する映像に変換する映像変換部を備え、映像変換部は、受信する映像フレームのうち、表示部が表示で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、第１のフレームと第１のフレームよりも前に受信部で受信した第２のフレームを用いた時間方向補間処理により表示部が表示で用いる等間隔のタイミングのフレームである第３のフレームを生成し、表示部へ出力するように構成する。

Description

映像表示装置、映像表示システム、及び映像表示方法

　本発明は、映像信号を入力して表示する映像表示装置、それを用いた映像表示システム、及び映像表示方法に関する。

　従来、映像出力装置からの映像信号を入力して表示する映像表示装置において、映像出力装置の出力するフレームレートに合わせて映像表示装置のフレームレートを変換するフレームレート変換技術が知られている。例えば、映像表示装置において、画像の描画処理時間とフレームレートから算出した１画面の出力時間とに基づいて表示のタイミングであるフレームレートを修正したり、映像表示装置のフレームレートのタイミングで映像出力装置から映像信号が得られない場合は前フレームを繰り返し表示するなどのフレームレート変換技術が知られている。

　しかし、上記のようなフレームレート変換技術では、映像出力装置のフレームレート変動に合わせて映像表示装置のフレームレートを変更しているため、特に映像表示装置のフレームレートが固定である場合の映像表示の滑らかさに関して考慮していない。すなわち、固定フレームレートで表示を行う映像表示装置に対して、映像出力装置からフレームレートが変動する映像を入力すると、映像信号出力装置と映像表示装置のタイミングが合わないため、映像自体が表示されなかったり、時間的にずれた映像を表示することになるため、動きのある映像に対しては、本来動き続けて表示されるべき映像が動いたり止まったりして見える、いわゆるモーションジャダーと呼ばれる画質劣化が生じる場合がある。

　これらの技術に関する背景技術として、特許文献１がある。特許文献１では、映像表示装置が受信した複数の映像フレームから被写体の動きを追跡することで、動きベクトルを探索し、その動きベクトルに応じて、映像フレームに含まれる被写体の位置を移動させた新たな映像フレームを生成する動き補正型のフレーム補間技術が開示されている。この動き補正型フレーム補間技術は、上記モーションジャダーによる画質劣化の抑圧に有効であり、画質劣化の少ない高画質な表示が可能である。

特開平１１－１１２９３９号公報

　しかし、特許文献１に記載されているフレームレート変換技術は、一般的に、固定フレームレートから固定フレームレートへの変換を想定している。例えばフレームレート２４Ｈｚの映像入力を６０Ｈｚのフレームレートで表示したり、フレームレート５０Ｈｚの映像入力を６０Ｈｚに変換して出力したりするときに用いられる。また、フレームレート変換に伴う遅延を許容しており、基本的に可変フレームレートの映像が入力されることを想定していない。

　本発明の目的は、フレームレートが変動する映像出力装置の映像を、固定フレームレートの映像表示装置に、動きの滑らかさを損なわずに表示することが可能な映像表示装置、映像表示システム、及び映像表示方法を提供することにある。

　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、映像フレームレートが変動する映像信号を受信して、映像フレームを等間隔の固定フレームレートで表示する映像表示装置であって、映像受信部と、表示部と、映像受信部で受信した映像を表示部で表示する映像に変換する映像変換部とを備え、映像変換部は、映像受信部で受信する映像フレームのうち、表示部が表示で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、第１のフレームと前記第１のフレームよりも前に映像受信部で受信した第２のフレームを用いた時間方向補間処理により表示部が表示で用いる等間隔のタイミングのフレームである第３のフレームを生成し、第３のフレームを表示部へ出力するように構成する。

　本発明によれば、フレーム周期が変動する映像出力装置の映像を固定フレームレートの映像表示装置に入力しても、動きの滑らかさを保ちつつ高画質に表示することが可能となる映像表示装置、映像表示システム、及び映像表示方法を提供することができる。

実施例１における映像表示装置の構成を示すブロック図である。実施例１における外挿型フレーム補間を説明する図である。実施例１における外挿型フレーム補間を使用した場合の映像表示装置への入力と表示タイミングを説明する図である。実施例２における内挿型フレーム補間を説明する図である。実施例２における内挿型フレーム補間を使用した場合の映像表示装置への入力と表示タイミングを説明する図である。実施例３における映像表示システムの構成を示すブロック図である。実施例３における表示タイミングが既知である場合の映像表示装置への入力と表示タイミングを説明する図である。

　以下、本発明の実施例を、図面を用いて説明する。

　本実施例では、フレーム毎にフレーム周期が変動する映像信号を固定フレームレートの映像表示装置に表示する際に、入力映像信号に対して可能な限り遅延を少なくして表示する方法に関して説明する。

　図１は、本実施例における映像表示装置の構成を示すブロック図である。図１において、映像表示装置１１は、制御部１１６の制御下において、映像出力装置より出力され伝送されてきた映像信号１１０を受信部１１１が受信し、映像信号が一時記憶部（フレームメモリ：ＦＭ）１１２および１１３、フレーム補間部１１４、表示素子１１５を介して表示される。

　一方、受信部１１１が受信した映像信号１１０のフレーム間隔情報は制御部１１６へ送信され、制御部１１６がフレーム間隔情報に基づいて一時記憶部１１２および１１３、フレーム補間部１１４、表示素子１１５を制御して、表示素子のフレームレートに合わせた映像フレームを作成し表示する。これにより、動きの滑らかさを保ちつつ高画質表示を実現できる。

　なお、本実施例においては、受信された２つのフレームから補間フレームを作る例を示しているが、より多くのフレームを用いて補間フレームを作成することも可能である。フレーム補間技術に関しては、特許文献１などに記載の技術を用いればよい。

　また、本実施例は、固定フレームレートの映像表示装置であることを想定しており、表示素子の種類は問わない。現在一般的に用いられているＬＣＤ，ＯＬＥＤ，ＣＲＴのどれであっても構わないし、あるいは、表示素子との間に、何らかの信号処理装置があっても構わない。

　図２は、フレーム補間技術のうち、本実施例で用いる外挿形のフレーム補間技術を説明する図である。図２において、映像フレーム２０１は、一時記憶部１１３に記憶され、映像フレーム２０２は、一時記憶部１１２に記憶されている。フレーム補間部１１４は、映像フレーム２０１と２０２の映像の被写体の動きから動きベクトルを算出する。例えば、映像フレーム２０２上の被写体２０５が、映像フレーム２０１上の被写体２０４と同一であると判断された場合は、動きベクトルは２０７のようになる。この被写体の動きベクトルの算出は、画素毎に行ってもいいし、ブロック単位で行ってもよい。

　映像フレーム２０１と２０２の時間間隔をα、映像フレーム２０２と補間フレーム２０３の時間間隔をβとすると、動きベクトル２０７をβ/αした位置に被写体２０５を動かして被写体２０６として補間フレーム２０３を作成する。これにより、映像フレーム２０２よりも時間的に後の補間フレーム２０３を予測して作ることが可能となる。

　このようにして補間フレームを作成する技術を外挿型フレーム補間技術と呼び、外挿型フレーム補間技術により作成された映像フレームを外挿型フレーム補間映像と呼ぶ。本実施例は、補間フレームとして、この外挿型フレーム補間映像を用いることで、表示映像の動きの滑らかさを保ちつつ、映像表示装置の入力に対する遅延の少ない映像表示を実現する。

　図３は、本実施例における、映像表示装置への映像入力と表示タイミングを説明する図である。図３（Ａ）は、映像出力装置より伝送され映像表示装置への入力となる映像フレーム（Ａ０，Ａ１，Ａ２）を示し、図３（Ｂ）は、映像表示装置により表示される映像フレーム（Ｂ０，Ｂ１，Ｂ２）を示している。すなわち、映像出力装置のフレーム間隔が変動しｔ１であったりｔ２であったりするのに対し、映像表示装置側のフレームレートは固定でｔ０であることを示している。

　フレーム補間部１１４は、映像表示装置がＢ１のタイミングの映像フレームを出力しようとする際には、Ｂ１より前のタイミングで受信した入力画像Ａ１，Ａ０を用いて図２で説明したような外挿型のフレーム補間を行いＢ１のフレームを作り出してから表示を行う。この例の場合、図１における一時記憶部１１２にＡ１の画像、一時記憶部１１３にＡ０の画像が記憶されていることになる。

　同様に、映像表示装置がＢ２のタイミングの映像フレームを出力しようとする際には、Ｂ１より前のタイミングで受信した入力画像Ａ１，Ａ０を用いて図２に示されるような外挿型のフレーム補間を行いＢ２のフレームを作り出してから表示を行う。どの入力映像を用いて補間フレームを作成するかは制御部１１６により制御される。また、補間フレームと受信フレームの時間的位置関係に応じて図２に記載されているようなα、βの値が出力フレーム毎に計算される。なお、上記フレーム補間に用いるフレームは２つに限定されず、複数のフレームで補間してもよい。

　以上のように外挿型のフレーム補間技術を用いることで、描画時間に依存してフレーム毎にフレーム周期が変動する映像信号を、固定フレームレートの映像表示装置に入力しても、動きの滑らかさを保ちつつ高画質に表示することが可能となる。

　言い換えれば、フレーム周期が変動する映像信号が、映像表示装置側で想定した時間に届かなかった場合は、過去に受信した複数の映像フレームから、映像表示装置が表示する時間タイミングの映像を動き補正型のフレーム補間技術により予測して作りだし、表示時間タイミングにおいて、この予測して作り出した映像フレームを表示することで、動きの滑らかさを保ちつつ高画質に表示することが可能となる。

　本実施例では、フレーム毎にフレーム周期が変動する映像信号を固定フレームレートの映像表示装置に表示する際に、入力映像信号に対する表示映像の遅延を許容することで、動きの滑らかを保ちつつ、実施例１の場合よりも高画質で表示を行う表示方法に関して説明する。

　本実施例における映像表示装置の構成ブロック図は実施例１の図１と同様である。図１において、フレーム補間部１１４の動作が実施例１とは異なるため、フレーム補間部１１４の動作に関して説明する。すなわち、実施例１では、フレーム補間部１１４が図２に示すような外挿型のフレーム補間技術を用いていたのに対し、本実施例では図４に示すような内挿型のフレーム補間技術を用いる。

　図４は、フレーム補間技術のうち、本実施例で用いる内挿形のフレーム補間技術を説明する図である。図４において、映像フレーム４０１は、一時記憶部１１３に記憶され、映像フレーム４０３は、一時記憶部１１２に記憶されている。フレーム補間部１１４は、映像フレーム４０１と４０３の映像の被写体の動きから動きベクトルを算出する。例えば、映像フレーム４０３上の被写体４０６が、映像フレーム４０１上の被写体４０４と同一であると判断された場合は、動きベクトルは４０７のようになる。

　映像フレーム４０１と補間フレーム４０２の時間間隔をα、映像フレーム４０３と補間フレーム４０２の時間間隔をβとすると、動きベクトル４０７をα/（α＋β)した位置に被写体４０４の位置を動かして被写体４０５として補間フレーム４０２を作成する。これにより、映像フレーム４０１と映像フレーム４０３の間にある補間フレーム４０２を予測して作ることが可能となる。

　このようにして補間フレームを作成する技術を内挿型のフレーム補間技術と呼び、内挿型のフレーム補間技術により作成された映像フレームを内挿型フレーム補間映像と呼ぶ。本実施例は、補間フレームとして、この内挿型フレーム補間映像を用いることで、入力映像信号に対する表示映像の遅延が発生するが、表示映像の動きの滑らかさを保ちつつ、より高画質な映像表示を実現できる。

　図５は、本実施例における、映像表示装置への映像入力と表示タイミングを説明する図である。図５（Ａ）は、映像出力装置より伝送され、映像表示装置への入力となる映像フレーム（Ａ０，Ａ１，Ａ２）を示し、図５（Ｂ）は、映像表示装置により表示される映像フレーム（Ｂ０，Ｂ１，Ｂ２）を示している。

　フレーム補間部１１４は、映像表示装置がＢ０のタイミングの映像フレームを出力しようとする際には、Ｂ０と前後するタイミングで受信した入力画像Ａ０，Ａ１を用いて図４に示されるような内挿型のフレーム補間を行いＢ０のフレームを作り出して表示を行う。この例の場合、図１における一時記憶部１１２にＡ１の画像、一時記憶部１１３にＡ０の画像が記憶されていることになる。どの入力映像を用いて補間フレームを作成するかは制御部１１６により制御される。

　同様に、映像表示装置がＢ１のタイミングの映像フレームを出力しようとする際には、Ｂ１と前後するタイミングで受信した入力画像Ａ１，Ａ２を用いて図４に示されるような内挿型のフレーム補間を行いＢ１のフレームを作り出して表示を行う。また、補間フレームと受信フレームの時間的位置関係に応じて図４に記載されているようなα、βの値が出力フレーム毎に計算される。なお、上記フレーム補間に用いるフレームは２つに限定されず、複数のフレームで補間してもよい。

　本実施例の場合、既に伝送されてきた映像より遅いタイミングで表示することになるため、表示される映像の表示時間と、入力映像の時間差が大きくなるというデメリットがあるが、一般的に外挿型フレーム補間技術よりも内挿型フレーム補間技術により作成した映像フレームの方が、画像の品質が高いため、映像の遅延が許容できる場合であれば、内挿型のフレーム補間技術を使うことで、動きの滑らかさを保ちつつ高画質に表示することが可能となる。

　なお、実施例１の外挿型フレーム補間と内挿型フレーム補間を組み合わせてフレーム補間を行ってもよい。

　本実施例では、映像出力装置から映像表示装置に表示タイミングであるフレーム間隔に関する情報を伝送する場合について説明する。この場合、映像表示装置は、フレーム補間による映像フレームを使うか、伝送されてきた映像フレームを使うかの切り替えが可能となり、フレーム補間画像を使うことによる画質劣化を低減することが可能となる。

　図６は、本実施例における映像表示システムの構成を示すブロック図である。本実施例では、例えば映像出力装置１０と映像表示装置１１をＨＤＭＩ（High Definition Multimedia Interfaceの略称。HDMI, LLCの登録商標）などで接続し、映像出力装置１０が出力した映像信号を映像表示装置１１へ伝送して映像を表示するシステムを想定する。

　図６において、映像出力装置１０の内部構成は、描画部１０１と送信部１０２、制御部１０３、描画時間予測部１０４を有する。一方、映像表示装置１１の内部構成において、図１と同じ機能の構成は同じ符号を付しており、その説明は省略する。図１と異なる点は、映像切り替え部１１７を有する点である。

　この映像表示システムでは、映像出力装置１０は制御部１０３の制御下において、描画部１０１が描画したフレームを送信部１０２から映像表示装置１１へ映像信号として出力する。同時に描画時間予測部１０４が次のフレームの描画にかかる描画時間を描画内容に基づいて予測し、その予測結果から次のフレームを映像信号として出力するまでのフレーム間隔を算出して、送信部１０２が描画部１０１の描画した映像信号と共に、フレーム間隔に関する情報として映像表示装置１１へ出力する。

　映像表示装置１１の制御部１１６と映像出力装置１０は、送信部１０２と受信部１１１を結ぶ例えばＨＤＭＩの映像伝送線を通じて、制御情報を交換し、映像表示装置１１が対応可能な範囲で映像信号のフォーマットを決め、映像信号のメタデータを送受信する。受信部１１１が受信したフレーム間隔に関する情報は制御部１１６へ伝えられ、制御部１１６がフレーム間隔に関する情報に基づいて一時記憶部１１２および１１３、フレーム補間部１１４、表示素子１１５を制御する。

　以下の説明では、伝送フレーム間隔がフレーム毎に異なる映像フォーマットとその伝送フレーム間隔のメタデータを送信できる映像出力装置と、受信できる映像表示装置の組合せであることを確認後の動作としている。

　映像切り替え部１１７は、フレーム補間された映像を用いるのか、伝送されてきた映像フレームをそのまま使うかを切り替える。この切り替えは、映像出力装置より伝送されてきたフレーム間隔に関する情報を利用して算出した映像フレーム間隔予測値である映像信号が入力されるタイミングと、映像表示装置が表示しようとするタイミングが近い場合、伝送されてきた映像フレームに切り替え、映像表示装置が表示しようとするタイミングに近くない場合、フレーム補間された映像に切り替える。この切り替えにより、フレーム補間映像を使う頻度を減らすことが可能となり、フレーム補間による画質劣化を抑えることが可能となる。映像表示装置１１が表示しようとするタイミングに近いかどうかは、表示しようとする時間に対して、伝送されてくるフレーム間隔に関する情報から算出した映像信号が入力されるタイミングとの差の絶対値が、あらかじめ設定したしきい値ＴＨ以内に入っているかどうかにより判定すればよい。

　この切り替え動作を、図７を用いて説明する。図７は、本実施例における、映像表示装置への映像入力と表示タイミングを説明する図である。図７（Ａ）は、映像出力装置より伝送され、映像表示装置への入力となる映像フレーム（Ａ０，Ａ１，Ａ２）を示し、図７（Ｂ）は、映像表示装置により表示される映像フレーム（Ｂ０，Ｂ１，Ｂ２）を示している。映像切り替え部１１７は、映像表示装置が映像を出力するタイミングと、映像表示装置に映像信号が入力されるタイミングとを比較する。映像表示時間ｔ_ｏｕｔに対して、映像受信時間ｔ_ｉｎの差が、スレッショルド値ＴＨ以内にあるかどうかを比較し、｜ｔ_ｏｕｔ－ｔ_ｉｎ｜＞＝ＴＨの場合には、フレーム補間部１１４に作成された補間フレームを出力し、｜ｔ_ｏｕｔ－ｔ_ｉｎ｜＜ＴＨの場合には、受信した映像フレームの方を出力する。例えば、図７に示すＢ１のタイミングの映像フレームを出力しようとする際には、Ｂ１より前のタイミングで受信した入力画像Ａ１，Ａ０を用いて図２で説明したような外挿型のフレーム補間を行い、Ｂ１のフレームを作り出してから表示を行う。この例の場合、図６における一時記憶部１１２にＡ１の画像、一時記憶部１１３にＡ０の画像が記憶されていることになる。同様に、映像表示装置がＢ２のタイミングの映像フレームを出力しようとする際には、映像信号が入力されるタイミング（Ａ２）と出力する映像の表示時間（Ｂ２）との差がスレッショルド値ＴＨより小さいため、受信した映像フレームＡ２の方を表示素子に表示する。

　なお、上記では、フレーム補間の例として、外挿型のフレーム補間を用いて説明したが、内挿型のフレーム補間を用いて、受信した映像フレームとを切り替えるようにしてもよい。

　また、この切り替え動作は、映像出力装置の出力する情報どおりに映像が届かなかった場合にも活用可能である。すなわち、何らかの理由で映像出力装置の出力する表示間隔どおりに映像が届かなかった場合には、伝送フレーム側に切り替えるのではなく、フレーム補間された映像に切り替えることで、映像出力装置の都合で出力が遅れてしまった映像であっても、動きの滑らかさを保ちつつ高画質な表示が可能となる。

１０：映像出力装置、１１：映像表示装置、１０１：描画部、１０２：送信部、１０３：制御部、１０４：描画時間予測部、１１０：映像信号、１１１：受信部、１１２、１１３：一時記憶部、１１４：フレーム補間部、１１５：表示素子、２０１、２０２：映像フレーム、２０３：補間フレーム、２０４、２０５、２０６：被写体、２０７：被写体の動きを示す動きベクトル、４０１、４０３：映像フレーム、４０２：補間フレーム、４０４、４０５、４０６：被写体、４０７：動きベクトル

Claims

　映像フレームレートが変動する映像信号を受信して、映像フレームを等間隔の固定フレームレートで表示する映像表示装置であって、
　映像受信部と、表示部と、前記映像受信部で受信した映像を前記表示部で表示する映像に変換する映像変換部とを備え、
　前記映像変換部は、前記映像受信部で受信する映像フレームのうち、前記表示部が表示で用いる等間隔のタイミングと合わないタイミングで受信した第１のフレームについては、前記第１のフレームと前記第１のフレームよりも前に前記映像受信部で受信した第２のフレームを用いた時間方向補間処理により前記表示部が表示で用いる等間隔のタイミングのフレームである第３のフレームを生成し、前記第３のフレームを前記表示部へ出力することを特徴とする映像表示装置。
　請求項１に記載の映像表示装置であって、
　前記第３のフレームは、前記表示部が表示で用いる等間隔のタイミングであって前記第１のフレームの受信タイミングよりも後のタイミングのフレームであり、
　前記時間方向補間処理は、外挿型フレーム補間であることを特徴とする映像表示装置。
　請求項１に記載の映像表示装置であって、
　前記第３のフレームは、前記表示部が表示で用いる等間隔のタイミングであって前記第１のフレームの受信タイミングよりも前のタイミングであり、かつ、前記第２のフレームの受信タイミングよりも後のフレームであり、
　前記時間方向補間処理は、内挿型フレーム補間であることを特徴とする映像表示装置。
　請求項１に記載の映像表示装置であって、
　前記映像信号に付与されたフレーム間隔に関する情報を受信し、受信した映像フレームを表示するか、前記時間方向補間処理により補間したフレームを表示するかを選択する映像切り替え部を有することを特徴とする映像表示装置。
　映像フレーム単位で映像信号を出力する映像出力装置と該映像出力装置から受信した映像フレームを表示する映像表示装置から構成される映像表示システムであって、
　前記映像出力装置は、第１フレームと第２フレーム間のフレーム間隔に関する情報を前記映像信号に付与して出力し、
　前記映像表示装置は、前記フレーム間隔に関する情報を受信して、前記映像信号が入力されるタイミングを取得するとともに、該映像信号が入力されるタイミングに応じて、受信した前記映像信号の映像フレームを表示するか、時間方向補間処理により補間したフレームを出力するかを選択する映像切り替え部を有することを特徴とする映像表示システム。
　請求項５に記載の映像表示システムであって、
　前記時間方向補間処理は、外挿型フレーム補間であることを特徴とする映像表示システム。
　映像フレームレートが変動する映像信号を受信して、映像フレームを等間隔の固定フレームレートで表示する映像表示方法であって、
　前記等間隔の固定フレームレートのタイミングと合わないタイミングで受信した第１のフレームについては、該第１のフレームと該第１のフレームよりも前に受信した第２のフレームを用いた時間方向補間処理により前記等間隔のタイミングのフレームである第３のフレームを生成し、該第３のフレームを表示することを特徴とする映像表示方法。
　請求項７に記載の映像表示方法であって、
　前記第３のフレームは、前記等間隔のタイミングであって前記第１のフレームの受信タイミングよりも後のタイミングのフレームであり、
　前記時間方向補間処理は、外挿型フレーム補間であることを特徴とする映像表示方法。
　請求項７に記載の映像表示方法であって、
　前記第３のフレームは、前記等間隔のタイミングであって前記第１のフレームの受信タイミングよりも前のタイミングであり、かつ、前記第２のフレームの受信タイミングよりも後のフレームであり、
　前記時間方向補間処理は、内挿型フレーム補間であることを特徴とする映像表示方法。
　請求項７に記載の映像表示方法であって、
　前記映像信号に付与されたフレーム間隔に関する情報を受信し、受信した映像フレームを表示するか、前記時間方向補間処理により補間したフレームを表示するかを選択することを特徴とする映像表示方法。