JP5259867B2 - Video display device and video processing method - Google Patents

Video display device and video processing method Download PDF

Info

Publication number
JP5259867B2
JP5259867B2 JP2012213159A JP2012213159A JP5259867B2 JP 5259867 B2 JP5259867 B2 JP 5259867B2 JP 2012213159 A JP2012213159 A JP 2012213159A JP 2012213159 A JP2012213159 A JP 2012213159A JP 5259867 B2 JP5259867 B2 JP 5259867B2
Authority
JP
Japan
Prior art keywords
processing
video
module
video signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012213159A
Other languages
Japanese (ja)
Other versions
JP2013048446A (en
Inventor
健一 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012213159A priority Critical patent/JP5259867B2/en
Publication of JP2013048446A publication Critical patent/JP2013048446A/en
Application granted granted Critical
Publication of JP5259867B2 publication Critical patent/JP5259867B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施の形態は、映像表示装置及び映像信号の映像処理方法に関する。   Embodiments described herein relate generally to a video display device and a video signal video processing method.

ゲーム機器を接続することにより、ユーザーがゲームを楽しむことのできるテレビジョン受信装置(以下「テレビ」という。)が普及している。ユーザーは、テレビの外部入力端子にゲーム機器を接続して動作させることにより、ゲーム機器で生成された映像及び音声がテレビのディスプレイ及びスピーカから出力される。即ち、テレビをゲーム機器の外部出力装置として用いることにより、ユーザーは大きな画面でゲームを楽しむことができる。   2. Description of the Related Art Television receivers (hereinafter referred to as “TVs”) that allow users to enjoy games by connecting game machines have become widespread. The user connects and operates the game device to the external input terminal of the television, whereby the video and audio generated by the game device are output from the television display and speaker. That is, by using a television as an external output device of a game machine, a user can enjoy a game on a large screen.

近年のテレビでは、画質改善のために種々の映像信号の処理が行われている。映像信号を処理するためには、フレーム単位の情報及び処理が必要であることから、所定の時間を要する。通常の放送番組等の視聴においては、例えば50ミリ秒(ms)未満の僅かな表示遅延が問題になることはない。しかし、ゲーム機器から出力された映像信号が遅延して表示されると、その表示に対するユーザーの操作が遅れることになり、ユーザーが違和感を感じたり、あるいはゲームの結果が変わったりする等の問題が生じるおそれがあった。例えば、表示画面上を高速移動する標的を撃つシューティングゲームにおいては、僅かな遅延時間でも、シューティングのタイミングがずれてしまう。   In recent televisions, various video signals are processed to improve image quality. In order to process the video signal, since information and processing in units of frames are necessary, a predetermined time is required. In viewing a normal broadcast program or the like, a slight display delay of, for example, less than 50 milliseconds (ms) does not become a problem. However, if the video signal output from the game device is displayed with a delay, the user's operation on the display will be delayed, causing the user to feel uncomfortable or changing the result of the game. There was a risk of it occurring. For example, in a shooting game in which a target that moves at high speed on the display screen is shot, the shooting timing is shifted even with a slight delay time.

このため、例えば、ゲームを行う場合には、入力された映像信号のデジタル演算処理を省略して、遅延時間を短縮することのできる表示装置が知られている。   For this reason, for example, in the case of playing a game, a display device that can shorten the delay time by omitting the digital calculation processing of the input video signal is known.

特開2005−338605号公報JP 2005-338605 A

本発明は、ゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像表示装置及び映像処理方法を提供することを目的とする。   An object of the present invention is to provide a video display device and a video processing method that do not give a user a sense of incongruity when displaying game content or the like.

本発明の一態様の映像表示装置は、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御する。   A video display device according to one embodiment of the present invention includes a video processing module that outputs a display video signal generated by performing at least image quality enhancement processing and double speed processing on an input video signal to a display module, and the video signal A controller for receiving a low-delay processing instruction with a short delay time for the display video signal, and a frame memory for storing the video signal for at least one frame, wherein the video signal processing module is stored in the frame memory. The video signal is processed, and the display video signal is output. When the controller receives the low-delay processing instruction, the video signal of the at least one frame starts processing to be stored in the frame memory. Then, after the first predetermined time has elapsed, before the storage process is completed, at least the image quality improvement process is started. The video processing module is configured to control the video processing module, and to start the double speed processing after the second predetermined time has elapsed from the start of the at least image quality improvement processing and before the completion of the at least image quality improvement processing. Control the module.

実施の形態のテレビジョン受信装置の構成図である。It is a block diagram of the television receiver of embodiment. テレビジョン受信装置の映像信号処理を説明するための構成図であり、図2(A)は低遅延処理OFFの場合を、図2(B)は低遅延処理ONの場合を示している。It is a block diagram for demonstrating the video signal processing of a television receiver, FIG. 2 (A) has shown the case where the low delay process is OFF, and FIG. 2 (B) has shown the case where the low delay process is ON. テレビ101の遅延時間を説明するためのタイムチャートである。6 is a time chart for explaining a delay time of the television 101. FIG. 表示映像信号の種類による表示パネルにおける表示状態を説明するための図であり、図4(A)は1080pの表示パネルに表示された720pの映像信号の表示状態を、図4(B)は1080pの表示パネルに表示された480pの映像信号の表示状態を示している。It is a figure for demonstrating the display state in the display panel by the kind of display video signal, FIG. 4 (A) is a display state of the 720p video signal displayed on the 1080p display panel, FIG.4 (B) is 1080p. The display state of the 480p video signal displayed on the display panel is shown. 実施の形態のテレビジョン受信装置の信号処理を説明するための構成図である。It is a block diagram for demonstrating the signal processing of the television receiver of embodiment. 同期補償モジュールを説明するための、入力映像信号の同期信号と表示映像信号の同期信号との関係を示した構成図である。It is the block diagram which showed the relationship between the synchronizing signal of an input video signal and the synchronizing signal of a display video signal for demonstrating a synchronous compensation module. 実施の形態のテレビジョン受信装置の映像信号処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the video signal process of the television receiver of embodiment. 実施の形態のテレビジョン受信装置における処理モード選択方法を説明するための表示画面を示す図である。It is a figure which shows the display screen for demonstrating the processing mode selection method in the television receiver of embodiment. 「追い越し現象」を説明するための説明図であり、図9(A)は書き込み映像を、図9(B)は読み出し映像を、図9(C)は書き込み/読み出しのときのタイムチャートを示している。FIG. 9A is an explanatory diagram for explaining the “overtaking phenomenon”, FIG. 9A shows a written video, FIG. 9B shows a read video, and FIG. 9C shows a time chart at the time of writing / reading. ing. 本実施の形態における信号処理を説明するためのタイムチャートである。It is a time chart for demonstrating the signal processing in this Embodiment. 実施の形態のテレビジョン受信装置の遅延時間を説明するためのタイムチャートである。It is a time chart for demonstrating the delay time of the television receiver of embodiment.

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の一実施形態に係る映像表示装置を示すブロック図である。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a video display apparatus according to an embodiment of the present invention.

図1に示すように、映像表示装置であるテレビジョン受信装置(テレビ)1は、チューナ11と、外部入力端子12と、前段処理モジュール13と、フレームメモリ14と、映像処理モジュール30と、操作入力部21と、コントローラ20と、オーディオプロセッサ16と、音声遅延処理モジュール17と、を具備する。なお説明の都合上、フレームメモリ14と映像処理モジュール30とを区別しているが、フレームメモリ14は映像処理モジュール30の機能の一部とみなすこともできるし、フレームメモリ14及び映像処理モジュール30等は、ひとつのシステムLSIに実装されていてもよい。   As shown in FIG. 1, a television receiver (television) 1 as a video display device includes a tuner 11, an external input terminal 12, a pre-processing module 13, a frame memory 14, a video processing module 30, and an operation. An input unit 21, a controller 20, an audio processor 16, and an audio delay processing module 17 are provided. For convenience of explanation, the frame memory 14 and the video processing module 30 are distinguished from each other. However, the frame memory 14 can be regarded as a part of the function of the video processing module 30, and the frame memory 14, the video processing module 30, and the like. May be mounted on one system LSI.

そして、テレビ1は、アンテナ2がチューナ11と、ゲーム操作部4を有するゲーム機器3が外部入力端子12と接続され、表示モジュールである表示パネル15に映像を、音声出力モジュールであるスピーカ18に音声を出力する。   In the television 1, the antenna 2 is connected to the tuner 11, and the game device 3 having the game operation unit 4 is connected to the external input terminal 12, and an image is displayed on the display panel 15 that is a display module, and the speaker 18 that is an audio output module. Output audio.

チューナ11は、BS放送、CS放送等の衛星放送、地上波放送等の放送信号等を選局/処理して、映像信号及び音声信号を出力する。チューナ11は、ケーブルTV回線等の通信回線からの信号も受信可能である。   The tuner 11 selects / processes broadcast signals such as satellite broadcasts such as BS broadcasts and CS broadcasts, and terrestrial broadcasts, and outputs video signals and audio signals. The tuner 11 can also receive a signal from a communication line such as a cable TV line.

外部入力端子12は、コンポジッット信号、S端子信号、色差信号、D−sub信号等の信号形態によるゲーム機器3及びハードディスクレコーダー等をはじめとする外部装置からの映像信号/音声信号を外部入力として受ける。   The external input terminal 12 receives, as an external input, a video signal / audio signal from an external device such as a game machine 3 and a hard disk recorder in a signal form such as a composite signal, an S terminal signal, a color difference signal, and a D-sub signal. .

前段処理モジュール13は、チューナ11及び外部入力端子12からの複数の映像信号/音声信号等を受け、いずれかの映像信号/音声信号を選択し、前段処理を行うとともに、映像信号をフレームメモリ14に、音声信号をオーディオプロセッサ16に出力する。   The pre-processing module 13 receives a plurality of video signals / audio signals and the like from the tuner 11 and the external input terminal 12, selects one of the video signals / audio signals, performs pre-processing, and stores the video signal in the frame memory 14 The audio signal is output to the audio processor 16.

映像信号はフレームメモリ14を介して、後に詳述する映像処理モジュール30で信号処理され、表示映像信号が表示パネル15に出力される。音声信号は、オーディオプロセッサ16で信号処理された後に、映像信号の遅延時間に応じて、音声信号を遅延処理する音声遅延処理モジュール17を介してスピーカ18に出力される。   The video signal is signal-processed by a video processing module 30 described later in detail through the frame memory 14, and the display video signal is output to the display panel 15. The audio signal is processed by the audio processor 16 and then output to the speaker 18 via the audio delay processing module 17 that delays the audio signal in accordance with the delay time of the video signal.

操作入力部21は、ユーザ操作に基づく操作信号を発生してコントローラ20に与える。コントローラ20は、操作入力部21からの操作信号に基づいてテレビ1の全体の制御を行うCPUである。コントローラ20は、映像処理モジュール30を、入力された映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をオンにして動作させるか、低遅延処理の動作をオフにして動作させるかを切換えることができるようになっている。   The operation input unit 21 generates an operation signal based on a user operation and gives it to the controller 20. The controller 20 is a CPU that controls the entire television 1 based on an operation signal from the operation input unit 21. The controller 20 determines whether to operate the video processing module 30 by turning on the low delay processing operation with a short delay time of the display video signal with respect to the input video signal or by turning off the low delay processing operation. It can be switched.

コントローラ20は、映像モードに応じて、低遅延処理の動作をオン,オフ制御することができる。テレビ1は、映像モードとして、例えば、おまかせ/あざやか/標準/テレビプロ/映画プロ/ゲーム/PC等のモードに応じた動作が可能である。例えば、コントローラ20は、映像モードとして、ゲーム又はPCが選択された場合に、低遅延処理の動作をオンにするようになっている。なお、コントローラ20は、映像モードが、おまかせ/あざやか/標準/テレビプロ/映画プロである場合には、低遅延処理の動作をオフにして通常処理を行うようになっている。なお、操作入力部21によって低遅延処理の動作のオン,オフを直接指定するようにしてもよく、この場合には、コントローラ20は操作入力部21からの操作信号に基づいて低遅延処理の動作をオン,オフする。   The controller 20 can turn on and off the low-delay processing operation according to the video mode. The television 1 can operate in accordance with, for example, modes such as Omakase / Azayaka / Standard / TV Pro / Movie Pro / Game / PC as video modes. For example, the controller 20 turns on the low-delay processing operation when a game or PC is selected as the video mode. Note that the controller 20 is configured to perform normal processing with the operation of the low-delay processing turned off when the video mode is Auto / Azure / Standard / TV Pro / Movie Pro. The operation input unit 21 may directly specify on / off of the operation of the low delay processing. In this case, the controller 20 operates the operation of the low delay processing based on the operation signal from the operation input unit 21. On and off.

コントローラ20は、低遅延処理ONモードの場合には、低遅延処理の動作をオンにして映像処理モジュール30を動作させる。   In the case of the low delay processing ON mode, the controller 20 turns on the low delay processing operation and operates the video processing module 30.

ここで、テレビ1と対比するために、テレビ1とは異なる方法で遅延時間を短縮するテレビ101について説明する。テレビ101は、フレームメモリ14及び映像処理モジュール30に夫々代えてフレームメモリ114A及び映像処理モジュール130を採用する。テレビ101では、遅延時間を短縮する低遅延処理が選択されるとコントローラ20は、映像処理モジュール130による一部の信号処理を省略するように制御する。   Here, for comparison with the television 1, a television 101 that shortens the delay time by a method different from the television 1 will be described. The television 101 employs a frame memory 114A and a video processing module 130 in place of the frame memory 14 and the video processing module 30, respectively. In the television 101, when the low delay process for reducing the delay time is selected, the controller 20 performs control so that a part of the signal processing by the video processing module 130 is omitted.

即ち、テレビ101は低遅延処理OFFの場合(低遅延処理OFFモード)には、図2(A)に示す映像処理モジュール130の信号処理を全て行うのに対して、低遅延処理ONの場合(低遅延処理ONモード)には、図2(B)に示すように、高画質化モジュール134による高画質化処理しか行わない。   That is, the television 101 performs all signal processing of the video processing module 130 shown in FIG. 2A when the low delay processing is OFF (low delay processing OFF mode), whereas when the low delay processing is ON ( In the low delay processing ON mode), as shown in FIG. 2B, only the image quality improvement processing by the image quality improvement module 134 is performed.

テレビ101の映像処理モジュール130は、IP変換/NR(ノイズリダクション)モジュール131と、スケーラー133と、フレームメモリ114Bと、高画質化モジュール134と、超解像モジュール132と、倍速処理モジュール136と、を有する。   The video processing module 130 of the television 101 includes an IP conversion / NR (noise reduction) module 131, a scaler 133, a frame memory 114B, a high image quality module 134, a super-resolution module 132, a double speed processing module 136, Have

IP(Interlace/Progressive)変換/NR(Noise Reduction)モジュール131は、インターレース方式の映像信号をプログレッシブ方式の映像信号へ変換するIP変換処理を行うとともに、映像の、ざらつき、ちらつき、ブロッキングノイズ及び、モスキートノイズを低減するノイズリダクション処理を行う。即ち、IP変換/NRモジュール131は、IP変換処理モジュールとNRモジュールとから構成されている。なお、プログレッシブ方式の入力映像信号に対しては、IP変換処理は行われない。また、入力映像信号のノイズが少ない場合等にはノイズリダクション処理を省略してもよい。即ち、IP変換/NRモジュール131では、IP変換及びノイズリダクション処理の少なくとも一方が行われる。   An IP (Interlace / Progressive) conversion / NR (Noise Reduction) module 131 performs an IP conversion process for converting an interlace video signal into a progressive video signal, and also provides video roughness, flicker, blocking noise, and mosquito. Perform noise reduction processing to reduce noise. That is, the IP conversion / NR module 131 includes an IP conversion processing module and an NR module. Note that the IP conversion process is not performed on progressive input video signals. Further, when the noise of the input video signal is low, the noise reduction process may be omitted. That is, the IP conversion / NR module 131 performs at least one of IP conversion and noise reduction processing.

スケーラー133は、表示パネル15の仕様と異なる映像信号に対して、表示パネル15の仕様にあわせたスケーリング処理を行う。例えば、入力映像信号のアスペクト比が4:3で、表示パネルのアスペクト比が16:9の場合、スケーラー133は、入力映像信号を、アスペクト比が16:9の表示映像信号に変換する。   The scaler 133 performs a scaling process in accordance with the specifications of the display panel 15 on a video signal different from the specifications of the display panel 15. For example, when the aspect ratio of the input video signal is 4: 3 and the aspect ratio of the display panel is 16: 9, the scaler 133 converts the input video signal into a display video signal having an aspect ratio of 16: 9.

フレームメモリ114Bは、後段の高画質化モジュール134での高画質化処理のために、前段のフレームメモリ114Aと同様に、映像信号をフレーム単位で記憶(格納)する。なお、フレームメモリ114Aとフレームメモリ114Bとは、それぞれが少なくとも1フレームの映像信号を記憶可能であれば、ひとつのメモリの記憶領域を使い分けて使用しても良い。   The frame memory 114B stores (stores) video signals in units of frames in the same manner as the previous frame memory 114A for high image quality processing by the subsequent image quality improving module 134. Note that the frame memory 114A and the frame memory 114B may use different storage areas of one memory as long as each can store a video signal of at least one frame.

高画質化モジュール134は、映像の画質を改善するために、例えば、色補正(ガンマ補正、ホワイトバランス調整、ブライトネス調整、コントラスト調整)、シャープネス調整、輪郭強調(エッジエンハンスメント)、及び応答速度向上等の高画質化処理を行う。   In order to improve the image quality of the video, the image quality enhancement module 134 is, for example, color correction (gamma correction, white balance adjustment, brightness adjustment, contrast adjustment), sharpness adjustment, contour enhancement (edge enhancement), response speed improvement, etc. Perform high image quality processing.

高解像度化モジュールである超解像モジュール132は、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、映像の元の解像度を超える映像を生成する。即ち、第1解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第2解像度である高解像度の映像信号を復元する。ここで、「本来の画素値」とは、例えば、低解像度(第1解像度)の映像信号を得たときと同じ被写体を、高解像度(第2解像度)のカメラで撮像したときに得られる映像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする映像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い映像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、映像の相関性を利用する。なお、超解像モジュール132は、公知技術、例えば、入力映像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する映像を復元する技術を用いる。   The super-resolution module 132, which is a high-resolution module, generates new pixel value data between pixels, creates a high frequency component, and sharpens it, so that an image exceeding the original resolution of the image can be obtained. Generate. That is, the original pixel value is estimated from the low-resolution video signal that is the first resolution and the number of pixels is increased, thereby restoring the high-resolution video signal that is the second resolution. Here, the “original pixel value” is, for example, an image obtained when the same subject as that obtained when a low resolution (first resolution) video signal is captured with a high resolution (second resolution) camera. A value indicated by each pixel of the signal. “Increase the number of pixels by estimation” means to capture the characteristics of the target video, estimate the original pixel value from the video with high correlation within the same frame or between frames, and create a new pixel. This means that the corresponding pixel value is used. That is, video correlation is used. The super-resolution module 132 uses a known technique, for example, a technique for restoring an image having a frequency component higher than the Nyquist frequency determined by the sampling period of the input image.

倍速処理モジュール136は、フレーム周波数50Hzの場合は100Hzへ、60Hz場合は120Hzと、フレーム周波数を倍にあげ、残像感を低減する倍速処理を行う。倍速処理としては、動き補償予測に基づき、連続する2つのフレームの間に挿入するための補間フレームを生成する方式でもよいし、単純に同じ映像を2回表示する、いわゆる「単純二度振り方式(Simple double repeat method)」であってもよい。   The double speed processing module 136 performs double speed processing that doubles the frame frequency to 100 Hz when the frame frequency is 50 Hz, and 120 Hz when the frame frequency is 60 Hz to reduce the afterimage feeling. As the double speed processing, a method of generating an interpolated frame to be inserted between two consecutive frames based on motion compensation prediction may be used, or a so-called “simple double swing method” in which the same video is simply displayed twice. (Simple double repeat method) ".

ここで、上記の各モジュールにおける信号処理に起因する遅延時間について説明する。フレームメモリ114A及びフレームメモリ114Bは、フレーム単位で映像信号を記憶してから出力するため、それぞれ1フレームの遅延時間発生の原因となる。倍速処理モジュール136も、1フレームの遅延時間発生の原因となる。なお、以下、フレーム周波数として60Hzを例に説明するが、この場合には、1フレームは、約16.7msに相当する。   Here, the delay time resulting from the signal processing in each module will be described. Since the frame memory 114A and the frame memory 114B store and output the video signal in units of frames, each causes a delay time of one frame. The double speed processing module 136 also causes a delay time of one frame. In the following description, the frame frequency is 60 Hz as an example. In this case, one frame corresponds to approximately 16.7 ms.

このため、図3に示すように、テレビ101では、例えば、低遅延処理OFFモードの場合には、3フレームの約50msの遅延時間が発生するが、低遅延処理ONモードの場合には、遅延時間を、2フレームの33.3msに短縮できる。   For this reason, as shown in FIG. 3, in the television 101, for example, a delay time of about 50 ms of 3 frames occurs in the low delay processing OFF mode, but in the low delay processing ON mode, the delay occurs. Time can be reduced to 33.3 ms for 2 frames.

しかし、図4に示すように、入力映像信号が、表示パネル15の仕様(1080p)よりも小さい720p、480pの場合には、画面の上下に無信号領域(黒領域)を表示する時間が発生するために、より遅延時間が長く、それぞれ38.3ms、41.3msである。なお、低遅延処理OFFモードの場合にはスケーリング処理を行っているため、入力映像信号が720pまたは480pの場合でも遅延時間は1080pの場合と同じ50msである。   However, as shown in FIG. 4, when the input video signal is 720p or 480p smaller than the specification (1080p) of the display panel 15, a time for displaying the non-signal area (black area) at the top and bottom of the screen is generated. Therefore, the delay time is longer, 38.3 ms and 41.3 ms, respectively. Since the scaling process is performed in the low delay processing OFF mode, the delay time is 50 ms, which is the same as in the case of 1080p, even when the input video signal is 720p or 480p.

即ち、テレビ101では、高画質化モジュール134が、フレームメモリから直接、読み出した映像信号しか処理できない仕様であるため、低遅延処理モードの場合でも、高画質化処理4の直前にフレームメモリから映像信号を取り込む必要がある。その場合、フレームメモリ114Bから映像信号を読み出す構成では、映像信号はフレームメモリに2回格納されるので、遅延時間短縮効果は小さい。そのため、図2(B)に示すように、映像信号をフレームメモリ114Aから読み出すことで、テレビ101としては最小遅延時間の低遅延処理を実現している。しかし、そのためテレビ101では、低遅延処理モードの場合には、IP変換処理/NR処理及びスケーラー処理を行うことはできないため、480iまたは1080iなどのインターレース信号は処理できない。しかし、プログレッシブ信号をノンスケーリング(Dot By Dot)処理する場合には、遅延時間を短縮することができる。言い換えれば、テレビ101は、所定の制限のもと、低遅延処理モードが選択されると、遅延時間を短縮することができる。   That is, in the television 101, the image quality improvement module 134 has a specification that can process only the video signal read directly from the frame memory. Therefore, even in the low-delay processing mode, the image from the frame memory immediately before the image quality improvement processing 4 Need to capture signal. In this case, in the configuration in which the video signal is read from the frame memory 114B, the video signal is stored twice in the frame memory, so that the delay time reduction effect is small. Therefore, as shown in FIG. 2B, the television 101 realizes low delay processing with a minimum delay time by reading the video signal from the frame memory 114A. However, since the television 101 cannot perform IP conversion processing / NR processing and scaler processing in the low delay processing mode, it cannot process interlace signals such as 480i or 1080i. However, when the progressive signal is non-scaling (Dot By Dot), the delay time can be shortened. In other words, the television 101 can reduce the delay time when the low-delay processing mode is selected under a predetermined restriction.

これに対して、本実施の形態のテレビ1は、図2に示したテレビ101と類似した処理モジュール等を有する。図5は図1の詳細な構成、特に映像処理モジュール30の具体的な構成を示すブロック図である。図5のIP変換/NRモジュール31、スケーラー33、高画質化モジュール34、超解像モジュール32及び倍速処理モジュール36は、夫々図2(A)のIP変換/NRモジュール131、スケーラー133、高画質化モジュール134、超解像モジュール132及び倍速処理モジュール136と同様の処理を行うモジュールである。   On the other hand, the television 1 of the present embodiment has a processing module similar to the television 101 shown in FIG. FIG. 5 is a block diagram showing the detailed configuration of FIG. 1, particularly the specific configuration of the video processing module 30. The IP conversion / NR module 31, the scaler 33, the image quality enhancement module 34, the super-resolution module 32, and the double speed processing module 36 in FIG. 5 are respectively the IP conversion / NR module 131, the scaler 133, and the image quality in FIG. This is a module that performs the same processing as the conversion module 134, the super-resolution module 132, and the double speed processing module 136.

図5に示すように、本実施の形態のテレビ1は、テレビ101と比較すると、フレームメモリ114Bに相当するメモリが省略されており、かつ映像処理モジュール30における信号処理の順序が異なっている。即ち、映像解析モジュール22がフレームメモリ14に格納された映像信号を用いて解析処理を行うことができるため、テレビ101が有していたフレームメモリ114Bが不要であり、高画質モジュール34は、フレームメモリから映像を直接、読み出す必要のある仕様ではない。このため、テレビ1は、フレームメモリ14と、IP変換/NRモジュール31と、超解像モジュール32と、スケーラー33と、高画質化モジュール34と、倍速処理モジュール36と、映像解析モジュール22と、同期信号生成モジュール41と、クロック42と、同期補正モジュール43と、表示同期信号生成モジュール44と、を有する。なお、テレビ101において既に説明したモジュールと同名のモジュールの機能は同じであるため、説明は省略する。また、映像解析モジュール22と同期信号生成モジュール41とクロック42と同期補正モジュール43と、表示同期信号生成モジュール44とは、テレビ101も有していたが、説明を省略していた。   As shown in FIG. 5, the television 1 according to the present embodiment is different from the television 101 in that the memory corresponding to the frame memory 114B is omitted and the order of signal processing in the video processing module 30 is different. That is, since the video analysis module 22 can perform analysis processing using the video signal stored in the frame memory 14, the frame memory 114B that the television 101 has is unnecessary, and the high image quality module 34 It is not a specification that requires reading video directly from memory. Therefore, the television 1 includes a frame memory 14, an IP conversion / NR module 31, a super-resolution module 32, a scaler 33, an image quality enhancement module 34, a double speed processing module 36, a video analysis module 22, A synchronization signal generation module 41, a clock 42, a synchronization correction module 43, and a display synchronization signal generation module 44 are included. Note that the function of the module having the same name as the module already described in the television 101 is the same, and thus the description thereof is omitted. The video analysis module 22, the synchronization signal generation module 41, the clock 42, the synchronization correction module 43, and the display synchronization signal generation module 44 also have the television 101, but the description thereof is omitted.

映像解析モジュール22は、フレームメモリ14に記憶された映像信号を解析し、コントローラ20が映像処理モジュール30の制御に用いるフレーム情報を出力する。即ち、映像解析モジュール22は、例えば輝度レベルのダイナミックレンジをn分割し、1フレーム分の映像信号に対して、各輝度レベル1〜nに対応している画素数をカウントすることにより1フレーム分の輝度のヒストグラムデータを取得したりする。また、映像解析モジュール22は、例えば映像信号の周波数分布も検出する。なお、テレビ101では映像解析モジュールは、フレームメモリ114Bに格納された映像信号を解析し、高画質化モジュール134及び超解像モジュール132に出力していた。   The video analysis module 22 analyzes the video signal stored in the frame memory 14 and outputs frame information used by the controller 20 for controlling the video processing module 30. That is, the video analysis module 22 divides the dynamic range of the luminance level into n, for example, and counts the number of pixels corresponding to each of the luminance levels 1 to n for one frame, thereby counting one frame. Or obtain brightness histogram data. The video analysis module 22 also detects the frequency distribution of the video signal, for example. In the television 101, the video analysis module analyzes the video signal stored in the frame memory 114B and outputs the video signal to the high image quality module 134 and the super-resolution module 132.

図6に示すように、同期信号生成モジュール41は、入力された映像信号から同期信号を分離し生成する。クロック42は所定の周波数の信号を発生し、表示同期信号生成モジュール44はクロック42が発生した信号をもとに、表示パネル15が表示する表示映像信号の同期信号(表示同期信号)を発生する。   As shown in FIG. 6, the synchronization signal generation module 41 generates a synchronization signal by separating it from the input video signal. The clock 42 generates a signal having a predetermined frequency, and the display synchronization signal generation module 44 generates a synchronization signal (display synchronization signal) of the display video signal displayed on the display panel 15 based on the signal generated by the clock 42. .

同期補正モジュール43は、同期信号生成モジュール41が生成した映像信号の入力同期信号と、表示同期信号生成モジュール44が発生した表示同期信号と、を同期させる。表示装置として、フラットパネルディスプレイ(以下、FPDという)を採用した場合には、FPDにおいて表示に用いる水平及び垂直同期信号(以下、表示用同期信号という)は、入力映像信号の水平及び垂直同期信号(入力同期信号)とは非同期に発生される。FPDの表示用同期信号の周波数には許容範囲があり、入力同期信号がこの許容範囲(以下、同期補償期間という)内であれば、FPDは常に入力映像信号に基づく表示を行うことができる。   The synchronization correction module 43 synchronizes the input synchronization signal of the video signal generated by the synchronization signal generation module 41 and the display synchronization signal generated by the display synchronization signal generation module 44. When a flat panel display (hereinafter referred to as FPD) is adopted as the display device, horizontal and vertical synchronization signals (hereinafter referred to as display synchronization signals) used for display in the FPD are horizontal and vertical synchronization signals of the input video signal. It is generated asynchronously with (input synchronization signal). The frequency of the FPD display synchronization signal has an allowable range. If the input synchronization signal is within this allowable range (hereinafter referred to as a synchronization compensation period), the FPD can always perform display based on the input video signal.

しかし、表示用同期信号を入力同期信号に同期させない場合には、表示用同期信号の周波数と入力同期信号の周波数との差から表示用メモリがオーバーフロー又はアンダーフローする虞がある。この理由から、同期補正モジュール43は、表示同期信号を入力同期信号に同期化するようになっている。同期補正モジュール43は、所定の同期補償期間にある入力同期信号に同期した表示同期信号を生成し、表示パネル15に出力する。   However, if the display synchronization signal is not synchronized with the input synchronization signal, the display memory may overflow or underflow due to the difference between the frequency of the display synchronization signal and the frequency of the input synchronization signal. For this reason, the synchronization correction module 43 synchronizes the display synchronization signal with the input synchronization signal. The synchronization correction module 43 generates a display synchronization signal synchronized with an input synchronization signal in a predetermined synchronization compensation period, and outputs the display synchronization signal to the display panel 15.

本実施の形態においては、テレビ1では、低遅延処理ON(モード)においても、低遅延処理OFF(モード)の場合と同じく、映像処理モジュール30が、図5に示した全ての信号処理を行う。ただし、低遅延処理OFFの場合には、フレームメモリ14に1フレームの映像信号が記憶処理完了後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。これに対して、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、記憶処理を開始してから第1の待機時間である第1の所定時間(T1)経過後に、信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、フレームメモリ14に1フレームの映像信号が記憶処理完了するには、1フレーム相当時間(約16.7ms)を要するが、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、映像処理モジュール30の信号処理を開始するため、遅延時間を約1フレーム相当時間分だけ短くすることができる。第1の所定時間(T1)としては、例えば、3.65ms〜8.65ms(約0.2〜0.5フレーム期間)を採用することができる。   In the present embodiment, in the television 1, the video processing module 30 performs all the signal processing shown in FIG. 5 in the low delay processing ON (mode) as in the case of the low delay processing OFF (mode). . However, when the low delay processing is OFF, the controller 20 controls the video processing module 30 so that the signal processing is started after the storage processing of one frame of video signal in the frame memory 14 is completed. On the other hand, when the low delay processing is ON, the first waiting time after the storage processing is started without waiting for the completion of the storage processing of the video signal of one frame in the frame memory 14 is the first waiting time. The controller 20 controls the video processing module 30 to start signal processing after a predetermined time (T1) has elapsed. That is, it takes a time corresponding to one frame (about 16.7 ms) to complete the storing process of one frame of video signal in the frame memory 14, but when the low delay processing is ON, the time shorter than the time corresponding to one frame is used. Since the signal processing of the video processing module 30 is started after elapse of one predetermined time (T1), the delay time can be shortened by a time corresponding to about one frame. As the first predetermined time (T1), for example, 3.65 ms to 8.65 ms (about 0.2 to 0.5 frame period) can be employed.

更に、本実施の形態においては、低遅延処理ONの場合には、フレームメモリ14への1フレームの映像信号の記憶処理完了を待たないで、且つ、倍速処理モジュール36以外のモジュール31〜34の処理の完了を待つことなく、モジュール31〜34の処理の開始から第2の待機時間である第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するように、映像処理モジュール30をコントローラ20が制御する。即ち、低遅延処理ONの場合には、1フレーム相当時間よりも短い第1の所定時間(T1)経過後に、モジュール31〜34の信号処理を開始し、モジュール31〜34の信号処理の開始から第2の所定時間(T2)経過後に、倍速処理モジュール36の信号処理を開始するため、遅延時間を約1.5フレーム相当時間分だけ短くすることができる。なお、第2の所定時間(T2)としては、例えば、8.35ms(約0.5フレーム期間)を採用することができる。   Further, in the present embodiment, when the low delay processing is ON, the modules 31 to 34 other than the double speed processing module 36 do not wait for the completion of the storage processing of the video signal of one frame in the frame memory 14. The video processing is performed so that the signal processing of the double speed processing module 36 is started after the second predetermined time (T2) which is the second waiting time from the start of the processing of the modules 31 to 34 without waiting for the completion of the processing. The controller 30 controls the module 30. That is, in the case of the low delay processing ON, the signal processing of the modules 31 to 34 is started after the elapse of the first predetermined time (T1) shorter than the time corresponding to one frame, and the signal processing of the modules 31 to 34 is started. Since the signal processing of the double speed processing module 36 is started after the elapse of the second predetermined time (T2), the delay time can be shortened by a time corresponding to about 1.5 frames. As the second predetermined time (T2), for example, 8.35 ms (about 0.5 frame period) can be employed.

以下、図7のフローチャートを用いて、本実施の形態のテレビ1における映像処理モジュール30の処理の流れについて説明する。   Hereinafter, the flow of processing of the video processing module 30 in the television 1 of the present embodiment will be described using the flowchart of FIG.

<ステップS10>処理選択工程
信号処理モードとして、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作をON/OFFする処理選択が行われる。例えば、図8に示すようなメニュー画面を表示パネル15に表示し、ユーザーがリモコン等により、「ゲームダイレクト」の指定を「オフ」から「オン」に切り替えることにより、コントローラ20は映像モードをゲームに切換える。コントローラ20は、映像モードをゲームに切換えた場合には、低遅延処理ONモードを選択する。逆に、ユーザが「ゲームダイレクト」の指定を「オン」から「オフ」に切り替えた場合には、コントローラ20は、低遅延処理OFFモードを選択する。また、ゲーム機器3の専用の外部入力端子を有し、ゲーム機器3からの信号が入力されたときに、コントローラ20が自動的にゲームモードを設定すると共に、低遅延処理の動作をONにするようにしてもよい。
<Step S10> Process Selection Step As the signal processing mode, process selection is performed to turn on / off the operation of low delay processing with a short delay time of the display video signal with respect to the video signal. For example, a menu screen as shown in FIG. 8 is displayed on the display panel 15 and the controller 20 switches the designation of “game direct” from “off” to “on” with a remote controller or the like, whereby the controller 20 changes the video mode to the game mode. Switch to. When the video mode is switched to the game, the controller 20 selects the low delay processing ON mode. Conversely, when the user switches the designation of “game direct” from “on” to “off”, the controller 20 selects the low-delay processing OFF mode. Further, the game device 3 has a dedicated external input terminal, and when a signal is input from the game device 3, the controller 20 automatically sets the game mode and turns on the operation of the low delay processing. You may do it.

(低遅延処理OFFモード)
<ステップS11>記憶処理開始工程
低遅延処理がONではない場合(S10:No)、即ち、低遅延処理OFFモードの場合には、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される。
(Low delay processing OFF mode)
<Step S11> Storage Processing Start Process When the low delay processing is not ON (S10: No), that is, in the low delay processing OFF mode, the storage processing of the video signal for one frame in the frame memory 14 is started. The

<ステップS12>記憶処理完了?
フレームメモリ14に、1フレームの映像信号が、記憶処理完了するまで(S12:Yes)まで、コントローラ20は、映像処理モジュール30が信号処理を開始しないように制御する。
<Step S12> Storage process completed?
The controller 20 controls the video processing module 30 not to start signal processing until the storage processing of one frame of video signal in the frame memory 14 is completed (S12: Yes).

<ステップS13>信号処理工程
コントローラ20は、1フレームの映像信号が記憶処理完了すると(S12:Yes)、映像処理モジュール30を信号処理開始するように制御する。すると映像処理モジュール30は映像信号を、表示パネル15に表示する表示映像信号にする信号処理を行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、倍速処理とが順に行われる。
<Step S13> Signal Processing Step When the video signal of one frame is completed (S12: Yes), the controller 20 controls the video processing module 30 to start signal processing. Then, the video processing module 30 performs signal processing for converting the video signal into a display video signal to be displayed on the display panel 15. That is, as shown in FIG. 5, the IP conversion / NR processing, the super-resolution processing, the scaling processing, the image quality enhancement processing, the synchronization correction processing, and the double speed processing are performed in order.

なお、映像解析モジュール22の解析により、そのフレームの映像信号が極めて劣化した信号等のように表示パネル15に表示することが好ましくないことが判明した場合には、コントローラ20は、そのフレームの表示映像信号を表示パネル15に出力しない場合もある。   If the analysis by the video analysis module 22 reveals that it is not preferable to display the video signal of the frame on the display panel 15 such as a signal that is extremely deteriorated, the controller 20 displays the frame. In some cases, the video signal is not output to the display panel 15.

<ステップS14、S15>表示映像信号出力
映像処理モジュール30は映像信号を信号処理して、表示映像信号を表示パネル15に出力する。すると表示パネル15に信号処理された映像が表示される。そして、終了(S15:Yes)まで、S11からの処理が繰り返される。
<Steps S <b> 14 and S <b>15> Display Video Signal Output The video processing module 30 processes the video signal and outputs the display video signal to the display panel 15. Then, the signal-processed video is displayed on the display panel 15. Then, the processing from S11 is repeated until the end (S15: Yes).

(低遅延処理ONモード)
次に、低遅延処理ONモードにおける信号処理について図9及び図10を参照して説明する。図9は追い越し現象を説明するための説明図であり、図10は本実施の形態における信号処理を説明するためのタイミングチャートである。
(Low delay processing ON mode)
Next, signal processing in the low delay processing ON mode will be described with reference to FIGS. FIG. 9 is an explanatory diagram for explaining the overtaking phenomenon, and FIG. 10 is a timing chart for explaining the signal processing in the present embodiment.

<ステップS16>記憶処理開始工程
S10において、低遅延処理ONモードが選択された場合(S10:Yes)も、S11と同様に、フレームメモリ14に対する1フレーム分の映像信号の記憶処理が開始される
<ステップS17>第1の所定時間経過?
コントローラ20は、図示しないタイマ等により、フレームメモリ14への記憶処理を開始してからの時間を計測し、第1の所定時間(Delay値:T1)が経過する(S17:Yes)までは、信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、フレームメモリ14への記憶処理を開始してから、第1の所定時間(Delay値:T1)が経過するまでは、フレームメモリ14に記憶された映像信号の読み出し処理を開始しない。
<Step S16> Storage Processing Start Step In S10, when the low delay processing ON mode is selected (S10: Yes), the storage processing of the video signal for one frame in the frame memory 14 is started as in S11. <Step S17> First predetermined time elapsed?
The controller 20 measures the time from the start of the storage process in the frame memory 14 by a timer or the like (not shown), and until the first predetermined time (Delay value: T1) elapses (S17: Yes), The video processing module 30 is controlled so as not to start signal processing. In other words, the reading process of the video signal stored in the frame memory 14 is not started until the first predetermined time (Delay value: T1) elapses after the storage process in the frame memory 14 is started.

これは、書き込み処理と読み出し処理とが交差する、いわゆる「追い越し現象」の発生防止のためである。   This is to prevent the so-called “overtaking phenomenon” where the writing process and the reading process intersect.

ここで、図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合を例に、「追い越し現象」について説明する。図9(C)上段に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は時系列的に順に行われる。しかし、図9(C)下段に示すように、図9(B)の表示映像の上部および下部に相当する領域の存在により、書き込み処理開始と同時に、書き込んだばかりのライン群のデータを読み出すことはできず、読み出そうとすると1フレーム前のデータを読み出してしまったりする。この現象が「追い越し現象」である。同様にフレームメモリ14に記憶した映像信号を、記憶処理の開始と同時、または極めて短い時間の経過後に読み出そうとすると「追い越し現象」が発生し、記憶された信号を確実に読み出すことができない。   Here, the case where the writing video divided into 10 line groups (L1 to L10) as shown in FIG. 9A is pasted to the center of the display video as shown in FIG. 9B. The “overtaking phenomenon” will be described as an example. As shown in the upper part of FIG. 9C, the writing (storing) processing of the ten line groups (L1 to L10) to the memory is sequentially performed in time series. However, as shown in the lower part of FIG. 9C, due to the existence of areas corresponding to the upper and lower parts of the display image of FIG. 9B, the data of the line group just written is read out simultaneously with the start of the writing process. If you try to read it, you may read the data one frame before. This phenomenon is the “overtaking phenomenon”. Similarly, if the video signal stored in the frame memory 14 is read simultaneously with the start of the storage process or after an extremely short time has elapsed, a “passing phenomenon” occurs, and the stored signal cannot be read reliably. .

そこで、本実施の形態においては、モジュール31〜34の信号処理の開始までに第1の所定時間を設定する。図10は図9(A)に示すような10個のライン群(L1〜L10)に分割された書き込み映像を、図9(B)に示すように、表示映像の中央部に貼り付ける場合の信号処理を示している。   Therefore, in the present embodiment, the first predetermined time is set before the signal processing of the modules 31 to 34 is started. FIG. 10 shows a case where a writing video divided into 10 line groups (L1 to L10) as shown in FIG. 9A is pasted on the center of the display video as shown in FIG. 9B. Signal processing is shown.

図10(A)に示すように、10個のライン群(L1〜L10)のメモリへの書き込み(記憶)処理は、書込みクロック(WRITE)に従って時系列的に順に行われる。しかし、上述した追い越し現象により、書き込み処理開始と同時又は極めて短い時間の経過後に、書き込んだばかりのライン群のデータを読み出すことはできない。   As shown in FIG. 10A, writing (storing) processing of the ten line groups (L1 to L10) into the memory is sequentially performed in time series in accordance with the writing clock (WRITE). However, due to the overtaking phenomenon described above, the data of the line group just written cannot be read simultaneously with the start of the writing process or after a very short time.

このため、コントローラ20は、第1の所定時間(T1)が経過するまで(S17:Yes)まで、フレームメモリ14に記憶された映像信号を用いた信号処理を開始しないように映像処理モジュール30を制御している。なお、第1の所定時間(T1)は映像信号の解像度または表示映像信号の表示方法等により適宜、決定される。   For this reason, the controller 20 sets the video processing module 30 so as not to start signal processing using the video signal stored in the frame memory 14 until the first predetermined time (T1) has elapsed (S17: Yes). I have control. The first predetermined time (T1) is appropriately determined depending on the resolution of the video signal or the display method of the display video signal.

<ステップS18>モジュール31〜34の信号処理開始工程
コントローラ20は、第1の所定時間(T1)が経過すると(S17:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了を待たないで、映像処理モジュール30中の各モジュール31〜34が信号処理を開始するように制御する。これにより、映像処理モジュール30は、フレームメモリ14からの読出しを読出しクロック(READ)に従って開始する。各モジュール31〜34は、映像信号を表示パネル15に表示する表示映像信号にする信号処理を低遅延処理OFFモードと同様に行う。即ち、図5に示したように、IP変換/NR処理と、超解像処理と、スケーリング処理と、高画質化処理と、同期補正処理と、が順に行われる。
<Step S18> Signal Processing Start Step of Modules 31 to 34 When the first predetermined time (T1) has elapsed (S17: Yes), the controller 20 waits for the completion of the storage processing of the video signal of one frame in the frame memory 14. Without control, each of the modules 31 to 34 in the video processing module 30 is controlled to start signal processing. Thereby, the video processing module 30 starts reading from the frame memory 14 according to the read clock (READ). Each of the modules 31 to 34 performs signal processing for converting a video signal into a display video signal to be displayed on the display panel 15 as in the low delay processing OFF mode. That is, as shown in FIG. 5, an IP conversion / NR process, a super-resolution process, a scaling process, a high image quality process, and a synchronization correction process are performed in order.

<ステップS19>第2の所定時間経過?
コントローラ20は、図示しないタイマ等により、モジュール31〜34が信号処理を開始してからの時間を計測し、第2の所定時間(Delay値:T2)が経過する(S19:Yes)までは、倍速処理モジュール36の信号処理を開始しないように、映像処理モジュール30を制御する。言い換えれば、モジュール31〜34の信号処理を開始してから、第2の所定時間(Delay値:T2)が経過するまでは、モジュール31〜34の信号処理結果を倍速処理モジュール36に読出させない。これは、倍速処理モジュール36による処理がモジュール31〜34の処理を追い越さないようにするためである。なお、第2の所定時間(T2)は映像信号の解像度または表示映像信号の表示方法、倍速処理モジュール36が倍速処理に用いる図示しないFIFOメモリの書込み及び読出し処理等により適宜決定される。
<Step S19> Has the second predetermined time elapsed?
The controller 20 measures the time after the modules 31 to 34 start signal processing using a timer or the like (not shown), and until the second predetermined time (Delay value: T2) elapses (S19: Yes), The video processing module 30 is controlled so that the signal processing of the double speed processing module 36 is not started. In other words, the signal processing results of the modules 31 to 34 are not read by the double speed processing module 36 until the second predetermined time (Delay value: T2) elapses after the signal processing of the modules 31 to 34 is started. This is to prevent the processing by the double speed processing module 36 from overtaking the processing of the modules 31 to 34. Note that the second predetermined time (T2) is appropriately determined by the resolution of the video signal or the display method of the display video signal, the writing and reading processing of a FIFO memory (not shown) used for the double speed processing by the double speed processing module 36, and the like.

<ステップS20>モジュール36の信号処理開始工程
コントローラ20は、第2の所定時間(T2)が経過すると(S19:Yes)、1フレームの映像信号のフレームメモリ14への記憶処理完了及びモジュール31〜34の信号処理の完了を待たないで、倍速処理モジュール36が倍速処理を開始するように制御する。これにより、倍速処理モジュール36による倍速処理が開始される。なお、倍速処理モジュール36は、モジュール31〜34の信号処理後の信号を図示しないFIFOメモリに書込み、倍速で読出しを行うことで、倍速処理後の映像信号を得ている。
<Step S20> Signal Processing Start Step of Module 36 When the second predetermined time (T2) has elapsed (S19: Yes), the controller 20 completes the storage processing of the video signal of one frame in the frame memory 14 and the modules 31 to 31. Without waiting for the completion of the signal processing 34, the double speed processing module 36 is controlled to start the double speed processing. Thereby, the double speed processing by the double speed processing module 36 is started. The double speed processing module 36 obtains the video signal after the double speed processing by writing the signal after the signal processing of the modules 31 to 34 to a FIFO memory (not shown) and reading the double speed.

<ステップS21、S22>表示映像信号出力
図10(C)は図10(B)に示すモジュール31〜34による処理の次に、テレビ101の倍速処理モジュール136による倍速処理が行われた場合の倍速処理後の出力を示している。倍速処理モジュール136は、倍速処理のための図示しないFIFOメモリの書込み及び読出しを制御して、モジュール31〜34によって信号処理された出力を順次記憶させる。倍速処理モジュール136は1フレーム分の信号が記憶されると、倍速に読出しを行って、倍速処理した映像信号を出力する。
<Steps S21 and S22> Display Video Signal Output FIG. 10C shows the double speed when the double speed processing by the double speed processing module 136 of the television 101 is performed after the processing by the modules 31 to 34 shown in FIG. The output after processing is shown. The double speed processing module 136 controls writing and reading of a FIFO memory (not shown) for double speed processing, and sequentially stores the outputs signal-processed by the modules 31 to 34. When the signal for one frame is stored, the double speed processing module 136 reads out the signal at double speed and outputs the video signal subjected to the double speed processing.

即ち、図10(C)に示すように、倍速処理モジュール136は、モジュール31〜34の信号処理終了後の次のフレーム、つまり、フレームメモリ14からの読出しから1フレーム期間経過後に、モジュール31〜34によって信号処理された信号が与えられて倍速処理して出力する。   That is, as shown in FIG. 10C, the double-speed processing module 136 receives the next frame after the signal processing of the modules 31 to 34, that is, the module 31 to the module 31 after one frame period elapses after reading from the frame memory 14. The signal processed by the signal 34 is given and double-speed processed and output.

これに対し、本実施の形態においては、図10(D)に示すように、倍速処理モジュール36は、モジュール31〜34の信号処理の開始から第2の所定時間T2が経過すると、モジュール31〜34によって信号処理されてFIFOメモリに書込まれた信号の読出しを開始し、倍速処理を行って出力する。図10(D)は、第2の所定時間T2として、0.5フレーム期間が設定されていることを示している。   On the other hand, in the present embodiment, as shown in FIG. 10D, the double speed processing module 36, when the second predetermined time T2 elapses from the start of the signal processing of the modules 31 to 34, Reading of the signal processed by the signal 34 and written in the FIFO memory is started, and double speed processing is performed and output. FIG. 10D shows that a 0.5 frame period is set as the second predetermined time T2.

倍速処理モジュール36の出力は、映像処理モジュール30からの表示映像信号として、表示パネル15に出力される。こうして、表示パネル15に信号処理された映像が表示される。そして、終了(S22:Yes)まで、S16からの処理が繰り返される。   The output of the double speed processing module 36 is output to the display panel 15 as a display video signal from the video processing module 30. Thus, the signal-processed video is displayed on the display panel 15. Then, the processing from S16 is repeated until the end (S22: Yes).

図11に示すように、本実施の形態のテレビ1では、低遅延処理OFFモードでは2フレームの33.3msの遅延時間となり、低遅延処理ONモードではモジュール31〜34による遅延時間(3.65〜8.65(0.2〜0.5フレーム))と倍速処理モジュール36による遅延時間((8.35(0.5フレーム))との和の約12ms〜17ms(約0.7〜1フレーム)の遅延時間となる。さらに、図11に示すように、入力映像信号が表示パネル(1080p)よりも小さい720p、480pの場合であっても、スケーリング処理を行っているために、遅延時間は1080pの場合と同じ12ms〜17msである。なお、図11では、遅延時間が12msの例を示している。   As shown in FIG. 11, in the television 1 of the present embodiment, the low delay processing OFF mode has a delay time of 33.3 ms of 2 frames, and in the low delay processing ON mode, the delay time (3.65 by the modules 31 to 34). ˜8.65 (0.2 to 0.5 frame)) and the delay time ((8.35 (0.5 frame)) by the double speed processing module 36, about 12 ms to 17 ms (about 0.7 to 1) Further, as shown in Fig. 11, even when the input video signal is 720p or 480p smaller than the display panel (1080p), the scaling process is performed. Is 12 ms to 17 ms, which is the same as in the case of 1080p, and Fig. 11 shows an example in which the delay time is 12 ms.

即ち、テレビ1は、低遅延処理ONモードでは、倍速処理を行う場合であっても、総遅延時間は例えば12msと「追い越し現象」発生防止のために必要な第1及び第2の所定時間(T1,T2)の合計であるため、略1フレーム相当時間よりも小さい時間である。なお、倍速処理を行わなければ、遅延時間がさらに短くなるのは明らかである。   That is, in the low delay processing ON mode, the television 1 has a total delay time of, for example, 12 ms and the first and second predetermined times necessary for preventing the “overtaking phenomenon” (even if double speed processing is performed) Since it is the sum of T1, T2), it is a time shorter than the time corresponding to approximately one frame. Obviously, if the double speed processing is not performed, the delay time is further shortened.

以上の説明のように、本実施の形態のテレビ1は、低遅延処理の動作のON/OFFに関係なく、IP変換/ノイズリダクション処理及び前記表示モジュールにあわせたスケーリング処理及び映像信号の解像度をあげる高解像度化処理、倍速処理をするように映像処理モジュール30を制御するコントローラ20を具備する。   As described above, the television 1 of the present embodiment has the IP conversion / noise reduction processing, the scaling processing according to the display module, and the resolution of the video signal irrespective of ON / OFF of the operation of the low delay processing. And a controller 20 that controls the video processing module 30 so as to perform high resolution processing and double speed processing.

即ち、本実施の形態のテレビ1は、低遅延処理ONモードにおいても、少なくとも、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が可能であったが、例えば、より高能力のシステムLSIを用いることにより、より多くの複雑な処理を必要に応じて行うことも可能である。   That is, the television 1 of the present embodiment is capable of at least IP conversion / NR processing, scaling processing, super-resolution processing, and double speed processing even in the low delay processing ON mode. By using the system LSI, more complicated processing can be performed as necessary.

そして、テレビ1では、低遅延処理ONモードであっても、IP変換/NR処理、スケーリング処理、超解像処理及び倍速処理が行われているので、表示映像信号は高品質である。しかも、倍速処理後の映像信号を得るまでの遅延時間は、十分に小さい。   In the television 1, since the IP conversion / NR processing, the scaling processing, the super-resolution processing, and the double speed processing are performed even in the low delay processing ON mode, the display video signal is high quality. Moreover, the delay time until obtaining the video signal after the double speed processing is sufficiently small.

以上の説明のように、本実施の形態のテレビ1は、ゲームコンテンツ等の表示のときに、表示遅延が極めて小さく、ユーザーのゲーム操作部4による操作に対して、表示映像及び出力音声が違和感を与えない映像表示装置であり、テレビ1の映像処理方法はゲームコンテンツ等の表示のときに、ユーザーに違和感を与えない映像を表示することができる。   As described above, the television 1 of the present embodiment has a very small display delay when displaying game content and the like, and the display video and output sound are uncomfortable with the user's operation by the game operation unit 4. The video processing method of the television 1 can display a video that does not give the user an uncomfortable feeling when displaying game content or the like.

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。   The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

1…テレビジョン受信装置、2…アンテナ、3…ゲーム機器、4…ゲーム操作部、11…チューナ、12…外部入力端子、13…前段処理モジュール、14…フレームメモリ、15…表示パネル、16…オーディオプロセッサ、17…音声遅延処理モジュール、18…スピーカ、20…コントローラ、21…操作入力部、22…映像解析モジュール、30…映像処理モジュール、31…IP変換/NRモジュール、32…超解像モジュール、33…スケーラー、34…高画質化モジュール、36…倍速処理モジュール、41…同期信号生成モジュール、42…クロック、43…同期補正モジュール、44…表示同期信号生成モジュール、101…テレビジョン受信装置、114A、114B…フレームメモリ、130…映像処理モジュール、131…IP変換/NRモジュール、132…超解像モジュール、133…スケーラー、134…高画質化モジュール、136…倍速処理モジュール   DESCRIPTION OF SYMBOLS 1 ... Television receiver, 2 ... Antenna, 3 ... Game equipment, 4 ... Game operation part, 11 ... Tuner, 12 ... External input terminal, 13 ... Pre-processing module, 14 ... Frame memory, 15 ... Display panel, 16 ... Audio processor, 17 ... audio delay processing module, 18 ... speaker, 20 ... controller, 21 ... operation input unit, 22 ... video analysis module, 30 ... video processing module, 31 ... IP conversion / NR module, 32 ... super-resolution module 33 ... Scaler, 34 ... High image quality module, 36 ... Double speed processing module, 41 ... Synchronization signal generation module, 42 ... Clock, 43 ... Synchronization correction module, 44 ... Display synchronization signal generation module, 101 ... Television receiver, 114A, 114B ... frame memory, 130 ... video processing module, 31 ... IP conversion / NR module 132 ... super-resolution module 133 ... scaler, 134 ... image quality module, 136 ... doubling processing module

Claims (8)

入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って生成した表示映像信号を表示モジュールに出力する映像処理モジュールと、
前記映像信号に対する前記表示映像信号の遅延時間が短い低遅延処理の指示を受けるコントローラと、
前記映像信号を少なくとも1フレーム記憶するフレームメモリとを備え、
前記映像信号処理モジュールは、前記フレームメモリに記憶された前記映像信号を信号処理して、前記表示映像信号を出力し、
前記コントローラは、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始するように、前記映像処理モジュールを制御することを特徴とする映像表示装置。
A video processing module that outputs a display video signal generated by performing at least high image quality processing and double speed processing on the input video signal to the display module;
A controller for receiving an instruction of low delay processing with a short delay time of the display video signal with respect to the video signal;
A frame memory for storing at least one frame of the video signal;
The video signal processing module performs signal processing on the video signal stored in the frame memory and outputs the display video signal;
When the controller receives the low-delay processing instruction, after the first predetermined time elapses after the video signal of the at least one frame starts storing processing in the frame memory, before the storage processing is completed In addition, the video processing module is controlled so as to start the at least image quality improvement processing, and after the second predetermined time has elapsed from the start of the at least image quality improvement processing, at least before the completion of the at least image quality improvement processing. In addition, the video display device controls the video processing module to start the double speed processing.
前記コントローラは、前記低遅延処理の指示を受けた場合、前記映像処理モジュールが、前記高画質化処理の外に前記映像信号のIP変換及びノイズリダクション処理の少なくとも一方をするよう制御することを特徴とする請求項1に記載の映像表示装置。   When the controller receives an instruction for the low delay processing, the video processing module controls the video signal to perform at least one of IP conversion and noise reduction processing in addition to the image quality improvement processing. The video display device according to claim 1. 前記映像処理モジュールが、前記映像信号の解像度をあげる高解像度化モジュールを有し、前記コントローラは、前記低遅延処理の指示を受けた場合、前記高画質化処理の外に前記高解像度化モジュールによる処理をするよう制御することを特徴とする請求項1又は2に記載の映像表示装置。   The video processing module has a high resolution module that increases the resolution of the video signal, and when the controller receives the low delay processing instruction, the controller performs the high resolution module in addition to the high image quality processing. The video display device according to claim 1, wherein the video display device is controlled to perform processing. 前記フレームメモリに記憶された1フレームの前記映像信号を解析し、前記コントローラが前記映像処理モジュールの制御に用いるフレーム情報を出力するフレーム解析ブロックを具備することを特徴とする請求項1に記載の映像表示装置。   The frame analysis block according to claim 1, further comprising: a frame analysis block that analyzes the video signal of one frame stored in the frame memory and outputs frame information used by the controller to control the video processing module. Video display device. 映像処理モジュールが、入力された映像信号に対して少なくとも高画質化処理と倍速処理とを行って表示モジュールに表示する表示映像信号を生成し、
コントローラが、フレームメモリへの前記映像信号の記憶を開始し、前記低遅延処理の指示を受けた場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリへの記憶処理を開始してから第1の所定時間経過後、前記記憶処理完了前に、前記少なくとも高画質化処理を開始するように、前記映像処理モジュールを制御すると共に、前記少なくとも高画質化処理の開始から第2の所定時間経過後、前記少なくとも高画質化処理の処理完了前に、前記倍速処理を開始する
ことを特徴とする映像処理方法。
The video processing module generates a display video signal to be displayed on the display module by performing at least high image quality processing and double speed processing on the input video signal,
When the controller starts storing the video signal in the frame memory and receives the low-delay processing instruction, the controller starts the storage process in the frame memory after the video signal of the at least one frame starts. After the elapse of a predetermined time of 1 and before the completion of the storage process, the video processing module is controlled so as to start the at least high quality image processing, and at least a second predetermined time has elapsed since the start of the at least high quality image processing. Thereafter, the double speed processing is started before the processing of at least the high image quality processing is completed.
前記少なくとも高画質化処理として、IP変換及びノイズリダクション処理の少なくとも一方の処理を含むことを特徴とする請求項5に記載の映像処理方法。   6. The video processing method according to claim 5, wherein at least one of IP conversion and noise reduction processing is included as the at least high image quality processing. 前記コントローラは、前記低遅延処理の指示を受けていない場合、前記少なくとも1フレームの前記映像信号が、前記フレームメモリに記憶処理完了後に、前記信号処理を開始するように、前記映像処理モジュールを制御することを特徴とする請求項1乃至4のいずれか1つに記載の映像表示装置。   The controller controls the video processing module to start the signal processing after the video signal of the at least one frame has been stored in the frame memory when the controller has not received the low-delay processing instruction. The video display device according to claim 1, wherein the video display device is a video display device. 前記コントローラは、前記低遅延処理の指示を受けた場合、前記遅延時間を12m秒〜17m秒以下となるように前記映像処理モジュールを制御することを特徴とする請求項1乃至4及び7のいずれか1つに記載の映像表示装置。   8. The controller according to claim 1, wherein the controller controls the video processing module so that the delay time is set to 12 msec to 17 msec or less when receiving the low-delay processing instruction. The video display apparatus as described in any one.
JP2012213159A 2012-09-26 2012-09-26 Video display device and video processing method Active JP5259867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012213159A JP5259867B2 (en) 2012-09-26 2012-09-26 Video display device and video processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012213159A JP5259867B2 (en) 2012-09-26 2012-09-26 Video display device and video processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011044372A Division JP2012182673A (en) 2011-03-01 2011-03-01 Image display apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2013048446A JP2013048446A (en) 2013-03-07
JP5259867B2 true JP5259867B2 (en) 2013-08-07

Family

ID=48011158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012213159A Active JP5259867B2 (en) 2012-09-26 2012-09-26 Video display device and video processing method

Country Status (1)

Country Link
JP (1) JP5259867B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230048805A (en) * 2021-10-05 2023-04-12 삼성전자주식회사 Electronic apparatus and control method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63156487A (en) * 1986-12-20 1988-06-29 Fujitsu General Ltd Noninterlace method in television receiver
JPH11136643A (en) * 1997-10-27 1999-05-21 Canon Inc Video signal scanning correction circuit
JP2005338605A (en) * 2004-05-28 2005-12-08 Toshiba Corp Display device and display method
KR100819736B1 (en) * 2004-12-21 2008-04-07 삼성전자주식회사 video signal processing circuit and display apparatus comprising thereof
KR100684999B1 (en) * 2005-05-27 2007-02-20 삼성전자주식회사 Display apparatus and control method thereof
JP2006352303A (en) * 2005-06-14 2006-12-28 Sharp Corp Image display device
JP2009021868A (en) * 2007-07-12 2009-01-29 Sony Corp Video processing apparatus, video processing method, and program
JP2009027371A (en) * 2007-07-18 2009-02-05 Sharp Corp Video display processor

Also Published As

Publication number Publication date
JP2013048446A (en) 2013-03-07

Similar Documents

Publication Publication Date Title
JP4691193B1 (en) Video display device and video processing method
US8593575B2 (en) Video display apparatus for shortened-delay processing of a video signal and video processing method
CN108833975B (en) Video playing processing method and device
WO2017107450A1 (en) Method and device for switching video display window
JP4693546B2 (en) Digital noise reduction apparatus and method, and video signal processing apparatus
JP2010041538A (en) Device and method for processing image signal
JP2014179818A (en) Image processing device and image processing method
JP5336019B1 (en) Display device, display device control method, television receiver, control program, and recording medium
CN113225619A (en) Frame rate self-adaption method, device, equipment and readable storage medium
US8154654B2 (en) Frame interpolation device, frame interpolation method and image display device
US20130271650A1 (en) Video display apparatus and video processing method
JP5259867B2 (en) Video display device and video processing method
JP5112528B2 (en) Video display device and video processing method
JP2008028507A (en) Image correction circuit, image correction method and image display
JP2008003519A (en) Liquid crystal television set
JP2009077042A (en) Device and method for processing video image
JP2011048040A (en) Video signal processing apparatus, method of processing video signal, and program
WO2019087984A1 (en) Image processing device, display device, image processing method, control program, and recording medium
US8026936B2 (en) Method for displaying images and display apparatus using the same
CN112544075B (en) Display device, signal processing device, and signal processing method
WO2021042661A1 (en) Display device and image output method
JP2005311860A (en) Video signal processor, display device, receiver, and display method
JP5534948B2 (en) Image processing apparatus and control method thereof
KR101552886B1 (en) Apparatus and method of improving definition of moving picture
CN114285958A (en) Image processing circuit, image processing method, and electronic device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5259867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250