JP7214845B2 - ディスプレイ装置及びその制御方法 - Google Patents

ディスプレイ装置及びその制御方法 Download PDF

Info

Publication number
JP7214845B2
JP7214845B2 JP2021513901A JP2021513901A JP7214845B2 JP 7214845 B2 JP7214845 B2 JP 7214845B2 JP 2021513901 A JP2021513901 A JP 2021513901A JP 2021513901 A JP2021513901 A JP 2021513901A JP 7214845 B2 JP7214845 B2 JP 7214845B2
Authority
JP
Japan
Prior art keywords
filters
filter
video signal
video
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021513901A
Other languages
English (en)
Other versions
JP2022511310A (ja
Inventor
イ，サンジョ
ナ，サンクォン
キム，ドヒュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2022511310A publication Critical patent/JP2022511310A/ja
Application granted granted Critical
Publication of JP7214845B2 publication Critical patent/JP7214845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Description

本発明は、ディスプレイ装置及びその制御方法に関し、特に、ＡＩベースでビデオ信号を処理するディスプレイ装置及びその制御方法に関する。
人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）システムは、人間レベルの知能を具現するコンピュータシステムであり、既存ルール（Ｒｕｌｅ）ベースのスマートシステムと違い、機械が自ら学習し判断してスマートになるシステムである。人工知能システムは、使用すればするほど認識率が向上し、ユーザの好みがより正確に理解可能になることから、既存ルールベースのスマートシステムは次第にＡＩ学習ベースの人工知能システムに取って代わられている。
人工知能技術は、マシンラーニング（機械学習）、ディープラーニングのような学習ベース処理及び学習を活用した要素技術で構成される。
学習は、入力データの特徴を自ら分類／学習するアルゴリズム技術であり、要素技術は、ディープラーニングなどの学習アルゴリズムを活用して人間頭脳の認知、判断などの機能を模写する技術であり、言語的理解、視覚的理解、推論／予測、知識表現、動作制御などの技術分野で構成される。
人工知能技術が応用される様々な分野は、次の通りである。言語的理解は、人間の言語／文字を認識して応用／処理する技術であり、自然語処理、機械翻訳、会話システム、質疑応答、音声認識／合成などを含む。視覚的理解は、事物を人間の視覚で認識するかのように認識して処理する技術であり、客体認識、客体追跡、映像検索、人認識、場面理解、空間理解、映像改善などを含む。推論予測は、情報を判断して論理的に推論し予測する技術であり、知識／確率ベース推論、最適化予測、選好ベース計画、推薦などを含む。知識表現は、人間の経験情報を知識データに自動化処理する技術であり、知識構築（データ生成／分類）、知識管理（データ活用）などを含む。動作制御は、車両の自律走行、ロボットの動きを制御する技術であり、動き制御（航法、衝突、走行）、操作制御（行動制御）などを含む。
本発明は、ＡＩベースでビデオ信号を処理するとき、マシンラーニング又はディープラーニングベースによる映像の解像度調節を選択的に適用できるディスプレイ装置及びその制御方法を提供する。
いくつかの実施例によれば、ビデオ信号をデコード可能なビデオデコーダ；複数のフィルターを含み、前記デコードされたビデオ信号を処理するＡＩスケーラー；及び、制御信号に基づいて、前記複数のフィルターのそれぞれを選択的にターンオン又はオフすることによって映像の解像度を制御する制御部を含み、前記複数のフィルターのうち、選択されたフィルターは、制御信号によってターンオンされ、前記複数のフィルターのうち、選択されなかったフィルターは、制御信号によってターンオフされ、前記ターンオンに基づいて選択されたフィルターは、学習に基づく一つ以上の第１のパラメータに基づいて前記ビデオ信号を処理し、前記学習は、トレーニングによって前記一つ以上の第１のパラメータに到達することを含み、前記ターンオフに基づいて選択されなかったフィルターは、前記選択されなかったフィルターに入力される信号をバイパスして出力する、ディスプレイ装置が提供される。
いくつかの実施例において、前記ディスプレイ装置は、前記学習を行って生成されたルックアップテーブルが記憶された記憶部をさらに含み、前記制御部は、前記ルックアップテーブルから抽出された前記一つ以上のパラメータに基づいて前記選択されたフィルターをセットすることができる。
前記ディスプレイ装置のいくつかの実施例において、前記選択されたフィルターは、それぞれが一つ以上の第２のパラメータにセットされた複数の第２のフィルターを含み、前記ＡＩスケーラーは、前記デコードされたビデオ信号が前記複数の第２のフィルターを順次に通過するようにすることができる。
前記ディスプレイ装置のいくつかの実施例において、前記制御部は、前記ビデオデコーダから前記ビデオ信号のコーデック情報を取得し、前記取得したコーデック情報に基づいて前記ルックアップテーブルから一つ以上のパラメータを抽出し、前記抽出された一つ以上のパラメータに基づいて前記選択されたフィルターをセットすることができる。
前記ディスプレイ装置のいくつかの実施例において、前記コーデック情報は、コーデック種類又は圧縮強度のうち少なくとも一つを含むことができる。
前記ディスプレイ装置のいくつかの実施例において、前記制御部は、前記ＡＩスケーラーが、第１のフィルターによって前記ビデオ信号の映像特性を分析し、前記分析された映像の特性に対応する第３パラメータにセットされた第２のフィルターによって前記ビデオ信号を処理し、前記選択されたフィルターは前記第２のフィルターを含み、前記一つ以上の第２のパラメータは第３パラメータを含むことができる。
前記ディスプレイ装置のいくつかの実施例において、前記ルックアップテーブルは、映像の特性に基づく学習に基づき、前記ルックアップテーブルは、前記第３パラメータを記憶することができる。
前記ディスプレイ装置のいくつかの実施例において、前記選択されたフィルターは、前記映像に対して、ノイズ除去及びディテール強化のうち少なくとも一つに対応する後処理を行う第３フィルターを含むことができる。
前記ディスプレイ装置のいくつかの実施例において、前記一つ以上の第１のパラメータは、第１のＡＩ学習ベース処理に基づいたり、又は前記一つ以上の第１のパラメータは、第２のＡＩ学習ベース処理に基づくことができる。
前記ディスプレイ装置のいくつかの実施例において、前記複数のフィルターのそれぞれは、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理のいずれか一方を示す構成制御信号に基づいてターンオン又はターンオフされ、前記ＡＩスケーラーは、前記第１の組合せのフィルターと前記第２の組合せのフィルターのいずれか一方を用いて前記デコードされたビデオ信号を処理するように制御されてよい。
前記ディスプレイ装置のいくつかの実施例において、前記複数のフィルターのうち少なくとも一つのフィルターは、第１の組合せのフィルター及び第２の組合せのフィルターに含まれ、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理において共用に使用可能である。
一方、いくつかの実施例によれば、ビデオ信号をデコードする段階；及び制御信号に基づいて複数のフィルターのそれぞれを選択的にターンオン又はオフし、前記複数のフィルターを通じて前記デコードされたビデオ信号を処理して、映像の解像度を制御する段階を含み、前記複数のフィルターのうち、選択されたフィルターは、制御信号によってターンオンされ、前記複数のフィルターのうち、選択されなかったフィルターは、制御信号によってターンオフされ、前記ターンオンに基づいて選択されたフィルターは、学習に基づく一つ以上の第１のパラメータに基づいて前記ビデオ信号を処理し、前記学習は、トレーニングによって前記一つ以上の第１のパラメータに到達することを含み、前記ターンオフに基づいて選択されなかったフィルターは、前記選択されなかったフィルターに入力される信号をバイパスして出力する、ディスプレイ装置の制御方法が提供される。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記選択されたフィルターは、それぞれが一つ以上の第２のパラメータにセットされた複数の第２のフィルターを含み、前記映像の解像度を制御する段階は、前記デコードされたビデオ信号が、前記複数の第２のフィルターを順次に通過する段階を含むことができる。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記方法は、前記学習を行って生成された第１のルックアップテーブルを記憶する段階をさらに含み、前記映像の解像度を制御する段階は、ビデオデコーダから前記ビデオ信号のコーデック情報を取得する段階、前記コーデック情報に基づいて前記第１のルックアップテーブルから一つ以上の第１のパラメータを抽出する段階、及び前記一つ以上の第１のパラメータに基づいて前記選択されたフィルターをセットする段階を含むことができる。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記方法は、前記映像の解像度を制御する段階は、第１のフィルターによって前記ビデオ信号の映像特性を分析する段階をさらに含み、前記デコードされたビデオ信号を処理する段階は、前記分析された映像の特性に対応する第３パラメータにセットされた第２のフィルターによって前記ビデオ信号を処理する段階を含み、前記選択されたフィルターは前記第２のフィルターを含み、前記一つ以上の第２のパラメータは第３パラメータを含むことができる。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記方法は、映像の特性に基づく学習に基づく第２のルックアップテーブルを記憶する段階をさらに含み、前記映像の解像度を制御する段階は、前記第２のルックアップテーブルから前記第３パラメータを抽出する段階を含むことができる。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記方法は、前記映像に対して、第３フィルターによってノイズ除去及びディテール強化のうち少なくとも一つに対応する後処理を行う段階をさらに含むことができる。
前記ディスプレイ装置の制御方法のいくつかの実施例において、前記一つ以上の第１のパラメータは、第１のＡＩ学習ベース処理に基づいたり、又は前記一つ以上の第１のパラメータは第２のＡＩ学習ベース処理に基づくことができる。
前記方法のいくつかの実施例において、前記映像の解像度を制御する段階は、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理のいずれか一方を示す構成制御信号に基づいて前記複数のフィルターのそれぞれがターンオン又はオフされるように制御する段階を含むことができる。
一方、少なくとも一つのプロセッサによって行われるインストラクションを記憶する不揮発性のコンピュータ読み取り可能媒体が提供され、前記インストラクションは、前記プロセッサがビデオ信号をデコードし、制御信号に基づいて選択的にオン又はオフされる複数のフィルターによって映像の解像度を制御し、前記複数のフィルターのうち、選択されたフィルターは、制御信号によってターンオンされ、複数のフィルターのうち、選択されなかったフィルターは、制御信号によってターンオフされ、前記複数のフィルターを通じて前記デコードされたビデオ信号を処理し、前記ターンオンに基づいて選択されたフィルターが、学習に基づく一つ以上の第１のパラメータに基づいて前記ビデオ信号を処理し、前記学習は、トレーニングによって前記一つ以上の第１のパラメータに到達し、前記選択されなかったフィルターが、前記選択されなかったフィルターに入力される前記ビデオ信号をバイパスして出力するようにする。
一実施例によれば、ビデオ信号をデコード可能なビデオデコーダ；いずれか一つのフィルターの出力が他のフィルターの入力となるように設けられる複数のフィルターを含み、前記デコードされたビデオ信号を処理して映像の解像度が制御されるようにするＡＩスケーラー；を含み、前記複数のフィルターは、それぞれが制御信号に基づいて選択的にターンオン又はオフされ、前記ターンオンされたフィルターは、学習によって設定されたパラメータによって前記ビデオ信号を処理し、前記ターンオフされたフィルターは、入力される前記ビデオ信号をバイパスして出力するディスプレイ装置が提供される。
ディスプレイ装置は、事前に前記学習を行って生成されたルックアップテーブルが記憶された記憶部をさらに含み、前記ターンオンされたフィルターは、前記ルックアップテーブルから抽出された前記パラメータによってセットされてよい。
前記ターンオンされたフィルターは、それぞれが所定のパラメータにセットされた複数のフィルターを含み、前記デコードされたビデオ信号が、前記ターンオンされた前記複数のフィルターを順次に通過して前記映像の解像度が制御されてよい。
前記ディスプレイ装置は、事前に前記学習を行って生成されたルックアップテーブルが記憶された記憶部；及び、前記ビデオデコーダから前記ビデオ信号のコーデック情報を取得し、前記取得したコーデック情報に基づいて前記ルックアップテーブルからパラメータを抽出し、動作がオンされた前記複数のフィルターのそれぞれが前記抽出されたパラメータに基づいてセットされるようにする制御部をさらに含むことができる。
前記コーデック情報は、コーデック種類又は圧縮強度のうち少なくとも一つを含むことができる。
前記ターンオンされたフィルターは、前記ビデオ信号の映像特性を分析する第１のフィルターと、前記分析された映像の特性に対応するパラメータにセットされて前記映像の解像度を調節する第２のフィルターとを含むことができる。
前記ディスプレイ装置は、事前に前記学習を行って映像の特性別に生成されたルックアップテーブルが記憶された記憶部；及び、前記第１のフィルターによって分析された映像の特性に対応するパラメータを前記ルックアップテーブルから抽出し、前記第２のフィルターが前記抽出されたパラメータに基づいてセットされるようにする制御部をさらに含むことができる。
前記ターンオンされたフィルターは、前記第２のフィルターによって解像度が調節された映像に対して、ノイズ除去又はディテール強化のうち少なくとも一つに対応する後処理を行う第３フィルターをさらに含むことができる。
前記ＡＩスケーラーは、第１のＡＩ学習ベース処理に対応して、前記複数のフィルターのうち第１の組合せのフィルターを用いて前記デコードされたビデオ信号を処理したり、又は第２のＡＩ学習ベース処理に対応して、前記複数のフィルターのうち前記第１の組合せとは異なる第２の組合せのフィルターを用いて前記デコードされたビデオ信号を処理することができる。
前記複数のフィルターのそれぞれは、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理のいずれか一方を示す構成制御信号に基づいてターンオン又はオフされるように制御されてよく、前記ＡＩスケーラーは、前記第１の組合せのフィルターと前記第２の組合せのフィルターのいずれか一方を用いて前記デコードされたビデオ信号を処理するように制御されてよい。
前記複数のフィルターのうち少なくとも一つのフィルターは、第１の組合せのフィルター及び第２の組合せのフィルターに含まれ、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理において共用に用いられてよい。
一方、本発明の一実施例によれば、ビデオ信号をデコードする段階；及び、いずれか一つのフィルターの出力が他のフィルターの入力となるように設けられる複数のフィルターを用いて前記デコードされたビデオ信号を処理して映像の解像度を制御する段階を含み、前記映像の解像度を調節する段階において、前記複数のフィルターは、それぞれが制御信号に基づいて選択的にターンオン又はオフされ、前記ターンオンされたフィルターが、学習によって設定されたパラメータによって前記ビデオ信号を処理する段階；及び、前記ターンオフされたフィルターが、入力される前記ビデオ信号をバイパスして出力する段階を含むディスプレイ装置の制御方法が提供される。
前記ターンオンされたフィルターは、それぞれが所定パラメータにセットされた複数のフィルターを含み、前記映像の解像度を制御する段階は、前記デコードされたビデオ信号が、動作がオンされた前記複数のフィルターを順次に通過して前記映像の解像度が制御されるようにすることができる。
前記方法は、事前に前記学習を行って生成されたルックアップテーブルを記憶する段階をさらに含み、前記映像の解像度を制御する段階は、ビデオデコーダから前記ビデオ信号のコーデック情報を取得する段階；及び、前記取得したコーデック情報に基づいて前記ルックアップテーブルからパラメータを抽出し、動作がオンされた前記複数のフィルターのそれぞれが前記抽出されたパラメータに基づいてセットされるようにする段階を含むことができる。
前記映像の解像度を制御する段階は、第１のフィルターによって前記ビデオ信号の映像特性を分析する段階と；前記分析された映像の特性に対応するパラメータにセットされた第２のフィルターによって前記映像の解像度を調節する段階を含むことができる。
前記方法は、事前に前記学習を行って映像の特性別に生成されたルックアップテーブルを記憶する段階をさらに含み、前記映像の解像度を調節する段階は、前記第１のフィルターによって分析された映像の特性に対応するパラメータを前記ルックアップテーブルから抽出する段階；及び、前記抽出されたパラメータに前記第２のフィルターをセットする段階を含むことができる。
前記映像の解像度を制御する段階は、前記第２のフィルターによって解像度が調節された映像に対して、第３フィルターによってノイズ除去又はディテール強化のうち少なくとも一つに対応する後処理を行う段階をさらに含むことができる。
前記映像の解像度を調節する段階は、第１のＡＩ学習ベース処理に対応して、前記複数のフィルターのうち第１の組合せのフィルターを用いて前記デコードされたビデオ信号を処理したり、又は第２のＡＩ学習ベース処理に対応して、前記複数のフィルターのうち前記第１の組合せとは異なる第２の組合せのフィルターを用いて前記デコードされたビデオ信号を処理することができる。
前記映像の解像度を制御する段階は、前記第１のＡＩ学習ベース処理と前記第２のＡＩ学習ベース処理のいずれか一方を示す構成制御信号に基づいて前記複数のフィルターのそれぞれがターンオン又はオフされるように制御する段階と、前記ＡＩスケーラーが前記第１の組合せのフィルターと前記第２の組合せのフィルターのいずれか一方を用いて前記デコードされたビデオ信号を処理する段階とを含むことができる。
一方、本発明の一実施例に係るコンピュータプログラム製品は、複数のインストラクションが記憶されたメモリ；及び、プロセッサを含み、前記インストラクションは、前記プロセッサによって実行されると、ビデオデコーダによってビデオ信号をデコードし、いずれか一つのフィルターの出力が他のフィルターの入力となるように設けられる複数のフィルターを用いて前記デコードされたビデオ信号を処理して映像の解像度を制御し、前記複数のフィルターは、それぞれが制御信号に基づいて動作が選択的にオン又はオフされ、前記動作がオンされたフィルターが、学習によって設定されたパラメータによって前記ビデオ信号を処理し、前記動作がオフされたフィルターが、入力される前記ビデオ信号をバイパスして出力するようにする。
一方、本発明の一実施例に係るディスプレイ装置のプロセッサによって実行可能な方法のプログラムが記録された、コンピュータ読取り可能な不揮発性の記録媒体において、前記方法は、ビデオ信号をデコードする段階；及び、いずれか一つのフィルターの出力が他のフィルターの入力となるように設けられる複数のフィルターを用いて前記デコードされたビデオ信号を処理して映像の解像度を制御する段階を含み、前記映像の解像度を調節する段階において、前記複数のフィルターは、それぞれが制御信号に基づいて動作が選択的にオン又はオフされ、前記動作がオンされたフィルターが、学習によって設定されたパラメータによって前記ビデオ信号を処理する段階；及び、前記動作がオフされたフィルターが、入力される前記ビデオ信号をバイパスして出力する段階を含む。
上記のような本発明のディスプレイ装置及びその制御方法によれば、可変組合せが可能な複数のフィルターを含むＡＩスケーラーによって、マシンラーニング処理に基づく解像度調節とディープラーニング処理に基づく映像度調節を、必要によって選択的に行うことができる長所がある。
また、本発明のディスプレイ装置及びその制御方法によれば、コーデック情報を用いて各フィルターのパラメータを設定することによって、コーデックの種類や圧縮強度などによる映像圧縮特性までも反映した解像度調節が可能である。
また、本発明のディスプレイ装置及びその制御方法によれば、使用しないフィルターによって映像画質改善のための後処理を行うことによって、遊休リソースの活用度を高め、より向上した画質の映像を生成できる効果がある。
上記及び／又は形態は、添付の図面を参照した例示的な実施例の次の説明から明らかになり、より容易に認識されるであろう。
本発明の一実施例に係るディスプレイ装置の構成を示すブロック図である。 本発明の一実施例のディスプレイ装置においてビデオ信号処理のための構成を詳細に示すブロック図である。 本発明の一実施例に係るＡＩ学習ベース処理過程を説明するための図である。 本発明の一実施例に係るＡＩ学習ベース処理過程を説明するための図である。 本発明の一実施例に係るＡＩ学習ベース処理過程を説明するための図である。 本発明の一実施例に係るＡＩ学習ベース処理過程を説明するための図である。 本発明の一実施例によって第１のＡＩ学習ベース処理のための第１の組合せのフィルターからなるＡＩスケーラーを示すブロック図である。 本発明の一実施例によって第２のＡＩ学習ベース処理のための第２の組合せのフィルターからなるＡＩスケーラーを示すブロック図である。 ＤＮＮモードで動作する場合にフィルターの動作を説明するための図である。 ＤＮＮモードで動作する場合にフィルターの動作を説明するための図である。 映像分析モードで動作する場合にフィルターの動作を説明するための図である。 映像分析モードで動作する場合にフィルターの動作を説明するための図である。 本発明の他の実施例のディスプレイ装置においてビデオ信号処理のための構成を詳細に示すブロック図である。
以下では、添付の図面を参照して本発明の実施例を詳細に説明する。図面中、同一の参照番号又は符号は、実質的に同一の機能を行う構成要素を示し、図面において各構成要素の大きさは、説明の明瞭性と便宜のために誇張されることがある。ただし、本発明の技術的思想とその核心構成及び作用が、以下の実施例に説明された構成又は作用に限定されるものではない。本発明の説明において、本発明に関連した公知技術又は構成についての具体的な説明が本発明の要旨を却って曖昧にすると判断される場合には、その詳細な説明を省略する。
本発明の実施例において、第１、第２などのように序数を含む用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われ、単数の表現は、文脈に上特に断らない限り、複数の表現も含む。また、本発明の実施例において、‘構成される’、‘含む’、‘有する’などの用語は、一つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加の可能性をあらかじめ排除しないものとして理解すべきである。また、本発明の実施例において、‘モジュール’或いは‘部’は、少なくとも一つの機能又は動作を行い、ハードウェア又はソフトウェアによって具現されたり或いはハードウェアとソフトウェアとの結合によって具現され、少なくとも一つのモジュールに一体化して具現されてよい。また、本発明の実施例において、複数の要素のうち少なくとも一つ（ａｔ ｌｅａｓｔ ｏｎｅ）とは、複数の要素の全部の他にも、複数の要素のうち残りを排除した各一つ或いはそれらの組合せの全部を指す。
図１は、本発明の一実施例に係るディスプレイ装置の構成を示すブロック図である。図２は、本発明の一実施例のディスプレイ装置において、ビデオ信号処理のための構成を詳細に示すブロック図である。
本発明の一実施例に係るディスプレイ装置１００は、外部の信号供給源、すなわち、映像ソース（図示せず）から提供される映像信号を、既に設定されたプロセスによって処理して映像として表示する。
一実施例において、ディスプレイ装置１００は、放送局の送出装備から受信する放送信号、放送情報、又は放送データのうち少なくとも一つに基づく放送映像を処理するテレビジョン（ＴＶ）のようなディスプレイ装置を含む。
ディスプレイ装置１００は、例えば、放送局から送出されるＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）信号、すなわち、放送信号を無線で受信することができ、そのために、放送信号を受信するアンテナ及び放送信号をチャネル別にチューニングするためのチューナーを含むことができる。ディスプレイ装置の受信する放送信号は、地上波、ケーブル、衛星などを通じて受信可能であり、本発明における信号供給源は、放送局に限定されない。すなわち、セットトップボックスや、ブルーレイ（Ｂｌｕ－ｒａｙ（登録商標））又はＤＶＤなどの光ディスクが再生可能なプレーヤー（ｐｌａｙｅｒ）のように、データの送受信又は中継が可能な装置又はステーションであれば、本発明の信号供給源として可能である。
ディスプレイ装置１００で受信する信号の規格は、その具現形態に応じて様々な方式で構成されてよく、例えば、ＨＤＭＩ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ（登録商標））、コンポジット（ｃｏｍｐｏｓｉｔｅ）ビデオ、コンポーネント（ｃｏｍｐｏｎｅｎｔ）ビデオ、スーパービデオ（ｓｕｐｅｒ ｖｉｄｅｏ）、ＳＣＡＲＴ（Ｓｙｎｄｉｃａｔ ｄｅｓ Ｃｏｎｓｔｒｕｃｔｅｕｒｓ ｄ’Ａｐｐａｒｅｉｌｓ Ｒａｄｉｏｒeｃｅｐｔｅｕｒｓ ｅｔ Ｔeｌeｖｉｓｅｕｒｓ）規格などに従って有線で映像信号を受信することができる。また、ディスプレイ装置１００は、ワイファイ（Ｗｉ－Ｆｉ）、ワイファイダイレクト（Ｗｉ－Ｆｉ ｄｉｒｅｃｔ）、又はブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））のような無線通信を通じて無線で映像信号を受信することができる。
また、ディスプレイ装置１００は、内部／外部の記憶媒体に記憶された信号／データに基づく動画、静止画、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）、ＯＳＤ（ｏｎ－ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）、様々な動作制御のためのユーザインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ，ＵＩ）（以下、ＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）ともいう。）などを画面に表示するように信号を処理することができる。
一実施例において、ディスプレイ装置１００は、スマートＴＶ又はＩＰ ＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴＶ）として動作可能である。スマートＴＶは、実時間で放送信号を受信して表示でき、ウェブブラウジング機能を有しているので、実時間放送信号の表示と同時にインターネットを通じて様々なコンテンツ検索及び消費が可能であり、そのための便利なユーザ環境を提供できるテレビジョンである。また、スマートＴＶは、開放型ソフトウェアプラットホームを含んでおり、ユーザに両方向サービスを提供することができる。したがって、スマートＴＶは、開放型ソフトウェアプラットホームを通じて様々なコンテンツ、例えば、所定のサービスを提供するアプリケーションをユーザに提供することができる。このようなアプリケーションは、種々のサービスを提供できる応用プログラムであり、例えば、ＳＮＳ、金融、ニュース、天気、地図、音楽、映画、ゲーム、電子書籍などのサービスを提供するアプリケーションを含む。
しかしながら、本発明において、ディスプレイ装置１００の具現形態はＴＶに限定されず、例えば、ラップトップ（ｌａｐｔｏｐ）又はデスクトップ（ｄｅｓｋｔｏｐ）を含むコンピュータ（ＰＣ）装置（又は、コンピュータ本体と接続されているモニタ）などの様々な装置を含むことができる。
本発明の一実施例に係るディスプレイ装置１００は、図１に示すように、信号受信部１１０、通信部１２０、ビデオ処理部１３０、ディスプレイ部１４０、ユーザ入力部１５０、記憶部１６０及び制御部１７０を含む。
信号受信部１１０は、外部から映像信号（コンテンツ）を受信してビデオ処理部１３０に伝達する。信号受信部１１０は、モデムが装着された電波受信器を用いて無線で映像信号を受信することができる。または、信号は、後述する有線接続で受信されてもよい。受信される信号の規格は、ディスプレイ装置１００の具現形態に対応して様々な方式で構成されてよい。例えば、信号受信部１１０は、放送局（図示せず）から送出されるＲＦ信号を無線で受信したり、コンポジットビデオ、コンポーネントビデオ、スーパービデオ、ＳＣＡＲＴ、ＨＤＭＩ規格などによる映像信号を有線で受信することができる。
信号受信部１１０は、ディスプレイ装置１００を外部映像ソースと有線接続させる接続部１１１を含む。一実施例において、接続部１１１は、ＨＤＭＩケーブルを通じて映像ソースに接続されるが、接続される方式はＨＤＭＩに限定されない。
ディスプレイ装置１００は、有線接続された接続部１１１を通じてセットトップボックスのような映像ソースからコンテンツを取り込むことができる。接続部１１１は、基本的には映像ソースから信号を受信するが、両方向に信号を送受信可能に設けられてもよい。
接続部１１１は、種々の通信プロトコルに対応する通信モジュール（Ｓ／Ｗモジュール、チップなど）とポート（ｐｏｒｔ）などが組み合わせられたデータ入出力インターフェースを含む通信回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃｉｒｃｕｉｔｒｙ）として具現されてよい。
一実施例において、接続部１１１を通じてディスプレイ装置１００と有線接続される装置は、セットトップボックスやＰＣのような映像ソースになるが、本発明はこれに限定されない。例えば、他の実施例として、ディスプレイ装置１００は接続部１１１を通じてモバイル装置と有線接続されてもよい。
一実施例において、信号受信部１１０は、映像信号が放送信号である場合、この放送信号をチャネル別にチューニングするためのチューナーを含むことができる。
また、映像信号は、様々な周辺装置から入力されてよい。また、映像信号は、インターネットなどのようなネットワークを通じて受信されるデータから起因したものであってもよく、この場合、ディスプレイ装置１００は、後述する通信部１２０を通じて映像信号を受信することができる。
また、映像信号は、フラッシュメモリ、ハードディスクなどのような不揮発性の記憶部１６０に記憶されたデータから起因したものであってもよい。記憶部１６０は、ディスプレイ装置１００の内部又は外部に設けられてよく、外部に設けられる場合、記憶部１６０は接続部１１１を通じてディスプレイ装置１００に接続されてよい。
一実施例において、信号受信部１１０は、信号供給源、すなわち、コンテンツ提供装置側のエンコーディング端で所定のＡＩ学習ベース処理を用いてエンコードされたビデオ信号をコンテンツとして取り込むことができる。
通信部１２０は、少なくとも一つの外部装置と有線或いは無線通信方式を用いて通信可能に設けられる。通信部１２０は、有線及び／又は無線通信モジュールを含む。
通信部１２０は、種々の通信プロトコルに対応する通信モジュール（Ｓ／Ｗモジュール、チップなど）を含む通信回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃｉｒｃｕｉｔｒｙ）として具現されてよい。
一実施例において、通信部１２０は、無線ＬＡＮユニット（ＷＬＡＮ）を含む。無線ＬＡＮユニットは、制御部１７０の制御に応じて、ＡＰ（ａｃｃｅｓｓ ｐｏｉｎｔ）を通じて、制御対象である少なくとも一つのデバイスに該当の信号が伝達されるようにすることができる。無線ＬＡＮユニットは、ワイファイ（Ｗｉ－Ｆｉ）通信モジュールを含む。
一実施例において、通信部１２０は、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ブルートゥース低エネルギー（ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ）、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）通信、ワイファイダイレクト（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）、ジグビー（Ｚｉｇｂｅｅ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ，ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）などの近距離通信モジュールのうち少なくとも一つを含む。近距離通信モジュールは、ＡＰ無しに無線でディスプレイ装置１００と少なくとも一つのデバイス３００との間にダイレクトに通信を支援するように設けられる。
一実施例において、通信部１２０は、イーサネット（Ｅｔｈｅｒｎｅｔ）などのような有線通信モジュールをさらに含むことができる。
本発明の実施例に係るディスプレイ装置１００の通信部１２０は、性能によって、無線ＬＡＮユニット、近距離通信モジュール、有線通信モジュールのいずれか１つ又は２つ以上の組合せからなってよい。
一実施例において、ディスプレイ装置１００は、通信部１２０を通じて少なくとも一つの外部装置と無線通信を行う。ディスプレイ装置１００が少なくても一つの外部装置とダイレクトに無線通信を行う場合、記憶部１６０には通信対象装置に関する識別情報（例えば、ＭＡＣアドレス又はＩＰアドレス）が記憶されてよい。
ビデオ処理部１３０は、信号受信部１１０又は通信部１２０の少なくとも一方から受信した映像信号に対して、既に設定された様々な映像／音声処理プロセスを行う。ビデオ処理部１３０は、このような映像処理プロセスを行って生成又は結合した出力信号をディスプレイ部１４０に出力することによって、ディスプレイ部１４０に映像信号に対応する映像が表示されるようにする。
ビデオ処理部１３０は、図１に示すように、デコーダ（ｄｅｃｏｄｅｒ）１３１と、ＡＩスケーラー（ｓｃａｌｅｒ）１３３とを含む。
ビデオデコーダ１３１は、映像信号をディスプレイ装置１００の映像フォーマットに対応するようにデコードする。ビデオデコーダ１３１は、例えば、Ｈ．２６４デコーダであることを一例とするが、これに限定されるものではない。すなわち、本発明の実施例に係るビデオデコーダ１３１は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）デコーダ又はＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）デコーダなど、様々な圧縮標準に従うデコーダとして具現可能である。
ＡＩスケーラー１３３は、映像信号をディスプレイ部１４０の出力規格に合わせて調節又は変換するスケーリングを行う。
本発明の実施例に係るディスプレイ装置１００において、ＡＩスケーラー１３３は、ビデオ、すなわち、映像の解像度を拡張する解像度拡張モジュール、すなわち、スケーリングアップモジュール（Ｓｃａｌｉｎｇ－Ｕｐ Ｍｏｄｕｌｅ）として具現される。言い換えると、ＡＩスケーラー１３３は、アップスケーリングによって低解像度映像（Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ）から高解像度映像（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ）又はスーパー解像度映像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ）を生成することができる。
一実施例において、ＡＩスケーラー１３３は、ビデオデコーダ１３１によってデコードされたビデオ信号を、所定のＡＩ学習ベース処理によってスケーリングアップさせる。ここで、ＡＩスケーラー１３３は、信号供給源、すなわち、コンテンツ提供装置のエンコーディング端で用いられたＡＩ学習ベース処理に対応してビデオ信号をスケーリングアップするように具現可能である。
具体的に、ＡＩスケーラー１３３は、図２に示すように、可変組合せ、すなわち、フレキシブル（ｆｌｅｘｉｂｌｅ）なフィルターの組合せが可能な複数のフィルターＦｉｌｔｅｒ １(フィル 1)，Ｆｉｌｔｅｒ ２(フィル ２)，…，Ｆｉｌｔｅｒ Ｍ(フィル Ｍ)，Ｆｉｌｔｅｒ Ｎ(フィル Ｎ)を含み、複数のフィルターの組合せによってビデオ信号を処理することによって、ビデオ（映像）の解像度を調節することができる。図２において、複数のフィルターＦｉｌｔｅｒｓ １～Ｎは、“足し算（Ａｄｄｉｎｇ）”の機能ブロックが続く直列配列で表示される。足し算ブロックには２つの入力があり、一方はＦｉｌｔｅｒ Ｎによって供給され、他方はＦｉｌｔｅｒ １の出力によって供給される。足し算は、出力を算出するためにこのような入力の直接的な代数合計（ｄｉｒｅｃｔ ａｌｇｅｂｒａｉｃ ｓｕｍｍａｔｉｏｎ）を含む。
一実施例において、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎは、いずれか一つのフィルター、例えば、Ｆｉｌｔｅｒ １の出力が他のフィルター、例えば、Ｆｉｌｔｅｒ ２の入力となるように設けられ、全フィルターＦｉｌｔｅｒｓ １～Ｎがビデオ信号を処理するピクセルデータ経路（ｐａｔｈ）を構成する。
一実施例において、ビデオ処理部１３０は、図２に示すように、ビデオデコーダ１３１から出力されたビデオ信号がＡＩスケーラー１３３に伝達されるように前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）を行う前処理モジュール１３２と、ＡＩスケーラー１３３から出力されたビデオ信号に対して画質改善のための後処理（ｐｏｓｔ－ｐｒｏｃｅｓｓｉｎｇ）を行う後処理モジュール１３４とをさらに含むことができる。
一実施例において、前処理モジュール１３２、ＡＩスケーラー１３３及び後処理モジュール１３４は、映像の画質を改善するための構成であり、いわゆる画質チェーンｃに含まれる。
本発明の一実施例に係るＡＩスケーラー１３３は、第１のＡＩ学習ベース処理に対応してビデオ信号を処理したり、又は第１のＡＩ学習ベース処理とは異なる第２のＡＩ学習ベース処理に対応してビデオ信号を処理し、ビデオ（映像）の解像度を調節できるように構成される。
ここで、第１のＡＩ学習ベース処理は、機械学習、すなわち、マシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，ＭＬ）ベース処理に、第２のＡＩ学習ベース処理は、ディープ神経網ネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）、すなわち、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）ベース処理に、それぞれ対応する。
すなわち、ＡＩ学習ベースのビデオ信号処理においてマシンラーニング又はディープラーニングベースを選択的に用いて映像の解像度を制御するディスプレイ装置１００、その制御方法及び記録媒体が提供される。
第１のＡＩ学習ベース処理と第２のＡＩ学習ベース処理の具体的な動作については、後でより詳しく説明する。
一方、本発明のビデオ処理部１３０が行うプロセスの種類は限定されないところ、ビデオ処理部１３０は、例えば、インターレース（ｉｎｔｅｒｌａｃｅ）方式の放送信号をプログレッシブ（ｐｒｏｇｒｅｓｓｉｖｅ）方式に変換するデインターレース（ｄｅ－ｉｎｔｅｒｌａｃｉｎｇ）、映像画質改善のためのノイズ低減（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）、ディテール強化（ｄｅｔａｉｌ ｅｎｈａｎｃｅｍｅｎｔ）、フレームリフレッシュレート（ｆｒａｍｅ ｒｅｆｒｅｓｈ ｒａｔｅ）変換、ラインスキャニング（ｌｉｎｅ ｓｃａｎｎｉｎｇ）などの様々なプロセスを行うための少なくとも一つのモジュールをさらに含むことができる。
ビデオ処理部１３０は、このような各プロセスを独自で実行可能な個別構成、すなわち、モジュールのグループとして具現されてもよく、或いは様々な機能を統合させたメインＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）に含まれる形態として具現されてもよい。メインＳｏＣは、後述する制御部１７０を具現する一例である少なくとも一つのプロセッサ、例えば、マイクロプロセッサ又はＣＰＵを含むことができる。
一実施例において、ビデオ処理部１３０は、このような各プロセスを行うための様々なチップセット、メモリ、電子部品、配線などの回路構成が印刷回路基板（ＰＣＢ）上に実装された映像ボードとして具現されてよい。この場合、ディスプレイ装置１００には、チューナー、ビデオ処理部１３０及び制御部１７０が単一の映像ボードに設けられてよい。勿論、これは一例に過ぎず、相互に通信可能に連結された複数の印刷回路基板に配置されてもよい。
ビデオ処理部１３０によって処理された映像信号はディスプレイ部１４０に出力される。ディスプレイ部１４０は、ビデオ処理部１３０から受信した映像信号に対応する映像を表示する。
一実施例において、ディスプレイ部１４０は、ビデオ処理部１３０のＡＩスケーラー１３３のスケーリングアップによって解像度が拡張された高解像度映像を表示することができる。
ディスプレイ部１４０の具現方式は限定されず、例えば、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ－ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ－ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ－ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ－ｃｒｙｓｔａｌ）などの様々なディスプレイ方式によって具現されてよい。一実施例において、ディスプレイ部１４０は、映像を表示するディスプレイパネルを含み、その具現方式に応じて付加的な構成、例えば、駆動部（ｄｒｉｖｅｒ）をさらに含むことができる。
ユーザ入力部１５０は、ユーザの入力によって、既に設定された様々な制御コマンド又は限定されない情報を制御部１７０に伝達する。
一実施例において、ユーザ入力部１５０は、ＡＩスケーラー１３３が第１のＡＩ学習ベース処理又は第２のＡＩ学習ベース処理のいずれかによって動作するようにする構成制御信号（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｃｏｎｔｒｏｌ ｓｉｇｎａｌ）を制御部１７０に出力することができる。
ユーザ入力部１５０は、ディスプレイ装置１００本体に設けられた電源キー、数字キー、メニューキーなどのボタンを含むキーパッド（又は、入力パネル）を含む。
一実施例において、ユーザ入力部１５０は、ディスプレイ装置１００を遠隔で制御可能に既に設定されたコマンド／データ／情報／信号を生成してディスプレイ装置１００に伝送する入力装置を含む。入力装置は、ディスプレイ装置１００本体と離隔分離され、ユーザ入力を受信可能なリモコン（ｒｅｍｏｔｅ ｃｏｎｔｒｏｌ）、キーボード（ｋｅｙｂｏａｒｄ）、マウスなどを含む。
リモコンには、ユーザのタッチ入力を受信するタッチ感知部及び／又はユーザによる自体モーションを感知するモーション感知部が設けられてよい。入力装置は、リモコンアプリケーションが設置されたスマートフォンのような端末装置を含み、この場合、タッチスクリーンを介したユーザのタッチ入力が受信可能である。
入力装置は、ディスプレイ装置１００と無線通信する外部装置に含まれ、無線通信は、ワイファイ、ブルートゥース、赤外線通信、ＲＦ通信、無線ＬＡＮ、ワイファイダイレクトなどを含む。
一実施例において、ユーザ入力部１５０は、ユーザから発話した音声／サウンドを受信する音声入力部をさらに含むことができる。音声入力部は、音声信号を受信するマイクロホン（ｍｉｃｒｏｐｈｏｎｅ）によって具現されてよい。
記憶部１６０は、ディスプレイ装置１００の様々なデータを記憶するように構成される。記憶部１６０は、ディスプレイ装置１００に供給される電源が遮断されてもデータが残っていなければならず、且つ変動事項を反映できるように書き込み可能な不揮発性メモリ（ｗｒｉｔａｂｌｅ ｍｅｍｏｒｙ）とすることができる。記憶部１６０は、ハードディスク（ＨＤＤ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭのうち少なくとも一つを含むことができる。
記憶部１６０は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）をさらに含み、揮発性メモリは、ディスプレイ装置１００の読み取り又は書き込み速度が不揮発性メモリに比べて速いＤＲＡＭ又はＳＲＡＭとすることができる。すなわち、本発明において、記憶部とは、不揮発性メモリの他、揮発性メモリ、制御部１７０の内部に設けられるキャッシュメモリ、接続部１１１を通じてディスプレイ装置１００に装着可能なメモリカード（例えば、ｍｉｃｒｏ ＳＤカード、メモリスティックなど）を包括する用語として定義される。
記憶部１６０に記憶されるデータは、例えば、ディスプレイ装置１００の駆動のための運営体制をはじめとして、この運営体制上で実行可能な様々なアプリケーション、映像データ、付加データなどを含む。
具体的に、記憶部１６０は、制御部１７０の制御によって各構成要素の動作に対応するように入／出力される信号又はデータを記憶することができる。記憶部１６０は、ディスプレイ装置１００の制御のためのプログラム、メーカーから提供されるか或いは外部からダウンロードしたアプリケーションと関連したＵＩ、ＵＩを提供するためのイメージ、ユーザ情報、文書、データベース又は関連データを記憶することができる。
一実施例において、記憶部１６０には、第１のＡＩ学習ベース処理と第２のＡＩ学習ベース処理にそれぞれ対応するように設けられたルックアップテーブル（Ｌｏｏｋ－Ｕｐ ｔａｂｌｅ，ＬＵＴ）が記憶されてよい。
第１のＡＩ学習ベース処理に対応するＬＵＴは、事前に第１のＡＩ学習、すなわち、マシンラーニングを行うことによって映像の特性別に生成されたフィルターパラメータ（以下、パラメータともいう。）が記憶された第１のＬＵＴを含む。ＡＩスケーラー１３３は、第１のＡＩ学習ベース処理によるプロセスを行うランタイム（ｒｕｎ ｔｉｍｅ）時に、上記のようにマシンラーニングによってあらかじめ生成された第１のＬＵＴから、入力される映像（ビデオ信号）の特性に対応するパラメータセットを抽出し、解像度拡張のためのスケーリングアップを行う。
第２のＡＩ学習ベース処理に対応するＬＵＴは、事前に第２のＡＩ学習ベース処理、すなわち、ディープラーニングを行って生成されたフィルターパラメータが記憶された第２のＬＵＴを含む。第２のＬＵＴは、映像の特性に関係なく生成されたパラメータで構成される。ＡＩスケーラー１３３は、第２のＡＩ学習ベース処理によるプロセスを行うランタイム時に、前記のようにディープラーニングによってあらかじめ生成された第２のＬＵＴから、パラメータセットを抽出し、解像度拡張のためのスケーリングアップを行う。
一実施例において、第２のＡＩ学習ベース処理によってビデオ信号を処理するＡＩスケーラー１３３は、第２のＬＵＴから、映像のコーデック（ｃｏｄｅｃ）又は圧縮特性に対応するフィルターパラメータセットを抽出し、スケーリングアップを行うことができる。
制御部１７０は、ディスプレイ装置１００の諸般構成が動作するための制御を行う。制御部１７０は、制御プログラムが設置された不揮発性のメモリから、制御プログラムの少なくとも一部を揮発性のメモリにロードし、ロードされた制御プログラムを実行する少なくとも一つの汎用プロセッサを含み、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＰ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）、又はマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）によって具現されてよい。
制御部１７０は、シングルコア、デュアルコア、トリプルコア、クォードコア又はその倍数からなる一つ以上のコアが搭載された少なくとも一つのプロセッサを含むことができる。プロセッサは、複数のプロセッサ、例えば、メインプロセッサ（ｍａｉｎ ｐｒｏｃｅｓｓｏｒ）及びスリープモード（ｓｌｅｅｐ ｍｏｄｅ、例えば、待機電源のみが供給され、ディスプレイ装置として動作しない）で動作するサブプロセッサ（ｓｕｂ ｐｒｏｃｅｓｓｏｒ）を含むことができる。また、プロセッサ、ＲＯＭ及びＲＡＭは内部バス（ｂｕｓ）を通じて相互接続されてよい。
一実施例において、制御部１７０は、グラフィック処理のためのＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をさらに含むことができる。
一実施例において、制御部１７０は、ディスプレイ装置１００に内蔵されるＰＣＢ上に実装されるメインＳｏＣ（Ｍａｉｎ ＳｏＣ）に含まれる形態として具現可能である。他の実施例において、メインＳｏＣは、ビデオ信号を処理するビデオ処理部１３０をさらに含むことができる。
制御プログラムは、ＢＩＯＳ、デバイスドライバー、運営体制、ファームウェア、プラットホーム及び応用プログラム（アプリケーション）のうち少なくとも一つの形態として具現されるプログラムを含むことができる。一実施例として、応用プログラムは、ディスプレイ装置１００の製造時にディスプレイ装置１００にあらかじめ設置又は記憶されてもよく、或いは使用に当たって外部から応用プログラムのデータを受信し、受信されたデータに基づいてディスプレイ装置１００に設置されてもよい。応用プログラムのデータは、例えば、アプリケーションマーケットのような外部サーバーからディスプレイ装置１００にダウンロードされてもよい。このような外部サーバーは、本発明のコンピュータプログラム製品の一例であるが、これに限定されない。
一実施例として、上記のような制御部１７０の動作は、ディスプレイ装置１００とは別に設けられるコンピュータプログラム製品（図示せず）に記憶されたコンピュータプログラムとして具現されてもよい。
この場合、コンピュータプログラム製品は、コンピュータプログラムに該当するインストラクションが記憶されたメモリと、プロセッサとを含む。インストラクションは、プロセッサによって実行されれば、第１のＡＩ学習ベース処理に対応して第１の組合せのフィルターを用いてデコードされたビデオ信号を処理するようにし、第２のＡＩ学習ベース処理に対応して第１の組合せとは異なる第２の組合せのフィルターを用いてデコードされたビデオ信号を処理するようにＡＩスケーラー１３３を制御することによって制御部１７０の動作を行うことができる。
これによって、ディスプレイ装置１００は、別個のコンピュータプログラム製品に記憶されたコンピュータプログラムをディスプレイ装置１００にダウンロード及び実行して、制御部１７０の動作を行うことができる。
また、一実施例として、制御部１７０の動作は、記録媒体に記憶され、コンピュータ読取り可能なプログラムとして具現されてもよい。記録媒体に記憶されたプログラム、すなわち、データは、制御部１７０によって直接アクセスされて実行されたり、コンピュータシステムが相互結合した有無線ネットワークを通じて具現される伝送媒体を介してディスプレイ装置１００にダウンロードされて実行されることによって、動作を行うことができる。
本発明の実施例に係るディスプレイ装置１００において、制御部１７０は、図２に示すように、構成制御モジュール１７１、ＬＵＴ制御モジュール１７３、パラメータ抽出モジュール１７４を含む。一実施例において、制御部１７０は、コーデック分析モジュール１７２をさらに含むことができる。
一実施例において、構成制御モジュール１７１、コーデック分析モジュール１７２、ＬＵＴ制御モジュール１７３、パラメータ抽出モジュール１７４は、フィルター構成及びパラメータ生成のための制御経路（ｃｏｎｔｒｏｌ ｐａｔｈ）を構成する。
上記のような制御部１７０の構成１７１，１７２，１７３，１７４のうち少なくとも一つは、ハードウェアモジュールとして具現されてもよく、前述したコンピュータプログラムとして具現されてもよい。以下において、ＡＩスケーラー１３３が所定のＡＩ学習ベース処理を行うようにするための制御動作は、ディスプレイ装置１００の制御部１７０によって行われるものと理解できよう。
以下、図面を参照して、本発明の実施例によって行われるＡＩ学習ベース処理による解像度拡張プロセスについて詳しく説明する。
図３～図６は、本発明の一実施例に係るＡＩ学習ベース処理過程を説明するための図である。
図３に示すように、ディスプレイ装置１００のビデオデコーダ１３１は、信号受信部１１０を通じて入力されるビデオ信号をデコードする（２００）。
段階２００でデコードされたビデオ信号は、第１のＡＩ学習ベース処理に対応して、ＡＩスケーラー１３３を構成する複数のフィルターのうち第１の組合せのフィルターを用いて処理されたり（２０１）、或いは第２のＡＩ学習ベース処理に対応して、ＡＩスケーラー１３３を構成する複数のフィルターのうち第１の組合せとは異なる第２の組合せのフィルターを用いて処理される（２０２）。
図２及び図４を参照すると、ディスプレイ装置１００において、制御部１７０の構成制御モジュール１７１は、構成制御信号（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｃｏｎｔｒｏｌ ｓｉｇｎａｌ）を受信する（３０１）。
構成制御信号は外部入力信号であり、例えば、ユーザ入力部１４０を介したユーザ選択に対応して構成制御モジュール１７１に入力されたり、又は通信部１２０を通じて外部装置から受信した信号に対応して構成制御モジュール１７１に入力されてよい。
他の例として、構成制御信号は、所定イベントの発生に応答してディスプレイ装置１００で自動生成されてもよい。
一実施例において、構成制御信号は、ディスプレイ装置１００の製造過程又は最初設置過程で決定されてよい。
制御部１７０は、入力された構成制御信号を識別し、その識別結果に基づいて、第１のＡＩ学習ベース処理と第２のＡＩ学習ベース処理のいずれか一方に対応するようにＡＩスケーラー１３３の動作モード（ｏｐｅｒａｔｉｏｎ ｍｏｄｅ）を決定することができる（３０２）。
構成制御信号は、ＡＩスケーラー１３３の動作モードを示す。具体的に、構成制御信号は、ＡＩスケーラー１３３が第１のＡＩ学習ベース処理、すなわち、マシンラーニング手法で動作する映像分析モードと、ＡＩスケーラー１３３が第２のＡＩ学習ベース処理、すなわち、ディープ神経網ネットワーク（ＤＮＮ）（ディープラーニング）手法で動作するＤＮＮモードのいずれか一方を示すことができる。
ＡＩスケーラー１３３は、上記のように入力された構成制御信号に対応して、映像分析モード又はＤＮＮモードのいずれかで動作する。ＡＩスケーラー１３３は、可変組合せが可能な複数のフィルターを含む。
一実施例において、ＡＩスケーラー１３３は、動作モードに対応して、異なる組合せのフィルターを用いてビデオ信号を処理する。
すなわち。映像分析モードで動作するＡＩスケーラー１３３は、第１の組合せのフィルターを用いてビデオ信号を処理し、ＤＮＮモードで動作するＡＩスケーラー１３３は、第２の組合せのフィルターを用いてビデオ信号を処理することができる。
一実施例において、ＡＩスケーラー１３３の複数のフィルターのうち少なくとも一つのフィルターは、映像分析モードとＤＮＮモードで共用に用いられてよい。例えば、図２に示す第１のフィルター（Ｆｉｌｔｅｒ １）と第２のフィルター（Ｆｉｌｔｅｒ ２）は、第１の組合せのフィルターと第２の組合せのフィルターの両方に含まれてよい。
映像分析モードでは、事前に第１のＡＩ学習ベース処理を行うことによって生成されたデータ（フィルターパラメータ）に基づいて、第１の組合せのフィルターをそれぞれ独立して制御する。ここで、第１のＡＩ学習ベース処理によるフィルターパラメータは、ビデオ信号（映像）の特性に対応して設けられるものであるので、第１のＡＩ学習ベース処理はマシンラーニングに設計されてよい。
ＤＮＮモードでは、事前に第２のＡＩ学習ベース処理を行うことによって生成されたデータ（フィルターパラメータ）に基づいて、第２の組合せのフィルターをそれぞれ独立して制御する。ここで、第２のＡＩ学習ベース処理によるフィルターパラメータは、ビデオ信号（映像）の特性に関係なく設けられるものであるので、第２のＡＩ学習ベース処理はディープラーニングに設計されてよい。
構成制御モジュール１７１は、入力された構成制御信号に基づいて、図２のように、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのそれぞれの動作を選択的にオン（ＯＮ）又はオフ（ＯＦＦ）するフィルター制御（ｆｉｌｔｅｒ ｃｏｎｔｒｏｌ）信号を出力し、ＡＩスケーラー１３３がその動作モードに対応するフィルターレイヤ（ｌａｙｅｒ）を構成するようにする。
また、構成制御モジュール１７１に入力された構成制御信号は、ＬＵＴ制御モジュール１７３及びパラメータ抽出モジュール１７４に伝達され、各レイヤを構成するフィルターの動作パラメータ（ｐａｒａｍｅｔｅｒ）が設定されるようにする。
ＬＵＴ制御モジュール１７３は、構成制御信号に応答して、記憶部１６０に設けられた第１のＬＵＴと第２のＬＵＴのうち、動作モードに対応する一方を選択することができる。
パラメータ抽出モジュール１７４は、選択されたＬＵＴからフィルターパラメータを抽出し、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのそれぞれに対してパラメータ情報を出力する。ここで、パラメータ抽出モジュール１７４は、複数のフィルターのうち、フィルター制御信号によってオンされたフィルターに対して選択的にパラメータ情報を出力することができる。
図４を参照すると、入力された構成制御信号が映像分析モードを示す場合、言い換えると、段階３０２でＤＮＮモードを示さないものと識別されれば、構成制御モジュール１７１から出力されるフィルター制御信号に基づいて、映像分析ユニットを含む第１の組合せのフィルターとしてフィルターレイヤが構成され、パラメータ抽出モジュール１７４から出力されたパラメータ情報に基づいてＬＵＴからパラメータセットがロードされる（３０３）。
上記のように構成された第１の組合せのフィルターにおいて、いずれか一つのフィルター、例えば、第１のフィルターＦｉｌｔｅｒ １は、映像、すなわち、ビデオ信号の特性を分析する映像分析ユニットとして動作し、映像分析ユニット（Ｆｉｌｔｅｒ １）の映像分析（ｉｍａｇｅ ａｎａｌｙｓｉｓ）結果は、ＬＵＴ制御モジュール１７３に出力され、パラメータ抽出モジュール１７４でＬＵＴから分析された映像の特性に対応してパラメータセットがロードされる。
そして、フィルター制御信号、すなわち、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎに対するオン／オフ信号と、ロードされたパラメータ情報が、対応する各フィルターに出力される（３０４）。
一方、入力された構成制御信号が段階３０２でＤＮＮモードを示すものと識別されれば、構成制御モジュール１７１から出力されるフィルター制御信号に基づいて第２の組合せのフィルターとしてフィルターレイヤが構成され、パラメータ抽出モジュール１７４から出力されたパラメータ情報に基づいて、ＬＵＴからパラメータセットがロードされる（３０５）。
ここで、ＡＩスケーラー１３３がＤＮＮモードで動作する場合、コーデック分析モジュール１７２は、ビデオデコーダ１３１から、処理対象であるビデオ信号のコーデック情報を取得することができる。コーデック分析モジュール１７２のコーデック分析結果は、ＬＵＴ制御モジュール１７３に出力され、パラメータ抽出モジュール１７４でＬＵＴから分析されたコーデックに対応してパラメータセットが生成されてよい。
そして、フィルター制御信号、すなわち、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎに対するオン／オフ信号と、ロードされたパラメータ情報が、対応する各フィルターに出力される（３０６）。
これらの過程において、ＬＵＴ制御モジュール１７３の動作を、図５を参照して説明すると、次の通りである。
ＡＩスケーラー１３３が映像分析モードで動作する場合、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのいずれか一つが映像分析ユニットとして動作し、図５に示すように、映像分析ユニットから映像分析情報が出力される（４０１）。
ＬＵＴ制御モジュール１７３は、段階４０１で出力された映像分析情報に基づいて、ＬＵＴから分析された映像の特性に対応するパラメータセットをロードする（４０２）。ここで、ＬＵＴ制御モジュール１７３は、構成制御信号が示すモード情報によって映像分析モードに対応するようにあらかじめ設けられた第１のＬＵＴから分析された映像の特性に対応するパラメータセットを選択的にロードすることができる。
そして、ロードされたパラメータセットから各フィルターに適用されるパラメータが抽出され（４０３）、抽出されたパラメータが、対応するフィルターに出力される（４０４）。
一方、ＡＩスケーラー１３３がＤＮＮモードで動作する場合、図５に示すように、コーデック分析モジュール１７２からコーデック情報が出力される（４０５）。ここで、コーデック情報は、コーデック種類又は圧縮強度のうち少なくとも一つを含む。
具体的に、コーデック分析モジュール１７２は、ビデオデコーダ１３１から取得したコーデックメタ情報（ｃｏｄｅｃ ｍｅｔａ ｉｎｆｏｒｍａｔｉｏｎ）ベースでコーデック種類別、圧縮強度別に情報を生成し、ＬＵＴ制御モジュール１７３に出力することができる。例えば、コーデック分析モジュール１７２は、コーデック種類及び圧縮強度を示す量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ，ＱＰ）を用いてＬＵＴ選択のための情報を生成することができる。
ＬＵＴ制御モジュール１７３は、段階４０１で出力されたコーデック情報に基づいて、ＬＵＴから当該コーデックに対応するパラメータセットを生成する（４０６）。ここで、ＬＵＴ制御モジュール１７３は、構成制御信号が示すモード情報によってＤＮＮモードに対応するようにあらかじめ設けられた第２のＬＵＴから識別されたコーデックに対応するパラメータセットを生成することができる。
そして、生成されたパラメータセットから、各フィルターに適用されるパラメータが抽出され（４０３）、抽出されたパラメータが、対応するフィルターに出力される（４０４）。
これらの過程において、フィルター制御信号が出力される動作を、図６を参照して説明すると、次の通りである。
図４及び図５で説明した通り、構成制御信号に基づいて、構成制御モジュール１７１が複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのそれぞれに出力されるフィルター制御（ｆｉｌｔｅｒ ｃｏｎｔｒｏｌ）信号を生成することによって、各フィルター別に動作のオン（ＯＮ）又はオフ（ＯＦＦ）が決定され、パラメータ抽出モジュール１７４がＬＵＴからフィルターパラメータを抽出することによって、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのそれぞれに対するパラメータ値が設定される（５０１）。
そして、段階５０１で、各フィルター別に、すなわち、フィルターレイヤを構成する各チャネル別にオン／オフ信号及びパラメータが出力される（５０２）。オフ信号を受信するフィルターは、バイパスモード（Ｂｙ－ｐａｓｓ ｍｏｄｅ）で動作する。
本発明の実施例に係るＡＩスケーラー１３３は、上記のような過程によって、第１のＡＩ学習ベース処理、すなわち、マシンラーニングベースで動作する映像分析モードと第２のＡＩ学習ベース処理、すなわち、ディープラーニングベースで動作するＤＮＮモードのいずれか一方に対応するように組み合わせられた複数のフィルターで構成される。
図７は、本発明の一実施例によって第１のＡＩ学習ベース処理のための第１の組合せのフィルターからなるＡＩスケーラーを示すブロック図であり、図８は、本発明の一実施例によって第２のＡＩ学習ベース処理のための第２の組合せのフィルターからなるＡＩスケーラーを示すブロック図である。
図７に示すように、第１のＡＩ学習ベース処理のための第１の組合せのフィルターからなるＡＩスケーラー１３３では、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのいずれか一方、すなわち、第１のフィルターＦｉｌｔｅｒ １が映像分析ユニットの役割を担い、いずれか他方、すなわち、第２のフィルターＦｉｌｔｅｒ ２がスケーリングアップによって解像度が調節された高解像度映像（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ）を生成する役割を担うことができる。
映像分析ユニット（Ｆｉｌｔｅｒ １）から出力された映像分析結果は、ＬＵＴ制御モジュール１７３に出力され、ＬＵＴ制御モジュール１７３は、第１のＬＵＴから、分析された映像の特性に対応するパラメータを読み、パラメータ抽出モジュール１７４が当該パラメータを第２のフィルターＦｉｌｔｅｒ ２に出力する。
第２のフィルターＦｉｌｔｅｒ ２は、例えば、抽出されたパラメータに基づく補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって推定される方式によって高解像度映像を生成することができる。
図８に示すように、第２のＡＩ学習ベース処理のための第２の組合せのフィルターからなるＡＩスケーラー１３３は、多数の層、すなわち、レイヤ（ｌａｙｅｒ）で構成されたマルチフィルター構造を有する。
第２の組合せのフィルターからなるＡＩスケーラー１３３において、各フィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎは、事前にＤＮＮ（ディープラーニング）ベースのトレーニング（ｔｒａｉｎｉｎｇ）によって生成された第２のＬＵＴから抽出されたパラメータによってセットされる。低解像度の入力映像、すなわち、ビデオ信号は、対応するパラメータによってセットされた複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎを順次に通過しながら、自動で解像度が拡張された高解像度映像が生成される。
上記のように第２の組合せのフィルターからなるＡＩスケーラー１３３では、各フィルター別にパラメータがセットされることにより、多層レイヤ（ｌａｙｅｒ）がそれぞれ独立して制御され得る。
一実施例において、制御部１７０がコーデック分析モジュール１７２をさらに含む場合、各フィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎは、ビデオデコーダ１３１から取得したコーデック情報に基づいて、当該コーデックに対応するパラメータ値にセットされてよい。
本発明の実施例に係るディスプレイ装置１００は、上記のように、コーデック情報を各フィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのパラメータセッティングに用いることによって、コーデックの種類や圧縮強度などによる映像圧縮特性までも反映した解像度拡張が可能な長所を有する。
以下、図面を参照して、上記のように第１の組合せのフィルター又は第２の組合せのフィルターで構成されたＡＩスケーラー１３３において各フィルターの具体的な動作について説明する。
図９及び図１０は、ＤＮＮモードで動作する場合にフィルターの動作を説明するための図である。
図９に示すように、ＤＮＮ動作モードで各フィルターは畳み込みフィルター（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）６０１と非線形関数（ｎｏｎ－ｌｉｎｅａｒ ｆｕｎｃｔｉｏｎ）６０２で構成される。
一実施例において、畳み込みフィルター６０１は、１×１～Ｎ×Ｎまで様々に使用可能であり、例えば、１×１、３×３、５×５フィルターの形態として具現可能である。他の実施例において、畳み込みフィルター６０１は、Ｍ個のチャネル（ＣＨ）で構成されてもよい。
畳み込みフィルター６０１は、外部から入力されて設定されたパラメータ（ｗｅｉｇｈｔ ｐａｒａｍｅｔｅｒ）が記憶されたレジスターと畳み込み演算子で構成され、畳み込み演算子がレジスターから読み出したパラメータ値を入力映像データ（Ｘ０，Ｘ１，Ｘ２…Ｘｎ）とかけ、それらの掛け算の結果値を合算して畳み込み演算を行うことができる。
非線形関数６０２には、図１０に示すように、様々な形態を有する非線形関数７０１，７０２が適用されてよい。
図９に示すように、畳み込みフィルター６０１と非線形関数６０２で構成された各フィルターは、畳み込み神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）アルゴリズムによって動作しながら、映像データを取り込んで解像度拡張処理された映像データを出力する。低解像度映像である入力ビデオ信号は、各フィルターを通過しながらスケーリングアップによって解像度が調節されることによって高解像度映像として生成される。
図１１及び図１２は、映像分析モードで動作する場合にフィルターの動作を説明するための図である。
図１１は、映像分析ユニットの役割を担うフィルター、例えば、図７の第１のフィルターＦｉｌｔｅｒ １の動作を示す。
図１１に示すように、フィルターが映像分析機能を担う場合、入力された映像データにＮ×Ｎ形態の畳み込みフィルターをかけて出力データを取得する（８０１）。取得した出力データは、映像分析結果としてＬＵＴ制御モジュール１７３に出力される。他の実施例において、畳み込みフィルターはＭ個のチャネル（ＣＨ）で構成されてもよい。
特定フィルターが映像分析機能を担う場合、続く処理段階である非線形関数は動作せず、入力された映像データをバイパス（ｂｙ－ｐａｓｓ）する（８０２）。このため、入力された映像データがそのままフィルターを通過して出力されることにより、次のフィルター、例えば、図７の第２のフィルターＦｉｌｔｅｒ ２で調節がなされる。
図１２は、解像度拡張（スケーリングアップ）を行うフィルター、例えば、図７の第２のフィルターＦｉｌｔｅｒ ２の動作を示す。
図１２に示すように、スケーリングアップを行うフィルター、例えば、図７の第２のフィルターＦｉｌｔｅｒ ２は、図９で説明したＤＮＮモードにおけるフィルターと同じ方式で動作する。言い換えると、フィルターは映像データを取り込んで処理された映像データを出力することによって、低解像度映像であるビデオ信号をスケーリングアップによって解像度が調節された高解像度映像として生成する。
一方、本発明他の実施例において、ＡＩスケーラー１３３が映像分析モードで動作する場合、使用しないフィルターのうち少なくとも一つを用いて後処理を行うように具現してもよい。
図１３は、本発明の他の実施例のディスプレイ装置において、ビデオ信号処理のための構成を詳細に示すブロック図である。
図１３に示すように、ＡＩスケーラー１３３を構成する複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのうち、第３組合せのフィルターを用いてビデオ信号が処理されてもよい。
第３組合せのフィルターは、図７に示したような第１の組合せのフィルターに、後処理を行う一つ以上のフィルターをさらに含む形態として組み合わせられてよい。
具体的に、第３組合せのフィルターにおいて、いずれか一方のフィルター、例えば、第１のフィルターＦｉｌｔｅｒ １は、映像、すなわち、ビデオ信号の特性を分析する映像分析ユニットの役割を担い、いずれか他方、すなわち、第２のフィルター（Ｆｉｌｔｅｒ ２）が、スケーリングアップによって解像度が調節された高解像度映像（Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ）を生成する役割を担う。そして、図１３に示すように、複数のフィルターＦｉｌｔｅｒ １，Ｆｉｌｔｅｒ ２，…，Ｆｉｌｔｅｒ Ｍ，Ｆｉｌｔｅｒ Ｎのうち、第１のフィルターＦｉｌｔｅｒ １と第２のフィルターＦｉｌｔｅｒ ２以外の少なくとも一方、例えば、Ｎ番目のフィルターＦｉｌｔｅｒ Ｎが映像の画質改善のための後処理（ｐｏｓｔ－ｐｒｏｃｅｓｓｉｎｇ）を行うことができる。
ここで、後処理は、ノイズ低減、ディテール強化などの映像画質改善のための様々なプロセスを含み、後処理の種類は限定されない。
上記のようなＮ番目のフィルターＦｉｌｔｅｒ Ｎは、事実上、図２の一実施例において処理モジュール１３４の機能を少なくとも一部行うものとなる。
上記のような他の実施例に係るディスプレイ装置１００では、ＡＩスケーラー１３３の可変組合せが可能な複数のフィルターのうち、映像分析モードでは使用しないフィルター、すなわち、遊休リソースを後処理に活用することによって、リソースの活用度を高め、映像画質改善の向上した効果が期待できる。
以上、好ましい実施例を挙げて本発明に関して詳細に説明したが、本発明は、これに限定されるものではなく、特許請求の範囲内で様々に実施可能である。

Claims (13)

  1. ディスプレイ装置であって、
    ビデオ信号をデコードするよう構成されるビデオデコーダ；
    複数のフィルターを含み、前記デコードされたビデオ信号を処理するＡＩスケーラー；及び
    制御信号に基づいて、前記複数のフィルターのそれぞれを選択的にターンオン又はターンオフすることによって映像の解像度を制御する制御部を含み、
    前記ターンオンされたフィルターは、学習によってセットされたパラメータに基づいて前記ビデオ信号を処理し、
    前記ターンオフされたフィルターは、入力される前記ビデオ信号をバイパスして出力し、
    前記ＡＩスケーラーは、前記制御信号に基づいて、前記複数のフィルターのうちの第１の組合せのフィルターを用いる第１動作モードと、前記複数のフィルターのうちの第２の組合せのフィルターを用いる第２動作モードのいずれか一方で選択的に動作するよう構成され、
    前記ＡＩスケーラーは、前記第１動作モードで動作している間、第１フィルターによって前記ビデオ信号の映像特性を分析し、前記分析された映像特性に対応するパラメータでセットされる第２フィルターによって、前記ビデオ信号を処理するよう構成され、
    前記ＡＩスケーラーは、前記第２動作モードで動作している間、前記ビデオ信号が、それぞれがパラメータでセットされる前記複数のフィルターを順次に通過して、前記ビデオ信号を処理するよう構成される、
    ディスプレイ装置。
  2. 前記学習を行うことにより生成されたルックアップテーブルが記憶された記憶部をさらに含み、
    前記制御部は、前記ルックアップテーブルから抽出されたパラメータに基づいて前記ターンオンされたフィルターをセットする、
    請求項１に記載のディスプレイ装置。
  3. 前記ターンオンされたフィルターは、それぞれが所定のパラメータでセットされた複数のフィルターを含み、
    前記ＡＩスケーラーは、前記ビデオ信号が前記ターンオンされた複数のフィルターを順次に通過するよう構成される、
    請求項１に記載のディスプレイ装置。
  4. 前記ルックアップテーブルは、第１及び第２のルックアップテーブルを含み、
    前記制御部は、前記第２動作モードにおいて、
    前記ビデオデコーダから前記ビデオ信号のコーデック情報を取得し、
    前記取得したコーデック情報に基づいて前記第１のルックアップテーブルから１つ以上のパラメータを抽出し、
    前記抽出された１つ以上のパラメータに基づいて前記ターンオンされたフィルターをセットする、
    請求項２に記載のディスプレイ装置。
  5. 前記第２のルックアップテーブルは、映像特性に基づく学習に基づき、
    前記第２のルックアップテーブルは、前記分析された映像特性に対応するパラメータを記憶する、
    請求項４に記載のディスプレイ装置。
  6. 前記ターンオンされたフィルターは、
    前記映像に対して、ノイズ除去及びディテール強化のうち少なくとも一方に対応する後処理を行う第３フィルターを含む、
    請求項２に記載のディスプレイ装置。
  7. 前記第１動作モードは、マシンラーニング手法で動作する映像分析モードであり、
    前記第２動作モードは、ディープラーニング手法で動作するディープ神経網ネットワーク（ＤＮＮ）モードである、
    請求項１～６のいずれか一項に記載のディスプレイ装置。
  8. 前記ＡＩスケーラーは、
    前記映像分析モードにおいて、前記第１の組合せのフィルターを用いて前記ビデオ信号を処理し、前記ＤＮＮモードにおいて、前記第２の組合せのフィルターを用いて前記ビデオ信号を処理するように制御される、
    請求項７に記載のディスプレイ装置。
  9. ディスプレイ装置の制御方法であって、
    ビデオ信号をデコードする段階；及び
    制御信号に基づいて、複数のフィルターのそれぞれを選択的にターンオン又はターンオフすることによって、前記複数のフィルターを通じて前記デコードされたビデオ信号を処理して、映像の解像度を制御する段階を含み、
    前記ターンオンされたフィルターは、学習によってセットされたパラメータに基づいて前記ビデオ信号を処理し、
    前記ターンオフされたフィルターは、入力される前記ビデオ信号をバイパスして出力し、
    前記映像の解像度を制御する段階は、前記制御信号に基づいて、前記複数のフィルターのうちの第１の組合せのフィルターを用いる第１動作モードと、前記複数のフィルターのうちの第２の組合せのフィルターを用いる第２動作モードのいずれか一方で選択的に動作する段階を含み、
    前記映像の解像度を制御する段階は、前記第１動作モードで動作している間、第１フィルターによって前記ビデオ信号の映像特性を分析し、前記分析された映像特性に対応するパラメータでセットされる第２フィルターによって、前記ビデオ信号を処理する段階をさらに含み、
    前記映像の解像度を制御する段階は、前記第２動作モードで動作している間、前記ビデオ信号が、それぞれがパラメータでセットされる前記複数のフィルターを順次に通過して、前記ビデオ信号を処理する段階をさらに含む、
    ディスプレイ装置の制御方法。
  10. 前記ターンオンされたフィルターは、それぞれが所定のパラメータでセットされた複数のフィルターを含み、
    前記映像の解像度を制御する段階は、
    前記ビデオ信号が、前記ターンオンされた複数のフィルターを順次に通過する段階を含む、
    請求項９に記載のディスプレイ装置の制御方法。
  11. 前記学習を行うことにより生成された第１のルックアップテーブルを記憶する段階をさらに含み、
    前記映像の解像度を制御する段階は、前記第２動作モードにおいて、
    ビデオデコーダから前記ビデオ信号のコーデック情報を取得する段階、
    前記コーデック情報に基づいて前記第１のルックアップテーブルから１つ以上のパラメータを抽出する段階、及び
    前記抽出された１つ以上のパラメータに基づいて前記ターンオンされたフィルターをセットする段階を含む、
    請求項１０に記載のディスプレイ装置の制御方法。
  12. 映像の特性に基づく学習に基づく第２のルックアップテーブルを記憶する段階をさらに含み、
    前記映像の解像度を制御する段階は、前記第１動作モードにおいて、
    前記第２のルックアップテーブルから前記分析された映像特性に対応するパラメータを抽出する段階を含む、
    請求項１０に記載のディスプレイ装置の制御方法。
  13. 前記映像に対して、第３フィルターによってノイズ除去及びディテール強化のうち少なくとも一方に対応する後処理を行う段階をさらに含む、
    請求項１０に記載のディスプレイ装置の制御方法。
JP2021513901A 2018-11-12 2019-11-07 ディスプレイ装置及びその制御方法 Active JP7214845B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0138373 2018-11-12
KR1020180138373A KR102622950B1 (ko) 2018-11-12 2018-11-12 디스플레이장치, 그 제어방법 및 기록매체
PCT/KR2019/015016 WO2020101257A1 (en) 2018-11-12 2019-11-07 Display apparatus and method of controlling the same

Publications (2)

Publication Number Publication Date
JP2022511310A JP2022511310A (ja) 2022-01-31
JP7214845B2 true JP7214845B2 (ja) 2023-01-30

Family

ID=68468557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513901A Active JP7214845B2 (ja) 2018-11-12 2019-11-07 ディスプレイ装置及びその制御方法

Country Status (8)

Country Link
US (2) US11265564B2 (ja)
EP (1) EP3651462A1 (ja)
JP (1) JP7214845B2 (ja)
KR (1) KR102622950B1 (ja)
CN (1) CN111179163A (ja)
AU (1) AU2019381040B2 (ja)
TW (1) TW202025090A (ja)
WO (1) WO2020101257A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570397B2 (en) * 2020-07-10 2023-01-31 Disney Enterprises, Inc. Deinterlacing via deep learning
WO2022065977A1 (ko) * 2020-09-28 2022-03-31 현대자동차주식회사 가변계수 딥러닝 기반 인터 예측 방법
KR20220102246A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 전자장치 및 그 제어방법
TWI824289B (zh) 2021-02-08 2023-12-01 明俐科技有限公司 影像處理演算法的測試系統及測試方法
US11979565B2 (en) * 2021-05-27 2024-05-07 Tencent America LLC Content-adaptive online training method and apparatus for post-filtering
TWI806258B (zh) * 2021-11-25 2023-06-21 宏碁股份有限公司 電子裝置及其操作方法
CN115984675B (zh) * 2022-12-01 2023-10-13 扬州万方科技股份有限公司 一种用于实现多路视频解码及ai智能分析的系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070172152A1 (en) 2006-01-26 2007-07-26 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the resolution of a digital image
JP2008193712A (ja) 2008-03-10 2008-08-21 Sony Corp 係数種データ生成装置および係数データ生成装置
WO2017191750A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2017191749A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
WO2018131524A1 (ja) 2017-01-12 2018-07-19 ソニー株式会社 画像処理装置及び画像処理方法
WO2018168484A1 (ja) 2017-03-15 2018-09-20 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630576B2 (en) * 2004-02-19 2009-12-08 Sony Corporation Signal processing apparatus and method, and command-sequence data structure
PL2123051T3 (pl) * 2006-12-18 2011-04-29 Koninl Philips Electronics Nv Kompresja i dekompresja obrazu
US8073282B2 (en) 2007-07-23 2011-12-06 Qualcomm Incorporated Scaling filter for video sharpening
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US20140067739A1 (en) * 2012-08-29 2014-03-06 Bae Systems Information And Electronics Systems Integration Inc. Reduction or elimination of training for adaptive filters and neural networks through look-up table
KR101653039B1 (ko) * 2014-05-22 2016-09-12 주식회사 칩스앤미디어 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
WO2016204524A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017002283A1 (ja) * 2015-07-01 2017-01-05 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
KR102124714B1 (ko) * 2015-09-03 2020-06-19 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
KR20180089939A (ko) * 2017-02-01 2018-08-10 삼성전자주식회사 비디오 코딩 모듈 및 그것의 동작 방법
JP6994868B2 (ja) * 2017-08-09 2022-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070172152A1 (en) 2006-01-26 2007-07-26 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the resolution of a digital image
JP2009524861A (ja) 2006-01-26 2009-07-02 ヴェステル エレクトロニック サナイ ヴェ ティカレット アノニム シュルケット デジタル画像の解像度向上方法及び装置
JP2008193712A (ja) 2008-03-10 2008-08-21 Sony Corp 係数種データ生成装置および係数データ生成装置
WO2017191750A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2017191749A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
WO2018131524A1 (ja) 2017-01-12 2018-07-19 ソニー株式会社 画像処理装置及び画像処理方法
WO2018168484A1 (ja) 2017-03-15 2018-09-20 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法

Also Published As

Publication number Publication date
US20220166996A1 (en) 2022-05-26
WO2020101257A1 (en) 2020-05-22
CN111179163A (zh) 2020-05-19
TW202025090A (zh) 2020-07-01
US11968382B2 (en) 2024-04-23
KR102622950B1 (ko) 2024-01-10
KR20200054720A (ko) 2020-05-20
JP2022511310A (ja) 2022-01-31
US11265564B2 (en) 2022-03-01
AU2019381040A1 (en) 2021-04-08
EP3651462A1 (en) 2020-05-13
AU2019381040B2 (en) 2022-03-10
US20200154123A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7214845B2 (ja) ディスプレイ装置及びその制御方法
US8793136B2 (en) Method and apparatus for smart voice recognition
US11308650B2 (en) Display apparatus, image providing apparatus, and methods of controlling the same
KR102542788B1 (ko) 전자장치, 그 제어방법 및 컴퓨터프로그램제품
US20220180625A1 (en) Computing device and operating method therefor
EP3839874B1 (en) Apparatus and method to compress an image
US11373659B2 (en) Display apparatus and method of controlling the same
EP3699902B1 (en) Display device and image display method of the same
CN113039807B (zh) 图像和音频处理装置及其操作方法
KR20210105636A (ko) 전자장치 및 그 제어방법
EP3859517A1 (en) Electronic apparatus and method of controlling the same
KR20210093605A (ko) 디스플레이 장치 및 그 동작 방법
US20230237631A1 (en) Electronic device and control method thereof
KR20170027563A (ko) 영상처리장치 및 그 제어방법
KR20240011779A (ko) 조정 가능한 사용자 인터페이스(ui) 요소를 통한 수화 비디오의 디스플레이
KR20210073305A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R150 Certificate of patent or registration of utility model

Ref document number: 7214845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150