JP6249343B2 - 映像再生装置、表示装置及び送信装置 - Google Patents

映像再生装置、表示装置及び送信装置 Download PDF

Info

Publication number
JP6249343B2
JP6249343B2 JP2016517785A JP2016517785A JP6249343B2 JP 6249343 B2 JP6249343 B2 JP 6249343B2 JP 2016517785 A JP2016517785 A JP 2016517785A JP 2016517785 A JP2016517785 A JP 2016517785A JP 6249343 B2 JP6249343 B2 JP 6249343B2
Authority
JP
Japan
Prior art keywords
interpolation data
information
data
display device
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016517785A
Other languages
English (en)
Other versions
JPWO2015170410A1 (ja
Inventor
恭平 海野
恭平 海野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2015170410A1 publication Critical patent/JPWO2015170410A1/ja
Application granted granted Critical
Publication of JP6249343B2 publication Critical patent/JP6249343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Description

本発明は、映像再生装置、表示装置及び送信装置に関する。
本技術分野の背景技術として、特開２０１３−１７４７９８号公報（特許文献１）がある。この公報には、「入力される映像信号から付加情報を分離する付加情報分離手段と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを備えた映像再生装置。また、入力される映像信号から付加情報を分離する付加情報分離工程と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成工程とを含んだ映像再生方法。」と記載されている。
特開２０１３−１７４７９８号公報
特許文献１には、送信装置から映像信号に加え付加情報として補間データを伝送することで、表示装置にて高精度な高フレームレート化処理を実現しつつ、伝送データ量を低減する技術が開示されている。このような特許文献１に開示された技術を、高解像度化や高ビット深度化等の処理を行うための補間データに拡張し、画質に関する複数の種類の補間データを付加情報として映像信号に付加して送信装置から表示装置へ伝送することにより、より高画質な映像を生成することが考えられる。
しかしながら、送信装置と表示装置との間でデータのやりとりを行うためのＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の伝送路の容量には限りがあるため、複数の種類の補間データのすべてを表示装置に送信することは現実的ではない。
本発明は、このような課題を解決するためになされたものであり、映像データを送信する送信装置と表示部に映像を表示させる表示装置との間の伝送路の容量を考慮しつつ高画質な表示映像を生成することを目的とする。
上記課題を解決するために、本発明は、符号化された情報に基づいて生成可能な複数の種類の補間データの優先順位に基づき、表示装置に送信するための補間データの種類を選択する補間データ選択部とを含む。
本発明によれば、映像データを送信する送信装置と表示部に映像を表示させる表示装置との間の伝送路の容量を考慮しつつ高画質な表示映像を生成することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における画像表示システムの構成を示すブロック図である。 実施例１における送信装置及び表示装置のハードウェア構成を示すブロック図である。 実施例１における送信装置の機能構成を例示するブロック図である。 実施例１における利用可能補間データ情報の例を示す図である。 実施例１における表示装置の機能構成を例示するブロック図である。 実施例１における単一種類の補間データの種類情報の利用優先順位を設定したテーブルを例示する図である。 実施例１における優先順位のテーブルに基づいて、送信装置から送信された利用可能補間データ情報に得点情報を追加したテーブルを例示する図である。 実施例１における画像表示システムの動作を例示するシーケンス図である。 実施例２における送信装置の機能構成を例示するブロック図である。 実施例２における表示装置の機能構成を例示するブロック図である。 実施例２における補間データ及び高画質化処理の組み合わせを例示するテーブルである。 実施例２における補間データ選択部による補間データ選択情報及び高画質化処理選択情報の選択処理を例示するフローチャートである。 実施例２における画像表示システムの動作を例示するシーケンス図である。
以下、実施例を図面を用いて説明する。
［実施例１］
図1は、実施例１における画像表示システムの構成を示すブロック図である。図１に示すように、実施例１における画像表示システムにおいては、送信装置１と表示装置２とがＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの伝送路を介して通信し、情報をやりとりする。
送信装置１は、例えばセットトップボックスであり、放送局等から配信されるデータを受信し、受信したデータを表示装置２において表示可能な映像データ（以降、「画像データ」とする）に変換して、表示装置２に対して送信する。表示装置２は、例えばディスプレイモニタであり、送信装置１から送信される画像データに基づいて表示画像（映像）を生成して表示する。
すなわち、実施例１における画像表示システムは、送信装置が受信したデータを表示装置に対して画像データとして送信し、表示装置が受信した画像データから生成した表示画像を表示することにより映像を再生する映像再生装置である。
次に、実施例１における送信装置１及び表示装置２のハードウェア構成について説明する。図２は、実施例１における送信装置１及び表示装置２のハードウェア構成を示すブロック図である。図２に示すように、実施例１における送信装置１及び表示装置２は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等と同様の構成を含む。以下の説明においては、送信装置１のハードウェア構成を例として説明するが、表示装置２についても同様である。
すなわち、実施例１における送信装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。この他、各種の機能を実行するためのエンジンが含まれる。
ＣＰＵ１０は演算手段であり、送信装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが送信装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが送信装置１に情報を入力するためのユーザインタフェースである。なお、実施例１における送信装置１が図１において説明したようにセットトップボックス等の機器である場合、ＬＣＤ６０及び操作部７０等のユーザインタフェースは省略可能である。
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０もしくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、実施例１における送信装置１及び表示装置２の機能を実現する機能ブロックが構成される。
次に、実施例１における送信装置１の機能構成を説明する。図３は、実施例１における送信装置１の機能構成を例示するブロック図である。図３に示すように、実施例１における送信装置１は、入出力ＩＦ１０１、受信部１０２、復号部１０３、利用可能補間データ情報生成部１０４及びデータ生成部１０５を含む。
入出力ＩＦ１０１は、表示装置２と情報をやりとりするためのインタフェースであり、例えばＨＤＭＩの入出力端子である。受信部１０２は、放送局等から配信されるデータを受信し、画像情報を含む符号化された情報であるデータストリームを復号部１０３に対して出力する。
復号部１０３は、受信部１０２から入力されたデータストリームを復号して、復号された情報である復号画像データを生成する。復号部１０３は、生成した復号画像データの解像度、フレームレート、ビット深度等の画質に関する情報であるフォーマット情報（以降、「元画像フォーマット情報」とする）を、利用可能補間データ情報生成部１０４に対して出力する。また、復号部１０３は、生成した復号画像データをデータ生成部１０５に対して出力する。
利用可能補間データ情報生成部１０４は、復号部１０３から入力された元画像フォーマット情報及びベース画像フォーマット情報に基づいて、利用可能補間データ情報１２０を生成し、入出力ＩＦ１０１を介して表示装置２に対して送信する。ベース画像フォーマット情報は、送信装置１から表示装置２へ送信する画像データの予め定められた形式（解像度、フレームレート、ビット深度等）のフォーマット情報であり、予め設定されて図示しない記憶媒体等に記憶されている。
図４は、利用可能補間データ情報１２０の例を示す図である。図４に示すように、利用可能補間データ情報１２０は、“利用可能補間データ”及び“適用後の画像フォーマット”が関連付けられたテーブル構成を有する。“利用可能補間データ”は、利用可能な補間データの種類を示し、“適用後の画像フォーマット”は、関連付けられた“利用可能補間データ”を用いた場合に、後述する表示装置２の画像生成部２０３において生成される画像フォーマット情報を示す。
例えば、元画像フォーマット情報が解像度「８ｋ４ｋ」、フレームレート「１２０Ｈｚ」、ビット深度「１２ｂｉｔ」であり、ベース画像フォーマット情報が解像度「４ｋ２ｋ」、フレームレート「６０Ｈｚ」、ビット深度「８ｂｉｔ」である場合、画像データを、ベース画像フォーマット情報が示す画質から、元画像フォーマット情報が示す画質に変換する補間データが生成可能である。
したがって、上述した元画像フォーマット情報及びベース画像フォーマット情報の場合、利用可能補間データ情報生成部１０４は、例えば、図４に示した“利用可能補間データ”及び“適用後の画像フォーマット”を生成する。例えば、“利用可能補間データ”の“解像度（８ｋ４ｋ）”は、画像データの解像度を８ｋ４ｋに変換するための補間データの種類である。この補間データは、解像度が「８ｋ４ｋ」である元画像データ（復号画像データ）及び解像度「４ｋ２ｋ」であるベース画像データから生成される。
また、例えば、“フレームレート（１２０Ｈｚ）＋ビット深度（１０ｂｉｔ／ｐｉｘｅｌ）”は、画像データのフレームレートを１２０Ｈｚに変換するための補間データと画像データのビット深度を１０ｂｉｔ／ｐｉｘｅｌに変換するための補間データとの組合せである。これらの補間データは、解像度変換する補間データと同様に、元画像データ及びベース画像データから生成される。
なお、このような複数の種類の補間データの組み合わせの可否は、図１に示した送信装置１と表示装置２とを接続するＨＤＭＩ等の伝送路の容量に応じて決定される。例えば、“解像度（８ｋ４ｋ）＋フレームレート（１２０Ｈｚ）＋ビット深度（１０ｂｉｔ／ｐｉｘｅｌ）”の組み合わせは、伝送路の容量の制限から、送信することができないので、図４に示した利用可能補間データ情報１２０の“利用可能補間データ”には含まれない。このように伝送路の容量を考慮しつつ図４のＮｏ．５、６に示すように、複数の種類（ここではフレームレート及びビット深度）を組み合わせた補間データも利用可能とすることで、伝送路を最大限に活用し、高画質な表示画像を生成することが可能になる。
そして、例えば、上述したベース画像フォーマットのベース画像を“解像度（８ｋ４ｋ）”の補間データ（Ｎｏ．１）を用いて変換した場合、フレームレート及びビット深度がベース画像フォーマットの「６０Ｈｚ」及び「８ｂｉｔ／ｐｉｘｅｌ」のままであり、解像度が「４ｋ２ｋ」から「８ｋ４ｋ」に変換された画像データが生成される。したがって、“解像度（８ｋ４ｋ）”に関連付けられた“適用後の画像フォーマット”は、“８ｋ４ｋ、６０Ｈｚ、８ｂｉｔ／ｐｉｘｅｌ”となる。
なお、利用可能補間データ情報生成部１０４は、図４に示したＮｏ．３、４に示すように、同一の種類（ここではビット深度）に関して、元画像フォーマット情報とベース画像フォーマット情報とがそれぞれ示す値（例えば、ビット深度）の範囲内で、階層的に複数の“利用可能補間データ”を生成してもよい。これにより、表示装置２の表示性能や表示設定に応じてより適切な補間データを選択することが可能になる。
すなわち、利用可能補間データ情報１２０は、符号化された情報（データストリーム）に基づいて生成可能な複数の種類の補間データの一覧を示す補間データ一覧情報であり、利用可能補間データ情報生成部１０４は、補間データ一覧情報を生成する補間データ一覧情報生成部として機能する。
データ生成部１０５は、入出力ＩＦ１０１を介して、後述する表示装置２から送信された補間データ選択情報１２１を取得し、取得した補間データ選択情報１２１及び記憶媒体等に予め記憶されているベース画像フォーマット情報に基づき、復号部１０３から入力された復号画像データから画像データ１２２及び補間データ１２３を生成する。具体的には、データ生成部１０５は、復号画像データの画質がベース画像フォーマットの画質になるよう復号画像データの画素値を変換して画像データ１２２を生成する。
また、データ生成部１０５は、元画像フォーマット情報が示す画質である復号画像データ及びベース画像フォーマット情報が示す画質である画像データ１２２から、生成した画像データ１２２を補間データ選択情報１２１が示す補間データの種類の画質にするための補間データ１２３を生成する。なお、データ生成部１０５は、上述のように画像データ１２２を生成する際の画素値の変換処理の過程で補間データ１２３を生成するようにしてもよい。
また、データ生成部１０５は、入出力ＩＦ１０１を介して、生成した画像データ１２２及び補間データ１２３を表示装置２に対して送信する。すなわち、データ生成部１０５は、符号化された情報（データストリーム）から復号された情報（復号画像データ）に基づいて予め定められた形式（ベース画像のフォーマット情報）で生成された画像データ１２２及び前記予め定められた形式（ベース画像のフォーマット情報）と前記符号化された情報を復号する際の形式（元画像データのフォーマット情報）との差分を補間するための補間データ１２３を前記表示装置に対して送信するデータ送信部として機能する。
ここで、データストリームがＨ．２６４（ＩＴＵ−Ｔ Ｒｅｃ. Ｈ.２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などで規定されているＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のように階層的な構造となっている場合は、データストリームの拡張階層に格納されているデータを、そのまま補間データ１２３として伝送しても良い。このように、元のデータストリーム内のデータをそのまま補間データ１２３として用いることで、データ生成部１０５での処理内容が削減でき、消費電力や回路規模が低減できる。
なお、実施例１においては、送信装置１をセットトップボックスと想定して説明しているが、送信装置１はレコーダやＰＣなど他の装置でも良い。送信装置１をレコーダと想定する場合は、受信部１０２にて放送局からデータを受信する代わりに、ハードディスク等に記録しておいた画像データを読み出すことで、蓄積されたデータに対しても上述した構成と同様な構成を実現できる。
次に、実施例１における表示装置２の機能構成を説明する。図５は、実施例１における表示装置２の機能構成を例示するブロック図である。図５に示すように、表示装置２は、入出力ＩＦ２０１、補間データ選択部２０２、画像生成部２０３及び表示部２０４を含む。
入出力ＩＦ２０１は、送信装置１とデータや情報をやりとりするためのインタフェースであり、例えばＨＤＭＩの入出力端子である。補間データ選択部２０２は、入出力ＩＦ２０１を介して、送信装置１から送信された利用可能補間データ情報１２０を取得し、取得した利用可能補間データ情報１２０の中から利用する補間データの種類を選択する。また、補間データ選択部２０２は、選択した補間データの種類を示す補間データ選択情報１２１を、入出力ＩＦ２０１を介して送信装置１に対して出力する。補間データ選択部２０２による補間データ選択処理の詳細は後述する。
画像生成部２０３は、入出力ＩＦ２０１を介して、送信装置１から送信された画像データ１２２及び補間データ１２３を取得し、取得した補間データ１２３を用いて画像データ１２２に対し高フレームレート化、高解像度化、高ビット深度化等の補間データ１２３の種類に応じた高画質化処理を行い、表示画像データを生成して、表示部２０４に対して出力する。表示部２０４は、例えば液晶パネルであり、画像生成部２０３により生成された表示画像データを表示する。すなわち、画像生成部２０３は、取得した画像データ１２２（映像データ）及び補間データに基づいて補間された映像を表示部２０４に表示させる表示処理部として機能する。
次に、補間データ選択部２０２による補間データ選択処理の詳細を説明する。本説明においては、表示装置２の表示性能が画像サイズ４ｋ２ｋ、フレームレート１２０Ｈｚ、ビット深度１０ｂｉｔの場合を例とする。補間データ選択部２０２は、送信装置１から送信された利用可能補間データ情報１２０の中から、図４に示した“解像度（８ｋ４ｋ）”、“フレームレート（１２０Ｈｚ）”等の単一種類の補間データの種類情報を取得する。
補間データ選択部２０２は、取得した単一種類の補間データの種類情報のうち、表示装置２の表示性能上使用不可能な補間データの種類情報を利用対象から除外する。例えば、表示装置２の表示性能が画像サイズ４ｋ２ｋであるので、図４に示した“解像度（８ｋ４ｋ）”は、利用しても補間されて生成された映像が表示装置２に表示できないので、除外される。
補間データ選択部２０２は、残った単一種類の補間データの種類情報の中から利用する補間データの種類情報の利用優先順位を決定する。図６は、単一種類の補間データの種類情報の利用優先順位を設定したテーブルを例示する図である。図６に示すように、例えば、利用優先順位は“配点”の項目に点数で示され点数が高いほど優先順位が高いものとする。
図６に示した場合においては、“解像度（８ｋ４ｋ）”及び“ビット深度（１２ｂｉｔ／ｐｉｘｅｌ）”の補間データの種類情報は除外されるので、“配点”は「除外」とされる。また、“フレームレート（１２０Ｈｚ）”の“配点”は「２」、“ビット深度（１０ｂｉｔ／ｐｉｘｅｌ）”の“配点”は「１」とされ、“フレームレート（１２０Ｈｚ）”の補間データの利用が優先される。
なお、このような優先順位は、例えば、デフォルトの設定値として表示装置２ごとに予め設定されている。その他、優先順位は、表示装置２の管理者等により優先順位を指定した情報が入力されることにより決定されてもよい。
図７は、図６に示した優先順位のテーブルに基づいて、送信装置１から送信された利用可能補間データ情報１２０に得点情報を追加したテーブルを例示する図である。図７に示すように、利用可能補間データ情報１２０の“利用可能補間データ”それぞれに対して“得点”が付加されている。“得点”は、図６に示した各要素の配点を加算した結果を示しており、例えば、Ｎｏ．５の“フレームレート（１２０Ｈｚ）＋ビット深度（１０ｂｉｔ／ｐｉｘｅｌ）”の得点は、図６に示した“フレームレート（１２０Ｈｚ）”の配点「２」と“ビット深度（１０ｂｉｔ／ｐｉｘｅｌ）”の配点「１」とを加算した「３」となる。また、図６に示したテーブルにおいて「除外」とされた要素を１つでも含む“利用可能補間データ”の“得点”は「除外」となり、選択対象から除外される。
補間データ選択部２０２は、図７に示したテーブルの中から、最も得点が高い“利用可能補間データ”（図７に示すテーブルにおいてはＮｏ．５）を選択する。
次に、実施例１における画像表示システムの動作を説明する。図８は、実施例１における画像表示システムの動作を例示するシーケンス図である。図８における矢印は、実施例１における画像表示システムにおける送信装置１と表示装置２との間でのデータの流れを示す。
図８に示すように、送信装置１の受信部１０２は復号部１０３に対してデータストリームを出力する（Ｓ８０１）。受信部１０２からデータストリームを取得した復号部１０３は、元画像フォーマット情報を利用可能補間データ情報生成部１０４に対して出力する（Ｓ８０２）。復号部１０３から元画像フォーマット情報を取得した利用可能補間データ情報生成部１０４は、利用可能補間データ情報１２０を生成し、表示装置２の補間データ選択部２０２に対して出力する（Ｓ８０３）。
送信装置１の利用可能補間データ情報生成部１０４から利用可能補間データ情報１２０を取得した補間データ選択部２０２は、利用可能補間データ情報１２０に含まれる“利用可能補間データ”の中から、利用する補間データの種類を選択し、補間データ選択情報１２１を、送信装置１のデータ生成部１０５に対して出力する（Ｓ８０４）。
また、送信装置１の復号部１０３は、復号画像データをデータ生成部１０５に対して出力する（Ｓ８０５）。なお、Ｓ８０３及びＳ８０４の処理とＳ８０５の処理とは前後関係の制約はなく、逆の順序で実行されてもよいし、並列して実行されてもよい。
表示装置２の補間データ選択部２０２から出力された補間データ選択情報１２１及び復号部１０３から出力された復号画像データを取得したデータ生成部１０５は、取得した補間データ選択情報１２１及び復号画像データに基づいて、画像データ１２２及び補間データ１２３を生成し、表示装置２の画像生成部２０３に対して出力する（Ｓ８０６）。
送信装置１のデータ生成部１０５から画像データ１２２及び補間データ１２３を取得した画像生成部２０３は、取得した画像データ１２２及び補間データ１２３を用いて表示画像データを生成し、表示部２０４に対して出力する（Ｓ８０７）。
以上説明したように、実施例１における画像表示システムにおいては、送信装置１において生成可能な複数の種類の補間データの優先順位に基づいて、これらの複数の種類の補間データの中から、高画質化に利用する補間データを選択し、選択した補間データと表示対象の画像データとを表示装置２が取得して、取得した補間データを用いて画像データを高画質化した表示画像を生成する。これにより、送信装置１において生成可能な複数の種類の補間データすべてではなく、表示装置２に応じて利用優先順位の高い補間データのみを表示装置２に対して送信するので、送信装置１と表示装置２との間の伝送路の容量を考慮しつつ高画質な表示画像を生成することが可能になる。
なお、上記実施例１においては、利用可能補間データ情報生成部１０４が送信装置１と表示装置２との間の伝送路の容量を考慮して利用可能補間データ情報１２０を生成する場合を例として説明した。その他、利用可能補間データ情報生成部１０４においては、伝送路の容量は考慮せず、生成可能なすべての種類の利用可能補間データを含む利用可能補間データ情報１２０を生成し、表示装置２に対して出力してもよい。
この場合、補間データ選択部２０２が伝送路の容量を考慮して利用可能補間データを選択する。具体的には、補間データ選択部２０２は、上記実施例１において説明したように、図７に示したテーブルの中から最高点の“利用可能補間データ”を選択し、選択した“利用可能補間データ”が伝送路の容量の制限上使用可能か否かを判定する。使用不可能であると判定した場合、補間データ選択部２０２は、次に得点が高い“利用可能補間データ”を選択し、使用可能であると判定されるまで同様の処理を繰り返す。補間データ選択部２０２は、使用可能であると判定された“利用可能補間データ”選択する。
［実施例２］
次に、実施例２を説明する。実施例１においては、予め定められた補間データの利用優先順位に基づいて補間データを選択した。実施例２においては、利用優先順位を、表示対象となる画像データの種別や表示モードの設定情報に応じて設定し、補間データを選択する。なお、実施例２における画像表示システムの構成は、図１に示した実施例１における画像表示システムの構成と同様である。また、実施例２における送信装置１及び表示装置２のハードウェア構成は、図２に示した実施例１におけるハードウェア構成と同様である。
図９は、実施例２における送信装置１の機能構成を例示するブロック図である。図９に示すように、実施例２における送信装置１は、図３に示した実施例１における送信装置１の機能構成に含まれる受信部１０２を受信部３０１に置き換えた構成をとる。以下、図３に示した各構成部とは異なる受信部３０１について説明し、それ以外の構成部の説明は省略する。
受信部３０１は、実施例１における受信部１０２と同様に、放送局等から配信されるデータを受信し、画像情報を含むデータストリームを復号部１０３に対して出力する。また、受信部３０１は、放送局から配信されるデータのジャンル情報１２４を、入出力ＩＦ１０１を介して表示装置２に対して出力する。
ジャンル情報１２４は、例えば、放送局等から配信されるデータの内容（「スポーツ」、「映画」等）を示し、例えば、放送局等から画像データに付随して配信されるＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）データ内のジャンルコードである。また、送信装置１をレコーダとする場合は、ハードディスク等に画像データを記録する際に、画像の内容をメタデータとして併せて記録しておけば、同一の構成を実現可能である。以降では、ジャンル情報１２４として、ＥＰＧのジャンルコードを用いる場合を例に説明する。
図１０は、実施例２における表示装置２の機能構成を例示するブロック図である。図１０に示すように、実施例２における表示装置２は、図５に示した実施例１における表示装置２の機能構成に含まれる補間データ選択部２０２を補間データ選択部４０１に置き換えるとともに、設定記憶部４０２、ユーザＩＦ４０３及び高画質化処理部４０４が追加された構成をとる。以下、図５に示した各構成部とは異なる構成部のみを説明し、それ以外の構成部の説明は省略する。
補間データ選択部４０１は、入出力ＩＦ２０１を介して送信装置１から送信された利用可能補間データ情報１２０及びジャンル情報１２４と、後述する設定記憶部４０２に記憶されている画質設定情報とを取得する。また、補間データ選択部４０１は、取得したジャンル情報１２４及び画質設定情報に基づいて、取得した利用可能補間データ情報１２０の中から利用する補間データの種類及び高画質化処理の種類を選択する。
高画質化処理の詳細は、後述する高画質化処理部４０４において説明する。また、補間データ選択部４０１による補間データの種類及び高画質化処理の種類の選択処理の詳細は後述する。
また、補間データ選択部４０１は、選択した補間データの種類を示す補間データ選択情報１２１を、入出力ＩＦ２０１を介して送信装置１に対して出力する。また、補間データ選択部４０１は、選択した高画質化処理の種類を示す高画質化処理選択情報を高画質化処理部４０４に対して出力する。
設定記憶部４０２は、後述するユーザＩＦ４０３を介してユーザから入力された画質設定情報を格納する記憶媒体である。画質設定情報は、“リビング”モード、“シアター”モード、“スポーツ”モード、“ゲーム”モードなどのモード設定を示し、当該設定に応じて表示装置２内部の信号処理の方法が予め記憶しておいたアルゴリズムに従って変更される。例えば、“シアター”モードは、細かい絵柄まで再現することが望まれる映画番組等を鑑賞する際に設定され、この設定により、画像データに対して細かい絵柄を再現することを重視した信号処理が行われる。
なお、画質設定情報は、“コントラスト”、“明るさ”、“ノイズリダクション機能ＯＮ／ＯＦＦ”など、ユーザＩＦ４０３を介してユーザにより設定される信号処理の方法を直接制御する設定を含めても良い。
ユーザＩＦ４０３は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示部２０４にて表示し、リモートコントローラなどの操作により、ユーザによる任意の画質設定を実現するためのインタフェースである。ユーザにより入力された画質設定情報は、ユーザＩＦ４０３を介して、設定記憶部４０２に対して出力される。
高画質化処理部４０４は、画像生成部２０３から入力された表示画像データに対して、補間データ選択部４０１から入力された高画質化処理選択情報に従った高画質化処理を行って高画質化画像データを生成し、表示部２０４に対して出力する。高画質化処理は、画像データに対して、補間データ１２３を利用して高画質化する場合には劣るが画像データ１２２を簡易的に高画質化する機能であり、各表示装置２が独自に有する機能である。実施例２においては、高画質化処理部４０４は、画像データに対して解像度を高くする処理を行う超解像及びフレームレートを高くする処理を行うフレームレート変換を行うものとする。
補間データ１２３を用いた高画質化ができないあるいは一部の種類の補間データを用いた高画質化のみが行われる場合であっても、高画質化処理部４０４の処理により、画像データに対して、表示装置２の表示性能に近づける高画質化が可能になる。
次に、補間データ選択部４０１による補間データ選択情報１２１及び高画質化処理選択情報の選択処理の詳細を説明する。なお、本説明においては、高画質化処理部４０４で実行可能な高画質化処理は、フレームレート変換と超解像の２種類とする。
また、本説明においては、元画像フォーマット情報が解像度「８ｋ４ｋ」、フレームレート「１２０Ｈｚ」、ビット深度「８ｂｉｔ」であり、ベース画像フォーマット情報が解像度「４ｋ２ｋ」、フレームレート「６０Ｈｚ」、ビット深度「８ｂｉｔ」であり、表示装置２の表示性能は、解像度「８ｋ４ｋ」、フレームレート「１２０Ｈｚ」、ビット深度「８ｂｉｔ」であるとする。すなわち、本説明においては、元画像フォーマット情報及びベース画像フォーマット情報のビット深度が同一であるので、利用可能補間データ情報１２０の“利用可能補間データ”に“ビット深度”の補間データは含まれない。
図１１は、補間データ及び高画質化処理の組み合わせを例示するテーブルである。図１１に示したテーブルは、例えば、補間データ選択部４０１により、取得した利用可能補間データ情報１２０に基づいて生成され、表示装置２、その他の装置、サーバ等に含まれる図示しない記憶媒体に記憶されるものとする。図１１に示したテーブルは、“設定名”、“補間データ選択情報”及び“高画質化処理選択情報”が関連付けられた構成をとる。
“設定名”は、画質設定情報やジャンル情報１２４において設定されているモードの名前である。“補間データ選択情報”は、“設定名”で設定されているモードにおいて選択される補間データの種類である。“高画質化処理選択情報”は、“設定名”で設定されているモードにおいて選択される高画質化処理の情報である。
例えば、“設定名”が“スポーツ”である場合、表示装置２において表示させる画像データは動きの激しいスポーツ番組であるので、高フレームレート化処理を高精度に行うことが望まれる。そこで、図１１に示すように、“設定名”が“スポーツ”である場合、“補間データ選択情報”は“フレームレート（１２０Ｈｚ）”とされ、“高画質化処理選択情報”は“超解像”とされる。これは、“スポーツ”の設定では、高フレームレート化の利用優先順位を他の種類よりも高くしたいので、高画質化処理部４０４による高画質化処理よりも高精度に高画質化を行う補間データの種類をフレームレートとするためである。なお、“補間データ選択情報”として選択された“フレームレート（１２０Ｈｚ）”は、送信装置１から出力された利用可能補間データ情報１２０に含まれる“利用可能補間データ”のうちの１つである。
また、例えば、“設定名”が“シアター”である場合、表示装置２において表示させる画像データは細かい絵柄まで再現することが望まれる映画番組であるので、高解像度化処理を高精度に行うことが望まれる。そこで、図１１に示すように、“設定名”が“シアター”である場合、“補間データ選択情報”は“解像度（８ｋ４ｋ）”とされ、“高画質化処理選択情報”は“フレームレート変換”とされる。これは、“シアター”の設定では、高解像度化の優先順位を他の種類よりも高くしたいので、高画質化処理部４０４による高画質化処理よりも高精度に高画質化を行う補間データの種類を解像度とするためである。なお、“補間データ選択情報”として選択された“解像度（８ｋ４ｋ）”は、送信装置１から出力された利用可能補間データ情報１２０に含まれる“利用可能補間データ”のうちの１つである。
また、“設定名”が“スポーツ”及び“シアター”以外を示す“その他”である場合、例えば、高画質化処理部４０４で実行可能な高画質化処理のうち相対的に高精度である処理が“高画質化処理選択”に設定される。例えば、高画質化処理部４０４で実行される高画質化処理のうち、超解像よりもフレームレート変換の方が相対的に高精度である場合、“高画質化処理選択情報”は“フレームレート変換”とされ、“補間データ選択情報”は“解像度（８ｋ４ｋ）”とされる。このように、相対的に高精度である処理を高画質化処理部４０４が実行し、もう一方の処理を画像生成部２０３が補間データを用いて行うことにより、高精度な高画質化が実現できる。
このように、実施例２においては、画質設定情報やジャンル情報１２４に応じて各種類の補間データの表示装置２における利用優先順位が定められる。また、実施例２においては、高画質化処理部４０４における処理内容に応じて、各種類の補間データの表示装置２における利用優先順位が定められるので、高画質化処理部４０４の性能を最大限に利用し、高画質な表示画像を生成することが出来る。
なお、図１１に示したテーブルの“補間データ選択情報”は、単一の種類の補間データのみを例として説明したが、利用可能補間データ情報１２０の“利用可能補間データ”の中に、実施例１において図４を示して説明した複数種類の補間データの組み合わせが含まれている場合、例えば、図１１に示した“補間データ選択情報”が含まれる組み合わせの補間データを、“補間データ選択情報”としてもよい。
図１２は、補間データ選択部４０１による補間データ選択情報１２１及び高画質化処理選択情報の選択処理を例示するフローチャートである。図１２に示すように、補間データ選択部４０１は、設定記憶部４０２に記憶されている画質設定情報を参照し、画質設定が“スポーツ”モードである場合（Ｓ１２０１／ＹＥＳ）、図１１に示したテーブルにおいて“スポーツ”の設定名に関連付けられている“フレームレート（１２０Ｈｚ）”を補間データ選択情報１２１として選択し、“超解像”を高画質化処理選択情報として選択し（Ｓ１２０６）、処理を終了する。
一方、画質設定が“スポーツ”モードではなく（Ｓ１２０１／ＮＯ）、“シアター”モードである場合（Ｓ１２０２／ＹＥＳ）、補間データ選択部４０１は、図１１に示したテーブルにおいて、“シアター”の設定名に関連付けられている“解像度（８ｋ４ｋ）”を補間データ選択情報１２１として選択し、“超解像”を高画質化処理選択情報として選択し（Ｓ１２０７）、処理を終了する。
一方、画質設定が“スポーツ”モードでも“シアター”モードでもない場合（Ｓ１２０１／ＮＯ、Ｓ１２０２／ＮＯ）、補間データ選択部４０１は、ジャンル情報１２４を参照する（Ｓ１２０３）。ジャンル情報１２４が“スポーツ”である場合（Ｓ１２０３／ＹＥＳ）、補間データ選択部４０１は、上述したＳ１２０６の処理を行い、処理を終了する。
一方、ジャンル情報１２４が“スポーツ”ではなく“ドラマ”又は“映画”である場合（Ｓ１２０４／ＹＥＳ）、補間データ選択部４０１は、上述したＳ１２０７の処理を行い、処理を終了する。一方、ジャンル情報１２４が“スポーツ”でも“ドラマ”又は“映画”でもない場合（Ｓ１２０３／ＮＯ、Ｓ１２０４／ＮＯ）、補間データ選択部４０１は、図１１に示したテーブルにおいて“その他”の設定名に関連付けられている“超解像（８ｋ４ｋ）”を補間データ選択情報１２１として選択し、“超解像”を高画質化処理選択情報として選択して（Ｓ１２０５）、処理を終了する。
このように、画質設定情報を考慮して補間データを選択することで、ユーザの好みに合わせた画像を表示することが出来る。更に、上記のようにジャンル情報１２４より画質設定の内容を優先して補間データを選択することで、補間データを選択する際に考慮する情報が複数存在する場合についても、ユーザの好みを優先的に反映することが出来る。また、ジャンル情報１２４を考慮して補間データを選択することで、送信装置１から送信される画像データの内容に適した補間データを用いて表示画像を生成、表示することが出来る。
次に、実施例２における画像表示システムの動作を説明する。図１３は、実施例２における画像表示システムの動作を例示するシーケンス図である。図８と同様に、図１３における矢印は、実施例２における画像表示システムにおける送信装置１と表示装置２との間でのデータの流れを示す。
図１３に示すように、送信装置１の受信部３０１は、補間データ選択部４０１に対してジャンル情報１２４を出力する（Ｓ１３０１）。また、送信装置１の受信部３０１は、復号部１０３に対してデータストリームを出力する（Ｓ１３０２）。受信部３０１からデータストリームを取得した復号部１０３は、元画像フォーマット情報を利用可能補間データ情報生成部１０４に対して出力する（Ｓ１３０３）。
復号部１０３から元画像フォーマット情報を取得した利用可能補間データ情報生成部１０４は、利用可能補間データ情報１２０を生成し、表示装置２の補間データ選択部２０２に対して出力する（Ｓ１３０４）。また、表示装置２のユーザＩＦ４０３は、ユーザから入力された画質設定情報を設定記憶部４０２に記憶させる（Ｓ１３０８）。画質設定情報を格納する設定記憶部４０２は、格納された画質設定情報を補間データ選択部４０１に対して出力する（Ｓ１３０９）。
送信装置１の受信部３０１から出力されたジャンル情報１２４、送信装置１の利用可能補間データ情報生成部１０４から出力された利用可能補間データ情報１２０及び設定記憶部４０２から出力された画質設定情報を取得した補間データ選択部４０１は、取得したこれらの情報に基づいて補間データ選択情報１２１及び高画質化処理選択情報を選択する。そして、補間データ選択部４０１は、補間データ選択情報１２１を送信装置１のデータ生成部１０５に対して出力し（Ｓ１３０６）、高画質化選択情報を高画質化処理部４０４に対して出力する（Ｓ１３０７）。
また、送信装置１の復号部１０３は、復号画像データをデータ生成部１０５に対して出力する（Ｓ１３０５）。表示装置２の補間データ選択部４０１から出力された補間データ選択情報１２１及び復号部１０３から出力された復号画像データを取得したデータ生成部１０５は、取得した補間データ選択情報１２１及び復号画像データに基づいて、画像データ１２２及び補間データ１２３を生成し、表示装置２の画像生成部２０３に対して出力する（Ｓ１３１１）。
送信装置１のデータ生成部１０５から画像データ１２２及び補間データ１２３を取得した画像生成部２０３は、取得した画像データ１２２及び補間データ１２３を用いて表示画像データを生成し、高画質化処理部４０４に対して出力する（Ｓ１３１２）。補間データ選択部４０１から出力された高画質化処理選択情報及び画像生成部２０３から出力された表示画像データを取得した高画質化処理部４０４は、取得した表示画像データに対して、取得した高画質化処理選択情報の高画質化処理を行い、高画質化された表示画像データを表示部２０４に対して出力する（Ｓ１３１３）。
なお、Ｓ１３０１の処理とＳ１３０２〜Ｓ１３０４の処理とＳ１３０８及びＳ１３０９の処理とは、前後関係の制約はなく、逆の順序で実行されてもよいし、並列して実行されてもよい。また、Ｓ１３０６の処理とＳ１３０５の処理とは、前後関係の制約はなく、逆の順序で実行されてもよいし、並列して実行されてもよい。また、Ｓ１３１０の処理とＳ１３１１及びＳ１３１２の処理とは、前後関係の制約はなく、逆の順序で実行されてもよいし、並列して実行されてもよい。
また、画像の再生中にユーザがユーザＩＦ４０３を用いて画質設定を変更した場合、ステップＳ１３０８、ステップＳ１３０９、ステップＳ１３０６及びステップＳ１３１０を改めて順に行うことで、再生の途中でも画質設定を反映した動作が可能となる。
以上説明したように、実施例２における画像表示システムにおいては、ジャンル情報１２４、画質設定情報、高画質化処理部４０４における処理内容に応じて、送信装置１において生成可能な複数の種類の補間データの利用優先順位を定めて、これらの複数の種類の補間データの中から、高画質化に使用する補間データを選択し、選択した補間データと表示対象の画像データとを表示装置２が取得して、取得した補間データを用いて画像データを高画質化した表示画像を生成する。これにより、表示装置２の表示設定、表示対象となる画像データの内容、表示装置２が提供する機能等に応じて選択された利用優先順位の高い補間データのみを表示装置２に対して送信するので、送信装置１と表示装置２との間の伝送路の容量を考慮しつつ高画質な表示画像を生成することが可能になる。
なお、実施例２において、補間データ選択部４０１は、ジャンル情報１２４及び画質設定情報に基づいて補間データ選択情報及び高画質化処理選択情報を取得する場合を例として説明した。しかしながら、補間データ選択部４０１がジャンル情報１２４及び画質設定情報をともに用いることは必須ではなく、いずれか一方を用いてもよい。例えば、画質設定情報を考慮しない場合はユーザＩＦ４０３及び設定記憶部４０２は表示装置２の構成として必須では無い。
また、実施例２の表示装置２においては、高画質化処理部４０４が含まれる場合を例として説明したが、この構成は必須ではない。例えば、高画質化処理部４０４が表示装置２に含まれない場合、図１１に示したテーブルにおいては、“設定名”に対して“補間データ選択情報”のみが含まれる。
なお、実施例１において、図６に示した利用優先順位の設定は、表示装置２に応じてデフォルトで設定される場合や表示装置２の管理者等により優先順位を指定した情報が入力されることにより行われる場合を例として説明した。その他、実施例２において説明した高画質化処理部４０４が実施例１における表示装置２においても含まれる場合、利用優先順位の設定は、高画質化処理部４０４の処理内容に応じて設定されてもよい。具体的には、利用優先順位の設定は、例えば、各種の高画質化処理（超解像、フレームレート変換等）の有無や性能に基づいて行われる。
例えば、高画質化処理部４０４が超解像を行う場合、高画質化処理部４０４では高画質化できない高フレームレート化のための補間データの利用優先順位が他の種類の補間データよりも高く設定される。
また、例えば、高画質化処理部４０４が複数種類の高画質化処理を行う場合、これらの高画質化処理のうち相対的に高精度である処理の種類の補間データよりも他の種類の補間データの利用優先順位が高く設定される。これは、相対的に高精度である高画質化処理を高画質化処理部４０４が行い、それ以外の種類の高画質化処理を、補間データを用いて画像生成部２０３により行うことで、画像データに対してより精度よく高画質化処理を行うことができるからである。
また、実施例１及び実施例２においては、表示装置２が送信装置１から送信された利用可能補間データ情報１２０の中から利用優先順位に基づいて、利用する補間データの種類を選択し、補間データ選択情報を送信装置１に送信し、選択された補間データを送信装置１から取得する場合を例として説明した。その他、送信装置１が表示装置２の表示性能、画質設定、表示対象の画像データの内容、高画質化処理の内容等の表示装置２の状況を示す状況情報を取得し、取得した状況情報に応じて定められる利用優先順位に基づいて利用する補間データの種類を選択してもよい。また、送信装置１が表示装置２において定められた利用優先順位の情報を取得し、利用優先順位に基づいて利用する補間データの種類を選択してもよい。
実施例１及び実施例２において説明したように、表示装置２において補間データを選択する構成の場合、送信装置１側では表示装置２ごとに定められた利用優先順位を考慮した処理を行う必要がなく、表示装置２それぞれにおいて独自のアルゴリズムに基づき補間データを選択することができるので、画像表示システムの運用上効率のよい構成とすることができる。しかしながら、送信装置１において補間データを選択する構成であっても、送信装置１から表示装置２に対して送信する補間データは選択された補間データのみであるので、送信装置１と表示装置２との間の伝送路の容量を考慮しつつ高画質な表示画像を生成することが可能になる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部に他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１ 送信装置
２ 表示装置
１０１ 入出力ＩＦ
１０２ 受信部
１０３ 復号部
１０４ 利用可能補間データ情報生成部
１０５ データ生成部
１２０ 利用可能補間データ情報
１２１ 補間データ選択情報
１２２ 画像データ
１２３ 補間データ
１２４ ジャンル情報
２０１ 入出力ＩＦ
２０２ 補間データ選択部
２０３ 画像生成部
２０４ 表示部
３０１ 受信部
４０１ 補間データ選択部
４０２ 設定記憶部
４０３ ユーザＩＦ
４０４ 高画質化処理部

Claims (13)

  1. 表示部に映像を表示させる表示装置と、
    符号化された情報から復号された情報に基づいて予め定められた形式で生成された映像データ及び前記予め定められた形式と前記符号化された情報から復号する際の形式との差分を補間するための補間データを前記表示装置に対して送信するデータ送信部と、
    前記符号化された情報に基づいて生成可能な複数の種類の前記補間データの優先順位に基づき、前記表示装置に送信するための補間データの種類を選択する補間データ選択部と、
    選択された種類の前記補間データ及び前記映像データを前記表示装置において取得し、前記映像データが前記補間データに基づいて補間された映像を前記表示部に表示させる表示処理部と
    を含むことを特徴とする映像再生装置。
  2. 前記データ送信部を含む送信装置
    を含み、
    前記送信装置は、前記符号化された情報に基づいて生成可能な複数の種類の補間データの一覧を示す補間データ一覧情報を生成して前記表示装置に対して送信する補間データ一覧情報生成部を含み、
    前記表示装置は、前記補間データ選択部を含み、
    前記補間データ選択部は、前記補間データ一覧情報を取得し、前記補間データ一覧情報の中から前記優先順位に基づいて選択した前記補間データの種類を示す補間データ選択情報を前記送信装置に対して送信し、
    前記データ送信部は、前記補間データ選択情報が示す種類の前記補間データを生成して前記表示装置に対して送信する
    ことを特徴とする請求項１に記載の映像再生装置。
  3. 前記補間データ選択部は、
    前記映像データの内容を示すジャンル情報を取得し、
    取得した前記ジャンル情報に基づいて前記優先順位を設定する
    ことを特徴とする請求項１に記載の映像再生装置。
  4. 前記補間データ選択部は、
    前記表示部に表示させる前記映像の画質設定を示す画質設定情報を取得し、
    取得した前記画質設定情報に基づいて前記優先順位を設定する
    ことを特徴とする請求項１に記載の映像再生装置。
  5. 前記表示装置は、前記映像データに対する高画質化処理を行う高画質化処理部を含み、
    前記補間データ選択部は、前記高画質化処理の処理内容に応じて前記優先順位を設定する
    ことを特徴とする請求項１に記載の映像再生装置。
  6. 前記補間データ選択部は、前記符号化された情報に基づいて生成可能な複数の種類の補間データの中から、前記表示装置の表示性能上使用不可能な補間データを除外した補間データの前記優先順位に基づいて、前記補間データの種類を選択する
    ことを特徴とする請求項１に記載の映像再生装置。
  7. 符号化された情報から復号された情報に基づいて予め定められた形式で生成された映像データ及び前記予め定められた形式と前記符号化された情報から復号する際の形式との差分を補間するための補間データを送信する送信装置から送信される情報であって前記符号化された情報に基づいて生成可能な複数の種類の前記補間データの一覧を示す補間データ一覧情報を取得し、取得した前記補間データ一覧情報の中から前記複数の種類の補間データの優先順位に基づいて前記補間データの種類を選択し、選択した前記補間データの種類を示す補間データ選択情報を前記送信装置に対して送信する補間データ選択部と、
    選択された前記補間データ及び前記映像データを前記送信装置から取得し、前記映像データが前記補間データに基づいて補間された映像を表示部に表示させる表示処理部と
    を含むことを特徴とする表示装置。
  8. 前記補間データ選択部は、
    前記映像データの内容を示すジャンル情報を取得し、
    取得した前記ジャンル情報に基づいて前記優先順位を設定する
    ことを特徴とする請求項７に記載の表示装置。
  9. 前記補間データ選択部は、
    前記表示部に表示させる前記映像の画質設定を示す画質設定情報を取得し、
    取得した前記画質設定情報に基づいて前記優先順位を設定する
    ことを特徴とする請求項７に記載の表示装置。
  10. 前記映像データに対する高画質化処理を行う高画質化処理部
    を含み、
    前記補間データ選択部は、前記高画質化処理の処理内容に応じて前記優先順位を設定する
    ことを特徴とする請求項７に記載の表示装置。
  11. 前記補間データ選択部は、前記符号化された情報に基づいて生成可能な複数の種類の補間データの中から、前記表示装置の表示性能上使用不可能な補間データを除外した補間データの前記優先順位に基づいて、前記補間データの種類を選択する
    ことを特徴とする請求項７に記載の表示装置。
  12. 符号化された情報から復号された情報に基づいて予め定められた形式で生成された映像データ及び前記予め定められた形式と前記符号化された情報から復号する際の形式との差分を補間するための補間データを、表示部に映像を表示させる表示装置に対して送信するデータ送信部と、
    前記符号化された情報に基づいて生成可能な複数の種類の前記補間データの一覧を示す補間データ一覧情報を生成して前記表示装置に対して送信する補間データ一覧情報生成部と
    を含み、
    前記データ送信部は、
    前記表示装置から送信される情報であって前記補間データ一覧情報の中から前記表示装置において選択された前記補間データの種類を示す補間データ選択情報を取得し、
    取得した前記補間データ選択情報が示す種類の前記補間データを生成し、
    生成した前記補間データを前記表示装置に対して送信する
    ことを特徴とする送信装置。
  13. 前記補間データ一覧情報生成部は、前記表示装置と通信するための伝送路の容量に基づいて、前記補間データ一覧情報を生成する
    ことを特徴とする請求項１２に記載の送信装置。
JP2016517785A 2014-05-09 2014-05-09 映像再生装置、表示装置及び送信装置 Active JP6249343B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/062508 WO2015170410A1 (ja) 2014-05-09 2014-05-09 映像再生装置、表示装置及び送信装置

Publications (2)

Publication Number Publication Date
JPWO2015170410A1 JPWO2015170410A1 (ja) 2017-04-20
JP6249343B2 true JP6249343B2 (ja) 2017-12-20

Family

ID=54392278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016517785A Active JP6249343B2 (ja) 2014-05-09 2014-05-09 映像再生装置、表示装置及び送信装置

Country Status (4)

Country Link
US (2) US10171770B2 (ja)
JP (1) JP6249343B2 (ja)
CN (1) CN106464970B (ja)
WO (1) WO2015170410A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101398A1 (en) * 2018-11-16 2020-05-22 Samsung Electronics Co., Ltd. Image processing apparatus and method thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US12101546B2 (en) * 2023-02-13 2024-09-24 e-con Systems India Private Limited Hot-pluggable GMSL camera system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
JP4682914B2 (ja) * 2006-05-17 2011-05-11 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP5086632B2 (ja) * 2006-12-22 2012-11-28 株式会社東芝 映像表示装置、映像表示システムおよび映像表示方法
JP2008244820A (ja) 2007-03-27 2008-10-09 Sharp Corp 映像表示システム及び映像出力装置
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
KR101427111B1 (ko) * 2007-08-01 2014-08-07 삼성전자 주식회사 영상처리장치 및 그 제어방법
CN101546527B (zh) * 2008-03-26 2012-01-11 安凯(广州)微电子技术有限公司 一种液晶显示控制器及图像缩放方法
WO2010070804A1 (ja) * 2008-12-19 2010-06-24 パナソニック株式会社 画像検索装置及び画像検索方法
JP5321275B2 (ja) 2009-06-18 2013-10-23 船井電機株式会社 映像表示システム、映像出力装置、及び映像再生装置
JP2013030862A (ja) * 2011-07-27 2013-02-07 Sony Corp 画像処理装置、画像処理方法および画像表示装置
JP2013098961A (ja) * 2011-11-07 2013-05-20 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
JP2013174798A (ja) 2012-02-27 2013-09-05 Toshiba Corp 映像再生装置、映像再生方法及び映像符号化方法
JP2013218002A (ja) 2012-04-05 2013-10-24 Sharp Corp 表示装置
JP5390667B2 (ja) * 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
JP2014082545A (ja) * 2012-10-12 2014-05-08 Funai Electric Co Ltd 録画再生装置およびその制御方法
US9230513B2 (en) * 2013-03-15 2016-01-05 Lenovo (Singapore) Pte. Ltd. Apparatus, system and method for cooperatively presenting multiple media signals via multiple media outputs
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
US9641893B2 (en) * 2014-05-05 2017-05-02 Verizon Patent And Licensing Inc. Conflict notification with alternate program list

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101398A1 (en) * 2018-11-16 2020-05-22 Samsung Electronics Co., Ltd. Image processing apparatus and method thereof
US11138437B2 (en) 2018-11-16 2021-10-05 Samsung Electronics Co., Ltd. Image processing apparatus and method thereof

Also Published As

Publication number Publication date
CN106464970B (zh) 2019-11-19
CN106464970A (zh) 2017-02-22
JPWO2015170410A1 (ja) 2017-04-20
US10931914B2 (en) 2021-02-23
US20190082139A1 (en) 2019-03-14
US10171770B2 (en) 2019-01-01
WO2015170410A1 (ja) 2015-11-12
US20170134691A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
JP6249343B2 (ja) 映像再生装置、表示装置及び送信装置
JP6583740B2 (ja) 表示方法および表示装置
US9131098B2 (en) Content processing apparatus for processing high resolution content and method thereof
US10891032B2 (en) Image reproduction apparatus and method for simultaneously displaying multiple moving-image thumbnails
CN105409208A (zh) 再现方法及再现装置
US8407565B2 (en) System and method for producing importance rate-based rich media, and server applied to the same
US9389881B2 (en) Method and apparatus for generating combined user interface from a plurality of servers to enable user device control
JPWO2019008819A1 (ja) 映像表示装置及び映像表示方法
JPWO2019012729A1 (ja) 映像表示装置及び映像表示方法
US11234042B2 (en) Display device, control method therefor and recording medium
JP5688255B2 (ja) 映像処理装置、表示装置及び映像処理方法
US10547821B2 (en) Reproduction apparatus and information processing method
KR20090050374A (ko) 저장 매체를 이용한 컨텐츠의 연속 재생 방법 및 이를 위한장치
WO2018146996A1 (ja) 通信装置、方法、及びプログラム
JP2019216431A (ja) 表示装置
US9386059B2 (en) Apparatus and method for providing time shift function in cloud computing system
JP6868797B2 (ja) 変換方法及び変換装置
JP2012244258A (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP2007323157A (ja) クライアント・サーバシステム、サーバ装置、ファイル共有方法及びプログラム
JP2019213215A (ja) ネットワークサーバ装置および配信方法
JP2019110538A (ja) 輝度変換方法、輝度変換装置および映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171110

R150 Certificate of patent or registration of utility model

Ref document number: 6249343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250