JP6812973B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP6812973B2 JP6812973B2 JP2017534149A JP2017534149A JP6812973B2 JP 6812973 B2 JP6812973 B2 JP 6812973B2 JP 2017534149 A JP2017534149 A JP 2017534149A JP 2017534149 A JP2017534149 A JP 2017534149A JP 6812973 B2 JP6812973 B2 JP 6812973B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- buffer
- unit
- executes
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 86
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000000872 buffer Substances 0.000 claims description 214
- 238000000034 method Methods 0.000 claims description 199
- 238000006243 chemical reaction Methods 0.000 claims description 180
- 230000008569 process Effects 0.000 claims description 166
- 230000004044 response Effects 0.000 claims description 17
- 239000012536 storage buffer Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000003139 buffering effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/399—Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/04—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0428—Gradation resolution change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Processing Of Color Television Signals (AREA)
Description
なお、高解像度、広ダイナミックレンジ、出力色空間の広い画像は、例えばUHD(Ultra High Definition)画像と呼ばれ、このUHD画像を表示するUHD対応表示装置の利用も普及段階にある。
このような現状において、例えばBD(Blu−ray(登録商標)Disc)から画像データを読み出して、表示部に表示する処理を実行する場合、従来型の表示装置、およびUHD対応表示装置のいずれの表示装置でも、それぞれの表示機能に応じた画像を表示可能とすることが要求される。
このような複数の異なる処理を実行する場合、例えば1つの画像描画コマンドの完了前に画像変換や表示処理が開始されると、不完全な画像が表示されとしまう。
完全な変換画像を表示するためには、描画処理の完了後に変換処理や表示処理を実行することが必要であり、各処理の実行タイミングを何らかの手法で制御することが必要となる。
しかし、この開示文献は、3D画像を構成する左眼用画像と右眼の整合性を確保するための処理タイミングの制御構成を開示しているに過ぎない。
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行する情報処理装置にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記プログラムは、
前記アプリケーション実行部に、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行させ、
前記バッファ管理部に、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行させ、
前記表示画像生成部に、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行させるプログラムにある。
具体的には、描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、記憶部の描画画像に対する変換処理を実行する表示画像生成部と、記憶部の複数バッファの切り替えを実行するバッファ管理部を有する。アプリケーション実行部は、描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出しを実行し、バッファ管理部は、描画完了通知APIの呼び出しに応じてバッファ切り替え処理を実行する。表示画像生成部は、アプリ実行部の描画中のバッファと異なるバッファの格納画像に対する画像変換を実行する。
本構成により、アプリケーションが実行する描画コマンドによる描画処理の完了を検知して、描画処理完了画像に対する変換処理や表示処理を行なう構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.情報記録媒体の記録データと再生処理例について
2.情報処理装置におけるBD−Jアプリケーションを利用した画像出力処理例について
3.画像変換を伴う画像出力処理における問題点について
3−1.スクリーンティアリングについて
3−2.画像変換処理の負荷について
4.本開示の情報処理装置の実行する処理の概要について
5.(実施例1)記憶部(グラフィックスプレーン)をダブルバッファとした構成を適用した実施例について
6.(実施例2)記憶部(グラフィックスプレーン)40をトリプルバッファとした構成を適用した実施例について
7.情報処理装置のハードウェア構成例について
8.本開示の構成のまとめ
まず、情報記録媒体の記録データと再生処理例について説明する。
以下では、情報記録媒体の一例として、Blu−ray(登録商標) Discの記録データと、再生処理例を説明する。
BDMVフォーマットは、4層のレイヤから構成される。
クリップレイヤには、クリップAVストリームや、クリップ情報(Clip Information)等が属する。
クリップ情報(Clip Information)は、クリップAVストリームに関する情報であり、ファイルとして、BDに記録される。
プレイリストは、再生を行うAVストリームファイルと、そのAVストリームファイルの再生箇所を指定する再生開始点(IN点)、および、再生終了点(OUT点)とを含むプレイアイテム(PlayItem)から構成される。
したがって、プレイリストは、プレイアイテムの集合で構成される。
インデクステーブルは、BD−ROMディスクのタイトルを定義する、トップレベルのテーブルである。
BDでは、ファイルは、ディレクトリ構造により階層的に管理される。
ルートディレクトリの直下には、ディレクトリ「BDMV」が存在する。
ディレクトリ「BDMV」には、図1で説明したBDMVフォーマットのファイルが格納される。
ディレクトリ「BACKUP」は、BDに記録されたファイルのバックアップが格納される。
記録メディア10は、例えばPC21、再生装置22、TV23等の情報処理装置20に装着され、再生される。
PC21、再生装置22、TV23等の情報処理装置20にはBDドライブが設けられ、BDからのデータ読み取りが可能な構成を持つ。
再生データに含まれる画像は、図3に示すように、表示部を持つ機器、例えばPCやTV等の表示部(ディスプレイ)に表示出力される。
次に、図1、図2を参照して説明した記録データを持つ記録メディア10からのデータ再生処理を行なう情報処理装置20の実行するBD−Jアプリケーションを利用した画像出力処理例について説明する。
情報処理装置20には、プログラムデータ実行機能を持つCPU等を備えたデータ処理部を有し、データ処理部において、Java(登録商標)仮想マシンを実行し、そのJava(登録商標)仮想マシン上で、BD−Jアプリケーションを実行する。
情報処理装置20のデータ処理部30は、BD−Jアプリケーションを実行し、記憶部40に各画像フレームを順次、描画し、格納する。
なお、画像データを格納する記憶部30は、グラフィクスプレーンとも呼ばれる。グラフィクスプレーンに格納された画像データに対して、様々な画像変換を施すことができる。なお、記憶部(グラフィクスプレーン)40は、ハードウェア的にはRAMによって構成される。
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
a.解像度変換は、具体的には例えば2K画像(1920×1080画素)から4K画像(3840×2160画素)への変換処理等である。
b.ダイナミックレンジ変換処理は、具体的には例えば、SDR(Standard Dynamic Range)画像から、HDR(High Dynamic Range)画像への変換処理等である。
c.色空間変換処理は、具体的には例えば、BT.709色空間から、BT.2020色空間への変換処理等である。
なお、BT.2020色空間は、BT.709色空間より、表現可能な色範囲が広く、肉眼で観察される色空間にほぼ匹敵する自然な色彩表現が可能である。
データ処理部30は、記憶部40に格納された画像に対して、表示部50の仕様に応じた画像変換処理を実行することになる。
表示部50に表示される画像は、所定の画像変換処理によって変換された画像であり、例えば表示部50が、高解像度、広ダイナミックレンジ、出力色空間の広いUHD(Ultra High Definition)画像を出力可能な表示部であれはUHD画像が表示される。
図5は、データ処理部30において画像に関する処理を実行する機能構成を示す図である。
データ処理部30は、図5に示す以下の機能を利用した処理を実行する。
(a)BD−Jアプリケーション31
(b)画像変換処理API(Application Programming Interface)33
(c)プレゼンテーションエンジン(Presentation engine)34
(d)画像デコーダ(Video decoder)35
(e)表示制御部(Display processor)36
(b)画像変換処理API33
(c)プレゼンテーションエンジン(Presentation engine)34
(d)画像デコーダ(Video decoder)35
(e)表示制御部(Display processor)36
これらの構成をBD−Jアプリケーション31と区別して、表示画像生成部32と呼ぶ。
表示画像生成部32は、BD−Jアプリケーション31が記憶部(グラフィックスプレーン)40に描画した画像に対する変換処理や表示制御を実行する。
(a)BD−Jアプリケーション31は、記憶部(グラフィクスプレーン)40に対する画像の描画処理を実行する。
例えば、解像度変換処理を実行する場合、BD−Jアプリケーション31は、解像度変換APIを呼び出し、解像度等の変更(設定)を要求する。
ダイナミックレンジ変換処理や、色空間変換処理を行なう場合も、それぞれの変換処理を行なうAPIを利用して処理が行われる。
図6は、ダイナミックレンジ変換処理(SDR画像からHDR画像への変換)を実施しない場合の画像変換例である。
図6に示す例において、グラフィックス・ソース51は、
1920×1080画素の画像であり、各画素単位でRGB各8ビット表現のなされたSDR画像である。
画像52は、1920×1080画素の画像であり、色空間BT.709対応の色情報を持ち、各画素単位で8ビット表現のなされたSDR画像である。
画像53は、1920×1080画素の画像であり、色空間BT.709対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
画像54は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
画像53は、1920×1080画素の画像であり、色空間BT.709対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
データ処理部30は、この画像53に対する解像度変換を実行して画像55を生成する。
画像55は、3840×2160画素の画像であり、色空間BT.709対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
画像54は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
データ処理部30は、この画像54に対する解像度変換を実行して画像56を生成する。
画像56は、3840×2160画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
(A)BD−Jアプリケーションによって描画されたグラフィックス・ソース51に対してステップS21の色空間変換のみを実行して出力画像52を生成する変換処理例
(B)BD−Jアプリケーションによって描画されたグラフィックス・ソース51に対してステップS21の色空間変換と、ステップS22の解像度変換を実行して出力画像55を生成する変換処理例
(C)BD−Jアプリケーションによって描画されたグラフィックス・ソース51に対してステップS21の色空間変換と、ステップS23の解像度変換を実行して出力画像56を生成する変換処理例
図7に示す例において、グラフィックス・ソース51は、図6を参照して説明したと同様、
1920×1080画素の画像であり、各画素単位でRGB各8ビット表現のなされたSDR画像である。
画像72は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
画像72は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたSDR画像である。
データ処理部30は、この画像72に対するダイナミックレンジ変換処理を実行して画像73を生成する。
画像73は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたHDR画像である。
画像73は、1920×1080画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたHDR画像である。
データ処理部30は、この画像73に対する解像度変換を実行して画像74を生成する。
画像74は、3840×2160画素の画像であり、色空間BT.2020対応の色情報を持ち、各画素単位で10ビット表現のなされたHDR画像である。
(D)BD−Jアプリケーションによって描画されたグラフィックス・ソース71に対してステップS31の色空間変換と、ステップS32のダイナミックレンジ変換処理と、ステップS33の解像度変換を実行して出力画像74を生成する変換処理例
データ処理部30は、例えば表示部50の出力可能な画像態様に応じて、上記の変換処理を実行する。
次に、図4、図5を参照して説明した構成を有する情報処理装置における画像出力処理、すなわち画像変換処理を伴う画像出力処理における問題点について説明する。
上述した説明から理解されるように、4K画像や広ダイナミックレンジ画像、あるいはBT.2020色空間を持つような、高画質画像、いわゆるUHD画像の出力を行う場合、図4に示す記憶部(グラフィックスプレーン)40は、解像度変換や、ダイナミックレンジ変換、色空間変換等の各種の画像変換処理をサポートする記憶領域として利用される。
記憶部(グラフィックスプレーン)40は、BD−Jアプリケーション31の実行による描画画像(BD−Jグラフィックス)に対する様々な画像変換を行うために利用される記憶領域でもある。
すなわち、
画像の解像度を拡大する機能を有する記憶領域であり、
また、画像のダイナミックレンジ変換をサポートする記憶領域であり、
また、複数の色空間を変換する機能を有する。色空間の変換は、例えば、BT.709準拠データをBT.2020準拠データに変換する処理である。
(描画手法1)ダイレクト・ドローイング(Direct drawing)
ダイレクト・ドローイング(Direct drawing)を適用した描画手法では、BD−Jアプリケーション31自身が描画コマンドを発行して描画処理を実行する。Java(登録商標)では、
「drawLine()メソッド」
のようなメソッドが提供されており、アプリケーションによる描画(ドローイング)が可能になっている。
リペイント(Repaint)を適用した描画手法では、システムが提供するウィジェットを使用した描画処理を実行する。Java(登録商標)ではAWT(Abstract Windowing toolkit)コンポーネントと呼ばれる複数のアプリケーションで共通のウィジェットが提供されている。このウィジェットを使用した描画処理を実行する手法である。
なお、例えばSDR画像のみを再生可能な従来型の機器(レガシー機器)においても、SDR画像の再生処理を可能とするため、BD−Jアプリケーションは、SDRのグラフィックス・ソースだけを用いた描画を行い、HDR画像の再生可能な再生機器のみがその描画画像をHDR画像に変換するといった態様とすることが好ましい。
このように、再生機器によって、画像変換が実施される場合に発生する問題点について説明する。
以下においては、問題点として、「スクリーンティアリング」について説明する。
そもそも、BD−Jグラフィックスでは、グラフィックスのコマンドをCPUなどプロセッサで実行して描画する処理と、完成したグラフィックスプレーンを読み出して表示するモニタとが、非同期に動作しているためにスクリーンティアリングが発生するという問題がある。
例えば図8に示すように、フレーム(fn)の表示タイミングにおいて、フレーム(fn)の一部の表示画像生成が間に合わず、画面の一部に前の表示フレーム(fn−1)が表示されてしまうといった現象である。
このスクリーンティアリングを回避するための手段として、描画画像を、事前に複数作成して複数のバッファに格納するダブルバッファリングやトリプルバッファリング手法が用いられる場合がある。
一般的なスクリーンティアリングは、このダブルバッファリングやトリプルバッファリングを導入すればスクリーンティアリングの発生を回避できる。
この各フレーム画像の描画処理において不可分な描画命令の区切り(フレーム間の区切り)を、画像表示を行う表示制御部等は、知ることができない。
つまり、BD−Jアプリケーションによるグラフィックスプレーンへの描画が「完了した」か否かを表示制御部等のグラフィックスシステム側が知る術がなく、その点が課題となる。
上記のスクリーンティアリングの問題点に加えて、記憶部(グラフィックスプレーン)40に格納した画像の変換処理を実行する場合、この変換処理の負荷が過大になり、各フレームの表示処理に間に合わなくなる場合があるという問題がある。
例えば、表示部(モニタ)が60Hzのリフレッシュレートを有する場合、1/60秒ごとにグラフィックスプレーンの色空間を変換して表示出力するプロセスは、ハードウェア負荷が高く合理的ではない。
次に、上述した問題点を解決する本開示の情報処理装置の実行する処理の概要について説明する。
先に説明したように、BD−Jアプリケーション31は、記憶部(グラフィックスプレーン)40への描画処理に際して、以下の2つのいずれかの手法を適用した処理を行なう、
(描画手法1)ダイレクト・ドローイング(Direct drawing)
BD−Jアプリケーション31自身が描画コマンドを発行して描画処理を実行する。
(描画手法2)リペイント(Repaint)
システムが提供するウィジェット(AWT(Abstract Windowing toolkit)コンポーネントと呼ばれる複数のアプリケーションで共通のウィジェット)を使用した描画処理を実行する。
上記の(描画手法2)リペイント(Repaint)が利用される場合、システムが提供するウィジェット(AWT(Abstract Windowing toolkit)コンポーネントと呼ばれる複数のアプリケーションで共通のウィジェット)を使用した描画処理が実行される。
AWTペイントモデルにより、ルートコンテナのrepaint()メソッドが各コンポーネントのupdate()メソッドを呼び出し、呼び出さたメソッドによる描画処理が行われる。
従って、図5に示す表示画像生成部32側は、update()メソッドの実行が完了するまで表示出力を待機することで、表示画像の出力タイミングを制御することができる。
この場合、図5に示す表示画像生成部32側は、BD−Jアプリケーション31による描画コマンドの発行が完了したかどうかを知る術がない。
すなわち、BD−Jアプリケーション31が、描画コマンド#1,#2,・・・,#Nを発行し、その描画コマンド#1ないし#Nに従って画像描画が行われた場合に、その後、BD−Jアプリケーション31から、さらに、描画コマンドが発行されるかどうか、つまり、BD−Jアプリケーションによる描画コマンドの発行が完了したのかどうかを、表示画像生成部32は、認識することができない。
横軸a〜bは、1つの画像フレーム対応の描画コマンドキュー格納領域に相当する。
縦軸に下から、順次時間経過に伴って表示される画像フレーム(フレーム番号20〜24)を示している。
画像フレーム番号20の画像フレームが、全ての描画コマンドによる描画を完了し、デコード処理や変換処理を伴う表示処理に移行している段階にある。
描画コマンドは、各画像フレーム毎に必要となる数や、コマンド実行に必要となる時間が異なる。
このような設定がなされると、描画コマンドの実行完了が遅れてしまう、
一方、画像フレームの個々の表示期間は一定であるため、描画コマンドの実行期間が複数の画像フレームの描画処理期間にまたがると、描画途中の画像がそのままディスプレイに送り出されるということになる。
BD−Jアプリケーション31は、例えば、1つの画像フレームの描画を行うための一連の描画コマンドによる描画処理が完了した時点など、ある描画コマンドによる描画処理の完了時点で、描画完了通知APIの呼び出しコマンドを実行する。
表示画像生成部32は、BD−Jアプリケーション31による描画完了通知APIの呼び出し処理が実行されたことを検出して、記憶部(グラフィックスプレーン)40に対する描画コマンドによる描画完了タイミングを認識することができる。
「java.awt.Toolkit#sync()メソッド」
を採用することができる。
表示画像生成部32は、描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出しが行われない限りは、記憶部(グラフィックスプレーン)40に描画された画像の出力は行わない。
描画コマンド#1
描画コマンド#2
・・・
描画コマンド#N
java.awt.Toolkit#sync()
描画コマンド#N+1
描画コマンド#N+2
・・・
描画コマンド#N+M
java.awt.Toolkit#sync()
例えば、BD−Jアプリケーションが、描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出し処理を1つの画像フレームに対応する描画コマンド列の完了時に実行する構成とすれば、表示画像生成部は、画像フレーム単位の描画処理の完了を知ることが可能となり、その後、その画像フレームに対して画像変換を実行することができる。
以下に示す2つの実施例について、順次、説明する。
(実施例1)記憶部(グラフィックスプレーン)40をダブルバッファとした構成
(実施例2)記憶部(グラフィックスプレーン)40をトリプルバッファとした構成
まず、実施例1として、記憶部(グラフィックスプレーン)をダブルバッファとした構成を適用した実施例について説明する。
なお、図10には、画像処理に利用される構成部のみを示している。
情報処理装置100は、データ処理部200、記憶部(グラフィックスプレーン)220、表示部250を有する。
なお、表示部250は、情報処理装置100の必須構成ではなく、図示しない出力部を介して接続される表示装置を利用する構成としてもよい。
BD−Jアプリケーション実行部210、
表示画像生成部230、
バッファ管理部240、
を有する。
表示画像生成部230は、先に図5を参照して説明した構成における表示画像生成部32に相当し、画像変換処理API33、プレゼンテーションエンジン34、画像デコーダ35、表示制御部36の実行する処理を実行する。
バッファ管理部240は、記憶部(グラフィックスプレーン)220内のバックバッファ221、フロントバッファ222の切り替え処理等を実行する。
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
上記a〜cの少なくともいずれかの画像変換処理を実行する。すなわち、表示画像生成部230は、画像を出力する表示部250の表示機能に応じて画像変換態様を決定して、上記a〜cの少なくともいずれかの画像変換処理を実行する。
バックバッファ221、
フロントバッファ222、
これら2つのバッファを有するダブルバッファ構成となっている。
図11に示すフローチャートは、図10に示す処理ステップS101〜S106の処理をフローとして示したものである。
以下、図10、図11に示すステップS101〜S106の各処理の詳細について、順次、説明する。
情報処理装置100のデータ処理部200のBD−Jアプリケーション実行部210は、ステップS101において、BD−Jアプリケーションに規定された描画コマンドを実行する。
次に、BD−Jアプリケーション実行部210は、ステップS102において、BD−Jアプリケーションに規定された描画コマンドの実行結果としての画像を記憶部220のバックバッファ221に格納する。
次に、情報処理装置100のデータ処理部の表示画像生成部230は、ステップS101〜S102において実行される描画コマンドの実行および実行結果のバックバッファ格納処理に並行して、フロントバッファ222に格納された画像の変換処理(解像度、ダイナミックレンジ、色変換の少なくともいずれか)を実行して、変換画像を表示部250に出力する。
次に、表示画像生成部230は、ステップS104において、BD−Jアプリケーション実行部210からの描画完了APIの呼び出しがあったか否かを判定する。
BD−Jアプリケーション実行部210から描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出しがあったか否かを判定する。
API呼び出しがあった場合は、ステップS105以下の処理を実行する。
BD−Jアプリケーション実行部210からの描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出しのあったことが確認された場合、情報処理装置100のデータ処理部200のバッファ管理部240は、ステップS104において、記憶部220のバックバッファ221と、フロントバッファ222の切り替え処理を行なう。
すなわち、バックバッファ221をフロントバッファに設定し、フロントバッファ222をバックバッファに設定する。
次に、データ処理部200のバッファ管理部240は、フロントバッファ(切り替え前のバックバッファ)の格納画像を、バックバッファ(切り替え前のフロントバッファ)にコピーする。
なお、このコピー処理期間内は、バックバッファに対する描画処理は停止する。
例えば、BD−Jアプリケーションによる描画コマンドが以下のようなシーケンスで設定されているとする。
描画コマンド#1
描画コマンド#2
・・・
描画コマンド#N
描画完了通知API(java.awt.Toolkit#sync())
描画コマンド#N+1
描画コマンド#N+2
・・・
描画コマンド#N+M
描画完了通知API(java.awt.Toolkit#sync())
その後、
表示画像生成部230が、描画完了通知API(java.awt.Toolkit#sync())の発行を検出すると、
バッファ管理部240が、バックバッファ221とフロントバッファ222の切り替えを実行して、さらに、フロントバッファ(切り替え前のバックバッファ221)に格納されていた描画データをバックバッファ(切り替え前のフロントバッファ222)にコピーする。
この時点で、バッファ切り替え後のバックバッファ(切り替え前のフロントバッファ222)には、描画コマンド#1〜#Nによる描画結果が格納された状態になる。
また、表示画像生成部230による画像変換、すなわち、
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
これらの処理をBD−Jアプリケーションによる描画処理の完了した画像フレームに対して実行することが可能となり、その後の画像出力処理も、画像フレーム単位で完成された変換画像として出力することが可能となる。
次に、実施例2として、記憶部(グラフィックスプレーン)をトリプルバッファとした構成を適用した実施例について説明する。
なお、図12には、画像処理に利用される構成部のみを示している。
情報処理装置300は、データ処理部400、記憶部(グラフィックスプレーン)420、表示部450を有する。
なお、表示部450は、情報処理装置300の必須構成ではなく、図示しない出力部を介して接続される表示装置を利用する構成としてもよい。
BD−Jアプリケーション実行部410、
表示画像生成部430、
バッファ管理部440、
を有する。
表示画像生成部430は、先に図5を参照して説明した構成における表示画像生成部32に相当し、画像変換処理API33、プレゼンテーションエンジン34、画像デコーダ35、表示制御部36の実行する処理を実行する。
バッファ管理部440は、記憶部(グラフィックスプレーン)420内のフロントバッファ1,422−1、フロントバッファ2,422−2の切り替え処理等を実行する。
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
上記a〜cの少なくともいずれかの画像変換処理を実行する。すなわち、表示画像生成部430は、画像を出力する表示部250の表示機能に応じて画像変換態様を決定して、上記a〜cの少なくともいずれかの画像変換処理を実行する。
バックバッファ421、
フロントバッファ1,422−1、
フロントバッファ2,422−2、
これら3つのバッファを有するトリプルバッファ構成となっている。
図13に示すフローチャートは、図12に示す処理ステップS301〜S306の処理をフローとして示したものである。
以下、図12、図13に示すステップS301〜S306の各処理の詳細について、順次、説明する。
情報処理装置300のデータ処理部400のBD−Jアプリケーション実行部410は、ステップS301において、BD−Jアプリケーションに規定された描画コマンドを実行する。
次に、BD−Jアプリケーション実行部410は、ステップS302において、BD−Jアプリケーションに規定された描画コマンドの実行結果としての画像を記憶部420のバックバッファ421に格納する。
次に、情報処理装置300のデータ処理部のバッファ管理部440は、ステップS301〜S302において実行される描画コマンドの実行および実行結果のバックバッファ格納処理に並行して、バックバッファ421に格納された画像データをフロントバッファ1,422−1にコピーする処理を実行する。
次に、情報処理装置300のデータ処理部の表示画像生成部430は、ステップS301〜S303の各処理に並行して、ステップS304において、フロントバッファ2,422−2に格納された画像の変換処理(解像度、ダイナミックレンジ、色変換の少なくともいずれか)を実行して、変換画像を表示部450に出力する。
次に、表示画像生成部430は、ステップS305において、BD−Jアプリケーション実行部410からの描画完了APIの呼び出しがあったか否かを判定する。
BD−Jアプリケーション実行部410から描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出しがあったか否かを判定する。
API呼び出しがあった場合は、ステップS306の処理を実行する。
BD−Jアプリケーション実行部410からの描画完了通知API、すなわち「java.awt.Toolkit#sync()メソッド」の呼び出しのあったことが確認された場合、情報処理装置300のデータ処理部400のバッファ管理部440は、ステップS306において、記憶部420のフロントバッファ1,422−1と、フロントバッファ2,422−2の切り替え処理を行なう。
すなわち、フロントバッファ1,422−1をフロントバッファ2に設定し、フロントバッファ2,422−2をフロントバッファ1に設定する。
以降、ステップS301〜S306の処理を繰り返す。
例えば、BD−Jアプリケーションによる描画コマンドが以下のようなシーケンスで設定されているとする。
描画コマンド#1
描画コマンド#2
・・・
描画コマンド#N
描画完了通知API(java.awt.Toolkit#sync())
描画コマンド#N+1
描画コマンド#N+2
・・・
描画コマンド#N+M
描画完了通知API(java.awt.Toolkit#sync())
その後、
表示画像生成部430が、描画完了通知API(java.awt.Toolkit#sync())の発行を検出すると、
バッファ管理部440が、フロントバッファ1,422−1と、フロントバッファ2,422−2の切り替えを実行する。
この時点で、バッファ切り替え後のフロントバッファ2(切り替え前のフロントバッファ1)には、描画コマンド#1〜#Nによる描画結果が格納された状態になる。
また、表示画像生成部430による画像変換、すなわち、
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
これらの処理をBD−Jアプリケーションによる描画処理の完了した画像フレームに対して実行することが可能となり、その後の画像出力処理も、画像フレーム単位で完成された変換画像として出力することが可能となる。
最後に、図14を参照して、上述した処理を実行する情報処理装置のハードウェア構成例について説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行する情報処理装置。
フロントバッファとバックバッファから構成されるダブルバッファ構成であり、
前記アプリケーション実行部は、
描画コマンドによる描画処理結果を前記バックバッファに格納し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、フロントバッファとバックバッファとの切り換え処理を実行する(1)に記載の情報処理装置。
前記フロントバッファに格納された画像に対する画像変換処理を実行する(2)に記載の情報処理装置。
バックバッファと、第1フロントバッファと、第2フロントバッファから構成されるトリプルバッファ構成であり、
前記アプリケーション実行部は、
描画コマンドによる描画処理結果を前記バックバッファに格納し、
前記第1フロントバッファは、前記バックバッファのコピーデータを格納する構成であり、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、第1フロントバッファと第2フロントバッファとの切り換え処理を実行する(1)に記載の情報処理装置。
前記第2フロントバッファに格納された画像に対する画像変換処理を実行する(4)に記載の情報処理装置。
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
上記a〜cの少なくともいずれかの画像変換処理を実行する(1)〜(5)いずれかに記載の情報処理装置。
画像を出力する表示部の表示機能に応じて画像変換態様を決定する(1)〜(6)いずれかに記載の情報処理装置。
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行する情報処理方法。
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記プログラムは、
前記アプリケーション実行部に、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行させ、
前記バッファ管理部に、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行させ、
前記表示画像生成部に、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行させるプログラム。
具体的には、描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、記憶部の描画画像に対する変換処理を実行する表示画像生成部と、記憶部の複数バッファの切り替えを実行するバッファ管理部を有する。アプリケーション実行部は、描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出しを実行し、バッファ管理部は、描画完了通知APIの呼び出しに応じてバッファ切り替え処理を実行する。表示画像生成部は、アプリ実行部の描画中のバッファと異なるバッファの格納画像に対する画像変換を実行する。
本構成により、アプリケーションが実行する描画コマンドによる描画処理の完了を検知して、描画処理完了画像に対する変換処理や表示処理を行なう構成が実現される。
20 情報処理装置
21 PC
22 再生装置
23 TV
30 データ処理部
31 BD−Jアプリケーション
32 表示画像生成部
33 画像変換処理API
34 プレゼンテーションエンジン
35 画像デコーダ
36 表示制御部
100 情報処理装置
200 データ処理部
210 BD−Jアプリケーション実行部
220 記憶部(グラフィックスプレーン)
221 バックバッファ
222 フロントバッファ
230 表示画像生成部
240 バッファ管理部
250 表示部
300 情報処理装置
400 データ処理部
410 BD−Jアプリケーション実行部
420 記憶部(グラフィックスプレーン)
421 バックバッファ
422 フロントバッファ
430 表示画像生成部
440 バッファ管理部
450 表示部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (9)
- 描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行する構成であり、
前記アプリケーション実行部による第1バッファに対する描画画像格納処理と、前記表示画像生成部による第2バッファ格納画像に対する画像変換処理を並列に実行する情報処理装置。 - 前記記憶部は、
フロントバッファとバックバッファから構成されるダブルバッファ構成であり、
前記アプリケーション実行部は、
描画コマンドによる描画処理結果を前記バックバッファに格納し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、フロントバッファとバックバッファとの切り換え処理を実行する請求項1に記載の情報処理装置。 - 前記表示画像生成部は、
前記フロントバッファに格納された画像に対する画像変換処理を実行する請求項2に記載の情報処理装置。 - 前記記憶部は、
バックバッファと、第1フロントバッファと、第2フロントバッファから構成されるトリプルバッファ構成であり、
前記アプリケーション実行部は、
描画コマンドによる描画処理結果を前記バックバッファに格納し、
前記第1フロントバッファは、前記バックバッファのコピーデータを格納する構成であり、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、第1フロントバッファと第2フロントバッファとの切り換え処理を実行する請求項1に記載の情報処理装置。 - 前記表示画像生成部は、
前記第2フロントバッファに格納された画像に対する画像変換処理を実行する請求項4に記載の情報処理装置。 - 前記表示画像生成部は、
a.解像度変換処理
b.ダイナミックレンジ変換処理
c.色空間変換処理
上記a〜cの少なくともいずれかの画像変換処理を実行する請求項1に記載の情報処理装置。 - 前記表示画像生成部は、
画像を出力する表示部の表示機能に応じて画像変換態様を決定する請求項1に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記アプリケーション実行部は、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行し、
前記バッファ管理部は、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行し、
前記表示画像生成部は、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行し、
前記アプリケーション実行部による第1バッファに対する描画画像格納処理と、前記表示画像生成部による第2バッファ格納画像に対する画像変換処理を並列に実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
描画処理を実行し、描画結果を記憶部に格納するアプリケーション実行部と、
前記記憶部の描画画像に対する画像変換処理を実行して表示部に出力する表示画像を生成する表示画像生成部と、
前記記憶部に設定された複数のバッファの切り替え処理を実行するバッファ管理部を有し、
前記プログラムは、
前記アプリケーション実行部に、
描画コマンドによる描画処理の完了後に、描画完了通知API(Application Programming Interface)の呼び出し処理を実行させ、
前記バッファ管理部に、
前記描画完了通知APIの呼び出しに応じて、前記アプリケーション実行部による描画画像の格納バッファを切り替えるバッファ切り替え処理を実行させ、
前記表示画像生成部に、
前記アプリケーション実行部による描画処理実行中のバッファと異なるバッファに格納された画像に対する画像変換処理を実行させ、
前記アプリケーション実行部による第1バッファに対する描画画像格納処理と、前記表示画像生成部による第2バッファ格納画像に対する画像変換処理を並列に実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159089 | 2015-08-11 | ||
JP2015159089 | 2015-08-11 | ||
PCT/JP2016/071112 WO2017026230A1 (ja) | 2015-08-11 | 2016-07-19 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017026230A1 JPWO2017026230A1 (ja) | 2018-06-07 |
JP6812973B2 true JP6812973B2 (ja) | 2021-01-13 |
Family
ID=57983106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017534149A Active JP6812973B2 (ja) | 2015-08-11 | 2016-07-19 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180197509A1 (ja) |
EP (1) | EP3336833A4 (ja) |
JP (1) | JP6812973B2 (ja) |
WO (1) | WO2017026230A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11049211B2 (en) | 2017-07-06 | 2021-06-29 | Channel One Holdings Inc. | Methods and system for asynchronously buffering rendering by a graphics processing unit |
JP7191649B2 (ja) * | 2017-12-27 | 2022-12-19 | キヤノン株式会社 | 電子機器 |
CA3044477A1 (en) | 2018-06-01 | 2019-12-01 | Gregory Szober | Display buffering methods and systems |
US11164496B2 (en) | 2019-01-04 | 2021-11-02 | Channel One Holdings Inc. | Interrupt-free multiple buffering methods and systems |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5844569A (en) * | 1996-04-25 | 1998-12-01 | Microsoft Corporation | Display device interface including support for generalized flipping of surfaces |
US7586492B2 (en) * | 2004-12-20 | 2009-09-08 | Nvidia Corporation | Real-time display post-processing using programmable hardware |
TWI267036B (en) * | 2005-02-24 | 2006-11-21 | Asustek Comp Inc | Method and apparatus for capturing full-screen frames |
US8036469B2 (en) * | 2006-05-16 | 2011-10-11 | Canon Kabushiki Kaisha | Imaging apparatus including a separable monitor, and method for controlling the imaging apparatus |
JP4312238B2 (ja) * | 2007-02-13 | 2009-08-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像変換装置および画像変換方法 |
FR2920631B1 (fr) * | 2007-08-30 | 2010-01-22 | Alstom Transport Sa | Systeme et procede de traitement d'un signal video |
US9053559B1 (en) * | 2007-11-16 | 2015-06-09 | Nvidia Corporation | Method and system for presenting image data to a video output device |
JP2009133956A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 画像表示システム |
US8054316B2 (en) * | 2008-11-14 | 2011-11-08 | Nvidia Corporation | Picture processing using a hybrid system configuration |
JP4915459B2 (ja) * | 2009-04-03 | 2012-04-11 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US9384276B1 (en) * | 2011-05-03 | 2016-07-05 | Amazon Technologies, Inc. | Reducing latency for remotely executed applications |
BR112014005551A2 (pt) * | 2011-09-12 | 2017-03-21 | Intel Corp | múltiplas exibições simultâneas na mesma tela |
US8847970B2 (en) * | 2012-04-18 | 2014-09-30 | 2236008 Ontario Inc. | Updating graphical content based on dirty display buffers |
KR102223751B1 (ko) * | 2013-07-12 | 2021-03-05 | 소니 주식회사 | 재생 장치, 재생 방법, 및 기록 매체 |
JP2015099340A (ja) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | 画像表示装置、テレビジョン受像機、画像表示方法、プログラム、及び、記録媒体 |
US10388255B2 (en) * | 2018-06-29 | 2019-08-20 | Intel Corporation | Computers for supporting multiple virtual reality display devices and related methods |
-
2016
- 2016-07-19 US US15/742,201 patent/US20180197509A1/en not_active Abandoned
- 2016-07-19 WO PCT/JP2016/071112 patent/WO2017026230A1/ja active Application Filing
- 2016-07-19 JP JP2017534149A patent/JP6812973B2/ja active Active
- 2016-07-19 EP EP16834927.2A patent/EP3336833A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20180197509A1 (en) | 2018-07-12 |
WO2017026230A1 (ja) | 2017-02-16 |
EP3336833A4 (en) | 2019-04-10 |
JPWO2017026230A1 (ja) | 2018-06-07 |
EP3336833A1 (en) | 2018-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6484368B2 (ja) | 再生装置 | |
JP6134076B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP4919122B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6812973B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2010113728A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20160173845A1 (en) | Reproduction device, reproduction method, and recording medium | |
JP2015008361A (ja) | 再生装置、再生方法、および記録媒体 | |
WO2010113729A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JPWO2014208344A1 (ja) | 再生装置、再生方法、および記録媒体 | |
WO2010113730A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
RU2490730C2 (ru) | Устройство для воспроизведения данных с носителя для хранения информации | |
JP2018129115A (ja) | 再生装置 | |
WO2010113731A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2017204319A (ja) | 記録媒体 | |
JP6536914B2 (ja) | 再生装置、情報処理方法、およびプログラム | |
JP6579394B2 (ja) | 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体 | |
JP4962673B1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP4962825B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6812973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |