JP5899503B2 - 描画装置及び方法 - Google Patents

描画装置及び方法 Download PDF

Info

Publication number
JP5899503B2
JP5899503B2 JP2013523775A JP2013523775A JP5899503B2 JP 5899503 B2 JP5899503 B2 JP 5899503B2 JP 2013523775 A JP2013523775 A JP 2013523775A JP 2013523775 A JP2013523775 A JP 2013523775A JP 5899503 B2 JP5899503 B2 JP 5899503B2
Authority
JP
Japan
Prior art keywords
image
scaler
memory
image object
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013523775A
Other languages
English (en)
Other versions
JPWO2013008379A1 (ja
Inventor
西田　英志
英志 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013523775A priority Critical patent/JP5899503B2/ja
Publication of JPWO2013008379A1 publication Critical patent/JPWO2013008379A1/ja
Application granted granted Critical
Publication of JP5899503B2 publication Critical patent/JP5899503B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、テレビ映像等の画像オブジェクトを画面内に描画する描画装置に関し、特に、画面内に複数の画像オブジェクトを描画するマルチウィンドウ表示技術に関するものである。
マルチウィンドウ表示は、ＴＶやレコーダ、タブレット、スマートフォンなどにおいて多彩なコンテンツを同時に表示するために採用される技術であり、テレビ放送された複数のチャネルの映像を１画面内に並べて表示したり、データ放送においてユーザとの対話的操作に用いるグラフィックスをテレビ映像に合成して表示する際に用いられる。
マルチウィンドウ表示の実現には、例えば、ＯｐｅｎＧＬ等で記述した描画シナリオに従って、仮想空間に存在する物体の表面に、複数の画像オブジェクトを貼り付ける処理を行った上で、仮想空間映像を描画する手法がある。
ここで、マルチウィンドウ表示において画面内に並べて表示される画像オブジェクトはテレビ映像等であり、再生時に個々にデコードされるため、各画像オブジェクトは１つの画面に合成されるまでメモリに格納しておく必要がある。そのため同時に表示する画像オブジェクトの数が増えるにつれ、必要なメモリ帯域も増加する。このようなメモリ帯域の増加は高コストの原因となるものであり好ましくない。
マルチウィンドウ表示に要するメモリ帯域の増加を抑える技術としては、特許文献１のものがある。特許文献１に開示の技術では、グラフィックス及び動画像の表示形態を示す描画命令に従って其々の画像に分配するメモリ帯域を決定し、決定されたメモリ帯域内で読み書きができように其々の画像を縮小したり解像度を低減する変換を施すことで、メモリ帯域を適応的に制御している。
特開２０１０−０３２８０１号公報
ところで、上記のように１つの画面に合成する前の画像を縮小することでマルチウィンドウ表示に要するメモリ帯域を低減させる場合にも、様々な表示形態の描画シナリオに対応することが求められる。
本発明は、マルチウィンドウ表示に要するメモリ帯域を低減しつつ、多様な描画シナリオのマルチウィンドウ表示を可能とする描画装置、及び描画装置の制御方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様である描画装置は、表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、複数の画像オブジェクトを得る取得手段と、取得された前記複数の画像オブジェクトを縮小する第１スケーラと、縮小後の各画像オブジェクトを格納するメモリと、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部とを備えることを特徴とする。
課題を解決するための手段に記載の構成により、メモリへ格納する前に第１スケーラにおいて画像オブジェクトを縮小しているため、画像オブジェクトの格納に要するメモリ帯域を削減し、メモリ個数を低減することができる。その一方で、メモリからの読み出し後に、読み出した画像オブジェクトを、カレントのフレーム期間に描画シナリオで要求される縮小率に再度変換するため、画像オブジェクトを表示するサイズが時間経過とともに変化する場合にも、メモリ書き込み及び読み出しによる遅延に影響されることなく、マルチウィンドウ表示の合成画像を描画することができる。
従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいても、メモリ帯域を低減しつつ、描画応答性を向上させたマルチウィンドウ表示を実現することができる。
実施形態１に係るマルチウィンドウ描画装置の構成を示す図 描画シナリオの記述例を示す図 描画シナリオの記述例を示す図 図２、３に示す描画シナリオで描画するマルチウィンドウ画面を示す図 図２、３に示す描画シナリオによる表示の変化を模式的に示す図 追加スケーラにおいて生成されるミップマップの一例を示す図 １フレーム期間でのマルチウィンドウ描画装置の動作を示す図 メモリ前段においてメモリへ画像オブジェクトを格納する処理を示すフローチャート メモリ後段において合成画像を描画する処理を示すフローチャート 実施形態２に係るマルチウィンドウ描画装置の構成を示す図 実施形態２に係るマルチウィンドウ描画装置においてメモリへ画像オブジェクトを格納する処理を示すフローチャート 実施形態２に係るマルチウィンドウ描画装置において合成画像を描画する処理を示すフローチャート マルチウィンドウ画面の他の例を示す図 実施形態３に係るテレビの構成を示す図 従来のメモリ帯域を適応的に制御する描画装置において遅延が発生することを示す図
（本発明の基礎となった知見）
マルチウィンドウ表示の描画シナリオの一つとして、画面内に表示する画像のサイズを時間経過とともに変化させるような描画シナリオも考えられる。しかし、特許文献１に開示の技術では、時間経過とともに画像サイズを変化させるような描画シナリオにおいて、以下のようにマルチウィンドウ表示画像の合成が遅延することを、本発明者は知見した。
先ず、特許文献１に開示の技術では、其々の画像がメモリへ格納される前に縮小処理が行われる。しかし、メモリの読み書きにはディレイがあるため、特許文献１に開示の技術を用いたマルチウィンドウ表示では、時間経過とともに画像サイズを変化させるような描画シナリオにおいて、画像の合成時に描画シナリオで要求されるサイズと、メモリから読み出される画像のサイズとが相違することになる。この結果、特許文献１に開示の技術では、マルチウィンドウ表示画像の合成が遅延するという問題が生じる。
例えば、図１５（ａ）のように、画面内に２つの画像を並べ、ユーザが選択した一方を画面の１／２サイズで大きく表示し、他方を画面の１／５サイズで表示するマルチウィンドウ表示において、左側の画像から右側の画像に選択が変更された場合に、図１５（ｂ）のように、選択変更後のフレーム期間ｆ１〜ｆ４の間に左側画像のサイズを、１／２〜１／５に変化させる描画シナリオを想定する。フレーム期間ｆ１以前のフレーム期間では、左側画像は継続的に１／２のサイズで表示されている。
特許文献１に開示の技術を用いた場合、左側画像は、各フレーム期間において指定のサイズに縮小されメモリへ格納される。ここでメモリの書き込み及び読み出しに伴うディレイが２フレーム期間に相当する場合、各フレーム期間において、マルチウィンドウ画面合成のためにメモリから読み出される左側画像は、図１５（ｃ）のようになる。例えば、フレーム期間ｆ３では、フレーム期間ｆ１で１／２に縮小された画像がメモリから読み出される。しかし、フレーム期間ｆ３において画面合成のために描画シナリオで要求される画像は、図１５（ｂ）に示すように１／４に縮小された画像である。この結果、描画シナリオで要求される画像のサイズと、メモリから読み出して得られる画像のサイズとが異なり、マルチウィンドウ表示画面を合成することができない。
（発明の一態様の概要）
本発明は、マルチウィンドウ表示に要するメモリ帯域を低減しつつ、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおける描画応答性を向上することができる描画装置、及び描画装置の制御方法を提供することを目的とする。
本発明の第１態様である描画装置は、表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、複数の画像オブジェクトを得る取得手段と、取得された前記複数の画像オブジェクトを縮小する第１スケーラと、縮小後の各画像オブジェクトを格納するメモリと、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部とを備える。
上記の構成によれば、メモリへ格納する前に第１スケーラにおいて画像オブジェクトを縮小しているため、画像オブジェクトの格納に要するメモリ帯域を削減し、メモリ個数を低減することができる。その一方で、メモリからの読み出し後に、読み出した画像オブジェクトを、カレントのフレーム期間に描画シナリオで要求される縮小率に再度変換するため、画像オブジェクトを表示するサイズが時間経過とともに変化する場合にも、メモリ書き込み及び読み出しによる遅延に影響されることなく、マルチウィンドウ表示の合成画像を描画することができる。従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいて、描画応答性を向上することができる。
ところで、メモリへの格納前に縮小された画像オブジェクトを、合成前に再度スケール変換することで、合成画像では画質が劣化するという問題がある。
そこで、本発明の第２態様は第１態様において、前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラを更に備え、前記第２スケーラは、第３スケーラによる縮小後の画像オブジェクトがメモリに格納されていない場合、第１スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行い、第３スケーラによる縮小後の画像オブジェクトがメモリに格納されている場合、第３スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行うよう構成してもよい。
異なる縮小率の描画オブジェクトをメモリへ格納しておくことで、再変換が必要な機会を減らすことができる。また、再変換する場合にもより縮小率の近い描画オブジェクトを用いることで画質劣化の程度を抑えることができる。
従って、本発明の第２態様によれば、メモリ帯域削減とメモリ個数低減によるコスト削減が可能であると同時に、画像サイズの変更に対する応答性の向上と、画質の向上の両立が可能となり、マルチウィンドウ表示の表現力を向上することができる。
また、本発明の第３態様は、第２態様において第３スケーラが生成する縮小した画像オブジェクトが、デコードにより得られた画像オブジェクトのミップマップであるよう構成してもよい。
ミップマップ形式は一般に、元画像を１／２、１／４、１／８、１／１６、…と１／２の累乗のサイズに縮小した画像群からなり、この手法は縮小率の高い画像を生成する際に画質を改善する効果がある。
また、本発明の第４態様は第３態様において、前記所定の縮小率が、３／４であるよう構成してもよい。
一般にミップマップの合計データ量は、元画像の１／３を超えることはない。そのため第１スケーラで用いる縮小率が３／４以下であれば、第１スケーラによる縮小後の画像オブジェクトから生成したミップマップのデータ量は、取得手段で取得された元の画像オブジェクトの１／４以下となり、第１スケーラによる縮小後の画像オブジェクトとミップマップとの合計データ量が、元の画像オブジェクトを超えることがない。
また、本発明の第５態様は第１態様において、メモリへの前記縮小後の画像オブジェクトの書き込み、及び、メモリからの前記縮小後の画像オブジェクトの読み出しには、フレーム期間kに相当する遅延時間が存在し、カレントのフレーム期間(t)よりも時間的に過去に位置するフレーム期間(t-k)に第１スケーラで用いた縮小率がS1であり、カレントのフレーム期間(t)にシナリオプロセッサが算出した縮小率をがS2である場合に、第２スケーラは、メモリから読み出される縮小後の画像オブジェクトを(S2/S1)倍に変換するよう構成してもよい。
上記の構成により、フレーム期間毎にシナリオプロセッサで算出される縮小率が変化する場合にも、第２スケーラによりカレントのフレーム期間に要求される縮小率で縮小された画像オブジェクトが得られる。従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいて、描画応答性を向上することができる。
また、本発明の第６態様は第５態様において、第１スケーラで用いる縮小率が、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率であるよう構成してもよい。
上記の構成により、カレントのフレーム期間(t)に読み出される画像オブジェクトは、フレーム期間(t-k)に縮小率S1で縮小された画像オブジェクトであるが、第２スケーラによりS2/S1倍に変換されることで、カレントのフレーム期間(t)で要求される縮小率をS2で縮小された画像オブジェクトが得られる。
また、本発明の第７態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される形状が大きい画像オブジェクトほど大きく、小さい画像オブジェクトほど小さいよう構成してもよい。
描画シナリオで指定される形状が小さい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。上記本発明の第７態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
また、本発明の第８態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが小さいものほど大きく、歪みが大きいものほど小さいよう構成してもよい。
描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが大きいほど、画像オブジェクトの縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第８態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
また、本発明の第９態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される貼り付け位置の時間変化が小さい画像オブジェクトほど縮小率を大きく、前記貼り付け位置の時間変化が大きい画像オブジェクトほど縮小率を小さいよう構成してもよい。
描画シナリオで指定される貼り付け位置の時間変化が大きい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第９態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
また、本発明の第１０態様は第５態様において、各描画オブジェクトから人物画像を検出する画像特徴検出部を更に有し、第１スケーラで用いる縮小率が、前記画像特徴検出部により検出される人物画像が大きい画像オブジェクトほど大きく、前記検出される人物画像が小さい画像オブジェクトほど小さいよう構成してもよい。
人物画像が小さい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第１０態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
また、本発明の第１１態様は、第５態様において、前記複数の画像オブジェクトは立体視再生に用いる複数の視点画像を含み、第１スケーラで用いる縮小率は、前記複数の視点画像のうち一方の視点の画像オブジェクトの縮小率が、他方の視点の画像オブジェクトの縮小率より大きいよう構成してもよい。
立体視再生に用いる複数の視点画像のうち強調したい視点の画像を優先し、他方の視点画像を小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
以下、本発明の実施の形態について、図を用いて説明する。
（実施形態１）
図１は、実施形態１に係る描画装置のハード構成を示す図である。この描画装置は、それ自体としてユーザの使用に供することもできるが、様々な電気機器に組み込まれてもよい。描画装置の一例は、代表的にはテレビ受像機である。また、描画装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ；パーソナルコンピュータあるいはパソコン）等の汎用のコンピュータ、ＡＶ再生装置などのＡＶ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレットあるいは携帯電話機等の通信端末でもよい。
描画装置は、シナリオプロセッサ１０１、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、メモリ１０６、再縮小判定部１１１、第２スケーラ１１３、ウィンドウ変形部１１４、及び合成部１１５を備えている。また、本実施形態では、２つの映像データを１の画面に並べて表示するマルチウィンドウ表示を例に説明するため、描画装置は、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、ＡＶデコーダ１０７、再縮小判定部１１１、第２スケーラ１１３、及びウィンドウ変形部１１４を、映像データと同数の２つずつ有している。
シナリオプロセッサ１０１では、ＯｐｅｎＧＬ等で記述された描画シナリオを解釈し、視点位置、マルチウィンドウ表示において表示する複数のウィンドウの３次元座標、サイズ、各ウィンドウにどの映像を画像オブジェクトとして貼り付けるか等の情報を取得する。
シナリオプロセッサ１０１は更に、縦１９２０ピクセル、横１０８０ピクセルのピクチャを各ウィンドウのサイズにあわせるための縮小率を、各映像についてフレーム期間毎に算出し、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、再縮小判定部１１１へ通知する。
ＡＶデコーダ１０７は、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの符号化映像データをデコードすることで、画像オブジェクトとして用いるべき非圧縮形式のピクチャデータをフレーム毎に得る取得手段として機能する。
第１スケーラ１０３は、バイリニア補完を行う拡大フィルタ、縮小フィルタを用いてピクチャを拡大、縮小する機能を有する。ＡＶデコーダ１０７で生成された非圧縮形式のピクチャに対しては、第１スケーラ１０３は、シナリオプロセッサ１０１から通知された縮小率に基づいてピクチャの画素数を削減し、画素数削減により生成された縮小ピクチャをメモリ１０６に保存する。また、第１スケーラ１０３は、メモリ１０６に保存されているピクチャを拡大フィルタで拡大し、デコードに用いる参照画像としてＡＶデコーダ１０７に受け渡す機能も有している。
追加縮小判定部１０４は、シナリオプロセッサ１０１から通知された縮小率を、予め設定された閾値Ｔｈと比較し、シナリオプロセッサ１０１から通知された縮小率が閾値Ｔｈ以上である場合には、追加スケーラ１０５に対して動作しないように指令を出す。逆にシナリオプロセッサ１０１から指定された縮小率が閾値Ｔｈよりも小さい場合には、追加スケーラ１０５に対して、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャから縮小ピクチャを生成するように指令を出す。
追加スケーラ１０５は、追加縮小判定部１０４から縮小ピクチャを生成するように指令を受けた場合に、第１スケーラ１０３が出力した縮小ピクチャの画素数を更に削減することにより、第１スケーラ１０３が出力した縮小ピクチャの縦横サイズを１／２、１／４、１／８、１／１６、…、１／１２８のサイズに縮小した図６に示す追加縮小ピクチャ群を生成しメモリ１０６に保存する。この手法は一般にミップマップと呼ばれ、縮小率の高い画像を生成する際に、画質を改善する効果がある。ミップマップの合計データ量は、元画像の１／３を超えることはない。そこで追加縮小ピクチャとしてミップマップを生成する場合には、メモリ帯域を増加させない為に、閾値Ｔｈとして３／４以下の値を設定することが望ましい。
グラフィックス生成部１０８は、シナリオプロセッサ１０１から通知された縮小率を基にポリゴンの座標を変換し、変換した座標を囲むウィンドウ枠の画像となるグラフィックスを生成しメモリ１０６に保存する。
メモリ１０６は、第１スケーラ１０３、追加スケーラ１０５、及びグラフィックス生成部１０８で生成されたピクチャデータの保存に用いられる。メモリ１０６では、あるピクチャデータを書き込み、更にこれを読み出すためには、２フレーム期間に相当する処理時間が必要である。
再縮小判定部１１１は、シナリオプロセッサ１０１から通知される縮小率を２フレーム期間分蓄積するバッファメモリを有し、各フレーム期間においてシナリオプロセッサ１０１から通知された縮小率と、２フレーム期間前にバッファに蓄積した縮小率を比較し、２つの縮小率に変化がある場合に、第２スケーラ１１３に対して、メモリ１０６から読み出された縮小ピクチャに再度スケール変換を施すよう指令を出す。
第２スケーラ１１３は、メモリ１０６に置かれた動画像のピクチャ、グラフィックス画像を取り込み、再縮小判定部１１１で決定された拡大・縮小率に合わせて、画像を拡大または縮小する。
ウィンドウ変形部１１４は、シナリオプロセッサ１０１による描画シナリオの解釈に基づいて、３次元空間上でポリゴンを生成し、動画像を貼り付け、特定の視点から見た変形したウィンドウを生成する。
合成部１１５は、シナリオプロセッサ１０１による描画シナリオの解釈結果に従って、仮想空間に存在する物体の表面に、画像オブジェクトとなるピクチャを貼り付け、物体を投影した仮想空間映像をマルチウィンドウ表示画面として描画する。具体的には、複数のウィンドウ変形部１１４で生成されたウィンドウ枠のグラフィックスを１の画面に合成し、第２スケーラ１１３が出力した縮小ピクチャを描画オブジェクトとして各ウィンドウ位置に貼り付けることでマルチウィンドウ画像を生成する。
以上が描画装置の構成である。
＜描画シナリオ＞
次に、描画シナリオについて説明する。図２、３は、ＯｐｅｎＧＬを用いて記述された描画シナリオの一例を示す図であり、図４、５は、図２、３に示す描画シナリオに従ったマルチウィンドウ表示を模式的に示す図である。
この描画シナリオでは、リモコンの「左」、「右」ボタンの押下に応じて、押下した方向の画像オブジェクトの表示サイズを拡大するように、マルチウィンドウ表示された画像を変化させる関数を含んでいる。例えば、関数Ｆ１、Ｆ２は、リモコンの「左」、「右」ボタンの押下時に、画面上で左側に表示される画像のサイズを変更させる関数である。これらの関数がシナリオプロセッサにより実行されることで、マルチウィンドウ表示された各画像オブジェクトの位置、形状が変化する。
より詳細には、図２、３に示す描画シナリオは、図４に示すように、画面枠と同じサイズの２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面を画面の１／５サイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示を実現するものである。また、この描画シナリオでは、図５の１段目のように、フレーム期間ｆ１においてユーザの選択が左側の画像から右側の画面に変更された場合に、フレーム期間ｆ１〜ｆ４の間に左側画像のサイズを、画面の１／２サイズから１／５サイズまで変化させるとともに、右側画像のサイズを画面の１／５サイズから１／２サイズまで変化させる。尚、本図に示すフレーム期間ｆ１以前では、画像選択に変更はなく、左側画像は継続的に画面の１／２のサイズで表示されている。
このような描画シナリオがシナリオプロセッサ１０１において解釈されると、各フレーム期間で必要となる左側画像のサイズが算出され、第１スケーラ１０３と第２スケーラ１１３とに通知される。第１スケーラ１０３では、図５の２段目に示すように、左側画像が各フレーム期間において指定のサイズに縮小されメモリへ格納される。
ここで本実施形態においてメモリの書き込み及び読み出しに伴うディレイは２フレーム期間に相当するため、各フレーム期間においてマルチウィンドウ画面合成のためにメモリから読み出される左側画像は、図５の３段目のようになる。例えば、フレーム期間ｆ３では、フレーム期間ｆ１で１／２に縮小された画像がメモリから読み出される。しかし、図５の２段目に示すように、フレーム期間ｆ３においてマルチウィンドウ表示画面合成のために描画シナリオで要求される左側画像は、１／４に縮小された画像である。そのため、メモリから読み出された縮小画像は、そのままマルチウィンドウ画面の合成に用いることはできない。
そこで、第２スケーラ１１３では、図５の４段目のようにメモリから読み出した画像に対して縮小率の再変換を施す。この時第２スケーラ１１３が用いる縮小率は、カレントのフレーム期間に要求される縮小率Ｓ２をメモリから読み出した画像の縮小率ｓ１で除算した倍率である。図５の例では、フレーム期間ｆ３において、メモリから読み出した画像をＳ２/Ｓ１（＝１／２）倍の倍率でスケール変換する。この結果、第２スケーラ１１３はフレーム期間ｆ３において画面の１／４サイズの縮小画像を出力し、この画像が図５の５段目のようにマルチウィンドウ画面の合成に用いられる。
なお入力装置は、リモコンの代わりに、マウスなどのポインタやタッチパネルを使用してもよい。
＜動作＞
次に、描画装置の動作について説明する。図７は１フレーム期間での描画装置の動作を示す図である。
各フレーム期間においてシナリオプロセッサ１０１は、描画シナリオを解析し、マルチウィンドウ表示に適した各ピクチャの縮小率、各ピクチャを貼り付けるウィンドウの３次元座標の位置等を算出する（ステップＳ１）。算出された各ピクチャの縮小率は、メモリ前段となる第１スケーラ１０３、追加縮小判定部１０４、ＡＶデコーダ１０７、グラフィックス生成部１０８へ通知され、メモリ前段処理が実行される（ステップＳ２）。また、メモリ後段となる再縮小判定部１１１、ウィンドウ変形部１１４、合成部１１５には、各ピクチャの縮小率、及びウィンドウの３次元座標等が通知され、メモリ後段処理が実行される（ステップＳ３）。
描画装置では各フレーム期間において図７に示す動作を繰り返すことで、テレビ放送等の動画像を複数並べて表示したマルチウィンドウ表示を実現している。
以下に、メモリ前段、及び後段での詳細について説明する。
図８は、メモリ前段においてメモリへ画像オブジェクトを格納する処理の詳細を示すフローチャートであり、図９は、メモリ後段において合成画像を描画する処理を示すフローチャートである。
先ず、メモリ前段では、複数のＡＶデコーダ１０７が、それぞれ対象とする符号化映像データをデコードして非圧縮形式のピクチャを生成する（ステップＳ１１）。ここで得られた画像は、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの画像である。
ステップＳ１２では、第１スケーラ１０３が、このピクチャをシナリオプロセッサ１０１から通知された縮小率で縮小した縮小ピクチャを生成する。
ステップＳ１３では、追加縮小判定部１０４が、シナリオプロセッサ１０１から通知された縮小率が、３／４以下であるかを判定し、通知された縮小率が３／４以下である場合（ステップＳ１３：Ｙｅｓ）は、追加スケーラ１０５にミップマップの生成を指示する。
通知された縮小率が３／４を超える場合（ステップＳ１３：Ｎｏ）は、Ｓ１２で生成された縮小ピクチャをメモリ１０６に格納され（ステップＳ１５）、メモリ前段における処理が終了する。
通知された縮小率が３／４以下であった場合（ステップＳ１３：Ｙｅｓ）に、追加縮小判定部１０４からの指令を受けた追加スケーラ１０５は、第１スケーラ１０３が出力した縮小ピクチャを原画としてミップマップを生成する（ステップＳ１４）。ここまでの処理ステップにより生成された各描画オブジェクトについての縮小ピクチャ、及びミップマップがメモリ１０６へ格納される（ステップ１５）ことで、メモリ前段における処理が終了する。
一方、メモリ後段では、図９に示すようにステップＳ２１において再縮小判定部１１１が、カレントのフレーム期間においてシナリオプロセッサ１０１から通知された縮小率Ｓ（ｔ）と、２フレーム期間前に通知された縮小率Ｓ（ｔ−２）とを比較し、２つの縮小率が同じであれば（ステップＳ２１：Ｙｅｓ）、第２スケーラ１１３によってメモリ１０６から縮小ピクチャ読みだされるが（ステップ２２）、そのまま合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ２８）、メモリ後段における処理が終了する。
ステップＳ２１における判定で、２つの縮小率に違いがある場合（ステップＳ２１：ＮＯ）、再縮小判定部１１１は縮小率Ｓ（ｔ）及びＳ（ｔ−２）を第２スケーラ１１３に通知し、ピクチャの再スケール変換を指示する。
再スケール変換の指示を受けた第２スケーラ１１３は、メモリ１０６にミップマップが格納されていれば（ステップＳ２３：Ｙｅｓ）、ミップマップを読み出して（ステップＳ２４）、ミップマップデータから縮小率Ｓ（ｔ）の新たな縮小ピクチャを生成する（ステップＳ２５）。
ミップマップがメモリ１０６に格納されていない場合には（ステップＳ２３：Ｎｏ）、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャを読み出し（ステップＳ２６）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ２７）。
ステップＳ２５、及びＳ２７で生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ２８）、メモリ後段における処理が終了する。
以上が描画装置の動作についての説明である。
本実施形態において説明した構成により、画像オブジェクトとなるピクチャをメモリへ格納する前に縮小することでメモリ帯域を抑えつつ、メモリからの読み出し後に、読み出した縮小ビクチャを、カレントのフレーム期間に要求される縮小率に再度変換するため、描画シナリオに対して高い応答性でマルチウィンドウ表示を実現することができる。
尚、本実施形態では、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、ＡＶデコーダ１０７、再縮小判定部１１１、第２スケーラ１１３、及びウィンドウ変形部１１４を、映像データと同数の２つずつ有する描画装置について説明したが、これらの構成要素の数は２に限定されるものではなく、マルチウィンドウ表示においてより多くの映像データを１の画面に並べて表示する場合には、これらの構成要素を３以上有する構成としてもよい。
また、本実施形態では、符号化映像データをデコードして、縦１９２０ピクセル、横１０８０ピクセルの画面サイズのピクチャを得るとしたが、符号化映像データのデコードにおいてＡＶデコーダ１０７は、シナリオプロセッサ１０１から通知された縮小率を基に、直交変換で生成する画素数の削減や、動き補償時に参照及び生成する画素数を削減することで、デコードに要する演算量及びメモリ帯域を削減することができる。このようなデコードによりピクチャの画素サイズが縦１９２０ピクセル、横１０８０ピクセルの元画像よりも既に削減されている場合は、第１スケーラ１０３は、ＡＶデコーダで生成したピクチャの画素サイズと、シナリオプロセッサ１０１から通知された縮小率との比率から新たな縮小率を算出し、算出した新たな縮小率に基づいてピクチャの画素数を削減する。
また、本実施形態において、追加スケーラ１０５は、第１スケーラ１０３が出力した縮小ピクチャを基画像として新たな縮小ピクチャを生成するとしたが、追加スケーラ１０５が縮小ピクチャを生成するための原画像には、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャを用いてもよい。ＡＶデコーダ１０７で生成された非圧縮形式のピクチャを原画像とすることで、第１スケーラ１０３で縮小されたピクチャを再度スケール変換することによる画質の劣化を避けることができる。
尚、追加スケーラ１０５が縮小ピクチャを生成するための原画像にＡＶデコーダ１０７で生成された非圧縮形式のピクチャを用いる場合には、縮小ピクチャを生成するか否かを追加縮小判定部１０４が判定するための閾値Ｔｈとして、２／３以下の値を設定することが望ましい。第１スケーラ１０３での縮小率が２／３以下である場合に追加スケーラ１０５が縮小ピクチャを生成するのであれば、第１スケーラ１０３が生成する縮小ピクチャと追加スケーラ１０５が生成するミップマップ形式の縮小ピクチャとの合計データ量が、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャのデータ量を超えることがなく、メモリ帯域を増加させることはない。
（実施形態２）
図１０は、実施形態２に係る描画装置のハード構成を示す図である。
実施形態２に係る描画装置は、図１に示す実施形態１に係る描画装置の構成と比較して、制御部１１０、解像度制御部１０２、特徴検出部１１２を追加している。また、本実施形態２では、２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面をサムネイルサイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示を実現するものであり、実施形態１に係る描画装置では追加スケーラ１０５において生成する縮小ピクチャがミップマップであったが、実施形態２に係る描画装置では追加スケーラ１０５においてサムネイルサイズの縮小ピクチャを生成する。
以下、図１に示す実施形態１に係る描画装置の構成から追加された構成について説明する。
制御部１１０は、シナリオプロセッサ１０１の機能のうち実施形態１で説明したＯｐｅｎＧＬ等で記述された描画シナリオを解釈する機能を実現する機能ブロックである。
解像度制御部１０２は、実施形態２に係る描画装置においてシナリオプロセッサ１０１に追加される新たな機能を実現する構成要素であり、マルチウィンドウ表示において並べて表示される複数のウィンドウのうち、どのウィンドウが視覚的に重要かを判定する所定の基準に基づいて、ウィンドウに優先順位付けを行い、この優先順位を基に各ピクチャの縮小率をフレーム期間毎に算出する。
ここで、どのウィンドウが視覚的に重要かの判定基準としては、例えば、ウィンドウサイズが大きい映像を優先して順位づけする場合や、元映像の形状から変形が少ないウィンドウへ貼り付ける映像を優先して順位づけする場合、複数フレーム期間にウィンドウ位置の変化が少ない画像を優先して順位づけする場合、立体視再生に用いる複数の映像のうち強調したい視点の画像を優先して順位づけする場合、及び、以前のフレーム期間にメモリ１０６に格納されたピクチャから、例えば人物の位置、大きさ等の特徴を抽出する特徴検出部１１２で検出した情報を基に、人物が大きい画像を優先して順序づけする場合などがある。
このような基準により、ピクチャの縮小により画質が劣化したとしても、その劣化が目立たない映像の優先度を低く設定することができる。そこで、このような基準で優先度が低いとされたピクチャについては、縦１９２０ピクセル、横１０８０ピクセルのピクチャを各ウィンドウのサイズにあわせるために制御部１１０で算出された縮小率よりも、さらに小さなサイズとする縮小率を解像度制御部１０２が決定する。こうして解像度制御部１０２で決定される縮小率は、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、及び再縮小判定部１１１へ通知される。通知された縮小率は、メモリ前段ではピクチャ縮小に用いられ、メモリ後段の再縮小判定部１１１では、再縮小判定に用いられる。
特徴検出部１１２は、メモリから読み出されたピクチャから、人物画像部分を検出する機能ブロックである。
以上の機能ブロックを有することで、視覚的に重要でないピクチャをメモリ１０６へ格納する前に、より小さく縮小しておくことができる。
＜動作＞
次に、実施形態２に係る描画装置の動作について説明する。
図１１は、実施形態２に係る描画装置においてメモリ前段においてメモリへ画像オブジェクトを格納する処理の詳細を示すフローチャートであり、図１２は、実施形態２に係る描画装置においてメモリ後段において合成画像を描画する処理を示すフローチャートである。
先ず、メモリ前段の処理は、図８に示した実施形態１に係る描画装置におけるメモリ前段処理とおおよそ同様であるが、ステップＳ３２では、第１スケーラ１０３が、解像度制御部１０２から通知された縮小率で縮小した縮小ピクチャを生成すること、ステップＳ３３では、追加縮小判定部１０４が、解像度制御部１０２から通知された縮小率が、３／４以下であるかを判定すること、及び、ステップＳ３４では、縮小率が３／４以下であった場合（ステップＳ３３：Ｙｅｓ）に、追加スケーラ１０５が第１スケーラ１０３が出力した縮小ピクチャを原画としてサムネイルサイズの縮小ピクチャを生成することが相違している。
その他の処理は、実施形態１で説明したメモリ前段においてメモリへ画像オブジェクトを格納する処理と同様である。
次に、メモリ後段では、図１２に示すように、ステップＳ４１において再縮小判定部１１１が、カレントのフレーム期間においてシナリオプロセッサ１０１から通知された縮小率Ｓ（ｔ）と、２フレーム期間前に解像度制御部１０２から通知された縮小率Ｓ（ｔ−２）とを比較し、２つの縮小率が同じであれば（ステップＳ４１：Ｙｅｓ）、第２スケーラ１１３によってメモリ１０６から縮小ピクチャ読みだされるが（ステップ４２）、そのまま合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ４８）、メモリ後段における処理が終了する。
ステップＳ４１における判定で、２つの縮小率に違いがある場合（ステップＳ４１：ＮＯ）、再縮小判定部１１１は縮小率Ｓ（ｔ）及びＳ（ｔ−２）を第２スケーラ１１３に通知する。
縮小率Ｓ（ｔ）及びＳ（ｔ−２）を通知された第２スケーラ１１３は、カレントの縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであるかを判定し（ステップＳ４３）、縮小率Ｓ（ｔ）がサムネイルサイズに対応するものでなければ（ステップＳ４３：Ｎｏ）、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャをメモリ１０６から読み出し（ステップＳ４４）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ４５）。生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成される（ステップＳ４８）。
縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであり（ステップＳ４３：Ｙｅｓ）、メモリ１０６にサムネイルサイズの縮小ピクチャが格納されていれば（ステップＳ４６：Ｙｅｓ）、第２スケーラ１１３は、サムネイルサイズの縮小ピクチャを読み出し、そのまま合成部１１５へ出力し、合成部１１５においてマルチウィンドウ画面が合成される（ステップＳ４８）。
縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであるが（ステップＳ４３：Ｙｅｓ）、メモリ１０６にサムネイルサイズの縮小ピクチャが格納されていない場合（ステップＳ４６：Ｎｏ）、第２スケーラ１１３は、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャをメモリ１０６から読み出し（ステップＳ４４）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ４５）。生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成される（ステップＳ４８）。
以上が実施形態２に係る描画装置の動作についての説明である。
本実施形態２において説明した構成により、視覚的に重要でないピクチャをメモリ１０６へ格納する前に、より小さく縮小しておくことができ、メモリ帯域を更に抑えることができる。
また、シナリオプロセッサから通知された縮小率で生成した縮小ピクチャに加えて、本実施形態２に係るマルチウィンドウ表示において利用頻度の高いサムネイルサイズのピクチャをメモリ前段で生成しメモリに格納しておくことで、メモリからの読み出し後に再度スケール変換が必要な機会を減らし、再変換による画質劣化を避けることができる。
尚、本実施形態では、２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面をサムネイルサイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示について説明したが、本実施形態に係る描画装置では、任意の描画シナリオを用いることで、様々なマルチウィンドウ表示を実現することができる。
例えば、図１３のように、画面中央部に歪みの少ない形状で１つの画像オブジェクトを表示し、この画像オブジェクトの下、左、右にそれぞれ１つづつ縮小変形された画像オブジェクトを表示するようなマルチウィンドウ表示も対応可能である。また、この描画シナリオに、リモコンの「上」、「下」、「左」、「右」ボタンの押下に応じて、押下した方向の画像オブジェクトを画面中央部に表示するように、マルチウィンドウ表示された画像の位置を入れ替える関数を記述しておくことで、これらの関数がシナリオプロセッサにより実行されることで、マルチウィンドウ表示された各画像オブジェクトの位置、形状を変化させることができる。
図１３に示すようなマルチウィンドウ表示では、画面中央部の画像に比べて下、左、右に配置される画像は、元画像の形状から歪みが大きいためスケール変換による画質劣化が目立ちにくい。そこで、このような場合に解像度制御部１０２では、下、左、右に配置される画像について、縮小による画質劣化が目立たない映像であるとして、画面中央部に配置される画像よりも第１スケーラで小さなサイズに縮小するように、縮小率を決定してもよい。
（実施形態３）
図１４は、実施形態３に係るテレビのハード構成を示す図である。
実施形態３に係るテレビは、図１０に示す実施形態２に係る描画装置の構成に、２つのチューナ３０１、及びディスプレイ３０２を追加したものである。
チューナ３０１は、受信されたテレビ放送波から、指示のチャンネルを選局し、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの符号化映像データを取得する。取得された符号化映像データは、ＡＶデコーダへ出力される。
ディスプレイ３０２は、縦１９２０画素、横１０８０画素の液晶ディスプレイであり、合成部１１５で合成されたマルチウィンドウ画像を表示する。
本実施形態において説明した構成により、画像オブジェクトとなるピクチャをメモリへ格納する前に縮小することでメモリ帯域を抑えつつ、メモリからの読み出し後に、読み出した縮小ビクチャを、カレントのフレーム期間に要求される縮小率に再度変換するため、描画シナリオに対して高い応答性でマルチウィンドウ表示が可能なテレビを実現することができる。
（その他の変形例）
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）本発明は、各実施形態で説明したフローチャートの処理手順が開示する描画装置の制御方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（２）本発明は、上記各実施の形態に記載の再生装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、図１、１０、及び１３に示す機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
特に、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサの機能と、複数の画像オブジェクトを得る取得手段の機能と、取得された前記複数の画像オブジェクトを縮小する第１スケーラの機能と、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラの機能と、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部の機能と、前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラの機能と、各描画オブジェクトから人物画像を検出する画像特徴検出部の機能とは、上述のとおり集積回路、専用回路等により実現するよう構成することが出来る。また、上記の各機能を、プロセッサとメモリ上のプログラムとの協働とにより実現するよう構成することもできる。
（４）上記実施形態、及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明にかかる描画装置は、メモリ帯域の削減及びメモリ個数・動作周波数の低減による低コスト化と、描画シナリオに応じた描画応答性、画質向上により、マルチウィンドウ表示の表現力向上したシステムＬＳＩを実現することができる。また光ディスクレコーダ、ＴＶ、タブレット、スマートフォン、携帯電話等の用途にも応用できる。
１０１ シナリオプロセッサ
１０２ 解像度制御部
１０３ 第１スケーラ
１０４ 追加縮小判定部
１０５ 追加スケーラ
１０６ メモリ
１０７ ＡＶデコーダ
１０８ グラフィックス生成部
１１０ 制御部
１１１ 再縮小判定部
１１２ 特徴検出部
１１３ 第２スケーラ
１１４ ウィンドウ変形部
１１５ 合成部
３０１ チューナ
３０２ ディスプレイ

Claims (14)

  1. 表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、
    前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
    仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
    複数の画像オブジェクトを得る取得手段と、
    取得された前記複数の画像オブジェクトを縮小する第１スケーラと、
    縮小後の各画像オブジェクトを格納するメモリと、
    メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
    第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と
    を備えることを特徴とする描画装置。
  2. 前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラを更に備え、
    前記第２スケーラは、
    第３スケーラによる縮小後の画像オブジェクトがメモリに格納されていない場合、第１スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行い、
    第３スケーラによる縮小後の画像オブジェクトがメモリに格納されている場合、第３スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行う
    ことを特徴とする請求項１記載の描画装置。
  3. 第３スケーラが生成する縮小した画像オブジェクトは、デコードにより得られた画像オブジェクトのミップマップである
    ことを特徴とする請求項２記載の描画装置。
  4. 前記所定の縮小率は、３／４である
    ことを特徴とする請求項３記載の描画装置。
  5. メモリへの前記縮小後の画像オブジェクトの書き込み、及び、メモリからの前記縮小後の画像オブジェクトの読み出しには、フレーム期間kに相当する遅延時間が存在し、
    カレントのフレーム期間(t)よりも時間的に過去に位置するフレーム期間(t-k)に第１スケーラで用いた縮小率がS1であり、カレントのフレーム期間(t)にシナリオプロセッサが算出した縮小率がS2である場合に、第２スケーラは、メモリから読み出される縮小後の画像オブジェクトを(S2/S1)倍に変換する
    ことを特徴とする請求項１記載の描画装置。
  6. 第１スケーラで用いる縮小率は、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率である
    ことを特徴とする請求項５記載の描画装置。
  7. 第１スケーラで用いる縮小率は、描画シナリオで指定される形状が大きい画像オブジェクトほど大きく、小さい画像オブジェクトほど小さい
    ことを特徴とする請求項５記載の描画装置。
  8. 第１スケーラで用いる縮小率は、描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが小さいものほど大きく、歪みが大きいものほど小さい
    ことを特徴とする請求項５記載の描画装置。
  9. 第１スケーラで用いる縮小率は、描画シナリオで指定される貼り付け位置の時間変化が小さい画像オブジェクトほど縮小率を大きく、前記貼り付け位置の時間変化が大きい画像オブジェクトほど縮小率を小さい
    ことを特徴とする請求項５記載の描画装置。
  10. 各描画オブジェクトから人物画像を検出する画像特徴検出部を更に有し、
    第１スケーラで用いる縮小率は、前記画像特徴検出部により検出される人物画像が大きい画像オブジェクトほど大きく、前記検出される人物画像が小さい画像オブジェクトほど小さい
    ことを特徴とする請求項５記載の描画装置。
  11. 前記複数の画像オブジェクトは立体視再生に用いる複数の視点画像を含み、
    第１スケーラで用いる縮小率は、前記複数の視点画像のうち一方の視点の画像オブジェクトの縮小率が、他方の視点の画像オブジェクトの縮小率より大きい
    ことを特徴とする請求項５記載の描画装置。
  12. 表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置の集積回路であって、
    前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
    仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
    複数の画像オブジェクトを得る取得手段と、
    取得された前記複数の画像オブジェクトを縮小する第１スケーラと、
    縮小後の各画像オブジェクトを格納するメモリと、
    メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
    第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と
    を備えることを特徴とする集積回路。
  13. 表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画するテレビ装置であって、
    前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
    仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
    複数の符号化映像データを取得するチューナと、
    取得された前記複数の符号化映像データのデコードにより複数の画像オブジェクトを得るデコーダと、
    前記複数の画像オブジェクトを縮小する第１スケーラと、
    縮小後の各画像オブジェクトを格納するメモリと、
    メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
    第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と、
    合成部により画像オブジェクトが合成された仮想空間映像を表示するディスプレイと
    を備えることを特徴とするテレビ装置。
  14. 表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置の制御方法であって、
    前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
    仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出する解読ステップと、
    複数の画像オブジェクトを得る取得ステップと、
    取得された前記複数の画像オブジェクトを縮小する第１スケーリングステップと、
    縮小後の各画像オブジェクトを描画装置のメモリに格納する格納ステップと、
    メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間において算出された縮小率に変換する第２スケーリングステップと、
    第２スケーリングステップにおいて縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成ステップとを含む
    ことを特徴とする方法。
JP2013523775A 2011-07-13 2012-05-21 描画装置及び方法 Expired - Fee Related JP5899503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013523775A JP5899503B2 (ja) 2011-07-13 2012-05-21 描画装置及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011155062 2011-07-13
JP2011155062 2011-07-13
JP2013523775A JP5899503B2 (ja) 2011-07-13 2012-05-21 描画装置及び方法
PCT/JP2012/003315 WO2013008379A1 (ja) 2011-07-13 2012-05-21 描画装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2013008379A1 JPWO2013008379A1 (ja) 2015-02-23
JP5899503B2 true JP5899503B2 (ja) 2016-04-06

Family

ID=47505690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523775A Expired - Fee Related JP5899503B2 (ja) 2011-07-13 2012-05-21 描画装置及び方法

Country Status (4)

Country Link
US (1) US9426412B2 (ja)
JP (1) JP5899503B2 (ja)
CN (1) CN103098118B (ja)
WO (1) WO2013008379A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7008380B1 (ja) 2021-09-01 2022-01-25 株式会社フジケンプラス 固定具

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5706494B2 (ja) * 2013-09-20 2015-04-22 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
JP6095614B2 (ja) * 2014-07-18 2017-03-15 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
JP6130335B2 (ja) * 2014-07-18 2017-05-17 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
CN105511712B (zh) * 2014-09-24 2019-08-02 阿里巴巴集团控股有限公司 一种图片呈现方法及装置
WO2016060268A1 (ja) 2014-10-17 2016-04-21 株式会社リコー 車両用画像表示システム
CN112040312A (zh) * 2020-07-24 2020-12-04 北京飞讯数码科技有限公司 一种分屏渲染方法、装置、设备和存储介质
CN112188270A (zh) * 2020-09-29 2021-01-05 武汉大势智慧科技有限公司 一种云渲染展示方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4536856A (en) * 1982-06-07 1985-08-20 Sord Computer Systems, Inc. Method of and apparatus for controlling the display of video signal information
JP3041360B2 (ja) * 1990-08-31 2000-05-15 工業技術院長 動画像の生成方法
JP3817020B2 (ja) * 1997-05-23 2006-08-30 ▲舘▼ ▲すすむ▼ 仮想空間における画像生成方法及び装置並びに撮像装置
KR100554430B1 (ko) 1997-08-12 2006-02-22 마츠시타 덴끼 산교 가부시키가이샤 윈도우 표시장치
US6937291B1 (en) * 2000-08-31 2005-08-30 Intel Corporation Adaptive video scaler
US6795972B2 (en) * 2001-06-29 2004-09-21 Scientific-Atlanta, Inc. Subscriber television system user interface with a virtual reality media space
JP4065503B2 (ja) * 2001-08-21 2008-03-26 キヤノン株式会社 画像処理装置、画像入出力装置、変倍処理方法、及びメモリ制御方法
JP4066714B2 (ja) * 2002-05-23 2008-03-26 ソニー株式会社 画像信号の処理装置および処理方法
JP4794811B2 (ja) * 2003-07-23 2011-10-19 任天堂株式会社 画像処理プログラム及び画像処理装置
KR100582345B1 (ko) 2003-12-09 2006-05-22 삼성코닝정밀유리 주식회사 유리기판의 검사를 위한 클램핑장치
US7528860B2 (en) * 2005-04-29 2009-05-05 Hewlett-Packard Development Company, L.P. Method and system for videoconferencing between parties at N sites
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
JP2008116812A (ja) * 2006-11-07 2008-05-22 Seiko Epson Corp 表示装置、プロジェクタおよび表示方法
JP2008263297A (ja) * 2007-04-10 2008-10-30 Ntt Docomo Inc 通信制御装置および通信端末
JP5230134B2 (ja) * 2007-08-03 2013-07-10 キヤノン株式会社 適応型自動レイアウト機能を持った画像形成装置
JP5294670B2 (ja) 2008-03-27 2013-09-18 三洋電機株式会社 投写型映像表示装置及びこれを用いた投写型映像表示システム
JP5096247B2 (ja) * 2008-07-08 2012-12-12 ルネサスエレクトロニクス株式会社 画像処理装置、及び方法
JP5322529B2 (ja) 2008-07-29 2013-10-23 キヤノン株式会社 表示装置、表示制御方法
JP5235127B2 (ja) * 2008-11-28 2013-07-10 ヤマハ発動機株式会社 遠隔操作システムおよび遠隔操作装置
WO2010150545A1 (ja) 2009-06-24 2010-12-29 パナソニック株式会社 グラフィックス描画装置、グラフィックス描画方法、グラフィックス描画プログラム、グラフィックス描画プログラムを記録した記録媒体、集積回路
JP5558956B2 (ja) * 2010-07-29 2014-07-23 キヤノン株式会社 撮像装置およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7008380B1 (ja) 2021-09-01 2022-01-25 株式会社フジケンプラス 固定具

Also Published As

Publication number Publication date
US20130155185A1 (en) 2013-06-20
CN103098118A (zh) 2013-05-08
US9426412B2 (en) 2016-08-23
WO2013008379A1 (ja) 2013-01-17
JPWO2013008379A1 (ja) 2015-02-23
CN103098118B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5899503B2 (ja) 描画装置及び方法
JP4763822B2 (ja) 映像信号処理装置及び映像信号処理方法
US8441527B2 (en) Three-dimensional image processing apparatus and method of controlling the same
EP2383986A2 (en) Remote user interface
WO2015184239A1 (en) Techniques for magnifying a high resolution image
JP2009192949A (ja) 画像処理装置と画像処理方法および画像処理システム
JP2014077993A (ja) 表示装置
EP2309766A2 (en) Method and system for rendering 3D graphics based on 3D display capabilities
US9183882B2 (en) Moving-image playback device
JP5291792B2 (ja) デジタル放送受信装置および映像表示方法
JP2007180765A (ja) 映像処理装置、映像表示装置及び映像処理方法
KR101648449B1 (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
WO2009093557A1 (ja) マルチ画面表示装置
WO2014115522A1 (ja) フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置
JP5213354B2 (ja) 情報処理装置、情報処理方法並びにプログラム
JP4747214B2 (ja) 映像信号処理装置、及び、映像信号処理方法
WO2011114633A1 (ja) 映像信号処理装置及び映像信号処理方法
JP2007336239A (ja) デジタル放送受信装置及びデジタル放送信号の保存・再生方法
JP2009124547A (ja) 画像処理装置および画像録画再生装置
JP2008294714A (ja) 映像信号処理装置
JP5296140B2 (ja) 三次元画像処理装置及びその制御方法
JP2011234387A (ja) 映像信号処理装置及び映像信号処理方法
JP6024374B2 (ja) 画像処理装置
JP5534948B2 (ja) 画像処理装置及びその制御方法
JP2010093856A (ja) 画像処理装置、および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151217

R151 Written notification of patent or utility model registration

Ref document number: 5899503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees