JP6666974B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6666974B2
JP6666974B2 JP2018187345A JP2018187345A JP6666974B2 JP 6666974 B2 JP6666974 B2 JP 6666974B2 JP 2018187345 A JP2018187345 A JP 2018187345A JP 2018187345 A JP2018187345 A JP 2018187345A JP 6666974 B2 JP6666974 B2 JP 6666974B2
Authority
JP
Japan
Prior art keywords
image
display
frame memory
image signal
delay amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018187345A
Other languages
English (en)
Other versions
JP2019003224A (ja
Inventor
将嗣 林
将嗣 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JP2019003224A publication Critical patent/JP2019003224A/ja
Application granted granted Critical
Publication of JP6666974B2 publication Critical patent/JP6666974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18Timing circuits for raster scan displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0252Improving the response speed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Description

本技術は、画像処理装置に関する。詳しくは、表示させる画像を扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、各種画像(例えば、ゲームコンテンツ、立体視画像)を表示させるための画像処理装置が多数提案されている。例えば、低遅延処理モードをON/OFFするセレクタを備え、外部装置から入力された映像信号に基づいて各種画像(例えば、ゲーム画面)を表示させる映像表示装置が提案されている(例えば、特許文献1参照。)。
特開2011−223457号公報
上述の従来技術では、低遅延処理モードがONされている場合には、フレームメモリへの記憶処理の開始から所定時間経過後に信号処理を開始する。このため、例えば、ゲーム機器からの信号に基づく画像を表示させる場合には、低遅延処理モードをONすることにより、遅延時間を短くすることができる。
ここで、例えば、表示されている画像の表示態様を変更するためのユーザ操作が行われた場合を想定する。このユーザ操作として、切り出し表示、拡大縮小表示、表示位置の変更等の操作を想定する。この場合には、フレームメモリからの読み出し開始タイミングや画面表示終了タイミングが変更される。このような場合に、遅延時間を短くすると、フレームメモリへの書き込みが完了していない画像信号を読み出してしまうおそれがある。そこで、ユーザ操作に応じて適切な表示遅延を設定することが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、適切な表示遅延を設定することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を上記画像信号から取得する取得部と、上記画像の表示態様を変更するためのユーザ操作に関する操作情報と、上記取得された画像信号情報とに基づいて、上記画像を表示する際の表示遅延を制御する制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像の表示態様を変更するためのユーザ操作に関する操作情報と画像信号情報とに基づいて画像を表示する際の表示遅延を制御するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記画像信号を保持するフレームメモリから上記画像信号を読み出す際における遅延量を算出して上記遅延量に基づいて上記表示遅延を制御するようにしてもよい。これにより、フレームメモリから画像信号を読み出す際における遅延量を算出し、この遅延量に基づいて表示遅延を制御するという作用をもたらす。
また、この第1の側面において、上記制御部は、切り出し表示の指示操作が上記ユーザ操作として受け付けられた場合には、上記ユーザ操作により特定される上記フレームメモリにおける上記画像信号の読み出し開始位置を用いて上記遅延量を算出するようにしてもよい。これにより、切り出し表示の指示操作が受け付けられた場合には、フレームメモリにおける画像信号の読み出し開始位置を用いて遅延量を算出するという作用をもたらす。
また、この第1の側面において、上記制御部は、拡大縮小表示の指示操作および表示位置変更の指示操作のうちの少なくとも1つが上記ユーザ操作として受け付けられた場合には、上記ユーザ操作により特定される表示部の表示領域における上記画像の表示位置および表示サイズを用いて上記遅延量を算出するようにしてもよい。これにより、拡大縮小表示の指示操作および表示位置変更の指示操作のうちの少なくとも1つが受け付けられた場合には、表示部の表示領域における画像の表示位置および表示サイズを用いて遅延量を算出するという作用をもたらす。
また、この第1の側面において、上記制御部は、立体視画像を表示するための画像信号に基づく画像を表示する場合に上記遅延量を算出するようにしてもよい。これにより、立体視画像を表示するための画像信号に基づく画像を表示する場合に遅延量を算出するという作用をもたらす。
また、この第1の側面において、上記制御部は、ペアとなる画像信号の上記フレームメモリへの書き込みの際に当該書き込みが行われない期間を用いて上記遅延量を算出するようにしてもよい。これにより、ペアとなる画像信号のフレームメモリへの書き込みの際にその書き込みが行われない期間を用いて遅延量を算出するという作用をもたらす。
また、この第1の側面において、上記制御部は、切り出し表示の指示操作、拡大縮小表示の指示操作および表示位置変更の指示操作の少なくとも1つが上記ユーザ操作として受け付けられた場合と、立体視画像を表示するための画像信号に基づく画像を表示する場合とのうちの少なくとも1つの場合に上記遅延量を算出するようにしてもよい。これにより、切り出し表示の指示操作、拡大縮小表示の指示操作および表示位置変更の指示操作の少なくとも1つが受け付けられた場合と、立体視画像を表示するための画像信号に基づく画像を表示する場合とのうちの少なくとも1つの場合に遅延量を算出するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記ユーザ操作により特定される上記フレームメモリにおける上記画像信号の読み出し開始位置と、上記ユーザ操作により特定される表示部の表示領域における上記画像の表示位置および表示サイズと、ペアとなる画像信号の上記フレームメモリへの書き込みの際に当該書き込みが行われない期間とのうちの少なくとも1つを用いて上記遅延量を算出するようにしてもよい。これにより、フレームメモリにおける画像信号の読み出し開始位置と、表示部の表示領域における画像の表示位置および表示サイズと、ペアとなる画像信号のフレームメモリへの書き込みの際にその書き込みが行われない期間とのうちの少なくとも1つを用いて遅延量を算出するという作用をもたらす。
本技術によれば、適切な表示遅延を設定することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における画像処理装置100の機能構成例を示すブロック図である。 本技術の実施の形態における取得部130により取得される画像信号情報の一例を示す図である。 本技術の実施の形態におけるフレームメモリ160に書き込まれる画像とフレームメモリ160から読み出される画像との関係例を示す図である。 本技術の実施の形態におけるフレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す図である。 本技術の実施の形態における制御部190による遅延量の算出例を示す図である。 本技術の実施の形態における制御部190による遅延量の算出例を示す図である。 本技術の実施の形態におけるフレームメモリ160に書き込まれる画像とフレームメモリ160から読み出される画像との関係例を示す図である。 本技術の実施の形態における取得部130により取得される画像信号情報の一例を示す図である。 本技術の実施の形態におけるフレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す図である。 本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像251)との関係例を示す図である。 本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像252)との関係例を示す図である。 本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像253)との関係例を示す図である。 本技術の実施の形態における画像処理装置100による遅延制御処理の処理手順の一例を示すフローチャートである。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.実施の形態(ユーザ操作に関する操作情報と画像信号情報とに基づいて表示遅延を制御する例)
<1.実施の形態>
[画像処理装置の機能構成例]
図1は、本技術の実施の形態における画像処理装置100の機能構成例を示すブロック図である。
画像処理装置100は、UI(User Interface)部110と、画像信号入力部120と、取得部130と、タイミング制御部140と、前処理部150と、フレームメモリ160と、画像処理部170と、表示部180と、制御部190とを備える。例えば、画像処理装置100は、各放送局からの放送波を受信して画像(立体視画像(3D(3次元)画像)または平面画像(2D(2次元)画像))を表示するテレビジョン受像機により実現される。また、例えば、画像処理装置100は、外部装置から画像信号を受信して画像(立体視画像または平面画像)を表示させる画像処理装置(例えば、パーソナルコンピュータ、タブレット端末)により実現される。また、画像処理装置100として、他の画像処理装置(例えば、画像再生装置、画像表示装置)を用いるようにしてもよい。
UI部110は、各種のユーザ操作を受け付けるユーザインターフェイスであり、受け付けられたユーザ操作に関する操作情報を制御部190に出力する。例えば、ユーザ操作として、表示部180に表示されている画像に関する各種操作が受け付けられる。各種操作として、例えば、表示部180に表示されている画像の表示態様を変更するための操作(例えば、切り出し表示の指示操作、拡大縮小表示の指示操作、画面表示位置の変更操作)が受け付けられる。なお、UI部110は、例えば、キーボード、ボタン、ダイヤル、タッチパネル等の操作部材により実現される。
画像信号入力部120は、画像を表示するための画像信号(映像信号)を入力するものであり、入力された画像信号を取得部130に出力する。画像信号入力部120は、例えば、外部装置からの画像信号を入力する入力機器、テレビ受像機のチューナ等により実現される。また、画像信号入力部120は、有線回線または無線回線の何れを介して画像信号を受信してもよい。
取得部130は、画像信号入力部120から出力された画像信号から、この画像信号に関する画像信号情報を取得するものであり、取得された画像信号情報を、前処理部150、タイミング制御部140および制御部190に出力する。また、取得部130は、画像信号入力部120から出力された画像信号を前処理部150に出力する。例えば、取得部130は、画像信号情報として、周波数、画サイズ、信号詳細情報を取得して制御部190に出力する。また、画像信号情報は、例えば、伝送される画像信号に基づく画像を表示する際に用いられる情報であり、例えば、図2、図8に示す各情報である。
タイミング制御部140は、取得部130から出力された画像信号情報に基づいて、表示部180に表示される画像の同期信号を生成するものであり、生成された同期信号を画像処理部170に出力する。
前処理部150は、取得部130から出力された画像信号について前処理を行うものであり、前処理が行われた画像信号をフレームメモリ160に保持させる。
フレームメモリ160は、前処理部150により前処理が施された画像信号をフレーム単位で保持するメモリであり、保持されている画像信号を画像処理部170に供給する。なお、画像信号入力部120により入力された画像信号は、この画像信号のタイミングでフレームメモリ160に書き込まれる。一方、フレームメモリ160からの読み出しは、制御部190により算出された遅延量に応じたタイミングで読み出しが行われる。
画像処理部170は、フレームメモリ160に保持された画像信号を読み出し、この画像信号について各種画像処理を行うものであり、画像処理が施された画像信号を表示部180に表示させる。また、画像処理部170は、タイミング制御部140から出力された同期信号に従って、画像処理が施された画像信号を表示部180に表示させる。例えば、画像処理部170は、画像処理として、I/P(Interlace/Progressive)変換、拡大縮小表示処理、切り出し処理、カラリメトリ処理、画質制御処理等を行う。また、画像処理部170は、画像処理が施された画像信号について、OSD(On Screen Display)重畳を行い、OSD重畳が行われた画像信号を表示部180に表示させる。
表示部180は、画像処理部170から供給される画像信号に対応する画像を表示するものである。表示部180は、例えば、表示パネルである。
制御部190は、UI部110から出力された操作情報と、取得部130から出力された画像信号情報とに基づいて、表示部180に表示される画像に関する各種制御を行うものである。例えば、制御部190は、UI部110から出力された操作情報と、取得部130から出力された画像信号情報とに基づいて、フレームメモリ160から画像信号を読み出す際における遅延量を算出し、この遅延量を画像処理部170に出力する。そして、画像処理部170は、その遅延量に基づいて、フレームメモリ160に保持されている画像信号の読み出しを行う。このように、制御部190は、画像処理部170がフレームメモリ160から画像信号を読み出す際における遅延量を算出し、この遅延量に基づいて表示部180に表示される画像の表示遅延を制御する。
[画像信号情報例]
図2は、本技術の実施の形態における取得部130により取得される画像信号情報の一例を示す図である。図2には、フレームメモリ160に書き込まれる画像200を矩形で簡略化して示す。すなわち、画像200は、表示部180に表示される画像である。また、図2には、画像200と、画像200に関する画像信号情報(信号詳細情報)との関係を模式的に示す。
vswは、垂直同期信号幅(Line)を示す値である。また、vactは、垂直有効表示期間(Line)を示す値である。すなわち、vactは、フレームメモリ160に書き込まれる画像200の領域に対応する値である。
また、vfpは、垂直フロントポーチ(Line)を示す値であり、vbpは、垂直バックポーチ(Line)を示す値である。また、vtotalは、垂直トータル期間(Line)を示す値である。
[フレームメモリへの書き込みおよび読み出しの関係例]
図3は、本技術の実施の形態におけるフレームメモリ160に書き込まれる画像とフレームメモリ160から読み出される画像との関係例を示す図である。なお、フレームメモリ160からの画像の読み出しは、画像処理部170により行われる。また、図3では、左右方向を時間軸として示す。
図3の上側には、フレームメモリ160に保持される画像(キャプチャ画像)とVsync(垂直同期信号)との関係例を示す。また、図3の下側には、フレームメモリ160から読み出される画像(出力処理画像)とVsync(垂直同期信号)との関係例を示す。
また、画像を表す矩形の内部には、符号1乃至5を付して示す。すなわち、時間軸において、画像1が最初の画像であり、画像5が最後(最新)の画像であるものとする。
また、図3の上側において、画像1乃至5を示す矩形の左端部を、フレームメモリ160へのキャプチャ開始位置(書き込み開始位置)とし、各画像を示す矩形の左端部を、フレームメモリ160へのキャプチャ完了位置(書き込み完了位置)とする。また、図3の下側において、画像1乃至5を示す矩形の左端部を、フレームメモリ160からの読み出し開始位置とし、各画像を示す矩形の左端部を、フレームメモリ160からの読み出し完了位置とする。
ここで、画像処理部170が、フレームメモリ160に保持される画像(キャプチャ画像)を読み出す場合には、制御部190により算出された遅延量だけ遅延させて読み出しを行う。この遅延量の算出については、図5、図6等を参照して詳細に説明する。
[書き込み速度および読み出し速度の関係例]
図4は、本技術の実施の形態におけるフレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す図である。なお、図4のaおよびbのそれぞれにおいて、横軸は時間軸を示し、縦軸はデータ量を表す軸を示す。
図4のaには、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出さない場合の例を示す。NS1は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS1は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
また、図4のbには、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出す場合の例を示す。NS2は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS2は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
ここで、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出す場合は、例えば、フレームメモリ160への書き込みが完了する前の画像信号を、画像処理部170が読み出してしまう場合を意味する。この場合には、読み出すべき画像信号の前の画像信号(すなわち、直前のフレーム)を、画像処理部170が読み出してしまうことになる。
図4のbにおいて、Y1は、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出さないデータ量の範囲を示す。また、Y2は、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出してしまうデータ量の範囲を示す。また、T1は、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出さない時間帯を示す。また、T2は、フレームメモリ160に保持されている画像信号を、画像処理部170が追い越して読み出してしまう時間帯を示す。
ここで、PC(Personal Computer)やゲーム機器等の画像処理装置からコンテンツを出力する場合を想定する。この場合には、ユーザに入力画像信号に対する表示画像信号の遅延(表示遅延)を感じさせないため、遅延量をできるだけ少なくする必要がある。そこで、遅延量を減らすため、例えば、フレームメモリ160に保持されている画像を、画像処理部170が、固定の遅延量だけ読み出し開始を遅延させるような処理をすることが考えられる。この場合には、例えば、図4のaに示すように、フレームメモリ160への書き込み速度と、フレームメモリ160からの読み出し速度(表示部180の表示速度)とを設定することができる。
ここで、拡大縮小表示、切り出し表示、表示位置変更等の指示操作がユーザにより行われた場合を想定する。この場合には、画像処理部170が、フレームメモリ160からの読み出しを開始するタイミングや、フレームメモリ160からの読み出しを終了するタイミングが変化することが想定される。例えば、図4のbに示すように、フレームメモリ160への書き込み速度と、フレームメモリ160からの読み出し速度(表示部180の表示速度)との関係が変化することも想定される。このような場合には、表示すべき画像信号の書き込みが終了していないフレームメモリ160を、画像処理部170が読み出してしまう可能性がある。
このような画像処理部170の読み出しを防止するため、例えば、周波数情報、画像信号サイズから固定の遅延量を設定し、その固定の遅延量を超えないようにシステムを制約することが想定される。また、その固定の遅延量を超えたときには、画像処理部170が、フレームメモリ160からの読み出しを一定期間遅らせることも想定される。しかしながら、このように読み出しを行う場合には、表示遅延が急に増加してしまい、ユーザに違和感を与えてしまうおそれがある。
そこで、本技術の実施の形態では、ユーザ操作に関する操作情報と画像信号情報とに基づいて表示遅延を制御する例を示す。これにより、表示遅延が急に増加することを防止し、ユーザに与える違和感を軽減させることができる。すなわち、適切な表示遅延を設定することができる。
[切り出し表示をする場合における遅延量の算出例]
図5は、本技術の実施の形態における制御部190による遅延量の算出例を示す図である。図5では、切り出し表示をする場合(立体視画像表示、拡大縮小表示、表示位置変更を考慮しない場合)における遅延量の算出例を示す。
図5のaには、フレームメモリ160に書き込まれる画像信号をライン単位で模式的に示す。なお、図5のaに示す画像(フレームメモリ160に書き込まれている画像信号に対応する画像)210は、図2に示す画像200に対応する。すなわち、図5のaでは、図2に示す画像200について、下方向(矢印211の方向)に書き込みがされている途中の画像210を示す。
ここで、cap_lineは、フレームメモリ160への書き込みが完了した有効画像ライン数(Line)を示す値である。
また、X1は、切り出し表示をする場合(立体視画像表示、拡大縮小表示、表示位置変更を考慮しない場合)における遅延量(ms)を示す値である。
また、fvは、画像信号(映像信号)のフレームレート(Frame Rate)(Hz)を示す値である。
図5のbには、切り出し対象となる画像の範囲221を示す。なお、図5のbでは、元の画像220を点線で示し、元の画像220内に、切り出し対象となる画像の範囲221を太線の矩形で示す。
また、memread_src_vposは、画像処理部170がフレームメモリ160からの画像の読み出しを開始するライン(Line)を示す値である。また、このラインの位置を読み出し開始位置RP1として矢印で示す。また、フレームメモリ160への書き込みが完了したラインの位置をキャプチャ完了位置CP1として矢印で示す。
なお、memread_src_vposは、UI部110により受け付けられたユーザ操作(切り出し表示の指示操作)に関する操作情報により特定される。
上述したように、フレームメモリ160への画像信号の書き込みが完了していないラインを、画像処理部170が先読みしないようにするため、制御部190は、次の式1を用いて、遅延量X1を算出する。
X1={(memread_src_vpos+vsw+vbp)×(1000/fv)/vtotal} …式1
なお、memread_src_vposの代わりに、memread_src_vpos以上の値を用いるようにしてもよい。図5のaでは、cap_line>=memread_src_vposとなるcap_lineを、memread_src_vposの代わりに用いて、次の式1により求められる遅延量X1(ms)を示す。すなわち、図5のaでは、遅延量X1を垂直有効表示期間のライン数cap_lineで示す。
図5のbに示すように、切り出し表示の場合には、読み出し開始位置RP1が全画面表示のときよりも遅れる。このため、画像処理部170が、フレームメモリ160に保持されている画像信号を読み出す場合には、読み出し開始位置RP1が既にキャプチャ完了されている必要がある。そこで、制御部190は、式1を満たす遅延量X1を算出する。そして、画像処理部170は、遅延量X1だけ遅延させてフレームメモリ160に保持されている画像信号を読み出す。
このように、制御部190は、切り出し表示の指示操作が受け付けられた場合には、その指示操作により特定されるフレームメモリ160における画像信号の読み出し開始位置(memread_src_vpos)を用いて遅延量を算出する。
[拡大縮小表示または表示位置変更をする場合における遅延量の算出例]
図6は、本技術の実施の形態における制御部190による遅延量の算出例を示す図である。図6では、拡大縮小表示または表示位置変更をする場合(拡大縮小表示および表示位置変更のうちの少なくとも1つをする場合)における遅延量の算出例を示す。なお、図6では、拡大縮小表示または表示位置変更をする場合の一例として、縮小表示および表示位置変更をする場合の例を示す。
図6のaには、フレームメモリ160に書き込まれる画像信号をライン単位で模式的に示す。なお、図6のaに示す画像(フレームメモリ160に書き込まれている画像信号に対応する画像)230は、図2に示す画像200に対応する。すなわち、図6のaでは、図2に示す画像200について、下方向(矢印231の方向)に書き込みがされている途中の画像230を示す。
図6のbには、縮小表示および表示位置変更の指示操作が行われた場合に表示対象となる画像241を示す。なお、図6のbでは、表示部180における表示領域の範囲240を点線で示し、表示領域の範囲240内に、表示対象となる画像241を、表示対象となる位置およびサイズで示す。
また、dsp_bgd_vszは、画面表示するためのバッググラウンドVサイズを示す値である。また、dsp_vposは、拡大縮小表示後の画像表示の開始位置を示す値である。また、dsp_vszは、拡大縮小表示後のVサイズを示す値である。また、dsp_vfpは、次の式2を用いて求められる値である。
dsp_vfp=dsp_bgd_vsz−dsp_vpos−dsp_vsz …式2
なお、図6のbに示す各値は、UI部110により受け付けられたユーザ操作(縮小表示および表示位置変更の指示操作)に関する操作情報により特定される。
ここで、例えば、表示対象となる画像を全画面表示する場合には、dsp_bgd_vszのライン分の時間をかけて表示を行うことが可能である。しかしながら、図6のbに示すように、表示対象となる画像を縮小表示するとともに、その縮小画像の表示位置を上側に移動する場合には、画像の表示終了位置が移動する。この場合には、画像処理部170がフレームメモリ160を読み出すタイミングも早くなる。すなわち、画像処理部170がフレームメモリ160を読み出す時間が、dsp_vpos+dsp_vszのライン分の時間となる。
すなわち、拡大縮小表示や表示位置変更の指示操作が行われた場合には、式1を用いて求めた遅延量X1よりも遅延量を長くする必要がある。例えば、遅延量X1に(dsp_vfp/dsp_bgd_vsz)×(1000/fv)を加算する必要がある。
そこで、制御部190は、次の式3を用いて、遅延量X2を算出する。遅延量X2は、拡大縮小表示および表示位置変更をする場合の遅延量(ms)である。なお、上述したように、図6に示す例は、縮小表示および表示位置変更をする場合の例であるため、ここでは、dsp_vpos+dsp_vsz<dsp_bgd_vszの場合を例にして説明する。
X2=X1+(dsp_vfp/dsp_bgd_vsz)×(1000/fv) …式3
このように、制御部190は、拡大縮小表示の指示操作および表示位置変更の指示操作のうちの少なくとも1つが受け付けられた場合には、その指示操作により特定される表示部の表示領域における画像の表示位置および表示サイズを用いて遅延量を算出する。この表示位置および表示サイズは、例えば、図6のbに示す値(dsp_vpos、dsp_vsz、dsp_vfp、dsp_bgd_vsz)に対応する。
[立体視画像を表示する場合における遅延量の算出例]
以上では、平面画像を表示する例を示したが、立体視画像を表示する場合についても遅延量を算出することができる。ここでは、HDMI(登録商標)(High-Definition Multimedia Interface)規格の3Dフォーマット(Frame Paking Interlace)の例について説明する。
[フレームメモリへの書き込みおよび読み出しの関係例]
図7は、本技術の実施の形態におけるフレームメモリ160に書き込まれる画像とフレームメモリ160から読み出される画像との関係例を示す図である。なお、図7は、図3に対応するものであり、左右方向を時間軸として示す。
図7の上側には、図3と同様に、フレームメモリ160に保持される画像(キャプチャ画像)とVsync(垂直同期信号)との関係例を示す。また、図7の下側には、図3と同様に、フレームメモリ160から読み出される画像(出力処理画像)とVsync(垂直同期信号)との関係例を示す。
また、画像を表す矩形の内部には、符号LT1乃至LT3、RT1乃至RT3、LB1、LB2、RB1、RB2を付して示す。また、各符号の数字は、図3と同様に、時間軸における順番を示すものとする。
また、画像LT1乃至LT3は、Left Top画像であり、画像RT1乃至RT3は、Right Top画像であるものとする。
また、画像LB1、LB2は、Left Bottom画像であり、画像RB1、RB2は、Right Bottom画像であるものとする。
また、フレームメモリ160への書き込みについては、Left Top画像、Right Top画像、Left BottomおよびRight Bottom画像の組み合わせを単位として行われる。また、フレームメモリ160からの読み出しについては、Left Top画像およびRight Top画像の組み合わせと、Left BottomおよびRight Bottom画像の組み合わせとを単位として行われる。
また、図7の上側において、各画像の組み合わせ(Left Top画像、Right Top画像、Left BottomおよびRight Bottom画像)を示す矩形の左端部をキャプチャ開始位置とする。また、各画像の組み合わせを示す矩形の左端部をキャプチャ完了位置とする。
また、図7の下側において、各画像の組み合わせ(Left Top画像およびRight Top画像、Left BottomおよびRight Bottom画像)を示す矩形の左端部を読み出し開始位置とする。また、各画像を示す矩形の左端部を読み出し完了位置とする。
また、画像処理部170が、フレームメモリ160に保持される画像(キャプチャ画像)を読み出す場合には、制御部190により算出された遅延量だけ遅延させて読み出しを行う。この遅延量の算出については、図8を参照して詳細に説明する。
[画像信号情報例]
図8は、本技術の実施の形態における取得部130により取得される画像信号情報の一例を示す図である。図8には、フレームメモリ160に書き込まれる画像LT、RT、LB、RBを矩形で簡略化して示す。すなわち、画像LT、RT、LB、RBは、表示部180に立体視画像を表示するための画像の組み合わせである。また、図8には、画像LT、RT、LB、RBと、画像LT、RT、LB、RBに関する画像信号情報との関係を模式的に示す。
vact_space1は、立体視画像の画像信号のvact spaceを示す値である。
なお、他の符号については、図2と同一である。すなわち、vswは、垂直同期信号幅(Line)を示す値である。また、vactは、垂直有効表示期間(Line)を示す値である。また、vfpは、垂直フロントポーチ(Line)を示す値であり、vbpは、垂直バックポーチ(Line)を示す値である。また、vtotalは、垂直トータル期間(Line)を示す値である。
ここで、立体視画像表示、拡大縮小表示、表示位置変更を考慮した場合における遅延量の算出例について説明する。
図8に示すように、立体視画像を表示するための画像信号の中には、vact spaceを有するものが存在する。vact spaceを有する画像信号については、vact spaceの期間は、フレームメモリ160への書き込みが行われない。このため、フレームメモリ160への書き込みが完了する前の画像信号を表示しないため、vact_space1の分だけ、遅延量X2に遅延量を加算する必要がある。
ここで、図7に示すように、画像処理部170は、立体視画像を表示するための左画像および右画像(LおよびR)を、フレームメモリ160からペア(LおよびR)で読み出す。このため、Top側およびBottom側で遅延量を同じにすることができる。また、vact_space2は、次の式4を満たす。
vsw+vbp≧vact_space2 …式4
このため、Top側およびBottom側で遅延量を同じにする場合には、Bottom側の遅延量をTop側の遅延量に合わせるようにする。
そこで、制御部190は、次の式5を用いて、遅延量X3を算出する。遅延量X3は、立体視画像表示、拡大縮小表示および表示位置変更を考慮する場合の遅延量(ms)である。また、式5は、vact_spaceを有する画像信号に関する遅延量X3を算出する場合の一例である。
X3=X2+vact_space1 …式5
このように、制御部190は、立体視画像を表示するための画像信号に基づく画像を表示部180に表示する場合に遅延量を算出する。この場合に、制御部190は、ペアとなる画像信号のフレームメモリ160への書き込みの際に書き込みが行われない期間(vact_space1)を用いて遅延量を算出する。
[書き込み速度および読み出し速度の関係例]
図9は、本技術の実施の形態におけるフレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す図である。なお、図9は、図4に対応するものであり、横軸は時間軸を示し、縦軸はデータ量を表す軸を示す。
また、図9には、立体視画像(HDMI規格の3Dフォーマット(Frame Paking Interlace))を等倍表示する場合の例を示す。すなわち、memread_src_vpos=0(式1)、かつ、dsp_vfp=0(式3)となる場合の例を示す。
NS3は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS3は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
また、図9では、表示対象となる画像LT、RT、LB、RBを、対応する位置に仮想的に配置して示す。
また、図9では、説明の容易のため、時間軸を示す横軸上に、対応する各ラインを示す符号を適宜配置する。
[切り出し表示、立体視画像表示、拡大縮小表示、表示位置変更を考慮した遅延量の算出例]
以上では、式1を用いて遅延量X1の算出例を示し、式3を用いて遅延量X2の算出例を示し、式5を用いて遅延量X3の算出例を示した。
ここで、式1、式3、式5を統合することにより、切り出し表示、立体視画像表示、拡大縮小表示および表示位置変更を考慮した遅延量X3を算出することができる。そこで、以下では、遅延量X3(ms)の算出例について説明する。
制御部190は、次の式6を用いて遅延量X3を算出する。なお、式6は、式5の表現形式を変更した式であり、式6に示す遅延量X3は、式5に示す遅延量X3と同一となる。
X3={(memread_src_vpos+vsw+vbp)×(1000/fv)/vtotal}+(dsp_vfp/dst_bgd_vsz)×(1000/fv)+vact_space1 …式6
なお、memread_src_vpos、vsw、vbp、fvおよびvtotalについては、図2、図5のbに示すものと同一である。また、dsp_bgd_vsz、dsp_vfpおよびdsp_vszについては、図6に示すものと同一である。また、vact_space1については、図8に示すものと同一である。
このように、制御部190は、式6を用いて遅延量X3を算出することができる。すなわち、制御部190は、切り出し表示の指示操作、拡大縮小表示の指示操作および表示位置変更の指示操作の少なくとも1つが受け付けられた場合と、立体視画像を表示する場合とのうちの少なくとも1つの場合に遅延量を算出する。この場合には、制御部190は、画像信号の読み出し開始位置と、表示部180の表示領域における画像の表示位置および表示サイズと、ペアとなる画像信号の書き込みの際のその書き込みが行われない期間とのうちの少なくとも1つを用いて遅延量を算出する。
また、図10乃至図12では、式6を用いる場合における書き込み画像(キャプチャ画像)および読み出し画像(表示画像)との関係例と、書き込み速度と読み出し速度(表示部180の表示速度)との関係例とを示す。
[画像を等倍表示する場合の関係例]
図10は、本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像251)との関係例を示す図である。また、図10のcでは、図4と同様に、フレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す。なお、図10のcは、図4と同様に、横軸は時間軸を示し、縦軸はデータ量を表す軸を示す。
また、図10には、画像(2次元画像)を等倍表示する場合の例を示す。すなわち、式6において、vact_space=0、memread_src_vpos=0、dsp_vfp=0となる場合の例を示す。
図10のaおよびbには、フレームメモリ160に書き込まれる画像(キャプチャ画像250)と、表示部180に表示される画像(表示画像251)とを示す。上述したように、図10では、画像を等倍表示する場合の例を示すため、キャプチャ画像250および表示画像251は、同一となる。なお、図10のaに示す各符号は、図2と同一である。
また、図10のcでは、説明の容易のため、時間軸を示す横軸上に、対応する各ラインを示す符号を適宜配置する。また、NS4は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS4は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
上述したように、図10では、画像を等倍表示する場合の例を示すため、遅延量X3は、vsw+vbpに対応する値となる。また、フレームメモリ160への書き込み速度と、フレームメモリ160からの読み出し速度(表示部180の表示速度)とが略同一となる。
[切り出し表示および等倍表示をする場合の関係例]
図11は、本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像252)との関係例を示す図である。また、図11のcでは、図4と同様に、フレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す。なお、図11のcは、図4と同様に、横軸は時間軸を示し、縦軸はデータ量を表す軸を示す。
また、図11には、切り出し表示および等倍表示をする場合の例を示す。すなわち、式6において、vact_space=0、dsp_vfp=0となる場合の例を示す。
図11のaおよびbには、フレームメモリ160に書き込まれる画像(キャプチャ画像250)と、表示部180に表示される画像(表示画像252)とを示す。上述したように、図11では、切り出し表示および等倍表示をする場合の例を示すため、キャプチャ画像250の一部が切り出された画像が表示画像252として表示される。なお、図11のaに示す各符号は、図2と同一である。
また、図11のcでは、説明の容易のため、時間軸を示す横軸上に、対応する各ラインを示す符号を適宜配置する。また、NS5は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS5は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
上述したように、図11では、切り出し表示および等倍表示をする場合の例を示すため、遅延量X3は、vsw+vbp+memread_src_vposに対応する値となる。また、フレームメモリ160への書き込み速度と、フレームメモリ160からの読み出し速度(表示部180の表示速度)とが略同一となる。
[縮小表示、切り出し表示および表示位置変更をする場合の関係例]
図12は、本技術の実施の形態におけるフレームメモリ160に書き込まれる画像(キャプチャ画像250)と表示部180に表示される画像(表示画像253)との関係例を示す図である。また、図12のcでは、図4と同様に、フレームメモリ160への書き込み速度とフレームメモリ160からの読み出し速度(表示部180の表示速度)との関係例を示す。なお、図12のcは、図4と同様に、横軸は時間軸を示し、縦軸はデータ量を表す軸を示す。
また、図12には、縮小表示、切り出し表示および表示位置変更をする場合の例を示す。すなわち、式6において、vact_space=0となる場合の例を示す。
図12のaおよびbには、フレームメモリ160に書き込まれる画像(キャプチャ画像250)と、表示部180に表示される画像(表示画像253)とを示す。上述したように、図12では、縮小表示、切り出し表示および表示位置変更をする場合の例を示すため、キャプチャ画像250が縮小された画像が表示画像253として表示される。なお、図12のaに示す各符号は、図2と同一である。
また、図12のcでは、説明の容易のため、時間軸を示す横軸上に、対応する各ラインを示す符号を適宜配置する。また、NS6は、フレームメモリ160への書き込み速度を示す直線(太い点線)である。また、IS6は、フレームメモリ160からの読み出し速度(表示部180の表示速度)を示す直線である。
上述したように、図12では、縮小表示、切り出し表示および表示位置変更をする場合の例を示すため、遅延量X3は、vsw+vbp+memread_src_vpos+dsp_vfpに対応する値となる。また、フレームメモリ160への書き込み速度と、フレームメモリ160からの読み出し速度(表示部180の表示速度)とが異なる。
[画像処理装置の動作例]
図13は、本技術の実施の形態における画像処理装置100による遅延制御処理の処理手順の一例を示すフローチャートである。なお、図13では、フレーム毎に遅延量を算出して表示遅延を制御する例を示す。
最初に、取得部130は、画像信号入力部120に入力された画像信号について、画像信号情報を取得する(ステップS901)。例えば、図2に示す各値(vsw、vbp、vact、vfp、vtotal)が画像信号情報として取得される。また、例えば、表示対象となる画像が立体視画像である場合には、図8に示す各値(vsw、vbp、vact、vact_space1、vact_space2、vfp、vtotal)が画像信号情報として取得される。なお、ステップS901は、請求の範囲に記載の取得手順の一例である。
続いて、制御部190は、UI部110により受け付けられたユーザ操作に関する操作情報を取得してUI設定を確認する(ステップS902)。例えば、切り出し表示を指示するユーザ操作が受け付けられた場合には、ユーザ操作に関する操作情報として、図5のbに示す値(memread_src_vpos)が取得される。また、例えば、縮小表示および表示位置変更を指示するユーザ操作が受け付けられた場合には、ユーザ操作に関する操作情報として、図6のbに示す値(dsp_vpos、dsp_vsz、dsp_vfp、dsp_bgd_vsz)が取得される。
続いて、制御部190は、UI部110から出力された操作情報と、取得部130から出力された画像信号情報とに基づいて遅延量を算出する(ステップS903)。例えば、制御部190は、式6を用いて遅延量X3を算出する(ステップS903)。
続いて、制御部190は、算出された遅延量を画像処理部170に出力し、表示遅延を設定する(ステップS904)。これにより、例えば、画像処理部170は、制御部190により算出された遅延量X3に基づいて、フレームメモリ160に保持されている画像信号の読み出しを遅延させる。なお、ステップS903、S904は、請求の範囲に記載の制御手順の一例である。
なお、図13では、フレーム毎に遅延量を算出して用いる例を示すが、所定間隔毎のフレームについてのみ遅延量を算出して用いるようにしてもよい。また、例えば、特定の状態となった場合にのみ遅延量を算出して用いるようにしてもよい。なお、特定の状態は、例えば、特定のユーザ操作(例えば、切り出し表示、拡大縮小表示、表示位置変更の指示操作)が受け付けられた直後の状態とすることができる。また、特定の状態は、例えば、立体視画像を表示することが指示された直後の状態とすることができる。
このように、本技術の実施の形態によれば、PC出力やゲームコンテンツを再生する場合に、入力画像信号に対する表示画像信号の遅延(表示遅延)をユーザに感じさせないように、遅延量を設定することができる。すなわち、PC出力やゲームコンテンツを再生する場合に、ユーザに違和感を与えずに、低遅延とすることができる。また、本技術の実施の形態を立体視画像の表示にも適用することができる。
例えば、拡大縮小表示、切り出し表示、表示位置変更を指示するためのユーザ操作が行われたような場合でも、表示遅延を動的に変更することにより、最小の遅延量に調整を行うことができる。このため、例えば、拡大縮小率や切り出し等を急激に変化させない限り、遅延量が急激に増加してユーザに違和感を与えるようなことを防止することができる。すなわち、表示遅延が急に増加することを防止し、ユーザに与える違和感を軽減させることができる。
このように、本技術の実施の形態によれば、適切な表示遅延を設定することができ、表示遅延の性能を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)
伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得部と、
前記画像の表示態様を変更するためのユーザ操作に関する操作情報と、前記取得された画像信号情報とに基づいて、前記画像を表示する際の表示遅延を制御する制御部と
を具備する画像処理装置。
(2)
前記制御部は、前記画像信号を保持するフレームメモリから前記画像信号を読み出す際における遅延量を算出して前記遅延量に基づいて前記表示遅延を制御する前記(1)に記載の画像処理装置。
(3)
前記制御部は、切り出し表示の指示操作が前記ユーザ操作として受け付けられた場合には、前記ユーザ操作により特定される前記フレームメモリにおける前記画像信号の読み出し開始位置を用いて前記遅延量を算出する前記(2)に記載の画像処理装置。
(4)
前記制御部は、拡大縮小表示の指示操作および表示位置変更の指示操作のうちの少なくとも1つが前記ユーザ操作として受け付けられた場合には、前記ユーザ操作により特定される表示部の表示領域における前記画像の表示位置および表示サイズを用いて前記遅延量を算出する前記(2)または(3)に記載の画像処理装置。
(5)
前記制御部は、立体視画像を表示するための画像信号に基づく画像を表示する場合に前記遅延量を算出する前記(2)から(4)のいずれかに記載の画像処理装置。
(6)
前記制御部は、ペアとなる画像信号の前記フレームメモリへの書き込みの際に当該書き込みが行われない期間を用いて前記遅延量を算出する前記(5)に記載の画像処理装置。
(7)
前記制御部は、切り出し表示の指示操作、拡大縮小表示の指示操作および表示位置変更の指示操作の少なくとも1つが前記ユーザ操作として受け付けられた場合と、立体視画像を表示するための画像信号に基づく画像を表示する場合とのうちの少なくとも1つの場合に前記遅延量を算出する前記(2)に記載の画像処理装置。
(8)
前記制御部は、前記ユーザ操作により特定される前記フレームメモリにおける前記画像信号の読み出し開始位置と、前記ユーザ操作により特定される表示部の表示領域における前記画像の表示位置および表示サイズと、ペアとなる画像信号の前記フレームメモリへの書き込みの際に当該書き込みが行われない期間とのうちの少なくとも1つを用いて前記遅延量を算出する前記(7)に記載の画像処理装置。
(9)
伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得手順と、
前記画像の表示態様を変更するためのユーザ操作に関する操作情報と、前記取得された画像信号情報とに基づいて、前記画像を表示する際の表示遅延を制御する制御手順と
を具備する画像処理方法。
(10)
伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得手順と、
前記画像の表示態様を変更するためのユーザ操作に関する操作情報と、前記取得された画像信号情報とに基づいて、前記画像を表示する際の表示遅延を制御する制御手順と
をコンピュータに実行させるプログラム。
100 画像処理装置
110 UI部
120 画像信号入力部
130 取得部
140 タイミング制御部
150 前処理部
160 フレームメモリ
170 画像処理部
180 表示部
190 制御部

Claims (8)

  1. 伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得部と、
    立体視画像を表示する際に用いられる一対の画像信号が書き込まれるフレームメモリと、
    前記一対の画像信号が前記フレームメモリに書き込まれる際に当該書き込みが行われない期間の長さを用いて、前記フレームメモリから前記一対の画像信号を読み出す際における遅延量を算出する制御部と
    を具備し、
    前記画像信号情報は、前記書込みが行われない期間の長さを含む
    画像処理装置。
  2. 前記制御部は、切り出し表示の指示操作がユーザ操作として受け付けられた場合には、前記ユーザ操作により特定される前記フレームメモリにおける前記画像信号の読み出し開始位置を用いて前記遅延量を算出する請求項1記載の画像処理装置。
  3. 前記制御部は、拡大縮小表示の指示操作および表示位置変更の指示操作のうちの少なくとも1つがユーザ操作として受け付けられた場合には、前記ユーザ操作により特定される表示部の表示領域における前記画像の表示位置および表示サイズを用いて前記遅延量を算出する請求項1記載の画像処理装置。
  4. 前記制御部は、前記立体視画像を表示するための前記画像信号に基づく画像を表示する場合に前記遅延量を算出する請求項1記載の画像処理装置。
  5. 前記制御部は、切り出し表示の指示操作、拡大縮小表示の指示操作および表示位置変更の指示操作の少なくとも1つがユーザ操作として受け付けられた場合と、前記立体視画像を表示するための前記画像信号に基づく画像を表示する場合とのうちの少なくとも1つの場合に前記遅延量を算出する請求項1記載の画像処理装置。
  6. 前記制御部は、前記ユーザ操作により特定される前記フレームメモリにおける前記画像信号の読み出し開始位置と、前記ユーザ操作により特定される表示部の表示領域における前記画像の表示位置および表示サイズと、前記一対の画像信号の前記フレームメモリへの書き込みの際に当該書き込みが行われない期間とのうちの少なくとも1つを用いて前記遅延量を算出する請求項5記載の画像処理装置。
  7. 伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得手順と、
    立体視画像を表示する際に用いられる一対の画像信号をフレームメモリに書き込む手順と、
    前記一対の画像信号が前記フレームメモリに書き込まれる際に当該書き込みが行われない期間の長さを用いて、前記フレームメモリから前記一対の画像信号を読み出す際における遅延量を算出する制御手順と
    を具備し、
    前記画像信号情報は、前記書込みが行われない期間の長さを含む
    画像処理方法。
  8. 伝送される画像信号に基づく画像を表示する際に用いられる画像信号情報を前記画像信号から取得する取得手順と、
    立体視画像を表示する際に用いられる一対の画像信号をフレームメモリに書き込む手順と、
    前記一対の画像信号が前記フレームメモリに書き込まれる際に当該書き込みが行われない期間の長さを用いて、前記フレームメモリから前記一対の画像信号を読み出す際における遅延量を算出する制御手順と
    をコンピュータに実行させるためのプログラムであって、
    前記画像信号情報は、前記書込みが行われない期間の長さを含む
    プログラム。
JP2018187345A 2013-10-28 2018-10-02 画像処理装置、画像処理方法およびプログラム Active JP6666974B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013222887 2013-10-28
JP2013222887 2013-10-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015544839A Division JP6415442B2 (ja) 2013-10-28 2014-08-08 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019003224A JP2019003224A (ja) 2019-01-10
JP6666974B2 true JP6666974B2 (ja) 2020-03-18

Family

ID=53003786

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015544839A Active JP6415442B2 (ja) 2013-10-28 2014-08-08 画像処理装置、画像処理方法およびプログラム
JP2018187345A Active JP6666974B2 (ja) 2013-10-28 2018-10-02 画像処理装置、画像処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015544839A Active JP6415442B2 (ja) 2013-10-28 2014-08-08 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10810916B2 (ja)
EP (1) EP3065126B1 (ja)
JP (2) JP6415442B2 (ja)
WO (1) WO2015064169A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6703800B2 (ja) * 2016-04-01 2020-06-03 シャープ株式会社 表示装置、表示装置の制御方法、および制御プログラム
JP7042368B2 (ja) * 2019-02-14 2022-03-25 富士フイルム株式会社 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
WO2020202648A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 撮像装置、撮像信号処理装置、撮像信号処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
JP4355820B2 (ja) * 1997-11-26 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、及びテレビジョン受像機
JP2001350455A (ja) * 2000-04-07 2001-12-21 Sony Corp 画像処理装置およびその方法、並びにその画像処理装置を用いた表示装置
JP4047316B2 (ja) * 2003-09-25 2008-02-13 キヤノン株式会社 フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置
JP2006267663A (ja) * 2005-03-24 2006-10-05 Canon Inc タイミング制御装置及び信号処理装置
JP2009509203A (ja) * 2005-09-20 2009-03-05 エヌエックスピー ビー ヴィ ビデオストリームのフレームレートの保存、リサンプリング、またはリフォーマット装置及び方法
JP2010088092A (ja) 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
WO2010095403A1 (ja) * 2009-02-17 2010-08-26 パナソニック株式会社 再生装置、再生方法、プログラム
EP3716620B1 (en) * 2009-07-27 2022-09-14 Koninklijke Philips N.V. Switching between 3d video and 2d video
JP5375489B2 (ja) * 2009-09-29 2013-12-25 ソニー株式会社 画像信号処理装置、画像信号処理方法、プログラム、および画像信号処理システム
JP4691193B1 (ja) 2010-04-13 2011-06-01 株式会社東芝 映像表示装置および映像処理方法
JP5593975B2 (ja) * 2010-08-30 2014-09-24 富士通セミコンダクター株式会社 画像処理装置、画像処理方法、及びスケジューリング装置
JP5356342B2 (ja) * 2010-09-16 2013-12-04 株式会社ソニー・コンピュータエンタテインメント 動画像処理装置および動画像処理方法

Also Published As

Publication number Publication date
JPWO2015064169A1 (ja) 2017-03-09
EP3065126B1 (en) 2022-06-08
WO2015064169A1 (ja) 2015-05-07
US10810916B2 (en) 2020-10-20
US20160293073A1 (en) 2016-10-06
JP2019003224A (ja) 2019-01-10
EP3065126A4 (en) 2017-06-21
EP3065126A1 (en) 2016-09-07
JP6415442B2 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6666974B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8717385B2 (en) Image display control apparatus
CN109167890B (zh) 一种音画同步方法和装置及显示设备
US20140240472A1 (en) 3d subtitle process device and 3d subtitle process method
US10389908B2 (en) Image processing device, image processing method, and program with reduction and enlargement scaling of image data
JP5899503B2 (ja) 描画装置及び方法
JP2015039052A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10080014B2 (en) Apparatus for displaying image, driving method thereof, and method for displaying image that allows a screen to be naturally changed in response to displaying an image by changing a two-dimensional image method to a three-dimensional image method
JP4587821B2 (ja) 映像再生装置
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
JP2007259193A (ja) 映像出力装置、及び方法
US8279207B2 (en) Information processing apparatus, information processing method, and program
JP6448189B2 (ja) 映像処理装置
JP2006215320A (ja) 映像変換装置、及び映像表示装置
JP2014045425A (ja) 電子機器、電子機器の制御方法
JP4800353B2 (ja) 映像合成装置、プログラム及び記録媒体
JP4924168B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010097382A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4964319B2 (ja) 映像合成装置、プログラム及び記録媒体
JP2011114378A (ja) 映像表示システム及びその制御方法
JP5055220B2 (ja) 画像表示装置、画像表示方法
KR101472456B1 (ko) Pip 처리 장치 및 방법
JP2013247611A (ja) 字幕放送出力装置、字幕放送出力方法及び字幕放送出力プログラム
KR20070120304A (ko) 수평확장이 가능한 영상재생장치 및 방법
JP5148651B2 (ja) 記録媒体及び表示用データのデータ生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200221

R150 Certificate of patent or registration of utility model

Ref document number: 6666974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150