JP6071269B2 - 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム - Google Patents

画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム Download PDF

Info

Publication number
JP6071269B2
JP6071269B2 JP2012143527A JP2012143527A JP6071269B2 JP 6071269 B2 JP6071269 B2 JP 6071269B2 JP 2012143527 A JP2012143527 A JP 2012143527A JP 2012143527 A JP2012143527 A JP 2012143527A JP 6071269 B2 JP6071269 B2 JP 6071269B2
Authority
JP
Japan
Prior art keywords
frame rate
display
display frame
image
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012143527A
Other languages
English (en)
Other versions
JP2014007672A (ja
JP2014007672A5 (ja
Inventor
正則 田代
正則 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012143527A priority Critical patent/JP6071269B2/ja
Priority to US13/921,443 priority patent/US9197846B2/en
Publication of JP2014007672A publication Critical patent/JP2014007672A/ja
Publication of JP2014007672A5 publication Critical patent/JP2014007672A5/ja
Priority to US14/873,574 priority patent/US10224001B2/en
Application granted granted Critical
Publication of JP6071269B2 publication Critical patent/JP6071269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラムに関する。

カメラなどで撮影された動画像データを蓄積した送信側装置が、受信側装置からの要求に応じて動画像データを転送する画像表示システムが知られている。当該受信側装置では、CPUを用いたソフトウェア処理により連続的に動画像データが再生表示される。
このような動画再生を行う場合、CPUの負荷状況などに応じて再生フレームを間引いたり、再生までにかかる時間を考慮したりして、次に表示するフレームを選択している。
特許文献1では、動画像データを表示する際の表示フレームレートを、任意に変更する構成を設けた表示装置が開示されている。
特許文献2では、1フレーム当たりの動画像データを表示するまでの所要時間と、その際の表示端末のCPUの負荷状況に基づいて、次に表示する画像フレームとその表示開始時刻を求める再生装置が開示されている。
特開平8−163556号公報 特開平8−116513号公報
しかしながら、特許文献1に記載の技術では、表示装置にかかる負荷が高くなっておりユーザインタフェース(UI)の操作に遅延が発生している状態で表示フレームレートを変更するのは容易ではない。或いは、表示装置にかかる負荷が低くなっておりより高いフレームレートで表示可能な状態であっても、手動で表示フレームレートを変更しなければならず煩雑である。
また、特許文献2に記載の技術では、再生装置のCPU負荷状況に応じて再生するフレームや開始時刻を決定するため、CPU負荷状況が低いにも関わらずUIの操作に遅延が発生するような場合には効果がない。
このように、画像データを連続して再生する際、画像データの表示間隔を短くすることで画像はより滑らかに表示される。しかしながら、その一方で、表示する画像データ量の増加に伴い、画像データを表示する画像表示装置の処理負荷は増大し、UIの操作性が損なわれる恐れがあるという課題がある。
上記の課題に鑑み、本発明は、動画像データを表示する画像表示装置において、UIの操作性を損なわず、適切な表示フレームレートで画像を表示させることを目的とする。
上記の目的を達成する本発明に係る画像表示制御装置は、
画像表示制御装置であって、
ユーザ操作に対する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
有し、
前記表示フレームレート決定手段は、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理がない場合、前記表示フレームレートを増加させる
ことを特徴とする。
本発明によれば、動画像データを表示する画像表示装置において、UIの操作性を損なわず、適切な表示フレームレートで画像を表示させることが可能となる。
第1実施形態に係る画像表示システムの構成例を示す図。 第1実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を示す図。 第1実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を示すフローチャート。 第2実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を示すフローチャート。 第3実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を示す図。 第3実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を示すフローチャート。 第3実施形態に係る画像表示装置20(クライアント20)が実施する表示フレームレートの初期設定処理の手順の一例を示すフローチャート。 第4実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を示す図。 第4実施形態に係る画像表示装置20(クライアント20)が有する記憶装置48に記憶されるデータの一例を示す図。 第5実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を示すフローチャート。 第5実施形態に係る画像表示装置20(クライアント20)における設定UIの一例を示す図。
(第1実施形態)
第1実施形態では、カメラサーバ(撮影装置)から送信される動画像データをクライアントが受信し、表示フレームレートを調整した後に、受信した動画像データを表示する構成について説明する。
まず図1を参照して、第1実施形態に係る画像表示装置(クライアント)およびカメラサーバ(撮影装置)を有する画像表示システムの構成の一例を説明する。図1に示される画像表示システムでは、例えばLAN(Local Area Network)又はWAN(Wide Area Network)等のネットワーク30を介して、カメラサーバ10と、複数のクライアント20とが通信可能に接続されている。なお、カメラサーバ10と複数のクライアント20との間は、必ずしもネットワークで接続される必要はなく、例えば、USB(Universal Serial Bus)等により接続される構成であってもよく、その方式は限定されない。
カメラサーバ10(撮影装置10)は、CPU11と、メモリ12と、記憶部13と、キャプチャーI/F14と、制御I/F15と、通信部16とを備えている。CPU11は、カメラサーバ10における各種処理を統括制御する。メモリ12は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)等により構成される。カメラサーバ10における処理は、例えば、CPU11が、メモリ12をワーク領域として、ROMや記憶部13に記憶されたプログラムを読み込み実行することにより行われる。記憶部13は、例えば、ハードディスクドライブ等で構成され、各種プログラム(例えば、アプリケーション、OS等)等を記憶する。
キャプチャーI/F14は、撮像部31(例えば、カメラ等)31との通信インタフェースであり、撮像部31により撮像された画像を所定のフォーマットに変換・圧縮して、例えば、メモリ12等に格納する。制御I/F15は、雲台32との通信インタフェースであり、雲台32のパン機構、チルト機構、ローテーション機構の状態の取得や、雲台32の制御を行う。通信部16は、外部装置(例えば、クライアント20)と通信を行なうための通信インタフェースである。カメラサーバ10は、通信部16を介して、例えば、クライアント20の各々と画像の送受信等を行う。
クライアント(画像表示装置)20は、CPU21と、メモリ22と、記憶部23と、操作受付部24と、表示部25と、通信部26とを備えている。なお、CPU21、メモリ22、記憶部23、通信部26は、上述したカメラサーバ10に設けられる対応する構成と同様の機能を果たすため、その説明については省略する。操作受付部24は、例えば、マウスやキーボード等で構成され、ユーザからの各種指示をクライアント20内に入力する。表示部25は、例えばディスプレイ等で構成され、各種情報をユーザに表示する。
次に、図2を参照して、第1実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を説明する。
クライアント20は、フレーム受信部41と、受信フレームレート測定部42と、負荷状況測定部43と、表示フレームレート制御部44と、表示制御部45とを備えている。フレーム受信部41は、表示の対象となる複数の画像を取得する。受信フレームレート測定部42は、フレーム受信部41が単位時間当たりに受信した画像の枚数を測定することにより受信フレームレートを測定する。負荷状況測定部43は、ユーザからのマウス操作等によって操作受付部24で入力されたUI操作(ユーザ操作)に対する処理の空き回数を測定する。すなわち、負荷状況測定部43は、処理すべきUI操作がない場合に発生するイベントをカウントする。このイベントは、処理すべきUI操作がない場合、および、UI操作に対する処理が終了した場合に発生する。負荷状況測定部43は、このイベントの有無を判断し、このイベントが発生した回数によりUI操作に対する処理の負荷状況を判定する。このイベントが、UI操作に対する処理の空きを示すイベントであり、このイベントの発生回数がUI操作に対する処理の空き回数である。
表示フレームレート制御部44は、受信フレームレート測定部42により測定された受信フレームレートと、負荷状況測定部43により測定された負荷状況とに基づいて、表示フレームレートを決定する。表示フレームレート制御部44は、所定間隔(例えば、1秒間隔)で、表示フレームレートを決定する。表示フレームレート制御部44は、表示フレームレート決定後、負荷状況測定部43が測定している、UI操作に対する処理の空き回数を初期化する。なお、1秒間隔で表示フレームレートを決定する場合、UI操作に対する処理が1秒以内に終了した場合、UI処理に対する処理の空きを示すイベントが発生する。また、UI操作に対する処理が1秒以内に終了しなかった場合、イベントの発生回数は0のままである。表示制御部45は、表示フレームレート制御部44により決定された表示フレームレートに従って、フレーム受信部41が受信した画像を表示部25に表示する。
次に、図3のフローチャートを参照して、第1実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を説明する。ここでは、図2を参照して説明したフレーム受信部41から表示制御部45までの各処理部が実行する処理を説明する。なお図3の処理は、例えばクライアント20を起動してカメラサーバ10に接続したことに応じて開始する。
S301において、フレーム受信部41は、通信部26を介してカメラサーバ10に画像を要求し、その応答として当該カメラサーバ10から画像フレームを受信する。S302において、受信フレームレート測定部42は、1秒間当たりに連続的に受信した画像フレームのフレーム数に基づいて、受信フレームレートを測定する。
S303において、負荷状況測定部43は、ユーザからのマウス操作等によって操作受付部24で入力されたUI操作に対する処理の空き回数を計測する。すなわち、負荷状況測定部43は、処理すべきユーザ操作がないことを示すイベントの有無を判断する。処理すべきユーザ操作がないことを示すイベントの発生回数は、ユーザ操作に対する処理負荷を示す。
S304において、表示フレームレート制御部44は、UI操作に対する処理の空き回数を判定する。処理の空き回数が1以上であると判定された場合(S304;YES)、S305へ進む。一方、処理の空き回数がゼロであると判定された場合(S304;NO)、S306へ進む。UI操作に対する処理の空き回数がゼロである場合とは、UI操作に対する処理が1秒以内に終了しなかった場合である。
S305において、表示フレームレート制御部44は、UI操作に対する処理負荷が低いと判定して、表示フレームレートを増加させる。空き回数が1以上である場合は、処理すべきUI操作がないか、あるいは、UI操作に対する処理が終了したことを示すイベントが、1秒間に少なくとも1回、発生した場合であるので、処理負荷が低いと判定する。なお、本実施形態では、1秒間隔で判定するが、判定する間隔は1秒間隔に限られるものではない。なお、処理できた回数が多いほど表示フレームレートを大きく増加させてもよいが、所定値だけ増加させる構成であってもよい。その後、S307へ進む。
S306において、表示フレームレート制御部44は、負荷が高いと判定して、表示フレームレートを減少させる。その後、S307へ進む。
S307において、表示フレームレート制御部44は、処理の空き回数のカウント値をゼロに初期化する。なお、処理の空き回数のカウント値が既にゼロである場合は、当該処理は実行せずにS308へ進んでもよい。
S308において、表示フレームレート制御部44は、増加調整または減少調整された表示フレームレートと、受信フレームレート測定部42により測定された受信フレームレートとを比較する。より具体的には、表示フレームレート制御部44は、表示フレームレートより受信フレームレートが高いか否かを判定する。
表示フレームレートより受信フレームレートが高いと判定された場合(S308;YES)、S309へ進む。一方、表示フレームレートより受信フレームレートが高くないと判定された場合(S308;NO)、S310へ進む。
S309において、表示フレームレート制御部44は、表示フレームレートを超えて受信した画像フレームを間引く処理を行う。その後、S310へ進む。S310において、表示制御部45は、間引き処理が行われている場合には、表示フレームレート制御部44により間引かれた画像フレームを、ディスプレイ等で構成される表示部25に表示する。一方、間引き処理が行われていない場合には、表示制御部45は、受信した画像フレーム全てを表示部25に表示する。以上で図3のフローチャートの各処理が終了する。
以上説明したように、本実施形態では、ユーザが行ったUI操作に対する処理の空き回数を計測することにより、UI操作に対する処理の負荷状況を測定し、適切な表示フレームレートへ自動的に調整する。これにより、UI操作に対する処理の負荷状況に応じてユーザのUI操作が遅延することなく、適切な表示フレームレートで画像フレームの表示を行なうことができる。
(第2実施形態)
第1実施形態では、受信した動画像データを構成する画像フレームの解像度が変化しても表示フレームレートはそのままであった。これに対して第2実施形態では、画像フレームの解像度が変化した場合に、予め定めた表示フレームレートの値に初期化する構成について説明する。
図4のフローチャートを参照して、第2実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を説明する。ここでS401の処理は、図3を参照して説明したS301の処理と同じであり、またS404−S412の各処理は、S302−S310の各処理と同じであるため、説明を省略する。また、本実施形態に係るクライアント20の構成も第1実施形態と同様であるため、説明を省略する。S402において、フレーム受信部41は、前回受信した画像フレームについて前回取得された解像度と今回受信した画像フレームについて今回取得された解像度とが異なるか否かを判定する。解像度が異なる、または、前回受信した画像フレームが存在しないと判定された場合(S402;YES)、S403へ進む。一方、解像度が同じであると判定された場合(S402;NO)、表示フレームレートは変更せず、S404へ進む。
S403において、表示フレームレート制御部44は、表示フレームレートを予め定めた初期値に設定する。その後、S404へ進む。
以上説明したように、本実施形態では、画像フレームの解像度に変化があった場合には、表示フレームレートを予め定めた値に初期化する。これにより、画像フレームの解像度が変化した場合も、自動的に表示フレームレートが初期化されるため、ユーザのUI操作を遅延させることなく、ユーザの利便性を更に向上させることができる。
(第3実施形態)
第2実施形態では、受信した動画像データの解像度が変化した際、予め定めた表示フレームレートに初期化する構成について説明した。これに対して、第3実施形態では、画像フレームの解像度毎に適切な表示フレームレートを記憶し、解像度が変化した場合に、記憶した表示フレームレートを初期表示フレームレートとして設定する構成について説明する。
まず図5を参照して、第3実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を説明する。本実施形態に係るクライアント20は、図2を参照して説明した第1実施形態に係るクライアント20が有する機能構成(フレーム受信部41、受信フレームレート測定部、負荷状況測定部43、表示フレームレート制御部44、および表示制御部45)に加えて、さらに表示フレームレート記憶部46を備えている。
表示フレームレート記憶部46は、表示フレームレート制御部44により決定された表示フレームレートを、画像フレームの解像度と共に記憶する。また、記憶した表示フレームレートの読み出しも行い、初期表示フレームレートの設定を行う。
次に、図6を参照して、第3実施形態に係る画像表示装置20(クライアント20)が実施する処理の手順の一例を説明する。ここでS601の処理は、図3を参照して説明したS301の処理と同じであり、S603−S611の各処理は、S302−S310の各処理と同じであるため、説明を省略する。
S602において、フレーム受信部41は、表示フレームレートの初期設定を行う。ここで、表示フレームレートの初期設定の処理の詳細について、図7のフローチャートを参照して説明する。
S701において、フレーム受信部41は、前回受信した画像フレームと今回受信した画像フレームの解像度とが異なるか否かを判定する。解像度が異なる、または、前回受信した画像フレームが存在しないと判定された場合(S701;YES)、S702へ進む。一方、解像度が同じであると判定された場合(S701;NO)、当該処理を終了する。
S702において、表示フレームレート制御部44は、今回受信した画像フレームの解像度と同一解像度に対応する表示フレームレートが表示フレームレート記憶部46に記憶されているか否かを判定する。同一解像度での表示フレームレートが記憶されていると判定された場合(S702;YES)、S703へ進む。一方、同一解像度での表示フレームレートが記憶されていないと判定された場合(S702;NO)、S704へ進む。
S703において、表示フレームレート制御部44は、表示フレームレート記憶部46に記憶されていた値に表示フレームレートを設定して、処理を終了する。S704において、表示フレームレート制御部44は、表示フレームレートに予め定めた値を設定して、処理を終了する。図7の処理を終了した後、図6に戻り、S603−S611の処理を実行する。
S612において、表示フレームレート記憶部46は、S603−S611の処理の過程で調整された表示フレームレートの値を、画像フレームの解像度と関連付けて記憶する。ここで関連付けて記憶された表示フレームレートの値と画像フレームの解像度とがテーブル化される。画像フレームを受信するたびに上記処理を実行することで、テーブルが充実していくことになる。以上で図6のフローチャートの各処理が終了する。
以上説明したように、本実施形態では、画像フレームの解像度毎に表示フレームレートを記憶することにより、画像フレームの解像度に変化があった場合には、表示フレームレートを同一解像度での前回受信時の表示フレームレートに設定する。これにより、画像フレームの解像度が変化した場合も、前回受信していた際の表示フレームレートが適用されるため、ユーザのUI操作を遅延させることなく、より短時間で最適な表示フレームレートにて画像フレームの表示を行うことができる。
(第4実施形態)
第3実施形態の構成では、クライアントが再起動した場合には初期表示フレームレートは初期化されていた。これに対し、第4実施形態では、記憶装置を用いて表示フレームレートを記憶し、次回クライアント起動時に、同一解像度で前回表示した時の表示フレームレートを読み込んで、初期表示フレームレートとして設定する構成について説明する。
まず、図8を参照して、第4実施形態に係る画像表示装置20(クライアント20)の機能構成の一例を説明する。本実施形態に係るクライアント20は、図5を参照して説明した第3実施形態に係るクライアント20が有する機能構成(フレーム受信部41、受信フレームレート測定部、負荷状況測定部43、表示フレームレート制御部44、表示制御部45、および表示フレームレート記憶部46)に加えて、さらに記憶装置制御部47と記憶装置48とを備えている。
記憶装置制御部47は、表示フレームレート記憶部46に記憶した表示フレームレートの情報を記憶装置48に記録する。または、記憶装置48に記録した情報を取得し、表示フレームレート記憶部46に設定する。
ここで、図9を参照して、記憶装置48に記録する表示フレームレートの情報の一例について説明する。解像度100は、フレーム受信部41が受信した画像フレームの解像度である。フレームレート101は、表示フレームレート制御部44により決定された表示フレームレートである。記憶装置制御部47は、解像度100に、今回受信した画像フレームの解像度と同一の解像度が存在しない場合、新たに解像度100と、当該画像フレームに関して表示フレームレート制御部44により決定されたフレームレート101とを関連付けて記録する。解像度100に、今回受信した画像フレームの解像度と同一の解像度が存在する場合には、対応するフレームレート101の値を、当該画像フレームに関して表示フレームレート制御部44により決定された値で更新する。なお、必ずしも1つの解像度について1つのフレームレートを関連付けて記憶する必要はなく、例えば解像度に範囲を持たせ、今回受信した画像フレームの解像度がその範囲に含まれる場合に、対応する1つのフレームレートを設定する構成にしてもよい。
以上説明したように、本実施形態では、記憶装置を用いて表示フレームレートを記憶し、次回クライアント起動時に、同一解像度で前回表示した時の表示フレームレートを読み込んで、初期表示フレームレートとして設定する。そのため、起動のたびに初期化されてしまうことがなく、効率的な表示フレームレートの設定が実行可能となる。
これにより、クライアントやカメラサーバなどの装置が終了した場合でも、前回受信していた際の表示フレームレートが適用されるため、ユーザのUI操作を遅延させることなく、より短時間で最適な表示フレームレートにて画像フレームの表示を行なえる。
(第5実施形態)
第5実施形態では、動画像の表示をUI操作よりも優先させて、表示フレームレートを調整せずに受信した動画像を表示する実施形態である。第5実施形態においては、第1実施形態の変形例として、UI操作よりも画像の表示を優先させたい場合に、表示フレームレートの調整を行わない機能を設けた場合について説明する。
図10を参照して、第5実施形態に係るクライアント20の処理の流れの一例について説明する。ここでは、クライアント20がカメラサーバ10から画像フレームを受信した後の処理について、図2で説明したフレーム受信部41から表示制御部45までの処理の流れを説明する。なお、受信フレームレートの測定(S501)から表示フレームレートと受信フレームレートの判定(S507)までの処理は第1実施形態の図3で説明した処理と同様となるため、ここでは、その説明については省略する。
S508において、表示フレームレート制御部44は、画像表示優先フラグが有効か否かを判定する。画像表示優先フラグが有効であると判定された場合(S508;YES)、S510へ進む。また、画像表示優先フラグが無効な場合(S508;NO)、S509へ進む。
S509において、表示フレームレート制御部44は、ユーザ操作に対する処理を優先することが指定されていると判断し、表示フレームレートを超えて受信した画像フレームを間引く。次に、表示制御部45は、表示フレームレート制御部44により間引かれた画像フレームをディスプレイ等(表示部25)に表示する。
S510において、表示フレームレート制御部44は、表示フレームレートを調整せずに、表示制御部45は、受信した画像フレーム全てをディスプレイ等(表示部25)に表示する。
ここで、図11を参照して、画像表示優先フラグを有効、または、無効に設定するUIの一例について説明する。
画像表示優先度設定ダイアログ200は、クライアント20の表示部25に表示される。画像表示優先度設定チェックボックス201は、チェックをONにすると画像表示優先度設定を有効とし、チェックをOFFにすると無効とする。
以上説明したように、第5実施形態によれば、画像表示を優先する指定を受け付けることにより、UI操作よりも画像表示を優先させることができる。これにより、設定を有効化、または、無効化することで常に優先して画像の表示を行える。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (21)

  1. 画像表示制御装置であって、
    ユーザ操作に対する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    有し、
    前記表示フレームレート決定手段は、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理がない場合、前記表示フレームレートを増加させる
    ことを特徴とする画像表示制御装置。
  2. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    を有し、
    前記表示フレームレート決定手段は、所定の時間内に前記ユーザ操作に対応する処理が終了した場合、前記表示フレームレートを増加させる
    ことを特徴とする画像表示制御装置。
  3. 画像表示制御装置であって、
    ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    を有し、
    前記表示フレームレート決定手段は、前記画像表示制御装置によって処理する予定の前記ユーザ操作に対応する処理がない場合、前記表示フレームレートを増加させる
    ことを特徴とする画像表示制御装置。
  4. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    を有し、
    前記表示フレームレート決定手段は、前記動画像の解像度が変わった場合、前記表示フレームレートを予め定められた初期値とする
    ことを特徴とする画像表示制御装置。
  5. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    を有し、
    前記表示フレームレート決定手段は、前記動画像の解像度が変わった場合、解像度と表示フレームレートとの対応を示す情報を記憶する記憶手段を参照し、その参照した情報に基づいて表示フレームレートを決定する
    ことを特徴とする画像表示制御装置。
  6. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と、
    画像データの表示と、前記ユーザ操作に対する処理とのいずれを優先するか指定する指定手段
    有することを特徴とする画像表示制御装置。
  7. 前記表示フレームレート決定手段は、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理があり、かつ、所定の時間内に前記処理が終了しなかった場合、前記表示フレームレートを減少させる
    ことを特徴とする請求項1乃至6の何れか1項に記載の画像表示制御装置。
  8. 画像表示制御装置であって、
    ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定手段と、
    前記表示フレームレート決定手段によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御手段と
    を有し、
    前記表示フレームレート決定手段は、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理があり、かつ、所定の時間内に前記処理が終了しなかった場合、前記表示フレームレートを減少させる
    ことを特徴とする画像表示制御装置。
  9. 前記動画像のデータを受信する受信手段を有することを特徴とする請求項1乃至8の何れか1項に記載の画像表示制御装置。
  10. 前記表示制御手段は、前記表示フレームレート決定手段により決定された前記表示フレームレートよりも、前記受信手段が受信した動画像のフレームレートの方が大きい場合に、前記表示フレームレートとなるように前記受信手段が受信した動画像に含まれる画像フレームを間引いた後の動画像を前記表示手段に表示させる
    ことを特徴とする請求項9に記載の画像表示制御装置。
  11. 前記表示制御手段は、前記表示フレームレート決定手段により決定された前記表示フレームレートよりも、前記受信手段が受信した動画像のフレームレートの方が小さい場合、前記受信手段が受信した動画像に含まれる画像フレームを間引かずに前記表示手段に表示させる
    ことを特徴とする請求項9又は10に記載の画像表示制御装置。
  12. 前記表示制御手段は、前記受信手段が受信した動画像のフレームレートに基づいて、前記表示フレームレートを決定する
    ことを特徴とする請求項9乃至11の何れか1項に記載の画像表示制御装置。
  13. 請求項1乃至12の何れか1項に記載の画像表示制御装置と、
    前記動画像を撮像する撮像装置と、
    を有することを特徴とする画像表示制御システム。
  14. 画像表示制御装置の制御方法であって、
    ユーザ操作に対する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理がない場合、前記表示フレームレートを増加させることを特徴とする画像表示制御装置の制御方法。
  15. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、所定の時間内に前記ユーザ操作に対応する処理が終了した場合、前記表示フレームレートを増加させる
    ことを特徴とする画像表示制御装置の制御方法。
  16. 画像表示制御装置の制御方法であって、
    ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、前記画像表示制御装置によって処理する予定の前記ユーザ操作に対応する処理がない場合、前記表示フレームレートを増加させる
    ことを特徴とする画像表示制御装置の制御方法。
  17. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、前記動画像の解像度が変わった場合、前記表示フレームレートを予め定められた初期値とする
    ことを特徴とする画像表示制御装置の制御方法。
  18. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、前記動画像の解像度が変わった場合、解像度と表示フレームレートとの対応を示す情報を記憶する記憶手段を参照し、その参照した情報に基づいて表示フレームレートを決定する
    ことを特徴とする画像表示制御装置の制御方法。
  19. ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と、
    画像データの表示と、前記ユーザ操作に対応する処理とのいずれを優先するか指定する指定工程と
    を有することを特徴とする画像表示制御装置の制御方法。
  20. 画像表示制御装置の制御方法であって、
    ユーザ操作に対応する処理の実行状況に応じて、動画像を表示するための表示フレームレートを決定する表示フレームレート決定工程と、
    前記表示フレームレート決定工程によって決定された表示フレームレートで、表示手段に動画像を表示させる表示制御工程と
    を有し、
    前記表示フレームレート決定工程では、前記画像表示制御装置によって処理すべき前記ユーザ操作に対応する処理があり、かつ、所定の時間内に前記処理が終了しなかった場合、前記表示フレームレートを減少させる
    ことを特徴とする画像表示制御装置の制御方法。
  21. コンピュータを請求項1乃至12の何れか1項に記載の画像表示制御装置の手段として機能させるためのプログラム。
JP2012143527A 2012-06-26 2012-06-26 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム Active JP6071269B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012143527A JP6071269B2 (ja) 2012-06-26 2012-06-26 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
US13/921,443 US9197846B2 (en) 2012-06-26 2013-06-19 Display control apparatus, display control method, display control system, and storage medium
US14/873,574 US10224001B2 (en) 2012-06-26 2015-10-02 Display control apparatus, display control method, display control system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012143527A JP6071269B2 (ja) 2012-06-26 2012-06-26 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム

Publications (3)

Publication Number Publication Date
JP2014007672A JP2014007672A (ja) 2014-01-16
JP2014007672A5 JP2014007672A5 (ja) 2015-07-30
JP6071269B2 true JP6071269B2 (ja) 2017-02-01

Family

ID=49774147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012143527A Active JP6071269B2 (ja) 2012-06-26 2012-06-26 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム

Country Status (2)

Country Link
US (2) US9197846B2 (ja)
JP (1) JP6071269B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5864876B2 (ja) * 2011-03-25 2016-02-17 オリンパス株式会社 画像処理装置及び画像処理方法
JP6071269B2 (ja) 2012-06-26 2017-02-01 キヤノン株式会社 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
EP3151577B1 (en) * 2014-05-28 2019-12-04 Sony Corporation Information processing apparatus, information processing method, and program
US9143693B1 (en) * 2014-06-10 2015-09-22 Google Inc. Systems and methods for push-button slow motion
US9906782B2 (en) * 2015-01-14 2018-02-27 Cinder LLC Source agnostic audio/visual analysis framework
CN105157698B (zh) 2015-09-17 2019-07-12 百度在线网络技术(北京)有限公司 一种导航图像绘制的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116513A (ja) * 1994-10-18 1996-05-07 Canon Inc 動画像再生方法及び装置
JPH08163556A (ja) * 1994-11-30 1996-06-21 Canon Inc 映像通信装置および映像通信システム
JP3609391B2 (ja) * 2002-08-13 2005-01-12 セス・ジャパン株式会社 データ通信端末装置
WO2006006313A1 (ja) * 2004-07-08 2006-01-19 Matsushita Electric Industrial Co., Ltd. 携帯端末装置
JP4430596B2 (ja) * 2005-08-26 2010-03-10 富士通株式会社 画像データ送受信システムの受信側装置及びそのプログラムを記憶した記憶媒体
US7450130B2 (en) * 2005-09-14 2008-11-11 Microsoft Corporation Adaptive scheduling to maintain smooth frame rate
JP2008204042A (ja) * 2007-02-19 2008-09-04 Toshiba Corp 情報処理プログラム、情報処理装置及びデータ配信システム
US8077242B2 (en) * 2007-09-17 2011-12-13 Qualcomm Incorporated Clock management of bus during viewfinder mode in digital camera device
TW201035956A (en) * 2009-03-27 2010-10-01 Hannstar Display Corp Liquid crystal display device having low power consumption and method thereof
JP4886888B2 (ja) * 2009-12-01 2012-02-29 キヤノン株式会社 画像処理装置及びその制御方法
KR101108145B1 (ko) * 2010-05-07 2012-02-06 광주과학기술원 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법
KR101781640B1 (ko) * 2011-02-14 2017-09-25 엘지전자 주식회사 원격 제어 서비스 제공 방법 및 그를 이용한 영상 표시 기기
US8990351B2 (en) * 2011-04-20 2015-03-24 Mobitv, Inc. Real-time processing capability based quality adaptation
CN103176638A (zh) * 2011-12-23 2013-06-26 瀚宇彩晶股份有限公司 触控式面板装置与其扫描方法
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
US9241166B2 (en) * 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
JP6071269B2 (ja) 2012-06-26 2017-02-01 キヤノン株式会社 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム

Also Published As

Publication number Publication date
US20130342719A1 (en) 2013-12-26
US9197846B2 (en) 2015-11-24
US10224001B2 (en) 2019-03-05
US20160027403A1 (en) 2016-01-28
JP2014007672A (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
JP6071269B2 (ja) 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
US10447874B2 (en) Display control device and display control method for automatic display of an image
US9998702B2 (en) Image processing device, development apparatus, image processing method, development method, image processing program, development program and raw moving image format
US20140244858A1 (en) Communication system and relaying device
US9553952B2 (en) Image processing system
US20090059094A1 (en) Apparatus and method for overlaying image in video presentation system having embedded operating system
US20150103204A1 (en) Image processing device and method capable of displaying high-quality image while preventing display delay, and image pickup apparatus
US11265475B2 (en) Image capturing apparatus, client apparatus, method for controlling image capturing apparatus, method for controlling client apparatus, and non-transitory computer-readable storage medium
WO2003030529A1 (en) Television reception apparatus
US11196974B2 (en) Display control apparatus and display control method
CN107295247B (zh) 图像记录装置及其控制方法
US8976222B2 (en) Image processing apparatus and image processing method
US9277261B2 (en) Information processing apparatus and control method thereof
US8812743B2 (en) Image capturing transfer apparatus that sends a flash on/off parameter instruction for a flash unit connected to the image capturing apparatus
US9332180B2 (en) Image capture apparatus
EP3232653A1 (en) Image recording apparatus and method for controlling the same
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
US9967408B2 (en) Information setting apparatus, information management apparatus, information generation apparatus, and method and program for controlling the same
JP5820281B2 (ja) 情報処理装置、その処理方法及びプログラム
JP5338516B2 (ja) 画像処理システムおよび通信機器
CN112911186B (zh) 图像存储方法及装置、电子设备、存储介质
JP6223125B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP5704226B2 (ja) デジタルカメラシステム
JP2005092523A (ja) データ取り込み方法および装置、並びにデータ取り込みプログラム
JP2006224539A (ja) 画像形成装置およびそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R151 Written notification of patent or utility model registration

Ref document number: 6071269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151