JP6501674B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

動画の再生時に、動画の一部分を拡大して表示する再生方法がある。特に近年、ＨＤ、４Ｋ、８Ｋというように動画像データが高解像度になってきたことで、動画の一部を拡大して表示する機会が多くなってきた。また、カメラを複数台使用するなどして撮影した全天球動画が知られているが、このような全天球動画を表示する場合にも、全体の一部を切り出して表示することは多い。

動画の再生時に動画の一部分を拡大して表示する再生方法として、特許文献１には、動画の再生時に拡大率と表示位置の指定を行うことを可能にした方法が提案されている。

特開平１１−３３１６７３号公報

しかしながら、動画の拡大表示時に再生速度を変更すると、場合によっては動画の内容の把握が困難になることがあった。例えば、シーンサーチのために再生速度を「早送り」に変更した際に、画角が狭い状態のままでは移動する物体の特定が難しく、サーチしづらくなることがあった。

本発明の目的は、動画の再生時のように複数の画像データを順番に表示する際に、拡大表示時に再生速度を変更することによって内容の把握が困難になるのを抑制しうる画像処理装置及び画像処理方法を提供することにある。

本発明の一観点によれば、一連の画像を順番に表示装置に表示する画像処理装置であって、前記画像の中から切り出して表示する表示領域を設定する領域設定手段と、前記一連の画像の切り替え速度を設定する速度設定手段と、前記一連の画像を順番に表示装置に表示している最中に、前記速度設定手段により切り替え速度が変更された場合に、変更後の切り替え速度に応じて前記表示領域として切り出される領域を変更する変更手段と、を有し、前記変更手段は、変更後の前記切り替え速度が速いほど前記画像から切り出される領域が広くなるように、前記表示領域を変更する画像処理装置が提供される。

また、本発明の他の一観点によれば、一連の画像を順番に表示装置に表示する画像処理方法であって、前記画像の中から切り出して表示する表示領域を設定するステップと、前記一連の画像の切り替え速度を設定するステップと、前記一連の画像を順番に表示装置に表示している最中に、前記切り替え速度が変更された場合に、変更後の前記切り替え速度に応じて前記表示領域として切り出される領域を変更するステップと、を有し、前記表示領域を変更するステップでは、変更後の前記切り替え速度が速いほど前記表示領域として切り出される領域が広くなるように、前記表示領域を変更する画像処理方法が提供される。

また本発明の更に他の一観点によれば、一連の画像を順番に表示装置に表示する際に、コンピュータに、前記画像の中から切り出して表示する表示領域を設定するステップと、前記一連の画像の切り替え速度を設定するステップと、前記一連の画像を順番に表示装置に表示している最中に、前記切り替え速度が変更された場合に、変更後の切り替え速度に応じて前記表示領域として切り出される領域を変更するステップであって、変更後の前記切り替え速度が速いほど前記表示領域として切り出される領域が広くなるように前記表示領域を変更する、ステップと、を実行させるプログラムが提供される。

本発明によれば、画像データの拡大表示時に再生速度を変更することによって内容の把握が困難になるのを抑制することができる。

本発明の第１実施形態による画像処理装置の構成を示すブロック図である。 本発明の第１実施形態による画像処理方法を示すフローチャートである。 本発明の第１実施形態による画像処理方法におけるユーザ操作による設定変更処理手順を示すフローチャートである。 本発明の第１実施形態による画像処理方法における動画再生処理プログラムの表示の一例を示す図である。 本発明の第１実施形態による画像処理方法における表示領域算出処理の説明図である。 本発明の第１実施形態による画像処理方法における表示領域変更処理の説明図である。 本発明の第２実施形態による画像処理方法を示すフロー図である。 本発明の第２実施形態による画像処理方法における表示領域変更処理手順を示すフローチャートである。

［第１実施形態］
本発明の第１実施形態による画像処理装置及び画像処理方法について、図１乃至図６を用いて説明する。

図１は、本実施形態による画像処理装置の構成を示すブロック図である。図２は、本実施形態による画像処理方法を示すフローチャートである。図３は、本実施形態による画像処理方法におけるユーザ操作による設定変更処理手順を示すフローチャートである。図４は、本実施形態による画像処理方法における動画再生処理プログラムの表示の一例を示す図である。図５は、本実施形態による画像処理方法における表示領域算出処理の説明図である。図６は、本実施形態による画像処理方法における表示領域変更処理の説明図である。

はじめに、本実施形態による画像処理装置の構成について、図１を用いて説明する。
本実施形態による画像処理装置１００は、図１に示すように、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、操作入力ＩＦ１０５、表示ＩＦ１０６及びシステムバス１０８を有するコンピュータ装置により構成され得る。

制御部１０１は、画像処理装置１００の全体の制御を司るものであり、例えば中央処理装置（ＣＰＵ：Central Processing Unit）である。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納する読み出し専用メモリ（Read Only Memory）である。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時的に記憶する書き込み及び読み出し可能なメモリ（Random Access Memory）である。

外部記憶装置１０４は、画像処理装置１００で実行されるプログラムや動画像データなどのデジタルデータなどを記録するためのものである。外部記憶装置１０４には、後述する動画再生処理プログラムが制御部１０１に読み取り可能なプログラムコードとして記録されており、このプログラムコードを制御部１０１が実行する構成となっている。なお、動画再生処理プログラムは、外部記憶装置１０４以外の記憶装置、例えばＲＯＭ１０２やネットワーク上の記憶装置（図示せず）に記録されていてもよい。外部記憶装置１０４としては、画像処理装置１００に固定して設置されたハードディスクやメモリカードが挙げられる。また、画像処理装置１００から着脱可能なフロッピー（登録商標）ディスク（ＦＤ）や、コンパクトディスク（ＣＤ：Compact Disk）等の光ディスク、磁気カード、光カード、ＩＣカードなどが挙げられる。

操作入力ＩＦ１０５は、ユーザの操作に応じたデータを入力するためのデバイス、例えばポインティングデバイス（マウス）やキーボードなどの入力デバイス１０９とのインターフェース（ＩＦ）である。表示ＩＦ１０６は、画像処理装置１００の保持するデータや供給されたデータを表示するためのディスプレイ１１０とのインターフェースである。

システムバス１０８は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、操作入力ＩＦ１０５及び表示ＩＦ１０６の各ユニットを相互に通信可能に接続するためのものである。

次に、本実施形態による画像処理方法について、図１乃至図６を用いて説明する。
本実施形態では、ＰＣ上で動作する、動画像データを再生するアプリケーションソフトによって実行される画像処理方法の例を説明する。このアプリケーションソフトでは、動画の再生速度、画像拡大率及び画像表示位置の設定が可能であるものとする。再生速度は、１／２倍、１倍、２倍、４倍及び８倍の５段階で設定可能であるものとする。１倍速での再生が、通常再生の速度となる。また、拡大率は、１００％、２００％、４００％及び８００％の４段階で設定可能であるものとする。１００％での表示が、動画の画面全体を表示する再生となる。

なお、本実施形態では、一例として、Ｈ．２６４でエンコードされたＭＰ４形式の動画ファイルを扱う場合を説明するが、それ以外の形式の動画ファイルを扱うこともできる。また、本実施形態では、通常動画の中の一部分を切り出して拡大表示する例について説明するが、例えば全天球動画において３６０度全方位の中から任意に切り出し領域を指定して表示するような場合にも、本発明を適用可能である。

本実施形態による画像処理方法は、制御部１０１が、図２及び図３に示すフローチャートに従って処理を行う動画再生処理プログラムを実行することにより実施される。

動画再生処理プログラムが起動されると、制御部１０１は、例えば図４に示すような初期画面４をディスプレイ１１０に表示する（ステップＳ２００）。図４に示す初期画面４は、動画表示エリア４Ａ、再生ボタン４Ｂ、ポーズボタン４Ｃ、再生スライダー４Ｄ、再生速度設定コントロール４Ｅ、拡大率設定コントロール４Ｆ、拡大表示位置設定コントロール４Ｇ、終了ボタン４Ｈを含む。

再生スライダー４Ｄは、動画再生アプリケーションで一般的に使用されているものであり、表示されている動画のフレーム位置を視覚的に表すとともに、つまみの操作によってフレーム位置の移動を可能にする機能を備えている。再生速度設定コントロール４Ｅは、例えばドロップダウンリストからなり、本実施形態では１／２倍、１倍、２倍、４倍及び８倍の中から再生速度の選択が可能である。再生スライダー４Ｄ及び再生速度設定コントロール４Ｅは、ユーザからの指示に応じて表示速度情報を設定する表示速度情報設定手段の一例である。

拡大率設定コントロール４Ｆは、例えばドロップダウンリストからなり、本実施形態では１００％、２００％、４００％及び８００％の中から画像拡大率の選択が可能である。拡大表示位置設定コントロール４Ｇは、上下左右の４つのボタンで構成される。拡大率設定コントロール４Ｆ及び拡大表示位置設定コントロール４Ｇは、ユーザからの指示に応じて表示領域情報を設定する表示領域情報設定手段の一例である。

ユーザは、入力デバイス１０９やディスプレイ１１０に表示されたこれらグラフィカルユーザインターフェース（ＧＵＩ）を介して、この動画再生処理プログラムを操作することができる。入力デバイス１０９には、キーボード、マウス等のポインティングデバイス、ディスプレイ１１０と一体化されたタッチパネルなど、一般的に使用されているものを使用することができる。

次いで、ステップＳ２０５において、制御部１０１は、ユーザからの指示に応じて動画ファイルの設定を行う。例えば、制御部１０１は、ディスプレイ１１０上にファイル選択ダイアログ（図示せず）を表示する。これによりユーザは、外部記憶装置１０４内に記憶されている動画ファイルの中から任意の動画ファイルを選択することが可能となる。動画ファイルの選択には、例えばオペレーティングシステム（ＯＳ：Operating System）に標準で用意されているファイルオープンダイアログを使用することができる。

次いで、ステップＳ２１０において、制御部１０１は、動画再生情報の初期設定を行う。動画再生情報には、例えば、ファイルパス情報、表示フレーム情報、再生モード情報、再生速度情報、拡大率情報、画像表示位置情報、の６つの情報が含まれる。これら動画再生情報は、ＲＡＭ１０３に保持される。
ここで、ファイルパス情報は、ステップＳ２０５においてユーザによって選択された動画ファイルのフルパスを表す情報である。

表示フレーム情報は、動画の先頭からのフレーム番号を表す情報である。ステップＳ２１０において、表示フレーム情報は、先頭を意味する０に初期化される。

再生モード情報は、動画再生の状態を表す情報であり、「ＰＬＡＹ」と「ＰＡＵＳＥ」の二種類の再生モードからなる。ステップＳ２１０において、再生モード情報は、再生状態を意味する「ＰＬＡＹ」に初期化される。再生状態は、再生ボタン４Ｂ及びポーズボタン４Ｃ等によって操作可能である。

再生速度情報は、動画の再生速度を表す情報であり、本実施形態では５段階で設定可能である。ステップＳ２１０において、再生速度情報は、１倍に初期化される。再生速度情報は、再生速度設定コントロール４Ｅにより操作可能である。

拡大率情報は、動画再生時の画像拡大率を表す情報であり、本実施形態では４段階で設定可能である。ステップＳ２１０において、拡大率情報は、１００％に初期化される。拡大率情報は、拡大率設定コントロール４Ｆにより操作可能である。

画像表示位置情報は、拡大設定時に動画のどの部分を中心にするかを表す情報である。ステップＳ２１０において、画像表示位置情報は、中央座標を示す情報に初期化される。例えば、３８４０×２１６０サイズの動画像データを扱う場合には、中央座標の値（１９２０，１０８０）に初期化される。像表示位置情報は、拡大表示位置設定コントロール４Ｇにより操作可能である。

次いで、ステップＳ２１５において、制御部１０１は、ユーザ操作による設定変更処理を行う。すなわち、ユーザからの操作に応じて、上述の各情報について、ステップＳ２１０で設定した初期状態からの変更処理を行う。ここで、表示フレーム位置は、再生スライダー４Ｄにより操作可能である。再生モードの設定は、再生ボタン４Ｂ及び４Ｃによって操作可能である。再生速度情報は、再生速度設定コントロール４Ｅにより操作可能である。拡大率情報は、拡大率設定コントロール４Ｆにより操作可能である。画像表示位置情報は、拡大表示位置設定コントロール４Ｇにより操作可能である。

ステップＳ２１５において実行されるユーザ操作による設定変更処理の詳細について、図３のフローチャートを用いて説明する。

ステップＳ３００において、制御部１０１は、再生ボタン４Ｂ又はポーズボタン４Ｃが押されたかどうかの判断を行う。制御部１０１は、再生ボタン４Ｂ又はポーズボタン４Ｃが押されたと判断したときには処理をステップＳ３０５に移行し、再生ボタン４Ｂ及びポーズボタン４Ｃのいずれも押されていないと判断したときには処理をステップＳ３１０に移行する。

ステップＳ３０５において、制御部１０１は、ステップＳ３００におけるユーザの操作に応じて再生モードの設定を行う。すなわち、ステップＳ３００において再生ボタン４Ｂが押されたときには再生モードを「ＰＬＡＹ」に設定し、ステップＳ３００においてポーズボタン４Ｃが押されたときには再生モードを「ＰＡＵＳＥ」に設定する。

次いで、ステップＳ３１０において、制御部１０１は、再生スライダー４Ｄが操作されたかどうかの判断を行う。制御部１０１は、再生スライダー４Ｄが操作されたと判断したときには処理をステップＳ３１５に移行し、再生スライダー４Ｄが操作されていないと判断したときには処理をステップＳ３２０に移行する。

ステップＳ３１５において、制御部１０１は、ステップＳ３１０におけるユーザの操作に応じて表示フレーム情報の設定を行う。すなわち、ステップＳ３１０で操作された再生スライダー４Ｄのつまみ位置に応じて、表示フレーム情報の値を更新する。なお、再生スライダー４Ｄのつまみが一番左の場合が動画の先頭フレームに対応し、一番右の場合が最終フレームに対応する。

次いで、ステップＳ３２０において、制御部１０１は、再生速度設定コントロール４Ｅが操作されたかどうかの判断を行う。制御部１０１は、再生速度設定コントロール４Ｅが操作されたと判断したときには処理をステップＳ３２５に移行し、再生速度設定コントロール４Ｅが操作されていないと判断したときには処理をステップＳ３３０に移行する。

ステップＳ３２５において、制御部１０１は、ステップＳ３２０におけるユーザの操作に応じて再生速度情報の設定を行う。すなわち、ステップＳ３２０で操作された再生速度設定コントロール４Ｅのドロップダウンリストの項目に応じて、再生速度情報を設定する。本ステップにおいて、制御部１０１は、表示速度設定手段として機能する。

次いで、ステップＳ３３０において、制御部１０１は、拡大率設定コントロール４Ｆが操作されたかどうかの判断を行う。制御部１０１は、拡大率設定コントロール４Ｆが操作されたと判断したときには処理をステップＳ３３５に移行し、拡大率設定コントロール４Ｆが操作されていないと判断したときには処理をステップＳ３４０に移行する。

ステップＳ３３５において、制御部１０１は、ステップＳ３３０におけるユーザの操作に応じて拡大率情報の設定を行う。すなわち、ステップＳ３３０で操作された拡大率設定コントロール４Ｆのドロップダウンリストの項目に応じて、拡大率情報を設定する。

次いで、ステップＳ３４０において、制御部１０１は、拡大表示位置設定コントロール４Ｇが操作されたかどうかの判断を行う。制御部１０１は、拡大表示位置設定コントロール４Ｇが操作されたと判断したときには処理をステップＳ３４５に移行し、拡大表示位置設定コントロール４Ｇが操作されていないと判断したときにはユーザ操作による設定変更処理を終了する。

ステップＳ３４５において、制御部１０１は、ステップＳ３４０におけるユーザの操作に応じて、画像表示位置情報の設定を行う。すなわち、ステップＳ３４０における拡大表示位置設定コントロール４Ｇの上下左右の各ボタンの操作に応じて、画像表示位置情報を上下左右に移動するように設定する。例えば、上ボタンが操作された場合には、画像表示位置情報のＹ座標の値を１小さくする。もちろん、画像の端に到達してそれ以上移動できない場合には、設定は更新されないよう処理する。画像表示位置は、キーボード操作やマウスのドラッグ操作等により設定するようにしてもよい。ステップＳ３４５の後、ユーザ操作による設定変更処理は終了する。
なお、各情報の設定変更処理を行う順番は、特に限定されるものではない。

このようにして、ステップＳ２１５におけるユーザ操作による設定変更処理が終了した後は、ステップＳ２２０に移行する。

ステップＳ２２０において、制御部１０１は、表示領域算出処理を行う。具体的には、制御部１０１は、ＲＡＭ１０３に保持されている拡大率情報及び画像表示位置情報に基づき、実際にユーザが設定した表示領域を算出する。本ステップにおいて、制御部１０１は、表示領域設定手段として機能する。一例として、３８４０×２１６０サイズの動画像データを扱う場合について、図５を用いて説明する。

図５（ａ）は、動画像データの画面全体を示している。拡大率情報が１００％である場合は、図５（ａ）のように動画の画面全体が表示領域になる。拡大率情報が２００％に設定されており、画像表示位置情報が中央座標の（１９２０，１０８０）に設定されている場合は、画面の中央に配置された縦横それぞれ１／２倍の領域が表示領域になる。具体的には、図５（ｂ）中に点線で示すように、左上の座標が（９６０，５４０）、右下の座標が（２８８０，１６２０）である矩形状の領域が表示領域となる。拡大率情報が４００％に設定されており、画像表示位置情報が（１９２０，１０８０）に設定されている場合は、図５（ｃ）中に点線で示すように、左上の座標が（１４４０，８１０）、右下の座標が（２４００，１３５０）である矩形状の領域が表示領域となる。

次いで、ステップＳ２２５において、制御部１０１は、再生モードが「ＰＬＡＹ」であるかどうかを判断する。制御部１０１は、ＲＡＭ１０３に保持されている再生モード情報を参照し、再生モードが「ＰＬＡＹ」と設定されているときには処理をステップＳ２３０に移行し、再生モードが「ＰＡＵＳＥ」に設定されているときには処理をステップＳ２４０に移行する。

ステップＳ２３０において、制御部１０１は、再生速度が１倍速よりも大きい値に設定されているかどうかの判断を行う。再生速度が１倍速よりも大きい値に設定されているときには処理をステップＳ２３５に移行し、再生速度が１倍速以下のときには処理をステップＳ２４０に移行する。

続くステップＳ２３５において、制御部１０１は、ステップＳ２２０で算出した表示領域を変更する処理を行う。すなわち、本ステップにおいて、制御部１０１は、表示領域変更手段として機能する。ステップＳ２３５は、再生モードが「ＰＬＡＹ」であり且つ再生速度が１倍速よりも大きい値のときに処理が行われる。例えば、再生速度がＮ倍速で設定されている場合、表示領域を縦横それぞれＮ倍広くするように処理する（面積はＮ×Ｎ倍）。例えば、再生速度が２倍速で設定されている場合には、表示領域を縦２倍、横２倍広くするように設定する。ただし、Ｎ倍広くすることで動画の全体表示よりも大きくなるような場合には、全体表示となるようにする。

ステップＳ２３５における処理の一例について、図６を用いて説明する。拡大率情報が４００％、画像表示位置情報が（１９２０，１０８０）、再生速度が１倍速に設定されている場合は、表示領域はステップＳ２２０の設定から変更がないため、図６（ａ）中に点線で示しているような表示領域となる。一方、拡大率情報が４００％、画像表示位置情報が（１９２０，１０８０）、再生速度が２倍速に設定されている場合には、表示領域が縦２倍、横２倍に設定される。具体的には、図６（ｂ）中に点線で示したように、左上の座標が（９６０，５４０）、右下の座標が（２８８０，１６２０）である矩形状の領域に表示領域を変更する。また、更に再生速度が４倍速に設定されている場合には、表示領域が縦４倍、横４倍になるため、図６（ｃ）中に点線で示したように、画面全体（左上の座標が（０，０）、右下の座標が（３８４０，２１６０））に表示領域を変更する。

このようにして、ステップＳ２２５からステップＳ２３５の処理により、再生速度に応じて拡大時の表示領域を変更することが可能となる。

なお、本実施形態では、再生速度をＮ倍速に設定した場合に表示領域を縦横それぞれＮ倍に広くする例を示したが、表示領域を別の比率で広くするようにしてもよい。例えば、再生速度をＮ倍に設定した場合に、表示領域の面積をＮ倍にするような変更処理を行ってもよい。また、画像の表示領域を広くする別の方法として、動画表示エリア自体を複数表示することで、表示領域を広くするようにしてもよい。また、本実施形態では、再生速度が５段階で設定されている場合について説明したが、再生速度がより多段階で設定されている場合にも適用可能である。その場合には、再生速度に対応して、表示領域も多段階で変更するように動作する。

次いで、ステップＳ２４０において、制御部１０１は、動画の表示フレーム情報に対応したフレームデータをデコードする処理を行う。本実施形態では、Ｈ．２６４のデータのデコード処理を行う。

次いで、ステップＳ２４５において、制御部１０１は、ステップＳ２２０又はステップＳ２３５において決定された表示領域を、ステップＳ２４０においてデコードした画像データから切り出して、動画表示エリア４Ａに収まるようにリサイズして表示する。なお、ステップＳ２４５での画像データの表示時間は、動画のフレームレートと再生速度に依存する。例えば、３０ｆｐｓの動画を１倍速表示する場合には、１フレームの表示時間は１／３０秒とする。また、３０ｆｐｓの動画を２倍速表示する場合には、１フレームの表示時間は１／６０秒とする。

次いで、ステップＳ２５０において、制御部１０１は、動画を最後まで再生したかどうかを判断する。制御部１０１は、動画が最後まで再生されたと判断したときは処理をステップＳ２５５に移行し、動画が最後まで再生されていないと判断したときは処理をステップＳ２６５に移行する。

ステップＳ２５５では、制御部１０１は、動画の表示フレーム情報を先頭となるように０に設定する。続くステップＳ２６０において、制御部１０１は、動画の再生モードを「ＰＡＵＳＥ」に設定する。このようにして、動画を最後まで再生した場合には、ステップＳ２５５とステップＳ２６０の設定により、動画の先頭でポーズ状態になるように動作する。

一方、ステップＳ２６５では、制御部１０１は、再生モードが「ＰＬＡＹ」の場合には表示フレーム情報を次のフレーム番号に変更する(インクリメントする)。再生モードが「ＰＡＵＳＥ」の場合には、表示フレーム情報はそのままとする。

次いで、ステップＳ２７０において、制御部１０１は、終了ボタン４Ｈが押されたかどうかを判断する。制御部１０１は、終了ボタンが押されたと判断したときにはプログラムを終了する。一方、終了ボタンが押されなかったと判断したときには、制御部１０１は、動画再生処理を続けるために処理をステップＳ２１５に戻す。

以上のようにしてステップＳ２１５からステップＳ２７０を繰り返すことで、複数の画像データを順番に切り替えながら表示すること、つまり動画の再生を行うことができる。また、再生速度を変更した際に、変更後の再生速度に応じて表示領域も変更するように動作することが可能となる。

以上説明したように、本実施形態の画像処理方法は、設定可能な複数の再生速度の中から一の再生速度を選択して設定した際に、設定された再生速度に応じて表示領域を広くする構成としている。これにより、再生速度が速ければ速いほど、画像中の表示領域をより広く見ることができるようになるため、動画の内容を把握しやすくなる。例えば、再生速度が速い場合はサーチ目的が多いと考えられるが、再生速度に合わせて表示領域を広くするように動作することで、内容を把握しやすくできる。また、動画中の移動物体に注目している場合などは、再生速度が速ければ速いほど目が付いていけなくなる可能性が大きいが、再生速度に合わせて表示領域を広くするように動作することで、移動する物体があった場合でも内容を把握しやすくできる。

［第２実施形態］
本発明の第２実施形態による画像処理方法について、図７及び図８を用いて説明する。図１乃至図６に示す第１実施形態による画像処理方法及び装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図７は、本実施形態による画像処理方法を示すフロー図である。図８は、本実施形態による画像処理方法における表示領域変更処理手順を示すフロー図である。

本実施形態では、図１に示す第１実施形態による画像処理装置を用いた他の画像処理方法について説明する。本実施形態による画像処理方法も、ＰＣ上で動作する、動画像データを再生するアプリケーションソフトによって実行されるものである。本実施形態のアプリケーションソフトでは、動画の再生速度、画像拡大率及び画像表示位置の設定が可能であるものとする。特に、本実施形態では、再生速度だけでなく拡大率をも考慮して表示領域を変える例を示す。再生速度は、第１実施形態と同様に、１／２倍、１倍、２倍、４倍及び８倍の５段階で設定可能であるものとする。また、拡大率も、第１実施形態と同様に、１００％、２００％、４００％及び８００％の４段階で設定可能であるものとする。

本実施形態による画像処理方法は、制御部１０１が、図７及び図８に示すフローチャートに従って処理を行う動画再生処理プログラムを実行することにより実現される。

図７において、ステップＳ７００からステップＳ７３０及びステップＳ７４０からステップＳ７７０は、図２のステップＳ２００からステップＳ２３０及びステップＳ２４０からステップＳ２７０と同様のため、ここでは説明を省略する。

ステップＳ７３５における表示領域の変更処理について、図８のフローチャートを用いて説明する。
ステップＳ８００において、制御部１０１は、拡大率が１００％に設定されているかどうかの判断を行う。制御部１０１は、拡大率が１００％に設定されていると判断したときには、表示領域を変更する必要はないので、ステップＳ７３５の表示領域の変更処理を終了する。一方、拡大率が１００％よりも大きい値に設定されていると判断したときは、制御部１０１は、処理をステップＳ８０５に移行する。

ステップＳ８０５では、制御部１０１は、設定されている拡大率情報から、表示領域変更の条件となる再生速度の閾値（最小値）を取得する。ここで、表示領域変更の条件となる再生速度の閾値は、プログラム内にテーブルとして保持されているものとする。
拡大率に対する再生速度の閾値を記述するテーブルは、特に限定されるものではないが、例えば以下に示すものが挙げられる。

このテーブルは、拡大率情報が例えば２００％に設定されている場合は、再生速度を８倍以上に設定されている場合にだけ表示領域を広くする、ということを表している。同様に、拡大率情報が例えば４００％に設定されている場合は、再生速度を４倍以上に設定されている場合にだけ表示領域を広くする、ということを表している。

次いで、ステップＳ８１０において、制御部１０１は、現在設定されている再生速度が、ステップＳ８０５で取得した閾値以上かどうかの判断を行う。制御部１０１は、閾値以上の再生速度が設定されていないと判定したときには、表示領域を変更する必要がないと判断し、ステップＳ７３５の表示領域の変更処理を終了する。一方、閾値以上の再生速度が設定されていると判断したときは、制御部１０１は、処理をステップＳ８１５に移行する。

ステップＳ８１５では、制御部１０１は、現在設定されている再生速度から、表示領域をどの程度広くするかの係数を求める。本実施形態では、次の計算式を用いてこの係数を算出するものとする。
表示倍率係数＝（設定されている再生速度÷再生速度の閾値）×２
この計算式では、例えば閾値が４倍に設定されており再生速度が８倍に設定されているときは、表示倍率係数は４となる。また、閾値が４倍に設定されており再生速度が４倍に設定されているときは、表示倍率係数は２となる。

次いで、ステップＳ８２０において、制御部１０１は、表示倍率係数が１より大きいかどうかを判断する。制御部１０１は、表示倍率係数が１以下であると判定したときには、表示領域を変更しないと判断し、ステップＳ７３５の表示領域の変更処理を終了する。一方、表示倍率係数が１1より大きいと判定したときには、処理をステップＳ８２５に移行する。

ステップＳ８２５では、制御部１０１は、ステップＳ８１５で求めた係数に従って、表示領域を広げる処理を行う。具体的には、表示領域を縦横それぞれ求めた係数倍広くするように処理する。例えば、ステップＳ８１５で求めた表示倍率係数が２の場合には、表示領域を縦２倍、横２倍広くするように設定する。ステップＳ８２５の処理の後、ステップＳ７３５の表示領域の変更処理は終了する。

本実施形態による画像処理方法では、ステップＳ８００からステップＳ８２５の処理により、再生速度が閾値以上の場合にだけ、表示領域を変更するようにしている。また、再生速度の閾値も、拡大率の設定によって切り替えるため、表示領域が広い場合には影響を受けにくい動作となる。例えば、拡大率８００％での表示時は再生速度を２倍にした場合でも表示領域が大きくなるように動作するが、拡大率４００％での表示時は再生速度を４倍以上にした場合にだけ表示領域が大きくなるように動作する。また、拡大率２００％での表示時は、再生速度を８倍以上にした場合にだけ表示領域が大きくなるように動作する。

以上説明したように、本実施形態の画像処理方法は、再生速度だけでなく再生速度と拡大率との関係をも考慮して表示領域を広げる構成としている。これにより、動画の再生速度を変更した際に、動画の表示状態や再生状態に応じて表示領域を変更することが可能となり、動画の内容をより把握しやすくできる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記第１実施形態に示した画像処理装置の構成は、一例を示したものであり、本発明を適用可能な画像処理装置は図１に示した構成に限定されるものではない。

また、上記実施形態では、ドロップダウンリストを用いて再生速度を設定する例を示したが、再生スライダー４Ｄの操作時の動作に応じて再生速度を設定するようにしてもよい。例えば、再生スライダー４Ｄの操作時に、再生スライダー４Ｄのつまみの移動速度に応じた再生速度を算出し、その再生速度に対応して表示領域を変更するように動作することができる。

また、上記実施形態では、画像データとして動画データを扱う場合を例にして説明を行ったが、動画データだけでなく静止画像データを順番に切り替えて表示する際にも、上記実施形態の画像処理方法を適用可能である。例えば、連写して撮影した静止画像を順番に画像送りで表示する場合にも、動画再生の場合と同様に適用することができる。この場合には、再生速度の代わりに、静止画像の表示の切り替え速度に応じて拡大表示領域を変更する動作となる。

また、上記第２実施形態では、表示領域の変更の条件となる閾値をテーブルとして保持する構成としたが、別の手段により閾値を決定するようにしてもよい。また、上記実施形態では、計算式を用いて表示倍率係数を算出する例を示したが、これ以外の計算式や方法によって表示率係数を決定するようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明の目的は、以下の処理を実行することによって達成される。すなわち、上述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…画像処理装置
１０１…制御部
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…外部記録装置
１０５…操作入力ＩＦ
１０６…表示ＩＦ
１０８…システムバス
１０９…入力デバイス
１１０…ディスプレイ

Claims (21)

1. 一連の画像を順番に表示装置に表示する画像処理装置であって、
   前記画像の中から切り出して表示する表示領域を設定する領域設定手段と、
   前記一連の画像の切り替え速度を設定する速度設定手段と、
   前記一連の画像を順番に表示装置に表示している最中に、前記速度設定手段により切り替え速度が変更された場合に、変更後の前記切り替え速度に応じて前記表示領域として切り出される領域を変更する変更手段と、を有し、
   前記変更手段は、変更後の前記切り替え速度が速いほど前記画像から切り出される領域が広くなるように、前記表示領域を変更する
   ことを特徴とする画像処理装置。
2. 前記一連の画像は、複数のフレームで構成される動画像であり、前記切り替え速度は、動画の再生速度である
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記動画像は、全天球動画である
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記一連の画像は、複数の静止画像であり、前記切り替え速度は、前記静止画像の表示の切り替え速度である
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記複数の静止画像は、連写した静止画像である
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記速度設定手段は、スライダーである
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記変更手段は、前記切り替え速度の倍率に比例して、前記表示領域として切り出される領域の縦又は横の長さを変更する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記変更手段は、前記切り替え速度の倍率に比例して、前記表示領域として切り出される領域の面積を変更する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記変更手段は、変更後の前記切り替え速度が前記表示領域に応じて定められた所定の閾値以上の場合に、前記表示領域として切り出される領域を変更する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 前記切り替え速度の前記閾値は、前記表示領域として切り出される領域が広いほど大きい
    ことを特徴とする請求項９記載の画像処理装置。
11. 一連の画像を順番に表示装置に表示する画像処理方法であって、
    前記画像の中から切り出して表示する表示領域を設定するステップと、
    前記一連の画像の切り替え速度を設定するステップと、
    前記一連の画像を順番に表示装置に表示している最中に、前記切り替え速度が変更された場合に、変更後の前記切り替え速度に応じて前記表示領域として切り出される領域を変更するステップと、を有し、
    前記表示領域を変更するステップでは、変更後の前記切り替え速度が速いほど前記表示領域として切り出される領域が広くなるように、前記表示領域を変更する
    ことを特徴とする画像処理方法。
12. 前記一連の画像は、複数のフレームで構成される動画像であり、前記切り替え速度は、動画の再生速度である
    ことを特徴とする請求項１１記載の画像処理方法。
13. 前記動画像は、全天球動画である
    ことを特徴とする請求項１２記載の画像処理方法。
14. 前記一連の画像は、複数の静止画像であり、前記切り替え速度は、前記静止画像の表示の切り替え速度である
    ことを特徴とする請求項１１記載の画像処理方法。
15. 前記複数の静止画像は、連写した静止画像である
    ことを特徴とする請求項１４記載の画像処理方法。
16. 前記表示領域を変更するステップでは、前記切り替え速度の倍率に比例して、前記表示領域として切り出される領域の縦又は横の長さを変更する
    ことを特徴とする請求項１１乃至１５のいずれか１項に記載の画像処理方法。
17. 前記表示領域を変更するステップでは、前記切り替え速度の倍率に比例して、前記表示領域として切り出される領域の面積を変更する
    ことを特徴とする請求項１１乃至１５のいずれか１項に記載の画像処理方法。
18. 前記表示領域を変更するステップでは、変更後の前記切り替え速度が前記表示領域に応じて定められた所定の閾値以上の場合に、前記表示領域として切り出される領域を変更する
    ことを特徴とする請求項１１乃至１５のいずれか１項に記載の画像処理方法。
19. 前記切り替え速度の前記閾値は、前記表示領域が広いほど大きい
    ことを特徴とする請求項１８記載の画像処理方法。
20. 一連の画像を順番に表示装置に表示する際に、コンピュータに、
    前記画像の中から切り出して表示する表示領域を設定するステップと、
    前記一連の画像の切り替え速度を設定するステップと、
    前記一連の画像を順番に表示装置に表示している最中に、前記切り替え速度が変更された場合に、変更後の前記切り替え速度に応じて前記表示領域として切り出される領域を変更するステップであって、変更後の前記切り替え速度が速いほど前記表示領域として切り出される領域が広くなるように前記表示領域を変更する、ステップと、
    を実行させるプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。

Images