JP4802524B2 - 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 - Google Patents
画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 Download PDFInfo
- Publication number
- JP4802524B2 JP4802524B2 JP2005071676A JP2005071676A JP4802524B2 JP 4802524 B2 JP4802524 B2 JP 4802524B2 JP 2005071676 A JP2005071676 A JP 2005071676A JP 2005071676 A JP2005071676 A JP 2005071676A JP 4802524 B2 JP4802524 B2 JP 4802524B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- frame rate
- image
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、動画像を処理する画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法に関するものである。
動画像を処理する技術として、たとえば特許文献１に開示された「画像処理方法」、あるいは特許文献２に開示された「画像再生装置」が提案されている。
特許文献１に開示されている「画像処理方法」は、異なるフレームレートで撮影された動画像が混在する画像データを再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）するように構成されている。
また、特許文献２に開示されている「画像再生装置」は、動画データの中からユーザが所望のコマを容易に検索でき、指定したコマの位置から動画を再生することができるように構成されている。
特開２００４−２２１９９９号公報
特開２００４−２４７８９９号公報
ところで、メモリ、ストレージ量の増大、回路の処理速度の向上により、より多くの詳細な動画像を扱える装置が増えているが、使用者がその動画像を整理、選択するのは難しくなってきている。
上述したように、特許文献１に開示されている「画像処理方法」は、異なるフレームレートで撮影された動画像が混在する画像データを再生する際に、高フレームレートで撮影されたフレーム群を自動的に遅延再生（スロー再生）すること」を課題としているが再生することのみが目的となっており、その方法を実装した装置を使用した際に使用者には動画像のフレームレートを判別することが困難である。
そのため、複数の動画像を管理するのが困難である。また、「異なるフレームレートで撮影された動画像」であって解像度も異なる動画像が混在している場合には最適ではない。
そのため、複数の動画像を管理するのが困難である。また、「異なるフレームレートで撮影された動画像」であって解像度も異なる動画像が混在している場合には最適ではない。
そして、一般に動画像を扱う装置では一度に多くのものを扱い、動画像自体も多くの情報を含む。そのため、それらから所望の情報を得るのは困難である。
上述したように、特許文献２に開示された「画像再生装置」は、「動画データの中からユーザが所望のコマを容易に検索でき、指定したコマの位置から動画を再生することができる画像再生装置を提供する」ことを課題としているが、「複数のダイジェストコマが時系列順に配列」とあり時系列であるため情報の並び順に制限がある。
まだ時系列順であると画像の特徴を十分に抽出した順番ではないため、使用者が所望の画像にたどりつくまで時間がかかってしまう。
上述したように、特許文献２に開示された「画像再生装置」は、「動画データの中からユーザが所望のコマを容易に検索でき、指定したコマの位置から動画を再生することができる画像再生装置を提供する」ことを課題としているが、「複数のダイジェストコマが時系列順に配列」とあり時系列であるため情報の並び順に制限がある。
まだ時系列順であると画像の特徴を十分に抽出した順番ではないため、使用者が所望の画像にたどりつくまで時間がかかってしまう。
本発明は、解像度やフレームレートが異なる複数の動画像を容易に管理できる画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法を提供することにある。
本発明の第１の観点は、動画像を再生処理可能な画像処理装置であって、解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、上記作成回路は、再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する。
好適には、上記作成回路は、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して、複数フレーム表示する場合には、複数フレームの縮小画像を作成して、デコードされた表示する画像に、作成した縮小画像、並びに、解像度、および／またはフレームレートに関する表示情報を合成して上記表示部に表示させ、複数フレーム表示しない場合には、デコードされた表示する画像に、解像度、および／またはフレームレートに関する表示情報を合成して上記表示部に表示させる。
好適には、上記作成回路は、上記解像度、および／またはフレームレートに関する情報がある場合であって、複数フレーム表示する場合には、複数フレームの縮小画像を作成して、デコードされて表示する画像に、作成した縮小画像、並びに、解像度、および／またはフレームレートに関する表示情報を合成し上記表示部に表示させ、複数フレーム表示しない場合には、デコードされた表示する画像に、解像度、および／またはフレームレート情報を合成して上記表示部に表示させる。
本発明の第２の観点は、解像度、および／またはフレームレートが一定でない動画像を撮影、再生できるカメラシステムであって、動画像を再生処理可能な画像処理装置を有し、上記画像処理装置は、解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、上記作成回路は、再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する。
本発明の第３の観点は、解像度、および／またはフレームレートが一定でない動画像を保存、再生できるビデオシステムであって、動画像を再生処理可能な画像処理装置を有し、上記画像処理装置は、解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、上記作成回路は、再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する。
本発明の第４の観点は、解像度、および／またはフレームレートが一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムであって、動画像を再生処理可能な画像処理装置を有し、上記画像処理装置は、解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、上記作成回路は、再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する。
本発明の第５の観点は、動画像を再生処理可能な画像処理方法であって、解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力し、出力された表示情報を少なくとも一部に表示するにあたって、再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する。
本発明によれば、解像度やフレームレートが異なる複数の動画像を容易に管理でき、解像度およびフレームレートが可変の動画像をより簡易に作成することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
＜第１の実施形態＞
図１は、本実施形態に係る画像処理装置を示す構成図である。
図１は、本実施形態に係る画像処理装置を示す構成図である。
本画像処理装置１は、図１に示すように、表示系作成回路２、および表示デバイス３を、主構成要素として有している。
画像処理装置１における表示系作成回路２は、以下の機能を有している。
１）動画像の時間的な動きヒストグラムを算出・表示する機能、
２）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、決定されたレートに応じた画像データを作成する機能、
３）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、次々適応的にレートを変更していく制御・表示機能、
４）動きヒストグラム情報を表示デバイス３によりユーザに公開し、最適なフレームレート設定をユーザに推奨する機能、
５）通常画像および解像度、フレームレートが一定でない動画像上に、時間的に前後する複数のフレームをサムネイル化して表示する機能、
６）サムネイル化された前後フレームを選択し、対応画像を主画像として通常画像および解度、フレームレートが一定でない動画像の再生を再開する機能、
７）通常画像および解像度、フレームレートが一定でない動画像再生・表示中に、その主画像に添付するサムネイル画像を作成する機能、
８）通常画像とそれに符合する解像度、フレームレートが一定でない動画像データを画像バッファから取り出し、画像合成後に表示装置に送出する機能、
９）解像度、フレームレートが一定でない動画像の再生状況をユーザに通知するための各種情報を表示する機能、
１０）解像度、フレームレートが一定でない動画像の解像度、フレームレートの変化区間を時間的に表示する機能、およびユーザによりその区間を指定可能とする機能、
１１）解像度、フレームレートが一定でない動画像において解像度、フレームレートがいつ変化するかを通知する機能、および通知情報を事前に入手するためのデータ保存する機能、
１２）通常時間軸フレームおよび高フレームレート動画像の簡易的な閲覧・再生のための選択手段をユーザに提示する表示機能、
１３）録画された各フレームを、異なる間隔の通常時間軸、詳細な時間軸に分割し、選択させる表示機能、
１４）動画像内のフレームを異なる間隔の時間軸で一度に画面に表示する機能、
１５）動画像内のフレームを時間軸情報を付加して複数表示する機能、
１６）動画像内のフレームを輝度、色、動きなどのフレームの特徴で並べて一度に画面に表示する機能、
１７）いくつかの通常動画像、および、解像度、フレームレートが一定でない動画像をファイル情報をもとに選択する機能、および
１８）いくつかの通常動画像、および、解像度、フレームレートの一定でない動画像を簡単に操作可能とする機能、
を含んで構成される。
１）動画像の時間的な動きヒストグラムを算出・表示する機能、
２）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、決定されたレートに応じた画像データを作成する機能、
３）動きヒストグラム情報を参考に、再生すべきフレームレートを自動的に決定し、次々適応的にレートを変更していく制御・表示機能、
４）動きヒストグラム情報を表示デバイス３によりユーザに公開し、最適なフレームレート設定をユーザに推奨する機能、
５）通常画像および解像度、フレームレートが一定でない動画像上に、時間的に前後する複数のフレームをサムネイル化して表示する機能、
６）サムネイル化された前後フレームを選択し、対応画像を主画像として通常画像および解度、フレームレートが一定でない動画像の再生を再開する機能、
７）通常画像および解像度、フレームレートが一定でない動画像再生・表示中に、その主画像に添付するサムネイル画像を作成する機能、
８）通常画像とそれに符合する解像度、フレームレートが一定でない動画像データを画像バッファから取り出し、画像合成後に表示装置に送出する機能、
９）解像度、フレームレートが一定でない動画像の再生状況をユーザに通知するための各種情報を表示する機能、
１０）解像度、フレームレートが一定でない動画像の解像度、フレームレートの変化区間を時間的に表示する機能、およびユーザによりその区間を指定可能とする機能、
１１）解像度、フレームレートが一定でない動画像において解像度、フレームレートがいつ変化するかを通知する機能、および通知情報を事前に入手するためのデータ保存する機能、
１２）通常時間軸フレームおよび高フレームレート動画像の簡易的な閲覧・再生のための選択手段をユーザに提示する表示機能、
１３）録画された各フレームを、異なる間隔の通常時間軸、詳細な時間軸に分割し、選択させる表示機能、
１４）動画像内のフレームを異なる間隔の時間軸で一度に画面に表示する機能、
１５）動画像内のフレームを時間軸情報を付加して複数表示する機能、
１６）動画像内のフレームを輝度、色、動きなどのフレームの特徴で並べて一度に画面に表示する機能、
１７）いくつかの通常動画像、および、解像度、フレームレートが一定でない動画像をファイル情報をもとに選択する機能、および
１８）いくつかの通常動画像、および、解像度、フレームレートの一定でない動画像を簡単に操作可能とする機能、
を含んで構成される。
このような機能を併せ持つ表示系作成回路２は、フレームレート、および／または解像度が一定でない動画像を作成、再生できる回路としての機能を有することになる。
以下、表示系作成回路２の具体的な構成および上記各機能に基づく表示デバイス３への表示例等を説明する。また、フレームレート、および／または解像度が一定でない動画像を撮影、再生できるカメラシステム、フレームレート、および／または解像度が一定でない動画像を保存、再生できるビデオシステム、並びに、フレームレート、および／または解像度が一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムおよびそれを使用したネットワークサービスについて、順を追って説明する。
まず、表示系作成回路２の具体的な構成および機能について説明する。
表示系作成回路２は、動画像のソース作成時に各フレームと一緒に解像度、フレームレートの値が記録してあれば、再生時にその情報を装置が得ることによって上記の各機能（後で詳細に説明する表示方法）を実現できる。
また、表示系作成回路２は、動画像ソースに解像度、フレームレートの詳細な情報が保存されていなければ、再生する前に多くの時間分のデコードを行い計算して情報を作成する。
また、表示系作成回路２は、動画像ソースに解像度、フレームレートの詳細な情報が保存されていなければ、再生する前に多くの時間分のデコードを行い計算して情報を作成する。
表示系作成回路２は、図１に示すように、デコーダ２１、ＣＰＵ２２、表示作成演算回路２３、表示デバイスインターフェース２４、メモリコントローラ２５、内蔵記憶素子２６、ストレージインターフェース２７が、バス２８により接続されて構成されている。
デコーダ２１は、動画像ソースから再生用のフレーム画像、動画像の情報を作成する。
ＣＰＵ２２は、デコーダ２１、表示作成演算回路２３や回路全体を制御する。
メモリコントローラ２５は、メモリへの動画像ソース、作業領域アクセス用に使用される。
内蔵記憶素子２６は、作業領域アクセス用に使用される。
ストレージインターフェース２７は、動画像ソースのあるストレージへのアクセス用に使用される。
ＣＰＵ２２は、デコーダ２１、表示作成演算回路２３や回路全体を制御する。
メモリコントローラ２５は、メモリへの動画像ソース、作業領域アクセス用に使用される。
内蔵記憶素子２６は、作業領域アクセス用に使用される。
ストレージインターフェース２７は、動画像ソースのあるストレージへのアクセス用に使用される。
表示作成演算回路２３は、制御回路２３１、画像の拡大縮小機能（エンジン）２３２、描画エンジン２３３、演算機能（エンジン）２３４、およびメモリ操作機能（回路）２３５を有しており、後で、図３から図１３に関連付けて説明するような表示、グラフ、縮小画像を作成することができる。
また、表示作成演算回路２３は、画像の拡大縮小機能、演算機能、メモリ操作機能を有することから、デコーダ２１でデコードした画像からフレームレート、解像度変換を動的に変更して出力用の画像を作成することもできる。
また、表示作成演算回路２３は、画像の拡大縮小機能、演算機能、メモリ操作機能を有することから、デコーダ２１でデコードした画像からフレームレート、解像度変換を動的に変更して出力用の画像を作成することもできる。
表示デバイスインターフェース２４は、出力用の画像と表示作成演算回路２３で作成された表示、グラフ、縮小画像を合成して表示デバイス３の表示画面に出力する。
表示系作成回路２の動作例について説明する。
まず、デコーダ２１でメモリ、ストレージ上にある動画像ソースをデコードして画像を作成する。その際に必要な解像度、フレームレート情報が動画像ソース上になければＣＰＵ２２からデコーダ２１に指示を出して続けて複数枚デコードしてメモリ、内部記憶素子２６上に書き込む。
それらの画像から表示作成演算回路２４が、解像度、フレームレート情報を計算して求める。続けて、必要に応じて表示作成演算回路２４が表示、グラフ、縮小画像を作成して、メモリ、内部記憶素子２６に書き込む。
それらとデコーダ後の画像を表示デバイスインターフェース２４で合成して表示デバイス３に出力する。
まず、デコーダ２１でメモリ、ストレージ上にある動画像ソースをデコードして画像を作成する。その際に必要な解像度、フレームレート情報が動画像ソース上になければＣＰＵ２２からデコーダ２１に指示を出して続けて複数枚デコードしてメモリ、内部記憶素子２６上に書き込む。
それらの画像から表示作成演算回路２４が、解像度、フレームレート情報を計算して求める。続けて、必要に応じて表示作成演算回路２４が表示、グラフ、縮小画像を作成して、メモリ、内部記憶素子２６に書き込む。
それらとデコーダ後の画像を表示デバイスインターフェース２４で合成して表示デバイス３に出力する。
図２は、そのときの表示作成演算回路とデコーダの動作例を示すフローチャートである。
図２において、動画像ソースに基づいて解像度、フレーム情報があるか否かを判定する（ＳＴ１，ＳＴ２）。
情報がない場合は１フレームデコードして（ＳＴ３）、必要枚数有るか否かを判定する（ＳＴ４）。必要枚数あると複数フレーム画像として、解像度、フレームレート情報を作成する（ＳＴ５，ＳＴ６）。
そして、複数フレーム表示するか否かを判定し（ＳＴ７）、複数フレーム表示する場合は、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ７で複数フレーム表示しないと判定すると、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ２において、解像度、フレーム情報があると判定すると、複数フレーム表示するか否かを判定する（ＳＴ１１）。
表示する場合は、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
複数フレーム表示しない場合は、１フレームデコードして（ＳＴ１２）、必要枚数あるか否かを判定する（ＳＴ１３）。そして、必要枚数ある場合には複数フレーム画像として（ＳＴ１４）、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
図２において、動画像ソースに基づいて解像度、フレーム情報があるか否かを判定する（ＳＴ１，ＳＴ２）。
情報がない場合は１フレームデコードして（ＳＴ３）、必要枚数有るか否かを判定する（ＳＴ４）。必要枚数あると複数フレーム画像として、解像度、フレームレート情報を作成する（ＳＴ５，ＳＴ６）。
そして、複数フレーム表示するか否かを判定し（ＳＴ７）、複数フレーム表示する場合は、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ７で複数フレーム表示しないと判定すると、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
ステップＳＴ２において、解像度、フレーム情報があると判定すると、複数フレーム表示するか否かを判定する（ＳＴ１１）。
表示する場合は、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
複数フレーム表示しない場合は、１フレームデコードして（ＳＴ１２）、必要枚数あるか否かを判定する（ＳＴ１３）。そして、必要枚数ある場合には複数フレーム画像として（ＳＴ１４）、縮小画像を作成し（ＳＴ８）、表示情報を作成して（ＳＴ９）、解像度、および／またはフレームレート情報を表示する（ＳＴ１０）。
図１の回路を使用することによって、解像度、フレームレートが一定ではない動画像ソースをデコード、再生することができるだけでなく、従来と異なり動画像ソースの解像度、フレームレートの情報をフレーム単位でリアルタイムに瞬時に得ることができる。
フレームレート、解像度などが一定でない動画像を見ているときに使用者は実際に見ている動画像のフレームレート、解像度など情報を判断することができない。
そこで、図１の画像処理装置１を適用することにより、その情報を画面にグラフ、記号、文字、数字で表示デバイス３に表示することによって情報を示す。その表示例を以下に示す。
そこで、図１の画像処理装置１を適用することにより、その情報を画面にグラフ、記号、文字、数字で表示デバイス３に表示することによって情報を示す。その表示例を以下に示す。
図３は、表示デバイス３の通常の表示画面であって、画面３０１に画像３０２と情報を示す表示情報３０３が出力されている。
図４は、通常時の画面に加えて再生中の動画像のフレームレート、解像度を表示させている表示例を示す図である。
図４の例においては、図３の通常時の画面に加えて現在再生中の動画像のフレームレート、解像度を意味する表示情報３０４が出力されている。表示３０４は記号、図でも構わない。これによって現在再生中のフレームレート、解像度、それらが変化したタイミングを使用者は知ることができる。
図４の例においては、図３の通常時の画面に加えて現在再生中の動画像のフレームレート、解像度を意味する表示情報３０４が出力されている。表示３０４は記号、図でも構わない。これによって現在再生中のフレームレート、解像度、それらが変化したタイミングを使用者は知ることができる。
図５は、通常の画面に比較して表示色を変えて表示している例を示す図である。
図５の例においては、図３の通常時の画面と比較して表示情報３０５の色が（たとえば黒から赤に）変わっている。
新しく表示を出力しなくても表示の色、大きさを変更することによってフレームレート、解像度の変化したことを示すことができる。これによって、フレームレート、解像度、それらが変化したことを使用者は知ることができる。
図５の例においては、図３の通常時の画面と比較して表示情報３０５の色が（たとえば黒から赤に）変わっている。
新しく表示を出力しなくても表示の色、大きさを変更することによってフレームレート、解像度の変化したことを示すことができる。これによって、フレームレート、解像度、それらが変化したことを使用者は知ることができる。
図６は、通常時の画面に加えて解像度、フレームレートが変化することを示す表示情報の表示例を示す図である。
図６の例においては、図３の画面に加えてこれから解像度、フレームレートが変化することを示す表示情報３０６を出力している。
これは、現在の解像度、フレームレートがどのくらいの時間続くか、または新しい解像度、フレームレートにいつ変化するのかという情報を使用者に示す。これによって、使用者はフレームレート、解像度が変化するタイミングを知ることができる。
図６の例においては、図３の画面に加えてこれから解像度、フレームレートが変化することを示す表示情報３０６を出力している。
これは、現在の解像度、フレームレートがどのくらいの時間続くか、または新しい解像度、フレームレートにいつ変化するのかという情報を使用者に示す。これによって、使用者はフレームレート、解像度が変化するタイミングを知ることができる。
図７は、図３の画面に加えて解像度、フレームレートが変化してから経過した時間を表示させている表示例を示す図である。
図７の例においては、図３の画面に加えて解像度、フレームレートが変化してから経過した時間の表示情報３０７を表示している。
これによって、使用者は解像度、フレームレートが変化してからの経過時間を知ることができる。
図７の例においては、図３の画面に加えて解像度、フレームレートが変化してから経過した時間の表示情報３０７を表示している。
これによって、使用者は解像度、フレームレートが変化してからの経過時間を知ることができる。
図８は、動画像ソースの情報を示すグラフを追加して表示している例を示す図である。
図８の例においては、通常の画面に動画像ソースの情報を示すグラフ３０８を追加して出力している。
これは元の動画像の中にタグを付加しておくことによって実現している。
図８の例においては、通常の画面に動画像ソースの情報を示すグラフ３０８を追加して出力している。
これは元の動画像の中にタグを付加しておくことによって実現している。
図９は、表示されるグラフ３０８の詳細を示す図である。
グラフ全体３０８は動画像ソース全体もしくはその部分の時間ごとの情報を意味している。
アイコン３０８１は現在画面に再生中の場面がグラフ３０８の中でどのくらいの時間にあるか示している。
局所グラフ３０８２、３０８３は色を変えることで動画像ソースの中で解像度、フレームレートが異なる部分があることを示している。
このグラフは水平方向でも垂直方向でも向きはかまわない。このグラフを表示することによって、図８の例においては、現在再生中の解像度、フレームレートと動画像ソース中の解像度、フレームレートを確認することができる。
グラフ全体３０８は動画像ソース全体もしくはその部分の時間ごとの情報を意味している。
アイコン３０８１は現在画面に再生中の場面がグラフ３０８の中でどのくらいの時間にあるか示している。
局所グラフ３０８２、３０８３は色を変えることで動画像ソースの中で解像度、フレームレートが異なる部分があることを示している。
このグラフは水平方向でも垂直方向でも向きはかまわない。このグラフを表示することによって、図８の例においては、現在再生中の解像度、フレームレートと動画像ソース中の解像度、フレームレートを確認することができる。
図１０は、動画像の動き量をグラフにした表示情報を追加した表示例を示す図である。
図１０の例においては、動画像の動き量をグラフにした表示情報３０９を追加して出力している。
動き量のグラフの例としては動画像の各ピクセルごとに前後の画像とどれくらい動きがあるかを計算した動き量をグラフにして表示する。
動き量を横軸にして縦軸をピクセル数にすると画面全体の動き量を知ることができる。または、横軸を画面のX軸またはY軸の値にして、縦軸を横軸の値ごとの動き量の合計値にする。この表示を動きヒストグラムと呼ぶ。これによって画面の動きの方向の度合いを使用者は知ることができる。MPEG1,2,4では各ピクセルの前のフレームとの移動量を動きベクトルと呼び使用している。動きヒストグラムの実現例としてはこれを用いたものが挙げられる。
図１０の例においては、動画像の動き量をグラフにした表示情報３０９を追加して出力している。
動き量のグラフの例としては動画像の各ピクセルごとに前後の画像とどれくらい動きがあるかを計算した動き量をグラフにして表示する。
動き量を横軸にして縦軸をピクセル数にすると画面全体の動き量を知ることができる。または、横軸を画面のX軸またはY軸の値にして、縦軸を横軸の値ごとの動き量の合計値にする。この表示を動きヒストグラムと呼ぶ。これによって画面の動きの方向の度合いを使用者は知ることができる。MPEG1,2,4では各ピクセルの前のフレームとの移動量を動きベクトルと呼び使用している。動きヒストグラムの実現例としてはこれを用いたものが挙げられる。
図１１は、画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数追加して表示している例を示す図である。
図１１の例においては、画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数追加して出力している。
たとえば、現在、再生している画面は現在のフレーム３１１のように枠の色を変える、またはサイズを変更してわかりやすく表示する。フレーム３１０，３１１の表示は動画像が再生をしていくにつれて更新していく。フレーム情報３１２で各フレーム３１０，３１１の時間、そのフレームが何フレーム目か、解像度、フレームレートなどの情報を同時に表示する。
停止中にもこれらは出力してフレーム３１０から選択することによって、再生する場面を動画像ソースから選ぶことができる。この方法は動画像の再生中だけでなく、停止中、編集中にも動画像ソースの情報を使用者が得るために使用できる。
図１１の例においては、画面に再生している動画像の現在のフレームまたはそれ以外のフレームを小さいサイズで画面上に複数追加して出力している。
たとえば、現在、再生している画面は現在のフレーム３１１のように枠の色を変える、またはサイズを変更してわかりやすく表示する。フレーム３１０，３１１の表示は動画像が再生をしていくにつれて更新していく。フレーム情報３１２で各フレーム３１０，３１１の時間、そのフレームが何フレーム目か、解像度、フレームレートなどの情報を同時に表示する。
停止中にもこれらは出力してフレーム３１０から選択することによって、再生する場面を動画像ソースから選ぶことができる。この方法は動画像の再生中だけでなく、停止中、編集中にも動画像ソースの情報を使用者が得るために使用できる。
図１２は、図１１のフレーム表示３１０のグラフ表示の例を示す図である。
まず、３２１で示すように片方の方向に向かってフレームが表示される。この場合、表示されているフレームは1フレームごとでなくても構わない。フレーム３２２，３２３の間に実際には８フレーム存在して、３２３，３２４のフレームの間には３フレーム存在するというように均等ではないフレーム間隔で表示することもできる。
大きな変化のあるフレームだけ表示するようにすれば短時間で動画像の動きの流れを表示することができる。表示されているフレーム間の間隔が不均等なので、３２５のように、さらに細かい時間でフレームを操作したい場合は次の操作を行う。
あるフレーム、たとえば３２３を選択すると３２１の方向とは別の方向にフレーム３２２のように細かい時間単位でフレーム３２３，３２４間のフレームが表示できる。
また、縮小されたフレームを時間順で並べて表示するだけでなく、輝度順、色の近いもの、動きの近いものという区分けで並べて表示することもできる。その際も３２５のように、時間が表示されているので動画像内での位置が容易に把握できる。
このような表示を利用してフレームを選択した後に、使用者は削除したり、再生することができる。この機能を使用することによって、動画像全体の情報を使用者は短い時間で得ることができる。
まず、３２１で示すように片方の方向に向かってフレームが表示される。この場合、表示されているフレームは1フレームごとでなくても構わない。フレーム３２２，３２３の間に実際には８フレーム存在して、３２３，３２４のフレームの間には３フレーム存在するというように均等ではないフレーム間隔で表示することもできる。
大きな変化のあるフレームだけ表示するようにすれば短時間で動画像の動きの流れを表示することができる。表示されているフレーム間の間隔が不均等なので、３２５のように、さらに細かい時間でフレームを操作したい場合は次の操作を行う。
あるフレーム、たとえば３２３を選択すると３２１の方向とは別の方向にフレーム３２２のように細かい時間単位でフレーム３２３，３２４間のフレームが表示できる。
また、縮小されたフレームを時間順で並べて表示するだけでなく、輝度順、色の近いもの、動きの近いものという区分けで並べて表示することもできる。その際も３２５のように、時間が表示されているので動画像内での位置が容易に把握できる。
このような表示を利用してフレームを選択した後に、使用者は削除したり、再生することができる。この機能を使用することによって、動画像全体の情報を使用者は短い時間で得ることができる。
図４、図５、図６、図７、図８、図１０、図１１の実現例は排他的ではなく組み合わせて図１３のようにも使用するし、一つも使用しないことも可能である。
再生時に元の動画像ソースの解像度、フレームレートと装置で再生中のフレームレートが異なる場合は両方を上記の方法を使用して表示することも可能である。また、動画像の再生中だけでなく停止、編集中にもこれらの方法は使用できる。
再生時に元の動画像ソースの解像度、フレームレートと装置で再生中のフレームレートが異なる場合は両方を上記の方法を使用して表示することも可能である。また、動画像の再生中だけでなく停止、編集中にもこれらの方法は使用できる。
上記の方法で再生、編集する動画像のデータの構成例を図１４、図１５に示す。図１４の場合は各フレーム３３１ごとに解像度、フレームレート、時間、フレーム番号、チャプター番号などを対応付けする。全てのフレームに対して全ての種類の情報がある必要は無い。情報がない場合には装置、使用者が付近のフレームからそのフレームの情報を推測することができる。
図１５の場合は、複数のフレーム３３１の情報３３２をまとめて記録する。情報を一箇所見るだけで複数のフレームの情報を全て見ることができる。図１４、図１５の形式は複合して使用しても良い。
図１５の場合は、複数のフレーム３３１の情報３３２をまとめて記録する。情報を一箇所見るだけで複数のフレームの情報を全て見ることができる。図１４、図１５の形式は複合して使用しても良い。
これらの方法によって得た解像度、フレームレート、動き量を元に、動画像の再生、保存時に動画像の解像度、フレームレートを最適な値に選択することが可能になる。
図１６は、本実施形態の画像処理装置を適用し各表示機能を有するカメラシステムの構成例を示すブロック図である。
このカメラシステム１００は、光学系１０１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１０２、アナログ信号処理部１０３、アナログ／デジタル（Ａ／Ｄ）コンバータ１０４、デジタル信号処理部１０５、画像圧縮伸長部１０６、表示作成演算回路１０７、表示装置インターフェース１０８、表示装置１０９、画像メモリ１１０、制御ＣＰＵ１１１、操作デバイス１１２、ヒューマンインターフェース１１３、ストレージインターフェース１１４、および外部保存用メモリ１１５を有している。
表示作成演算回路１０７は図１の回路２３と同様の機能を有し、表示装置インターフェース１０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置１０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ１１１も図１のＣＰＵ２２の制御機能を併せ持つ。
表示作成演算回路１０７は図１の回路２３と同様の機能を有し、表示装置インターフェース１０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置１０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ１１１も図１のＣＰＵ２２の制御機能を併せ持つ。
また、画像圧縮伸長部１０６は、デコーダの機能だけでなく、カメラの信号などの複数の動画像から圧縮信号処理をして動画像ソースを作成するエンコード機能も持っている。動画像の撮影、ストレージへの保存、再生を行うことができる。
動画像ソースを作成するときは、まず、イメージセンサ１０２でレンズ１０１を通して入射した被写体の像を光を電気信号に変えて取り込む。その信号を、アナログ信号処理部１０３、ADコンバータ１０４、デジタル信号処理部１０５を通して画像信号に変換する。その画像信号を画像圧縮伸長部１０６でエンコードして動画像ソースを作成する。
この処理をすることによって、このカメラシステム１００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース１１４を通してメモリ１１５に保存される。
エンコード時に制御CPU１１１、デジタル信号処理部１０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。
再生したい動画像ソースにそれらの情報が無いときには図２の方法を使用して表示、グラフなどを作成する。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にカメラシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
この処理をすることによって、このカメラシステム１００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース１１４を通してメモリ１１５に保存される。
エンコード時に制御CPU１１１、デジタル信号処理部１０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。
再生したい動画像ソースにそれらの情報が無いときには図２の方法を使用して表示、グラフなどを作成する。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にカメラシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
このカメラシステムで撮影した動画像は解像度、フレームレートが一定でなくても、従来より容易に再生、使用者への情報の表示を行える。また、もとの動画像に情報が無い場合でも使用者は瞬時にフレーム単位の情報を得て、容易にシーン選択、再生方法の変更、編集を行うことができる。
図１７は、本実施形態の画像処理装置を適用し各表示機能を有するビデオシステムの構成例を示すブロック図である。
このビデオシステム２００は、アンテナ２０１、チューナー２０２、アナログ信号処理部２０３、アナログ／デジタル（Ａ／Ｄ）コンバータ２０４、デジタル信号処理部２０５、画像圧縮伸長部２０６、表示作成演算回路２０７、表示装置インターフェース２０８、表示装置２０９、音声圧縮伸長部２１０、画像メモリ２１１、制御ＣＰＵ２１２、操作デバイス２１３、ヒューマンインターフェース２１４、ストレージインターフェース１１５、および外部保存用メモリ２１６を有している。
表示作成演算回路２０７は図１の回路２３と同様の機能を有し、表示装置インターフェース２０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置２０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ２１２も図１のＣＰＵ２２の制御機能を併せ持つ。
表示作成演算回路２０７は図１の回路２３と同様の機能を有し、表示装置インターフェース２０７は図１の表示デバイスインターフェース２４と同様の機能を有し、表示装置２０９は図１の表示デバイス３に相当する。また、制御ＣＰＵ２１２も図１のＣＰＵ２２の制御機能を併せ持つ。
このビデオシステム２００は、エンコード、デコード機能を持ち、アンテナ、ライン入力、LANなどから入力された信号、ストレージ上に保存された動画像ソースを処理して再生、出力することができる。また、再生するだけでなく、入力されてきた信号、動画像をエンコードしてストレージに保存することもできる。
動画像ソースを保存するときは、アンテナ２０１、入力端子から入力されてきた信号をビデオシステム内で変換してデジタル信号処理部２０５を通して画像信号に変換する。その画像信号を画像圧縮伸長部２０６でエンコードして動画像ソースを作成する。
この処理をすることによって、このビデオシステム２００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース２１５を通してメモリ２１５に保存される。エンコード時に制御CPU２１２、デジタル信号処理部２０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。再生したい動画像ソースにそれらの情報が無いときには図２の手順を使用して表示、グラフなどを作成する。
それらの情報は出力端子以外にもシステムに接続された表示装置２０９に画像とは別に表示することも可能である。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
この処理をすることによって、このビデオシステム２００は、フレームレート、サイズが一定ではない動画像ソースを作成することができる。
作成された動画像ソースはストレージインターフェース２１５を通してメモリ２１５に保存される。エンコード時に制御CPU２１２、デジタル信号処理部２０５を使用してフレーム単位の解像度、フレームレートの情報を動画像ソースに付加すれば、デコード時にそれらの情報を計算する必要は無くなる。再生したい動画像ソースにそれらの情報が無いときには図２の手順を使用して表示、グラフなどを作成する。
それらの情報は出力端子以外にもシステムに接続された表示装置２０９に画像とは別に表示することも可能である。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、再生時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
このビデオシステム２００で保存した動画像は解像度、フレームレートが一定でなくても、従来より容易に他のビデオシステムでも再生でき、使用者への情報の表示を行える。それらの情報の表示を表示装置２０９に出力することにより画面出力を変更せずに情報を表示できる。
また、もとの動画像に情報が無い場合でも使用者は瞬時にフレーム単位の情報を得て、容易にシーン選択、再生方法の変更、編集を行うことができる。したがって、従来よりも扱えるビデオの互換性が高くなる。
また、もとの動画像に情報が無い場合でも使用者は瞬時にフレーム単位の情報を得て、容易にシーン選択、再生方法の変更、編集を行うことができる。したがって、従来よりも扱えるビデオの互換性が高くなる。
図１８は、本実施形態の画像処理装置を適用し各表示機能を有するネットワークデータシステムの構成例を示すブロック図である。
このネットワークデータシステム４００は、画像入力部４０１、暗号回路４０２、ネットワーク処理部４０３、暗号回路４０４、ネットワーク処理部４０５、デジタル信号処理部４０６、画像圧縮伸長部４０７、表示作成演算回路４０８、画像メモリ４０９、制御ＣＰＵ４１０、ストレージインターフェース４１１、および外部保存用メモリ４１２を有している。
表示作成演算回路４０８は図１の回路２３と同様の機能を有している。また、制御ＣＰＵ４１０も図１のＣＰＵ２２の制御機能を併せ持つ。
表示作成演算回路４０８は図１の回路２３と同様の機能を有している。また、制御ＣＰＵ４１０も図１のＣＰＵ２２の制御機能を併せ持つ。
このネットワークデータシステム４００は、クライアントからの要望に応じて、ビデオや情報の配信を行えるサーバーとして機能可能である。エンコード、デコード機能を持ち、ネットワーク上のクライアントから発信された信号をストレージ上に保存したり、ストレージ上に保存された動画像ソースを処理してクライアントに配信することができる。また、クライアントからのビデオ、情報を処理後、もしくは元のままで別のクライアントに配信することも可能である。
動画像ソースを保存するときは、クライアントのリクエストに応じて、クライアントから送信されたデータ、入力端子から取り込んだ信号をネットワーク処理部４０３、画像入力部４０１、デジタル信号処理部４０６でまず処理する。
画像圧縮伸長部４０７でエンコードして動画像ソースにするか、そのままの状態でストレージインターフェース４１１を通してメモリ４１２に保存する。その際に、動画像の解像度、フレームレートを情報を演算して一緒に保存しておくことも可能である。
クライアントに送信するときは、クライアントのリクエストに応じて、画像圧縮伸長部４０７でデコードした動画像ソース、それに解像度、フレーム情報を付加したもの、解像度、フレーム情報だけ、表示作成回路４０８で動画像に表示を加えたもの、デコード前の動画像ソースなどを送ることができる。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、デコード時、配信時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
クライアントとの送受信の際、暗号回路４０４を使用して暗号化して送受信することも可能である。
このようなネットワークデータシステム４００を使用することにより、遠隔地から動画像の再生、保存、管理が容易にできる。
画像圧縮伸長部４０７でエンコードして動画像ソースにするか、そのままの状態でストレージインターフェース４１１を通してメモリ４１２に保存する。その際に、動画像の解像度、フレームレートを情報を演算して一緒に保存しておくことも可能である。
クライアントに送信するときは、クライアントのリクエストに応じて、画像圧縮伸長部４０７でデコードした動画像ソース、それに解像度、フレーム情報を付加したもの、解像度、フレーム情報だけ、表示作成回路４０８で動画像に表示を加えたもの、デコード前の動画像ソースなどを送ることができる。
また、動画像の解像度、フレームレート動き量などの情報を元に、動画像の作成時、デコード時、配信時にビデオシステム自体が自律的に動画像の解像度、フレームレートを再調整することも可能である。
クライアントとの送受信の際、暗号回路４０４を使用して暗号化して送受信することも可能である。
このようなネットワークデータシステム４００を使用することにより、遠隔地から動画像の再生、保存、管理が容易にできる。
解像度、フレームレート、ファイルサイズ、作成日時、作成者などの情報を使用することによりいくつかの動画像、静止画のデータを短時間で複数を選別して管理することができる。それらの条件を指定して、該当するものだけを削除または保存したり、逆に該当しないものだけをだけを削除、保存することによってシステム内の動画像、静止画のデータの管理の利便性が向上する。
図１９は、以上の方法を実現するフローチャート例である。ステップＳＴ２１からＳＴ３０までの処理の概要は以下のとおりである。
まず、システム内のデータを管理するのに使用したい情報の項目を選択する。解像度、フレームレート、ファイルサイズ、作成日時、作成者が項目の例にあたる。
その後、それらに該当させる具体的な値を指定する。作成日時だと「今日」、「2004年12月23日」などが例にあたる。
その後、「<」、「==」などの比較演算子を指定する。ここまでで「フレームレートが240fps以下」などの条件を作成することができる。
そして、他の条件と組み合わせたいときは「||」、「&&」などの論理演算子を指定する。そうすることによって、「フレームレートが240fps以下かつ、昨日以前に作成された」という条件を指定できる。
これらを繰り返していって操作の条件を指定する。
その後、その条件に当てはまるもの全てに対して、削除、保存、コピー、サムネール作成などの処理を行う。この操作はファイル単位だけでなく、動画像のフレーム単位でも行える。
その後、それらに該当させる具体的な値を指定する。作成日時だと「今日」、「2004年12月23日」などが例にあたる。
その後、「<」、「==」などの比較演算子を指定する。ここまでで「フレームレートが240fps以下」などの条件を作成することができる。
そして、他の条件と組み合わせたいときは「||」、「&&」などの論理演算子を指定する。そうすることによって、「フレームレートが240fps以下かつ、昨日以前に作成された」という条件を指定できる。
これらを繰り返していって操作の条件を指定する。
その後、その条件に当てはまるもの全てに対して、削除、保存、コピー、サムネール作成などの処理を行う。この操作はファイル単位だけでなく、動画像のフレーム単位でも行える。
以上の方法を、前述したカメラシステム１００、ビデオシステム２００、ネットワークデータシステム４００に実装することにより、多くのデータを一括して短時間で操作できる。
以上詳細に説明したように、本実施形態によれば、以下の効果を得ることができる。
1)解像度、フレームレートが一定でない動画像を保存が容易になる。
2)解像度、フレームレートが一定でない動画像を観賞が容易になる。
3)解像度、フレームレートが一定でない動画像を撮影が容易になる。
4)解像度、フレームレートが一定でない動画像の編集が容易になる。
5)解像度、フレームレートが一定でない動画を大量に管理することが容易になる。
6)いままでより動画像、静止画の管理が容易になるため一つの動画像を用途別に解像度、フレームレートを変更して保存しておく必要が無くなる。
7)静止画、動画の詳細な情報の確認が容易になる。
1)解像度、フレームレートが一定でない動画像を保存が容易になる。
2)解像度、フレームレートが一定でない動画像を観賞が容易になる。
3)解像度、フレームレートが一定でない動画像を撮影が容易になる。
4)解像度、フレームレートが一定でない動画像の編集が容易になる。
5)解像度、フレームレートが一定でない動画を大量に管理することが容易になる。
6)いままでより動画像、静止画の管理が容易になるため一つの動画像を用途別に解像度、フレームレートを変更して保存しておく必要が無くなる。
7)静止画、動画の詳細な情報の確認が容易になる。
１・・・画像処理装置、２・・・表示系作成回路、２１・・・デコーダ、２２・・・
ＣＰＵ、２３・・・表示作成演算回路、２４・・・表示デバイスインターフェース、２５・・・メモリコントローラ、２６・・・内蔵記憶素子、２７・・・ストレージインターフェース、３・・・表示デバイス、１００・・・カメラシステム、２００・・・ビデオシステム、４００・・・ネットワークデータシステム。
ＣＰＵ、２３・・・表示作成演算回路、２４・・・表示デバイスインターフェース、２５・・・メモリコントローラ、２６・・・内蔵記憶素子、２７・・・ストレージインターフェース、３・・・表示デバイス、１００・・・カメラシステム、２００・・・ビデオシステム、４００・・・ネットワークデータシステム。
Claims (21)
- 動画像を再生処理可能な画像処理装置であって、
解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、
上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、
上記作成回路は、
再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、
上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する
画像処理装置。 - 上記作成回路は、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して、
複数フレーム表示する場合には、複数フレームの縮小画像を作成して、デコードされた表示する画像に、作成した縮小画像、並びに、解像度、および／またはフレームレートに関する表示情報を合成して上記表示部に表示させ、
複数フレーム表示しない場合には、デコードされた表示する画像に、解像度、および／またはフレームレートに関する表示情報を合成して上記表示部に表示させる
請求項１記載の画像処理装置。 - 上記作成回路は、
上記解像度、および／またはフレームレートに関する情報がある場合であって、
複数フレーム表示する場合には、複数フレームの縮小画像を作成して、デコードされた表示する画像に、作成した縮小画像、並びに、解像度、および／またはフレームレートに関する表示情報を合成し上記表示部に表示させ、
複数フレーム表示しない場合には、デコードされた表示する画像に、解像度、および／またはフレームレートに関する表示情報を合成して上記表示部に表示させる
請求項２記載の画像処理装置。 - 上記作成回路は、
作成した表示情報を格納する記憶素子を含み、
デコードされた表示する画像に、上記記憶素子から読み出した表示情報を合成し、合成画像を上記表示部に送出する
請求項１記載の画像処理装置。 - 上記作成回路は、
作成した表示情報および縮小画像を格納する記憶素子を含み、
複数フレーム表示する場合には、デコードされた表示する画像に、上記記憶素子から読み出した表示情報および縮小画像を合成し、合成画像を上記表示部に送出し、
複数フレーム表示しない場合には、デコードされた表示する画像に、上記記憶素子から読み出した表示情報を合成し、合成画像を上記表示部に送出する
請求項２または３記載の画像処理装置。 - 上記作成回路は、
動画像の各ピクセルごとに前後の画像とどれくらい動き量があるかを示す動画像の時間的な動きヒストグラムを求め、当該動きヒストグラムを上記表示部に表示する
請求項１から５のいずれか一に記載の画像処理装置。 - 上記作成回路は、
現在再生している動画像の主画像上に、現在再生している動画像に対して時間的に前後する複数のフレームをサムネイル化して添付して上記表示部に表示する
請求項１から６のいずれか一に記載の画像処理装置。 - 上記作成回路は、
再生停止中または編集中の間に上記サムネイル化された前後フレームから選択されたフレームの画像を主画像として動画像の再生を再開する
請求項７記載の画像処理装置。 - 上記作成回路は、
動画像再生・表示中に、上記主画像に添付する上記サムネイル化した画像を作成する
請求項７または８記載の画像処理装置。 - 上記作成回路は、
上記表示部に解像度、および／またはフレームレートが一定でない動画像の再生状況を通知するための情報を表示する
請求項１から９のいずれか一に記載の画像処理装置。 - 上記作成回路は、
上記表示部に、解像度、および／またはフレームレートが一定でない動画像の解像度、および／またはフレームレートが変化することを示す表示情報を表示する
請求項１から１０のいずれか一に記載の画像処理装置。 - 上記作成回路は、
上記表示部に、解像度、および／またはフレームレートが一定でない動画像の解像度、および／またはフレームレートが変化してから経過した時間の表示情報を表示する
請求項１から１１のいずれか一に記載の画像処理装置。 - 上記作成回路は、
複数の動画像のフレームの縮小画像を作成し、
上記表示部に、複数の動画像の縮小されたフレームを選択可能に表示し、かつ、複数の表示されたフレームのうちの一部またはすべての表示情報を各フレームに対応付けて表示する
請求項１から１２のいずれか一に記載の画像処理装置。 - 上記作成回路は、
複数の動画像のフレームの縮小画像を作成し、
上記表示部に、複数の動画像の縮小されたフレームを、第１の時間軸上において表示されるフレーム間に表示されないフレームが存在するようなフレーム間隔で、かつ、表示されるフレームを選択可能に表示し、
表示されているフレームが選択されると、第１の時間軸とは異なる第２の時間軸に、選択されたフレームと当該フレームに隣接するフレーム間の上記第１の時間軸上において非表示時の少なくとも一つのフレームを表示する
請求項１から１３のいずれか一に記載の画像処理装置。 - 上記作成回路は、
動画像内のフレームを異なる間隔の時間軸で一度に上記表示部に表示する
請求項１から１４のいずれか一に記載の画像処理装置。 - 上記作成回路は、
上記表示部に動画像内のフレームを時間軸情報を付加して複数表示する
請求項１から１５のいずれか一に記載の画像処理装置。 - 上記作成回路は、
上記表示部に動画像内のフレームをフレームの特徴で並べて一度に表示する
請求項１から１６のいずれか一に記載の画像処理装置。 - 解像度、および／またはフレームレートが一定でない動画像を撮影、再生できるカメラシステムであって、
動画像を再生処理可能な画像処理装置を有し、
上記画像処理装置は、
解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、
上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、
上記作成回路は、
再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、
上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する
カメラシステム。 - 解像度、および／またはフレームレートが一定でない動画像を保存、再生できるビデオシステムであって、
動画像を再生処理可能な画像処理装置を有し、
上記画像処理装置は、
解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、
上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、
上記作成回路は、
再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、
上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する
ビデオシステム。 - 解像度、および／またはフレームレートが一定でない動画像をクライアントからのリクエストに応じて保存、配信できるネットワークデータシステムであって、
動画像を再生処理可能な画像処理装置を有し、
上記画像処理装置は、
解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、当該求めた解像度、および／またはフレームレートに関する表示情報を出力する作成回路と、
上記作成回路により出力された表示情報を少なくとも一部に表示する表示部と、を有し、
上記作成回路は、
再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、
上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する
ネットワークデータシステム。 - 動画像を再生処理可能な画像処理方法であって、
解像度、および／またはフレームレートが一定でない再生すべき動画像の解像度、および／またはフレームレートに関する情報を求め、
当該求めた解像度、および／またはフレームレートに関する表示情報を出力し、
出力された表示情報を少なくとも一部に表示するにあたって、
再生すべき動画像のソースから再生用の画像を作成するデコード処理時に、当該動画像を形成するフレームとともに解像度、および／またはフレームレートに関する情報があるか否かを判定し、
上記解像度、および／またはフレームレートに関する情報がない場合には、動画像のソースを続けて複数枚デコードして得られた複数の画像データから、解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力し、
上記解像度、および／またはフレームレートに関する情報がある場合には、当該情報に基づく解像度、および／またはフレームレートに関する表示情報を作成して上記表示部に出力する
画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005071676A JP4802524B2 (ja) | 2005-03-14 | 2005-03-14 | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005071676A JP4802524B2 (ja) | 2005-03-14 | 2005-03-14 | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006254366A JP2006254366A (ja) | 2006-09-21 |
| JP4802524B2 true JP4802524B2 (ja) | 2011-10-26 |
Family
ID=37094326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005071676A Expired - Fee Related JP4802524B2 (ja) | 2005-03-14 | 2005-03-14 | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4802524B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4773817B2 (ja) * | 2005-12-16 | 2011-09-14 | キヤノン株式会社 | 画像再生装置及びプログラム |
| JP2008097727A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 動画再生装置 |
| JP4743084B2 (ja) * | 2006-11-07 | 2011-08-10 | カシオ計算機株式会社 | 記録装置及び記録プログラム |
| JP5151454B2 (ja) * | 2006-12-26 | 2013-02-27 | カシオ計算機株式会社 | 撮像装置、記録・再生方法、及び、プログラム |
| JP4810485B2 (ja) * | 2007-03-29 | 2011-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP2008271065A (ja) * | 2007-04-19 | 2008-11-06 | Hitachi Ltd | デジタル情報再生装置 |
| JP5288621B2 (ja) * | 2009-06-01 | 2013-09-11 | パナソニック株式会社 | 画像符号化伝送装置及び画像伝送方法 |
| JP5683220B2 (ja) * | 2010-11-11 | 2015-03-11 | キヤノン株式会社 | 再生装置及び再生方法 |
| JP5225365B2 (ja) * | 2010-12-13 | 2013-07-03 | キヤノン株式会社 | 画像再生装置、画像再生方法、プログラム及び記録媒体 |
| JP5075265B2 (ja) * | 2011-05-26 | 2012-11-21 | キヤノン株式会社 | 画像再生装置及びプログラム |
| US11082168B1 (en) * | 2020-03-19 | 2021-08-03 | Western Digital Technologies, Inc. | Entropy driven endurance for normalized quality of service |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3634643B2 (ja) * | 1998-10-28 | 2005-03-30 | 株式会社東芝 | 情報記録媒体及びその記録再生装置 |
| JP2004080427A (ja) * | 2002-08-19 | 2004-03-11 | Olympus Corp | 撮像装置、及び画像形式変換方法 |
| JP4412894B2 (ja) * | 2002-11-28 | 2010-02-10 | 富士フイルム株式会社 | 画像抽出装置 |
-
2005
- 2005-03-14 JP JP2005071676A patent/JP4802524B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006254366A (ja) | 2006-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4802524B2 (ja) | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 | |
| TWI400939B (zh) | 一種視頻播放器電路及視頻顯示方法 | |
| US7893999B2 (en) | Simultaneous video and sub-frame metadata capture system | |
| EP1871109A2 (en) | Sub-frame metadata distribution server | |
| EP1871100A2 (en) | Adaptive video processing using sub-frame metadata | |
| KR100912599B1 (ko) | 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱 | |
| US10313729B2 (en) | Video broadcast system and a method of disseminating video content | |
| US20070268406A1 (en) | Video processing system that generates sub-frame metadata | |
| JP5783737B2 (ja) | 撮像装置および動画記録装置の制御方法 | |
| KR20080082759A (ko) | 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 | |
| JP2015171042A (ja) | 画像処理システム及び画像撮像装置 | |
| JP2012161012A (ja) | 動画記録装置 | |
| JP2020524450A (ja) | 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置 | |
| JP5683301B2 (ja) | 画像記録装置 | |
| JP2006311430A (ja) | 画像表示装置及び画像表示システム | |
| JP2011146847A (ja) | 画像再生制御装置、画像再生制御方法および撮像装置 | |
| JP6463967B2 (ja) | 撮像装置及びその制御方法 | |
| JPH10294939A (ja) | 画像伝送システム及び画像伝送装置 | |
| JPWO2008129648A1 (ja) | フレームレート変換装置、フレームレート変換方法及び動画像符号化装置 | |
| JP2007097146A (ja) | 印刷要求タイミングに応じた静止画印刷方法及び装置 | |
| JP2008054150A (ja) | 複数チャンネル画像転送装置 | |
| JP2021064903A (ja) | 撮像装置、制御方法およびプログラム | |
| JP2007300443A (ja) | サムネイル作成装置 | |
| JPWO2010041576A1 (ja) | コンテンツの配信システム | |
| JP2012120018A (ja) | 符号化装置及び再生装置、及びその制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140819 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |