JP5202193B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関し、詳しくは動画像データを送信する装置及び方法に関する。

近年、音声、画像及びその他データを取り扱うことができるシステムが普及している。それに伴い、様々なフレームレートの動画像データを送受信又は伝送したいといったニーズが増加している。このようなニーズをうけて、ＭＰＥＧ規格などには、フレームレートを切り替え可能なデータ構造が規定されている。

例えば、ＭＰＥＧ１規格及びＭＰＥＧ２規格では、符号化された数通りのフレームレート値の中からフラグにより指定されるものを選択するようにしている。ＭＰＥＧ４規格では、動画像データのフレーム毎に各フレームの表示時刻データを挿入したデータ構造を採用している。このデータ構造により、ＭＰＥＧ４では、固定フレームレートと可変フレームレートの両方が設定可能である。

また、近年では、コンピュータとディスプレイのシステムにおいて、出力する画像データのフレーム周波数や水平同期周波数、画像の画素サイズなどの付加情報を送受信する構成が提案されている（例えば、特許文献１参照）。例えば、ＤＶＩ（Digital Visual Interface）規格では、これらの付加情報を送受信する構成となっている。そのため、画像データの送信側装置（例えば、コンピュータ）と受信側装置（例えば、表示装置）が、電源投入された状態で、これらパラメータを変更可能である。
特開平１０−６９２５１号公報

前述の様に、ＭＰＥＧ１やＭＰＥＧ２規格で符号化された動画データをデコードする際、動画データがデコーダに入力され、フレームレートを示すフラグを検出するまでは、フレームレートを検出できない。

また、ＭＰＥＧ４規格で符号化された動画データをデコードする場合、デコーダが各フレームの表示時刻情報を検出するまでは、フレームレートの変化を検出できない。

そのため、デコードした動画データに係る動画を表示する表示装置においては、表示している動画データのフレームレートが変更した場合、表示画面が乱れる、或いは、表示画面の切り替えが遅れるといった問題が発生する。

また、ＤＶＩ規格では、フレームレートを変更する際に、画像バッファなど送受信装置内部の構成要素をリセット又は初期設定する必要がある。この場合にも、フレームレートを変更する際に、表示画像の消失又は表示の暗転などが生じる。

本発明は、このような問題点を解決し、送信中の動画像データのフレームレートの変更を容易に検出可能な装置及び方法を提示することを目的とする。

本発明に係る画像処理装置は、動画データを生成する動画生成手段と、前記動画データのフレームレートの変更指示を出力する指示出力手段と、複数のフレームレートのいずれかを第１のフレームレートとして設定する設定手段と、前記設定手段により設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成手段を制御すると共に、前記指示出力手段からのフレームレート変更指示に応じて、前記動画生成手段が生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成手段を制御する制御手段と、前記第２のフレームレートを示す付加情報を生成する付加情報生成手段と、前記動画生成手段により生成された動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点のｎフレーム（ｎは１以上の整数）前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段とを備え、前記多重手段は、前記第１のフレームレートの値に基づいて前記ｎを設定することを特徴とする。
本発明に係る画像処理装置は、動画データを送信する装置であって、送信する前記動画データのフレームレートを第１のフレームレートから第２のフレームレートに変える場合に、前記第２のフレームレートを示す付加情報を生成する付加情報生成手段と、前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段とを備える。
本発明に係る画像処理装置は、動画データを生成する動画生成手段と、前記動画データのフレームレートの変更指示を出力する指示出力手段と、複数のフレームレートのいずれかを第１のフレームレートとして設定する設定手段と、前記設定手段により設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成手段を制御すると共に、前記指示出力手段からのフレームレート変更指示に応じて、前記動画生成手段が生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成手段を制御する制御手段と、前記動画生成手段により生成された前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点までのフレーム数を示す付加情報を生成する付加情報生成手段と、前記変更点のｎフレーム（ｎは１以上の整数）前から、前記動画生成手段により生成された前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段とを備え、前記多重手段は、前記第１のフレームレートの値に基づいて前記ｎを設定する。
本発明に係る画像処理装置は、動画データを取得する取得手段と、前記取得手段により取得された前記動画データのフレームレートが第１のフレームレートから第２のフレームレートに変わる変更点までの期間に関する付加情報を生成する付加情報生成手段と、前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段とを備える。
本発明に係る画像処理方法は、動画データを生成する動画生成ステップと、前記動画データのフレームレートの変更指示を出力する指示出力ステップと、複数のフレームレートのいずれかを第１のフレームレートとして設定する設定ステップと、前記設定ステップにより設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成ステップを制御すると共に、前記指示出力ステップによるフレームレート変更指示に応じて、前記動画生成ステップで生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成ステップを制御する制御ステップと、前記第２のフレームレートを示す付加情報を生成する付加情報生成ステップと、前記動画生成ステップで生成された動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点のｎフレーム（ｎは１以上の整数）前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップとを備え、前記多重ステップは、前記第１のフレームレートの値に基づいて前記ｎを設定することを特徴とする。
本発明に係る画像処理方法は、動画データを送信する方法であって、送信する前記動画データのフレームレートを第１のフレームレートから第２のフレームレートに変える場合に、前記第２のフレームレートを示す付加情報を生成する付加情報生成ステップと、前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、前記多重ステップで出力された前記動画データと前記付加情報とを送信する送信ステップとを備える。
本発明に係る画像処理方法は、動画データを生成する動画生成ステップと、前記動画データのフレームレートの変更指示を出力する指示出力ステップと、複数のフレームレートのいずれかを第１のフレームレートとして設定する設定ステップと、前記設定ステップにより設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成ステップを制御すると共に、前記指示出力ステップによるフレームレート変更指示に応じて、前記動画生成ステップで生成された前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成ステップを制御する制御ステップと、前記動画生成ステップで生成された前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点までのフレーム数を示す付加情報を生成する付加情報生成ステップと、前記変更点のｎフレーム（ｎは１以上の整数）前から、前記動画生成ステップで生成された前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップとを備え、前記多重ステップは、前記第１のフレームレートの値に基づいて前記ｎを設定する。
本発明に係る画像処理方法は、動画データを取得する取得ステップと、前記取得ステップで取得された前記動画データのフレームレートが第１のフレームレートから第２のフレームレートに変わる変更点までの期間に関する付加情報を生成する付加情報生成ステップと、前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップとを備える。

本発明によれば、フレームレートの変更を示す付加情報をフレームレートの変更点より前に送信するので、受信側では、フレームレートの変化に予め備えることができる。これにより、表示画像の消失や表示の暗転などが生じにくくなり、表示される画像の品質を向上させることができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例としてのビデオカメラ１００の構成を示すブロック図である。

図１において、１０１はレンズやレンズの駆動モータなどを含む光学系である。１０２はＣＭＯＳなどの撮像素子やその駆動回路を有し、光学系１０１からの被写体光を受けて動画データを生成し、デジタルデータに変換して出力する撮像回路である。撮像回路１０２は後述の様に、制御回路１１３からの指示により、生成する動画像データのフレームレート、即ち単位時間当たりのフレーム数を変更する。

１０３は撮像回路１０２からの動画像データに対し、公知の処理を施す画像処理回路である。また、画像処理回路１０３は、１フレームの動画像データを出力する度に、その旨を示すタイミング信号を付加情報生成回路１０８に出力する。１０４は画像処理回路１０３からの動画像データをＭＰＥＧなどの符号化方式に従って符号化する画像符号化回路である。

１０５は被写体の発生する音声を取得して音声データを出力するマイクロフォンである。１０６はマイクロフォン１０５からの音声データに対し、ゲイン調整やノイズ抑圧処理などの処理を施す音声処理回路である。１０７は音声処理回路１０６からの音声データを、決められた符号化方式に従って符号化する音声符号化回路である。なお、音声符号化回路１０７は、例えば、ＰＣＭ符号化又はＭＰ３符号化などのさまざまな符号化方法を用いて音声信号を符号化する。本実施形態では、後述の様に、動画像のフレームレートを変更して出力する。本実施形態では、従来用いられている音声・画像の同期化方法を使用しつつ、音声に関して特別な処理を必要としない。したがって、本実施形態では、音声処理回路１０６及び音声符号化回路１０７の構成を簡単にすることができ、コストを低減できる。

１０８は、後述の様に、動画像データのフレームレートに関する情報の他、各種の付加情報を生成する付加情報生成回路である。

１０９は、画像符号化回路１０４からの動画像データ、音声符号化回路１０７からの音声データ及び、付加情報生成回路１０８からの付加情報を多重し、決められた形式の動画データストリームを生成する多重回路である。１１０は多重回路１０９からの動画データストリームを、伝送路に適した形態に変換してインターフェイス（Ｉ／Ｆ）１１１に出力する出力回路である。１１１は出力回路１１０からの動画データストリームを、伝送路を介して外部機器に送信するインターフェイスである。１１２は多重回路１０９からの動画データストリームを不図示の記録媒体に記録する記録回路である。

１１３はビデオカメラ１００の各部を制御する制御回路、１１４は表示用のＯＳＤ情報を生成するＯＳＤ回路である。１１５は画像処理回路１０３からの動画像データ、及びＯＳＤ回路１１４からのＯＳＤ情報を表示パネル１１６に表示する表示制御回路である。１１６は液晶パネルやその駆動回路を有する表示パネルである。１１７は撮影開始ボタンやメニューボタンなどの各種の操作ボタンを有する操作部である。

この様なビデオカメラ１００において、ユーザが操作部１１７を操作して撮影開始を指示すると、制御回路１１３は各部を制御して動画データの撮影を開始する。撮影された動画像データは、音声データや付加情報と共にＩ／Ｆ１１１を介して外部機器に出力されると共に、記録回路１１２により記録される。

また、本実施例では、撮影中、或いは、撮影の停止中において、ユーザが操作部１１７を操作することにより、撮像回路１０２が出力する動画データのフレームレートを設定、変更することが可能である。本実施例では、予め設定された複数の所定のフレームレートの中からユーザが所望のフレームレートを設定する。

例えば、撮影停止中にフレームレートを変更する場合、ユーザがメニューボタンを操作すると、制御回路１１３はＯＳＤ回路１１４を制御して、図２に示す操作画面を表示パネル１１６に表示する。

図２は、フレームレートの変更を指示するための操作画面を示す図である。例えば、ユーザは、図２に示すように、毎秒１２０フレーム、毎秒９０フレーム、毎秒６０フレーム及び毎秒３０フレームのうち、所望のフレームレートの値を選択する。図２に示す例では、毎秒６０フレームが選択されている。

撮像回路１０２の撮像素子は、設定されたフレームレートに従って駆動し、指定されたフレームレートの動画データを生成する。

また、本実施例では、動画像データの撮影中においてもユーザが任意にフレームレートを変更、設定することが可能である。例えば、撮影中にフレームレートを変更する場合、ユーザは操作部１１７のフレームレート変更ボタンを操作する度に、フレームレートが順次切り替わるように構成する。制御回路１１３は、撮像回路１０２を制御して、ユーザによって設定されたフレームレートの動画データを発生させる。また、制御回路１１３は、付加情報生成回路１０８に対し、設定されたフレームレートを示す付加情報を生成するよう制御する。

また、制御回路１１３は、動画の撮影中にユーザからフレームレートの変更が指示されると、後述の如く動画データのフレームレートを、指示されたフレームレートに変更するよう撮像回路１０２を制御する。

また、制御回路１１３は、動画の撮影中にユーザからフレームレートの変更が指示されると、付加情報生成回路１０８に対し、フレームレートの切り替えに伴う付加情報を生成するよう、制御信号を出力する。付加情報生成回路１０８は、制御回路１１３からのフレームレート切り替えの制御信号を受けると、下記の如く付加情報を生成して多重回路１０９に出力する。

図３は、付加情報生成回路１０８が生成する付加情報３００の様子を示す図である。図２に示す様に、付加情報３００は三つの情報フィールド３０１、３０２、３０３から構成される。また、付加情報３００は、多重回路１０９により、動画データのフレーム毎に付加される。

付加情報３００において、３０１はオプションフラグインジケータのフィールドである。また、３０２はフレームレート変更点までのフレーム数（フレームレート変更予告情報）を示すカウントダウン情報のフィールドである。また、３０３はフレームレート変更点以後の動画データのフレームレートを示す目標フレームレート情報のフィールドである。

オプションフラグインジケータ３０１は、フレームレート変更フラグ３０１ａと、目標フレームレートフラグ３０１ｂを含む。また、オプションフラグインジケータ３０１は、フレームレート変更フラグ３０１ａ、目標フレームレートフラグ３０１ｂ以外の情報を含む構成でもよい。

本実施例では、オプションフラグインジケータ３０１は８ビットのデータである。フレームレート変更フラグ３０１ａは、フレームレート変更の有無を示す１ビットのフラグからなる。目標フレームレートフラグ３０１ｂは、目標フレームレート情報３０３の有無を示す１ビットのフラグからなる。

また、カウントダウン情報３０２は８ビットのデータである。目標フレームレート情報３０３は１６ビットのデータである。

図４は、目標フレームレート情報３０３の構成例を示す図である。３０３ａは将来の拡張のために予約されたフィールドである。３０３ｂは、フレームレート切り替え後の動画データのフレームレートの値を示す目標フレームレート情報である。

例えば、フレームレート変更フラグ３０１ａの値が１の場合、オプションフラグインジケータ３０１の後に連続してカウントダウン情報３０２が存在することを示す。フレームレート変更フラグ３０１ａの値が０の場合、カウントダウン情報３０２は存在しないことを示している。

同様に、目標フレームレートフラグ３０１ｂの値が１の場合、目標フレームレート情報３０３が存在することを示す。目標フレームレートフラグ３０１ｂの値が１で、フレームレート変更フラグ３０１ａの値が１の場合、カウントダウン情報３０２が存在し、更にその後に目標フレームレート情報３０３が存在することを示す。

次に、動画の撮影中に、ユーザがフレームレートの切り替えを指示した場合の付加情報生成回路１０８による付加情報の生成動作を説明する。

本実施例では、ユーザがフレームレートを指示した場合、指示があってから所定期間後に動画データのフレームレートを切り替える。

即ち、制御回路１１３は、ユーザからフレームレート変更の指示があると、付加情報生成回路１０８に対し、フレームレートの変更指示と共に変更後のフレームレートの値の情報を出力する。

付加情報生成回路１０８は、フレームレート変更の指示を受けると、その時点で多重回路１０９にて多重しているフレームの次のフレームの目標フレームレートフラグ３０１ｂに１をセットする。また、目標フレームレート情報３０３に変更後のフレームレート値をセットする。

例えば、変更後のフレームレートが１２０ｆｐｓの場合、目標フレームレート情報３０３の目標フレームレート値３０３ｂに１２０をセットする。また、付加情報生成回路１０８は、フレームレート変更フラグ３０１ａに１をセットし、カウントダウン情報３０２に、フレームレート変更点までのフレーム数をセットする。本実施例では、フレームレート変更の指示を受けてから実際に撮像回路１０２が動画データのフレームレートを切り替えるまでの期間を１０フレームとする。そのため、フレームレート変更の指示の直後のカウントダウン情報３０２には、１０（１６進数で０Ａ）をセットする。

多重回路１０９は、次のフレームに対し、この様に各種の情報がセットされた付加情報を付加して出力回路１１０と記録回路１１２に出力する。

その後、付加情報生成回路１０８は、１フレーム毎にカウントダウン情報３０２の値を１づつ減算し、カウントダウン情報３０２にセットする。その間、フレームレート変更フラグ３０１ａには１をセットする。そして、付加情報生成回路１０８は、カウントダウン情報３０２の値が０になると、次のフレームからは所定値、例えば１６進数でＦＦをカウントダウン情報３０２にセットする。

一方、制御回路１１３は、フレームレート変更の指示があると、その１０フレーム期間後に動画データのフレームレートを指定された値に切り替えるよう、撮像回路１０２に対して制御信号を出力する。

図５は、このようなカウントダウン動作の模式図を示す。横軸は時間を示す。５０１は撮像回路１０２が出力する動画データのフレームレート変更点を示している。また、５０２〜５０４は、フレームレート変更点５０１までの間に各フレームに付加される付加情報３００である。５０２〜５０４に記載された数値は、各付加情報の中のカウントダウン情報３０２にセットされる値を示している。

付加情報５０２におけるカウントダウン情報３０２の値は１０（０Ａ）であり、フレームレート変更点５０１まで１０フレームであることを示している。付加情報５０３におけるカウントダウン情報３０２の値は１（０１）であり、フレームレート変更点まで残り１フレームであることを示している。フレームレート変更点５０１の直後のフレームに付加される付加情報５０４におけるカウントダウン情報３０２の値は０（００）である。

また、フレームレート変更点５０１以降のフレームのカウントダウン情報３０２の値は、所定値（ＦＦ）となる。

次に、本実施例における付加情報の生成動作を詳細に説明する。図６は、動画データに付加されるカウントダウン情報の様子を示す図である。６０３〜６０５は各フレームに付加されて送信される付加情報である。６０３〜６０５に記載された数値は、各付加情報の中のカウントダウン情報の値を示している。また、６０１はユーザからフレームレート変更が指示された点であり、６０２は撮像回路１０２が出力する動画データのフレームレート変更点を示している。

図７は、フレームレート切り替え指示直後のフレームに付加される付加情報６０３の内容を示す図である。フレームレート変更フラグ３０１ａに１がセットされ、目標フレームレートフラグ３０１ｂに１がセットされる。カウントダウン情報３０２には、１０（０Ａ）がセットされる。目標フレームレート値３０３ｂには、変更後のフレームレートを示す値、ここでは６０ｆｐｓを示す６０（３Ｃ）がセットされる。

図８は、フレームレート変更点６０２の直前のフレームに付加される付加情報６０４の内容を示す図である。フレームレート変更フラグ３０１ａには１がセットされ、目標フレームレートフラグ３０１ｂには０がセットされる。フレームレート変更点６０２の１フレーム前であるので、カウントダウン情報３０２は、１（０１）がセットされる。また、目標フレームレートフラグ３０１ｂに０がセットされているので、目標フレームレート情報３０３ｂに所定値（ＦＦ）をセットする。

なお、目標フレームレート情報は、フレームレートの切り替えに際して一回以上送信されれば良い。本実施形態では、フレームレート変更の指示の直後のフレームの付加情報のみに目標フレームレート情報をセットして送信する。勿論、目標フレームレート情報を複数回、送信してもよい。

また、フレームレート変更点６０２の直後のフレームに付加される付加情報６０５では、そのフレームレート変更フラグ３０１ａには１がセットされ、目標フレームレートフラグ３０１ｂには０がセットされる。また、フレームレート変更点であるので、カウントダウン情報３０２には、０（００）がセットされる。また、付加情報６０５では、目標フレームレート値として所定値（ＦＦ）がセットされる。

次に、フレームレート変更の指示を受けた場合の付加情報生成回路１０８の処理について、図１１のフローチャートを用いて説明する。

制御回路１１３からフレームレート変更の指示を受けると図１１のフローが開始する。

まず、カウントダウン情報３０２の初期値ｎを設定する（Ｓ１１０１）。ここで、ｎは１以上の任意の整数とすることができる。本実施例では、ｎを１０とする。また、制御回路１１３からフレームレート変更の指示と共に送信された変更後のフレームレート値を検出する（Ｓ１１０２）。そして、フレームレート変更フラグ３０１ａと目標フレームレートフラグ３０１ｂをそれぞれ１にセットする（Ｓ１１０３）。また、カウントダウン情報３０２にｎ、ここでは１０をセットすると共に、目標フレームレート情報に変更後のフレームレート値をセットする（Ｓ１１０４）。

そして、この様に設定された付加情報を多重回路１０９に出力する。

多重回路１０９は、前述のように、フレームレート変更の指示の直後のフレームに対してこの付加情報を付加して出力する。

次に、ｎの値を一つ減算し（Ｓ１１０６）、ｎが０よりも小さくなったか否かを判別する（Ｓ１１０７）。ｎが０よりも小さいということは、動画データのフレームレートの切り替え後の最初のフレームということなので、フレームレート変更フラグ３０１ａ、目標フレームレートフラグ３０１ｂをそれぞれ０に設定する。また、カウントダウン情報３０２、目標フレームレート情報に所定値を設定する（Ｓ１１０８）。これ以降、この様に設定された付加情報を多重回路１０９に出力し、動画データの各フレームに対して付加して送信する。

一方、Ｓ１１０７でｎが０以上の場合には、フレームレート変更フラグ３０１ａを１に設定し、また、目標フレームレートフラグ３０１ｂを０に設定する。また、カウントダウン情報３０２にｎを設定し、目標フレームレート情報に所定値、ここではＦＦを設定する（Ｓ１１０９）。

そして、画像処理回路１０３からのタイミング信号に基づいて、画像符号化回路１０４から次のフレームが出力されたことを検出すると（Ｓ１１１０）、Ｓ１１０９で設定した付加情報を多重回路１０９に出力する。多重回路１０９は、この様に出力された付加情報を次のフレームに付加して出力する（Ｓ１１１１）。

なお、画像符号化回路１０４がＭＰＥＧの様に双方向予測フレーム間符号化を用いて動画像データを符号化する場合、画像処理回路１０３が出力するフレームの順序と画像符号化回路１０４が出力するフレームの順序が異なる。

その場合、多重回路１０９は、付加情報生成回路１０８から出力される付加情報を保持しておく。そして、画像符号化回路１０４から出力される動画データの各フレームに対して、表示される順序に従ってカウントダウン情報３０２がカウントダウンする様、付加情報を付加して出力する。

次に、図１のビデオカメラ１００から送信された動画像データストリームを受信し、動画像を表示する表示装置について説明する。

図９は表示装置９００の構成を示す図である。図９において、９０１はビデオカメラ１００から送信された動画像データストリーム受信するインターフェイスである。９０２はＩ／Ｆ９０１によって受信した動画像データストリームを入力する入力回路である。９０３は入力した動画像データストリームから、音声データ、動画像データ及び付加情報を検出し、それぞれ音声復号回路９０７、画像復号回路９０４及び付加情報処理回路９１０に供給する分離回路である。

音声復号回路９０７は、分離回路９０３からの符号化音声データを復号する。音声復号回路９０７で復号された音声データは、Ｄ／Ａ変換器や音声増幅回路を有する音声出力回路９０８を介してスピーカ９０９に供給され、音声として出力される。

また、画像復号回路９０４は、分離回路９０３からの符号化動画像データを復号化する。画像復号回路９０４により復号された動画像データは、画像出力回路９０５に出力される。画像出力回路９０５はバッファメモリを有し、復号された動画像データを所定フレーム数蓄積する。そして、指定されたタイミングで動画像データを読み出し、表示パネル９０６に動画像を表示する。

付加情報処理回路９１０は、分離回路９０３からの付加情報を受け、その内容を解析する。そして、フレームレートの変更に関連した前記の各種の情報を検出すると、検出した情報をＣＰＵ９１３に出力する。

具体的には、付加情報検出回路９１０は、フレームレート変更フラグ３０１ａが１に設定されていた場合、その旨をＣＰＵ９１３に知らせると共に、カウントダウン情報３０２の値を検出してＣＰＵ９１３に出力する。

また、付加情報検出回路９１０は、目標フレームレートフラグ３０１ｂが１に設定されていたばあい、その旨をＣＰＵ９１３に知らせると共に、目標フレームレート情報の値をＣＰＵ９１３に出力する。

ＣＰＵ９１３は、この様な付加情報検出回路９１０の検出結果に基づいて、フレームレートの変更に備える。

即ち、ＣＰＵ９１３は、目標フレームレートフラグ３０１ｂと共に検出された目標フレームレート情報３０３ｂの値を表示制御回路９１１に出力する。

ＣＰＵ９１３はまた、フレームレート変更フラグ３０１ａと共に検出されたカウントダウン情報３０２値をフレームカウンタ９１２に供給す。フレームカウンタ９１２には、ＣＰＵ９１３からカウントダウン情報が供給される度にその値がセットされる。そして、セットされたカウント値を表示制御回路９１１に出力する。

前述の様に、カウントダウン情報３０２は、フレームレートの変更点のｎフレーム前から変更点までの全てのフレームに対して付加されている。しかし、送信中のエラーなどにより、カウントダウン情報３０２が検出できないことも考えられる。

そこで、フレームカウンタ９１２は、ＣＰＵ９１３からカウントダウン情報がセットされた後、画像出力回路９０５から１フレームの画像が表示される度にカウント値を一つずつ減算する。

これにより、フレームレートの変更点までのｎフレームのうち、何れかのフレームに付加されたカウントダウン情報３０２が検出できさえすれば、フレームレート変更点までの期間をカウントすることが可能である。フレームカウンタ９１２は、カウント値が０になると、フレームレートの切り替えを示す制御信号を表示制御回路９１１に出力する。表示制御回路９１１は、このフレームカウンタ９１２からの切り替え制御信号に基づいて、画像出力回路９０５からの動画像データの出力タイミングを制御する。

図１０は表示制御回路９１１の構成を示すブロック図である。図１０において、周波数制御回路１００５には、ＣＰＵ９１３より現在入力されている動画像データのフレームレートの情報と、目標フレームレート情報が供給される。また、ＰＬＬ回路１００１、１００２には、それぞれ所定周波数のシステムクロックが供給され、このシステムクロックに同期した動作クロックを発生する。周波数制御回路１００５は、ＣＰＵ９１３より供給されたフレームレートの情報に基づいて、各ＰＬＬ回路１００１、１００２が発生する動作クロックの中心周波数を設定する。ＰＬＬ回路１００１、１００２から出力された動作クロックは、スイッチ１００３に供給される。

切り替え制御回路１００６には、フレームカウンタ９１２からの切り替え制御信号が供給されており、切り替え制御回路１００６は、この切り替え制御信号に基づいてＰＬＬ回路１００１からのクロックとＰＬＬ回路１００２からのクロックを切り替えるようにスイッチ１００３を制御する。スイッチ１００３から出力されるクロックは画像出力回路９０５とアドレス発生回路１００４に供給される。

アドレス発生回路１００４は、スイッチ１００３から出力されるクロックに基づいて画像出力回路９０５におけるバッファメモリの読出しアドレスを発生し、出力する。画像出力回路９０５は、スイッチ１００３からのクロックに従い、アドレス発生回路１００４からの読み出しアドレスの画像データをバッファメモリから読み出し、表示パネル９０６に出力する。

この様な表示装置９００において、入力動画データのフレームレート変更時の動作を具体的に説明する。なお、現在入力されている動画像データを表示しているときに、ＰＬＬ回路１００１からの動作クロックがスイッチ１００３によって選択されているとする。

このとき、ビデオカメラ１００から図７に示す目標フレームレート情報を含む動画像データストリームが入力されたとする。ＣＰＵ９１３は、この目標フレームレート情報を周波数制御回路１００５に出力する。周波数制御回路１００５は、目標フレームレート情報に基づき、ＰＬＬ回路１００２の中心周波数を設定する。

通常、ＰＬＬ回路は、周波数が変更されてから動作が安定するまでには、時間遅れが生ずる。本実施例では、カウントダウン情報によるフレームレート変更までのフレーム数を、ＰＬＬ回路１００２の動作が安定する時間より充分長い時間に設定する。

目標フレームレート情報がＣＰＵ９１３から供給され、周波数制御回路１００５により中心周波数が変更されると、ＰＬＬ回路１００２は、ＣＰＵ９１３により設定された周波数にロックするような動作を開始する。

また、切り替え制御回路１００６は、フレームカウンタ９１２からの切り替え制御信号に基づいてスイッチ１００３の切り替えタイミングを制御する。即ち、カウントダウン情報が０になると同時に、フレームカウンタ９１２から切り替え制御回路１００６に対して切り替え制御信号が供給される。切り替え制御回路１００６は、この切り替え制御信号に応じて、ＰＬＬ回路１００２からの出力クロックを選択して出力するようにスイッチ１００３を制御する。スイッチ１００３により選択されたクロックが、アドレス発生回路１００４及び画像出力回路９０５に供給される。

このような動作により、本実施例では、フレームレートの変更点において、安定に動作しているＰＬＬ回路１００２の出力クロックが画像出力回路９０５とアドレス発生回路１００４に供給される。

また、本実施例では、フレームレート変更後の画像出力回路９０５の読み出しクロック、及び、アドレス発生回路１００４の動作クロックとして、変更後のフレームレートに対応したクロックが使用される。この動作により、アドレス発生回路１００４のアドレス供給動作と、画像出力回路９０５からの画像データ読み出し動作とが、フレームレート変更後の動作周波数で規定される。

このようにして、本実施例では、フレームレートがスムーズに変更可能であり、表示画像の暗転及び表示遅延などの画質劣化を極めて小さくできる効果がある。

また、本実施例では、音声データの出力と画像データの出力は不図示の同期化回路により同期化され、所謂、リップシンクが実現される。このような音声・画像の同期化については、多数の公知方法を採用可能であるので、詳細な説明を省略する。音声の出力にはフレームレートといった概念は必要無く、簡単な遅延制御で済む。

このように、本実施例では、フレームレートの変更指示があると、フレームレート変更点までのフレーム数と変更後のフレームレートをフレームレート変更までの予告情報として動画データに付加して送信する。

そのため、受信側機器では、フレームレートの変更の有無と変更タイミング、及び変更後のフレームレートを、フレームレート変更点の所定期間前に検出することができる。そのため、受信側機器では、動画データのフレームレート変更に備えることができ、表示フレームレートを切り替える動作を滑らかに行うことができる。

なお、本実施例では、カウントダウン情報をフレームレート変更点の１０フレーム前から設定しているが、この値に限らない。受信側機器が滑らかに表示フレームレートを変更可能であれば、どのような値からカウントダウンしてもよい。ただし、その場合でも、制御回路１１３は、カウントダウン情報が０になるタイミングと撮像回路１０２において動画データのフレームレートを変更するタイミングが同期するように撮像回路１０２を制御する。

また、目標フレームレート値３０３ｂとカウントダウン情報３０２の値を別々に設定しているが、同時に設定するように構成してもよい。

また、本実施例では、フレームレート変更指示があると、すぐにはフレームレートを変更せず、フレームレートの変更点までの期間を予告する予告情報としてカウントダウン情報を送信する。そして、カウントダウン情報を０に設定したタイミングで動画データのフレームレートを変更する。

そのため、カウントダウン期間分の動画データを蓄積することなく、フレームレートの変更点までの各フレームに対してカウントダウン情報を付加することができる。

しかし、これに限らず、カウントダウン情報を送信する期間分、動画データを蓄積しておき、フレームレートの変更指示があると、その次のフレームからフレームレートを変更する構成とすることもできる。即ち、画像符号化回路１０４又は画像処理回路１０３から出力される動画像データを、カウントダウンに必要な期間分記憶可能なバッファメモリを設け、このバッファメモリに動画像データを蓄積しておく。そして、フレームレートの変更指示があると、バッファメモリに蓄積されている動画像データの各フレームに対し、フレームレート変更までの位置を示すカウントダウン情報を付加して送信すればよい。

また、動画像データストリームをＩ／Ｆ１１１から出力せず、記録回路１１２により記録媒体に記録している場合には、バッファメモリに蓄積せずに、一旦、記録媒体に記録したデータの付加情報を書き換えるようにしても良い。その際、動画像データストリームをそのままの形式で記録するのではなく、動画像データストリームの制御情報として、動画像データとは別の記録領域に記録するようにしてもよい。

次に、第２の実施例を説明する。本実施例では、フレームレートの変更指示に応じてカウントダウン情報を付加するフレーム数を、変更指示があった時点で生成、送信している動画データのフレームレートに応じて設定する。即ち、フレームレートの変更指示の時点で送信中の動画データのフレームレートが大きい程、カウントダウン情報を付加するフレーム数を多くする。

具体的に説明する。第１の実施例では、フレームレートの変更指示があると、カウントダウン情報ｎとして１０を設定し、その後、フレーム毎にカウントダウン情報を１ずつ減少させていた。これに対し、本実施例では、例えば、現在送信中の動画データのフレームレートが３０フレーム／秒の場合にはｎを１０とする。また、現在送信中の動画データのフレームレートが３０フレーム／秒の場合にはｎを２０とし、フレームレートの変更点の２０フレーム前から付加情報を送信する。また、現在送信中の動画データのフレームレートが６０フレーム／秒の場合にはｎを３０とし、フレームレートの変更点の３０フレーム前から付加情報を送信する。また、現在送信中の動画データのフレームレートが１２０フレーム／秒の場合にはｎを４０とし、フレームレートの変更点の４０フレーム前から付加情報を送信する。

この様に、本実施例では、現在のフレームレートにかかわらず、フレームレートの変更点までにカウントダウン情報を付加する期間がほぼ同じ期間になるよう、付加情報を送信する期間を変えている。

本実施例においても、ビデオカメラ１００の構成、並びに動画像データと共に送信する付加情報の内容は第１の実施例と同様である。

図１２は、フレームレート変更の指示を受けた場合の付加情報生成回路１０８の処理を示すフローチャートである。制御回路１１３からフレームレート変更の指示を受けると図１２のフローが開始する。

フレームレート変更指示があると、まず、現在生成している動画像データのフレームレートＦＲを検出する（Ｓ１２０１）。そして、検出したＦＲの値に基づいて、前述の様にカウントダウン情報３０２の初期値ｎを設定する（Ｓ１２０２）。

以下、ステップＳ１２０３−Ｓ１２１２の処理は、図１１におけるステップＳ１１０２−Ｓ１１１１の処理と同様である。

この様に、本実施例では、フレームレート変更の指示があると、現在のフレームレートに基づいて、フレームレートの変更点までにカウントダウン情報を付加する期間を変えている。

そのため、現在のフレームレートにかかわらず、フレームレートの変更点までにカウントダウン情報を付加する期間をほぼ同じ期間にすることができる。

そのため、動画データを受信した表示装置においてＰＬＬ回路にて動作クロックを生成する場合、変更前の動画データのフレームレートにかかわらず、フレームレート変更点において、安定したクロックを発生できる。

なお、前述の各実施例では、フレームレート変更指示にかかわらず、付加情報を送信していた。これ以外にも、フレームレート変更指示があってから、フレームレートの変更点までの間だけ、付加情報を生成し、動画データに付加して送信する構成としてもよい。

本発明の一実施例におけるビデオカメラの構成を示す図である。 フレームレートの設定画面の様子を示す図である。 付加情報の様子を示す図である。 目標フレームレート情報の様子を示す図である。 カウントダウン情報の送信状態を示す図である。 カウントダウン情報の送信状態を示す図である。 付加情報の様子を示す図である。 付加情報の様子を示す図である。 本発明の実施形態における表示装置の構成を示す図である。 表示制御回路の構成を示す図である。 付加情報の生成処理を示すフローチャートである。 付加情報の生成処理を示すフローチャートである。

符号の説明

１００：ビデオカメラ
１０１：光学系
１０２：撮像回路
１０３：画像処理回路
１０４：画像符号化回路
１０５：マイクロフォン
１０６：音声処理回路
１０７：音声符号化回路
１０８：付加情報生成回路
１０９：多重回路
１１０：出力回路
１１２：記録回路
１１３：制御回路
１１４：ＯＳＤ回路
１１５：表示制御回路
１１６：表示パネル
１１７：操作部
３００：付加情報
３０１：オプションフラグインジケータ（のフィールド）
３０１ａ：フレームレート変更フラグ
３０１ｂ：目標フレームレートフラグ
３０２：カウントダウン情報（のフィールド）
３０３：目標フレームレート情報（のフィールド）
３０３ａ：予約フィールド
３０３ｂ：目標フレームレート情報
９００：表示装置
９０１：インターフェイス
９０２：入力回路
９０３：分離回路
９０４：画像復号化回路
９０５：画像出力回路
９０６：表示パネル
９０７：音声復号回路
９０８：音声出力回路
９０９：スピーカ
９１０：付加情報処理回路
９１１：表示制御回路
９１２：フレームカウンタ
９１３：ＣＰＵ
１００１，１００２：ＰＬＬ回路
１００３：スイッチ
１００４：アドレス発生回路
１００５：周波数制御回路
１００６：切り替え制御回路

Claims (12)

1. 動画データを生成する動画生成手段と、
   前記動画データのフレームレートの変更指示を出力する指示出力手段と、
   複数のフレームレートのいずれかを第１のフレームレートとして設定する設定手段と、
   前記設定手段により設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成手段を制御すると共に、前記指示出力手段からのフレームレート変更指示に応じて、前記動画生成手段が生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成手段を制御する制御手段と、
   前記第２のフレームレートを示す付加情報を生成する付加情報生成手段と、
   前記動画生成手段により生成された動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点のｎフレーム（ｎは１以上の整数）前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、
   前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段とを備え、
   前記多重手段は、前記第１のフレームレートの値に基づいて前記ｎを設定する
   ことを特徴とする画像処理装置。
2. 動画データを送信する装置であって、
   送信する前記動画データのフレームレートを第１のフレームレートから第２のフレームレートに変える場合に、前記第２のフレームレートを示す付加情報を生成する付加情報生成手段と、
   前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、
   前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段
   とを備える画像処理装置。
3. 動画データを生成する動画生成手段と、
   前記動画データのフレームレートの変更指示を出力する指示出力手段と、
   複数のフレームレートのいずれかを第１のフレームレートとして設定する設定手段と、
   前記設定手段により設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成手段を制御すると共に、前記指示出力手段からのフレームレート変更指示に応じて、前記動画生成手段が生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成手段を制御する制御手段と、
   前記動画生成手段により生成された前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点までのフレーム数を示す付加情報を生成する付加情報生成手段と、
   前記変更点のｎフレーム（ｎは１以上の整数）前から、前記動画生成手段により生成された前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、
   前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段
   とを備え、
   前記多重手段は、前記第１のフレームレートの値に基づいて前記ｎを設定する
   画像処理装置。
4. 前記付加情報生成手段は、前記付加情報の値を１フレーム毎に１ずつ減少させ、前記多重手段は、前記変更点のｎフレーム前から前記変更点までの各フレームに前記付加情報を付加することを特徴とする請求項２に記載の画像処理装置。
5. 前記制御手段は、前記送信手段による前記第１のフレームレートの動画データの送信中に前記指示出力手段から出力された前記フレームレートの変更指示に応じて、前記動画像データのフレームレートを前記第２のフレームレートに変更するよう前記動画生成６段を制御することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記多重手段は、前記第１のフレームレートの値が大きいほど、前記ｎを大きく設定することを特徴とする請求項１または２に記載の画像処理装置。
7. 動画データを取得する取得手段と、
   前記取得手段により取得された前記動画データのフレームレートが第１のフレームレートから第２のフレームレートに変わる変更点までの期間に関する付加情報を生成する付加情報生成手段と、
   前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重手段と、
   前記多重手段から出力された前記動画データと前記付加情報とを送信する送信手段
   とを備える画像処理装置。
8. 前記多重手段は、前記第１のフレームレートの値が大きいほど、前記付加情報を多重するフレーム数を多く設定することを特徴とする請求項２または７に記載の画像処理装置。
9. 動画データを生成する動画生成ステップと、
   前記動画データのフレームレートの変更指示を出力する指示出力ステップと、
   複数のフレームレートのいずれかを第１のフレームレートとして設定する設定ステップと、
   前記設定ステップにより設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成ステップを制御すると共に、前記指示出力ステップによるフレームレート変更指示に応じて、前記動画生成ステップで生成する前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成ステップを制御する制御ステップと、
   前記第２のフレームレートを示す付加情報を生成する付加情報生成ステップと、
   前記動画生成ステップで生成された動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点のｎフレーム（ｎは１以上の整数）前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、
   前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップ
   とを備え、
   前記多重ステップは、前記第１のフレームレートの値に基づいて前記ｎを設定する
   ことを特徴とする画像処理方法。
10. 動画データを送信する方法であって、
    送信する前記動画データのフレームレートを第１のフレームレートから第２のフレームレートに変える場合に、前記第２のフレームレートを示す付加情報を生成する付加情報生成ステップと、
    前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、
    前記多重ステップで出力された前記動画データと前記付加情報とを送信する送信ステップ
    とを備える画像処理方法。
11. 動画データを生成する動画生成ステップと、
    前記動画データのフレームレートの変更指示を出力する指示出力ステップと、
    複数のフレームレートのいずれかを第１のフレームレートとして設定する設定ステップと、
    前記設定ステップにより設定されたフレームレートに基づいて前記第１のフレームレートの動画データを生成するように前記動画生成ステップを制御すると共に、前記指示出力ステップによるフレームレート変更指示に応じて、前記動画生成ステップで生成された前記動画データのフレームレートを、前記第１のフレームレートから第２のフレームレートに変更するよう前記動画生成ステップを制御する制御ステップと、
    前記動画生成ステップで生成された前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点までのフレーム数を示す付加情報を生成する付加情報生成ステップと、
    前記変更点のｎフレーム（ｎは１以上の整数）前から、前記動画生成ステップで生成された前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、
    前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップ
    とを備え、
    前記多重ステップは、前記第１のフレームレートの値に基づいて前記ｎを設定する
    画像処理方法。
12. 動画データを取得する取得ステップと、
    前記取得ステップで取得された前記動画データのフレームレートが第１のフレームレートから第２のフレームレートに変わる変更点までの期間に関する付加情報を生成する付加情報生成ステップと、
    前記第１のフレームレートに基づいて前記付加情報を多重するフレーム数を設定し、前記動画データのフレームレートが前記第１のフレームレートから前記第２のフレームレートに変わる変更点よりも前記設定されたフレーム数だけ前から前記変更点までの前記第１のフレームレートの動画データに前記付加情報を付加する多重ステップと、
    前記多重ステップによる前記動画データと前記付加情報とを送信する送信ステップ
    とを備える画像処理方法。

Images