JP6133960B2 - 映像処理装置、および、映像処理方法 - Google Patents

Description

本発明は、映像処理装置、および、映像処理方法に関する。

従来から、フレームのリピートおよびスキップを抑制する技術が開示されている。

ここで、受信機内のクロックと、送信機から入力される信号が同期しているクロックと、の２つのクロックの周波数差に基づいて、出力信号の欠落や重複が発生するまでの時間を遅らせる技術が開示されている（特許文献１を参照）。

また、伝送路や装置間に遅延が発生した場合でも、受信側が備えるバッファの蓄積量を監視し、クロック周波数を動的に変動させることで、バッファからの出力の遅延を最小化する技術が開示されている（特許文献２を参照）。

特開２００９−１７１５１３号公報 特開２０１５−１９２３９２号公報

しかしながら、従来の装置（特許文献１等）においては、複数のクロックの周波数、または、装置内のバッファ蓄積量等の監視が必要であり、リピートおよびスキップを完全に起こらないようにするものではないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、フレーム受信時の映像出力タイミングが常に一定になるように、映像出力クロックを調整することができる映像処理装置、および、映像処理方法を提供することを目的とする。

このような目的を達成するため、本発明に係る映像処理装置は、フレームを細分化した細分化データをネットワークを介して受信した場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得する数値化手段と、前記数値と、映像出力クロックの基準となる、前記サンプル数および前記ライン数の基準値と、に基づいて、前記映像出力クロックを制御する出力クロック制御手段と、を備えたことを特徴とする。

また、本発明に係る映像処理方法は、フレームを細分化した細分化データをネットワークを介して受信した場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得する数値化ステップと、前記数値と、映像出力クロックの基準となる、前記サンプル数および前記ライン数の基準値と、に基づいて、前記映像出力クロックを制御する出力クロック制御ステップと、を含むことを特徴とする。

この発明によれば、フレーム受信時の映像出力タイミングが常に一定になるように制御することで、入力映像と映像出力側装置の映像出力との両クロックが同期する。

結果的に、この発明によれば、バッファ蓄積量がデータ枯渇またはデータ溢れ状態にならないように制御され、リピートまたはスキップが必要な状態にならないようにでき、映像の変化をさせず、映像伝送を継続させることができる。

また、この発明によれば、バッファのデータ蓄積量を監視することなく、映像出力を制御することで、データ枯渇状態またはデータ溢れ状態を防ぐことができ、リピートまたはスキップを無くすことができる。

図１は、本実施形態における映像処理システムの概略構成の一例を示すハードウェア構成図である。 図２は、本実施形態における映像処理システムの構成の一例を示すハードウェア構成図である。 図３は、本実施形態に係る映像処理装置１００の構成の一例を示すブロック図である。 図４は、本実施形態の映像処理装置１００における処理の一例を示すフロー図である。 図５は、本実施形態の映像処理装置１００における処理の一例を示すフローチャートである。 図６は、本実施形態におけるサンプル数およびライン数の一例を示す図である。 図７は、本実施形態の映像出力タイミング数値化処理の一例を示す概念図である。 図８は、本実施形態におけるクロック生成処理の一例を示す図である。 図９は、フレーム受信時における、映像出力タイミングを示す図である。 図１０は、フレーム受信時における映像出力タイミングを示す図である。 図１１は、フレーム受信時における映像出力タイミングを示す図である。 図１２は、フレーム受信時における映像出力タイミングを示す図である。 図１３は、フレーム受信時における映像出力タイミングを示す図である。 図１４は、本実施形態における映像出力クロック調整の一例を示す図である。 図１５は、本実施形態におけるバッファ量遷移の一例を示す図である。 図１６は、本実施形態におけるバッファ量遷移の一例を示す図である。

以下に、本発明に係る映像処理装置、および、映像処理方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係る映像処理装置１００の構成の一例について図１乃至図３を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態における映像処理システムの概略構成の一例を示すハードウェア構成図である。図２は、本実施形態における映像処理システムの構成の一例を示すハードウェア構成図である。図３は、本実施形態に係る映像処理装置１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するための映像処理装置１００を例示するものであって、本発明をこの映像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の映像処理装置１００にも等しく適用し得るものである。

例えば、本実施形態で例示する映像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

図１および図２に示すように、映像処理システムは、概略的に、映像処理装置（送信装置）１００−１と、映像処理装置（受信装置）１００−２と、がネットワーク３００を介して通信可能に接続して構成される。

図１に示すように、（入力）映像データは、カメラまたはレコーダ等から出力されて、送信装置へ入力される。そして、送信装置１００−１は、映像データをネットワーク３００へ送信する。

そして、受信装置１００−２は、ネットワーク３００経由で伝送されてきた映像データを受信する。そして、受信装置１００−２が、（出力）映像データを出力すると、（出力）映像データは、モニタまたはレコーダ等へ入力される。

ここで、図２に示すように、映像処理システムを構成する映像処理装置１００は、映像データ（フレーム）をフレームを細分化した細分化データ（ＩＰデータ）へ変換する処理、細分化データの送受信処理、および、クロック制御等のためのＬＳＩ、ならびに、演算のためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えていてもよい。

また、映像処理装置１００は、映像データをバッファリングするためのメモリ、ＲＯＭおよび記憶装置（バッファ）、映像の入出力のための任意数の入出力装置、ならびに、細分化データを送受信するためのＮＩＣ（ネットワークインターフェース）を備えていてもよい。

ここで、入出力装置は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、または、Ｄｉｓｐｌａｙ ｐｏｒｔ端子などであってもよい。

また、図２に示すように、入出力装置を構成する入力ポートの先には、カメラ、または、レコーダ等が接続され、入出力装置を構成する出力ポートの先には、モニタ（ディスプレイ）、または、レコーダ等が接続されてもよい。

また、ＬＳＩとしては、ＦＰＧＡ、または、ＣＰＵなどのチップが搭載されてもよい。また、記憶装置は、ＲＡＭ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などであってもよい。

また、ＮＩＣとしては、ツイストペアケーブル、または、ＳＦＰ＋（Ｓｍａｌｌ Ｆｏｒｍ−ｆａｃｔｏｒ Ｐｌｕｇｇａｂｌｅ＋）もしくはＸＦＰ（１０ Ｇｉｇａｂｉｔ Ｓｍａｌｌ Ｆｏｒｍ Ｆａｃｔｏｒ Ｐｌｕｇｇａｂｌｅ）などの光トランシーバモジュールなどが使用されてもよい。

また、図３に示すように、映像処理装置１００は、概略的に、制御部１０２と記憶部（バッファ）１０６とを備えて構成される。これら映像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、映像処理装置１００は、更に、データの入出力（Ｉ／Ｏ）を行う機能を有する入出力部を備えていてもよい（図示省略）。

ここで、入出力部は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および、マイク等であってもよい。

また、入出力部は、アプリケーション等の（入出力）情報を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）であってもよい。また、入出力部は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。

ここで、記憶部（バッファ）１０６は、各種のデータベース、テーブル、および／または、ファイルなどを格納する。ここで、記憶部１０６は、映像データ、および、細分化データ等を記憶していてもよい。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。

記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ＨＤＤのような固定ディスク装置、ＳＳＤ、フレキシブルディスク、および／または、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵに命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。

ここで、バッファ１０６は、ネットワーク３００を介して受信した映像データを一時的に貯めておいてもよい。また、バッファ１０６は、映像データを、１フレーム１フレーム識別することができ、フレームごとに区別しながら貯めておいてもよい。

また、制御部１０２は、映像処理装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、機能概念的に、フレーム受信通知部１０２ａ、数値化部１０２ｂ、出力クロック制御部１０２ｃ、および、出力制御部１０２ｅを備える。

フレーム受信通知部（フレーム到着通知部）１０２ａは、フレーム（映像データの１コマ）を細分化した細分化データをネットワーク３００を介して受信する。

ここで、フレーム到着通知部１０２ａは、細分化データがフレームの先頭データを含む場合、当該先頭データを識別し、数値化部１０２ｂにフレーム受信通知を送信する。すなわち、フレーム受信通知部１０２ａは、フレーム到着を通知してもよい。

また、フレーム到着通知部１０２ａは、細分化データをネットワーク３００を介して受信し、当該細分化データがフレームの所定規格の先頭指示データ、または、フレームの独自の先頭指示データを含む場合、当該先頭指示データを識別し、数値化部１０２ｂにフレーム受信通知を送信してもよい。

ここで、細分化データに含まれる先頭指示データは、ＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）ヘッダの情報（ペイロードスタートインジケータ等）、ＪＰＥＧ２０００画像内の特別な識別子、または、その他独自のヘッダなどであってもよい。

数値化部（映像出力タイミング数値化部）１０２ｂは、フレームにおけるサンプル数およびライン数の数値を取得する。すなわち、映像出力タイミング数値化部１０２ｂは、映像出力タイミングを数値化してもよい。

ここで、映像出力タイミング数値化部１０２ｂは、フレームを細分化した細分化データをネットワーク３００を介して受信した場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得してもよい。

また、映像出力タイミング数値化部１０２ｂは、細分化データをネットワーク３００を介して受信した場合、映像出力クロックとフレームの先頭を示すタイミングパルスとを生成し、当該タイミングパルスに基づいて、出力中のフレームにおけるサンプル数およびライン数の数値を取得してもよい。

また、映像出力タイミング数値化部１０２ｂは、フレーム受信通知を受信した場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得してもよい。

出力クロック制御部（映像出力クロック制御部）１０２ｃは、映像出力クロックを制御する。ここで、映像出力クロック制御部１０２ｃは、映像出力タイミング数値化部１０２ｂにより取得された数値と、映像出力クロックの基準となる、サンプル数およびライン数の基準値と、に基づいて、映像出力クロックを制御してもよい。

また、映像出力クロック制御部１０２ｃは、映像出力タイミング数値化部１０２ｂにより取得された数値が基準値より大きい場合、映像出力のタイミングを遅らせるように映像出力クロックを制御し、映像出力タイミング数値化部１０２ｂにより取得された数値が基準値より小さい場合、映像出力のタイミングを早めるように映像出力クロックを制御してもよい。

ここで、基準値は、所定時点に、映像出力タイミング数値化部１０２ｂにより取得された出力中のフレームにおけるサンプル数およびライン数の数値であってもよい。

また、所定時点は、バッファ１０６の蓄積量が、当該バッファ１０６の容量の半分を超えた時点であってもよい。また、所定時点は、バッファ１０６の蓄積量が、リピートが発生しない当該バッファ１０６の容量であるバッファ下限値を超えた時点であってもよい。

また、映像出力クロック制御部１０２ｃは、図３に示すように、出力クロック調整部（映像出力クロック調整部）１０２ｄを少なくとも備える。

映像出力クロック調整部１０２ｄは、映像出力クロックを調整する。ここで、映像出力クロック調整部１０２ｄは、電圧を変化させることで、映像出力クロックを調整してもよい。

また、映像出力クロック調整部１０２ｄは、映像出力クロック制御部１０２ｃによる制御に基づいて、映像出力クロックを調整してもよい。すなわち、映像出力タイミング数値化部１０２ｂで取得された数値を使って、映像出力クロック調整部１０２ｄをどのように制御するかを、映像出力クロック制御部１０２ｃが決定してもよい。

出力制御部１０２ｅは、バッファ１０６に記憶されたフレームを出力させる。ここで、出力制御部１０２ｅは、映像出力クロック調整部１０２ｄにより制御された映像出力クロックに基づいて、バッファ１０６に記憶されたフレームを（モニタ、または、レコーダ等に）出力させてもよい。

［本実施形態の処理］
上述した構成の映像処理装置１００で実行される処理の一例について、図４乃至図１６を参照して説明する。図４は、本実施形態の映像処理装置１００における処理の一例を示すフロー図である。

図４に示すように、まず、フレーム到着通知部１０２ａは、フレームが細分化された細分化データをネットワーク３００を介して受信し、当該細分化データがフレームの所定規格の先頭指示データ、または、フレームの独自の先頭指示データを含む場合、当該先頭指示データを識別し、数値化部１０２ｂにフレーム受信通知を送信する（ステップＳＡ−１）。

ここで、図５を参照して、本実施形態におけるフレーム到着通知処理の一例について説明する。図５は、本実施形態の映像処理装置１００における処理の一例を示すフローチャートである。

図５に示すように、まず、フレーム到着通知部１０２ａは、細分化データをネットワーク３００を介して受信したか否かを判定する（ステップＳＢ−１）。

そして、フレーム到着通知部１０２ａは、細分化データをネットワーク３００を介して受信していないと判定した場合（ステップＳＢ−１：Ｎｏ）、（待機後に）処理を繰り返す（処理をステップＳＢ−１に移行させる）。

一方、フレーム到着通知部１０２ａは、細分化データをネットワーク３００を介して受信したと判定した場合（ステップＳＢ−１：Ｙｅｓ）、処理をステップＳＢ−２に移行させる。

そして、フレーム到着通知部１０２ａは、受信した細分化データが新しいフレームのデータか否かを判定する（ステップＳＢ−２）。

そして、フレーム到着通知部１０２ａは、受信した細分化データが新しいフレームのデータではないと判定した場合（ステップＳＢ−２：Ｎｏ）、処理をステップＳＢ−１に移行させる。

一方、フレーム到着通知部１０２ａは、受信した細分化データが新しいフレームのデータであると判定した場合（ステップＳＢ−２：Ｙｅｓ）、処理をステップＳＢ−３に移行させる。

そして、フレーム到着通知部１０２ａは、（レジスタなど叩き）映像出力タイミング数値化部１０２ｂに受信したことを通知（フレーム受信通知を送信）し（ステップＳＢ−３）、処理をステップＳＢ−１に移行させる。

図４に戻り、映像出力タイミング数値化部１０２ｂは、フレーム受信通知を受信した場合、映像出力クロックとフレームの先頭を示すタイミングパルスとを生成し、当該タイミングパルスに基づいて、出力制御部１０２ｅにより出力中のフレームにおけるサンプル数およびライン数の数値を取得する（ステップＳＡ−２）。

ここで、図６を参照して、本実施形態におけるサンプル数およびライン数の一例を説明する。図６は、本実施形態におけるサンプル数およびライン数の一例を示す図である。

図６に示すように、デジタル映像伝送標準の規格（例えば、ＳＭＰＴＥ２９２等）において、フレーム（１枚の画のデータ）は、図示のような構成になっており、データ（矩形）内の矢印のように、左から右、および、上から下、へジグザグに左上から右下に向かって処理されていく。

ここで、データ（矩形）外の矢印のように、フレームには、縦横のようにトータルサンプル、および、トータルラインというものがあり、それぞれの値を指定することにより、フレーム１枚を構成する全データのうちのどこのデータを示すかを識別することができる。

また、図６において水平画素は、２２００−２８０＝１９２０であってもよい。また、図６において垂直画素は、１１２２−４２＝１０８０であってもよい。

ここで、図５を参照して、本実施形態における映像出力タイミング数値化処理の一例について説明する。

図５に示すように、まず、映像出力タイミング数値化部１０２ｂは、フレーム受信通知を受けるまで待機する（ステップＳＣ−１）。

そして、映像出力タイミング数値化部１０２ｂは、通知を受けた場合、その時点の（サンプル数、ライン数）を取得し、（レジスタなど）見える所へ数値として出力し（ステップＳＣ−２）、処理をステップＳＣ−１に移行させる。

更に、図７を参照して、本実施形態の映像出力タイミング数値化処理の一例について説明する。図７は、本実施形態の映像出力タイミング数値化処理の一例を示す概念図である。

図７に示すように、まず、画のデータ（フレーム）は細分化され、ＭＰＥＧ２−ＴＳヘッダ等が付加され、ネットワーク３００を介して、受信装置１００−２に運ばれてくる。

ここで、細分化データが入ってくる間隔は、送信装置１００−１に撮影装置等から入力される映像データの入力クロック、および／または、ネットワーク３００の品質により変わるが、おおよそ等間隔であってもよい。

そして、受信装置１００−２のフレーム到着通知部１０２ａは、新しい画のデータ（フレーム）を受信した場合、それを映像出力タイミング数値化部に通知する（処理［１］）。ここで、フレーム到着通知部１０２ａは、新しいフレームが来る度に通知し、それを繰り返してもよい。

すなわち、おおよそ等間隔で細分化データを受信した場合、受信装置１００−２のフレーム到着通知部１０２ａは、おおよそ等間隔でフレーム受信通知を通知することになる。ここで、受信装置１００−２はバッファ１０６等のデータを溜める機構を備えていてもよい。

そして、受信装置１００−２の映像出力タイミング数値化部１０２ｂは、新しいフレームを受信したと通知があった時点の、出力中の（サンプル数、ライン数）の値を（例えば、図７に示すＯ１：（５００、３００）、Ｏ２：（５００、４００）、および、Ｏ３：（５００、５００）等のように）数値化する（処理［２］）。

ここで、映像出力タイミング数値化部１０２ｂは、新しいフレームを受信したとの通知がある度に、数値化してもよい。

なお、おおよそ等間隔で入ってくる画のデータに合わせて通知が来て、受信装置１００−２は、その際の出力タイミングを数値化するため、映像出力のクロックが送信装置１００−１に入力される映像データの入力クロックと完全には合っておらず、だんだんと値が変わっていってしまう。

また、図７に示すように、受信装置１００−１に入力される画のデータのタイミングと、受信装置１００−１からの映像出力のタイミングと、はそれぞれ独立であってもよい。また、映像出力のフレームの先頭（ＴＯＦ）は、どの画データに対してこのＴＯＦとなる等も決まっていなくてもよい。

ここで、図８を参照して、本実施形態におけるクロック生成処理の一例について説明する。図８は、本実施形態におけるクロック生成処理の一例を示す図である。

図８の上図に示すように、映像処理装置１００は、例えば、ＬＭＨ１９８３等のチップを備えることで、映像出力クロックと、フレームの先頭（ＴＯＦ）を示すタイミングパルスと、を生成してもよい。

ここで、図８に示すように、ＴＯＦと、隣のＴＯＦと、の間が、１枚分の時間である。例えば、映像出力クロックを１秒間に３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で出力する設定にした場合、１秒間に３０回ＴＯＦが入ることになる。

また、映像出力クロックとＴＯＦを示すタイミングパルスとは、受信した映像の画のデータとは無関係に、担々と刻まれ通知され、ハードウェア（映像処理装置１００）内で使用されてもよい。

また、図８の下図は、ＴＯＦとＴＯＦとの間の１枚分の時間を抜き出したものであり、３０ｆｐｓの場合、ＴＯＦとＴＯＦとの間が約０．０３３３３．．秒となる。

ここで、図８の下図に示すように、フレーム中の細分化データの位置（例えば、映像出力のタイミング等）を（サンプル数、ライン数）で示す際、四角形で表すこともできるが、左から右へ、上から下へ、ジグザグに左上から右下に向かって、一綴りなので、簡単な横軸としても表すこともできる。

例えば、図８の下図に示す横軸の左端目盛は、先頭（０，０）を示しており、横軸の右端目盛は、末尾（２１９９，１１２４）を示していてもよい。

また、図８の下図に示すように、ＴＯＦとＴＯＦとの間が１枚分であるので、それを（サンプル数、ライン数）で表すことができる。

ここで、図６を参照して具体的に示すと、映像処理装置１００は、１枚分の時間である０．０３３３．．秒を、２４７５０００（２２００（トータルサンプル数）＊１１２５（トータルライン数））で、等分することで、（サンプル数、ライン数）を取得することができる。

例えば、映像処理装置１００は、０．００００秒の場合、（サンプル数、ライン数）を、（０，０）と取得してもよい。また、映像処理装置１００は、０．１６６６秒の場合、（サンプル数、ライン数）を、（１１００，５６２）と取得してもよい。

また、映像処理装置１００は、０．３３３３秒の場合、（サンプル数、ライン数）を、（２１９９，１１２４）と取得してもよい。したがって、図８の下図のフレーム中の点は、１／３の位置なので、（７３３，３７５）となる。

図４に戻り、映像出力クロック制御部１０２ｃは、映像出力タイミング数値化部１０２ｂにより取得された数値が、映像出力クロックの基準となる、サンプル数およびライン数の基準値より大きい場合、映像出力のタイミングを遅らせるように、映像出力クロック調整部１０２ｄを制御し、映像出力タイミング数値化部１０２ｂにより取得された数値が基準値より小さい場合、映像出力のタイミングを早めるように、映像出力クロック調整部１０２ｄを制御する（ステップＳＡ−３）。

ここで、図５および図９乃至図１３を参照して、本実施形態における映像出力クロック制御処理の一例について説明する。図９は、フレーム受信時における、映像出力タイミングを示す図である。

図５に示すように、映像出力クロック制御部１０２ｃは、映像出力タイミング数値化部１０２ｂにより所定時点に取得された、出力中のフレームにおける（サンプル数、ライン数）を取得する（ステップＳＤ−１）。

そして、映像出力クロック制御部１０２ｃは、ステップＳＤ−１にて取得した（サンプル数、ライン数）を基準値とする（ステップＳＤ−２）。

そして、映像出力クロック制御部１０２ｃは、映像出力タイミング数値化部１０２ｂにより取得された、出力中のフレームにおける（サンプル数、ライン数）の数値を取得する（ステップＳＤ−３）。

そして、映像出力クロック制御部１０２ｃは、ステップＳＤ−３にて取得された数値が、基準値より大きくなっていたら、クロックを遅らせるように、映像出力クロック調整部１０２ｄを制御し、ステップＳＤ−３にて取得された数値が基準値より小さくなっていたら、クロックを速めるように、映像出力クロック調整部１０２ｄを制御し（ステップＳＤ−４）、処理をステップＳＤ−３に移行させる。

ここで、図９に示すように、映像処理装置１００は、例えば、最初の映像出力タイミングＯ１を取得した後、その値を基準値として、一定に保つように映像出力のクロックを高くしたり、低くしたりしてもよい。

具体的には、フレーム１を受信した時間Ｔ１における映像出力のタイミングがＯ１であり、映像処理装置１００は、Ｏ１のタイミングを一定（図中のライン上）にするように制御する。

まず、時間Ｔ１から時間Ｔ３において、映像出力のクロックが入力映像のクロックより遅いため、Ｏ２からＯ３のように、映像出力のタイミングが少しずつ前へ遷移している。

そこで、時間Ｔ３から時間Ｔ５において、このままではデータが飽和し、スキップが必要になるため、映像処理装置１００は、Ｏ１に比べ、Ｏ２およびＯ３の（サンプル数、ライン数）が小さくなっているのを検知し、クロックを早める。

このように制御することで、映像出力の処理は、早くなり、映像出力のタイミングが少しずつ後ろへ遷移していく。

一方で、時間Ｔ５から時間Ｔ７において、映像出力のクロックが入力映像のクロックより早いため、Ｏ６からＯ７のように、映像出力のタイミングが少しずつ後ろへ遷移している。

そこで、時間Ｔ７から時間Ｔ９において、このままではデータが枯渇し、リピートが必要になるため、映像処理装置１００は、Ｏ１に比べ、Ｏ６およびＯ７の（サンプル数、ライン数）が大きくなっているのを検知し、クロックを遅くする。

このように制御することで、映像出力の処理は、遅くなり、映像出力のタイミングが少しずつ前へ遷移していく。

ここで、図１０乃至図１３を参照して、本実施形態における映像出力クロック制御処理の具体例について説明する。図１０乃至図１３は、フレーム受信時における映像出力タイミングを示す図である。

図１０に示すように、映像処理装置１００は、フレームを受信した時間Ｔ（１，２，３，４）における、映像出力のタイミングＯ（１，２，３，４）について、出力中のフレームの（サンプル、ライン）で知ることができる。

図１０では、入ってくるフレームの時間に対し、映像出力のタイミングが遅いため、だんだんと処理しているデータの場所が前の方、すなわち、出力するフレームの（サンプル、ライン）が減っていく方に動いている。

すなわち、図１０では、入力映像と、映像処理装置１００の出力映像と、の両クロックが同期することができておらず、このままだと、データが溜まっていき、スキップが必要な状態になる。

そこで、図１１に示すように、映像処理装置１００は、時間Ｔ４にて映像出力のクロックを高くすることで、早く処理されるようになり、だんだんと処理しているデータの場所が後ろの方、すなわち、出力するフレームの（サンプル、ライン）が増える方に動かしている。それにより、スキップが必要な状態から遠ざけることができる。

すなわち、本実施形態においては、ある時の映像出力のタイミングを基準として、それに対し、タイミングが前へ遷移しているときは、入力映像のクロックのほうが映像出力クロックより高い状態なので、クロックを高くし、フレームを速く出力させるようにしてもよい。

次に、図１２では、入ってくるフレームの時間に対し、映像出力のタイミングが速いため、だんだんと処理しているデータの場所が後ろの方、すなわち、出力するフレームの（サンプル、ライン）が増えていく方に動いている。

すなわち、図１２では、入力映像と、映像処理装置１００の出力映像と、の両クロックが同期することができておらず、このままだと、データが無くなり、リピートが必要な状態になる。

そこで、図１３に示すように、映像処理装置１００は、時間Ｔ４にて、映像出力のクロックを低くすることで、だんだんと処理しているデータの場所が前の方、すなわち、出力するフレームの（サンプル、ライン）が減る方に動かしている。それにより、リピートが必要な状態から遠ざけることができる。

すなわち、本実施形態において、タイミングが後ろへ遷移している場合は、入力映像のクロックのほうが映像出力クロックより低い状態なので、クロックを低くし、フレームを遅く出すように制御してもよい。

図４に戻り、映像出力クロック調整部１０２ｄは、映像出力クロック制御部１０２ｃによる制御に基づいて、電圧を変化させることで、映像出力クロックを調整する（ステップＳＡ−４）。

ここで、図５および図１４を参照して、本実施形態における映像出力クロック調整処理の一例について説明する。図１４は、本実施形態における映像出力クロック調整の一例を示す図である。

図５に示すように、映像出力クロック調整部１０２ｄは、（レジスタなどで）設定変更を受け、映像出力クロックを調整する（ステップＳＥ−１）。

ここで、図１４に示すように、映像処理装置１００は、例えば、ＬＭＨ１９８３等のチップを備えることで、映像出力クロックを微調整することができる。

例えば、図１４に示すように、基準となる３０ｆｐｓの映像出力クロック［１］を高くした場合、ＴＯＦの間隔が短くなり（１枚１枚の出力間隔が速くなり）、映像出力クロックは、約３０．００００３０ｆｐｓとなる。

一方、図１４に示すように、基準となる３０ｆｐｓの映像出力クロック［１］を低くした場合、ＴＯＦの間隔が長く（１枚１枚の出力が短く）なり、約２９．９９９９９７ｆｐｓとなる。

このように、本実施形態においては、映像出力クロックを微小に変化させることで、図８の下図において、ＴＯＦとＴＯＦとの間が短く、または、長くなり、新しいフレームを受信したと通知があった時点での、出力中の（サンプル数、ライン数）の数値に影響を与えることで、（サンプル数、ライン数）の数値を制御することができる。

図４に戻り、出力制御部１０２ｅは、映像出力クロック調整部１０２ｄにより制御された映像出力クロックに基づいて、バッファ１０６に記憶されたフレームをモニタまたはレコーダに出力させ（ステップＳＡ−５）、処理を終了する。

ここで、図１５および図１６を参照して、本実施形態におけるバッファ量遷移の一例について説明する。図１５および図１６は、本実施形態におけるバッファ量遷移の一例を示す図である。

図１５には、基準点（基準値）を、バッファ１０６の容量の半分を超えた時点に、取得された出力中の（サンプル数、ライン数）の数値とした際の、バッファ量と、（サンプル数、ライン数）と、の遷移を示している。

なお、図１５に示すように、バッファ量の半分辺りから本制御を開始すると、リピートおよびスキップが発生しにくくなり、リピート耐性およびスキップ体制が高くなる。

このように、本実施形態においては、送受信する１枚の画のデータサイズに比べ、バッファ１０６をある程度大きく持ち、バッファ１０６の中央程度まで、データが溜まるように画を受信し、そこから当制御を行うようしてもよい。

それにより、本実施形態においては、バッファ蓄積量を、バッファ１０６の中央付近で留めることになり、バッファ蓄積量がバッファ１０６の下限または上限になって、映像データをスキップ処理またはリピート処理をするような状況になることを防ぐことができる。

また、図１６には、基準点（基準値）を、リピートが発生しないバッファ１０６の容量であるバッファ下限値を超えた時点に、取得された出力中の（サンプル数、ライン数）の数値とした際の、バッファ量と、（サンプル数、ライン数）と、の遷移を示している。

なお、図１６に示すように、バッファ下限値少し上から本制御を開始すると、リピート耐性は低いが、遅延を少なくすることができる。

図１５および図１６に示すように、本実施形態においては、バッファ量が遷移し、リピートスキップが起こらないよう制御することができる。

なお、従来から、映像を入力し、対向機へネットワーク経由でデータ送信し、対向機にてデータ受信し、映像を出力するモデルの伝送装置があった。

ここで、当該従来モデルでは、データ到着時間のゆらぎを吸収するために、データ受信（映像出力）側装置で、バッファを設けて処理する場合において、入力映像のクロックと映像出力側装置の映像出力クロックとの微小な差異により、バッファのデータ蓄積量に増減が発生していた。

その際、当該従来モデルでは、（１）出力するべきタイミングでデータが足りなくなった場合、直前の同じ画をもう一枚出力（リピート）し、（２）データがバッファの溜め込み限界量を超えて溢れそうになった場合、溜めていた画を一枚捨てる（スキップ）処理を行っていた。

当該従来モデルでは、（１）、（２）のようなバッファデータ蓄積量制御をすることにより、データ枯渇またはデータ飽和時でも、システムとして破綻せず、継続して映像伝送を続けられるようになっていた。

しかしながら、当該従来モデルでは、同じ画をもう一度出す、または、画を削除するということをしており、映像を変化させてしまうという問題点を有していた。

そこで、本実施形態においては、機器間で個体差があり、完全に同じクロックにはできないため、入力映像のクロックと映像出力側装置の映像出力クロックとに違いがある場合でも、映像出力側装置のバッファのデータ蓄積量が、減少してデータ枯渇、または、増加してデータ飽和の状態になり、リピート処理またはスキップ処理を行う必要がないように制御している。

すなわち、本実施形態においては、フレーム受信時の映像出力タイミングが常に一定になるように、映像出力クロックを調整している。

それにより、本実施形態においては、入力映像のクロック（入力映像を出力する機器が映像を出力する際のクロック）と、受信装置１００−２が出力する際のクロックと、が同じフレームレートで出力する設定になっていても、厳密には全く一緒ではなく、微小な差が生じるという課題を解決している。

さらに、本実施形態においては、送信側および受信側にて、同じ部品を使ったとしても個体差があって、クロックが他方に比べて高いまたは低いという状態に必ずなってしまい、バッファの蓄積量が減るまたは増えるという課題も解決している。

以上のように、フレーム受信時間は、送信装置１００−１が送信する時間（入力映像のクロック）により変化するので、受信装置１００−２によって制御できるものではない。

しかしながら、本実施形態において、映像出力のタイミングは、受信装置１００−２の映像出力クロックを制御することで自由に変化させることができ、映像出力クロックをフレーム受信時間時の映像出力タイミングに合わせて、動的に制御することで、フレームを速く出したり、遅く出したりすることができる。

すなわち、フレームが毎回一定間隔で到着し、映像出力のクロックが入力映像のクロックに全く合っていれば、映像出力のクロックは、一定になるが、実際の制御では、全く合うようにすることはできないので、本実施形態においては、それに近くなるように制御している。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、映像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（映像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、映像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、映像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて映像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、映像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、映像処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、映像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、映像処理装置、および、映像処理方法は、産業上の多くの分野、特に放送映像を扱う映像処理分野で実施することができ、極めて有用である。

１００ 映像処理装置
１００−１ 送信装置
１００−２ 受信装置
１０２ 制御部
１０２ａ フレーム受信通知部
１０２ｂ 数値化部
１０２ｃ 出力クロック制御部
１０２ｄ 出力クロック調整部
１０２ｅ 出力制御部
１０６ 記憶部
３００ ネットワーク

Claims (20)

1. フレームを細分化した細分化データをネットワークを介して受信し、受信した前記細分化データが新しいフレームのデータである場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得する数値化手段と、
   前記数値と、映像出力クロックの基準となる、前記サンプル数および前記ライン数の基準値と、に基づいて、前記映像出力クロックを制御する出力クロック制御手段と、
   を備えたことを特徴とする、映像処理装置。
2. 前記出力クロック制御手段は、
   前記数値が前記基準値より大きい場合、映像出力のタイミングを遅らせるように前記映像出力クロックを制御し、前記数値が前記基準値より小さい場合、前記映像出力のタイミングを早めるように前記映像出力クロックを制御する、請求項１に記載の映像処理装置。
3. 前記数値化手段は、
   前記映像出力クロックと前記新しいフレームの先頭を示すタイミングパルスとを生成し、当該タイミングパルスに基づいて、前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値を取得する、請求項１または２に記載の映像処理装置。
4. 前記出力クロック制御手段により制御された前記映像出力クロックに基づいて、バッファに記憶されたフレームを出力させる出力制御手段、
   を更に備えた、請求項１から３のいずれか一つに記載の映像処理装置。
5. 前記基準値は、
   所定時点に、前記数値化手段により取得された前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値である、請求項４に記載の映像処理装置。
6. 前記細分化データが前記新しいフレームの先頭データを含む場合、当該先頭データを識別し、前記数値化手段にフレーム受信通知を送信するフレーム受信通知手段、
   を更に備えた、請求項１から５のいずれか一つに記載の映像処理装置。
7. 前記数値化手段は、
   前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値を取得する、請求項６に記載の映像処理装置。
8. 前記フレーム受信通知手段は、
   前記細分化データが所定規格の先頭指示データ、または、独自の先頭指示データを含む場合、当該先頭指示データを識別し、前記数値化手段に前記フレーム受信通知を送信する、請求項６または７に記載の映像処理装置。
9. 前記所定時点は、
   前記バッファの蓄積量が、当該バッファの容量の半分を超えた時点である、請求項５に記載の映像処理装置。
10. 前記所定時点は、
    前記バッファの蓄積量が、リピートが発生しない当該バッファの容量であるバッファ下限値を超えた時点である、請求項５に記載の映像処理装置。
11. フレームを細分化した細分化データをネットワークを介して受信し、受信した前記細分化データが新しいフレームのデータである場合、出力中のフレームにおけるサンプル数およびライン数の数値を取得する数値化ステップと、
    前記数値と、映像出力クロックの基準となる、前記サンプル数および前記ライン数の基準値と、に基づいて、前記映像出力クロックを制御する出力クロック制御ステップと、
    を含むことを特徴とする、映像処理方法。
12. 前記出力クロック制御ステップにて、
    前記数値が前記基準値より大きい場合、映像出力のタイミングを遅らせるように前記映像出力クロックを制御し、前記数値が前記基準値より小さい場合、前記映像出力のタイミングを早めるように前記映像出力クロックを制御する、請求項１１に記載の映像処理方法。
13. 前記数値化ステップにて、
    前記映像出力クロックと前記新しいフレームの先頭を示すタイミングパルスとを生成し、当該タイミングパルスに基づいて、前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値を取得する、請求項１１または１２に記載の映像処理方法。
14. 前記出力クロック制御ステップにて制御された前記映像出力クロックに基づいて、バッファに記憶されたフレームを出力させる出力制御ステップ、
    を更に含む、請求項１１から１３のいずれか一つに記載の映像処理方法。
15. 前記基準値は、
    所定時点に、前記数値化ステップにて取得された前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値である、請求項１４に記載の映像処理方法。
16. 前記細分化データが前記新しいフレームの先頭データを含む場合、当該先頭データを識別し、数値化手段にフレーム受信通知を送信するフレーム受信通知ステップ、
    を更に含む、請求項１１から１５のいずれか一つに記載の映像処理方法。
17. 前記数値化ステップにて、
    前記出力中のフレームにおける前記サンプル数および前記ライン数の前記数値を取得する、請求項１６に記載の映像処理方法。
18. 前記フレーム受信通知ステップにて、
    前記細分化データが所定規格の先頭指示データ、または、独自の先頭指示データを含む場合、当該先頭指示データを識別し、前記数値化手段に前記フレーム受信通知を送信する、請求項１６または１７に記載の映像処理方法。
19. 前記所定時点は、
    前記バッファの蓄積量が、当該バッファの容量の半分を超えた時点である、請求項１５に記載の映像処理方法。
20. 前記所定時点は、
    前記バッファの蓄積量が、リピートが発生しない当該バッファの容量であるバッファ下限値を超えた時点である、請求項１５に記載の映像処理方法。

Images