JP4186520B2 - 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム - Google Patents
多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4186520B2 JP4186520B2 JP2002180750A JP2002180750A JP4186520B2 JP 4186520 B2 JP4186520 B2 JP 4186520B2 JP 2002180750 A JP2002180750 A JP 2002180750A JP 2002180750 A JP2002180750 A JP 2002180750A JP 4186520 B2 JP4186520 B2 JP 4186520B2
- Authority
- JP
- Japan
- Prior art keywords
- image recording
- image
- processing
- frame
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、異なる位置に配置した複数のカメラで被写体を撮影した多視点画像の効率的な記録を可能とするものであり、複数のカメラ観測映像をそれぞれデジタル映像に変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクまたはメモリなどの蓄積装置にフレーム同期で収録することを可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
コンピュータの処理能力の向上や多様な映像メディア再生機器の発展に伴って、以前困難とされた膨大なポリゴンデータや映像データ（コンテンツ）の処理が可能となり、視点の異なる複数台カメラで撮影された実世界の映像データをコンピュータや映像機器等により処理し、ユーザーの要望に応じた任意視点映像を実時間に生成し表現することができるようになってきている。
【０００４】
コンピュータ処理で任意視点映像コンテンツを生成し表現するために、複数カメラからの映像を同期的に収録することが必要である。従来の多視点映像記録システムとしては、例えば、（１）同期機構を有する専用の画像入力システムと専用のリアルタイム映像記録装置を備えることで、複数カメラ映像を同期的に収録するシステムや、（２）デジベター等の映像記録装置を用いて複数カメラ映像を収録すると同時に、音声やキーフレーム画像も記録し、その後のマニュアル操作で複数カメラ映像間の同期を合わせていくといったシステムがある。
【０００５】
しかし、これらのシステムにおいて、上記（１）のシステムは、同期機構を有する専用の画像入力システムと映像記録装置が高価であり、また大型化してしまうこと、さらに、長時間映像記録が困難となるといった欠点がある。また、上記（２）の、デジベター等によって映像を収録して、その後のマニュアル操作により各カメラ映像の同期を行うシステムは、同期合わせ作業に膨大な時間と手間がかかり、映像データフォーマット変換にも多くの労力や時間を費やすことになるという欠点がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑みてなされたものであり、視点の異なる複数のカメラで撮影した映像をそれぞれＤＶコンバータによってデジタル映像に圧縮変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクに直接に収録することで、多視点映像の記録を小型で簡易なシステムによって実現し、また長時間記録を可能とし、同期合わせ等のマニュアル作業を行なう必要性も排除可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００７】
具体的には、外部同期機構を備える全てのカメラに対して、同期信号を供給し、それぞれのカメラで観測された映像をＤＶコンバータによってデジタル映像に圧縮変換し、ネットワーク同期機構を備えた各汎用ＰＣに装着された例えば１３９４キャプチャ基板を通して、それらの映像をハードディスクに直接に収録する。
【０００８】
その際、汎用ＰＣの１台をサーバーＰＣにして、その他はクライアントＰＣに名付けした。映像収録を行う際、まずサーバーＰＣから各クライアントＰＣに「キャプチャ開始」のコマンドを送信する。その後、ある時間を経過したら、再びサーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を記録」（計測ポイント）というコマンドを送信し、各クライアントＰＣの現在の動作状況（何フレーム目をキャプチャ中）を調べ、計測データとして保存する。さらに、それらの計測データを各クライアントＰＣよりサーバーＰＣに報告し、報告された各クライアントＰＣの計測データ（収録中のフレーム番号）に基づいて、収録映像の同期合わせ処理を自動的に行う。また、同期処理の精度を上げるために、サーバーＰＣから一定時間間隔内に数回も各クライアントＰＣに「計測ポイント」コマンドを送信し、各時刻におけるクライアントＰＣの動作状況（収録中のフレーム番号）を調べる。また、それらの結果をサーバーＰＣに報告され、サーバーＰＣ上の統計的データ処理によって各クライアントＰＣに対してより確実な同期合わせ処理を行うことを可能とした装置および方法を提供する。
【０００９】
【課題を解決するための手段】
本発明の第１の側面は、
複数視点からの画像を複数カメラによって撮影し記録する多視点画像記録装置であり、
各々が前記複数カメラを構成する各カメラの撮影画像データを入力するとともに、該入力画像データを記録する記憶手段を備えた複数の画像記録処理装置と、
前記複数の画像記録処理装置に対して処理コマンドを出力するサーバ装置とを有し、
前記サーバ装置は、
前記複数の画像記録処理装置に対して保存要求コマンドを複数回出力する構成であり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力し、
前記複数の画像記録処理装置は、
複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する構成を有し、
前記サーバ装置は、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする多視点画像記録装置にある。
【００１１】
さらに、本発明の多視点画像記録装置の一実施態様において、前記サーバ装置は、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする。
【００１３】
本発明の第２の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理方法であり、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とする多視点画像フレーム同期処理方法にある。
【００１５】
さらに、本発明の多視点画像フレーム同期処理方法の一実施態様において、前記同期処理実行ステップは、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行するステップであることを特徴とする。
【００１７】
本発明の第３の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理を実行するコンピュータ・プログラムであって、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００１８】
【作用】
本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００１９】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００２０】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【００２１】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００２３】
【発明の実施の形態】
以下、本発明の多視点画像記録装置、および多視点画像フレーム同期処理方法の実施例について、図面を参照して詳細に説明する。
【００２４】
図１は、本発明の多視点画像記録装置の一実施例を示すブロック図である。異なる視点からの被写体画像を撮影するカメラ１〜Ｋのカメラ１１０は、同期信号発生器１２０より出力された同期信号（水平、垂直同期信号）を各カメラの外部同期入力端子を介して入力し、複数のカメラ１〜Ｋにより観測された多視点の複数映像を同期映像として出力する。
【００２５】
各カメラ出力映像は、例えば輝度信号（Ｙ）とＲＧＢ色成分信号の差信号（Ｃ）としてのＹ／Ｃ信号等の映像信号であり、各カメラは、映像信号を各カメラに対応して設定されたＤＶコンバータ１３０に入力する。ＤＶコンバータ１３０では、カメラ１１０から入力する映像信号のデジタルデータへの変換、さらに必要に応じて圧縮データ（例えばモーションＪＰＥＧ等）への変換処理を実行し、処理後のデータをそれぞれのデータを記録する画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０、画像モニタ１６０に出力する。
【００２６】
画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０は、データを記録する記録媒体１５６、例えばハードディスク、ＤＶＤ、ＣＤ等を備えている。
【００２７】
クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０にＤＶコンバータ１３０から入力した映像信号は、クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０内の映像信号処理部１５５に入力される。映像信号処理部１５５は、例えば１３９４ＤＶキャプチャボードにより構成される。
【００２８】
クライアントＰＣ１５０を構成する複数のＰＣ１〜ＰＣｋは、汎用ＰＣ上で実行可能なＤＶキャプチャソフトによって、各カメラからのＤＶ映像をそれぞれのＰＣ内ハードディスク１５６に収録する。各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画を開始することが可能となる。
【００２９】
クライアントＰＣ１５０内の例えば１３９４ＤＶキャプチャボードにより構成される映像信号処理部１５５の構成例を図２に示す。
【００３０】
ＩＥＥＥ１３９４ポート（以下、１３９４ポート）２１４と、ＬＩＮＫ／ＰＨＹ２１５は、ＤＶコンバータ１３０によって処理されたＤＶ（デジタルビデオ）信号を取り込む。１３９４ポート２１４は、ＤＶ信号を取り込む入力ポートであり、入力したＤＶ信号はＬＩＮＫ／ＰＨＹ２１5へ送出される。ＬＩＮＫ／ＰＨＹ２１５は、入力したＤＶ画像データをバッファ手段としてのＲＡＭ２１２に一次蓄積する。
【００３１】
ＲＡＭ２１２は、取り込まれたＤＶ画像データを記憶するバッファを備えた画像データ記憶手段として機能する。ＲＡＭ２１２に一次記録された画像データは、ＣＰＵ２１１の制御のもとにＨＤＤ、ＤＶＤ等の記憶手段２９０に記憶手段Ｉ／Ｆ２１７を介して出力され、格納される。前述したように、各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画、すなわち、ＨＤＤ、ＤＶＤ等の記憶手段２９０に対するデー格納処理を開始することが可能である。
【００３２】
ＣＰＵ２１１は、画像データの撮り込み、格納に関する装置全体の制御を行ない、ＤＶ画像データの流れ全般を制御する画像データ制御手段として機能する。ＣＰＵ２１１は、ＲＯＭ２１６に記憶されたプログラムに従って、画像データの流れを制御する。
【００３３】
ＲＯＭ２１６に記憶されたプログラムは、例えば汎用ＰＣ上で実行可能なＤＶキャプチャソフトであり、サーバーＰＣからの録画開始コマンドによって、プログラムが実行され、クライアントＰＣが一斉に録画を開始する。
【００３４】
しかし、一般に、サーバーＰＣ１７０より各クライアントＰＣ１５０に対してＤＶキャプチャ実行のコマンドを送信しても、それぞれのＰＣの状態・個体差によって、必ずしも同時刻のフレーム映像をキャプチャ、すなわち記憶手段に格納することができないので、各クライアントＰＣにより収録された映像の同期合わせ処理を行う必要がある。
【００３５】
図３は、各クライアントＰＣの収録フレーム番号計測による多視点映像同期方法・タイミングを示す。
【００３６】
図３は、左から右に時間（ｔ）経過を示し、図３（ａ）は、各時刻における各カメラ１１０がＤＶコンバータ１３０に対して出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。図３（ｂ）は、ＤＶコンバータ１３０において、入力フレームの処理を行なってクライアントＰＣ１５０に出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。
【００３７】
ＤＶコンバータ１３０は、カメラ１１０からの入力画像のデジタル変換および必要に応じて圧縮処理を実行する。図３の例では、その処理時間として、２フレーム画像相当時間（３３．３×２）を要することを示している。すなわち、ＤＶコンバータ１３０は、映像遅延として、２フレーム遅延を発生されている。
【００３８】
図３（ｃ）は、サーバーＰＣ１７０から、各クライアントＰＣ１５０に対する録画開始及び同期合わせコマンドの送信タイミングを示す。サーバーＰＣ１７０から録画開始コマンドを各クライアントＰＣ１５０に送信し、各クライアントＰＣは、コマンドに基づいて映像収録を開始することになるが、各クライアントＰＣの状況、例えば他のプログラムの実行状況の差等により、コマンドに対応する処理時間に差が発生することになる。
【００３９】
このコマンドに対する応答時間の差異によって、各クライアントＰＣ１〜ｋの記録映像のフレーム番号が、それぞれ互いに異なるフレームに対して、同一のフレーム番号を付与することになる。
【００４０】
例えば図では、（ｄ）クライアントＰＣ１は、自己の設定フレーム番号１を、ＤＶ出力フレーム４に対して付与している。図において、（ｄ），（ｅ），（ｆ）に示す２段のフレームＮｏ．中、下段が各クライアントＰＣが記憶手段に格納したフレームに対して設定する自己設定フレームＮｏ．であり、上段の（ｘ）がＤＶ出力フレームを示している。すなわち、（ｄ）クライアントＰＣ１は、コマンド受信から３フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（４）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝２、さらに、（６）→３・・とした設定を実行している。
【００４１】
（ｅ）クライアントＰＣ２は、自己の設定フレーム番号１を、ＤＶ出力フレーム７に対して付与している。すなわち、（ｅ）クライアントＰＣ２は、コマンド受信から６フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（７）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（８）を自己設定フレームＮｏ．＝２、さらに、（９）→３・・とした設定を実行している。
【００４２】
（ｆ）クライアントＰＣｋは、自己の設定フレーム番号１を、ＤＶ出力フレーム５に対して付与している。すなわち、（ｆ）クライアントＰＣｋは、コマンド受信から４フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（６）を自己設定フレームＮｏ．＝２、さらに、（７）→３・・とした設定を実行している。
【００４３】
このように、図３の例では、ＰＣ１が３フレーム遅延、ＰＣ２が６フレーム遅延、ＰＣｋが４フレーム遅延を持った画像データ格納処理を実行していることになる。
【００４４】
上述のように、それぞれのクライアントＰＣにおいて自己の記憶手段に格納する画像データの設定フレームが不一致となると、このまま再生を実行した場合、フレームＮｏ＝１フレームの画像は、ＰＣ１の場合は、ＤＶ出力フレーム（４）であり、ＰＣ２の場合は、ＤＶ出力フレーム（７）であり、ＰＣｋの場合は、ＤＶ出力フレーム（５）となってしまい、多視点画像の合成あるいは切り換えにおいて不都合が発生することになる。
【００４５】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業が必要になる。この作業は、例えば、収録開始後の一定時間（各クライアントＰＣの中に反応時間が最も長いもの以上）を経過してから、サーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を保存せよ」といったコマンドを送信し、各クライアントＰＣがその時の計測データ（フレーム番号）を保存し、収録終了後、それぞれの計測データをサーバーＰＣに報告する。最終的には、それらの計測データに基づいて、サーバーＰＣにより同期合わせ処理を行うことができる。
【００４６】
図３においては、録画フレーム計測点３０１が、サーバーＰＣから各クライアントＰＣに対する「現在収録中のフレーム番号の保存」コマンドに相当する。
【００４７】
この補正処理について、図３および図４を参照して説明する。図３に示す録画フレーム計測点において、クライアントＰＣ１〜ｋにおいて、記録画像フレームに対して設定しているフレームＮｏ．は、ＰＣ１がフレームＮｏ．６、ＰＣ２がフレームＮｏ．３、ＰＣｋがフレームＮｏ．５である。
【００４８】
すなわち、図４の（ａ）同期補正前のＰＣ収録時刻τの各ＰＣの設定フレームＮｏ．列に示すように、各クライアントＰＣは、同時刻に格納する本来同一時刻のフレーム（９）に対してそれぞれ異なるフレームＮｏ．６，３，・・５を設定することになる。このずれは、その後の時刻（τ＋１）でも同様であり、本来同一時刻のフレーム（１０）に対しては、各クライアントＰＣは、異なるフレームＮｏ．７，４，・・６を設定することになる。
【００４９】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業を実行する。各クライアントＰＣの中に反応時間が最も長いもの、この場合、最も数値の小さいフレームＮｏ．（時刻τでは、ＰＣ２の設定しているフレームＮｏ．＝３）に、各クライアントＰＣの設定フレームＮｏ．を合わせる処理を行なう。
【００５０】
この処理を行なったフレームＮｏ．設定状態が、図４（ｂ）同期補正後のデータ状態である。補正の結果、収録時間τにおいて各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝３が再設定される。以下、同様、収録時間τ＋１において各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝４が設定され、以下は、同一時間に収録したフレームには、統一されたフレームＮｏ．が設定され、再生時には、フレームＮｏ．の指定により同一時刻の多視点画像を正確に取り出すことが可能となる。
【００５１】
しかしながら、上述の補正処理を実行する際、サーバーＰＣ１７０から各クライアントＰＣ１５０に送信される録画フレーム計測コマンド（図３の３０１）の発行タイミングが、各クライアントＰＣ１５０におけるフレームを切換る時間に相当していた場合、連続する２フレームのどちらのフレーム番号を記録し報告したら良いかを判断できないことがあり、フレーム番号報告を誤ることもある。このような１フレームの同期ずれを防ぐために、各クライアントＰＣから報告された計測データの精度をあげる必要がある。
【００５２】
図５は、本発明の多視点画像記録装置において実行される各クライアントＰＣにおける記録画像フレームの同期処理を説明する図である。本発明の多視点画像記録装置においては、同期合わせ精度を向上させるために、複数フレーム番号計測を実行する。
【００５３】
本発明の多視点画像記録装置では、サーバーＰＣ１７０から各クライアントＰＣ１５０に対して、一定時間間隔内に複数回、「現在収録フレーム番号保存」コマンドを送信する。図５に示す計側点１〜４が、これらのコマンド送信タイミングである。
【００５４】
各クライアントＰＣ１５０は、サーバーＰＣ１７０からの複数回のコマンドに応じて、複数個の計測データ、すなわち、サーバーＰＣ１７０からのコマンド受信時において、ＨＤＤ等の記憶手段にデータ記憶を実行中のフレーム番号を保存する。
【００５５】
各クライアントＰＣ１５０は、画像データの収録処理終了後、それらの計測データ、すなわち複数回の計側点に対応する収録フレームデータ、例えば図６に示すような計測点１〜ｎに対応する収録フレームＮｏ．データを一括してサーバーＰＣ１７０に送信して報告する。
【００５６】
サーバーＰＣ１７０は、各クライアントＰＣ１５０より報告された計測データに対して、統計的な処理、例えば、各計測ポイント間の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを精度よく補正することができる。
【００５７】
また、サーバーＰＣ１７０からクライアントＰＣ１５０に対して繰り返し送信される「現在収録フレーム番号保存」コマンドが、各クライアントＰＣにおける同一のフレーム処理タイミングとなることを避けるために先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝フレーム間隔×ｎ、
ただしｎは自然数とした。
【００５８】
フレーム間隔が例えば３３．３ｍｓであるとき、Ｔ＝３３．３×ｎに設定される。このようにコマンド送信間隔：Ｔを設定することで、コマンドの識別に要するタイマーの時間幅をｔとすれば、第ｐ回目の「現在収録フレーム番号保存」コマンドと、第ｐ＋１回目の「現在収録フレーム番号保存」コマンドとの、各クライアントＰＣにおける受信タイミングは、Ｔ＋ｔとなり、Ｔがフレーム間隔×ｎであるので、フレーム処理の同一タイミングでの計側が防止される。なお、計測点の数は最大で３３．３ｍｓ／ｔ（回数）とする。
【００５９】
例えば、クライアントＰＣが、第ｐ回目の「現在収録フレーム番号保存」コマンドを、２つの処理フレームの中間点で受信した場合であっても、次の計測点は、２つの処理フレームの中間点となることはない。このような設定とすることで、複数回の「現在収録フレーム番号保存」処理は、少なくとも、ほとんどの「現在収録フレーム番号保存処理」を正確に実行することが可能となる。
【００６０】
図７を参照して、サーバーＰＣとクライアントＰＣにおける処理手順を説明する。図７において、左側列の各処理ステップＳ１０１〜Ｓ１０６がサーバーＰＣの処理であり、右側列の各処理ステップＳ２０１〜Ｓ２０５が各クライアントＰＣの処理である。
【００６１】
まず、ステップＳ１０１において、サーバーＰＣより録画開始コマンドを各クライアントＰＣに送信する。ステップＳ２０１において、各クライアントＰＣは録画開始コマンドを受信する。
【００６２】
次に、サーバーＰＣは、一定時間間隔経過後、フレーム計測点１のコマンドを各クライアントＰＣに送信する。最初のフレーム計測点１のコマンドは、録画開始コマンド出力後、一定時間間隔経過後に行なう。この一定時間とは、すべてのクライアントＰＣにおいてデータ収録処理が介しされているであろうと判断される時間として予め設定された時間であり、クライアントＰＣの処理応答時間の予測最長時間以上の時間として設定される。
【００６３】
各クライアントＰＣは、ステップＳ２０２においてフレーム計測点１のコマンドを受信すると、計測点１での収録中フレーム番号を保存する。
【００６４】
サーバーＰＣは、ステップＳ１０３において、フレーム計測点１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点２のコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０３において、フレーム計測点２のコマンドを受信し、計測点２での収録中フレーム番号を保存する。
【００６５】
このような計測を複数回（ｋ回：例えばｋ＝１０）を行う。サーバーＰＣは、ステップＳ１０４において、フレーム計測点ｋ−１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点ｋのコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０４において、フレーム計測点ｋのコマンドを受信し、計測点ｋでの収録中フレーム番号を保存する。
【００６６】
各クライアントＰＣによる映像収録が完了したら、各クライアントＰＣはステップＳ２０５において、各クライアントＰＣに保存された計測点１〜ｋでのフレーム番号をサーバーＰＣに報告する。
【００６７】
サーバーＰＣは、ステップＳ１０５において、各クライアントＰＣからの計測点（フレーム番号）データを受信する。このデータは、先に説明した図６のような計測点と収録フレームとの対応データである。
【００６８】
次に、サーバーＰＣは、ステップＳ１０６において、各クライアントＰＣからの受信データ（図６参照）に基づいて統計的な処理、例えば、各計測点の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを補正し、各カメラ映像間の同期調整を実現する。
【００６９】
次に、図８を参照して、サーバーＰＣで実行する同期調整処理の詳細について説明する。まず、ステップＳ３０１において、サーバーＰＣは、各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号データを読込む。これは、例えば図８のデータ例（ａ）に示すデータである。
【００７０】
ここでは、サーバーＰＣが複数のクライアントＰＣ（ＰＣ１〜ＰＣｋ）から４回の計測点（計測点１〜４）における収録フレーム番号を取得したものとして説明する。
【００７１】
図８の（ａ）各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号のリストによれば、例えばＰＣ１は、
計側点１において、収録処理フレーム＝６、
計側点２において、収録処理フレーム＝１０、
計側点３において、収録処理フレーム＝１４、
計側点４において、収録処理フレーム＝１９、
を各計測点において、サーバーＰＣからの「現在収録フレーム番号保存」コマンドに応じて保存したフレーム番号であることを示している。
【００７２】
次に、サーバーＰＣは、ステップＳ３０２において、処理遅延量の大きいＰＣ、ここでは、計側点１において、フレームＮｏ．３を処理しているＰＣ２を基準ＰＣとして、各ＰＣにおける基準ＰＣからのフレームずれ量を算出する。
【００７３】
この処理の結果、図８に示す（ｂ）各計測点における各ＰＣ内収録映像のフレームずれ量が求められる。図８に示す例では、ＰＣ２が基準となり、ＰＣ２はすべての計測点においてずれ量＝０となる。また、例えばＰＣ１のずれ量は、各計測点において、ＰＣ１の収録処理フレーム−ＰＣ２の収録処理フレームによって求める。その結果、ＰＣ１のずれ量は、
計側点１において、ずれ量＝６−３＝３
計側点２において、ずれ量＝１０−７＝３
計側点３において、ずれ量＝１４−１１＝３
計側点４において、ずれ量＝１９−１５＝３
となる。
【００７４】
他のＰＣ、ＰＣ３〜ＰＣｋについてもＰＣ２との収録フレームＮｏ．との差分がズレ量として求められる。
【００７５】
次に、ステップＳ３０３において、基準ＰＣ＝ＰＣ２からの各ＰＣのずれ量の決定処理を行なう。これは、例えば各ＰＣの各計測点におけるずれ量の平均値を算出し、その平均値に基づく整数値を四捨五入により算出することにより実行する。
【００７６】
図８（ｃ）が、各ＰＣの各計測点におけるずれ量の平均値を算出したデータである。ＰＣ１のＰＣ２に対するずれ量は、
（３＋３＋３＋４）／４＝３．２５
となる。
【００７７】
図８（ｄ）が、各ＰＣの各計測点におけるずれ量の平均値を四捨五入したデータである。
ＰＣ１のＰＣ２に対するずれ量は３、
ＰＣｋのＰＣ２に対するずれ量は２となる。
このようにして、各クライアントＰＣの基準ＰＣ（ＰＣ２）からのずれ量が決定される。
【００７８】
次に、ステップＳ３０４において、サーバーＰＣは、算出した各ＰＣのずれ量に基づいて、各クライアントＰＣの同期調整処理を実行する。
【００７９】
各クライアントＰＣの各時刻１〜４における処理フレームＮｏ．を統一する処理として実行される。図８（ｅ）に示すように、時刻１〜４において、
時刻１においては、全てのＰＣの収録フレーム＝３
時刻２においては、全てのＰＣの収録フレーム＝７
時刻３においては、全てのＰＣの収録フレーム＝１１
時刻４においては、全てのＰＣの収録フレーム＝１５
とした設定が実行される。
【００８０】
例えばＰＣ１設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が３であると判定されるので、ＰＣ１設定フレームＮｏから差３を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として設定する。また、ＰＣｋ設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が２であると判定されるので、ＰＣｋ設定フレームＮｏから差２を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として各時刻において設定する。
【００８１】
このように各クライアントＰＣにおける同期調整処理を実行することにより、正確なフレーム間同期が可能となる。
【００８２】
上述した本発明の多視点画像記録装置における処理の効果について、図９および図１０を参照して説明する。図９は、上述の同期合わせ処理を実行しない場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差があり、異なる時間におけるフレーム画像が混在してしまっていることが分かる。
【００８３】
一方、図１０は、上述の同期合わせ処理を実行した場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差がなく、同一時間におけるフレーム画像が各視点画像として設定され、正しい同期処理がなされていることが理解される。
【００８４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８５】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００８９】
【発明の効果】
以上説明してきたように、本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００９０】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００９１】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【図面の簡単な説明】
【図１】多視点画像記録装置の構成を示す図である。
【図２】多視点画像記録装置の画像記録処理装置における映像信号処理部の詳細を示すブロック図である。
【図３】多視点画像記録装置における各時間における処理フレームの遷移を説明する図である。
【図４】多視点画像記録装置における画像記録処理装置におけるフレーム同期処理について説明する図である。
【図５】多視点画像記録装置における各時間における処理フレームの遷移、および処理フレームの保存要求コマンドの発行タイミングについて説明する図である。
【図６】処理フレームの保存要求コマンドに対して画像記録処理装置の生成するデータ例を説明する図である。
【図７】多視点画像記録装置におけるサーバと画像記録処理装置における処理について説明するフロー図である。
【図８】多視点画像記録装置におけるサーバの実行するフレーム同期処理について説明する図である。
【図９】フレーム同期処理を実行していない多視点画像におけるフレーム画像構成について説明する図である。
【図１０】フレーム同期処理を実行した多視点画像におけるフレーム画像構成について説明する図である。
【符号の説明】
１１０ カメラ
１２０ 同期信号発生器
１３０ ＤＶコンバータ
１５０ クライアントＰＣ
１５１ 映像信号処理部
１５２ 記憶手段
１５３ ネットワークカード
１６０ 画像モニタ
１７０ サーバーＰＣ
２１１ ＣＰＵ
２１２ ＲＡＭ
２１３ ＲＯＭ
２１４ １３９４ポート
２１５ ＬＩＮＫ／ＰＨＹ
２１６ 記憶手段Ｉ／Ｆ
【発明の属する技術分野】
本発明は、多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、異なる位置に配置した複数のカメラで被写体を撮影した多視点画像の効率的な記録を可能とするものであり、複数のカメラ観測映像をそれぞれデジタル映像に変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクまたはメモリなどの蓄積装置にフレーム同期で収録することを可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
コンピュータの処理能力の向上や多様な映像メディア再生機器の発展に伴って、以前困難とされた膨大なポリゴンデータや映像データ（コンテンツ）の処理が可能となり、視点の異なる複数台カメラで撮影された実世界の映像データをコンピュータや映像機器等により処理し、ユーザーの要望に応じた任意視点映像を実時間に生成し表現することができるようになってきている。
【０００４】
コンピュータ処理で任意視点映像コンテンツを生成し表現するために、複数カメラからの映像を同期的に収録することが必要である。従来の多視点映像記録システムとしては、例えば、（１）同期機構を有する専用の画像入力システムと専用のリアルタイム映像記録装置を備えることで、複数カメラ映像を同期的に収録するシステムや、（２）デジベター等の映像記録装置を用いて複数カメラ映像を収録すると同時に、音声やキーフレーム画像も記録し、その後のマニュアル操作で複数カメラ映像間の同期を合わせていくといったシステムがある。
【０００５】
しかし、これらのシステムにおいて、上記（１）のシステムは、同期機構を有する専用の画像入力システムと映像記録装置が高価であり、また大型化してしまうこと、さらに、長時間映像記録が困難となるといった欠点がある。また、上記（２）の、デジベター等によって映像を収録して、その後のマニュアル操作により各カメラ映像の同期を行うシステムは、同期合わせ作業に膨大な時間と手間がかかり、映像データフォーマット変換にも多くの労力や時間を費やすことになるという欠点がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑みてなされたものであり、視点の異なる複数のカメラで撮影した映像をそれぞれＤＶコンバータによってデジタル映像に圧縮変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクに直接に収録することで、多視点映像の記録を小型で簡易なシステムによって実現し、また長時間記録を可能とし、同期合わせ等のマニュアル作業を行なう必要性も排除可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００７】
具体的には、外部同期機構を備える全てのカメラに対して、同期信号を供給し、それぞれのカメラで観測された映像をＤＶコンバータによってデジタル映像に圧縮変換し、ネットワーク同期機構を備えた各汎用ＰＣに装着された例えば１３９４キャプチャ基板を通して、それらの映像をハードディスクに直接に収録する。
【０００８】
その際、汎用ＰＣの１台をサーバーＰＣにして、その他はクライアントＰＣに名付けした。映像収録を行う際、まずサーバーＰＣから各クライアントＰＣに「キャプチャ開始」のコマンドを送信する。その後、ある時間を経過したら、再びサーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を記録」（計測ポイント）というコマンドを送信し、各クライアントＰＣの現在の動作状況（何フレーム目をキャプチャ中）を調べ、計測データとして保存する。さらに、それらの計測データを各クライアントＰＣよりサーバーＰＣに報告し、報告された各クライアントＰＣの計測データ（収録中のフレーム番号）に基づいて、収録映像の同期合わせ処理を自動的に行う。また、同期処理の精度を上げるために、サーバーＰＣから一定時間間隔内に数回も各クライアントＰＣに「計測ポイント」コマンドを送信し、各時刻におけるクライアントＰＣの動作状況（収録中のフレーム番号）を調べる。また、それらの結果をサーバーＰＣに報告され、サーバーＰＣ上の統計的データ処理によって各クライアントＰＣに対してより確実な同期合わせ処理を行うことを可能とした装置および方法を提供する。
【０００９】
【課題を解決するための手段】
本発明の第１の側面は、
複数視点からの画像を複数カメラによって撮影し記録する多視点画像記録装置であり、
各々が前記複数カメラを構成する各カメラの撮影画像データを入力するとともに、該入力画像データを記録する記憶手段を備えた複数の画像記録処理装置と、
前記複数の画像記録処理装置に対して処理コマンドを出力するサーバ装置とを有し、
前記サーバ装置は、
前記複数の画像記録処理装置に対して保存要求コマンドを複数回出力する構成であり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力し、
前記複数の画像記録処理装置は、
複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する構成を有し、
前記サーバ装置は、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする多視点画像記録装置にある。
【００１１】
さらに、本発明の多視点画像記録装置の一実施態様において、前記サーバ装置は、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする。
【００１３】
本発明の第２の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理方法であり、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とする多視点画像フレーム同期処理方法にある。
【００１５】
さらに、本発明の多視点画像フレーム同期処理方法の一実施態様において、前記同期処理実行ステップは、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行するステップであることを特徴とする。
【００１７】
本発明の第３の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理を実行するコンピュータ・プログラムであって、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００１８】
【作用】
本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００１９】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００２０】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【００２１】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００２３】
【発明の実施の形態】
以下、本発明の多視点画像記録装置、および多視点画像フレーム同期処理方法の実施例について、図面を参照して詳細に説明する。
【００２４】
図１は、本発明の多視点画像記録装置の一実施例を示すブロック図である。異なる視点からの被写体画像を撮影するカメラ１〜Ｋのカメラ１１０は、同期信号発生器１２０より出力された同期信号（水平、垂直同期信号）を各カメラの外部同期入力端子を介して入力し、複数のカメラ１〜Ｋにより観測された多視点の複数映像を同期映像として出力する。
【００２５】
各カメラ出力映像は、例えば輝度信号（Ｙ）とＲＧＢ色成分信号の差信号（Ｃ）としてのＹ／Ｃ信号等の映像信号であり、各カメラは、映像信号を各カメラに対応して設定されたＤＶコンバータ１３０に入力する。ＤＶコンバータ１３０では、カメラ１１０から入力する映像信号のデジタルデータへの変換、さらに必要に応じて圧縮データ（例えばモーションＪＰＥＧ等）への変換処理を実行し、処理後のデータをそれぞれのデータを記録する画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０、画像モニタ１６０に出力する。
【００２６】
画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０は、データを記録する記録媒体１５６、例えばハードディスク、ＤＶＤ、ＣＤ等を備えている。
【００２７】
クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０にＤＶコンバータ１３０から入力した映像信号は、クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０内の映像信号処理部１５５に入力される。映像信号処理部１５５は、例えば１３９４ＤＶキャプチャボードにより構成される。
【００２８】
クライアントＰＣ１５０を構成する複数のＰＣ１〜ＰＣｋは、汎用ＰＣ上で実行可能なＤＶキャプチャソフトによって、各カメラからのＤＶ映像をそれぞれのＰＣ内ハードディスク１５６に収録する。各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画を開始することが可能となる。
【００２９】
クライアントＰＣ１５０内の例えば１３９４ＤＶキャプチャボードにより構成される映像信号処理部１５５の構成例を図２に示す。
【００３０】
ＩＥＥＥ１３９４ポート（以下、１３９４ポート）２１４と、ＬＩＮＫ／ＰＨＹ２１５は、ＤＶコンバータ１３０によって処理されたＤＶ（デジタルビデオ）信号を取り込む。１３９４ポート２１４は、ＤＶ信号を取り込む入力ポートであり、入力したＤＶ信号はＬＩＮＫ／ＰＨＹ２１5へ送出される。ＬＩＮＫ／ＰＨＹ２１５は、入力したＤＶ画像データをバッファ手段としてのＲＡＭ２１２に一次蓄積する。
【００３１】
ＲＡＭ２１２は、取り込まれたＤＶ画像データを記憶するバッファを備えた画像データ記憶手段として機能する。ＲＡＭ２１２に一次記録された画像データは、ＣＰＵ２１１の制御のもとにＨＤＤ、ＤＶＤ等の記憶手段２９０に記憶手段Ｉ／Ｆ２１７を介して出力され、格納される。前述したように、各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画、すなわち、ＨＤＤ、ＤＶＤ等の記憶手段２９０に対するデー格納処理を開始することが可能である。
【００３２】
ＣＰＵ２１１は、画像データの撮り込み、格納に関する装置全体の制御を行ない、ＤＶ画像データの流れ全般を制御する画像データ制御手段として機能する。ＣＰＵ２１１は、ＲＯＭ２１６に記憶されたプログラムに従って、画像データの流れを制御する。
【００３３】
ＲＯＭ２１６に記憶されたプログラムは、例えば汎用ＰＣ上で実行可能なＤＶキャプチャソフトであり、サーバーＰＣからの録画開始コマンドによって、プログラムが実行され、クライアントＰＣが一斉に録画を開始する。
【００３４】
しかし、一般に、サーバーＰＣ１７０より各クライアントＰＣ１５０に対してＤＶキャプチャ実行のコマンドを送信しても、それぞれのＰＣの状態・個体差によって、必ずしも同時刻のフレーム映像をキャプチャ、すなわち記憶手段に格納することができないので、各クライアントＰＣにより収録された映像の同期合わせ処理を行う必要がある。
【００３５】
図３は、各クライアントＰＣの収録フレーム番号計測による多視点映像同期方法・タイミングを示す。
【００３６】
図３は、左から右に時間（ｔ）経過を示し、図３（ａ）は、各時刻における各カメラ１１０がＤＶコンバータ１３０に対して出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。図３（ｂ）は、ＤＶコンバータ１３０において、入力フレームの処理を行なってクライアントＰＣ１５０に出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。
【００３７】
ＤＶコンバータ１３０は、カメラ１１０からの入力画像のデジタル変換および必要に応じて圧縮処理を実行する。図３の例では、その処理時間として、２フレーム画像相当時間（３３．３×２）を要することを示している。すなわち、ＤＶコンバータ１３０は、映像遅延として、２フレーム遅延を発生されている。
【００３８】
図３（ｃ）は、サーバーＰＣ１７０から、各クライアントＰＣ１５０に対する録画開始及び同期合わせコマンドの送信タイミングを示す。サーバーＰＣ１７０から録画開始コマンドを各クライアントＰＣ１５０に送信し、各クライアントＰＣは、コマンドに基づいて映像収録を開始することになるが、各クライアントＰＣの状況、例えば他のプログラムの実行状況の差等により、コマンドに対応する処理時間に差が発生することになる。
【００３９】
このコマンドに対する応答時間の差異によって、各クライアントＰＣ１〜ｋの記録映像のフレーム番号が、それぞれ互いに異なるフレームに対して、同一のフレーム番号を付与することになる。
【００４０】
例えば図では、（ｄ）クライアントＰＣ１は、自己の設定フレーム番号１を、ＤＶ出力フレーム４に対して付与している。図において、（ｄ），（ｅ），（ｆ）に示す２段のフレームＮｏ．中、下段が各クライアントＰＣが記憶手段に格納したフレームに対して設定する自己設定フレームＮｏ．であり、上段の（ｘ）がＤＶ出力フレームを示している。すなわち、（ｄ）クライアントＰＣ１は、コマンド受信から３フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（４）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝２、さらに、（６）→３・・とした設定を実行している。
【００４１】
（ｅ）クライアントＰＣ２は、自己の設定フレーム番号１を、ＤＶ出力フレーム７に対して付与している。すなわち、（ｅ）クライアントＰＣ２は、コマンド受信から６フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（７）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（８）を自己設定フレームＮｏ．＝２、さらに、（９）→３・・とした設定を実行している。
【００４２】
（ｆ）クライアントＰＣｋは、自己の設定フレーム番号１を、ＤＶ出力フレーム５に対して付与している。すなわち、（ｆ）クライアントＰＣｋは、コマンド受信から４フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（６）を自己設定フレームＮｏ．＝２、さらに、（７）→３・・とした設定を実行している。
【００４３】
このように、図３の例では、ＰＣ１が３フレーム遅延、ＰＣ２が６フレーム遅延、ＰＣｋが４フレーム遅延を持った画像データ格納処理を実行していることになる。
【００４４】
上述のように、それぞれのクライアントＰＣにおいて自己の記憶手段に格納する画像データの設定フレームが不一致となると、このまま再生を実行した場合、フレームＮｏ＝１フレームの画像は、ＰＣ１の場合は、ＤＶ出力フレーム（４）であり、ＰＣ２の場合は、ＤＶ出力フレーム（７）であり、ＰＣｋの場合は、ＤＶ出力フレーム（５）となってしまい、多視点画像の合成あるいは切り換えにおいて不都合が発生することになる。
【００４５】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業が必要になる。この作業は、例えば、収録開始後の一定時間（各クライアントＰＣの中に反応時間が最も長いもの以上）を経過してから、サーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を保存せよ」といったコマンドを送信し、各クライアントＰＣがその時の計測データ（フレーム番号）を保存し、収録終了後、それぞれの計測データをサーバーＰＣに報告する。最終的には、それらの計測データに基づいて、サーバーＰＣにより同期合わせ処理を行うことができる。
【００４６】
図３においては、録画フレーム計測点３０１が、サーバーＰＣから各クライアントＰＣに対する「現在収録中のフレーム番号の保存」コマンドに相当する。
【００４７】
この補正処理について、図３および図４を参照して説明する。図３に示す録画フレーム計測点において、クライアントＰＣ１〜ｋにおいて、記録画像フレームに対して設定しているフレームＮｏ．は、ＰＣ１がフレームＮｏ．６、ＰＣ２がフレームＮｏ．３、ＰＣｋがフレームＮｏ．５である。
【００４８】
すなわち、図４の（ａ）同期補正前のＰＣ収録時刻τの各ＰＣの設定フレームＮｏ．列に示すように、各クライアントＰＣは、同時刻に格納する本来同一時刻のフレーム（９）に対してそれぞれ異なるフレームＮｏ．６，３，・・５を設定することになる。このずれは、その後の時刻（τ＋１）でも同様であり、本来同一時刻のフレーム（１０）に対しては、各クライアントＰＣは、異なるフレームＮｏ．７，４，・・６を設定することになる。
【００４９】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業を実行する。各クライアントＰＣの中に反応時間が最も長いもの、この場合、最も数値の小さいフレームＮｏ．（時刻τでは、ＰＣ２の設定しているフレームＮｏ．＝３）に、各クライアントＰＣの設定フレームＮｏ．を合わせる処理を行なう。
【００５０】
この処理を行なったフレームＮｏ．設定状態が、図４（ｂ）同期補正後のデータ状態である。補正の結果、収録時間τにおいて各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝３が再設定される。以下、同様、収録時間τ＋１において各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝４が設定され、以下は、同一時間に収録したフレームには、統一されたフレームＮｏ．が設定され、再生時には、フレームＮｏ．の指定により同一時刻の多視点画像を正確に取り出すことが可能となる。
【００５１】
しかしながら、上述の補正処理を実行する際、サーバーＰＣ１７０から各クライアントＰＣ１５０に送信される録画フレーム計測コマンド（図３の３０１）の発行タイミングが、各クライアントＰＣ１５０におけるフレームを切換る時間に相当していた場合、連続する２フレームのどちらのフレーム番号を記録し報告したら良いかを判断できないことがあり、フレーム番号報告を誤ることもある。このような１フレームの同期ずれを防ぐために、各クライアントＰＣから報告された計測データの精度をあげる必要がある。
【００５２】
図５は、本発明の多視点画像記録装置において実行される各クライアントＰＣにおける記録画像フレームの同期処理を説明する図である。本発明の多視点画像記録装置においては、同期合わせ精度を向上させるために、複数フレーム番号計測を実行する。
【００５３】
本発明の多視点画像記録装置では、サーバーＰＣ１７０から各クライアントＰＣ１５０に対して、一定時間間隔内に複数回、「現在収録フレーム番号保存」コマンドを送信する。図５に示す計側点１〜４が、これらのコマンド送信タイミングである。
【００５４】
各クライアントＰＣ１５０は、サーバーＰＣ１７０からの複数回のコマンドに応じて、複数個の計測データ、すなわち、サーバーＰＣ１７０からのコマンド受信時において、ＨＤＤ等の記憶手段にデータ記憶を実行中のフレーム番号を保存する。
【００５５】
各クライアントＰＣ１５０は、画像データの収録処理終了後、それらの計測データ、すなわち複数回の計側点に対応する収録フレームデータ、例えば図６に示すような計測点１〜ｎに対応する収録フレームＮｏ．データを一括してサーバーＰＣ１７０に送信して報告する。
【００５６】
サーバーＰＣ１７０は、各クライアントＰＣ１５０より報告された計測データに対して、統計的な処理、例えば、各計測ポイント間の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを精度よく補正することができる。
【００５７】
また、サーバーＰＣ１７０からクライアントＰＣ１５０に対して繰り返し送信される「現在収録フレーム番号保存」コマンドが、各クライアントＰＣにおける同一のフレーム処理タイミングとなることを避けるために先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝フレーム間隔×ｎ、
ただしｎは自然数とした。
【００５８】
フレーム間隔が例えば３３．３ｍｓであるとき、Ｔ＝３３．３×ｎに設定される。このようにコマンド送信間隔：Ｔを設定することで、コマンドの識別に要するタイマーの時間幅をｔとすれば、第ｐ回目の「現在収録フレーム番号保存」コマンドと、第ｐ＋１回目の「現在収録フレーム番号保存」コマンドとの、各クライアントＰＣにおける受信タイミングは、Ｔ＋ｔとなり、Ｔがフレーム間隔×ｎであるので、フレーム処理の同一タイミングでの計側が防止される。なお、計測点の数は最大で３３．３ｍｓ／ｔ（回数）とする。
【００５９】
例えば、クライアントＰＣが、第ｐ回目の「現在収録フレーム番号保存」コマンドを、２つの処理フレームの中間点で受信した場合であっても、次の計測点は、２つの処理フレームの中間点となることはない。このような設定とすることで、複数回の「現在収録フレーム番号保存」処理は、少なくとも、ほとんどの「現在収録フレーム番号保存処理」を正確に実行することが可能となる。
【００６０】
図７を参照して、サーバーＰＣとクライアントＰＣにおける処理手順を説明する。図７において、左側列の各処理ステップＳ１０１〜Ｓ１０６がサーバーＰＣの処理であり、右側列の各処理ステップＳ２０１〜Ｓ２０５が各クライアントＰＣの処理である。
【００６１】
まず、ステップＳ１０１において、サーバーＰＣより録画開始コマンドを各クライアントＰＣに送信する。ステップＳ２０１において、各クライアントＰＣは録画開始コマンドを受信する。
【００６２】
次に、サーバーＰＣは、一定時間間隔経過後、フレーム計測点１のコマンドを各クライアントＰＣに送信する。最初のフレーム計測点１のコマンドは、録画開始コマンド出力後、一定時間間隔経過後に行なう。この一定時間とは、すべてのクライアントＰＣにおいてデータ収録処理が介しされているであろうと判断される時間として予め設定された時間であり、クライアントＰＣの処理応答時間の予測最長時間以上の時間として設定される。
【００６３】
各クライアントＰＣは、ステップＳ２０２においてフレーム計測点１のコマンドを受信すると、計測点１での収録中フレーム番号を保存する。
【００６４】
サーバーＰＣは、ステップＳ１０３において、フレーム計測点１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点２のコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０３において、フレーム計測点２のコマンドを受信し、計測点２での収録中フレーム番号を保存する。
【００６５】
このような計測を複数回（ｋ回：例えばｋ＝１０）を行う。サーバーＰＣは、ステップＳ１０４において、フレーム計測点ｋ−１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点ｋのコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０４において、フレーム計測点ｋのコマンドを受信し、計測点ｋでの収録中フレーム番号を保存する。
【００６６】
各クライアントＰＣによる映像収録が完了したら、各クライアントＰＣはステップＳ２０５において、各クライアントＰＣに保存された計測点１〜ｋでのフレーム番号をサーバーＰＣに報告する。
【００６７】
サーバーＰＣは、ステップＳ１０５において、各クライアントＰＣからの計測点（フレーム番号）データを受信する。このデータは、先に説明した図６のような計測点と収録フレームとの対応データである。
【００６８】
次に、サーバーＰＣは、ステップＳ１０６において、各クライアントＰＣからの受信データ（図６参照）に基づいて統計的な処理、例えば、各計測点の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを補正し、各カメラ映像間の同期調整を実現する。
【００６９】
次に、図８を参照して、サーバーＰＣで実行する同期調整処理の詳細について説明する。まず、ステップＳ３０１において、サーバーＰＣは、各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号データを読込む。これは、例えば図８のデータ例（ａ）に示すデータである。
【００７０】
ここでは、サーバーＰＣが複数のクライアントＰＣ（ＰＣ１〜ＰＣｋ）から４回の計測点（計測点１〜４）における収録フレーム番号を取得したものとして説明する。
【００７１】
図８の（ａ）各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号のリストによれば、例えばＰＣ１は、
計側点１において、収録処理フレーム＝６、
計側点２において、収録処理フレーム＝１０、
計側点３において、収録処理フレーム＝１４、
計側点４において、収録処理フレーム＝１９、
を各計測点において、サーバーＰＣからの「現在収録フレーム番号保存」コマンドに応じて保存したフレーム番号であることを示している。
【００７２】
次に、サーバーＰＣは、ステップＳ３０２において、処理遅延量の大きいＰＣ、ここでは、計側点１において、フレームＮｏ．３を処理しているＰＣ２を基準ＰＣとして、各ＰＣにおける基準ＰＣからのフレームずれ量を算出する。
【００７３】
この処理の結果、図８に示す（ｂ）各計測点における各ＰＣ内収録映像のフレームずれ量が求められる。図８に示す例では、ＰＣ２が基準となり、ＰＣ２はすべての計測点においてずれ量＝０となる。また、例えばＰＣ１のずれ量は、各計測点において、ＰＣ１の収録処理フレーム−ＰＣ２の収録処理フレームによって求める。その結果、ＰＣ１のずれ量は、
計側点１において、ずれ量＝６−３＝３
計側点２において、ずれ量＝１０−７＝３
計側点３において、ずれ量＝１４−１１＝３
計側点４において、ずれ量＝１９−１５＝３
となる。
【００７４】
他のＰＣ、ＰＣ３〜ＰＣｋについてもＰＣ２との収録フレームＮｏ．との差分がズレ量として求められる。
【００７５】
次に、ステップＳ３０３において、基準ＰＣ＝ＰＣ２からの各ＰＣのずれ量の決定処理を行なう。これは、例えば各ＰＣの各計測点におけるずれ量の平均値を算出し、その平均値に基づく整数値を四捨五入により算出することにより実行する。
【００７６】
図８（ｃ）が、各ＰＣの各計測点におけるずれ量の平均値を算出したデータである。ＰＣ１のＰＣ２に対するずれ量は、
（３＋３＋３＋４）／４＝３．２５
となる。
【００７７】
図８（ｄ）が、各ＰＣの各計測点におけるずれ量の平均値を四捨五入したデータである。
ＰＣ１のＰＣ２に対するずれ量は３、
ＰＣｋのＰＣ２に対するずれ量は２となる。
このようにして、各クライアントＰＣの基準ＰＣ（ＰＣ２）からのずれ量が決定される。
【００７８】
次に、ステップＳ３０４において、サーバーＰＣは、算出した各ＰＣのずれ量に基づいて、各クライアントＰＣの同期調整処理を実行する。
【００７９】
各クライアントＰＣの各時刻１〜４における処理フレームＮｏ．を統一する処理として実行される。図８（ｅ）に示すように、時刻１〜４において、
時刻１においては、全てのＰＣの収録フレーム＝３
時刻２においては、全てのＰＣの収録フレーム＝７
時刻３においては、全てのＰＣの収録フレーム＝１１
時刻４においては、全てのＰＣの収録フレーム＝１５
とした設定が実行される。
【００８０】
例えばＰＣ１設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が３であると判定されるので、ＰＣ１設定フレームＮｏから差３を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として設定する。また、ＰＣｋ設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が２であると判定されるので、ＰＣｋ設定フレームＮｏから差２を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として各時刻において設定する。
【００８１】
このように各クライアントＰＣにおける同期調整処理を実行することにより、正確なフレーム間同期が可能となる。
【００８２】
上述した本発明の多視点画像記録装置における処理の効果について、図９および図１０を参照して説明する。図９は、上述の同期合わせ処理を実行しない場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差があり、異なる時間におけるフレーム画像が混在してしまっていることが分かる。
【００８３】
一方、図１０は、上述の同期合わせ処理を実行した場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差がなく、同一時間におけるフレーム画像が各視点画像として設定され、正しい同期処理がなされていることが理解される。
【００８４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８５】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００８９】
【発明の効果】
以上説明してきたように、本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００９０】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００９１】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【図面の簡単な説明】
【図１】多視点画像記録装置の構成を示す図である。
【図２】多視点画像記録装置の画像記録処理装置における映像信号処理部の詳細を示すブロック図である。
【図３】多視点画像記録装置における各時間における処理フレームの遷移を説明する図である。
【図４】多視点画像記録装置における画像記録処理装置におけるフレーム同期処理について説明する図である。
【図５】多視点画像記録装置における各時間における処理フレームの遷移、および処理フレームの保存要求コマンドの発行タイミングについて説明する図である。
【図６】処理フレームの保存要求コマンドに対して画像記録処理装置の生成するデータ例を説明する図である。
【図７】多視点画像記録装置におけるサーバと画像記録処理装置における処理について説明するフロー図である。
【図８】多視点画像記録装置におけるサーバの実行するフレーム同期処理について説明する図である。
【図９】フレーム同期処理を実行していない多視点画像におけるフレーム画像構成について説明する図である。
【図１０】フレーム同期処理を実行した多視点画像におけるフレーム画像構成について説明する図である。
【符号の説明】
１１０ カメラ
１２０ 同期信号発生器
１３０ ＤＶコンバータ
１５０ クライアントＰＣ
１５１ 映像信号処理部
１５２ 記憶手段
１５３ ネットワークカード
１６０ 画像モニタ
１７０ サーバーＰＣ
２１１ ＣＰＵ
２１２ ＲＡＭ
２１３ ＲＯＭ
２１４ １３９４ポート
２１５ ＬＩＮＫ／ＰＨＹ
２１６ 記憶手段Ｉ／Ｆ
Claims (5)
- 複数視点からの画像を複数カメラによって撮影し記録する多視点画像記録装置であり、
各々が前記複数カメラを構成する各カメラの撮影画像データを入力するとともに、該入力画像データを記録する記憶手段を備えた複数の画像記録処理装置と、
前記複数の画像記録処理装置に対して処理コマンドを出力するサーバ装置とを有し、
前記サーバ装置は、
前記複数の画像記録処理装置に対して保存要求コマンドを複数回出力する構成であり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力し、
前記複数の画像記録処理装置は、
複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する構成を有し、
前記サーバ装置は、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする多視点画像記録装置。 - 前記サーバ装置は、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、
前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする請求項１に記載の多視点画像記録装置。 - 複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理方法であり、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とする多視点画像フレーム同期処理方法。 - 前記同期処理実行ステップは、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行するステップであることを特徴とする請求項３に記載の多視点画像フレーム同期処理方法。 - 複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理を実行するコンピュータ・プログラムであって、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、保存要求コマンドを複数回出力するステップであり、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝処理画像フレーム間隔×ｎ、
ただしｎは自然数、
とした間隔Ｔを設定して複数の保存要求コマンドを間欠的に出力するコマンド出力ステップと、
前記複数の画像記録処理装置において、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002180750A JP4186520B2 (ja) | 2002-06-21 | 2002-06-21 | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002180750A JP4186520B2 (ja) | 2002-06-21 | 2002-06-21 | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032012A JP2004032012A (ja) | 2004-01-29 |
| JP4186520B2 true JP4186520B2 (ja) | 2008-11-26 |
Family
ID=31177778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002180750A Expired - Lifetime JP4186520B2 (ja) | 2002-06-21 | 2002-06-21 | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4186520B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014208378A1 (ja) * | 2013-06-28 | 2014-12-31 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5321012B2 (ja) * | 2008-11-25 | 2013-10-23 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| GB2470201A (en) * | 2009-05-12 | 2010-11-17 | Nokia Corp | Synchronising audio and image data |
| JP5664714B2 (ja) * | 2013-07-09 | 2015-02-04 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| JP6747158B2 (ja) | 2016-08-09 | 2020-08-26 | ソニー株式会社 | マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 |
| JP6427258B1 (ja) * | 2017-12-21 | 2018-11-21 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
| CN110740251B (zh) * | 2018-07-20 | 2021-09-24 | 杭州海康机器人技术有限公司 | 一种多相机同步取流方法、装置及系统 |
| KR102453068B1 (ko) * | 2019-10-04 | 2022-10-11 | 주식회사 케이티 | 타임슬라이스 영상을 생성하기 위해 동기화를 수행하는 질의 서버, 질의 방법 및 기준 서버 |
| JP7452296B2 (ja) | 2020-07-02 | 2024-03-19 | 株式会社島津製作所 | 計測用録画システム、および、計測用録画方法 |
| JP7031703B2 (ja) * | 2020-07-28 | 2022-03-08 | ソニーグループ株式会社 | 情報処理装置およびマルチカメラシステム |
| CN117857769A (zh) * | 2024-03-07 | 2024-04-09 | 长江龙新媒体有限公司 | 自适应多摄像机捕获与实时自由视角视频渲染方法及系统 |
-
2002
- 2002-06-21 JP JP2002180750A patent/JP4186520B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014208378A1 (ja) * | 2013-06-28 | 2014-12-31 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |
| US10212361B2 (en) | 2013-06-28 | 2019-02-19 | Sony Corporation | Information processing device, information processing method, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004032012A (ja) | 2004-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4186520B2 (ja) | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム | |
| JP4794938B2 (ja) | 監視システム、監視装置、監視方法、及びプログラム | |
| JP4464360B2 (ja) | 監視装置、監視方法、及びプログラム | |
| JP2000316112A (ja) | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム | |
| JP3129599B2 (ja) | 動画撮像システム | |
| JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
| JP4303535B2 (ja) | デコード表示装置、撮像装置及びそれらを備えた画像伝送システム | |
| US20180332291A1 (en) | Information processing system and information processing method | |
| JP5061925B2 (ja) | 画像圧縮配信装置、及び画像圧縮配信方法 | |
| CN110234029A (zh) | 多传感器数据的播放处理方法和装置 | |
| JP2005051663A (ja) | 監視用映像信号の記録再生方法、及び装置監視用映像信号記録再生装置 | |
| JP4244113B2 (ja) | 画像表示プログラム | |
| CN114071127A (zh) | 直播视频延迟的测试方法、装置、存储介质及电子设备 | |
| JP2006203817A (ja) | マルチカメラシステム | |
| TWI815759B (zh) | 電子系統及其影像合併方法 | |
| JP4519569B2 (ja) | 立体ｍｐｅｇ信号同期システム | |
| US20230035765A1 (en) | Control device, imaging system, and 3d model data generation method | |
| JP2001103423A (ja) | タイムラプスレコーダ | |
| JP2002223434A (ja) | 映像モニタリングシステム及び映像モニタリング方法 | |
| JP2005159923A (ja) | 動き検出可能な映像信号切替装置 | |
| KR100442518B1 (ko) | 다채널 영상 신호 캡쳐 방법 및 시스템 | |
| JPH0993533A (ja) | 画像抽出装置と監視装置及び画像伝送装置 | |
| JPH1118082A (ja) | 画像信号処理装置及び方法 | |
| JP2005136777A (ja) | ネットワーク監視カメラシステム | |
| JP2021097364A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |