JP3954439B2 - 映像記録システム、プログラム及び記録媒体 - Google Patents
映像記録システム、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3954439B2 JP3954439B2 JP2002160647A JP2002160647A JP3954439B2 JP 3954439 B2 JP3954439 B2 JP 3954439B2 JP 2002160647 A JP2002160647 A JP 2002160647A JP 2002160647 A JP2002160647 A JP 2002160647A JP 3954439 B2 JP3954439 B2 JP 3954439B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- wide
- camera
- unit
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、広角の視野を有する撮像手段を用いて取得された広範囲のシーンの映像を記録するシステムに関するものである。具体的には監視システム、遠隔会議システム、遠隔教育システム等の用途に使用される。
【０００２】
【従来の技術】
電気通信技術の発展により、会議の様子を撮影し、取得された画像を遠隔地に伝送するテレビ会議システムが多くの企業・団体で活用されるようになった。かかるシステムの利便性をより向上させるべく、従来より会議の様子を映像として取り込むための装置及び話者のみを切り出した部分映像を伝送するためのシステムが数多く提案されている。例えば特開平5-122689号公報において、マイクから入力される音声を検出して話者を判定し、該判定結果に基づいてカメラ制御部においてカメラを自動制御し、話者を捉えるというテレビ会議システムが提案されている。しかし、話者を捉えるためにカメラを制御するのに時間がかかるという問題点がある。
【０００３】
この問題点を解決すべく、特開平11-331827号公報において、魚眼又は超広角レンズ及び可変指向性マイクロフォンを用いたテレビカメラ装置に関し、音源位置の方向を判定し、該音源位置方向を追尾し、音源位置方向の画像を切り出して映像信号を生成するという発明が公開されている。しかし、魚眼又は超広角レンズを用いた該テレビカメラ装置を机の上などに設置する場合、一般に天井などあまり重要でないものが視野の大半を占めるのに比べ、視野の周辺部に人間の顔などの重要な被写体が存在するという問題点がある。また、これらのレンズは設計及び製造にかかるコストが高価である。
【０００４】
一方、MPEG (Motion Picture Experts Group)に代表される近年の画像符号化技術の進化、ハードディスクドライブ (以下HDDと略す)の大容量化及びそのデータ転送速度の高速化に伴い、長時間の映像及び音声信号をパーソナルコンピュータ (以下PCと略す)に電子情報として記録することが技術的に可能となってきた。それと共に、会議などのシーンを映像に記録し、後で記録されたシーンを振り返ることへのニーズが高まっている。しかし、上記従来技術はいずれもテレビ会議システムを指向しており、装置により取得された映像から所望の部分のみを切り出した映像信号を実時間で伝送することにより、通常の会議と同様の臨場感の高い映像を実時間で生成及び伝送することに主眼が置かれたものであった。すなわち、取得された映像をPCに記録したり、後にPC上でその映像を閲覧するために便宜を図ったものではなかった。
【０００５】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、その第１の目的は、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することを可能とならしめる映像記録システム並びに該システムの各部の処理を実行させるためのプログラム及び記録媒体を提供しようとするものである。
【０００６】
また、本発明の第２の目的は、閲覧者に対し、高い解像度を持つ所望のシーンの映像を一層容易に選択可能とならしめる映像記録システムを提供しようとするものである。
【０００７】
また、本発明の第３の目的は、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・記録することを可能とならしめる映像記録システムを提供しようとするものである。
【０００８】
また、本発明の第４の目的は、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することを可能とならしめる映像記録システムを提供しようとするものである。
【０００９】
また、本発明の第５の目的は、更に所望のシーンの映像を高い解像度で漏れなく取得・記録することを可能とならしめる映像記録システムを提供しようとするものである。
【００１０】
【課題を解決するための手段】
広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【００１１】
請求項１に記載の発明は、映像記録システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記広角の映像及び前記第二の撮像手段により取得された映像の少なくとも一つ及び前記対応関係を記録する記録手段とを有する。
【００１２】
請求項１の発明により、広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【００１３】
請求項２に記載の発明は、映像記録システムであって、前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定する。
【００１４】
請求項３に記載の発明は、映像記録システムであって、前記特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定する。
【００１５】
請求項１、２及び、３に記載の発明により、第 1 撮像部 31 により取得された広角の映像と、第 2 撮像部 32 により取得された各々の部分映像との対応関係を特定する特定部 36 を備えることにより、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能になる。すなわち、第２の目的が達成される。
【００２６】
【発明の実施の形態】
まず、映像記録システムがどのように使用されるかの使用例について簡単に概説し、次に、映像記録システムの実施の形態を具体的に説明する。各実施の形態においては、それを構成する要素及びその動作を説明し、最後に処理の流れについて説明する。
【００２７】
先ず最初に映像配信システムの使用例について説明する。
【００２８】
図１は、本発明を会議場面に設置した使用例を概説する説明図である。映像記録システムは、広角の映像を取得する広角カメラ200と、通常の画角を持つ複数のカメラ401-1から401-4より構成されたカメラアレイ400と、会議中の音声を取得するマイクロフォン501と、広角カメラ200及びカメラアレイ400で取得された映像データ並びにマイクロフォン501により取得された音声データを取り込み、記録するためのサーバ300とを有する。
【００２９】
図１に示したように、広角カメラ200は、テーブル1に設置され、会議の参加者（話者）2-1から2-4のいる方向、例えば水平面を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ400を構成する各々のカメラ401-1から401-4は、例えばそれぞれ会議の参加者の前面に置かれ、各参加者の姿を撮影する。これらのカメラ401-1から401-4により取得される映像を、以後「部分映像」と呼ぶ。また、サーバ300はキャビネット3に格納され、広角カメラ200及びカメラアレイ400からの映像データ並びにマイクロフォン501により取得された音声データを取得し、取得された映像データ及び音声データをHDDに記録する。
【００３０】
以下の各実施の形態では、本発明の映像記録システムを、会議の撮影及びその映像の記録に適用した場合について説明する。
【００３１】
１．実施の形態１
先ず最初に、本発明の実施の形態１について説明する。
【００３２】
１．１ 構成
図２は、本発明の実施の形態１に係る映像記録システムの構成を示す図である。サーバ300には、ＵＳＢハブ320及びバス310を介して広角カメラ200と、カメラアレイ400とが接続され、広角の映像データ及びカメラアレイ400により取得された少なくとも1つの部分映像データが取得・記録される。サーバ300により記録された映像データは、サーバ300において表示される。また、該映像データは、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントPCにおいて表示される。
【００３３】
次に、上記各部の構成について説明する。
【００３４】
１．１．１ 広角カメラ
図３は、実施の形態１に係る、第一の撮像手段としての、広角カメラ２００の構成を示す図である。この第一の撮像手段としての、広角カメラ200は、所定形状の曲面を有するミラー211と、レンズ212と、絞り213と、CCD（Charge Coupled Device）等の撮像素子214と、上記撮像素子214のタイミング制御、並びに上記撮像素子214により得られた映像信号に対してアナログ−デジタル変換等のデジタル化処理を行う駆動部215と、前記駆動部215により得られたデジタル信号に対してエッジ強調やγ補正等の前処理を行う前処理回路216と、アイリスを制御するために絞り213を駆動するモータ駆動部217とを備えている。
【００３５】
ミラー211は、光学系に入射する光を反射させることにより広角の撮影を可能とするためのものであり、ここでは所定形状の曲面有するミラーとして、双曲面ミラーを使用する。図４は、本実施の形態の双曲面ミラー211を用いた場合の光路を説明する図である。また図５は、本実施の形態の双曲面ミラー211により撮像素子214の表面に結像される広角画像の様子を示した図である。図５に示すように、双曲面ミラー211から反射されて撮像素子214に取り込まれる画像はドーナツ形状となっている（このドーナッツ形状の映像を以後「ドーナッツ映像」と呼ぶ）。該ドーナッツ映像は、前記撮像素子214において結像され、さらに前記駆動部215においてデジタル化され、前処理回路216を介して後述するサーバ300に送出される。なお、図４の中の中心部は、撮像素子214の方向を映し出し、これは重要でない画像情報である。したがって、双曲面ミラー211の頭頂部218を黒く塗りつぶして、黒色情報としてもよい。なお、使用の態様によっては、頭頂部218に基準線を描画し、広角カメラ200の立ち上げの際、モータ駆動部217を駆動することにより、ピント調整などの初期設定に利用してもよい。
【００３６】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００３７】
１．１．２ カメラアレイ
カメラアレイ400は少なくとも1つのカメラより構成され、各々のカメラは、前記広角カメラ200の撮影範囲の一部のシーンを、より高い解像度で撮影する。カメラアレイ400を構成するカメラ401は、図１のようにバラバラに配置されても、図６のように各々のカメラ401-1から401-3を筐体402に固定して配置したものであっても構わない。カメラ401に使用される撮像素子は、CCD、CMOS (Complementary Metal-Oxide Semiconductor)型など様々な種類のものを使用することができる。該撮像素子において結像された映像信号は、カメラ内部でデジタル化された後、後述するサーバ300に送出される。
【００３８】
上記の構成を有するカメラ401を少なくとも1つ用意することにより、安価かつ簡素な構成で解像度の高い部分映像を取得することができる。
【００３９】
１．１．３ サーバ
図７は、本実施の形態におけるサーバ300の構成例を示した図である。すなわち、映像記録システム100における各種の制御及び処理を行うCPU (Central Processing Unit) 301と、SDRAM (Synchronous Dynamic Random Access Memory) 302と、HDD (Hard Disk Drive) 303と、マウス３１１等のポインティングデバイス、キーボード３１２等の各種入力インターフェース（以下I/Fと略す）304と、電源305と、CRT (Cathode Ray Tube)等のディスプレイとを接続するための表示I/F 306と、前記広角カメラ200や前記カメラアレイ400などの外部機器を接続するための外部I/F 307と、DVD (Digital Versatile Disc)＋RWドライブ等の大容量記録装置308とを、バス３１３を介して接続することにより構成される。
【００４０】
次 に、サーバ300の各構成部について説明する。CPU 301は、HDD 303に格納された所定のプログラムにしたがって、広角カメラ200及びカメラアレイ400からの映像取得・記録などの各種処理及び制御を行う。SDRAM 302は、CPU 301の作業領域として利用されるとともに、HDD 303に格納された各処理プログラムや、Windows（登録商標） NT Server (米国Microsoft社の登録商標)などのOS (Operating System)の記憶領域として利用される。また、該HDD 303は、取得された映像の記録するための領域としても使用される。
【００４１】
外部I/F307の一例として各種I/Fボード、USB (Universal Serial Bus)、IEEE 1394、或いはIrDA、Bluetooth等の無線I/Fが挙げられる。前記広角の映像データ及び前記カメラアレイ400により取得される複数の部分映像データは、前記広角カメラ200及びカメラアレイ400をUSB2.0のような高速シリアルインターフェース経由でサーバ300に接続することにより、同期的に取得することが可能である。外部I/F 307を経由して取得されたデータは、HDD 303又は大容量記録装置308に記録される。
【００４２】
１．２ 動作
図８は、図２に示された本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図である。以下において、図８に示された各部の動作を具体的に説明する。
【００４３】
１．２．１ 第1撮像部
第1撮像部31は、上記の１．１．１に記載した広角カメラ200により構成され、取得され且つデジタル化された広角の映像データを出力する動作を行う。
【００４４】
１．２．２ 第２撮像部
第２撮像部32のは、上記の１．１．２に記載されたカメラアレイ400により構成され、取得され且つデジタル化された部分映像データを出力する動作を行う。
【００４５】
１．２．３ 変形部
図９は、実施の形態１における変形部３３の動作を説明する図である。変形部33は、第1撮像部31により取得された広角の映像データを、図１１に示すように、通常のカメラで捉えた透視変換像に近い映像 (以下パノラマ映像と呼ぶ)に変形するものである。一般に、広角の範囲を撮影可能なカメラによって得られる映像は、上述したように、人間の眼で確認できる像の形状と異なり、大きな歪みが含まれるために、後に閲覧するときの便宜を図るために変形処理を施すと好適である。以下、文献 (A.M.Bruckstein and T.J.Richardson: “Omniview Cameras with Curved Surface Mirrors”, Proc. of the IEEE Workshop on Omnidirectional Vision 2000, pp.79-84) に記載された方法を参考に、広角の映像データ（図６に示したドーナッツ映像を）をパノラマ映像に変形する方法を説明する。
【００４６】
図１０は、双曲面ミラーを使用したカメラにおける映像の変形原理を説明するための図である。また 図１２(a)は、変形部33の動作例を示すし、ドーナッツ映像を、横軸を方位角とし且つ縦軸を仰角とする円柱面に映されたパノラマ映像に座標変換する。また 図１０(b)は、広角カメラ200の幾何的構造を示す図であり、図１０（ｂ）の中のカメラの光学系は中心射影モデルである。ここで、図中の各変数の意味は、下記の通りである。
(u, v)：ドーナッツ映像における座標
(u0, v0)：ドーナッツ映像における双曲面ミラーの中心の座標
(θ, φ)：パノラマ映像における座標
r： (u0, v0)から(u, v)への画素単位の距離
rmax：ドーナッツ映像における双曲面ミラーの画素単位の半径
θ：方位角
φ：仰角
ψ：カメラの光軸からの頂角
F：双曲面ミラーの焦点
F’：双曲面ミラーと対をなす双曲面の焦点、カメラの光学中心に一致する。
【００４７】
このとき、頂角ψと仰角φとの間に、以下の関係が成立する。
【００４８】
【数１】
ここで、
【００４９】
【数２】
である。また、φminはドーナッツ映像上の半径rmaxの位置に対応する仰角φの値であり、これはカメラの仰角方向の撮影限界値を表す。rmaxとφminの値は一般に容易に知ることができる。
以下、変形の手順を説明する。 (i) 点(u, v)に対応する極座標 (r, θ)を、次式を解くことにより求める。
【００５０】
【数３】
(ii) (3)式により算出されたrに対応する頂角ψを次式により求める。
【００５１】
【数４】
ここで、
【００５２】
【数５】
であり、ψmaxはドーナッツ映像上の半径rmaxの位置及び仰角φminに対応する頂角ψの値である。ψmaxの値は、(1)式にφminを代入することにより求めることができる。
【００５３】
(iii) (4)式により算出されたψに対応する仰角φを、(1)式により求める。
【００５４】
以上の手順により、双曲面ミラーにより撮影されたドーナッツ映像における任意の点(u, v)を、パノラマ映像における点(θ, φ)に座標変換することができる。すなわち、ドーナッツ映像がパノラマ映像に変形される。
【００５５】
図１１は、変形部３３で使用される座標変換テーブルを説明する図である。撮影からパノラマ映像の記録を一時に行う場合、上記の変形処理に要する計算時間が問題となるため、図１１のように、上記の手順に基づいた座標変換テーブルを予め作成しておくと好適である。図１１の座標変換テーブルにおいては、各点(θ, φ)に対応するドーナッツ映像の座標(u, v)を格納しておく。
【００５６】
以上の変形処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303には該変形処理を施すための所定のプログラムを予め格納しておく。
【００５７】
１．２．４ エンコード部
図８のエンコード部34は、図８の前記第2撮像部32により取得された部分映像データの少なくとも一つと、前記変形部33により出力されたパノラマ映像データを、映像記録に適した形式にエンコードする。ここで、映像記録に適した形式は様々挙げられるが、MPEGに代表される動画符号化フォーマットなどの形式を使用する。エンコード部34は、映像データの取得が継続している限り常に映像をエンコードし続け、エンコードされたデータを連続して記録部35に送信する。
【００５８】
以上のエンコード処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303にMPEGエンコードプログラムを予めインストールしておく。
【００５９】
１．２．５ 記録部
記録部35は、前記エンコード部34によりエンコードされた少なくとも1つの部分映像データ及び前記第1撮像部31により取得された広角の映像データを記録する。
【００６０】
記録部35は、HDD 303によりその機能を実現することができる。なお、使用の態様によっては、大容量記録装置308によりその機能を実現してもよい。例えば、長時間の会議や、定例会議については、保存の必要性からDVD+RW等により構成される大容量記録装置308に記録し、短時間の会議など、長期の保存の必要性が低いものに関してはHDD 303に記録するなどの使い分けを行ってもよい。
【００６１】
２． 実施の形態２
また、一方向に曲率をもった曲面ミラーを、広角カメラ200に使用することもできる。
【００６２】
２．１ 構成
実施の形態２の構成は、上述の実施の形態１と同様に、図４に示されている。
【００６３】
以下、本実施の形態における広角カメラ200の構成について説明する。なお、サーバ300及びカメラアレイ400の構成も、実施の形態１で説明した通りであるので、説明を省略する。
【００６４】
２．１．１ 広角カメラ
図１２は、本実施の形態における広角カメラ200の構成を示した図である。図１２に示すように、広角カメラ200は、通常の画角を有するカメラ219と一方向に曲率をもったミラー211とにより構成されており、全方位を撮影することはできないが広い範囲のシーンを撮影することができる。図１３は、該ミラー211を使用したときのカメラ219に映される広角画像の様子を示した図であり、カメラ219の背後のシーンを撮影することができる。図１３に示したように、取り込まれる画像は、入射光の水平方向の角度と、撮影される画像の位置の横方向の座標が比例した状態で、横方向に圧縮された形状となっている。また、カメラ219自身の画像への写り込みを低減するように改良することも可能である。
【００６５】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００６６】
２．２ 動作
本実施の形態における機能別のブロック図は、上述の実施の形態１と同様に、図９に示されている。以下において、図９に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、及び記録部35の動作は、上述の実施の形態１と同様であるので、説明を省略する。
【００６７】
２．２．１ 変形部
本発明の実施の形態２においては、広角カメラ200により取得された映像データを、横方向に一様に引き伸ばすだけでパノラマ映像を得ることが可能である。双曲面ミラーを使用した場合と同様に、図１１のような座標変換テーブルを作成し、パノラマ映像の各点に対応する変形前の映像の座標(u, v)を格納するようにすればよい。
【００６８】
また、この広角カメラ200を使用した場合、映像記録システム100に変形部33を設けなくとも、映像を表示するクライアント側でパノラマ映像を生成・表示することが可能である。今、横 (水平)方向の撮影範囲が180度、縦 (鉛直)方向の撮影範囲が60度であり、サイズが352×240画素の映像が、該広角カメラ200により取得されているとする。この場合、横方向の長さを3倍、すなわち1056画素に引き伸ばすことによりパノラマ映像を得ることができる。また、サーバ300のマシン名を”vidserv”、映像記録システムから配信される広角の映像データ名を”movie.rm” (後述するRealVideoというデータ形式)、及び映像表示端末とサーバ300との通信に使用されるプロトコルをRTSP (Real Time Streaming Protocol)とする。このとき、該引き伸ばし処理を実行する処理は、図１４に示すように、W3C (World Wide Web Consortium)によって勧告されたSMIL (Synchronized Multimedia Integrated Language)を用いて記述することができる。図１４に示すように、<region>タグにおいて指定された表示領域の大きさと、関連付けられる映像データ”movie.rm”の画像サイズが異なる場合、fit属性を"fill"と指定することにより、表示領域のサイズに合わせて、映像データが拡大縮小表示される。すなわち、fit属性値を上記のように指定した状態で、映像データに対して所望の拡大率を有する表示領域を指定することにより、パノラマ映像を表示することができる。以上の変形処理は、クライアントが持つ映像表示端末において、映像の表示と同時に実行される。これにより、映像記録時にサーバ300が変形処理を実行する必要がないので、小さい処理コストで広角の映像データを記録することが可能となる。
【００６９】
２．２．２ エンコード部
エンコード部34の動作は、上述の実施の形態１と同様であり、前記第2撮像部32により取得された部分映像データの少なくとも一つ及び前記変形部33により出力されたパノラマ映像データを、それぞれ映像記録に適した形式にエンコードする。
【００７０】
なお、変形部33が存在しない場合、エンコード部34は、前記変形部33により変形された広角の映像データの代わりに、前記第1撮像部31により取得された広角の映像データをエンコードする。
【００７１】
３．実施の形態３
本発明の実施の形態３は、前記広角カメラ200により取得された広角の映像データと、前記カメラアレイ400により取得された各々の部分映像データとの対応関係を特定する映像記録システムに関するものである。ここでいう「対応関係」の例として、以下のものが挙げられる。
・広角カメラ200とカメラアレイ400を構成する各々のカメラ401との位置関係
・広角の映像データと各々の部分映像データとの位置関係
上記の対応関係が不明である場合、映像を再生する時に、部分映像の切り替えを要求しても、所望の部分映像データが表示される保証はない。この問題を解消するために、映像選択ボタン603の左向き矢印ボタンを順に押すと、再生される部分映像データが半時計回りに切り替わるように、カメラアレイ400を設置するなどの対策が考えられる。しかし、部分映像の切り替え順序と、カメラの配置順序を対応させなくてはならないため、映像記録システム100の設置作業が面倒になるという問題点がある。
【００７２】
図１５は、クライアントが持つ映像表示端末において、上記の対応関係を利用した表示画面の一例を示す図である。図において、広角の映像602の下側にバー604が設置され、現在表示されている部分映像601に対応する撮影範囲が、黒色のバー605で示されている。また、現在表示されている部分映像601以外の部分映像の撮影範囲が、それぞれ灰色のバー606で示されている。ここで、クライアントは、マウス (図示せず)を操作することによりカーソル607を動かし、所定の部分映像を示す灰色のバー606の上をクリックすると、サーバ300に対して配信要求する部分映像の選択情報が送信され、サーバ300を介して送られるカメラアレイ400からの部分映像601が、該当する部分映像に切り替えられる。このように、上記の対応関係が特定されることにより、映像記録システム100の設置作業が楽になる。また、クライアントは一層容易に所望の映像を選択することができると共に、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００７３】
本発明の実施の形態３は、このような動作を実現するための映像記録システムに関するものである。
【００７４】
３．１ 構成
前述の実施の形態１と同様に、本発明の実施の形態３の構成は、図２乃至図７に示されている。
【００７５】
３．２ 動作
図１６は、本発明の実施の形態３に係る映像記録システムを、機能別のブロックで示した図であり、図８に示された前述の実施の形態１のブロック図に更に加えて、特定部36を追加したものである。以下において、図１８に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、及びエンコード部34の動作は、前述の実施の形態１と同様であるので、説明を省略する。
【００７６】
３．２．１ 特定部
特定部36は、前記広角カメラ200により取得された広角の映像データと、前記カメラアレイ400により取得された各々の部分映像データとの対応関係を特定する動作を行う。この動作を、以下に説明する。
(1) カメラアレイ400を構成する各カメラ401に付された識別子を利用する方法
図１７は、特定部36の別の動作例を示す図である。 図１７(a)に示すように、カメラアレイ400を構成する各カメラ401に識別子403を付し、該カメラ401を前記広角カメラ200で捕捉できる位置にそれぞれ配置する。この状態で、前記広角カメラ200により取得される映像データは、 図１７(b)のようになる。この映像データにおいて、前記識別子403が映されている画像座標を検出することにより、広角カメラ200と各々のカメラ401との位置関係を特定することができる。ここで、前記識別子403には、
・算用数字を付したシール、
・バーコード、
・カラーコード、
・2次元バーコード、
などを使用することが可能であり、これらの識別子を映像データから読み取る動作は、パターン認識の分野で既に周知技術となっている。
(2) 広角カメラ200及びカメラアレイ400により取得された映像データを利用する方法
図１８は、特定部36の別の動作例を示す図である。本動作例においては、広角の映像データと各々の部分映像データとの類似度が高い部分を検出する。
【００７７】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を説明する。まず、 図１８(a)のように、カメラアレイ400により取得される各々の部分映像より、( 2DX + 1 )×( 2DY + 1 )の大きさのテンプレート608を生成する。次に、 図１８(b)のように、該テンプレート608を広角の映像602上で移動させ、テンプレート608と広角の映像602における点(m,
n)との正規化相互相関値Sを、次式に基づき計算する。
【００７８】
【数６】
ここで、(6)式における各記号の意味は以下の通りである。
・I1(x, y)：テンプレート上の点(x, y)における濃度
・I2(x, y)：広角の映像上の点(x, y)における濃度
以上の計算に基づき、正規化相互相関値Sが最大となる広角の映像602における点(m, n)を求め、該点の位置に対応するカメラ401を特定すればよい。以上の動作を、全ての部分映像に対して実行することにより、広角カメラ200と各々のカメラ401との位置関係を特定することができる。
【００７９】
なお、濃度の相互相関に基づいて、映像の類似度を求めると述べたが、これはあくまでも一例である。映像の色空間や輪郭など、別の特徴に基づいて映像の類似度を求めても構わない。
(3) 手動で特定する方法
図１９は、本実施の形態３におけるサーバ300の表示画面を示す図である。この表示画面は、映像記録システム100を起動し、映像の記録を開始する直前に出現する。その後ユーザは、まず映像選択ボタン603を操作することにより、表示される部分映像601を切り替える。すると、現在表示されている部分映像601と広角の映像602との位置関係を手動入力するよう促すメッセージ609が、該表示画面において提示される。この時ユーザは、マウス (図示せず)を操作してカーソル607を動かし、広角の映像602の上の所定の点をクリックすることにより、該位置関係を手動入力する。手動入力が完了すると、広角の映像602において、その部分映像601に対応する位置に十字形状のポインタ610が付される。以上の動作を、全ての部分映像に対して実行することにより、広角の映像602と各々の部分映像301との位置関係を特定することができる。
【００８０】
この方法は、映像記録の開始から終了に至るまで、広角カメラ200及びカメラアレイ400の配置位置が不変である場合に、特に大きな効果を奏する。これに対して、上記(1)乃至(2)の方法は、途中でカメラ401の配置位置を変更しても有効である。
【００８１】
以上の処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303には該特定処理を施すための所定のプログラムを予め格納しておく。
【００８２】
３．２．２ 記録部
記録部35は、前記エンコード部34によりエンコードされた広角の映像データ及び少なくとも一つの部分映像データを記録する。このとき、映像データのみならず、前記特定部36が特定した対応関係を併せて記録すると、映像表示端末において、図１７に示されている表示画面を提示することが可能となるので好適である。映像記録の動作については、前述の実施の形態１と同様である。
【００８３】
４．実施の形態４
本発明の実施の形態４は、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものである。
【００８４】
実施の形態１乃至実施の形態３は、後に映像を再生する際に、クライアントが配信を要求する部分映像を選択するためのものであった。しかし、部分映像を毎回手動で選択するのは面倒である。
【００８５】
図２０は、クライアントが持つ映像表示端末において、表示される部分映像601が自動的に選択される表示画面を示す図である。図のように、「AUTO」と書かれたチェックボックス611をチェックすると、部分映像601を自動的に選択して配信するモードに切り替えられる。これに対し、サーバ300は、発言者などの重要なシーンが映された部分映像を自動的に選択して、広角の映像と共にクライアントに配信する。これにより、クライアントは面倒な操作無しに、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００８６】
本実施の形態４は、このような動作を実現するための映像記録システムに関するものである。
【００８７】
４．１ 構成
図２１に本発明の実施の形態４に係る映像記録システムの構成を示す図である。サーバ300には広角カメラ200と、カメラアレイ400と、マイクアレイ500とが接続され、広角の映像データ及び複数の部分映像データ及び複数の音声データが取得・記録される。サーバ300により記録された映像データ及び音声データは、サーバ300において表示・再生される。また、該映像データ及び該音声データは、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントPCにおいて表示・再生される。
【００８８】
次に、上記各部の構成について説明する。なお、広角カメラ200、カメラアレイ400、及びサーバ300の構成は、実施の形態１と同様であるので、説明を省略する。
【００８９】
４．１．１ マイクアレイ
マイクアレイ500は、少なくとも2つのマイクロフォン501-1、501-2より構成される。使用されるマイクロフォン501-1、501-2は、圧電型、容量型 (いわゆるコンデンサマイクロフォン)など様々な種類のものを使用することができる。各々のマイクロフォン501-1、501-2は、カメラ401と同様に、別々に離れて配置されたものであっても、各々のマイクロフォン501-1、501-2を共通の筐体に固定して配置したものであっても構わない。図２２は、実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図であり、このように、広角カメラ200とマイクアレイ500とを1つの筐体に一体化してもよい。図２２示したように、広角カメラ200を構成するカメラ部201の撮像素子214と、マイクアレイ500を構成するマイクロフォン501-1、501-2とは、台座202に配置されている。
【００９０】
該マイクロフォン501-1、501-2において取得された音声信号は、マイクロフォン内部でデジタル化された後、サーバ300に送出される。カメラアレイ400と同様に、マイクアレイ500をサーバ300の外部I/F 307、具体的にはUSB2.0のような高速シリアルインターフェースを経由して接続することにより、部分映像と音声とを同期的に取得することが可能である。
【００９１】
４．２ 動作
図２３は、本実施の形態４に係る映像記録システムの、機能別のブロックを示す図である。図１６に示された実施の形態３のブロック図に加えて、音声取得部37、音源検出部38、及び映像選択部39を追加したものである。以下において、図２３に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、及び特定部36の動作は、前述の実施の形態と同様であるので、説明を省略する。
【００９２】
４．２．１ 音声取得部
音声取得部37の構成・動作は、前述の４．１．１に記載されたカメラアレイ400により取得され、デジタル化された音声データを出力するものである。
【００９３】
４．２．２ 音源検出部
音源検出部38は、前記音声取得部37により取得された音声データに基づき、発言者のいる位置又は方向を検出するものである。その動作例を、以下において説明する。
(1) マイクアレイ500に入力される音声の到達時間差による方法
本方法は、複数のマイクロフォン501が、ある筐体の既知の位置に固定された場合に有効である。図２４は、本発明の実施の形態４の音源検出部38の動作原理を説明するための図である。図２４に示すように、2つのマイクロフォン501-1、501-2（それぞれマイク1、マイク2と便宜的に称することとする）が間隔lだけ離れて並んでおり、音声がθ方向から入射する場合、マイク1が出力する音声データs1(t)と、マイク1が出力する音声データs1(t)との関係は、
【００９４】
【数７】
v：音速
となり、マイク1の音声データがマイク2の音声データに対して
【００９５】
【外１】
だけ時間が進んでいることとなる。この原理を利用して、話者の音声の方向を特定する手順を説明する。
【００９６】
まず、マイク1とマイク2の音声データの到達時間差を検出する。この到達時間差は、例えばマイク1の音声データs1(t)とマイク2の音声データs2(t+dt)との相互相関値により計算される。ここで、相互相関値C (t, dt)は、次式により算出される。
【００９７】
【数８】
ここで、Nは相関窓の大きさを示す正の整数であり、(8)式は時刻t以前のN個のサンプルを用いて積和演算が行われることを示す。このとき、C (t, dt)を最大化するdtが到達時間差となる。
【００９８】
次に、マイクの間隔l、到達時間差dt及び音速vを用いて、音声とマイクロフォンの基線とがなす角θを計算する。
【００９９】
【数９】
ここで、θの値域は0 °以上180°以下とする。
【０１００】
なお、以上の手順のみでは、マイクロフォン501-1、501-2の前側の180°の範囲しか方向が検出されず、音源方向が特定されない。すなわち、音源検出部38が出力する角度θは、実際には音声の到達方向と2つのマイク間の基線とがなす角度であり、実際の音声の方向は図２５に示すように、2つのマイクの中点を頂点とする頂角θの円錐の側面上のいずれかに存在している。
【０１０１】
この問題を解消するために、マイク1とマイク2より構成される組と平行でない別のマイクロフォンの組を用いて補正を行う。図２６は、4つのマイクロフォン501-1、501-2、501-3、501-4を2組に分けて音源方向を検出する場合の組分けの様子を示した説明図である。図２６示したように、組分けは、あるマイクロフォン501-1と501-3（例えばマイク1（マイク3））と、そのマイクロフォンと最も距離の離れたマイクロフォン501-2と501-4（マイク2（マイク4））とを組み合わせる。
【０１０２】
最も距離の離れた2つのマイクの組を用いることで、音声の到達時間差が最大となり、方向検知の精度が向上する。なお、ここでは、マイクアレイ500には4つのマイクロフォン501-1、501-2、501-3、501-4が備わっているが、3つのマイクロフォンによっても、音源方向を精度良く検出できる。図２７は、3つのマイクロフォン501-1、501-2、501-3によってマイクアレイ500が構成される場合のマイクロフォンの組の採り方を説明する説明図である。図２７に示したように、マイクロフォンを正三角形に配置することにより、どのマイクの組を採用しても、精度良く音源方向を検出することができるようになる。なお、図２７に示した例では、第1の組と第2の組を採用して全方向の音源を検出できるが、補完的に第3の組を使用してもよい。
(2) 指向性マイクアレイによる方法
また、限られた範囲の音声のみを入力可能な指向性マイクロフォンを利用することにより、発言者の方向を検出することも可能である。図２８は、本実施の形態４におけるマイクアレイ500と音源方向との関係を説明する説明図である。このマイクアレイ500は、指向性を有するマイクロフォン501を4つ有し、その音声の強度に基づいて音源方向を決定する。便宜的に4つのマイクロフォン501-1、501-2、501-3、501-4をマイク1〜4とする。
【０１０３】
今、音声強度がマイク1で20 、マイク2で30、マイク3で20，マイク4で5という数値であったとする。この場合はマイク2 の方向に音源があると判断する。マイク1とマイク3の強度を比較するといずれも同じ値20であるので、最終的に音源方向はマイク2の方向（図でθ＝45°と示した方向）と決定する
図２９において、実施の形態４における音源検出部３８の動作の別の例を説明する図である。音声強度がマイク1で15、マイク2で30、マイク3で25、マイク4で5であったとする。この場合はマイク2の方向に音源があると初期判断する。マイク1とマイク3の強度を比較すると、マイク3の強度がマイク1より大きいので、音源方向をマイク2方向からマイク3 方向に若干量移動させた方向（図でθ＝30°と示した方向）と決定する。この方向の移動量は指向性マイクの特性にしたがって予め決定しておけばよい。
【０１０４】
以上で説明した音源検出部38の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムが予め格納されている。
【０１０５】
４．２．３ 映像選択部
映像選択部39は、前記特定部36により特定された対応関係と、前記音源検出部38により検出された発言者の位置又は方向とを用いて、記録すべき部分映像を自動的に選択するものである。
【０１０６】
図３０は、実施の形態４における映像選択部39の動作の一例を示す図であり、A〜Fの6人の参加者2がテーブル1を囲んで会議を開いている様子を上から眺めたものである。テーブル1の上には、広角カメラ200及びマイクアレイ500が設置されており、また参加者毎にカメラ401（図示せず）が1台設置されている。今、音源検出部38が検出した音源の方向が、図における矢印381のようであったとする。このとき、映像選択部39は、該音源の方向と、前記特定部36により特定された広角カメラ200と各カメラ401との対応関係に基づき、該音源の方向に対し最も近くに配置されたカメラ401を選択する。すなわち、図においては、参加者Eを撮影しているカメラ401を選択する。
【０１０７】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実現させることができる。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１０８】
４．２．４ エンコード部
エンコード部34の動作は、前記映像選択部39により選択された部分映像データ及び前記変形部33により出力されたパノラマ映像データを、それぞれ映像記録に適した形式にエンコードする。映像記録に適した形式は様々挙げられるが、例えば映像データに関しては、MPEGに代表される動画符号化フォーマットなどの形式でエンコードする。また、映像データのみならず音声データをもエンコードしても良く、音声データに関してはMPEGオーディオフォーマットなどの形式でエンコードする。
【０１０９】
この他、MPEGプログラムストリームのように、映像データと音声データを1 つのファイルに収めて記録してもよい。このファイル形式を用いることで、後段の記録部35において記録されるファイルの数が少なくなるので、記録されたファイルの管理を一層容易にすることができる。
エンコード部34は、映像データの取得が継続している限り常に映像をエンコードし続け、エンコードされたデータを連続して記録部35に送信する。
【０１１０】
以上のエンコード処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303にMPEGエンコードプログラムを予めインストールしておく。
【０１１１】
４．２．５ 記録部
記録部35は、前記エンコード部34によりエンコードされた少なくとも1つの部分映像データ及び前記第1撮像部31により取得された広角の映像データを記録する。このとき、映像データのみならず、前記特定部36が特定した対応関係及び前記映像選択部39が選択した部分映像データに関する情報を併せて記録すると好適である。
【０１１２】
ここで、選択された部分映像データに関する情報を記録する動作例を説明する。図３１は、部分映像データに関する情報の記録例を示した図である。図３１には、選択された部分映像が変わった時刻 (Time)、新たなデータ名 (File)が記録されている。これらのデータは、テキストファイルなどの形式で、動画データや音声データと共にHDD 303に記録される。このように、選択された部分映像データが変わった時刻と、その時のデータ名とを随時記録しておくことによって、後に映像を再生する際に、適切な部分映像データの再生を行うことが可能となる。
【０１１３】
なお、MPEG-7のようなマルチメディア情報の内容記述標準を用いて、上記の部分映像データに関する情報を記しても良い。
【０１１４】
記録部35は、HDD 303によりその機能を実現することができる。なお、使用の態様によっては、大容量記録装置308によりその機能を実現してもよい。例えば、長時間の会議や、定例会議については、保存の必要性からDVD+RW等により構成される大容量記録装置308に記録し、短時間の会議など、長期の保存の必要性が低いものに関してはHDD 303に記録するなどの使い分けを行ってもよい。
【０１１５】
５． 実施の形態５
本発明の実施の形態５は、前述の実施の形態４と同様に、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものであり、カメラアレイ400を構成する各々のカメラ401と、マイクアレイ500を構成する各々のマイクロフォン501とを、1対1の対応関係となるよう構成したものである。ここでは「1対1の対応関係」を、「個々のカメラ401に対し、略一致する位置又は方角に配置されたマイクロフォン501が1つあること」と定義する。
【０１１６】
５．１ 構成
本実施の形態における映像記録システム100の構成は、前述の実施の形態４と同様に、図２１に示されている。
【０１１７】
次に、上図の各部の構成について説明する。なお、広角カメラ200及びサーバ300の構成は、前述の実施の形態１と同様であるので、説明を省略する。
【０１１８】
５．１．１ カメラアレイ及びマイクアレイ
図３２は、本発明の実施の形態５におけるカメラ401及びマイクロフォン501の外観を示す図である。図示したように、カメラ401とマイクロフォン501とは、共通の筐体502に一体化した構造となっている。また、マイクロフォン501は指向性を有し、限られた範囲の音声のみを入力可能である。この一体化されたカメラ401及びマイクロフォン501を、参加者につき1台設置する。
【０１１９】
５．２ 動作
図３３は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図２３に示された実施の形態４のブロック図から音源検出部38を削除し、また特定部36から映像選択部39への接続を削除したものである。第1撮像部31、第2撮像部32、変形部33、エンコード部34、記録部35、特定部36、及び音声取得部37の動作は、前述の実施の形態４と同様である。
【０１２０】
５．２．１ 映像選択部
前述の一体化されたカメラ401及びマイクロフォン501を使用することにより、各々のカメラ401とマイクロフォン501との対応関係が既知である。したがって、映像選択部39は、最も大きな信号振幅が得られたマイクロフォン501に対応するカメラ401により取得された部分映像を選択すると良い。
【０１２１】
６．実施の形態６
本実施の形態は、前記前述の実施の形態４乃至５と同様に、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものである。
【０１２２】
６．１ 構成
前述の実施の形態１乃至３と同様に、図２乃至図７に示される。
【０１２３】
６．２ 動作
図３４は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図１６に示された実施の形態３のブロック図に加えて、映像選択部39及び動き検出部40を追加したものである。以下において、図３４に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、エンコード部34、記録部35、及び特定部36の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１２４】
６．２．１ 動き検出部
動き検出部40は、広角の映像データにおける被写体の動きを検出し、映像中の各部位における動きの特徴量を出力するものである。ここで、「動きの特徴量」とは、被写体の動きの大小を指すものとする。
【０１２５】
動画における動きの検出は、前の時刻と現在の時刻のフレーム間の差分をとる方法、オプティカルフローによる方法などの周知技術により実現可能である。これらの技術により、広角の映像データにおいて、被写体が動いた位置及びその動きの大小を検出することができる。この動作によれば、本発明を遠隔監視システムとして使用する場合、動いている被写体を捉えたカメラからの部分映像が記録されるため、好適である。
【０１２６】
また、本実施の形態６に係る映像記録システムが、遠隔会議システムとして使用される場合、参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。唇の動きの検出は、例えば文献 (M.Kass, A.Witkin and D.Terzopoulos: “SNAKES: Active Contour Models”, ICCV, pp.259-268 (1987) )等の周知技術により実現できる。また、実施の形態４乃至５のように、マイクロフォン501が使用できる場合には、音声データに基づく発話区間の抽出結果と併せて唇の動きを検出することにより、発言者の検出精度を向上させることもできる。例えば、当出願人により出力された特開平6-43897公報には、音声データから抽出された音声特徴と、映像データより抽出された顔面の動的視覚特徴とを用いて、会話を認識するシステムが開示されている。この動作により、音声データ中に発話以外の雑音が多く占められる場合でも、一層安定的に発言者の位置又は方向を検出することが可能となる。
【０１２７】
以上で説明した動き検出部40の機能は、広角カメラ200の内部に実装してもよいし、またサーバ300におけるCPU 301により実現させても構わない。後者の場合、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１２８】
６．２．２ 映像選択部
本実施の形態６における映像選択部39は、前記特定部36により特定された対応関係と、前記動き検出部40により検出された被写体の動きの特徴量とを用いて、記録すべき部分映像を自動的に選択するものである。映像選択部39は、まず該被写体の動きの特徴量に基づき、広角の映像データにおいて最も大きな動きが検出された画像位置を特定する。次に、特定された画像位置と、前記特定部36により特定された広角カメラ200と各カメラ401との対応関係とに基づき、前述の実施の形態４において説明したのと同様の手順により、該位置に対し最も近くに配置されたカメラ401を選択する。これにより、最も大きな動きが検出された被写体を撮影した部分映像を自動的に選択することができる。
【０１２９】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３０】
７．実施の形態７
また、前記上述の実施の形態６においては、広角の映像において被写体の動きを検出したが、前記カメラアレイ400により取得された各々の部分映像データにおいて、被写体の動きを検出してもよい。
7.1 構成
本発明の実施の形態７の構成は、前述の実施の形態１乃至３と同様に、図２乃至図７に示される。
【０１３１】
７．２ 動作
図３５は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図３４に示された実施の形態６のブロック図において、変形部33の代わりに第2撮像部32が出力する映像データが動き検出部40に入力され、また特定部36から映像選択部39への接続を削除したものである。以下において、図３５に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、エンコード部34、及び記録部35の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１３２】
７．２．１ 動き検出部
本実施の形態における動き検出部40は、各々の部分映像データにおける被写体の動きを検出し、各部分映像データにおける動きの特徴量を出力するものである。ここで、「動きの特徴量」は、上述の実施の形態６と同様に、被写体の動きの大小を指すものとする。また、各々の部分映像データにおける被写体の動きも、上述の実施の形態６で説明した周知技術により検出する。
【０１３３】
また、本実施の形態に係る映像記録システムが、遠隔会議システムとして使用される場合、部分映像における参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。この動作も、上述の実施の形態６で説明した周知技術により実現可能である。また、本実施の形態では、カメラ401により各参加者の顔が大きく撮影されるので、上述の実施の形態６に比較して、より安定的に参加者の唇の動きを検出することができる。
【０１３４】
以上で説明した動き検出部40の機能は、カメラ401の内部に実装してもよいし、またサーバ300におけるCPU 301により実現させても構わない。後者の場合、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３５】
７．２．２ 映像選択部
本実施の形態における前記映像選択部39は、前記動き検出部40により検出された、部分映像における被写体の動きに基づき、記録すべき部分映像を自動的に選択するものである。具体的には、各々の部分映像における被写体の動きの特徴量から、最も大きな動きが検出された部分映像を特定し、これを記録すべき部分映像として自動的に選択する。ここで、本実施の形態は、特定部36を必ずしも必要としないので、上述の実施の形態６に比較して、より簡単な構成・処理で適切な部分映像を選択することができる。
【０１３６】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３７】
７．３ その他
なお、上述の実施の形態６又は本実施の形態においては、カメラアレイ400を構成する各々のカメラ401が、他のカメラと一部共通する撮影領域を含むと好適である。 図３６(a)は、各々のカメラが互いに共通する撮影領域を含まない場合における映像表示端末の画面を示す図である。図３６に示すように、参加者Aが席を立って移動している時、前記映像選択部39は、該参加者Aに最も近い撮影領域を含む部分映像（図中、黒色のバー605で示されたもの）を自動的に選択する。しかし、該参加者Aがいずれのカメラ401においても撮影されない場所に移動した場合には、重要な被写体が何も写されていない部分映像が選択されてしまう。このように、移動中の被写体を連続的に追跡して映した部分映像を記録できないという問題が生ずる。
【０１３８】
そこで、 図３６(b)に示すように、各々のカメラが互いに共通する撮影領域を含むよう配置すれば、この問題を解決することができる。図中、斜線で示されたバーは、2つ以上のカメラ401で重複して撮影されている範囲を示す。図６のように、カメラアレイ400を、各々のカメラ401を筐体402に固定して構成する場合には、互いの撮影範囲が一部重複するように各々のカメラ401を固定するとよい。
【０１３９】
８． 実施の形態８
なお、本発明に係る映像記録システム100は、PCによりその機能を実現させることができる。この場合は上記各部を実現するソフトウェアをハードディスクに格納し、適宜処理プログラムを実行させることによりその機能を実現させることができる。
【０１４０】
９．実施の形態９
また、上記プログラムを、CD-ROMのような記録媒体に格納することができる。図３７に示されるように、該プログラムを格納したCD-ROM 308をPCに装着し、適宜該プログラムを実行させることによりその機能を実現させることができる。なお、該プログラムを格納する記録媒体としては、上記CD-ROM 308に限られず、例えばDVD-ROM等の別の媒体であってもよいことはいうまでもない。
【０１４１】
以上の各実施の形態は、本発明のほんの一例を説明したにすぎず、本発明の権利範囲を上記実施の形態の通りに限定・縮小すべきではない。例えば、各実施の形態において、広角カメラ200、カメラアレイ400、及びマイクアレイ500が、USBハブに接続されるという構成例を用いて説明したが、これらの接続形態は上記説明に限定されるものではない。例えば、PCIバス、IEEE 1394、Bluetoothなどの別のインターフェースを使用しても構わない。
【０１４２】
また、広角カメラ200に使用されるミラー211として、双曲面ミラー及び一方向に曲率をもった曲面ミラーを実施の形態に挙げたが、放物面ミラーや円錐ミラーなど、上記以外の形態であってもかまわない。
【０１４３】
また、第1撮像部31の説明において、広角カメラ200においてデジタル化された映像データを出力すると説明したが、広角カメラ200がアナログの映像信号を出力するものであっても構わない。この場合、該広角カメラ200と、アナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の映像データを出力することができる。すなわち、上記実施の形態で説明した第1撮像部31と同様の動作を実現することができる。
【０１４４】
また、第2撮像部32の説明において、カメラアレイ400を構成する各々のカメラ401においてデジタル化された部分映像データを出力すると説明したが、これらのカメラ401がそれぞれアナログの映像信号を出力するものであっても構わない。この場合、これらのカメラ401と、多チャンネルのアナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の部分映像データを出力することができる。すなわち、上記実施の形態で説明した第2撮像部32と同様の動作を実現することができる。
【０１４５】
また、音声取得部37の説明において、マイクアレイ500を構成する各々のマイクロフォン501においてデジタル化された音声データを出力すると説明したが、これらのマイクロフォン501がそれぞれアナログの音声信号を出力するものであっても構わない。この場合、これらのマイクロフォン501と、多チャンネルのアナログ音声信号に対してデジタル化処理を施すオーディオキャプチャボードとを組み合わせることにより、デジタル形式の音声データを出力することができる。すなわち、上記実施の形態で説明した音声取得部37と同様の動作を実現することができる。
【０１４６】
また、エンコード部34及び記録部35が同一のサーバ300に実装されると説明したが、サーバ300とは別個にエンコード用PCを設置しても構わない。この場合、エンコードされたデータは、電気通信回線を経由して、該エンコード用PCからサーバ300に転送される。
【０１４７】
また、エンコード部34の動作説明においては、サーバ300内のCPU 301によりMPEGエンコード処理を行うと説明したが、エンコード部34の構成はこれに限定されない。例えば、MPEGエンコードICを内蔵したビデオキャプチャボードを用いて、映像データをMPEG形式に変換しても構わない。音声データに関しても同様である。
【０１４８】
また、動き検出部40の動作の説明において、「動きの特徴量」は被写体の動きの大小を指すと述べたが、例えば被写体の移動軌跡の形状など、別のものであっても構わない。
【０１４９】
【発明の効果】
本発明によれば、広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【０１５０】
更に、本発明によれば、第1撮像部31により取得された広角の映像と、第2撮像部32により取得された各々の部分映像との対応関係を特定する特定部36を備えることにより、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【図面の簡単な説明】
【図１】本発明に係る映像記録システムの使用例を示す図である。
【図２】実施の形態１に係る映像記録システムの構成を示す図である。
【図３】実施の形態１に係る広角カメラ２００の構成を示す図である。
【図４】実施の形態１に係る広角カメラ２００の構造を示す図である。
【図５】図４に示された広角カメラ２００により撮影される映像を示す図である。
【図６】実施の形態１に係るカメラアレイ４００の一例を示す図である。
【図７】実施の形態１に係るサーバ３００の構成を示す図である。
【図８】実施の形態１に係る動作を示すブロック図である。
【図９】実施の形態１における変形部３３の動作を説明する図である。
【図１０】変形部３３における原理を説明する図である。
【図１１】変形部３３で使用される座標変換テーブルを説明する図である。
【図１２】実施の形態２に係る広角カメラ２００の構成を示す図である。
【図１３】図１２に示された広角カメラ２００により撮影される映像を示す図である。
【図１４】実施の形態２における変形部３３の動作を映像表示と同時に実現する例を示す図である。
【図１５】実施の形態３に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図１６】実施の形態３に係る動作を示すブロック図である。
【図１７】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図１８】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図１９】実施の形態３に係るサーバ300の表示画面の一例を示す図である。
【図２０】実施の形態４に係る映像記録システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図２１】実施の形態４に係る映像記録システムの構成を示す図である。
【図２２】実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図である。
【図２３】実施の形態４に係る動作を示すブロック図である。
【図２４】実施の形態４における音源検出部３８の動作原理を説明する図である。
【図２５】実施の形態４における音源検出部３８の問題を説明する図である。
【図２６】実施の形態４におけるマイクロフォン５０１の配置例を説明する図である。
【図２７】実施の形態４におけるマイクロフォン５０１の別の配置例を説明する図である。
【図２８】実施の形態４における音源検出部３８の動作を説明する図である。
【図２９】実施の形態４における音源検出部３８の動作を説明する図である。
【図３０】実施の形態４における映像選択部３９の動作を説明する図である。
【図３１】実施の形態４における映像選択部３９が出力するデータを説明する図である。
【図３２】実施の形態５におけるカメラ４０１の構成を示す図である。
【図３３】実施の形態５に係る動作を示すブロック図である。
【図３４】実施の形態６に係る動作を示すブロック図である。
【図３５】実施の形態７に係る動作を示すブロック図である。
【図３６】実施の形態６及び７に係る映像配信システムを使用した場合の問題を示す図である。
【図３７】実施の形態９に係る構成例を示す図である。
【符号の説明】
１ テーブル
２ 参加者
３ キャビネット
３１ 第１撮像部
３２ 第２撮像部
３３ 変形部
３４ エンコード部
３５ 記録部
３６ 特定部
３７ 音声取得部
３８ 音源検出部
３９ 映像選択部
４０ 動き検出部
２００ 広角カメラ
２１１ ミラー
２１２ レンズ
２１３ 絞り
２１４ 撮像素子
２１５ 駆動部
２１６ 前処理回路
２１７ モータ駆動部
３００ サーバ
３１０ バス
３２０ ＵＳＢハブ
３３０ インターネット
３５０ クライアントＰＣ
４００ カメラアレイ
４０１−１から４０１−４ カメラ
５００ マイクアレイ
５０１ マイクロフォン
６００ 表示用ウィンドウ
【発明の属する技術分野】
本発明は、広角の視野を有する撮像手段を用いて取得された広範囲のシーンの映像を記録するシステムに関するものである。具体的には監視システム、遠隔会議システム、遠隔教育システム等の用途に使用される。
【０００２】
【従来の技術】
電気通信技術の発展により、会議の様子を撮影し、取得された画像を遠隔地に伝送するテレビ会議システムが多くの企業・団体で活用されるようになった。かかるシステムの利便性をより向上させるべく、従来より会議の様子を映像として取り込むための装置及び話者のみを切り出した部分映像を伝送するためのシステムが数多く提案されている。例えば特開平5-122689号公報において、マイクから入力される音声を検出して話者を判定し、該判定結果に基づいてカメラ制御部においてカメラを自動制御し、話者を捉えるというテレビ会議システムが提案されている。しかし、話者を捉えるためにカメラを制御するのに時間がかかるという問題点がある。
【０００３】
この問題点を解決すべく、特開平11-331827号公報において、魚眼又は超広角レンズ及び可変指向性マイクロフォンを用いたテレビカメラ装置に関し、音源位置の方向を判定し、該音源位置方向を追尾し、音源位置方向の画像を切り出して映像信号を生成するという発明が公開されている。しかし、魚眼又は超広角レンズを用いた該テレビカメラ装置を机の上などに設置する場合、一般に天井などあまり重要でないものが視野の大半を占めるのに比べ、視野の周辺部に人間の顔などの重要な被写体が存在するという問題点がある。また、これらのレンズは設計及び製造にかかるコストが高価である。
【０００４】
一方、MPEG (Motion Picture Experts Group)に代表される近年の画像符号化技術の進化、ハードディスクドライブ (以下HDDと略す)の大容量化及びそのデータ転送速度の高速化に伴い、長時間の映像及び音声信号をパーソナルコンピュータ (以下PCと略す)に電子情報として記録することが技術的に可能となってきた。それと共に、会議などのシーンを映像に記録し、後で記録されたシーンを振り返ることへのニーズが高まっている。しかし、上記従来技術はいずれもテレビ会議システムを指向しており、装置により取得された映像から所望の部分のみを切り出した映像信号を実時間で伝送することにより、通常の会議と同様の臨場感の高い映像を実時間で生成及び伝送することに主眼が置かれたものであった。すなわち、取得された映像をPCに記録したり、後にPC上でその映像を閲覧するために便宜を図ったものではなかった。
【０００５】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、その第１の目的は、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することを可能とならしめる映像記録システム並びに該システムの各部の処理を実行させるためのプログラム及び記録媒体を提供しようとするものである。
【０００６】
また、本発明の第２の目的は、閲覧者に対し、高い解像度を持つ所望のシーンの映像を一層容易に選択可能とならしめる映像記録システムを提供しようとするものである。
【０００７】
また、本発明の第３の目的は、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・記録することを可能とならしめる映像記録システムを提供しようとするものである。
【０００８】
また、本発明の第４の目的は、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することを可能とならしめる映像記録システムを提供しようとするものである。
【０００９】
また、本発明の第５の目的は、更に所望のシーンの映像を高い解像度で漏れなく取得・記録することを可能とならしめる映像記録システムを提供しようとするものである。
【００１０】
【課題を解決するための手段】
広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【００１１】
請求項１に記載の発明は、映像記録システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記広角の映像及び前記第二の撮像手段により取得された映像の少なくとも一つ及び前記対応関係を記録する記録手段とを有する。
【００１２】
請求項１の発明により、広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【００１３】
請求項２に記載の発明は、映像記録システムであって、前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定する。
【００１４】
請求項３に記載の発明は、映像記録システムであって、前記特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定する。
【００１５】
請求項１、２及び、３に記載の発明により、第 1 撮像部 31 により取得された広角の映像と、第 2 撮像部 32 により取得された各々の部分映像との対応関係を特定する特定部 36 を備えることにより、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能になる。すなわち、第２の目的が達成される。
【００２６】
【発明の実施の形態】
まず、映像記録システムがどのように使用されるかの使用例について簡単に概説し、次に、映像記録システムの実施の形態を具体的に説明する。各実施の形態においては、それを構成する要素及びその動作を説明し、最後に処理の流れについて説明する。
【００２７】
先ず最初に映像配信システムの使用例について説明する。
【００２８】
図１は、本発明を会議場面に設置した使用例を概説する説明図である。映像記録システムは、広角の映像を取得する広角カメラ200と、通常の画角を持つ複数のカメラ401-1から401-4より構成されたカメラアレイ400と、会議中の音声を取得するマイクロフォン501と、広角カメラ200及びカメラアレイ400で取得された映像データ並びにマイクロフォン501により取得された音声データを取り込み、記録するためのサーバ300とを有する。
【００２９】
図１に示したように、広角カメラ200は、テーブル1に設置され、会議の参加者（話者）2-1から2-4のいる方向、例えば水平面を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ400を構成する各々のカメラ401-1から401-4は、例えばそれぞれ会議の参加者の前面に置かれ、各参加者の姿を撮影する。これらのカメラ401-1から401-4により取得される映像を、以後「部分映像」と呼ぶ。また、サーバ300はキャビネット3に格納され、広角カメラ200及びカメラアレイ400からの映像データ並びにマイクロフォン501により取得された音声データを取得し、取得された映像データ及び音声データをHDDに記録する。
【００３０】
以下の各実施の形態では、本発明の映像記録システムを、会議の撮影及びその映像の記録に適用した場合について説明する。
【００３１】
１．実施の形態１
先ず最初に、本発明の実施の形態１について説明する。
【００３２】
１．１ 構成
図２は、本発明の実施の形態１に係る映像記録システムの構成を示す図である。サーバ300には、ＵＳＢハブ320及びバス310を介して広角カメラ200と、カメラアレイ400とが接続され、広角の映像データ及びカメラアレイ400により取得された少なくとも1つの部分映像データが取得・記録される。サーバ300により記録された映像データは、サーバ300において表示される。また、該映像データは、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントPCにおいて表示される。
【００３３】
次に、上記各部の構成について説明する。
【００３４】
１．１．１ 広角カメラ
図３は、実施の形態１に係る、第一の撮像手段としての、広角カメラ２００の構成を示す図である。この第一の撮像手段としての、広角カメラ200は、所定形状の曲面を有するミラー211と、レンズ212と、絞り213と、CCD（Charge Coupled Device）等の撮像素子214と、上記撮像素子214のタイミング制御、並びに上記撮像素子214により得られた映像信号に対してアナログ−デジタル変換等のデジタル化処理を行う駆動部215と、前記駆動部215により得られたデジタル信号に対してエッジ強調やγ補正等の前処理を行う前処理回路216と、アイリスを制御するために絞り213を駆動するモータ駆動部217とを備えている。
【００３５】
ミラー211は、光学系に入射する光を反射させることにより広角の撮影を可能とするためのものであり、ここでは所定形状の曲面有するミラーとして、双曲面ミラーを使用する。図４は、本実施の形態の双曲面ミラー211を用いた場合の光路を説明する図である。また図５は、本実施の形態の双曲面ミラー211により撮像素子214の表面に結像される広角画像の様子を示した図である。図５に示すように、双曲面ミラー211から反射されて撮像素子214に取り込まれる画像はドーナツ形状となっている（このドーナッツ形状の映像を以後「ドーナッツ映像」と呼ぶ）。該ドーナッツ映像は、前記撮像素子214において結像され、さらに前記駆動部215においてデジタル化され、前処理回路216を介して後述するサーバ300に送出される。なお、図４の中の中心部は、撮像素子214の方向を映し出し、これは重要でない画像情報である。したがって、双曲面ミラー211の頭頂部218を黒く塗りつぶして、黒色情報としてもよい。なお、使用の態様によっては、頭頂部218に基準線を描画し、広角カメラ200の立ち上げの際、モータ駆動部217を駆動することにより、ピント調整などの初期設定に利用してもよい。
【００３６】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００３７】
１．１．２ カメラアレイ
カメラアレイ400は少なくとも1つのカメラより構成され、各々のカメラは、前記広角カメラ200の撮影範囲の一部のシーンを、より高い解像度で撮影する。カメラアレイ400を構成するカメラ401は、図１のようにバラバラに配置されても、図６のように各々のカメラ401-1から401-3を筐体402に固定して配置したものであっても構わない。カメラ401に使用される撮像素子は、CCD、CMOS (Complementary Metal-Oxide Semiconductor)型など様々な種類のものを使用することができる。該撮像素子において結像された映像信号は、カメラ内部でデジタル化された後、後述するサーバ300に送出される。
【００３８】
上記の構成を有するカメラ401を少なくとも1つ用意することにより、安価かつ簡素な構成で解像度の高い部分映像を取得することができる。
【００３９】
１．１．３ サーバ
図７は、本実施の形態におけるサーバ300の構成例を示した図である。すなわち、映像記録システム100における各種の制御及び処理を行うCPU (Central Processing Unit) 301と、SDRAM (Synchronous Dynamic Random Access Memory) 302と、HDD (Hard Disk Drive) 303と、マウス３１１等のポインティングデバイス、キーボード３１２等の各種入力インターフェース（以下I/Fと略す）304と、電源305と、CRT (Cathode Ray Tube)等のディスプレイとを接続するための表示I/F 306と、前記広角カメラ200や前記カメラアレイ400などの外部機器を接続するための外部I/F 307と、DVD (Digital Versatile Disc)＋RWドライブ等の大容量記録装置308とを、バス３１３を介して接続することにより構成される。
【００４０】
次 に、サーバ300の各構成部について説明する。CPU 301は、HDD 303に格納された所定のプログラムにしたがって、広角カメラ200及びカメラアレイ400からの映像取得・記録などの各種処理及び制御を行う。SDRAM 302は、CPU 301の作業領域として利用されるとともに、HDD 303に格納された各処理プログラムや、Windows（登録商標） NT Server (米国Microsoft社の登録商標)などのOS (Operating System)の記憶領域として利用される。また、該HDD 303は、取得された映像の記録するための領域としても使用される。
【００４１】
外部I/F307の一例として各種I/Fボード、USB (Universal Serial Bus)、IEEE 1394、或いはIrDA、Bluetooth等の無線I/Fが挙げられる。前記広角の映像データ及び前記カメラアレイ400により取得される複数の部分映像データは、前記広角カメラ200及びカメラアレイ400をUSB2.0のような高速シリアルインターフェース経由でサーバ300に接続することにより、同期的に取得することが可能である。外部I/F 307を経由して取得されたデータは、HDD 303又は大容量記録装置308に記録される。
【００４２】
１．２ 動作
図８は、図２に示された本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図である。以下において、図８に示された各部の動作を具体的に説明する。
【００４３】
１．２．１ 第1撮像部
第1撮像部31は、上記の１．１．１に記載した広角カメラ200により構成され、取得され且つデジタル化された広角の映像データを出力する動作を行う。
【００４４】
１．２．２ 第２撮像部
第２撮像部32のは、上記の１．１．２に記載されたカメラアレイ400により構成され、取得され且つデジタル化された部分映像データを出力する動作を行う。
【００４５】
１．２．３ 変形部
図９は、実施の形態１における変形部３３の動作を説明する図である。変形部33は、第1撮像部31により取得された広角の映像データを、図１１に示すように、通常のカメラで捉えた透視変換像に近い映像 (以下パノラマ映像と呼ぶ)に変形するものである。一般に、広角の範囲を撮影可能なカメラによって得られる映像は、上述したように、人間の眼で確認できる像の形状と異なり、大きな歪みが含まれるために、後に閲覧するときの便宜を図るために変形処理を施すと好適である。以下、文献 (A.M.Bruckstein and T.J.Richardson: “Omniview Cameras with Curved Surface Mirrors”, Proc. of the IEEE Workshop on Omnidirectional Vision 2000, pp.79-84) に記載された方法を参考に、広角の映像データ（図６に示したドーナッツ映像を）をパノラマ映像に変形する方法を説明する。
【００４６】
図１０は、双曲面ミラーを使用したカメラにおける映像の変形原理を説明するための図である。また 図１２(a)は、変形部33の動作例を示すし、ドーナッツ映像を、横軸を方位角とし且つ縦軸を仰角とする円柱面に映されたパノラマ映像に座標変換する。また 図１０(b)は、広角カメラ200の幾何的構造を示す図であり、図１０（ｂ）の中のカメラの光学系は中心射影モデルである。ここで、図中の各変数の意味は、下記の通りである。
(u, v)：ドーナッツ映像における座標
(u0, v0)：ドーナッツ映像における双曲面ミラーの中心の座標
(θ, φ)：パノラマ映像における座標
r： (u0, v0)から(u, v)への画素単位の距離
rmax：ドーナッツ映像における双曲面ミラーの画素単位の半径
θ：方位角
φ：仰角
ψ：カメラの光軸からの頂角
F：双曲面ミラーの焦点
F’：双曲面ミラーと対をなす双曲面の焦点、カメラの光学中心に一致する。
【００４７】
このとき、頂角ψと仰角φとの間に、以下の関係が成立する。
【００４８】
【数１】
【００４９】
【数２】
以下、変形の手順を説明する。 (i) 点(u, v)に対応する極座標 (r, θ)を、次式を解くことにより求める。
【００５０】
【数３】
【００５１】
【数４】
【００５２】
【数５】
【００５３】
(iii) (4)式により算出されたψに対応する仰角φを、(1)式により求める。
【００５４】
以上の手順により、双曲面ミラーにより撮影されたドーナッツ映像における任意の点(u, v)を、パノラマ映像における点(θ, φ)に座標変換することができる。すなわち、ドーナッツ映像がパノラマ映像に変形される。
【００５５】
図１１は、変形部３３で使用される座標変換テーブルを説明する図である。撮影からパノラマ映像の記録を一時に行う場合、上記の変形処理に要する計算時間が問題となるため、図１１のように、上記の手順に基づいた座標変換テーブルを予め作成しておくと好適である。図１１の座標変換テーブルにおいては、各点(θ, φ)に対応するドーナッツ映像の座標(u, v)を格納しておく。
【００５６】
以上の変形処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303には該変形処理を施すための所定のプログラムを予め格納しておく。
【００５７】
１．２．４ エンコード部
図８のエンコード部34は、図８の前記第2撮像部32により取得された部分映像データの少なくとも一つと、前記変形部33により出力されたパノラマ映像データを、映像記録に適した形式にエンコードする。ここで、映像記録に適した形式は様々挙げられるが、MPEGに代表される動画符号化フォーマットなどの形式を使用する。エンコード部34は、映像データの取得が継続している限り常に映像をエンコードし続け、エンコードされたデータを連続して記録部35に送信する。
【００５８】
以上のエンコード処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303にMPEGエンコードプログラムを予めインストールしておく。
【００５９】
１．２．５ 記録部
記録部35は、前記エンコード部34によりエンコードされた少なくとも1つの部分映像データ及び前記第1撮像部31により取得された広角の映像データを記録する。
【００６０】
記録部35は、HDD 303によりその機能を実現することができる。なお、使用の態様によっては、大容量記録装置308によりその機能を実現してもよい。例えば、長時間の会議や、定例会議については、保存の必要性からDVD+RW等により構成される大容量記録装置308に記録し、短時間の会議など、長期の保存の必要性が低いものに関してはHDD 303に記録するなどの使い分けを行ってもよい。
【００６１】
２． 実施の形態２
また、一方向に曲率をもった曲面ミラーを、広角カメラ200に使用することもできる。
【００６２】
２．１ 構成
実施の形態２の構成は、上述の実施の形態１と同様に、図４に示されている。
【００６３】
以下、本実施の形態における広角カメラ200の構成について説明する。なお、サーバ300及びカメラアレイ400の構成も、実施の形態１で説明した通りであるので、説明を省略する。
【００６４】
２．１．１ 広角カメラ
図１２は、本実施の形態における広角カメラ200の構成を示した図である。図１２に示すように、広角カメラ200は、通常の画角を有するカメラ219と一方向に曲率をもったミラー211とにより構成されており、全方位を撮影することはできないが広い範囲のシーンを撮影することができる。図１３は、該ミラー211を使用したときのカメラ219に映される広角画像の様子を示した図であり、カメラ219の背後のシーンを撮影することができる。図１３に示したように、取り込まれる画像は、入射光の水平方向の角度と、撮影される画像の位置の横方向の座標が比例した状態で、横方向に圧縮された形状となっている。また、カメラ219自身の画像への写り込みを低減するように改良することも可能である。
【００６５】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００６６】
２．２ 動作
本実施の形態における機能別のブロック図は、上述の実施の形態１と同様に、図９に示されている。以下において、図９に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、及び記録部35の動作は、上述の実施の形態１と同様であるので、説明を省略する。
【００６７】
２．２．１ 変形部
本発明の実施の形態２においては、広角カメラ200により取得された映像データを、横方向に一様に引き伸ばすだけでパノラマ映像を得ることが可能である。双曲面ミラーを使用した場合と同様に、図１１のような座標変換テーブルを作成し、パノラマ映像の各点に対応する変形前の映像の座標(u, v)を格納するようにすればよい。
【００６８】
また、この広角カメラ200を使用した場合、映像記録システム100に変形部33を設けなくとも、映像を表示するクライアント側でパノラマ映像を生成・表示することが可能である。今、横 (水平)方向の撮影範囲が180度、縦 (鉛直)方向の撮影範囲が60度であり、サイズが352×240画素の映像が、該広角カメラ200により取得されているとする。この場合、横方向の長さを3倍、すなわち1056画素に引き伸ばすことによりパノラマ映像を得ることができる。また、サーバ300のマシン名を”vidserv”、映像記録システムから配信される広角の映像データ名を”movie.rm” (後述するRealVideoというデータ形式)、及び映像表示端末とサーバ300との通信に使用されるプロトコルをRTSP (Real Time Streaming Protocol)とする。このとき、該引き伸ばし処理を実行する処理は、図１４に示すように、W3C (World Wide Web Consortium)によって勧告されたSMIL (Synchronized Multimedia Integrated Language)を用いて記述することができる。図１４に示すように、<region>タグにおいて指定された表示領域の大きさと、関連付けられる映像データ”movie.rm”の画像サイズが異なる場合、fit属性を"fill"と指定することにより、表示領域のサイズに合わせて、映像データが拡大縮小表示される。すなわち、fit属性値を上記のように指定した状態で、映像データに対して所望の拡大率を有する表示領域を指定することにより、パノラマ映像を表示することができる。以上の変形処理は、クライアントが持つ映像表示端末において、映像の表示と同時に実行される。これにより、映像記録時にサーバ300が変形処理を実行する必要がないので、小さい処理コストで広角の映像データを記録することが可能となる。
【００６９】
２．２．２ エンコード部
エンコード部34の動作は、上述の実施の形態１と同様であり、前記第2撮像部32により取得された部分映像データの少なくとも一つ及び前記変形部33により出力されたパノラマ映像データを、それぞれ映像記録に適した形式にエンコードする。
【００７０】
なお、変形部33が存在しない場合、エンコード部34は、前記変形部33により変形された広角の映像データの代わりに、前記第1撮像部31により取得された広角の映像データをエンコードする。
【００７１】
３．実施の形態３
本発明の実施の形態３は、前記広角カメラ200により取得された広角の映像データと、前記カメラアレイ400により取得された各々の部分映像データとの対応関係を特定する映像記録システムに関するものである。ここでいう「対応関係」の例として、以下のものが挙げられる。
・広角カメラ200とカメラアレイ400を構成する各々のカメラ401との位置関係
・広角の映像データと各々の部分映像データとの位置関係
上記の対応関係が不明である場合、映像を再生する時に、部分映像の切り替えを要求しても、所望の部分映像データが表示される保証はない。この問題を解消するために、映像選択ボタン603の左向き矢印ボタンを順に押すと、再生される部分映像データが半時計回りに切り替わるように、カメラアレイ400を設置するなどの対策が考えられる。しかし、部分映像の切り替え順序と、カメラの配置順序を対応させなくてはならないため、映像記録システム100の設置作業が面倒になるという問題点がある。
【００７２】
図１５は、クライアントが持つ映像表示端末において、上記の対応関係を利用した表示画面の一例を示す図である。図において、広角の映像602の下側にバー604が設置され、現在表示されている部分映像601に対応する撮影範囲が、黒色のバー605で示されている。また、現在表示されている部分映像601以外の部分映像の撮影範囲が、それぞれ灰色のバー606で示されている。ここで、クライアントは、マウス (図示せず)を操作することによりカーソル607を動かし、所定の部分映像を示す灰色のバー606の上をクリックすると、サーバ300に対して配信要求する部分映像の選択情報が送信され、サーバ300を介して送られるカメラアレイ400からの部分映像601が、該当する部分映像に切り替えられる。このように、上記の対応関係が特定されることにより、映像記録システム100の設置作業が楽になる。また、クライアントは一層容易に所望の映像を選択することができると共に、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００７３】
本発明の実施の形態３は、このような動作を実現するための映像記録システムに関するものである。
【００７４】
３．１ 構成
前述の実施の形態１と同様に、本発明の実施の形態３の構成は、図２乃至図７に示されている。
【００７５】
３．２ 動作
図１６は、本発明の実施の形態３に係る映像記録システムを、機能別のブロックで示した図であり、図８に示された前述の実施の形態１のブロック図に更に加えて、特定部36を追加したものである。以下において、図１８に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、及びエンコード部34の動作は、前述の実施の形態１と同様であるので、説明を省略する。
【００７６】
３．２．１ 特定部
特定部36は、前記広角カメラ200により取得された広角の映像データと、前記カメラアレイ400により取得された各々の部分映像データとの対応関係を特定する動作を行う。この動作を、以下に説明する。
(1) カメラアレイ400を構成する各カメラ401に付された識別子を利用する方法
図１７は、特定部36の別の動作例を示す図である。 図１７(a)に示すように、カメラアレイ400を構成する各カメラ401に識別子403を付し、該カメラ401を前記広角カメラ200で捕捉できる位置にそれぞれ配置する。この状態で、前記広角カメラ200により取得される映像データは、 図１７(b)のようになる。この映像データにおいて、前記識別子403が映されている画像座標を検出することにより、広角カメラ200と各々のカメラ401との位置関係を特定することができる。ここで、前記識別子403には、
・算用数字を付したシール、
・バーコード、
・カラーコード、
・2次元バーコード、
などを使用することが可能であり、これらの識別子を映像データから読み取る動作は、パターン認識の分野で既に周知技術となっている。
(2) 広角カメラ200及びカメラアレイ400により取得された映像データを利用する方法
図１８は、特定部36の別の動作例を示す図である。本動作例においては、広角の映像データと各々の部分映像データとの類似度が高い部分を検出する。
【００７７】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を説明する。まず、 図１８(a)のように、カメラアレイ400により取得される各々の部分映像より、( 2DX + 1 )×( 2DY + 1 )の大きさのテンプレート608を生成する。次に、 図１８(b)のように、該テンプレート608を広角の映像602上で移動させ、テンプレート608と広角の映像602における点(m,
n)との正規化相互相関値Sを、次式に基づき計算する。
【００７８】
【数６】
・I1(x, y)：テンプレート上の点(x, y)における濃度
・I2(x, y)：広角の映像上の点(x, y)における濃度
以上の計算に基づき、正規化相互相関値Sが最大となる広角の映像602における点(m, n)を求め、該点の位置に対応するカメラ401を特定すればよい。以上の動作を、全ての部分映像に対して実行することにより、広角カメラ200と各々のカメラ401との位置関係を特定することができる。
【００７９】
なお、濃度の相互相関に基づいて、映像の類似度を求めると述べたが、これはあくまでも一例である。映像の色空間や輪郭など、別の特徴に基づいて映像の類似度を求めても構わない。
(3) 手動で特定する方法
図１９は、本実施の形態３におけるサーバ300の表示画面を示す図である。この表示画面は、映像記録システム100を起動し、映像の記録を開始する直前に出現する。その後ユーザは、まず映像選択ボタン603を操作することにより、表示される部分映像601を切り替える。すると、現在表示されている部分映像601と広角の映像602との位置関係を手動入力するよう促すメッセージ609が、該表示画面において提示される。この時ユーザは、マウス (図示せず)を操作してカーソル607を動かし、広角の映像602の上の所定の点をクリックすることにより、該位置関係を手動入力する。手動入力が完了すると、広角の映像602において、その部分映像601に対応する位置に十字形状のポインタ610が付される。以上の動作を、全ての部分映像に対して実行することにより、広角の映像602と各々の部分映像301との位置関係を特定することができる。
【００８０】
この方法は、映像記録の開始から終了に至るまで、広角カメラ200及びカメラアレイ400の配置位置が不変である場合に、特に大きな効果を奏する。これに対して、上記(1)乃至(2)の方法は、途中でカメラ401の配置位置を変更しても有効である。
【００８１】
以上の処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303には該特定処理を施すための所定のプログラムを予め格納しておく。
【００８２】
３．２．２ 記録部
記録部35は、前記エンコード部34によりエンコードされた広角の映像データ及び少なくとも一つの部分映像データを記録する。このとき、映像データのみならず、前記特定部36が特定した対応関係を併せて記録すると、映像表示端末において、図１７に示されている表示画面を提示することが可能となるので好適である。映像記録の動作については、前述の実施の形態１と同様である。
【００８３】
４．実施の形態４
本発明の実施の形態４は、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものである。
【００８４】
実施の形態１乃至実施の形態３は、後に映像を再生する際に、クライアントが配信を要求する部分映像を選択するためのものであった。しかし、部分映像を毎回手動で選択するのは面倒である。
【００８５】
図２０は、クライアントが持つ映像表示端末において、表示される部分映像601が自動的に選択される表示画面を示す図である。図のように、「AUTO」と書かれたチェックボックス611をチェックすると、部分映像601を自動的に選択して配信するモードに切り替えられる。これに対し、サーバ300は、発言者などの重要なシーンが映された部分映像を自動的に選択して、広角の映像と共にクライアントに配信する。これにより、クライアントは面倒な操作無しに、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００８６】
本実施の形態４は、このような動作を実現するための映像記録システムに関するものである。
【００８７】
４．１ 構成
図２１に本発明の実施の形態４に係る映像記録システムの構成を示す図である。サーバ300には広角カメラ200と、カメラアレイ400と、マイクアレイ500とが接続され、広角の映像データ及び複数の部分映像データ及び複数の音声データが取得・記録される。サーバ300により記録された映像データ及び音声データは、サーバ300において表示・再生される。また、該映像データ及び該音声データは、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントPCにおいて表示・再生される。
【００８８】
次に、上記各部の構成について説明する。なお、広角カメラ200、カメラアレイ400、及びサーバ300の構成は、実施の形態１と同様であるので、説明を省略する。
【００８９】
４．１．１ マイクアレイ
マイクアレイ500は、少なくとも2つのマイクロフォン501-1、501-2より構成される。使用されるマイクロフォン501-1、501-2は、圧電型、容量型 (いわゆるコンデンサマイクロフォン)など様々な種類のものを使用することができる。各々のマイクロフォン501-1、501-2は、カメラ401と同様に、別々に離れて配置されたものであっても、各々のマイクロフォン501-1、501-2を共通の筐体に固定して配置したものであっても構わない。図２２は、実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図であり、このように、広角カメラ200とマイクアレイ500とを1つの筐体に一体化してもよい。図２２示したように、広角カメラ200を構成するカメラ部201の撮像素子214と、マイクアレイ500を構成するマイクロフォン501-1、501-2とは、台座202に配置されている。
【００９０】
該マイクロフォン501-1、501-2において取得された音声信号は、マイクロフォン内部でデジタル化された後、サーバ300に送出される。カメラアレイ400と同様に、マイクアレイ500をサーバ300の外部I/F 307、具体的にはUSB2.0のような高速シリアルインターフェースを経由して接続することにより、部分映像と音声とを同期的に取得することが可能である。
【００９１】
４．２ 動作
図２３は、本実施の形態４に係る映像記録システムの、機能別のブロックを示す図である。図１６に示された実施の形態３のブロック図に加えて、音声取得部37、音源検出部38、及び映像選択部39を追加したものである。以下において、図２３に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、及び特定部36の動作は、前述の実施の形態と同様であるので、説明を省略する。
【００９２】
４．２．１ 音声取得部
音声取得部37の構成・動作は、前述の４．１．１に記載されたカメラアレイ400により取得され、デジタル化された音声データを出力するものである。
【００９３】
４．２．２ 音源検出部
音源検出部38は、前記音声取得部37により取得された音声データに基づき、発言者のいる位置又は方向を検出するものである。その動作例を、以下において説明する。
(1) マイクアレイ500に入力される音声の到達時間差による方法
本方法は、複数のマイクロフォン501が、ある筐体の既知の位置に固定された場合に有効である。図２４は、本発明の実施の形態４の音源検出部38の動作原理を説明するための図である。図２４に示すように、2つのマイクロフォン501-1、501-2（それぞれマイク1、マイク2と便宜的に称することとする）が間隔lだけ離れて並んでおり、音声がθ方向から入射する場合、マイク1が出力する音声データs1(t)と、マイク1が出力する音声データs1(t)との関係は、
【００９４】
【数７】
となり、マイク1の音声データがマイク2の音声データに対して
【００９５】
【外１】
【００９６】
まず、マイク1とマイク2の音声データの到達時間差を検出する。この到達時間差は、例えばマイク1の音声データs1(t)とマイク2の音声データs2(t+dt)との相互相関値により計算される。ここで、相互相関値C (t, dt)は、次式により算出される。
【００９７】
【数８】
【００９８】
次に、マイクの間隔l、到達時間差dt及び音速vを用いて、音声とマイクロフォンの基線とがなす角θを計算する。
【００９９】
【数９】
【０１００】
なお、以上の手順のみでは、マイクロフォン501-1、501-2の前側の180°の範囲しか方向が検出されず、音源方向が特定されない。すなわち、音源検出部38が出力する角度θは、実際には音声の到達方向と2つのマイク間の基線とがなす角度であり、実際の音声の方向は図２５に示すように、2つのマイクの中点を頂点とする頂角θの円錐の側面上のいずれかに存在している。
【０１０１】
この問題を解消するために、マイク1とマイク2より構成される組と平行でない別のマイクロフォンの組を用いて補正を行う。図２６は、4つのマイクロフォン501-1、501-2、501-3、501-4を2組に分けて音源方向を検出する場合の組分けの様子を示した説明図である。図２６示したように、組分けは、あるマイクロフォン501-1と501-3（例えばマイク1（マイク3））と、そのマイクロフォンと最も距離の離れたマイクロフォン501-2と501-4（マイク2（マイク4））とを組み合わせる。
【０１０２】
最も距離の離れた2つのマイクの組を用いることで、音声の到達時間差が最大となり、方向検知の精度が向上する。なお、ここでは、マイクアレイ500には4つのマイクロフォン501-1、501-2、501-3、501-4が備わっているが、3つのマイクロフォンによっても、音源方向を精度良く検出できる。図２７は、3つのマイクロフォン501-1、501-2、501-3によってマイクアレイ500が構成される場合のマイクロフォンの組の採り方を説明する説明図である。図２７に示したように、マイクロフォンを正三角形に配置することにより、どのマイクの組を採用しても、精度良く音源方向を検出することができるようになる。なお、図２７に示した例では、第1の組と第2の組を採用して全方向の音源を検出できるが、補完的に第3の組を使用してもよい。
(2) 指向性マイクアレイによる方法
また、限られた範囲の音声のみを入力可能な指向性マイクロフォンを利用することにより、発言者の方向を検出することも可能である。図２８は、本実施の形態４におけるマイクアレイ500と音源方向との関係を説明する説明図である。このマイクアレイ500は、指向性を有するマイクロフォン501を4つ有し、その音声の強度に基づいて音源方向を決定する。便宜的に4つのマイクロフォン501-1、501-2、501-3、501-4をマイク1〜4とする。
【０１０３】
今、音声強度がマイク1で20 、マイク2で30、マイク3で20，マイク4で5という数値であったとする。この場合はマイク2 の方向に音源があると判断する。マイク1とマイク3の強度を比較するといずれも同じ値20であるので、最終的に音源方向はマイク2の方向（図でθ＝45°と示した方向）と決定する
図２９において、実施の形態４における音源検出部３８の動作の別の例を説明する図である。音声強度がマイク1で15、マイク2で30、マイク3で25、マイク4で5であったとする。この場合はマイク2の方向に音源があると初期判断する。マイク1とマイク3の強度を比較すると、マイク3の強度がマイク1より大きいので、音源方向をマイク2方向からマイク3 方向に若干量移動させた方向（図でθ＝30°と示した方向）と決定する。この方向の移動量は指向性マイクの特性にしたがって予め決定しておけばよい。
【０１０４】
以上で説明した音源検出部38の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムが予め格納されている。
【０１０５】
４．２．３ 映像選択部
映像選択部39は、前記特定部36により特定された対応関係と、前記音源検出部38により検出された発言者の位置又は方向とを用いて、記録すべき部分映像を自動的に選択するものである。
【０１０６】
図３０は、実施の形態４における映像選択部39の動作の一例を示す図であり、A〜Fの6人の参加者2がテーブル1を囲んで会議を開いている様子を上から眺めたものである。テーブル1の上には、広角カメラ200及びマイクアレイ500が設置されており、また参加者毎にカメラ401（図示せず）が1台設置されている。今、音源検出部38が検出した音源の方向が、図における矢印381のようであったとする。このとき、映像選択部39は、該音源の方向と、前記特定部36により特定された広角カメラ200と各カメラ401との対応関係に基づき、該音源の方向に対し最も近くに配置されたカメラ401を選択する。すなわち、図においては、参加者Eを撮影しているカメラ401を選択する。
【０１０７】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実現させることができる。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１０８】
４．２．４ エンコード部
エンコード部34の動作は、前記映像選択部39により選択された部分映像データ及び前記変形部33により出力されたパノラマ映像データを、それぞれ映像記録に適した形式にエンコードする。映像記録に適した形式は様々挙げられるが、例えば映像データに関しては、MPEGに代表される動画符号化フォーマットなどの形式でエンコードする。また、映像データのみならず音声データをもエンコードしても良く、音声データに関してはMPEGオーディオフォーマットなどの形式でエンコードする。
【０１０９】
この他、MPEGプログラムストリームのように、映像データと音声データを1 つのファイルに収めて記録してもよい。このファイル形式を用いることで、後段の記録部35において記録されるファイルの数が少なくなるので、記録されたファイルの管理を一層容易にすることができる。
エンコード部34は、映像データの取得が継続している限り常に映像をエンコードし続け、エンコードされたデータを連続して記録部35に送信する。
【０１１０】
以上のエンコード処理は、前記サーバ300内の前記CPU 301により実行される。このとき、前記HDD 303にMPEGエンコードプログラムを予めインストールしておく。
【０１１１】
４．２．５ 記録部
記録部35は、前記エンコード部34によりエンコードされた少なくとも1つの部分映像データ及び前記第1撮像部31により取得された広角の映像データを記録する。このとき、映像データのみならず、前記特定部36が特定した対応関係及び前記映像選択部39が選択した部分映像データに関する情報を併せて記録すると好適である。
【０１１２】
ここで、選択された部分映像データに関する情報を記録する動作例を説明する。図３１は、部分映像データに関する情報の記録例を示した図である。図３１には、選択された部分映像が変わった時刻 (Time)、新たなデータ名 (File)が記録されている。これらのデータは、テキストファイルなどの形式で、動画データや音声データと共にHDD 303に記録される。このように、選択された部分映像データが変わった時刻と、その時のデータ名とを随時記録しておくことによって、後に映像を再生する際に、適切な部分映像データの再生を行うことが可能となる。
【０１１３】
なお、MPEG-7のようなマルチメディア情報の内容記述標準を用いて、上記の部分映像データに関する情報を記しても良い。
【０１１４】
記録部35は、HDD 303によりその機能を実現することができる。なお、使用の態様によっては、大容量記録装置308によりその機能を実現してもよい。例えば、長時間の会議や、定例会議については、保存の必要性からDVD+RW等により構成される大容量記録装置308に記録し、短時間の会議など、長期の保存の必要性が低いものに関してはHDD 303に記録するなどの使い分けを行ってもよい。
【０１１５】
５． 実施の形態５
本発明の実施の形態５は、前述の実施の形態４と同様に、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものであり、カメラアレイ400を構成する各々のカメラ401と、マイクアレイ500を構成する各々のマイクロフォン501とを、1対1の対応関係となるよう構成したものである。ここでは「1対1の対応関係」を、「個々のカメラ401に対し、略一致する位置又は方角に配置されたマイクロフォン501が1つあること」と定義する。
【０１１６】
５．１ 構成
本実施の形態における映像記録システム100の構成は、前述の実施の形態４と同様に、図２１に示されている。
【０１１７】
次に、上図の各部の構成について説明する。なお、広角カメラ200及びサーバ300の構成は、前述の実施の形態１と同様であるので、説明を省略する。
【０１１８】
５．１．１ カメラアレイ及びマイクアレイ
図３２は、本発明の実施の形態５におけるカメラ401及びマイクロフォン501の外観を示す図である。図示したように、カメラ401とマイクロフォン501とは、共通の筐体502に一体化した構造となっている。また、マイクロフォン501は指向性を有し、限られた範囲の音声のみを入力可能である。この一体化されたカメラ401及びマイクロフォン501を、参加者につき1台設置する。
【０１１９】
５．２ 動作
図３３は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図２３に示された実施の形態４のブロック図から音源検出部38を削除し、また特定部36から映像選択部39への接続を削除したものである。第1撮像部31、第2撮像部32、変形部33、エンコード部34、記録部35、特定部36、及び音声取得部37の動作は、前述の実施の形態４と同様である。
【０１２０】
５．２．１ 映像選択部
前述の一体化されたカメラ401及びマイクロフォン501を使用することにより、各々のカメラ401とマイクロフォン501との対応関係が既知である。したがって、映像選択部39は、最も大きな信号振幅が得られたマイクロフォン501に対応するカメラ401により取得された部分映像を選択すると良い。
【０１２１】
６．実施の形態６
本実施の形態は、前記前述の実施の形態４乃至５と同様に、前記カメラアレイ400により取得された各々の部分映像データを自動的に選択する映像記録システムに関するものである。
【０１２２】
６．１ 構成
前述の実施の形態１乃至３と同様に、図２乃至図７に示される。
【０１２３】
６．２ 動作
図３４は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図１６に示された実施の形態３のブロック図に加えて、映像選択部39及び動き検出部40を追加したものである。以下において、図３４に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、エンコード部34、記録部35、及び特定部36の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１２４】
６．２．１ 動き検出部
動き検出部40は、広角の映像データにおける被写体の動きを検出し、映像中の各部位における動きの特徴量を出力するものである。ここで、「動きの特徴量」とは、被写体の動きの大小を指すものとする。
【０１２５】
動画における動きの検出は、前の時刻と現在の時刻のフレーム間の差分をとる方法、オプティカルフローによる方法などの周知技術により実現可能である。これらの技術により、広角の映像データにおいて、被写体が動いた位置及びその動きの大小を検出することができる。この動作によれば、本発明を遠隔監視システムとして使用する場合、動いている被写体を捉えたカメラからの部分映像が記録されるため、好適である。
【０１２６】
また、本実施の形態６に係る映像記録システムが、遠隔会議システムとして使用される場合、参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。唇の動きの検出は、例えば文献 (M.Kass, A.Witkin and D.Terzopoulos: “SNAKES: Active Contour Models”, ICCV, pp.259-268 (1987) )等の周知技術により実現できる。また、実施の形態４乃至５のように、マイクロフォン501が使用できる場合には、音声データに基づく発話区間の抽出結果と併せて唇の動きを検出することにより、発言者の検出精度を向上させることもできる。例えば、当出願人により出力された特開平6-43897公報には、音声データから抽出された音声特徴と、映像データより抽出された顔面の動的視覚特徴とを用いて、会話を認識するシステムが開示されている。この動作により、音声データ中に発話以外の雑音が多く占められる場合でも、一層安定的に発言者の位置又は方向を検出することが可能となる。
【０１２７】
以上で説明した動き検出部40の機能は、広角カメラ200の内部に実装してもよいし、またサーバ300におけるCPU 301により実現させても構わない。後者の場合、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１２８】
６．２．２ 映像選択部
本実施の形態６における映像選択部39は、前記特定部36により特定された対応関係と、前記動き検出部40により検出された被写体の動きの特徴量とを用いて、記録すべき部分映像を自動的に選択するものである。映像選択部39は、まず該被写体の動きの特徴量に基づき、広角の映像データにおいて最も大きな動きが検出された画像位置を特定する。次に、特定された画像位置と、前記特定部36により特定された広角カメラ200と各カメラ401との対応関係とに基づき、前述の実施の形態４において説明したのと同様の手順により、該位置に対し最も近くに配置されたカメラ401を選択する。これにより、最も大きな動きが検出された被写体を撮影した部分映像を自動的に選択することができる。
【０１２９】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３０】
７．実施の形態７
また、前記上述の実施の形態６においては、広角の映像において被写体の動きを検出したが、前記カメラアレイ400により取得された各々の部分映像データにおいて、被写体の動きを検出してもよい。
7.1 構成
本発明の実施の形態７の構成は、前述の実施の形態１乃至３と同様に、図２乃至図７に示される。
【０１３１】
７．２ 動作
図３５は、本実施の形態に係る映像記録システムを、機能別のブロック図に書き直した図であり、図３４に示された実施の形態６のブロック図において、変形部33の代わりに第2撮像部32が出力する映像データが動き検出部40に入力され、また特定部36から映像選択部39への接続を削除したものである。以下において、図３５に示された各部の動作を具体的に説明する。なお、第1撮像部31、第2撮像部32、変形部33、エンコード部34、及び記録部35の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１３２】
７．２．１ 動き検出部
本実施の形態における動き検出部40は、各々の部分映像データにおける被写体の動きを検出し、各部分映像データにおける動きの特徴量を出力するものである。ここで、「動きの特徴量」は、上述の実施の形態６と同様に、被写体の動きの大小を指すものとする。また、各々の部分映像データにおける被写体の動きも、上述の実施の形態６で説明した周知技術により検出する。
【０１３３】
また、本実施の形態に係る映像記録システムが、遠隔会議システムとして使用される場合、部分映像における参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。この動作も、上述の実施の形態６で説明した周知技術により実現可能である。また、本実施の形態では、カメラ401により各参加者の顔が大きく撮影されるので、上述の実施の形態６に比較して、より安定的に参加者の唇の動きを検出することができる。
【０１３４】
以上で説明した動き検出部40の機能は、カメラ401の内部に実装してもよいし、またサーバ300におけるCPU 301により実現させても構わない。後者の場合、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３５】
７．２．２ 映像選択部
本実施の形態における前記映像選択部39は、前記動き検出部40により検出された、部分映像における被写体の動きに基づき、記録すべき部分映像を自動的に選択するものである。具体的には、各々の部分映像における被写体の動きの特徴量から、最も大きな動きが検出された部分映像を特定し、これを記録すべき部分映像として自動的に選択する。ここで、本実施の形態は、特定部36を必ずしも必要としないので、上述の実施の形態６に比較して、より簡単な構成・処理で適切な部分映像を選択することができる。
【０１３６】
以上で説明した映像選択部39の機能は、サーバ300におけるCPU 301により実行される。このとき、前記HDD 303には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３７】
７．３ その他
なお、上述の実施の形態６又は本実施の形態においては、カメラアレイ400を構成する各々のカメラ401が、他のカメラと一部共通する撮影領域を含むと好適である。 図３６(a)は、各々のカメラが互いに共通する撮影領域を含まない場合における映像表示端末の画面を示す図である。図３６に示すように、参加者Aが席を立って移動している時、前記映像選択部39は、該参加者Aに最も近い撮影領域を含む部分映像（図中、黒色のバー605で示されたもの）を自動的に選択する。しかし、該参加者Aがいずれのカメラ401においても撮影されない場所に移動した場合には、重要な被写体が何も写されていない部分映像が選択されてしまう。このように、移動中の被写体を連続的に追跡して映した部分映像を記録できないという問題が生ずる。
【０１３８】
そこで、 図３６(b)に示すように、各々のカメラが互いに共通する撮影領域を含むよう配置すれば、この問題を解決することができる。図中、斜線で示されたバーは、2つ以上のカメラ401で重複して撮影されている範囲を示す。図６のように、カメラアレイ400を、各々のカメラ401を筐体402に固定して構成する場合には、互いの撮影範囲が一部重複するように各々のカメラ401を固定するとよい。
【０１３９】
８． 実施の形態８
なお、本発明に係る映像記録システム100は、PCによりその機能を実現させることができる。この場合は上記各部を実現するソフトウェアをハードディスクに格納し、適宜処理プログラムを実行させることによりその機能を実現させることができる。
【０１４０】
９．実施の形態９
また、上記プログラムを、CD-ROMのような記録媒体に格納することができる。図３７に示されるように、該プログラムを格納したCD-ROM 308をPCに装着し、適宜該プログラムを実行させることによりその機能を実現させることができる。なお、該プログラムを格納する記録媒体としては、上記CD-ROM 308に限られず、例えばDVD-ROM等の別の媒体であってもよいことはいうまでもない。
【０１４１】
以上の各実施の形態は、本発明のほんの一例を説明したにすぎず、本発明の権利範囲を上記実施の形態の通りに限定・縮小すべきではない。例えば、各実施の形態において、広角カメラ200、カメラアレイ400、及びマイクアレイ500が、USBハブに接続されるという構成例を用いて説明したが、これらの接続形態は上記説明に限定されるものではない。例えば、PCIバス、IEEE 1394、Bluetoothなどの別のインターフェースを使用しても構わない。
【０１４２】
また、広角カメラ200に使用されるミラー211として、双曲面ミラー及び一方向に曲率をもった曲面ミラーを実施の形態に挙げたが、放物面ミラーや円錐ミラーなど、上記以外の形態であってもかまわない。
【０１４３】
また、第1撮像部31の説明において、広角カメラ200においてデジタル化された映像データを出力すると説明したが、広角カメラ200がアナログの映像信号を出力するものであっても構わない。この場合、該広角カメラ200と、アナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の映像データを出力することができる。すなわち、上記実施の形態で説明した第1撮像部31と同様の動作を実現することができる。
【０１４４】
また、第2撮像部32の説明において、カメラアレイ400を構成する各々のカメラ401においてデジタル化された部分映像データを出力すると説明したが、これらのカメラ401がそれぞれアナログの映像信号を出力するものであっても構わない。この場合、これらのカメラ401と、多チャンネルのアナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の部分映像データを出力することができる。すなわち、上記実施の形態で説明した第2撮像部32と同様の動作を実現することができる。
【０１４５】
また、音声取得部37の説明において、マイクアレイ500を構成する各々のマイクロフォン501においてデジタル化された音声データを出力すると説明したが、これらのマイクロフォン501がそれぞれアナログの音声信号を出力するものであっても構わない。この場合、これらのマイクロフォン501と、多チャンネルのアナログ音声信号に対してデジタル化処理を施すオーディオキャプチャボードとを組み合わせることにより、デジタル形式の音声データを出力することができる。すなわち、上記実施の形態で説明した音声取得部37と同様の動作を実現することができる。
【０１４６】
また、エンコード部34及び記録部35が同一のサーバ300に実装されると説明したが、サーバ300とは別個にエンコード用PCを設置しても構わない。この場合、エンコードされたデータは、電気通信回線を経由して、該エンコード用PCからサーバ300に転送される。
【０１４７】
また、エンコード部34の動作説明においては、サーバ300内のCPU 301によりMPEGエンコード処理を行うと説明したが、エンコード部34の構成はこれに限定されない。例えば、MPEGエンコードICを内蔵したビデオキャプチャボードを用いて、映像データをMPEG形式に変換しても構わない。音声データに関しても同様である。
【０１４８】
また、動き検出部40の動作の説明において、「動きの特徴量」は被写体の動きの大小を指すと述べたが、例えば被写体の移動軌跡の形状など、別のものであっても構わない。
【０１４９】
【発明の効果】
本発明によれば、広角の映像を取得する第1撮像部31と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第2撮像部32と、前記広角の映像及び前記第2撮像部32により取得された映像の少なくとも一つを記録する記録部35とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・記録すると同時に、所望のシーンの映像を高い解像度で取得・記録することが可能となる。すなわち、第１の目的が達成される。
【０１５０】
更に、本発明によれば、第1撮像部31により取得された広角の映像と、第2撮像部32により取得された各々の部分映像との対応関係を特定する特定部36を備えることにより、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【図面の簡単な説明】
【図１】本発明に係る映像記録システムの使用例を示す図である。
【図２】実施の形態１に係る映像記録システムの構成を示す図である。
【図３】実施の形態１に係る広角カメラ２００の構成を示す図である。
【図４】実施の形態１に係る広角カメラ２００の構造を示す図である。
【図５】図４に示された広角カメラ２００により撮影される映像を示す図である。
【図６】実施の形態１に係るカメラアレイ４００の一例を示す図である。
【図７】実施の形態１に係るサーバ３００の構成を示す図である。
【図８】実施の形態１に係る動作を示すブロック図である。
【図９】実施の形態１における変形部３３の動作を説明する図である。
【図１０】変形部３３における原理を説明する図である。
【図１１】変形部３３で使用される座標変換テーブルを説明する図である。
【図１２】実施の形態２に係る広角カメラ２００の構成を示す図である。
【図１３】図１２に示された広角カメラ２００により撮影される映像を示す図である。
【図１４】実施の形態２における変形部３３の動作を映像表示と同時に実現する例を示す図である。
【図１５】実施の形態３に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図１６】実施の形態３に係る動作を示すブロック図である。
【図１７】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図１８】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図１９】実施の形態３に係るサーバ300の表示画面の一例を示す図である。
【図２０】実施の形態４に係る映像記録システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図２１】実施の形態４に係る映像記録システムの構成を示す図である。
【図２２】実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図である。
【図２３】実施の形態４に係る動作を示すブロック図である。
【図２４】実施の形態４における音源検出部３８の動作原理を説明する図である。
【図２５】実施の形態４における音源検出部３８の問題を説明する図である。
【図２６】実施の形態４におけるマイクロフォン５０１の配置例を説明する図である。
【図２７】実施の形態４におけるマイクロフォン５０１の別の配置例を説明する図である。
【図２８】実施の形態４における音源検出部３８の動作を説明する図である。
【図２９】実施の形態４における音源検出部３８の動作を説明する図である。
【図３０】実施の形態４における映像選択部３９の動作を説明する図である。
【図３１】実施の形態４における映像選択部３９が出力するデータを説明する図である。
【図３２】実施の形態５におけるカメラ４０１の構成を示す図である。
【図３３】実施の形態５に係る動作を示すブロック図である。
【図３４】実施の形態６に係る動作を示すブロック図である。
【図３５】実施の形態７に係る動作を示すブロック図である。
【図３６】実施の形態６及び７に係る映像配信システムを使用した場合の問題を示す図である。
【図３７】実施の形態９に係る構成例を示す図である。
【符号の説明】
１ テーブル
２ 参加者
３ キャビネット
３１ 第１撮像部
３２ 第２撮像部
３３ 変形部
３４ エンコード部
３５ 記録部
３６ 特定部
３７ 音声取得部
３８ 音源検出部
３９ 映像選択部
４０ 動き検出部
２００ 広角カメラ
２１１ ミラー
２１２ レンズ
２１３ 絞り
２１４ 撮像素子
２１５ 駆動部
２１６ 前処理回路
２１７ モータ駆動部
３００ サーバ
３１０ バス
３２０ ＵＳＢハブ
３３０ インターネット
３５０ クライアントＰＣ
４００ カメラアレイ
４０１−１から４０１−４ カメラ
５００ マイクアレイ
５０１ マイクロフォン
６００ 表示用ウィンドウ
Claims (3)
- 広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記広角の映像及び前記第二の撮像手段により取得された映像の少なくとも一つ及び前記対応関係を記録する記録手段とを有することを特徴とする映像記録システム。 - 前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定するものであることを特徴とする請求項１に記載の映像記録システム。 - 前記特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定するものであることを特徴とする請求項１に記載の映像記録システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160647A JP3954439B2 (ja) | 2002-05-31 | 2002-05-31 | 映像記録システム、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160647A JP3954439B2 (ja) | 2002-05-31 | 2002-05-31 | 映像記録システム、プログラム及び記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007071614A Division JP4451892B2 (ja) | 2007-03-19 | 2007-03-19 | 映像再生装置、映像再生方法、及び映像再生プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007284A JP2004007284A (ja) | 2004-01-08 |
| JP3954439B2 true JP3954439B2 (ja) | 2007-08-08 |
Family
ID=30429988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160647A Expired - Fee Related JP3954439B2 (ja) | 2002-05-31 | 2002-05-31 | 映像記録システム、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3954439B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4741261B2 (ja) * | 2005-03-11 | 2011-08-03 | 株式会社日立製作所 | ビデオ会議システム、プログラムおよび会議端末 |
| JP3968665B2 (ja) | 2005-03-22 | 2007-08-29 | ソニー株式会社 | 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 |
| JP2007318596A (ja) * | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム |
| JP5316248B2 (ja) * | 2009-06-16 | 2013-10-16 | 株式会社リコー | テレビ会議装置、テレビ会議方法、そのプログラム |
| US9185345B2 (en) | 2012-09-14 | 2015-11-10 | Ricoh Company, Limited | Video conference system and method for performing the same |
| US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
| JP7047520B2 (ja) * | 2018-03-23 | 2022-04-05 | 沖電気工業株式会社 | 管理装置、方法、プログラムおよび管理システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04137686U (ja) * | 1991-06-12 | 1992-12-22 | 日本電気株式会社 | テレビ会議システムの自動送信画像選択装置 |
| JPH1083401A (ja) * | 1996-09-06 | 1998-03-31 | Fuji Xerox Co Ltd | マルチメディアデータベース装置 |
| JPH11308591A (ja) * | 1998-04-21 | 1999-11-05 | Fujitsu Ltd | 情報通信システム |
| JP3792901B2 (ja) * | 1998-07-08 | 2006-07-05 | キヤノン株式会社 | カメラ制御システム及びその制御方法 |
-
2002
- 2002-05-31 JP JP2002160647A patent/JP3954439B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007284A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4451892B2 (ja) | 映像再生装置、映像再生方法、及び映像再生プログラム | |
| JP4439763B2 (ja) | 画像録画再生システムおよび画像録画再生方法 | |
| JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
| Cutler et al. | Distributed meetings: A meeting capture and broadcasting system | |
| US20240196096A1 (en) | Merging webcam signals from multiple cameras | |
| JP2018521593A (ja) | 角度分離されたサブシーンの合成およびスケーリング | |
| US20100118112A1 (en) | Group table top videoconferencing device | |
| TW201901527A (zh) | 視訊會議裝置與視訊會議管理方法 | |
| JP2009510877A (ja) | 顔検出を利用したストリーミングビデオにおける顔アノテーション | |
| JP2007531333A (ja) | ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システム | |
| JP5031016B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| TWI588590B (zh) | 影像產生系統及影像產生方法 | |
| JP4539015B2 (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
| CN109814718A (zh) | 一种基于Kinect V2的多模态信息采集系统 | |
| US11477393B2 (en) | Detecting and tracking a subject of interest in a teleconference | |
| JP4414708B2 (ja) | 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体 | |
| JP4908543B2 (ja) | 会議画像再生システムおよび会議画像再生方法 | |
| US20220400244A1 (en) | Multi-camera automatic framing | |
| EP4075794A1 (en) | Region of interest based adjustment of camera parameters in a teleconferencing environment | |
| JP4373645B2 (ja) | 映像配信システム、プログラム及び記録媒体 | |
| JP3954439B2 (ja) | 映像記録システム、プログラム及び記録媒体 | |
| JP4934158B2 (ja) | 映像音声処理装置、映像音声処理方法、映像音声処理プログラム | |
| JP2003111041A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP2009182979A (ja) | 会議画像再生装置および会議画像再生方法 | |
| TWI846399B (zh) | 視訊會議系統及會議畫面顯示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070426 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |