JP4259786B2

JP4259786B2 - 情報取得システム

Info

Publication number: JP4259786B2
Application number: JP2001307737A
Authority: JP
Inventors: 省一秋山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-10-04
Filing date: 2001-10-03
Publication date: 2009-04-30
Anticipated expiration: 2021-10-03
Also published as: JP2002185939A

Description

【０００１】
【発明の属する技術分野】
本発明は、人の集団活動の様子を電子的な動画像データ及び音声データとして記録する装置に関し、特に、テレビ会議や会議記録作成システムのために用いられる話者の動作及び発言を取得する情報取得システムに関する。
【０００２】
【従来の技術】
会議等のような人の集団活動を、画像及び音声の電子データとして記録するために開発された従来の技術としては、例えば、特開平１１−３３１８２７号公報に記載された発明では、会議の場の全体を魚眼レンズや超広角レンズを備えたビデオカメラにより撮影し、音声により話者を特定して音声及び映像を記録する方法がある。
【０００３】
図９は、特開平１１−３３１８２７号公報に記載された装置の概要を示す図である。
同図において、（Ａ）はテレビカメラ装置の平面図、（Ｂ）は（Ａ）のａ１−ａ２断面図、（Ｃ）はこのテレビカメラ装置をテレビ会議に使用した場合の使用状況を示している。図中、１００はテレビカメラ装置、１１０は超広角レンズ（魚眼レンズ）部、１２０は無指向性マイクロフォン、１３０はＣＣＤ撮像部、１４０は会議参加者、１５０は会議卓、１６０はモニタテレビ装置である。
【０００４】
また、特開平１０−３０４３２９号公報に記載された発明では、会議の場の中心に配置され、回転することにより各方向を撮影することができるビデオカメラを用い、参加者の声紋データなどから話者を特定して音声及び映像を記録する方法等がある。
【０００５】
図１０は、特開平１０−３０４３２９号公報に記載された装置の概要を示す図である。
同図において、２００は基台、２０１は指向性マイク、２０２はビデオカメラ、３００は会議撮像装置、４００は円形のテーブル、Ｐ１，Ｐ２，・・・は参加者であり、ビデオカメラ２０２は基台２００の上で回転可能になっている。
【０００６】
【発明が解決しようとする課題】
ところで、会議の場を魚眼レンズ等を備えたビデオカメラで一括して撮影する方法では、参加者の像が非常に小さくなってしまい、撮像素子（いわゆるＣＣＤエリアセンサなど）の解像度に制限があるので、参加者の画像が分解能の低いものになるという欠点がある。そのため、発言者の表情を記録したり、発言者の顔画像を解析することにより発言者を特定することなどは困難である。
【０００７】
また、話者の特定は音声により行なえば可能であるが、記録画像は単に人の配置が分かる程度の情報量しかなく、それを記録することの意味が乏しい場合が多い。これに対して、回転するビデオカメラを用いた場合は、発言者をより高い分解能で撮影することができ、表情の記録なども可能となるが、２人が同時に発言した場合などは対応できない。また、カメラの回転には若干の時間を要するので、カメラが自分の方を向いてから発言する必要がある。２人が同時に発言することを控える必要があること、カメラが向くのを待って発言する必要があることなどは、参加者の会議への集中力を著しく削ぎ、現実には使用しがたいものである。
【０００８】
加えて、両方の技術に共通する問題点として、会議の場の中央に画像取得装置が置かれているため、その存在が参加者の気持ちを分散させ、集中力を削ぎ、違和感を与えるということである。会議の場の中央に会議の対象となっている書類あるいは物品などを置くことは、しばしば行われることであるが、中央に装置があるため、このようなこともできない。
【０００９】
さらに、これらの装置は机に固定されていたり、かなり大型の機器となるので、会議の場が固定され、自由な場所で会議を行なうことができなくなり、参加者の自由な発想を妨げる原因となる場合が多い。
【００１０】
そこで、本発明の目的は、情報を取得できる場が固定されない、すなわち、参加者が集まったところが取得エリアとなり、かつ、設置の手間がかからない、集団活動の様子を電子データとして取得することができる、情報取得システムを提供することである。
【００１１】
【課題を解決するための手段】
本発明は、上記目的を達成するために、次のような構成を有する。すなわち、
ａ）請求項１記載の発明では、撮影した画像データを外部へ送信する機能を有し、会議参加者の各々に装着されている複数の撮像ユニットと、この撮像ユニットからの画像データを受信する処理装置とを備える情報取得システムであって、前記処理装置は、前記撮像ユニットと双方向通信が可能な通信手段と、各撮像ユニットからの画像データをその撮像ユニットに固有の認識番号に対応させて取得する取得部と、該取得部が取得した各撮像ユニットからの画像データに含まれる特徴を抽出処理する抽出部と、該抽出部が抽出した各画像データの特徴が一致する箇所を検出する検出部と、該検出部の検出により一致する箇所を基準とすることにより各画像データを重ね合わせる処理を行なう画像処理部と、を含む画像合成手段を備え、前記取得部、前記抽出部、前記検出部、前記画像処理部の各処理を順次繰り返し行なうことにより、前記撮像ユニットで撮影された撮像ユニット画像の合成データを生成することを特徴としている。
【００１３】
ｂ）請求項２記載の発明では、前記各撮像ユニットは、光信号を放射する光放射手段を有し、前記画像合成手段は、ある撮像ユニットの撮影画像データの中に、他の撮像ユニットがある場合、当該撮像ユニットが放射する光信号を検出してその位置を特定し、複数の撮像ユニットの各撮影画像データの中に、同一の撮像ユニットが含まれていた場合、その同一の撮像ユニットの位置を基準とし、各撮像ユニットの出力画像データを重ね合わせる処理を順次繰り返し行うことを特徴とする。
ｃ）請求項３記載の発明では、請求項２記載の発明において、前記光放射手段の放射する光信号は光パルス列を含むことを特徴とする。
【００１４】
ｄ）請求項４記載の発明では、請求項３記載の発明において、前記各撮像ユニットは、各々固有の認識番号を有し、各光放射手段の放射する光信号は各撮像ユニットの認識番号に対応した固有の光パルス列を含むことを特徴とする。
ｅ）請求項５記載の発明では、請求項３記載の発明において、前記各撮像ユニットは、各々固有の認識番号を有し、前記画像合成手段から、前記通信手段を介して、当該撮像ユニットが特定の撮像ユニットが光信号を放射するべき要求信号が送られた場合、その要求信号に内包される認識番号と自己の認識番号とが一致するときのみ、前記光放射手段が光信号を放射することを特徴とする。
ｆ）請求項６記載の発明では、請求項２記載の発明において、前記光放射手段は、複数の光放射領域を有し、光を放射する領域と放射しない領域の組み合わせにより特定の光放射領域パターンを形成することを特徴とする。
【００１５】
ｇ）請求項７記載の発明では、請求項６記載の発明において、前記各撮像ユニットは各々固有の認識番号を有し、各光放射手段の形成する光放射領域パターンは、各撮像ユニットの認識番号に対応した、固有の光放射領域パターンを含むことを特徴とする。
ｈ）請求項８記載の発明では、請求項６記載の発明において、各撮像ユニットは、各々固有の認識番号を有し、前記画像合成手段から、前記通信手段を介して、当該撮像ユニットが光を放射するべき要求信号が送られた場合、その要求信号に内包される認識番号と自己の認識番号とが一致するときのみ、光放射領域パターンを形成することを特徴とする。
【００１６】
ｉ）請求項９記載の発明では、請求項２から請求項項８のうちのいずれか１項に記載の発明において、前記光放射手段の放射する光は可視光線以外の波長領域の光であることを特徴とする。
ｊ）請求項１０記載の発明では、請求項１から請求項９のうちいずれか１項に記載の発明において、前記各撮像ユニットは、さらに、それを装着した人が、その撮像ユニットがその人本人の身につけたものであることを保証するために、本人のみが知る認証情報を入力する個人認証入力部を備えていることを特徴とする。
ｋ）請求項１１記載の発明では、請求項１０記載の発明において、前記撮像ユニットに備えられた個人認証入力部は、手書き文字認識機能を有することを特徴とする。
【００１７】
ｌ）請求項１２記載の発明では、請求項１０または請求項１１に記載の発明において、前記各撮像ユニットは、前記画像合成手段から、前記通信手段を介しての要求信号により、あるいは一定時間ごとに、個人認証入力部に入力された認証情報を、当該撮像ユニットが放射する光信号または光放射領域パターンに含ませて送出する機能を有し、前記画像合成手段は、その光信号または光放射領域パターンと各人についてあらかじめ登録された認証情報を参照することにより、当該撮像ユニットを装着した人を特定する機能を有することを特徴とする。
ｍ）請求項１３記載の発明では、請求項１から請求項１２のうちいずれか１項に記載の情報取得システムにおいて、前記撮像ユニットは、さらに、音声取得機能を有し、当該撮像ユニットを装着した人の音声を主に取り込むように指向性を持つことを特徴とする。
【００１８】
ｎ）請求項１４記載の発明は、撮像ユニットの一部もしくは全部、もしくは処理装置、またはこれらが協調する形で機能する距離測定機構を有し、システム全体として距離測定機能を備えたものである。これにより、会議の場などを記録するにあたり、より多くの情報を取得することができるようになる。
【００１９】
具体的には、複数の参加者が身につけているそれぞれの撮像ユニットの相互の距離を測定することにより、各人の配置をより正確に記録したり、場の広がりを記録することができる。
また、距離測定機構が高い空間分解能を持っていれば、会議の場に置かれた特定の物体の３次元形状を取得することも可能である。これは、とくに会議が何らかの物品に対する議論である場合に、その物品の形状をも同時に記録できる点で有用である。
【００２０】
ｏ）請求項１５記載の発明は、同一の被写体が複数の撮像ユニットにより撮影されている場合に、距離測定機構により測定した、それぞれの撮像ユニットから被写体への距離をもとにこれら相互の位置関係を求める機能をもたせたものである。この機能によれば、相互の距離測定結果に冗長性が生まれるので、記録の誤りを低減することができる。
【００２１】
ｐ）請求項１６記載の発明は、距離測定機構の測定結果をもとに、それぞれの撮像ユニットの移動速度を求め、より移動速度の小さい撮像ユニットからの画像データ等を優先して記録するものである。これは、複数の撮像ユニットに同様な画像が撮影されている場合、移動速度の小さい撮像ユニットの画像がより鮮明に記録されていると考えられるから、その選択を画像を比較するまでもなく、どちらの画像を優先して記録すべきか決定することができる。これは高速な画像処理が求められ、ごく短時間で処理データとして用いるべき画像を選択する必要がある場合に有用である。
【００２３】
この方法は、特に他の装置を必要とせず、画像解析のみで位置関係を求めることができるので,簡単に実施することができるという利点がある。また、非常に明るい環境、たとえば戸外などでも問題なく実施できる。
【００２５】
ｑ）請求項１７記載の発明は、三角測量を行うために撮像ユニットのうち、三角測量の基線を構成する少なくとも二つの撮像ユニットにポジショニングセンサを内蔵させたものである。ポジショニングセンサの働きにより、これらの位置が別個に求められるので、三角測量の精度が向上するという利点がある。ポジショニングセンサとしては、磁気センサを用い環境中に張り巡らされた磁力線の方向及び強度を検出し位置を求める方式のもの、ＧＰＳ（全地球測位システム）信号を必要により、室内に中継してそれぞれの位置を求める方式のもの、などが使用可能である。これらの測位センサをすべての撮像ユニットに内蔵させ、それぞれの位置をモニタリングする方法も可能ではある。
【００２６】
ｒ）請求項１８記載の発明は、距離測定の別の具体的方法を与えるもので、短時間パルス状の光束を被写体に照射し、それが反射して帰ってくる時間から被写体までの距離を測定する方法において、更にその照射タイミングが撮像ユニット間で重ならないように設定されているシステムである。この方法は、３次元情報の測定において隠れが無いという利点がある。
【００２９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図１ないし図２を参照して、詳細に説明する。まず、会議の状況を画像と音声により記録する会議記録作成装置の情報取得機構として、ネームプレート型の撮像ユニットを参加者各人が身につける情報取得システムを作成する場合を例に本実施の形態の具体例を説明する。
【００３０】
図１に示すように、このシステムは、複数の撮像ユニットＡ（Ａ１、Ａ２、Ａ３、Ａ４、Ａ５）と、通信手段としての無線ネットワークと、画像を処理する処理装置Ｂより構成されている。また、各撮像ユニットＡは、図２に示すように、撮像手段１、画像処理手段２、通信手段３及び電池４より構成されている。撮像ユニットＡの撮像手段１としては、小型のＣＣＤカメラが使用できる。処理装置Ｂの画像処理手段（図示せず）としては、一般的な画質調整、レンズの歪曲補正の他に画像信号をデジタル変換し、画像フレーム間の異なる部位のみを信号として取り出すなどの方法による画像圧縮処理をも含ませた処理回路を用いることができる。
【００３１】
通信手段３としては、有線、無線、どちらでも良いが参加者の動作の邪魔にならない点からは無線インターフェースが適している。例えば、２．４５ＧＨｚ帯の微弱なマイクロ波を用いた送受信機などを用いることができる。有線のインターフェースを用いる場合は電源もそこから供給すれば良いので、電池４を内蔵させる必要はない。
【００３２】
図示していないが光放射手段としては、単一の領域から光パルス列を放射する場合は、マイクロプロセッサにより生成した信号から所定の駆動回路を通して駆動される赤外発光ダイオードなどが使用できる。複数の領域を用いる場合は、赤外発光ダイオードアレイなどを用いることができる。単に、赤外発光ダイオード素子を近接させて配列しても良い。
【００３３】
処理装置Ｂは撮像ユニットＡに備えられた通信手段３に対応する通信手段を備えた、マイクロコンピュータに、画像処理機能と本発明の情報取得手順のプログラムを内蔵させて構成することができる。
【００３４】
本実施の形態に係る情報取得システムは、参加者各人が撮像ユニットＡ（画像取得装置）を身につけ、それぞれ、その前方を撮影し、処理装置Ｂにより、参加者各人から見た画像を合成することにより、会議などの集団活動の全体を情報として取得するものである。
【００３５】
この方法によれば、参加者に囲まれた領域が情報を取得するエリアとなるので、会議の場などの場合には、中央に対象となる書類や物品を置くことが妨げられない。また、従来のように、固定された大型の撮影装置（図９参照）や回転する装置（図１０参照）が場の中央に設置されることがないので、参加者の注意力を分散させることがない。
【００３６】
図１は、本実施の形態に係る情報取得システムの代表的な使用状態を示しており、図２は、撮像ユニットＡの概略構成を示している。各々対向する人を撮影することにより、会議等の全体が複数の画像として撮影される。これらの画像を処理装置Ｂにより合成して、会議の全体の画像情報を取得する。この情報を記録して、後に再生する場合には記録フォーマットを適切に定めておくことにより、必要な方位の画像のみを再生することも困難ではない。
【００３７】
これらの画像を合成する段階では、撮影された画像の特徴を抽出し、隣り合う領域を撮影している撮像ユニットに共通に撮影されている部分を検出し、この部分を基準として二つの画像を重ね合せ、これをすべての撮像ユニットの撮影画像に関して行なうことにより、会議の全体画像を形成することができる。
【００３８】
参加者が同じ制服を着ている場合や、背景が特徴のない白壁などである場合は、特徴抽出が難しく、画像の合成ができない場合がある。このような場合に適した構成として、各撮像ユニットが固有の光信号を放射する構成とすることができる。この方法によれば、各画像の中に、他の撮像ユニットが存在することが容易に検出できるのでこれを基準として画像を合成することができる。ただし、発光素子を内蔵する必要があり、消費電力が増加することは避けられない。
【００３９】
したがって、電池動作の場合に動作時間を長くする点からは特徴抽出により画像合成を行なう方法が適している。光信号は、常時放射されていても良いが、処理装置において画像合成のために撮像ユニットの位置を特定することが必要となったときのみに放射されれば良いので、処理装置からの要求信号により光信号が送出されるように構成しても良い。
【００４０】
また、送出する信号は、光のパルス列を用いて光信号を送出する方法と、複数の発光領域による特定のパターンを形成する方法との二つの方法が適している。光パルス列を送出する方法では、、発光素子は一個のみで良いので消費電力が少ないという特徴があるが、光パルス列を受信するのにある程度時間がかかるので、いずれの撮像装置であるかを特定するための所要時間が長くなる。
【００４１】
一方、複数の発光領域によるパターンを形成して、撮像装置の特定を行なうようにすれば、パターンを撮影した時点で直ちに特定ができ所要時間が短縮できる。ただし、この場合、発光領域が複数となるため、光パルス列を用いる場合に比較すると消費電力の増加が避けられない。この得失を考えてシステムを作成する際に選択することとなる。
【００４２】
例えば各撮像ユニットに、画像合成手段から通信手段を介しての要求信号により、あるいは一定時間ごとに、個人認証入力部に入力された認証情報を、撮像ユニットが放射する光信号または光放射領域パターンに含ませて送出する機能を持たせ、画像合成手段によりその光信号または光放射領域パターンと各人についてあらかじめ登録された認証情報を参照することにより、撮像ユニットを装着した人を特定する機能を持たせるようにしてもよい。
【００４３】
光信号の波長は可視光領域でないものとすれば参加者にその存在が分からず、会議等への集中力を減じることがない。これらの撮像ユニットを参加者各人が身につける際には、それぞれの撮像ユニットに固有の番号を与えておき、誰がどの撮像ユニットを身に付けたかを処理装置Ｂにデータとして与えておく。ここで、自己の身につける撮像ユニットを参加者が間違えたり、偽ったりすれば、それ以後の発言が別人の発言として取得される危険がある。これを回避するために、各々の撮像ユニットに個人認証のための入力部分を設ける構成とすることができる。
【００４４】
この構成によれば、処理装置がその撮像装置の固有の番号と、そこに入力された認証情報と、あらかじめ登録された撮像装置と個人との対応とを照合することにより、発言者を誤って取得するという問題が回避される。個人認証の入力方法としては、テンキーなどによる入力が使用できるが、面積を要するので撮像ユニットが大型となり、身につける際に邪魔になるという問題がある。認証情報入力方法として手書き入力部を用いると、入力部分の面積が小さく形成できるので、この問題が解決される。
【００４５】
各々の撮像ユニットが音声入力手段を備え、それぞれが装着した本人の音声を主に取得するように指向性を持っていれば、話者の特定が容易になるという利点がある。会議の場が小さいときなどには、参加者を高い解像度で撮影することが容易であるので、音声は一つのマイクロホンで一括して取得し、各撮像ユニットで撮影された参加者の画像から抽出した参加者の動きなどと対応させて話者を特定しても良い。
【００４６】
次に、本発明の情報取得システムの別の例を、図３を用いて説明する。本例では、各人物１０〜４０の装着した撮像ユニット１１〜４１は被写体の距離を測定する機能を有し、それぞれ撮像ユニットの撮像範囲内にある撮像した画像内に含まれる人物までの距離、その人物の体格、顔などの立体形状、机上の物体などの形状、等を測定することが可能になっている。
【００４７】
ここで、距離測定機能としては、それぞれの撮像ユニットに一定の距離離された複数のカメラを内蔵させてステレオ視の原理により距離を測定する方法、パターンを有する光束を被写体に照射して、そのパターンの変形を捉えることにより被写体の形状を測定する方法などの一般的な方法を用いることができる。
【００４８】
図４は、距離測定機構をもつ撮像ユニットの撮像画面を模式的に示したものである。被写体の人物が身に付けている撮像ユニットの大きさは既知であるので、その見かけの大きさから撮像ユニットまでの距離がわかる。また、画像中での位置と、撮像レンズの焦点距離から撮像ユニットの見込み角が求められるので、この画像を取得している撮像ユニットと画像中の撮像ユニットの位置関係に関する情報が得られる。この手続きを複数の撮像ユニットの組み合わせにおいて行えば、全体の会議参加者等の位置関係を知ることができ、また画像中に物体がある場合にはその立体形状をも知ることができる。
【００４９】
本発明の情報取得システムの別の働きを、図５を用いて説明する。たとえば人物４０の装着した撮像ユニット４１から測定した人物３０までの距離及び人物１０までの距離、人物１０から測定した人物３０までの距離及び人物４０までの距離、同様に人物１０から測定した各距離は相互に一致していなければならない。しかし、実際には種々の原因により同じであるべき距離にもいくらかの不一致を生じる。本例の情報取得システムは、そのような場合により正確な値を得るため、これらの距離値間に演算を行うものである。たとえば、一致すべき距離の平均をとる。
【００５０】
このとき、撮像ユニットの位置の変化を持続的に検出することによりその移動速度を測定し、移動速度の小さな撮像ユニットの画像を優先して記録に用いるようにする。
【００５１】
また、距離測定機構は、被写体に特定の照射パタンをもつ光束を照射し、被写体の３次元情報を測定する方式のものである場合に、照射パタンを被写体に間欠的に照射し、その照射タイミングが複数の撮像ユニットにおいて重ならないように設定しておく。
【００５２】
次に、本発明にかかる情報取得システムにより複数の撮像ユニットで３角測量を行って相互の距離を求める例を、図６を用いて説明する。同一の被写体の特徴点を一致させることにより、同図に示すような３角形を決め、これから互いの位置関係を求める方法を取る。基線の長さＬは何らかの方法で定める必要があるが、このシステムでは撮像ユニットにポジショニングセンサを内蔵させ、その位置座標から基線の長さを定める。ポジショニングセンサには種々のものを用いうるが、差動方式により位置精度を高めたＧＰＳ（グローバルポジショニングシステム）が適している。室内には衛星からの直接波は届かないことが多いので、そのような環境では適切なリピータを設ける。
【００５３】
次に、本発明の情報取得システムのさらに別の例を、図７を用いて説明する。図７は本例の情報取得システムの実施の状況を示したものである。各撮像ユニット１１〜４１から、パルス状の光を照射し、被写体からの反射光がその撮像ユニットに帰ってくるまでの時間を計測して被写体の距離もしくはその形状を測定する。ここで、各撮像ユニットから照射される光束が不規則に放射されていると、相互に干渉を起こし測定ができない場合がありえる。そこで、そのタイミングを重ならないように設定することにより相互の干渉を起こさないようにする。
【００５４】
次に、本発明の情報取得システムのさらに別の例を、図８を用いて説明する。図８は本例の情報取得システムの実施の状況を示したものである。本例の場合は、特定のグラデーションをもった光束を被写体に照射するようにしたものである。この場合も図７の場合と同様に光照射のタイミングが重ならないように制御することにより、相互の干渉を避け正確な距離測定が行うことができる。グラデーションパターンをもつ光束は、例えば、撮像ユニットごとに異なる分光強度分布を持つ光束とすることができる。
【００５５】
【発明の効果】
請求項１記載の発明では、情報を取得できる場が固定されず、設置の手間がかからない、集団活動の様子を電子データとして取得でき、また取得部、抽出部、検出部、画像処理部の各処理を順次繰り返し行なうことにより、集団活動全体の状況（複数の撮像ユニットで撮影された撮像ユニット画像の合成データ）を忠実に再現することができる。
請求項２及び請求項３記載の発明では、特徴が抽出できず画像合成が困難である場合にも画像合成が可能となる。
【００５６】
請求項４記載の発明では、各撮像ユニットの判別が容易に行なうことができ、正確な再現が可能となる。
請求項５記載の発明では、撮像ユニットの消費電力が低減され、電池の持続時間が延びるなどの効果が得られる。
【００５７】
請求項６記載の発明では、各撮像ユニットの検出に要する時間が短縮でき、処理を迅速に行なうことができる。
請求項７記載の発明では、各撮像ユニットの判別が容易に行なうことができる。請求項８記載の発明では、請求項７の発明において、消費電力が低減され、電池の持続時間が延びる等の効果が得られる。
【００５８】
請求項９記載の発明では、光信号により参加者に注意力を分散させ、会議の進行を妨げることが防ぐことができる。
請求項１０記載の発明では、撮像ユニットを身につけた人の認証が行なえる。
請求項１１記載の発明では、認証機構を備えながら小型の撮像ユニットを提供できる。
請求項１２記載の発明では、認証を行ないながら、会議の再現を行なうことができる。
請求項１３記載の発明では、撮像ユニットを装着した人の音声取得が容易になる。
【００５９】
請求項１４記載の発明では、会議の場などを記録するにあたり、より多くの情報を取得することができるようになる。具体的には、複数の参加者が身につけているそれぞれの撮像ユニットの相互の距離を測定することにより、各人の配置をより正確に記録したり、場の広がりを記録することができる。また、会議の場に置かれた特定の物体の３次元形状を取得することも可能で、会議が何らかの物品に対する議論である場合などには、その物品の形状をも同時に記録できる点で有用である。
【００６０】
請求項１５記載の発明では、距離測定結果に冗長性が生まれるので、記録の誤りを低減することができる。
請求項１６記載の発明では、これは高速な画像処理が求められる場合に、ごく短時間で処理データとして用いるべき画像を選択することができ記録の精度が向上する。
【００６１】
請求項１７記載の発明では、三角測量の精度が向上するという利点がある。
請求項１８記載の発明では、３次元情報の測定において隠れが無いという利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る情報取得システムの構成とその使用状況を示した図である。
【図２】本実施の形態で用いられる撮像ユニットの構造を示した図である。
【図３】本発明の実施の形態に係る情報取得システムの別の構成とその使用状況を示した図である。
【図４】距離測定機構をもつ撮像ユニットの撮像画面を模式的に示した図である。
【図５】本発明の実施の形態に係る情報取得システムのさらに別の構成とその使用状況を示した図である。
【図６】本発明の実施の形態に係る情報取得システムの別の構成とその使用状況を示した図である。
【図７】本発明の実施の形態に係る情報取得システムのさらに別の構成とその使用状況を示した図である。
【図８】本発明の実施の形態に係る情報取得システムのさらに別の構成とその使用状況を示した図である。
【図９】従来の情報取得装置の例を示した図である（その１）。
【図１０】従来の情報取得装置の例を示した図である（その２）。
【符号の説明】
Ａ（Ａ１，Ａ２，・・Ａ５）：撮像ユニット
Ｂ：処理装置
１：撮像手段
２：画像処理手段
３：通信手段
４：電池
１０，２０，３０，４０：人物
１１，２１，３１，４１：撮像ユニット
１００：テレビカメラ装置
１１０：超広角レンズ（魚眼レンズ）部
１２０：無指向性マイクロフォン
１３０：ＣＣＤ撮像部
１４０：会議参加者
１５０：会議卓
１６０：モニタテレビ装置
２００：基台
２０１：指向性マイク
２０２：ビデオカメラ
３００：会議撮像装置
４００：円形のテーブル
Ｐ１，Ｐ２，Ｐ３：参加者

Claims

撮影した画像データを外部へ送信する機能を有し、会議参加者の各々に装着されている複数の撮像ユニットと、この撮像ユニットからの画像データを受信する処理装置とを備える情報取得システムであって、
前記処理装置は、
前記撮像ユニットと双方向通信が可能な通信手段と、
各撮像ユニットからの画像データをその撮像ユニットに固有の認識番号に対応させて取得する取得部と、
該取得部が取得した各撮像ユニットからの画像データに含まれる特徴を抽出処理する抽出部と、
該抽出部が抽出した各画像データの特徴が一致する箇所を検出する検出部と、
該検出部の検出により一致する箇所を基準とすることにより各画像データを重ね合わせる処理を行なう画像処理部と、を含む画像合成手段を備え、
前記取得部、前記抽出部、前記検出部、前記画像処理部の各処理を順次繰り返し行なうことにより、前記撮像ユニットで撮影された画像の合成画像を生成することを特徴とする情報取得システム。
前記各撮像ユニットは、光信号を放射する光放射手段を有し、
前記画像合成手段は、ある撮像ユニットの撮影画像データの中に、他の撮像ユニットがある場合、当該撮像ユニットが放射する光信号を検出してその位置を特定し、複数の撮像ユニットの各撮影画像データの中に、同一の撮像ユニットが含まれていた場合、その同一の撮像ユニットの位置を基準とし、各撮像ユニットの出力画像データを重ね合わせる処理を順次繰り返し行うことを特徴とする請求項１に記載の情報取得システム。
前記光放射手段の放射する光信号は光パルス列を含むことを特徴とする請求項２に記載の情報取得システム。
前記各撮像ユニットは、各々固有の認識番号を有し、各光放射手段の放射する光信号は各撮像ユニットの認識番号に対応した固有の光パルス列を含むことを特徴とする請求項３に記載の情報取得システム。
前記各撮像ユニットは、各々固有の認識番号を有し、
前記画像合成手段から、前記通信手段を介して、当該撮像ユニットが特定の撮像ユニットが光信号を放射するべき要求信号が送られた場合、その要求信号に内包される認識番号と自己の認識番号とが一致するときのみ、前記光放射手段が光信号を放射することを特徴とする請求項３に記載の情報取得システム。
前記光放射手段は、複数の光放射領域を有し、光を放射する領域と放射しない領域の組み合わせにより特定の光放射領域パターンを形成することを特徴とする請求項２に記載の情報取得システム。
前記各撮像ユニットは各々固有の認識番号を有し、各光放射手段の形成する光放射領域パターンは、各撮像ユニットの認識番号に対応した、固有の光放射領域パターンを含むことを特徴とする請求項６に記載の情報取得システム。
各撮像ユニットは、各々固有の認識番号を有し、前記画像合成手段から、前記通信手段を介して、当該撮像ユニットが光を放射するべき要求信号が送られた場合、その要求信号に内包される認識番号と自己の認識番号とが一致するときのみ、光放射領域パターンを形成することを特徴とする請求項６に記載の情報取得システム。
前記光放射手段の放射する光は可視光線以外の波長領域の光であることを特徴とする請求項２から請求項項８のうちのいずれか１項に記載の情報取得システム。
前記各撮像ユニットは、さらに、それを装着した人が、その撮像ユニットがその人本人の身につけたものであることを保証するために、本人のみが知る認証情報を入力する個人認証入力部を備えていることを特徴とする、請求項１から請求項９のうちいずれか１項に記載の情報取得システム。
前記撮像ユニットに備えられた個人認証入力部は、手書き文字認識機能を有することを特徴とする請求項１０に記載の情報取得システム。
前記各撮像ユニットは、前記画像合成手段から、前記通信手段を介しての要求信号により、あるいは一定時間ごとに、個人認証入力部に入力された認証情報を、当該撮像ユニットが放射する光信号または光放射領域パターンに含ませて送出する機能を有し、
前記画像合成手段は、その光信号または光放射領域パターンと各人についてあらかじめ登録された認証情報を参照することにより、当該撮像ユニットを装着した人を特定する機能を有することを特徴とする請求項１０または請求項１１に記載の情報取得システム。
前記撮像ユニットは、さらに、音声取得機能を有し、当該撮像ユニットを装着した人の音声を主に取り込むように指向性を持つことを特徴とする請求項１から請求項１２のうちいずれか１項に記載の情報取得システム。
前記撮像ユニットにより撮影された画像について、その撮像ユニットから撮像ユニットを装着している人物である被写体までの距離を測定する距離測定機能を有することを特徴とする請求項１から１３のうちいずれか１項に記載の情報取得システム。
複数の撮像ユニットの各々から撮像ユニットを装着している人物である同一の被写体までの距離について演算を行うことにより、撮像ユニットを装着している人物である被写体相互の相対的な位置を決定することを特徴とする請求項１４に記載の情報取得システム。
前記撮像ユニットの位置の変化を持続的に検出することによりその移動速度を測定し、移動速度の小さな撮像ユニットの画像を優先して記録に用いることを特徴とする請求項１４または１５に記載の情報取得システム。
前記距離測定機構は複数の撮像ユニットからの同一物体の画像をもとに三角測量を行う方式のものである場合に、基線長さとなる複数の撮像ユニット相互の距離を定めるために、撮像ユニットにポジショニングセンサを内蔵させたことを特徴とする、請求項１４から請求項１６のいずれかに記載の情報取得システム。
前記距離測定機構は、撮像ユニットから他の撮像ユニットを装着している人物である被写体に光を照射し、該被写体からの反射光が該撮像ユニットに帰ってくるまでの時間をもとに距離を測定する方式のものである場合に、照射光を撮像ユニットを装着している人物である被写体に照射するタイミングが複数の撮像ユニットにおいて重ならないように設定されていることを特徴とする、請求項１４から請求項１６のいずれかに記載の情報取得システム。