JP3762745B2 - 対象物識別システム、発光装置及び検出装置 - Google Patents
対象物識別システム、発光装置及び検出装置 Download PDFInfo
- Publication number
- JP3762745B2 JP3762745B2 JP2002378008A JP2002378008A JP3762745B2 JP 3762745 B2 JP3762745 B2 JP 3762745B2 JP 2002378008 A JP2002378008 A JP 2002378008A JP 2002378008 A JP2002378008 A JP 2002378008A JP 3762745 B2 JP3762745 B2 JP 3762745B2
- Authority
- JP
- Japan
- Prior art keywords
- light emitting
- emitting device
- detection
- infrared
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置に関するものである。
【０００２】
【従来の技術】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照。）。
【０００３】
【非特許文献１】
青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】
松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００５】
本発明の目的は、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明に係る対象物識別システムは、対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出するものである。
【０００７】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【０００８】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【０００９】
また、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により発光装置を検出することができるので、検出装置における検出処理をより高速化することができる。
【００１０】
発光装置検出手段は、赤外線画像から光点を含む検出領域を決定し、撮影手段は、検出領域の赤外線画像を撮影し、識別情報検出手段は、検出領域の赤外線画像を用いて、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することが好ましい。
【００１１】
この場合、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて発光装置の点滅状態を検出して当該発光装置の識別情報を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、検出装置における検出処理をより高速化することができる。
【００１２】
撮影手段は、近赤外線透過フィルタを有し、近赤外線透過フィルタを透過した近赤外線を受光して対象物を含む所定の撮影領域の近赤外線画像を撮影することが好ましい。
【００１３】
この場合、主に近赤外線のみから作成された近赤外線画像を用いて発光装置の識別情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理をより高速化することができる。
【００１４】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１５】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物検出システムの用途を拡大することができる。
【００１６】
対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて検出装置用発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、固定検出装置の撮影手段の画角は、検出装置の撮影手段の画角より狭いことが好ましい。
【００１７】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【００１８】
検出装置は、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１９】
この場合、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００２３】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出するものである。
【００２４】
本発明に係る検出装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【００２５】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【００２６】
【発明の実施の形態】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【００２７】
図１に示す対象物識別システムは、検出装置１、赤外線タグ６及び固定検出装置７を備える。赤外線タグ６は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。検出装置１は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ６から送信される対象物のＩＤ番号及び赤外線タグ６の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ６を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像を携帯型コンピュータ１０へ出力する。携帯型コンピュータ１０は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ１１へ送信する。
【００２８】
また、検出装置１は、ユーザのＩＤ番号を赤外線の点滅により送信する。固定検出装置７は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置１及び赤外線タグ６から送信されるＩＤ番号及び検出装置１及び赤外線タグ６の赤外線画像内のＸＹ座標を検出してサーバ１１へ出力する。
【００２９】
上記のようにして収集された各情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００３０】
検出装置１は、赤外線検出部２、画像撮影部３、赤外線タグ４及びマイク部５を備える。図２は、図１に示す検出装置１の外観を示す模式的斜視図である。図２に示すように、検出装置１は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部２及び画像撮影部３は直方体形状の筺体に一体に内蔵され、赤外線タグ４は筺体の側面に一体に固定され、マイク部５はユーザの口元付近に配置される。また、携帯型コンピュータ１０は、ユーザに背負われて使用され、検出装置１からの各出力が携帯型コンピュータ１０へ供給される。
【００３１】
再び、図１を参照して、赤外線タグ６は、ＬＥＤ（Light Emitting Diode）６１及び駆動回路６２を備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３２】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。なお、ＬＥＤ６１及び駆動回路６２は、内部電池（図示省略）から電源を供給されている。
【００３３】
具体的には、駆動回路６２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット(偶数１０、奇数０１)、エンドビット（１１１１））となる。
【００３４】
赤外線検出部２は、赤外線フィルタ２１、レンズ２２、ＣＭＯＳイメージセンサ２３及び画像処理装置２４を備える。赤外線フィルタ２１は、赤外線タグ６のＬＥＤ６１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ２２に近赤外線を導く。赤外線フィルタ２１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。
【００３５】
レンズ２２は、赤外線フィルタ２１を透過した近赤外線をＣＭＯＳイメージセンサ２３上に結像させる。レンズ２２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【００３６】
ＣＭＯＳイメージセンサ２３は、レンズ２２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２４へ出力する。ＣＭＯＳイメージセンサ２３としては、例えば、三菱電機社製人口網膜ＬＳＩ（M６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。
【００３７】
画像処理装置２４は、ＣＭＯＳイメージセンサ２３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２３に撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ１０へ出力する。画像処理装置２４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１２４を用いることができる。
【００３８】
この場合、ＣＭＯＳイメージセンサ２３を１１５２００Ｈｚのクロックで駆動させ、撮像(シャッター開放)後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高遠化することができる。このように、赤外線タグ６の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤ６１を用いて非同期通信を行うことができる。なお、画角９０度のレンズ２２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。
【００３９】
上記のように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６のＩＤ番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００４０】
画像撮影部３は、レンズ３１及びＣＣＤカメラ３２を備える。レンズ３１は、ユーザの視線方向に位置する、赤外線タグ６が取り付けられた対象物を含む可視光像をＣＣＤカメラ３２上に結像させる。ＣＣＤカメラ３２は、可視光画像を撮影して映像信号を携帯型コンピュータ１０へ出力する。レンズ３１及びＣＣＤカメラ３２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ(水平画角４４度)を用いることができる。ここで、レンズ３１の光軸は、赤外線検出部２のレンズ２２の光軸に合わせられており、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００４１】
赤外線タグ４は、ＬＥＤ４１及び駆動回路４２を備える。赤外線タグ４は、検出装置１に一体に構成され、検出装置１を装着するユーザのＩＤ番号を送信する点を除き、赤外線タグ６と同様のハードウェアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたＩＤ番号に応じて点滅する赤外線タグ４を一体に構成して小型化した検出装置１をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【００４２】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４３】
固定検出装置７は、赤外線フィルタ７１、レンズ７２、ＣＭＯＳイメージセンサ７３及び画像処理装置７４を備える。固定検出装置７は、上記の赤外線検出部２と同様に構成され、同様に動作する。但し、レンズ７２の画角は６０度であり、検出装置１のレンズ２２の画角より狭く設定されている。この場合、ＣＭＯＳイメージセンサ７３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ４，６を容易に発見することができる。また、ユーザの頭部に装着された検出装置１だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置７により、ユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を検出することができる。
【００４４】
本実施の形態では、赤外線タグ６が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、ＬＥＤ６１が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、赤外線フィルタ２１、レンズ２２及びＣＭＯＳイメージセンサ２３が撮影手段の一例に相当し、画像処理装置２４が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部３が可視光撮影手段の一例に相当する。また、赤外線タグ４が検出装置用発光装置の一例に相当し、ＬＥＤ４１が発光手段の一例に相当し、駆動回路４２が発光制御手段の一例に相当する。また、固定検出装置７が固定検出装置の一例に相当し、赤外線フィルタ７１、レンズ７２及びＣＭＯＳイメージセンサ７３が撮影手段の一例に相当し、画像処理装置７４が発光装置検出手段及び識別情報検出手段の一例に相当する。
【００４５】
次に、検出装置１の赤外線タグ検出処理について説明する。図３は、図１に示す検出装置１の赤外線タグ検出処理を説明するためのフローチャートである。なお、図３に示す赤外線タグ検出処理は、画像処理装置２４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、固定検出装置７でも同様の処理が行われる。
【００４６】
まず、画像処理装置２４は、ＣＭＯＳイメージセンサ２３等を初期化し（ステップＳ１１）、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する（ステップＳ１２）。次に、画像処理装置２４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ６（ＬＥＤ６１）として抽出し（ステップＳ１３）、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ６を検出することができるので、画像処理装置２４による赤外線タグ検出処理を高速化することができる。
【００４７】
次に、画像処理装置２４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し（ステップＳ１４）、ＣＭＯＳイメージセンサ２３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み（ステップＳ１５）、読み込んだ赤外線画像から赤外線タグ６の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ６の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置２４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。
【００４８】
ここで、パリティチェックが正しければ（ステップＳ１７でＹＥＳ）、画像処理装置２４は、赤外線タグ６のＩＤ番号及びＸＹ座標を出力し（ステップＳ１８）、パリティチェックが正しくなければ（ステップＳ１７でＮＯ）、ステップＳ１５に戻って検出領域の読み込みを再度行う。
【００４９】
最後に、画像処理装置２４は、ステップＳ１３で検出された光点のうち、まだ読み込んでいない光点があれば（ステップＳ１９でＹＥＳ）、当該光点に対してステップＳ１４以降の処理を継続し、読み込んでいない光点がなければ（ステップＳ１９でＮＯ）、ステップＳ１２に戻って赤外線タグ検出処理を繰り返す。
【００５０】
上記のように、本実施の形態では、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ６１の点滅により送信し、ユーザに装着された検出装置１により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ６のＩＤ番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【００５１】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により赤外線タグ６を実現できるので、赤外線タグ６を小型化することができ、また、検出装置１では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ２３等を用いて検出装置１を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【００５２】
次に、上記のように構成された対象物識別システムの応用例について説明する。図４は、図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００５３】
図４に示すように、説明員Ｐ１等が検出装置１を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。赤外線タグ６は、訪問者Ｐ２の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、固定検出装置７が取り付けられている。
【００５４】
上記のように各装置が配置されることにより、例えば、検出装置１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、固定検出装置７により説明員Ｐ１が対象物として識別されるとともに、説明員Ｐ１の周囲の対象物として訪問者Ｐ２、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００５５】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。
【００５６】
【発明の効果】
本発明によれば、対象物に割り付けられた識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現することができるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制し、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができ、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図２】図１に示す検出装置の外観を示す模式的斜視図である。
【図３】図１に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図４】図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ 赤外線タグ
５ マイク部
６ 赤外線タグ
７ 固定検出装置
２１ 赤外線フィルタ
２２ レンズ
２３ ＣＭＯＳイメージセンサ
２４ 画像処理装置
３１ レンズ
３２ ＣＣＤカメラ
４１ ＬＥＤ
４２ 駆動回路
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
７１ 赤外線フィルタ
７２ レンズ
７３ ＣＭＯＳイメージセンサ
７４ 画像処理装置
【発明の属する技術分野】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置に関するものである。
【０００２】
【従来の技術】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照。）。
【０００３】
【非特許文献１】
青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】
松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００５】
本発明の目的は、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システム、当該対象物識別システムに用いられる発光装置及び検出装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明に係る対象物識別システムは、対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出するものである。
【０００７】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【０００８】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【０００９】
また、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により発光装置を検出することができるので、検出装置における検出処理をより高速化することができる。
【００１０】
発光装置検出手段は、赤外線画像から光点を含む検出領域を決定し、撮影手段は、検出領域の赤外線画像を撮影し、識別情報検出手段は、検出領域の赤外線画像を用いて、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することが好ましい。
【００１１】
この場合、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて発光装置の点滅状態を検出して当該発光装置の識別情報を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、検出装置における検出処理をより高速化することができる。
【００１２】
撮影手段は、近赤外線透過フィルタを有し、近赤外線透過フィルタを透過した近赤外線を受光して対象物を含む所定の撮影領域の近赤外線画像を撮影することが好ましい。
【００１３】
この場合、主に近赤外線のみから作成された近赤外線画像を用いて発光装置の識別情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理をより高速化することができる。
【００１４】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１５】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物検出システムの用途を拡大することができる。
【００１６】
対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて検出装置用発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、固定検出装置の撮影手段の画角は、検出装置の撮影手段の画角より狭いことが好ましい。
【００１７】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【００１８】
検出装置は、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１９】
この場合、撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００２３】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、発光装置検出手段は、赤外線画像の中から所定サイズの光点を発光装置として検出するものである。
【００２４】
本発明に係る検出装置においては、取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて検出された発光装置の点滅状態が検出され、発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【００２５】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現できるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【００２６】
【発明の実施の形態】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【００２７】
図１に示す対象物識別システムは、検出装置１、赤外線タグ６及び固定検出装置７を備える。赤外線タグ６は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。検出装置１は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ６から送信される対象物のＩＤ番号及び赤外線タグ６の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ６を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像を携帯型コンピュータ１０へ出力する。携帯型コンピュータ１０は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ１１へ送信する。
【００２８】
また、検出装置１は、ユーザのＩＤ番号を赤外線の点滅により送信する。固定検出装置７は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置１及び赤外線タグ６から送信されるＩＤ番号及び検出装置１及び赤外線タグ６の赤外線画像内のＸＹ座標を検出してサーバ１１へ出力する。
【００２９】
上記のようにして収集された各情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００３０】
検出装置１は、赤外線検出部２、画像撮影部３、赤外線タグ４及びマイク部５を備える。図２は、図１に示す検出装置１の外観を示す模式的斜視図である。図２に示すように、検出装置１は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部２及び画像撮影部３は直方体形状の筺体に一体に内蔵され、赤外線タグ４は筺体の側面に一体に固定され、マイク部５はユーザの口元付近に配置される。また、携帯型コンピュータ１０は、ユーザに背負われて使用され、検出装置１からの各出力が携帯型コンピュータ１０へ供給される。
【００３１】
再び、図１を参照して、赤外線タグ６は、ＬＥＤ（Light Emitting Diode）６１及び駆動回路６２を備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３２】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。なお、ＬＥＤ６１及び駆動回路６２は、内部電池（図示省略）から電源を供給されている。
【００３３】
具体的には、駆動回路６２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット(偶数１０、奇数０１)、エンドビット（１１１１））となる。
【００３４】
赤外線検出部２は、赤外線フィルタ２１、レンズ２２、ＣＭＯＳイメージセンサ２３及び画像処理装置２４を備える。赤外線フィルタ２１は、赤外線タグ６のＬＥＤ６１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ２２に近赤外線を導く。赤外線フィルタ２１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。
【００３５】
レンズ２２は、赤外線フィルタ２１を透過した近赤外線をＣＭＯＳイメージセンサ２３上に結像させる。レンズ２２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【００３６】
ＣＭＯＳイメージセンサ２３は、レンズ２２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２４へ出力する。ＣＭＯＳイメージセンサ２３としては、例えば、三菱電機社製人口網膜ＬＳＩ（M６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。
【００３７】
画像処理装置２４は、ＣＭＯＳイメージセンサ２３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２３に撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ１０へ出力する。画像処理装置２４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１２４を用いることができる。
【００３８】
この場合、ＣＭＯＳイメージセンサ２３を１１５２００Ｈｚのクロックで駆動させ、撮像(シャッター開放)後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高遠化することができる。このように、赤外線タグ６の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤ６１を用いて非同期通信を行うことができる。なお、画角９０度のレンズ２２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。
【００３９】
上記のように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６のＩＤ番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００４０】
画像撮影部３は、レンズ３１及びＣＣＤカメラ３２を備える。レンズ３１は、ユーザの視線方向に位置する、赤外線タグ６が取り付けられた対象物を含む可視光像をＣＣＤカメラ３２上に結像させる。ＣＣＤカメラ３２は、可視光画像を撮影して映像信号を携帯型コンピュータ１０へ出力する。レンズ３１及びＣＣＤカメラ３２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ(水平画角４４度)を用いることができる。ここで、レンズ３１の光軸は、赤外線検出部２のレンズ２２の光軸に合わせられており、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００４１】
赤外線タグ４は、ＬＥＤ４１及び駆動回路４２を備える。赤外線タグ４は、検出装置１に一体に構成され、検出装置１を装着するユーザのＩＤ番号を送信する点を除き、赤外線タグ６と同様のハードウェアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたＩＤ番号に応じて点滅する赤外線タグ４を一体に構成して小型化した検出装置１をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【００４２】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４３】
固定検出装置７は、赤外線フィルタ７１、レンズ７２、ＣＭＯＳイメージセンサ７３及び画像処理装置７４を備える。固定検出装置７は、上記の赤外線検出部２と同様に構成され、同様に動作する。但し、レンズ７２の画角は６０度であり、検出装置１のレンズ２２の画角より狭く設定されている。この場合、ＣＭＯＳイメージセンサ７３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ４，６を容易に発見することができる。また、ユーザの頭部に装着された検出装置１だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置７により、ユーザ及びユーザの視線方向の対象物を検出することができるので、異なる視点からユーザの周囲の状況を検出することができる。
【００４４】
本実施の形態では、赤外線タグ６が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、ＬＥＤ６１が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、赤外線フィルタ２１、レンズ２２及びＣＭＯＳイメージセンサ２３が撮影手段の一例に相当し、画像処理装置２４が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部３が可視光撮影手段の一例に相当する。また、赤外線タグ４が検出装置用発光装置の一例に相当し、ＬＥＤ４１が発光手段の一例に相当し、駆動回路４２が発光制御手段の一例に相当する。また、固定検出装置７が固定検出装置の一例に相当し、赤外線フィルタ７１、レンズ７２及びＣＭＯＳイメージセンサ７３が撮影手段の一例に相当し、画像処理装置７４が発光装置検出手段及び識別情報検出手段の一例に相当する。
【００４５】
次に、検出装置１の赤外線タグ検出処理について説明する。図３は、図１に示す検出装置１の赤外線タグ検出処理を説明するためのフローチャートである。なお、図３に示す赤外線タグ検出処理は、画像処理装置２４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、固定検出装置７でも同様の処理が行われる。
【００４６】
まず、画像処理装置２４は、ＣＭＯＳイメージセンサ２３等を初期化し（ステップＳ１１）、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する（ステップＳ１２）。次に、画像処理装置２４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ６（ＬＥＤ６１）として抽出し（ステップＳ１３）、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ６を検出することができるので、画像処理装置２４による赤外線タグ検出処理を高速化することができる。
【００４７】
次に、画像処理装置２４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し（ステップＳ１４）、ＣＭＯＳイメージセンサ２３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み（ステップＳ１５）、読み込んだ赤外線画像から赤外線タグ６の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ６の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置２４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。
【００４８】
ここで、パリティチェックが正しければ（ステップＳ１７でＹＥＳ）、画像処理装置２４は、赤外線タグ６のＩＤ番号及びＸＹ座標を出力し（ステップＳ１８）、パリティチェックが正しくなければ（ステップＳ１７でＮＯ）、ステップＳ１５に戻って検出領域の読み込みを再度行う。
【００４９】
最後に、画像処理装置２４は、ステップＳ１３で検出された光点のうち、まだ読み込んでいない光点があれば（ステップＳ１９でＹＥＳ）、当該光点に対してステップＳ１４以降の処理を継続し、読み込んでいない光点がなければ（ステップＳ１９でＮＯ）、ステップＳ１２に戻って赤外線タグ検出処理を繰り返す。
【００５０】
上記のように、本実施の形態では、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ６１の点滅により送信し、ユーザに装着された検出装置１により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ６のＩＤ番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。
【００５１】
ここで、対象物の識別情報に応じて赤外線を点滅させるという簡便な構成により赤外線タグ６を実現できるので、赤外線タグ６を小型化することができ、また、検出装置１では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制することができ、検出処理を高速化することができるとともに、特殊な高速カメラ等を用いることなく、小型且つ安価なＣＭＯＳイメージセンサ２３等を用いて検出装置１を構成することができる。したがって、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【００５２】
次に、上記のように構成された対象物識別システムの応用例について説明する。図４は、図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００５３】
図４に示すように、説明員Ｐ１等が検出装置１を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。赤外線タグ６は、訪問者Ｐ２の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、固定検出装置７が取り付けられている。
【００５４】
上記のように各装置が配置されることにより、例えば、検出装置１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、固定検出装置７により説明員Ｐ１が対象物として識別されるとともに、説明員Ｐ１の周囲の対象物として訪問者Ｐ２、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００５５】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。
【００５６】
【発明の効果】
本発明によれば、対象物に割り付けられた識別情報に応じて赤外線を点滅させるという簡便な構成により発光装置を実現することができるので、発光装置を小型化することができ、また、検出装置では赤外線画像を用いて対象物の識別情報を検出しているので、外乱となる可視光領域の波長を有する光による悪影響を抑制し、小型且つ安価なＣＭＯＳイメージセンサ等を用いて検出装置を構成することができ、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図２】図１に示す検出装置の外観を示す模式的斜視図である。
【図３】図１に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図４】図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ 赤外線タグ
５ マイク部
６ 赤外線タグ
７ 固定検出装置
２１ 赤外線フィルタ
２２ レンズ
２３ ＣＭＯＳイメージセンサ
２４ 画像処理装置
３１ レンズ
３２ ＣＣＤカメラ
４１ ＬＥＤ
４２ 駆動回路
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
７１ 赤外線フィルタ
７２ レンズ
７３ ＣＭＯＳイメージセンサ
７４ 画像処理装置
Claims (7)
- 対象物に取り付けられた発光装置と、ユーザに装着された検出装置とを備え、
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、
前記発光装置検出手段は、前記赤外線画像の中から所定サイズの光点を前記発光装置として検出することを特徴とする対象物識別システム。 - 前記発光装置検出手段は、前記赤外線画像から前記光点を含む検出領域を決定し、
前記撮影手段は、前記検出領域の赤外線画像を撮影し、
前記識別情報検出手段は、前記検出領域の赤外線画像を用いて、前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出することを特徴とする請求項１記載の対象物識別システム。 - 前記撮影手段は、近赤外線透過フィルタを有し、前記近赤外線透過フィルタを透過した近赤外線を受光して前記対象物を含む所定の撮影領域の近赤外線画像を撮影することを特徴とする請求項１又は２記載の対象物識別システム。
- 前記検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜３のいずれかに記載の対象物識別システム。 - ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記検出装置用発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された検出装置用発光装置の点滅状態を検出して当該検出装置用発光装置の識別情報を検出する識別情報検出手段とを備え、
前記固定検出装置の撮影手段の画角は、前記検出装置の撮影手段の画角より狭いことを特徴とする請求項４記載の対象物識別システム。 - 前記検出装置は、前記撮影手段の光軸に合わせた光軸を有し、ユーザの視線方向の可視光画像を撮影する可視光撮影手段をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜５のいずれかに記載の対象物識別システム。 - ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段とを備え、
前記発光装置検出手段は、前記赤外線画像の中から所定サイズの光点を前記発光装置として検出することを特徴とする検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378008A JP3762745B2 (ja) | 2002-12-26 | 2002-12-26 | 対象物識別システム、発光装置及び検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378008A JP3762745B2 (ja) | 2002-12-26 | 2002-12-26 | 対象物識別システム、発光装置及び検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004208229A JP2004208229A (ja) | 2004-07-22 |
| JP3762745B2 true JP3762745B2 (ja) | 2006-04-05 |
Family
ID=32815008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002378008A Expired - Fee Related JP3762745B2 (ja) | 2002-12-26 | 2002-12-26 | 対象物識別システム、発光装置及び検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3762745B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043579A (ja) * | 2005-08-04 | 2007-02-15 | Advanced Telecommunication Research Institute International | 対象物識別システム及び検出装置 |
| JP5045447B2 (ja) * | 2008-01-11 | 2012-10-10 | トヨタ自動車株式会社 | 位置情報取得装置、位置推定装置、及び移動体 |
| WO2019142295A1 (ja) * | 2018-01-18 | 2019-07-25 | 三菱電機株式会社 | 機器操作装置、機器操作システムおよび機器操作方法 |
| CN111354018B (zh) * | 2020-03-06 | 2023-07-21 | 合肥维尔慧渤科技有限公司 | 一种基于图像的物体识别方法、装置及系统 |
-
2002
- 2002-12-26 JP JP2002378008A patent/JP3762745B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004208229A (ja) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4284949B2 (ja) | 移動撮影システム、移動撮影方法、及び撮影装置 | |
| US8878949B2 (en) | Camera based interaction and instruction | |
| US20080180537A1 (en) | Camera system and methods | |
| GB2375682A (en) | Use of identification tags to control a camera output. | |
| CN101076996A (zh) | 图像捕获设备和方法 | |
| JP6675064B2 (ja) | 照合装置 | |
| JP2015092646A (ja) | 情報処理装置、制御方法、およびプログラム | |
| JP2007043579A (ja) | 対象物識別システム及び検出装置 | |
| JP2004334269A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2005131713A (ja) | コミュニケーションロボット | |
| JP3762745B2 (ja) | 対象物識別システム、発光装置及び検出装置 | |
| JP2003348424A (ja) | 動きトラッキング装置およびその方法 | |
| JP2007127536A (ja) | 姿勢検出システム及び発光装置 | |
| JP2008072183A (ja) | 撮像装置および撮像方法 | |
| JP2017112504A (ja) | 撮像装置、可視光通信識別情報登録方法、及びプログラム | |
| JP4095537B2 (ja) | 体験表示装置、体験表示方法及び体験表示プログラム | |
| JP6479508B2 (ja) | 手振り翻訳システム | |
| JP2004153674A (ja) | カメラ装置 | |
| JP5534978B2 (ja) | 撮像装置およびその制御方法 | |
| JP6283620B2 (ja) | 所定の空間における生体情報取得装置、生体情報取得方法及び生体情報取得プログラム | |
| JP3936295B2 (ja) | データベース作成装置 | |
| JP2008193563A (ja) | 撮像装置、再生装置、撮像方法、再生方法及びプログラム | |
| JP4012872B2 (ja) | 情報管理装置、情報管理方法及び情報管理プログラム | |
| JP2006092290A (ja) | 不審人物検出装置 | |
| JP4207707B2 (ja) | 撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060113 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |