JP4149692B2 - 画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム - Google Patents
画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム Download PDFInfo
- Publication number
- JP4149692B2 JP4149692B2 JP2001264714A JP2001264714A JP4149692B2 JP 4149692 B2 JP4149692 B2 JP 4149692B2 JP 2001264714 A JP2001264714 A JP 2001264714A JP 2001264714 A JP2001264714 A JP 2001264714A JP 4149692 B2 JP4149692 B2 JP 4149692B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- human body
- omnidirectional
- image processing
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラムに関し、特に、全方位画像を用いた人体動作解析を行う画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
従来より、カメラ画像を用いて人間の行動を識別するために、例えば、ウェラブルコンピュータ、環境設定カメラ、視線検出センサ等を用いたシステムが存在する。
【０００３】
【発明が解決しようとする課題】
しかしながら、ウェラブルコンピュータを用いるシステム、すなわち通常のＣＣＤカメラを眼鏡や帽子に装着し、人間の正面方向の画像を取得するシステムでは、一般にカメラ画像には人間の体またはその一部が映りこまないように設置するため、人間の動作の解析は困難であるという問題点がある。
【０００４】
また、環境設置カメラを用いるシステム、すなわち人間とは離れた位置に設置されたカメラを用いて人間の動作を解析するシステムでは、画像フレームの中から人間の頭部や腕や足等のセグメントを切り出す処理が必要となり、画像の中で人体が存在する位置が不明確かつ広範囲であるため、その切り出し処理が困難になるという問題点がある。
【０００５】
さらに、人間の行動を広く捉えると、眼球運動の検出、すなわち視線検出も人間の動作検出の一種であるが、従来の視線検出センサを用いたシステム、すなわち視線方向を検出するために眼球運動をカメラ等のセンサで計測するシステムでは、視線方向を検出するセンサと人間が見ている方向の画像を取得するセンサが別々のデバイスであるために、両者の間で厳密なキャリブレーションが必要となるという問題点がある。
【０００６】
本発明の目的は、上記問題点に鑑み、全方位センサを人体に装着し、人間の身辺の画像を取得するとともに、人体の一部も画像フレームの中に入れて撮影することにより、人体の動作を効率的に識別することができる画像処理システム、画像処理装置、画像処理方法および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、全方位撮影装置と画像処理装置とを含む画像処理システムにおいて、前記全方位撮影装置は、全方位の画像を撮影する全方位画像撮影手段と、前記全方位画像撮影手段により撮影した全方位画像を前記画像処理装置に送信する手段とを備え、前記画像処理装置は、前記全方位画像を用いて人体の動作を解析する人体動作解析手段を備え、前記人体動作解析手段は、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出することを特徴とする。
【０００８】
これにより、本発明の画像処理システムは、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００１０】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００１１】
請求項３に記載の発明は、請求項１に記載の画像処理システムにおいて、前記人体動作解析手段は、特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、前記対応に従って、任意の眼球位置の視線方向を算出する手段とをさらに備え、前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出することを特徴とする。
【００１２】
これにより、本発明の画像処理システムは、容易に視線方向の算出を行うことが可能になる。
【００１３】
請求項４に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理装置において、前記全方位画像を受信する手段と、前記全方位画像を用いて人体の動作を解析する人体動作解析手段であって、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象前記動作対称検出関数を用いてを解析して前記全方位画像中に検出する人体動作解析手段とを備えたことを特徴とする。
【００１４】
これにより、本発明の画像処理装置は、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００１５】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００１６】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理装置は、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００１７】
請求項６に記載の発明は、請求項４に記載の画像処理装置において、前記人体動作解析手段は、特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、前記対応に従って、任意の眼球位置の視線方向を算出する手段とをさらに備え、前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出することを特徴とする。
【００１８】
これにより、本発明の画像処理装置は、容易に視線方向の算出を行うことが可能になる。
【００１９】
請求項７に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法において、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップとを備えることを特徴とする。
【００２０】
これにより、本発明の画像処理方法は、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００２１】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００２２】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理方法は、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００２３】
請求項９に記載の発明は、請求項７に記載の画像処理方法において、前記人体動作解析ステップは、既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備え、前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出することを特徴とする。
【００２４】
これにより、本発明の画像処理方法は、容易に視線方向の算出を行うことが可能になる。
【００２５】
請求項１０に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体において、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記動作対称検出関数を用いて前記人体の動作の対象を解析し前記全方位画像中に検出する人体動作解析ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体であることを特徴とする。
【００２６】
これにより、本発明の記録媒体によれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載の記録媒体において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００２８】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の記録媒体によれば、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００２９】
請求項１２に記載の発明は、請求項１０に記載の記録媒体において、前記人体動作解析ステップは、特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備えることを特徴とする。
【００３０】
これにより、本発明の記録媒体によれば、容易に視線方向の算出を行うことが可能になる。
【００３１】
請求項１３に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムにおいて、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。
【００３２】
これにより、本発明のプログラムによれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００３３】
請求項１４に記載の発明は、請求項１３に記載のプログラムにおいて、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００３４】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明のプログラムによれば、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００３５】
請求項１５に記載の発明は、請求項１３に記載のプログラムにおいて、前記人体動作解析ステップは、既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備え、前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出することを特徴とする。
【００３６】
これにより、本発明のプログラムによれば、容易に視線方向の算出を行うことが可能になる。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００３８】
（第１実施形態）
図１は、本発明の第１実施形態に係る人体動作解析システムの構成の一例を示す図であり、該システムの構成のうち本発明に関係する部分のみを概念的に示している。
【００３９】
人体動作解析システムは、眼鏡のレンズの間または両端、肩の上もしくは頭頂部等に装着された全方位画像撮影装置１０と、無線手段（例えば、Ｂｌｕｅｔｏｏｔｈ等の局所無線や無線ＬＡＮ等を含む）を介して全方位画像撮影装置１０から送信される画像情報を処理して人体動作を解析する画像処理装置１００とを含んで成る。
【００４０】
図２は、本発明の全方位画像撮影装置１０の構成の一例を示す図であり、該装置の構成のうち本発明に関係する部分のみを概念的に示している。
【００４１】
全方位画像撮影装置１０は、少なくとも、各種の制御を行う制御部３０と、画像処理装置１００等との間で信号の送受信を行う送受信部３２と、全方位画像撮影部２０で撮影した画像をはじめ、各種データを記憶する記憶部３４と、ボタン等により構成され、ユーザの意思を入力するための入力部３６とから構成される。
【００４２】
本実施形態において、記憶部３４には画像変換用のプログラムが格納されており、制御部３０は該プログラムに従って、全方位画像撮影部２０で撮影した画像を通常の画像に変換している（例えば、本来直線のものを直線に見えるようにする）。変換した画像は、表示部（図示せず）に表示してもよい。なお、画像変換は、全方位画像撮影部２０で撮影した画像を他の端末（画像処理装置１００等）に送信して該端末で行うこともでき、その場合は、全方位画像撮影装置１０のうちの例えば記憶部３４等を省略することもできる。
【００４３】
また、本実施形態においては、全方位画像撮影装置１０のユーザは、全方位画像撮影部２０で撮影した画像（変換後の画像を含む）の一部を取り出すことができる。取り出しは、例えば、表示部（図示せず）で画像を見ながら入力部３６で領域を指定することにより行うことができる。より具体的には、例えば、入力部３６にジョグダイヤルを設け、画像の表示部分を変更して、取り出したい部分を選択できるようにすることができる。そして、取り出した画像を他の端末に送ることができる。また、全方位画像撮影部２０で撮影した画像を他の端末（例えば画像処理装置１００）に送信して該端末でその一部を取り出すようにすることもできる（必要であれば、全方位画像撮影装置１０で画像変換を行ってから送信してもよいし、送信後取り出し前に該他の端末で画像変換を行ってもよい）。
【００４４】
図３は、全方位画像撮影装置１０の一例を示す図である。図３に示す全方位画像撮影装置自体は公知であり、全方位センサ、例えば凸面鏡２２およびこの凸面鏡２２の頂部と対向する位置に同一軸線に沿って配置されたカメラ２４を有する。凸面鏡２２とカメラ２４とを透明な外筒２６に装着する。図３に示す全方位画像撮影装置では、凸面鏡２２で、カメラ光軸を中心とした３６０度の全方位からの光を、カメラレンズに集光するようにしている。これにより、カメラ光軸を中心とした３６０度の視野範囲の全方位を撮影することができる。なお、外筒２６の内面での反射を防止するために、その内面に反射防止膜をコーティングしたり、あるいは、例えば特開平１１−１７４６０３号公報に開示されているような円錐体形状の棒状体を凸面鏡２２の頂部に設け、その棒状体の先端側が凸面鏡２２の軸線延長上をカメラ２４に向けて延在させてもよい。
【００４５】
図４は、全方位画像撮影装置１０の別の一例を示す図である。図４に示すように、全方位画像装置としては、図３に示すものよりもさらに小さいものを用いることもできる。
【００４６】
全方位画像撮影装置としては、図３や図４に示したものに限られず、全方位の画像を撮影できるものであればどのようなものを用いてもよい。例えば、全方位の画像を取得できるセンサとして魚眼レンズを搭載したカメラや、図３や図４で用いている双曲面や２次関数の鏡面を持ったもの以外に、平面ミラーを回転させるタイプのものなど様々なものがある。さらに、多数カメラを搭載したものや、カメラを回転させるものもある。全方位画像撮影装置としては多くのものが知られており、具体例としては、特開平１１−１７４６０３号公報、特開平６−１４１２１１号公報、特開平４−１０５４７６号公報、「円すいミラーを用いた全方位視覚センサによる位置情報の獲得（八木他，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．１，ｐｐ．１９−２６，１９９１年１月）、「移動ロボットのナビゲーションのための全方位視覚センサ」（山澤他，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．６９８−７０７，１９９６年５月）等に記載されたものが挙げられる。
【００４７】
図５は、本発明が適用される画像処理装置１００の構成の一例を示す図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
【００４８】
本発明の画像処理装置１００は、少なくとも、システム全体を統括的に制御する、プログラムされた主制御部（制御手段、以下ＣＰＵと略称する）１０２と、ＣＰＵ１０２にバス１０４を介して接続される、マウス等の各種ポインティングデバイスやキーボードやイメージスキャナやデジタイザ等から成る入力装置１０６、入力データのモニタに用いる表示装置１０８、各種監査結果その他のデータを出力するプリンタ等の出力装置１１０、および、通信回線（有線／無線、ＬＡＮ／インターネット、アナログ／デジタルを含む）等に接続するモデムやターミナルアダプタやＤＳＵ等から成る通信ポート１１２から構成される。また、入力装置１０６、表示装置１０８および出力装置１１０は、それぞれ入出力インターフェースを介してＣＰＵ１０２に接続されてもよい。
【００４９】
ＣＰＵ１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の画像処理および人体動作解析処理を実行するための情報処理を行う。記憶装置１２０は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理に用いる各種のテーブルやファイルやデータベース等を格納し、少なくとも、後述する視線方向算出関数１２２を格納する。入力装置１０６は、ユーザが各種データを入力する入力手段であり、画面上のメニュを選択しデータを入力するためのマウス、キーボードや、イメージスキャナ等を含んで成る。表示装置１０８は、各種メニュ画面や、処理結果等を表示する機能を有し、例えばディスプレイ装置等である。出力装置１１０は、処理結果を紙等の媒体に出力する機能を有し、例えばプリンタ装置等である。通信ポート１１２は、全方位画像撮影装置１０や他の端末と通信を介してデータを通信する機能を有する。また、画像処理装置１００は、既知のパーソナルコンピュータ、ワークステーションまたはＰＤＡ等の情報処理装置にプリンタやディスプレイやイメージスキャナ等の周辺装置を接続し、該情報処理装置に本発明の人体動作解析方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【００５０】
次に、このように構成された本実施の形態における人体動作解析システムの動作の一例について、以下に図６乃至図８を参照して詳細に説明する。
【００５１】
本発明の人体動作解析システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にする。すなわち、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易となる。また、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。
【００５２】
図６は、左肩の上に全方位視覚センサを装備し、特に左手の動きを検出した場合の全方位画像の一例を示す図である。
【００５３】
図６に示す例によれば、常に図の中心部分に左手が存在し、右部分に前方の物体が存在し、左部分に後方の物体が存在しているため、左手の動作の検出が容易となる。このように、画像中の人体の肩位置に対する手の存在可能な範囲は限定されているので、例えば、腕の部分のテクスチャを解析することにより、画像中の手の存在範囲を推定することが可能になる。
【００５４】
なお、図６に示す画像は一例にすぎず、他の画像においても、人体の部分を同範囲に固定的に表示するような画像を用いることにより、画像中の当該部分の存在範囲を推定することが可能となり、また、例えば、全方位画像中の人体の正面または背面の情報についても肩の存在位置を特定することにより、その存在範囲を制約することができる。同様のことは、全方位視覚センサを頭頂部やその他の位置に搭載した場合にも当てはまる。
【００５５】
図７は、眼鏡のレンズの間に全方位視覚センサを装備し、特に眼球の動きを検出した場合の全方位画像の一例を示す図である。
【００５６】
図７に示す例によれば、全方位視覚センサの方向を調整することで、常に図の中央部分に人の顔が存在し、図の左右部分に前方の物体に存在する物体を撮影することが可能である。この画像において顔の眼球位置を検出することで視線方向および視線方向にある物体を検出することが容易に可能となる。すなわち、図の左右部分に前方の物体が存在しているため、眼球の黒目の位置を検出することにより視線方向の検出が容易になる。
【００５７】
図８は、眼鏡のレンズの左端に全方位視覚センサを装備し、特に左目の眼球の動きを検出した場合の全方位画像の一例を示す図である。
【００５８】
図８に示す例によれば、常に図の右部分に左目の眼球が存在し、図の左部分に頭部正面方向、すなわち視線方向の物体が存在するため、眼球の動作および眼球運動による視線方向の物体を同時に撮影することが可能となる。
【００５９】
上述したように、画像中に映っている人体の一部（例えば、肩、手、眼球、鼻等）が拘束条件となり、人間の動作解析に際して画像処理の簡略化を図ることができる。
【００６０】
また、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００６１】
さらに、常に撮影される目や鼻や肩等の位置を特徴点として用いて、装着時の誤差を修正することも可能となる。
【００６２】
図９は、本発明の第１実施形態が適用される人間動作解析システムにおける視線検出処理の一例を示すフロー図であり、該処理のうち本発明に関係する部分のみを概念的に示している。ここで、図９において説明する各ステップは、図５で説明した画像処理装置１００のハードウェア構成図中の１０２において実行されるプログラム等により実現される。
【００６３】
ここで、視線検出の方法として、例えば、全方位センサに対して既知の位置にあるＬＥＤを見せて、その方向を見るということを繰り返し、画像中のＬＥＤ位置（特徴点）と黒目の位置の対応を取ることで視線方向を算出する関数を決定してもよい。また、既知の位置にあるＬＥＤというような厳密な方法ではなく、ＰＣの画面上に提示された特徴マーカ（特徴点）と撮像されている背景の変化を比較してもよい。さらに、「ＬＥＤを見せてその方向を見ることを繰り返す」ということを各画素に対して全て行い、そのデータを予めテーブル化してもよい。
【００６４】
以下に、キャリブレーションを厳密に行う方法として、
１．全方位センサ搭載のメガネをかけたユーザの視界の中で位置（方向）が既知のＬＥＤを提示する
２．ユーザはＬＥＤの方向を見る
３．画像中の黒目の重心位置を算出する
４．黒目の重心位置と既知のＬＥＤの位置（方向）を対応付ける関数を決定する方法を一例に説明する。
【００６５】
キャリブレーションを行う前には，黒目の位置と見ている方向の対応が取れていないが、キャリブレーション後は両者対応付けられる。
【００６６】
まず、センサの装着が検知され、画像処理装置１００から全方位画像を受信する（ステップＳ９０２）。
【００６７】
ついで、１２０に格納された視線方向算出関数（動作対象検出関数の一例）１２２を初期化する（ステップＳ９０４）。「視線方向算出関数１２２」とは、視線内にある特徴的な画像部分である複数の「特徴点」の間の位置を補完して視線方向を算出するための関数をいう。
【００６８】
ついで、カウンタｉを０で初期化する（ステップＳ９０６）。
【００６９】
ついで、キャリブレーションのための特徴点の提示数Ｎと、ｉとを比較する（ステップＳ９１０）。
【００７０】
ｉよりＮが小さい場合には、特徴点を提示し、センサの装着者はその方向を見る（ステップＳ９１６）。
【００７１】
ついで、キャリブレーションのための画像を取得し（ステップＳ９１８）、この画像を基に視線方向を決定する関数を算出する。
【００７２】
ついで、取得した画像上での眼球（黒目）位置と特徴点提示方向の対応付けを行う（ステップＳ９２０）。例えば、眼鏡搭載のセンサの場合には、眼球の存在する範囲は画像上である程度限定されるため、対応付けの簡素化を図ることができる。
【００７３】
ついで、ｉをインクリメントし（ステップＳ９２４）、ステップＳ９１０に戻る。
【００７４】
また、全ての特徴点についてステップＳ９１６乃至ステップＳ９２４までの処理を行うと、キャリブレーションによって得られた関数を基に通常作業中に視線検出を行う視線方向算出フェーズを実行する。
【００７５】
まず、全ての特徴点について、ステップＳ９２０の対応付けの結果に従って視線方向算出関数の更新を行う（ステップＳ９１１）。
【００７６】
ついで、例えば、秒３０Ｆｒａｍｅ分、カメラで連続的に画像を取得しながら（ステップＳ９１２）、視線方向算出関数に基づいて視線方向の検出を行う（ステップＳ９１４）。なお、オフラインで視線検出をするのであれば、取得した画像を後から解析して視線検出してもよい。
【００７７】
（第２実施形態）
人間動作解析システムは第１実施形態のように無線通信手段（例えば、Ｂｌｕｅｔｏｏｔｈ等の局所無線や無線ＬＡＮ等を含む）を介して全方位画像撮影装置１０から送信される画像情報を画像処理装置１００において画像処理して人体動作を解析するほか、本実施形態（第２実施形態）のように有線通信手段により画像情報を送信することもできる。
【００７８】
図１０は、本発明の第２実施形態に係る人間動作解析システムの外観の一例を示す図である。ここで、図１と同一の符号を付した部分は、同一の機能を有するため説明を省略する。
【００７９】
なお、全方位センサ（例えば、図３や図４に示したもの）を通常のカメラに装着することでも全方位の画像を撮影することができる。そして、カメラを携帯端末に接続すれば、画像を携帯端末に取り込むことができる。
【００８０】
（他の実施の形態）
上述した実施の形態においては、各実施形態を独立に実現する場合を一例に説明したが、本発明はこの場合に限定されるものではなく、他の実施の形態においては、各実施形態を適宜組み合わせて実施することができることは当業者にとって自明である。
【００８１】
上述した実施の形態においては、全方位画像撮影装置１０と画像処理装置１００とを独立の筐体として実現する場合を一例に説明したが、本発明はこの場合に限定されるものではなく、他の実施の形態においては、これらを適宜相互に組み合わせて１つの筐体として実施することができることは当業者にとって自明である。
【００８２】
以上述べた形態以外にも種々の変形が可能である。しかしながら、その変形が特許請求の範囲に記載された技術思想に基づくものである限り、その変形は本発明の技術範囲内となる。
【００８３】
さらにまた、本発明の他の実施の形態において、上述したプログラムされたメインＣＰＵ１０２等により実行される処理は、記録媒体（例えば、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等）または伝送媒体（例えば、デジタルデータストリーム、搬送波等）にプログラムの形態で記録させておき、任意のコンピュータのメモリ等にロードすることにより、個々の装置毎に必要なときいつでも実行させることが可能である。すなわち、本発明の他の実施形態において、本発明はコンピュータ・システムにおいてＣＰＵにロードされ実行されるコンピュータプログラム製品として実施することができる。本発明の各手段を定義するプログラムは、多くのフォーム（形態）でコンピュータにインストールすることができるのは当業者には自明である。これらのフォームの例としては、（ａ）コンピュータで使用可能な非書き込み記憶媒体（例えば、コンピュータの入出力装置によって読取ることのできるＲＯＭ、ＣＤ−ＲＯＭディスク、ＤＶＤ−ＲＯＭディスク等）中に永久的に保持されている情報のフォーム、（ｂ）コンピュータで使用可能な書き込み可能な記憶媒体（例えば、ＲＡＭ、フロッピー（登録商標）ディスクおよびハードディスク駆動装置等）中に、前もって保持されている情報のフォーム、（ｃ）例えばデジタルデータストリームまたは搬送波に乗せられたコンピュータデータ信号等のごとく、モデム等の通信制御装置を用いて電話回線、ネットワークのような伝送媒体を介してコンピュータに伝達される情報のフォーム、などがあり、本発明はこれらのフォームに限定されるものではない。従って、本発明の人体動作解析方法を管理する、コンピュータで読取り可能なプログラムを記録した媒体は、本発明の他の実施の形態を与えることは当業者にとって自明である。
【００８４】
【発明の効果】
以上詳細に説明したように、本発明によれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００８５】
また、本発明によれば、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００８６】
さらに、本発明によれば、容易に視線方向の算出を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る人体動作解析システムの構成の一例を示す図である。
【図２】本発明の全方位画像撮影装置１０の構成の一例を示す図である。
【図３】全方位画像撮影装置１０の一例を示す図である。
【図４】全方位画像撮影装置１０の別の一例を示す図である。
【図５】本発明が適用される画像処理装置１００の構成の一例を示す図である。
【図６】左肩の上に全方位視覚センサを装備し、特に左腕の動きを検出した場合の全方位画像の一例を示す図である。
【図７】眼鏡のレンズの間に全方位視覚センサを装備し、特に眼球の動きを検出した場合の全方位画像の一例を示す図である。
【図８】眼鏡のレンズの左端に全方位視覚センサを装備し、特に左目の眼球の動きを検出した場合の全方位画像の一例を示す図である。
【図９】本発明の第１実施形態が適用される人間動作解析システムにおける視線検出処理の一例を示すフロー図である。
【図１０】本発明の第２実施形態に係る人間動作解析システムの外観の一例を示す図である。
【符号の説明】
１０ 全方位画像撮影装置
２０ 全方位画像撮影部
２２ 凸面鏡
２４ カメラ
２６ 外筒
３０ 制御部
３２ 送受信部
３４ 記憶部
３６ 入力部
１００ 画像処理装置
１０２ ＣＰＵ
１０４ バス
１０６ 入力装置
１０８ 表示装置
１１０ 出力装置
１１２ 通信ポート
１２０ 記憶装置
１２２ 視線方向算出関数
【発明の属する技術分野】
本発明は、画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラムに関し、特に、全方位画像を用いた人体動作解析を行う画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
従来より、カメラ画像を用いて人間の行動を識別するために、例えば、ウェラブルコンピュータ、環境設定カメラ、視線検出センサ等を用いたシステムが存在する。
【０００３】
【発明が解決しようとする課題】
しかしながら、ウェラブルコンピュータを用いるシステム、すなわち通常のＣＣＤカメラを眼鏡や帽子に装着し、人間の正面方向の画像を取得するシステムでは、一般にカメラ画像には人間の体またはその一部が映りこまないように設置するため、人間の動作の解析は困難であるという問題点がある。
【０００４】
また、環境設置カメラを用いるシステム、すなわち人間とは離れた位置に設置されたカメラを用いて人間の動作を解析するシステムでは、画像フレームの中から人間の頭部や腕や足等のセグメントを切り出す処理が必要となり、画像の中で人体が存在する位置が不明確かつ広範囲であるため、その切り出し処理が困難になるという問題点がある。
【０００５】
さらに、人間の行動を広く捉えると、眼球運動の検出、すなわち視線検出も人間の動作検出の一種であるが、従来の視線検出センサを用いたシステム、すなわち視線方向を検出するために眼球運動をカメラ等のセンサで計測するシステムでは、視線方向を検出するセンサと人間が見ている方向の画像を取得するセンサが別々のデバイスであるために、両者の間で厳密なキャリブレーションが必要となるという問題点がある。
【０００６】
本発明の目的は、上記問題点に鑑み、全方位センサを人体に装着し、人間の身辺の画像を取得するとともに、人体の一部も画像フレームの中に入れて撮影することにより、人体の動作を効率的に識別することができる画像処理システム、画像処理装置、画像処理方法および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、全方位撮影装置と画像処理装置とを含む画像処理システムにおいて、前記全方位撮影装置は、全方位の画像を撮影する全方位画像撮影手段と、前記全方位画像撮影手段により撮影した全方位画像を前記画像処理装置に送信する手段とを備え、前記画像処理装置は、前記全方位画像を用いて人体の動作を解析する人体動作解析手段を備え、前記人体動作解析手段は、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出することを特徴とする。
【０００８】
これにより、本発明の画像処理システムは、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００１０】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００１１】
請求項３に記載の発明は、請求項１に記載の画像処理システムにおいて、前記人体動作解析手段は、特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、前記対応に従って、任意の眼球位置の視線方向を算出する手段とをさらに備え、前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出することを特徴とする。
【００１２】
これにより、本発明の画像処理システムは、容易に視線方向の算出を行うことが可能になる。
【００１３】
請求項４に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理装置において、前記全方位画像を受信する手段と、前記全方位画像を用いて人体の動作を解析する人体動作解析手段であって、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象前記動作対称検出関数を用いてを解析して前記全方位画像中に検出する人体動作解析手段とを備えたことを特徴とする。
【００１４】
これにより、本発明の画像処理装置は、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００１５】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００１６】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理装置は、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００１７】
請求項６に記載の発明は、請求項４に記載の画像処理装置において、前記人体動作解析手段は、特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、前記対応に従って、任意の眼球位置の視線方向を算出する手段とをさらに備え、前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出することを特徴とする。
【００１８】
これにより、本発明の画像処理装置は、容易に視線方向の算出を行うことが可能になる。
【００１９】
請求項７に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法において、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップとを備えることを特徴とする。
【００２０】
これにより、本発明の画像処理方法は、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００２１】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００２２】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理方法は、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００２３】
請求項９に記載の発明は、請求項７に記載の画像処理方法において、前記人体動作解析ステップは、既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備え、前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出することを特徴とする。
【００２４】
これにより、本発明の画像処理方法は、容易に視線方向の算出を行うことが可能になる。
【００２５】
請求項１０に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体において、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記動作対称検出関数を用いて前記人体の動作の対象を解析し前記全方位画像中に検出する人体動作解析ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体であることを特徴とする。
【００２６】
これにより、本発明の記録媒体によれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載の記録媒体において、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００２８】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の記録媒体によれば、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００２９】
請求項１２に記載の発明は、請求項１０に記載の記録媒体において、前記人体動作解析ステップは、特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備えることを特徴とする。
【００３０】
これにより、本発明の記録媒体によれば、容易に視線方向の算出を行うことが可能になる。
【００３１】
請求項１３に記載の発明は、全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムにおいて、既知の特徴点を提示するステップと、全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、前記キャリブレーション用画像を受信するステップと、前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、前記全方位画像撮影装置が全方位画像を撮影するステップと、前記全方位画像を受信するステップと、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。
【００３２】
これにより、本発明のプログラムによれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００３３】
請求項１４に記載の発明は、請求項１３に記載のプログラムにおいて、前記全方位画像は、前記人体の一部の画像を含むことを特徴とする。
【００３４】
これにより、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明のプログラムによれば、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００３５】
請求項１５に記載の発明は、請求項１３に記載のプログラムにおいて、前記人体動作解析ステップは、既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、前記対応に従って、任意の眼球位置の視線方向を算出するステップとをさらに備え、前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出することを特徴とする。
【００３６】
これにより、本発明のプログラムによれば、容易に視線方向の算出を行うことが可能になる。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００３８】
（第１実施形態）
図１は、本発明の第１実施形態に係る人体動作解析システムの構成の一例を示す図であり、該システムの構成のうち本発明に関係する部分のみを概念的に示している。
【００３９】
人体動作解析システムは、眼鏡のレンズの間または両端、肩の上もしくは頭頂部等に装着された全方位画像撮影装置１０と、無線手段（例えば、Ｂｌｕｅｔｏｏｔｈ等の局所無線や無線ＬＡＮ等を含む）を介して全方位画像撮影装置１０から送信される画像情報を処理して人体動作を解析する画像処理装置１００とを含んで成る。
【００４０】
図２は、本発明の全方位画像撮影装置１０の構成の一例を示す図であり、該装置の構成のうち本発明に関係する部分のみを概念的に示している。
【００４１】
全方位画像撮影装置１０は、少なくとも、各種の制御を行う制御部３０と、画像処理装置１００等との間で信号の送受信を行う送受信部３２と、全方位画像撮影部２０で撮影した画像をはじめ、各種データを記憶する記憶部３４と、ボタン等により構成され、ユーザの意思を入力するための入力部３６とから構成される。
【００４２】
本実施形態において、記憶部３４には画像変換用のプログラムが格納されており、制御部３０は該プログラムに従って、全方位画像撮影部２０で撮影した画像を通常の画像に変換している（例えば、本来直線のものを直線に見えるようにする）。変換した画像は、表示部（図示せず）に表示してもよい。なお、画像変換は、全方位画像撮影部２０で撮影した画像を他の端末（画像処理装置１００等）に送信して該端末で行うこともでき、その場合は、全方位画像撮影装置１０のうちの例えば記憶部３４等を省略することもできる。
【００４３】
また、本実施形態においては、全方位画像撮影装置１０のユーザは、全方位画像撮影部２０で撮影した画像（変換後の画像を含む）の一部を取り出すことができる。取り出しは、例えば、表示部（図示せず）で画像を見ながら入力部３６で領域を指定することにより行うことができる。より具体的には、例えば、入力部３６にジョグダイヤルを設け、画像の表示部分を変更して、取り出したい部分を選択できるようにすることができる。そして、取り出した画像を他の端末に送ることができる。また、全方位画像撮影部２０で撮影した画像を他の端末（例えば画像処理装置１００）に送信して該端末でその一部を取り出すようにすることもできる（必要であれば、全方位画像撮影装置１０で画像変換を行ってから送信してもよいし、送信後取り出し前に該他の端末で画像変換を行ってもよい）。
【００４４】
図３は、全方位画像撮影装置１０の一例を示す図である。図３に示す全方位画像撮影装置自体は公知であり、全方位センサ、例えば凸面鏡２２およびこの凸面鏡２２の頂部と対向する位置に同一軸線に沿って配置されたカメラ２４を有する。凸面鏡２２とカメラ２４とを透明な外筒２６に装着する。図３に示す全方位画像撮影装置では、凸面鏡２２で、カメラ光軸を中心とした３６０度の全方位からの光を、カメラレンズに集光するようにしている。これにより、カメラ光軸を中心とした３６０度の視野範囲の全方位を撮影することができる。なお、外筒２６の内面での反射を防止するために、その内面に反射防止膜をコーティングしたり、あるいは、例えば特開平１１−１７４６０３号公報に開示されているような円錐体形状の棒状体を凸面鏡２２の頂部に設け、その棒状体の先端側が凸面鏡２２の軸線延長上をカメラ２４に向けて延在させてもよい。
【００４５】
図４は、全方位画像撮影装置１０の別の一例を示す図である。図４に示すように、全方位画像装置としては、図３に示すものよりもさらに小さいものを用いることもできる。
【００４６】
全方位画像撮影装置としては、図３や図４に示したものに限られず、全方位の画像を撮影できるものであればどのようなものを用いてもよい。例えば、全方位の画像を取得できるセンサとして魚眼レンズを搭載したカメラや、図３や図４で用いている双曲面や２次関数の鏡面を持ったもの以外に、平面ミラーを回転させるタイプのものなど様々なものがある。さらに、多数カメラを搭載したものや、カメラを回転させるものもある。全方位画像撮影装置としては多くのものが知られており、具体例としては、特開平１１−１７４６０３号公報、特開平６−１４１２１１号公報、特開平４−１０５４７６号公報、「円すいミラーを用いた全方位視覚センサによる位置情報の獲得（八木他，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．１，ｐｐ．１９−２６，１９９１年１月）、「移動ロボットのナビゲーションのための全方位視覚センサ」（山澤他，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．６９８−７０７，１９９６年５月）等に記載されたものが挙げられる。
【００４７】
図５は、本発明が適用される画像処理装置１００の構成の一例を示す図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
【００４８】
本発明の画像処理装置１００は、少なくとも、システム全体を統括的に制御する、プログラムされた主制御部（制御手段、以下ＣＰＵと略称する）１０２と、ＣＰＵ１０２にバス１０４を介して接続される、マウス等の各種ポインティングデバイスやキーボードやイメージスキャナやデジタイザ等から成る入力装置１０６、入力データのモニタに用いる表示装置１０８、各種監査結果その他のデータを出力するプリンタ等の出力装置１１０、および、通信回線（有線／無線、ＬＡＮ／インターネット、アナログ／デジタルを含む）等に接続するモデムやターミナルアダプタやＤＳＵ等から成る通信ポート１１２から構成される。また、入力装置１０６、表示装置１０８および出力装置１１０は、それぞれ入出力インターフェースを介してＣＰＵ１０２に接続されてもよい。
【００４９】
ＣＰＵ１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の画像処理および人体動作解析処理を実行するための情報処理を行う。記憶装置１２０は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理に用いる各種のテーブルやファイルやデータベース等を格納し、少なくとも、後述する視線方向算出関数１２２を格納する。入力装置１０６は、ユーザが各種データを入力する入力手段であり、画面上のメニュを選択しデータを入力するためのマウス、キーボードや、イメージスキャナ等を含んで成る。表示装置１０８は、各種メニュ画面や、処理結果等を表示する機能を有し、例えばディスプレイ装置等である。出力装置１１０は、処理結果を紙等の媒体に出力する機能を有し、例えばプリンタ装置等である。通信ポート１１２は、全方位画像撮影装置１０や他の端末と通信を介してデータを通信する機能を有する。また、画像処理装置１００は、既知のパーソナルコンピュータ、ワークステーションまたはＰＤＡ等の情報処理装置にプリンタやディスプレイやイメージスキャナ等の周辺装置を接続し、該情報処理装置に本発明の人体動作解析方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【００５０】
次に、このように構成された本実施の形態における人体動作解析システムの動作の一例について、以下に図６乃至図８を参照して詳細に説明する。
【００５１】
本発明の人体動作解析システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にする。すなわち、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易となる。また、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。
【００５２】
図６は、左肩の上に全方位視覚センサを装備し、特に左手の動きを検出した場合の全方位画像の一例を示す図である。
【００５３】
図６に示す例によれば、常に図の中心部分に左手が存在し、右部分に前方の物体が存在し、左部分に後方の物体が存在しているため、左手の動作の検出が容易となる。このように、画像中の人体の肩位置に対する手の存在可能な範囲は限定されているので、例えば、腕の部分のテクスチャを解析することにより、画像中の手の存在範囲を推定することが可能になる。
【００５４】
なお、図６に示す画像は一例にすぎず、他の画像においても、人体の部分を同範囲に固定的に表示するような画像を用いることにより、画像中の当該部分の存在範囲を推定することが可能となり、また、例えば、全方位画像中の人体の正面または背面の情報についても肩の存在位置を特定することにより、その存在範囲を制約することができる。同様のことは、全方位視覚センサを頭頂部やその他の位置に搭載した場合にも当てはまる。
【００５５】
図７は、眼鏡のレンズの間に全方位視覚センサを装備し、特に眼球の動きを検出した場合の全方位画像の一例を示す図である。
【００５６】
図７に示す例によれば、全方位視覚センサの方向を調整することで、常に図の中央部分に人の顔が存在し、図の左右部分に前方の物体に存在する物体を撮影することが可能である。この画像において顔の眼球位置を検出することで視線方向および視線方向にある物体を検出することが容易に可能となる。すなわち、図の左右部分に前方の物体が存在しているため、眼球の黒目の位置を検出することにより視線方向の検出が容易になる。
【００５７】
図８は、眼鏡のレンズの左端に全方位視覚センサを装備し、特に左目の眼球の動きを検出した場合の全方位画像の一例を示す図である。
【００５８】
図８に示す例によれば、常に図の右部分に左目の眼球が存在し、図の左部分に頭部正面方向、すなわち視線方向の物体が存在するため、眼球の動作および眼球運動による視線方向の物体を同時に撮影することが可能となる。
【００５９】
上述したように、画像中に映っている人体の一部（例えば、肩、手、眼球、鼻等）が拘束条件となり、人間の動作解析に際して画像処理の簡略化を図ることができる。
【００６０】
また、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００６１】
さらに、常に撮影される目や鼻や肩等の位置を特徴点として用いて、装着時の誤差を修正することも可能となる。
【００６２】
図９は、本発明の第１実施形態が適用される人間動作解析システムにおける視線検出処理の一例を示すフロー図であり、該処理のうち本発明に関係する部分のみを概念的に示している。ここで、図９において説明する各ステップは、図５で説明した画像処理装置１００のハードウェア構成図中の１０２において実行されるプログラム等により実現される。
【００６３】
ここで、視線検出の方法として、例えば、全方位センサに対して既知の位置にあるＬＥＤを見せて、その方向を見るということを繰り返し、画像中のＬＥＤ位置（特徴点）と黒目の位置の対応を取ることで視線方向を算出する関数を決定してもよい。また、既知の位置にあるＬＥＤというような厳密な方法ではなく、ＰＣの画面上に提示された特徴マーカ（特徴点）と撮像されている背景の変化を比較してもよい。さらに、「ＬＥＤを見せてその方向を見ることを繰り返す」ということを各画素に対して全て行い、そのデータを予めテーブル化してもよい。
【００６４】
以下に、キャリブレーションを厳密に行う方法として、
１．全方位センサ搭載のメガネをかけたユーザの視界の中で位置（方向）が既知のＬＥＤを提示する
２．ユーザはＬＥＤの方向を見る
３．画像中の黒目の重心位置を算出する
４．黒目の重心位置と既知のＬＥＤの位置（方向）を対応付ける関数を決定する方法を一例に説明する。
【００６５】
キャリブレーションを行う前には，黒目の位置と見ている方向の対応が取れていないが、キャリブレーション後は両者対応付けられる。
【００６６】
まず、センサの装着が検知され、画像処理装置１００から全方位画像を受信する（ステップＳ９０２）。
【００６７】
ついで、１２０に格納された視線方向算出関数（動作対象検出関数の一例）１２２を初期化する（ステップＳ９０４）。「視線方向算出関数１２２」とは、視線内にある特徴的な画像部分である複数の「特徴点」の間の位置を補完して視線方向を算出するための関数をいう。
【００６８】
ついで、カウンタｉを０で初期化する（ステップＳ９０６）。
【００６９】
ついで、キャリブレーションのための特徴点の提示数Ｎと、ｉとを比較する（ステップＳ９１０）。
【００７０】
ｉよりＮが小さい場合には、特徴点を提示し、センサの装着者はその方向を見る（ステップＳ９１６）。
【００７１】
ついで、キャリブレーションのための画像を取得し（ステップＳ９１８）、この画像を基に視線方向を決定する関数を算出する。
【００７２】
ついで、取得した画像上での眼球（黒目）位置と特徴点提示方向の対応付けを行う（ステップＳ９２０）。例えば、眼鏡搭載のセンサの場合には、眼球の存在する範囲は画像上である程度限定されるため、対応付けの簡素化を図ることができる。
【００７３】
ついで、ｉをインクリメントし（ステップＳ９２４）、ステップＳ９１０に戻る。
【００７４】
また、全ての特徴点についてステップＳ９１６乃至ステップＳ９２４までの処理を行うと、キャリブレーションによって得られた関数を基に通常作業中に視線検出を行う視線方向算出フェーズを実行する。
【００７５】
まず、全ての特徴点について、ステップＳ９２０の対応付けの結果に従って視線方向算出関数の更新を行う（ステップＳ９１１）。
【００７６】
ついで、例えば、秒３０Ｆｒａｍｅ分、カメラで連続的に画像を取得しながら（ステップＳ９１２）、視線方向算出関数に基づいて視線方向の検出を行う（ステップＳ９１４）。なお、オフラインで視線検出をするのであれば、取得した画像を後から解析して視線検出してもよい。
【００７７】
（第２実施形態）
人間動作解析システムは第１実施形態のように無線通信手段（例えば、Ｂｌｕｅｔｏｏｔｈ等の局所無線や無線ＬＡＮ等を含む）を介して全方位画像撮影装置１０から送信される画像情報を画像処理装置１００において画像処理して人体動作を解析するほか、本実施形態（第２実施形態）のように有線通信手段により画像情報を送信することもできる。
【００７８】
図１０は、本発明の第２実施形態に係る人間動作解析システムの外観の一例を示す図である。ここで、図１と同一の符号を付した部分は、同一の機能を有するため説明を省略する。
【００７９】
なお、全方位センサ（例えば、図３や図４に示したもの）を通常のカメラに装着することでも全方位の画像を撮影することができる。そして、カメラを携帯端末に接続すれば、画像を携帯端末に取り込むことができる。
【００８０】
（他の実施の形態）
上述した実施の形態においては、各実施形態を独立に実現する場合を一例に説明したが、本発明はこの場合に限定されるものではなく、他の実施の形態においては、各実施形態を適宜組み合わせて実施することができることは当業者にとって自明である。
【００８１】
上述した実施の形態においては、全方位画像撮影装置１０と画像処理装置１００とを独立の筐体として実現する場合を一例に説明したが、本発明はこの場合に限定されるものではなく、他の実施の形態においては、これらを適宜相互に組み合わせて１つの筐体として実施することができることは当業者にとって自明である。
【００８２】
以上述べた形態以外にも種々の変形が可能である。しかしながら、その変形が特許請求の範囲に記載された技術思想に基づくものである限り、その変形は本発明の技術範囲内となる。
【００８３】
さらにまた、本発明の他の実施の形態において、上述したプログラムされたメインＣＰＵ１０２等により実行される処理は、記録媒体（例えば、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等）または伝送媒体（例えば、デジタルデータストリーム、搬送波等）にプログラムの形態で記録させておき、任意のコンピュータのメモリ等にロードすることにより、個々の装置毎に必要なときいつでも実行させることが可能である。すなわち、本発明の他の実施形態において、本発明はコンピュータ・システムにおいてＣＰＵにロードされ実行されるコンピュータプログラム製品として実施することができる。本発明の各手段を定義するプログラムは、多くのフォーム（形態）でコンピュータにインストールすることができるのは当業者には自明である。これらのフォームの例としては、（ａ）コンピュータで使用可能な非書き込み記憶媒体（例えば、コンピュータの入出力装置によって読取ることのできるＲＯＭ、ＣＤ−ＲＯＭディスク、ＤＶＤ−ＲＯＭディスク等）中に永久的に保持されている情報のフォーム、（ｂ）コンピュータで使用可能な書き込み可能な記憶媒体（例えば、ＲＡＭ、フロッピー（登録商標）ディスクおよびハードディスク駆動装置等）中に、前もって保持されている情報のフォーム、（ｃ）例えばデジタルデータストリームまたは搬送波に乗せられたコンピュータデータ信号等のごとく、モデム等の通信制御装置を用いて電話回線、ネットワークのような伝送媒体を介してコンピュータに伝達される情報のフォーム、などがあり、本発明はこれらのフォームに限定されるものではない。従って、本発明の人体動作解析方法を管理する、コンピュータで読取り可能なプログラムを記録した媒体は、本発明の他の実施の形態を与えることは当業者にとって自明である。
【００８４】
【発明の効果】
以上詳細に説明したように、本発明によれば、全方位画像を用いるので、容易に人体動作の解析を行うことが可能になる。
【００８５】
また、本発明によれば、人体の一部も画像フレームの中に入れて撮影するので、人体の動作を効率的に識別することができる。すなわち、本発明の画像処理システムは、例えば、手の動作検出の際は、人体の大きさや関節の可動方向、可動範囲等を含んだ人体モデルを用いることにより、人体の動作の検出をより容易にすることができる。また、人体のモデルとして肩、腕、手先が連続しているという拘束条件を考慮すると、左肩から画像として連続する範囲を探索すれば右手先の検出が容易になる。さらに、肩の位置に対する手の可動範囲も人体では当然制限されるわけであるが、これは画像中でも手先の存在範囲が限定されるため、全画像中に対して手の位置を広範囲で探索する必要がなくなり動作検出が容易となる。さらにまた、例えば、視線検出のための眼球運動と人間が実際に見ている方向の画像が１つのセンサで撮像できるため、キャリブレーションの簡略化を図ることができる。
【００８６】
さらに、本発明によれば、容易に視線方向の算出を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る人体動作解析システムの構成の一例を示す図である。
【図２】本発明の全方位画像撮影装置１０の構成の一例を示す図である。
【図３】全方位画像撮影装置１０の一例を示す図である。
【図４】全方位画像撮影装置１０の別の一例を示す図である。
【図５】本発明が適用される画像処理装置１００の構成の一例を示す図である。
【図６】左肩の上に全方位視覚センサを装備し、特に左腕の動きを検出した場合の全方位画像の一例を示す図である。
【図７】眼鏡のレンズの間に全方位視覚センサを装備し、特に眼球の動きを検出した場合の全方位画像の一例を示す図である。
【図８】眼鏡のレンズの左端に全方位視覚センサを装備し、特に左目の眼球の動きを検出した場合の全方位画像の一例を示す図である。
【図９】本発明の第１実施形態が適用される人間動作解析システムにおける視線検出処理の一例を示すフロー図である。
【図１０】本発明の第２実施形態に係る人間動作解析システムの外観の一例を示す図である。
【符号の説明】
１０ 全方位画像撮影装置
２０ 全方位画像撮影部
２２ 凸面鏡
２４ カメラ
２６ 外筒
３０ 制御部
３２ 送受信部
３４ 記憶部
３６ 入力部
１００ 画像処理装置
１０２ ＣＰＵ
１０４ バス
１０６ 入力装置
１０８ 表示装置
１１０ 出力装置
１１２ 通信ポート
１２０ 記憶装置
１２２ 視線方向算出関数
Claims (15)
- 全方位撮影装置と画像処理装置とを含む画像処理システムにおいて、
前記全方位撮影装置は、
全方位の画像を撮影する全方位画像撮影手段と、
前記全方位画像撮影手段により撮影した全方位画像を前記画像処理装置に送信する手段とを備え、
前記画像処理装置は、
前記全方位画像を用いて人体の動作を解析する人体動作解析手段を備え、
前記人体動作解析手段は、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出することを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
前記全方位画像は、前記人体の一部の画像を含むことを特徴とする画像処理システム。 - 請求項１に記載の画像処理システムにおいて、
前記人体動作解析手段は、
特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、
前記対応に従って、任意の眼球位置の視線方向を算出する手段と
をさらに備え、
前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出する
ことを特徴とする画像処理システム。 - 全方位撮影装置から送信される全方位画像を画像処理する画像処理装置において、
前記全方位画像を受信する手段と、
前記全方位画像を用いて人体の動作を解析する人体動作解析手段であって、既知の特徴点を提示して前記全方位画像撮影手段で撮像したキャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対象検出関数を算出し、前記人体の動作の対象を前記動作対称検出関数を用いて解析して前記全方位画像中に検出する人体動作解析手段と
を備えたことを特徴とする画像処理装置。 - 請求項４に記載の画像処理装置において、
前記全方位画像は、前記人体の一部の画像を含むことを特徴とする画像処理装置。 - 請求項４に記載の画像処理装置において、
前記人体動作解析手段は、
特徴点と該特徴点を見ているときの眼球位置との対応を記録する手段と、
前記対応に従って、任意の眼球位置の視線方向を算出する手段と
をさらに備え、
前記眼球位置の視線方向を算出する手段によって前記動作対象検出関数を算出する
ことを特徴とする画像処理装置。 - 全方位撮影装置から送信される全方位画像を画像処理する画像処理方法において、
既知の特徴点を提示するステップと、
全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、
前記キャリブレーション用画像を受信するステップと、
前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、
前記全方位画像撮影装置が全方位画像を撮影するステップと、
前記全方位画像を受信するステップと、
前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップと
を備えることを特徴とする画像処理方法。 - 請求項７に記載の画像処理方法において、
前記全方位画像は、前記人体の一部の画像を含むことを特徴とする画像処理方法。 - 請求項７に記載の画像処理方法において、
前記人体動作解析ステップは、
既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、
前記対応に従って、任意の眼球位置の視線方向を算出するステップと
をさらに備え、
前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出する
ことを特徴とする画像処理方法。 - 全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体において、
既知の特徴点を提示するステップと、
全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、
前記キャリブレーション用画像を受信するステップと、
前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、
前記全方位画像撮影装置が全方位画像を撮影するステップと、
前記全方位画像を受信するステップと、
前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。 - 請求項１０に記載の記録媒体において、
前記全方位画像は、前記人体の一部の画像を含むことを特徴とする記録媒体。 - 請求項１０に記載の記録媒体において、
前記人体動作解析ステップは、
特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、
前記対応に従って、任意の眼球位置の視線方向を算出するステップと
をさらに備えることを特徴とする記録媒体。 - 全方位撮影装置から送信される全方位画像を画像処理する画像処理方法をコンピュータに実行させるためのプログラムにおいて、
既知の特徴点を提示するステップと、
全方位画像撮影装置が、前記特徴点の提示に応じて撮像しキャリブレーション用画像を得るステップと、
前記キャリブレーション用画像を受信するステップと、
前記キャリブレーション用画像及び人体の動きの拘束条件に基づいて動作対称検出関数を算出するステップと、
前記全方位画像撮影装置が全方位画像を撮影するステップと、
前記全方位画像を受信するステップと、
前記人体の動作の対象を前記動作対称検出関数を用いて解析し前記全方位画像中に検出する人体動作解析ステップと
をコンピュータに実行させるためのプログラム。 - 請求項１３に記載のプログラムにおいて、
前記全方位画像は、前記人体の一部の画像を含むことを特徴とするプログラム。 - 請求項１３に記載のプログラムにおいて、
前記人体動作解析ステップは、
既知の特徴点と該特徴点を見ているときの眼球位置との対応を記録するステップと、
前記対応に従って、任意の眼球位置の視線方向を算出するステップと
をさらに備え、
前記眼球位置の視線方向を算出するステップによって前記動作対象検出関数を算出する
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001264714A JP4149692B2 (ja) | 2000-09-01 | 2001-08-31 | 画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000266096 | 2000-09-01 | ||
| JP2000-266096 | 2000-09-01 | ||
| JP2001264714A JP4149692B2 (ja) | 2000-09-01 | 2001-08-31 | 画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002150273A JP2002150273A (ja) | 2002-05-24 |
| JP4149692B2 true JP4149692B2 (ja) | 2008-09-10 |
Family
ID=26599122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001264714A Expired - Fee Related JP4149692B2 (ja) | 2000-09-01 | 2001-08-31 | 画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4149692B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8886298B2 (en) | 2004-03-01 | 2014-11-11 | Microsoft Corporation | Recall device |
-
2001
- 2001-08-31 JP JP2001264714A patent/JP4149692B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002150273A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086726B (zh) | 一种基于ar智能眼镜的局部图像识别方法及系统 | |
| WO2019216491A1 (en) | A method of analyzing objects in images recorded by a camera of a head mounted device | |
| Li et al. | openEyes: a low-cost head-mounted eye-tracking solution | |
| US11301677B2 (en) | Deep learning for three dimensional (3D) gaze prediction | |
| KR100949743B1 (ko) | 고글 형태를 갖는 착용형 시선 추적 장치 및 방법 | |
| WO2014128789A1 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
| JPWO2011158511A1 (ja) | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 | |
| US20210264684A1 (en) | Fitting of glasses frames including live fitting | |
| JP2018196730A (ja) | 眼の位置を監視するための方法およびシステム | |
| US11619813B2 (en) | Coordinating an eye-mounted imager with an external camera | |
| JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
| US20240312150A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| JP2012217524A (ja) | 視線測定装置および視線測定プログラム | |
| JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
| JP2015197803A (ja) | 行動記録装置、行動記録方法及びプログラム | |
| US20230047470A1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| CN112153319B (zh) | 基于视频通信技术的ar信息显示方法和装置 | |
| JP4149692B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、記録媒体およびプログラム | |
| CN106461982A (zh) | 用于确定至少一个行为参数的方法 | |
| JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
| US20240312146A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| US20240312147A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| US20240312248A1 (en) | Apparatus and methods for augmenting vision with region-of-interest based processing | |
| JP6266580B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
| CN113615155B (zh) | 用于显示控制的装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041008 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080222 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080530 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080626 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4149692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |