JP6235161B1

JP6235161B1 - 信号出力装置および撮像装置

Info

Publication number: JP6235161B1
Application number: JP2016555846A
Authority: JP
Inventors: 実稲見
Original assignee: Blincam
Current assignee: Blincam
Priority date: 2016-02-26
Filing date: 2016-02-26
Publication date: 2017-11-22
Anticipated expiration: 2036-02-26
Also published as: WO2017145382A1; JPWO2017145382A1; EP3421926A1; US20190028635A1; CN108779974A

Abstract

検出精度を高める。撮像装置１は、人体に非接触の位置に配置され、電界を発生させる電界発生用アンテナ３２と、発生させた電界の変位を検出する電界変化認識部３３と、電界変化認識部３３の検出に応じて信号を出力するＣＰＵ３１と、を有する。

Description

本発明は信号出力装置および撮像装置に関する。

センサの検出結果に基づいて、外部機器に制御信号を出力する装置が知られている。

例えば、人間の下顎の動きに伴う表皮の変動を検出する少なくとも１つのセンサと、表皮の変動に基づいて制御信号を生成する信号生成部とを備える装置が知られている。

また、ヘッドフォンを用いた視線インタフェースが提案されている。具体的には、ヘッドフォンが装着される両耳近傍の位置に複数の電極を貼り付けることにより、人間の眼球運動に伴うＥＯＧを検出信号として検出し、例えば、カルマンフィルタを用いることによって人間の視線の方向を推定する装置が知られている。

特開２００８−３０４４５１号公報

真鍋宏幸、福本雅朗、「ヘッドフォンを用いた常時装用視線インタフェース」、インタラクション２００６論文集、社団法人情報処理学会、２００６年、ｐ２３−２４

センサに光センサを用いた場合を考える。この場合、太陽光の下では太陽光の光の方が強いため、センサの検出精度が落ちるという問題がある。
また、人体に接触するセンサを用いると、装着および取り外しが煩わしかったり、外観を損ねたりするという問題がある。
１つの側面では、本発明は、検出精度を高めることを目的とする。

上記目的を達成するために、開示の信号出力装置が提供される。この信号出力装置は、人体に非接触の位置に配置され、電界を発生させる発生部と、発生させた電界の変位を検出する検出部と、検出部の検出に応じて信号を出力する信号出力部と、を有する。

１態様では、検出精度を高めることを目的とする。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

実施の形態の撮像装置を示す図である。実施の形態の撮像装置のハードウェア構成を示す図である。ＲＡＭに記憶されるパラメータの一例を示す図である。ＲＡＭに記憶されるデータの一例を示す図である。実施の形態の撮像装置の全体処理を説明するフローチャートである。キャリブレーション処理を説明するフローチャートである。キャリブレーション実行決定処理を説明するフローチャートである。センサモニタリング処理を説明するフローチャートである。シャッター決定処理を説明するフローチャートである。

以下、実施の形態の撮像装置を、図面を参照して詳細に説明する。
＜実施の形態＞
図１は、実施の形態の撮像装置を示す図である。
図１（ａ）は、撮像装置を斜めから見た図であり、図１（ｂ）は、撮像装置を正面から見た図である。

第１の実施の形態の撮像装置１は、眼鏡型の装置である。なお、実施の形態では眼鏡型の装置として説明するが、これに限らず、ハンズフリーで顔近傍に装着できるようになっていれば、装置の形状は特に限定されない。
撮像装置１は、耳に取り付ける取付部を備え顔の一部に装着されるフレーム２と、制御部３とを備えている。
制御部３は、フレーム２を介して目と反対側に配置されている。
図２は、実施の形態の撮像装置のハードウェア構成を示す図である。

制御部３は、ハウジング（ケーシング）３０と、ＣＰＵ３１と、電界発生用アンテナ３２と、電界変化認識部３３と、カメラ３４と、メモリ３５と、通信インタフェース３６とを備えている。
制御部３は、ＣＰＵ（Central Processing Unit）３１によって装置全体が制御されている。

ＣＰＵ３１が備えるＲＡＭ（Random Access Memory）は、撮像装置１の主記憶装置として使用される。ＲＡＭには、ＣＰＵ３１に実行させるプログラムの少なくとも一部が格納される。また、ＲＡＭには、ＣＰＵ３１による処理に使用する各種データが格納される。
また、ＣＰＵ３１は、カメラ３４のシャッターを切るためのシャッター信号を生成する。
電界発生用アンテナ３２は、ＣＰＵ３１の指示に応じて電界を発生させる。図２では、発生する電界のイメージを点線で図示している。
電界発生用アンテナ３２は、電極面から最大１５ｃｍ離れた面で挟む空間に電界を作り出す。

電界変化認識部３３は、電界発生用アンテナ３２が発生した電界の変化を検出する。具体的には、電界変化認識部３３は、例えば、目や目尻、眉間、こめかみ等、人体の動き（特に顔面の動き）変化を検出する。そして、電界変化認識部３３は、検出した変化量に応じた大きさのアナログ信号（アナログ検出信号）を出力する。

この電界変化認識部３３は、電界の変化を検出可能な箇所（軸）を複数設定できる。このため、例えば、目の変化に着目した場合は、まばたきの検知以外にも、眼球の動きを検出（眼球が左右上下どこをみているか、眼球がどこにフォーカスしているか）したり、複雑なまばたきの検知（まばたきの強弱や複数回まばたきの検知）をしたりすることが可能となる。また、目と眉間、目とこめかみ等、複数の動きを検知することもできる。
以下、一例としてまばたきを検出してカメラ３４のシャッターを切る場合を説明する。

電界変化認識部３３は、ハウジング３０内部に収納しても電極面から最大１５cm離れた面で挟む空間内のまばたきを検出可能なので、カメラ方式や赤外線方式のようにケースに穴を開ける必要がない。また、周囲の光／音に影響されず、まばたき動作を検出することができる。
ＣＰＵ３１は、電界変化認識部３３が出力したアナログ検出信号をデジタル化してＲＡＭに記憶する。
なお、電界変化認識部３３としては、例えば、マイクロチップ社のＭＧＣ３０３０や、ＭＧＣ３１３０等の制御ＩＣが挙げられる。
カメラ３４は、撮像素子を備え、ＣＰＵ３１からシャッター信号が送られてくると、シャッターを切る。

カメラ３４に用いる撮像素子の種別としては、例えばＣＣＤ（Charged-coupled devices）や、ＣＭＯＳ（Complementary metal-oxide-semiconductor）等が挙げられる。

内蔵メモリ３５は、カメラ３４により撮像されたデータの書き込みおよび読み出しを行う。なお、内蔵メモリ３５としては、例えばフラッシュメモリ等の半導体記憶装置が挙げられる。

通信インタフェース３６は、他のコンピュータまたは通信機器にデータを送信する。通信インタフェース３６としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
次に、ＲＡＭに記憶される情報を説明する。
図３は、ＲＡＭに記憶されるパラメータの一例を示す図である。
図３では、パラメータがテーブル化されて記憶されている。
パラメータ管理テーブルＴ１には、パラメータ、および数値の欄が設けられている。横方向に並べられた情報同士が互いに関連づけられている。
パラメータの欄には、ＣＰＵ３１の処理に用いるパラメータが設定されている。
ＣＭＡの欄には、後述するキャリブレーション処理により得られたアナログ検出信号の最頻値が設定される。
閾値の欄には、シャッターを押すか否かを決める際の閾値が設定される。閾値の値は、後述するキャリブレーション実行決定処理により決定される。
ＳＭＡの欄には、後述するシャッター決定処理の際に、閾値を超えた値が格納される。
ＳＣＮＴの欄には、シャッター処理の際に、閾値を超えた回数が格納される。

ＳＦＬＡＧの欄には、ＣＰＵ３１がカメラ３４にシャッターを切らせるか否かを識別するための値が格納される。この欄に「１」が格納されれば、ＣＰＵ３１は、カメラ３４のシャッターを切るためのシャッター信号を生成する。
図４は、ＲＡＭに記憶されるデータの一例を示す図である。
図４では、データがテーブル化されて記憶されている。
データ管理テーブルＴ１には、ＩＤ、および数値の欄が設けられている。横方向に並べられた情報同士が互いに関連づけられている。
ＩＤの欄には、ＣＰＵ３１がアナログ検出信号をデジタル化した単位（分解能）が設定される。
取得値の欄には、ＣＰＵ３１がアナログ検出信号をデジタル化した信号の値が格納される。
次に、撮像装置１の処理を、フローチャートを用いて説明する。
図５は、実施の形態の撮像装置の全体処理を説明するフローチャートである。
［ステップＳ１］電源が投入されると、ＣＰＵ３１は、電界発生用アンテナ３２に電界を発生させる。その後、ステップＳ２に遷移する。

［ステップＳ２］ＣＰＵ３１は、メインループを初期化する。具体的には、ＣＰＵ３１は、パラメータ管理テーブルＴ１の数値の欄に設定されている数値を０にリセットする。そして、閾値の欄に、予め決定された初期値を設定する。その後、ステップＳ３に遷移する。

［ステップＳ３］ＣＰＵ３１は、キャリブレーション処理を実行し、状況に応じてキャリブレーションを行う。なお、キャリブレーション処理の処理内容については、後に詳述する。その後、ステップＳ４に遷移する。

［ステップＳ４］ＣＰＵ３１は、センサモニタリング処理を実行し、状況に応じてシャッターを切るか否かを決定する。ＣＰＵ３１は、シャッターを切ると判断した場合は、パラメータ管理テーブルＴ１のＳＧＬＡＧの欄の数値を「１」に設定する。なお、センサモニタリング処理の処理内容については、後に詳述する。その後、ステップＳ５に遷移する。

［ステップＳ５］ＣＰＵ３１は、ステップＳ４にてシャッターを切ると判断した場合にシャッターを切るためのシャッター信号をカメラ３４に送るシャッター信号出力処理を実行する。具体的には、ＣＰＵ３１は、パラメータ管理テーブルＴ１のＳＧＬＡＧの欄を参照する。そしてＳＧＦＬＡＧが「１」であれば、シャッターを切るためのシャッター信号をカメラ３４に送る。その後、ステップＳ６に遷移する。

［ステップＳ６］ＣＰＵ３１は、電源オフか否かを判断する。電源オフではない場合（ステップＳ６のＮｏ）、ステップＳ２に遷移し、ステップＳ２以降の処理を引き続き実行する。電源オフの場合（ステップＳ６のＹｅｓ）、図５の処理を終了する。
なお、全体処理の１ループ辺りの処理時間は、一例として１０００ｍｓである。

ステップ毎の処理時間は、一例としてステップＳ２が０ｍｓ−２ｍｓ、ステップＳ３のキャリブレーション処理が３ｍｓ−１００ｍｓ、ステップＳ４のセンサモニタリング処理が１０１ｍｓ−９９８ｍｓである。
次に、ステップＳ３のキャリブレーション処理をフローチャートを用いて説明する。
図６は、キャリブレーション処理を説明するフローチャートである。

［ステップＳ３ａ］ＣＰＵ３１は、電界変化認識部３３からアナログ検出信号の入力を受け付ける。ＣＰＵ３１は、受け付けたアナログ検出信号をデジタル化し、データ管理テーブルＴ２の取得値の欄に格納していく。その後、ステップＳ３ｂに遷移する。

［ステップＳ３ｂ］ＣＰＵ３１は、キャリブレーションを実行するか否かを決定するキャリブレーション実行決定処理を実行する。処理内容については、後に詳述する。その後、キャリブレーション処理を終了する。
以上でキャリブレーション処理の説明を終了する。
次に、ステップＳ３ｂのキャリブレーション実行決定処理をフローチャートを用いて説明する。
図７は、キャリブレーション実行決定処理を説明するフローチャートである。

［ステップＳ３ｂ１］ＣＰＵ３１は、アナログデータ管理テーブルＴ２の取得値の欄を参照する。そして、取得値の最頻値を決定する。そして、ＣＰＵ３１は決定した最頻値をパラメータ管理テーブルのＣＭＡの欄に設定する。その後、ステップＳ３ｂ２に遷移する。

［ステップＳ３ｂ２］ＣＰＵ３１は、キャリブレーションを実行するか否かを判断する。具体的には、パラメータ管理テーブルＴ１のＣＭＡの欄に格納されている数値と、閾値の欄に格納されている数値とを比較する。そして、両方の値が予め定めた値以上離れている場合、キャリブレーションを実行すると判断する。キャリブレーションを実行する場合（ステップＳ３ｂ２のＹｅｓ）、ステップＳ３ｂ３に遷移する。キャリブレーションを実行しない場合（ステップＳ３ｂ２のＮｏ）、キャリブレーション実行決定処理を終了する。

［ステップＳ３ｂ３］ＣＰＵ３１は、パラメータ管理テーブルＴ１のＣＭＡの欄に格納されている値を閾値の欄に設定（上書き）する。その後、キャリブレーション実行決定処理を終了する。
なお、キャリブレーション実行決定処理の処理時間は、一例として４８ｍｓ−１００ｍｓである。
次に、ステップＳ４のセンサモニタリング処理をフローチャートを用いて説明する。
図８は、センサモニタリング処理を説明するフローチャートである。

［ステップＳ４ａ］ＣＰＵ３１は、電界変化認識部３３から検出信号の入力を受け付ける。ＣＰＵ３１は、受け付けた検出信号をアナログデータ管理テーブルＴ２の取得値の欄に格納していく。その後、ステップＳ４ｂに遷移する。

［ステップＳ４ｂ］ＣＰＵ３１は、シャッターを押すか否かを決定するシャッター決定処理を実行する。処理内容については、後に詳述する。その後、センサモニタリング処理を終了する。
以上でセンサモニタリング処理の説明を終了する。
次に、ステップＳ４ｂのシャッター決定処理をフローチャートを用いて説明する。
図９は、シャッター決定処理を説明するフローチャートである。

［ステップＳ４ｂ１］ＣＰＵ３１は、パラメータ管理テーブルＴ１とデータ管理テーブルＴ２を参照する。そして、ＣＰＵ３１は、データ管理テーブルＴ２の各取得値のうち、閾値を超えた回数が何回あったかを計数する。そして、閾値を超えた回数があった場合、超えた値をパラメータ管理テーブルＴ１のＳＭＡの欄に格納する。また、閾値を超えた回数をパラメータ管理テーブルＴ１のＳＣＮＴの欄に格納する。その後、ステップＳ４ｂ２に遷移する。

［ステップＳ４ｂ２］ＣＰＵ３１は、パラメータ管理テーブルＴ１を参照する。そして、ＳＭＡの欄に格納されている値と、ＳＣＮＴの欄に格納されている値を用いてシャッターを押すか否かを決定する。具体的には、ＣＰＵ３１は、ＳＭＡの欄に格納されている値が予め定めた値以上、かつ、ＳＣＮＴの回数が予め定めた回数以上の場合（ステップＳ４ｂ２のＹｅｓ）、ステップＳ４ｂ３に遷移する。ＳＭＡの欄に格納されている値が予め定めた値未満、または、ＳＣＮＴの回数が予め定めた回数未満である場合（ステップＳ４ｂ２のＮｏ）、シャッター決定処理を終了する。
［ステップＳ４ｂ３］ＣＰＵ３１は、パラメータ管理テーブルＴ１のＳＦＬＡＧの欄に「１」を設定する。その後、シャッター決定処理を終了する。
なお、シャッター決定処理の処理時間は、一例として４５０ｍｓ−９９８ｍｓである。

なお、本実施の形態ではステップＳ４ｂ１にて回数を計数したが、閾値を超えた時間を計測してもよい。この場合、ステップＳ４ｂ２では、ＣＰＵ３１は、ＳＭＡの欄に格納されている値が予め定めた値より大きく、かつ、閾値を超えた時間が一定時間より長い場合、ステップＳ４ｂ３に遷移する。

本実施の形態のシャッター決定処理を実行することにより、意識的な人体の動きの変化を検出したときはシャッターを切ることを決定し、無意識な（自然な）人体の動きによりシャッターを切ることを抑制することができる。

以上述べたように、撮像装置１によれば、電極をハウジング内部に収納しても電極面から最大１５ｃｍ程度離れた面で挟む空間内の人間の動作（例えばまばたき等）を検出可能である。このため、カメラで顔の動きを撮像してシャッターを切る方式や、赤外線で顔の動きを検知してシャッターを切る方式のようにケースに穴を開ける必要がない。また、フレーム２を介して目と反対側に配置することも可能である。さらに、周囲の光／音に影響されないで人間の動作の検出が可能である。

さらに、前述したように、電界変化認識部３３は、電界の変化を検出可能な箇所（軸）を複数設定できる。このため、例えば、目の変化に着目した場合は、まばたきの検知以外にも、眼球の動きを検出（眼球が左右上下どこをみているか、眼球がどこにフォーカスしているか）したり、複雑なまばたきの検知（まばたきの強弱や複数回まばたきの検知）をしたりすることが可能となる。また、目と眉間、目とこめかみ等、複数の動きを検知することもできる。このため、予め設定しておいた人体の複数の動作パターンを検出させることにより、撮像装置１に複数の機能を実行させることもできる。例えば、人体の意図的なまばたき動作を検出したときにはカメラ３４のシャッターを切って静止画を撮像する。人体の意図的なまばたき動作を２回連続で検出したときにはカメラ３４のシャッターを切って動画像を撮像する等が可能となる。

なお、本実施の形態では、カメラを制御部３に含めて一体的なモジュールとした。しかし、これに限らず、カメラを含まない信号出力装置として用いてもよい。この信号出力装置の用途としては、例えば、電子機器の動作のＯＮ、ＯＦＦ（例えば、車のエンジンのスターターや、自宅の電子ドアの施錠、解錠や、テレビのＯＮ／ＯＦＦやチャンネル操作、コンピューターのマウスのような複雑な操作等）に用いることができる。

以上、本発明の信号出力装置および撮像装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
また、本発明は、前述した実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

１撮像装置
２フレーム
３制御部
３０ハウジング
３１ＣＰＵ
３２電界発生用アンテナ
３３電界変化認識部
３４カメラ
３５メモリ
３６通信インタフェース
Ｔ１パラメータ管理テーブル
Ｔ２データ管理テーブル

Claims

撮像部と、
電界を発生させる横長形状の発生部と、
第１の閾値と第２の閾値とを記憶する記憶部と、
前記発生部が発生させた電界の変化の大きさと、前記記憶部に記憶された第１の閾値が所定値以上離れている場合に、前記発生部が発生させた電界の変化の大きさを前記記憶部に記憶される第１の閾値として設定する設定部と、
前記撮影者のこめかみ又は目尻の近傍の複数の箇所の動きによって生じる前記発生部が発生させた電界の変化の大きさが第１の閾値を超え、かつ、前記電界の変化の大きさが第１の閾値を超えた時間が第２の閾値を超えた場合、又は前記電界の変化の大きさが第１の閾値を超えた回数が前記第２の閾値を超えた場合に、前記撮像部が撮像する信号を生成する処理部と、
眼鏡のテンプルに撮像装置を装着するためのものであって、前記発生部から撮影者の方向に電界を発生させ、かつ、前記発生部の横長形状の長手方向が、前記テンプルに沿うように、前記撮像装置を装着するための取付部を備える撮像装置。
撮像部と、第１の閾値と第２の閾値とを記憶する記憶部と、電界を発生させる横長形状の発生部と、前記発生部が発生させた電界の変化に基づいて前記撮像部が撮像する信号を生成する処理部とを備えた撮像装置を用いた撮像方法であって、
発生部の横長形状の長手方向が眼鏡のテンプルに沿うように前記撮像装置が配置された状態で、前記発生部から撮影者の方向に電界を発生させる第１のステップと、
前記発生部が発生させた電界の変化の大きさと、前記記憶部に記憶された第１の閾値が所定値以上離れている場合に、前記発生部が発生させた電界の変化の大きさを前記記憶部に記憶される第１の閾値として設定する第２のステップと、
前記撮影者のこめかみ又は目尻の近傍の複数の箇所の動きによって生じる前記発生部が発生させた電界の変化の大きさが第１の閾値を超え、かつ、前記電界の変化の大きさが第１の閾値を超えた時間が第２の閾値を超えた場合、又は前記電界の変化の大きさが第１の閾値を超えた回数が前記第２の閾値を超えた場合に、前記処理部に撮像部が撮像する信号を生成させる第３のステップを備える撮像方法。