JP6730552B2 - 電子情報システム及びそのプログラム - Google Patents

電子情報システム及びそのプログラム Download PDF

Info

Publication number
JP6730552B2
JP6730552B2 JP2018092704A JP2018092704A JP6730552B2 JP 6730552 B2 JP6730552 B2 JP 6730552B2 JP 2018092704 A JP2018092704 A JP 2018092704A JP 2018092704 A JP2018092704 A JP 2018092704A JP 6730552 B2 JP6730552 B2 JP 6730552B2
Authority
JP
Japan
Prior art keywords
gesture
sound
predetermined
user
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018092704A
Other languages
English (en)
Other versions
JP2018163668A (ja
Inventor
弘将 阿多
弘将 阿多
聡之 大木
聡之 大木
裕樹 春園
裕樹 春園
将史 東
将史 東
祐貴 永吉
祐貴 永吉
浩隆 古市
浩隆 古市
博昭 濱崎
博昭 濱崎
福田 稔
稔 福田
Original Assignee
株式会社ユピテル
株式会社ユピテル鹿児島
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユピテル, 株式会社ユピテル鹿児島 filed Critical 株式会社ユピテル
Priority to JP2018092704A priority Critical patent/JP6730552B2/ja
Publication of JP2018163668A publication Critical patent/JP2018163668A/ja
Priority to JP2019232178A priority patent/JP6915815B2/ja
Application granted granted Critical
Publication of JP6730552B2 publication Critical patent/JP6730552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子情報システム及びそのプログラムに関するものである。
従来から電子情報システムとして例えば、自動車や自転車のような車両に搭載するナビゲーション装置や自動車に搭載するマイクロ波受信器(レーダー探知機)のような運転に関する情報を取得できる電子機器類がある。また、日常使用する様々な情報を取得することができる電子情報システムとして例えばスマートフォンやパソコンのような電子機器類がある。
これらの電子情報システムにおいてユーザーは情報を取得するために機器に付属する入力スイッチを押動して入力したり、また操作手段を実際に手で触って操作したりする等して情報の取得をするようにしている。このような従来の入力手段や操作手段を備えた電子情報システムとして特許文献1及び2を挙げる。
特許文献1の電子機器は自動車の車内のフロントガラスに両面テープ等で取り付けられるドライブレコーダ装置である。ドライブレコーダ装置はその図3に示すように、スイッチ部20、表示部21、ボリュームダイヤル23を備えている。
また、特許文献2の電子機器は自動車にデフォルトで配設されているルームミラーに取り付けるルームミラーを兼ねたマイクロ波検出装置である。この装置はミラー面を兼ねるタッチスクリーン16にタッチして入力動作をすることでミラー面の一部にある表示パネル13に様々な情報を表示させるというものである。
特開2010−105530号公報 特開2012−66640号公報
しかし、特許文献1のドライブレコーダ装置では例えば操作手段としてのボリュームダイヤル23を別部品として筐体に取り付けることとなるため、ボリュームダイヤル23と関連する部品の重量が加わって装置として重量が増してしまう。重量化はこのような粘着方式でフロントガラスに取り付けるような場合では好ましくない。また、部品の点数が増えることになって高コスト化を招来することにもなる。一方、特許文献2のマイクロ波検出装置ではミラー面を兼ねるタッチスクリーン16が操作手段となるため操作に関する部品が少なくなり軽量化が図られているものの、実際にミラー面にタッチしなければ入力はできないわけであり、タッチすることによってミラー面が汚れるおそれがある。
このようなことから、電子情報システムにおいて情報の取得をするための操作部材が不要かあるいは削減できるとともに、直接機器に接触しなくとも情報の取得が可能な手段が求められていた。そこで、ユーザーのジェスチャーを認識し、その認識結果に基づいて所定の処理を行う機器がある。しかしながら、このような機器では、例えば、ユーザーは、ジェスチャーの認識の成否を示す報知がなされた時点やそのジェスチャーに対応した所定の処理が開始されたことが機器から報知された時点で初めて、自己のジェスチャーが正しかったことを把握できるのであって、ジェスチャーをしている間には自己のジェスチャー動作が、機器の認識可能な正しいものであるかを判断することが困難であるという問題があった。例えば、機器の認識不能なジェスチャーの状態であるにもかかわらず、ユーザーは、機器が認識可能なジェスチャーの状態であると考えて、何度も同じジェスチャーを繰り返して試みるケースがあった。例えば、ジェスチャーの状態として、ジェスチャーの動作としては機器が認識可能な動作であるが、機器が認識不能な位置にユーザーの手等の認識対象物がある状態であるため、認識できないケースなどで顕著な問題があった。
本発明は上記問題を解消するためになされたものであり、その目的は、直接機器に接触しなくとも従来よりも確実に所望の機能を機器に実現させることが可能な電子情報システム及びそのプログラムを提供することにある。
上記目的を達成するために、手段1としてユーザーによるジェスチャーの認識結果に基づいて所定の処理を行う電子情報システムにおいて、ジェスチャーの認識中に音を出力する制御を行う制御手段を備えるようにすることがよい。
このような構成であれば、ユーザーはジェスチャーの認識中であることを音によって知ることができる。従って、従来よりも確実に所望の処理を機器に実行させることができる。よって従来よりも確実に所望の機能を機器に実現させることができる。更には、例えば、ジェスチャーの認識中でない場合には、ジェスチャーの認識中とは異なる音を出力する構成、または、音を出力しない構成の少なくともいずれか一方を備えるとよい。このようにすれば、ユーザーはジェスチャーの認識中であるか否かを音によって知ることができる。また、ジェスチャーの認識中に音が出力されることとなるため、この音を出力させるようにジェスチャーをすることでジェスチャーのトレーニングも可能となる。更には、ジェスチャーの認識が成功したか否かを示す音を出力し、ジェスチャーの認識が成功したか否かを示す音と前記ジェスチャーの認識中に出力する音とは異なる音とするとよい。このようにすれば、ユーザーは、ジェスチャーの認識中であるか否か、ジェスチャーの認識が成功したか否かを、より確実に知ることができる。したがって、ユーザーはジェスチャーの認識中であるか否かをより確実に音によって知ることができ、ジェスチャー認識中を示す音を出力させるようにジェスチャーをして、その結果、ジェスチャー成功を示す音を出力させるように練習するなど、ユーザーが確実に所望の機能を実現できるようにジェスチャーのトレーニングをすることも可能となる。
ここに「ジェスチャーの認識結果に基づいて所定の処理を行う」としては、例えば、ジェスチャーが認識された後にそのジェスチャーの態様に応じた所定の処理を行う構成とするとよく、例えば所定の処理があるジェスチャーを入力情報として実現される構成とするとよい。ここに「所定の処理」としては、例えば、ジェスチャーを認識した結果として行われる電子情報システムからの情報の提供を行う構成とするとよい。より具体的な所定の処理としては例えば、聴覚的な処理として、例えば音を発生させること、音量を変更すること等とするとよい。音としては、例えば、音階のあるなしを問わず、例えば警報音や「注意して下さい」というような音声ガイダンスによる情報の発信や音楽等を含む構成とするとよい。また、例えば視覚的な処理として表示画面に情報を表示させること、表示させた情報を消すこと、表示させた情報を変更させること等とするとよい。また、ジェスチャーの認識結果がなんらかのアクチュエータを駆動させて機械的あるいは油空圧的な制御をする構成とするとよい。例えば、ロック装置を解除あるいは施錠したり、扉を開閉すること等とするとよい。複数の異なるジェスチャーを認識し、認識したジェスチャーによって異なる機能を実現する構成とするとよい。例えば、複数の異なるジェスチャーを認識し、認識したジェスチャーによって異なる処理を行う構成とするとよい。特に、複数の異なるジェスチャーを認識する機能を備え、認識したジェスチャーによって異なる処理を行う構成において、異なるジェスチャーの認識中には、異なる音を出力する構成とするとよい。このようにすれば、どの処理が実行される可能性があるのかをジェスチャーの認識中にユーザーが理解できる。特に、異なるジェスチャーの認識中に異なる音を出力する構成としては異なるジェスチャーの過程において異なる音を出力する構成とするとよい。このようにすれば、ユーザーはジェスチャーに認識が完了するまでの過程において、ジェスチャーが正しく認識中であるか否かを判断することができる。したがって、誤ったジェスチャーの過程として認識されている場合に、途中でジェスチャーをやめるなどでして、意図しないジェスチャーとして認識された結果、意図しない処理が実行され、意図しない機能が実現されることを、ジェスチャー中に防止することができる。
「ジェスチャー認識中」としては、例えば、ジェスチャー認識中の一部としてもよいが、ジェスチャー認識中の大部分とするとよく、ジェスチャー認識中の全体とするとよい。特に「ジェスチャー認識中」としては、ジェスチャー認識処理においてジェスチャーの認識を行えている間とするとよい。また特に、ジェスチャー認識処理においてジェスチャーの認識を行えている間は、連続的に音を出力するとよい。特に、認識中に音を変える構成においても音を変える際などに音は途切れないように連続的に出力をするとよい。
このようにすれば、ジェスチャー認識中の音がし始めたらジェスチャーの認識が行え始めたことがわかり、ジェスチャー認識中の音が途切れたらジェスチャーの認識が途切れたことが分かる。したがって、さらにユーザーが確実に所望の機能を実現できるようになり、ジェスチャーのトレーニングもさらに容易になる。
「電子情報システム」としては、例えば車両に搭載したり、ユーザーが携帯したり、室内に設置したりしてユーザーがアクセスして情報の取得をすることができるシステムとするとよい。車両に搭載する電子情報システムとしては、例えばナビゲーション装置、レーダー探知装置、ドライブレコーダーのような電子機器とするとよい。ユーザーが携帯したり、室内に設置する電子情報システムとしては、例えば、スマートフォン、パソコン、TV装置、AV装置等とするとよい。
また、手段2として、前記制御手段はジェスチャーの認識中に異なるタイミングで音を出力することがよい。
このように一回だけではなく複数回の音を異なるタイミングで出力することでジェスチャーの認識中であることをより確実に把握することができる。特に、「異なるタイミング」としては、ジェスチャーの認識過程を示すタイミングとするとよい。このようにすれば、ユーザーは、異なる音が出力されたか否かからジェスチャーの認識過程を把握することができる。また、例えば、「異なるタイミング」としては、認識対象の物体の位置の変化が検出されたタイミングとするとよい。このようにすれば、ユーザーは物体の位置が適切な位置へ動いているかを音によって容易に把握できる。また、異なるタイミングで出力する音は、例えば、所定の処理に応じた異なる音のパターンを創出する構成とするとよい。このようにすれば、ユーザーはその音パターンから所定の処理の内容を容易に理解し確認することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音のパターンが所定の処理との関係で出力されていることを理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。
また、手段3として、前記異なるタイミングで出力する音は異なる種類の音を含むことがよい。
このように複数の異なるタイミングで出力される音として異なる種類の音を出力することで音パターンにバリエーションができ、ユーザーの音パターンの認識力が向上する。「異なる種類の音」としては例えば音のトーン(高低)が異なったり、音質(音色)が異なったり、異なる種類の音を混ぜたりするものとするとよい。同じトーンでも音質を変えることで種類の異なる音として認識することができる。また、上記と同様にユーザーが実際に音との関係で所定の処理の内容を認識していなかったとしても種類の異なる音が所定の処理との関係で出力されていることを理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。
また、手段4として、前記異なるタイミングで出力する音はジェスチャーを認識するジェスチャー検出手段に対する接近距離の違いに応じた異なる種類の音を含むことがよい。
このように接近距離の違いに応じて異なる種類の音を発生させることで、ユーザーはジェスチャー検出手段への接近度合いを音によって認識することができる。また、ユーザーが実際に音と接近度合いの関係を認識していなかったとしてもジェスチャーに伴って種類の異なる音が出力されていることで、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。「ジェスチャー検出手段」としていくつかの方式による検出デバイスがある。例えば、ジェスチャーセンサは、赤外線発光素子からの赤外光を対象物に当ててその反射光の変化を受光素子で捉えて対象物の動きを検出するようなジェスチャーセンサを備えた検出デバイス、赤外線の代わりに超音波を利用したジェスチャーセンサを備えた検出デバイス、ジェスチャによる静電容量の変化を利用したジェスチャーセンサを備えた検出デバイス等を使用することができる。接近距離は認識対象物とジェスチャー検出手段の検出デバイスとの距離とするとよい。認識対象物は、種々の物とすることができ例えば棒のようなものとすることもできるが、人体の一部とするとよい。特に手とするとよい。
また、手段5として、前記制御手段は一定時間以上停止するジェスチャーに基づいて前記音を出力させるようにすることがよい。
このような停止させるというジェスチャーはユーザーにとっては非常にわかりやすいジェスチャーであり容易に習得できるものであるため、ユーザーに行わせるジェスチャ−としてよい。音を出力するための条件となる停止させる一定時間はユーザーにとって停止したと理解できるような長さであって、例えば数秒程度であることがよい。例えば、設定の変更でこの長さを変更させるようにするとよい。また、停止位置はジェスチャー検出手段が検出さえできればある程度の幅をもった領域のどこかでこの動作を検出させればよい。
例えば、ジェスチャー検出手段に対して近くても遠くても構わない。また、ジェスチャー検出手段までの接近距離の違いによらず同じ所定の処理を行うようにしてもよいが、ジェスチャー検出手段までの接近距離の違いで異なる所定の処理を行うようにするとよい。異なる所定の処理を行う場合には処理の違いに応じた異なる音を出力することがよい。このようにすれば、ユーザーは、認識中の停止位置がどのジェスチャーに対応し、どの処理が実行される見込かをジェスチャー認識中に容易に把握できる。従って、認識中のジェスチャーがユーザーの意図と異なるものとして認識された結果、ユーザーの意図しない処理が実行されることを効果的に防止できる。さらには、ユーザーがどの位置で停止させればどのジェスチャーとして認識され、どの処理が実施されるのかが容易に理解できる。
また、手段6として、前記制御手段は移動の後に一定時間以上停止するジェスチャーに基づいて前記音を出力させるようにすることがよい。
このような移動の後に一定時間以上停止させるというジェスチャーもユーザーにとっては非常にわかりやすいジェスチャーであり容易に習得できるものであるため、ユーザーに行わせるジェスチャーとしてよい。具体的には、例えばジェスチャー検出手段の前方を横切らせるような移動をさせ、検出可能な位置で停止させるようなジェスチャーをさせるとよい。
また、手段7として、ジェスチャーのパターンと出力する音とを関連づけすることがよい。
これによってユーザーはあるジェスチャーを実行して出力される音のあるパターンを聴くことで所定の処理の内容を理解することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音のパターンが所定の処理との関係で出力されていることを理解することができる。また、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。ここに「音」としては、例えばある音階の音の一回のみの出力や複数回数の出力によるメロディーとして出力したり、同じ音階やメロディーを音質のみ異なるパターンで出力したりすることがよい。このようにすれば、ユーザーは、どのジェスチャーのパターンがどの音に対応し、その音に基づいてどの処理が実行される見込かをジェスチャー認識中に容易に把握できる。従って、認識中のジェスチャーがユーザーの意図と異なるものとして認識された結果、ユーザーの意図しない処理が実行されることを効果的に防止できる。
また、手段8として、ジェスチャーのパターンにかかわらず、ジェスチャーの認識中は、検出している距離に応じて複数の同じ音を出力することがよい。
これによって、ユーザーはある距離で、例えば停止させるジェスチャーを実行した際に停止していることを同じ音の繰り返しで認識することができ、例えば手が震えていたり振動で手がきちんと停止させられないような場合に客観的に「停止」したかどうかを認識することが可能となる。
また、手段9として、前記ジェスチャーの認識後に実行する所定の処理の違いに応じて、ジェスチャーの認識後に、異なる所定の処理ごとに異なる種類の音を出力することがよい。
これによってユーザーはあるジェスチャーを実行する結果として出力されるそれぞれ異なる音を聴くことで実行される所定の処理の内容を理解することができる。また、ユーザーが所定の処理の内容を実際に認識していなかったとしても様々な音が所定の処理との関係で出力されていることを理解することができる。また、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。ここに「音」としては、例えばある音階の音の一回のみの出力や複数回数の出力によるメロディーとして出力したり、同じ音階やメロディーを音質のみ異なるパターンで出力したりすることがよい
また、手段10として、前記制御手段は遠方から接近させるジェスチャー時に距離に応じた音を発生させるようにすることがよい。
また、手段11として、前記制御手段は遠方へ離間させるジェスチャー時に距離に応じた音を発生させるようにすることがよい。
これらのように遠方から接近させるジェスチャー時あるいは遠方へ離間させるジェスチャー時に接近距離の違いに応じた音を発生させることで、ユーザーはそのようなジェスチャーによって実行される所定の処理をジェスチャーに伴う音によって認識することができる。
例えば、下方遠方からの接近の場合にはある音パターンを出力するとともに機器の出力する音量を大きくし、下方遠方への離間の場合にはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。
ここに接近距離の違いに応じた音は1つであっても複数であってもよい。また、異なる種類の音を含んでいてもよい。複数の音であればより音のパターンが増えることとなってユーザーは音から所定の処理の内容を理解し確認することが容易となる。ジェスチャーとして遠方から接近させそのまま遠方へ離間させる一連のジェスチャーでもよい。
また、手段12として、前記制御手段は遠方から接近させるジェスチャー時にその接近方向に応じた音を発生させるようにすることがよい。
また、手段13として、前記制御手段は遠方へ離間させるジェスチャー時にその離間方向に応じた音を発生させるようにすることがよい。
これらのように遠方から接近させるジェスチャー時あるいは遠方へ離間させるジェスチャー時にその接近方向の違いに応じた音を発生させることで、ユーザーはそのようなジェスチャーによって実行される所定の処理をジェスチャーに伴う音との関係によって認識することができる。例えば、下方遠方からの接近の場合にはある音パターンを出力するとともに音量を大きくし、上方遠方からの接近の場合にはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。あるいは、下方遠方への離間の場合にはある音パターンを出力するとともに表示画面の光量を大きくし、上方遠方への離間の場合にはそれとは異なるある音パターンを出力するとともに表示画面の光量を小さくするごとくである。つまり、ジェスチャーの違いによってそれぞれ独自の音で異なる処理がされることとなって、ユーザーは音を聞いて音に応じた処理が行われたことを認識できることとなる。また、ユーザーが実際に音との関係で所定の処理の内容を認識していなかったとしても様々な音が所定の処理との関係で出力されていると理解することができ方向によって音が異なることもあって実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。接近距離の違いに応じた音は上記と同様に1つであっても複数であってもよい。また、異なる種類の音を含んでいてもよい。
また、手段14として、ユーザーによるジェスチャーが検出可能であり、かつ音を出力する制御が行われる第1の空間領域を有することがよい。
このような空間領域内を有するようにすることで、例えばユーザーが電子情報システムに関する機器を設置する際にこの空間領域内にジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうことを予防できる。第1の空間領域は一般にはジェスチャー検出手段が検出できる領域として認識される。第1の空間領域への接近はジェスチャー検出手段から均等な距離にある立体的な空間とすることがよい。
また、手段15として、前記第1の空間領域の検出可能距離は変更可能であることがよい。
このような構成とすることで、例えばジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうような状況を考慮して第1の空間領域を狭くしたり、逆にユーザーがジェスチャーの際に例え機器から離れていてもなるべく検出されやすいように第1の空間領域を広くしたりと状況に応じた設定が可能となる。
また、手段16として、前記制御手段は所定の情報モードにおいて前記第1の空間領域を相対的に広い空間領域まで拡張し、前記所定の情報モード以外の場合には前記第1の空間領域を相対的に狭い空間領域に縮小するように制御することがよい。
このような構成とすることで、所定の情報モードに応じた対応をしようとする際のユーザーのジェスチャーのしやすさに貢献する。所定の情報モードとしては、例えば、所定の情報モード以外の場合よりも、緊急性が高い操作を行うモードを備えるとよい。例えば、所定の情報モードとして「自動車運転中に警報を報知している状態」があるとする。具体的には例えば電子機器としてレーダー探知装置からなんらかの道路交通情報(例えばNシステム等)を検出した旨の警報が報知された場合等である。この場合にユーザーはこの報知を認識した後では引き続き報知される警報はすでに不要であるとして警報の報知状態をキャンセルしたいと考えることがある。つまり、必要な情報ではあるもののユーザーが認知したためそれ以上の情報提供動作は過剰であって必要ではないからである。この場合に運転中であることからできる限りキャンセルのためのジェスチャーは簡素で大げさにならない方がよい。そのため通常は不用意に手をかざすこと等の動作がジェスチャーと認識されないように第1の空間領域を相対的に狭い空間領域に設定していても、警報の報知にともなって第1の空間領域を相対的に広い空間領域にすることでユーザーはそれほど遠くまで手を伸ばさなくともジェスチャーを行うことができるようになるわけである。
また、手段17として、ユーザーによるジェスチャーの移動方向が検出可能であり、かつ音を出力する制御が行われる第2の空間領域を有することがよい。
このような空間領域内を有するようにすることで、例えばユーザーのジェスチャーをする手がどの方向から来てどの方向に向かうのかを認識できることとなるため、その方向に応じて異なる所定の処理を選択することが可能となる。そして、ユーザーは方向に応じた音との関係で所定の処理を認識することが可能となる。また、ユーザーが実際に異なる音との関係で所定の処理の内容を認識していなかったとしても様々な音が所定の処理との関係で出力されていると理解することができ、実際に操作手段にタッチする場合に比べて従来にない操作上の興趣を感じることができる。例えば、下方遠方から上方に向かって移動する場合にはある音パターンを出力するとともに音量を大きくし、上方遠方から下方に向かって移動するにはそれとは異なるある音パターンを出力するとともに音量を小さくするごとくである。
第2の空間領域に対する移動方向は平面的な360度方向だけではなく立体的な方向を加味してもよい。これによって移動方向のバリエーションが増すこととなる。
また、手段18として、前記第2の空間領域の検出可能距離は変更可能であることがよい。
このような構成とすることで、例えばユーザーはジェスチャーの妨げになるような部材やユーザーのジェスチャーの動きと間違えて認識してしまうような物体が存在してしまうような状況を考慮して第2の空間領域を狭くしたり、逆にジェスチャーの際に例え機器から離れていてもなるべく検出されやすいように第2の空間領域を広くしたりとユーザーは状況に応じた設定が可能となるため、ユーザーは所定の処理を実行させるために最適なジェスチャー環境を設定することが可能となる。
また、手段19として、前記第2の空間領域は前記第1の空間領域の内側にあることがよい。
これによってジェスチャーを行った場合に、順序としてまず第1の空間領域でジェスチャーが認識され、更に、ジェスチャーが第2の空間領域に進入した場合にどちらから接近したかが判断されることとなる。このように空間領域が別個にあるのではなく重なっているためユーザーがジェスチャーをする空間領域が不必要に広がることがなく、ジェスチャーをする領域のコンパクト化に貢献する。また、第2の空間領域が逆に第1の空間領域の外側にあると第1の空間領域に進入する際には必ず接近の方向性のある第2の空間領域に進入しなければならず、ユーザーが予定しない所定の処理モードとなってしまう可能性も
また、手段20として、前記所定の処理として設定されている音量を変更させることがよい。
これは具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで音量を変更させるわけである。これによって、ユーザーは音量を調節するためのボリュームを探してそれを操作して音量を変更するというような面倒さがなくなる。
より具体的な制御を例示すれば、ある方向からある方向へ移動するジェスチャー(例えばジェスチャー検出手段に対して下方向から上方向へ手をかざすように。手でなくとも動きが認識できる物体をユーザーがかざすようにしてもよい)によって音量を一定量アップさせ、また、ある方向からある方向へ移動するジェスチャー(例えば上方向から下方向へ手をかざすように)によって音量を一定量ダウンさせるごときである。
また、特殊なジェスチャーによって音量を一定量ではないように変更をさせるようにしてもよい。例えば、かざす手等のある方向からある方向への移動のスピードを変更することで変更する音量を多くしたり、移動の途中で一旦停止させてその間継続的に音量を変更させるようにすることである。
また、手段21として、前記所定の処理として現在報知されている情報の報知を抑制させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで現在報知されている警報情報の報知を抑制するわけである。これによって、ユーザーは必要でない情報の報知を簡単な動作でキャンセル等させることができる。ここに「警報情報の報知」とは例えば警報音や警報の音声ガイダンスや表示画面へのその旨の表示等である。「報知を抑制させる」とは音声的な報知であれば音量を絞ったり無音にすることであり、視覚的な報知であれば輝度を絞ったり表示画面を消したりすることである。
例えば自動車運転中の警報を一例として説明する。例えば電子機器としてレーダー探知装置からなんらかの道路交通情報(例えばNシステム等)を検出した旨の警報が報知された場合にユーザーはこの報知を認識した後では引き続き報知される警報はすでに不要であるとして警報の報知状態をキャンセルしたいと考えることがある。つまり、必要な情報ではあるがユーザーが認知したためそれ以上の情報は過剰であって不要であるからである。この場合に警報音を抑制させる意義がある。
より具体的な制御を例示すれば、ユーザーは検出可能な位置(例えば、上記第1の空間領域)で手をかざす(上記のように手でなくともよい)とともにその位置で所定の時間停止をさせるようなジェスチャーをする。このジェスチャーを認識することで現在報知されている警報音を停止させるごときである。この際に、例えばユーザーが設定した検出可能な領域が狭い場合に一時的に広い領域となるように制御して検出しやすいようにしてもよい。状況に応じてすばやく操作するために範囲の広い領域にすることがよいからである。
また、手段22として、前記所定の処理として表示画面に情報を表示させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで表示画面に情報を表示させるわけである。これによって、ユーザーは表示画面に情報を表示させる操作手段を探し、それを操作して音量を変更するというような面倒さがなくなる。
また、手段23として、前記所定の処理として表示画面に表示させた情報を変更させることがよい。
これも具体的な所定の処理の一例を示したものである。つまり、ジェスチャーの認識中に音を出力する制御を行うとともに、そのジェスチャーが認識されることで表示画面に表示させた情報を変更させるわけである。これによって、ユーザーは表示画面の情報を変更させるための操作手段を探し、それを操作して音量を変更するというような面倒さがなくなる。
また、手段24として、前記制御手段は表示画面に出発点となる第1の表示モードを表示させ、所定のジェスチャーの認識結果に基づいて他の表示モードに変更させた後、所定のジェスチャーの認識結果に基づいて再び前記第1の表示モードを表示させるように制御することがよい。
これは、ジェスチャーを次々と行った結果として初期画面となる第1の表示モードに戻すようにする制御を示している。このような構成であればユーザーはジェスチャーによって変更可能な表示モードの出現順位を第1の表示モードの出現順位に基づいて容易に理解することができる。第1の表示モードとして多くの設定画面を有している場合に有利である。
また、手段25として、車両搭載用の電子機器はルームミラーを兼ねており、ユーザーによるジェスチャーは前記ルームミラーの前面で行われることがよい。
ルームミラーに車両搭載用の電子機器を搭載することで車両内の省スペース化に貢献し、ルームミラーにタッチせずに所定の処理を行うための操作が可能であるからである。また、ルームミラーは運転者であるユーザーの近傍にあるためルームミラーとして使用可能であるとともに、その前面でジェスチャーをすることが容易となり、電子機器を狭い車内のユーザーの近傍に配置する必要もなくなる。ルームミラーは自動車にデフォルトで配設されているルームミラーをそのまま電子機器化してもよく、外付けのルームミラーとしてもよい。
また、手段26としてジェスチャー検出手段を備える筐体にジェスチャー時の認識対象物の前記筐体への衝突を軽減する衝突軽減手段を備えるとよい。
このようにすれば、ジェスチャー時に認識対象物が筐体に衝突することを軽減することができる。衝突軽減手段としては、例えば、衝突を防止するための手段である衝突防止手段、または、衝突した際に認識対象物が筐体に衝突した際の衝撃を吸収するための手段である衝撃吸収手段の少なくともいずれか一方を備える構成とするとよい。
例えば、ジェスチャーを認識するジェスチャー検出手段を備える筐体の稜角部あるいは出隅部の少なくとも一部を面取り状に形成することがよい。
このように、外側に出っ張っている稜角部や出隅部を面取り状に形成することでジェスチャーをする物体、例えばユーザーの手先が誤って筐体に当たっても手先側は痛くなく筐体側もダメージを受けにくくなる。面取り状に形成する場合にはなるべく不連続な部分のない曲面とすることがよい。これと併せて(あるいは単独で)緩衝効果のある素材(例えば弾性のある合成ゴム等)で筐体の周囲を包囲するようにしてもよい。特に、例えば手段1等の構成と手段28の構成とを備える構成とすれば、音によりジェスチャー認識中であることを知ることができるとともに、ジェスチャー認識中に認識対象物が筐体に衝突することを軽減することができる。例えば、ジェスチャー認識中に音がすることで、ジェスチャー検出部を備える筐体を見ずにジェスチャーをしやすくなる可能性があり、そのとき筐体に認識対象物等をぶつけてしまう可能性があるが、このようにすればこうしたおそれを低減することができる。
また、手段27として、ジェスチャーを認識するジェスチャー検出手段を備える筐体のジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けることがよい。
保護部材としては例えば透明な例えばポリエチレン等から構成されるプラスチック製の薄膜がよいが、このような保護部材があると機器を傷つけないために使用に際してもユーザーはしばしば剥がさずに使用することがある。ところが、経年使用することで保護部材の機器側に対する密着性が低下して部分的に剥がれることがある。その際にジェスチャー検出手段の検出範囲内にその剥がれた保護部材が揺れてあたかもジェスチャーと間違えるような動作をする可能性がある。これは誤動作の原因となる可能性がある。そのため、出荷時に例えば前もって保護部材の剥がれそうな部分を除去したり、剥がれるとジェスチャー検出手段の検出範囲内に進入するおそれのある部分を除去したりすることで、剥がれた保護部材がユーザーのジェスチャーの邪魔になることがなくなるとともに、ユーザーが剥がれた部分を取り除いたりする面倒さもなくなる。また、保護部材としては、ジェスチャー検出手段を有する筐体の運搬時の保護部材とするとよい。特に、電子情報システムにはユーザーによって使用時に注視される部材を設け、保護部材は当該使用時に注視される部材の保護部材とするとよい。例えば、使用時に注視される部材としては、例えばミラーとしたり、表示部としたりするとよい。このように使用時に注視される部材は特に運搬時に保護する必要性が高いためである。
また、保護部材は、ジェスチャー検出手段のジェスチャー検出方向と表示部とにわたって設け、ジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けるとよい。また、保護部材の中心ではなく端部寄りにジェスチャー検出手段のジェスチャー検出方向がある構成においてジェスチャー検出方向の少なくとも一部について保護部材を除去した箇所を設けるとよい。保護部材の端部寄りの側は保護部材が特に剥がれやすく、剥がれた保護部材がユーザーのジェスチャーの邪魔になる可能性が高いためである。
また、手段28として、ジェスチャーを認識するジェスチャー検出手段を備える筐体の少なくとも一部について外部から前記ジェスチャー検出手段を視認しにくくする遮蔽手段を備えることがよい。
筐体内に収納されているジェスチャー検出手段は外部から容易に目視されないことがデザイン的によい。しかし、ジェスチャー検出手段は検出動作をするために筐体内において窓状に開口した開口部を有することがあるため、外部から筐体内部のジェスチャー検出手段が目視されてしまう可能性がある。そのため、筐体にジェスチャー検出手段を視認しにくくするための遮蔽手段を設けることでユーザーはジェスチャー検出手段を目視できなくなり筐体デザインに好印象を感ずることとなる。遮蔽手段はジェスチャー検出手段の検出を妨げないことが必要であって、例えばジェスチャー検出手段が赤外線のような光学的な手段で検出している場合には赤外線は検出可能に透過させ可視光は例えば反射あるいは吸収させることで透過させないような特性を有する透過体を配置することがよい。特に、例えば、手段1等の構成と手段28の構成を備える構成とすると、ジェスチャー認識中に音がなるため、ジェスチャー認識手段を従来よりもユーザが発見しやすくなる可能性や、音がするたびに筐体を見てしまう可能性があり、ジェスチャー認識手段を目障りに感じる可能性が高まるが、このようにすればその可能性を低減できる。
また、手段29として、ジェスチャーを認識するジェスチャー検出手段と、ジェスチャー検出手段のジェスチャー検出方向に存在する物体までの距離を所定値以下にするための距離短縮手段を筐体内に備えることがよい。
例えば、筐体内のジェスチャー検出手段のジェスチャー検出方向には筐体の壁面やガラス面が物体として存在する。ジェスチャー検出手段からは例えば赤外線や超音波のような検出媒体が出力されるが、物体までの距離が遠いことで検出に支障をきたす可能性がある。そのため、距離短縮手段を備えることでそのような不具合が防止できる。
また、手段30として、ジェスチャーを認識するジェスチャー検出手段の検出領域内にジェスチャー検出の妨げとなる遮蔽物が存在する場合に、前記ジェスチャー検出手段は前記遮蔽物を検出せずに、あるいは検出データを使用せずにユーザーによるジェスチャーを検出することがよい。
これによって遮蔽物の動作がユーザーの能動的なジェスチャーと間違えられてしまうことがなくなり、ユーザーは遮蔽物を配置する場合でも操作上のストレスを感じることなくジェスチャーによる操作が可能となる。
例えば、車両用のシステムとして車両のフロントガラス近傍のルームミラーに電子情報システムを配設した場合において、ユーザーが同じくフロントガラス近傍の遮蔽物として例えばサンバイザーを操作する場合にこのサンバイザーをジェスチャー検出手段の検出領域内に入るように操作しても、ユーザーはジェスチャーをすることが可能となる。
また、手段31として、ジェスチャーを認識するジェスチャー検出手段は遮蔽物が検出領域内に所定時間停止して存在することに基づいて前記遮蔽物を検出せず、あるいは検出データを使用せずにユーザーによるジェスチャーを検出することがよい。
これは具体的な遮蔽物が存在する場合のジェスチャーの検出方法であって、検出領域内に所定時間停止して存在することで所定の処理を行うためのジェスチャーではないと判断する条件としたものである。ユーザーは遮蔽物を所定時間停止させるように配置するだけでよいため操作上のストレスを感じることなくジェスチャーによる操作が可能となる。特に車両においては、走行中に安全を確保するため、車内の物は固定されるのが原則である。そのため、ジェスチャー認識領域に入る可能性のある物があった場合、その物は位置を変えた後固定される可能性が高い。例えば、ジェスチャー検出手段を備えたルームミラー型の機器とした場合、ルームミラーに隣接する車両のサンバイザーはその位置が調整可能であるが、調整後は固定される。このように車内においては仮に物が移動された場合であっても、ある位置で静止状態となるのが通常である。このような知見に基づき、特に車内に設置される機器においては本構成を備えることが望ましい。
また、手段32として、前記制御手段は遮蔽物がジェスチャー検出手段に所定距離よりも近づいて検出された場合にはジェスチャーを認識させないように制御することがよい。
このように、遮蔽物があることによってジェスチャー領域が確保できず、ジェスチャー自体が不能になる場合があるため、むしろジェスチャーを認識させないことで誤動作を防止することができる。またユーザーがジェスチャー入力ができない領域に遮蔽物を配置することでユーザーの意思で積極的にジェスチャー入力を停止することができる。
また、手段33として、電子情報システムは車両搭載用の電子機器であることがよい。 車両搭載用の電子機器は運転中に操作することが多いためジェスチャーによって音との関係で所定の処理を実行させることは有利だからである。
ユーザからの機器への操作入力手段としてジェスチャー検出手段以外の手段を備えないことがシンプルな操作の点からよい。
また、機器前面(特に表示手段を有するあるいはミラーを有するなどユーザが見る手段を有する機器の面)に、その面積を減少させ他の操作入力手段を備えないようにすることがよい。これによって操作入力以外の機能が発揮できることとなる。
また、手段34として、筐体上にジェスチャー検出手段が検出可能な複数の異なるジェスチャーの方向をユーザが認識可能な表示を行うことがよい。
これによってユーザーはジェスチャーの方向を容易に理解することができる。表示は例えば印刷で行ってもよくプラスチック成形の際に立体的に造形するようにしてもよい。
また、手段35として、電子情報システムにおける制御手段の機能をコンピュータに実現させるためのプログラムとすることがよい。
本発明によれば、直接機器に接触しなくとも所定の処理の結果としての情報の取得をすることが可能となる。また、ジェスチャーには音を伴うため音によって所定の処理の内容を理解することもできることとなる。
本発明にかかる実施の形態のレーダー探知装置の正面斜め方向から見た斜視図。 同じレーダー探知装置のフロントプレートを取り外した状態の斜視図。 図1のA−A線での断面図。 実施の形態のレーダー探知装置の電気的構成を説明するブロック図 ジェスチャーセンサがジェスチャーを認識して音を出力させる際の計算の基準となる音出力基準領域と移動方向判断領域のイメージを説明する説明図。 音出力基準領域及び移動方向判断領域内において移動する際の対象物の位置と音との関係を説明する説明図。 音出力基準領域及び移動方向判断領域内において停止する対象物の位置と音との関係を説明する説明図。 ジェスチャーセンサの前面を下方から上方に通過させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を下方から上方に通過し、停止させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を上方から下方に通過させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を上方から下方に通過し、停止させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を左方から右方に通過させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を左方から右方に通過し、停止させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を右方から左方に通過させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面を右方から左方に通過し、停止させるジェスチャーを説明する説明図。 ジェスチャーセンサの前面で停止させるジェスチャーを説明する説明図。 (a)は音出力基準領域内に何らかの遮蔽物がある場合の処理について模式的に説明した説明図、(b)はオフセット計算開始後の音出力基準領域内に何らかの遮蔽物がある場合の処理について模式的に説明した説明図。 警報が報知されている場合のセンサー反応範囲のデフォルト状態へのへの一時的な設定変更処理を説明するフローチャート。 他の実施の形態である据え置き型のレーダー探知装置50のジェスチャーセンサ付近の部分拡大断面図 本実施の形態のレーダー探知装置のミラー面を保護する保護シートの説明をする説明図。
以下、本発明の電子情報システムを具体化した電子機器であるレーダー探知装置10の実施の形態を図面に基づいて説明する。
図1は本実施の形態の車両用のルームミラーを兼ねたレーダー探知装置10の斜視図である。このレーダー探知装置10では本体ケース11と本体ケース11の前面に取着されるフロントプレート12とから薄板状の直方体形状の筐体13が構成されている。筐体13の4つの稜角部13aは曲面状に(いわゆるアールを付けるように)面取りして構成され、フロントプレート12の出隅となる前方側角部周縁13bも全周に渡って面取りして構成されている。本体ケース11の背面には所定の間隔をおいて左右一対の固定用クランプ部14が形成されている。本体ケース11の下方位置には図示しない電源スイッチが配設されており、本体ケース11の側面位置にはmicroSDカードを挿入するためのスロット16が形成されている。図2に示すように、本体ケース11内には制御基板17が配設されている。制御基板17は本体ケース11の正面形状に略対応した横長の外形形状とされている。尚、本実施の形態では制御基板17は一枚で構成されているが、2枚以上で構成するようにしてもよい。
図2及び図3に示すように、本体ケース11の凹部空間19内には報知手段としてのスピーカ装置20が配設されている。スピーカ装置20は制御基板17と接続されて後述する制御部35による制御によって所定の音(音声)が出力される。スピーカ装置20は本体ケース11に形成された収納スペース21内に嵌合され、その振動子の発振面20a(音が出力される面)が本体ケース11の背面方向を向くように取着されている。収納スペース21には下方に向かって伸びるホーン23が連結されており、ホーン23下端に形成された音出口25は前記電源スイッチに隣接した位置、つまり本体ケース11の中央下方位置に露出されている。ホーン23は通路内が完全に包囲された音伝達空間を創出している。そのため、本体ケース11方向に向かって出力された音(音声)は本体ケース11壁面に反射し、ホーン23内で増幅されて音出口25から外部に至ることとなる。レーダー探知装置10は車両にデフォルトで設置されているルームミラーに取り付けるため、音出口25が筐体13の下方位置となるためユーザーである運転者の耳に近く、かつ音が増幅されるためユーザーにとって非常に聞き取りやすくなっている。
図2に示すように、制御基板17上にはジェスチャー検出手段としてのジェスチャーセンサ27を搭載したセンサ基板28が図示しないBtoBコネクタを介して別体として接続されている。ジェスチャー検出手段としてのジェスチャーセンサ27はセンサー前面とフロントプレート12側のミラー部30背面との距離がごく近接した所定範囲内に収まるよう(本実施の形態では0.7mm以下)に制御基板17、BtoBコネクタ、センサ基板28及びジェスチャーセンサ27のトータルの厚みが考慮されている。
フロントプレート12の前面にはミラー部30が配設されている。ミラー部30は透明なガラス製基板の表面に蒸着処理(本実施の形態ではクロム蒸着)によって反射膜を形成し、裏面に黒色の遮光印刷を形成することで構成されている。レーダー探知装置10は車両に備え付けのルームミラーに対して固定用クランプ部14によって取り付けられるが、その際にミラー部30に背景を移し込んで運転者が後方確認をすることが可能となる。フロントプレート12及びミラー部30の一部には第1の窓部31及び第2の窓部32がそれぞれ正面からの目視において向かって右方端寄りに隣接して形成されている。第1の窓部31は表示パネル18の外形形状に応じて長方形形状とされ、第2の窓部32はジェスチャーセンサ27の大きさに対応して第1の窓部31より小さく構成され隅丸長方形形状とされている。第1及び第2の窓部31、32は上記の遮光印刷が形成されずに基板の表面に反射膜のみが形成された領域である。そのため、第1及び第2の窓部31、32位置において光が筐体13内外に透過可能とされている。第1の窓部31に対面して表示パネル18が配置され、第2の窓部32に対面してジェスチャーセンサ27が配置されている。第2の窓部32はジェスチャーセンサ27から照射される赤外線が対象物に反射して戻ってくる際の投光及び受光の通路となる。尚、これらの窓部31、32の形状や位置は適宜変更可能である。
ミラー部30において第2の窓部32の周囲にはジェスチャー方向を示すとともにジェスチャーを行う位置をユーザーにアピールするためのマーク33が形成されている。マーク33は第2の窓部32を取り囲むように上下左右の四方に配置され、外側に凸となるように屈曲された山型の折れ線形状とされており、4つのマーク33は全体として縦長の菱形形状をイメージするような整然とした配置とされている。マーク33はミラー部30裏面の遮光印刷を一部中抜きして印刷することで印刷されていない透明な部分として(但し、表面の反射膜は被覆されている)を目視させたものである。ミラー部30の第2の窓部32付近ではフロントプレート12はミラー部30に対して若干の距離をおいて配置されるため、ミラー部30の前方からマーク33を目視するとマーク33の隙間から背後のフロントプレート12が距離をおいて目視されることとなってマーク33が立体感をもってユーザーに認識され、単なる印刷に比べて目立ちやすい。
次に、図4のブロック図に基づいてレーダー探知装置10の本体11内部の電気的な構成を説明する。尚、本発明とは直接関係のない構成については省略するが、例えば従来と同様の構成を採るとよい。
制御手段としての制御部35はCPUとCPUに接続されたROM、RAM等のメモリ、各種周辺回路及びインタフェース等から構成されている。制御部35には前記表示パネル18、前記スピーカ装置20、前記ジェスチャーセンサ27、GPS受信器37、マイクロ波受信器38、無線受信器39、microSDカードリーダー40等がそれぞれ接続されている。
制御部35のROM内にはGPS受信器37によって受信されたGPS情報を処理するGPS情報処理プログラム、マイクロ波検出器38によって受信されたマイクロ波(レーダー波)を判断するマイクロ波判断プログラム、無線受信器39よって受信された無線波を判断する無線波判断プログラム、ジェスチャーセンサ27によって受動されたジェスチャーを判断するジェスチャー判断プログラム、ジェスチャーの検出結果(認識結果)に応じた音をスピーカ装置20から出力させるとともに、ジェスチャーの判断結果に応じた所定の処理モードに移行させるためのジェスチャーに基づく処理モード移行プログラム、所定の待ち受け画面をディスプレイ部17に表示させる待ち受け画面表示プログラム、OS(Operation System)等の各種プログラムが記憶されている。
制御部35はレーダー探知装置10の基本機能となるGPS警報機能、レーダー波警報機能及び無線警報機能等の各機能を実行する。また、制御部35はジェスチャーセンサ27が対象物として認識するユーザーがかざす手や、あるいは手に持ったなんらかの物体等の対象物の検出範囲内におけるジェスチャーの検出(認識)に伴って音を出力する制御を行うとともに下記の処理を実行する。ジェスチャーとしては、本実施の形態ではジェスチャーセンサ27の前面を横切るように手や物体等を右から左に、あるい左から右に、あるいは下から上に、あるいは上から下に直線的に移動させたりするジェスチャーが認識される。また、ジェスチャーセンサ27の所定の検出範囲内(つまり所定の検出状態)で所定時間停止するというジェスチャーが認識される。
本実施の形態におけるジェスチャーセンサ27のジェスチャーの認識の結果として制御部35が制御する処理として、1)音量の変更、2)待ち受け画面の変更、3)設定画面の変更、4)待ち受け画面から設定画面への移行、5)設定画面から待ち受け画面への移行がそれぞれ実行されるようになっている。
本実施の形態におけるジェスチャーセンサ27は公知のジェスチャセンサであって、物体の接近状態と移動状態という2つのジェスチャーを検出するものである(接近状態を検出するため近接センサを兼ねている)。具体的な構成としてジェスチャーセンサ27は赤外発光LEDと4つのフォトセンサを搭載し、赤外発光LEDから照射した光が対象物に当たって反射した光を各フォトセンサが検出し、光量の変化を各フォトセンサ毎に数値として取得し、それら数値をパラメータとして対象物までの距離や対象物の移動方向を所定の演算式に基づいて算出する。対象物までの距離については4つのフォトセンサの数値の総和として算出でき、対象物の移動方向は異なるタイミングで取得したフォトセンサの数値の差分を取得することで算出できる。ジェスチャーセンサ27の検出能力の及ぶ範囲において対象物までの距離や対象物の移動方向を求めることが可能であるが、ここではジェスチャーセンサ27を中心として以下のように所定の空間領域を設定し(実際にはセンサの数値で判断する)この領域を基準として音の出力制御と所定の処理を実行する。
図5に示すように、ジェスチャーセンサ27の存在する仮想平面pを基準としてジェスチャーセンサ27から等距離にあるz_th(_thは閾値を表現する)の座標を設定する。等距離とはジェスチャーセンサ27で検出した光量データ(検出値)が同等となると判断できる距離という意味である。このz_thは、本実施の形態においては音を出力させる際の基準となるものである。以下、z_thで包囲される半球状の空間領域を音出力基準領域Zとする。
また、音出力基準領域Z内において上下反転させた四角錐台で包囲される領域を求める。四角錐台で包囲される領域とは平面pから等距離となるz_th上に存在する上底の4つの角部からジェスチャーセンサ27近傍の平面pとの交点となる下底の4つの角部をそれぞれ結んだ4つの線分E1〜E4によって包囲される領域である。各線分上における座標をそれぞれ(+x_th,+y_th)(+x_th,−y_th)(−x_th,+y_th)(−x_th,−y_th)とする。この、四角錐台の内側の空間で算出されたx方向及びy方向の座標に基づいて対象物の移動方向を検出する。これはジェスチャーセンサ27の位置を原点として対象物の原点の通過の判断と原点を通過する際の対象物の移動方向を算出しやすくするために設定した領域である。以下、この四角錐台で包囲される領域を移動方向判断領域Qとする。本実施の形態では筐体13の長手方向を持ってx軸方向とし、これと直交する方向を持ってy軸方向とする。
また、任意に設定した領域であるため、ジェスチャーセンサ27の検出能力内でz_thの距離は適宜変更可能とされている。本実施の形態ではz_thの距離は100mm、60mm、40mmに設定変更可能である。このz_thの距離の変更に伴ってその内側に存在する移動方向判断領域Qの大きさも変化する。また、移動方向判断領域Qのイメージする形状(つまり移動方向を判断して所定の処理と関連付けをする領域)は上記に限定されず変更可能である。例えば、移動方向判断領域Qを音出力基準領域Zと一致させるようにしてもよい。
上記のような電気的構成において、以下に制御部35がジェスチャーセンサ27によって対象物を検出した結果に基づいて実行する具体的な処理の一例を説明する。
まず、ジェスチャーセンサ27の検出値に基づいて制御部35が実行する音の出力制御について具体的ないくつかのジェスチャー中における対象物との関係で説明する。ここでは、後述する「所定の処理」を確定しうるジェスチャーをメインとして一例として説明するものであるが、対象物の動きは単純ではないので、以下のジェスチャー以外もあり得る。
また、ユーザーの認識としては音出力基準領域Z内に対象物が進入する前から、ジェスチャーの認識があり、音出力基準領域Zから離脱した後もジェスチャーをしている認識がある場合があるが、音を出力するためのジェスチャーの認識ということでは音出力基準領域Z内に進入することが客観的なジェスチャーの開始と考えられる。同様に対象物が音出力基準領域Z内から離脱することがジェスチャーの終了と考えられる。また、ジェスチャーの認識に失敗した場合、(所定のジェスチャーと判定されなかった場合)には、音は鳴らさないため、音が鳴ったということは対象物の動きがジェスチャーとして認識されたということでもある。
(1)ジェスチャー中における対象物の第1の動き(その1)
これは、対象物が遠方からジェスチャーセンサ27方向に接近して音出力基準領域Z内に入った段階である。基本的に音の出力制御としては必ずこの課程が発生する。制御部35はジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内に対象物(図6では「手」)が存在する数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のAで示す位置に存在するジェスチャーであると判断した場合には第一の音階(ここでは「レ」)の音をスピーカ装置20から出力させる。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内にあると判断する場合には途切れることなく「レ」の音の出力を継続させる。
一方、対象物が音出力基準領域Z内から移動方向判断領域Q方向に進入せずに音出力基準領域Zの外に離脱する場合にはジェスチャーの検出値に基づいて制御部35は音の出力を停止させる。つまり想定される場合として、例えば誤って対象物がジェスチャーセンサ27に近づいて一旦音出力基準領域Z内に進入したものの、反転して音出力基準領域Zの外に離脱してしまったような場合である。その場合には後述する「所定の処理」は選択されない。
(2)ジェスチャー中における対象物の第1の動き(その2)
ジェスチャーが更に進入してジェスチャーセンサ27の前面を通過している状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、対象物が音出力基準領域Zを通過して移動方向判断領域Q内に存在する数値であると判断した場合(ある閾値を超えるあるいは下回る場合)、つまり図6のBで示す位置に存在するジェスチャーであると判断した場合には(1)とは異なる第二の音階(第二の音階は第一の音階よりも高いものとするとよく、ここでは「ファ♯」)の音をスピーカ装置20から出力させる。この判断タイミングで制御部35は「レ」の音を停止させる。このように音が連続的に変化したとユーザーが認識できる状態で音階を変えて出力する。
制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、移動方向判断領域Q内にあると判断する場合には途切れることなく「ファ♯」の音の出力を継続させる。
ここで制御部35は、移動方向判断領域Q内にある対象物が「a.ジェスチャーセンサ27前面を横切って移動方向判断領域Qから離脱する場合」と「b.横切らずに移動方向判断領域Qから離脱する場合」で異なる音声制御を実行する。a.の場合には以下の(3)に移行する。一方、b.の場合、つまり想定される場合として、例えば誤って対象物がジェスチャーセンサ27に近づいてごく短い時間内に移動方向判断領域Qまで進入し反転して音出力基準領域Zを通ってその外に離脱していくような場合であって、この場合には上記(1)の判断が発生するので制御部35は「ファ♯」から「レ」の音に変更させることとなる。また、その場合には後述する「所定の処理」は選択されない。
(3)ジェスチャー中における対象物の第1の動き(その3)
ジェスチャーセンサ27から徐々に離間しつつある状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、上記a.の条件を満たしており、かつ音出力基準領域Z内に対象物が存在する数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のCで示す位置に存在するジェスチャーであると判断した場合には(1)(2)とは異なる第三の音階((第三の音階は第二の音階よりも高いものとするとよく、ここでは「ラ」)の音をスピーカ装置20から出力させる。この判断タイミングで制御部35は「ファ♯」の音を停止させる。このように音が連続的に変化したとユーザーが認識できる状態で音階を変えて出力する。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、音出力基準領域Z内にあると判断する場合には途切れることなく「ラ」の音の出力を継続させる。
(4)ジェスチャー中における対象物の第1の動き(その4)
ジェスチャーセンサ27の前面を通過した後に音出力基準領域Zの外に出た状態である。制御部35はジェスチャーセンサ27の検出値を読み取り、上記a.の条件を満たしており、かつ音出力基準領域Zから対象物が離脱した数値であると判断した場合(ある数値を閾値として、それを超えるあるいは下回る場合)、つまり図6のDで示す位置に存在するジェスチャーであると判断した場合には(1)(2)(3)とは異なる第四の音階の音をスピーカ装置20から出力させる。ここで、出力される「第四の音階の音」は対象物の移動方向によって異なる。この音は認識完了の音であり、認識中に変化する音の間の度数よりも、この認識完了の音とその前の認識中の音との度数が大きく設定されている。また音の長さも認識中に発する音の長さよりも短い音の長さとなることが望ましい。これは上記(2)における移動方向判断領域Qでの移動方向によって決定されている。本実施の形態では対象物の移動方向として「下方から上方」「上方から下方」「左方から右方」「右方から左方」の4つの移動方向が用意され、それぞれに対して音と後述する「所定の処理」が関連付けられている。すなわち、第一のジェスチャーは方向別に異なるジェスチャーとして認識する。制御部35は移動方向判断領域Q内での移動が「下方から上方」であると判断した場合には認識中に出力する音のうち最も音程が高い音(つまり本実施の形態では上記の第三の音階の「ラ」)よりも高音域にある音であって「ピッ」という短い音である認識確定音(例えば起動処理確定音)として「ソ」を出力させる。同様に移動が「上方から下方」であると判断した場合には「ド」を出力させる。同様に移動が「左方から右方」であると判断した場合には「レ」を出力させる。この「レ」は上記の第一の音階の「レ」よりも1オクターブ高いこととなる。同様に移動が「右方から左方」」であると判断した場合には「ミ」を出力させる。これらの音は後述する制御部35が実行する「対象物の移動方向によって異なる処理」に対応するものである。そして、図6のDから離間すると(図上右方に移動すると)、制御部35は検出するジェスチャーセンサ27の検出値に基づき(つまりある数値を閾値として、それを超えるあるいは下回る場合)音の出力を停止させる。
(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)
ジェスチャーセンサ27の前面を通過した後に音出力基準領域Zの外に出て、その近傍で停止している状態である。制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、対象物が音出力基準領域Zから離脱し、かつ音出力基準領域Z付近に留まっている数値であると判断し、かつ所定時間(例えば0.3秒)以上経過した場合、つまり図6のDで示す位置に長く存在しているジェスチャーであると判断した場合には、所定のタイミングで断続的に4つの移動方向に応じた音、つまり上記認識確定音と同じ「ソ」「ド」「レ」「ミ」のいずれかを出力させる。この断続音は後述する制御部35が実行する「所定の処理」におけるいわゆる「長押しモード」に対応するものである。そして、図6のDから離間すると(4)と同様に、制御部35は検出するジェスチャーセンサ27の検出値に基づき(つまりある数値を閾値として、それを超えるあるいは下回る場合)音の出力を停止させる。
上記の4つの移動方向に関して、対象物の移動方向が正確に水平あるいは垂直に移動するとは限らない。例えば斜め方向に対象物が移動した場合には水平あるいは垂直のどちらとも取れるケースが発生する。制御部35は得られた数値に基づいて水平成分と垂直成分を比較していずれか多い方を選択して移動が水平方向か垂直方向かを選択している。
尚、移動方向はこの音出力基準領域Zから対象物が離脱した段階(z_thの外に出ること)で確定する。つまり、上記(2)におけるa.の段階では所定の処理は選択されただけであって未だ確定している状態ではなく、それよりも後のタイミングでジェスチャーセンサ27の検出したある検出値に基づいて確定するものである。(3)の「ラ」の音の出力される位置での対象物の動きによっては所定の処理がキャンセルされたり変更される可能性がある。
(6)ジェスチャー中における対象物の第2の動き
図7に示すように、制御部35はジェスチャーセンサ27の検出値を読み取り対象物が音出力基準領域Z(移動方向判断領域Qも含む)内に存在する数値であると判断し、かつ所定時間(例えば2秒)以上対象物が停止していると判断した場合には、上記のいずれの音とも異なる「カリッ」という音色の所定の音程の音を断続的にスピーカ装置20から出力させる。停止状態はジェスチャーセンサ27の検出値がまったく変動しないかある狭い数値範囲内でのみ変動することに基づいて判断される。
また、制御部35は所定のタイミング(本実施の形態では12ms毎)でジェスチャーセンサ27の検出値を読み取り、停止状態の対象物が動いた場合には音の出力を停止させる。停止状態の対象物が動いた後は対象物の位置に応じて上記(1)〜(4)の条件に従って音声出力制御がなされる。
尚、この停止に基づく音声出力処理の前提として対象物が音出力基準領域Z内に進入することで上記(1)や(2)の条件に該当するのであれば、併せて(1)や(2)に応じた音声出力も実行される。
上記のジェスチャーにおいて特定のジェスチャーが行われると、音とともに所定の処理が選択され、更にそれが確定することになる。次に、制御部35が実行するそれら所定の処理について実際のジェスチャー及びジェスチャーに伴って出力される音と連動させて説明する。尚、初期設定においては音出力基準領域Zのz_thの距離は10cmに設定されている。また、非常に素早く対象物が移動方向判断領域Q内を横切った場合にはジェスチャーセンサ27の検出値の差分を取得することができずエラーとなってしまう。つまり移動方向が不定となって、結果として所定の処理が決定できないこととなる。そのため、以下では対象物が適度な速度で移動することで移動方向が判別され、それに伴って所定の処理が確定していることを前提とする。
A.音量の変更について
(下方から上方へ)
図8に示すように、レーダー探知装置10のフロントプレート12前面の例えば7cmの距離を維持して対象物としての手をレーダー探知装置10の下方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の上方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で下方から上方へ一回のスライドをするジェスチャーがあったと判断して音量を現状から1段階アップさせる。そして、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ソ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図9に示すように、手をレーダー探知装置10の下方位置からジェスチャーセンサ27の前面を通過させた後に筐体13の上縁付近で停止させる。この位置は音出力基準領域Zに近接した音出力基準領域Zの外側位置に当たる。図8では対象物は大きく音出力基準領域Zから離間してしまうが、図9では設定した音出力基準領域Zの外側ではあるが検出値としては音出力基準領域Z内に対象物が存在する場合との差はごく小さい。
制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断して制御部35は連続的に音量を現状からアップさせるように制御する。このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ソ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態あるいは音量が最大になった状態(これ以上の変更が不能な状態)をもって処理を終了し、断続音も停止させる。
(上方から下方へ)
逆に、図10に示すように、手をレーダー探知装置10の上方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の下方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で上方から下方へ一回のスライドをするジェスチャーがあったと判断して音量を現状から1段階ダウンさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ド」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図11に示すように、手をレーダー探知装置10の上位置からジェスチャーセンサ27の前面を通過させた後に筐体13の下縁付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断して連続的に音量を現状からダウンさせるように制御する。このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ド」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態あるいは音量が最大になった状態(これ以上の変更が不能な状態)をもって処理を終了し、断続音も停止させる。
B.待ち受け画面の変更について
(左方から右方へ)
図12に示すように、レーダー探知装置10のフロントプレート12前面の例えば7cmの距離を維持して対象物としての手をレーダー探知装置10の左方位置からジェスチャーセンサ27の前面を通過させてレーダー探知装置10の右方へ抜けた位置まで一回スライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で左方から右方へ一回のスライドをするジェスチャーがあったと判断して表示画面に表示させている現状の待ち受け画面を右方向に退場させて隠れていた隣接した位置にある次の待ち受け画面を表示パネル18の表示画面に表示させるようにスライド移動させる画面表示をさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→1オクターブ上の「レ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
本実施の形態の待ち受け画面はカレンダー→時計→速度→エコドライブモード→測位情報→全待ち受け画面のローテーション→表示オフ→レーダースコープ→ドライブモード・・・というようにループ化されており現状から8回の移動で当初の待ち受け画面モードに戻ることとなっている。
一方、図13に示すように、手をレーダー探知装置10の左方位置からジェスチャーセンサ27の前面を通過させた後に筐体13の右縁付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。制御部35は所定の停止時間(例えば0.3秒)以上のこの位置での停止状態を検出するといわゆる「長押し」モードと判断してループ化された待ち受け画面を次々と表示画面に変更表示させる。
このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「レ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態をもって処理を終了し、断続音も停止させる。
(右方から左方へ)
逆に、図14に示すように、手をレーダー探知装置10の右方位置からレーダー探知装置10の左方へ抜けた位置まで一回のスライドさせるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で左方から右方へ一回のスライドをするジェスチャーがあったと判断して表示画面に表示させている現状の待ち受け画面を左方向に退場させて隠れていた隣接した位置にある次の待ち受け画面を表示パネル18の表示画面に表示させるようにスライド移動させる画面表示をさせる。このとき、このジェスチャーに連動して制御部35は「レ」→「ファ♯」→「ラ」→「ミ」の順にスピーカ装置20から音を出力させる(上記の一連のジェスチャー中における対象物の第1の動きに相当)。
一方、図15に示すように、手をレーダー探知装置10の右方位置からジェスチャーセンサ27の前面を通過させた後に表示パネル18に左方付近で停止させる。この位置は音出力基準領域Zに隣接した音出力基準領域Zの外側位置に当たる。これによっていわゆる「長押し」モードと判断して制御部35はループ化された待ち受け画面を次々と表示画面に変更表示させる。
このとき、このジェスチャー(上記の「その4のバリーション」に相当)に連動して制御部35は「レ」→「ファ♯」→「ラ」→「ミ」の断続音、の順にスピーカ装置20から音を出力させる。制御部35は対象物が停止状態が解除された状態をもって処理を終了し、断続音も停止させる。
C.設定画面への移行について
図16に示すように、レーダー探知装置10のフロントプレート12前面でかつジェスチャーセンサ27に正対した位置で例えば9cmの距離を維持して停止させるジェスチャーをする。このとき、制御部35は対象物がジェスチャーセンサ27の前面で所定時間(例えば2秒)以上停止するジェスチャーがあったと判断して初期設定で表示パネル18の表示画面に待ち受け画面が表示されている状態から設定画面に移行させる。
本実施の形態の設定画面は移行初期画面となるity.MAPからスタートして→モード(及びそのサブメニュー)→明るさ(及びそのサブメニュー)→フレックスディマー(及びそのサブメニュー)→レーダー警報音(及びそのサブメニュー)→センサー確認音(及びそのサブメニュー)→センサー反応範囲(及びそのサブメニュー)→設定初期(及びそのサブメニュー)→バージョン表示→デモモード(及びそのサブメニュー)→待ち受け画面→ity.MAPというようにループ化されており、上記の「B.待ち受け画面の変更について」と同様の操作で左方から右方へ、あるいは右方から左方へと次々と表示パネル18の表示画面に表示させる設定メニューを変更することができる。また、サブメニューでは上記の「A.音量の変更について」と同様の操作で下方から上方へ、あるいは上方から下方へと次々と表示パネル18の表示画面に表示させる設定メニューを変更することができる。ここで、設定画面のループ内に待ち受け画面が含まれているため、この設定画面への移行モードにおいて待ち受け画面に復帰させたいと考えた場合に一旦電源をオフとしなくとも設定画面内でジェスチャーをすることで実行することが可能となっている。待ち受け画面に復帰した後は、上記「B.待ち受け画面の変更について」のジェスチャーが可能となる。
制御部35は所定の停止時間(例えば2秒)以上この位置での停止状態を検出すると上記(6)ジェスチャー中における対象物の第2の動きの記載のように「カリッ」という音を断続的にスピーカ装置20から出力させる(上記のジェスチャー中における対象物の第2の動きに相当)。設定画面を変更する場合のジェスチャーでは上記(1)〜(4)の一連のジェスチャー中における対象物の第1の動きの記載に従った音が出力される。
次に、音出力基準領域Z内にジェスチャーの判断の支障となる何らかの遮蔽物が存在している場合の処理について説明する。
例えば、レーダー探知装置10を車両内で使用している場合を想定する。その場合に日の光がまぶしくてサンバイザーを使用する場合がある。するとレーダー探知装置10の取り付け位置によってはサンバイザーが遮蔽物となって音出力基準領域Z内に進入してしまう可能性がある。以下はこのような遮蔽物があった場合でもユーザーがジェスチャーを支障なく行うための処理であって、遮蔽物からの光量に基づく検出値をオフセット(減算)した上で通常のジェスチャーを認識するというものである。
(初期状態での遮蔽物の有無の判断)
まず、遮蔽物がない初期状態で制御部35は次の3つの状態を判断する。
a.音出力基準領域Z内に何らかの遮蔽物(ここは対象物も区別せずに判断する、以下同様)が進入し、所定の処理が決定されることもなく所定時間(120ms)の停止があったと判断した場合
b.音出力基準領域Z内に何らかの遮蔽物が進入し、上記の「(6)ジェスチャー中における対象物の第2の動き」のジェスチャーが5秒以上あったと判断した場合
c.音出力基準領域Z内に何らかの遮蔽物が進入し、上記の「(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)」のジェスチャーが8秒以上あったと判断した場合
ここで、a.は進入した遮蔽物によってなんら処理モードに移行することなかった場合を想定したものである。120msとしたのは制御部35が120ms毎にオフセットの計算をするため、その間隔に対応させたものである。この場合には制御部35は遮蔽物によって変化したジェスチャーセンサ27の検出値をオフセットする計算をし、オフセット後のジェスチャーセンサ27の状態を検出の基準とする。
また、b.及びc.はそれぞれなんらかの処理モードに移行して表示画面や音量が変化してしまった状態であり、長時間を設定することで通常のジェスチャーと異なる停止ジェスチャーとしたものである。これらの場合では、遮蔽物によって意図しない処理が実行されてしまっているので、制御部35は強制的にデフォルトで設定されている待ち受け画面に移行させるようにする。また、同様に音声も強制的にデフォルトで設定されている音量にすることで意図しない入力により開始してしまった可能性のある処理をキャンセルする。そして、その後にa.と同様に制御部35は遮蔽物によって変化したジェスチャーセンサ27の検出値をオフセットする計算をし、オフセット後のジェスチャーセンサ27の状態を検出の基準とする。
以上を模式的に説明すると図17(a)の如くである。
(オフセット計算中の遮蔽物の有無の判断)
上記のようにオフセットする計算を開始して遮蔽物の光量をキャンセルした状態で通常のジェスチャー認識を実行する。制御部35はジェスチャー認識中は所定のタイミング(120ms)で常にオフセットの計算をして最新のジェスチャーセンサ27の状態を検出の基準とするようにしている。
ここで、一旦音出力基準領域Z内に留まった遮蔽物が移動する場合がある。例えば、サンバイザーが揺れたり日差しの向きによって位置を変えたり、あるいは音出力基準領域Zから離脱させて元の位置に復帰させるようなことを念頭においている。遮蔽物が移動する場合として制御部35は次の3つの状態を判断する。
d.遮蔽物が移動したが、所定の処理が決定されることがなかった場合
e.遮蔽物が移動して上記の「(6)ジェスチャー中における対象物の第2の動き」のジェスチャーが5秒以上あったと判断した場合
f.遮蔽物が移動して上記の「(5)ジェスチャー中における対象物の第1の動き(その4のバリーション)」のジェスチャーが8秒以上あったと判断した場合
d.は例えば、音出力基準領域Z内の遮蔽物が振動でわずかに揺れ動く場合を想定している。この場合には特にレーダー探知装置10の現状の処理の変化はないため、上記のように制御部35は所定のタイミングでジェスチャーセンサ27の検出値をオフセットする計算をする。
e.及びf.はそれぞれジェスチャーと認識されてなんらかの処理モードに移行して表示画面や音量が変化してしまった状態である。この場合には制御部35は上記b.及びc.と同様に強制的に待ち受け画面に移行させるとともに、音声も強制的にデフォルトで設定されている音量にし、その後に上記のように所定のタイミングでジェスチャーセンサ27の検出値をオフセットする計算をする。
制御部35が実行する処理は上記b.及びc.と同様であるが、その目的は異なる。b.及びc.では初期状態で外から遮蔽物が音出力基準領域Z内に進入してくる場合の対応でありまだオフセットの計算がない状態での対応であり、e.及びf.は遮蔽物が音出力基準領域Z内に進入して遮蔽物をオフセットする計算をしている最中(オフセット計算開始後)の対応になる。
以上を模式的に説明すると図17(b)の如くである。
(遮蔽物がジェスチャーセンサ近傍にある場合)
遮蔽物がジェスチャーセンサ27に非常に接近して配置された場合には、空間に隙間が少ないため通常のジェスチャーはできなくなる。つまりジェスチャーセンサ27での検出が物理的に不可能になる。そのため、このような状態を想定して遮蔽物がジェスチャーセンサ27に非常に接近して配置された場合にジェスチャー認識をさせないような処理を行う。具体的には、制御部35はジェスチャー認識中は所定のタイミング(120ms)で常にジェスチャーセンサ27から所定の距離(例えば3cm)以内に遮蔽物があり、かつそれが所定の時間(例えば5秒)以上停止しているかどうかを判断する。そして、所定の距離以内に遮蔽物があり、かつそれが所定の時間以上停止していると判断した場合には制御部35は計算においてジェスチャーセンサ27の検出値をキャンセルする。つまり、ジェスチャーセンサ27によるジェスチャー認識はされるものの、あたかも何も検出しない状態と同様になって外見上はジェスチャーセンサ27が作動していない状態とされる(実際にジェスチャーセンサ27の検出自体を停止させてもよい)。
一方、ジェスチャーセンサ27が所定の距離以上に移動したと制御部35が判断するとジェスチャーセンサ27の検出値を用いた計算を再開する。
次にユーザーが設定画面で設定した「センサー反応範囲」を一時的にデフォルト状態(ここでは10cmの範囲)に戻す場合の処理について説明する。この処理は次のようなケースを想定している。
センサー反応範囲がデフォルト状態であると範囲が広めに設定されているため何かの拍子にセンサー反応範囲(出力基準領域Z)に手が入って何らかの処理が実行されてしまう可能性がある。そのためユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定できることがよい。しかし、そのような場合でも状況に応じてすばやく操作するために範囲の広いデフォルト状態に戻すことがよいからである。ここでは、その一例として、レーダー探知装置10からなんらかの警報が発せられている際にその報知をミュートさせる操作をしやすくするために「センサー反応範囲」を一時的に広くするための制御部35による処理を図18のルーチンに基づいて説明する。制御部35は所定のタイミングで繰り返しこのルーチンを実行する。
まず、ステップS10において制御部35は警報が報知されているかどうかを判断し、警報が報知されていると判断すると、ステップS11で現状のセンサー反応範囲が10cmに設定されているかどうかを判断する。ここで、センサー反応範囲が10cmに設定されていると判断すると処理は一旦終了する。つまり、特にセンサー反応範囲を変更する必要はないということである。
一方、ステップS11で現状のセンサー反応範囲が10cmではない(つまり6cm又は4cmである)と判断した場合にはステップS12でセンサー反応範囲が10cmとなるように制御し、ステップS13でフラグに「1」を立てて処理を一旦終了する。これで一時的にセンサー反応範囲が10cmに変更されることとなる。
これに対して、ステップS10で警報が報知されていないと判断した場合にはステップS14でフラグが「1」かどうかを判断する。ここで、フラグが「1」の場合には直前のルーチンでセンサー反応範囲が一旦10cmに変更されているということであるため、その直前のセンサー反応範囲である6cm又は4cmに戻し、フラグを「0」とする。一方、ステップS14でフラグが「1」ではない場合には、直前のセンサー反応範囲の変更はなかったということでそのまま処理を終了させる。
このような制御であれば、警報が報知されている際には一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更され、ユーザーがジェスチャー操作で音量を抑制しやすくなる。一方、警報が報知完了すると元のセンサー反応範囲に復帰するのでユーザは再度設定する手間が省ける。
上記のように構成することにより本実施の形態のレーダー探知装置10では次のような効果が奏される。
(1)レーダー探知装置10では従来のように実際に触って操作するための例えば静電スイッチで構成された入力部やタッチパネル等が不要となり、4方向動作+接近停止動作で操作ができるため非常なコストダウンとなり、それら入力部等の構成部材が不要になることから重量も軽減できることとなって、特に振動の多い車両内にレーダー探知装置10を設置する際に好適である。
(2)レーダー探知装置について様々な機能が多く付随したいわゆる高級機では細かな設定が必要となるため、どうしてもリモコンやタッチパネルのような入力部が必要となる。しかし、特に設定項目の少ない傾向となるローエンド機ではジェスチャーでの入力であってもシンプルな操作となるため取りこぼしがなく、そのためローエンド機において最適である。高級機ではジェスチャーセンサ27を搭載する必要はなく、ジェスチャー機能を設けてもあくまで補助的な入力となるにすぎないため、コストアップとなってしまう。つまり、ユーザからの機器への操作入力手段としてジェスチャー検出手段以外の手段を備えることのない例えばレーダー探知装置のような機器を提供することが可能となる。
(3)レーダー探知装置10はルームミラーを兼用しているが、このようにジェスチャーによって入力できることで従来のようなミラー部の側方のスイッチエリアが必要でなくなり全面ミラーとなって、従来よりも相対的にミラー領域が増えることとなりユーザーにとってルームミラーとしての機能が向上することとなる。また、ユーザがミラー面に触らなくとも操作できるため指紋等で汚れにくくなる。
(4)ユーザーは所定のジェスチャーを実行するだけで、レーダー探知装置10を所望の処理モードに移行させることができるため実際に触って入力するための入力部等を目視して探す必要がないため操作上有利である。また、運転中であれば入力部等を探す必要がないため運転に専念できることとなる。
(5)例えば触って操作するための入力部やタッチパネル等のように接触することがなくなるため、筐体13が汚れにくくなり、また、接触による劣化も防止することができる。
(6)ユーザーはジェスチャーを何度か繰り返すことで同じ音を発するジェスチャーパターンを覚えることができ、そのジェスチャーを実行することで所望の処理を選択することが簡単にできるようになる。その際に音の種類や複数の音の出力されるタイミングに基づいて正確にジェスチャーパターンを覚えることができることとなる。
(7)一連のジェスチャーに所定の処理を実行するためのジェスチャーが含まれている場合には所定の処理に応じた音が出力され、その音との関係でユーザーは所定の処理の内容を理解することができる。
(8)音出力基準領域Z内にジェスチャーの判断の支障となる例えばサンバイザーのような遮蔽物が存在していても、この影響をキャンセルするような処理を実行するため、操作するための入力部等、実際になんらかの確実な入力手段がなくとも間違いなく入力が可能となっている。
(9)ユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定した場合であっても、警報が報知されている際には一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更されるため、ユーザーがジェスチャー操作で音量を抑制しやすくなる。一方、警報が報知完了すると元のセンサー反応範囲に復帰するのでユーザは再度設定する手間が省けることとなる。
(10)スピーカ装置20の音出口25は筐体13の下方位置であるため、レーダー探知装置10を車両内に設置した場合に耳に近く、かつホーン23内で音が増幅されるためユーザーにとって非常に聞き取りやすくなっている。
(11)センサー位置を示す4つのマーク33は同時に所定の処理を実行させるためのジェスチャー方向(上下左右)を示すため、初めてのユーザーにとって分かりやすいものとなっている。
本発明を、以下のような態様で具体化して実施してもよい。
・上記実施の形態のレーダー探知装置10では図2に示すように、制御基板17上にジェスチャーセンサ27を搭載したセンサ基板28を図示しないBtoBコネクタを介して別体として積層状に接続するようにしていた。しかし、このような接続によってジェスチャーセンサ27をミラー部30背面に近接させて配置させようとする場合には基板の厚み公差によって予定よりもミラー部30から離間してしまい所定範囲内に収まらないという場合もあり得る。
そのため、ジェスチャーセンサを配置する場合に図19に示すような構成とすることがよい。この図19は据え置き型のレーダー探知装置50の部分拡大断面図である。レーダー探知装置50は本体ケース51とフロントプレート52から筐体53が構成されている。フロントプレート52の前面には透明ガラス製のカバー54が配設されている。ジェスチャーセンサ55を搭載したセンサ基板56はフロントプレート52に形成されたスタッド57に対してネジ58によって固定されている。センサ基板56はメイン基板59とフレキシブルケーブル60によって接続されている。
このようにセンサ基板56が単独で直接フロントプレート52側のスタッド57に固定されており、間に他の部材を介さずにミラー部30までの距離を短縮させてジェスチャーセンサ55を正確にカバー54に近接した位置に配置することが可能となる。要はセンサ基板56が単独でフロントプレート52側に固定されればよいため、ネジ58以外の固定手段、例えばクリップのような手段で固定するようにしてもよい。このような据え置き型のレーダー探知装置50のジェスチャーセンサの設置機構を上記レーダー探知装置10の構成に適用してもよい。
・ジェスチャー中の対象物の位置によって様々な音が出力されるが、この際にジェスチャーはいくつかの音を出力する全体を1つのジェスチャーと考えることもでき、ある1つの音に対応したジェスチャーをもって1つのジェスチャーと考えることもできるものである。つまり、以下の例えば第1のジェスチャーはその1から始まりその4で終わるジェスチャーと考えてもよく、「第1のジェスチャー(その2)」だけでも開始と終了のある単独のジェスチャーと考えてもよい。
・上記のジェスチャー以外にも、例えば、対象物がジェスチャーセンサ27の前面を斜め方向に横切るようなジェスチャーや円を描くようなジェスチャーを採用してもよい。また、例えばジェスチャーセンサ27に対して対象物を正対させ離間した位置から接近させる(あるいは逆に離間させる)ようなジェスチャーでもよい。
・上記のミラー部30の第2の窓部32は可視光が透過するため、ジェスチャーセンサ27が目視できるような構成であった。しかし、ジェスチャーセンサ27を見せないように可視光域の光線は反射あるいは吸収させるようにし、赤外線のみを透過させるような透過特性の透過膜を配置させることがよい。
・上記第1及び第2の窓部31、32の形状や位置は適宜変更可能である。
・上記実施の形態で例示した制御部35が実行するその他の処理として、例えば、音に関する処理としてはその他、音(音声)の出力とその停止、音質(音色)の変更、音の数の変更、音のパターン(例えばメロディー)の変更、ガイダンスの声の変更等をジェスチャーによって可能とするように設定してもよい。
・上記実施の形態では手のジェスチャーの移動方向の上下左右の4方向に設定していたが、移動方向はこの4つ以外のパターンで用意してもよい。
・上記のジェスチャー中の音は一例であって他の音程の音を使用してもよい。また、音程も上記では対象物がセンサー反応範囲を横切ることで徐徐に高い音となるような設定であったが、対象物の移動に伴って出力される音がメロディーがあるかのように高くなったり低くなったりするようなパターンで設定してもよい。
・上記実施の形態ではユーザーの設定でセンサー反応範囲を、例えば普通(6cm)や狭い(4cm)に設定した場合に、警報が報知されている際に一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更するようにしていたが、警報報知の場合以外にこのような処理を実行するようにしてもよい。例えば、時刻の報知、事故情報の報知等の場合である。また、上記ではセンサー反応範囲を3つの距離に設定できるようにしていたが、2つあるいは4つ以上に設定できるようにしてもよい。また、一時的にユーザが操作しやすい10cmの距離のセンサー反応範囲に変更した後はセンサー反応範囲を再び普通(6cm)や狭い(4cm)に戻すような処理であったが戻さなくともよい。
・上記レーダー探知装置10の構成は一例であって、他の形状で実施するようにしてもよい。例えば、上記では正面向かって右寄りにジェスチャーセンサ27が配置されていたが、これは主として右ハンドルの車両で左手でジェスチャーをするユーザーを念頭に置いているものであるが、左ハンドルの車両を念頭に左寄りにジェスチャーセンサ27を配置するようにしてもよい(つまり、車両に応じてジェスチャーしやすい位置に配置するようにしてもよい)。あるいは、上記の正面向かって右寄りにジェスチャーセンサ27が配置された実施形態において、ミラーに変更な面内で180度回転して車両のルームミラーに取り付けられる構成とし、この場合、ユーザからの設定あるいはGセンサ等によって取り付け方向を判定し、判定した取り付け方向に合うようにジェスチャーの認識方向を180度回転させるか否かを決定するようにするとよい。
・レーダー探知装置以外に、車両用として例えば、ナビゲーション装置(レーダー探知機能のないもの)やドライブレコーダー装置に適用するようにしてもよい。
・車両用以外の様々な機器に応用するようにしてもよい。
・ジェスチャーセンサ27の検出において上記では赤外線発光素子からの赤外光を対象物に当ててその反射光の変化を受光素子で捉えるものであったが、赤外線の代わりに例えば超音波や静電容量の変化を利用したもの等他の原理のジェスチャーセンサを使用するようにしてもよい。
・ミラー部30前面にミラ−面保護用の保護シートを貼着する場合がある。この場合において、ユーザーは使用時に剥がさずに使用する場合がある。しかし、経年使用によって保護シートが一部剥がれてジェスチャーセンサ27の検出範囲内にその剥がれた保護シートが揺れてあたかもジェスチャーと間違えるような動作をする可能性がある。これは誤動作の原因となる可能性がある。そのため、図20のように保護シート62を第2の窓部32から離間した範囲内のみに貼着させたり、剥がれやすい角部を面取り状に形成したりすることができ、誤動作や保護シート62がユーザーのジェスチャーの邪魔になることがなくなるとともに、ユーザーが剥がれた部分を取り除いたりする面倒さもなくなる。特に、ミラーの全面に保護シートを設け、第2の窓部32にそってその保護シートをくりぬいた構成とするとよい。このようにすればミラー面の全面を保護することができるとともに、ユーザーが保護シートを取り外さずに使用を開始した場合でも、保護シートの動きによってジェスチャーと認識される可能性を低減できる。
・車載用の機器以外に応用するようにしてもよい。
本発明はその趣旨を逸脱しない範囲において変更した態様で実施することは自由である。
10…電子情報システムとしてのレーダー探知装置、35…制御手段としての制御部。

Claims (10)

  1. ユーザーによる対象物の動きをジェスチャー検出手段で検出し、検出した対象物の動きによるジェスチャーの認識結果に基づいて所定の処理を行う電子情報システムにおいて、
    ジェスチャーの認識が完了した時点で所定の音を出力する機能を備え、
    前記認識するジェスチャーとして、前記対象物がジェスチャー検出手段の所定検出領域内において当該ジェスチャー検出手段に対して遠方から接近した後、当該ジェスチャー検出手段に対して遠方へ離間するジェスチャーを備え、
    ジェスチャーの認識が完了する前のジェスチャーの認識中には、前記所定の音とは異なる音であって、前記対象物がジェスチャー検出手段の所定検出領域内において当該ジェスチャー検出手段に対して遠方から接近するジェスチャーの検出時の音と、前記対象物がジェスチャー検出手段の所定検出領域内において当該ジェスチャー検出手段に対して遠方へ離間するジェスチャーの検出時の音は、異なる音としたこと
    を特徴とする電子情報システム。
  2. 前記対象物がジェスチャー検出手段の所定検出領域内において当該ジェスチャー検出手段に対して遠方から接近するジェスチャーの検出時に距離に応じた音パターンで前記音を発生させること
    を特徴とする請求項1に記載の電子情報システム。
  3. 前記対象物がジェスチャー検出手段の所定検出領域内において当該ジェスチャー検出手段に対して遠方へ離間するジェスチャーの検出時に距離に応じた音パターンで前記音を発生させること
    を特徴とする請求項1または2に記載の電子情報システム。
  4. 前記所定の処理は現在報知されている警報情報の報知を抑制させる処理であること
    を特徴とする請求項1〜3のいずれかに記載の電子情報システム。
  5. 表示画面に出発点となる所定の表示をさせ、所定のジェスチャーの認識結果に基づいて他の表示モードに変更させた後、所定のジェスチャーの認識結果に基づいて再び前記出発点となる所定の表示をさせるように制御すること
    を特徴とする請求項1〜4のいずれかに記載の電子情報システム。
  6. 前記ジェスチャー検出手段の検出領域内に遮蔽物が所定時間停止して存在することに基づいて前記遮蔽物を検出せず、遮蔽物がジェスチャー検出手段に所定距離よりも近づいて検出された場合にはジェスチャーを認識させないこと
    を特徴とする請求項1〜5のいずれかに記載の電子情報システム。
  7. 前記ジェスチャー検出手段は車両搭載用遮蔽物が検出領域内に所定時間停止して存在することに基づいて前記遮蔽物を検出せず、あるいは検出データを使用せずにユーザーによるジェスチャーを検出すること
    を特徴とする請求項6に記載の電子情報システム。
  8. 遮蔽物が前記ジェスチャー検出手段に所定距離よりも近づいて検出された場合にはジェスチャーを認識させないように制御すること
    を特徴とする請求項1〜7のいずれかに記載の電子情報システム。
  9. 筐体上に前記ジェスチャー検出手段が検出可能な複数の異なるジェスチャーの方向をユーザーが認識可能な表示を行うようにしたと
    を特徴とする請求項1〜8のいずれかに記載の電子情報システム。
  10. 請求項1〜9のいずれかに記載の電子情報システムの機能をコンピュータに実現させるためのプログラム。
JP2018092704A 2018-05-14 2018-05-14 電子情報システム及びそのプログラム Active JP6730552B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018092704A JP6730552B2 (ja) 2018-05-14 2018-05-14 電子情報システム及びそのプログラム
JP2019232178A JP6915815B2 (ja) 2018-05-14 2019-12-24 電子情報システム及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018092704A JP6730552B2 (ja) 2018-05-14 2018-05-14 電子情報システム及びそのプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014068020A Division JP6664609B2 (ja) 2014-03-28 2014-03-28 電子情報システム及びそのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019232178A Division JP6915815B2 (ja) 2018-05-14 2019-12-24 電子情報システム及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2018163668A JP2018163668A (ja) 2018-10-18
JP6730552B2 true JP6730552B2 (ja) 2020-07-29

Family

ID=63860252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018092704A Active JP6730552B2 (ja) 2018-05-14 2018-05-14 電子情報システム及びそのプログラム

Country Status (1)

Country Link
JP (1) JP6730552B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11167771B2 (en) 2018-01-05 2021-11-09 Magna Mirrors Of America, Inc. Vehicular gesture monitoring system
DE112021000497T5 (de) 2020-01-10 2022-11-24 Magna Electronics, Inc. Kommunikationssystem und -verfahren

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3819096B2 (ja) * 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP2005141542A (ja) * 2003-11-07 2005-06-02 Hitachi Ltd 非接触入力インターフェース装置
JP2008077452A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 設定入力装置およびそれを用いた機器
JP4789885B2 (ja) * 2007-07-26 2011-10-12 三菱電機株式会社 インタフェース装置、インタフェース方法及びインタフェースプログラム
EP2338114B1 (en) * 2008-09-03 2017-03-15 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
JP5737748B2 (ja) * 2011-02-10 2015-06-17 学校法人 名城大学 統合入力インターフェース
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
JP5858850B2 (ja) * 2012-04-02 2016-02-10 三菱電機株式会社 空気調和機の室内機
JP5900161B2 (ja) * 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5921981B2 (ja) * 2012-07-25 2016-05-24 日立マクセル株式会社 映像表示装置および映像表示方法
US9798456B2 (en) * 2012-08-30 2017-10-24 Panasonic Intellectual Property Corporation Of America Information input device and information display method

Also Published As

Publication number Publication date
JP2018163668A (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
EP3441846B1 (en) Bracket assembly for a multi-component vision system in an electronic device
TW541255B (en) Interactive vehicle display system
JP6730552B2 (ja) 電子情報システム及びそのプログラム
US20130021293A1 (en) Display device
KR102664694B1 (ko) 카메라 모듈을 포함하는 전자 장치
KR20190121604A (ko) 디스플레이 아래에 배치된 센서에 의해 반사된 광을 차단하기 위한 편광 부재 및 위상 지연 부재를 포함하는 전자 장치
US20190286123A1 (en) Remote vehicle control device and remote vehicle control method
JP6664609B2 (ja) 電子情報システム及びそのプログラム
JP6878437B2 (ja) 自動車用の制御インターフェース
JP2006277588A (ja) タッチパネル及びタッチパネルを備えた電子機器
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP7214165B2 (ja) 電子情報システム及びそのプログラム
JP6915815B2 (ja) 電子情報システム及びそのプログラム
JPWO2017163892A1 (ja) ヘッドアップディスプレイ装置
US9898142B2 (en) Touch detection on a curved surface
WO2014171096A1 (ja) 車載機器の制御装置、車載機器
US20110133882A1 (en) Apparatus for detecting coordinates of an event within interest region, display device, security device and electronic blackboard including the same
EP3913458B1 (en) Electronic device comprising a display module
KR101510342B1 (ko) 안전 버튼을 구비한 곡면 디스플레이 장치
KR20220044950A (ko) 내부 리어뷰 미러 및 차량
US20140184491A1 (en) System and method for providing user interface using an optical scanning
JPWO2014076992A1 (ja) インターフェース装置、表示システム及び入力受付方法
KR20140034528A (ko) 이동 단말기 및 이동 단말기의 제어 방법
US11865919B2 (en) Vehicle display device
JP2000181631A (ja) 光学式タッチスイッチ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R150 Certificate of patent or registration of utility model

Ref document number: 6730552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350