JP6900133B2 - Gesture operation device and gesture operation method - Google Patents
Gesture operation device and gesture operation method Download PDFInfo
- Publication number
- JP6900133B2 JP6900133B2 JP2019567457A JP2019567457A JP6900133B2 JP 6900133 B2 JP6900133 B2 JP 6900133B2 JP 2019567457 A JP2019567457 A JP 2019567457A JP 2019567457 A JP2019567457 A JP 2019567457A JP 6900133 B2 JP6900133 B2 JP 6900133B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- gesture operation
- operator
- gesture
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Description
本発明は、ジェスチャー操作装置およびジェスチャー操作方法に関し、特に、操作者にジェスチャー操作を誘導するジェスチャー操作装置およびジェスチャー操作方法に関する。 The present invention relates to a gesture operation device and a gesture operation method, and more particularly to a gesture operation device and a gesture operation method for inducing a gesture operation to an operator.
従来、運転者などの操作者がジェスチャー操作することによって、音量調整または着信応答などを行うジェスチャー操作装置が開発されている。ジェスチャー操作とは、三次元空間における任意の方向に自身の手などを動かすことによって、任意の機能を実行するための操作のことをいう。例えば、任意の機能を実行する際に、操作者が行うべきジェスチャー操作を誘導する情報を表示する技術が開示されている（例えば、特許文献１参照）。 Conventionally, a gesture operation device has been developed in which an operator such as a driver performs a gesture operation to adjust the volume or answer an incoming call. Gesture operation refers to an operation for executing an arbitrary function by moving one's own hand or the like in an arbitrary direction in a three-dimensional space. For example, a technique for displaying information for guiding a gesture operation to be performed by an operator when executing an arbitrary function is disclosed (see, for example, Patent Document 1).
特許文献１では、ジェスチャー操作を誘導する情報を二次元で表示している。従って、三次元方向の動きを伴うジェスチャー操作の場合、当該ジェスチャー操作を誘導する情報は二次元で表現されるため、操作者がジェスチャー操作を正確に理解することができないことがある。この場合、ジェスチャー操作装置は、操作者が行ったジェスチャー操作を精度良く判断することができない可能性がある。
In
本発明は、このような問題を解決するためになされたものであり、操作者が行ったジェスチャー操作を精度良く判断することが可能なジェスチャー操作装置およびジェスチャー操作方法を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a gesture operation device and a gesture operation method capable of accurately determining a gesture operation performed by an operator. ..
上記の課題を解決するために、本発明によるジェスチャー操作装置は、イベントを検出するイベント検出部と、イベント検出部が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部とを備え、表示制御部は、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得するジェスチャー操作取得部と、ジェスチャー操作取得部が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する操作判断部と、操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部とをさらに備える。 In order to solve the above problems, the gesture operation device according to the present invention may be performed by an operator to advance an event detection unit that detects an event and an event detected by the event detection unit. The possible operations include a display control unit that controls the display of the operation object that guides the gesture operation indicating the operator's intention in three dimensions, and the display control unit functions together with the operation object to be the target of the gesture operation. Controls the display of the operation target object to be represented, and controls the display of the operation object in a manner in which the operation target object is manually operated. The operation object is a three-dimensional display space when the operator views the display screen with the naked eye. It has a depth in a gesture operation acquisition unit for acquiring gesture operation by the operator, an operation determination unit that determines whether a gesture operation gesture operation acquisition unit has acquired a motion according to the operation object, the operation determination unit There further Ru and an operation history information storage unit for storing the result of determination as operation history information.
また、本発明によるジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得し、取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断し、判断した結果を操作履歴情報として記憶する。 Further, the gesture operation method according to the present invention detects an event and induces a gesture operation indicating the operator's intention to an action that can be performed by the operator to advance the detected event. Controls to display the operation object in three dimensions, controls to display the operation object that represents the function that is the target of the gesture operation together with the operation object, and displays the operation object in the manner of manually operating the operation object. and controls the operation object, have a depth in the three-dimensional display space when the operator watching the display screen with the naked eye, to get the gesture operation by the operator is the motion acquired gesture operation according to the operation object Whether or not it is determined, and the result of the determination is stored as operation history information .
本発明によると、ジェスチャー操作装置は、イベントを検出するイベント検出部と、イベント検出部が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部とを備え、表示制御部は、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得するジェスチャー操作取得部と、ジェスチャー操作取得部が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する操作判断部と、操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部とをさらに備えるため、操作者が行ったジェスチャー操作を精度良く判断することが可能となる。 According to the present invention, the gesture operation device has an event detection unit that detects an event and an operation that the operator can perform in order to advance the event with respect to the event detected by the event detection unit. It is provided with a display control unit that controls the display of the operation object that guides the gesture operation indicating the intention of the gesture operation in three dimensions, and the display control unit displays the operation target object that represents the function that is the target of the gesture operation together with the operation object. performs control, performs control for displaying an operation object in a manner to operate manually controlled object, the control object may have a depth in the three-dimensional display space when the operator watching the display screen with the naked eye, the operation The operation history of the gesture operation acquisition unit that acquires the gesture operation of the person, the operation judgment unit that determines whether or not the gesture operation acquired by the gesture operation acquisition unit is a movement that follows the operation object, and the result of the determination by the operation judgment unit. further comprising because the operation history information storing section for storing as information, it is possible to accurately determine the operator gesture operation performed.
また、ジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得し、取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断し、判断した結果を操作履歴情報として記憶するため、操作者が行ったジェスチャー操作を精度良く判断することが可能となる。
Further, the gesture operation method is an operation object that detects an event and guides a gesture operation indicating the operator's intention to an action that can be performed by the operator to advance the detected event. Is controlled to be displayed in three dimensions, the operation target object representing the function to be gestured is displayed together with the operation object is controlled, and the operation object is displayed in the manner of manually operating the operation target object. , the operation object, have a depth in the three-dimensional display space when the operator watching the display screen with the naked eye, and obtains a gesture operation of the operator, whether the acquired gesture operation is a motion in accordance with the operation object Is determined, and the result of the determination is stored as operation history information, so that the gesture operation performed by the operator can be accurately determined.
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objectives, features, aspects, and advantages of the present invention will be made more apparent with the following detailed description and accompanying drawings.
本発明の実施の形態について、図面に基づいて以下に説明する。 Embodiments of the present invention will be described below with reference to the drawings.
＜実施の形態１＞
＜構成＞
図１は、本実施の形態１によるジェスチャー操作装置１の構成の一例を示すブロック図である。なお、図１では、本実施の形態によるジェスチャー操作装置を構成する必要最小限の構成を示している。また、以下では、操作者が自身の手を動かすことによってジェスチャー操作を行う場合について説明するが、これに限るものではない。<
<Structure>
FIG. 1 is a block diagram showing an example of the configuration of the
図１に示すように、ジェスチャー操作装置１は、イベント検出部２と、表示制御部３とを備えている。イベント検出部２は、イベントを検出する。イベントしては、後述のように、例えばメール着信、電話着信、車載機器の操作時などが挙げられる。表示制御部３は、表示装置４に接続されており、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う。
As shown in FIG. 1, the
図２〜４は、ジェスチャー操作の一例を示す図である。図２〜４において、Ｘ軸は操作者から見て左右方向を示し、Ｙ軸は操作者から見て上下方向を示し、Ｚ軸は操作者から見て前後方向を示している。 2 to 4 are diagrams showing an example of gesture operation. In FIGS. 2 to 4, the X-axis indicates the left-right direction when viewed from the operator, the Y-axis indicates the vertical direction when viewed from the operator, and the Z-axis indicates the front-back direction when viewed from the operator.
図２に示すように、操作者は、自身の手を前後方向かつ上下方向に回転させるジェスチャー操作を行うことができる。図３に示すように、操作者は、自身の手を前後方向に移動させるジェスチャー操作を行うことができる。図４に示すように、操作者は、自身の手を左右方向に移動させるジェスチャー操作を行うことができる。このように、操作者は、三次元空間における任意の方向に手を動かすことによってジェスチャー操作を行うことができる。 As shown in FIG. 2, the operator can perform a gesture operation of rotating his / her hand in the front-back direction and the up-down direction. As shown in FIG. 3, the operator can perform a gesture operation of moving his / her hand in the front-back direction. As shown in FIG. 4, the operator can perform a gesture operation of moving his / her hand in the left-right direction. In this way, the operator can perform the gesture operation by moving his / her hand in any direction in the three-dimensional space.
図５〜７は、表示装置４の一例を示す図である。図５〜７において、Ｘ軸は操作者から見て左右方向を示し、Ｙ軸は操作者から見て上下方向を示し、Ｚ軸は操作者から見て前後方向を示している。
5 to 7 are views showing an example of the
図５は、裸眼立体表示を行う表示装置４の一例を示している。裸眼立体表示とは、操作者５が裸眼で表示画面を見たときに画像が立体的に表示されているように、すなわち三次元表示空間において奥行きを感じるように認識させることをいう。具体的には、図５に示すように、操作者５の右目用の表示オブジェクトと左目用の表示オブジェクトとをＸ−Ｙ平面上に交互に表示することによって、操作者５に表示オブジェクトが立体的に表示されているように認識させる。
FIG. 5 shows an example of a
図６は、ＨＵＤ（Head Up Display）など、虚像表示を行う表示装置４の一例を示している。図６に示すように、虚像である表示オブジェクトの焦点距離を変えることによって、操作者５は表示オブジェクトが立体的に表示されているように認識することができる。
FIG. 6 shows an example of a
図７は、透過型の表示面をｚ軸方向に複数重ねて構成される表示装置４の一例を示している。一の表示オブジェクトを各表示面に重ねて表示することによって、操作者５は表示オブジェクトが立体的に表示されているように認識することができる。
FIG. 7 shows an example of a
表示装置４は、図５〜７に示すいずれかまたは任意の組み合わせの表示装置で構成され、表示制御部３の制御によって図２〜４に示すような三次元空間におけるジェスチャー操作を誘導する操作オブジェクトを三次元で表示する。操作オブジェクトの詳細については後述する。
The
次に、図１に示すジェスチャー操作装置１を含むジェスチャー操作装置の他の構成について説明する。
Next, another configuration of the gesture operation device including the
図８は、他の構成に係るジェスチャー操作装置６の構成の一例を示すブロック図である。
FIG. 8 is a block diagram showing an example of the configuration of the
図８に示すように、ジェスチャー操作装置６は、イベント検出部２と、表示制御部３と、通信部７と、ジェスチャー操作取得部８と、操作判断部９と、機器制御部１０とを備えている。
As shown in FIG. 8, the
通信部７は、携帯通信端末１２と通信接続可能な端末通信部１１を有している。端末通信部１１は、携帯通信端末１２から、例えばメールを着信した旨の情報、および電話を着信した旨の情報などを受信する。また、端末通信部１１は、操作判断部９の判断結果に従って、携帯通信端末１２に当該携帯通信端末１２を操作する情報を送信する。
The
イベント検出部２は、端末通信部１１がメールを着信した旨の情報、または電話を着信した旨の情報などを携帯通信端末１２から受信したことをイベントとして検出する。表示制御部３は、表示装置４に対して、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う。
The
ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３に接続されており、操作者５のジェスチャー操作をジェスチャー操作検出装置１３から取得する。図９は、ジェスチャー操作検出装置１３の構成の一例を示す図である。図９に示すように、ジェスチャー操作検出装置１３は、例えば車内のフロアコンソールに設置されており、ＴｏＦ（Time of Flight）センサ、画像センサ、および近接センサのうちの少なくとも１つを備えている。ジェスチャー操作空間１７は、ジェスチャー操作検出装置１３による検出範囲に相当する。すなわち、ジェスチャー操作検出装置１３は、ジェスチャー操作空間１７において操作者５が行ったジェスチャー操作を検出する。このとき、ジェスチャー操作検出装置１３が検出するジェスチャー操作は、後述するイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作を行うためのジェスチャー操作だけでなく、その他の手の動きもジェスチャー操作として検出する。
The gesture
なお、ジェスチャー操作検出装置１３を構成するセンサは、１つでもよい。この場合、ジェスチャー操作検出装置１３は一方向からジェスチャー操作を検出することになる。また、ジェスチャー操作検出装置１３を構成するセンサは、複数でもよい。この場合、例えば図１０に示すように３つのセンサをＡ点、Ｂ点、およびＣ点の３箇所に設ければ、ジェスチャー操作検出装置１３は三方向からジェスチャー操作を検出することになるため、センサが１つの場合よりもジェスチャー操作の検出精度を高めることができる。
The number of sensors constituting the gesture
図８に戻り、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する。また、操作判断部９は、音声入力装置１４と接続されており、操作者５が音声入力装置１４を介して発話した内容に基づいて、どのような操作をするのかを判断することができる。このように、操作判断部９は、操作者５による音声操作の内容を判断することができる。
Returning to FIG. 8, the
機器制御部１０は、操作判断部９が操作オブジェクトに従うジェスチャー操作であると判断した場合、当該ジェスチャー操作に基づいて車載機器１５および音声出力装置１６などの機器を制御する。また、機器制御部１０は、操作判断部９が操作オブジェクトに従うジェスチャー操作であると判断した場合、当該ジェスチャー操作に基づいて、通信部７と通信している携帯通信端末１２を制御する。車載機器１５としては、例えばナビゲーション装置、音響機器、および車両内に設けられた各種制御装置などが挙げられる。音声出力装置１６としては、例えばスピーカなどが挙げられる。
When the
図１１は、ジェスチャー操作装置６のハードウェア構成の一例を示すブロック図である。なお、図１に示すジェスチャー操作装置１についても同様である。
FIG. 11 is a block diagram showing an example of the hardware configuration of the
ジェスチャー操作装置６における端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の各機能は、処理回路により実現される。すなわち、ジェスチャー操作装置６は、携帯通信端末１２と通信し、イベントを検出し、表示の制御を行い、ジェスチャー操作を取得し、ジェスチャー操作を判断し、機器を制御するための処理回路を備える。処理回路は、メモリ１９に格納されたプログラムを実行するプロセッサ１８（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）である。
Each function of the
ジェスチャー操作装置６における端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１９に格納される。処理回路は、メモリ１９に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、ジェスチャー操作装置６は、携帯通信端末１２と通信するステップ、イベントを検出するステップ、表示の制御を行うステップ、ジェスチャー操作を取得するステップ、ジェスチャー操作を判断するステップ、機器を制御するステップが結果的に実行されることになるプログラムを格納するためのメモリ１９を備える。また、これらのプログラムは、端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、または、今後使用されるあらゆる記憶媒体であってもよい。
The functions of the
＜動作＞
図１２は、図１に示すジェスチャー操作装置１の動作の一例を示すフローチャートである。<Operation>
FIG. 12 is a flowchart showing an example of the operation of the
ステップＳ１０１において、イベント検出部２は、イベントを検出したか否かを判断する。イベント検出部２は、イベントを検出するまでステップＳ１０１の処理を繰り返し、イベントを検出したと判断するとステップＳ１０２に移行する。
In step S101, the
ステップＳ１０２において、表示制御部３は、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者５が行うことが可能な動作に、操作者５の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示するように表示装置４を制御する。具体的には、表示制御部３の制御によって、図２〜４に示すような三次元のジェスチャー操作を誘導する三次元の操作オブジェクトを、三次元で表示可能な表示装置４に表示する。
In step S102, the
図１３は、図８に示すジェスチャー操作装置６の動作の一例を示すフローチャートである。なお、図１３では、操作オブジェクトをチュートリアルで表示する場合について、図１４を用いて説明する。本実施の形態において、チュートリアルとは、イベントに対応して操作者５が行うべき一連のジェスチャー操作を操作オブジェクトとして表示装置４に表示することをいう。
FIG. 13 is a flowchart showing an example of the operation of the
ステップＳ２０１において、イベント検出部２は、イベントを検出したか否かを判断する。具体的には、イベント検出部２は、端末通信部１１がメールまたは電話を着信した旨の情報を携帯通信端末１２から受信するまでステップＳ２０１の処理を繰り返す。そして、イベント検出部２は、端末通信部１１がメールまたは電話を着信した旨の情報を携帯通信端末１２から受信したときにイベントを検出したと判断し、ステップＳ２０２に移行する。
In step S201, the
例えば、図１４に示すように、端末通信部１１が携帯通信端末１２からメールが着信した旨の情報を受信すると、表示装置４には未読アイコン２０が表示される。図１４の例では、未読のメールが２件あることを示している。
For example, as shown in FIG. 14, when the
ステップＳ２０２において、表示制御部３は、イベント検出部２が検出したイベントに対応して、当該イベントを進行させるために操作者５行うべき一連のジェスチャー操作を示す操作オブジェクトを三次元で表示するように表示装置４を制御する。
In step S202, the
図１４の例では、操作者５が表示装置４に表示されている未読アイコン２０を選択するジェスチャー操作を行うと未読メールの一覧が表示され、さらに操作者５が未読メールの一覧から特定のメールを選択するジェスチャー操作を行うと当該メールの内容を音声で読み上げる旨をチュートリアルで表示する。図１４では、表示装置４には、未読アイコン２０を選択するジェスチャー操作を示す操作オブジェクト２１が三次元で表示されている。このとき、操作オブジェクト２１は、表示装置４の手前から奥へ移動して未読アイコン２０を選択するように動く。また、表示装置４には、「メールを選んで音声で読み上げ可能」の文字が表示されている。
In the example of FIG. 14, when the
ステップＳ２０３において、ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３から、当該ジェスチャー操作検出装置１３が検出した操作者５によるジェスチャー操作を取得したか、すなわち操作者５がジェスチャー操作をしたか否かを判断する。ジェスチャー操作を取得した場合は、ステップＳ２０５に移行する。一方、ジェスチャー操作を取得していない場合は、ステップＳ２０４に移行する。
In step S203, the gesture
ステップＳ２０４において、ジェスチャー操作取得部８は、一定時間が経過したか否かを判断する。なお、この時間は、予め設定された時間であってもよく、ユーザが任意に設定した時間であってもよい。一定時間が経過した場合は、図１３に示す動作を終了する。一方、一定時間が経過していない場合は、ステップＳ２０３に戻る。
In step S204, the gesture
ステップＳ２０５において、操作判断部９は、ジェスチャー操作取得部８が取得した操作者５によるジェスチャー操作が、表示装置４に表示されたチュートリアルに従う動きであるか否かを判断する。すなわち、操作判断部９は、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断する。ジェスチャー操作がチュートリアルに従った操作でない場合は、ステップＳ２０６に移行する。一方、ジェスチャー操作がチュートリアルに従った操作である場合は、ステップＳ２０７に移行する。
In step S205, the
ステップＳ２０６において、表示制御部３は、ジェスチャー操作が失敗した旨を報知する制御を行う。具体的には、表示制御部３は、操作者５によるジェスチャー操作がチュートリアルに従った操作でない旨を表示装置４に表示する制御を行う。
In step S206, the
ステップＳ２０７において、機器制御部１０は、操作者５によるジェスチャー操作がチュートリアルに従った操作であると判断すると、当該ジェスチャー操作に基づいて対象となる機器を制御する。図１４の例では、操作者５がジェスチャー操作で選択したメールの内容を読み上げる。このとき、機器制御部１０は、音声出力装置１６からメールの内容を読み上げるように音声出力装置１６を制御してもよく、携帯通信端末１２からメールの内容を読み上げるように端末通信部１１を制御してもよい。
In step S207, when the
ステップＳ２０８において、操作判断部９は、操作者５によるジェスチャー操作が終了したか否かを判断する。具体的には、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が、表示装置４に表示したチュートリアルに従う全ての操作を行ったか否かを判断する。ジェスチャー操作が終了した場合は、図１３に示す動作を終了する。一方、ジェスチャー操作が終了していない場合は、ステップＳ２０７に戻る。
In step S208, the
図１３に示すように、チュートリアルを表示装置４に表示することによって、操作者５は、メールを着信したときにどのようなジェスチャー操作を行えば良いのかを正確に理解することができる。特に、表示装置４が図６に示すようなＨＵＤである場合、操作者５である運転者は、前方から視線を逸らすことなくジェスチャー操作することが可能である。
By displaying the tutorial on the
図１５は、図８に示すジェスチャー操作装置６の動作の一例を示すフローチャートである。なお、図１５では、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合について、図１６を用いて説明する。
FIG. 15 is a flowchart showing an example of the operation of the
ステップＳ３０１において、イベント検出部２は、図１３のステップＳ２０１と同様、イベントを検出するまでステップＳ３０１の処理を繰り返す。そして、イベント検出部２がイベントを検出したと判断すると、ステップＳ３０２に移行する。
In step S301, the
例えば、図１６に示すように、端末通信部１１が携帯通信端末１２から電話を着信した旨の情報を受信すると、表示装置４には受話器のアイコンとともに、電話の発信元の情報が表示される。図１６の例では、電話の発信元の情報として「岩崎さんからの電話」と表示される。
For example, as shown in FIG. 16, when the
ステップＳ３０２において、表示制御部３は、イベント検出部２が検出したイベントに対して操作者５が次に行うべき一のジェスチャー操作を示す操作オブジェクトを三次元で表示するように表示装置４を制御する。
In step S302, the
図１６の例では、受話器のアイコンに手を掛けた操作オブジェクト２１が表示される。なお、表示制御部３は、受話器のアイコンに手を掛ける動きを表現するように操作オブジェクト２１を表示する制御を行ってもよい。
In the example of FIG. 16, the
ステップＳ３０３において、ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３から、当該ジェスチャー操作検出装置１３が検出した操作者５によるジェスチャー操作を取得したか、すなわち操作者５がジェスチャー操作をしたか否かを判断する。図１６の例では、ジェスチャー操作検出装置１３で検出された操作者５の手に対応する検出アイコン２２が表示装置４に表示されている。このとき、表示装置４では、受話器のアイコン、操作オブジェクト２１、および検出アイコン２２を奥から手前に向かって順に表示してもよい。すなわち、表示制御部３は、操作オブジェクト２１を三次元表示空間における奥側に表示し、ジェスチャー操作取得部８が取得した操作者５の手のアイコンである検出アイコン２２を三次元表示空間における手前側に表示する制御を行う。ジェスチャー操作を取得した場合は、ステップＳ３０５に移行する。一方、ジェスチャー操作を取得していない場合は、ステップＳ３０４に移行する。
In step S303, the gesture
ステップＳ３０４において、図１３のステップＳ２０４と同様、ジェスチャー操作取得部８は、一定時間が経過したか否かを判断する。一定時間が経過した場合は、図１５に示す動作を終了する。一方、一定時間が経過していない場合は、ステップＳ３０３に戻る。
In step S304, as in step S204 of FIG. 13, the gesture
ステップＳ３０５において、操作判断部９は、ジェスチャー操作取得部８が取得した操作者５によるジェスチャー操作が、表示装置４に表示された操作オブジェクトに従う動きであるか否かを判断する。ジェスチャー操作が操作オブジェクトに従った操作でない場合は、ステップＳ３０６に移行する。一方、ジェスチャー操作が操作オブジェクトに従った操作である場合は、ステップＳ３０７に移行する。
In step S305, the
ステップＳ３０６において、図１３のステップＳ２０６と同様、表示制御部３は、ジェスチャー操作が失敗した旨を報知する制御を行う。具体的には、表示制御部３は、操作者５によるジェスチャー操作が操作オブジェクトに従った操作でない旨を表示装置４に表示する制御を行う。
In step S306, as in step S206 of FIG. 13, the
ステップＳ３０７において、機器制御部１０は、操作者５によるジェスチャー操作が操作オブジェクトに従う操作であると判断すると、当該ジェスチャー操作に基づいて対象となる機器を制御する。図１６の例では、検出アイコン２２が受話器のアイコンに重なると、通話が可能となる。このとき、機器制御部１０は、携帯通信端末１２で通話が可能となるように端末通信部１１を制御する。
In step S307, when the
ステップＳ３０８において、操作判断部９は、操作者５によるジェスチャー操作が終了したか否かを判断する。具体的には、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が、表示装置４に表示した操作オブジェクトに従う操作を行ったか否かを判断する。ジェスチャー操作が終了した場合は、図１５に示す動作を終了する。一方、ジェスチャー操作が終了していない場合は、ステップＳ３０２に戻る。
In step S308, the
図１５に示すように、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示することによって、操作者５は、電話を着信したときにどのようなジェスチャー操作を行えば良いのかを正確に理解することができる。
As shown in FIG. 15, by displaying an operation object that guides the
＜変形例１＞
図１３では操作オブジェクトをチュートリアルで表示する場合の動作を示し、図１５ではイベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合の動作を示しているが、これらの動作を組み合わせてもよい。例えば、操作者５が初めて経験するイベントの場合は図１３の動作を行って操作オブジェクトをチュートリアルで表示し、次回以降に同様のイベントを経験したときは図１５の動作を行って次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示するようにしてもよい。操作者５が複数存在する場合は、操作者５ごとに図１３または図１５の動作を行ってもよい。この場合、操作者５を個別に認識する必要がある。<Modification example 1>
FIG. 13 shows the operation when displaying the operation object in the tutorial, and FIG. 15 shows the operation when displaying the operation object that guides the
＜変形例２＞
図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図１７または図１８に示すように、操作オブジェクトとともにジェスチャー操作の対象となる機能を表すオブジェクトを表示する制御を行ってもよい。図１７では、時計回りまたは反時計回りのジェスチャー操作を誘導する操作オブジェクト２１とともにダイヤルが表示されている。ダイヤルとしては、例えば音量調整を行うためのダイヤルなどが挙げられる。図１８では、操作者５から見て前後方向に回転させるジェスチャー操作を誘導する操作オブジェクト２１とともにフォルダＡ〜Ｃが表示されている。フォルダとしては、例えば電話帳などが挙げられる。このような表示を行うことによって、操作者５は、物理的な操作ボタンがなくてもどのような操作を行えばよいのかを正確に理解することができる。図１７，１８において、手は表示せず、矢印のみを表示してもよい。<
In step S202 of FIG. 13 or step S302 of FIG. 15, the
なお、図１７，１８の例は、図１３のステップＳ２０２または図１５のステップＳ３０２において静止画として表示されるが、図１３のステップＳ２０５または図１５のステップＳ３０５において操作者５が実際にジェスチャー操作を行った場合は、実際のジェスチャー操作に合わせてダイヤルが回転し、またはフォルダＡ〜Ｃの順序が変わるように動くことになる。すなわち、操作判断部９が操作者５によるジェスチャー操作が操作オブジェクトに従う動きであると判断した場合、表示制御部３はジェスチャー操作取得部８が取得したジェスチャー操作に合わせて操作オブジェクトが動くように制御する。
The examples of FIGS. 17 and 18 are displayed as still images in step S202 of FIG. 13 or step S302 of FIG. 15, but the
また、実際のジェスチャー操作に合わせてフォルダＡ〜Ｃが動くとき、当該動きに合わせて効果音を加えてもよい。これにより、操作者５はより直感的にどのような操作を行えばよいのかを正確に理解することができる。
Further, when the folders A to C move according to the actual gesture operation, a sound effect may be added according to the movement. As a result, the
＜変形例３＞
図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図１９に示すように、操作項目の一覧が手の動きに合わせて回転するように制御してもよい。操作項目の一覧は、例えば車載機器１５の機能に対応している。図１９では、操作項目の一覧が、操作者５から見て前後方向に輪を描くように配置されている。操作者５が「Ｓｅｔｔｉｎｇ」を選択すると各種設定を行うための画面に遷移し、「ＡＭ Ｒａｄｉｏ」を選択するとＡＭラジオを視聴するための機能が実行され、「ＦＭ Ｒａｄｉｏ」を選択するとＦＭラジオを視聴するための機能が実行され、「Ｍｕｓｉｃ」を選択するとＦＭラジオを視聴するための機能が実行され、「Ｎａｖｉｇａｔｉｏｎ」を選択すると目的地までの経路案内などのナビゲーション機能が実行される。このような表示を行うことによって、操作者５は、操作対象の動的な操作感を正確に理解することができる。図１９において、手は表示せず、矢印のみを表示してもよい。<Modification example 3>
In step S202 of FIG. 13 or step S302 of FIG. 15, the
なお、図１３のステップＳ２０５または図１５のステップＳ３０５において操作者５が実際にジェスチャー操作を行った場合は、実際のジェスチャー操作に合わせて操作項目の一覧が動くことになる。また、図１９の例に限らず、図１７においてダイヤルが回転する表示にしてもよく、図１８においてフォルダＡ〜Ｃの順序が変わるように表示してもよい。
When the
また、実際のジェスチャー操作に合わせて操作項目の一覧が動くとき、当該動きに合わせて効果音を加えてもよい。これにより、操作者５はより直感的にどのような操作を行えばよいのかを正確に理解することができる。
Further, when the list of operation items moves according to the actual gesture operation, a sound effect may be added according to the movement. As a result, the
＜実施例１＞
操作者５が普段使用している携帯通信端末１２の操作と同様の操作でジェスチャー操作を行うようにしてもよい。<Example 1>
The gesture operation may be performed by the same operation as the operation of the
図２０は、携帯通信端末１２の操作画面を表示装置４に三次元で表示する一例を示している。図２０に示す携帯通信端末１２の操作画面は、電話を着信したときに表示される画面である。端末通信部１１は、携帯通信端末１２から電話を着信した旨の情報とともに、電話を着信したときに携帯通信端末１２に表示される操作画面の情報を携帯通信端末１２から取得する。そして、図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図２１に示すように、応答することを示す受話器のアイコンを右方向にスライドさせることを示す操作オブジェクトを表示装置４に表示する制御を行う。操作者５は、図２１に示す操作オブジェクトに従ってジェスチャー操作することによって、電話の着信に応答することができる。このとき、操作者５は、三次元で表示された操作画面を見ながらジェスチャー操作することになるため、操作者５が普段使用している携帯通信端末１２と同様の操作感覚でジェスチャー操作をすることができる。
FIG. 20 shows an example of displaying the operation screen of the
また、他の例として、携帯通信端末１２が電話を着信したとき、表示装置４に図２２に示すような操作画面を表示してもよい。この場合、表示制御部３は、例えば図２３に示すように、応答することを示す受話器のアイコンを選択することを示す操作オブジェクトを表示装置４に表示する制御を行う。操作者５は、図２２に従ってジェスチャー操作することによって、電話の着信に応答することができる。
Further, as another example, when the
なお、図２０〜図２３に示す携帯通信端末１２の操作画面は、上記で説明したように電話の着信時に端末通信部１１が携帯通信端末１２から取得してもよいが、これに限るものではない。例えば、ジェスチャー操作装置６が図示しない記憶部に携帯通信端末１２の操作画面を記憶しておいてもよく、通信部７が外部のサーバなどから携帯通信端末１２に対応する操作画面の情報を取得してもよい。
The operation screen of the
＜実施例２＞
車載機器１５がラジオおよび音楽を再生する機能を有している場合、これらの機能をジェスチャー操作で実行してもよい。例えば、操作者５が自身の手をかざしながら「音楽」、「ラジオ」、または「携帯の音楽」などと発話すると、イベント検出部２はこれらの動作をイベントとして検出する。<Example 2>
When the in-
そして、操作者５が「音楽」と発話した場合、表示制御部３は、表示装置４に例えば音楽の再生リストおよび手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、上下方向にフリックするジェスチャー操作を行うと、リストのスクロールが可能であることを示す操作オブジェクトを表示してもよい。
Then, when the
操作者５は、表示装置４に表示された操作オブジェクトに従って上下方向にフリックするジェスチャー操作を行うことによってリストをスクロールし、楽曲名を読み上げることによって特定の楽曲を選択する。なお、楽曲の選択は、ジェスチャー操作によって選択してもよく、表示装置４がタッチパネルを備えている場合はタッチ操作によって選択してもよい。
The
また、音量調整をする際は、例えば図１７に示すような操作オブジェクトを表示装置４に表示してもよい。この場合、操作者５は、例えば自身の親指、人差し指、および中指でダイヤルを回転させるようなジェスチャー操作を行うことによって、音量調整をすることができる。このとき、操作者５の操作感覚を高めるために、ダイヤルの回転軸が操作者５側に傾いた形状であってもよい。
Further, when adjusting the volume, for example, an operation object as shown in FIG. 17 may be displayed on the
＜実施例３＞
車載機器１５がナビゲーション機能を有している場合、当該機能をジェスチャー操作で実行してもよい。例えば、操作者５が自身の手をかざしながら「ナビゲーション」、「目的地」、または「地図」などと発話すると、イベント検出部２はこれらの動作をイベントとして検出する。<Example 3>
When the in-
そして、操作者５が「目的地」と発話した場合、表示制御部３は、例えば目的地のリストおよび手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、上下方向にフリックするジェスチャー操作を行うとリストのスクロールが可能であり、タッチするジェスチャー操作を行うと特定の目的を選択可能であることを示す操作オブジェクトを表示してもよい。操作者５は、表示装置４に表示された操作オブジェクトに従って上下方向にフリックするジェスチャー操作を行うことによってリストをスクロールし、タッチするジェスチャー操作を行うと特定の目的を選択する。なお、目的地の選択は、例えば目的地の地名を読み上げることによって選択してもよい。
Then, when the
操作者５が「地図」と発話した場合、表示制御部３は、例えば地図および手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、ピンチインまたはピンチアウトするジェスチャー操作を行うと地図の拡大または縮小が可能であることを示す操作オブジェクトを表示してもよい。また、手のひらを下に向けたまま前後左右方向に移動させるジェスチャー操作を行うと地図のスクロールが可能であることを示す操作オブジェクトを表示してもよい。
When the
例えば、図２４に示すように、ホーム画面２３、現在地画面２４、および地図スクロール画面２５が階層化されている場合において、表示制御部３は、手のひらを上に向けたまま上方に動かすジェスチャー操作を行う度に、ホーム画面２３、現在地画面２４、および地図スクロール画面２５の順序が変わることを示す操作オブジェクトを表示してもよい。この場合、手を裏返すジェスチャー操作を行うと、ホーム画面２３が最上位に表示されるようにしてもよい。ホーム画面２３において選択可能な項目がある場合、表示制御部３は、例えばタッチするジェスチャー操作を行うと特定の項目を選択することを示す操作オブジェクトを表示してもよい。
For example, as shown in FIG. 24, when the
以上のことから、本実施の形態１によれば、三次元方向の動きを伴うジェスチャー操作を誘導する操作オブジェクトを三次元で表示しているため、操作者５はどのようなジェスチャー操作を行えばよいのかを正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。
From the above, according to the first embodiment, since the operation object for guiding the gesture operation accompanied by the movement in the three-dimensional direction is displayed in three dimensions, what kind of gesture operation should the
＜実施の形態２＞
図２５は、本発明の実施の形態２によるジェスチャー操作装置２６の構成の一例を示すブロック図である。<
FIG. 25 is a block diagram showing an example of the configuration of the
図２５に示すように、本実施の形態２によるジェスチャー操作装置２６は、機器制御部１０が音像制御部２７を有していることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。
As shown in FIG. 25, the
音像制御部２７は、音声出力装置１６に接続されており、音声出力装置１６から出力される音声の音像を制御する。具体的には、音像制御部２７は、表示制御部３の制御によって表示装置４に表示された操作オブジェクトの表示位置に応じて音像を制御する。
The sound
例えば、表示装置４に図２６に示すような操作オブジェクトが表示されている場合について説明する。図２６では、着信メールを保存フォルダとゴミ箱とに分別するときの操作オブジェクトを示している。表示装置４には、左手前には着信メールが表示され、右手前にはゴミ箱が表示され、右奥には保存フォルダが表示されている。操作オブジェクトにおいて、手のアイコンが、着信メールからゴミ箱または保存フォルダに向かう矢印に沿って移動する。このとき、音像制御部２７は、手のアイコンの動きに合わせて音像を制御するため、手のアイコンがゴミ箱に向かって移動するときの音と、手のアイコンが保存フォルダに向かって移動するときの音とが異なる。
For example, a case where an operation object as shown in FIG. 26 is displayed on the
なお、音像制御部２７は、操作者５が実際にジェスチャー操作をする際に、当該ジェスチャー操作に合わせて音像を制御してもよい。
The sound
以上のことから、本実施の形態２によれば、三次元方向の動きを伴うジェスチャー操作を誘導する操作オブジェクトを三次元で表示するとともに音場を制御しているため、操作者５はどのようなジェスチャー操作を行えばよいのかを直感的かつ正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。
From the above, according to the second embodiment, since the operation object for inducing the gesture operation accompanied by the movement in the three-dimensional direction is displayed in three dimensions and the sound field is controlled, how is the
＜実施の形態３＞
図２７は、本発明の実施の形態３によるジェスチャー操作装置２８の構成の一例を示すブロック図である。<
FIG. 27 is a block diagram showing an example of the configuration of the
図２７に示すように、本実施の形態３によるジェスチャー操作装置２８は、状態取得部２９を備えることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。
As shown in FIG. 27, the
状態取得部２９は、状態検出装置３０に接続されており、状態検出装置３０が検出した少なくとも操作者５の目の位置および視線を含む操作者５の状態を取得する。状態検出装置３０は、カメラで構成されており、操作者５の目の位置または視線をカメラで撮影された画像から特定する。表示制御部３は、状態取得部２９が取得した操作者５の状態に基づいて操作オブジェクトの表示位置を制御する。
The
以上のことから、本実施の形態３によれば、操作者５の状態に基づいて操作オブジェクトの表示位置を制御しているため、操作者５にとって見やすい操作オブジェクトを表示することができる。これにより、操作者５はどのようなジェスチャー操作を行えばよいのかを正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。
From the above, according to the third embodiment, since the display position of the operation object is controlled based on the state of the
＜実施の形態４＞
＜構成＞
図２８は、本発明の実施の形態４によるジェスチャー操作装置３１の構成の一例を示すブロック図である。<
<Structure>
FIG. 28 is a block diagram showing an example of the configuration of the
図２８に示すように、本実施の形態４によるジェスチャー操作装置３１は、操作履歴情報記憶部３２を備えることを特徴としている。その他の構成および動作は、実施の形態３と同様であるため、ここでは詳細な説明を省略する。
As shown in FIG. 28, the
操作履歴情報記憶部３２は、例えばハードディスク（Hard Disk Drive：ＨＤＤ）または半導体メモリ等の記憶装置から構成されており、操作判断部９によってジェスチャー操作が操作オブジェクトに従う動きであるか否かが判断された結果を記憶する。
The operation history
＜動作＞
図２９は、ジェスチャー操作装置３１の動作の一例を示すフローチャートである。なお、図２９のステップＳ４０１〜ステップＳ４０６は図１３のステップＳ２０１〜ステップＳ２０６に対応し、図２９のステップＳ４０８，ステップＳ４０９は図１３のステップＳ２０７，ステップＳ２０８に対応しているため、ここでは説明を省略する。以下では、ステップＳ４０７について説明する。<Operation>
FIG. 29 is a flowchart showing an example of the operation of the
ステップＳ４０７において、操作履歴情報記憶部３２は、操作判断部９が判断した結果を操作履歴情報として記憶する。具体的には、ステップＳ４０５において操作判断部９が操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作でないと判断すると、当該判断結果が操作履歴情報記憶部３２に記憶される。操作履歴情報記憶部３２に記憶される操作履歴情報は、操作者５ごとに記憶される。なお、各操作者５の識別は、状態検出装置３０が検出した操作者５の顔の画像に基づくものであってもよい。
In step S407, the operation history
操作判断部９は、次回以降のステップＳ４０５において、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断することができる。また、操作判断部９は、蓄積された操作履歴情報を用いて機械学習を行うことができる。これにより、操作者５によるジェスチャー操作がチュートリアルで示した操作オブジェクトとは少し異なる場合であっても操作オブジェクトに従った操作であると判断するなど、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。
In step S405 from the next time onward, the
図３０は、ジェスチャー操作装置３１の動作の一例を示すフローチャートである。なお、図３０のステップＳ５０１〜ステップＳ５０６は図１３のステップＳ２０１〜ステップＳ２０６に対応し、図３０のステップＳ５０９，ステップＳ５１０は図１３のステップＳ２０７，ステップＳ２０８に対応しているため、ここでは説明を省略する。以下では、ステップＳ５０７，ステップＳ５０８について説明する。
FIG. 30 is a flowchart showing an example of the operation of the
ステップＳ５０７において、状態取得部２９は、操作判断部９が判断した結果に対する操作者５の反応を操作者５の状態として取得する。具体的には、ステップＳ５０５において操作判断部９が操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作でないと判断して、ステップＳ５０６においてジェスチャー操作が失敗した旨を報知したときの操作者５の反応を状態検出装置３０が検出し、当該検出した操作者５の反応を状態取得部２９が取得する。操作者５の反応としては、操作者５の表情、または動きなどが挙げられる。
In step S507, the
ステップＳ５０８において、操作履歴情報記憶部３２は、操作判断部９による判断結果と、状態取得部２９が取得した操作者５の反応とを対応付けて操作履歴情報として記憶する。操作履歴情報記憶部３２に記憶される操作履歴情報は、操作者５ごとに記憶される。なお、各操作者５の識別は、状態検出装置３０が検出した操作者５の顔の画像に基づくものであってもよい。
In step S508, the operation history
操作判断部９は、次回以降のステップＳ５０５において、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断することができる。また、操作判断部９は、蓄積された操作履歴情報を用いて機械学習を行うことができる。これにより、操作者５によるジェスチャー操作がチュートリアルで示した操作オブジェクトとは少し異なる場合であっても操作オブジェクトに従った操作であると判断するなど、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。
In step S505 from the next time onward, the
なお、図２９，３０では、チュートリアルを表示する場合について説明したが、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合にも適用可能である。
Although the tutorial is described in FIGS. 29 and 30, it can also be applied to display an operation object that guides the
操作者５がシフトレバーまたは遠隔操作装置などジェスチャー操作以外の他の操作を行った場合、操作判断部９は、図２９のステップＳ４０５または図３０のステップＳ５０５の処理を行わなくてもよい。
When the
以上のことから、本実施の形態４によれば、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断するため、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。
From the above, according to the fourth embodiment, the gesture operation by the
＜実施の形態５＞
図３１は、本発明の実施の形態５によるジェスチャー操作装置３３の構成の一例を示すブロック図である。<
FIG. 31 is a block diagram showing an example of the configuration of the
図３１に示すように、本実施の形態５によるジェスチャー操作装置３３は、通信部７が外部情報取得部３４を有することを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。
As shown in FIG. 31, the
外部情報取得部３４は、外部から種々の外部情報を取得する。外部情報としては、例えば、操作者５に関連する情報、交通情報、天候情報などが挙げられる。操作者５に関連する情報としては、例えば、操作者５のスケジュール、連絡先、好みの楽曲、ＳＮＳ（Social Networking Service）の情報、設定した目的地に関する交通情報または天候情報、ＰＯＩ（Point Of Interest）情報、購買行動情報、自宅のネットワークに接続された家電の情報などが挙げられる。
The external
例えば、外部情報取得部３４が操作者５の自宅のネットワークに接続された家電の情報を取得すると、イベント検出部２は外部情報取得部３４が家電の情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３２に示すように、操作者５の自宅の１階に設置されているエアコンの電源をオンまたはオフする動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。例えば、手のアイコンがスイッチのアイコンを押すごとに電源のオンおよびオフが交互に繰り返して表示されるような操作オブジェクトを表示してもよい。これにより、操作者５は、自宅のどの部屋の家電を操作するのかを容易に把握することができるとともに、どのようなジェスチャー操作を行えばよいのかを正確に理解することができる。
For example, when the external
以上のことから、本実施の形態５によれば、外部情報を用いて操作オブジェクトを表示しているため、操作者５は例えば自宅に設置された家電を制御するためのジェスチャー操作を正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。
From the above, according to the fifth embodiment, since the operation object is displayed using external information, the
＜実施の形態６＞
図３３は、本発明の実施の形態６によるジェスチャー操作装置３５の構成の一例を示すブロック図である。<
FIG. 33 is a block diagram showing an example of the configuration of the
図３３に示すように、本実施の形態６によるジェスチャー操作装置３５は、機器制御部１０が車両情報取得部３６を有することを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。
As shown in FIG. 33, the
車両情報取得部３６は、車載機器１５である車両内に設けられた各種制御装置から車両情報を取得する。車両情報は、車両に関する種々の情報である。
The vehicle
例えば、車両情報取得部３６が車載機器１５から車両のトランクの扉が開いていることを示す情報を取得すると、イベント検出部２は車両情報取得部３６が車両情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３４に示すように、車両のトランクを閉める動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。これにより、操作者５は、車両のトランクを閉めるためのジェスチャー操作を正確に理解することができる。
For example, when the vehicle
また、例えば、端末通信部１１が携帯通信端末１２から当該携帯通信端末１２に関する情報を取得すると、イベント検出部２は端末通信部１１が携帯通信端末１２に関する情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３５に示すように、携帯通信端末１２に関する情報の表示の切り替えを行う動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。これにより、操作者５は、携帯通信端末１２に関する情報の表示の切り替えを行うためのジェスチャー操作を正確に理解することができる。
Further, for example, when the
以上のことから、本実施の形態６によれば、車載機器１５または携帯通信端末１２から取得した情報を用いて操作オブジェクトを表示しているため、操作者５は車載機器１５または携帯通信端末１２を制御するためのジェスチャー操作を正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。
From the above, according to the sixth embodiment, since the operation object is displayed using the information acquired from the in-
以上で説明したジェスチャー操作装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）、および車両の外部に設けられるサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、ジェスチャー操作装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。 The gesture operation device described above is a system in which not only an in-vehicle navigation device, that is, a car navigation device, but also a PND (Portable Navigation Device) that can be mounted on a vehicle, a server provided outside the vehicle, and the like are appropriately combined. It can also be applied to a navigation device to be constructed or a device other than the navigation device. In this case, each function or each component of the gesture operation device is distributed and arranged in each function for constructing the system.
具体的には、一例として、ジェスチャー操作装置の機能をサーバに配置することができる。例えば、図３６に示すように、ユーザ側は、表示装置４、携帯通信端末１２、ジェスチャー操作検出装置１３、音声入力装置１４、車載機器１５、および音声出力装置１６を備えている。サーバ３７は、イベント検出部２、表示制御部３、通信部７、ジェスチャー操作取得部８、操作判断部９、機器制御部１０、および端末通信部１１を備えている。このような構成とすることによって、ジェスチャー操作システムを構築することができる。図２５に示すジェスチャー操作装置２６、図２７に示すジェスチャー操作装置２８、図２８に示すジェスチャー操作装置３１、図３１に示すジェスチャー操作装置３３、および図３３に示すジェスチャー操作装置３５についても同様である。
Specifically, as an example, the function of the gesture operation device can be arranged on the server. For example, as shown in FIG. 36, the user side includes a
このように、ジェスチャー操作装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。 As described above, even if each function of the gesture operation device is distributed and arranged in each function for constructing the system, the same effect as that of the above-described embodiment can be obtained.
また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現されるジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行うことである。 Further, software that executes the operation according to the above embodiment may be incorporated into, for example, a server. The gesture operation method realized by the server executing this software is to detect an event and, in response to the detected event, an operation that can be performed by the operator to advance the event. It is to control the display of the operation object that guides the gesture operation indicating the intention in three dimensions.
このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。 As described above, by incorporating the software that executes the operation according to the above embodiment into the server and operating the server, the same effect as that of the above embodiment can be obtained.
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all embodiments and the invention is not limited thereto. It is understood that innumerable variations not illustrated can be assumed without departing from the scope of the present invention.
１ ジェスチャー操作装置、２ イベント検出部、３ 表示制御部、４ 表示装置、５ 操作者、６ ジェスチャー操作装置、７ 通信部、８ ジェスチャー操作取得部、９ 操作判断部、１０ 機器制御部、１１ 端末通信部、１２ 携帯通信端末、１３ ジェスチャー操作検出装置、１４ 音声入力装置、１５ 車載機器、１６ 音声出力装置、１７ ジェスチャー操作空間、１８ プロセッサ、１９ メモリ、２０ 未読アイコン、２１ 操作オブジェクト、２２ 検出アイコン、２３ ホーム画面、２４ 現在地画面、２５ 地図スクロール画面、２６ ジェスチャー操作装置、２７ 音像制御部、２８ ジェスチャー操作装置、２９ 状態取得部、３０ 状態検出装置、３１ ジェスチャー操作装置、３２ 操作履歴情報記憶部、３３ ジェスチャー操作装置、３４ 外部情報取得部、３５ ジェスチャー操作装置、３６ 車両情報取得部、３７ サーバ。 1 Gesture operation device, 2 Event detection unit, 3 Display control unit, 4 Display device, 5 Operator, 6 Gesture operation device, 7 Communication unit, 8 Gesture operation acquisition unit, 9 Operation judgment unit, 10 Device control unit, 11 terminals Communication unit, 12 mobile communication terminal, 13 gesture operation detection device, 14 voice input device, 15 in-vehicle device, 16 voice output device, 17 gesture operation space, 18 processor, 19 memory, 20 unread icon, 21 operation object, 22 detection icon , 23 Home screen, 24 Current location screen, 25 Map scroll screen, 26 Gesture operation device, 27 Sound image control unit, 28 Gesture operation device, 29 State acquisition unit, 30 State detection device, 31 Gesture operation device, 32 Operation history information storage unit , 33 Gesture operation device, 34 External information acquisition unit, 35 Gesture operation device, 36 Vehicle information acquisition unit, 37 Server.
Claims (19)
前記イベント検出部が検出した前記イベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、前記操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部と、
を備え、
前記表示制御部は、前記操作オブジェクトとともに前記ジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、前記操作対象オブジェクトを手で操作する態様で前記操作オブジェクトを表示する制御を行い、
前記操作オブジェクトは、前記操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、
前記操作者の前記ジェスチャー操作を取得するジェスチャー操作取得部と、
前記ジェスチャー操作取得部が取得した前記ジェスチャー操作が前記操作オブジェクトに従う動きであるか否かを判断する操作判断部と、
前記操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部と、
をさらに備える、ジェスチャー操作装置。 An event detector that detects events and
For the event detected by the event detection unit, an operation object that guides a gesture operation indicating the intention of the operator is displayed in three dimensions in an operation that can be performed by the operator to advance the event. Display control unit that controls
With
The display control unit controls to display the operation target object representing the function to be the target of the gesture operation together with the operation object, and controls to display the operation object in a manner of manually operating the operation target object. ,
The operation object is to have a depth in the three-dimensional display space when the operator is looking at the display screen with the naked eye,
A gesture operation acquisition unit that acquires the gesture operation of the operator, and a gesture operation acquisition unit.
An operation determination unit that determines whether or not the gesture operation acquired by the gesture operation acquisition unit is a movement that follows the operation object.
An operation history information storage unit that stores the result of determination by the operation determination unit as operation history information,
Further comprising Ru, gesture operation device.
前記表示制御部は、前記操作者の手のアイコンが、前記操作対象オブジェクトに対する前記操作者の手の位置に対応する位置に表示する制御を行い、
前記操作判断部は、前記操作者の手のアイコンが前記操作対象オブジェクトに重なったとき、前記ジェスチャー操作が前記操作オブジェクトに従う動きであると判断することを特徴とする、請求項３に記載のジェスチャー操作装置。 Before Symbol display control unit displays the operation object on the rear side of the three-dimensional display space to display the hand icon of the operator which the gesture operation acquisition unit has acquired to the front side of the three-dimensional display space Take control and
The display control unit controls the display of the operator's hand icon at a position corresponding to the position of the operator's hand with respect to the operation target object.
The gesture according to claim 3, wherein the operation determination unit determines that the gesture operation is a movement according to the operation object when the icon of the operator's hand overlaps with the operation target object. Operating device.
前記表示制御部は、前記端末通信部が通信している前記携帯通信端末の操作画面を前記操作対象オブジェクトとして表示する制御を行い、前記端末通信部を介して取得した前記携帯通信端末の情報に基づいて前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。 It also has a terminal communication unit that can connect to mobile communication terminals.
The display control unit controls to display the operation screen of the mobile communication terminal with which the terminal communication unit is communicating as the operation target object, and obtains information on the mobile communication terminal via the terminal communication unit. The gesture operation device according to claim 1, wherein the operation object is controlled to be displayed based on the control.
前記音像制御部は、前記操作オブジェクトの表示位置に応じて前記音像を制御することを特徴とする、請求項１に記載のジェスチャー操作装置。 It also has a sound image control unit that controls the sound image.
The gesture operation device according to claim 1, wherein the sound image control unit controls the sound image according to a display position of the operation object.
前記表示制御部は、前記状態取得部が取得した前記操作者の状態に基づいて前記操作オブジェクトの表示位置を制御することを特徴とする、請求項１に記載のジェスチャー操作装置。 A state acquisition unit for acquiring the state of the operator including at least the position of the eyes and the line of sight of the operator is further provided.
The gesture operation device according to claim 1, wherein the display control unit controls a display position of the operation object based on the state of the operator acquired by the state acquisition unit.
前記状態取得部は、前記操作判断部が判断した結果に対する前記操作者の反応を取得し、
前記操作履歴情報記憶部は、前記操作者の反応を前記操作履歴情報に含めて記憶することを特徴とする、請求項１に記載のジェスチャー操作装置。 A state acquisition unit for acquiring the state of the operator is further provided.
The state acquisition unit acquires the reaction of the operator to the result determined by the operation determination unit.
The operation history information storage unit, and to store, including reaction of the operator to the operation history information, the gesture control device according to claim 1.
前記表示制御部は、前記外部情報取得部が取得した前記外部情報に基づいて、前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。 It also has an external information acquisition unit that acquires external information.
The gesture operation device according to claim 1, wherein the display control unit controls the display of the operation object based on the external information acquired by the external information acquisition unit.
前記表示制御部は、前記車両情報取得部が取得した前記車両情報に基づいて、前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。 It also has a vehicle information acquisition unit that acquires vehicle information.
The gesture operation device according to claim 1, wherein the display control unit controls to display the operation object based on the vehicle information acquired by the vehicle information acquisition unit.
前記音像制御部は、前記操作者の手のアイコンの表示位置に応じて前記音像を制御することを特徴とする、請求項４に記載のジェスチャー操作装置。 It also has a sound image control unit that controls the sound image.
The gesture operation device according to claim 4, wherein the sound image control unit controls the sound image according to a display position of an icon of the operator's hand.
前記検出した前記イベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、前記操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、
前記操作オブジェクトとともに前記ジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、
前記操作対象オブジェクトを手で操作する態様で前記操作オブジェクトを表示する制御を行い、
前記操作オブジェクトは、前記操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、
前記操作者の前記ジェスチャー操作を取得し、
取得した前記ジェスチャー操作が前記操作オブジェクトに従う動きであるか否かを判断し、
判断した結果を操作履歴情報として記憶する、ジェスチャー操作方法。 Detects an event and
For the detected event, control is performed to display an operation object for inducing a gesture operation indicating the intention of the operator in three dimensions in an operation that can be performed by the operator to advance the event. ,
Control is performed to display the operation target object representing the function to be the target of the gesture operation together with the operation object.
Control the display of the operation object in a manner in which the operation target object is manually operated.
The operation object is to have a depth in the three-dimensional display space when the operator is looking at the display screen with the naked eye,
Acquire the gesture operation of the operator and
It is determined whether or not the acquired gesture operation is a movement that follows the operation object.
Gesture operation method that stores the judgment result as operation history information.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/002242 WO2019146032A1 (en) | 2018-01-25 | 2018-01-25 | Gesture operation device and gesture operation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019146032A1 JPWO2019146032A1 (en) | 2020-07-02 |
| JP6900133B2 true JP6900133B2 (en) | 2021-07-07 |
Family
ID=67395344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019567457A Active JP6900133B2 (en) | 2018-01-25 | 2018-01-25 | Gesture operation device and gesture operation method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6900133B2 (en) |
| WO (1) | WO2019146032A1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017200571A1 (en) | 2016-05-16 | 2017-11-23 | Google Llc | Gesture-based control of a user interface |
| CN113924568A (en) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | Radar-based authentication status feedback |
| JP7292437B2 (en) | 2019-07-26 | 2023-06-16 | グーグル エルエルシー | Degradation based on IMU and radar |
| US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| KR20210153695A (en) | 2019-07-26 | 2021-12-17 | 구글 엘엘씨 | Authentication management via IMU and radar |
| US11385722B2 (en) | 2019-07-26 | 2022-07-12 | Google Llc | Robust radar-based gesture-recognition by user equipment |
| WO2021040748A1 (en) | 2019-08-30 | 2021-03-04 | Google Llc | Visual indicator for paused radar gestures |
| CN112753005B (en) | 2019-08-30 | 2024-03-01 | 谷歌有限责任公司 | Input method of mobile device |
| US11467672B2 (en) | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
| US20210103348A1 (en) * | 2019-10-03 | 2021-04-08 | Google Llc | Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008089985A (en) * | 2006-10-02 | 2008-04-17 | Pioneer Electronic Corp | Image display device |
| JP2009089068A (en) * | 2007-09-28 | 2009-04-23 | Victor Co Of Japan Ltd | Control device for electronic apparatus, control method and control program |
| CN102099728A (en) * | 2008-07-15 | 2011-06-15 | 株式会社Ip舍路信 | Naked eye three-dimensional video image display system, naked eye three-dimensional video image display device, amusement game machine and parallax barrier sheet |
| US9134800B2 (en) * | 2010-07-20 | 2015-09-15 | Panasonic Intellectual Property Corporation Of America | Gesture input device and gesture input method |
| US8970484B2 (en) * | 2010-07-23 | 2015-03-03 | Nec Corporation | Three dimensional display device and three dimensional display method |
| JP2013211712A (en) * | 2012-03-30 | 2013-10-10 | Sony Corp | Output controller, output control method, and program |
| EP3623924A1 (en) * | 2013-09-17 | 2020-03-18 | Amazon Technologies, Inc. | Approaches for three-dimensional object display |
| EP3229128A4 (en) * | 2014-12-02 | 2018-05-30 | Sony Corporation | Information processing device, information processing method, and program |
| JP2017027401A (en) * | 2015-07-23 | 2017-02-02 | 株式会社デンソー | Display operation device |
-
2018
- 2018-01-25 WO PCT/JP2018/002242 patent/WO2019146032A1/en active Application Filing
- 2018-01-25 JP JP2019567457A patent/JP6900133B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019146032A1 (en) | 2020-07-02 |
| WO2019146032A1 (en) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6900133B2 (en) | Gesture operation device and gesture operation method | |
| AU2019213441C1 (en) | Device, method, and graphical user interface for synchronizing two or more displays | |
| JP5238635B2 (en) | Information processing apparatus and application program activation method | |
| EP3000013B1 (en) | Interactive multi-touch remote control | |
| EP3099040B1 (en) | Button operation processing method in single-hand mode, apparatus and electronic device | |
| WO2016132876A1 (en) | Information processing device | |
| WO2016002872A1 (en) | Information processing device | |
| US11048401B2 (en) | Device, computer program and method for gesture based scrolling | |
| WO2014208691A1 (en) | Portable device and method for controlling portable device | |
| JP2010211500A (en) | Operation device | |
| US20150253887A1 (en) | Information processing apparatus | |
| US20150363083A1 (en) | User Interface and Method for Adapting Semantic Scaling of a Tile | |
| WO2016143613A1 (en) | Mirror, in-vehicle operation device, and vehicle | |
| CN109358929A (en) | Multi-screen display method, device and storage medium | |
| JP6844936B2 (en) | Display control device | |
| US9733725B2 (en) | Control unit, input apparatus and method for an information and communication system | |
| JP7338184B2 (en) | Information processing device, information processing system, moving body, information processing method, and program | |
| KR101511118B1 (en) | Apparatus and method for displaying split screen | |
| JP7340150B2 (en) | Operation image display device, operation image display system, and operation image display program | |
| US20150089451A1 (en) | User terminal, electronic device, and control method thereof | |
| US20200272325A1 (en) | Input control device, input device, and input control method | |
| CN111373359A (en) | Electronic device capable of changing display portion of image | |
| JP2014164388A (en) | Information presentation device | |
| JP2015011386A (en) | Mobile device, control method thereof, and program | |
| JPWO2019016878A1 (en) | Operation support apparatus and operation support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200114 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210405 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210414 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6900133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |