JP5984651B2 - In-vehicle system - Google Patents
In-vehicle system Download PDFInfo
- Publication number
- JP5984651B2 JP5984651B2 JP2012267076A JP2012267076A JP5984651B2 JP 5984651 B2 JP5984651 B2 JP 5984651B2 JP 2012267076 A JP2012267076 A JP 2012267076A JP 2012267076 A JP2012267076 A JP 2012267076A JP 5984651 B2 JP5984651 B2 JP 5984651B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- virtual operator
- user
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、仮想操作子に対するユーザ操作を受け付ける車載システムに関するものである。 The present invention relates to an in-vehicle system that accepts a user operation on a virtual operator.
仮想操作子に対するユーザ操作を受け付ける車載システムとしては、ユーザを撮影するカメラを備え、カメラの撮影画像より求まるユーザの手の位置や向きより算出した手の前方の位置に虚像の仮想操作子を表示すると共に、カメラの撮影画像より検出した仮想操作子に対するユーザの操作を受け付ける技術が知られている、（たとえば、特許文献１）。 As an in-vehicle system that accepts user operations on virtual controls, a camera that captures the user is provided, and a virtual image virtual control is displayed at a position in front of the hand calculated from the position and orientation of the user's hand determined from the captured image of the camera. In addition, a technique for receiving a user operation on a virtual operator detected from a captured image of a camera is known (for example, Patent Document 1).
仮想操作子に対するユーザ操作を受け付ける車載システムにおいて、操作者を運転者とする場合、上述の技術のように、手の前方の位置に仮想操作子を配置することは、仮想操作子の操作のために運転者がハンドル（ステアリングホイール）から手を離さなければならなくなるため適切ではない。 In an in-vehicle system that accepts a user operation on a virtual operator, when the operator is a driver, the placement of the virtual operator at a position in front of the hand as in the above-described technique is for the operation of the virtual operator. However, it is not appropriate because the driver must release his hand from the steering wheel.
また、運転者のハンドルの握り方は個々に異なり、ハンドルの握り方によって、運転者が操作し易い仮想操作子の位置や配置や操作動作が異なることとなるため、手の位置や向きに応じて仮想操作子の配置位置を変えるだけでは、仮想操作子の操作を、必ずしも充分に容易化することはできない。 In addition, the way the driver grips the steering wheel differs individually, and the position, arrangement, and operation of the virtual controls that are easy for the driver to operate differ depending on how the handle is gripped. Therefore, it is not always possible to sufficiently facilitate the operation of the virtual manipulator simply by changing the arrangement position of the virtual manipulator.
そこで、本発明は、仮想操作子に対する運転者の操作を受け付ける車載システムにおいて、当該仮想操作子に対する操作の容易性を向上することを課題とする。 Therefore, an object of the present invention is to improve the ease of operation with respect to a virtual operator in an in-vehicle system that accepts a driver's operation with respect to the virtual operator.
前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部と備えた第１の車載システムを提供する。 In order to achieve the above object, as an in-vehicle system that is mounted on a vehicle and receives a user operation on a virtual operator, a camera that captures a user's hand that holds the handle of the vehicle, and a plurality of finger placement patterns for the handle A storage unit storing correspondence information in which the correspondence between the placement pattern and any of the five fingers of the hand is stored, and an arrangement pattern for the handle of the user's finger is identified from an image captured by the camera A gripping form identifying unit, an operation finger setting unit that sets a finger whose registered correspondence with the arrangement pattern identified by the gripping form identifying unit is registered in the correspondence information as an operation finger, and a photograph taken by the camera From the image, a position detection unit that detects the position of the operation finger of the user, and the virtual operation element at the position of the operation finger detected by the position detection unit A virtual operator setting unit to be determined, an operation accepting unit that detects a movement of the user's finger from an image captured by the camera, and receives an operation of the set virtual operator according to the detected movement of the finger; A first in-vehicle system provided is provided.
このような第１の車載システムよれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて定まる指の位置に、仮想操作子を設定することができるので、各時点において、ユーザがハンドルを握ったまま操作を行い易い指の位置に仮想操作子を設定することができるようになる。 According to such a first in-vehicle system, the virtual operation element can be set at the position of the finger determined according to the arrangement pattern with respect to the handle of the user's finger, that is, how to grip the handle of the user. In this case, the virtual operator can be set at a finger position where the user can easily operate while holding the handle.
また、前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを備えた第２の車載システムを提供する。 In order to achieve the above object, as an in-vehicle system that is mounted on an automobile and receives a user operation on a virtual operator, a camera that captures a user's hand that holds the handle of the automobile, and a finger arrangement pattern on the plurality of handles A storage unit storing correspondence information in which correspondence between the arrangement pattern and the type of the virtual operator is registered, and a grip for identifying the arrangement pattern with respect to the handle of the user's finger from the image captured by the camera. Correspondence between the holding form identifying unit, the position detecting unit for detecting the position of the user's finger from the image taken by the camera, and the arrangement pattern identified by the holding form identifying unit is registered in the correspondence information. A virtual operation element setting unit that sets the type of virtual operation element to the position of the finger detected by the position detection unit, and an image captured by the camera The finger movement is detected and providing a second vehicle system having an operation accepting unit that accepts an operation of virtual operating member which is the setting in response to movement of the finger detected.
このような第２の車載システムよれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて設定する仮想操作子の種別を変更することができるので、各時点において、ユーザがハンドルを握ったまま操作動作を行い易い種別の仮想操作子を設定することができるようになる。
また、本発明は、前記課題達成のために、自動車に搭載され、仮想操作子に対するユーザ操作を受け付ける車載システムとして、前記自動車のハンドルを握るユーザの手を撮影するカメラと、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として設定する操作指設定手段と、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを備えた第３の車載システムを提供する。
According to such a second in-vehicle system, since the arrangement pattern with respect to the handle of the user's finger, that is, the type of the virtual operator to be set can be changed according to how the user's handle is gripped, It is possible to set a type of virtual operator that allows the user to easily perform an operation while holding the handle.
In order to achieve the above object, the present invention provides a camera for photographing a user's hand that holds a handle of the automobile as an in-vehicle system that is mounted on an automobile and receives a user operation on the virtual operator, and the virtual operator. A mode setting unit that selectively sets any one of a plurality of modes having different functions to be performed according to the received user operation as an active mode; and for each mode of the plurality of modes, the mode and the hand A storage unit storing correspondence information in which correspondence with any one of the five fingers is registered, and a finger in which correspondence between the mode set by the mode setting unit as the active mode is registered in the correspondence information Operating finger setting means for setting the operating finger as an operating finger, a position detection unit for detecting the position of the operating finger of the user from an image captured by the camera, and the position detection The movement of the user's finger is detected from a virtual operator setting unit that sets the virtual operator at the position of the operation finger detected by the unit, and an image captured by the camera, and the movement of the finger is determined according to the detected movement of the finger And a third vehicle-mounted system including an operation receiving unit that receives an operation of the set virtual operator.
このような第３の車載システムによれば、モードに応じて定まる指の位置に、仮想操作子を設定することができるので、各モードにおいて、そのモードにおける操作を行い易い指の位置に仮想操作子を設定することができるようになる。
さて、ここで、以上の第１の車載システム、第２の車載システム、第３の車載システムの構成は、これを組み合わせて実施するようにしてもよい。
すなわち、たとえば、上記第１の車載システムにおいて、前記対応情報に、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応も登録し、前記仮想操作子設定部において、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記操作指の位置に設定するようにしてもよい。
According to such a third in-vehicle system, since the virtual operator can be set at the finger position determined according to the mode, in each mode, the virtual operation is performed at the finger position where the operation is easy in the mode. You will be able to set children.
Now, you may make it implement the structure of the above 1st vehicle-mounted system, the 2nd vehicle-mounted system, and the 3rd vehicle-mounted system combining this.
That is, for example, in the first in-vehicle system, for each of the finger placement patterns with respect to the plurality of handles, the correspondence between the placement pattern and the type of the virtual operator is registered in the correspondence information. The child setting unit may set, in the correspondence information, a virtual operator of a type in which the correspondence with the arrangement pattern identified by the gripping form identifying unit is registered in the position of the operation finger.
また、この場合には、車載システムに、さらに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記操作指設定手段において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定し、前記仮想操作子設定部において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した前記操作指の位置に設定するようにしてもよい。 Further, in this case, a mode in which one of a plurality of modes having different functions to be performed according to a user operation received by the virtual operator is selectively set as an active mode in the in-vehicle system. In addition to providing a setting unit, the correspondence information is provided for each mode of the plurality of modes, and in the operation finger setting unit, the correspondence information corresponding to the mode set as the active mode by the mode setting unit, The finger registered with the arrangement pattern identified by the gripping form identification unit is set as an operation finger, and the virtual operation unit setting unit corresponds to the mode set as the active mode by the mode setting unit. The position detecting unit detects a virtual operator of a type in which the correspondence with the arrangement pattern identified by the gripping form identifying unit is registered in the correspondence information. It may be set to a position of the operating finger.
また、たとえば、上記第１の車載システムに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記操作指設定手段において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定するようにしてもよい。 In addition, for example, in the first in-vehicle system, a mode setting for selectively setting any one of a plurality of modes having different functions to be performed according to a user operation received by the virtual operator as an active mode. The correspondence information is provided for each mode of the plurality of modes, and in the operation finger setting means, the correspondence information corresponding to the mode set as the active mode by the mode setting unit, You may make it set the finger | toe with which the correspondence with the arrangement | positioning pattern which the grip form identification part identified is registered as an operation finger.
または、上記第２の車載システムに、前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を設けると共に、前記対応情報を、前記複数のモードの各モード毎に設け、前記仮想操作子設定部において、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定するようにしてもよい。 Alternatively, a mode setting unit that selectively sets any one of a plurality of modes having different functions to be performed in accordance with a user operation received by the virtual operator as the active mode in the second in-vehicle system. The correspondence information is provided for each mode of the plurality of modes, and in the virtual operator setting unit, the grip information is included in the correspondence information corresponding to the mode set as the active mode by the mode setting unit. A virtual operator of a type registered with a correspondence with the arrangement pattern identified by the holding form identifying unit may be set at the position of the finger detected by the position detecting unit.
ここで、以上の各車載システムは、前記仮想操作子を、当該仮想操作子の種別毎に操作動作が異なるものとしてよい。また、この場合に、前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むものとしてよい。 Here, in each of the above vehicle-mounted systems, the virtual operation element may have a different operation operation for each type of the virtual operation element. Further, in this case, the type of the virtual operator includes the type of the virtual operator that receives an operation by a finger slide operation, the type of the virtual operator that receives an operation by a finger rotation operation, and a finger push operation It is possible to include at least two types of the types of the virtual operator that accepts the operation.
また、以上の各車載システムには、さらに、前記カメラが撮影した画像上の、前記仮想操作子設定部が当該仮想操作子を設定した位置に相当する前記カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部を設けることも好ましい。 Further, in each of the above-described in-vehicle systems, the virtual operator setting unit on the image captured by the camera is at a position in the image captured by the camera corresponding to the position where the virtual operator is set. It is also preferable to provide the operation guide image display unit that displays an operation guide image obtained by synthesizing an image representing the virtual operator set by the virtual operator setting unit.
または、以上の各車載システムに、前記仮想操作子設定部が当該仮想操作子を設定した位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像の虚像を表示する仮想操作子表示部を設けるようにしてもよい。 Alternatively, on each of the above-described in-vehicle systems, a virtual operator display that displays a virtual image of an image representing the virtual operator set by the virtual operator setting unit at a position where the virtual operator setting unit has set the virtual operator A portion may be provided.
以上のように、本発明によれば、仮想操作子に対する運転者の操作を受け付ける車載システムにおいて、当該仮想操作子に対する操作の容易性を向上することができる。 As described above, according to the present invention, in an in-vehicle system that accepts a driver's operation on a virtual operator, the ease of operation on the virtual operator can be improved.
以下、本発明に係る車載システムの実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
ここで、車載システムは、自動車に搭載されるシステムであり、図示するように、メインディスプレイ１０１、マイクロフォン１０２、カメラ１０３、サブディスプレイ１０４、音声認識処理部１０５、画像認識処理部１０６、表示処理部１０７、制御装置１０８、記憶装置１０９、１または複数の機能システム１１０を備えている。
Hereinafter, an embodiment of an in-vehicle system according to the present invention will be described.
FIG. 1 shows a configuration of an in-vehicle system according to the present embodiment.
Here, the in-vehicle system is a system mounted on an automobile, and as illustrated, a main display 101, a microphone 102, a camera 103, a sub display 104, a voice recognition processing unit 105, an image recognition processing unit 106, and a display processing unit. 107, a control device 108, a storage device 109, and one or more functional systems 110.
ただし、このような車載システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、音声認識処理部１０５や画像認識処理部１０６や表示処理部１０７や制御装置１０８は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。 However, such an in-vehicle system may be configured using a computer including a CPU and a memory. In this case, the voice recognition processing unit 105, the image recognition processing unit 106, the display processing unit 107, and the control device are used. 108 may be realized by a computer executing a predetermined computer program.
ここで、カメラ１０３は、図２ａに示すように、自動車車内に配置され、自動車のハンドル（ステアリングホイール）およびその周辺を後方上方より撮影する。
次に、図２ｂに示すように、メインディスプレイ１０１は、比較的大型の表示装置であり、自動車のダッシュボードに配置される。また、サブディスプレイ１０４は比較的小型の表示装置であり、メータクラスタ内に配置される。
図１に戻り、画像認識処理部１０６は、以上のように配置されたカメラ１０３の撮影画像に基づいてユーザの手や指のハンドルに対する位置や動きを認識する。
また、音声認識処理部１０５は、マイクロフォン１０２から入力する音声に基づいてユーザの発話内容を認識する。
また、機能システム１１０は、たとえば、ＡＶシステムや、ナビゲーションシステムや、自動車の空調システムなどである。
そして、ＡＶシステムは、ラジオ受信機や、ＣＤなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置などを備え、ラジオ受信機で受信した番組音声や記録ディスクから再生した音声を出力音声として、音声出力装置から出力するシステムである。また、ナビゲーションシステムは、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサなどを備え、記憶装置１０９に格納されている地図データを用いつつ、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像のメインディスプレイ１０１への表示を行うシステムである。
Here, as shown in FIG. 2 a, the camera 103 is arranged in the automobile, and photographs the steering wheel (steering wheel) of the automobile and its periphery from the upper rear side.
Next, as shown in FIG. 2b, the main display 101 is a relatively large display device and is arranged on a dashboard of an automobile. The sub display 104 is a relatively small display device and is arranged in the meter cluster.
Returning to FIG. 1, the image recognition processing unit 106 recognizes the position and movement of the user's hand or finger relative to the handle based on the captured image of the camera 103 arranged as described above.
Further, the voice recognition processing unit 105 recognizes the user's utterance content based on the voice input from the microphone 102.
The functional system 110 is, for example, an AV system, a navigation system, an automobile air conditioning system, or the like.
The AV system is equipped with a radio receiver, a disk drive for reproducing a recording disk such as a CD, an audio output device equipped with a speaker, etc., and the program audio received by the radio receiver and the audio reproduced from the recording disk are reproduced. This is a system for outputting from an audio output device as output audio. In addition, the navigation system includes a GPS receiver, a sensor that detects the vehicle speed and angular velocity of the automobile, etc., and uses the map data stored in the storage device 109 to calculate the current position, set the destination, This is a system for setting a route to a destination and displaying a navigation image showing the current position, destination and route on a map on the main display 101.
さて、このような構成において、制御装置１０８は、仮想操作子を設定しつつ、仮想操作子のユーザ操作を受け付ける。
ここで、仮想操作子によって受け付けるユーザ操作としては、ボリューム変更操作、プリセットチャネル選択操作、表示縮尺変更操作、メニュー操作などがある。
そして、制御部は、ユーザからボリューム変更操作を受け付けた場合にはＡＶシステムの出力音声のボリュームを増減する処理を行い、ユーザからプリセットチャネル選択操作を受け付けた場合には、ＡＶシステムのラジオ受信機の受信チャネルをプリセットされているチャネル群のうちで切り替える処理を行い、ユーザから表示縮尺変更操作を受け付けた場合には、ナビゲーションシステムがメインディスプレイ１０１に表示しているナビゲーション画像の地図縮尺を変更する処理を行う。
In such a configuration, the control device 108 accepts a user operation of the virtual operator while setting the virtual operator.
Here, user operations accepted by the virtual operator include volume change operation, preset channel selection operation, display scale change operation, menu operation, and the like.
The control unit performs a process of increasing / decreasing the volume of the output sound of the AV system when a volume change operation is received from the user, and when receiving a preset channel selection operation from the user, the control unit performs a radio receiver of the AV system. When a display scale change operation is received from the user, the navigation system changes the map scale of the navigation image displayed on the main display 101. Process.
また、メニュー操作は機能システム１１０制御用の任意のメニューを設定しているときに受け付ける操作であり、メニュー操作を受け付けた場合には、ユーザ操作に応じたメニューの切替やユーザ操作で選択されたメニュー項目に応じた処理を行う。ここで、機能システム１１０制御用のメニューとしては、ＡＶシステムにおいて音声出力装置から出力する出力音声のソースをラジオ受信機とＣＤなどの記録ディスクとの間で切り替えるメニューなどがある。 The menu operation is an operation that is accepted when an arbitrary menu for controlling the functional system 110 is set. When the menu operation is accepted, the menu operation is selected by switching the menu according to the user operation or the user operation. Performs processing according to the menu item. Here, examples of the menu for controlling the functional system 110 include a menu for switching the source of output audio output from the audio output device in the AV system between a radio receiver and a recording disk such as a CD.
以下、このような車載システムにおいて、制御装置１０８が仮想操作子を設定しつつ、仮想操作子のユーザ操作を受け付ける処理の詳細について説明する。
まず、仮想操作子の設定とユーザ操作の受け付けの処理に用いる仮想操作子定義テーブルについて説明する。
ここで、仮想操作子定義テーブルは、予め記憶装置１０９に格納されているものである。
さて、仮想操作子定義テーブルには、図３ａに示すように、複数の入力モードが登録されている。
入力モードとしては、上述したボリューム変更操作を受け付けるボリューム変更操作入力モード、上述したプリセットチャネル選択操作を受け付けるプリセットチャネル選択操作入力モード、上述した表示縮尺変更操作を受け付ける表示縮尺変更操作入力モード、上述したメニュー操作を受け付けるメニュー操作入力モードなどを用いる。
Hereinafter, in such an in-vehicle system, details of processing in which the control device 108 receives a user operation of the virtual operator while setting the virtual operator will be described.
First, a virtual operator definition table used for virtual operator setting and user operation acceptance processing will be described.
Here, the virtual operator definition table is stored in the storage device 109 in advance.
In the virtual operator definition table, a plurality of input modes are registered as shown in FIG. 3a.
The input mode includes a volume change operation input mode for receiving the volume change operation described above, a preset channel selection operation input mode for receiving the preset channel selection operation described above, a display scale change operation input mode for receiving the display scale change operation described above, A menu operation input mode that accepts menu operations is used.
そして、仮想操作子定義テーブルには、各入力モード毎に対応して、１または複数の定義データが登録されている。
各定義データは、指配置条件と仮想操作子種別と配置とよりなり、指配置条件はユーザのハンドルに対する指の配置パターンの条件（ハンドルの握り方の条件）が登録される。また、仮想操作子種別には対応する入力モードにおいて、同じ定義データに登録されている指配置条件が満たされたときに設定する仮想操作子の種別が登録され、配置には対応する入力モードにおいて、同じ定義データに登録されている指配置条件が満たされたときに仮想操作子を配置する位置と仮想操作子の配置形態（上下配置、左右配置など）が登録される。
In the virtual operator definition table, one or a plurality of definition data is registered corresponding to each input mode.
Each definition data includes a finger placement condition, a virtual operator type, and a placement. In the finger placement condition, a finger placement pattern condition for the user's handle (handle gripping condition) is registered. In addition, in the input mode corresponding to the virtual operator type, the virtual operator type to be set when the finger placement condition registered in the same definition data is satisfied is registered, and the placement in the corresponding input mode When the finger placement condition registered in the same definition data is satisfied, the position where the virtual operation element is arranged and the arrangement form (vertical arrangement, left-right arrangement, etc.) of the virtual operation element are registered.
ここで、本実施形態では、仮想操作子種別として、図３ｂ１に示す指のスライド操作によりユーザ操作を受け付けるスライダー３１１、図３ｂ２に示す指の回転操作によりユーザ操作を受け付けるロータリ３１２、図３ｂ３に示す、指のプッシュ操作によりユーザ操作を受け付けるUPボタンとDOWNボタンとのセットであるUP/DOWNボタン３１３、図３ｂ４に示す、指のプッシュ操作によりユーザ操作を受け付けるOKボタンとCANCELボタンとのセットであるOK/CANCELボタン３１４などの種別を用いる。 Here, in this embodiment, as virtual operator types, a slider 311 that receives a user operation by a finger slide operation shown in FIG. 3b1, a rotary 312 that receives a user operation by a finger rotation operation shown in FIG. 3b2, and FIG. The UP / DOWN button 313 is a set of an UP button and a DOWN button for receiving a user operation by a finger push operation, and is a set of an OK button and a CANCEL button for receiving a user operation by a finger push operation shown in FIG. 3b4. A type such as an OK / CANCEL button 314 is used.
以下、制御装置１０８が、仮想操作子の設定とユーザ操作の受け付けのために行う仮想操作子操作受付処理について説明する。
図４に、この仮想操作子操作受付処理の手順を示す。
図示するように、この処理では、音声認識処理部１０５による、ユーザの操作要求音声の認識の発生を監視し（ステップ４０２）、操作要求音声の認識が発生したならば、認識された操作要求音声に応じた入力モードを設定する。
ここで、ステップ４０２、４０４では、たとえば、ユーザの「ボリューム」という音声の認識に応答して入力モードとしてボリューム変更操作入力モードを設定し、ユーザの「チャネル変更」という音声の認識に応答して入力モードとしてプリセットチャネル選択操作入力モードを設定し、ユーザの「縮尺変更」という音声の認識に応答して入力モードとして表示縮尺変更操作入力モードを設定し、ユーザの「メニュー」という音声の認識に応答して入力モードとしてメニュー操作入力モードを設定する。
Hereinafter, a virtual operator operation reception process performed by the control device 108 for setting a virtual operator and receiving a user operation will be described.
FIG. 4 shows the procedure of the virtual operator operation acceptance process.
As shown in the figure, in this process, the recognition of the user operation request voice by the voice recognition processing unit 105 is monitored (step 402), and if the operation request voice is recognized, the recognized operation request voice is recognized. Set the input mode according to.
Here, in steps 402 and 404, for example, the volume change operation input mode is set as the input mode in response to the user's recognition of the voice “volume”, and in response to the user's recognition of the voice “channel change”. The preset channel selection operation input mode is set as the input mode, and the display scale change operation input mode is set as the input mode in response to the user's voice recognition of “scale change”, and the user's “menu” voice recognition is set. In response, the menu operation input mode is set as the input mode.
そして、このようにして入力モードを設定したならば、画像認識処理部１０６を用いて、カメラ１０３の撮影画像に基づいてユーザの手、指のハンドルに対する位置、配置を認識する（ステップ４０６）。
そして、仮想操作子定義テーブルに基づいて、現在の入力モードと認識したユーザの手、指のハンドルに対する位置、配置に応じた仮想操作子の種別と配置を決定し、決定した配置に決定した種別の仮想操作子を設定する（ステップ４０８）。
ここで、ステップ４０８では、仮想操作子定義テーブルの現在設定されている入力モードに対応している定義データであって、指配置条件が認識したユーザの手、指のハンドルに対する位置、配置にマッチする定義データのうち、最先に登録されている定義データ（図３において、より上に登録されている定義データ）の仮想操作子種別と配置を、入力モードと認識したユーザの手、指のハンドルに対する位置、配置に応じた仮想操作子の種別と配置として決定する。
If the input mode is set in this way, the image recognition processing unit 106 is used to recognize the position and arrangement of the user's hand and finger relative to the handle based on the captured image of the camera 103 (step 406).
Based on the virtual operator definition table, the user's hand recognized as the current input mode, the position with respect to the handle of the finger, the type and arrangement of the virtual operator corresponding to the arrangement are determined, and the type determined for the determined arrangement Are set (step 408).
Here, in step 408, the definition data corresponding to the currently set input mode of the virtual operator definition table matches the position and arrangement of the user's hand and finger handle recognized by the finger arrangement condition. Of the definition data registered first (definition data registered above in FIG. 3) and the placement of the virtual operator type and arrangement of the user's hand and finger recognized as the input mode. The type and arrangement of the virtual operator corresponding to the position and arrangement with respect to the handle are determined.
そして、次に、表示処理部１０７を制御し、カメラ１０３が撮影した画像上に仮想操作子の画像を合成した、操作案内画像をサブディスプレイ１０４に表示する（ステップ４１０）。
ここで、操作案内画像は、拡張現実の手法等により、ステップ４０８で設定した位置に、ステップ４０８で設定した種別の仮想操作子が配置されているようすを表した画像とする。また、操作案内画像には、操作情報５０１の表示を含める。
すなわち、たとえば、入力モードとして、ボリューム操作入力モードが設定されているときに、ユーザの右第１指（右手の親指）の端（指先）がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０１に従って、種別がスライダー３１１の仮想操作子が、ユーザの右第１指の腹（末節の爪の反対側）の位置に設定される。
Next, the display processing unit 107 is controlled to display an operation guidance image obtained by synthesizing the virtual operator image on the image captured by the camera 103 on the sub-display 104 (step 410).
Here, the operation guidance image is an image showing that the type of virtual operator set in step 408 is arranged at the position set in step 408 by an augmented reality method or the like. The operation guidance image includes the display of the operation information 501.
That is, for example, when the volume operation input mode is set as the input mode, if the end (fingertip) of the user's first right finger (the thumb of the right hand) is inside the handle, the virtual operator of FIG. In accordance with the definition data 301 of the definition table, the virtual operator having the type of slider 311 is set at the position of the user's right first finger belly (opposite the nail of the last node).
そして、操作案内画像としては、図５ａ１に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹の位置に、図３ｂ１に示すスライダー３１１の画像が合成された画像が表示される。また、操作案内画像には、操作情報５０１の表示として、現在のボリューム設定値の表示が含まれる。 As the operation guidance image, as shown in FIG. 5a1, the position of the user's right first finger in the image on the image representing the user's hand holding the steering wheel of the automobile photographed by the camera 103 is displayed. An image obtained by combining the images of the slider 311 shown in FIG. 3b1 is displayed. Further, the operation guidance image includes a display of the current volume setting value as a display of the operation information 501.
また、たとえば、入力モードとして、ボリューム操作入力モードが設定されているときに、ユーザの右第１指の端がハンドルの内側になく、ハンドル上にある場合には、図３ａの仮想操作子定義テーブルの定義データ３０２に従って、種別がロータリ３１２の仮想操作子が、ユーザの右第１指の腹の位置に設定される。 Also, for example, when the volume operation input mode is set as the input mode, if the end of the user's first right finger is not inside the handle but on the handle, the virtual operator definition in FIG. In accordance with the table definition data 302, the virtual operator of the type 312 is set at the position of the user's right first finger belly.
そして、操作案内画像としては、図５ａ２に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹の位置に、図３ｂ２に示すロータリ３１２の画像が合成された画像が表示される。また、操作案内画像には、操作情報５０１の表示として、現在のボリューム設定値の表示が含まれる。 As the operation guidance image, as shown in FIG. 5a2, the position of the user's right first finger in the image on the image representing the user's hand holding the steering wheel of the automobile photographed by the camera 103, An image obtained by combining the images of the rotary 312 shown in FIG. 3b2 is displayed. Further, the operation guidance image includes a display of the current volume setting value as a display of the operation information 501.
次に、たとえば、入力モードとして、プリセットチャネル選択操作入力モードが設定されているときに、ユーザの右第２指と第３指（右手の人差し指と中指）の端がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０３に従って、種別がUP/DOWNボタン３１３の仮想操作子が、ユーザの右第２指と第３指の腹の位置に設定される。ただし、ここでは、UP/DOWNボタン３１３のUPボタンはユーザの右第２指の腹の位置に、DOWNボタンはユーザの右第３指の腹の位置に設定する。 Next, for example, when the preset channel selection operation input mode is set as the input mode, if the user's right second finger and third finger (right index finger and middle finger) end are inside the handle, According to the definition data 303 of the virtual operator definition table of FIG. 3a, the virtual operator whose type is the UP / DOWN button 313 is set to the position of the user's right second finger and third finger. However, here, the UP button of the UP / DOWN button 313 is set to the position of the belly of the second right finger of the user, and the DOWN button is set to the position of the belly of the third right finger of the user.
そして、操作案内画像としては、図５ｂ１に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第２指と第３指の腹位置に、図３ｂ３のUP/DOWNボタン３１３の画像が合成された画像が表示される。また、ここで、UP/DOWNボタン３１３の設定に従って、UP/DOWNボタン３１３のUPボタンはユーザの右第２指の腹の位置に、DOWNボタンはユーザの右第３指の腹の位置に表示される。また、操作案内画像には、操作情報５０１の表示として、現在受信チャネルとして設定されているプリセットチャネルの番号の表示が含まれる。 Then, as the operation guide image, as shown in FIG. 5b1, on the image representing the user's hand holding the steering wheel of the car photographed by the camera 103, the user's right second finger and third finger belly in the image. An image obtained by combining the images of the UP / DOWN buttons 313 in FIG. 3b3 is displayed at the position. Here, according to the setting of the UP / DOWN button 313, the UP button of the UP / DOWN button 313 is displayed at the position of the belly of the second right finger of the user, and the DOWN button is displayed at the position of the belly of the third right finger of the user. Is done. Further, the operation guidance image includes a display of the number of the preset channel currently set as the reception channel as the display of the operation information 501.
また、たとえば、入力モードとして、プリセットチャネル選択操作入力モードが設定されているときに、ユーザの右第２指と第３指の端がハンドルの内側になく、ユーザの右第１指の端がハンドルの上にある場合には、図３ａの仮想操作子定義テーブルの定義データ３０４に従って、種別がUP/DOWNボタン３１３の仮想操作子が、ユーザの右第１指の腹の位置に設定される。ただし、ここでは、UP/DOWNボタン３１３のUPボタンとDOWNボタンとは仮想操作子定義テーブルの定義データ３０４の配置にしたがって左右に配置される。 Also, for example, when the preset channel selection operation input mode is set as the input mode, the end of the user's right second finger and the third finger are not inside the handle, and the end of the user's right first finger is If it is above the handle, the virtual operator having the type UP / DOWN button 313 is set at the position of the belly of the right first finger of the user in accordance with the definition data 304 of the virtual operator definition table of FIG. . However, here, the UP button and the DOWN button of the UP / DOWN button 313 are arranged on the left and right according to the arrangement of the definition data 304 of the virtual operator definition table.
そして、操作案内画像としては、図５ｂ２に示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹位置に、図３ｂ３のUP/DOWNボタン３１３の画像が合成された画像が表示される。ただし、UPボタンとDOWNボタンの設定に従って、操作案内画像においても、UP/DOWNボタン３１３のUPボタンはユーザの右第１指の腹の左側に、DOWNボタンはユーザの右第１指の腹の右側に表示される。また、操作案内画像には、操作情報５０１の表示として、現在受信チャネルとして設定されているプリセットチャネルの番号の表示が含まれる。 Then, as shown in FIG. 5 b 2, the operation guidance image is displayed on the belly position of the user's right first finger in the image on the image representing the user's hand holding the handle of the automobile photographed by the camera 103. An image obtained by combining the images of the 3b3 UP / DOWN button 313 is displayed. However, according to the setting of the UP button and the DOWN button, in the operation guide image, the UP button of the UP / DOWN button 313 is on the left side of the user's right first finger and the DOWN button is on the user's right first finger. Displayed on the right side. Further, the operation guidance image includes a display of the number of the preset channel currently set as the reception channel as the display of the operation information 501.
次に、たとえば、入力モードとして、メニュー操作入力モードが設定されているときに、ユーザの右第１指の端がハンドル上にあり、かつ、右第２指と第３指の端がハンドルの内側にあれば、図３ａの仮想操作子定義テーブルの定義データ３０５に従って、種別がロータリ３１２の仮想操作子がユーザの右第１指の腹の位置に設定されると共に、種別がOK/CANCELボタン３１４の仮想操作子が、ユーザの右第２指と第３指の腹の位置に設定される。ただし、ここでは、OK/CANCELボタン３１４のOKボタンはユーザの右第２指の腹の位置に、CANCELボタンはユーザの右第３指の腹の位置に設定する。 Next, for example, when the menu operation input mode is set as the input mode, the end of the user's right first finger is on the handle, and the end of the right second finger and the third finger are on the handle. If inside, in accordance with the definition data 305 of the virtual operator definition table of FIG. 3a, the virtual operator of the rotary 312 is set at the position of the user's right first finger and the type is OK / CANCEL button. The virtual operator 314 is set at the position of the user's right second finger and third finger. However, here, the OK button of the OK / CANCEL button 314 is set to the position of the belly of the second right finger of the user, and the CANCEL button is set to the position of the belly of the third right finger of the user.
そして、操作案内画像としては、図６ａに示すように、カメラ１０３が撮影した自動車のハンドルを握るユーザの手を表す画像上の、当該画像中におけるユーザの右第１指の腹位置に図３ｂ２のロータリ３１２の画像が合成されると共に、当該カメラ１０３が撮影した画像中におけるユーザの右第２指と第３指の腹位置に、図３ｂ４のOK/CANCELボタン３１４の画像が合成された画像が表示される。ただし、OK/CANCELボタン３１４の設定に従って、OK/CANCELボタン３１４ボタンのOKボタンはユーザの右第２指の腹の位置に、CANCELボタンはユーザの右第３指の腹の位置に表示される。 Then, as shown in FIG. 6a, the operation guidance image is displayed on the belly position of the user's right first finger in the image on the image representing the user's hand holding the steering wheel of the automobile photographed by the camera 103 as shown in FIG. 3b2. The image of the rotary 312 is combined, and the image of the OK / CANCEL button 314 in FIG. 3b4 is combined with the abdominal position of the user's second finger and third finger in the image captured by the camera 103. Is displayed. However, according to the setting of the OK / CANCEL button 314, the OK button of the OK / CANCEL button 314 button is displayed at the position of the belly of the second right finger of the user, and the CANCEL button is displayed at the position of the belly of the third right finger of the user. .
また、操作案内画像には、操作情報５０１の表示として、現在OKボタンの操作によって決定可能なメニュー項目の表示が含まれる。
さて、図４に戻り、このようにして操作案内画像をサブディスプレイ１０４に表示したならば、設定した仮想操作子に対する操作受け付けの発生と（ステップ４１２）、仮想操作子に対する操作受け付けシーケンスの終了（ステップ４１４）の発生とを監視する。ここで、ステップ４１２では、画像認識処理部１０６がカメラ１０３の撮影画像に基づいて認識したユーザの指の位置、動きが、設定した仮想操作子の位置での当該仮想操作子の操作動作に該当する場合に、仮想操作子に対する操作を受け付ける。
Further, the operation guidance image includes a display of menu items that can be determined by the operation of the current OK button as the display of the operation information 501.
Returning to FIG. 4, when the operation guidance image is displayed on the sub-display 104 in this way, the operation acceptance for the set virtual operator is generated (step 412), and the operation acceptance sequence for the virtual operator is terminated ( The occurrence of step 414) is monitored. Here, in step 412, the position and movement of the user's finger recognized by the image recognition processing unit 106 based on the photographed image of the camera 103 correspond to the operation operation of the virtual operator at the set virtual operator position. When doing so, an operation for the virtual operator is accepted.
そして、設定した仮想操作子に対する操作が発生したならば、操作された仮想操作子と操作の内容に応じた、操作案内情報の表示の更新や機能システム１１０の動作の制御を行う（ステップ４１６）。
すなわち、たとえば、入力モードがボリューム変更操作入力モードであって、図５ａ１の操作案内画像を表示している状態で、ユーザの右第１指によるスライダー３１１の上方向へのスライド操作が発生したならば、ＡＶシステムの出力音声のボリュームを増加し、右第１指によるスライダー３１１の下方向へのスライド操作が発生したならば、ＡＶシステムの出力音声のボリュームを減少する。また、操作情報５０１として表示しているボリューム設定値を増減後のボリュームの値に更新する。
If an operation to the set virtual operator occurs, the display of the operation guidance information is updated and the operation of the functional system 110 is controlled according to the operated virtual operator and the content of the operation (step 416). .
That is, for example, when the input mode is the volume change operation input mode and the operation guide image of FIG. 5a1 is displayed, an upward sliding operation of the slider 311 by the user's first right finger occurs. For example, the volume of the output sound of the AV system is increased, and if the slide operation of the slider 311 downward by the right first finger occurs, the volume of the output sound of the AV system is decreased. Further, the volume setting value displayed as the operation information 501 is updated to the value of the volume after increase / decrease.
また、たとえば、入力モードがボリューム変更操作入力モードであって、図５ａ２の操作案内画像を表示している状態で、ユーザの右第１指によるロータリ３１２の時計回りの回転操作が発生したならば、ＡＶシステムの出力音声のボリュームを増加し、右第１指によるロータリ３１２の反時計回りの回転操作が発生したならば、ＡＶシステムの出力音声のボリュームを減少する。また、操作情報５０１として表示しているボリューム設定値を増減後のボリュームの値に更新する。 Also, for example, if the input mode is the volume change operation input mode and the operation guide image of FIG. 5a2 is displayed, and the user rotates the rotary 312 clockwise with the first right finger of the user. If the volume of the output sound of the AV system is increased and the rotary operation of the rotary 312 by the right first finger occurs, the volume of the output sound of the AV system is decreased. Further, the volume setting value displayed as the operation information 501 is updated to the value of the volume after increase / decrease.
また、たとえば、入力モードがプリセットチャネル選択操作入力モードであって、図５ｂ１の操作案内画像を表示している状態で、ユーザの第２指によるUPボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ増加することにより変更し、ユーザの第３指によるDOWNボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ減少させることにより変更する。また、操作情報５０１として表示しているプリセットチャネルの番号を、変更後に受信チャネルとして設定されているプリセットチャネルの番号の表示に更新する。 Also, for example, if the input mode is the preset channel selection operation input mode and the operation guide image of FIG. 5b1 is displayed and the UP button is pushed by the user's second finger, the AV system If the preset channel number set as the receiving channel of the radio receiver is increased by one and the DOWN button is pushed by the third finger of the user, the receiving channel of the AV receiver of the AV system The preset channel number set as is changed by decrementing by one. Further, the preset channel number displayed as the operation information 501 is updated to display the preset channel number set as the reception channel after the change.
また、同様に、入力モードがプリセットチャネル選択操作入力モードであって、図５ｂ２の操作案内画像を表示している状態で、ユーザの第１指によるUPボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ増加することにより変更し、ユーザの第１指によるDOWNボタンのプッシュ操作が発生したならば、ＡＶシステムのラジオ受信機の受信チャネルとして設定するプリセットチャネルの番号を一つ減少させることにより変更する。また、操作情報５０１として表示しているプリセットチャネルの番号を、変更後に受信チャネルとして設定されているプリセットチャネルの番号の表示に更新する。 Similarly, if the input mode is the preset channel selection operation input mode and the operation guide image of FIG. 5b2 is displayed, and the UP button push operation by the user's first finger occurs, AV If the preset channel number set as the reception channel of the system radio receiver is increased by one and the DOWN button is pushed by the user's first finger, the reception of the AV system radio receiver is performed. The preset channel number set as a channel is changed by decreasing by one. Further, the preset channel number displayed as the operation information 501 is updated to display the preset channel number set as the reception channel after the change.
次に、入力モードがメニュー操作入力モードであって、図６ａの操作案内画像を表示している状態で、ユーザの右第１指によるロータリ３１２の時計回りの回転操作が発生したならば、図６ｂに示すように、操作情報５０１として表示するメニュー項目を順方向に進めていく、ユーザの右第１指によるロータリ３１２の反時計回りの回転操作が発生したならば、操作情報５０１として表示するメニュー項目を逆方向に戻していく。そして、ユーザの右第２指によるOKボタンのプッシュ操作が発生したならば、その時点で操作情報５０１として表示しているメニュー項目の決定操作を受け付け、受け付けたメニュー項目に応じた処理を行う。ここで、図示した例は、ＡＶシステムの出力音声のソースの切替メニューのメニュー操作を受け付ける場合について示したものであり、メニュー項目としてはＡＶシステムの出力音声のソースとなり得るラジオ受信機、ＣＤなどの装置の名称を表示する。そして、OKボタンのプッシュ操作が発生したならば、その時点でメニュー項目として名称を表示している装置にＡＶシステムの出力音声のソースを切り替える。 Next, in the state where the input mode is the menu operation input mode and the operation guidance image of FIG. 6a is displayed, if the user rotates the rotary 312 clockwise with the first right finger of the user, As shown in FIG. 6b, the menu item displayed as the operation information 501 is advanced in the forward direction. If a counterclockwise rotation operation of the rotary 312 by the user's first right finger occurs, the operation information 501 is displayed. Move menu items backwards. If a push operation of the OK button with the user's second right finger occurs, a determination operation of the menu item displayed as the operation information 501 at that time is accepted, and processing according to the accepted menu item is performed. Here, the illustrated example shows a case where a menu operation of a menu for switching an audio source of the AV system is accepted. As a menu item, a radio receiver, a CD, or the like that can be an output audio source of the AV system. Displays the name of the device. If a push operation of the OK button occurs, the output source of the AV system is switched to the device displaying the name as the menu item at that time.
さて、図４に戻り、仮想操作子に対する操作受け付けシーケンスが終了したならば（ステップ４１４）、設定していた入力モードを解除し（ステップ４１８）、操作案内画面を消去して、ステップ４０２からの処理に戻る。ここで、仮想操作子に対する操作受け付けシーケンスは、たとえば、所定期間以上の仮想操作子に対する無操作が発生した場合や、上述したOKボタンやCANCELボタンの操作を受け付けた場合や、操作終了を指示する操作音声の音声認識が発生した場合などに、終了するものとすることができる。 Returning to FIG. 4, when the operation acceptance sequence for the virtual operator is completed (step 414), the set input mode is canceled (step 418), the operation guidance screen is erased, and the operation from step 402 is started. Return to processing. Here, the operation acceptance sequence for the virtual operator is, for example, when no operation has occurred for the virtual operator for a predetermined period or more, when the operation of the above-described OK button or CANCEL button is accepted, or the operation is instructed. It can be ended when voice recognition of the operation voice occurs.
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、サブディスプレイ１０４に操作案内画像を表示することにより仮想操作子の位置や種別をユーザに提示するようにしたが、仮想操作子の位置や種別のユーザに対する提示は、仮想操作子を設定した位置に位置すると認識されるように仮想操作子の虚像を空間中に表示することにより行うようにしてもよい。
The embodiment of the present invention has been described above.
By the way, in the above embodiment, the position and type of the virtual operator are presented to the user by displaying the operation guide image on the sub-display 104. However, the presentation of the position and type of the virtual operator to the user is as follows. The virtual operator may be displayed by displaying a virtual image of the virtual operator in the space so that the virtual operator is recognized to be located at the set position.
以上のように、本実施形態によれば、ユーザの指のハンドルに対する配置パターン、すなわち、ユーザのハンドルの握り方に応じて定まる指の位置に、仮想操作子を設定することができるので、各時点において、ユーザがハンドルを握ったまま操作を行い易い指の位置に仮想操作子を設定することができるようになる。また、ユーザのハンドルの握り方に応じて設定する仮想操作子の種別を変更することができるので、各時点において、ユーザがハンドルを握ったまま操作動作を行い易い種別の仮想操作子を設定することができるようになる。また、入力モードに応じて定まる指の位置に、仮想操作子を設定することができるので、各入力モードにおいて、その入力モードにおける操作を行い易い指の位置に仮想操作子を設定することができるようになる。 As described above, according to the present embodiment, the virtual operator can be set at the position of the finger determined according to the arrangement pattern with respect to the handle of the user's finger, i.e., how to grip the user's handle. At this point, the virtual operator can be set at a finger position where the user can easily operate while holding the handle. In addition, since the type of virtual operator to be set can be changed according to how the user handles the handle, a virtual operator of a type that allows the user to easily perform an operation operation while holding the handle is set at each time point. Will be able to. In addition, since the virtual operator can be set at the position of the finger determined according to the input mode, the virtual operator can be set at the position of the finger that can be easily operated in the input mode in each input mode. It becomes like this.
１０１…メインディスプレイ、１０２…マイクロフォン、１０３…カメラ、１０４…サブディスプレイ、１０５…音声認識処理部、１０６…画像認識処理部、１０７…表示処理部、１０８…制御装置、１０９…記憶装置、１１０…機能システム。 DESCRIPTION OF SYMBOLS 101 ... Main display, 102 ... Microphone, 103 ... Camera, 104 ... Sub-display, 105 ... Voice recognition processing part, 106 ... Image recognition processing part, 107 ... Display processing part, 108 ... Control apparatus, 109 ... Memory | storage device, 110 ... Functional system.
Claims (17)
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。 An in-vehicle system that is installed in an automobile and accepts user operations on a virtual operator,
A camera for photographing a user's hand holding the handle of the automobile;
For each of the finger placement patterns for the plurality of handles, a storage unit storing correspondence information in which correspondence between the placement pattern and any of the five fingers of the hand is stored;
From the image photographed by the camera, a gripping form identifying unit for identifying an arrangement pattern for the handle of the user's finger,
An operation finger setting means for setting, as the operation finger, a finger in which correspondence with the arrangement pattern identified by the gripping form identification unit is registered in the correspondence information;
A position detection unit that detects a position of the operation finger of the user from an image captured by the camera;
A virtual operator setting unit for setting the virtual operator at the position of the operation finger detected by the position detection unit;
An in-vehicle system comprising: an operation receiving unit that detects a movement of the user's finger from an image captured by the camera and receives the operation of the set virtual operator according to the detected movement of the finger. .
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。 An in-vehicle system that is installed in an automobile and accepts user operations on a virtual operator,
A camera for photographing a user's hand holding the handle of the automobile;
For each of the finger placement patterns for the plurality of handles, a storage unit storing correspondence information in which correspondence between the placement pattern and the type of the virtual operator is registered;
From the image photographed by the camera, a gripping form identifying unit for identifying an arrangement pattern for the handle of the user's finger,
A position detection unit that detects the position of the user's finger from the image captured by the camera;
A virtual operator setting unit that sets, in the correspondence information, a virtual operator of a type in which a correspondence with the arrangement pattern identified by the gripping form identifying unit is registered at a finger position detected by the position detecting unit; ,
An in-vehicle system comprising: an operation receiving unit that detects a movement of the user's finger from an image captured by the camera and receives the operation of the set virtual operator according to the detected movement of the finger. .
前記自動車のハンドルを握るユーザの手を撮影するカメラと、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、
前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部とを有することを特徴とする車載システム。 An in-vehicle system that is installed in an automobile and accepts user operations on a virtual operator,
A camera for photographing a user's hand holding the handle of the automobile;
A mode setting unit that selectively sets any one of a plurality of modes having different functions depending on a user operation received by the virtual operator as an active mode;
For each mode of the plurality of modes, a storage unit that stores correspondence information that registers the correspondence between the mode and any of the five fingers of the hand;
Operation finger setting means for setting, as the operation finger, a finger in which correspondence with the mode set by the mode setting unit as the active mode is registered in the correspondence information;
A position detection unit that detects a position of the operation finger of the user from an image captured by the camera;
A virtual operator setting unit for setting the virtual operator at the position of the operation finger detected by the position detection unit;
An in-vehicle system comprising: an operation receiving unit that detects a movement of the user's finger from an image captured by the camera and receives the operation of the set virtual operator according to the detected movement of the finger. .
前記対応情報には、複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応も登録されており、
前記仮想操作子設定部は、前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記操作指の位置に設定することを特徴とする車載システム。 The in-vehicle system according to claim 1,
In the correspondence information, for each of the finger placement patterns for the plurality of handles, correspondence between the placement pattern and the type of the virtual operator is also registered.
The virtual operator setting unit sets a virtual operator of a type in which correspondence with the arrangement pattern identified by the gripping form identification unit is registered in the correspondence information at the position of the operation finger. In-vehicle system.
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記操作指設定手段は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定することを特徴とする車載システム。 The in-vehicle system according to claim 1,
A mode setting unit that selectively sets any one of a plurality of modes having different functions to be performed according to a user operation received by the virtual operator as an active mode;
The correspondence information is provided for each mode of the plurality of modes,
The operation finger setting means operates a finger whose correspondence with the arrangement pattern identified by the gripping form identification unit is registered in the correspondence information corresponding to the mode set by the mode setting unit as the active mode. An in-vehicle system that is set as a finger.
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記仮想操作子設定部は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定することを特徴とする車載システム。 The in-vehicle system according to claim 2,
A mode setting unit that selectively sets any one of a plurality of modes having different functions to be performed according to a user operation received by the virtual operator as an active mode;
The correspondence information is provided for each mode of the plurality of modes,
The virtual operator setting unit is of a type in which the correspondence with the arrangement pattern identified by the gripping form identifying unit is registered in the correspondence information corresponding to the mode set as the active mode by the mode setting unit. An in-vehicle system, wherein a virtual operation element is set at a finger position detected by the position detection unit.
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部を備え、
前記対応情報は、前記複数のモードの各モード毎に設けられており、
前記操作指設定手段は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定し、
前記仮想操作子設定部は、前記モード設定部が現用モードとして設定しているモードに対応する前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した前記操作指の位置に設定することを特徴とする車載システム。 The in-vehicle system according to claim 4,
A mode setting unit that selectively sets any one of a plurality of modes having different functions to be performed according to a user operation received by the virtual operator as an active mode;
The correspondence information is provided for each mode of the plurality of modes,
The operation finger setting means operates a finger whose correspondence with the arrangement pattern identified by the gripping form identification unit is registered in the correspondence information corresponding to the mode set by the mode setting unit as the active mode. Set as a finger,
The virtual operator setting unit is of a type in which the correspondence with the arrangement pattern identified by the gripping form identifying unit is registered in the correspondence information corresponding to the mode set as the active mode by the mode setting unit. An in-vehicle system, wherein a virtual operator is set at a position of the operation finger detected by the position detection unit.
前記仮想操作子は、当該仮想操作子の種別毎に操作動作が異なるものであることを特徴とする車載システム。 The in-vehicle system according to claim 2, 4, 6, or 7,
The in-vehicle system, wherein the virtual operation element has a different operation operation for each type of the virtual operation element.
前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むことを特徴とする車載システム。 The in-vehicle system according to claim 8,
The type of the virtual operator includes the type of the virtual operator that receives an operation by a finger slide operation, the type of the virtual operator that receives an operation by a finger rotation operation, and the virtual that receives an operation by a finger push operation. An in-vehicle system including at least two types of operator types.
前記カメラが撮影した画像上の、前記仮想操作子設定部が前記仮想操作子を設定した位置に相当する当該カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部を有することを特徴とする車載システム。 An in-vehicle system according to claim 1, 2, 3, 4, 5, 6, 7, 8, or 9,
The virtual operator set by the virtual operator setting unit at a position in the image taken by the camera corresponding to the position where the virtual operator setting unit sets the virtual operator on the image taken by the camera An in-vehicle system, comprising: the operation guide image display unit that displays an operation guide image obtained by combining images representing images.
前記仮想操作子設定部が前記仮想操作子を設定した位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像の虚像を表示する仮想操作子表示部を有することを特徴とする車載システム。 An in-vehicle system according to claim 1, 2, 3, 4, 5, 6, 7, 8, or 9,
An in-vehicle device comprising: a virtual operator display unit that displays a virtual image of an image representing the virtual operator set by the virtual operator setting unit at a position where the virtual operator setting unit sets the virtual operator. system.
前記コンピュータを、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている指を操作指として設定する操作指設定手段と、
前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。 A computer program mounted on a vehicle and read and executed by a computer having a camera for photographing a user's hand holding the handle of the vehicle,
The computer,
For each of the finger placement patterns for the plurality of handles, a storage unit storing correspondence information in which correspondence between the placement pattern and any of the five fingers of the hand is stored;
From the image photographed by the camera, a gripping form identifying unit for identifying an arrangement pattern for the handle of the user's finger,
An operation finger setting means for setting, as the operation finger, a finger in which correspondence with the arrangement pattern identified by the gripping form identification unit is registered in the correspondence information;
A position detection unit that detects a position of the operation finger of the user from an image captured by the camera;
A virtual operator setting unit for setting the virtual operator at the position of the operation finger detected by the position detection unit;
A computer program that detects a movement of a finger of the user from an image photographed by the camera and functions as an operation reception unit that receives an operation of the set virtual operator according to the detected movement of the finger. .
前記コンピュータを、
複数の前記ハンドルに対する指の配置パターンの各々について、当該配置パターンと前記仮想操作子の種別との対応を登録した対応情報を格納した記憶部と、
前記カメラで撮影した画像より、前記ユーザの指のハンドルに対する配置パターンを識別する握持形態識別部と、
前記カメラで撮影した画像より、ユーザの指の位置を検出する位置検出部と、
前記対応情報に、前記握持形態識別部が識別した配置パターンとの対応が登録されている種別の仮想操作子を、前記位置検出部が検出した指の位置に設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。 A computer program mounted on a vehicle and read and executed by a computer having a camera for photographing a user's hand holding the handle of the vehicle,
The computer,
For each of the finger placement patterns for the plurality of handles, a storage unit storing correspondence information in which correspondence between the placement pattern and the type of the virtual operator is registered;
From the image photographed by the camera, a gripping form identifying unit for identifying an arrangement pattern for the handle of the user's finger,
A position detection unit that detects the position of the user's finger from the image captured by the camera;
A virtual operator setting unit that sets, in the correspondence information, a virtual operator of a type in which a correspondence with the arrangement pattern identified by the gripping form identifying unit is registered at a finger position detected by the position detecting unit; ,
A computer program that detects a movement of a finger of the user from an image photographed by the camera and functions as an operation reception unit that receives an operation of the set virtual operator according to the detected movement of the finger. .
前記コンピュータを、
前記仮想操作子で受け付けたユーザ操作に応じて行う機能が各々異なる複数のモードのうちのいずれかのモードを選択的に現用モードとして設定するモード設定部と、
前記複数のモードの各モードについて、当該モードと手の五指のうちのいずれかの指との対応を登録した対応情報を格納した記憶部と、
前記対応情報に、前記モード設定部が現用モードとして設定しているモードとの対応が登録されている指を操作指として、前記カメラで撮影した画像より、ユーザの前記操作指の位置を検出する位置検出部と、
前記位置検出部が検出した前記操作指の位置に前記仮想操作子を設定する仮想操作子設定部と、
前記カメラで撮影した画像より、前記ユーザの指の動きを検出し、検出した前記指の動きに応じて前記設定した仮想操作子の操作を受け付ける操作受付部として機能させることを特徴とするコンピュータプログラム。 A computer program mounted on a vehicle and read and executed by a computer having a camera for photographing a user's hand holding the handle of the vehicle,
The computer,
A mode setting unit that selectively sets any one of a plurality of modes having different functions depending on a user operation received by the virtual operator as an active mode;
For each mode of the plurality of modes, a storage unit that stores correspondence information that registers the correspondence between the mode and any of the five fingers of the hand;
The position of the operation finger of the user is detected from an image photographed by the camera, with the finger registered in the correspondence information as a current mode set by the mode setting unit as the operation finger. A position detector;
A virtual operator setting unit for setting the virtual operator at the position of the operation finger detected by the position detection unit;
A computer program that detects a movement of a finger of the user from an image photographed by the camera and functions as an operation reception unit that receives an operation of the set virtual operator according to the detected movement of the finger. .
前記仮想操作子は、当該仮想操作子の種別毎に操作動作が異なるものであることを特徴とするコンピュータプログラム。 A computer program according to claim 12, 13 or 14,
The computer program according to claim 1, wherein the virtual operation element has a different operation operation for each type of the virtual operation element.
前記仮想操作子の種別は、指のスライド動作によって操作を受け付ける前記仮想操作子の種別と、指の回転動作によって操作を受け付ける前記仮想操作子の種別と、指のプッシュ動作によって操作を受け付ける前記仮想操作子の種別とのうちの、少なくとも二つの種別を含むことを特徴とするコンピュータプログラム。 A computer program according to claim 15, comprising:
The type of the virtual operator includes the type of the virtual operator that receives an operation by a finger slide operation, the type of the virtual operator that receives an operation by a finger rotation operation, and the virtual that receives an operation by a finger push operation. A computer program comprising at least two types of operator types.
前記コンピュータプログラムは、前記コンピュータをさらに、
前記カメラが撮影した画像上の、前記仮想操作子設定部が当該仮想操作子を設定した位置に相当する前記カメラが撮影した画像中の位置に、前記仮想操作子設定部が設定した仮想操作子を表す画像を合成した操作案内画像を表示する前記操作案内画像表示部として機能させることを特徴とするコンピュータプログラム。 A computer program according to claim 12, 13, 14, 15 or 16,
The computer program further includes the computer.
The virtual operator set by the virtual operator setting unit at a position in the image taken by the camera corresponding to the position where the virtual operator setting unit sets the virtual operator on the image taken by the camera A computer program that functions as the operation guide image display unit that displays an operation guide image obtained by synthesizing an image representing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012267076A JP5984651B2 (en) | 2012-12-06 | 2012-12-06 | In-vehicle system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012267076A JP5984651B2 (en) | 2012-12-06 | 2012-12-06 | In-vehicle system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014115699A JP2014115699A (en) | 2014-06-26 |
| JP5984651B2 true JP5984651B2 (en) | 2016-09-06 |
Family
ID=51171663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012267076A Expired - Fee Related JP5984651B2 (en) | 2012-12-06 | 2012-12-06 | In-vehicle system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5984651B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101513540B1 (en) * | 2014-07-14 | 2015-04-21 | 연세대학교 산학협력단 | Apparatus and method for controlling vehicle by gesture recognition with hand |
| JP7053014B2 (en) * | 2018-03-30 | 2022-04-12 | Ｎｅｃソリューションイノベータ株式会社 | Motion judgment device, motion judgment method, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10297392A (en) * | 1997-05-01 | 1998-11-10 | Furukawa Electric Co Ltd:The | Vehicle interior equipped electronic system |
| JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP3933139B2 (en) * | 2004-03-09 | 2007-06-20 | 日産自動車株式会社 | Command input device |
| JP2007237919A (en) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | Input operation device for vehicle |
| JP2007260562A (en) * | 2006-03-28 | 2007-10-11 | Dainippon Screen Mfg Co Ltd | Treating liquid injector |
-
2012
- 2012-12-06 JP JP2012267076A patent/JP5984651B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014115699A (en) | 2014-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2952376B1 (en) | Input system disposable in steering wheel and vehicle including the same | |
| US8108137B2 (en) | Map scrolling method and navigation terminal | |
| JP5028038B2 (en) | In-vehicle display device and display method for in-vehicle display device | |
| JP4890222B2 (en) | Display device | |
| JP2013096736A (en) | Vehicular display device | |
| JP2005250785A (en) | Operation input device for vehicle and method thereof | |
| JP2007042029A (en) | Display device and program | |
| WO2016084360A1 (en) | Display control device for vehicle | |
| JPWO2017002708A1 (en) | Image display control device | |
| JP2004317410A (en) | Device | |
| JP5984651B2 (en) | In-vehicle system | |
| JP2008129688A (en) | Input device equipped with dial switch | |
| JP2011192231A (en) | In-vehicle input device, and input program therefor | |
| JP6033465B2 (en) | Display control device | |
| US9043721B2 (en) | Vehicular manipulation apparatus | |
| JP5367033B2 (en) | Display device | |
| JP4888203B2 (en) | Operation device for car navigation system | |
| US20160300324A1 (en) | Communication system | |
| KR20170010066A (en) | Method and device for providing a user interface in a vehicle | |
| JP6819539B2 (en) | Gesture input device | |
| JP3758958B2 (en) | Navigation device | |
| JP3651757B2 (en) | Remote control device and in-vehicle navigation device | |
| JP7340150B2 (en) | Operation image display device, operation image display system, and operation image display program | |
| JP4396180B2 (en) | Navigation device | |
| JP2020067713A (en) | Display controller, display system, method for controlling display, and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160802 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5984651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |