JP6252380B2 - Electronic equipment operation system - Google Patents

Electronic equipment operation system Download PDF

Info

Publication number
JP6252380B2
JP6252380B2 JP2014133118A JP2014133118A JP6252380B2 JP 6252380 B2 JP6252380 B2 JP 6252380B2 JP 2014133118 A JP2014133118 A JP 2014133118A JP 2014133118 A JP2014133118 A JP 2014133118A JP 6252380 B2 JP6252380 B2 JP 6252380B2
Authority
JP
Japan
Prior art keywords
determination unit
amount
operation amount
determined
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014133118A
Other languages
Japanese (ja)
Other versions
JP2016011029A (en
JP2016011029A5 (en
Inventor
鈴木　孝光
孝光 鈴木
加藤　香平
香平 加藤
健史 山元
健史 山元
裕子 中村
裕子 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014133118A priority Critical patent/JP6252380B2/en
Priority to PCT/JP2015/003057 priority patent/WO2015198565A1/en
Publication of JP2016011029A publication Critical patent/JP2016011029A/en
Publication of JP2016011029A5 publication Critical patent/JP2016011029A5/ja
Application granted granted Critical
Publication of JP6252380B2 publication Critical patent/JP6252380B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts

Description

本発明は、電子機器を操作する電子機器操作システムに関し、特に、操作器が電子機器と別体になっている電子機器操作システムに関する。   The present invention relates to an electronic device operating system for operating an electronic device, and more particularly to an electronic device operating system in which an operating device is separate from the electronic device.

ユーザが電子機器を操作する場合、ユーザは、電子機器を操作するために設けられている操作器を手で操作することが一般的である。特許文献１では、操作器としてダイアルを備えている。特許文献１では、ダイアルは電子機器の一部品となっており、ダイアルの回転量を検出する検出部と信号線により接続されている。   When a user operates an electronic device, it is common for the user to manually operate an operating device provided for operating the electronic device. In Patent Document 1, a dial is provided as an operating device. In Patent Document 1, the dial is a component of an electronic device and is connected to a detection unit that detects the amount of rotation of the dial by a signal line.

特開２００７−１４８９９８号公報JP 2007-148998 A

特許文献１とは異なり、電子機器の本体とは別体となっており、電子機器の本体に対して制御信号を無線送信する操作器も知られている。一般にリモコンと呼ばれるものである。   Unlike Patent Document 1, there is also known an operating device that is separate from the main body of the electronic device and wirelessly transmits a control signal to the main body of the electronic device. It is generally called a remote control.

専用品ではなく、スマートフォンをリモコンとして用いることができる技術も知られている。専用のリモコンも、スマートフォンをリモコン、すなわち操作器として使用する場合も、操作器は、電子機器に対して信号を無線送信する信号送信部を備える必要がある。すなわち、操作器は、信号送信部から信号を電子機器に送信する必要があるので、操作器として用いることができるのは、電子機器に信号を送信する信号送信部を備えている装置に限られるという問題があった。   There is also known a technology that can use a smartphone as a remote control instead of a dedicated product. Even when a dedicated remote controller or a smartphone is used as a remote controller, that is, an operation device, the operation device needs to include a signal transmission unit that wirelessly transmits a signal to an electronic device. That is, since the operation device needs to transmit a signal from the signal transmission unit to the electronic device, the device can be used as the operation device only for an apparatus including a signal transmission unit that transmits a signal to the electronic device. There was a problem.

本発明は、この事情に基づいて成されたものであり、その目的とするところは、操作器に対する制限が少ない電子機器操作システムを提供することにある。   The present invention has been made based on this situation, and an object of the present invention is to provide an electronic device operation system with few restrictions on the operation device.

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   The above object is achieved by a combination of the features described in the independent claims, and the subclaims define further advantageous embodiments of the invention. Reference numerals in parentheses described in the claims indicate a correspondence relationship with specific means described in the embodiments described later as one aspect, and do not limit the technical scope of the present invention. .

上記目的を達成するための本発明は、操作器（３０、１３０、２３０、３３０、４３０、５３０）に対して行われた操作量を表す操作量信号に基づいて制御を行う制御部（４６、５４）を備えた電子機器（４０、５０）を操作する電子機器操作システム（１）であって、カメラ（２０）と、操作器の位置の変化を伴う操作、および、操作器に対するタップ操作の少なくともいずれかが、ユーザの手により行われたことによる操作量を、カメラが撮像した画像に基づいて決定する操作量決定部（１２５）と、操作量決定部が決定した操作量に基づいて操作量信号を決定して、決定した操作量信号を制御部に対して出力する操作量信号出力部（１２６）と、カメラが撮像した画像に基づいて、操作器の位置を決定する第２位置決定部（１２１）と、第２位置決定部が決定した操作器の位置に基づいて、操作器の機能を決定する機能決定部（１２３）とを備え、電子機器操作システムは車両で用いられ、車両が走行状態であるか否かを逐次判定する走行判定部（１２２）を備え、カメラは、車両の車室内の運転席および運転席以外の少なくとも一つの座席を撮像範囲としており、機能決定部は、走行判定部が走行状態であると判定しており、且つ、第２位置決定部が、操作器が運転席にあると決定している場合には、操作器の機能をオフにし、走行判定部が走行状態でないと判定している場合、または、走行判定部が走行状態であると判定しているが、第２位置決定部が、操作器が運転席にないと決定している場合には、操作器の機能をオンにする。 In order to achieve the above object, the present invention provides a control unit that performs control based on an operation amount signal representing an operation amount performed on the operation device (30, 130, 230, 330, 430, 530). 54) An electronic device operation system (1) for operating an electronic device (40, 50) provided with a camera (20), an operation involving a change in the position of the camera (20) and the operation device, and a tap operation on the operation device. An operation amount determination unit (125) that determines an operation amount caused by the user's hand based on an image captured by the camera and an operation amount determined by the operation amount determination unit An operation amount signal output unit (126) that determines the amount signal and outputs the determined operation amount signal to the control unit; and a second position determination that determines the position of the operation device based on the image captured by the camera Part (121) and A function determining unit (123) for determining the function of the operating device based on the position of the operating device determined by the second position determining unit, wherein the electronic device operating system is used in a vehicle, and whether the vehicle is in a running state A travel determination unit (122) that sequentially determines whether or not, the camera has at least one seat other than the driver's seat and the driver's seat in the vehicle interior as an imaging range, and the function determination unit is driven by the travel determination unit If the second position determining unit determines that the operating device is in the driver's seat, the function of the operating device is turned off, and the traveling determining unit is not in the traveling state. If it is determined, or if the travel determination unit determines that the travel state is in progress, but the second position determination unit determines that the operation unit is not in the driver's seat, the function of the operation unit Turn on .

本発明によれば、操作量決定部は、操作器に対してユーザの手により行われた操作量を、カメラが撮像した画像に基づいて決定する。したがって、操作器は、電子機器に操作量信号を送信する信号送信部を備える必要がなく、また、形状も種々の形状とすることができる。したがって、操作器に対する制限が少ない。   According to the present invention, the operation amount determination unit determines the operation amount performed by the user's hand on the operation device based on the image captured by the camera. Therefore, the operation device does not need to include a signal transmission unit that transmits an operation amount signal to the electronic device, and can have various shapes. Therefore, there are few restrictions with respect to an operation device.

さらに、操作器はカメラで認識できる位置であれば配置位置も自由であり、また、操作器には、操作量信号を送信するための電力も必要ない。また、信号送信部が不要となるので、操作器の製造コストが安価になる。   Furthermore, the position of the operation device can be freely set as long as it can be recognized by the camera, and the operation device does not require power for transmitting an operation amount signal. In addition, since the signal transmission unit is unnecessary, the manufacturing cost of the operating device is reduced.

なお、カメラが撮像した画像に基づいて操作量を決定するのであるから、操作器すら不要にすることも考えられる。しかし、操作器がない場合には、ユーザは、どのように手を動かしてよいか分かりにくいという問題がある。また、どのように手を動かしてよいか分かりにくいことから、同じ操作に対する動きであっても、ユーザが異なると、手の動きが大きく異なる可能性がある。その結果、ユーザによって行われた操作を認識する精度が低下する恐れもある。   In addition, since the operation amount is determined based on the image captured by the camera, it may be possible to eliminate even the operation device. However, when there is no operation device, there is a problem that it is difficult for the user to know how to move the hand. In addition, since it is difficult to understand how to move the hand, even if it is a movement for the same operation, there is a possibility that the movement of the hand is greatly different if the user is different. As a result, the accuracy of recognizing an operation performed by the user may be reduced.

これに対して、本発明では、操作器が存在するため、ユーザの操作は、操作器を持って行う操作に限定される。これにより、ユーザは、何もないところで、手により電子機器に対する操作量を示すよりも、操作が行いやすい。また、操作量決定部が決定する操作量の精度も向上する。   On the other hand, in the present invention, since the operation device exists, the user's operation is limited to the operation performed with the operation device. This makes it easier for the user to perform an operation in the absence of anything than to indicate the operation amount for the electronic device by hand. In addition, the accuracy of the operation amount determined by the operation amount determination unit is improved.

本発明の実施形態となる電子機器操作システム１と、空調装置４０、窓開閉装置５０を示す図である。It is a figure which shows the electronic device operation system 1, the air conditioner 40, and the window opening and closing apparatus 50 which become embodiment of this invention. 実施形態の操作器３０の外観を示す図である。It is a figure which shows the external appearance of the operation device 30 of embodiment. 電子機器操作システム１、空調装置４０、窓開閉装置５０の構成を示すブロック図である。2 is a block diagram illustrating configurations of the electronic device operation system 1, the air conditioner 40, and the window opening and closing device 50. FIG. 操作検出装置１０のコンピュータ１２が実行する処理を示すフローチャートである。4 is a flowchart illustrating processing executed by the computer 12 of the operation detection device 10. 図４に続いて操作検出装置１０のコンピュータ１２が実行する処理を示すフローチャートである。FIG. 5 is a flowchart illustrating processing executed by the computer 12 of the operation detection device 10 subsequent to FIG. 4. FIG. 変形例１において、操作検出装置１０のコンピュータ１２が実行する処理の一部を示すフローチャートである。12 is a flowchart illustrating a part of processing executed by the computer 12 of the operation detection device 10 in Modification 1. 変形例２の操作器１３０の外観を示す図である。It is a figure which shows the external appearance of the operation device of the modification 2. 変形例３の操作器１３０の外観を示す図である。It is a figure which shows the external appearance of the operation device 130 of the modification 3. 変形例４の操作器１３０の外観を示す図である。It is a figure which shows the external appearance of the operation device 130 of the modification 4. 変形例５の操作器１３０の外観を示す図である。It is a figure which shows the external appearance of the operation device of the modification 5. FIG. 変形例６の操作器１３０の外観を示す図である。It is a figure which shows the external appearance of the operation device 130 of the modification 6. FIG.

以下、本発明の実施形態を図面に基づいて説明する。図１において、空調装置４０と窓開閉装置５０は、本発明の実施形態となる電子機器操作システム１により操作される電子機器である。これら空調装置４０と窓開閉装置５０は、電子機器操作システム１により操作される電子機器の一例であり、他の電子機器が、電子機器操作システム１により操作されるようになっていてもよい。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In FIG. 1, an air conditioner 40 and a window opening / closing device 50 are electronic devices operated by the electronic device operating system 1 according to an embodiment of the present invention. The air conditioner 40 and the window opening / closing device 50 are examples of electronic devices operated by the electronic device operation system 1, and other electronic devices may be operated by the electronic device operation system 1.

電子機器操作システム１、空調装置４０、窓開閉装置５０は、車両１００で用いられる。電子機器操作システム１は、操作検出装置１０、カメラ２０、操作器３０を備える。   Electronic device operating system 1, air conditioner 40, and window opening / closing device 50 are used in vehicle 100. The electronic device operation system 1 includes an operation detection device 10, a camera 20, and an operation device 30.

カメラ２０は、車室１１０内の上端部分に固定され、車室１１０内を逐次撮像する。カメラ２０の撮像範囲には、運転席および助手席が含まれている。また、後席が撮像範囲に含まれていてもよい。カメラ２０が撮像した車室１１０内の画像を、以下、車室内画像という。   The camera 20 is fixed to the upper end portion in the passenger compartment 110, and sequentially images the interior of the passenger compartment 110. The imaging range of the camera 20 includes a driver seat and a passenger seat. Further, the rear seat may be included in the imaging range. Hereinafter, the image in the passenger compartment 110 captured by the camera 20 is referred to as a passenger compartment image.

操作器３０は、車室１１０内に持ち込まれて乗員に使用される。この操作器３０は、カメラ２０や操作検出装置１０と接続されていない。一方、カメラ２０と操作検出装置１０は有線または無線により互いに接続されており、操作検出装置１０と空調装置４０、窓開閉装置５０も有線または無線により互いに接続されている。   The operating device 30 is brought into the passenger compartment 110 and used by a passenger. The operation device 30 is not connected to the camera 20 or the operation detection device 10. On the other hand, the camera 20 and the operation detection device 10 are connected to each other by wire or wireless, and the operation detection device 10, the air conditioner 40, and the window opening / closing device 50 are also connected to each other by wire or wireless.

本実施形態の操作器３０は、図２に示す外観を備える。図２に示すように、操作器３０は、基板３１と、把持部３２と、突き出し板部３３とを備える。把持部３２は円柱形状であり、把持部３２の直径は、乗員が把持部３２を掴みやすい大きさになっている。また、把持部３２は、高さが直径よりも小さい。通常、回転操作する部材は、高さが直径よりも小さいことから、把持部３２の高さが直径よりも小さくなっていることにより、乗員は、操作器３０が回転操作する部材であることを容易に認識できる。   The operation device 30 of the present embodiment has an appearance shown in FIG. As shown in FIG. 2, the operating device 30 includes a substrate 31, a grip portion 32, and a protruding plate portion 33. The gripping portion 32 has a cylindrical shape, and the diameter of the gripping portion 32 is such that a passenger can easily grip the gripping portion 32. Moreover, the holding part 32 has a height smaller than the diameter. Usually, since the member to be rotated is smaller in height than the diameter, the occupant is a member to be rotated by the operating device 30 when the height of the grip portion 32 is smaller than the diameter. Can be easily recognized.

突き出し板部３３は、把持部３２の下部から把持部３２の径方向に突き出す円環板状部材である。把持部３２と突き出し板部３３は一体化されており、これら把持部３２と突き出し板部３３は、把持部３２の軸心を回転中心として、基板３１に対して相対回転できる。   The protruding plate portion 33 is an annular plate-like member protruding in the radial direction of the holding portion 32 from the lower portion of the holding portion 32. The grip portion 32 and the ejection plate portion 33 are integrated, and the grip portion 32 and the ejection plate portion 33 can rotate relative to the substrate 31 with the axis of the grip portion 32 as the center of rotation.

また、突き出し板部３３の表面には、周方向に一定間隔で複数の丸印３４が表されている。図２には、３つの丸印３４しか示されていないが、本実施形態の突き出し板部３３は、その周方向に等間隔に４つの丸印３４が表されているものとする。この丸印３４は、操作器３０の操作量を検出するための目印記号であるとともに、操作器３０を他の部材と区別するための識別記号でもある。このような外観形状を有する本実施形態の操作器３０は、電子部品は備えていない。したがって、電子部品を作動させるための電池も備えていない。   In addition, a plurality of circles 34 are represented on the surface of the protruding plate portion 33 at regular intervals in the circumferential direction. Although only three circles 34 are shown in FIG. 2, it is assumed that the protruding plate portion 33 of the present embodiment has four circles 34 that are equally spaced in the circumferential direction. The circle 34 is a mark symbol for detecting the operation amount of the operation device 30 and is also an identification symbol for distinguishing the operation device 30 from other members. The operation device 30 of this embodiment having such an external shape does not include an electronic component. Therefore, the battery for operating an electronic component is not provided.

電子機器操作システム１、空調装置４０、窓開閉装置５０の構成を、図３を用いて詳しく説明する。操作検出装置１０は、記憶部１１と、コンピュータ１２を備える。   The configuration of the electronic device operating system 1, the air conditioner 40, and the window opening / closing device 50 will be described in detail with reference to FIG. The operation detection device 10 includes a storage unit 11 and a computer 12.

記憶部１１には、操作器３０における目印記号および識別記号である丸印３４の形状、大きさが記憶されている。   The storage unit 11 stores the shape and size of the mark 34 and the circle 34 that is an identification code in the operation device 30.

コンピュータ１２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。そのＣＰＵが、ＲＡＭの記憶機能を利用しつつ、ＲＯＭに記憶されているプログラムを実行することで、コンピュータ１２は、位置決定部１２１、走行判定部１２２、機能決定部１２３、操作判定部１２４、操作量決定部１２５、操作量信号出力部１２６として機能する。なお、これらの各部の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。   The computer 12 includes a CPU, a ROM, a RAM, and the like. The CPU executes the program stored in the ROM while using the storage function of the RAM, so that the computer 12 has a position determination unit 121, a travel determination unit 122, a function determination unit 123, an operation determination unit 124, It functions as an operation amount determination unit 125 and an operation amount signal output unit 126. Note that some or all of these units may be configured in hardware by one or a plurality of ICs.

位置決定部１２１は、車室内画像を解析して、操作器３０の位置および操作器３０のユーザである乗員の手の位置を逐次決定する。なお、手とは、手首よりも先の部分であり、腕は、本実施形態では手に含まない。この位置決定部１２１は、請求項の第１位置決定部および第２位置決定部として機能している。   The position determination unit 121 analyzes the vehicle interior image and sequentially determines the position of the operating device 30 and the position of the hand of the passenger who is the user of the operating device 30. The hand is a portion ahead of the wrist, and the arm is not included in the hand in this embodiment. The position determination unit 121 functions as a first position determination unit and a second position determination unit.

操作器３０の位置の決定は、記憶部１１に記憶している丸印３４を車室内画像から探すことにより行う。本実施形態では、正確に操作器３０の位置を決定する必要はないので、丸印３４の位置を操作器３０の位置とすればよい。複数の丸印３４が検出できたときは、たとえば、複数の丸印３４の重心位置を操作器３０の位置とする。   The position of the operation device 30 is determined by searching the circle mark 34 stored in the storage unit 11 from the vehicle interior image. In the present embodiment, it is not necessary to accurately determine the position of the operation device 30, so the position of the circle 34 may be the position of the operation device 30. When a plurality of circles 34 can be detected, for example, the position of the center of gravity of the plurality of circles 34 is set as the position of the operating device 30.

乗員の手の位置の決定は、一般物体認識の分野で知られている種々の手法を用いて行うことができる。たとえば、車室内画像から局所画像を切り出し、局所画像に対してＢｏｆ（Bag-of-features）法を適用することにより、手の位置を決定する。   The position of the passenger's hand can be determined using various methods known in the field of general object recognition. For example, the position of the hand is determined by cutting out a local image from the vehicle interior image and applying a Bof (Bag-of-features) method to the local image.

走行判定部１２２には、車両１００の車速を表す車速信号が供給される。この車速信号に基づいて、走行判定部１２２は、車両１００が走行状態にあるか停止状態にあるかを逐次判定する。なお、車速信号に加えてシフト位置も用いて車両１００が走行状態にあるか停止状態にあるかを判定してもよい。   The traveling determination unit 122 is supplied with a vehicle speed signal indicating the vehicle speed of the vehicle 100. Based on this vehicle speed signal, the traveling determination unit 122 sequentially determines whether the vehicle 100 is in a traveling state or in a stopped state. Note that it may be determined whether the vehicle 100 is running or stopped using the shift position in addition to the vehicle speed signal.

機能決定部１２３は、位置決定部１２１が決定した操作器３０の位置と、走行判定部１２２の判定結果とに基づいて、操作器３０の機能をオンとするかオフとするかを決定する。操作器３０の機能がオンである状態とは、操作器３０が操作されたことにより、操作量信号出力部１２６から操作量信号が出力される状態をいう。   The function determination unit 123 determines whether to turn on or off the function of the operation device 30 based on the position of the operation device 30 determined by the position determination unit 121 and the determination result of the travel determination unit 122. The state in which the function of the operation device 30 is ON refers to a state in which an operation amount signal is output from the operation amount signal output unit 126 when the operation device 30 is operated.

さらに機能決定部１２３は、操作器３０の機能をオンにすると決定した場合には、操作器３０により制御する電子機器（以下、制御対象機器）を決定する。制御対象機器は、位置決定部１２１が決定した操作器３０の位置に基づいて決定する。操作器３０の位置と電子機器との対応は予め設定されている。たとえば、操作器３０が車両ドアから一定範囲内あれば、制御対象機器は窓開閉装置５０であるとする。操作器３０の位置が車両ドアから一定範囲外であれば、制御対象機器は空調装置４０であるとする。   Further, when it is determined that the function of the operation device 30 is turned on, the function determination unit 123 determines an electronic device (hereinafter, a device to be controlled) controlled by the operation device 30. The control target device is determined based on the position of the operation device 30 determined by the position determination unit 121. The correspondence between the position of the operation device 30 and the electronic device is set in advance. For example, if the operating device 30 is within a certain range from the vehicle door, it is assumed that the control target device is the window opening / closing device 50. If the position of the operating device 30 is out of a certain range from the vehicle door, the control target device is assumed to be the air conditioner 40.

操作判定部１２４は、位置決定部１２１が決定した操作器３０の位置と乗員の手の位置とから、乗員の手が操作器３０に触れているか否かを判定する。ただし、機能決定部１２３が、操作器３０の機能をオフにすると決定している場合には、この判定は行わない。   The operation determination unit 124 determines whether the occupant's hand is touching the operation device 30 from the position of the operation device 30 determined by the position determination unit 121 and the position of the occupant's hand. However, this determination is not performed when the function determining unit 123 determines to turn off the function of the operation device 30.

操作量決定部１２５は、操作判定部１２４が、乗員の手が操作器３０に触れていると判定している場合に、乗員の手により操作器３０に対して行われた操作量を決定する。この操作量の決定には車室内画像を用いる。車室内画像を逐次解析することで、操作器３０の位置の変化を決定する。   The operation amount determination unit 125 determines the operation amount performed on the operation device 30 by the occupant's hand when the operation determination unit 124 determines that the occupant's hand is touching the operation device 30. . A vehicle interior image is used to determine the operation amount. A change in the position of the operating device 30 is determined by sequentially analyzing the vehicle interior image.

本実施形態のように、操作器３０に対する操作が回転操作である場合、操作器３０の位置の変化は回転位置の変化である。また、操作器３０には、把持部３２から突き出す突き出し板部３３を備えており、この突き出し板部３３には丸印３４が表されている。本実施形態の操作量決定部１２５は、丸印３４の位置変化を決定し、この位置変化から突き出し板部３３の回転移動量を決定する。この突き出し板部３３の回転移動量を操作器３０の回転移動量とする。この操作器３０の回転移動量が操作量である。   When the operation on the operation device 30 is a rotation operation as in the present embodiment, the change in the position of the operation device 30 is a change in the rotation position. In addition, the operating device 30 includes a protruding plate portion 33 protruding from the grip portion 32, and the protruding plate portion 33 is represented by a circle 34. The operation amount determination unit 125 of the present embodiment determines the position change of the circle 34 and determines the rotational movement amount of the protruding plate part 33 from this position change. The rotational movement amount of the protruding plate portion 33 is set as the rotational movement amount of the operation device 30. The rotational movement amount of the operation device 30 is the operation amount.

操作量信号出力部１２６は、操作量決定部１２５が決定した操作量に基づいて操作量信号を生成する。そして、生成した操作量信号を、機能決定部１２３が決定した制御対象機器の制御部、すなわち、本実施形態では空調装置４０および窓開閉装置５０のいずれかの制御部４６、５４に出力する。   The operation amount signal output unit 126 generates an operation amount signal based on the operation amount determined by the operation amount determination unit 125. And the produced | generated operation amount signal is output to the control part of the control object apparatus which the function determination part 123 determined, ie, the control parts 46 and 54 of the air conditioner 40 and the window opening / closing apparatus 50 in this embodiment.

空調装置４０は、操作部４２、温度センサ４４、制御部４６、駆動部４８などを備え、車室１１０内の温度を調整する。操作部４２は、制御部４６に対して、オン、オフや設定温度を指示するために乗員が操作する部分である。操作部４２が乗員により操作されると、その操作に応じた信号が制御部４６に出力される。温度センサ４４は、車室１１０内の温度を検出して、その温度を表す信号を制御部４６に逐次出力する。   The air conditioner 40 includes an operation unit 42, a temperature sensor 44, a control unit 46, a drive unit 48, and the like, and adjusts the temperature in the passenger compartment 110. The operation unit 42 is a part operated by the occupant to instruct the control unit 46 to turn on / off or set temperature. When the operation unit 42 is operated by an occupant, a signal corresponding to the operation is output to the control unit 46. The temperature sensor 44 detects the temperature in the passenger compartment 110 and sequentially outputs a signal representing the temperature to the control unit 46.

制御部４６には、操作部４２および温度センサ４４からの信号に加えて、操作量信号出力部１２６から操作量信号も入力される。そして、制御部４６は、操作部４２から入力される信号あるいは操作量信号出力部１２６から入力される操作量信号に基づいて設定温度を決定し、その設定温度になるように、駆動部４８のオンオフや、駆動部４８の出力を決定する。駆動部４８は、制御部４６により制御されて、車室内の温度を上下させる。   In addition to signals from the operation unit 42 and the temperature sensor 44, an operation amount signal is also input from the operation amount signal output unit 126 to the control unit 46. Then, the control unit 46 determines the set temperature based on the signal input from the operation unit 42 or the operation amount signal input from the operation amount signal output unit 126 and adjusts the drive unit 48 so that the set temperature is reached. ON / OFF and the output of the drive unit 48 are determined. The drive part 48 is controlled by the control part 46, and raises / lowers the temperature in a vehicle interior.

窓開閉装置５０は、操作部５２、制御部５４、駆動部５６などを備え、車両１００の窓を開閉させる。操作部５２は、車両ドアの車室１１０側の側面に設けられており、車両ドアを開閉させる際に乗員が操作する部分である。操作部５２が乗員により操作されると、その操作に応じた信号が制御部５４に出力される。   The window opening / closing device 50 includes an operation unit 52, a control unit 54, a drive unit 56, and the like, and opens and closes the window of the vehicle 100. The operation unit 52 is provided on a side surface of the vehicle door on the vehicle compartment 110 side, and is a portion that is operated by an occupant when the vehicle door is opened and closed. When the operation unit 52 is operated by an occupant, a signal corresponding to the operation is output to the control unit 54.

制御部５４には、操作部５２からの信号に加えて、操作量信号出力部１２６から操作量信号も入力される。そして、操作部５２から入力される信号あるいは操作量信号出力部１２６から入力される操作量信号に基づいて、駆動部５６の駆動量を決定し、決定した駆動量に応じた駆動信号を駆動部５６に出力する。駆動部５６は、モータを備えており、駆動信号に応じてモータを駆動させることで、車両ドアの窓を開閉させる。   In addition to the signal from the operation unit 52, an operation amount signal from the operation amount signal output unit 126 is also input to the control unit 54. Then, the drive amount of the drive unit 56 is determined based on the signal input from the operation unit 52 or the operation amount signal input from the operation amount signal output unit 126, and a drive signal corresponding to the determined drive amount is supplied to the drive unit. To 56. The drive part 56 is provided with the motor, and opens and closes the window of a vehicle door by driving a motor according to a drive signal.

次に、操作検出装置１０のコンピュータ１２が実行する処理を図４、図５のフローチャートを用いて説明する。操作検出装置１０のコンピュータ１２は、図４、図５の処理を車両１００の電源がオンである間、周期的に実行する。   Next, processing executed by the computer 12 of the operation detection apparatus 10 will be described with reference to the flowcharts of FIGS. The computer 12 of the operation detection device 10 periodically executes the processes of FIGS. 4 and 5 while the vehicle 100 is powered on.

図４のステップＳ２では、車室内画像をカメラ２０から取得する。ステップＳ４では、ステップＳ２で取得した車室内画像を解析して、操作器３０を検出できたか否かを判断する。操作器３０の検出は、前述のように、操作器３０に表されている丸印３４を車室内画像から検出することにより行う。操作器３０が検出できない場合には（Ｓ４：ＮＯ）、図４の処理を終了する。操作器３０が検出できた場合には（Ｓ４：ＹＥＳ）、ステップＳ６に進む。   In step S <b> 2 of FIG. 4, a vehicle interior image is acquired from the camera 20. In step S4, the vehicle interior image acquired in step S2 is analyzed to determine whether or not the operating device 30 has been detected. As described above, the operation device 30 is detected by detecting the circle 34 displayed on the operation device 30 from the vehicle interior image. If the operating device 30 cannot be detected (S4: NO), the process of FIG. 4 is terminated. If the controller 30 can be detected (S4: YES), the process proceeds to step S6.

ステップＳ６では、車室内画像の解析結果から、操作器３０の位置を決定し、決定した位置を記憶部１１に記憶する。ここまでのステップＳ２〜Ｓ６は、位置決定部１２１が行う。   In step S <b> 6, the position of the operating device 30 is determined from the analysis result of the vehicle interior image, and the determined position is stored in the storage unit 11. The position determination unit 121 performs steps S2 to S6 so far.

ステップＳ８では、ステップＳ６で決定した操作器３０の位置が運転席であるか否かを判断する。このステップＳ８は機能決定部１２３が行う。ステップＳ８の判断がＹＥＳであればステップＳ１０に進む。   In step S8, it is determined whether or not the position of the operating device 30 determined in step S6 is a driver seat. This function S123 is performed by step S8. If judgment of step S8 is YES, it will progress to step S10.

ステップＳ１０では、車両１００が走行中か否かを判断する。このステップＳ１０は走行判定部１２２が行う。ステップＳ１０の判断がＹＥＳであれば、図４の処理を終了する。したがって、操作器３０が運転席にあり、車両１００が走行中であれば、操作器３０の機能はオフになり、操作器３０を操作しても、操作検出装置１０は操作量信号を空調装置４０や窓開閉装置５０に送信しないことになる。このステップＳ１０の判断がＮＯであれば、ステップＳ１２に進む。   In step S10, it is determined whether or not the vehicle 100 is traveling. This step S10 is performed by the travel determination unit 122. If the determination in step S10 is yes, the process in FIG. 4 is terminated. Therefore, if the operating device 30 is in the driver's seat and the vehicle 100 is traveling, the function of the operating device 30 is turned off, and even if the operating device 30 is operated, the operation detecting device 10 outputs the operation amount signal to the air conditioner. 40 and the window opening / closing device 50 are not transmitted. If the determination in step S10 is NO, the process proceeds to step S12.

ステップＳ１２では、操作器３０の機能をオンにすると決定する。さらに、ステップＳ６で決定した操作器３０の位置に基づいて、制御対象機器を決定する。このステップＳ１２は機能決定部１２３が行う。   In step S12, it is determined that the function of the operation device 30 is turned on. Furthermore, the control target device is determined based on the position of the operation device 30 determined in step S6. This function S123 is performed by step S12.

ステップＳ１４では、ステップＳ２で取得した車室内画像を解析して、乗員の手の位置を決定する。このステップＳ１２は位置決定部１２１が行う。   In step S14, the vehicle interior image acquired in step S2 is analyzed to determine the position of the passenger's hand. This position determination part 121 performs this step S12.

ステップＳ１６では、ステップＳ６で決定した操作器３０の位置に、ステップＳ１４で決定した乗員の手の位置があるか否かを判断する。このステップＳ１６は操作判定部１２４が行う。操作器３０の位置に乗員の手の位置がないと判断した場合には（Ｓ１６：ＮＯ）、図４の処理を終了する。操作器３０の位置に乗員の手の位置があると判断した場合には（Ｓ１６：ＹＥＳ）、図５に進む。   In step S16, it is determined whether or not the position of the occupant's hand determined in step S14 is at the position of the operating device 30 determined in step S6. This operation S16 is performed by the operation determination unit 124. When it is determined that the position of the operating device 30 does not include the position of the occupant's hand (S16: NO), the processing of FIG. If it is determined that the position of the occupant's hand is at the position of the operating device 30 (S16: YES), the process proceeds to FIG.

図５において、ステップＳ２０では、再び、車室内画像をカメラ２０から取得する。ステップＳ２２では、ステップＳ２０で取得した車室内画像を解析して、乗員の手の位置を決定する。これらステップＳ２０、Ｓ２２は位置決定部１２１が行う。   In FIG. 5, in step S <b> 20, the vehicle interior image is acquired again from the camera 20. In step S22, the vehicle interior image acquired in step S20 is analyzed to determine the position of the passenger's hand. These steps S20 and S22 are performed by the position determination unit 121.

ステップＳ２４では、今回のステップＳ２２で決定した乗員の手の位置が、図４のステップＳ６で決定した操作器３０の位置にあるか否かを判断する。このステップＳ２４は操作判定部１２４が行う。操作器３０の位置に乗員の手の位置がないと判断した場合には（Ｓ２４：ＮＯ）、図５の処理を終了する。したがって、乗員の手が操作器３０から離れていれば、ステップＳ２６の処理を実行しないことになる。乗員の手が操作器３０から離れている状態ではステップＳ２６以降を実行しないので、車両１００の揺れ等により操作器３０が転がったときの操作器３０の移動に基づいて操作量を決定してしまう恐れが低減する。   In step S24, it is determined whether or not the position of the passenger's hand determined in step S22 is the position of the operating device 30 determined in step S6 of FIG. Step S24 is performed by the operation determination unit 124. When it is determined that the position of the occupant's hand is not at the position of the operating device 30 (S24: NO), the processing of FIG. Therefore, if the passenger's hand is away from the operation device 30, the process of step S26 is not executed. Since step S26 and subsequent steps are not executed when the occupant's hand is away from the operation device 30, the operation amount is determined based on the movement of the operation device 30 when the operation device 30 rolls due to the shaking of the vehicle 100 or the like. The fear is reduced.

ステップＳ２４の判断がＹＥＳである場合には、ステップＳ２６に進む。ステップＳ２６および次のステップＳ２８は操作量決定部１２５が行う。ステップＳ２６では、今回のステップＳ２０で取得した車室内画像を解析して、丸印３４の位置を決定し、決定した位置をコンピュータ１２のＲＡＭあるいは記憶部１１に記憶する。   If the determination in step S24 is yes, the process proceeds to step S26. The operation amount determination unit 125 performs step S26 and the next step S28. In step S26, the vehicle interior image acquired in step S20 of this time is analyzed, the position of the circle 34 is determined, and the determined position is stored in the RAM or the storage unit 11 of the computer 12.

続くステップＳ２８では、乗員の手により操作器３０に対して行われた操作量を決定する。操作量の決定には、前回のステップＳ２６で決定した丸印３４の車室内画像における位置、今回のステップＳ２６で決定した丸印３４の車室内画像における位置、車室内画像における丸印３４の回転半径から求める。   In the subsequent step S28, the amount of operation performed on the operating device 30 by the occupant's hand is determined. For determining the operation amount, the position of the circle 34 determined in the previous step S26 in the vehicle interior image, the position of the circle 34 determined in the current step S26 in the vehicle interior image, and the rotation of the circle 34 in the vehicle interior image. Calculate from radius.

車室内画像における丸印３４の回転半径としては、車室内画像における突き出し板部３３の半径の値を用いる。あるいは、車室内画像における突き出し板部３３の半径に１よりも少し小さい予め設定されている係数、たとえば０．９を乗じた値を、車室内画像における丸印３４の回転半径とする。このようにして求めた丸印３４の回転半径から、丸印３４が一回転したときの車室内画像における丸印３４の移動長さを求める。車室内画像における突き出し板部３３の半径は、車室内画像における突き出し板部３３の外周縁の形状から算出する。   As the radius of rotation of the circle 34 in the vehicle interior image, the value of the radius of the protruding plate portion 33 in the vehicle interior image is used. Alternatively, a value obtained by multiplying the radius of the protruding plate portion 33 in the vehicle interior image by a preset coefficient slightly smaller than 1, for example, 0.9 is set as the rotation radius of the circle 34 in the vehicle interior image. From the rotation radius of the circle mark 34 thus obtained, the moving length of the circle mark 34 in the vehicle interior image when the circle mark 34 makes one rotation is obtained. The radius of the protruding plate portion 33 in the vehicle interior image is calculated from the shape of the outer peripheral edge of the protruding plate portion 33 in the vehicle indoor image.

また、前回のステップＳ２６で決定した丸印３４の車室内画像における位置と、今回のステップＳ２６で決定した丸印３４の車室内画像における位置とから、車室内画像における丸印３４の移動長さを求める。この移動長さは、車室内画像における丸印３４の回転半径の円上を丸印３４が移動しているとして求める。   Further, the moving length of the circle 34 in the vehicle interior image from the position of the circle 34 determined in the previous step S26 in the vehicle interior image and the position of the circle 34 determined in the current step S26 in the vehicle interior image. Ask for. This moving length is obtained on the assumption that the circle 34 is moving on the circle of the rotation radius of the circle 34 in the vehicle interior image.

そして、把持部３２が一回転したときの車室内画像における丸印３４の移動長さに対する、車室内画像における丸印３４の移動長さの比を算出する。この比は、操作器３０の回転角度を意味する。この回転角度が操作量である。   Then, the ratio of the movement length of the circle mark 34 in the vehicle interior image to the movement length of the circle mark 34 in the vehicle interior image when the grip portion 32 makes one rotation is calculated. This ratio means the rotation angle of the operation device 30. This rotation angle is an operation amount.

続くステップＳ３０、Ｓ３２は操作量信号出力部１２６が行う。ステップＳ３０では、ステップＳ２８で決定した操作量、すなわち、操作器３０の回転角度に、予め設定された換算係数を乗じることで、操作量信号を決定する。たとえば、操作器３０が１回転したときの操作量信号を６とするのであれば、換算係数は６となる。また、丸印３４の位置が移動していないときは、操作量信号は０となる。   The operation amount signal output unit 126 performs subsequent steps S30 and S32. In step S30, the operation amount signal is determined by multiplying the operation amount determined in step S28, that is, the rotation angle of the operation device 30, by a preset conversion coefficient. For example, if the manipulated variable signal is 6 when the operation unit 30 makes one rotation, the conversion coefficient is 6. Further, when the position of the circle mark 34 is not moved, the operation amount signal is zero.

続くステップＳ３２では、ステップＳ３０で生成した操作量信号を、図４のステップＳ１２で決定した制御対象機器の制御部に出力する。ステップＳ３２を実行した後は、ステップＳ２０に戻る。操作器３０に乗員の手が触れている状態が継続している間は、図５の処理が繰り返し実行されて、操作量信号が継続的に出力され、操作器３０から乗員の手が離れると、図５の処理を終了し、一定時間後に図４の処理を開始する。   In subsequent step S32, the operation amount signal generated in step S30 is output to the control unit of the control target device determined in step S12 of FIG. After executing Step S32, the process returns to Step S20. While the state in which the occupant's hand is touching the operation device 30 continues, the processing of FIG. 5 is repeatedly performed, and the operation amount signal is continuously output. 5 is terminated, and the process of FIG. 4 is started after a predetermined time.

以上、説明した本実施形態では、操作量決定部１２５は、操作器３０に対して乗員の手により行われた操作量を、カメラ２０が撮像した車室内画像に基づいて決定する（Ｓ２６、Ｓ２８）。このようにして操作量を決定しているので、操作器３０は、操作量信号を送信する信号送信部を備えていない。また、形状も種々の形状とすることができる。したがって、操作器に対する制限が少ない。なお、操作器の形状の別例は後述する。   As described above, in the present embodiment described above, the operation amount determination unit 125 determines the operation amount performed by the occupant's hand on the operation device 30 based on the vehicle interior image captured by the camera 20 (S26, S28). ). Since the operation amount is determined in this way, the operation device 30 does not include a signal transmission unit that transmits an operation amount signal. Also, the shape can be various shapes. Therefore, there are few restrictions with respect to an operation device. Note that another example of the shape of the operation device will be described later.

さらに、操作器３０はカメラ２０で認識できる位置であれば配置位置も自由である。また、操作器３０は、電子部品や電子部品を作動させるための電池を備えていないので、製造コストが安価になる。   Furthermore, the operation device 30 can be arranged in any position as long as it can be recognized by the camera 20. Moreover, since the operation device 30 does not include an electronic component or a battery for operating the electronic component, the manufacturing cost is reduced.

このような単純な構造の操作器３０であるが、この操作器３０があることにより、乗員の操作は、操作器３０を持って行う操作に限定される。これにより、乗員は、何もないところで手により操作量を示すよりも操作が行いやすい。また、操作量決定部１２５が決定する操作量の精度も向上する。   Although the operation device 30 has such a simple structure, the operation of the occupant is limited to operations performed with the operation device 30 due to the presence of the operation device 30. This makes it easier for the occupant to perform the operation than showing the operation amount by hand when there is nothing. In addition, the accuracy of the operation amount determined by the operation amount determination unit 125 is improved.

また、本実施形態の操作器３０は、把持部３２に加えて、把持部３２から径方向に突き出し、把持部３２と一体回転する突き出し板部３３を備えている。把持部３２を乗員が掴んだ状態でも、突き出し板部３３は、乗員の手によって隠されずに、車室内画像に写っている可能性が高い。そして、操作量決定部１２５は、突き出し板部３３の回転移動量を操作器３０の回転移動量として決定するので、操作器３０の回転移動量を決定できない場合が少なくなる。   In addition to the grip portion 32, the operating device 30 of the present embodiment includes a protruding plate portion 33 that protrudes in the radial direction from the grip portion 32 and rotates integrally with the grip portion 32. Even when the occupant grips the grip portion 32, the protruding plate portion 33 is not likely to be hidden by the occupant's hand, but is likely to be reflected in the vehicle interior image. And since the operation amount determination part 125 determines the rotation movement amount of the protrusion board part 33 as a rotation movement amount of the operation device 30, the case where the rotation movement amount of the operation device 30 cannot be determined decreases.

さらに、操作量決定部１２５は、突き出し板部３３に表されている丸印３４の位置の変化から、突き出し板部３３の回転移動量を検出する（Ｓ２６、Ｓ２８）。丸印３４は、突き出し板部３３の周方向に４つ表されており、操作器３０の回転に伴い位置が変化する。したがって、丸印３４の位置の変化をもとにすることにより、突き出し板部３３の回転移動量を容易に検出することができる。   Further, the operation amount determination unit 125 detects the rotational movement amount of the ejection plate portion 33 from the change in the position of the circle 34 shown on the ejection plate portion 33 (S26, S28). Four circles 34 are shown in the circumferential direction of the protruding plate portion 33, and their positions change as the operation device 30 rotates. Accordingly, the rotational movement amount of the protruding plate portion 33 can be easily detected based on the change in the position of the circle 34.

また、本実施形態では、操作判定部１２４を備えており、乗員の手が操作器３０に触れていないと判定した場合には（Ｓ２４：ＮＯ）、操作量を決定しない。したがって、乗員が操作していない状態での操作器３０の移動に基づいて操作量を決定してしまう恐れが低減する。   Moreover, in this embodiment, the operation determination part 124 is provided, and when it determines with the passenger | crew's hand not touching the operation device 30 (S24: NO), the operation amount is not determined. Therefore, the possibility of determining the operation amount based on the movement of the operation device 30 in a state where the passenger is not operating is reduced.

また、本実施形態では、カメラ２０で操作器３０の操作量を決定するという特徴を利用して、操作器３０の位置も決定している。そして、操作器３０の位置に基づいて、操作器３０の機能のオン、オフを決定している。すなわち、操作器３０の位置が運転席でなければ、車両１００が走行中であるかどうかによらず、操作器３０の機能をオンにしている（Ｓ８：ＮＯ）。したがって、運転者以外の乗員は、車両１００が走行中でも、操作器３０を操作して、制御対象機器を制御することができる。   In the present embodiment, the position of the operation device 30 is also determined by using the feature that the operation amount of the operation device 30 is determined by the camera 20. Based on the position of the operation device 30, whether the function of the operation device 30 is on or off is determined. That is, if the position of the operation device 30 is not the driver's seat, the function of the operation device 30 is turned on regardless of whether the vehicle 100 is traveling (S8: NO). Accordingly, an occupant other than the driver can control the control target device by operating the operation device 30 even when the vehicle 100 is traveling.

これに対して、操作器３０が運転席にあり（Ｓ８：ＹＥＳ）、かつ、車両１００が走行中であれば（Ｓ１０：ＹＥＳ）、操作器３０の機能はオフになるので、運転者に対しては走行強制を実施できる。   On the other hand, if the operating device 30 is in the driver's seat (S8: YES) and the vehicle 100 is traveling (S10: YES), the function of the operating device 30 is turned off. Can be forced to run.

さらに、操作器３０の位置に基づいて操作器３０の機能のオンオフを行うだけでなく、操作器３０の位置に基づいて制御対象機器も決定しているので、１つの操作器３０により、複数の制御対象機器を制御することができる。   Furthermore, not only the function of the operating device 30 is turned on / off based on the position of the operating device 30, but also the control target device is determined based on the position of the operating device 30. The device to be controlled can be controlled.

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the above-mentioned embodiment, The following modification is also contained in the technical scope of this invention, Furthermore, the summary other than the following is also included. Various modifications can be made without departing from the scope. In the following description, elements having the same reference numerals as those used so far are the same as the elements having the same reference numerals in the previous embodiments unless otherwise specified. Further, when only a part of the configuration is described, the above-described embodiment can be applied to the other parts of the configuration.

＜変形例１＞
変形例１では、図６に示すように、ステップＳ２４がＹＥＳである場合、図５のステップＳ２６に代えて、ステップＳ２７を実行する。ステップＳ２７は操作量決定部１２５が実行する。 <Modification 1>
In Modification 1, as shown in FIG. 6, when step S24 is YES, step S27 is executed instead of step S26 in FIG. Step S27 is executed by the operation amount determination unit 125.

ステップＳ２７では、今回のステップＳ２０で取得した車室内画像を解析して、操作器３０に触れている乗員の手の指の位置を決定する。指の位置は、車室内画像を解析して決定できる全ての指に対して決定する。   In step S27, the vehicle interior image acquired in step S20 of this time is analyzed, and the position of the finger of the occupant's hand touching the operating device 30 is determined. The position of the finger is determined for all fingers that can be determined by analyzing the vehicle interior image.

ステップＳ２９では、前回のステップＳ２７で決定した乗員の指の位置に対する、今回のステップＳ２７で決定した乗員の指の位置の変化から、乗員の手により操作器３０に対して行われた操作量を決定する。   In step S29, the amount of operation performed on the operating device 30 by the occupant's hand is determined from the change in the position of the occupant's finger determined in the current step S27 with respect to the position of the occupant's finger determined in the previous step S27. decide.

＜変形例２＞
前述の実施形態の操作器３０は、突き出し板部３３を備えていたが、図７に示す操作器１３０のように、把持部３２は備えているが、突き出し板部３３を備えていない操作器１３０でもよい。なお、この操作器１３０は、把持部３２の上面に丸印３４が設けられている。把持部３２の上面に丸印３４が設けられている場合、乗員が把持部３２を掴んだ状態では、丸印３４は乗員の手に隠れてしまい、車室内画像に丸印３４が写っていない可能性が高い。したがって、丸印３４は、回転移動量を検出するための目印記号としては機能しない。しかし、乗員が把持部３２を掴んでいなければ、車室内画像に操作器１３０が写っている状態では、丸印３４も車室内画像に写っている可能性が十分にある。したがって、変形例１でも、丸印３４は、操作器１３０を他の部材と区別するための識別記号としては機能する。 <Modification 2>
The operating device 30 of the above-described embodiment includes the protruding plate portion 33. However, like the operating device 130 shown in FIG. 7, the operating device 30 includes the gripping portion 32 but does not include the protruding plate portion 33. 130 may be sufficient. The operating device 130 is provided with a circle 34 on the upper surface of the grip portion 32. When the circle mark 34 is provided on the upper surface of the grip portion 32, the circle mark 34 is hidden in the passenger's hand when the occupant grips the grip portion 32, and the circle mark 34 is not shown in the vehicle interior image. Probability is high. Accordingly, the circle 34 does not function as a mark symbol for detecting the rotational movement amount. However, if the occupant is not grasping the grip portion 32, there is a possibility that the circle 34 is also reflected in the vehicle interior image in a state where the operation device 130 is reflected in the vehicle interior image. Therefore, also in the first modification, the circle 34 functions as an identification symbol for distinguishing the operation device 130 from other members.

＜変形例３＞
図８に示す操作器２３０のように、把持部３２と、吸盤３５と、それら把持部３２と吸盤３５とを連結する連結部３６を備えている操作器２３０を用いることもできる。 <Modification 3>
As with the operation device 230 shown in FIG. 8, an operation device 230 including a gripping portion 32, a suction cup 35, and a connecting portion 36 that connects the gripping portion 32 and the suction cup 35 can also be used.

＜変形例４＞
図９に示す操作器３３０は、長方形状の板状部材である。この操作器３３０は、長手方向の両側に二次元情報コード３３１が表されている。この操作器３３０に対する操作はタップ操作であり、ユーザは、操作器３３０を手に持って、二次元情報コード３３１の部分をタップする。操作量決定部１２５は、タップ操作の回数を操作量とする。また、左右の二次元情報コード３３１を区別してタップ操作の回数を決定してもよい。 <Modification 4>
The operating device 330 shown in FIG. 9 is a rectangular plate-shaped member. The operation device 330 has a two-dimensional information code 331 represented on both sides in the longitudinal direction. The operation on the operation device 330 is a tap operation, and the user taps the portion of the two-dimensional information code 331 while holding the operation device 330 in his / her hand. The operation amount determination unit 125 sets the number of tap operations as the operation amount. Alternatively, the number of tap operations may be determined by distinguishing the left and right two-dimensional information codes 331.

二次元情報コード３３１には、この二次元情報コード３３１が表された部材が操作器３３０であることがコード化されて格納されており、操作器３３０を他の部材と区別するための識別記号として機能する。位置決定部１２１は、二次元情報コード３３１を読み取って操作器３３０であると判定した場合に、二次元情報コード３３１の位置、あるいは、二次元情報コード３３１がある部材の位置を、操作器３３０の位置とする。   In the two-dimensional information code 331, it is coded that the member in which the two-dimensional information code 331 is represented is the operation device 330 and is stored, and an identification symbol for distinguishing the operation device 330 from other members. Function as. When the position determination unit 121 reads the two-dimensional information code 331 and determines that the controller 330 is the operation unit 330, the position determination unit 121 determines the position of the two-dimensional information code 331 or the position of the member having the two-dimensional information code 331 as the operation unit 330. The position of

操作器３３０は、二次元情報コード３３１がない場合には単なる板であり、他にも形状が似た部材が周囲に存在する可能性がある。しかし、二次元情報コード３３１を備えることにより、位置決定部１２１は、他の部材の位置を、操作器３３０の位置と誤認識してしまうことを抑制できる。   The operation device 330 is a simple plate when the two-dimensional information code 331 is not provided, and there is a possibility that other members having similar shapes exist around the operation device 330. However, by providing the two-dimensional information code 331, the position determination unit 121 can suppress erroneous recognition of the position of another member as the position of the operation device 330.

なお、二次元情報コードに代えて、一次元情報コードを用いることもできる。そして、情報コードを用いる場合には、情報コードを表したシールを製造し、ユーザが所望の部材にシールを貼り付ければ、任意の部材を操作器とすることができる。また、情報コードでなくても、他の部材と区別することができる識別記号であれば、その識別記号を表したシールを製造すれば、情報コードを表したシールと同様、任意の部材を操作器とすることができる。   Note that a one-dimensional information code may be used instead of the two-dimensional information code. And when using an information code, if the seal | sticker showing the information code is manufactured and a user affixes a seal | sticker on a desired member, arbitrary members can be used as an operating device. In addition, even if it is not an information code, if it is an identification symbol that can be distinguished from other members, if a seal representing the identification symbol is manufactured, any member can be operated in the same manner as a seal representing the information code. Can be a container.

＜変形例５＞
図１０に示す操作器４３０は、長方形の板状の基板４３１と、角柱形の把持部４３３を備えている。基板４３１には、長手方向にレール４３２が形成されている。把持部４３３はレール４３２に沿って、基板４３１の長手方向に移動する。この操作器４３０のように、操作器４３０の位置の変化、より正確には操作器４３０の一部材である把持部４３３の位置の変化は、平行移動であってもよい。 <Modification 5>
The operation device 430 illustrated in FIG. 10 includes a rectangular plate-like substrate 431 and a prismatic gripping portion 433. Rails 432 are formed on the substrate 431 in the longitudinal direction. The grip portion 433 moves in the longitudinal direction of the substrate 431 along the rail 432. Like the operation device 430, the change in the position of the operation device 430, more precisely, the change in the position of the grip portion 433, which is a member of the operation device 430, may be a parallel movement.

＜変形例６＞
図１１の操作器５３０は、円柱形状の基部５３１と操作部５３３を備えている。操作部５３３の直径は、基部５３１の直径よりも小さくなっており、基部５３１に設けられた収容穴５３２に、操作部５３３の下側の一部が収容される。そして、操作部５３３と、収容穴５３２の底面との間に設けられたバネにより、操作部５３３は、基部５３１に対して上下方向に移動する。この操作器５３０においては、操作器５３０の位置の変化は、基部５３１に対する操作部５３３の位置の変化であり、操作量は、操作部５３３が押された回数である。 <Modification 6>
The operation device 530 in FIG. 11 includes a columnar base portion 531 and an operation portion 533. The diameter of the operation portion 533 is smaller than the diameter of the base portion 531, and a part of the lower side of the operation portion 533 is accommodated in the accommodation hole 532 provided in the base portion 531. The operation unit 533 moves in the vertical direction with respect to the base 531 by a spring provided between the operation unit 533 and the bottom surface of the accommodation hole 532. In the operation device 530, the change in the position of the operation device 530 is a change in the position of the operation unit 533 with respect to the base 531, and the operation amount is the number of times the operation unit 533 is pressed.

＜変形例７、８＞
変形例４で示した操作器３３０を用い、操作器３３０の角度が変化する操作に基づいて、操作量を決定してもよい。たとえば、操作器３３０の長手方向両端をそれぞれ左右の手で持って、操作器３３０の一方の端を、他方の端に対して上下させる操作に基づいて、操作量を決定してもよい（変形例７）。 <Modifications 7 and 8>
Using the operation device 330 shown in the modification 4, the operation amount may be determined based on an operation in which the angle of the operation device 330 is changed. For example, the operation amount may be determined based on an operation of holding both ends in the longitudinal direction of the operation device 330 with left and right hands and moving one end of the operation device 330 up and down relative to the other end (deformation). Example 7).

また、ジョイスティックのように、ある基台から棒状部材が突き出した操作器を用いることもできる（変形例８）。   Further, an operating device in which a rod-like member protrudes from a certain base, such as a joystick, can be used (Modification 8).

＜変形例９＞
前述の実施形態では、操作器３０は移動量を検出するために、目印記号として丸印３４を備えていたが、操作器が目印記号を備えず、操作器自体の移動量を検出してもよい。 <Modification 9>
In the above-described embodiment, the operation device 30 is provided with the circle mark 34 as the mark symbol in order to detect the movement amount. However, the operation device does not have the mark symbol, and even if the movement amount of the operation device itself is detected. Good.

＜変形例１０、１１＞
前述の実施形態の操作器３０は、複数の電子機器を操作できるようになっていたが、一つの電子機器のみを操作できるようになっていてもよい。この場合において、複数の電子機器にそれぞれ対応した複数の操作器を用意してもよい（変形例１０）。 <Modifications 10 and 11>
Although the operation device 30 of the above-described embodiment can operate a plurality of electronic devices, it may be configured to operate only one electronic device. In this case, a plurality of operation devices respectively corresponding to the plurality of electronic devices may be prepared (Modification 10).

また、操作器３０により複数の電子機器を操作できるようになっている場合でも、制御対象機器の決定方法は前述の実施形態の態様に限られない。たとえば、車室１１０内に備えられた表示器に制御対象機器の候補を表示し、乗員の操作により、１つの制御対象機器を決定するようにしてもよい（変形例１１）。このようにすれば、乗員は、カメラ２０が操作器３０を認識できる位置であれば、乗員の好きな位置で操作器３０を操作して制御対象機器を制御することができる。   Further, even when a plurality of electronic devices can be operated by the operation device 30, the method for determining the device to be controlled is not limited to the aspect of the above-described embodiment. For example, a candidate for a control target device may be displayed on a display device provided in the passenger compartment 110, and one control target device may be determined by an operation of a passenger (Modification 11). In this way, the occupant can control the device to be controlled by operating the operating device 30 at a position desired by the occupant as long as the camera 20 can recognize the operating device 30.

＜変形例１２＞
前述の実施形態では、操作器３０の位置が運転席にあり（Ｓ８：ＹＥＳ）、走行中であれば（Ｓ１０：ＹＥＳ）、図４の処理を終了、すなわち、操作器３０による操作を受け付けないことにしていた。しかし、ステップＳ１０がＹＥＳになった場合にも、操作器３０による操作を受け付ける状態としてもよい。 <Modification 12>
In the above-described embodiment, if the position of the operation device 30 is in the driver's seat (S8: YES) and the vehicle is traveling (S10: YES), the processing of FIG. I was supposed to. However, even when step S10 becomes YES, a state in which an operation by the operation device 30 is accepted may be adopted.

なお、操作器３０の位置が運転席にあり、車両１００が走行中である状態で操作器３０による操作を受け付ける場合、操作器３０を操作して行うことができる制御を、操作器３０が運転席にない場合や走行中でない場合よりも制限してもよい。一例としては、操作器３０が運転席にあり、車両１００が走行中である状態では、操作器３０を操作して行うことができる制御を、音量の調整など、画面を見ないで調整できる制御に限定する例がある。   In addition, when the position of the operating device 30 is in the driver's seat and the operation by the operating device 30 is accepted in a state where the vehicle 100 is traveling, the operating device 30 operates the control that can be performed by operating the operating device 30. You may restrict more than when you are not in a seat or when you are not running. As an example, when the operating device 30 is in the driver's seat and the vehicle 100 is running, control that can be performed by operating the operating device 30 can be adjusted without looking at the screen, such as volume adjustment. There is an example to limit to.

＜変形例１３＞
前述の実施形態の電子機器操作システム１は車両１００で用いられていたが、建物内で電子機器操作システム１を用いることもできる。 <Modification 13>
Although the electronic device operating system 1 of the above-described embodiment has been used in the vehicle 100, the electronic device operating system 1 can also be used in a building.

＜変形例１４＞
操作検出装置１０は、制御対象機器とは別の装置であったが、制御対象機器が操作検出装置１０としての機能を備えていてもよい。 <Modification 14>
The operation detection device 10 is a device different from the control target device, but the control target device may have a function as the operation detection device 10.

１：電子機器操作システム、 １０：操作検出装置、 １１：記憶部、 １２：コンピュータ、 ２０：カメラ、 ３０：操作器、 ３１：基板、 ３２：把持部、 ３３：突き出し板部、 ３４：丸印、 ３５：吸盤、 ３６：連結部、 ４０：空調装置、 ４６：制御部、 ５０：窓開閉装置、 ５４：制御部、 １００：車両、 １１０：車室、 １２１：位置決定部、 １２２：走行判定部、 １２３：機能決定部、 １２４：操作判定部、 １２５：操作量決定部、 １２６：操作量信号出力部、 １３０：操作器、 ２３０：操作器、 ３３０：操作器、 ３３１：二次元情報コード、 ４３０：操作器、 ５３０：操作器 DESCRIPTION OF SYMBOLS 1: Electronic device operation system, 10: Operation detection apparatus, 11: Memory | storage part, 12: Computer, 20: Camera, 30: Controller, 31: Board | substrate, 32: Gripping part, 33: Extrusion board part, 34: Circle mark , 35: suction cup, 36: connecting unit, 40: air conditioner, 46: control unit, 50: window opening / closing device, 54: control unit, 100: vehicle, 110: vehicle compartment, 121: position determining unit, 122: traveling determination Unit: 123: function determination unit 124: operation determination unit 125: operation amount determination unit 126: operation amount signal output unit 130: operation unit 230: operation unit 330: operation unit 331: two-dimensional information code 430: Controller, 530: Controller

Claims (6)

操作器（３０、１３０、２３０、３３０、４３０、５３０）に対して行われた操作量を表す操作量信号に基づいて制御を行う制御部（４６、５４）を備えた電子機器（４０、５０）を操作する電子機器操作システム（１）であって、
カメラ（２０）と、
前記操作器の位置の変化を伴う操作、および、前記操作器に対するタップ操作の少なくともいずれかが、ユーザの手により行われたことによる操作量を、前記カメラが撮像した画像に基づいて決定する操作量決定部（１２５）と、
前記操作量決定部が決定した前記操作量に基づいて前記操作量信号を決定して、決定した前記操作量信号を前記制御部に対して出力する操作量信号出力部（１２６）と、
前記カメラが撮像した画像に基づいて、前記操作器の位置を決定する第２位置決定部（１２１）と、
前記第２位置決定部が決定した前記操作器の位置に基づいて、前記操作器の機能を決定する機能決定部（１２３）とを備え、
前記電子機器操作システムは車両で用いられ、
前記車両が走行状態であるか否かを逐次判定する走行判定部（１２２）を備え、
前記カメラは、前記車両の車室内の運転席および運転席以外の少なくとも一つの座席を撮像範囲としており、
前記機能決定部は、
前記走行判定部が走行状態であると判定しており、且つ、前記第２位置決定部が、前記操作器が前記運転席にあると決定している場合には、前記操作器の機能をオフにし、
前記走行判定部が走行状態でないと判定している場合、または、前記走行判定部が走行状態であると判定しているが、前記第２位置決定部が、前記操作器が前記運転席にないと決定している場合には、前記操作器の機能をオンにすることを特徴とする電子機器操作システム。 An electronic device (40, 50) provided with a control unit (46, 54) that performs control based on an operation amount signal representing an operation amount performed on the operation device (30, 130, 230, 330, 430, 530). ) Operating system (1) for operating
A camera (20);
An operation for determining an operation amount when at least one of an operation accompanied by a change in the position of the operation device and a tap operation on the operation device is performed by a user's hand based on an image captured by the camera. An amount determination unit (125);
An operation amount signal output unit (126) that determines the operation amount signal based on the operation amount determined by the operation amount determination unit, and outputs the determined operation amount signal to the control unit;
A second position determination unit (121) for determining a position of the operation device based on an image captured by the camera;
A function determining unit (123) for determining a function of the operating device based on the position of the operating device determined by the second position determining unit;
The electronic device operating system is used in a vehicle,
A traveling determination unit (122) for sequentially determining whether or not the vehicle is in a traveling state;
The camera has at least one seat other than the driver's seat and the driver's seat in the passenger compartment of the vehicle as an imaging range,
The function determining unit
When the travel determination unit determines that the vehicle is in a traveling state and the second position determination unit determines that the operation device is in the driver's seat, the function of the operation device is turned off. West,
When the traveling determination unit determines that the traveling state is not in a traveling state or when the traveling determination unit determines that the traveling state is in a traveling state, the second position determination unit is not in the driver's seat. If it is determined, the electronic device operation system is characterized in that the function of the operation device is turned on . 請求項１において、
前記操作量決定部は、前記操作器に対して、前記操作器の位置の変化を伴う操作が前記ユーザの手により行われたことによる操作量を決定するものであり、前記操作器の移動量を検出し、検出した移動量を前記操作量とすることを特徴とする電子機器操作システム。 In claim 1,
The operation amount determination unit is configured to determine an operation amount when an operation accompanied by a change in the position of the operation device is performed by the user's hand with respect to the operation device, and a movement amount of the operation device , And the detected movement amount is used as the operation amount. 請求項２において、
前記操作器（３０）を備え、
前記操作器は、
円柱形状であって、前記ユーザの手により把持されて回転移動させられる把持部（３２）と、
前記把持部と一体回転し、前記把持部の下部から前記把持部の径方向に突き出す板状の突き出し板部（３３）とを備え、
前記操作量決定部は、前記操作器の回転移動量を前記操作量として決定するものであって、前記操作器の突き出し板部の回転移動量を、前記操作器の回転移動量とすることを特徴とする電子機器操作システム。 In claim 2,
Comprising the operating device (30);
The controller is
A grip portion (32) that is cylindrical in shape and is gripped and rotated by the user's hand;
A plate-like protruding plate portion (33) that rotates integrally with the holding portion and protrudes in a radial direction of the holding portion from a lower portion of the holding portion;
The operation amount determination unit determines a rotation movement amount of the operation device as the operation amount, and sets a rotation movement amount of the protruding plate portion of the operation device as a rotation movement amount of the operation device. Electronic device operation system characterized. 請求項３において、
前記突き出し板部の表面に、前記突き出し板部の回転により位置が変化する目印記号（３４）が複数備えられ、
前記操作量決定部は、前記目印記号の位置変化に基づいて、前記操作器の回転移動量を検出することを特徴とする電子機器操作システム。 In claim 3,
A plurality of mark symbols (34) whose positions are changed by rotation of the protruding plate portion are provided on the surface of the protruding plate portion,
The electronic device operation system, wherein the operation amount determination unit detects a rotational movement amount of the operation device based on a change in position of the mark symbol. 請求項１において、
前記操作量決定部は、前記操作器に対して、前記操作器の位置の変化を伴う操作が前記ユーザの手により行われたことによる操作量を決定するものであり、前記ユーザの手の移動量を検出し、検出した移動量に基づいて前記操作量を決定することを特徴とする電子機器操作システム。 In claim 1,
The operation amount determination unit is configured to determine an operation amount when an operation involving a change in the position of the operation device is performed by the user's hand with respect to the operation device, and movement of the user's hand An electronic device operation system, wherein an operation amount is detected and the operation amount is determined based on the detected movement amount. 請求項１〜５のいずれか１項において、
前記電子機器操作システムは、１つの前記操作器により、複数の前記電子機器を制御するものであり、
前記機能決定部は、前記操作器の位置に基づいて、前記操作器により制御する前記電子機器を決定することを特徴とする電子機器操作システム。
In any one of Claims 1-5 ,
The electronic device operating system is for controlling a plurality of the electronic devices with one operating device,
The function determining unit determines the electronic device to be controlled by the operating device based on the position of the operating device.
JP2014133118A 2014-06-27 2014-06-27 Electronic equipment operation system Expired - Fee Related JP6252380B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014133118A JP6252380B2 (en) 2014-06-27 2014-06-27 Electronic equipment operation system
PCT/JP2015/003057 WO2015198565A1 (en) 2014-06-27 2015-06-18 Electronic equipment operation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014133118A JP6252380B2 (en) 2014-06-27 2014-06-27 Electronic equipment operation system

Publications (3)

Publication Number Publication Date
JP2016011029A JP2016011029A (en) 2016-01-21
JP2016011029A5 JP2016011029A5 (en) 2016-06-30
JP6252380B2 true JP6252380B2 (en) 2017-12-27

Family

ID=54937673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014133118A Expired - Fee Related JP6252380B2 (en) 2014-06-27 2014-06-27 Electronic equipment operation system

Country Status (2)

Country Link
JP (1) JP6252380B2 (en)
WO (1) WO2015198565A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188289B2 (en) * 2019-06-24 2022-12-13 株式会社豊田自動織機 battery-powered industrial vehicle
JP7443955B2 (en) 2020-06-24 2024-03-06 コベルコ建機株式会社 Work machines, work support systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2593130Y2 (en) * 1993-05-31 1999-04-05 日本開閉器工業株式会社 Compound operation type switch
US6175610B1 (en) * 1998-02-11 2001-01-16 Siemens Aktiengesellschaft Medical technical system controlled by vision-detected operator activity
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
JP2001143559A (en) * 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk On-board driving device
JP2011116286A (en) * 2009-12-04 2011-06-16 Toyota Motor Corp System for operating on-board equipment

Also Published As

Publication number Publication date
JP2016011029A (en) 2016-01-21
WO2015198565A1 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
KR101550604B1 (en) Vehicle operation device
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
EP2862125B1 (en) Depth based context identification
US7289645B2 (en) Hand pattern switch device
CN109313487B (en) Object controller
US8498745B2 (en) Robot apparatus and gripping method for use in robot apparatus
KR101665554B1 (en) Control apparatus using dial, vehicle comprising the same, and control method for the vehicle
CN105829993B (en) Armband sensor and method for operating an armband sensor
JP2009129171A (en) Information processor loaded in mobile body
US9757985B2 (en) System and method for providing a gear selection indication for a vehicle
JP2006285370A (en) Hand pattern switch device and hand pattern operation method
US20170230812A1 (en) Method and system for detecting an input to a device
CN110968184B (en) Equipment control device
JP6252380B2 (en) Electronic equipment operation system
KR101628482B1 (en) System for detecting motion using analysis of radio signal in vehicel and method thereof
KR101237035B1 (en) apparatus of controlling turn signal lamp
JP2018501998A (en) System and method for controlling automotive equipment
JP2006298003A (en) Command input device
US20230191617A1 (en) Robot and control method therefor
JP2006312346A (en) Command input device
Jung et al. Communication quality analysis for remote control of a differential drive robot based on iphone interface
KR20120056698A (en) An apparatus and method using motion recognition based upon uwb communication
US11656759B2 (en) Semitransparent tactile surface sensor and a method of sensing an interaction with an object using the semitransparent tactile surface sensor
KR101970872B1 (en) Apparatus and method for analyzing driver&#39;s posture and condition
KR101500413B1 (en) Gesture recognize apparatus for vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171113

R151 Written notification of patent or utility model registration

Ref document number: 6252380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees