WO2014030352A1 - 操作装置 - Google Patents

操作装置 Download PDF

Info

Publication number
WO2014030352A1
WO2014030352A1 PCT/JP2013/004951 JP2013004951W WO2014030352A1 WO 2014030352 A1 WO2014030352 A1 WO 2014030352A1 JP 2013004951 W JP2013004951 W JP 2013004951W WO 2014030352 A1 WO2014030352 A1 WO 2014030352A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
section
display
distance
operating
Prior art date
Application number
PCT/JP2013/004951
Other languages
English (en)
French (fr)
Inventor
健一 竹中
和徳 武邑
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112013004134.0T priority Critical patent/DE112013004134T5/de
Priority to CN201380043079.XA priority patent/CN104583723B/zh
Priority to KR1020157004564A priority patent/KR101655291B1/ko
Priority to US14/414,966 priority patent/US9489500B2/en
Publication of WO2014030352A1 publication Critical patent/WO2014030352A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • This disclosure relates to an operation device that operates an image unit displayed on a display unit by input to the operation unit.
  • Patent Document 1 Conventionally, for example, in Patent Document 1, a navigation pointer and a radio main window image displayed on a display screen are associated with operations performed on a remote touchpad unit located away from the display screen.
  • a technique for moving is disclosed.
  • a user interface device disclosed in Patent Document 1 includes a remote touch pad unit that detects an operation by an operator's finger and the like, and a control unit that associates the movement of the finger detected by the remote touch pad unit with the movement of a map, a pointer, and the like. And.
  • control unit obtains the distance from the remote touch pad unit to the finger.
  • the control unit performs an operation with the finger detected by the remote touch pad unit on the display screen. Associate it with the operation that moves the top pointer.
  • the control unit performs an operation with the finger detected by the remote touch pad unit. Is associated with the operation of switching from the radio main window image to the operation standby window image.
  • the operator selects a desired image portion from the pointer and the radio main window image by adjusting the height of the finger with respect to the remote touch pad portion, and manipulates the selected image portion. be able to.
  • An object of the present disclosure is to provide an operation device that can acquire high operability for the operation of an image portion displayed on a display screen.
  • a first aspect of the present disclosure is an operating device in which an input by an operating body for operating an image unit displayed on a display unit is performed on an operating unit, A detection section that detects a movement operation that moves the operation body along the section, an acquisition section that acquires a measurement value that increases or decreases according to the operation body distance from the operation section to the operation body, and a measurement value acquired by the acquisition section Based on the, when the operating body distance is less than a predetermined threshold distance, the first image control that changes the display mode of the first image portion as the image portion is associated with the moving operation detected by the detection section, The movement detected by the detection section in the second image control for changing the display mode of the second image portion as the image portion different from the first image portion when the operating tool distance exceeds the threshold distance An association section for associating an operation, a specific operation performed by the operating body as an authorization operation in advance, an authorization operation determination section for determining whether or not an authorization operation has been performed, and an association section for a movement operation and second image control A mode
  • the mode switching section includes the second image control that changes the display mode of the second image unit on the display unit, and the operation The prohibit mode that prohibits the association with the movement operation by the body is maintained.
  • the mode switching section switches from the prohibit mode to the permission mode in which the association between the second image control and the movement operation by the operation body is permitted.
  • a second aspect of the present disclosure is an operation device in which an input by an operation body for operating an image unit displayed on a display unit is performed on the operation unit, and the operation body is moved along the operation unit The moving operation to be detected is detected, and whether the moving operation is a contact operation performed in a state where the operating body is in contact with the operation unit or an aerial operation performed in a state where the operation body is separated from the operation unit is determined.
  • the detection section, the association section that associates the contact operation and the aerial operation detected by the detection section with the control of different image parts, and the specific operation performed by the operating body are stored in advance as an authorization operation, and the authorization operation has been performed
  • an operation device comprising a.
  • the mode switching section maintains the prohibit mode for prohibiting reception of the aerial operation until a specific authorization operation by the operating body is performed on the operation device. Therefore, when a contact operation is performed, a situation in which the movement of bringing the operating body close to the operation surface until it is determined as the contact operation by the operation determination section is not likely to occur as an aerial operation against the operator's intention.
  • the mode switching section switches from the prohibit mode to the permit mode for permitting acceptance of the aerial operation.
  • the operator selects one of the image units associated with the contact operation and the aerial operation while continuing the operation by the operating body. You can then manipulate this selected one.
  • the third aspect of the present disclosure is based on the operation body of the image unit displayed on the display unit by causing the display control section that controls display of the display unit to acquire a signal based on the input to the operation unit by the operation body.
  • An operation device that enables operation, a detection section that detects a relative position of an operation body with respect to an operation unit as input position coordinates in a three-dimensional direction, and among the input position coordinates detected by the detection section, the operation unit and An image for switching the image portion to be controlled in the display control section based on whether or not the value indicating the coordinate in the z-axis direction corresponding to the distance between the operating bodies exceeds a predetermined threshold.
  • the acquisition control section that determines whether or not the display control section acquires a signal indicating the input position coordinates, and the display control section acquires the signal until an approval determination is made to permit acquisition of the signal by the acquisition determination section.
  • An operating device includes an acquisition control section that is interrupted and that causes the display control section to start acquiring a signal based on the determination of permission.
  • a fourth aspect of the present disclosure provides an operation of an image unit displayed on a display unit by causing a display control section that controls display of the display unit to acquire a signal based on an input to the operation unit by an operating tool.
  • An operation device that enables operation by a body, wherein a detection section that detects a relative position of an operation body with respect to an operation unit as an input position coordinate in a three-dimensional direction, and an operation among an input position coordinate detected by the detection section
  • the image control target is switched in the display control section based on whether or not the value indicating the coordinate in the z-axis direction corresponding to the distance between the control unit and the operating body exceeds a predetermined threshold.
  • an output control section for starting output of a signal to the display control section based on the determination of permission.
  • a fifth aspect of the present disclosure provides an operation of an image unit displayed on a display unit by causing a display control section that controls display of the display unit to acquire a signal based on an input to the operation unit by an operating tool.
  • An operation device that enables operation by a body, wherein a detection section that detects a relative position of an operation body with respect to an operation unit as an input position coordinate in a three-dimensional direction, and an operation among an input position coordinate detected by the detection section
  • the image control target is switched in the display control section based on whether or not the value indicating the coordinate in the z-axis direction corresponding to the distance between the control unit and the operating body exceeds a predetermined threshold.
  • an execution decision section that determines whether or not to cause the display control section to perform control of the image portion based on the input position coordinates, and display until a permission decision that allows control of the image portion is made by the execution decision section
  • An operation device includes an execution control section that interrupts control of the image section by the control section and causes the display control section to start control of the image section corresponding to the signal based on the permission determination.
  • the sixth aspect of the present disclosure is connected to a display control section that draws a display image sent to the display unit, and can operate an image unit included in the display image by an input to the operation unit by an operating tool.
  • a detection section that detects the contact state and proximity state of the operating body to the operation unit, and when the contact state is detected by the detection section, the first image unit corresponding to the contact state is
  • the display image included is sent from the display control section to the display unit and the proximity state is detected by the detection section
  • the display image including the second image portion corresponding to the proximity state is transferred from the display control section to the display unit.
  • Display image when the sending control section to be sent and the operating body detected by the detecting section are in the process of state transition from the proximity state to the contact state
  • an operation device comprising a.
  • the image unit is operated by the operation of bringing the operating body close to the operation unit.
  • the signal acquisition by the display control section is suspended until a permission decision is made. Therefore, the image unit is not operated by the operation of bringing the operating body close to the operation unit.
  • signal output to the display control section is interrupted until a permission decision is made.
  • control of the image portion in the display control section is interrupted until permission is determined.
  • the image unit is not operated by the operation of bringing the operating body close to the operation unit.
  • the display mode of the second image may be prohibited from being changed by the input by the operating tool regardless of the threshold distance.
  • a prohibit mode is set so that the input by the operation tool is not reflected in the display mode of the image unit, and authorization is performed.
  • a permission mode may be set in which the input by the operation tool is reflected in the display mode of the image unit.
  • the first mode in which the display mode of the image portion is not changed depending on whether the distance from the operation portion to the operation body exceeds the predetermined distance or not is changed depending on whether the distance from the operation portion to the operation body exceeds a predetermined distance or not.
  • the second mode in which the display mode of the image part is changed depending on whether the distance from the operation part to the operation object exceeds a predetermined distance or not You may make it provide the control circuit which performs.
  • the remote control device 100 As shown in FIG. 1, the remote control device 100 according to the first embodiment of the present disclosure is mounted on a vehicle and forms a display system 10 together with a navigation device 50 and the like.
  • the remote operation device 100 has a touch sensor 31 as shown in FIG. 1, and as shown in FIG. 5, the surface of the touch sensor 31 is a touch on which an operator's fingers (hereinafter referred to as fingers) are operated.
  • the surface 32 is used.
  • a push switch 35 is disposed adjacent to the touch surface 32.
  • the remote operation device 100 is installed at a position adjacent to the palm rest 39 at the center console of the vehicle, and exposes the operation surface 32 within an easy reach of the operator.
  • the navigation device 50 is installed in the instrument panel of the vehicle in a posture in which the display screen 52 is exposed and viewed from the operator and the display screen 52 faces the driver's seat.
  • the display system 10 switches and displays various display images 60 on the display screen 52.
  • the display image 60 shown in FIG. 3 is one of a plurality of display images displayed on the display screen 52, and represents a navigation image showing a route to the destination set by the operator.
  • the display image 60 includes a plurality of image portions 61 such as a plurality of icons 63 associated with a predetermined function, a pointer 62 for selecting the icon 63, and a map 64 showing a road form around the vehicle. Yes.
  • the display image 60 includes a focus 66 that emphasizes the icon 63 on which the pointer 62 is superimposed.
  • the positions where the pointer 62 and the focus 66 are displayed on the display screen 52 correspond to the current finger operation position of the operator on the operation surface 32.
  • the display of the pointer 62 may be omitted, and the focus 66 may be displayed instead of the pointer 62 in accordance with the position of the finger of the operator's hand.
  • the display image 60 described above includes a map layer L2 on which a map 64 is drawn, an object layer L3 on which an icon 63 is drawn, and a pointer layer L1 on which a pointer 62 is drawn. It is configured by superimposing drawing layers.
  • the size of each of the layers L1 to L3 is configured according to the size of the display screen 52.
  • the remote control device 100 is connected to a Controller / Area / Network (CAN) bus 90, an external battery 95, and the like.
  • the CAN bus 90 is a transmission path used for data transmission between in-vehicle devices in an in-vehicle communication network formed by connecting a plurality of in-vehicle devices mounted on a vehicle.
  • the remote control device 100 can communicate with the navigation device 50 located remotely via the CAN bus 90.
  • the remote operation device 100 includes power interfaces 21 and 22, a communication control circuit 23, a communication interface 24, a touch sensor 31, a push switch 35, an operation control circuit 33, and the like.
  • Each power supply interface 21, 22 stabilizes the power supplied from the battery 95 and supplies it to the operation control circuit 33.
  • One power interface 21 is always supplied with power from the battery 95.
  • the other power interface 22 is supplied with electric power from the battery 95 when the switch 93 is energized when the accessory (ACC) power source of the vehicle is turned on.
  • the communication control circuit 23 and the communication interface 24 are configured to output information processed by the operation control circuit 33 to the CAN bus 90 and to acquire information output to the CAN bus 90 from other in-vehicle devices.
  • the communication control circuit 23 and the communication interface 24 are connected to each other by a transmission signal line TX and a reception signal line RX.
  • the touch sensor 31 is a capacitance type sensor, and detects an operation with the finger F on the operation surface 32 formed in a rectangular flat plate shape.
  • the touch sensor 31 is formed by arranging electrodes extending along the x-axis direction and electrodes extending along the y-axis direction in a grid pattern. These electrodes are connected to the operation control circuit 33.
  • the touch sensor 31 is covered with an insulating sheet made of an insulating material that forms the operation surface 32.
  • the image portion 61 (see FIG. 3) displayed on the display screen 52 can be moved by operating the finger F of the operator in the x-coordinate, y-coordinate, or z-coordinate direction of the operation surface 32.
  • Is set to The push switch 35 is disposed on the opposite side of the palm rest 39 with the operation surface 32 interposed therebetween.
  • an icon 63 (see FIG. 3) displayed on the display screen 52 can be selected.
  • the operation control circuit 33 shown in FIG. 1 includes a processor that performs various arithmetic processes, a RAM that functions as a work area for the arithmetic processes, a flash memory that stores programs used for the arithmetic processes, and the like.
  • the operation control circuit 33 is connected to the power supply interfaces 21 and 22, the communication control circuit 23, the touch sensor 31, the push switch 35, and the like.
  • the operation control circuit 33 measures the potential of each electrode of the touch sensor 31 by executing a predetermined program, thereby obtaining a sensitivity value as a measurement value of the sensor 31. get.
  • the operation control circuit 33 includes an x-coordinate and a y-coordinate indicating the relative operation position (hereinafter referred to as “relative position”) of the finger F that is in proximity to or in contact with the operation surface 32, and further from the operation surface 32 to the finger F.
  • a z coordinate corresponding to a distance (hereinafter referred to as “operation tool distance d”, see FIG. 6A) is detected by a calculation process based on a sensitivity value whose value changes according to the amount of charge stored in each electrode. Note that the sensitivity value in the present embodiment decreases as the operating tool distance d decreases, and increases as the operating tool distance d increases.
  • the operation control circuit 33 detects a pressing operation on the push switch 35 performed by the operator with the finger F. Then, the operation control circuit 33 outputs the coordinates indicating the position of the finger F and the presence / absence of the pressing operation to the push switch 35 to the CAN bus 90 through the communication control circuit 23 and the communication interface 24.
  • the navigation device 50 shown in FIGS. 1 and 2 is connected to a CAN bus 90 so as to be able to communicate with the remote control device 100 and the like, and has a display control circuit 53 and a liquid crystal display 51.
  • the display control circuit 53 includes a processor that performs various types of arithmetic processing, a RAM that functions as a work area for arithmetic processing, a graphic processor that performs image drawing processing, a graphic RAM that functions as a work area for drawing processing, and the like.
  • the display control circuit 53 has a flash memory for storing data used for arithmetic processing and drawing processing, a communication interface connected to the CAN bus 90, and a video output interface for outputting drawn image data to the liquid crystal display 51. is doing.
  • the display control circuit 53 draws a display image 60 to be displayed on the display screen 52 based on information acquired from the CAN bus 90.
  • the display control circuit 53 sequentially outputs the image data of the drawn display image 60 to the liquid crystal display 51 through the video output interface.
  • the liquid crystal display 51 is a dot matrix type display that realizes color display by controlling a plurality of pixels arranged on the display screen 52.
  • the liquid crystal display 51 displays video by continuously forming image data sequentially acquired from the display control circuit 53 on the display screen 52.
  • the first threshold distance Dth1 used for switching in the above association is set to about 0.5 to 1 cm, for example, and the second threshold distance Dth2 is set to about 2 to 3 cm, for example.
  • the following (1) to (3) are defined based on these threshold distances.
  • a space included between the operation surface 32 and the first threshold distance Dth1 is defined as a contact operation area, and an operation state in which the finger F is positioned in the contact operation area is referred to as “in contact operation”, and the first threshold distance An operation for manipulating the pointer 62 input at less than Dth1 is defined as a “contact operation”.
  • the state in which the finger F is in direct contact with the operation surface 32 of the touch sensor 31 the state in which the finger F floats from the operation surface 32 to the first threshold distance Dth1 (for example, about 0.5 to 1 cm) Is defined.
  • a space included between the first threshold distance Dth1 and the second threshold distance Dth2 is referred to as an aerial operation area, and an operation state in which the finger F is positioned in the aerial operation area is defined as “in mid-air operation”.
  • An operation for manipulating the map 64 that is input when the first threshold distance Dth1 is exceeded and less than the second threshold distance Dth2 (including the aerial operation area) is defined as “aerial operation”.
  • a space farther from the operation surface 32 than the second threshold distance Dth2 is defined as a non-proximity region, and an operation state in which the finger F is positioned in the non-proximity region is defined as “not in proximity”.
  • each of the first threshold distance Dth1 and the second threshold distance Dth2 is provided with hysteresis. Yes. Specifically, as shown in FIG. 6B, when the movement operation of the finger F in the contact operation area, that is, the contact operation is associated with the pointer control, the operation control circuit 33 (see FIG. 1) sets the first threshold distance Dth1 to (Hereinafter referred to as “upper limit side first threshold distance Dth1U”) to the lower limit side first threshold distance Dth1D. Further, as shown in FIG.
  • the operation control circuit 33 associates the movement operation by the finger F in the aerial operation area, that is, the aerial operation with the map control, and sets the second threshold distance Dth2 to the distance up to that point (hereinafter referred to as “upper limit”).
  • Side second threshold distance Dth2U to the lower limit side second threshold distance Dth2D.
  • the operation control circuit 33 can switch between a prohibit mode for prohibiting the association between the operation with the finger F and the map control and a permission mode for permitting the association.
  • the operation authorization is in the prohibited mode, as shown in FIG. 6A, even if the finger F in the aerial operation area moves within the area, the image parts 62 to 64 included in the display image 60 Does not move substantially.
  • an operation for bringing the finger F closer to the operation surface 32 than the first threshold distance Dth1 is performed in advance as an authorization operation for switching from the prohibit mode to the permit mode. It is remembered. Therefore, as shown in FIG.
  • the operation authorization is switched from the prohibit mode to the permission mode by the operation of moving the finger F from the non-proximity region to the contact operation region.
  • the prohibit mode is switched to the permit mode.
  • FIG. 7A shows a state where the operator has started the operation of bringing the finger F toward the operation surface 32.
  • the operator who wants to start the icon selection operation for example, the finger F that has been positioned far from the operation surface 32 for the switching operation and driving operation of the ACC power source to the on state, First, it is moved toward the operation surface 32.
  • the operating tool distance d from the operating surface 32 to the finger F exceeds the upper limit side second threshold distance Dth2U.
  • Dth2U the upper limit side second threshold distance
  • FIG. 7B shows a state in which the finger F is moved from the non-proximity region in FIG. 7A to the aerial operation region so that the operation object distance d is less than the upper limit side second threshold distance Dth2U.
  • the operation authorization remains in the prohibit mode. Therefore, even if the operating tool distance d exceeds the upper limit side first threshold distance Dth1U and is less than the lower limit side second threshold distance Dth2D, the aerial operation for moving the finger F and the map control are not associated. Therefore, even if the operator moves the finger F along the operation surface 32, the operator cannot move the map 64 on the display screen 52. In other words, even if the finger F unintentionally moved by the operator, the map 64 does not move.
  • FIG. 7C shows a state where the finger F is moved from the aerial operation area of FIG. 7B to the contact operation area so that the operation body distance d (see FIG. 7B) is less than the upper limit side first threshold distance Dth1U.
  • the contact operation for moving the finger F is associated with the pointer control based on the fact that the operating tool distance d is less than the lower limit side first threshold distance Dth1D. Therefore, the operator can remotely operate the pointer 62 by a contact operation that moves the finger F along the xy plane. Then, the operator can select the icon 63 by performing a pressing operation of the push switch 35 (see FIG. 5) with the pointer 62 superimposed on the arbitrary icon 63.
  • the operation of bringing the finger F closer to the operation surface 32 than the upper limit side first threshold distance Dth1U is the operation control circuit 33 (see FIG. 5) as an authorization operation that triggers switching from the prohibit mode to the permit mode. 1). Therefore, since the operation is authorized by setting the state shown in FIG. 7C, the mode is switched from the prohibit mode to the permit mode.
  • FIG. 7D shows a state in which the finger F is moved from the contact operation area of FIG. 7C to the aerial operation area so that the operation body distance d exceeds the lower limit side first threshold distance Dth1D.
  • the operation authorization is switched to the permission mode. Therefore, based on the fact that the operating body distance d exceeds the upper limit side first threshold distance Dth1U and is lower than the lower limit side second threshold distance Dth2D, an aerial operation for moving the finger F is accepted.
  • the map 64 can be remotely operated and the arbitrary icon 63 can be moved to a position where it can be easily selected by the pointer 62. Airborne operations are associated with map control.
  • the operator who remotely operates the map 64 including the arbitrary icon 63 moves the finger F from the aerial operation area to the contact operation area as shown in FIGS. 7D to 7C.
  • the operator since the contact operation for moving the finger F is associated with the pointer control, the operator can select the icon 63 by superimposing the pointer 62 on the arbitrary icon 63 by remote operation.
  • each process performed by the operation control circuit 33 will be described in order based on FIG. 8 to FIG.
  • the main process shown in FIG. 8 is started by the operation control circuit 33 (see FIG. 1) when the ACC power supply of the vehicle is turned on.
  • each section is expressed as S101, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.
  • each of the above sections or a combination thereof includes not only (i) a section of software combined with a hardware unit (eg, a computer), but also (ii) hardware (eg, an integrated circuit, As a section of (wiring logic circuit), it can be realized with or without the function of related devices.
  • the hardware section can be configured inside the microcomputer.
  • S101 initialization processing of the flash memory or the like is performed, and the process proceeds to S102.
  • S102 the operation authorization is set to the prohibit mode, and the process proceeds to S103.
  • S103 it is determined whether or not the ACC power source of the vehicle is on. If it is determined in S103 that the ACC power supply is not on, the process proceeds to S108. In S108, after the pre-end process for stopping the output is performed, the main process is ended.
  • the process proceeds to S104.
  • the operation state of the operation surface 32 with the finger F is any of “in contact operation”, “in air operation”, and “not in proximity”. Update whether or not there is, and proceed to S105.
  • the operation state is “touch operation” or “air operation”
  • coordinate information indicating the relative position of the finger F with respect to the operation surface 32 is acquired.
  • the push switch input process is performed to update and acquire the presence / absence of operation of the finger F on the push switch 35, and the process proceeds to S106.
  • This selection layer is a layer including an image unit 61 that associates an operation with the finger F.
  • the communication control process outputs a signal indicating the information acquired in S104 to S106 to the CAN bus 90, and the process returns to S103.
  • the information output in S107 includes coordinate information indicating the relative position of the finger F, information indicating whether or not the push switch 35 is operated, information indicating the selected layer, and the like. Then, as long as the ACC power supply is kept on, the processes of S104 to S107 are repeated.
  • the display control circuit 53 acquires from the CAN bus 90 a signal indicating each information output from the operation control circuit 33 in repeated S107. Specifically, the display control circuit 53 determines the image unit 61 to be operated based on a layer designation signal indicating the selected layer. Then, the display control circuit 53 changes the position where the image unit 61 to be operated is drawn according to the relative position of the finger F, that is, the coordinate signal indicating the input position coordinates in the three-dimensional direction.
  • S121 shown in FIG. 9 an acquisition process for acquiring the sensitivity value detected by each electrode of the touch sensor 31 is performed, and the process proceeds to S122.
  • S122 calculation processing of the x coordinate, the y coordinate, and the z coordinate indicating the relative position of the finger F with respect to the operation surface 32 is performed from the sensitivity value acquired in S121, and the operation with the finger F is a contact operation and an aerial operation.
  • the process proceeds to S123 to determine whether or not this is true.
  • the sensitivity value illustrated in FIG. 10 is a value that increases as the capacitance stored between the operation surface 32 and the finger F increases. Therefore, the coordinates in the x-axis direction and the y-axis direction where the sensitivity value is maximized are coordinates indicating the relative position of the finger F with respect to the operation surface 32. In addition, the maximum sensitivity value corresponds to the operating tool distance d, and thus the coordinates in the z-axis direction (see FIG. 6C).
  • the operation control circuit 33 includes upper limit side and lower limit side sensitivity threshold values Hth1U, Dth1U, Dth1D corresponding to upper limit side and lower limit side first threshold distances Dth1U, Dth1D, respectively.
  • Hth1D is stored in advance.
  • the operation control circuit 33 stores in advance upper limit side and lower limit side sensitivity threshold values Hth2U and Hth2D corresponding to the upper limit side and lower limit side second threshold distances Dth2U and Dth2D, respectively.
  • the operation control circuit 33 performs processing for comparing the maximum sensitivity value acquired in S122 with each of the sensitivity threshold values Hth1U to Hth2D.
  • S123 it is determined whether or not the operation state by the touch sensor input process up to the previous time is a contact operation and the maximum sensitivity value acquired in S121 is equal to or higher than the upper limit side first sensitivity threshold Hth1U.
  • the process proceeds to S124, the operation state is updated during the contact operation, and the touch sensor input process is terminated.
  • the operation state is updated to the touch operation.
  • the first condition is whether or not the operation state by the touch sensor input processing until the previous time is non-proximity, and whether or not the maximum sensitivity value acquired in S121 is equal to or greater than the upper limit second sensitivity threshold Hth2U. It is.
  • the second condition is that the operation state by the touch sensor input processing until the previous time is a contact operation, and the sensitivity value acquired in S121 is equal to or lower than the lower limit side first sensitivity threshold value Hth1D, and the lower limit side second sensitivity threshold value. Whether it is Hth2D or more.
  • the process proceeds to S126, the operation state is updated during the aerial operation, and the touch sensor input process is terminated.
  • the operation state is updated to the air operation.
  • S141 the latest operation state updated by the touch sensor input process (see FIG. 9) is acquired, and the process proceeds to S142.
  • S142 the information about the operation authorization updated and acquired by the operation authorization determination process described in detail later is acquired, and the process proceeds to S143.
  • S143 it is determined whether or not the operation authorization acquired in S142 is the permission mode. If it is determined in S143 that the operation authorization is in the prohibit mode, the process proceeds to S148, where the update to make the selected layer “None” is performed, and the operation layer determination process ends.
  • S144 when an affirmative determination is made in S143, it is determined whether or not the operation state acquired in S141 is a contact operation. If an affirmative determination is made in S144, the process proceeds to S145, where the pointer layer L1 is selected and updated as a selected layer so that the pointer control is associated with the touch operation, and the operation layer determination process ends. On the other hand, if a negative determination is made in S144, the process proceeds to S146.
  • S146 it is determined whether or not the operation state acquired in S141 is an aerial operation.
  • the process proceeds to S147, where the map layer L2 is selected and updated as the selected layer so that the map control is associated with the aerial operation, and the operation layer determination process is terminated.
  • the process proceeds to S148, an update is performed to make the selected layer “None”, and the operation layer determination process ends.
  • S161 the latest operation state (see S124, S126, and S128 in FIG. 9) updated by the touch sensor input process (see FIG. 9) is acquired, and the process proceeds to S162.
  • S162 it is determined whether or not there has been a change from the above-described authorization operation, that is, from non-proximity to contact operation, for the operation state acquired in S161.
  • the process proceeds to S163.
  • the operation authorization is switched from the prohibit mode to the allow mode, and the operation authorization determination process is terminated.
  • S164 when a negative determination is made in S162, it is determined whether or not the operation authorization by the previous operation authorization judgment process is in the permission mode and the operation state acquired in S161 is not in proximity. If an affirmative determination is made in S164, the process proceeds to S165. In S165, the operation authorization is switched from the permission mode to the prohibition mode, and the operation authorization determination process is terminated. Through the processes of S164 and S165 described above, the operation authorization is returned to the prohibit mode based on the movement of the finger F from one of the contact operation area and the aerial operation area to the non-proximity area. On the other hand, when a negative determination is made in S164, the determination process is terminated while maintaining the operation authorization according to the previous operation authorization determination process.
  • the operation authorization in the operation control circuit 33 is in the prohibited mode until the authorization operation with the finger F is performed on the operation surface 32.
  • the association between the aerial operation with the finger F and the map control is interrupted, so that when the pointer control is performed, the intention of the operator is in the process of bringing the finger F close to the operation surface 32 until the distance becomes less than the first threshold distance Dth1.
  • the operation authorization is switched from the prohibit mode to the permission mode.
  • the touch sensor 31 in the first embodiment can detect the position of the finger F in a state of being separated from the operation surface 32. Therefore, the operation control circuit 33 can acquire the operating body distance d from the sensitivity value detected by the touch sensor 31. Thus, by acquiring the operating body distance d by the cooperation of the touch sensor 31 and the operation control circuit 33, complication can be avoided in the configuration of the remote control device 100 having excellent operability.
  • the first threshold distance Dth1 and the second threshold distance Dth2 are both provided with hysteresis. Therefore, the change not intended by the operator can be reduced with respect to the image unit 61 to be operated. As described above, the operability of the remote operation device 100 for the operation of moving the desired image unit 61 can be further improved.
  • the finger F since the operation for bringing the finger F close to the operation surface 32 up to the contact operation region is stored as the authorization operation, the finger F is brought close to the operation surface 32 until it becomes less than the first threshold distance Dth1.
  • the prohibit mode is continued until it is made. Therefore, even if there is a state in which the finger F is brought into proximity as shown in FIG. 6C in the course of moving the finger F in contact with the operation surface 32 in order to perform pointer control as shown in FIG. 6B, map control is performed against the intention of the operator. The situation associated with (see FIG. 6C) is less likely to occur. Therefore, the remote operation device 100 can reliably obtain excellent operability.
  • the display image 60 of the first embodiment is formed by superimposing a plurality of drawing layers L1 to L3. Therefore, when the finger F is in the contact operation area, the contact operation by the finger F can be reliably associated with the pointer control by setting the pointer layer L1 as the selection layer. On the other hand, when the finger F is in the aerial operation area, the aerial operation with the finger F can be reliably associated with the map 64 control by using the map layer L2 as the selection layer. As described above, by selecting one of the plurality of drawing layers L1 to L3 as an operation target as a selected layer, it is possible to ensure the operation of changing the image unit 61 to be operated according to the operating body distance d. Can be improved.
  • the touch sensor 31 and the operation control circuit 33 correspond to “detection section or means” and “acquisition section or acquisition means”, and the operation control circuit 33 corresponds to “operation determination section or means” and “association”. It corresponds to “section or means”, “authorization operation determination section or means”, and “mode switching section or means”.
  • the display control circuit 53 corresponds to a display control section or means.
  • the operation surface 32 corresponds to the “operation unit”
  • the display screen 52 corresponds to the “display unit”
  • the pointer 62 corresponds to the “first image unit” and the “pointer unit”
  • the icon 63 corresponds to the “selected image part”.
  • the map 64 corresponds to the “second image portion” and the “non-pointer portion”, the pointer layer L1 corresponds to the “first image layer”, and the map layer L2 corresponds to the “second image layer”.
  • the pointer control corresponds to “first image control”, the map control corresponds to “second image control”, the remote operation device 100 corresponds to “operation device”, and the sensitivity value corresponds to “measurement value”.
  • the second embodiment of the present disclosure shown in FIGS. 14 to 19 is a modification of the first embodiment.
  • the display image 260 changes according to the operating tool distance d.
  • the operating tool distance d is less than the first threshold distance Dth1 as shown in FIG. 14A
  • one of submenus to be described later such as an air conditioning menu for adjusting the air conditioning equipment mounted on the vehicle.
  • the detailed window image is displayed on the display screen 52 as the display image 260.
  • the air conditioning menu includes an icon 63, a rectangular frame-shaped focus 262 for selecting the icon 63, a background portion 264 serving as a background of the icon 63 and the focus 262, and the like.
  • the contact operation that moves the finger F along the xy plane in the contact operation area is associated with focus control that moves the focus 262.
  • the main menu image is displayed on the display screen 52 as the display image 260.
  • the main menu image includes a plurality of submenus 265 such as the air conditioning menu, the vehicle setting menu, the telephone menu, and the audio menu (see FIG. 15A).
  • the aerial operation that moves the finger F along the xy plane in the aerial operation area is associated with submenu control that moves each submenu 265.
  • the aerial operation area is expanded when the vehicle is in a traveling state.
  • the first threshold distances Dth1U and Dth1D during travel are shorter than the first threshold distances Dth1U and Dth1D during the stop (see the dashed arrows in FIG. 14B). It will be lost.
  • the second threshold distances Dth2U and Dth2D are set longer than the second threshold distances Dth2U and Dth2D (see the broken line arrows in FIG. 14B) while the vehicle is stopped. .
  • the authorization operation of the second embodiment is different from the authorization operation of the first embodiment, and the time specified in advance in either the aerial operation area or the contact operation area (for example, about 0.5 to 2 seconds or less, This is an operation of continuously positioning the finger F (referred to as “permission waiting time”). Therefore, as shown in FIG. 14, after the finger F is moved from the non-proximity region to the contact operation region or the aerial operation region, the aerial operation to move the finger F along the xy plane after the permission waiting time elapses. As a result, the submenu 265 moves as shown in FIG. 14B.
  • FIG. 15A shows a state where the operator has started the operation of bringing the finger F closer to the operation surface 32.
  • the operating tool distance d from the operating surface 32 to the finger F exceeds the upper limit side second threshold distance Dth2U.
  • Dth2U the upper limit side second threshold distance
  • FIG. 15B shows a state in which the finger F is moved from the non-proximity area to the aerial operation area so that the operation body distance d is less than the upper limit side second threshold distance Dth2U.
  • the operation authorization remains in the prohibit mode. Therefore, even if the operating tool distance d exceeds the upper limit side first threshold distance Dth1U and less than the lower limit side second threshold distance Dth2D, the aerial operation for moving the finger F and the submenu control are not associated. Therefore, even if the finger F is not moved by the operator, the display on the display screen 52 does not change.
  • an operation for continuously positioning the finger F in either the aerial operation area or the contact operation area is stored in the operation control circuit 33 (see FIG. 1) as an authorization operation. Therefore, as shown in FIG. 15B, the operation authorization is switched from the prohibit mode to the permission mode by the operation of positioning the finger F in the aerial operation area for the permission waiting time or longer.
  • the aerial operation for moving the finger F is associated with the submenu control, so that the display on the display screen 52 is a main that can move a plurality of submenus 265 together (hereinafter referred to as “scroll”). Switch to the menu image. Therefore, as shown in FIG.
  • the operator remotely operates the plurality of submenus 265 by an aerial operation of moving the finger F along the x direction, thereby displaying the submenu 265 including the arbitrary icon 63 on the display screen 52. Can be moved to the center.
  • the Audio menu image of FIG. 15B is switched to the climate menu image (air conditioning menu image) as shown in FIG. 15C.
  • FIG. 15D shows a state in which the finger F is moved from the aerial operation area to the contact operation area so that the operation body distance d (see FIG. 15C) is less than the upper limit side first threshold distance Dth1U.
  • the control associated with the operation of moving the finger F is switched from the sub menu control to the focus control based on the fact that the operating tool distance d is less than the lower limit side first threshold distance Dth1D.
  • a specific submenu 265 for example, an air conditioning menu
  • the operator can remotely operate the focus 262 by a contact operation of moving the finger F along the xy plane. In this manner, the operator can select the icon 63 by pressing the push switch 35 (see FIG. 5) with the focus 262 superimposed on the arbitrary icon 63.
  • the operator who has finished the operations shown in FIGS. 15C and 15D separates the finger F to a position where the operating tool distance d exceeds the lower limit side second threshold distance Dth2D as shown in FIG. 15A. Thereby, the operation authorization is switched from the permission mode to the prohibition mode. Then, the remote operation device 200 is in a state of waiting for an icon selection operation by the operator after the next time.
  • S221 and S222 shown in FIG. 16 are substantially the same as S121 and S122 (see FIG. 9) of the first embodiment.
  • an acquisition process for acquiring the running state of the vehicle is performed, and the process proceeds to S224.
  • the travel speed of the vehicle output to the CAN bus 90 is acquired by the meter control circuit 56 (see FIG. 1).
  • S224 it is determined whether the vehicle is in a traveling state based on the traveling speed acquired in S223. If it is determined in S224 that the vehicle is in a traveling state based on the traveling speed acquired in S223 exceeding 10 km / h, the process proceeds to S225. In S225, the sensitivity thresholds Hth1U to Hth2D corresponding to “running” in the threshold diagram shown in FIG. On the other hand, if it is determined in S224 that the vehicle is not in a traveling state based on the traveling speed acquired in S223 being 10 km / h or less, the process proceeds to S226. In S226, each sensitivity threshold value Hth1U to Hth2D corresponding to “stopped” in the threshold diagram shown in FIG. 17 is switched, and the process proceeds to S227 in FIG. Then, S227 to S232 substantially the same as S123 to S128 (see FIG. 9) of the first embodiment are performed.
  • the first sensitivity threshold values Hth1U and Hth1D during traveling are the first sensitivity threshold values Hth1U and Hth1D during stopping. Has been bigger than. Therefore, as shown in FIG. 14B, the first threshold distances Dth1U and Dth1D during traveling are shorter than the first threshold distances Dth1U and Dth1D when stopped.
  • the second sensitivity threshold values Hth2U and Hth2D during traveling shown in FIG. 17 are set smaller than the second sensitivity threshold values Hth2U and Hth2D when the vehicle is stopped. Therefore, as shown in FIG. 14B, the second threshold distances Dth2U and Dth2D during traveling are longer than the second threshold distances Dth2U and Dth2D when stopped. As a result, expansion of the aerial operation area during traveling is realized.
  • S241 to S244, S246, and S248 in FIG. 18 are substantially the same as S141 to S144, S146, and S148 (see FIG. 12) in the first embodiment.
  • S245 the focus layer on which the focus 262 is drawn is selected and updated as the selected layer, and the operation layer determination process is terminated.
  • S247 the submenu layer in which each submenu 265 is drawn is selected and updated as the selected layer, and the operation layer determination process is terminated.
  • S261 the latest operation state updated by the touch sensor input process (see FIG. 16) is acquired, and the process proceeds to S262.
  • S ⁇ b> 262 it is determined whether or not the operation state acquired in S ⁇ b> 261 has changed from non-proximity to an aerial operation or a contact operation. If an affirmative determination is made in S262, the process proceeds to S263, and the value of the timer is returned to zero by clearing the permission timer for measuring the permission waiting time.
  • the operation permission is set to the prohibit mode, and the operation authorization determination process is terminated.
  • S265 when a negative determination is made in S262, the value of the timer is increased by counting up the permission timer, and the process proceeds to S266.
  • S266 it is determined whether or not the value of the permission timer exceeds the permission waiting time and the operation state is not in close proximity.
  • S267 when an affirmative determination is made in S266, the operation authorization is switched to a permission mode, and the operation authorization determination process ends.
  • S268 when a negative determination is made in S266, the operation permission is switched to the prohibit mode, and the operation authorization determination process is ended.
  • the operation authorization can be switched from the prohibit mode to the permission mode by the operation of continuously positioning the finger in the aerial operation area or the contact operation area for more than the permission waiting time. explain.
  • the remote control device 200 can also obtain excellent operability.
  • the prohibit mode can be maintained while the finger F simply passes through the aerial operation area by appropriately setting the permission waiting time. Therefore, a situation in which the movement of bringing the finger F close to the operation surface 32 to perform the focus control is associated with the submenu control against the operator's intention is less likely to occur.
  • the first threshold distances Dth1U and Dth1D are shortened and the second threshold distances Dth2U, Dth1U, and Dth1U are reduced during traveling in which it is difficult to maintain a constant operating body distance d due to vibrations associated with traveling.
  • the aerial operation area is expanded by extending Dth2D. Therefore, even if the finger F is shaken by the vibration of the vehicle during traveling, the operator can keep the finger F during the air operation in the air operation region. As described above, since the operation of moving the finger F within the aerial operation area can be facilitated, the operability for submenu control can be further improved.
  • the operation control circuit 33 further corresponds to the “running state determination section or means”
  • the focus 262 corresponds to the “first image portion” and the “pointer portion”
  • the submenu 265 corresponds to the “first image portion”.
  • the submenu control corresponds to “second image control” and the remote operation device 200 corresponds to “operation device”.
  • the present disclosure is not limited to this.
  • a display image 360 illustrated in FIG. 20A is one of a plurality of display images displayed by the display system 310 of the third embodiment, and is an image of an audio menu for operating an audio device mounted on the vehicle. It is. As shown in FIG. 20C, the display image 360 includes a track icon 363 associated with audio data, a pointer 62 for selecting the track icon 363, and a focus 366 for highlighting the track icon 363.
  • the contact operation for moving the finger F along the xy plane is associated with the pointer control for operating the pointer 62.
  • the aerial operation for moving the finger F along the y-axis direction is performed by a plurality of tracks. This is associated with icon control for scrolling the icon 363.
  • the dead zones provided in the first and second threshold distances Dth1 and Dth2 are omitted.
  • an operation of moving the finger F along the operation surface 32 in either the aerial operation area or the contact operation area as shown in FIG. 20A is stored in the operation control circuit 33 (see FIG. 1) as an authorization operation. Yes.
  • an operation of moving the finger F along the xy plane for example, an operation of moving the finger F along the z-axis direction orthogonal to the operation surface 32 can be naturally adopted as the authorization operation.
  • FIG. 20A shows a state in which the finger F is moved from the non-proximity area to the aerial operation area so that the operation body distance d is less than the second threshold distance Dth2.
  • the operation authorization remains in the prohibit mode. Therefore, the aerial operation for moving the finger F and the submenu control are not associated with each other.
  • the finger F since the operation of moving the finger F along the operation surface 32 is stored as the authorization operation, the finger F is positioned along the xy plane in the aerial operation region as shown in FIG. 20B.
  • the operation authorization is switched from the prohibit mode to the permit mode.
  • the aerial operation for moving the finger F is associated with the icon control, so that the operator can remotely track the track icon 363 by the aerial operation for moving the finger F along the y direction.
  • the icon 363 can be moved to the center of the display screen 52.
  • FIG. 20C shows a state in which the finger F is moved from the aerial operation area to the contact operation area so that the operation body distance d is less than the first threshold distance Dth1.
  • the control associated with the operation of moving the finger F is switched from icon control to pointer control.
  • the operator can remotely operate the pointer 62 and the focus 366 by a contact operation of moving the finger F along the xy plane.
  • the operator performs the pressing operation of the push switch 35 (see FIG. 5) by superimposing the pointer 62 and the like on the arbitrary track icon 363 moved to the center of the display screen 52 by the aerial operation. Can be selected.
  • the operator who has finished the operations shown in FIGS. 20B and 20C separates the finger F to a position where the operating tool distance d exceeds the second threshold distance Dth2. Thereby, the operation authorization is switched from the permission mode to the prohibition mode. Then, the remote operation device 300 is in a state of waiting for an icon selection operation by the operator after the next time.
  • S321 and S322 shown in FIG. 23 are substantially the same as S121 and S122 (see FIG. 9) of the first embodiment.
  • S323 it is determined whether or not the operation state by the touch sensor input process until the previous time is a contact operation, and the maximum sensitivity value acquired in S321 is equal to or greater than the first sensitivity threshold Hth1.
  • the process proceeds to S324, the operation state is updated during the contact operation, and the touch sensor input process is terminated.
  • S327 it is determined whether or not the operation state by the touch sensor input process up to the previous time is not in close proximity, and the maximum sensitivity value acquired in S321 is less than the second sensitivity threshold value Hth2.
  • the process proceeds to S328, the operation state is updated to non-proximity, and the touch sensor input process is terminated.
  • a negative determination is made in S327, the input process is terminated while maintaining the operation state by the touch sensor input process up to the previous time.
  • the operation layer determination process in the third embodiment is substantially the same as the operation layer determination process according to the first embodiment except for a process corresponding to S147 (see FIG. 12).
  • the object layer on which the track icon 363 is drawn is selected and updated as the selection layer.
  • S361 the latest operation state updated by the touch sensor input process (see FIG. 23) is acquired, and the process proceeds to S362.
  • S362 the coordinate indicating the relative position of the finger F calculated in S322 (see FIG. 23) of the touch sensor input process is acquired, and the process proceeds to S363.
  • the movement amount of the finger F is calculated from the difference between the coordinates acquired in the previous operation authorization determination process and the coordinates acquired in S363 at this time, and the process proceeds to S364.
  • the operation state acquired in S361 is not in close proximity, and the cumulative amount of movement in the direction parallel to the touch sensor within a predetermined time (for example, 1 second) calculated in S363 is set in advance. It is determined whether or not a movement threshold value (for example, 5 to 10 centimeters) is exceeded.
  • a movement threshold value for example, 5 to 10 centimeters
  • S366 when a negative determination is made in S364, it is determined whether or not the operation approval by the previous operation approval determination process is in the permission mode and the operation state acquired in S361 is not in proximity.
  • the process proceeds to S367, and the operation authorization is switched to the prohibit mode.
  • the determination process is terminated while maintaining the operation authorization according to the previous operation authorization determination process.
  • the remote operation device 300 can also obtain excellent operability.
  • an operation for moving the finger F along either the xy plane or the z-axis direction may be an authorization operation.
  • the track icon 363 corresponds to “second image portion”, “selected image portion”, and “non-pointer portion”
  • the object layer corresponds to “second image layer”
  • icon control is performed.
  • second image control and the remote operation device 300 corresponds to “operation device”.
  • the present disclosure is not limited to this.
  • the fourth embodiment of the present disclosure is yet another modification of the first embodiment.
  • the operation control circuit 33 (see FIG. 1) according to the fourth embodiment is an operation that is practically the same as the authorization operation, and moves the finger F closer to the operation surface 32 than the first threshold distance Dth1 as shown in FIG. 6B. Are stored as prohibited operations.
  • the operation control circuit 33 switches the operation authorization from the permission mode to the prohibition mode on condition that the prohibition operation has been performed in the permission mode.
  • the operation authorization determination process performed by the operation control circuit 33 in the fourth embodiment will be described in detail based on FIG.
  • S461 the latest operation state updated by the touch sensor input process (see FIG. 9) is acquired, and the process proceeds to S462.
  • S462 it is determined whether or not the operation authorization set by the previous operation authorization determination process is in the prohibit mode and the operation state acquired in S461 has changed from non-proximity to contact operation. If a positive determination is made in S462, the process proceeds to S463.
  • S463 since the operation state has changed from non-proximity to contact operation, the operation authorization is switched from the prohibit mode to the permission mode, and the operation authorization determination process is terminated. As a result, as described above, the aerial operation of FIG. 6C is permitted from the contact operation of FIG. 6B.
  • the remote control device can obtain excellent operability by producing the same effects as those of the first embodiment.
  • the association between the operation with the finger F and the map control is interrupted as shown in FIG. Therefore, even if there is a state in which the finger F is positioned in the aerial area as shown in FIG. 6C while the finger F is in contact with the operation surface 32 in order to perform pointer control as shown in FIG. 6B, the situation is associated with the map control in FIG. 6C. Is less likely to occur. 6B, after the finger F is brought into contact with the operation surface 32 and the pointer control by the finger F is finished, the finger F enters the aerial operation region of FIG. 6C for the movement when the finger F is separated from the operation surface 32. Even so, a situation associated with the map control against the operator's intention is less likely to occur.
  • the operation control circuit 33 further corresponds to a “prohibited operation determination section or means”.
  • the fifth embodiment of the present disclosure is still another modification of the first embodiment.
  • a proximity sensor 538 shown in FIG. 2 is connected to the operation control circuit 33 (see FIG. 1) according to the fifth embodiment.
  • the proximity sensor 538 is disposed at the peripheral portion of the palm rest 39 so as to face the palm of the operator.
  • the proximity sensor 538 changes from the off state to the on state when the operator's palm comes closer to the proximity sensor 538 than the proximity distance defined in advance.
  • the operation control circuit 33 stores an operation for bringing the palm close to the sensor 538 to a position where the proximity sensor 538 is turned on as an authorization operation.
  • the operation control circuit 33 is set to a permission mode for permitting acceptance of the aerial operation.
  • the operation control circuit 33 is set to a prohibit mode in which reception of an aerial operation is prohibited.
  • the operation authorization determination process performed by the control circuit 33 in a mode in which the operation authorization can be switched by an operation on the proximity sensor 538 will be described in detail with reference to FIG.
  • S561 the on / off state of the proximity sensor 538 is acquired, and the process proceeds to S562.
  • S562 it is determined whether or not the proximity sensor 538 acquired in S561 has changed from the off state to the on state. If a positive determination is made in S562, the process proceeds to S563.
  • S563 the operation authorization is switched from the prohibit mode to the allow mode, and the operation authorization determination process is terminated.
  • the operation authorization in the operation control circuit 33 continues to be in the prohibit mode until the authorization operation to the proximity sensor 538 is performed on the operation surface 32. In this way, the acceptance of the aerial operation by the finger F is interrupted, so that a situation in which the movement of bringing the finger F close to the operation surface 32 is associated with the map control against the operator's intention is less likely to occur.
  • the operation authorization is switched from the prohibit mode to the permit mode.
  • the operator selects a desired one of the image portions respectively associated with the aerial operation and the contact operation while continuing the operation with the finger F on the operation surface 32. Then you can manipulate this selected one.
  • the operating device according to the fifth embodiment having the same effects as the first embodiment can also obtain excellent operability.
  • the sixth embodiment of the present disclosure is a modification of the fourth embodiment.
  • a changeover switch (not shown) is connected to the operation control circuit 33 (see FIG. 1) according to the sixth embodiment.
  • the changeover switch is disposed adjacent to the operation surface 32 so that the operation can be performed with a finger different from the finger F that operates the operation surface 32 as shown in FIG. 20A.
  • the changeover switch switches between an on state and an off state by a pressing operation by the operator.
  • the operation control circuit 33 has memorize
  • the operation authorization determination process performed by the control circuit 33 in a mode in which the operation authorization can be switched by operating the changeover switch will be described in detail with reference to FIG.
  • S661 the ON / OFF state of the changeover switch is acquired, and the process proceeds to S662.
  • S662 it is determined whether or not the operation authorization set by the previous operation authorization determination process is in the prohibit mode and the state of the changeover switch acquired in S661 has changed from the off state to the on state. If an affirmative determination is made in S662, the operation proceeds to S663, the operation authorization is switched from the prohibit mode to the allow mode, and the operation authorization judgment process is terminated.
  • S664 when a negative determination is made in S662, whether or not the operation authorization by the previous operation authorization judgment process is in the permission mode, and whether or not the state of the changeover switch acquired in S661 has changed from the on state to the off state. Determine. If a positive determination is made in S664, the process proceeds to S665. In S665, the operation authorization is switched from the permission mode to the prohibition mode, and the operation authorization determination process is terminated. On the other hand, when a negative determination is made in S664, the determination process is terminated while maintaining the operation authorization according to the previous operation authorization determination process.
  • the change-over switch may be a mechanical structure or a resistive touch panel.
  • FIG. 28 is a perspective view showing a center console 707 of the vehicle.
  • the center console 707 is provided with a touch display panel 708.
  • FIG. 29 is a cross-sectional view of the center console 707 of FIG.
  • a touch sensor 710 that forms an operation surface is attached to an LCD 709 that forms a display unit.
  • the LCD 709 and the touch sensor 710 are fitted in the opening 711 a of the design panel 711 of the center console 707.
  • the touch sensor 710 is composed of a transparent electrode made of indium oxide or the like. Therefore, the vehicle occupant inputs the operation tool F such as a hand close to the touch sensor 710 while confirming the display image of the LCD 709 on the back surface of the touch sensor 710 through the touch sensor 710.
  • the touch sensor 710 and the LCD 709 are both connected to the control circuit 712, and the input to the touch sensor 710 changes the display mode of the image portion displayed on the LCD 709 via the control circuit 712. More specifically, the control circuit 712 detects the movement of the operation tool F such as a finger close to the touch sensor 710. In addition, the control circuit 712 acquires a distance measurement value that increases or decreases according to the distance d (see FIG. 32 or the like) from the touch sensor 710 to the operation tool F from the touch sensor 710. Note that a plurality of images are displayed on the LCD 709 so as to overlap as shown in FIG.
  • FIG. 31 is a flowchart showing determination contents executed by the control circuit 712 in the present embodiment.
  • the control circuit 712 reads various types of information from the touch sensor 710 and other devices connected to the control circuit 712, and in step S701, determines whether conditions for either the prohibit mode or the allow mode described later are met. judge. If any one of the conditions is met, the mode is set and the process proceeds to step S702.
  • step S701 the control circuit 712 determines whether the operation performed by the operating body is a predetermined authorization operation, and cancels the prohibit mode when it is determined that the operation includes a predetermined authorization operation.
  • the permission mode is set.
  • the conditions for the prohibit mode and the conditions for the permission mode (authorization operation) may be appropriately selected and adopted from the conditions described in the first to sixth embodiments.
  • step S702 it is determined whether or not the distance d from the operation surface (touch sensor 710 in this embodiment) to the operation tool F is less than the first threshold distance Dth1 (see FIG. 34).
  • the process proceeds to step 703, and the first image portion of the plurality of image portions is moved based on the movement of the operation tool F.
  • the display mode is changed. Specifically, in the present embodiment, when the finger F shown in FIG. 34 is located within the first threshold distance Dth1 (predetermined distance) from the touch sensor 710 and is in contact with or about to come into contact, the cursor image shown in FIG. 713 is moved vertically and horizontally based on the movement of the finger F.
  • the touch sensor 710 constituting the operation unit in the present embodiment is configured to be able to sense the pressure when the operation tool F contacts the surface of the touch sensor 710 and further presses the surface of the touch sensor 710.
  • the determination input operation may be performed by, for example, a double tap.
  • a push switch or the like may be provided in the center console 707 separately from the touch display panel for the determination input operation.
  • step S702 If it is determined in step S702 shown in FIG. 31 that the distance from the operation unit to the operation tool F is equal to or greater than the first threshold distance Dth1, the process proceeds to step S704, and the distance from the operation unit to the operation tool F is further increased. It is determined whether it is less than the second threshold distance Dth2. If it is determined that the distance from the operation unit to the operating tool F is less than the second threshold distance Dth2, the process proceeds to step 705, and it is determined again whether or not the permission mode has been determined in S701. If it is in the permission mode, the process proceeds to step S706, and the display mode of the second image part different from the first image part among the plurality of image parts is changed. Specifically, in the present embodiment, as shown in FIG.
  • the finger is located in a predetermined range (a state closer to the second threshold distance Dth2 than the first threshold distance Dth1) from the touch sensor 710. Yes.
  • the map image 714 on which the cursor image 713 is superimposed is slid vertically and horizontally based on the movement of the finger, and the range displayed on the LCD 709 is changed.
  • the mode is the prohibit mode
  • the display mode of the second image is not changed by the input by the operating tool F, and the process returns to step S700 to repeat the process.
  • step S704 as shown in FIG. 32, the finger is located outside the predetermined range from the touch sensor 710 (the operating tool F and the touch sensor 710 are separated from the second threshold distance Dth2). Suppose that it is determined. Even in this case, the process returns to step S700 and the process is repeated without changing the display mode of the second image by the input by the operating tool F.
  • the input from the operation tool F is not reflected in the display mode of the image portion displayed on the LCD 709. It can also be called a mode.
  • the permission mode is referred to as a second mode in which the input by the operating tool F is reflected in the display mode of the image part even when the distance from the operating tool to the operating tool F exceeds the first threshold distance Dth1. You can also.
  • the display mode is switched based on whether or not the operating tool F is separated from the operating portion by a predetermined distance in the z direction.
  • the prohibit mode and the allow mode can also be defined depending on changing the way. Specifically, the prohibit mode is changed to change the display mode of the image portion displayed on the LCD 709 depending on whether the distance d from the operation portion to the operation tool F exceeds a predetermined distance or not. It can be called the first mode that is not turned on.
  • the permission mode can also be called a second mode in which the display mode of the image portion is changed depending on whether the distance from the operation portion to the operation tool F exceeds a predetermined distance or not. .
  • control circuit 712 can also be referred to as a switching unit that switches between the prohibit mode and the permit mode by determining the presence / absence of the permit operation.
  • the cursor image 713 and the map image 714 are taken as examples of the image portion to be displayed on the LCD 709.
  • the present disclosure is not limited to this, and the second embodiment is not limited thereto.
  • the detailed window images of a plurality of submenus as described above and the display mode of images such as setting buttons in the submenus may be changed according to the distance between the operation unit and the operation body.
  • the capacitive touch sensor is used as the operation unit.
  • the present disclosure is not limited to this, and various operations can be used as long as an aerial operation and a contact operation can be detected.
  • a simple operation unit can be employed. For example, an operator's hand is photographed with an infrared camera or a visible light camera, and the shape of the operator's hand on the operation panel and the distance between the operation panel and the operator's hand are estimated from the captured image. May be.
  • the authorization operation can be executed by input to the touch sensor as in the above embodiment, the operator performs the authorization operation compared to the case where a separate authorization operation button or the like is arranged, and then the air without interruption. Since the operation can be executed, convenience is enhanced.
  • the function of the “acquisition section or means” in addition to the “detection section or means” is achieved by the cooperation of the capacitive touch sensor 31 and the operation control circuit 33.
  • the capacitive touch sensor 31 can detect the movement of the finger F not only in the x and y axis directions along the operation surface 32 but also in the z axis direction substantially orthogonal to the operation surface 32. . Therefore, the touch sensor 31 described above is suitable as a configuration for determining the proximity state of the finger F to the operation surface 32 during the aerial operation and the contact state of the finger F to the operation surface 32 during the contact operation. is there.
  • the operating object distance d and the z coordinate are used as values indicating the relative position of the finger F with respect to the operating surface 32.
  • the operating body distance d and z coordinate indicating the distance between the operating surface 32 and the finger F are substantially equivalent values, and are values having a correlation with the sensitivity value detected by the touch sensor 31.
  • the configuration of the “acquisition section or means” is not limited to the capacitive touch sensor capable of detecting the input position coordinates in the three-dimensional direction on the surface of the touch sensor 31 and may be changed as appropriate.
  • an “acquisition section or means” that acquires the operating object distance (or z coordinate) by image analysis by connecting a camera that captures the vicinity of the operation surface to the operation control circuit may be configured.
  • the “acquisition section or means” may be configured by connecting an infrared sensor capable of measuring the operating object distance by infrared rays to the operation control circuit.
  • the infrared sensor and the operation control circuit may cooperate to serve as a “detection section or means” for detecting an operation by the finger F in addition to the “acquisition section or means”.
  • a pressure-sensitive touch sensor that detects an operation with the finger F by detecting the pressure applied by the finger F may be used as the “detection section or means”.
  • a state in which the finger F is floating from the operation surface 32 to the first threshold distance Dth1 (for example, about 0.5 to 1 cm)
  • Dth1 for example, about 0.5 to 1 cm
  • the display images 60, 260, and 360 shown in the first to third embodiments are examples of display images, and may be appropriately changed.
  • the pointer 62 and the focus 262 correspond to the “pointer part”
  • the map 64, the submenu 265, the track icon 363, and the like correspond to the “non-pointer part”.
  • the image portions corresponding to the “pointer portion” and the “non-pointer portion” may be changed as appropriate.
  • the image portion corresponding to the “pointer portion” is not limited to the pointer, the focus, and the like as long as the function indicating the position on the display screen corresponding to the current operation position can be exhibited.
  • the function of the “pointer part” is fulfilled by changing one display mode at a position corresponding to the operation position among a plurality of “selected image portions” displayed on the display screen.
  • a track icon corresponding to a “non-pointer portion” may correspond to a “pointer portion”.
  • one track icon corresponding to the current operation position on the display screen changes the display mode by, for example, changing or enlarging the display color to a highly attractive display color.
  • the plurality of track icons can exhibit a function indicating the position on the display screen corresponding to the current operation position.
  • examples of the method of changing the display mode include vertical and horizontal vibrations and blinking on the display screen.
  • the current operation position may be indicated by changing other track icons except for one corresponding to the current operation position on the display screen to a display color with low attractiveness.
  • the speed threshold value that is a threshold value for determining the traveling state may be changed as appropriate.
  • the speed threshold may be 5 km / h, 0 km / h, or the like.
  • the speed threshold value may be set to a traveling speed faster than 10 km / h.
  • hysteresis may be provided in the speed threshold value in order to suppress frequent changes between “running” and “stopping”.
  • the prohibition or permission of the operation authorization is switched based on the on / off state of the changeover switch.
  • another capacitive type touch sensor is arranged on the side of the touch sensor 31 or the like.
  • the above-described operation authorization may be prohibited or permitted by directly touching the other touch sensor with a finger or holding the finger in the z-axis direction.
  • an operation for moving a plurality of fingers F in either the contact operation area or the aerial operation area may be an authorization operation.
  • region may be made into authorization operation.
  • a plurality of operations may be stored as authorization operations.
  • the finger F corresponding to these “authorization operations” may be imaged by a camera, and the above-described operation authorization may be prohibited or permitted by this camera image.
  • the liquid crystal display 51 forms a “display screen”.
  • a display using a plasma display panel, a display using an organic EL, or the like may form a “display screen”.
  • a combiner or the like provided on the upper surface of the window shield and the instrument panel is referred to as a “display screen”, and a display device that projects an image onto the window shield and combiner or the like by a projection unit or means such as a projector is included in the display system. It may be included.
  • the process for determining whether or not the authorization operation has been performed and the process for switching between the permission mode and the prohibition mode are performed by the operation control circuit 33.
  • the operation control circuit 33 determines whether the two z-axis coordinates before and after the change exceed the first sensitivity threshold value Hth1.
  • the display control circuit 53 has a function of switching the image portion to be displayed. In other words, the operation control circuit 33 displays a display image including the first image portion when the contact operation is detected, and a display image including the second image portion when the aerial operation is detected.
  • the control circuit 53 fulfills the function of sending it to the liquid crystal display 51.
  • the operation control circuit 33 that performs such functions as “authorization operation determination section or means”, “mode switching section or means”, “image part switching section or means”, and “transmission control section or means” is a single microcomputer or the like. Or may be configured by appropriately combining a plurality of circuits or devices.
  • the display control circuit 53 that functions as a “display control section or means” may be configured by a single microcomputer or the like, or may be configured by appropriately combining a plurality of circuits or devices.
  • the selection layer is set to “None”, so that the pointer or the like is not moved by the aerial operation with the finger F.
  • the method for preventing the display mode of the image portion such as the pointer from being changed by the operation with the finger in the prohibit mode is not limited to the above-described embodiment.
  • the operation control circuit 33 is based on the fact that the sensitivity value in the z-axis direction of the input position coordinates changes across the first sensitivity threshold value Hth1 as “acquisition determination section or means”. It may be determined whether or not the display control circuit 53 acquires the coordinate signal. In such a form, the operation control circuit 33 interrupts the acquisition of the coordinate signal by the display control circuit 53 until the acquisition of the coordinate signal is permitted in the permission mode as the “acquisition control section or means”, and has determined the permission. Based on this, the display control circuit 53 is made to start acquiring coordinate signals.
  • the operation control circuit 33 operates based on the fact that the sensitivity value in the z-axis direction of the input position coordinates changes across the first sensitivity threshold value Hth1 as an “output determination section or means”. Whether to output a coordinate signal to the display control circuit 53 may be determined. In such a form, the operation control circuit 33 interrupts the output of the coordinate signal to the display control circuit 53 until the output of the coordinate signal is permitted in the permission mode as the “output control section or means”, and determines the permission. Based on this, output of coordinate signals to the display control circuit 53 is started.
  • the operation control circuit 33 is based on the fact that the sensitivity value in the z-axis direction of the input position coordinate changes across the first sensitivity threshold value Hth1 as an “execution decision section or means”. Then, it may be determined whether or not the display control circuit 53 performs the map control or the like. In such a form, the operation control circuit 33 interrupts the execution of the map control or the like by the display control circuit 53 until the execution of the map control or the like is permitted in the permission mode as the “execution control section or means”, and determines the permission Based on this, the display control circuit 53 starts map control and the like.
  • the operation control circuit 33 when the finger F is in the process of state transition from the aerial operation area to the contact operation area, Control for prohibiting the display control circuit 53 from drawing the image portion associated with the aerial operation may be performed.
  • the image portion associated with the aerial operation disappears from the display screen 52, so that the operator does not intend to move the image portion unintentionally.
  • the present invention is applied to a remote operation device or a so-called touch panel type operation device configured integrally with a display screen used in a display system mounted on a vehicle.
  • the present disclosure is not limited to a vehicle, and the operation device to which the present disclosure is applied can be used for display systems used for various transportation devices and various information terminals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 遠隔操作装置(100)は、操作者の指(F)による操作面(32)への操作を検出するタッチセンサ(31)及び操作制御回路(33)を備えている。タッチセンサ及び操作制御回路は、操作面(32)から指(F)までの操作体距離(d)を取得できる。操作制御回路は、操作体距離が第一閾値距離(Dth1)未満の場合には、表示スクリーン(52)のポインタ(62)を移動させるポインタ制御に指による操作を関連付け、当該距離が第一閾値距離を超えた場合には、表示スクリーンのマップ(64)を移動させるマップ制御に指による操作を関連付ける。さらに操作制御回路には、指による特定の操作が、認可操作として記憶されている。指による操作とマップ制御との関連付けは、指による認可操作がなされるまで、禁止される。

Description

操作装置 関連出願の相互参照
 本開示は、2012年8月23日に出願された日本出願番号2012-184516号と、2013年8月19日に出願された日本出願番号2013-169696号に基づくもので、ここにその記載内容を援用する。
 本開示は、表示部に表示される画像部を、操作部への入力によって操作する操作装置に関する。
 従来、例えば特許文献1には、表示スクリーンに表示されるナビゲーションのポインタ及びラジオメインウインドイメージ等の画像部を、当該表示スクリーンから離れて位置する遠隔タッチパッド部に対してなされる操作に関連付けて移動させる技術が、開示されている。この特許文献1に開示のユーザインターフェース装置は、操作者の指等による操作を検出する遠隔タッチパット部と、遠隔タッチパッド部によって検出される指の移動を地図及びポインタ等の移動に関連付ける制御部とを備えている。
 加えて制御部は、遠隔タッチパット部から指までの距離を取得している。そして、取得される指までの距離が予め規定された高さ、例えば3センチメートル(cm)未満である場合には、制御部は、遠隔タッチパット部によって検出される指による操作を、表示スクリーン上のポインタを移動させる操作に関連付ける。一方で、制御部によって取得される指までの距離が予め規定された高さ、例えば5cm~7cmの範囲内である場合には、当該制御部は、遠隔タッチパット部によって検出される指による操作を、ラジオメインウインドイメージから操作待機ウインドイメージに切り替える操作に関連付ける。
 以上の構成によれば、操作者は、遠隔タッチパッド部に対する指の高さを調整することによってポインタ及びラジオメインウインドイメージ等のうちから所望の画像部を選択し、当該選択した画像部を操ることができる。
JP 2011―118857 A
 本発明者の分析によれば、特許文献1のような操作装置では、ラジオメインウインドイメージよりもより下の階層に含まれるポインタを操作するために、タッチパッド部に指を接触させる必要が生じる。このとき、タッチパッド部に指が到達する前にその途上で当該パッド部に指を近接させる操作が発生してしまう。すると、操作者の意図に反して、ラジオメインウインドイメージを他の機器のメイン等に遷移させてしまうことがあるということが分かった。メインウインドイメージが誤って切り替わってしまうとこうした理由により、操作者は当該機器への入力を大幅にやり直すこととなり、著しく装置の操作性が損なわれてしまうという技術課題を、本発明者は見出した。
 本開示の目的は、表示スクリーンに表示される画像部の操作につき、高い操作性を獲得可能な操作装置を提供することである。
 上記目的を達成するために、本開示の第一の観点は、表示部に表示される画像部を操作するための操作体による入力が、操作部に対してなされる操作装置であって、操作部に沿って操作体を移動させる移動操作を検出する検出セクションと、操作部から操作体までの操作体距離に応じて増減する計測値を取得する取得セクションと、取得セクションによって取得された計測値に基づいて、操作体距離が予め規定された閾値距離未満である場合に、画像部としての第一画像部の表示態様を変化させる第一画像制御に検出セクションによって検出される移動操作を関連付け、操作体距離が閾値距離を超える場合に、第一画像部とは異なる画像部としての第二画像部の表示態様を変化させる第二画像制御に検出セクションによって検出される移動操作を関連付ける関連付けセクションと、操作体によってなされる特定の操作を認可操作として予め記憶し、認可操作がなされたか否かを判定する認可操作判定セクションと、移動操作と第二画像制御との関連付けセクションによる関連付けを禁止する禁止モードと、当該関連付けを許可する許可モードとを切り替えるモード切替セクションであって、禁止モードである場合に認可操作がなされたと認可操作判定セクションによって判定されたことを条件として、当該禁止モードから許可モードへと切り替えるモード切替セクションと、を備える操作装置とする。
 この開示によれば、操作体による特定の認可操作がこの操作装置に対しなされるまで、モード切替セクションは、表示部上にて第二画像部の表示態様を変化させる第二画像制御と、操作体による移動操作との関連付けを禁止する禁止モードを維持している。このように、操作体による移動操作と第二画像制御との関連付けが中断されることによれば、第一画像部を操作しようとする際に、閾値距離未満となるまで操作体を操作部に近接させる動作が、操作者の意図に反して第二画像制御に関連付けられる事態は、生じ難くなる。
 一方で、操作体による認可操作が操作装置に対しなされることで、モード切替セクションは、第二画像制御と操作体による移動操作との関連付けを許可する許可モードへと、禁止モードから切り替える。こうして操作体による移動操作と第二画像制御との関連付けが開始されることにより、操作者は、操作体による操作を継続したまま、第一画像部及び第二画像部のうちで所望する一方を選択したうえで、この選択した一方の表示態様を変化させることができる。
 以上により、所望の画像部を操る操作の煩雑化が回避されると共に、操作者の意図しない画像部の移動も低減可能となる。したがって、表示部に表示される画像部の操作につき、操作性に優れる操作装置の提供が、実現される。
 本開示の第二の観点は、表示部に表示される画像部を操作するための操作体による入力が、操作部に対してなされる操作装置であって、操作部に沿って操作体を移動させる移動操作を検出し、且つ、当該移動操作が、操作体を操作部に接触させた状態でなされる接触操作及び操作部から離間させた状態でなされる空中操作のいずれであるかを決定する検出セクションと、検出セクションにより検出された接触操作及び空中操作を、互いに異なる画像部の制御に関連付ける関連付けセクションと、操作体によってなされる特定の操作を認可操作として予め記憶し、認可操作がなされたか否かを判定する判定セクションと、判定セクションにより認可操作がなされたと判定された場合に空中操作と画像部の制御との関連付けを許可する許可モードとし、認可操作がなされないと判定された場合に関連付けを禁止する禁止モードとするモード切替セクションと、を備える操作装置とする。
 この開示によれば、操作体による特定の認可操作がこの操作装置に対しなされるまで、モード切替セクションは、空中操作の受付を禁止する禁止モードを維持している。故に、接触操作を行う際に、操作判断セクションによって接触操作と判断されるまで操作体を操作面に近接させる移動が、操作者の意図に反して空中操作として受け付けられる事態は、生じ難くなる。
 一方で、操作体による認可操作が操作装置に対しなされることで、モード切替セクションは、空中操作の受付けの許可を行う許可モードへと、禁止モードから切り替える。こうして操作体による空中操作の受付けが開始されることにより、操作者は、操作体による操作を継続したままで、接触操作及び空中操作にそれぞれ関連付けられた各画像部のうちで所望する一方を選択したうえで、この選択した一方を操ることができる。
 以上により、所望の画像部を操る操作の煩雑化が回避されると共に、操作者の意図しない画像部の移動も低減可能となる。したがって、表示スクリーンに表示される画像部の操作につき、操作性に優れる操作装置の提供が、実現される。
 本開示の第三の観点は、操作体による操作部への入力に基づく信号を、表示部の表示を制御する表示制御セクションに取得させることにより、表示部に表示される画像部の操作体による操作を可能にする操作装置であって、操作部に対する操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクションと、検出セクションによって検出される入力位置座標のうち、操作部及び操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値を超えているか否かに基づいて、表示制御セクションにて制御の対象とされる画像部を切り替えさせる画像部切替セクションと、操作体の移動に伴い変化する入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が閾値を跨いで変化したことに基づいて、入力位置座標を示す信号を表示制御セクションに取得させるか否かを決定する取得決定セクションと、取得決定セクションによって信号の取得を許可する許可決定がなされるまで表示制御セクションによる信号の取得を中断させ、許可決定がなされたことに基づいて表示制御セクションに信号の取得を開始させる取得制御セクションと、を備える操作装置とする。
 また、本開示の第四の観点は、操作体による操作部への入力に基づく信号を、表示部の表示を制御する表示制御セクションに取得させることにより、表示部に表示される画像部の操作体による操作を可能にする操作装置であって、操作部に対する操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクションと、検出セクションによって検出される入力位置座標のうち、操作部及び操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値を超えているか否かに基づいて、表示制御セクションにて制御の対象とされる画像部を切り替えさせる画像部切替セクションと、操作体の移動に伴い変化する入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が閾値を跨いで変化したことに基づいて、入力位置座標を示す信号を表示制御セクションに出力するか否かを決定する出力決定セクションと、出力決定セクションによって信号の出力を許可する許可決定がなされるまで表示制御セクションへの信号の出力を中断し、許可決定がなされたことに基づいて表示制御セクションへの信号の出力を開始する出力制御セクションと、を備える操作装置とする。
 さらに、本開示の第五の観点は、操作体による操作部への入力に基づく信号を、表示部の表示を制御する表示制御セクションに取得させることにより、表示部に表示される画像部の操作体による操作を可能にする操作装置であって、操作部に対する操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクションと、検出セクションによって検出される入力位置座標のうち、操作部及び操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値を超えているか否かに基づいて、表示制御セクションにて制御の対象とされる画像部を切り替えさせる画像部切替セクションと、操作体の移動に伴い変化する入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が閾値を跨いで変化したことに基づいて、入力位置座標に基づく画像部の制御を表示制御セクションに実施させるか否かを決定する実施決定セクションと、実施決定セクションによって画像部の制御を許可する許可決定がなされるまで表示制御セクションによる画像部の制御を中断させ、許可決定がなされたことに基づいて信号に対応する画像部の制御を表示制御セクションに開始させる実施制御セクションと、を備える操作装置とする。
 そして、本開示の第六の観点は、表示部に送出される表示画像を描画する表示制御セクションに接続され、操作体による操作部への入力によって、表示画像に含まれる画像部の操作が可能な操作装置であって、操作部への操作体の接触状態及び近接状態を検出する検出セクションと、検出セクションによって接触状態が検出された場合には、当該接触状態に対応する第一画像部が含まれる表示画像を表示制御セクションから表示部に送出させ、検出セクションによって近接状態が検出された場合には、当該近接状態に対応した第二画像部を含む表示画像を表示制御セクションから表示部に送出させる送出制御セクションと、検出セクションによって検出される操作体が近接状態から接触状態に向かう状態遷移の途上である場合に、表示画像への第二画像部の描画を表示制御セクションに禁止させる描画制御セクションと、を備える操作装置とする。
 これらの開示でも、操作体を操作部に近接させる動作によって画像部が操作されてしまう事態は、回避可能となる。具体的に、第三の観点では、許可決定がなされるまで表示制御セクションによる信号の取得が中断される。故に、画像部は、操作体を操作部に近接させる動作によっては操作されない。
 また、第四の観点では、許可決定がなされるまで表示制御セクションへの信号の出力が中断される。さらに、第五の観点では、許可決定なされるまで表示制御セクションにおける画像部の制御が中断される。これらによっても同様に、画像部は、操作体を操作部に近接させる動作によっては操作されなくなる。
 そして、第六の観点では、操作体が近接状態から接触状態に向かう状態遷移の途上である場合には、表示制御セクションによる表示画像への第二画像部の描画が禁止される。このように、第二画像部の描画自体を一旦禁止することによっても、操作体を操作部に近接させる動作によって第二画像部が操作されてしまう事態は、回避可能となる。
 また、本開示の第七の観点のように、禁止モードが設定された場合、閾値距離に関わらず、操作体による入力によって第二画像の表示態様が変化することを禁止するようにしてもよい。
 また、本開示の第八の観点のように、操作部から操作体までの距離が閾値を超えている場合には操作体による入力を画像部の表示態様に反映しない禁止モードを設定し、認可操作がなされた場合に操作部から操作体までの距離が閾値を超えている場合であっても操作体による入力を前記画像部の表示態様に反映する許可モードを設定するようにしてもよい。
 また、本開示の第九の観点ように、操作部から操作体までの距離が所定距離を超えている場合と超えていない場合とで画像部の表示態様の切り替えに変化をつけない第1モードから、操作部から操作体までの距離が所定距離を超えている場合と超えていない場合とで画像部の表示態様の切り替えに変化をつける第2モードへ、操作体による操作に基づいてモード切り替えを行う制御回路を備えるようにしてもよい。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本開示の第一実施形態による遠隔操作装置を備えた表示システムの構成を説明するための図であり、 表示スクリーン及び操作面の車室内での配置を説明するための図であり、 表示スクリーンに表示される表示画像を説明するための図であり、 描画レイヤの重畳によって表示画像が形成されることを説明するための図であり、 遠隔操作装置の斜視図であり、 第一実施形態による遠隔操作装置において、操作面から指までの操作体距離により、指の移動と関連付けられる画像部が切り替えられることを説明するための図であり、 操作者による一連のアイコン選択操作を説明するための図であり、 第一実施形態による遠隔操作装置において、操作制御回路により実施されるメイン処理が示されるフローチャートであり、 第一実施形態の操作制御回路により実施されるタッチセンサ入力処理が示されるフローチャートであり、 第一実施形態による遠隔操作装置において、タッチセンサにより検出される感度値と、操作制御回路により判定される操作状態との関係を説明するための図であり、 第一実施形態の操作制御回路に記憶されている各感度閾値を示す図であり、 第一実施形態の操作制御回路により実施される操作レイヤ判定処理が示されるフローチャートであり、 第一実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第二実施形態による遠隔操作装置において、操作面から指までの操作体距離により、指の移動と関連付けられる画像部が切り替えられることを説明するための図であり、 操作者による一連のアイコン選択操作を説明するための図であり、 第二実施形態の操作制御回路により実施されるタッチセンサ入力処理が示されるフローチャートであり、 第二実施形態の操作制御回路に記憶されている停車中及び走行中の各感度閾値を示す図であり、 第二実施形態の操作制御回路により実施される操作レイヤ判定処理が示されるフローチャートであり、 第二実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第三実施形態による遠隔操作装置において、操作面から指までの操作体距離により、指の移動と関連付けられる画像部が切り替えられることを説明するための図であり、 第三実施形態による遠隔操作装置において、タッチセンサにより検出される感度値と、操作制御回路により判定される操作状態との関係を説明するための図であり、 第三実施形態の操作制御回路に記憶されている第一,第二感度閾値を示す図であり、 第三実施形態の操作制御回路により実施されるタッチセンサ入力処理が示されるフローチャートであり、 第三実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第四実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第五実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第六実施形態の操作制御回路により実施される操作認可判定処理が示されるフローチャートであり、 第七実施形態の車両のセンターコンソールを示す斜視図であり、 第七実施形態のセンターコンソールの断面図であり、 第七実施形態のセンターコンソールに設けられたLCDに表示される画像の一例と、該LCDを操作しようとしている操作体を示す図であり、 第七実施形態における制御回路で実行する判定内容を示したフローチャートであり、 第七実施形態のセンターコンソールの断面図において、操作体とタッチセンサとが第2閾値距離よりも離れている状態を示す図であり、 第七実施形態のセンターコンソールの断面図において、操作体とタッチセンサとが第2閾値距離よりも近く、第一閾値距離よりも離れている状態を示す図であり、 第七実施形態のセンターコンソールの断面図において、操作体とタッチセンサとが第一閾値距離よりも近い状態を示す図である。
 以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
 (第一実施形態)
 本開示の第一実施形態による遠隔操作装置100は、図1に示されるように、車両に搭載され、ナビゲーション装置50等と共に表示システム10を構成している。遠隔操作装置100は、図1に示されるようにタッチセンサ31を有しており、図5に示すように、そのタッチセンサ31の表面は操作者の手指(以下指という)が操作されるタッチ面32とされている。そして、このタッチ面32に隣接してプッシュスイッチ35が配置されている。
 遠隔操作装置100は、図2に示されるように、車両のセンターコンソールにてパームレスト39と隣接する位置に設置され、操作者の手の届き易い範囲に操作面32を露出させている。ナビゲーション装置50は、操作者から目視されるよう表示スクリーン52を露出させ且つ表示スクリーン52を運転席に向けた姿勢にて、車両のインスツルメントパネル内に設置されている。表示システム10は、種々の表示画像60を表示スクリーン52に切り替えて表示する。
 図3に示される表示画像60は、表示スクリーン52に表示される複数の表示画像のうちの一つであり、操作者によって設定された目的地までの経路を示すナビゲーション画像を表している。表示画像60には、所定の機能が関連付けられた複数のアイコン63、アイコン63を選択するためのポインタ62、及び車両周辺の道路の形態を示すマップ64等の複数の画像部61が含まれている。加えて表示画像60には、ポインタ62が重畳されたアイコン63を強調するフォーカス66も含まれている。表示スクリーン52上にてポインタ62及びフォーカス66の表示される位置は、操作面32における操作者の現在の指操作位置に対応している。尚、ポインタ62の表示を省略して、操作者の手の指の位置に合わせて、フォーカス66をポインタ62の変わりに表示する構成としてもよい。
 以上の表示画像60は、図4に示されるように、マップ64の描画されるマップレイヤL2、アイコン63等の描画されるオブジェクトレイヤL3、及びポインタ62の描画されるポインタレイヤL1を含む複数の描画レイヤを重畳させて構成されている。各レイヤL1~L3の大きさは、表示スクリーン52の大きさに合わせて構成されている。
 次に、遠隔操作装置100及びナビゲーション装置50の各構成を詳しく説明する。図1に示すように、遠隔操作装置100は、Controller Area Network(CAN)バス90、及び外部のバッテリ95等と接続されている。CANバス90は、車両に搭載された複数の車載装置を相互に接続してなる車内通信ネットワークにおいて、各車載装置間でのデータの伝送に用いられる伝送路である。遠隔操作装置100は、CANバス90を通じて、離れて位置するナビゲーション装置50と通信可能である。
 遠隔操作装置100は、電源インターフェース21,22、通信制御回路23、通信インターフェース24、タッチセンサ31、プッシュスイッチ35、及び操作制御回路33等によって構成されている。各電源インターフェース21,22は、バッテリ95から供給される電力を安定化して、操作制御回路33に供給する。一方の電源インターフェース21には、バッテリ95から常に電力が供給されている。他方の電源インターフェース22には、車両のアクセサリ(ACC)電源がオン状態とされたことに基づいてスイッチ93が通電状態となることにより、バッテリ95から電力が供給される。
 通信制御回路23及び通信インターフェース24は、操作制御回路33によって処理された情報をCANバス90に出力すると共に、他の車載装置からCANバス90に出力された情報を取得するための構成である。通信制御回路23及び通信インターフェース24は、送信用の信号線TX及び受信用の信号線RXによって互いに接続されている。
 図1,2,5に示すように、タッチセンサ31は、静電容量式のものであって、矩形の平板状に形成された上述の操作面32に対する指Fによる操作を検出する。タッチセンサ31は、x軸方向に沿って延びる電極とy軸方向に沿って延びる電極とが格子状に配列されることにより、形成されている。これら電極は、操作制御回路33と接続されている。タッチセンサ31は、操作面32を形成する絶縁材よりなる絶縁シートによって覆われている。
 後述するように、操作面32のx座標、y座標、あるいはz座標方向の操作者の指Fの操作により、表示スクリーン52に表示される画像部61(図3参照)を移動させることができるように設定されている。プッシュスイッチ35は、操作面32を挟んでパームレスト39とは反対側に配置されている。操作者の指Fにてプッシュスイッチ35を押圧操作することにより、表示スクリーン52に表示されるアイコン63(図3参照)を選択することができるように設定されている。
 図1に示す操作制御回路33は、各種の演算処理を行うプロセッサ、演算処理の作業領域として機能するRAM、及び演算処理に用いられるプログラム等が格納されたフラッシュメモリ等によって構成されている。加えて、操作制御回路33は、各電源インターフェース21,22、通信制御回路23、タッチセンサ31、及びプッシュスイッチ35等と接続されている。
 図1,2,5に示すように、操作制御回路33は、所定のプログラムを実行することによってタッチセンサ31の各電極の電位を計測することにより、当該センサ31の計測値としての感度値を取得する。操作者の指Fが操作面32に近接又は接触する場合には、絶縁シートを挟んで電極と指Fとの間に電荷が蓄えられる。操作制御回路33は、操作面32に近接又は接触している指Fの相対的な操作位置(以下、「相対位置」という)を示すx座標及びy座標、さらに操作面32から指Fまでの距離(以下、「操作体距離d」という,図6A参照)に相当するz座標を、各電極に蓄えられた電荷量に応じて値の変わる感度値に基づく算出処理によって検出する。尚、本実施形態における感度値は、操作体距離dが短くなるにしたがって減少し、操作体距離dが長くなるに従って増加する。
 また操作制御回路33は、操作者が指Fによって行うプッシュスイッチ35への押圧操作を検知する。そして操作制御回路33は、指Fの位置を示す座標及びプッシュスイッチ35への押圧操作の有無を、通信制御回路23及び通信インターフェース24を通じて、CANバス90に出力する。
 図1,2に示すナビゲーション装置50は、遠隔操作装置100等と通信可能なようCANバス90と接続されており、表示制御回路53及び液晶ディスプレイ51を有している。表示制御回路53は、各種の演算処理を行うプロセッサ、演算処理の作業領域として機能するRAM、画像の描画処理を行うグラフィックプロセッサ、描画処理の作業領域として機能するグラフィックRAM等によって構成されている。加えて表示制御回路53は、演算処理及び描画処理に用いられるデータを格納するフラッシュメモリ、CANバス90と接続される通信インターフェース、及び描画した画像データを液晶ディスプレイ51に出力する映像出力インターフェースを有している。表示制御回路53は、CANバス90から取得する情報に基づいて、表示スクリーン52に表示する表示画像60を描画する。そして表示制御回路53は、描画した表示画像60の画像データを、映像出力インターフェースを通じて液晶ディスプレイ51に逐次出力する。
 液晶ディスプレイ51は、表示スクリーン52に配列された複数の画素を制御することにより、カラー表示を実現するドットマトリクス方式の表示器である。液晶ディスプレイ51は、表示制御回路53から逐次取得する画像データを表示スクリーン52に連続的に形成することにより、映像を表示する。
 以上の表示システム10では、図6Bに示すように、操作体距離d(図6A参照)が予め規定された第一閾値距離Dth1未満である場合、xy平面に沿って指Fを移動させる操作は、ポインタ62を移動させるポインタ制御に関連付けられる。一方で、図6Cに示すように、操作体距離dが第一閾値距離Dth1を超え且つ第一閾値距離Dth1よりも長い第二閾値距離Dth2未満である場合、xy平面に沿って指Fを移動させる操作は、マップ64を移動させるマップ制御に関連付けられる。
 上述の関連付けにおいて切り替えに用いられる第一閾値距離Dth1は、例えば0.5~1cm程度に設定され、第二閾値距離Dth2は、例えば2~3cm程度に設定される。
 第一実施形態では、これら閾値距離に基づいて、次の(1)~(3)の定義をする。
 (1)操作面32から第一閾値距離Dth1までの間に含まれる空間を接触操作領域とし、当該接触操作領域に指Fが位置する操作状態を「接触操作中」と称し、第一閾値距離Dth1未満にて入力されるポインタ62を操るための操作を「接触操作」と定義する。要するに、指Fがタッチセンサ31の操作面32に直接に接触している状態に加えて操作面32から第一閾値距離Dth1(例えば0.5~1cm程度)まで浮いている状態も「接触操作」と定義する。
 (2)第一閾値距離Dth1から第二閾値距離Dth2までの間に含まれる空間を空中操作領域と称し、当該空中操作領域に指Fが位置する操作状態を「空中操作中」と定義する。第一閾値距離Dth1を超え且つ第二閾値距離Dth2未満(空中操作領域を含む)にて入力されるマップ64を操るための操作を「空中操作」と定義する。
 (3)第二閾値距離Dth2よりも操作面32から離間した空間を非近接領域とし、当該非近接領域に指Fが位置する操作状態を「非近接中」と定義する。
 尚、表示システム10では、指Fの操作と関連付けられる画像部62,64の頻繁な変更を回避するために、第一閾値距離Dth1及び第二閾値距離Dth2のそれぞれには、ヒステリシスが設けられている。詳記すると、図6Bに示すように接触操作領域内における指Fの移動操作、即ち接触操作をポインタ制御に関連付けると、操作制御回路33(図1参照)は、第一閾値距離Dth1を、それまでの距離(以下、「上限側第一閾値距離Dth1U」という)から、下限側第一閾値距離Dth1Dへと延長する。さらに操作制御回路33は、図6Cに示すように、空中操作領域における指Fによる移動操作、即ち空中操作をマップ制御に関連付けると、第二閾値距離Dth2を、それまでの距離(以下、「上限側第二閾値距離Dth2U」という)から、下限側第二閾値距離Dth2Dへと延長する。
 また操作制御回路33(図1参照)は、指Fによる操作とマップ制御との関連付けを禁止する禁止モードと、当該関連付けを許可する許可モードとを切り替えることができる。操作認可が禁止モードとされている場合には、図6Aに示すように、空中操作領域にある指Fが当該領域内を移動したとしても、表示画像60に含まれる各画像部62~64は、実質的に移動しない。そして、本実施形態における操作制御回路33(図1参照)には、第一閾値距離Dth1よりも操作面32に指Fを近接させる操作が、禁止モードから許可モードへ切り替えるための認可操作として予め記憶されている。故に、図6Bに示すように、非近接領域から接触操作領域内に指Fを移動させる操作により、操作認可は、禁止モードから許可モードへと切り替わる。換言すると、一旦タッチセンサ31の操作面32に指を接触させると禁止モードから許可モードへと切り替わる。
 ここまで説明した表示システム10において、操作者が任意のアイコン63を選択するまでの一連のアイコン選択操作を、図7に基づいて順に説明する。
 図7Aは、操作面32に向けて指Fを接近させる動作を操作者が開始させた状態を示している。図7Aに示すように、アイコン選択操作を開始しようとする操作者は、例えばACC電源のオン状態への切り替え操作及び運転操作等のために操作面32から遠方に位置させていた指Fを、まず操作面32に向けて移動させる。図7Aに示す状態では、操作面32から指Fまでの操作体距離dは、上限側第二閾値距離Dth2Uを超えている。このように、指Fが非近接領域に位置した状態では、表示スクリーン52のマップ64及びポインタ62につき、指Fの移動と関連した移動は、生じない。
 図7Bは、操作体距離dが上限側第二閾値距離Dth2U未満となるように、図7Aの非近接領域から空中操作領域に指Fを移動させた状態を示している。図7Bに示す状態において、操作認可は、禁止モードとされたままである。故に、操作体距離dが上限側第一閾値距離Dth1Uを超え且つ下限側第二閾値距離Dth2D未満であったとしても、指Fを移動させる空中操作とマップ制御との関連付けは、なされない。そのため、操作者は、操作面32に沿って指Fを移動させたとしても、表示スクリーン52のマップ64を移動させることできない。換言すれば、操作者の意図しない指Fの移動があったとしても、マップ64の移動は生じない。
 図7Cは、操作体距離d(図7B参照)が上限側第一閾値距離Dth1U未満となるように、図7Bの空中操作領域から接触操作領域に指Fを移動させた状態を示している。図7Cに示す状態では、操作体距離dが下限側第一閾値距離Dth1D未満であることに基づいて、指Fを移動させる接触操作は、ポインタ制御と関連付けられる。そのため、操作者は、xy平面に沿って指Fを移動させる接触操作により、ポインタ62を遠隔操作することができる。そして、操作者は、任意のアイコン63にポインタ62を重畳させてプッシュスイッチ35(図5参照)の押圧操作を行うことにより、当該アイコン63を選択することができる。加えて、上限側第一閾値距離Dth1Uよりも操作面32に指Fを近接させる操作は、上述したように、禁止モードから許可モードへと切り替わるトリガとなる認可操作として、操作制御回路33(図1参照)に記憶されている。故に、図7Cに示す状態とされることにより、操作認可が行われたことになるため、禁止モードから許可モードへと切り替えられる。
 図7Dは、操作体距離dが下限側第一閾値距離Dth1Dを超えるように、図7Cの接触操作領域から空中操作領域に指Fを移動させた状態を示している。図7Dに示す状態では、操作認可は、許可モードへと切り替えられている。故に、操作体距離dが上限側第一閾値距離Dth1Uを超え且つ下限側第二閾値距離Dth2D未満であることに基づいて、指Fを移動させる空中操作が受け付けられ、このそのため、操作者は、xy平面に沿って指Fを移動させる空中操作により、マップ64を遠隔操作して、任意のアイコン63をポインタ62によって選択容易な位置まで移動させることができる。空中操作は、マップ制御と関連付けられる。
 以上の操作により、任意のアイコン63を含むマップ64を遠隔操作した操作者は、図7Dから図7Cの如く、空中操作領域から接触操作領域に指Fを移動させる。これにより、指Fを移動させる接触操作がポインタ制御と関連付けられるので、操作者は、ポインタ62を遠隔操作によって任意のアイコン63に重畳させ、当該アイコン63を選択することができる。
 図7C及び図7Dに示すアイコン63の選択操作が終了すると、操作者は、図7Aの如く、操作体距離dが下限側第二閾値距離Dth2Dを超える位置まで指Fを離間させる。これにより、操作認可が許可モードから禁止モードへと切り替えられることで、遠隔操作装置100は、次回以降の操作者によるアイコン選択操作を待機する状態となる。
 以上説明したアイコン選択操作を実現するために、操作制御回路33によって実施される各処理を、図8~図13に基づいて順に説明する。図8に示されるメイン処理は、車両のACC電源がオン状態とされることにより、操作制御回路33(図1参照)によって開始される。
 ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、たとえば、S101と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。また、上記の複数のセクションの各々あるいは組合わさったものは、(i)ハードウエアユニット(例えば、コンピュータ)と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア(例えば、集積回路、配線論理回路)のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に構成されることもできる。
 S101では、フラッシュメモリ等の初期化処理を実施し、S102に進む。S102では、操作認可を禁止モードに設定し、S103に進む。S103では、車両のACC電源がオン状態であるか否かを判定する。S103にて、ACC電源がオン状態でないと判定した場合、S108に進む。そして、S108にて、出力を停止させるための終了前処理を実施した後、メイン処理を終了する。
 一方で、S103にてACC電源がオン状態であると判定した場合には、S104に進む。S104では、詳細を後述するタッチセンサ入力処理を実施することにより、指Fによる操作面32への操作状態が、「接触操作中」,「空中操作中」,及び「非近接中」のいずれであるかを更新及び取得し、S105に進む。加えてS104において、操作状態が「接触操作中」又は「空中操作中」である場合、操作面32に対する指Fの相対位置を示す座標情報を取得する。S105では、プッシュスイッチ入力処理を実施することにより、指Fによるプッシュスイッチ35への操作の有無を更新及び取得し、S106に進む。
 S106では、詳細を後述する操作レイヤ判定処理を実施することにより、操作の対象となる描画レイヤ(以下、「選択レイヤ」という)が各レイヤL1~L3のいずれであるかを更新及び取得し、S107に進む。この選択レイヤは、指Fによる操作を関連付ける画像部61を含むレイヤである。
 S107では、通信制御処理により、S104~S106にて取得した情報を示す信号をCANバス90に出力し、S103に戻る。このS107にて出力される情報には、指Fの相対位置を示す座標情報、プッシュスイッチ35への操作の有無を示す情報、選択レイヤを示す情報等が含まれている。そして、ACC電源のオン状態が継続されるうちは、S104~S107の処理を繰り返す。
 表示制御回路53は、繰り返されるS107にて操作制御回路33から出力される各情報を示す信号をCANバス90から取得する。詳記すると、表示制御回路53は、選択レイヤを示すレイヤ指定信号に基づいて、操作の対象となる画像部61を決定する。そして表示制御回路53は、指Fの相対位置、即ち三次元方向の入力位置座標を示す座標信号に応じて、操作の対象とした画像部61を描画する位置を変更する。
 次に、S104にて実施されるタッチセンサ入力処理の詳細を、図9~11に基づいて詳細に説明する。
 図9に示すS121では、タッチセンサ31の各電極にて検出される感度値を取得する取得処理を実施し、S122に進む。S122では、S121にて取得される感度値から、操作面32に対する指Fの相対位置を示すx座標,y座標,及びz座標の計算処理を実施し、指Fによる操作が接触操作及び空中操作に該当するか否かを判断するために、S123に進む。
 以上のS122にて実施される計算処理の詳細を、図10に基づいて説明する。図10に示す感度値は、操作面32と指Fとの間に蓄えられる静電容量が増加するに従って、大きくなる値である。故に、感度値が最大となるx軸方向及びy軸方向の座標は、操作面32に対する指Fの相対位置を示す座標となる。加えて、最大となる感度値は、操作体距離d、ひいてはz軸方向の座標に対応する(図6C参照)。
 また、操作制御回路33(図1参照)には、図11に示す図のように、上限側及び下限側の第一閾値距離Dth1U,Dth1Dにそれぞれ対応する上限側及び下限側の感度閾値Hth1U,Hth1Dが、予め記憶されている。さらに操作制御回路33には、上限側及び下限側の第二閾値距離Dth2U,Dth2Dにそれぞれ対応する上限側及び下限側の感度閾値Hth2U,Hth2Dが、予め記憶されている。図9のS123以降の処理において、操作制御回路33は、S122にて取得された最大の感度値を、各感度閾値Hth1U~Hth2Dと比較する処理を行う。
 S123では、前回までのタッチセンサ入力処理による操作状態が接触操作中でなく、且つS121にて取得した感度値の最大が上限側第一感度閾値Hth1U以上であるか否かを判定する。S123にて肯定判定をした場合、S124に進み、操作状態を接触操作中に更新して、タッチセンサ入力処理を終了する。以上の処理により、指Fが上限側第一閾値距離Dth1Uを跨いで操作面32に近接した場合には、操作状態は、接触操作中へと更新される。
 S123にて否定判定をした場合のS125では、以下の二つの条件のいずれかに該当するか否かを判定する。一つ目の条件は、前回までのタッチセンサ入力処理による操作状態が非近接中であり、且つS121にて取得した感度値の最大が上限側第二感度閾値Hth2U以上であるか否かというものである。二つ目の条件は、前回までのタッチセンサ入力処理による操作状態が接触操作中であり、且つS121にて取得した感度値が下限側第一感度閾値Hth1D以下であって下限側第二感度閾値Hth2D以上であるかというものである。これら二つの条件のいずれか一方に該当した場合には、S126に進み、操作状態を空中操作中に更新して、タッチセンサ入力処理を終了する。以上の処理により、指Fが下限側第一閾値距離Dth1Dを跨いで操作面32から離間した場合(図7D参照)、又は指Fが上限側第二閾値距離Dth2Uを跨いで操作面32に近接した場合に、操作状態は、空中操作中へと更新される。
 S125にて否定判定をした場合のS127では、前回までのタッチセンサ入力処理による操作状態が非近接中ではなく、且つS121にて取得した感度値の最大が、下限側第二感度閾値Hth2D以下であるか否かを判定する。S127にて肯定判定をした場合には、S128に進み、操作状態を非近接中に更新して、タッチセンサ入力処理を終了する。以上の処理により、下限側第二閾値距離Dth2Dを跨いで指Fが操作面32から離間した場合に、操作状態は、非近接中へと更新される。
 S127にて否定判定をした場合、即ち、S123,S125,及びS127の条件のいずれにも該当しなかった場合には、前回までのタッチセンサ入力処理による操作状態を維持したまま、当該入力処理を終了する。
 次に、S106(図8参照)にて実施される操作レイヤ判定処理の詳細を、図12に基づいて詳細に説明する。
 S141では、タッチセンサ入力処理(図9参照)により更新され最新の操作状態を取得し、S142に進む。S142では、詳細を後述する操作認可判定処理によって更新及び取得される操作認可についての情報を取得し、S143に進む。S143では、S142にて取得した操作認可が許可モードであるか否かを判定する。S143にて、操作認可が禁止モードであると判定した場合には、S148に進み、選択レイヤを「なし」とする更新を実施して、操作レイヤ判定処理を終了する。
 S143にて肯定判定をした場合のS144では、S141にて取得した操作状態が接触操作中であるか否かを判定する。S144にて肯定判定をした場合には、S145に進み、接触操作にポインタ制御が関連付けられるよう、ポインタレイヤL1を選択レイヤとして選択及び更新して、操作レイヤ判定処理を終了する。一方で、S144にて否定判定をした場合には、S146に進む。
 S146では、S141にて取得した操作状態が空中操作中であるか否かを判定する。S146にて肯定判定をした場合には、S147に進み、空中操作にマップ制御が関連付けられるよう、マップレイヤL2を選択レイヤとして選択及び更新して、操作レイヤ判定処理を終了する。一方で、S146にて否定判定をした場合には、S148に進み、選択レイヤを「なし」とする更新を実施して、操作レイヤ判定処理を終了する。
 次に、上述のS142にて実施される操作認可判定処理の詳細を、図13に基づいて詳細に説明する。
 S161では、タッチセンサ入力処理(図9参照)により更新された最新の操作状態(図9のS124、S126、S128参照)を取得し、S162に進む。S162では、S161にて取得した操作状態につき、上述の認可操作、即ち非近接中から接触操作中への変化があったか否かを判定する。S162にて肯定判定をした場合には、S163に進む。S163では、禁止モードから許可モードへと操作認可を切り替えて、操作認可判定処理を終了する。
 S162にて否定判定をした場合のS164では、前回までの操作認可判定処理による操作認可が許可モードであり、且つS161にて取得した操作状態が非近接中であるか否かを判定する。S164にて肯定判定をした場合には、S165に進む。S165では、許可モードから禁止モードへと操作認可を切り替えて、操作認可判定処理を終了する。以上のS164及びS165の処理により、接触操作領域及び空中操作領域のいずれか一方から非近接領域への指Fの移動に基づいて、操作認可は、禁止モードに戻される。一方で、S164にて否定判定をした場合には、前回までの操作認可判定処理よる操作認可を維持したまま、当該判定処理を終了する。
 ここまで説明した第一実施形態によれば、指Fによる認可操作が操作面32に対しなされるまで、操作制御回路33における操作認可は、禁止モードとされている。こうして指Fによる空中操作とマップ制御との関連付けが中断されることにより、ポインタ制御を行う際に、第一閾値距離Dth1未満となるまで指Fを操作面32に近接させる途上で操作者の意図に反してマップ制御に関連付けられるという事態は生じ難くなる。
 一方で、接触操作領域まで指Fを操作面32に近接させる操作が操作面32に対しなされることで、操作認可は、禁止モードから許可モードへと切り替わる。こうして指Fによる空中操作とマップ制御との関連付けが開始されることにより、操作者は、操作面32に対する指Fによる操作を継続したまま、ポインタ62及びマップ64の所望する一方を選択したうえで、この選択した一方を操ることができる。
 以上により、所望の画像部61を移動させる操作の煩雑化が回避されると共に、操作者の意図しない画像部61の移動も低減可能となる。したがって、表示スクリーン52に表示される画像部61の操作につき、操作性に優れる遠隔操作装置100の提供が、実現される。
 加えて第一実施形態におけるタッチセンサ31は、操作面32から離間した状態の指Fの位置を検出可能である。故に、タッチセンサ31によって検出される感度値から、操作制御回路33は、操作体距離dを取得することができる。こうして、タッチセンサ31及び操作制御回路33の協働によって操作体距離dを取得することにより、操作性に優れる遠隔操作装置100の構成につき、複雑化は回避可能となる。
 また第一実施形態によれば、第一閾値距離Dth1及び第二閾値距離Dth2には、共にヒステリシスが設けられている。故に、操作の対象となる画像部61につき、操作者の意図しない変更は、低減され得る。以上により、所望の画像部61を移動させる操作についての遠隔操作装置100の操作性は、さらに向上可能となる。
 さらに第一実施形態によれば、接触操作領域まで指Fを操作面32に近接させる操作が認可操作として記憶されているので、第一閾値距離Dth1未満となるまで指Fを操作面32に近接させるまでは禁止モードが継続される。故に、図6Bの如くポインタ制御を行うために指Fを操作面32に接触させる移動の途上に図6Cの如く指Fを近接させる状態が存在しても、操作者の意図に反してマップ制御(図6C参照)に関連付けられる事態は、生じ難くなる。したがって、遠隔操作装置100は、優れた操作性を確実に獲得可能となる。
 また加えて第一実施形態の表示画像60は、複数の描画レイヤL1~L3を重畳させることにより、形成されている。故に、指Fが接触操作領域にある場合に、ポインタレイヤL1を選択レイヤとすることにより、指Fによる接触操作は、ポインタ制御に確実に関連付けられ得る。一方で、指Fが空中操作領域にある場合に、マップレイヤL2を選択レイヤとすることにより、指Fによる空中操作は、マップ64制御に確実に関連付けられ得る。以上のように、複数の描画レイヤL1~L3のうちから操作の対象となる一つを選択レイヤとすることにより、操作対象となる画像部61を操作体距離dに応じて変更させる作動の確実性が、向上可能となる。
 尚、第一実施形態において、タッチセンサ31及び操作制御回路33が「検出セクションあるいは手段」及び「取得セクションあるいは取得手段」に相当し、操作制御回路33が「操作判断セクションあるいは手段」,「関連付けセクションあるいは手段」,「認可操作判定セクションあるいは手段」,及び「モード切替セクションあるいは手段」に相当する。表示制御回路53が、表示制御セクションあるいは手段に相当する。操作面32が「操作部」に相当し、表示スクリーン52が「表示部」に相当し、ポインタ62が「第一画像部」及び「ポインタ部」に相当し、アイコン63が「選択画像部分」に相当し、マップ64が「第二画像部」及び「非ポインタ部」に相当し、ポインタレイヤL1が「第一画像レイヤ」に相当し、マップレイヤL2が「第二画像レイヤ」に相当し、ポインタ制御が「第一画像制御」に相当し、マップ制御が「第二画像制御」に相当し、遠隔操作装置100が「操作装置」に相当し、感度値が「計測値」に相当し、操作者の指Fが「操作体」に相当する例を示したが、もちろん本開示はこれに限定されるものではない。
 本出願において、日本語の「手段」は、英語の「means」あるいは「device」に対応している。
 (第二実施形態)
 図14~19に示される本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態による表示システム210では、図14に示すように、操作体距離dに応じて表示画像260が変化する。詳記すると、図14Aの如く操作体距離dが第一閾値距離Dth1未満である場合には、車両に搭載された空調機器を調整するための空調メニュー等の後述するサブメニューのうちの一つの詳細ウインドイメージが表示画像260として表示スクリーン52に表示される。空調メニューには、アイコン63、このアイコン63を選択するための矩形枠状のフォーカス262、及びこれらアイコン63及びフォーカス262の背景となる背景部264等が含まれている。そして、接触操作領域内にてxy平面に沿って指Fを移動させる接触操作は、フォーカス262を移動させるフォーカス制御に関連付けられる。
 一方、図14Bの如く操作体距離dが第一閾値距離Dth1を超え且つ第二閾値距離Dth2未満である場合には、メインメニュー画像が表示画像260として表示スクリーン52に表示される。メインメニュー画像には、上述の空調メニュー、車両セッティングメニュー、電話メニュー、オーディオメニュー(図15A参照)等の複数のサブメニュー265が含まれている。そして、空中操作領域内にてxy平面に沿って指Fを移動させる空中操作は、各サブメニュー265を移動させるサブメニュー制御に関連付けられる。
 また第二実施形態による遠隔操作装置200では、車両が走行状態にある場合に、空中操作領域が拡大される。具体的には、走行中における各第一閾値距離Dth1U,Dth1D(図14Bの実線矢印を参照)は、停車中における各第一閾値距離Dth1U,Dth1D(図14Bの破線矢印を参照)よりも短くされる。一方で、走行中における各第二閾値距離Dth2U,Dth2D(図14Bの実線矢印を参照)は、停車中における各第二閾値距離Dth2U,Dth2D(図14Bの破線矢印を参照)よりも長くされる。
 さらに第二実施形態の認可操作は、第一実施形態の認可操作と異なっており、空中操作領域及び接触操作領域のいずれかに、予め規定された時間(例えば0.5~2秒程度 以下、「許可待ち時間」という)指Fを継続して位置させる操作である。故に、図14の如く、非近接領域から接触操作領域内又は空中操作領域内に指Fを移動させた後、許可待ち時間が経過することで、xy平面に沿って指Fを移動させる空中操作により、図14Bの如くサブメニュー265が移動するようになる。
 以上の構成において、操作者が任意のアイコン63を選択するまでの一連のアイコン選択操作を、図15に基づいて順に説明する。
 図15Aは、操作面32に向けて指Fを接近させる動作を操作者が開始させた状態を示している。図15Aに示す状態では、操作面32から指Fまでの操作体距離dは、上限側第二閾値距離Dth2Uを超えている。このように、指Fが非近接領域に位置した状態では、表示スクリーン52のサブメニュー265及びフォーカス262につき、指Fの移動と関連した移動は、生じない。
 図15Bは、操作体距離dが上限側第二閾値距離Dth2U未満となるように、非近接領域から空中操作領域に指Fを移動させた状態を示している。図15Bに示す状態において、操作認可は、禁止モードとされたままである。故に、操作体距離dが上限側第一閾値距離Dth1Uを超え且つ下限側第二閾値距離Dth2D未満であったとしても、指Fを移動させる空中操作とサブメニュー制御との関連付けは、なされない。そのため、操作者の意図しない指Fの移動があったとしても、表示スクリーン52による表示は変化しない。
 ここで第二実施形態では、空中操作領域及び接触操作領域のいずれかに、指Fを継続して位置させる操作が、認可操作として操作制御回路33(図1参照)に記憶されている。故に、図15Bの如く、許可待ち時間以上、空中操作領域に指Fを位置させる操作により、操作認可は、禁止モードから許可モードへと切り替えられる。こうして、指Fを移動させる空中操作がサブメニュー制御と関連付けられることにより、表示スクリーン52の表示は、複数のサブメニュー265を一体的に移動(以下、「スクロール」という)させることが可能なメインメニュー画像に切り替えられる。故に、操作者は、図15Cの如く、x方向に沿って指Fを移動させる空中操作によって複数のサブメニュー265を遠隔操作することにより、任意のアイコン63を含むサブメニュー265を、表示スクリーン52の中央に移動させることができる。ここでは、図15BのAudioメニュー画像が図15CのようにClimateメニュー画像(空調メニュー画像)に切替えられる。
 図15Dは、操作体距離d(図15C参照)が上限側第一閾値距離Dth1U未満となるように、空中操作領域から接触操作領域に指Fを移動させた状態を示している。図15Dに示す状態では、操作体距離dが下限側第一閾値距離Dth1D未満であることに基づいて、指Fを移動させる操作と関連付けられる制御が、サブメニュー制御からフォーカス制御へと切り替えられている。これにより、表示スクリーン52の中央に表示されていた特定のサブメニュー265(例えば空調メニュー)が、当該表示スクリーン52の全体に表示される。操作者は、xy平面に沿って指Fを移動させる接触操作により、フォーカス262を遠隔操作することができる。こうして操作者は、任意のアイコン63にフォーカス262を重畳させてプッシュスイッチ35(図5参照)の押圧操作を行うことにより、当該アイコン63を選択することができる。
 図15C,15Dに示す操作を終了させた操作者は、図15Aの如く、操作体距離dが下限側第二閾値距離Dth2Dを超える位置まで指Fを離間させる。これにより、操作認可は、許可モードから禁止モードへと切り替えられる。そして、遠隔操作装置200は、次回以降の操作者によるアイコン選択操作を待機する状態となる。
 以上説明したアイコン選択操作を実現するために、操作制御回路33(図1参照)によって実施される各処理を、図16~19に基づいて順に説明する。尚、第二実施形態におけるメイン処理は、第一実施形態のメイン処理(図8参照)と実質的に同一である。まず図16,17に基づいて、第二実施形態によるタッチセンサ入力処理を、詳細に説明する。
 図16に示すS221及びS222は、第一実施形態のS121及びS122(図9参照)と実質的に同一である。S223では、車両の走行状態を取得する取得処理を実施し、S224に進む。具体的にS223では、メータ制御回路56(図1参照)によってCANバス90(図1参照)に出力される車両の走行速度を取得する。
 S224では、S223にて取得した走行速度に基づいて、車両が走行状態にあるか否かを判定する。S223にて取得した走行速度が10km/hを超えていたことに基づき、S224にて車両が走行状態にあると判定した場合には、S225に進む。S225では、図17に示す閾値図の「走行中」に該当する各感度閾値Hth1U~Hth2Dに切り替えて、図16のS227に進む。一方で、S223にて取得した走行速度が10km/h以下であることに基づき、S224にて車両が走行状態にないと判定した場合には、S226に進む。S226では、図17に示す閾値図の「停車中」に該当する各感度閾値Hth1U~Hth2Dに切り替えて、図16のS227に進む。そして、第一実施形態のS123~S128(図9参照)と実質的に同一のS227~S232を、実施する。
 以上のS225及びS226にて操作制御回路33(図1参照)に読み込まれる図17の感度閾値では、走行中における各第一感度閾値Hth1U,Hth1Dは、停車中における各第一感度閾値Hth1U,Hth1Dよりも大きくされている。故に、図14Bに示す如く、走行中の各第一閾値距離Dth1U,Dth1Dは、停車中の各第一閾値距離Dth1U,Dth1Dよりも短くなる。一方、図17に示す走行中の各第二感度閾値Hth2U,Hth2Dは、停車中の各第二感度閾値Hth2U,Hth2Dよりも小さくされている。故に、図14Bに示す如く、走行中の各第二閾値距離Dth2U,Dth2Dは、停車中の各第二閾値距離Dth2U,Dth2Dよりも長くなる。これらにより、走行中における空中操作領域の拡大が実現されている。
 次に、第二実施形態による操作レイヤ判定処理の詳細を、図18に基づいて説明する。図18のS241~S244,S246,S248は、第一実施形態のS141~S144,S146,S148(図12参照)と実質的に同一である。S245では、フォーカス262の描画されるフォーカスレイヤを選択レイヤとして選択及び更新して、操作レイヤ判定処理を終了する。S247では、各サブメニュー265の描画されるサブメニューレイヤを選択レイヤとして選択及び更新して、操作レイヤ判定処理を終了する。
 次に、上述のS242にて実施される操作認可判定処理の詳細を、図19に基づいて説明する。
 S261では、タッチセンサ入力処理(図16参照)により更新された最新の操作状態を取得し、S262に進む。S262では、S261にて取得した操作状態につき、非近接中から、空中操作中又は接触操作中に変化したか否かを判定する。S262にて肯定判定をした場合には、S263に進み、許可待ち時間を計測するための許可タイマをクリアすることにより、当該タイマの値をゼロに戻す。そして、S264にて、操作許可を禁止モードに設定して、操作認可判定処理を終了する。
 S262にて否定判定をした場合のS265では、許可タイマのカウントアップにより、当該タイマの値を増やし、S266に進む。S266では、許可タイマの値が許可待ち時間を超えており、且つ操作状態が非近接中でないか否かを判定する。S266にて肯定判定をした場合のS267では、操作認可を許可モードに切り替えて、操作認可判定処理を終了する。一方、S266にて否定判定をした場合のS268では、操作許可を禁止モードに切り替えて、操作認可判定処理を終了する。
 以上の操作認可判定処理により、空中操作領域又は接触操作領域に、許可待ち時間以上、指を継続して位置させる操作により、操作認可が禁止モードから許可モードへと切り替えらえることを、以下に説明する。
 非近接領域から空中操作領域(又は接触操作領域)に指Fが移動すると(図15B等参照)、S262にて肯定判定がなされる。そして、S264によって操作認可は、禁止モードに設定される。空中操作領域(又は接触操作領域)に指Fを位置させた状態が継続されると、S262の否定判定及びS265による許可タイマのカウントアップが繰り返し行われる。許可タイマのカウントが許可待ち時間を超えるまでは、S266の否定判定が継続されるため、操作認可は、禁止モードにて維持される。さらに空中操作領域(又は接触操作領域)に指Fを位置させた状態が継続されると、許可タイマのカウントは、許可待ち時間を超える。これにより、S266にて肯定判定がなされるため、操作認可は、許可モードへと切り替えられる。
 ここまで説明した第二実施形態によれば、第一実施形態と同様に、指Fによる空中操作とサブメニュー制御との関連付けが中断される。故に、指Fを操作面32に近接させる単なる移動が操作者の意図に反してサブメニュー制御に関連付けられる事態は、生じ難くなる。したがって、第二実施形態による遠隔操作装置200も、優れた操作性を獲得できる。
 加えて第二実施形態によれば、許可待ち時間を適切に設定することで、指Fが空中操作領域を単に通過しているうちは、禁止モードが維持され得る。故に、フォーカス制御を行うために指Fを操作面32に近接させる移動が、操作者の意図に反してサブメニュー制御に関連付けられてしまう事態は、さらに生じ難くなる。
 また第二実施形態では、走行に伴う振動等に起因して、一定の操作体距離dを維持し難い走行中には、各第一閾値距離Dth1U,Dth1Dの短縮と各第二閾値距離Dth2U,Dth2Dの延長により、空中操作領域が拡大される。故に、走行中における車両の振動によって指Fがぶれたとしても、操作者は、空中操作中の指Fを空中操作領域内に維持し得る。以上により、空中操作領域内で指Fを移動させる操作が容易になり得るので、サブメニュー制御についての操作性は、さらに向上可能となる。
 尚、第二実施形態において、操作制御回路33が「走行状態判定セクションあるいは手段」にさらに相当し、フォーカス262が「第一画像部」及び「ポインタ部」に相当し、サブメニュー265が「第二画像部」「非ポインタ部」に相当し、フォーカスレイヤが「第一画像レイヤ」に相当し、サブメニューレイヤが「第二画像レイヤ」に相当し、フォーカス制御が「第一画像制御」に相当し、サブメニュー制御が「第二画像制御」に相当し、遠隔操作装置200が「操作装置」に相当する例を示したが、もちろん本開示はこれに限定されるものではない。
 (第三実施形態)
 図20~24に示される本開示の第三実施形態は、第一実施形態の別の変形例である。図20Aに示す表示画像360は、第三実施形態の表示システム310によって表示される複数の表示画像のうちの一つであって、車両に搭載されたオーディオ機器を操作するためのオーディオメニューの画像である。図20Cに示すように、表示画像360には、音声データが関連付けられたトラックアイコン363、このトラックアイコン363を選択するためのポインタ62、及びトラックアイコン363を強調するフォーカス366が含まれている。
 図20Cの如く操作体距離dが第一閾値距離Dth1未満である場合には、xy平面に沿って指Fを移動させる接触操作は、ポインタ62を操るポインタ制御に関連付けられる。一方で、図20Bの如く操作体距離dが第一閾値距離Dth1を超え且つ第二閾値距離Dth2未満である場合には、y軸方向に沿って指Fを移動させる空中操作は、複数のトラックアイコン363をスクロールさせるアイコン制御に関連付けられる。
 また第三実施形態による遠隔操作装置300では、図21,22に示されるように、第一,第二閾値距離Dth1,Dth2に設けられていた不感帯が省略されている。加えて、図20Aの如く空中操作領域及び接触操作領域のいずれかにて、操作面32に沿って指Fを移動させる操作が、認可操作として操作制御回路33(図1参照)に記憶されている。尚、こうした指Fをxy平面に沿わせる操作以外にも、例えば操作面32と直交するz軸方向に沿って指Fを移動させる操作も、認可操作として当然に採用可能である。
 以上の構成において、操作者が任意のトラックアイコン363を選択するまでの一連のアイコン選択操作を順に説明する。
 図20Aは、操作体距離dが第二閾値距離Dth2未満となるように、非近接領域から空中操作領域に指Fを移動させた状態を示している。図20Aに示す状態において、操作認可は、禁止モードとされたままである。故に、指Fを移動させる空中操作とサブメニュー制御との関連付けは、なされない。ここで第三実施形態では、操作面32に沿って指Fを移動させる操作が認可操作として記憶されているので、図20Bの如く、空中操作領域にてxy平面に沿って指Fを位置させる操作により、操作認可は、禁止モードから許可モードへと切り替えられる。こうして、指Fを移動させる空中操作がアイコン制御と関連付けられることにより、操作者は、y方向に沿って指Fを移動させる空中操作によってトラックアイコン363を遠隔操作によってスクロールすることにより、任意のトラックアイコン363を表示スクリーン52の中央に移動させることができる。
 図20Cは、操作体距離dが第一閾値距離Dth1未満となるように、空中操作領域から接触操作領域に指Fを移動させた状態を示している。図20Cに示す状態では、指Fを移動させる操作と関連付けられる制御が、アイコン制御からポインタ制御へと切り替えられている。これにより操作者は、xy平面に沿って指Fを移動させる接触操作により、ポインタ62及びフォーカス366を遠隔操作することができる。こうして操作者は、空中操作によって表示スクリーン52の中央に移動させた任意のトラックアイコン363にポインタ62等を重畳させてプッシュスイッチ35(図5参照)の押圧操作を行うことにより、当該トラックアイコン363を選択することができる。
 図20B,20Cに示す操作を終了させた操作者は、操作体距離dが第二閾値距離Dth2を超える位置まで指Fを離間させる。これにより、操作認可は、許可モードから禁止モードへと切り替えられる。そして、遠隔操作装置300は、次回以降の操作者によるアイコン選択操作を待機する状態となる。
 以上説明したアイコン選択操作を実現するために、操作制御回路33(図1参照)によって実施される各処理を、図21~24に基づいて順に説明する。尚、第三実施形態におけるメイン処理は、第一実施形態のメイン処理(図8参照)と実質的に同一である。一方で、以下に詳細を説明するタッチセンサ入力処理では、第一,第二閾値距離Dth1,Dth1における不感帯の省略に伴い、ポインタ制御及びアイコン制御の切り替えに係わるヒステリシスも省略されている。
 図23に示すS321及びS322は、第一実施形態のS121及びS122(図9参照)と実質的に同一である。S323では、前回までのタッチセンサ入力処理による操作状態が接触操作中でなく、且つS321にて取得した感度値の最大が、第一感度閾値Hth1以上であるか否かを判定する。S323にて肯定判定をした場合には、S324に進み、操作状態を接触操作中に更新して、タッチセンサ入力処理を終了する。
 S323にて否定判定をした場合のS325では、前回までのタッチセンサ入力処理による操作状態が空中操作中ではなく、且つS321にて取得した感度値の最大が第二感度閾値Hth2以上、第一感度閾値Hth1未満であるか否かを判定する。S325にて肯定判定をした場合には、S326に進み、操作状態を空中操作中に更新して、タッチセンサ入力処理を終了する。一方で、S325にて否定判定をした場合には、S327に進む。
 S327では、前回までのタッチセンサ入力処理による操作状態が非近接中ではなく、且つS321にて取得した感度値の最大が第二感度閾値Hth2未満であるか否かを判定する。S327にて肯定判定をした場合には、S328に進み、操作状態を非近接中に更新して、タッチセンサ入力処理を終了する。一方で、S327にて否定判定をした場合には、前回までのタッチセンサ入力処理による操作状態を維持したまま、当該入力処理を終了する。
 第三実施形態における操作レイヤ判定処理は、S147(図12参照)に相当する処理を除き、第一実施形態による操作レイヤ判定処理と実質的に同一である。第三実施形態のS147(図12参照)に相当する処理では、トラックアイコン363の描画されるオブジェクトレイヤが、選択レイヤとして選択及び更新される。
 次に、操作レイヤ判定処理のS142にて実施される操作認可判定処理の詳細を、図24に基づいて説明する。
 S361では、タッチセンサ入力処理(図23参照)により更新された最新の操作状態を取得し、S362に進む。S362では、タッチセンサ入力処理のS322(図23参照)にて算出される指Fの相対位置を示す座標を取得し、S363に進む。S363では、前回の操作認可判定処理にて取得された座標と、今回のS363にて取得された座標の差分から、指Fの移動量を算出し、S364に進む。
 S364では、S361にて取得した操作状態が非近接中ではなく、且つS363にて算出するある所定時間内(例えば1秒間)のタッチセンサと平行な方向の移動量の累積が、予め設定された移動閾値(例えば、5~10センチメートル)を超えているか否かを判定する。このようにある所定時間内の移動体の移動量の累積を算出すると、指をタッチパネルで素早く往復させる、所謂フリック操作を検出することができる。S364にて肯定判定をした場合には、S365に進み、操作認可を許可モードに切り替える。
 S364にて否定判定をした場合のS366では、前回までの操作認可判定処理による操作認可が許可モードであり、且つS361にて取得した操作状態が非近接中であるか否かを判定する。S366にて肯定判定をした場合には、S367に進み、操作認可を禁止モードに切り替える。一方で、S366にて否定判定をした場合には、前回までの操作認可判定処理よる操作認可を維持したまま、当該判定処理を終了する。
 ここまで説明した第三実施形態によれば、第一実施形態と同様に、指Fを操作面32に近接させる単なる移動が操作者の意図に反してサブメニュー制御に関連付けられる事態は、生じ難くなる。したがって、第三実施形態による遠隔操作装置300も、優れた操作性を獲得できる。
 加えて第三実施形態のように、xy平面及びz軸方向のいずれかに沿って指Fを移動させる操作が、認可操作とされていてもよい。尚、第三実施形態において、トラックアイコン363が「第二画像部」,「選択画像部分」,及び「非ポインタ部」に相当し、オブジェクトレイヤが「第二画像レイヤ」に相当し、アイコン制御が「第二画像制御」に相当し、遠隔操作装置300が「操作装置」に相当する例を示したが、もちろん本開示はこれに限定されるものではない。
 (第四実施形態)
 本開示の第四実施形態は、第一実施形態のさらに別の変形例である。第四実施形態による操作制御回路33(図1参照)は、認可操作と実施的に同一の操作であって、図6Bの如く指Fを第一閾値距離Dth1よりも操作面32に近接させる操作を、禁止操作として記憶している。操作制御回路33は、許可モードである場合に、禁止操作がなされたことを条件として、当該許可モードから禁止モードへと、操作認可を切り替える。以下、第四実施形態にて操作制御回路33により実施される操作認可判定処理を、図25に基づいて詳細に説明する。
 S461では、タッチセンサ入力処理(図9参照)により更新された最新の操作状態を取得し、S462に進む。S462では、前回までの操作認可判定処理により設定された操作認可が禁止モードであり、且つS461にて取得した操作状態が非近接中から接触操作中に変化したか否かを判定する。S462にて肯定判定をした場合には、S463に進む。S463では、操作状態が非近接中から接触操作中に遷移したので、禁止モードから許可モードへと操作認可を切り替えて、操作認可判定処理を終了する。この結果、前述したように、図6Bの接触操作から図6Cの空中操作が許可される。
 これに対して、S462にて否定判定をした場合のS464では、前回までの操作認可判定処理による操作認可が許可モードであり、且つS461にて取得した操作状態が非近接中から接触操作中に変化したか否かを判定する。つまり、S464は、空中操作が許可されている許可モードにおいて、図7A~図7Cの如く非近接領域から空中操作領域を通過して接触操作領域へと指Fを移動させる操作が操作者によってなされたか否かを判定する処理である。
 そして、図25に示すS464にて肯定判定をした場合には、S465に進む。S465では、許可モードから禁止モードへと操作認可を切り替えて、操作認可判定処理を終了する。一方、S464にて否定判定をした場合には、前回までの操作認可判定処理よる操作認可を維持したまま、当該判定処理を終了する。
 ここまで説明した第四実施形態でも、第一実施形態と同様の効果を奏することにより、遠隔操作装置は、優れた操作性を獲得できる。加えて第四実施形態によれば、禁止操作によって許可モードから禁止モードへと切り替えられることで、図6Cの如く、指Fによる操作とマップ制御との関連付けは、中断される。故に、図6Bの如くポインタ制御を実施するために指Fを操作面32に接触させる途中に図6Cの如く指Fを空中領域に位置させる状態が存在しても図6Cのマップ制御関連付けられる事態は、生じ難くなる。また、図6Bの如く指Fを操作面32に接触させて指Fによるポインタ制御を終了した後に、指Fを操作面32から離間させる際の移動につき図6Cの空中操作領域に指Fが進入しても、操作者の意図に反してマップ制御に関連付けられる事態は、生じ難くなる。
 以上のように、ポインタ制御を開始する際に加えて当該操作を終了する際においても、操作者の意図に反したマップ64の移動が低減可能となることで、遠隔操作装置の操作性は一層向上する。尚、第四実施形態において、操作制御回路33が「禁止操作判定セクションあるいは手段」に、さらに相当する。
 (第五実施形態)
 本開示の第五実施形態は、第一実施形態のさらに別の変形例である。第五実施形態による操作制御回路33(図1参照)には、図2に示す近接センサ538が接続されている。近接センサ538は、操作者の掌と対面するようにパームレスト39の周縁部分に配置されている。近接センサ538は、予め規定された近接距離よりも近接センサ538に操作者の掌が近接することにより、オフ状態からオン状態となる。操作制御回路33は、近接センサ538がオン状態となる位置まで掌を当該センサ538に近接させる操作を、認可操作として記憶している。近接センサ538がオン状態である場合には、操作制御回路33は、空中操作の受付けの許可を行う許可モードとする。一方で、近接センサ538がオン状態である場合には、操作制御回路33は、空中操作の受付を禁止する禁止モードとする。以下、近接センサ538への操作により操作認可の切り替えが可能な形態において、当該制御回路33によって実施される操作認可判定処理を、図26に基づいて詳細に説明する。
 S561では、近接センサ538のオン及びオフ状態を取得しS562に進む。S562では、S561にて取得した近接センサ538の状態につき、オフ状態からオン状態への変化があったか否かを判定する。S562にて肯定判定をした場合には、S563に進む。S563では、禁止モードから許可モードへと操作認可を切り替えて、操作認可判定処理を終了する。
 S562にて否定判定をした場合のS564では、前回までの操作認可判定処理による操作認可が許可モードであり、且つS561にて取得した近接センサ538の状態につきオン状態からオフ状態への変化があったか否かを判定する。S564にて肯定判定をした場合には、S565に進む。S565では、許可モードから禁止モードへと操作認可を切り替えて、操作認可判定処理を終了する。一方で、S564にて否定判定をした場合には、前回までの操作認可判定処理よる操作認可を維持したまま、当該判定処理を終了する。
 ここまで説明した第五実施形態でも、近接センサ538への認可操作が操作面32に対しなされるまで、操作制御回路33における操作認可は、禁止モードとされ続ける。こうして指Fによる空中操作の受付けが中断されることにより、指Fを操作面32に近接させる移動が操作者の意図に反してマップ制御に関連付けられる事態は、生じ難くなる。
 一方で、近接センサ538への認可操作がなされることで、操作認可は、禁止モードから許可モードへと切り替わる。こうして空中操作の受付けが開始されることにより、操作者は、操作面32に対する指Fによる操作を継続したまま、空中操作及び接触操作にそれぞれ関連付けられた画像部のうちで所望する一方を選択したうえで、この選択した一方を操ることができる。以上のように、第一実施形態と同様の効果を奏する第五実施形態による操作装置も、優れた操作性を獲得できる。
 (第六実施形態)
 本開示の第六実施形態は、第四実施形態の変形例である。第六実施形態による操作制御回路33(図1参照)には、切替スイッチ(図示しない)が接続されている。切替スイッチは、図20Aのような操作面32を操作する指Fと異なる指にて操作が可能なように、当該操作面32に隣接して配置されている。切替スイッチは、操作者による押圧操作によってオン状態とオフ状態とを切り替える。そして、操作制御回路33は、切替スイッチをオン状態にする押圧操作を認可操作として記憶している。以下、切替スイッチへの操作により操作認可の切り替えが可能な形態において、当該制御回路33によって実施される操作認可判定処理を、図27に基づいて詳細に説明する。
 S661では、切替スイッチのオン及びオフ状態を取得しS662に進む。S662では、前回までの操作認可判定処理により設定された操作認可が禁止モードであり、且つS661にて取得した切替スイッチの状態がオフ状態からオン状態に変化したか否かを判定する。S662にて肯定判定をした場合には、S663に進み、禁止モードから許可モードへと操作認可を切り替えて、操作認可判定処理を終了する。
 S662にて否定判定をした場合のS664では、前回までの操作認可判定処理による操作認可が許可モードであり、且つS661にて取得した切替スイッチの状態がオン状態からオフ状態に変化したか否かを判定する。S664にて肯定判定をした場合には、S665に進む。S665では、許可モードから禁止モードへと操作認可を切り替えて、操作認可判定処理を終了する。一方で、S664にて否定判定をした場合には、前回までの操作認可判定処理よる操作認可を維持したまま、当該判定処理を終了する。
 ここまで説明したように、切替スイッチへの操作を認可操作とする第六実施形態でも、第四実施形態と同様の効果を奏するので、遠隔操作装置は、優れた操作性を獲得できる。尚、切替スイッチは機械式の構造あるいは抵抗膜式タッチパネルであってもよい。
 (第七実施形態)
 上記第一実施形態から第六実施形態では、車両に搭載される表示システムに用いられる遠隔操作装置に、本開示を適用した例を説明した。しかし、本開示は、表示スクリーンと一体的に構成される、所謂タッチパネル方式の操作装置にも、次の第七実施形態に示すように、適用可能である。本開示の第七実施形態について図28から図34を用いて説明する。図28は車両のセンターコンソール707を示した斜視図である。センターコンソール707にはタッチディスプレイパネル708が設けられている。図29は図28のセンターコンソール707の断面図である。図28,29に示す本実施形態におけるタッチディスプレイパネル708は、表示部をなすLCD709に操作面をなすタッチセンサ710が貼り付けられている。LCD709とタッチセンサ710は、センターコンソール707の意匠パネル711の開口部711aにはめ込まれている。
 タッチセンサ710は酸化インジウムなどからなる透明電極によって構成されている。よって、車両の乗員はタッチセンサ710の背面にあるLCD709の表示画像をタッチセンサ710越しに確認しながら、手などの操作体Fをタッチセンサ710に近接させて入力を行う。
 タッチセンサ710とLCD709はともに制御回路712に接続されており、タッチセンサ710への入力は制御回路712を介して、LCD709に表示された画像部の表示態様を変化させる。より具体的には、制御回路712は、タッチセンサ710に近接する指などの操作体Fの移動を検出する。また、制御回路712は、タッチセンサ710から操作体Fまでの距離d(図32等参照)に応じて増減する距離計測値をタッチセンサ710から取得する。尚、LCD709には、図30に示すように複数の画像が重なるように表示されている。
 図31は本実施形態における制御回路712で実行する判定内容を示したフローチャートである。制御回路712は、ステップS700において、制御回路712に接続されたタッチセンサ710及びその他の機器から各種情報を読み込み、ステップS701において後述する禁止モードと許可モードの何れかとなる条件が揃っているかどうかを判定する。そして、いずれか一方の条件が揃っていれば、当該モードに設定してステップS702へと進む。
 上記ステップS701において、制御回路712は、操作体によってなされた操作が所定の認可操作を服務ものであるかを判定し、所定の認可操作を含むものであると判定された場合に前記禁止モードを解除して、許可モードとする。ここで禁止モードとなる条件、許可モードとなる条件(認可操作)は、上述した第一~第六実施形態に記載された条件の中から適宜選択して採用するとよい。
 ステップS702において、操作面(本実施形態ではタッチセンサ710)から操作体Fまでの距離dが第一閾値距離Dth1未満か否かを判定する(図34参照)。操作面から操作体Fまでの距離が第一閾値距離Dth1未満であると判定した場合には、ステップ703へ進み、操作体Fの移動に基づいて複数の画像部のうちの第一画像部の表示態様を変化させる。具体的に本実施形態では、図34に示す指Fがタッチセンサ710から第一閾値距離Dth1(所定距離)以内に位置し、接触または接触しそうになっている場合は、図30に示すカーソル画像713を指Fの移動に基づいて上下左右に移動させるようにしている。尚、本実施形態における操作部をなすタッチセンサ710は、操作体Fがタッチセンサ710の表面に接触し、更にタッチセンサ710の表面を押圧した場合の圧力も感知できるように構成されている。加えて、操作体Fによってタッチセンサ710の表面が押し込まれた場合は、その時点でカーソル画像713が重畳していたポイントにおいて何らかの決定入力操作があったもの判定する。また、押圧可能でなくても、例えばダブルタップによって決定入力操作を行うようにしても良い。また、上記第一~第六実施形態のように、決定入力操作のためにタッチディスプレイパネルとは別体としてプッシュスイッチ等をセンターコンソール707に設けるようにしてもよい。
 また、図31に示すステップS702において操作部から操作体Fまでの距離が第一閾値距離Dth1以上であると判定した場合、ステップS704へと進み、更に、操作部から操作体Fまでの距離が第二閾値距離Dth2未満か否かを判定する。操作部から操作体Fまでの距離が第二閾値距離Dth2未満であると判定した場合には、ステップ705へ進み、上記S701において許可モードを判定していたか否かを再度判定する。そして許可モードであった場合には、ステップS706へと進み、複数の画像部のうち、上記第一画像部とは異なる第二画像部の表示態様を変化させる。具体的に本実施形態において、図33に示すように、指がタッチセンサ710から所定の範囲(第二閾値距離Dth2よりも近く、第一閾値距離Dth1よりも離れている状態)に位置している。この場合は、上記カーソル画像713が重畳されたマップ画像714を指の動きに基づいて上下左右にスライドさせて、LCD709に表示される範囲を変更させるようにしている。ステップS705で禁止モードであると判定された場合は、操作体Fによる入力によって第二画像の表示態様が変化させることなく、ステップS700に戻って処理を繰り返す。また、ステップS704において、図32に示すように、指がタッチセンサ710から所定の範囲よりも外(操作体Fとタッチセンサ710とが第二閾値距離Dth2よりも離れている状態)に位置していると判定されたとする。この場合でも、操作体Fによる入力によって第二画像の表示態様が変化させることなく、ステップS700に戻って処理を繰り返す。
 尚、上記禁止モードを、操作部から操作体Fまでの距離が第一閾値距離Dth1を超えている場合には操作体Fによる入力をLCD709に表示された画像部の表示態様に反映しない第1モードと呼ぶこともできる。そして、上記許可モードを、操作部から操作体Fまでの距離が第一閾値距離Dth1を超えている場合であっても操作体Fによる入力を画像部の表示態様に反映する第2モードと呼ぶこともできる。
 また、制御回路712で判定に用いられるパラメータとしての各閾値距離Dth1,Dth2とは関わりなく、操作部から操作体Fがz方向に所定距離はなれているか否かに基づいて、表示態様の切り替えの仕方を変えることに依拠して、上記禁止モードと許可モードを定義することもできる。具体的には、上記禁止モードを、操作部から操作体Fまでの距離dが所定距離を超えている場合と超えていない場合とでLCD709に表示される画像部の表示態様の切り替えに変化をつけない第1モードと呼ぶことができる。そして、上記許可モードを、操作部から操作体Fまでの距離が所定距離を超えている場合と超えていない場合とで画像部の表示態様の切り替えに変化をつける第2モードと呼ぶこともできる。
 更に、上記のように第1モード、第2モードを定義した場合、制御回路712を、許容操作の有無を判定して禁止モードと許可モードとを切り替える切替部であると呼ぶこともできる。
 尚、上記第七実施形態において、LCD709に表示させる画像部としてカーソル画像713とマップ画像714を例に挙げたが、もちろん本開示はこれに限定されるものではなく、上記第二実施形態にて説明したような複数のサブメニューの詳細ウインドイメージと、該サブメニュー内の設定ボタンなどの画像の表示態様を操作部と操作体との距離に応じて変更するようにしてもよい。
 また、上述した実施形態では、操作部として静電容量式のタッチセンサを用いるようにしたが、本開示はこれに限定されるものではなく、空中操作および接触操作が検出可能であれば、様々な操作部を採用することができる。例えば、操作者の手を赤外線カメラや可視光カメラによって撮影し、撮影された画像から操作パネル上における操作者の手の形、操作パネルと操作者の手との間の距離を推測するようにしても良い。
 尚、上記実施形態のように、タッチセンサへの入力によって認可操作を実行できるようにすると、別途認可操作ボタンなどを配置した場合と比べて操作者は認可操作を実行した後、途切れることなく空中操作を実行することができるため、利便性が高くなる。
 (他の実施形態)
 以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態では、静電容量方式のタッチセンサ31と操作制御回路33との協働によって、「検出セクションあるいは手段」に加えて「取得セクションあるいは手段」の機能が果たされていた。このように、静電容量方式のタッチセンサ31は、操作面32に沿ったx,y軸方向だけでなく、操作面32と実質的に直交するz軸方向にも指Fの動きを検出できる。故に、空中操作中における操作面32への指Fの近接状態と、接触操作中における操作面32への指Fの接触状態とを判別するための構成として、上述のタッチセンサ31は、好適なのである。
 上記実施形態では、操作面32に対する指Fの相対位置を示す値として、操作体距離d及びz座標が用いらえていた。こうした操作面32及び指F間の距離を示す操作体距離d及びz座標は、実質的に等価な値であり、タッチセンサ31によって検出される感度値と相関を有する値である。
 一方で、「取得セクションあるいは手段」の構成は、こうしたタッチセンサ31の表面上における三次元方向の入力位置座標を検出可能な静電容量方式のタッチセンサには限定されず、適宜変更されてよい。例えば、操作面近傍を撮影するカメラを操作制御回路に接続することで、画像解析によって操作体距離(又はz座標)を取得する「取得セクションあるいは手段」が構成されていてもよい。又は、赤外線によって操作体距離の計測が可能な赤外線センサを操作制御回路に接続することで、「取得セクションあるいは手段」が構成されていてもよい。さらに、赤外線センサ及び操作制御回路が協働で、「取得セクションあるいは手段」に加えて指Fによる操作を検出する「検出セクションあるいは手段」を兼ねていてもよい。またさらに、指Fによって印加される圧力を検知することで、指Fによる操作を検出する感圧方式のタッチセンサが、「検出セクションあるいは手段」として用いられていてもよい。
 また、指Fがタッチセンサ31の操作面32に直接に接触している状態に加えて操作面32から第一閾値距離Dth1(例えば0.5~1cm程度)まで浮いている状態も「接触操作」と定義したが、指Fがタッチセンサ31の操作面32に直接に接触している状態のみを「接触操作」と定義してもよいことは勿論である。
 上記第一~第三実施形態にて示した各表示画像60,260,360は、それぞれ表示画像の一例であって、適宜変更されてよい。また上記実施形態では、ポインタ62及びフォーカス262が「ポインタ部」に相当し、マップ64,サブメニュー265,及びトラックアイコン363等が「非ポインタ部」に相当していた。しかし、「ポインタ部」及び「非ポインタ部」に相当する画像部は、適宜変更されてよい。特に、「ポインタ部」に相当する画像部は、現在の操作位置に対応した表示スクリーン上の位置を示す機能を発揮可能であれば、ポインタ及びフォーカス等に限定されない。
 例えば、表示スクリーン上に表示される複数の「選択画像部分」のうちで操作位置に対応する位置に在る一つの表示態様を変化させることにより、「ポインタ部」の機能が果たされていてもよい。具体的には、上記第三実施形態のように複数のトラックアイコンが表示される形態であれば、「非ポインタ部」に相当するトラックアイコンが、「ポインタ部」に相当していてもよい。詳しく説明すると、表示スクリーン上にて現在の操作位置に対応する一つのトラックアイコンが、例えば誘目性の高い表示色への変更及び拡大等により、表示態様を変化させる。これにより、複数のトラックアイコンは、現在の操作位置に対応した表示スクリーン上の位置を示す機能を発揮することができる。尚、表示態様の変化の方法としては、例えば、表示スクリーン上での上下及び左右への振動及び点滅等が挙げられる。さらに、表示スクリーン上にて現在の操作位置に対応する一つを除いた他のトラックアイコンが、誘目性の低い表示色に変更されることにより、現在の操作位置が示されてもよい。
 上記第二実施形態では、の走行速度が10km/hを超えたか否かに基づいて、が走行状態にあるか否かが判定されていた。しかし、走行状態を判定するための閾値となる速度閾値は、適宜変更されてよい。例えば、速度閾値は、5km/hや0km/h等であってもよい。さらに、速度閾値は、10km/hよりも速い走行速度に設定されていてもよい。加えて、「走行中」と「停車中」との頻繁な変更を抑制するために、ヒステリシスが速度閾値に設けられていてもよい。
 上記第六実施形態では切替スイッチのオンオフ状態に基づいて、操作認可の禁止、許可を切替えているが、例えば前記タッチセンサ31の側方などに、静電容量方式の他のタッチセンサを配置し、この他のタッチセンサに指で直接触れるか或いはz軸方向にて指をかざすことにより前述の操作認可の禁止、許可を行うようにしてもよい。
 上記実施形態では、種々の「認可操作」を例示したが、「認可操作」は、上述の操作に限定されない。例えば、接触操作領域内及び空中操作領域内のいずれかにて複数の指Fを移動させる操作が、認可操作とされていてもよい。又は、接触操作領域及び空中操作領域内にて特定の図形を描く操作が、認可操作とされていてもよい。さらに、複数の操作が認可操作として記憶されていてもよい。また、これらの「認可操作」に対応する指Fをカメラにて撮像し、このカメラ画像により前述の操作認可の禁止、許可を行うようにしてもよい。
 上記実施形態では、液晶ディスプレイ51が、「表示スクリーン」を形成していた。しかし、プラズマディスプレパネルを用いた表示器及び有機ELを用いた表示器等が「表示スクリーン」を形成していてもよい。さらに、例えばウィンドウシールド及びインスツルメントパネルの上面に設けたコンバイナ等を「表示スクリーン」とし、プロジェクタ等の投影部あるいは手段によって、これらウィンドウシールド及びコンバイナ等に画像を投影する表示装置が表示システムに含まれていてもよい。
 上記実施形態では、認可操作がなされたか否かを判定する処理及び許可モードと禁止モードとを切り替える処理は、操作制御回路33によって実施されていた。加えて操作制御回路33は、指Fの移動に伴う入力位置座標の変化につき、その変化の前後における二点のz軸座標が第一感度閾値Hth1を超えているか否かに基づき、制御対象とされる画像部を表示制御回路53に切り替えさせる機能を果たしていた。換言すれば、操作制御回路33は、接触操作が検出された場合には第一画像部を含む表示画像を、空中操作が検出された場合には第二画像部を含む表示画像を、それぞれ表示制御回路53から液晶ディスプレイ51に送出させる機能を果たしていた。こうした「認可操作判定セクションあるいは手段」、「モード切替セクションあるいは手段」、「画像部切替セクションあるいは手段」、及び「送出制御セクションあるいは手段」等の機能を果たす操作制御回路33は、一つのマイコン等によって構成されていてもよく、又は複数の回路又は装置を適宜組み合わせることによって構成されていてもよい。同様に、「表示制御セクションあるいは手段」の機能を果たす表示制御回路53も、一つのマイコン等によって構成されていてもよく、又は複数の回路又は装置を適宜組み合わせることによって構成されていてもよい。
 上記実施形態では、操作認可が禁止モードである場合に、選択レイヤを「なし」とすることにより、指Fによる空中操作によってポインタ等が移動しないようにされていた。しかし、禁止モードにおいて、指による操作によってポインタ等の画像部の表示態様が変化させないようにする方法は、上記の実施形態に限定されない。
 例えば上記実施形態の変形例1では、操作制御回路33は、「取得決定セクションあるいは手段」として、入力位置座標のz軸方向の感度値が第一感度閾値Hth1を跨いで変化したことに基づいて、表示制御回路53に座標信号を取得させるか否かを決定してもよい。こうした形態では、操作制御回路33は、「取得制御セクションあるいは手段」として、許可モードにて座標信号の取得が許可されるまで表示制御回路53による座標信号の取得を中断させ、許可決定をしたことに基づいて表示制御回路53に座標信号の取得を開始させる。
 また上記実施形態の変形例2では、操作制御回路33は、「出力決定セクションあるいは手段」として、入力位置座標のz軸方向の感度値が第一感度閾値Hth1を跨いで変化したことに基づいて、表示制御回路53に座標信号を出力するか否かを決定してもよい。こうした形態では、操作制御回路33は、「出力制御セクションあるいは手段」として、許可モードにて座標信号の出力が許可されるまで表示制御回路53への座標信号の出力を中断し、許可決定をしたことに基づいて表示制御回路53への座標信号の出力を開始する。
 さらに上記実施形態の変形例3では、操作制御回路33は、「実施決定セクションあるいは手段」として、入力位置座標のz軸方向の感度値が第一感度閾値Hth1を跨いで変化したことに基づいて、表示制御回路53にマップ制御等を実施させるか否かを決定してもよい。こうした形態では、操作制御回路33は、「実施制御セクションあるいは手段」として、許可モードにてマップ制御等の実施が許可されるまで表示制御回路53によるマップ制御等の実施を中断させ、許可決定をしたことに基づいて表示制御回路53にマップ制御等を開始させる。
 さらに加えて、上記実施形態の変形例4では、操作制御回路33は、「描画制御セクションあるいは手段」として、指Fが空中操作領域から接触操作領域に向かう状態遷移の途上である場合には、空中操作に関連付けられる画像部の描画を表示制御回路53に禁止させる制御を実施してもよい。以上の制御により、空中操作に関連付けられる画像部が表示スクリーン52から消失するので、当該画像部についての操作者の意図しない移動は、生じ得ない。
 上記実施形態では、車両に搭載される表示システムに用いられる、遠隔操作装置あるいは表示画面と一体的に構成される所謂タッチパネル方式の操作装置に、本発明を適用した例を説明した。しかし、本開示は車両用に限らず、各種輸送用機器及び各種情報端末等に用いられる表示システム全般に、本開示を適用された操作装置は、使用可能である。
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (27)

  1.  表示部(52)に表示される画像部(61)を操作するための操作体(F)による入力が、操作部(32)に対してなされる操作装置であって、
     前記操作部に沿って前記操作体を移動させる移動操作を検出する検出セクション(31,33,S121,S221,S321)と、
     前記操作部から前記操作体までの操作体距離(d)に応じて増減する計測値を取得する取得セクション(31,33,S122,S222,S322)と、
     前記取得セクションによって取得された前記計測値に基づいて、前記操作体距離が予め規定された閾値距離(Dth1)未満である場合に、前記画像部としての第一画像部(62,262)の表示態様を変化させる第一画像制御に前記検出セクションによって検出される前記移動操作を関連付け、前記操作体距離が前記閾値距離を超える場合に、前記第一画像部とは異なる前記画像部としての第二画像部(64,265,363)の表示態様を変化させる第二画像制御に前記検出セクションによって検出される前記移動操作を関連付ける関連付けセクション(33,S123~S126及びS144~S147,S227~S230及びS244~S247,S323~S326及びS144~S147)と、
     前記操作体によってなされる特定の操作を認可操作として予め記憶し、前記認可操作がなされたか否かを判定する認可操作判定セクション(33,S162,S262~S266,S364)と、
     前記移動操作と前記第二画像制御との前記関連付けセクションによる関連付けを禁止する禁止モードと、当該関連付けを許可する許可モードとを切り替えるモード切替セクションであって、前記禁止モードである場合に前記認可操作がなされたと前記認可操作判定セクションによって判定されたことを条件として、当該禁止モードから前記許可モードへと切り替えるモード切替セクション(33,S163,S267,S365)と、
     を備える操作装置。
  2.  前記検出セクションは、前記移動操作と共に前記操作体距離を検出することにより、前記取得セクションを兼ねる請求項1に記載の操作装置。
  3.  前記関連付けセクションは、前記移動操作を前記第一画像制御に関連付けたことを条件として、前記閾値距離を長くする請求項1又は2に記載の操作装置。
  4.  前記認可操作判定セクションは、前記閾値距離よりも前記操作部に近接する領域への前記操作体の移動を、前記認可操作として記憶する請求項1~3のいずれか一項に記載の操作装置。
  5.  前記関連付けセクションは、前記操作体距離につき、前記閾値距離としての第一閾値距離(Dth1)を超え且つ前記第一閾値距離よりも長い第二閾値距離(Dth2)未満である場合に、前記操作体による操作を前記第二画像制御に関連付け、
     前記認可操作判定セクション(33,S262~S266)は、前記第二閾値距離よりも前記操作部に近接する領域に、予め規定された時間、前記操作体を継続して位置させる操作を、前記認可操作として記憶する請求項1~3のいずれか一項に記載の操作装置。
  6.  前記認可操作判定セクション(33,S364)は、前記操作部に沿った前記操作体の移動を、前記認可操作として記憶する請求項1~3のいずれか一項に記載の操作装置。
  7.  前記認可操作判定セクションは、前記操作部から離間する方向に沿った前記操作体の移動を、前記認可操作として記憶する請求項1~3のいずれか一項に記載の操作装置。
  8.  前記操作体によってなされる特定の操作を禁止操作として予め記憶し、前記操作部に対して前記禁止操作がなされたか否かを判定する禁止操作判定セクション(33,S464)、をさらに備え、
     前記モード切替セクション(33,S465)は、前記許可モードである場合に、前記禁止操作がなされたと前記禁止操作判定セクションによって判定されたことを条件として、当該許可モードから前記禁止モードへと切り替える請求項1~7のいずれか一項に記載の操作装置。
  9.  前記禁止操作判定セクションは、前記閾値距離よりも前記操作部に近接する領域への前記操作体の移動を、前記禁止操作として記憶する請求項8に記載の操作装置。
  10.  車両に搭載される操作装置であって、
     前記車両が走行状態にあるか否かを判定する走行状態判定セクション(33,S224)、をさらに備え、
     前記関連付けセクション(33,S225)は、前記走行状態判定セクションによって前記車両が走行状態にあると判定された場合に、前記閾値距離を短くする請求項1~9のいずれか一項に記載の操作装置。
  11.  車両に搭載される操作装置であって、
     前記車両が走行状態にあるか否かを判定する走行状態判定セクション(33,S224)、をさらに備え、
     前記関連付けセクション(33,S225)は、
     前記操作体距離につき、前記閾値距離としての第一閾値距離(Dth1)を超え且つ前記第一閾値距離よりも長い第二閾値距離(Dth2)未満である場合に、前記操作体による操作を前記第二画像制御に関連付け、
     さらに前記走行状態判定セクションによって前記車両が走行状態にあると判定された場合に、前記第二閾値距離を長くする請求項1~10のいずれか一項に記載の操作装置。
  12.  前記関連付けセクションは、
     前記操作部における現在の操作位置に対応した前記表示部上の位置を示すポインタ部を前記第一画像部とし、
     前記ポインタ部によって選択される選択画像部分(63)を含む非ポインタ部を前記第二画像部とする請求項1~11のいずれか一項に記載の操作装置。
  13.  前記第二画像部の描画される第二画像レイヤ(L2)及び前記第一画像部の描画される第一画像レイヤ(L1)を含む複数の描画レイヤを重畳させてなる表示画像(60,260,360)が前記表示部に表示され、当該表示画像に含まれる前記画像部を操るための操作が前記操作部に対してなされる操作装置であって、
     前記関連付けセクションは、
     前記操作体距離が前記閾値距離未満である場合に、前記第一画像レイヤを操作の対象となる前記描画レイヤとして選択することにより、前記移動操作を前記第一画像制御に関連付け、
     前記操作体距離が前記閾値距離を超える場合に、前記第二画像レイヤを操作の対象となる前記描画レイヤとして選択することにより、前記移動操作を前記第二画像制御に関連付ける請求項1~12のいずれか一項に記載の操作装置。
  14.  前記検出セクションは、前記操作部と前記操作体との間に蓄えられる静電容量に基づいて前記移動操作を検出する静電容量方式であって、前記操作部から前記操作体までの前記操作体距離を前記静電容量に基づいて取得することにより、前記取得セクションを兼ねる請求項1~13のいずれか一項に記載の操作装置。
  15.  表示部(52)に表示される画像部(61)を操作するための操作体(F)による入力が、操作部(32)に対してなされる操作装置であって、
     前記操作部に沿って前記操作体を移動させる移動操作を検出し、且つ、当該移動操作が、前記操作体を前記操作部に接触させた状態でなされる接触操作及び前記操作部から離間させた状態でなされる空中操作のいずれであるかを決定する検出セクション(33,S123~S126)と、
     前記検出セクションにより検出された前記接触操作及び前記空中操作を、互いに異なる前記画像部の制御に関連付ける関連付けセクション(33,S144~S147)と、
     前記操作体によってなされる特定の操作を認可操作として予め記憶し、前記認可操作がなされたか否かを判定する判定セクション(33,S562及びS564)と、
     前記判定セクションにより前記認可操作がなされたと判定された場合に前記空中操作と前記画像部の制御との関連付けを許可する許可モードとし、前記認可操作がなされないと判定された場合に前記関連付けを禁止する禁止モードとするモード切替セクション(33,S563及びS565)と、
     を備える操作装置。
  16.  操作体(F)による操作部(32)への入力に基づく信号を、表示部(52)の表示を制御する表示制御セクション(53)に取得させることにより、前記表示部に表示される画像部
    (61)の前記操作体による操作を可能にする操作装置であって、
     前記操作部に対する前記操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクション(31,33)と、
     前記検出セクションによって検出される前記入力位置座標のうち、前記操作部及び前記操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値(Hth1)を超えているか否かに基づいて、前記表示制御セクションにて制御の対象とされる前記画像部を切り替えさせる画像部切替セクション(33)と、
     前記操作体の移動に伴い変化する前記入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が前記閾値を跨いで変化したことに基づいて、前記入力位置座標を示す前記信号を前記表示制御セクションに取得させるか否かを決定する取得決定セクション(33)と、
     前記取得決定セクションによって前記信号の取得を許可する許可決定がなされるまで前記表示制御セクションによる前記信号の取得を中断させ、前記許可決定がなされたことに基づいて前記表示制御セクションに前記信号の取得を開始させる取得制御セクション(33)と、
     を備える操作装置。
  17.  操作体(F)による操作部(32)への入力に基づく信号を、表示部(52)の表示を制御する表示制御セクション(53)に取得させることにより、前記表示部に表示される画像部(61)の前記操作体による操作を可能にする操作装置であって、
     前記操作部に対する前記操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクション(31,33)と、
     前記検出セクションによって検出される前記入力位置座標のうち、前記操作部及び前記操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値(Hth1)を超えているか否かに基づいて、前記表示制御セクションにて制御の対象とされる前記画像部を切り替えさせる画像部切替セクション(33)と、
     前記操作体の移動に伴い変化する前記入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が前記閾値を跨いで変化したことに基づいて、前記入力位置座標を示す前記信号を前記表示制御セクションに出力するか否かを決定する出力決定セクション(33)と、
     前記出力決定セクションによって前記信号の出力を許可する許可決定がなされるまで前記表示制御セクションへの前記信号の出力を中断し、前記許可決定がなされたことに基づいて前記表示制御セクションへの前記信号の出力を開始する出力制御セクション(33)と、
     を備える操作装置。
  18.  操作体(F)による操作部(32)への入力に基づく信号を、表示部(52)の表示を制御する表示制御セクション(53)に取得させることにより、前記表示部に表示される画像部
    (61)の前記操作体による操作を可能にする操作装置であって、
     前記操作部に対する前記操作体の相対位置を、三次元方向の入力位置座標として検出する検出セクション(31,33)と、
     前記検出セクションによって検出される前記入力位置座標のうち、前記操作部及び前記操作体間の距離に対応するz軸方向の座標を示す値が、予め規定された閾値(Hth1)を超えているか否かに基づいて、前記表示制御セクションにて制御の対象とされる前記画像部を切り替えさせる画像部切替セクション(33)と、
     前記操作体の移動に伴い変化する前記入力位置座標について、その変化の前後における二点のz軸方向の座標を示す値が前記閾値を跨いで変化したことに基づいて、前記入力位置座標に基づく前記画像部の制御を前記表示制御セクションに実施させるか否かを決定する実施決定セクション(33)と、
     前記実施決定セクションによって前記画像部の制御を許可する許可決定がなされるまで前記表示制御セクションによる前記画像部の制御を中断させ、前記許可決定がなされたことに基づいて前記信号に対応する前記画像部の制御を前記表示制御セクションに開始させる実施制御セクション(33)と、
     を備える操作装置。
  19.  表示部(52)に送出される表示画像(60)を描画する表示制御セクション(53)に接続され、操作体(F)による操作部(32)への入力によって、前記表示画像に含まれる画像部(61)の操作が可能な操作装置であって、
     前記操作部への前記操作体の接触状態及び近接状態を検出する検出セクション(31,33)と、
     前記検出セクションによって前記接触状態が検出された場合には、当該接触状態に対応する第一画像部が含まれる前記表示画像を前記表示制御セクションから前記表示部に送出させ、前記検出セクションによって前記近接状態が検出された場合には、当該近接状態に対応した第二画像部を含む前記表示画像を前記表示制御セクションから前記表示部に送出させる送出制御セクション(33)と、
     前記検出セクションによって検出される前記操作体が前記近接状態から前記接触状態に向かう状態遷移の途上である場合に、前記表示画像への前記第二画像部の描画を前記表示制御セクションに禁止させる描画制御セクション(33)と、
     を備える操作装置。
  20.  前記検出セクションは、前記操作部の表面上における三次元方向の入力位置座標を検出可能であり、
     前記近接状態及び前記接触状態は、前記検出セクションによって検出される前記入力位置座標のうちのz軸方向の座標に対応している請求項19に記載の操作装置。
  21.  前記描画制御セクションは、前記接触状態において、前記操作部の前記表面上におけるx軸方向の座標及びy軸方向の座標の少なくとも一方が検出されたことに基づいて、前記表示画像への前記第一画像部の描画を前記表示制御セクションに開始させる請求項20に記載の操作装置。
  22.  前記検出セクションは、静電容量式のタッチセンサである請求項15~21のいずれか一項に記載の操作装置。
  23.  前記操作部は、前記表示部から離れて位置し、前記表示部に表示される前記画像部を遠隔操作するための前記操作体による操作を検出する請求項1~22のいずれか一項に記載の操作装置。
  24.  車両に搭載される請求項1~23のいずれか一項に記載の操作装置。
  25.  操作体(F)によって操作され、表示部(709)に表示される複数の画像部(713,714)の表示態様を変化させる操作装置であって、
     前記操作体による入力がなされる操作面(710)と、
     前記操作面に近接する前記操作体の移動を検出し、前記操作面から前記操作体までの距離に応じて増減する距離計測値(d)を取得し、前記操作面から前記操作体までの距離(d)が閾値距離(Dth1)未満であると判定した場合に、前記操作体の移動に基づいて前記複数の画像部のうちの第一画像部(713)の表示態様を変化させ、前記操作面から前記操作体までの距離が前記閾値距離以上である場合に、前記複数の画像部のうち、前記第一画像部とは異なる第二画像部(714)の表示態様を変化させる制御回路(712)とを備え、
     前記制御回路は、更に前記操作体による入力によって前記第二画像の表示態様が変化することを禁止する禁止モードを設定し、前記操作体によってなされる操作が所定の認可操作であるか否かを判定し、前記認可操作がなされた場合に前記禁止モードを解除する操作装置。
  26.  操作体(F)によって操作され、表示部(709)に表示される複数の画像部(713,714)の表示態様を変化させる操作装置であって、
     前記操作体による入力がなされる操作面(710)と、
     前記操作面に近接する前記操作体の移動を検出し、前記操作面から前記操作体までの距離(d)に応じて増減する距離計測値を取得し、前記操作面から前記操作体までの距離が閾値距離(Dth1)未満である否かを判定し、前記操作面から前記操作体までの距離が閾値を超えている場合には前記操作体による入力を前記画像部の表示態様に反映しない禁止モードを設定し、前記操作体によってなされる操作が所定の認可操作であるか否かを判定し、前記認可操作がなされた場合に前記操作面から前記操作体までの距離が閾値を超えている場合であっても前記操作体による入力を前記画像部の表示態様に反映する許可モードを設定する制御回路(712)と、
    を備える操作装置。
  27.  操作体(F)によって操作され、表示部(709)に表示される複数の画像部(713,714)の表示態様を切り替える操作装置であって、
     前記操作体による入力がなされる操作面(710)と、
     前記操作面に近接する前記操作体の移動を検出し、前記操作面から前記操作体までの距離(d)に応じて増減する距離計測値を取得し、前記操作面から前記操作体までの距離が所定距離を超えている場合と超えていない場合とで前記画像部の表示態様の切り替えに変化をつけない第1モードから、前記操作面から前記操作体までの距離が前記所定距離を超えている場合と超えていない場合とで前記画像部の表示態様の切り替えに変化をつける第2モードへ、前記操作体による操作に基づいてモード切り替えを行う制御回路(712)と、
    を備えている操作装置。
PCT/JP2013/004951 2012-08-23 2013-08-21 操作装置 WO2014030352A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112013004134.0T DE112013004134T5 (de) 2012-08-23 2013-08-21 Bedienvorrichtung
CN201380043079.XA CN104583723B (zh) 2012-08-23 2013-08-21 操作装置
KR1020157004564A KR101655291B1 (ko) 2012-08-23 2013-08-21 조작 장치
US14/414,966 US9489500B2 (en) 2012-08-23 2013-08-21 Manipulation apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-184516 2012-08-23
JP2012184516 2012-08-23
JP2013-169696 2013-08-19
JP2013169696A JP5812054B2 (ja) 2012-08-23 2013-08-19 操作デバイス

Publications (1)

Publication Number Publication Date
WO2014030352A1 true WO2014030352A1 (ja) 2014-02-27

Family

ID=50149678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004951 WO2014030352A1 (ja) 2012-08-23 2013-08-21 操作装置

Country Status (6)

Country Link
US (1) US9489500B2 (ja)
JP (1) JP5812054B2 (ja)
KR (1) KR101655291B1 (ja)
CN (1) CN104583723B (ja)
DE (1) DE112013004134T5 (ja)
WO (1) WO2014030352A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866088A (zh) * 2014-12-22 2015-08-26 北汽福田汽车股份有限公司 汽车娱乐主机、汽车娱乐主机控制方法及装置
US9594466B2 (en) 2013-04-02 2017-03-14 Denso Corporation Input device
CN107111397A (zh) * 2014-12-18 2017-08-29 奥迪股份公司 用于在不同的操作模式中运行机动车的操作装置的方法以及操作装置和机动车
US9778764B2 (en) 2013-04-03 2017-10-03 Denso Corporation Input device

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772804B2 (ja) 2012-12-03 2015-09-02 株式会社デンソー 操作デバイス、及び操作デバイスの操作教示方法
JP6221332B2 (ja) * 2013-05-02 2017-11-01 船井電機株式会社 操作装置及び情報処理装置
JP6179253B2 (ja) 2013-08-02 2017-08-16 株式会社デンソー 入力装置
US20170031515A1 (en) * 2014-04-15 2017-02-02 Sharp Kabushiki Kaisha Input device
US10120465B2 (en) * 2014-05-14 2018-11-06 Linfiny Corporation Information processing apparatus, information processing method, and program
US10579232B2 (en) * 2014-07-30 2020-03-03 Metra Electronics Corporation Touchscreen-based vehicle interface
JP6337715B2 (ja) * 2014-09-19 2018-06-06 コニカミノルタ株式会社 画像形成装置およびプログラム
CN107484431B (zh) * 2015-03-04 2018-10-02 有限会社Mtec 半导体基板的制造方法
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
JP2017037383A (ja) * 2015-08-07 2017-02-16 富士通株式会社 電子機器およびプログラム
WO2017208637A1 (ja) * 2016-05-31 2017-12-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6597506B2 (ja) * 2016-07-19 2019-10-30 株式会社デンソー 車両用操作装置
JP6558380B2 (ja) * 2017-01-23 2019-08-14 トヨタ自動車株式会社 車両用入力装置、入力装置、及び、車両用入力装置の制御方法
JP6565944B2 (ja) * 2017-01-23 2019-08-28 トヨタ自動車株式会社 車両用入力装置、及び、車両用入力装置の制御方法
JP6885289B2 (ja) * 2017-09-29 2021-06-09 トヨタ自動車株式会社 表示制御装置
JP2019124979A (ja) * 2018-01-11 2019-07-25 株式会社エースプロ 位置検出装置、位置検出方法、射撃ゲーム装置、および射撃ゲーム方法
US20190220185A1 (en) * 2018-01-12 2019-07-18 Mitutoyo Corporation Image measurement apparatus and computer readable medium
CN108109581B (zh) * 2018-01-16 2018-12-25 深圳鑫亿光科技有限公司 交互式led显示装置及其显示方法
US11301087B2 (en) * 2018-03-14 2022-04-12 Maxell, Ltd. Personal digital assistant
US11220182B1 (en) * 2021-04-30 2022-01-11 Fisker Inc. Rotating vehicle center information display with stationary buttons and touch bar
FR3124872A1 (fr) * 2021-07-02 2023-01-06 Faurecia Interieur Industrie Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299384A (ja) * 2006-05-03 2007-11-15 Mitsubishi Electric Research Laboratories Inc コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム
JP2010134610A (ja) * 2008-12-03 2010-06-17 Toshiba Corp 入力装置
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012068884A (ja) * 2010-09-22 2012-04-05 Kyocera Corp 電子機器
JP2012133525A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2686440B1 (fr) 1992-01-17 1994-04-01 Sextant Avionique Dispositif de gestion multimode d'un curseur sur l'ecran d'un dispositif d'affichage.
JPH1164026A (ja) 1997-08-12 1999-03-05 Fujitsu Ten Ltd ナビゲーション装置
JP4803568B2 (ja) * 2001-03-30 2011-10-26 ルネサスエレクトロニクス株式会社 半導体集積回路の検査装置および検査方法
JP2006017478A (ja) * 2004-06-30 2006-01-19 Xanavi Informatics Corp ナビゲーション装置
US20060244733A1 (en) * 2005-04-28 2006-11-02 Geaghan Bernard O Touch sensitive device and method using pre-touch information
JP2008051743A (ja) * 2006-08-28 2008-03-06 Funai Electric Co Ltd ナビゲーション装置
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
JP2009116583A (ja) 2007-11-06 2009-05-28 Ricoh Co Ltd 入力制御装置および入力制御方法
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
KR101297144B1 (ko) 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
JP5282661B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9323398B2 (en) * 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
JP5593655B2 (ja) 2009-08-31 2014-09-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101092722B1 (ko) 2009-12-02 2011-12-09 현대자동차주식회사 차량의 멀티미디어 시스템 조작용 사용자 인터페이스 장치
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5652652B2 (ja) * 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
JP2012155506A (ja) * 2011-01-26 2012-08-16 Panasonic Corp 情報端末、及び画面部品選択方法
JP2012247911A (ja) * 2011-05-26 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN102253749A (zh) * 2011-07-18 2011-11-23 华为终端有限公司 触摸屏及其输入控制方法
US9280282B2 (en) * 2012-05-30 2016-03-08 Huawei Technologies Co., Ltd. Touch unlocking method and apparatus, and electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299384A (ja) * 2006-05-03 2007-11-15 Mitsubishi Electric Research Laboratories Inc コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム
JP2010134610A (ja) * 2008-12-03 2010-06-17 Toshiba Corp 入力装置
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012068884A (ja) * 2010-09-22 2012-04-05 Kyocera Corp 電子機器
JP2012133525A (ja) * 2010-12-21 2012-07-12 Sony Corp 画像表示制御装置および画像表示制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9594466B2 (en) 2013-04-02 2017-03-14 Denso Corporation Input device
US9778764B2 (en) 2013-04-03 2017-10-03 Denso Corporation Input device
CN107111397A (zh) * 2014-12-18 2017-08-29 奥迪股份公司 用于在不同的操作模式中运行机动车的操作装置的方法以及操作装置和机动车
CN107111397B (zh) * 2014-12-18 2019-10-08 奥迪股份公司 用于在不同的操作模式中运行机动车的操作装置的方法以及操作装置和机动车
CN104866088A (zh) * 2014-12-22 2015-08-26 北汽福田汽车股份有限公司 汽车娱乐主机、汽车娱乐主机控制方法及装置

Also Published As

Publication number Publication date
US20150205943A1 (en) 2015-07-23
JP2014059863A (ja) 2014-04-03
CN104583723A (zh) 2015-04-29
KR20150038233A (ko) 2015-04-08
KR101655291B1 (ko) 2016-09-07
JP5812054B2 (ja) 2015-11-11
CN104583723B (zh) 2016-12-28
US9489500B2 (en) 2016-11-08
DE112013004134T5 (de) 2015-05-07

Similar Documents

Publication Publication Date Title
JP5812054B2 (ja) 操作デバイス
US9778764B2 (en) Input device
US20110128164A1 (en) User interface device for controlling car multimedia system
JP5933824B2 (ja) 車両用電子装置
WO2014162697A1 (ja) 入力装置
US20180307405A1 (en) Contextual vehicle user interface
KR101491169B1 (ko) 차량의 탑재기기 조작 장치 및 그 제어 방법
WO2013154194A1 (ja) 表示装置
WO2014054208A1 (ja) 操作装置
JP2015085807A (ja) 車載用表示システム
WO2013153750A1 (ja) 表示システム、表示装置、及び操作装置
WO2014087604A1 (ja) 操作装置、及び操作装置の操作教示方法
JP2008009596A (ja) 入力装置
WO2014162698A1 (ja) 入力装置
WO2017188098A1 (ja) 車載用情報処理システム
WO2016031148A1 (ja) 車両用タッチパッドおよび車両用入力インターフェイス
JP5950851B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP2018010583A (ja) 操作支援装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13831472

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14414966

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120130041340

Country of ref document: DE

Ref document number: 112013004134

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 20157004564

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 13831472

Country of ref document: EP

Kind code of ref document: A1