WO2021049083A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2021049083A1
WO2021049083A1 PCT/JP2020/016827 JP2020016827W WO2021049083A1 WO 2021049083 A1 WO2021049083 A1 WO 2021049083A1 JP 2020016827 W JP2020016827 W JP 2020016827W WO 2021049083 A1 WO2021049083 A1 WO 2021049083A1
Authority
WO
WIPO (PCT)
Prior art keywords
presentation
auditory
tactile
user
tactile presentation
Prior art date
Application number
PCT/JP2020/016827
Other languages
English (en)
French (fr)
Inventor
剛史 大西
史明 廣瀬
裕真 中井
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Priority to DE112020004273.1T priority Critical patent/DE112020004273T5/de
Priority to US17/640,497 priority patent/US11829532B2/en
Publication of WO2021049083A1 publication Critical patent/WO2021049083A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Definitions

  • the present invention relates to a control device, a control method, and a program.
  • Patent Document 1 discloses a device that outputs feedback using vibration and sound in response to a user's operation on an operation surface.
  • Patent Document 1 when feedback using a sensory stimulus is output for an operation by a user, the feedback is surely perceived by the user, and the feedback is not disadvantageous to the user. It is important to control it.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a mechanism capable of realizing feedback that further improves operability.
  • a tactile presentation that presents a stimulus via a tactile sense.
  • the control unit is capable of perceiving at least one of the tactile presentation and the auditory presentation to the user of the input unit.
  • a control device that controls the displacement indicating the difference from the reference position of the contact region related to the tactile presentation and the sound intensity related to the auditory presentation so as to be within an appropriate range that is not unpleasant for the user. Is provided.
  • a stimulus is presented via a sense of touch.
  • the control includes controlling the tactile presentation and the auditory presentation that presents the stimulus through the auditory sense, and the control is perceptible to the user of the input unit at least one of the tactile presentation and the auditory presentation.
  • the displacement indicating the difference from the reference position of the contact region related to the tactile presentation and the sound intensity related to the auditory presentation are controlled so as to be an appropriate range that is not unpleasant for the user.
  • a control method is provided that further includes that.
  • the computer when it is determined that the computer has been operated on the input unit having the contact area in which the object comes into contact, the computer is stimulated through the sense of touch.
  • a tactile presentation that presents the tactile sensation and a control function that controls the auditory presentation that presents a stimulus via the auditory sense are realized, and at least one of the tactile sensation presentation and the auditory presentation uses the input unit in the control function.
  • Displacement indicating the difference from the reference position of the contact region related to the tactile presentation and the sound related to the auditory presentation so as to be an appropriate range that is perceptible to the user and not unpleasant to the user.
  • a program is provided that controls the intensity.
  • FIG. 1 is a diagram showing a configuration example of a system 1 according to an embodiment of the present invention.
  • the system 1 according to the present embodiment may include an input device 100, a control device 200, and an acoustic output device 300.
  • the input device 100 detects a user's input operation to the system 1 and outputs information related to the input operation to the control device 200. Further, the input device 100 according to the present embodiment performs tactile presentation that presents a stimulus via the tactile sensation of the user who has performed the input operation, based on the control signal output by the control device 200.
  • the input device 100 may include, for example, an input unit 110, a detection unit 120, a tactile presentation unit 130, and a support unit 140, as shown in FIG.
  • the input unit 110 is configured for the user to perform an input operation, and has a contact area 111 with which an object comes into contact during the input operation.
  • the above-mentioned object may be, for example, a part of the body such as a user's finger, a pen-shaped tool that the user grasps and uses, or the like.
  • the user inputs various commands to the system 1 by performing a pressing operation or a tracing operation on the contact area 111 using a finger or the above tool.
  • the input unit 110 according to the present embodiment may be, for example, various touch panels.
  • the detection unit 120 detects the contact of the object with the contact area 111 of the input unit 110, and outputs the information related to the contact of the object to the control device 200.
  • the detection unit 120 according to the present embodiment may be, for example, a pressure-sensitive sensor that converts a change in pressure that changes with a user's input operation to the contact area 111 into an electric signal. Further, the detection unit 120 may be a capacitance sensor that converts a change in capacitance that changes with the input operation of the user with respect to the contact region 111 into an electric signal.
  • the tactile presentation unit 130 is configured to present a stimulus through the tactile sensation of the user.
  • the tactile presentation unit 130 according to the present embodiment determines, for example, that the detection unit 120 has detected that the object has come into contact with the contact area 111 of the input unit 110, that is, the operation on the input unit 110 has been performed. In this case, the tactile presentation may be performed based on the control signal output by the control device 200.
  • the tactile presentation unit 130 may perform tactile presentation using, for example, a vibration stimulus.
  • the tactile presentation unit 130 is various actuators such as an eccentric motor (ERM: Eccentric Rotating Mass), a linear vibrator (LRA: Linear Resonant Actuator), and a piezo (piezoelectric) element capable of generating vibration. You may.
  • the tactile presentation unit 130 presents a tactile sensation accompanied by a temperature change, a tactile sensation related to a force sensation (for example, a sensation of being pushed by an object, a sensation of being in contact with an object, or a sensation of being tightened).
  • the configuration may be such that the presentation is performed, or the tactile presentation related to the skin sensation (for example, the presentation of a rough sensation or the presentation of a slippery sensation) may be performed.
  • the tactile presentation unit 130 according to the present embodiment may have various configurations according to the characteristics of the tactile presentation to be presented.
  • the support unit 140 has a configuration that supports the input unit 110, the detection unit 120, and the tactile presentation unit 130.
  • the support portion 140 according to the present embodiment is formed of a material and a shape according to the specifications of the system 1.
  • Control device 200 The control device 200 according to the present embodiment controls the operations of the input device 100 and the acoustic output device 300. As shown in FIG. 1, the control device 200 according to the present embodiment may include a control unit 210 and a storage unit 220.
  • the control unit 210 determines that the object has come into contact with the contact area 111 of the input unit 110, or the specified input based on the electric signal output by the detection unit 120.
  • the tactile presentation by the tactile presentation unit 130 and the auditory presentation by the sound output device 300 which is the presentation of the stimulus through the user's hearing, are controlled.
  • the control unit 210 according to the present embodiment makes sure that at least one of the tactile presentation and the auditory presentation is in an appropriate range that is perceptible to the user and is not unpleasant to the user.
  • One of the features is to control the displacement indicating the difference from the reference position of the contact region 111 related to the tactile presentation and the sound intensity related to the auditory presentation.
  • the function of the control unit 210 is configured by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. The details of the function of the control unit 210 according to the present embodiment will be described in detail separately.
  • the storage unit 220 stores various information related to the operations of the input device 100, the control device 200, and the acoustic output device 300.
  • the storage unit 220 stores, for example, information for defining a mode of tactile presentation to be output to the input device 100, a mode of auditory presentation to be output to the acoustic output device 300, and the like.
  • the acoustic output device 300 performs auditory presentation based on the control signal output by the control device 200.
  • the acoustic output device 300 according to the present embodiment may be, for example, a speaker.
  • each function of the input device 100, the control device 200, and the acoustic output device 300 according to the present embodiment may be realized by a single device.
  • the configuration of the system 1 according to the present embodiment can be flexibly modified according to the specifications and operation.
  • the control unit 210 causes the tactile presentation unit 130 to output a tactile presentation as feedback for an input operation to the input unit 110 by the user, and causes the acoustic output device 300 to hear in synchronization with the tactile presentation. Output the presentation.
  • the tactile presentation unit 130 causes the tactile presentation unit 130 to output a tactile presentation as feedback for an input operation to the input unit 110 by the user, and causes the acoustic output device 300 to hear in synchronization with the tactile presentation. Output the presentation.
  • the vibration used for the tactile presentation is too intense, or the sound used for the auditory presentation is too loud, or if the intensity of the sensory presentation is too high, the user may feel unpleasant feedback.
  • the vibration used for the tactile presentation is too small, or the sound used for the auditory presentation is too quiet, or if the intensity of the sensory presentation is too low, it is assumed that the user cannot perceive the feedback. ..
  • At least one of the tactile presentation and the auditory presentation is accurately defined as an appropriate range that is perceptible to the user and is not unpleasant to the user. It is important to control the tactile and auditory presentations according to the appropriate range. Furthermore, when each of the tactile presentation and the auditory presentation is controlled so as to be within the above-mentioned appropriate range, it is possible to realize feedback that further improves the operability.
  • the applicant of the present application applies to the displacement indicating the difference from the reference position related to the tactile presentation (hereinafter, may be simply referred to as the displacement) and the sound intensity related to the auditory presentation.
  • the above displacement is an example of an index indicating the intensity of tactile presentation.
  • the displacement may be a displacement indicating a difference from the reference position of the contact region 111 caused by the vibration of the tactile presentation portion 130.
  • the above displacement may be a displacement indicating a difference from the reference position of the input unit 110 caused by the vibration of the tactile presentation unit 130, or a displacement indicating a difference from the reference position of the tactile presentation unit 130. May be good.
  • FIG. 2 is a diagram for explaining the displacement of the contact region 111 according to the present embodiment.
  • FIG. 2 shows the displacement of the contact region 111 after application to the tactile presentation portion 130 along the time axis.
  • the transition of the displacement of one cycle is shown.
  • the displacement of the tactile presentation according to the present embodiment may be the difference (displacement width) between the maximum value of the displacement caused by the application to the tactile presentation portion 130 and the reference position.
  • the control unit 210 controls the tactile presentation unit 130 so that the difference (displacement width) between the maximum value of displacement and the reference position falls within the above-mentioned appropriate range.
  • the reference position may be set to the minimum value of displacement or set to 0. Further, the reference position may be a value of displacement before application to the tactile presentation portion 130.
  • the sound intensity related to the auditory presentation is, for example, the sound pressure level [dB] in which the magnitude of the sound pressure is expressed by the common logarithm of the ratio to the specified value, or the sound intensity and sensation felt by human hearing. It may be loudness [sound] which is one of the quantities.
  • vibration stimulation is used for the tactile presentation
  • the displacement related to the tactile presentation is defined as the difference (displacement width) between the maximum value of acceleration and the reference position, and a plurality of tactile presentations with different displacements are defined.
  • the sound intensity related to the auditory presentation was defined as the sound pressure level, and a plurality of auditory presentations having different sound intensities were defined.
  • the comprehensibility of feedback decreases as the displacement related to the tactile presentation becomes smaller or the sound intensity related to the auditory presentation becomes lower.
  • the appropriateness of feedback decreases when the displacement related to the tactile presentation or the sound intensity related to the auditory presentation is equal to or less than the predetermined value. It was. The result is that as the displacement related to the tactile presentation or the sound intensity related to the auditory presentation increases, the feeling of feedback intensity approaches an unpleasant level, and the displacement related to the tactile presentation or the sound intensity related to the auditory presentation decreases. It is assumed that the cause is that the comprehensibility of feedback decreases as it does.
  • Multivariate analysis is a general term for analytical work such as comprehensively summarizing various types of data obtained from a certain object that are related to each other.
  • multiple regression analysis is performed with the subject's evaluation of the appropriateness of feedback using tactile presentation and auditory presentation based on the above provisions as the objective variable, and the displacement related to the tactile presentation and the sound intensity related to the auditory presentation as explanatory variables.
  • the objective variable was obtained using the following mathematical formula (1).
  • x1 is the displacement (displacement width) related to the tactile presentation
  • x2 is the sound intensity (sound pressure level) related to the auditory presentation.
  • FIG. 3 is a map of the relationship between the objective variable and the explanatory variable calculated by multiple regression analysis.
  • the horizontal axis shows the magnitude of the displacement (displacement width) related to the tactile presentation
  • the vertical axis shows the intensity of the sound related to the auditory presentation.
  • the average of the evaluations by the subjects is represented by hatching corresponding to each of a plurality of stages. Note that FIG. 3 shows a part of the map including the stages L1 to L5 among the plurality of stages.
  • Stages L1 to L5 indicate that the smaller the number, the more appropriate the feedback was evaluated by the subjects.
  • stage L1 is the range in which the subjects evaluated that the tactile and auditory presentations were comfortable
  • stage L2 was the subject in which the tactile and auditory presentations were perceptible and not unpleasant. It is the range evaluated by us.
  • stage L3 and below the subjects evaluated that at least one of the tactile presentation and the auditory presentation was difficult to understand or imperceptible, or that at least one of the tactile presentation or the auditory presentation was unpleasant.
  • control unit 210 sets each value (parameter) so that the displacement related to the tactile presentation and the sound intensity related to the auditory presentation fall within the range (appropriate range) of the stage L2 or higher on the map. May be controlled. That is, according to such control, it is possible to realize feedback that is perceptible to the user and is not unpleasant.
  • step L3 when the feedback F1 using only the tactile presentation is performed, the user may feel uncomfortable because the displacement of the tactile presentation is too large (step L3).
  • the auditory presentation together as in the feedback F2
  • the evaluation of the user can be raised to the stage L1.
  • the system 1 according to the present embodiment by controlling the combination of the displacement related to the tactile presentation and the sound intensity related to the auditory presentation, feedback that is perceptible to the user and is not unpleasant is realized. It is possible.
  • control unit 210 has displacement and sound so that each of the tactile presentation and the auditory presentation is in a range that the user feels comfortable and is a comfortable range that is a part of the above-mentioned appropriate range.
  • the strength may be controlled. That is, the control unit 210 according to the present embodiment may be controlled so that the displacement and the sound intensity are within the range of step L1 (comfort range). According to such control, it is possible to realize feedback that is easy for the user to understand and is comfortable.
  • the feedback using the tactile presentation and the auditory presentation as described above is considered to be particularly effective for the feedback to the user boarding the moving body such as a vehicle.
  • the feedback using only the tactile presentation is given in the situation where the moving body vibrates violently, or when the feedback using only the auditory presentation is given in the situation where the environmental sound is loud, the user cannot perceive the feedback.
  • a situation is also expected.
  • control unit 210 the feedback using both the tactile presentation and the auditory presentation based on the objective variable calculated by the multivariate analysis as described above is performed in the above situation. It is also possible to provide appropriate feedback that is perceptible to the user and is not offensive. In this way, the control unit 210 according to the present embodiment may control the output of the tactile presentation and the auditory presentation in response to the operation of the input unit 110 by the user boarding the moving body.
  • the objective variables according to this embodiment can be obtained by, for example, discriminant analysis, logistics regression analysis, quantification type 1, quantification type 2, and the like. May be good.
  • the experimental method may be designed according to the characteristics of the multivariate analysis to be adopted.
  • the appropriate range is defined by multivariate analysis with the evaluation of the tactile presentation and the auditory presentation as the objective variable, and the feature amount of the waveform related to the tactile presentation is set so that each of the tactile presentation and the auditory presentation is in the appropriate range.
  • the appropriate range according to the present embodiment may be defined separately for each of the tactile presentation and the auditory presentation.
  • the control unit 210 may control the feature amount of the waveform related to the tactile presentation and the feature amount of the waveform related to the auditory presentation so that at least one of the tactile presentation and the auditory presentation is within an appropriate range.
  • vibration stimulation is mentioned as an example of tactile presentation, but the tactile presentation according to the present invention is not limited to such an example.
  • the tactile presentation according to the present embodiment may be a tactile presentation accompanied by a temperature change or a tactile presentation relating to a force sense. Even in this case, it is possible to identify the amount of change within an appropriate range by performing the subject evaluation and multiple regression analysis as described above.
  • the series of processes by each device described in the present specification may be realized by using any of software, hardware, and a combination of software and hardware.
  • the programs constituting the software are stored in advance in, for example, a recording medium (non-temporary medium: non-transitory media) provided inside or outside each device. Then, each program is read into RAM at the time of execution by a computer and executed by a processor such as a CPU.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.

Abstract

【課題】操作性をより向上させるフィードバックを実現することが可能な仕組みが提供する。 【解決手段】対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御部、を備え、前記制御部は、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御する、制御装置が提供される。

Description

制御装置、制御方法、およびプログラム
　本発明は、制御装置、制御方法、およびプログラムに関する。
　近年、利用者による操作に対し、フィードバックを出力する種々の装置が開発されている。上記のような装置には、利用者の五感に対する刺激の呈示をフィードバックとして用いるものが存在する。例えば、特許文献１には、操作面に対する利用者の操作に対し、振動と音響とを用いたフィードバックを出力する装置が開示されている。
特開２０１８－３６８１８号公報
　特許文献１に開示されるように、利用者による操作に対し、感覚刺激を用いたフィードバックを出力する場合、当該フィードバックを確実に利用者に知覚させるとともに、当該フィードバックが利用者にとって不利益とならないよう制御することが重要となる。
　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作性をより向上させるフィードバックを実現することが可能な仕組みを提供することにある。
　上記課題を解決するために、本発明のある観点によれば、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御部、を備え、前記制御部は、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御する、制御装置が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御すること、を含み、前記制御することは、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御すること、をさらに含む、制御方法が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御機能、を実現させ、前記制御機能に、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御させる、プログラムが提供される。
　以上説明したように本発明によれば、操作性をより向上させるフィードバックを実現することが可能な仕組みが提供される。
本発明の一実施形態に係るシステム１の構成例を示す図である。 同実施形態に係る接触領域１１１の変位について説明するための図である。 同実施形態に係る多変量分析により算出した目的変数と説明変数の関係をマップ化したものである。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜１．実施形態＞
　＜＜１．１．構成例＞＞
　図１は、本発明の一実施形態に係るシステム１の構成例を示す図である。図１に示すように、本実施形態に係るシステム１は、入力装置１００、制御装置２００、および音響出力装置３００を備えてもよい。
　（入力装置１００）
　本実施形態に係る入力装置１００は、システム１に対する利用者の入力操作を検出し、当該入力操作に係る情報を制御装置２００に対し出力する。また、本実施形態に係る入力装置１００は、制御装置２００が出力する制御信号に基づいて、上記入力操作を行った利用者の触覚を介して刺激を呈示する触覚呈示を行う。
　本実施形態に係る入力装置１００は、例えば、図１に示すように、入力部１１０、検出部１２０、触覚呈示部１３０、および支持部１４０を備えてもよい。
　本実施形態に係る入力部１１０は、利用者が入力操作を行うための構成であり、入力操作に際し、対象物が接触する接触領域１１１を有する。ここで、上記の対象物とは、例えば、利用者の指などの身体の一部や、利用者が把持して用いるペン状のツール等であってもよい。利用者は、指や上記ツールなどを用いて接触領域１１１に対する押下操作やなぞり操作を行うことで、システム１に対する各種の命令を入力する。本実施形態に係る入力部１１０は、例えば、各種のタッチパネルであってもよい。
　本実施形態に係る検出部１２０は、入力部１１０が有する接触領域１１１に対する対象物の接触を検出し、当該対象物の接触に係る情報を制御装置２００に対し出力する。本実施形態に係る検出部１２０は、例えば、接触領域１１１に対する利用者の入力操作に伴い変化する圧力の変化を電気信号に変換する感圧センサであってもよい。また、検出部１２０は、接触領域１１１に対する利用者の入力操作に伴い変化する静電容量の変化を電気信号に変換する静電容量センサであってもよい。
　本実施形態に係る触覚呈示部１３０は、利用者の触覚を介して刺激を呈示する構成である。本実施形態に係る触覚呈示部１３０は、例えば、検出部１２０が、入力部１１０が有する接触領域１１１に対象物が接触したことを検出した場合、すなわち、入力部１１０に対する操作がなされたと判定された場合、制御装置２００が出力する制御信号に基づいて触覚呈示を行ってもよい。
　本実施形態に係る触覚呈示部１３０は、例えば、振動刺激を用いた触覚呈示を行ってもよい。この場合、触覚呈示部１３０は、振動を発生させることが可能な偏心モータ（ＥＲＭ：Ｅｃｃｅｎｔｒｉｃ　Ｒｏｔａｔｉｎｇ　Ｍａｓｓ）、リニア・バイブレータ（ＬＲＡ：Ｌｉｎｅａｒ　Ｒｅｓｏｎａｎｔ　Ａｃｔｕａｔｏｒ）、ピエゾ（圧電）素子等の各種のアクチュエータであってもよい。
　一方、本実施形態に係る触覚呈示部１３０は、温度変化を伴う触覚呈示や、力覚に関する触覚呈示（例えば、物体に押される感覚の呈示、物体と接触した感覚の呈示、又は締め付けられる感覚の呈示など）を行う構成、または皮膚感覚に関する触覚呈示（例えば、ざらざらした感覚の呈示、又はつるつるした感覚の呈示など）を行ってもよい。本実施形態に係る触覚呈示部１３０は、呈示する触覚呈示の特性に応じた各種の構成を取り得る。
　本実施形態に係る支持部１４０は、入力部１１０、検出部１２０、および触覚呈示部１３０を支持する構成である。本実施形態に係る支持部１４０は、システム１の仕様に応じた素材および形状で形成される。
　（制御装置２００）
　本実施形態に係る制御装置２００は、入力装置１００および音響出力装置３００の動作を制御する。本実施形態に係る制御装置２００は、図１に示すように、制御部２１０および記憶部２２０を備えてもよい。
　本実施形態に係る制御部２１０は、検出部１２０が、入力部１１０が有する接触領域１１１に対象物が接触したと判定した場合、あるいは、検出部１２０が出力する電気信号に基づいて規定の入力操作がなされた判定された場合、触覚呈示部１３０による触覚呈示、および音響出力装置３００による、利用者の聴覚を介した刺激の呈示である聴覚呈示を制御する。この際、本実施形態に係る制御部２１０は、触覚呈示および聴覚呈示のうちの少なくとも一つが、利用者にとって知覚可能であり、かつ当該利用者にとって不快ではない範囲である適正範囲となるように、触覚呈示に係る接触領域１１１の基準位置からの差分を示す変位および聴覚呈示に係る音の強度を制御する、ことを特徴の一つとする。制御部２１０の機能は、例えば、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やマイクロプロセッサ等の電子回路によって構成される。本実施形態に係る制御部２１０が有する機能の詳細については別途詳細に説明する。
　本実施形態に係る記憶部２２０は、入力装置１００、制御装置２００、および音響出力装置３００の動作に係る各種の情報を記憶する。記憶部２２０は、例えば、入力装置１００に出力させる触覚呈示の態様や、音響出力装置３００に出力させる聴覚呈示の態様を定義するための情報等を記憶する。
　（音響出力装置３００）
　本実施形態に係る音響出力装置３００は、制御装置２００が出力する制御信号に基づいて、聴覚呈示を行う。本実施形態に係る音響出力装置３００は、例えば、スピーカであってもよい。
　以上、本実施形態に係るシステム１の構成例について述べた。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るシステム１の構成は係る例に限定されない。例えば、本実施形態に係る入力装置１００、制御装置２００、および音響出力装置３００が有する各機能は、単一の装置により実現されてもよい。本実施形態に係るシステム１の構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．２．詳細＞＞
　続いて、本実施形態に係る触覚呈示および聴覚呈示の制御について詳細に説明する。本実施形態に係る制御部２１０は、例えば、利用者による入力部１１０への入力操作に対するフィードバックとして、触覚呈示部１３０に触覚呈示を出力させ、当該触覚呈示と同期して音響出力装置３００に聴覚呈示を出力させる。このように、触覚呈示および聴覚呈示を同期して行うことで、いずれかのみが行われる場合と比較して、利用者が自身の入力操作がシステム１に認識されたことを、より明確に把握することが可能となる。
　一方、触覚呈示と聴覚呈示を同期して行う場合であっても、各呈示の態様により利用者が知覚する感覚や、想起する印象が異なることが想定される。
　例えば、触覚呈示に用いられる振動が激しすぎる場合や、聴覚呈示に用いられる音が大きすぎる場合等、感覚呈示の強度が高すぎると、利用者がフィードバックを不快に感じる可能性がある。反対に、触覚呈示に用いられる振動が小さすぎる場合や、聴覚呈示に用いられる音が小さすぎる等、感覚呈示の強度が小さすぎると、利用者がフィードバックを知覚することができないことが想定される。
　上記のような事態を回避するためには、触覚呈示および聴覚呈示のうちの少なくとも一つが利用者にとって知覚可能であり、かつ当該利用者にとって不快ではない範囲である適正範囲を精度高く規定し、当該適正範囲に従って触覚呈示および聴覚呈示を制御することが重要となる。さらには、触覚呈示および聴覚呈示のそれぞれが上記適正範囲となるように制御を行う場合、操作性をより向上させるフィードバックを実現することが可能となる。
　本願の出願人は、上記の適正範囲を規定するために、触覚呈示に係る基準位置からの差分を示す変位（以下、単に、変位、と示す場合がある）および聴覚呈示に係る音の強度に着目して実験を行った。ここで、上記の変位とは、触覚呈示の強度を示す指標の一例である。例えば、触覚呈示に振動刺激を用いる場合、上記の変位とは、触覚呈示部１３０の振動によって生じる接触領域１１１の基準位置からの差分を示す変位であってもよい。また、上記の変位は、触覚呈示部１３０の振動によって生じる入力部１１０の基準位置からの差分を示す変位であってもよいし、触覚呈示部１３０の基準位置からの差分を示す変位であってもよい。
　図２は、本実施形態に係る接触領域１１１の変位について説明するための図である。図２には、触覚呈示部１３０への印加後における接触領域１１１の変位が時間軸に沿って示されている。なお、ここでは、１周期の変位の遷移を示している。振動を発生させる触覚呈示部１３０への印加を行うと、図２に示すように、所定時間の経過後に変位は急激に上昇して最大値を迎え、その後低下する。この際、本実施形態に係る触覚呈示の変位とは、触覚呈示部１３０への印加により生じる変位の最大値と基準位置との差（変位幅）としてもよい。本実施形態に係る制御部２１０は、変位の最大値と基準位置との差（変位幅）が上述した適正範囲に収まるように触覚呈示部１３０を制御する。なお、上記の基準位置は、変位の最小値としてもよいし、０としてもよい。また、基準位置は、触覚呈示部１３０への印加前における変位の値でとしてもよい。
　一方、聴覚呈示に係る音の強度は、例えば、音圧の大きさを規定値との比の常用対数によって表現した音圧レベル［ｄＢ］や、人の聴覚が感じる音の強さであり感覚量のひとつであるラウドネス［ｓｏｎｅ］であってもよい。
　なお、実験においては、一例として、触覚呈示に振動刺激を用い、触覚呈示に係る変位を加速度の最大値と基準位置との差（変位幅）として定義し、変位の異なる複数の触覚呈示を規定した。また、聴覚呈示に係る音の強度を音圧レベルとして定義し、音の強度の異なる複数の聴覚呈示を規定した。
　また、実験では、車両のドライビングシミュレータを用いた運転環境中において入力部１１０を操作する複数の被験者に対して、上記のように規定した触覚呈示と聴覚呈示の全組み合わせをそれぞれフィードバックとして呈示し、フィードバックの強さ感、フィードバックのわかり易さ、また総合的な観点としてのフィードバックの適切さについて主観的評価を求めた。
　上記のような実験の結果、フィードバックの強さ感については、触覚呈示に係る変位が大きくなるにつれ、または聴覚呈示に係る音の強度が高くなるにつれ、フィードバックの強さ感が増加することがわかった。また、触覚呈示に係る変位または聴覚呈示に係る音の強度を所定以上とした場合、フィードバックに対する被験者の評価が「不快」に傾くことがわかった。
　また、フィードバックのわかり易さについては、触覚呈示に係る変位が小さくなるにつれ、または聴覚呈示に係る音の強度が低くなるにつれ、フィードバックのわかり易さが減少することがわかった。
　また、総合的な観点であるフィードバックの適切さについては、触覚呈示に係る変位、または聴覚呈示に係る音の強度が所定以上、または所定以下である場合にフィードバックの適切さが減少することがわかった。当該結果は、触覚呈示に係る変位、または聴覚呈示に係る音の強度が増加するにつれフィードバックの強さ感が不快なレベルに近づき、触覚呈示に係る変位、または聴覚呈示に係る音の強度が減少するにつれフィードバックのわかり易さが減少することが原因であると想定される。
　本願の出願人は上述の適正範囲をさらに精度高く規定するために、上記の被験者の評価に基づく多変量分析を行った。多変量分析とは、ある対象から得られた互いに関連のある多種類のデータを統合的に要約する等の分析作業の総称を指す。ここでは、上記の規定に基づく触覚呈示および聴覚呈示を用いたフィードバックの適切さに対する被験者の評価を目的変数とし、触覚呈示に係る変位および聴覚呈示に係る音の強度を説明変数とした重回帰分析を行った。なお、目的変数は、下記の数式（１）を用いて求めた。数式（１）におけるｘ１は、触覚呈示に係る変位（変位幅）であり、ｘ２は、聴覚呈示に係る音の強度（音圧レベル）である。
Figure JPOXMLDOC01-appb-M000001
  
…（１）
　また、図３は、重回帰分析により算出した目的変数と説明変数の関係をマップ化したものである。図３では、横軸に触覚呈示に係る変位（変位幅）の大きさが、縦軸に聴覚呈示に係る音の強度が示されている。また、図３では、被験者による評価の平均が複数の段階ごとに対応するハッチングで表されている。なお、図３では、複数の段階のうち段階Ｌ１～Ｌ５を含むマップの一部を示している。
　段階Ｌ１～Ｌ５は、数値が小さいほど、被験者たちが、フィードバックがより適切であると評価したことを示している。例えば、段階Ｌ１は、触覚呈示および聴覚呈示のそれぞれが快適であると被験者たちが評価した範囲であり、段階Ｌ２は、触覚呈示および聴覚呈示のそれぞれが知覚可能であり、かつ不快ではないと被験者たちが評価した範囲である。一方、段階Ｌ３以下は、触覚呈示または聴覚呈示の少なくともいずれかがわかり辛い、または知覚不能である、あるいは触覚呈示または聴覚呈示の少なくともいずれかが不快であると被験者たちが評価した範囲である。この場合、本実施形態に係る制御部２１０は、触覚呈示に係る変位と聴覚呈示に係る音の強度とが、マップ上において段階Ｌ２以上の範囲（適正範囲）に収まるように各値（パラメータ）を制御してもよい。すなわち、係る制御によれば、利用者にとって知覚可能であり、不快ではないフィードバックを実現することが可能となる。
　また、例えば、図３に示すように、触覚呈示のみを用いたフィードバックＦ１を行う場合、触覚呈示の変位が大きすぎることで利用者が不快さを感じる可能性もある（段階Ｌ３）。しかし、フィードバックＦ２のように、聴覚呈示を併せて用いることで、例えば、利用者の評価を段階Ｌ１まで引き上げることが可能である。このように、本実施形態に係るシステム１では、触覚呈示に係る変位および聴覚呈示に係る音の強度の組み合わせを制御することで、利用者に知覚可能であり、かつ不快ではないフィードバックを実現することが可能である。
　なお、本実施形態に係る制御部２１０は、触覚呈示および聴覚呈示のそれぞれが、利用者が快適と感じる範囲であり、上記適正範囲の一部である快適範囲となるように、変位および音の強度を制御してもよい。すなわち、本実施形態に係る制御部２１０は、変位および音の強度が段階Ｌ１の範囲（快適範囲）となるように、制御してもよい。係る制御によれば、利用者にとってわかり易く、かつ快適であるフィードバックを実現することが可能である。
　なお、上記のような触覚呈示および聴覚呈示を用いたフィードバックは、車両等の移動体に搭乗する利用者へのフィードバックに特に有効であると考えられる。例えば、利用者が車両等を運転しながら入力部１１０に対する操作を行う場合、車室内においては走行に伴う振動や各種の環境音が発生することが想定される。この際、例えば、移動体の振動が激しい状況において触覚呈示のみを用いたフィードバックを行う場合や、環境音が大きい状況において聴覚呈示のみを用いたフィードバックを行う場合、利用者が当該フィードバックを知覚できない事態も想定される。
　一方、本実施形態に係る制御部２１０によれば、上述のような多変量分析により算出した目的変数に基づく触覚呈示および聴覚呈示の両方を用いたフィードバックを行うことで、上記のような状況においても、利用者に知覚可能であるかつ不快ではない適切なフィードバックを実現することが可能である。このように、本実施形態に係る制御部２１０は、移動体に搭乗する利用者による入力部１１０の操作に対する触覚呈示および聴覚呈示の出力を制御してもよい。なお、上記では多変量分析の一例として重回帰分析を示したが、本実施形態に係る目的変数は、例えば、判別分析、ロジスティクス回帰分析、数量化１類、数量化２類などにより求められてもよい。また、実験手法は採用する多変量分析の特性に応じて設計されてよい。
　＜２．補足＞
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　例えば、上記では、触覚呈示および聴覚呈示に対する評価を目的変数とした多変量分析により適正範囲を定義し、触覚呈示および聴覚呈示のそれぞれが当該適正範囲となるように触覚呈示に係る波形の特徴量および聴覚呈示に係る波形の特徴量を制御する場合を例に挙げて説明した。一方、本実施形態に係る適正範囲は、触覚呈示および聴覚呈示のそれぞれで別個に定義されてもよい。この場合、制御部２１０は、触覚呈示および聴覚呈示のうちの少なくとも一つが適正範囲となるように、触覚呈示に係る波形の特徴量および聴覚呈示に係る波形の特徴量を制御してよい。
　例えば、上記では、触覚呈示の一例として振動刺激を挙げたが、本発明に係る触覚呈示は係る例に限定されない。本実施形態に係る触覚呈示は、温度変化を伴う触覚呈示であってもよいし、力覚に関する触覚呈示であってもよい。この場合であっても、上述のような被験者評価および重回帰分析を行うことで、適正範囲となる変化量を特定することが可能である。
　また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　１：システム、１００：入力装置、１１０：入力部、１１１：接触領域、１２０：検出部、１３０：触覚呈示部、１４０：支持部、２００：制御装置、２１０：制御部、２２０：記憶部、３００：音響出力装置

Claims (6)

  1. 　対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御部、
    　を備え、
    　前記制御部は、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御する、
    制御装置。
  2. 　前記適正範囲は、前記触覚呈示および前記聴覚呈示に対する評価を目的変数とし、前記触覚呈示に係る前記変位および前記聴覚呈示に係る音の強度を説明変数とした多変量分析により定義される、
    請求項１に記載の制御装置。
  3. 　前記制御部は、前記触覚呈示および前記聴覚呈示のそれぞれが、前記利用者が快適と感じる範囲であり、前記適正範囲の一部である快適範囲となるように、前記変位および前記音の強度を制御する、
    請求項１または請求項２のいずれかに記載の制御装置。
  4. 　前記制御部は、移動体に搭乗する前記利用者による前記入力部の操作に対する前記触覚呈示および前記聴覚呈示の出力を制御する、
    請求項１から請求項３までのいずれか一項に記載の制御装置。
  5. 　対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御すること、
    　を含み、
    　前記制御することは、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御すること、をさらに含む、
    制御方法。
  6. 　コンピュータに、
    　対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御機能、
    　を実現させ、
    　前記制御機能に、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御させる、
    プログラム。
     
PCT/JP2020/016827 2019-09-10 2020-04-17 制御装置、制御方法、およびプログラム WO2021049083A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020004273.1T DE112020004273T5 (de) 2019-09-10 2020-04-17 Steuerungsvorrichtung, Steuerungsverfahren und Programm
US17/640,497 US11829532B2 (en) 2019-09-10 2020-04-17 Control device, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-164228 2019-09-10
JP2019164228A JP7282639B2 (ja) 2019-09-10 2019-09-10 制御装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021049083A1 true WO2021049083A1 (ja) 2021-03-18

Family

ID=74864107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016827 WO2021049083A1 (ja) 2019-09-10 2020-04-17 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US11829532B2 (ja)
JP (1) JP7282639B2 (ja)
DE (1) DE112020004273T5 (ja)
WO (1) WO2021049083A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7310729B2 (ja) * 2020-06-19 2023-07-19 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018003A1 (en) * 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic system for actuating materials
JP2018507485A (ja) * 2015-02-20 2018-03-15 ウルトラハプティクス アイピー リミテッドＵｌｔｒａｈａｐｔｉｃｓ Ｉｐ Ｌｔｄ 触覚系における知覚

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178845B1 (ko) * 2013-01-29 2020-11-13 삼성전자주식회사 햅틱을 제어하는 휴대 단말 및 방법
JP2018036818A (ja) 2016-08-31 2018-03-08 株式会社東海理化電機製作所 入力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018507485A (ja) * 2015-02-20 2018-03-15 ウルトラハプティクス アイピー リミテッドＵｌｔｒａｈａｐｔｉｃｓ Ｉｐ Ｌｔｄ 触覚系における知覚
WO2018018003A1 (en) * 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic system for actuating materials

Also Published As

Publication number Publication date
DE112020004273T5 (de) 2022-12-01
JP7282639B2 (ja) 2023-05-29
US11829532B2 (en) 2023-11-28
US20220350406A1 (en) 2022-11-03
JP2021043617A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
US9454881B2 (en) Haptic warping system
CN104049733A (zh) 自动触觉效果调节系统
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021049083A1 (ja) 制御装置、制御方法、およびプログラム
US20220334666A1 (en) Control device, control method, and non-transitory computer readable medium
WO2021049084A1 (ja) 制御装置、制御方法、およびプログラム
JP7360281B2 (ja) 制御装置、制御方法、及びプログラム
US11983323B2 (en) Control device, control method, and program
Kim Perception-based tactile soft keyboard for the touchscreen of tablets
JP7344058B2 (ja) 制御装置、制御方法、及びプログラム
Kern et al. Study of the influence of varying diameter and grasp-forces on mechanical impedance for the grasp of cylindrical objects
JP7252866B2 (ja) 制御装置、制御方法、及びプログラム
JP7344057B2 (ja) 制御装置、制御方法、及びプログラム
JP2020135300A (ja) 制御装置およびプログラム
JP7360282B2 (ja) 制御装置、制御方法、及びプログラム
JPWO2005083553A1 (ja) 振動波形パラメータの変化による触覚感度の測定装置および触覚型マンマシンインターフェース
JP7302781B2 (ja) 制御装置およびプログラム
Papetti et al. Effects of audio-tactile feedback on force accuracy in a finger pressing task: a pilot study
Bernard Perception of audio-haptic textures for new touchscreen interactions
WO2022118456A1 (ja) 触覚デバイス
Diwischek Method generation for the evaluation of virtual buttons with multimodal feedback
JP2023150608A (ja) 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法
CN117697779A (zh) 一种融合多反馈信息的交互训练控制系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20863588

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20863588

Country of ref document: EP

Kind code of ref document: A1